1)Будете считать по общей формуле - запутаетесь. Нужно использовать то, что при сложении строк определитель не меняется,а при умножении строки на число k - увеличивается в k раз.
2)Неправильно возвели в квадрат и что там такое за второе слагаемое? При умножении матрицы на число на это число увеличивается каждый её элемент.
3)Ранг матрицы - максимальное число линейно независимых в ней строк(или столбцов). При элементарных преобразованиях он не меняется, отсюда сразу вытекает способ его нахождения - нужно привести её к треугольному виду, тогда число ненулевых строк и будет рангом.
В преобразованиях у вас ошибка - неверно вычли из второй строки первую.