Дальше надо делать аналогично: из всех строк (кроме первой!) вычитаем первую.
У вас получится одна ненулевая строка - т.е.ранг равен 1.
В общем случае надо сделать так, чтобы под диагональю (т.е. под а11, а22, а33....) стояли 0, а потом подсчитать число ненулевых строк. Нули образовывать нужно при помощи элементарных преобразований матрицы.