Нужно привести исходную матрицу к матрице, у которой ниже диагонали будут стоять нули.
Делается это с помощью элементарных преобразований.
1) можно переставлять строки местами
2) можно вычитать из строки другую строку, умноженную на какое-то число
3) можно умножать или делить строку на ненулевое число
В данном случае из второй строки вычтем удовенную первую, а из третьей строки первую, умноженную на 5. Получаем:
1 2 3
0 4 -5
0 -9 -11
Прибавим к третьей строке удвоенную вторую
1 2 3
0 4 -5
0 -1 -21
Прибавим ко второй строке утроенную третью
1 2 3
0 1 -68
0 -1 -21
Прибавляем к третьей строке вторую
1 2 3
0 1 -68
0 0 -89
Таким образом, матрица приведена к нужной.