Извините, ваше решение не проверял. Попробовал решить сам. Действительно последняя строка на последнем шаге исключения Гаусса
получается нулевая. Ранг меньше порядка матрицы. В этом случае одно из неизвестных насколько я помню берут любым (чаще равным 1). Далее обычным образом находят оставшиеся неизвестные