9 -5 1
3 -5 7
Вычтем из первой строки вторую. Получаем:
6 0 -6
Значит 6x1 - 6x3 = 0 => x1 = x3.
Из второго уравнения
3x1 - 5x2 + 7x3 = 0
3x1 - 5x2 + 7x1 = 0 => 5x2 = 3x1 + 7x1 => x2 = 2x1
Можно взять x3 = 1, x1 = 1, x2 = 2
Получаем вектор (1;2;1)

Наверное имелось в виду, что неправильный вектор при лямбда = 3
Тогда получаем:
3 -5 1
9 -11 1
3 -5 1
Получаем
3 -5 1
9 -11 1
Вычтем из второй строки первую
6 -6 0
6x1 - 6x2 = 0 => x1 = x2
Из первой строки 3x1 - 5x2 + x3 = 0 => 3x1 - 5x1 + x3 = 0 => x3 = 2x1
x1 = 1 => x2 = 1 => x3 = 2
Получаем вектор (1;1;2)