А как в моем примере, когда одно уравнение осталось, мне выражать u1, u2, u3? чтобы посчитать первый собственный вектор.
Вам не u1, u2, u3 выразить из одного уравнения надо, а одну из переменных выразить через две другие. Найдите, например, u1 через u2, u3. Что получается?