Собственным может быть лишь ненулевой вектор.
Что знаете о методе Гаусса решения СЛАУ?
в том то и проблема что собственный вектор найти не могу.
-2x1+y1+z1 = 0
x1-2y1+z1 = 0 приводим к виду
x1+y1-2z1 = 0
-2x1+y1+z1 = 0
-3y1+3z1 = 0
3y1-3z1 =0
а что дальше? как привести к треугольному виду?