Тролль, спасибо!)
tig81, да скорей всего... В варианте Тролль нормальные корни получаются: все три равны 6. На паре как-то делали такой случай, но тут проблема:

(А-6Е)*u = 0
Изображение

-12 6 15 u1 0
- 4 2 5 * u2 = 0
- 8 4 10 u3 0

Когда записываю систему, остается одно уравнение
-12u1 +6u2 + 15u3 = 0

Не могу составить вектор u для нахождения u0.
как в таком случае искать u0?