хм, если сотавить матрицу перехода U:
-3 -1 1
1 0 3
0 1 1
и выполнить преобразование
A`=UT*A*U получится
10 3 0
3 2 0
0 0 132
а должна быть диагональной...
общая задача состоит в приведении к каноническому виду уравнения
2X1^2+10X2^2+2X3^2+6X1*X2+2X1*X3+6X2*X3=0