хм, если сотавить матрицу перехода U:

-3 -1 1
1 0 3
0 1 1

и выполнить преобразование
A`=UT*A*U получится

10 3 0
3 2 0
0 0 132

а должна быть диагональной...


общая задача состоит в приведении к каноническому виду уравнения

2X1^2+10X2^2+2X3^2+6X1*X2+2X1*X3+6X2*X3=0