А векторы ведь должны быть ортогональными, вы правы.
Ну и по ф-ле А'=U^(-1)AU, если векторы не ортоганализировать, тоже получается матрица
1 0 0
0 1 0
0 0 12. Проверено.
поверхность x^2/a^2+y^2/b^2+z^2/c^2=0 - мнимый конус второго порядка с действительной вершиной (0, 0, 0)