на счет формулы, взял я ее из лекции и она действительно верна для ортонормированных векторов.
А векторы ведь должны быть ортогональными, вы правы.
Ну и по ф-ле А'=U^(-1)AU, если векторы не ортоганализировать, тоже получается матрица
1 0 0
0 1 0
0 0 12. Проверено.
12x^2+y^2+z^2=0 - какую-то поверхность?
поверхность x^2/a^2+y^2/b^2+z^2/c^2=0 - мнимый конус второго порядка с действительной вершиной (0, 0, 0)