4x^2+y^2+9z^2-4xy-6yz+12zx+8x-4y+12z-5=0

нашла собственные значения 0(кратный) и 14.Делаю поворот кооординатных осей.
получаются вектора (1/sqrt3;-1/sqrt3;1/sqrt3) (1-й и 2-й),3-й получился нулевым.Правильно ли я это нашла и как поступить дальше?(в матрице получается нулевой столбец)

1. Вам только через собственные значения надо делать?
2. Напишите решение подробнее, так удобнее проверять.
3. Пример + посмотрите на форуме, что-то подобное недавно было.

Собственные число 0 действительно двукратное - это видно сразу, так как матрица имеет ранг 1.
Следовательно для 0 требуется найти два ортогональных между собой собственных векторов, а Вы нашли только один. Выбор его был достаточно произволен - два параметра выбирались от фонаря. После выбора первого для второго выбор становится уже - он уже определится однозначно с точностью до множителя. Для нормировки будет не очень приятен - от sqrt{42} никуда не деться.

Собственный вектор никогда не бывает нулевым - по определению. Если из счета он все-таки получается таким, то это означает, что Вы ошиблись при вычислении собственного числа или при вычислении самого вектора. Собственное число 14 найдено верно, следовательно ошибка при счете вектора. Пересчитайте - он ведь единственен с точностью до числового множителя. Для нормировки тоже неприятен - здесь возникнет sqrt{14}.

Ну а вид уже и сейчас по собственным числам ясен - это будет скорее всего параболический цилиндр или пара параллельных плоскостей, последнее вряд ли - трудно ожидать, что линейная часть после такого гадкого ортогонального преобразования при последующем сдвиге может испариться. Теоретически еще возможен случай пары мнимых плоскостей, но он исключается, так точки удовлетворяющие уравнению есть - к примеру такие есть на оси OZ.