Откуда у Вас взялся коэффициент sqrt(3) вместо sqrt(5) перед y_1? Собственные числа Вы верно нашли -1 и -5, стало быть и коэффициенты при квадратах (то есть квадраты полуосей эллипса) будут относиться как 1:5, а не 1:3 как у Вас.

Сдвиг не проверял.

Посмотрел до 5) - верно, а дальше ерунда.
После замены в квадратичной форме - это поворот на 45 градусов по ходу часовой стрелки - должно получиться -5(x_1)^2 - (y_1)^2 - для этого не надо подставлять!
А вот в линейную форму подставить надо, чтобы узнать как она преобразится. Далее сдвиг путём выделения полных квадратов.