Цитата(dr.Watson @ 10.4.2009, 20:14) 
Откуда у Вас взялся коэффициент sqrt(3) вместо sqrt(5) перед y_1? Собственные числа Вы верно нашли -1 и -5, стало быть и коэффициенты при квадратах (то есть квадраты полуосей эллипса) будут относиться как 1:5, а не 1:3 как у Вас.
Сдвиг не проверял.
Посмотрел до 5) - верно, а дальше ерунда.
После замены в квадратичной форме - это поворот на 45 градусов по ходу часовой стрелки - должно получиться -5(x_1)^2 - (y_1)^2 - для этого не надо подставлять!
А вот в линейную форму подставить надо, чтобы узнать как она преобразится. Далее сдвиг путём выделения полных квадратов.
5) Подставляю в линейную форму:
-3(x1-y1)^2-3(x1+y1)^2+4(x1-y1)(x1+y1)-6(x1-y1)+4(x1+y1)+2 = 0
-2x1^2-2x1-10y1^2+10y1+2 = 0
Дальше пытаюсь выделить полные квадраты и не получается(((
-2x1^2-2x1+1-10y1^2+10y1+1 = 0
-2x1^2-2x1+1+(-sqrt(10)y1^2+2*sqrt(10)*sqrt(2,5)+(sqrt(2,5))^2) - 0,6 = 0
-2x1^2-2x1+1+(-sqrt(10)y1+sqrt(2,5))^2 - 0,6 = 0
А с х1 не получается...