Получил
(x-1,25)^2 + (y+1,25)^2 - 0,5xy - 27/8 == 0

Теперь x-1,25=x', y+1,25=y' или как? но ведь ху не позволит...

Как для полученного уравнения записать матрицу? чему равны коэффициенты a11, a22, a12?