Подствляю вот в это -3x^2-3y^2+4xy-6x+4y+2 = 0.
В методичке написано, в квадратичную форму, т. е. перед х^2 и y^2 и ху коэффициенты не учитываются! Вот сюда я подставляю полученные x = (1/sqrt2)x1-(1/sqrt2)y1 и y = (1/sqrt2)x1+(1/sqrt2)y1, т. е х = х1-у1 и у = х1+у1 и получается: -(x1-y1)^2 - (x1+y1)^2 + (x1-y1)(x1+y1)-6(x1-y1)+4(x1+y1)+2 = 0