Хм... что-то непонятно.
2x^2+2y^2-2xy-2x-2y+1=0
x=x1/sqrt2-y1/sqrt2
y=x1/sqrt2+y1/sqrt2
Тогда
2x^2=(x1/sqrt2-y1/sqrt2)^2=2(x1-y1)^2/2=(x1-y1)^2
2y^2=(x1/sqrt2+y1/sqrt2)^2=2(x1+y1)^2/2=(x1+y1)^2
-2xy=-2(x1/sqrt2-y1/sqrt2)(x1/sqrt2+y1/sqrt2)=-2(x1-y1)(x1+y1)/2=-(x1-y1)(x1+y1)
-2x=-2(x1/sqrt2-y1/sqrt2)=-2(x1-y1)/sqrt2
-2y=-2(x1/sqrt2+y1/sqrt2)=-2(x1+y1)/sqrt2
Вот непонятно, где в двух последних равенствах делся в знаменателе sqrt2?! Или я что-то не так поняла?