у меня получилось
x1=1; x2=-7
Что это?
Как уже было сказано, вам нужно выделить полный квадрат по каждой переменной. Что надо добавить к выражениям x^2+6*x и y^2-4*y, чтобы в каждом из них получился полный квадрат?
P.S. Обратил внимание на название вашего вузы. Ключевое слово там "гуманитарный".