f(x,y)=xy-x^2-y^2+2x-y+3

(Z)'_x = y-2x+2
(Z)'_y = x-2y-1

Приравнивая оба уравнения к нулю и решая систему уравнений нашел x=-5/3 , y=-4/3.
т.е. М(-5/3,-4/3) - стационарная точка.
Далее беру производную
(Z)''_xx=-2
(Z)''_yy=-2

Что делать дальше? Как найти экстремумы?

ААА... значит Z''_xy=1, след. В=1 и АС-В^2=3. А как определить саму точку экстремума?

(IMG:style_emoticons/default/yes.gif)

Точку подозрительную на экстремум вы уже определили - это т. М. Т.к. AC-B^2>0 в этой точке, то функция в т.М достигает экстремум, теперь осталось выяснить минимум или максимум. Для этого смотрим на знак А.