f(x,y)=xy-x^2-y^2+2x-y+3

(Z)'_x = y-2x+2
(Z)'_y = x-2y-1

Приравнивая оба уравнения к нулю и решая систему уравнений нашел x=-5/3 , y=-4/3.
т.е. М(-5/3,-4/3) - стационарная точка.
Далее беру производную
(Z)''_xx=-2
(Z)''_yy=-2

Что делать дальше? Как найти экстремумы?

Точка А имеет знак минус, т.е. это точка максимума!? И единственное, что меня еще смущает, это когда я нашел Z''_xx , Z''_xy , Z''_yy , у меня получились конкретно числа без неизвестных, и значения точки М я не подставлял. Так и должно быть?

да.

Ну для данной функции так получилось. (IMG:style_emoticons/default/smile.gif)