Вам надо исследовать заданную функцию на экстремум. И оставить те критические точки, которые принадлежат области.
если исследовать на экстремум z=x^2+xy-2 то получим
dz/dx=2x+y
dz/dy=x
откуда получим точку Р(0;-4) - других точек то нет....
и получается что
A=d^2z/dx^2=2
B=d^2z/dxdy=1
C=d^2z/dy^2=1
AC-B^2=1>0; A>0 - значит точка Р - точка минимума.
Адругие точки как искать? подскажите, пожалуйста