Сначала нужно найти стационарные точки,потом определить,являются они экстремумами или нет, т.к. не все из них могут быть максимумами/минимумами.Затем нужно исследовать поведение функции на границах области - вот здесь нужно исследовать исходную функцию на условный экстремум.В данном случае границ две,обе выражены как функции от х,поэтому можно просто подставить их в функцию и исследовать то что получится на обычный экстремум.