а дальше нужно выразить y через x (ну или x через y), используя то, что точка M принадлежит прямой
применяйте подобие треугольников например

а далее ищем экстремум функции одной переменной, приравняв производную к нулю