Ищут максимум функции прибыли Y(u) по обычным правилам поиска экстремума функции. Берут производную (так получилась формула (4)) и приравнивают ее к нулю. Решают получившееся уравнение относительно u, получают его решение - формула (5). А a и k - это некие параметры. Для разных фирм они разные и должны задаваться.