Ну от максимума тут избавиться можно - как Вы и хотели: найти эти области (пусть решения пока будут неявными), тогда два интеграла будут простыми, и останется один, у которого параметр будет в границах, но уже без максимума. Вот и его и продифф-ть. Зная начальные условия (а они-то просто находятся), из производной найти сам интеграл...
Но это так, план. Может, ничего хорошего и не выйдет. Просто некогда пока на бумажке попробовать.

Арксинус от максимума, кстати, сам по себе - тоже ничего особенно страшного, он же монотонный, так что максимум разве что в минимум превратиться. Но вот арксинус от второго аргумента - это действительно как-то непонятно что.