l=sqrt(r^2+h^2) и подставить во 2 уравнение.
Далее из 2го ур-я выразить H и подставить в первое.

Далее получите функцию 2 переменных, зависящих от h и r (Q постоянная по условию), т.е. V=F(h,r) дальше исследуете на условный экстремум, вычислив частные производные и приравняв их нулю. Дальше полный "тухляк".