Нужно записать объём конуса как функцию от, скажем, его высоты, и найти её максимум.