Пусть размеры бумаги х и у.
Тогда размеры текста х-2а и у-2b.
Тогда должно выполняться:
(1) (х-2а)*(у-2b)=S.

Надо чтобы Z=х*у было минимальным (экономия площади листа).
Из (1) выражаем у:
(*) у=S/(x-2a) +2b

подставляем в Z:

(2) Z= x*(S/(x-2a) +2b)

Надо найти минимум функции (2) по обычным правилам поиска минимума:

Z'=-2aS/(x-a)^2 + 2b
Приравниваем к нулю - получаем

-2aS/(x-a)^2 + 2b = 0

x=sqrt(aS/b) +2a. Убедитесь, что это точка минимума Z.

Тогда из (*)

y=sqrt(bS/a) +2b

Это и будут оптимальные размеры бумаги.