После подстановки
x = r * cos fi, y = r * sin fi получилось
(*) r^2 = a^2 * (3 * sin^2 fi - cos^2 fi)/cos^6 fi.
Изначально fi может меняться от 0 до 2pi. Но так как справа в (*) стоит четная функция, то график симметричен относительно оси х (полярной оси) и можно найти площадь части фигуры, расположенной выше оси х и умножить ее на 2. Поэтому можно (для поиска площади половины фигуры) изменять fi от 0 до пи.
Далее, из (*) следует, что угол fi должени удовлетворять условию
3 * sin^2 fi - cos^2 fi>=0, т.е. |tg fi| >= 1/3^(1/2).
Поэтому fi меняется от pi/6 до pi/2 и от pi/2 до 5 * pi/6
(точка pi/2 - отдельная. в ней r бесконечность, поэтому фигура неограниченная).
Тогда полная площадь должна быть равна:
S = 2 * {1/2 * int (pi/6 pi/2) [a^2 * (3 * sin^2 fi - cos^2 fi)/cos^6 fi] dfi +
+ 1/2 * int (pi/2 5pi/6) [a^2 * (3 * sin^2 fi - cos^2 fi)/cos^6 fi] dfi}