Ну да, к полярным, опечатался.
Нужно сделать замену
x = a * r * cos fi, y = b * r * sin fi
Тогда
S = int int a * b * r dr dfi