Ну да, к полярным, опечатался.
Нужно сделать замену
x = a * r * cos fi, y = b * r * sin fi
Тогда
S = int int a * b * r dr dfi
Ага значит, у меня была ошибка в замене. А как узнать, что с пределами интегрирования? Каков будет нижний и верхний предел? Можете объяснить?