Идея простая. Нужно уравнение каждой границы фигуры переписать в координатах (fi, r). Затем выбрать на исходном графике какую-нибудь вершину и начинать идти в какую-нибудь сторону по границе (например, так, чтобы фигура всегда оставалась слева). При этом параллельно строить график в прямоугольных координатах (fi,r) так, будто x - это fi, а y - r (хотя можно и наоборот - никто не запрещает). В итоге у Вас должна получиться замкнутая фигура, а двойной интеграл по исходной фигуре заменится на двойной по новой с учётом якобиана.