Должно получиться
r^5 - 2r * (r^7 * cos^7 fi + r^5 * sin^5 fi)
Этот интеграл уже легко считается.