Надо вычислить интеграл, перейдя к полярным координатам..
SSsqrt(x^2 + y^2)dxdy по области G: круг с центром в начале координат с радиусом a.

В полярных координатах:
x = pcos(alpha)
y = psin(alpha)
x^2 + y^2 = p^2