Задание: Вычислить массу тела, ограниченного прямым круглым цилиндром радиуса R, высоты H, если его плотность в любой точке численно равна квадрату расстояния этой точки от центра основания цилиндра.
Решение:
уравнение цилиндра: x^2+y^2+z^2=R^2
плотность равна: m= x^2+y^2+z^2
Переходим к цилиндрическим координатам
Тогда: m=r^2+z^2
Вычисляем массу:
M=int(0, 2Pi)d(phi) int(0, R) rdr int(0, H) (r^2+z^2)dz далее вычисления

Меня интересует, правильно ли я рассуждаю, правильно ли расставлены пределы интегрирования.

Уравнение цилиндра неправильно записали. То, что у Вас - это сфера, а не цилиндр.
Пределы вроде бы верно расставили.

Ну да, опечаточка вышла. Но в принципе это на ход решения не влияет.