Вы на самом деле ищите массу части поверхности (пластины), ограниченную кривыми x=0;y=0;y=x-2
Двойной интеграл int(D){dxdy} есть площадь...
А нужно найти массу ОТРЕЗКА, посмотрите тему криволинейные интегралы
m=int(AB){gamma*dS}
gamma - плотность
dS - дифференциал дуги