Решение такое:
int x*sin(x)*cos(x)dx = x*( -(cos(x))^2 ) - int -(cos(x))^2dx = -(x*(cos(x))^2/2 - sin(x)*cos(x) = (-2*sin(x)*cos(x)- (cos(x))^2 )/2