Сначала надо составить уравнение прямой AB. Несложно понять, что ее уравнение y = -x, причем x меняется от -pi/3 до pi/2.
Осталось в интеграл вместо y подставить -х. Получаем:
int (-pi/3 pi/2) cos x d(-x) - x * (-x) dx.