1)В самом начале интегрировать надо не от 2 до 3,а наоборот - от 3 до 2. х же уменьшается.
2)В формуле Грина - зачем Вы там всё расписывали? int(S)dxdy - это же просто площадь.которую ограничивает заданный котур,а площадь треугольника и без интеграла просто посчитать.