Цитата
где U - приямоугольник с угловыми точками ABC.

Так ведь область Д, прямоугольник. Нужно найти четвертую точку и расставить пределы, четвертая точка будет D(1;3).
А в Вашем интеграле область это прямоугольный треугольник...