Гиперболу xy=4 Вы рассматриваете в промежутке [0; 5] а надо в каком?
Однако и это не надо - Вы же уже сосчитали площадь заштрихованной области. Вот и вычтите её из площади треугольника - посмотрите, я так и сделал.