У вас у получился равным 3sqrt(1-x^2), тогда dy=...?
P=..., Q=...?
Пределы интегрирования какие? Смотрите от какой до какой точки у вас изменяется (а именно абсциссы этих точек).
я свой пост написал раньше чем прочитал ваш ответ поэтому там неверно
dy=-3x/sqrt(1-x^2)
тогда получается от 1 до 0
int(1.0){ 3sqrt(1-x^2) + ydy } = int(1.0) {3sqrt(1-x^2) - 9x dx} = 3 int(1.0){sqrt(1-x^2) - 3x} = 3( -3 -1 ) = -12
??

получается Y*dy = -3x/sqrt(...) * 3sqrt(...) = -9x