В результате получается int 1/(1-t^2)^(1/2)dt = arcsin t или ответ будет x*arcsin(xy).

Получается, что это преподаватель ошиблась, а не я