Подскажите, пожалуйста, с чего начинать решение. Нашла общий вид ответа на этот интеграл arcsin xy, но преподаватель сказал, что ответ не правильный. Как решить этот интеграл?

int (x/ (1-(x^2)*(y^2))^(1/2)

я тоже думаю, что вы правы, но давайте это покажем.
Может быть еще проблема в том, что вы не до конца переписали условие.
\Так что сделайте указанную замену и перепишите ваш интеграл.