В условии точно xy, не 2ху? Или, возможно, в скобках перед х она лишняя. В этих случаях интеграл бы прекрасно брался, а так - нет.