Т.к. степень числителя больше степени знаменателя, то надо выделить целую часть. Для этого нужно числитель оделить на знаменатель.

Или можно поступить следующим образом: int(x^2 * dx/(x-1))=int([(x^2-1)+1] * dx/(x-1))=int([(x-1)(x+1)+1] * dx/(x-1))=int((x+1)dx)+int(dx/(х-1))=...