А может, вообще не правильно?
∫ arctg^2 x / (x^2 + 1) dx

arctg x dx = d ( 1 / (x^2 + 1) ) = dt
t = 1 / (x^2 + 1)


∫arctg x * dt / t = arctg x * ∫dt / t