По-моему,лучше сразу по частям.Получится
I=x*arctg(sqrt(x))-0.5*int(sqrt(x)*dx/(1+x)).
Во втором интеграле делаете замену sqrt(x)=t и всё,дальше дело техники.