Int(1/cos^3(x)). А если числитель и знаменатель домножить на косинус, затем косинус в знаменателе записать через синус?
П.С. После подстановки пределы не пересчитали.

du=...dfi
uv - с подстановкой пределов
Посмотрите либо в числителе прибавить и отнять 1, либо биномиальный дифференциал, либо постановка fi^2+1=z^2, либо используя формулу int(P[n](x)/sqrt(x^2+ax+b ))=Q[n-1](x)/sqrt(x^2+ax+b )+k*int(dx/sqrt(x^2+ax+b ))