Использовала эти: sin^2(x)=(1-cos(2*x))/2 и cos^2(x)=(1+cos(2*x))/2
подставляла в начальный интеграл.
Получилось (4-ку потеряла в посте выше): 4*int(1/(3-2*cos(2*x)+3*cos^2(2*x)))dx.
Второй раз пересчитала - все правильно.

Ответ в мэпле ужасающий просто.
1/8*2^(1/4)*ln((2*tan(x)^2+2*2^(1/4)*tan(x)+2^(1/2))/(2*tan(x)^2-2*2^(1/4)*tan(x)+2^(1/2)))+1/4*2^(1/4)*arctan(2^(3/4)*tan(x)+1)+1/4*2^(1/4)*arctan(2^(3/4)*tan(x)-1)+1/16*2^(3/4)*ln((2*tan(x)^2-2*2^(1/4)*tan(x)+2^(1/2))/(2*tan(x)^2+2*2^(1/4)*tan(x)+2^(1/2)))+1/8*2^(3/4)*arctan(2^(3/4)*tan(x)+1)+1/8*2^(3/4)*arctan(2^(3/4)*tan(x)-1)