y"+y=(tan(x))^2
решение однородного:y=c1cos(x)+c2sin(x)
дальше применила метод вариации постоянных c1=c1(x),C2=c2(x)
y"=-c1`sin(x)-cos(x)c1+c2`cos(x)-c2sin(x)
подставила в исходное
-c1`cos(x)-cos(x)c1+c1`cos(x)-c2sin(x)+c1cos(x)+c2sin(x)=(tan(x))^2
ввела добавочное условие c1`cos(x)+c2`sin(x)=0
полусила систему двух уравнений
c1`cos(x)+c2`sin(x)=0
-c1`sin(x)+c2`cos(x)=(tan(x))^2
или
c1`=-(tan(x))^2*sin(x)
c2`=sin(x)^2/cos(x)
решая эти два уравнения получила
y=-2+c4cos(x) +sin(x)*ln|tan(x/2+pi/4)|+c3sin(x)

Посмотрите пример.

так этим методом и пользовалась первое уравнение системы и получается c1`cos(x)+c2`sin(x)=0

система получилась правильная:
c1`cos(x)+c2`sin(x)=0
-c1`sin(x)+c2`cos(x)=(tan(x))^2

Вот так мне понятнее. А то что-то куда-то подставляли. (IMG:style_emoticons/default/smile.gif) Так не умею. Решайте теперь полученную систему относительно c1` и c2`.

c1`=-(tan(x))^2*sin(x)
c2`=sin(x)^2/cos(x)
в первом уравнении внесла sin(x) под дифференциал, tg выразила через cos(x) и получила
c1=-1/cos(x)-cos(x) +c4
во втором заменила sin^2(x)=1-coc^2(x)? и воспользовалась готовым интегралом in 1/cos(x)*dx-in cos(x) dx
c2=ln|tan(x/2+pi/4)|-sin(x)+c3
подставляя в y=c1cos(x)+c2sin(x)
получила
y=-2+c4cos(x) +sin(x)*ln|tan(x/2+pi/4)|+c3sin(x)