так этим методом и пользовалась первое уравнение системы и получается c1`cos(x)+c2`sin(x)=0

система получилась правильная:
c1`cos(x)+c2`sin(x)=0
-c1`sin(x)+c2`cos(x)=(tan(x))^2