Цитата(кокер @ 26.12.2009, 13:30) *

Т.Е. будет вот такая система
С'1sin2x+C'2cos2x=0
2C'1cos2x-2С'2sin2x=2sin2x+2

Зачем Вы всё домножили на 2? Если есть два решения y1 и y2 уравнения y''+a*y'+b*y=f(x), то функции С1 и С2 находятся из системы
С1'*y1+C2'*y2=0;
C1'*y1'+C2'*y2'=f(x)