Я подставила в уи у', вот что получается, но у меня точно где-то ошибка!
у: 1/4=-3i/8+C3 +C4
y': -i=C3+C4 (А решения то нет.... что-то я не учла, впрочем как обычно)

Откуда у Вас в уравнении взялись вообще мнимые единицы? Вы нашли решения однородного уравнения: y1=sin(2x), y2=cos(2x); нашли неизвестные функции С1 и С2:
С1=-1/16*сos4x+1/4* sin2x+А
С2=-1/4*x+1/16(sin4x)+1/4(cos2x)+ B
Теперь записываете общее решение:
y=sin(2x)*(-1/16*сos4x+1/4* sin2x+А)+cos(2x)*( -1/4*x+1/16(sin4x)+1/4(cos2x)+ B ).
Дифференцируете, подставляете начальные условия - y(0)=3, y'(0)=9.
Получается 2 уравнения на неизвестные константы, из которых они и находятся.

А=25/16
В=11/4

B правильно, А не проверял.

К этому вообще незнаю с какой стороны подходить (IMG:style_emoticons/default/worthy.gif) (IMG:style_emoticons/default/umnik.gif)

Сделайте замену z(x)=y'(x), тогда z'=y'' и получится уравнение
z'cos(x)+zsin(x)=0.
Разделяете переменные,интегрируете,находите z(x), потом ещё раз интегрируете,находите у(х).

ну вот как-то так получилось
z'cosx+zsinx=0
z'cosx=-zsinx
z'/z=-sinx/cosx
z'/z=-tgx
интегрируя получаем
lnz=ln|cosx|
z=e^ln|cosx|
z=|cosx|+А
y'=|cosx|
y''=|sinx|+В
|sinx|*cosx+|cosx|*sinx=0
Или здесь А и В искать не надо?

Надо конечно.