Откуда у Вас в уравнении взялись вообще мнимые единицы? Вы нашли решения однородного уравнения: y1=sin(2x), y2=cos(2x); нашли неизвестные функции С1 и С2:
С1=-1/16*сos4x+1/4* sin2x+А
С2=-1/4*x+1/16(sin4x)+1/4(cos2x)+ B
Теперь записываете общее решение:
y=sin(2x)*(-1/16*сos4x+1/4* sin2x+А)+cos(2x)*( -1/4*x+1/16(sin4x)+1/4(cos2x)+ B ).
Дифференцируете, подставляете начальные условия - y(0)=3, y'(0)=9.
Получается 2 уравнения на неизвестные константы, из которых они и находятся.