Что получилось после исправления?
Если все правильно сделали, то приравняйте коэффициенты при синусе и косинусе слева и справа соответственно.
получилось:
Y*=-3Asin2X+3Bcos2X+X(-2Acos2X-2Bsin2X)+4(Acos2X+Bsin2X)-4X(Asin2x+Bsin2X)-12X(Acos2X-Bsin2X)=-40sin2X
про коофициенты что-то не могу понять
