Я просто подставил в искомое.

Получил это
Acosx+Acosx-Axsinx-Bsinx-Csinx-Ccosx+Cxsinx-Dcosx+3Asinx+3Axcosx+3Bcosx+3Ccosx-3Cxcosx
-3Dsinx-4Axsinx-4Bsinx-4Cxcosx-4Dcosx=xsinx

Затем упростил и получил это
2Acosx -5Axsinx-5Bsinx-Csinx-2Ccosx+Cxsinx-5Dcosx+3Asinx+3Axcosx-7Cxcosx+3Bcosx-3Dsinx=xsinx

Теперь делаю систему. коэффициенты перед sin, одно и перед cos другое

-5Ax-5B-С+Сx+3A-3D=x
2A-2C-5D+3Ax-7Cx+3B=0