вкратце получилось так:
1) /l1=4+3i ; /l2=4-3i , так как D<0
2)y^= e^4x(C1*cos3x+C2*sin3x)
3)f(x)=x*sin6x=(0*cos6x+1*x*sin6x)e^0*x => совпадений нет
y*=e^0*x((A1x+B1)cos6x+(C1x+D1)sin6x)
(y*)'=(A1+6*D1+6*C1)cos6x+(C1-6*A1*x-6*B1)sin6x
(y*)''=(12*C1-36*A1*x-36*B1)cos6x+(-12*A1-36*D1-36*C1*x)sin6x
потом получил:
A1=48/2425
B1=17869/(2425)^2
C1=-11/2425
D1=-29608/(2425)^2
и в итоге общее решение:
y=e^4x(C1*cos3x+C2*sin3x)+((48/2425)*x+17869/(2425)^2)cos6x-((11/2425)*x+29608/(2425)^2)sin6x

Частное решение нужно искать в виде

y*=(A1x+B1)cos6x+(C1x+D1)sin6x

ну, так и у меня так y=y^+y* меня пугают числа получившиеся, пытался проверить подстановкой вроде не сошлось
PS если вы про e^0*x то не обращайте внимания это единица))не помню что хотел этим сказать))глюки уже)

У Вас написано
y*=e^0*x((A1x+B1)cos6x+(C1x+D1)sin6x)

дальше я не стал смотреть.

Коэффициенты неправильно нашли. Где то допустили ошибку.

Правильные значения

A1 = 48/2425, B1 = 17748/5880625, D1 = -30136/5880625, C1 = -11/2425

нет, только я могу4 раза пересчитывать и 4 раза получать разные неверные ответы....спасибо)