вкратце получилось так:
1) /l1=4+3i ; /l2=4-3i , так как D<0
2)y^= e^4x(C1*cos3x+C2*sin3x)
3)f(x)=x*sin6x=(0*cos6x+1*x*sin6x)e^0*x => совпадений нет
y*=e^0*x((A1x+B1)cos6x+(C1x+D1)sin6x)
(y*)'=(A1+6*D1+6*C1)cos6x+(C1-6*A1*x-6*B1)sin6x
(y*)''=(12*C1-36*A1*x-36*B1)cos6x+(-12*A1-36*D1-36*C1*x)sin6x
потом получил:
A1=48/2425
B1=17869/(2425)^2
C1=-11/2425
D1=-29608/(2425)^2
и в итоге общее решение:
y=e^4x(C1*cos3x+C2*sin3x)+((48/2425)*x+17869/(2425)^2)cos6x-((11/2425)*x+29608/(2425)^2)sin6x
(IMG:style_emoticons/default/blink.gif)