Y''+2Y'+2Y=Xe^(-X); Y'(0)=Y(0)=0
Yон=Yoo+Yчн
k^2+2*k+2=0
D=-4
k1=-1+i
k2=-1-i
Yoo=e^(-1X) *(C1*cos(X)+C2sin(X))
Yчн=(A*X+B )*e^(-X)
Y'чн=A*e^(-X)+(A*X+B )*e^(-X)
Y''чн=A*e^(-X)+A*e^(-X)+(A*X+B )*e^(-X)
A*e^(-X)+A*e^(-X)+(A*X+B )*e^(-X)+2(A*e^(-X)+(A*X+B )*e^(-X))+2((A*X+B )*e^(-X))
После сокращения:
e*(-X) *(A+A*X+B )=0
A*X=-A-B
X: ?
Xo: ?
Дальше незнаю. Могот быть ошыбки в решении.

Да, такое получается.
y = -e^(-x) * sin x + x * e^(-x)