y''+2y'+10y= x*e^x

a^2+2a+10=0
D=4-40=-36

a1=(-2+6i)/2=-1+3i
a2=-1-3i

y(общее)= C1*e^(-1+3i)+ C2*e^(-1-3i)= e^-1(cos3x(C1+C2) +sin3x(iC1+iC2))= e^-1(Acos3x+Bsin3x)

как найти у(частное)???

проверьте

y_ч=(ax+B ) *e^x

y'=a*e^x+ (ax+B ) *e^x

y''= a*e^x+ a*e^x+ (ax+ B )*e^x

потом подставляем в исходное выражение

a*e^x+ a*e^x+ (ax+B ) *e^x+2* (a*e^x+ (ax+B ) *e^x)+10*((ax+B ) *e^x)=x*e^x

что дальше делать?

Слева раскрывать скобки и сводить подобные.