проверьте

y_ч=(ax+B ) *e^x

y'=a*e^x+ (ax+B ) *e^x

y''= a*e^x+ a*e^x+ (ax+ B )*e^x

потом подставляем в исходное выражение

a*e^x+ a*e^x+ (ax+B ) *e^x+2* (a*e^x+ (ax+B ) *e^x)+10*((ax+B ) *e^x)=x*e^x

что дальше делать?