Я начала решать это уравнение. Проверьте, пожалуйста, нет ли ошибок по ходу решения:
y''-5y'+6y=(12x-7)exp(-x)

Записываем однородное уравнение
y''-5y'+6y=0

Составляем характеристическое уравнение
k^2'-5k+6=0
Находим его корни
k1=3
k2=2

Общее решение однородного уравнения
Y=C1*exp(3x)+C2*exp(2x)

А вот дальше для правой части ДУ:
y*=(Ax+B )*exp(-x)
(y*)'=A*exp(-x)-A*x*exp(-x)



(y*)''=-A*exp(-x)-A*exp(-x)+A*x*exp(-x)=-2A*exp(-x)+A*x*exp(-x)

Пока правильно?