Вы понимаете, о чём говорите? В первой строчке написано, что решение неоднородного уравнения - это y=x*Q(x)*e^(5x), а следом идёт общее решение уравнения, записанное как сумма решения однородного и частного решения неоднородного; последнее теперь почему-то равно 40е^(5x).
Вам нужно два раза продифференцировать функцию y=x*( Ax+B )*e^(5x), подставить её и вторую производную в уравнение и найти коэффициенты А и В.