Я извиняюсь, но мне кажется y=x*Q(x)*e^(5x) это частное решение неоднородного уравнения и я его так и считала, ответ я исправила. У Вас такой же y=C1е^(5x)+C2е^(-5x)+40е^(5x)?