У Вас один из корней характеристического уравнения совпадает с показателем экспоненты в правой части, поэтому нужно общее решение искать не в виде
y=Q(x)*e^(5x), а в виде y=x*Q(x)*e^(5x).
Когда я писал "подставляете", я имел в виду - подставляете в