Лучше писать просто Y = Yо + Yч
Непонятно просто, что за н такое.
Yo = e^(-X) * (C1 * cos(X) + C2 * sin(X)) (-1X = -X)

Yч = (A*X+B )*e^(-X)
Y'ч=A*e^(-X)+(A*X+B )*(-e^(-X))

Y''ч=-A*e^(-X)-A*e^(-X)+(A*X+B )*e^(-X)