Здравствуйте. У меня уравнение у"-2*y'+10*y=e^(-2x). решила характеристическое уравнение, x=1+3*корень из i и x=1-3*корень из i. тогда общее решение уравнения y0=e^(-2x)*(c1*cos3x+c2*sin3x). частное решение - y=e^(-2x)*(A*cos3x+Bsin3x). а вот дальше у меня не получается, т.к. я не знаю, как находить производную y' и y". Подскажите, пожалуйста

Так и должно быть, потому что Вы подставляли в уравнение не частное решение, а решение ОДНОРОДНОГО уравнения: e^x * (C1 * cos 3x + C2 * sin 3x).
А нужно подставлять частное решение. Оно имеет вид y_ч = A * e^(-2x).
Тогда
y'_ч = -2 * A * e^(-2x), y''_ч = 4 * A * e^(-2x)
Подставляем в уравнение:
y''- 2 * y' + 10 * y = e^(-2x)
4A * e^(-2x) - 2 * (-2A * e^(-2x)) + 10 * A * e^(-2x) = e^(-2x)
10 * A * e^(-2x) = e^(-2x) => A = 1/10.
Тогда y_ч = 1/10 * e^(-2x).
А решением всего уравнения будет
y = e^x * (C1 * cos 3x + C2 * sin 3x) + 1/10 * e^(-2x).

а почему такое?

А - известно, а В - нет. его ж для решения уравнения тоже нужно найти?