Цитата(Элечка @ 13.10.2008, 15:19) *

y"-2y'+10y=0, k^2-2*k+10=0, D=4-40=-36.

верно, дискриминант такой. Теперь ищем корни:
k1,2=(2+-sqrt(-36))/2=[2+-6sqrt(-1)]/2
sqrt(-1)=i
т.е. k1=(2+6i)/2=1+3i, k2=(2-6i)/2=1-3i
Действительная часть а=1, мнимая b=3. Тогда

yодн=e^ax(C1cosbx+C2sinbx)=e^x(C1cos3x+C2sin3x)

Ссылку посмотрели на образец решения?