y"-2y'+10y=0, k^2-2*k+10=0, D=4-40=-36.
верно, дискриминант такой. Теперь ищем корни:
k1,2=(2+-sqrt(-36))/2=[2+-6sqrt(-1)]/2
sqrt(-1)=i
т.е. k1=(2+6i)/2=1+3i, k2=(2-6i)/2=1-3i
Действительная часть а=1, мнимая b=3. Тогда
yодн=e^ax(C1cosbx+C2sinbx)=e^x(C1cos3x+C2sin3x)
Ссылку посмотрели на образец решения?