Не получается правильно найти частное решение y''''+y''=xsinx.
решение
корни характеристического полинома: пара комплексно-сопряженных +-i и у=0, кратности 2.
Для f(x)=xsinx, корень +-i является числом, так как
(Ax+B )*e^(0*x)*(R(x)*cos1x+S(x)*sin1x) т.е 0+-1i=i
получается, что частное решение ищем в виде y1=x(ax+b )(dcosx+gsinx) в чем ошибка?

а кратность корня ч=0 чему равна?в правой части есть e^(0*x), поэтому нужно домнажать на х^s, где s-кратность нуля. А у вас на х домножается.

x=0 кратности 2, но у нас то получается число 0+-1i=i, кратности 1, тоесть 0 подходил бы для решения например такого ур-я y''''+y''=x, тогда s=2 и решение ищем в виде y=x^2(Ax+B )*e^(0*x)*(cos0*x+sin0*x)

вроде разобрался как то так должно быть
y=((Ax+B )cosx+(Cx+D )sinx)x

простите, но синус я просто не увидела.
Ну в общем случае, если правая часть - это многочлен f(x)=exp^(ax)*(Q[m](x)cosbx+P[n](x)sinbx), то
y_част=exp^(ax)*(M[k](x)cosbx+N[k](x)sinbx)*x^s
m,n-степени многочлоенов
k=max{m,n}
0, если a+-bi не является корнем характеристического уравнения
s= кратности корня, если a+-bi - корень уравнения