Решал методом Эйлера:
x^3*y'''+xy'=x-3/x
x=e^t
t=lnx
y'=(dy/dt)*e^(-t)
y''=(((d^2)y/dt^2)-dy/dt)*e^(-2t)
после подстановки и сокращения получилось:

((d^3)y/d(t^3))-3(d^2)y/dt^2+3dy/dt=0

y=y(общее)+у*1+у*2

общее решение нашёл: y=c1+c2*e^(3/2х)*cos((корень3/2)x)+c3*e^(3/2х)*sin((корень3/2)x)

частное решение 1:((d^3)y/d(t^3))-3(d^2)y/dt^2+3dy/dt=е^t

частное решение 2: ((d^3)y/d(t^3))-3(d^2)y/dt^2+3dy/dt=-3/(e^t)

1)частное решение y*1=xAe^x
y'*1=Ae^x+xAe^x
y'*1=2Ae^x+xAe^x
y''*1=3Ae^x+xAe^x

тогда 3Ae^x+xAe^x-3*(2Ae^x+xAe^x)+3Ae^x+3xAe^x=e^x
сократилось и получилось
xAe^x=e^x
A=1
тогда у*1=xe^x

2)((d^3)y/d(t^3))-3(d^2)y/dt^2+3dy/dt=-3/(e^t)
опять рассматривать как
y'*1=Ae^x+xAe^x
y'*1=2Ae^x+xAe^x
y''*1=3Ae^x+xAe^x
из этого следует что A=-3

y*2=-3xe^x
y=c1+c2*e^(3/2х)*cos((корень3/2)x)+c3*e^(3/2х)*sin((корень3/2)x)+xe^x-3xe^x
Правильно?

Вы забываете всё время,что переходите к другой переменной.

Извините, я забыл, что там не х, а t
y=c1+c2*e^(3/2t)*cos((sqrt3/2)t)+c3*e^(3/2t)*sin((sqrt3/2)t)
t=lnx
общее решение
y=c1+c2*e^((3/2)*lnx)*cos((sqrt3/2)lnx)+c3*e^(3/2t)*sin((sqrt3/2)lnx)


частное решение 1:((d^3)y/d(t^3))-3(d^2)y/dt^2+3dy/dt=е^t

частное решение 2: ((d^3)y/d(t^3))-3(d^2)y/dt^2+3dy/dt=-3/(e^t)

1)частное решение y*1=tAe^t
y'*1=Ae^t+tAe^t
y'*1=2Ae^t+tAe^t
y''*1=3Ae^t+tAe^t

тогда 3Ae^t+tAe^t-3*(2Ae^t+xAe^t)+3Ae^t+3tAe^t=e^t
сократилось и получилось
tAe^t=e^t
A=1
тогда у*1=te^t

2)((d^3)y/d(t^3))-3(d^2)y/dt^2+3dy/dt=-3/(e^t)
опять рассматривать как
y'*1=Ae^t+tAe^t
y'*1=2Ae^t+tAe^t
y''*1=3Ae^t+tAe^t
из этого следует что A=-3

y*2=-3te^t

y=c1+c2*e^((3/2)*lnx)*cos((sqrt3/2)lnx)+c3*e^((3/2)*lnx)*sin((sqrt3/2)lnx)+lnx*e^lnx-3*lnx*e^lnx

Почему Вы в таком виде ищете решение? Резонанса нет, корни характеристического многочлена не совпадают с показателями экспонент справа, значит, оба частных решения нужно искать в том же виде,в каком они стоят справа, т.е. A*e^t и B*e^(-t).