1) y'-4xy=x

u'v+uv'-4xvu=x
u(v'-4xv)+u'v=x
Выражение в скобках приравняем к 0:
v'-4xv=0
dv/dx= 4xv
dv/v=4xdx
lnv=2x^2
v=e^(2x^2)
Подставим v в уравнение:
u'e^(2x^2)=x
du/u=xdx/(e^(2x^2))

Никак не могу найти u?

2) (x^2+y^2)dx+xydy=0
В результате подстановки получим:
(x^2+x^2*u^2)dx+x*y*(udx+xdu)=0
x^2dx+x^2*u^2dx+x*y*udx+x^2ydu=0

Как его упростить?

3) y''+y'/x=0
y'=z
y''=z'
z'+z/x=0
u'v+v'u+uv/x=0
v(u'+u/x)+uv'=0
u'+u/x=0
du/u=-dx
u=1/cx

v'u=0
dv/dx*u=0
v=c
произведем обратную замену:
z=uv=1/x
y=int(1/x)dx=-1/x^2 +c
Здесь верно?