Можно сделать замену y'(x)=z(x), тогда
z'=2*x*ln(x)
Интегрируете,потом делаете обратную замену и интегрируете ещё раз.