Помучал я еще немного это ДУ. Если в исходном условии вместо 2*(x^2)*y*(y')^2 взять 3*(x^2)*y*(y')^2 (т.е. вместо 2 написать 3), то выкладки меняются слледующи образом:

(x^4)*y'' - (x^3)*(y')^3 + 3*(x^2)*y*(y')^2 - (3*x*(y^2) + 2*x^3)*y' + 2*(x^2)*y + y^3 = 0

(x^4)*y'' - (x*y' - y)^3 + (x^2)(2*y - 2*x*y') = 0

Т.к. это обобщенное однородное ДУ (k = 1) то заменой x = e^t y = z*e^t получил:

z'' - z' - (z')^3 =0

z' = u

u' - u - u^3 = 0

А это уже ДУ с раздел. частями:

(du/(u+u^3)) - dt = 0 =>

u/(sqrt(1 + u^2)) = C1*e^t =>

Возвращаясь к z:

z'/(sqrt(1 + (z')^2)) = C1*e^t =>

z' = sqrt((C1^2 * e^(2*t))/(1 - C1^2 * e^(2*t)))

Прям интергрированием получим:

z = arcsin(C1*e^t) + C2

И возвращаясь к x и y:

y = x*arcsin(C2 * x) + C1*x

Получилось в точности как в в ответе. Видать в условии опечатка.

Всем спасибо! Тему можно закрывать.