Вообще говоря, приведённая плотность - не плотность. На двоечку бы поделить...

Под "нелинейной регрессией по Y" понимается, видимо, условное математическое ожидание M(X|Y=y). Умеете его считать? Сначала условную плотность X по Y как отношение совместной плотности f(x,y) к плотности Y: f(x|y)=f(x,y)/f(y). Плотность Y получается интегрированием совместной плотности по всем возможным иксам.
Потом по этой условной плотности считаете матожидание M(X|Y=y) = интеграл от x * f(x|y) dx.
Получается функция от y - ответ. Можно этот ответ записывать как функцию X от Y. У меня получилось что-то типа M(X|Y) = (2+Y) / (3+2Y), но надо перепроверять.