Ошибка - в формуле. Откуда такая формула плотности Y взялась?
Просто возьмите свой график и при каждом возможном y вычислите вероятность P(Y < y) - функцию распределения случайной величины Y.
Для этого нужно провести горизонтальную прямую на уровне y, и посмотреть, при каких значениях случайной величины X выполнено неравенство Y < y. А потом вычислить вероятность таких значений X.

Плотность по функции распределения уже находится.