Вот решение
Только в условии не те интервалы написал , нужно х<0 и x>3, и при 0<x<3

Функция, равная ax^2 + 3 на отрезке 0<x<3, и равная нулю вне его, ни при каком a не может быть плотностью распределения: при a=-8/9 она отрицательна при x > sqrt{27/8}. Так и скажите тому, кто давал эту задачу.