f(x)=F'(x)=0, x<0 - Эта не существует значит?
f(x)=F'(x)=3x^2, 0<x<=1
f(x)=F'(x)=0, x>1 - И эта не существует?
Что значит не существует? А чем Вам 0 не нравится? Просто плотность вероятности f(x) равна 0 вне (0,1).
2) Математическое ожидание:
ищем на участке (0;1)M(X)=int от 0 до 1 (x*f(x))dx=int (0;1) (x*3x^2)dx=(после интегрирования получаем)= 3/4=0,75
Вообще-то по определению интеграл от -00 до +00. Но так как f(x) равна 0 вне (0,1), то этот интеграл СВЕДЕТСЯ к интегралу от 0 до 1.
Дисперсию ищем на отрезке где f(x) не равно нулю?
или как то по другой формуле?

То же самое замечание.