Формулу для дисперсии нашли правильную. Надо только внимательнее считать:
D(X)=int (0;1) ([x-3/4]^2*3x^2)dx=3*int (0;1) (x^4-3/2x^3+9/16x^2)dx
Дисперсия по определению не может быть отрицательной величиной.
Кстати, формула, которую предложила tig81, часто бывает удобнее для вычислений.