должно быть так
y'' = ( (-4x + 6) (x^2 - 3x +3) ^2 - 2(x^2 -3x +3) (2x - 3) (-2x^2 +6x - 3) ) / (x^2 -3x +3) ^4

далее сокращаем дробь на (x^2 -3x +3), и выносим в числителе множитель (-4x + 6)