Можно просто заменить Sin z на z.
lim (z->0) (z^2 * f(z))' =
((2z * sin^3 + 3z^2 * sin^2 * cos) * (1 - cos) + z^2 * sin^4)/(1 - cos)^2
= lim (z->0) ((2z * sin^3 + 3z^2 * sin^2 * cos) * (1 - cos) + z^2 * sin^4)/(1 - cos)^2 =
= lim (z->0) ((2z^4 + 3z^4) * 2 * sin^2 (z/2) + z^6)/(2 * sin^2 (z/2))^2 =
= lim (z->0) (10z^4 * (z/2)^2 + z^6)/(2 * (z/2)^2)^2 =
= lim (z->0) (5/2 * z^6 + z^6)/(z^4/4) = 0
Вроде и правда ноль получается.