во-первых, где у вас сам вычет, обычно он обозначается res!?
Т.е. вы получили особую точку - полюс второго порядка. Для нее вычет определяется по следующей ф-ле: вычет полюса n-го порядка
res(f(z0))=(1/(n-1)!)*lim(z->z0)[f(z)(z-z0)]'_(n-1), где (n-1) - порядок производной. Т.е. надо взять производную (n-1)-го порядка от функции f(z)(z-z0).
Ту формулу , которую вы написали, надо применять в случе простого полюса, но у вас она записана с ошибкой, т.к. в знаминателе должна стоять производная.