Цитата(dark-saber @ 22.5.2008, 1:18) 
Затем надо как-то проверить сходимость на границе. Подставляю |z|=5/(2^(1/2)) ...
Произвольная точка на окружности радиуса 5/sqrt2 как выглядит? У Вас получилась подстановка только одной из точек.
Исправьте и посмотрите необходимый признак сходимости.