Здесь z комплексное, да ещё и с нулевой действительной частью. Посмотрите на интеграл от x^{a-1}*exp(-x)dx и увидьте, что он в нуле расходится при a <= 0!

Не понимаю, в чём проблема. Под интегралом t есть? Степень у него есть? (1-t) есть? Степень у него есть? Границы изменения t от 0 до 1 есть? Даже выражение для бета-функции через интеграл написано. Сравнивайте почленно определение и имеющийся интеграл.