∫ от 0 до 1 x^n (1-x^k)^m dx
Напоминает Бетта функцию, но что делать с k-степенью?

Наверно, можно сделать замену t = x^k.

тогда x=t^(1/k)
dx=1/k * t^(1/k - 1)
А пределы интегрирования такими же останутся?

да

∫ от 0 до 1 1/k * t^(n+1-k / k) *(1-t)^n dt
1/k можно вынести за знак интеграла?

да,это константа

у меня получилось 1/k B(n+1 /k; n+1). Правильно?