Цитата
далее я хотела сделать замену ctg(x)=t, но меня смущает dt=-cosec^2(x)dx

Да, такую замену нужно делать с самого начала
ctg(x)=t
dx/sin^2(x)=-dt