интегрируйте по частям

u=sqrt(x^2-9), du=x/sqrt(x^2-9)
dv=dx, v=x