Надо домножить числитель и знаменатель на
(1 + 3x^2)^(1/2) + 2.
А затем использовать формулу (a + b ) * (a - b ) = a^2 - b^2