Общую формулу Вы вряд ли получите. Думаю, здесь стоит разложить внутренние синус и тангенс в ряд до некоторого порядка, а потом внешние синус и тангенс с новыми аргументами снова разложить в ряд до того же порядка точности. Судя по Maple, первый ненулевой коэффициент появится при x^7.