Тангенс тридцати градусов - табличное значение, хоть и с корнем. Возведите обе части уравнения b/a =tg30 в квадрат, будет легче.

Кроме того, у Вас есть еще одно, ранее полученное соотношение на a^2 и b^2, то есть их можно найти из системы - два уравнения на два неизвестных!