Спасибо, хотя позже и сама наконец-то догадалась.
А еще подскажите, какой формулой вы пользовались для косинуса тройного угла? Попробуйте воспользоваться той, что я вам предложила, у меня нормальные корни при решении получились.
если использовать формулу косинуса тройного угла, то там получается в итоге квадратное урванение
все просто оказавается, всего 2 строчки преобразований

тока не понятно все же от чего в моем случаее такие дикие корни получаются,
вроде все преобразования проведены на законных основаниях так сказать
