Спасибо, хотя позже и сама наконец-то догадалась.
А еще подскажите, какой формулой вы пользовались для косинуса тройного угла? Попробуйте воспользоваться той, что я вам предложила, у меня нормальные корни при решении получились.