Один корень λ1 угадать/подобрать (если многочлен имеет корни, то они являются делителем свободного коэффициента), а затем полученный характеристический многочлен поделить на λ-λ1. В результате получите квадратное уравнение для нахождения двух оставшихся корней. Методы решения такого уравнения хорошо известны.