Ну метод вариации произвольной постоянной для диффернциального уравнения применяется так. Решаем однородную систему, а затем варируем произвольную постоянную. Ну по-аналогии с этим, думала, что и для систем ДУ также.
Честно говоря, как решать системы таким методом я не знаю, точнее просто никогда не решала.

Ну да принцип такой. Меня просто смутило то, что по ходу решения надо находить собственные числа и векторы, а тут эта система получается зависимая и вот тут загвоздка получилась.) Лан придется у препода спросить, хотя это долгая история.
а как вы находили собственные значения? Потому что у меня их получилось два: 0 и 2.
я вот насчет нуля не знаю, а какой тогда вектор отвечающий числу 0 взять? любой:))