Но это ведь неоднородная система
x'= x -y+4exp(4t)
y'=-x+y+2
Ну метод вариации произвольной постоянной для диффернциального уравнения применяется так. Решаем однородную систему, а затем варируем произвольную постоянную. Ну по-аналогии с этим, думала, что и для систем ДУ также.
Честно говоря, как решать системы таким методом я не знаю, точнее просто никогда не решала.

Нет, я думал искать решения методом вариации произвольных постоянных.
хм..так, ну вот для такой матрицы
| 1 -1|
|-1. 1| собственный вектор (-1,1) и соответствующее собст число 2.
это так?
тогда получается решение исходной системы ищем в виде
|x| . . . |-exp(2t)|
| .|=k1 | . . . . . .| и все что ли?
|y| . . . | exp(2t)|
а как вы находили собственные значения? Потому что у меня их получилось два: 0 и 2.