Это вы находите собственные значения и собственные векторы, чтобы привести матрицу к диагональному виду? Так? Неправильно найдены собственные значения а1 и а2.
Точно... видимо, сказывается длительное отсутствие практики

Ну хорошо, получилось следующее: х2 = 3х1 при а=2 и х1 = 3х2 при а = -1... А дальше какой алгоритм?