попробовал решить, че то сомневаюсь что правильно =(
опишу коротко
матрица такая изначально сформировалась
2 8 1
2 -6 1
8 8 1
Определитель равен 84 <>0
ранг матрицы равен 3
обратная матрица
а11 = -14
а12 = 0
а13 = 14
а21 = -6
а22 = -6
а23 = 0
а31 = 14
а32= 0
а33 = 28
Обратная матрица получилась такая
-14 0 14
-6 -6 0
14 0 28
и все это деленная на определитель 84
координаты вектора относительно нового базиса получились (1.5;-1.6;3)
Все делал по примеру данный сдесь
Смущает меня результат так как не целые числа а десятичные дроби получились