3х1+2х2+х3+3х4+5х5=0
6х1+4х2+3х3+5х4+7х5=0
9х1+6х2+5х3+7х4+9х5=0

решение: преобразовываем матрицу и получаем
3 2 1 3 5
0 0 1 -1 -3

ранг матрицы равен 2, кол-во неизвестных = 5, значит 5-2=3 - фундаментальная система решение состоит из трех векторов

а как вот выразить х1 и х2 через вектора х3,х4,х5 ???

Преобразования не проверял. Если вы сосчитали все правильно, то тут надо выражать не x1 и x2 через другие неизвестные, а, например, x1 и x3.

все получилось. спасибо