х3 у вас равно нулю (из последнего уравнения).
n=4 - кол-во переменных, r=3 - ранг, тогда n-r=1 - одна свободная переменная. Пусть х4=С....