Господа! Горю!

Имеется система:
x1+x2+3x3-2x4+3x5=1
2x1+2x2+4x3-x4+3x5=2
3x1+3x2+7x3-3x4+6x5=3

Необходимо проверить на совместность и решить (в случае совместности).

Исходя из того, что rangA = rangA* - делаем вывод, что система совместна. Далее...

После преобразований методом Гауса расширенной матрицы, имеем такую матрицу:
1 1 3 -2 3 1
0 0 -2 3 -3 0

Т.е.:
x1+x2+3x3-2x4+3x5=1
-2x3+3x4-3x5=0

Дальше у меня тупик.. Кто свободные члены, а кто неизвестные? Как дальше решать систему?

Тогда..

x1, x3 - базисные
x2, x4, x5 - свободные

x3=1,5x4-1,5x5
x1=1-x2-4,5x4-4,5x5+2x4-3x5=1-x2-2,5x4-7,5x5

B получаю вектор X из элементов:
x1=1-x2-2,5x4-7,5x5
x2=x2
x3=1,5x4-1,5x5
x4=x4
x5=x5

А дальше? Вместо свободных подставляем (1;0;0)?
Тогда получаю вектор X=(0,1,0,0,0).

Всё ли верно?

Коэффициент возле х5 у меня не такой получился.

Это вы нашли общее решение вашей системы

Если надо находить частное решение, то да, вместо свободных переменных подставляете произвольные значения. Можете даже все нули взять.
Только вектор Х не такой получается. Пересчитайте еще рах х1.