Господа! Горю!

Имеется система:
x1+x2+3x3-2x4+3x5=1
2x1+2x2+4x3-x4+3x5=2
3x1+3x2+7x3-3x4+6x5=3

Необходимо проверить на совместность и решить (в случае совместности).

Исходя из того, что rangA = rangA* - делаем вывод, что система совместна. Далее...

После преобразований методом Гауса расширенной матрицы, имеем такую матрицу:
1 1 3 -2 3 1
0 0 -2 3 -3 0

Т.е.:
x1+x2+3x3-2x4+3x5=1
-2x3+3x4-3x5=0

Дальше у меня тупик.. Кто свободные члены, а кто неизвестные? Как дальше решать систему?

Вроде все верно сделано.
Итак, вначале определяем количество свободных переменных. Оно равно разности n-r, где n - количество переменных, r - ранг матрицы. Т.е. в вашем случае получаем 3. В качестве свободных выбираем, например, х2, х4 и х5. Выражаете теперь х1 и х3 через свободные.