Вобщем программа написана правильно, просто нужно ещё и правильно преобразовать систему уравнений, то есть матрицу, составленную из коэффициентов при x.
Необходимое условие сходимости метода - доминирование главной диогонали.