Всё. Во-первых не матрица равна 0, а ее определитель. Так как определитель матрицы равен 0, то метод через a11,... применять нельзя. Здесь надо применить метод Гаусса например.