У Вас в числителе стоит 24*i-10*j+12*k, а это вектор,потому что i,j,k - векторы.
По поводу матриц - если уравнение дано Х*А=В, и А - невырожденная, тогда Х = В*(А^(-1)).