А если упростить все это дело? Записать векторы в координатной форме, записать скалярные произведения, по идее все должно свестись к смешанному произведению указанных векторов, наверное
Слишком долго.
Нужно использовать то, что объём параллелепипеда, построенного на векторах a,b,c, равен модулю их смешанного произведения, которое расписывается через определитель матрицы из координат векторов. Остаётся только вспомнить, что детерминант произведения матриц равен произведению детерминантов и что при транспонировании детерминант не меняется.