Что такое орт знаете?
Формула для проекции написана: a * b/|a|, но проекция это не вектор, а число. Вверху стоит скалярное произведение.
Неправильно нашли косинус угла между векторами, а с арккосинусом вообще неправильно написали.
И смешанное произведение неправильно нашли в конце.