Что делаете? Где конкретно вы это применяете? Как вы находите модуль вектора, если вам неизвестны его координаты?
Забудьте все, что я ранее писал. Мой мозг работал в режие "Пишу что не думаю".
Проблема вот в чем. Не совсем понимаюкак найти p, q, r. допустим p,r находил бы вот так: |p|^2 - |p||r| * Косинус Угла (В нашем слуае 120*) + |r|^2.