Спасибо, Julia, вроде бы разобрался.
Цитата
Может быть в задании дан угол между векторами a и b?

Нет, угол не дан. Странная какая-то задача. Сделаю решение через скалярное.