Цитата(mery @ 2.2.2010, 17:16) *

Просто меня смутило то,что a перпендикулярно к b, тогда cos90=0.

Или надо всмопнить геометрический смыл скалярного произведения.
Цитата
Следовательно, воспользоваться формулой a*b=|a|*|b|*cos90=0 бессмысленно,

ну не бессмысленно, но все же надо воспользоваться не определением скаляного произведения, а скалярным произведением в координатной форме.
Цитата
а как вытащить координаты b по-другому?

А какие координаты имеет этот вектор в общем виде. Как-то учли тот факт, что о лежит в плоскости хОУ?