Цитата(stupetrova @ 4.12.2011, 15:01) *

подставила найденные строкой выше значения векторов в формулу и получила arccos 20/|20|

а, ну тогда ясно, неправильно конечно.
Раскрывайте скобки во втором выражении