По известной формуле косинуса угла между векторами.
При вычислении длин векторов а и b учтите, что

|a|^2=a*a...