Независимо от того куда Вы перемещаетесь Вы совершаете работу (тратите энергию), поэтому оперировать стоит со скалярными величинами. Это мое лично мнение. С другой стороны, вектор силы, под действием которой тело перемещается, и вектор перемещения должны совпадать по направлению, иначе перемещение будет невозможно, т.е. оперировать стоит со скалярными величинами F, s.
Это мой взгляд на вопрос.