Если через векторы, то можно так.
Найти координаты векторов АВ и АС.
Точки А, В и С на одной прямой только если эти векторы параллельны, т.е. их координаты пропорциональны.