Предлагаю свое решение для ЭВМ.

Для начала нужно проверить лежат ли эти точки на одной прямой (см. http://alexlarin.narod.ru/Ucheb/mamirgr2.html п. 1).
Если все точки лежат на одной прямой, то провести окружность невозможно (утверждение не обосновал).

Далее пусть координаты центра окружности - (x, y), координаты точек (x1, y1), (x2, y2), (x3, y3), радиус - r.
Пусть x1 не равен x2 (Если равен то взять другую пару).
Тогда справедливо следующее:
(x-x1)^2+(y-y1)^2=r^2 (1)
(x-x2)^2+(y-y2)^2=r^2 (2)
(x-x3)^2+(y-y3)^2=r^2 (3)
Приравняем (1) и (2), затем выразим x через y.
Приравняем (1) и (3) (или (2) и (3)), подставляем выражение x и находим y. Через y находим x.
Для нахождения радиуса подставляем найденные (x, y) куда-нибудь.