Думаю, ТС имел в виду, что искомая окружность проходит через заданные точки.
Вообще есть несколько путей решения этой задачи. Самый очевидный Вам подсказала уже tig81 - записать каноническое уравнение окружности и подставить в него по очереди координаты каждой из трёх точек. Получится система из трёх уравнений с тремя неизвестными - двумя координатами центра и радиусом. В принципе, решаемо.
Но можно пойти и другим путём, если заметить, что центр искомой окружности лежит на серединных перпендикулярах к прямым, проходящим через любые две из трёх заданных точек. Берём пару точек, P1 и P2, из их координат находим уравнение прямой Р1Р2 и координаты середины М отрезка Р1Р2. Далее составляем уравнение прямой, перпендикулярной Р1Р2 и проходящей через точку М. То же делаем с парой (Р2,Р3). Имеем в итоге уравнения двух прямых, решаем их как систему - находим координаты центра. Дольше, но зато не надо решать систем квадратных уравнений. Хотя там не так уж сложно даже в общем виде решить.
Какой путь выбрать - решать Вам.