если примерно, то тогда можете пользоваться методом наименьших квадратов - идея решения например здесь http://www.exponenta.ru/educat/class/cours...e_7/example.asp

Другая возможность - подставить значения коодринат х, у - заданных точек в уравнение для квадратной функции и решать систему 3 уравней с 3 неизвестными - это в случае, что все точки точно лежат на параболе.