Далее составил эту же функцию относительно точки D.
С учетом того что она (точка D) принадлежит плоскости Oyz (x=0), и является проекцией центра сферы на эту плоскость (y=y), Функция радиуса становится функцией одной переменной (z):
R=sqrt(25+((z-3)^2))
Функция имеет минимум при z=3. И R(3)=5.
Далее подставил значение радиуса в уравнении относительно точки A (можно B,C),
получил y=+/-Sqrt(15)
В итоге есть две точки удовлетворяющие начальным условиям.
Спасибо что сказали с чего начать.
