Сначала надо найти уравнение плоскости, проходящей через данные три точки. Потом найти уравнение прямой, перепендикулярной этой плоскости и проходящей через начало координат, а затем найти точку их пересечения. Это и есть искомая точка.