По идее мне надо провести нормаль от некоторой точки в плоскости к точке в пространстве и проверить, находится ли конец нормали в треуогльнике или нет.
Вам надо найти основание перпендикуляра, опущенного из точки на плоскость. Ищите, таких задач рассмотрено много.
П.С. Так а что такое полигон?