Цитата(Gosha @ 4.7.2009, 22:54) *

По идее мне надо провести нормаль от некоторой точки в плоскости к точке в пространстве и проверить, находится ли конец нормали в треуогльнике или нет.

Вам надо найти основание перпендикуляра, опущенного из точки на плоскость. Ищите, таких задач рассмотрено много.

П.С. Так а что такое полигон?