Например так.
Соеденим нашу точку со всеми вершинами теугольника, и посчитаем сумму площадей получившихся маленьких треугольников (например по формуле герона). Дальше сравниваем её с площадью исходного треугольника. Если они совпадают, то точка внутри ли на границе треугольника. если больше, то точка снаружи. Если площади совпадают, то хорошо бы проверить, а не лежит ли наша точка в какой-нибудь из вершин или на границе. Реальзовать это просот: три ифа - проверка на совпадение данной точки с вершинами, и ещё три ифа : проверка того, что все площади мелких треугольников не нулевые. (Если какая-то из них нулевая, то точка на соответствующей границе). Вот и всё.