Цитата
|N(ABC)|=sqrt(6^2+14^2-40^2)=sqrt(-1368)


После возведения отрицательного числа в квадрат минус должен исчезнуть, у вас под корнем получилось отрицательное число.