Если не ошибся, то
(ay - bx)^2 + (az - cx)^2 + (bz - cy)^2