Можно найти угол между нормалями к плоскостям ABC, ABD.
Для этого нужно составить канонические уравнения этих плоскостей в виде ax+by+cz+d=-0, где (a, b, c) - координаты вектора нормали
а дальше через скалярное произведение векторов нормалей найти угол между ними.
Уравнение плоскости, проходящей через точки (x0, y0, z0), (x1, y1, z1), (x2, y2, z2), можно найти в виде
|x-x0 y-y0 z-z0|
|x1-x0 y1-y0 z1-z0|=0
|x2-x0 y2-y0 z2-z0|