все удалось вроде решить, нужно было привести те два вектора к ортогональному виду, тогда все
сходится, после издевательства над исходным уравнением получаем:

12x^2+y^2+z^2=0 - какую-то поверхность?