Надо просто r выразить через координаты x, y, z, а затем искать ротор по формуле.