Эта задача уже подробно обсуждалась. Смотрите старый форум (http://www.reshebnik.ru/forums/), раздел "Аналитическая геометрия", тема"Наименьшее расстояние между отрезками".