Ну, раз отрезок заключен между положительными направлениями, то k отрицательное.
Подставляем x=0 - находим точку пересечения с Oy, некоторую (0;A).
Подставляем y=0 - находим точку пересечения с Ox, некоторую (B;0).
Величина С = (A^2 + B^2)^(0.5) - длина отрезка между положительными направлениями осей, её и оптимизируем, ещё что-то непонятно.

Прошу меня поправить в случае ошибки.