неверно, у Вас же результрующее сопротивление (Rx*Rн/Rx+Rн)=((R(Rx+Rн)+Rx*Rн/Rx+Rн) соединяется не последовательно с потенциометром R, а ответвляется от середины.
Разбейте потенциометр на 2 части: сопртивление нижней части Rx, а сопротивление верхней части R1. Дальше запишите Вашу формулу для Uвых через R1, Rx, Rн. Затем избавьтесь от R1 исходя из равенства R=R1+Rx, R1=R-Rx (вот отсюда-то и минус возьмется)
С формулой все сошлось, спасибо большое. А если стрелка входит не в резистор, а в контур над ним или под ним, это уже не будет потенциометр, а можно считать это как параллельное соединение? Прощу прощения, если вопрос глупый