спасибо, исправил
a+3b=4. a=4-3b
5a-b=4. 5*(4-3b)-b=4

b=1
a=1

тогда х=u+1 и y=v+1
dx=du
dy=dv

du/dx=dv/du => dv/du=(u+1+3(v+1)-4)/(5(u+1)-(v+1)-4)=(u+3v)/(5u-v)
при v/u=t => v=tu => v'=t'u+t

t'u+t=(1+3v/u)/(5-v/u)
t'u=((1+3t)/(5-t))-t
t'u=(1-2t+t^2)/(5-t)
дальше не знаю...