А можно сделать замену
a=sqrt(3x+5), b=sqrt(10-x)
и получить несложную систему

a-b=15/b
a^2+3b^2=35