ну это вот единственнное, чему меня научили в ВУЗе.

формула претерпела некоторые изменения, но суть осталась та-же:
S=(x*((y*(4+z1))+5+z2))+1+z3
в общем, алгоритм получился примерно следующий:
1. находим x перебором от 1 до 255 и z3 от 0 до 10 проверяем делится-ли (S-1-z3) на x без остатка и находится-ли частное n в пределе 65535. Таким образом нашли x, z3 и частное n.
2. получается: S=(x*n)+1+z3. Далее работаем с n.
перебором z1 и z2 от 0 до 10 проверяем целочисленное деление выражения: y=n-5-z2/(4+z1)

И вроде-бы все работает замечательно, но только в пределах до значаения S=9387296. Далее, диапазон "поправочного" коэфф. z3 приходится увеличивать, что собссно не есть гуд.