все намного проще:
sqrt(x^2+y^2) - x - 8 = i*(y+12)

Как видно: слева действительное число, справа комплексное, чтобы они совпадали, эти числа должны быть 0

y=-12
x^2+144 = (x+8)^2
x^2+144 = x^2+16*x + 64
отсюда
x=5

Ответ: x=5, y=-12