Задание "Определить координаты центра и радиус окружности x^2+y^2-8x+6y=0"
понятно что надо выделить полный квадрат (x-4)^2+(y+3)^2=25, но как это сделать?

Рассмотрим для примера
x^2-8x = x^2-2*4*x
Дополняем до полного квадрата: x^2-2*4*x+16
Чтобы поучить тождественно равное выражение вычтем 16.

x^2-8x=x^2-2*4*x+16-16 = (x-4)^2-16

Дальше сами догадаетесь.

Да, получается 4x+5y-3z-15=0 или все таки 4x+5y-3z=15. Какой правильный?

????
Оба неправильные. Откуда z? Вы же квадрат выделяли, где он?