Cлишком рано заменили z на sqrt(1 - x^2 - y^2). Вы ведь интегрируете по объёму, а не по поверхности. В данном случае для всех точек полусферы верно только неравенство: z <= sqrt(1 - x^2 - y^2).
Можно тройной интеграл разбить на повторный - внешний, по площади основания, и внутренний - по оси z. Последний окажется равным z^3/3 в пределах от 0 до sqrt(1 - x^2 - y^2).
Ответ, если я правильно посчитал, должен получиться в 3 раза меньше, чем у Вас.