По формуле Остроградского:

Т.е. получаем П=-6*(1/24)=-1/4.
а где в ваших вычислениях ошибка не соображу. Скорее всего неправильно раставлены пределы интегрирования.
плоскость: х+2у-2z=1
а как у вас так получилось? границы интегрирования такие как у меня?, т.е. по х: от 0 до 1, по у: от 0 до (1-х)/2, и по z: от 0 до (х+2у-1)/2