Цитата(Koketka @ 10.10.2009, 16:43) *

я ошиблась, он -6 равен,

верно
Цитата
пересчитала, все равно у меня любые гамма 0 получились

Не должно так быть. Т.к. определитель полученной однородной системы равен нулю, то она (система) имеет ненулевые решения.
Так что давайте еще раз ваше решение, лучше если вы его напишите, а не опишите свои действия. Будем смотреть, почему у вас так получается.