определить, при каких значениях а, b система
3х-2у+z=b
5х-8у+9z=3
2x+y+az=-1

1). имеет единственное решение
2). не имеет решений
3). имеет бесконечное множество решений

Решаем так: расширенную матрицу системы приводим к ступенчатому виду методом Гаусса.
В последней строчке у меня получилось: 3+а=(1-3b)/2.
если а=-3 и b не равно 1/3, то система не имеет решений, так как ранги не равны, r=2, а r1=3 (ранг расширенной матрицы);
если а=-3 и b=1/3, то система имеет множество решений, так как число неизвестных превышает ранг матрицы (r=2, а n=3);
в остальных случаях система имеет единственное решение, т. е. при а, не равном -3, и любом b.

P.S.: Надеюсь, что это верно. (IMG:style_emoticons/default/smile.gif)