определить, при каких значениях а, b система
3х-2у+z=b
5х-8у+9z=3
2x+y+az=-1

1). имеет единственное решение
2). не имеет решений
3). имеет бесконечное множество решений

Главный определитель d =
3 -2 1
5 -8 9 =-14a-42
2 1 a
Система имеет одно решение, если d не равен 0
Система имеет бесчисленное множество решений, если d=0

-14a-43=0, a=-3 система имеет множество решений, при a не равно -3 система имеет одно решение

Дальше подумайте сами. Работать нужно с рангами основной и расширенной матрицы. Система не совместна, если ранги не равны.