Главный определитель d =
3 -2 1
5 -8 9 =-14a-42
2 1 a
Система имеет одно решение, если d не равен 0
Система имеет бесчисленное множество решений, если d=0

-14a-43=0, a=-3 система имеет множество решений, при a не равно -3 система имеет одно решение

Дальше подумайте сами. Работать нужно с рангами основной и расширенной матрицы. Система не совместна, если ранги не равны.