Задание:
при каких m (m принадл. R) СЛУ не имеет решений, имеет одно решение, имеет множество решений?

(m+1)x + (-m кв. + 6m-9)y + (m-2)z =1
(m кв. - 2m-3)x + (m кв. - 6m+9)y + 3z = m-3
(m+1)x + (-m кв. + 6m-9)y + (m+1)z = 1

Пробую преобразовать с помощью алгоритма Гаусса и составить расширенную матрицу (в последней строке получается в итоге 0 0 m+1 0), но не могу понять, что делать дальше... Буду благодарна за помощь!

Сначала можно равносильными преобразованиями свести систему к более простому виду.
Например, так.
Третье уравнение замените разностью первого и третьего уравнения.
Затем второе уравнение замените суммой первого и второго уравнения.

Получите систему
(m+1)*x-(m-3)^2*y=1
(m-2)(m+1)*x=m-2
z=0

Теперь отдельно рассмотрите случаи: m=2, m=-1, m=3.
Затем скопом все остальные m.