Матрица не может быть группой, а вот множество матриц - вполне. Нужно проверить выполнение аксиом группы.