Нужно вместо х подставить А. Вот и всё. Нужно посчитать A^2, а затем сложить три матрицы.