Первая - матрица икс. Вторая - матрица икс в квадрате. Если приравнять коэффициенты, то получится
x11=x11*x11+x12*x21
x12=x11*x12+x12*x22
x21=x11*x21+x21*x22
x22=x12*x21+x22*x22
А дальше не знаю, что делать.