Простите, там матрица икс в квадрате равна матрице икс.
У нас будет две матрицы, в первой:
a11=x11
a12=x12
a21=x21
a22=x22
и во второй:
a11=x11*x11+x12*x21
a12=x11*x12+x12*x22
a21=x11*x21+x21*x22
a22=x12*x21+x22*x22
Если выражать переменные, то получится ещё запутаннее. Может быть есть способ намного проще?