(а+3b)^2=а^2+6ba+9b^2=x^2+6x+13

(а*а)=x*x+1*1+(-1)*(-1)=х^2+1+1=x^2+1
(b*a)=1*x+1*0+(-1)*1= x-1
(b* b )=1*1+0*0+1*1=1+1 =2

судя по вашей реакции что-то нетак )))