На первом шаге вам нужно отделить все члены, содержащие ведущую переменную. Ведущая переменная x_1, следовательно,
4(x_1^2+x_1x_2+x_1x_3)-3x_2^2+2x_3^2

И из всего, что в скобках, нежно сделать полный квадрат.