Допустим (Пример из учебника) Q(x)=2(x^1)^2+(x^2)^2-4x^1x^2-4x^2x^3
не понятна запись, т.е. Q(x)=2x1^2+x2^2-4x1x2-4x2x3? Т.к. значком "^" обычно обозначают степень.
Посмотрите еще здесь. Обратите как связаны коэффициенты квадратичной формы с элементами матрицы. И еще пример (здесь уже на примере конкретной квадратичной формы). И вот что выдал поиск. Смотрите, разбирайтесь, задавайте вопросы.

П.С. Для записанной формы Q(x) матрица имеет вид:
2 -2 0
-1 1 -2
0 -2 0