задание:
привести к каноническому виду уравнение с помощью теории квадратичных форм +рисунок

x^2 - 3y^2 - 2yz - 3z^2 -1=0


я составила характеристическое уравнение и нашла его корни
(1-Λ) 0 0
0 (-3-Λ) -1
0 -1 (-3-Λ)

Λ1=-4 Λ2=1 Λ3=-2

подскажите как действовать далее?

Ну т.е. а' у вас нулевой столбец, записывайте выражение из 4. И т.к.