Цитата(s-r @ 18.12.2007, 14:53) 
Да вы правы конечно, мне почему-то казалось что базис должен быть ортогональным,
для этого оператор должен быть ССО, а базис вообще собственно говоря не обязан быть ортогональным, вообщем пора на прогулку
найденые собственные вектора образуют базис (e1`, e2`,e3`),
эмм, как бы метод Лагранжа мы еще не изучали
,по материалам лекций только квадратичные формы и их геометрическое приложение,
вот я их и прикладывал..
Цитата
e1`=(-3,1,0) - это координаты нового базиса в старом, или я опять запутался..
Наверное надо предполагать, что изначально все задано в каноническом базисе е1=(1,0,0), е2=(0,1,0), е3=(0,0,1). Тогда e1`=(-3,1,0) - это координаты нового базиса в старом.
по-моему проблема, что не получается диагональный вид состоит в том, что неправильно записана формула,связывающая матрицы оператора в разных базисах. Она, вроде как, вместо A`=UT*A*U имеет вид:
A`=U^(-1)*A*U.
то есть, если базис состоит из собственных векторов, то матрица приводится к диагональному виду
k1 0 0
0 k2 0
0 0 k3
Попробуйте воспользоваться данной ф-лой.