Ну тогда скорее всего по матрице надо записать квадратичную форму, а затем уже выделять полные квадраты.