Во первых, если Вы исследуете на условный экстремум, то при записи матрицы квадратичной формы второго дифференциала нужно учитывать уравнения связи - их тоже нужно продифференцировать и выраженные дифференциалы подставить в форму.
Во-вторых, по множителю Лагранжа дифференцировать не надо.