Нужно составить матрицу из вторых производных и посмотреть знаки главных миноров.