f=X1^2+X2^2+X3

при условиях

X1+X2+X3=4
2X1-3X2=12

Из первого уравнения можно найти x3 и подставить в f.
Получаем: f = x1^2 + x2^2 - x1 - x2 + 4
и 2x1 - 3x2 = 12.
Составляем функцию Лагранжа
L = x1^2 + x2^2 - x1 - x2 + 4 + a * (2x1 - 3x2 - 12)
Теперь берем частные производные L по х1, х2, а и приравниваем к 0.
dL/dx1 = 2 * x1 - 1 + 2 * a
dL/dx2 = 2 * x2 - 1 - 3 * a
dL/da = 2x1 - 3x2 - 12
Получаем систему
2 * x1 - 1 + 2 * a = 0,
2 * x2 - 1 - 3 * a = 0,
2x1 - 3x2 - 12 = 0.

x1 = -a + 1/2, x2 = 3/2 * a + 1/2
Тогда
2 * (-a + 1/2) - 3 * (3/2 * a + 1/2) - 12 = 0
-2a + 1 - 9/2 * a - 3/2 - 12 = 0
13/2 * a = -25/2 => a = -25/13.
Вроде бы так.
А потом вычисляем вторые производные и смотрим, что это за точка.