Не совсем понятна логика Вашего решения.
Пусть A(-x, -sqrt(12-3x^2)), B(x, -sqrt(12-3x^2)) и AB-основание треугольника. AB=2x. Высота h=2+sqrt(12-3x^2).
Тогда S(x)=x(2+sqrt(12-3x^2)), 0<x<sqrt(12)