Ну, вообще-то здесь как бы квадратичная форма, как бы критерий Сильвестра знакоположительности и т.п.

Но вот самый простой способ доказать знакоположительность этого выражения при всех х и у (одновременно не равных нулю):

3*х^2-x*y+y^2=[ (1/2)x^2-xy+(1/2)y^2 ]+(5/2)x^2+(1/2)y^2=
=(1/2)[ x^2-2xy+y^2 ]+(5/2)x^2+(1/2)y^2=
=(1/2)(x-y)^2+(5/2)x^2+(1/2)y^2

Поскольку квадраты любых чисел неотрицательны, то получаем требуемое.