lim(x->0;y->0)(x*y)/(x^2+y^2)

Ну раз Вы получили,что по двум разным подмножествам пределы разные получаются,значит,искомого предела не существует.
Это примерно то же, что и в одномерном случае, скажем,для предела e^(1/x) при х->0 - если икс стремится слева, то показатель степени стремится к минус бесконечности и всё выражение - к нулю; а если справа к нулю - то всё выражение стремится к плюс бесконечности. Таким образом,так как пределы слева и справа разные, то заданного предела не существует.