Не очень понятно со скобками. Может, так:
lim (x^2+y^2)/(sqrt( x^2+y^2+9)-3)???
x->0
y->0

Если так, то числитель и знаменатель домножайте на выражение, сопряженное знаменателю (т.е. корень+3).