Определить фрактальную размерность (размерность подобия) фрактала на плоскости, состоящего из точек (x,y), где x,y из [0,1], причем в десятичном представлении чисел x=0.x1x2x3... y=0.y1y2y3... отсутствуют цифры 3 и 7.

Мне кажется чтобы упростить задучу можно сначала рассмотреть одномерный отрезок x из [0,1], в котором x=0.x1x2x3... отсутствуют цифры 3 и 7. Эту размерность тоже не получается найти. Как на каждом шаге получать совокупности закрытых множеств и что бы они были подобны целому?

Не очень понятно, что значит "на каждом шаге получать" и "подобны целому". Хаусдорфова размерность самоподобного множества ищется не так: множество следует разбить на части, каждая их которых подобна (с некоторым коэффициентом) целому множеству. Чтобы это сделать, следует представлять себе процедуру построения вашего множества. Канторовское множество умеете строить? Это строится так же.

Взять [0,1], разбить его на 10 равных частей, выбросить 4-ю и 8-ю части, т.е. интервалы (0,3; 0,4) и (0,7; 0,8). Каждый оставшийся отрезок длиной по 1/10 снова разбить на 10 частей, выбросить из каждого 4-ю и 8-ю части, т.е. все интервалы вида (0,a3; 0,a4) и (0,a7; 0,a8). Продолжать процедуру до бесконечности.

Вот теперь нарисуйте отрезок, и разглядите на нём куски, подобные целому множеству на отрезке.