Определить фрактальную размерность (размерность подобия) фрактала на плоскости, состоящего из точек (x,y), где x,y из [0,1], причем в десятичном представлении чисел x=0.x1x2x3... y=0.y1y2y3... отсутствуют цифры 3 и 7.

Мне кажется чтобы упростить задучу можно сначала рассмотреть одномерный отрезок x из [0,1], в котором x=0.x1x2x3... отсутствуют цифры 3 и 7. Эту размерность тоже не получается найти. Как на каждом шаге получать совокупности закрытых множеств и что бы они были подобны целому?

Не очень понятно, что значит "на каждом шаге получать" и "подобны целому". Хаусдорфова размерность самоподобного множества ищется не так: множество следует разбить на части, каждая их которых подобна (с некоторым коэффициентом) целому множеству. Чтобы это сделать, следует представлять себе процедуру построения вашего множества. Канторовское множество умеете строить? Это строится так же.

Взять [0,1], разбить его на 10 равных частей, выбросить 4-ю и 8-ю части, т.е. интервалы (0,3; 0,4) и (0,7; 0,8). Каждый оставшийся отрезок длиной по 1/10 снова разбить на 10 частей, выбросить из каждого 4-ю и 8-ю части, т.е. все интервалы вида (0,a3; 0,a4) и (0,a7; 0,a8). Продолжать процедуру до бесконечности.

Вот теперь нарисуйте отрезок, и разглядите на нём куски, подобные целому множеству на отрезке.

Но ведь тогда на некоторых концах отрезков будут оставаться точки которые тоже нужно исключать, например 0.3; 0.7; 0.03; 0.07...и т.д. ?

Ну или исключайте с левым концом, либо отдельно вычислите хаусдорфову размерность множества концевых точек.

Исключаю полуоткрытые интервалы... [0.3;0.4) и [0.7;0.8). Получается, что например отрезок [0.2;0.3) теперь закрывается точкой 0.4 вместо точки 0.3. Множество как бы сжалось. Теперь оно состоит из 8-ми одинаковых по размеру частей, и с каждой частью можно проделать такую же процедуру. Размерность равна:
ln(8)/ln(10)=0.903 Правильно?

Надо полагать, что так.