Если правильно понял, то получается:
P(A) - только 3 карты одной масти
P( - только 4 карты одной масти
P© - только 5 карты одной масти
P(D) - не менее 3 карт
P(D)=P(A)+P(+P©;

4*(С[13, 3]*С[39, 2]+С[13, 4]*С[39, 1]+С[13, 5])/ С[52, 5]

А насчет второй задачи:
C[39, 2]/C[52, 2] - вероятность того, что не выпадет 2 карт одной масти. Но нужно учитывать игроков и возможно получается:
C[39-2(n-1), 2]/C[52-2(n-1), 2]...

Вообще если чесно, то уперся в теорию вероятностей "по нужде" т.к. нужно внедрить данные решения в программу. Хотя, предмет интересный и возможно по надобности мне нужно будет в него углубиться побольше... Т.к. мой стаж чтения книг на эту тему всего 3 дня.
Кстати - книги:
Н.И. Самойленко, А.И. Кузнецов, А.Б. Костенко теория вероятностей.
В.Е. Гмурман Руководство к решению задач по т.в.