Пусть АM = X, DN = Y. Расстояние между точками R^2 = 12^2 + ( X - Y )^2<20^2. Это неравенство задаёт на плоскости XY некое множество точек, площадь множества пусть S. Все возможные варианты лежат в квадрате размером 20*20=400. Ищете площадь,делите её на 400 и получаете вероятность.