Определение геометрической вероятности.
Если точка наугад вбрасывается в плоскую фигуру F, то вероятность того, что она попадет в некоторую фигуру G внутри F равна:

P= (площадь G)/(площадь F).

У вас F - квадрат со стороной 1, поэтому его площадь =1.
Фигура G - это точки квадрата, удаленные от его центра более, чем на 0.5 . Легко понять, что эта фигура состоит из точек квадрата, находящихся вне вписанного в квадрат круга. Тогда площадь фигуры G равна площади квадрата минус площадь упомянутого круга.