Геометрическая вероятность.
Изобразите внутри упомянутого квадрата фигуру, координаты точек которой удовлетворяют условию у>2x.
Найдите площадь этой фигуры и поделите на площадь квадрата.