И где искомая область? Заштрихуйте. Тут лучше бы сделать так: от площади ограниченной кардиоидой, отнимите площадь круга