1)Для начала стоит разложить косинус разности по известной формуле. Получится 2 суммы, дальше можно идти разными путями. Если Вы знакомы с комплексными числами, то каждую из сумм можно представить в виде действительной и мнимой частей геометрической прогрессии. Если нет - тогда можно домножить и разделить каждую сумму на sin(5*n/2), а затем раскрыть произведения тригонометрических функций.
2)Проверьте условие, там всё правильно?