Получилось так - a0=0;
an={здесь не помню что} + интеграл [-пи/2 ; пи/2] от x*cos(x)*cos(2nx)dx
Последнее выражение получилось после интегрирования an по частям. Как дальше интеграл взять, не знаю..((