В выражении для а_0, очевидно, должно быть pi^2 вместо x^2.
В выражение для a_n надо подставлять тоже функцию f(x), т.е. разбивать на два отрезка - [-pi; 0] и [0; pi] и т.д. Аналогично будет для коэффициентов b_n.
Интегралы от функций вида x*cos(nx) и x*sin(nx) берутся по частям.