Ну вроде эти формулы:
A_n = 1/l (-l)S(l) f(x)cos((pi*n*x)/l)dx
B_b = 1/l (-l)S(l) f(x)sin((pi*n*x)/l)dx