Выражение y(0)=y(pi) может выполнеяться при некоторых значениях k для любых с1 и с2 - нужно отдельно рассмотреть этот случай.
c1*cos(k*pi)+c2*sin(k*pi)=c1
с1*(1-cos(k*pi))=c2*sin(k*pi)
c1*2*sin(k*pi/2)*sin(k*pi/2)=c2*2*sin(k*pi/2)*cos(k*pi/2)
sin(k*pi/2)*(c1*sin(k*pi/2)-c2*cos(k*pi/2))=0
Отсюда либо первый множитель равен нулю - найдёте k, подставите в выражение y'(pi)=0 и посмотрите,что получится, либо вторая скобка равна нулю - тогда нужно выражать с1 через с2(или наоборот) и подставлять в выражение для производной.