Выражение y(0)=y(pi) может выполнеяться при некоторых значениях k для любых с1 и с2 - нужно отдельно рассмотреть этот случай.
c1*cos(k*pi)+c2*sin(k*pi)=c1
с1*(1-cos(k*pi))=c2*sin(k*pi)
c1*2*sin(k*pi/2)*sin(k*pi/2)=c2*2*sin(k*pi/2)*cos(k*pi/2)
sin(k*pi/2)*(c1*sin(k*pi/2)-c2*cos(k*pi/2))=0
Отсюда либо первый множитель равен нулю - найдёте k, подставите в выражение y'(pi)=0 и посмотрите,что получится, либо вторая скобка равна нулю - тогда нужно выражать с1 через с2(или наоборот) и подставлять в выражение для производной.

(с1*(1-cos(k*pi))=c2*sin(k*pi) => c1*2*sin(k*pi/2)*sin(k*pi/2)=c2*2*sin(k*pi/2)*cos(k*pi/2) воспользовались формулой половинных углов?)

если sin(k*pi/2)=0, то
k*pi/2=pi+pi*n
k=(2*(pi+pi*n))/pi

если (c1*sin(k*pi/2)-c2*cos(k*pi/2))=0,
то с2=(-с1*sin(k*pi/2))/cos(k*pi/2)
подставляется в
y'(pi)=-k*c1*sin(k*pi)+k*c2*cos(k*pi), т.е
-k*c1*sin(k*pi)+k*(-с1*sin(k*pi/2))/cos(k*pi/2)*cos(k*pi)=0

Да.
Теперь записывайте выражение для y'(pi) c учётом этого и смотрите,что получится.

Неужели нельзя сразу нормально всё сделать, вместо того, чтобы на месте топтаться?

-2*n*c1*sin(2*n*pi)+2*n*c2*cos(2*n*pi)=0

-2*n*(c1*sin(2*n*pi)-c2*cos(2*n*pi))=0

(IMG:style_emoticons/default/smile.gif) Рассеянность.

это точно(IMG:style_emoticons/default/smile.gif)

-k*c1*sin(k*pi)*cos(k*pi/2)+k*с1*sin(k*pi/2)*cos(k*pi)=0
-k*c1*(sin(k*pi)*cos(k*pi/2)-sin(k*pi/2)*cos(k*pi))=0

y'(pi)=-k*c1*sin(kx)+k*c2*cos(kx)

-2*n*c1*sin(2*n*pi)+2*n*c2*cos(2*n*pi)=0

-2*n*(c1*sin(2*n*pi)-c2*cos(2*n*pi))=0
n=0
или
c1*sin(2*n*pi)-c2*cos(2*n*pi)=0

c1=c2*cos(2*n*pi)/sin(2*n*pi)

c1=ctg(2*n*pi)
вроде так?

Если n-целое, значит sin(2*pi*n)=0, cos(2*pi*n)=1.

если не целое, то так как я сделал?

Оно не может быть не целым, это ведь продолжение решения, где было sin(k*pi/2)=0!

Да, точно.
Это рассмотрен случай 1, теперь нужен случай 2
sin(k*pi/2)*(c1*sin(k*pi/2)-c2*cos(k*pi/2))=0
c1*sin(k*pi/2)-c2*cos(k*pi/2)=0 тут выражем с1 или с2:
с2=с1*sin(k*pi/2)/cos(k*pi/2)

подставляем теперь в y'(pi)=-k*c1*sin(k*pi)+k*c2*cos(k*pi), т.е будет

-k*c1*sin(k*pi)*cos(k*pi/2)+k*с1*sin(k*pi/2)*cos(k*pi)=0
а дальше можно как-то упростить?

Вы ещё первый случай недорассмотрели - вот этот:
c1*sin(2*n*pi)-c2*cos(2*n*pi)=0, n-целое.

1 случай:
sin(2*pi*n)=0
2*pi*n=pi*t
n=t/2
t-целое число

cos(2*pi*n)=1
2*pi*n=2*pi*m
n=m - целое число

Lutik, я Вас сейчас пристрелю!
1)случай - sin(pi*k/2)=0 => k=2n, n - целое.
Условие на производную:
c1*sin(2*n*pi)-c2*cos(2*n*pi)=0
n целое -> sin(2*pi*n)=0, cos(2*pi*n)=1 -> c1*0-c2*1=0 -> c2=0;
y=c1*cos(kx)=c1*cos(2*n*x)
Отдельно стоит рассмотреть случай k=0 -> y''=0, y=c1*x+c2;
c1*0+c2=c1*pi+c2 -> c1=0;
y'=c1 -> y'(pi)=c1=0 -> y=0.
Теперь рассматривайте второй случай.

не надо, мне ещё надо дожить до сессии

Лучше пожелайте своему преподу, чтобы он не умер после Вашей сессии.

случай 2:
sin(k*pi/2)*(c1*sin(k*pi/2)-c2*cos(k*pi/2))=0
c1*sin(k*pi/2)-c2*cos(k*pi/2)=0 тут выражем с1 или с2:
с1=с2*cos(k*pi/2)/sin(k*pi/2)

подставляем теперь в y'(pi)=-k*c1*sin(k*pi)+k*c2*cos(k*pi), т.е будет

-k*c2*sin(k*pi)*cos(k*pi/2)+k*с2*sin(k*pi/2)*cos(k*pi)=0
я перобразовал это уравнение, если по формулам половинных углов преобразовать
sin(k*pi)=2*sin(k*pi/2)
cos(k*pi)=cos^2(k*pi/2)-sin^2(k*pi/2)

получилось
-k*c2*cos(k*pi/2)*2*sin(k*pi/2)*cos(k*pi/2)+k*c2*(cos^2(k*pi/2)-sin^2(k*pi/2))*sin(k*pi/2)=0

-k*c2*cos^2(k*pi/2)*2*sin(k*pi/2)+k*c2*cos^2(k*pi/2)*sin^2(k*pi/2)-k*c2*sin^3(k*pi/2)=0


-k*c2*cos^2(k*pi/2)*sin(k*pi/2)-k*c2*sin^3(k*pi/2)=0
k*c2*(-cos^2(k*pi/2)-sin^2(k*pi/2))=0
k*c2*(-1)=0
опять не то наверно(IMG:style_emoticons/default/sad.gif)

Вот,как ни странно, теперь самое то.

Ура! (IMG:style_emoticons/default/smile.gif)
Теперь с2=0
и найти собственную функцию.

Собственная функция:у=c1*cos(2*n*x) ?