Решаю так:
x(t)=Acos(ax)+Bsin(ax)

использую условие x(0)=0

x(0)=A=0 =>

x(t)=Bsin(ax), считаю B=1, тогда

x(t)=sin(ax)
x'(t)=a*cos(ax)

использую условие x'(L)+x(L)=0

a*cos(aL)+sin(aL)=0

отсюда не получается выразить a, наверное я неправильно решаю?