Сделал вот как:
y(x)=A*sin(x+с)+d=A*sin(x)*cos(с)+A*cos(x)*sin(с)+d;

a=A*cos(с);
b=A*sin(с); => y(x)=a*sin(x)+b*cos(x)+d;

S=Sum[y(xi)-yi] ->min
Нахожу частные производные dS/da, dS/db, dS/dd:

dS/da=2*Sum(a*sin(xi)^2+b*sin(xi)*cos(xi)+d*sin(xi)-yi*sin(xi))=0
dS/db=2*Sum(a*sin(xi)*cos(xi)+b*cos(xi)^2+d*cos(xi)-yi*cos(xi))=0 =>
dS/dd=2*Sum(a*sin(xi)+b*cos(xi)+c*n-yi)=0

a*Sum(sin(xi)^2) + b*Sum(sin(xi)cos(xi)) + d*Sum(sin(x)) = Sum(yi*sin(x))
a*Sum(sin(xi)cos(xi)) + b*Sum(cos(xi)^2) + d*Sum(cos(x)) = Sum(yi*cos(x))
a*Sum(sin(xi)) + b*Sum(cos(xi)) + d*n = Sum(yi))

Решая данную систему методом Гаусса получил коэффициенты, только вот получились не те и моя кривая не аппроскимировалась((( Что не так сделал, где допустил ошибку???