У Вас написано
y*=e^0*x((A1x+B1)cos6x+(C1x+D1)sin6x)

дальше я не стал смотреть.

Коэффициенты неправильно нашли. Где то допустили ошибку.

Правильные значения

A1 = 48/2425, B1 = 17748/5880625, D1 = -30136/5880625, C1 = -11/2425