Ошибка в том,что в скобке,которая при косинусе,нужно раскладывать экспоненту до третьей степени по Маклорену(а в первой скобке,соответственно,до второй).