Сначала надо проверить выполнение необходимого признака сходимости, а затем применить наверное интегральный признак.

cos nx не стремится к 1.