по условию: случайная величина задана плотностью распределения f(x) на интервале (-inf;inf)
Y=cos(x); я предполагаю следующее решение: Нажмите для просмотра прикрепленного файла

Это вообще не решение. Что такое y=+- arccos(y) - уравнение на y?

Вы же в заголовке отметили, что функция cos(х) - немонотонная! Нет у неё обратной функции на всей прямой.

Ищите по определению функцию распределения Y.

блин, и как это ?? вообще не пойму что именно нужно делать.

Вы о чём?
Перевожу:
Распределение случайной величины Х задано плотностью распределения f(x) на всей прямой. Случайная величина Y = cos(X). Требуется найти плотность распределения Y.

Предлагаю ТС как минимум начать вычислять функцию распределения. Задачи такой степени общности в заборостроительном институте не даются. Стало быть, ТС по определению должен обладать достаточными знаниями, чтобы хотя бы понимать условие.

ой, проглядела Y...

ps удалила свое сообщение, т.к. редактировать нельзя