вот сам предел.. пробовал заменять синус на эквивалентные функции ,,ответ не сходится с маткадом..преподаватель говорит что надо раскладывать в ряд .............но что расскладывать и в какой ряд я вообще не понимаю.....

Откуда такой предел взялся?

это из амплитудно частотных характеристик сигнала тема преобразование фурье..... функция под пределом есть амплитуда сигнала... вот препод просит найти предел точке w=0. вот))

подкоренное выражение упростить по формулам понижения степени и под корень внести w^2
3sqrt[ 5*w^2-4*w^2*cos(w)-2*w*sin(w)+2-2*cos(w)] /w^2=
3sqrt[ { (5*w^2-4*w^2*cos(w)-2*w*sin(w)+2-2*cos(w) ) / w^4 }]

выражение под корнем 4 раза по правилу Лопиталя

Правильно говорит - раскладывать синус по формуле Тейлора.
Первое слагаемое под корнем имеет четвертый порядок малости относительно w, а остальные - второй.
Вот и замените в первом слагаемом по формуле sin x=x, а в остальных sin x = x - x^3/6
Получите подкоренное выражение с точностью до порядков выше 4-го. Члены 2-го порядка взвимно гасятся, третьего нету, останется вычислить коэффициент при 4-й степени - он то и нужен.