Версия для печати темы

Нажмите сюда для просмотра этой темы в обычном формате

Образовательный студенческий форум _ Теория вероятностей _ Сравнение распределений

Автор: Борман 24.7.2010, 11:32

Скажу сразу, за вопросом стоит задача сравнения конечно-элементых сеток. Оствляю за бортом конкретику, сузил до голой математики:
Есть N логнормальных распределений (известны функции плотности распределения вероятности). Требуется ПРИДУМАТЬ (любой качественно верный) критерий оценки СТЕПЕНИ БЛИЗОСТИ этих распередений к условному "идеалу" (тоже логнормальному распределению). Короче говоря определить, какое распределение наиболее "идеально".

Автор: Борман 31.7.2010, 5:22

Ничего лучше, чем близость первых начальных моментов не придумал.

Автор: tig81 31.7.2010, 9:51

Отпуск. Придут специалисты по этой теме, думаю, что просветят вас. smile.gif

Автор: venja 1.8.2010, 6:20

Считайте норму отклонения ваших функций от идеальной. Нормы можно вводить по-разному: равномерная, средне-квадратическая и т.д.
Зависит от существа задачи и типа желаемой близости.

Автор: Борман 1.8.2010, 14:58

Ув. venja, этот критерий хорош, если рассматривать функции общего вида. В задаче же фактически рассмтаривается не близость ординат, а близость абсцисс. Если рассмтаривать ваш критерий для норм. распредения, то, если, например, одно из распредений имеет маленькую дисперсию, т.е. максимум плотности уходит на бесконечноть - то ваша норма уйдет в бесконечноть, а при это распреление может быть "близко" к идеальному.

Тут нужен критерий, основанный на понятиях теории вероятнростей, а не только на понятиях теории... ну там где нормы вводят.

Автор: malkolm 2.8.2010, 4:02

Используйте в качестве меры близости какую-либо из http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=tvp&paperid=2295&option_lang=rus.

Автор: Борман 2.8.2010, 19:54

Цитата(malkolm @ 2.8.2010, 8:02) *

Используйте в качестве меры близости какую-либо из http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=tvp&paperid=2295&option_lang=rus.
Наверное эта статья действительно полезна. smile.gif

Автор: malkolm 3.8.2010, 3:16

У Вас есть сомнения? Вы хотите сравнивать два распределения, не используя вероятностных метрик? Как говорится, бог в помощь, а математика других путей не знает smile.gif

Автор: Борман 5.8.2010, 18:04

Да какие сомнения... я в ней ничего не понял. Она даже без примеров. Я же не занимаюсь полномасштабным исследованием. Требуется то сравнить 2 распределения любым качественно верным способом.. Например сделать некую свертку (в вектор) нескольких центральных (или начальных, или и тех и тех) моментов, и смотреть на близость (с хитрой метрикой) этих векторов. Или интегральчик какой-нибудь сбацать, или по квантилям или по какому-нибудь уровню смотреть....

Автор: tig81 5.8.2010, 18:25

Мне кажется, что для полного понимания, надо выложить полное условие и то, что было сделано. Хотя, возможно, я ошибаюсь и malkolm и venja и так поняли о чем идет речь.

Автор: Борман 5.8.2010, 18:57

Мне скрывать нечего... вот тут обсуждаем конкретную задачу http://fsapr2000.ru/index.php?showtopic=36723

Вопрос встал после этого поста http://fsapr2000.ru/index.php?s=&showtopic=36723&view=findpost&p=339796

А вот тут я принял решение http://fsapr2000.ru/index.php?s=&showtopic=36723&view=findpost&p=339846 , в котором теперь и сомневаюсь.

Автор: malkolm 6.8.2010, 3:28

В статье не нужно читать и понимать ничего, кроме определений разных вероятностных метрик. Какую-нибудь из них нужно взять и сравнивать по ней имеющиеся распределения с идеалом. Например, используйте равномерную метрику (метрику Колмогорова). Или расстояние Хеллингера http://en.wikipedia.org/wiki/Hellinger_distance. Или расстояние Кульбака - Лейблера http://en.wikipedia.org/wiki/Kullback–Leibler_divergence.

На худой конец, можно взять модель разности матожиданий плюс одна семнадцатая модуля разности дисперсий wink.gif Почему бы нет smile.gif

Автор: venja 6.8.2010, 10:58

Цитата(malkolm @ 6.8.2010, 9:28) *

одна семнадцатая модуля разности дисперсий wink.gif


Думаю, лучше 1/17.3467564 smile.gif

Автор: Борман 6.8.2010, 13:35

Цитата
http://en.wikipedia.org/wiki/Hellinger_distance
http://en.wikipedia.org/wiki/Kullback–Leibler_divergence

Спасибо! Вот нормальный русский язык smile.gif , а в статье - черт ногу сломит.

Если вы мне еще по русски раскажете, что такое Radon–Nikodym derivatives - будет просто супер.

Автор: tig81 6.8.2010, 14:24

Цитата(malkolm @ 6.8.2010, 6:28) *

На худой конец, можно взять модель разности матожиданий плюс одна семнадцатая модуля разности дисперсий wink.gif Почему бы нет smile.gif

Цитата(venja @ 6.8.2010, 13:58) *

Думаю, лучше 1/17.3467564 smile.gif

Уважаемые, а откройте тайну, что это... blush.gif

Автор: malkolm 9.8.2010, 7:57

Цитата(Борман @ 6.8.2010, 20:35) *

Если вы мне еще по русски раскажете, что такое Radon–Nikodym derivatives - будет просто супер.

Производная Радона - Никодима smile.gif

Мера P называется абсолютно непрерывной по мере Q, если P(A) = 0 всякий раз, когда Q(A) = 0. (Области определения мер одинаковы). Теорема Радона - Никодима: Если мера P абсолютно непрерывна по мере Q, то существует функция f такая, что для всякого множества A выполнено: P(A) = интеграл по A от f(x)*Q(dx), где интеграл - интеграл по мере Лебега, а функция f(x) называется производной Радона - Никодима f=dP/dQ.

В случае абсолютно непрерывного (т.е. по мере Лебега) распределения производная Радона - Никодима - это то, что мы называем обычной плотностью распределения.

Для остальных распределений - наверное, в данной задаче не так актуально. Кому интересно - нарисую других примеров производных Радона - Никодима.

Автор: tig81 9.8.2010, 18:10

А меня не просветите? blush.gif Или выше и мне ответили?

Автор: malkolm 10.8.2010, 2:56

Цитата(tig81 @ 10.8.2010, 1:10) *

А меня не просветите? blush.gif Или выше и мне ответили?

А я не знаю smile.gif Полагаю, что venja привёл число с потолка, которое, по сравнению с предлагаемой ранее семнадцатью, выглядит уже плодом большой науки smile.gif Сравните:

Используем метрику d(X,Y)=|EX-EY| + |DX-DY|/17
и
Используем метрику d(X,Y)=|EX-EY| + |DX-DY|/17.3467564

Сразу видно, что второе - не с потолка megalol.gif

Автор: tig81 10.8.2010, 10:14

Цитата(malkolm @ 10.8.2010, 5:56) *

А я не знаю smile.gif Полагаю, что venja привёл число с потолка, которое, по сравнению с предлагаемой ранее семнадцатью, выглядит уже плодом большой науки smile.gif Сравните:

smile.gif

П.С. Но вопрос был в том: а почему именно 17? blush.gif

Автор: malkolm 10.8.2010, 14:10

Цитата(tig81 @ 10.8.2010, 17:14) *

smile.gif

П.С. Но вопрос был в том: а почему именно 17? blush.gif

А почему нет? Ну, не хотите 17, возьмём пи smile.gif Автору всё равно, какой метрикой измерять близость распределений.

Автор: tig81 10.8.2010, 16:03

Цитата(malkolm @ 10.8.2010, 17:10) *

А почему нет? Ну, не хотите 17, возьмём пи smile.gif Автору всё равно, какой метрикой измерять близость распределений.

Все, поняла. как и думала: среднепотолочное значение. Спасибо. smile.gif

Русская версия Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)