?

Log in

No account? Create an account
nyaload

Журнал Пушыстого

Журнал Пушыстого

Previous Entry Share Flag Next Entry
Матстат.
nyaload
_winnie
Разбираюсь со статистикой. Модераторы ru_learnmaths чо-то спят, поэтому пишу в свой жж.
Прочитал в википедии про "Bayesian inference" и "Frequentist inference", но не очень понял.

Подбросил монету 10 раз. Четыре раза выпал орел. Ищу функцию правдоподобности, те. что при вероятности θ выпадения орла, орел выпадет 4 раза при 10-ти подкидываниях.
Получаю: L(θ|4 орла из 10) = C(10, 4) * θ4 * (1-θ) 10-4 (C(n,k) - биноминальные коэффициенты).
Ищу максимум функции правдоподобности, нахожу максимум в точке θ = 0.4.

1) Значит ли это, что при выпадении орла 4 из 10 ученый должен заключить, что распределение выпадающих сторон монеты - 0.4 для орла и 0.6 для решки? Ведь это вероятней чем 0.5/0.5 при данной выборке.
2) Вероятность выпадения 5000 орлов из 10000 бросков при честной монете - C(10000, 5000) / 0.510000 ≃ 0.008. Значит ли это что правдоподобность нулевой гипотезы "монета честная" меньше 0.05 и должна быть отброшена?
3) Как априори оценить вероятность встречи с динозавром на улице? 50/50, либо встречу, либо не встречу? А как оценить вероятность того, что передо мной - нечестная монета со смещенными вероятностями?

4) Где бы взять хороший практический учебник по статистке? А то при попытке читать определения из википедии или старые университетские лекции с теорией - возникают глупые вопросы как выше, при попытке применить их к тривиальным задачам.
Tags:


  • 1
Метод максимального правдоподобия оценивает параметры распределения конкретной выборки. Однако, ЗБЧ нам говорит, что при увеличении размера выборки параметры распределения выборки будут стремиться к теоретическим. По идее, это — ответ вопросы 1)—3)

ЗБЧ не понимаю при чем тут, мне тут интересно как на практике из имеющейся выборки делать какие-то осмысленные выводы. Пусть даже с некоторой осторожностью, но хотя бы понять как вообще это принятно делать.

Edited at 2011-06-07 12:58 pm (UTC)

> 2) Вероятность выпадения 5000 орлов из 10000 бросков при честной монете - C(10000, 5000) / 0.510000 ~= 0.008.

Считай не вероятность отдельной точного значения, а вероятность попадания значения в определённый интервал и всё срастётся. :)

Какого значения и в какой интервал?
Тут задача обратная, по имеющейся выборке сказать насколько справедлива гипотеза о честной монете, напр. как оценить что вероятность выпадения орла от 0.499 до 0.501. А не по заданной вероятности выпадения орла оценить что вероятность орлов от 4990 до 5010, это другая задача. В первом случае фиксирована выборка, а во втором - параметр биноминального распределения.

> Значит ли это, что при выпадении орла 4 из 10 ученый должен заключить, что распределение выпадающих сторон монеты

При выпадении скольки угодно из 10 учоный должен заключить, что ни о какой матстатистике речи идти не может по определению и надо срочно переходить на кофейную гущу.

4 и 10 - для простоты подсчетов на бумажке. Замени это например на 48712 орлов из 100'000 подкидываний, вопрос останется тем же самым - неужели в таком случае надо считать вероятность выпадения орла 0.48712 более правдоподобным чем 0.5 ( http://ru.wikipedia.org/wiki/Функция_правдоподобия )

википедия и правда может быть нормальной
http://en.wikipedia.org/wiki/Statistical_hypothesis_testing
если не поможет, то давай я вечером (правда по москве это уже поздно ночью фактически будет) подробно распишу пример с монеткой.

Прочитал, в принципе понятно, но остались вопросы. Вот здесь мне дали самый адекватный ответ, можешь там рассказать? (что бы усилия двух человек не дублировались) - http://users.livejournal.com/_winnie/300750.html?thread=3915470#t3915470 (edit: исправил ссылку)

Edited at 2011-06-09 10:03 am (UTC)

1) Оценивание параметров выборки (чем занимается метод МП) и проверка гипотез - две большие разницы, эти задачи решают отдельно.

2) Немножко отойду в сторону от Вашего вопроса, т.к. конкретно на него в п. 1) есть ответ.
Сравните: я хочу проверить, что масса монеты составляет РОВНО 1 грамм, с абсолютной точностью. Альтернативная гипотеза: масса монеты хоть чуть-чуть, но отличается от 1 грамма. Это я к тому, что мы пытаемся оценить гипотезу, которая (из практических соображений) заведомо неверна. Просто её проще оценить, чем гипотезу, что вероятность лежит в какой-то конкретной малой окрестности (скажем от 0.4999 до 0.5001). Однако математически задача вполне корректна. Поэтому в учебниках по матстату именно такая задача и рассматривается. На практике же вопрос о том, должна или не должна гипотеза быть отброшена - не математический, а я бы сказал, политический.

3) Матстатистика живёт по понятиям теорвера, ей нужно вероятностное пространство, функции распределения из заранее определённого класса и т.п., т.е. математическая модель. Пока вы ей этой модели не дали свыше, она ничего не сможет сказать. Нужно математически корректно засунуть динозавра внутрь этой модели, и только тогда матстат вам чего-нибудь про них скажет, и то не факт, что Вам этот ответ понравится :)

В случае с монетой адекватной моделью, видимо, будет примерно такая: известно, что подбрасывание монеты даёт нам орла с вероятностью P и решку с вероятностью Q=1-P, причём эти вероятности постоянны для каждой монеты, а результаты подбрасываний независимы друг от друга (в совокупности). Нулевая гипотеза: |P-0.5| < epsilon (epsilon задано заранее). Монета подброшена M раз, орёл выпал N раз, решка - M-N раз.

Вот после этого матстат начинает работать и может выдать такой результат: более вероятна такая-то гипотеза, вероятность ошибки такая-то. Путём увеличения M можно сделать вероятность ошибки сколь угодно малой.

Если мы за нулевую гипотезу примем P=0.5, то мы сможем лишь уменьшить вероятность того, что на самом деле P=0.5, а наш метод скажет, что P отлична от 0.5. Про вероятность же такого варианта: "В действительности P<>0.5, но наш метод говорит нам, что P=0.5" вообще ничего сказать нельзя!

4) Едва ли в учебнике будут рассматриваться эти вопросы, потому что матстатистика - раздел (строгой) математики, и в учебниках приоритет всегда будет отдаваться строгости, а применимость того или иного метода к практике лежит за пределами дисциплины.
Если же не ограничиваться только учебниками, то прогноз более благоприятный. Вот здесь, например, можно почитать кое-что полезное именно для практиков: http://orlovs.pp.ru/stat.php

>>3) Матстатистика живёт по понятиям теорвера, ей нужно вероятностное пространство, функции распределения из заранее определённого класса и т.п., т.е. математическая модель. Пока вы ей этой модели не дали свыше, она ничего не сможет сказать. Нужно математически корректно засунуть динозавра внутрь этой модели, и только тогда матстат вам чего-нибудь про них скажет, и то не факт, что Вам этот ответ понравится :)

Как насчет Мужика по фамилии Wilcoxon, который в 1945 году создал первый непараметрический статистический критерий?

1. вероятность выпадения орла - случайная величина. пока мы ничего не знаем про монету, например распределенная равномерно. наличие выборки делает менее вероятным вариант p=0.1 или p=0.9, и в данном конкретном случае делает вариант p=0.4 более вероятным чем p=0.5, но не исключает его. чтобы отличить монету с p=0.5 от p=0.4 с вменяемой величиной ошибки второго рода понадобится выборка большего объема.

2. количество выпавших орлов - случайная величина. случайная величина с определенным распределением, зависящим от p=0.5, и N=10000. эта случайная величина с вероятностью a=0.95 попадет в интервал 5000+-1,4*50, где 5000=Np, 50=sqrt(p*(1-p)*N), erf(1.4) = (1+a)/2.
поэтому если у нас есть две гипотезы, H0 - p=0.5 и H1 - p!=0.5, уровень значимости 0.05, то разрешающее правило выглядит так: если количество орлов попадает в 5000+-70,то принимаем гипотезу, если не попадает, то отвергаем.

3. для определения вероятности нужны пространство элементарных исходов, вероятностная мера и далее по списку.

Спасибо, лаконично и понятно. Но не понял, как правильно выбрать критерий-тест, и понять что он тестирует? Вот ты выбрал промежуток в середине для подтверждения гипотезы и хвосты для отрицания. А можно сделать наоборот, захватить хвосты так что бы под ними было больше 95%, и тоненькую середину взять для опровержения нулевой гипотезы. Или взять количество орлов по модулю 20, если выпал остаток 7 - значит опровергнута нулевая гипотеза. Или ещё куча вариантов.

Например, такой тест: если из 10000 монеток выпало не 5000 орлов ( вероятность ~0.992 ), то считать нулевую гипотезу об обычной монетке неопровергнутой, а если выпало ровно 5000 - то опровергнутый. С точки зрения здравого смысла такой тест - бредовый. На самом деле этот тест тоже тестирует биноминальное распределение (p = 0.5 И подкидывания независимы), но хочется тестировать не независимость (в которую мы верим), а p, но это с точки зрения здравого смысла, и непонятно как формально понять что на самом деле тестиует тест.

И ещё смущает, что тестов много, по заданной выборке всегда можно выбрать тест который опровергнет нулевую гипотезу (чем фармакологические компании и пользуются).


Edited at 2011-06-09 12:32 pm (UTC)

В "Frequentist inference" вероятность выпадения орла - это фиксированное число, данное нам свыше, и далее мы пытаемся оценить это число. Например, методом максимального правдоподобия.

В "Bayesian inference" вероятность выпадения орла - это случайная величина, и у нас изначально есть представление о распределении этой случайной величины (т.е. с какой вероятностью она принимает каждое из значений). Далее мы смотрим на данные (сколько орлов выпало) и корректируем наши представления о том, с какими вероятностями вероятность выпадения орла принимает каждое из значений. Наше изначальное представление о распределении параметров (а здесь параметр один - вероятность выпадения орла) называется априорным, а то, что получилось после того, как мы увидели данные - апостериорным распределением.

По статистике могу порекомендовать книгу "Introduction to Mathematical Statistics" (Hogg, Craig, McKean). По байесовскому подходу статистической книги не знаю, но "Introduction to Bayesian Econometrics" by Lancaster неплоха.

> где бы взять хороший практический учебник по статистке?


http://www.ozon.ru/context/detail/id/4620326/

1) Нет. Он должен заключить, что с вероятностью 95% распределение орла от 0.354 до 0.543 (цифры от балды, лень считать)
2) Это значит, что надо смотреть не на дискретную вероятность (0.5), а на какой-либо промежуток вероятностей (допустим, от 0.49999 до 0.50001)
3а) Никак, для этого нет статистики.
3б) Статистическими методами нельзя найти вероятность для дискретной монеты. Но можно найти статистическое отклонение, и вероятность этого отклонения.


3б) - имеется ввиду, что нечестная монета с сильно смещенной вероятностью - это редкость. Почти все монеты - двусторонние честные, изредка попадаются монеты с двумя орлами, а вот негнутая монета с неравномерным распределением сторон - это какой-то механический хайтек и невероятная редкость. Соответственно, параметр θ нельзя считать равномерно распределённым, у него в 0, 0.5, 1.0 есть острые пики, и в 0.5 он очень высокий.
То есть это такой же вопрос как и про динозавра - как оценивать хрен знает что, хотя очень надо. Подозреваю, что эти Bayesians vs Frequentists - это именно философия выбора распределения θ, я с этим сейчас разбираюсь.

Edited at 2011-06-07 08:12 pm (UTC)

> 2) Вероятность выпадения 5000 орлов из 10000 бросков при честной монете - C(10000, 5000) / 0.510000 ≃ 0.008. Значит ли это что правдоподобность нулевой гипотезы "монета честная" меньше 0.05 и должна быть отброшена?

А где вероятность выбить «5000 из 10000» для любой монеты?

P(H1 | A) = P(A * H1) / P(A)

P(A * H1) = 0.008

P(A) = ?

> P(A * H1) = 0.008

Тут нагнал, пардон.

P(A * H1) = P(H1) * P(A | H1) = P(H1) * 0.008

ну и P(A) = \sum_i P(H_i) * P(A | H_i)

Если P(H_i) и P(A | H_i) не известны для всех i, то торба.

> 3) Как априори оценить вероятность встречи с динозавром на улице? 50/50, либо встречу, либо не встречу?

Если есть симметрия (правильный кубик с 6 гранями etc) — хорошо. Нет симметрии — никак.

> А как оценить вероятность того, что передо мной - нечестная монета со смещенными вероятностями?

Без экспериментальной оценки реальных монет — никак.

Я попробую без математических выкладок, они вон выше есть, а больше со стороны здравого смысла.

1) Да, если кроме этих цифр про опыт ничего не известно. Т.е. нам не сказали, что бросают монету, а сказали только, что там был какой-то эксперимент, в 4х случаях получился один исход, в 6ти — другой.

2) Да. Практически у любой монеты есть перевес на какую-нибудь сторону, хотя бы и очень маленький. Как программист ты должен это понимать — вспомни про сравнение float-ов на равенство :)

3) Про монету в предыдущем пункте выяснили — вероятность того, что она нечестная, равна 1 :) Про динозавра — можно, например, рассмотреть набор результатов эксперимента «прогулка по улице», и количество среди них результатов вида «встретил динозавра». Ну и дальше всякая проверка гипотез и т.п.

4) А Гмурман — не?

A Modern Introduction to Probability and Statistics: Understanding Why And How F.M. Dekking C. Kraaikamp

Для метода максимального правдоподобия нужно знать L(X|θ), то есть вероятность наблюдения X при заданном значении θ. max θ^4*(1-θ)^(10-4) = 0.4.

Максимум правдоподобие дает лишь оценку θ, и его значения бессмысленно сравнивать для различных моделей.
http://en.wikipedia.org/wiki/Efficient_estimator


  • 1