Константин Сонин
3
All posts from Константин Сонин
Константин Сонин in Константин Сонин,

Статистическая значимость

К этом давно шло в науках, в которых есть статистическая работа с данными. Группа учёных (среди них выдающиеся экономисты, работающие с экспериментальными данными Джон Лист, Эрнст Фер и Колин Каммерер) предлагают считать "статистически доказанными" гипотезы, p-значение у которых меньше 0,005. Сейчас стандартно считать, что "статистически значимы" те результаты, у которых это значение 0,05, то есть в десять раз больше.  В статье, выложенной на сайте Nature, подробно объясняется, почему стоит стандарт поменять


P-значение - это мера "ошибки первого рода", вероятность того, что результат эксперимента (тестирования какой-то гипотезы) случайно оказался правильным. Ошибка первого рода это, например, если вы сдаёте анализ на допинг, ошибочный позитивный результат. То есть тест показал, что допинг есть, а его на самом деле нет. Когда учёный "проводит эксперимент" (любая статистическая проверка гипотезы с помощью данных это "эксперимент"), он смотрит на то, насколько результат эксперимента отклонился от того, что должно было бы произойти, если бы исходная гипотеза была верна. Чем больше отклонение, тем маловероятнее, что исходная гипотеза верна. P-значение показывает как раз эту вероятность. Если она очень маленькая, то, значит исходная гипотеза, скорее всего, неверна, и, значит, "статистически доказано" утверждение, противоположное исходной гипотезе.

Важно, что "статистическая доказанность" требует выбора конкретного значения, при котором мы будем считать, что она есть. Сейчас, уже почти сто лет, все используют 0,05, но настало время менять стандарт на более строгий - с современным стандартом слишком малое число исследований, особенно в физике и медицине, удаётся реплицировать. 

ЖЖ