April 29th, 2013

nyaload

.bash_history is unreliable

Время от времени bash криво запускается, не подцепив .bashrc с настройками "не делай зла", и грохает историю команд за много месяцев.

Правда, меня в ситуациях "откуда я взял этот файл" спасает своя кастомная история, с датами и CWD ( http://users.livejournal.com/_winnie/371322.html ), и откуда историю можно экспортировать обратно.
nyaload

Множественные проверки

В продолжение поста о крысах и множественных проверках. Тут есть какое-то парадоксальное волшебство.

От того что в других комнатах другие студенты проделали совершенно другие опыты и что-то измерили - уменьшается значимость моего эксперимента. А если я не знал, что другие люди делают эксперименты - то повышается. Но только для меня. А для руководителя проекта, который знает все результаты - значимость другая. Но он может сделать вид будто бы чего-то не знает, и снова значимость изменится. А ещё он может об этом знать, но не знать что то что он знает - это важно. И тогда это ошибка.

Получается, значимость эксперимента можно изменить просто волевым усилием. Она зависит от свойств моей личности, от моей памяти, от того что держу в сознании и вспоминаю/забываю.

Получается, что если постфактум изменить количество измеряемых факторов (напр. поделить крыс по оттенкам шерсти), то значимость эксперимента изменится.

Если ученый проводит пять никак не связаных экспериментов, например

  • проверяет действие лекарства на крысах

  • проверяет как часто хеши номеров автомобилей по дороге на работу являются простыми числами,

  • насколько часто форма облаков похожа на кроликов,

  • как часто выбрасываются шестёрки на игральных кубиках

  • как часто у него воруют кошелёк

то понижается значимость результатов любого из экспериментов. Например, он может решить, что шестерки выбрасываются на кубиках подозрительно часто, или что его обворовывают в среднем чаще, чем соседей вокруг. Хотя просто не надо проверять кубики, облака, статистику краж и рабочие эксперименты одновременно.

С другой стороны, из здравого смысла и из доведения до абсурда, понятно что так и должно быть (если он проводит 1000 разных экспериментов в разных областях науки, то в 10 случаев будут результаты с 0.01 p-value).

А если я редактор научного журнала - то для меня ни один результат ни одного эксперимента ничего ничто не значит вообще, незначимые результаты всё равно до меня не доходят (publication bias), я могу отказывать всем в публикации по умолчанию.