Category: медицина

Category was added automatically. Read all entries about "медицина".

nyaload

делегация самолечения

Предположим, вы знаете что врач A - всегда предпочитает лечить абсцессы антибиотиками, а врач Б - всегда предпочитает хирургию и скальпель.

Является ли самостоятельный выбор между врачами А и Б - самолечением?
nyaload

Чёрная хирургия чёрных ящиков

Как протестировать внутренность черного ящика, скрытую в private, за интерфейсами, и не выделенную в отдельную функцию?
Очень просто: выцепить её регулярным выражением в файл, и протестировать.
nyaload

метод мгновенности

Есть всякие методологии проведения экспериментов, которые необходимо соблюдать чтобы не обмануть самих себя (двойной слепой / плацебо-контролируемый / рандомизированый / поправка Бонферрони / ... )

Теперь рассмотрим такие эксперименты, формально не подходящие под методологические критерии выше

1) Действуем на раковую опухоль смертельно больного новым видом излучения, и видим, что оно разрушило опухоль сразу. Ещё через год видим, что опухоль обратно не появилась.
Делаем вывод, что излучение лечит.

2) Ребёнок нажимает на клавишу '->' на клавиатуре, и видит что герой видеоигры через миллисекунду после нажатия - сразу побежал вправо. А до этого - стоял на месте.
Делает вывод: от нажатия на стрелку '->' герой бежит вправо.

3) у меня болит голова шесть часов. пью таблетку/кофе/сахарный сироп и голова сразу за несколько минут проходит.
Делаю вывод: данное лекарство помогает мне от моих головных болей.

4) Сервер на работе грохается. Вижу по логам, что он грохается ровно в тот момент, когда деплой-скрипт подменил файлы данных. Делаю вывод - что-то не так в обработке переключения данных.

Формально методология ни к черту - ни проверки на плацебо, ни "слепой" проверки, в выборке - один элемент.

Можно приводить другие жизненные ситуации, противоречащие пословице "после - не значит вследствие", если это "после" наступает очень быстро.

Единственое что нас укрепляет в том, что вывод верный - это мгновенность воздействия.
Если между излучением и исчезновением опухоли месяц - то хрен его знает, может случайно сама прошла.
Если головная боль проходит не через 5 минут, а через час - неясно, может она сама бы прошла и без таблетки.
Если герой видеигры побежит через 10 секунд - хрен его знает, это от кнопки или это рандом/скрипт. А если сразу - то значит от кнопки.

Есть ли какие-то научные названия и критерии, как корректно применять метод "мгновенности", и как он по-научному называется?
Формально тут может работать формальная статистика как через p-value, так и теорему Байеса ("если многочасовой процесс кончается за секунду после воздействия, то это не спроста"), но я не слышал о таком применении.

Если о таком рассказать, "мне эта таблетка сразу помогла", то очень долго придётся сражаться с крестоносцами Научного Метода, прежде чем до них дойдет, что если помогло сразу - то это важно и интересно.
nyaload

Оптимизация random guess. Всегда да.

Пусть имеется какая-нибудь machine learning задача, где нужно угадывать бинарный y - true или false, например тест наличия болезни по симптомам. Пусть мы используем метод random guess, когда мы с вероятностью p говорим "да".
Тогда:

precision от p не зависит, доля правильных результатов среди позитивных всегда одинакова.
recall растёт в завимости от p, чем больше p - тем больше доля правильных позитивных среди всех y=1.

Таким образом, наилучший random guess по F-score - это тот, который говорит "всегда да", даже если положительных примеров очень мало.
Отдельный случай, когда в выборке нет ни одного положительного экземпляра - тогда F-score не определён.

Результат забавный, но на шнобелевку боюсь не тянет, слишком простой. Впрочем, данный пример показывает, что с F-score надо быть осторожным. Даже если положительные примеры всего лишь среди 0.0001% популяции, по метрике F-score выгодней говорить что они все положительные, а не что они почти все отрицательные. А если вдруг метод "всегда отрицательный" адекватен задаче, то F-score для него вообще не определён (деление 0 на 0).

F-score, precision, recall: http://en.wikipedia.org/wiki/Precision_and_recall
Шнобелевская премия: http://ru.wikipedia.org/wiki/Шнобелевская_премия

Альтернативы:
Коррелляция - http://en.wikipedia.org/wiki/Phi_coefficient
Matthews correlation coefficient (MCC) - http://en.wikipedia.org/wiki/Matthews_correlation_coefficient
Площадь под ROC-кривой (AUC) - http://horicky.blogspot.com/2011/03/compare-machine-learning-models-with.html

Лучше использовать реальную метрику, выраженную в долларах. Например для стоматологической клиники она может быть такой:
True negative: 0 баксов, клиент уходит не заплатив.
True positive: доход в 500 баксов
False negative: 0 баксов, клиент уходит не заплатив, расход на риск потери репутации
False positive: доход в 500 баксов, расход на риск судебного преследования за неправильное лечение и потери репутации