7 головоломных способов, которыми ваш мозг неправильно интерпретирует статистику.
Введение: Почему ваше интуитивное восприятие данных, вероятно, вас обманывает.
Наш мозг — это удивительный механизм сопоставления образов. На протяжении тысячелетий этот инстинкт быстрого обобщения на основе ограниченной информации помогал нашим предкам выживать — определять спелые фрукты, избегать хищников и ориентироваться в сложных социальных условиях. Эта способность находить закономерности и делать поспешные выводы заложена в нашем мышлении на генетическом уровне. Однако те же самые инстинкты, которые хорошо служили нам в саванне, часто совершенно сбивают нас с пути в современном мире данных, вероятности и статистики.
При работе с цифрами наша интуиция часто дает неожиданные и противоречащие здравому смыслу результаты. Мы видим значимые тенденции в чистой случайности, неправильно оцениваем вероятность в простых сценариях и позволяем нашим предвзятым убеждениям искажать очевидные факты в электронных таблицах. В этой статье рассматриваются семь классических примеров того, как наша статистическая интуиция постоянно ошибается, раскрывая когнитивные искажения, которые могут сбить с толку даже самых опытных в работе с данными. Понимание этих ментальных ловушек — первый шаг к их преодолению и принятию более обоснованных, основанных на данных решений.
Список: 7 нетривиальных истин о вероятности
1. Вы почти наверняка слишком уверены в собственном суждении.
Когнитивное искажение, вызванное чрезмерной уверенности является одним из наиболее распространенных. Чтобы увидеть это в действии, рассмотрим тест, разработанный исследователями Руссо и Шомейкером. Они задали более 1,000 человек серию вопросов на эрудицию (например, «Сколько лет было Мартину Лютеру Кингу-младшему на момент смерти?») и попросили их указать диапазон, в правильности ответа которого они были уверены на 90%. Если бы люди были хорошо подготовлены, они должны были бы ответить правильно примерно на девять из десяти вопросов.
Результат? 99% участников были чрезмерно самоуверенны. Большинство людей задавали слишком узкие диапазоны, получая правильный ответ лишь в 30-60% случаев, а не в 90%, к которым они стремились. Это выявляет фундаментальное несоответствие между тем, насколько уверенно мы себя чувствуем , и тем, насколько точны наши ответы на самом деле. Именно поэтому специалисты по работе с данными строят рассчитано доверительные интервалы вокруг своих оценок. Точечная оценка кажется достоверной, но доверительный интервал формально количественно определяет неопределенность, которую наш мозг так стремится игнорировать.
2. Ваш мозг видит осмысленные закономерности в чистой случайности.
В классическом примере из учебника «Статистика и теория вероятности не интуитивно понятны» в таблице 1.1 представлены смоделированные баскетбольные броски, обозначенные «X» для попадания и «–» для промаха. Большинство людей быстро заметят «серии удачных бросков» и «спады», сделав вывод, что закономерность не случайна. Однако данные были сгенерированы чисто случайным процессом, где каждый бросок имел 50% шанс на успех, совершенно независимо от предыдущего. Наш мозг настолько стремится найти закономерности, что мы накладываем их на данные, даже когда их нет.
Именно поэтому специалисты по анализу данных полагаются на проверку гипотез и p-значения. Эти формальные методы обеспечивают статистический барьер против нашего инстинкта поиска закономерностей, не позволяя нам радоваться случайным колебаниям в A/B-тесте как настоящей победе или ошибочно принимать обычные колебания продаж за кризис.
3. В малых группах наблюдаются наиболее экстремальные результаты, как хорошие, так и плохие.
Вот любопытный факт: исследование показателей заболеваемости раком почек в округах США показало, что округа с наименьшей самый низкий наибольшей заболеваемостью , как правило, имели небольшую численность населения. Это кажется противоречивым. Есть ли в сельских округах какой-то экологический фактор, который одновременно защищает и вредит? Ответ не имеет ничего общего с окружающей средой, а полностью зависит от размера выборки.
В больших группах случайные колебания, как правило, усредняются. Однако в малых группах случайность оказывает гораздо большее влияние на средние значения и проценты. Рассмотрим крошечный округ с населением всего 1,000 человек. Если ни у одного жителя не диагностирован рак почек, то в этом округе самый низкий возможный уровень заболеваемости. Но если болезнь подхватит хотя бы один человек, то в том же округе внезапно окажется один из самых высоких показателей заболеваемости в стране. Для специалистов по работе с данными это критическое предупреждение о том, что не следует делать однозначные выводы на основе исследований с недостаточной статистической мощностью или небольших пилотных программ. Именно поэтому анализ мощности необходим перед экспериментом, чтобы убедиться, что размер выборки достаточно велик для того, чтобы отличить реальный эффект от усиленного шума случайности.
4. «Проблема Монти Холла» доказывает, что всегда следует менять ставку.
Эта классическая головоломка о теории вероятности ставила в тупик бесчисленное количество людей, включая математиков. Представьте, что вы участвуете в телеигре с тремя дверями. За одной находится машина; за двумя другими — козы. Вы выбираете дверь (скажем, дверь № 1). Ведущий, зная, что находится за каждой дверью, открывает одну из других дверей (скажем, дверь № 3), и перед вами оказывается коза. Затем он спрашивает вас: «Вы хотите остаться с дверью № 1 или перейти к двери № 2?»
Наиболее распространенное — и ошибочное — мнение заключается в том, что это не имеет значения. Кажется, что шансы 50 на 50. Но правильный ответ — всегда следует переключаться. Вот почему:
- Когда вы впервые выбрали Дверь №1, у вас был шанс 1 к 3 оказаться правым.
- Это означает, что существует 2-3-процентная вероятность того, что автомобиль находится позади одного из две другие двери.
- Когда ведущий показывает козу за дверью №3, он не меняет первоначальные шансы. Он предоставляет вам новую информацию. Вся та вероятность 2 к 3, которая была распределена между дверями №2 и №3, теперь сосредоточена на единственной оставшейся двери: двери №2. Переключившись, вы делаете ставку на вероятность 2/3, с которой вы изначально ошиблись. Оставаясь верным своему первоначальному выбору, вы получаете лишь 1/3 шанса на победу. Хотя это и не является ежедневной задачей в области анализа данных, задача Монти Холла — это мощная притча об условной вероятности. Она учит нас тому, что новая информация, даже если она кажется тривиальной, может радикально изменить вероятностный ландшафт — ключевая концепция байесовских моделей, которые обновляют свои «убеждения» по мере поступления новых данных.
5. Даже «высокоточный» медицинский тест может быть ошибочным в 91% случаев.
Наш мозг, как известно, плохо справляется с объединением новой информации с имеющимися знаниями — процессом, известным как байесовское рассуждение. Рассмотрим скрининговый тест на ВИЧ среди доноров крови, где распространенность заболевания очень низка, составляет 0.1%. Тест обладает высокой точностью: он правильно определяет 99% инфицированных образцов и имеет лишь 1% ложноположительных результатов для неинфицированных образцов. Если тест донора окажется положительным, какова вероятность того, что у него действительно ВИЧ-инфекция?
Давайте посчитаем для 100 000 доноров:
- На самом деле ВИЧ-инфекцией заражено 100 человек. Тест правильно выявит 99 из них (истинно положительные результаты).
- 99 900 человек не являются носителями ВИЧ. Тест ошибочно выявит 1% из них, что приведет к 999 ложноположительным результатам.
- В общей сложности выявлено 1,098 положительных результатов тестов (99 истинных + 999 ложных).
Шокирующий вывод заключается в том, что из 1,098 человек, получивших положительный результат теста, только 99 действительно являются носителями ВИЧ. Это означает, что вероятность истинно положительного результата составляет всего 9% (99 / 1,098). Поразительные 91% положительных тестов являются ложными. Для всех, кто работает над такими задачами, как выявление мошенничества или медицинская диагностика, это основополагающий урок. Модель, которая «точна на 99%», может быть катастрофически обманчивой, если искомое событие является редким, поэтому такие показатели, как точность и полнота, часто важнее, чем чистая точность.
6. Вас обманывает «регрессия к среднему значению».
«Регрессия к среднему» — это статистическое явление, при котором чем более экстремальным является значение переменной при первом измерении, тем больше вероятность того, что при втором измерении оно будет ближе к среднему значению. Эта единственная концепция объясняет бесчисленное множество ложных выводов, от знаменитого «проклятия обложкиSports Illustrated » (спортсмены, показавшие потрясающие результаты в сезоне, скорее всего, в следующем сезоне будут выступать ближе к своему среднему результату) до неэффективности медицинского лечения, которое, казалось бы, работает.
Рассмотрим смоделированное исследование артериального давления, показанное на рисунке 1.1 из исходного текста. Исследователи измеряют артериальное давление в большой группе, а затем отбирают только тех, у кого исходные показатели самые высокие, для «лечения». После этого проводится второе измерение. Неизбежно, среднее артериальное давление в этой отобранной группе снизится. Именно поэтому рандомизированные контролируемые исследования (РКИ) являются золотым стандартом в исследованиях. Без контрольной группы для сравнения регрессия к среднему значению заставит практически любое вмешательство в крайнюю группу выглядеть эффективным, что приведет к тому, что аналитики будут приписывать причинно-следственную связь тому, что является всего лишь статистической гравитацией, притягивающей выбросы к среднему значению.
7. Ваши политические взгляды могут изменить то, что вы видите в электронной таблице.
Наши предубеждения могут коренным образом изменить то, как мы интерпретируем исходные данные. В важном исследовании Кахана и его коллег участникам показывали таблицу чисел и спрашивали, сработало ли вмешательство. Числа всегда были одинаковыми, но подписи к ним были изменены.
Когда таблица была обозначена как тест нового крема для кожи, как либеральные демократы, так и консервативные республиканцы правильно интерпретировали данные. Однако, когда те же самые данные были обозначены как тест закона, запрещающего скрытое ношение огнестрельного оружия, интерпретации людей определялись их политическими взглядами. Каждая сторона пришла к выводу, что данные подтверждают их предвзятое мнение, хотя математические расчеты ясно показали, что вмешательство было менее эффективным, чем бездействие (улучшение на 74.8% в группе вмешательства против 83.6% в контрольной группе). Это поучительный урок для любого аналитика. Он показывает, почему такие методы, как предварительная регистрация гипотез перед анализом или проведение слепого анализ данных так ценны. Эти процедурные ограничения помогают отделить подлинные выводы от заключений, к которым стремятся наши предубеждения.
Вывод: не доверяйте своей интуиции, доверяйте процессу.
Как мы уже убедились, наша интуиция — крайне ненадежный ориентир в мире статистики и теории вероятностей. Мы запрограммированы на чрезмерную самоуверенность, на выявление закономерностей там, где их нет, и на то, чтобы наши существующие убеждения диктовали наши выводы. Это не признаки интеллектуальной слабости; это универсальные особенности человеческого познания.
Именно поэтому научная и статистическая строгость так важна. Формальные методы — это не просто академические упражнения; это инструменты, которые мы разработали, чтобы противостоять нашим собственным ошибочным инстинктам. Они заставляют нас проверять наши предположения, количественно оценивать нашу неопределенность и следовать логическому процессу, который защищает нас от поспешных выводов. Понимая эти когнитивные ловушки, мы можем научиться меньше полагаться на наши ошибочные интуитивные ощущения и больше — на надежный, воспроизводимый процесс.
Теперь, когда вы умеете распознавать эти ментальные ловушки, на какую из них вы будете обращать наибольшее внимание в своей работе и мышлении?
