Ваш мозг ошибается в отношении данных: урок из доверительных интервалов
Введение: За пределами среднего уровня
На экране мелькает опрос: кандидат набрал 33% голосов. Спортивный комментатор заявляет, что у баскетболиста 85% попаданий со штрафных бросков. Мы видим подобные оценки в одной точке повсюду, но насколько мы можем быть в них уверены? Действительно ли истинное значение составляет ровно 33% или 85%? Или оно может быть выше? Ниже?
Доверительный интервал (ДИ) — это статистический инструмент, предназначенный для ответа на этот вопрос. Он предоставляет диапазон правдоподобных значений для истинного числа, а не просто одну догадку. Но, как мы увидим, общепринятое понимание того, что представляет собой доверительный интервал, часто упускает из виду некоторые удивительно глубокие и противоречащие интуиции истины о данных и неопределенность.
Первый принцип заключается в том, что нельзя обманывать самого себя — а обмануть себя проще всего.
1. Ваша интуиция относительно неопределенности, вероятно, ошибочна.
Наш мозг от природы не приспособлен для оценки истинного диапазона неопределенности на основе небольшого объема данных. Мы склонны чрезмерно доверять числам, которые видим.
Рассмотрим такой пример: профессиональный баскетболист забивает 17 из 20 штрафных бросков, что составляет 85% успеха в данной выборке. Прежде чем продолжить, остановитесь и сделайте предположение. Как вы думаете, каков вероятный диапазон истинного долгосрочного уровня мастерства этого игрока? Запишите это. Мы подождем.
Большинство людей предполагают довольно узкий диапазон. Однако фактический 95% доверительный интервал составляет от 63.1% до 95.6%.
Этот диапазон значительно шире, чем большинство людей интуитивно ожидают. Он выдает важный урок: малые размеры выборки несут в себе огромную неопределенность. Опираться на единственную точечную оценку в 85% опасно и вводит в заблуждение без контекста доверительного интервала. Он показывает, что произошло, но доверительный интервал показывает, насколько (или насколько мало) можно обобщить полученные данные.
2. «95% уверенности» означает не то, что вы думаете.
Это наиболее распространенное и критическое заблуждение относительно доверительных интервалов. Фраза «95% доверительный интервал» не означает, что существует 95% вероятность того, что истинное значение генеральной совокупности находится в пределах конкретного интервала, который вы только что рассчитали (например, от 63.1% до 95.6%).
Правильная интерпретация более тонкая. Речь идёт о процессе, а не о результате. Если бы вы повторяли эксперимент много раз и каждый раз вычисляли 95% доверительный интервал, вы бы ожидали, что 95% из этих вычисленных интервалов будут содержать истинное значение генеральной совокупности. Другими словами, ваша «уверенность» заключается в надёжности метода в долгосрочной перспективе, а не в достоверности какого-либо отдельного интервала, который он даёт.
Представьте себе большую чашу, содержащую 100 шаров, 25 из которых красные и 75 черные. Истинная «популяция» красных шаров составляет 25%. Теперь представьте, что вы многократно вытягиваете случайную выборку из 15 шаров, вычисляете долю красных шаров в вашей выборке, а затем строите 95% доверительный интервал на основе этой выборки. В долгосрочной перспективе 5% этих интервалов по чистой случайности не будут включать истинное значение 25%. Вы никогда не знаете, входит ли вычисленный вами интервал в 95% успешных интервалов или в 5% неудачных.
Это различие имеет решающее значение для интеллектуальной честности в статистике.
Интервал подвержен случайным колебаниям, поэтому правильно спросить о вероятности того, что интервал включает значение генеральной совокупности. Значение генеральной совокупности не подвержено случайным колебаниям, поэтому неправильно спрашивать о вероятности того, что значение генеральной совокупности находится внутри интервала.
3. Ваши предположения важнее ваших расчетов.
Доверительный интервал — это результат применения математической формулы. Однако эта формула действительна только в том случае, если верны лежащие в её основе предположения относительно ваших данных. Если процесс сбора данных несовершенен, математические вычисления теряют смысл.
Вот основные предположения:
- Случайная (или репрезентативная) выборка: Данные должны объективно и беспристрастно отражать структуру более широкой популяции, о которой вы хотите сделать выводы.
- Независимые наблюдения: Каждый параметр данных должен выбираться независимо от других. Например, опрос супружеской пары нарушил бы это правило.
- Точные данные: Данные должны быть подсчитаны, записаны и систематизированы корректно, без ошибок или преднамеренных манипуляций.
История предоставляет наглядные примеры того, что происходит, когда эти предположения оказываются несостоятельными.
- В Выборы Рузвельта и Лэндона 1936 года.Как известно, социологи предсказывали убедительную победу Лэндона. Однако их выборка для опроса была сформирована на основе телефонных справочников и списков регистрации автомобилей. В 1936 году более состоятельные люди гораздо чаще владели телефонами и автомобилями, и к тому же они отдавали предпочтение Лэндону, что создавало предвзятую выборку. Но была и вторая проблема: сторонники Лэндона гораздо чаще отвечали на вопросы опроса, чем сторонники Рузвельта. Опрос был подвержен как ошибке выборки, так и ошибке, связанной с отказом от участия, что сделало его катастрофически неверным.
- В Выборы Дьюи-Трумэна 1948 годаОпросы уверенно предсказывали победу Дьюи. Газеты даже заранее печатали заголовок «Дьюи побеждает Трумэна». Сами опросы, вероятно, были точными для своего времени, но проводились за несколько недель до выборов. Предположение о том, что мнение избирателей останется неизменным, оказалось ложным; многие избиратели изменили свое мнение в последние недели.
Вывод очевиден: доверительный интервал может лишь количественно оценить неопределенность, вызванную случайной ошибкой выборки. Он не может выявить или скорректировать систематическую ошибку при сборе данных. Что посеешь, то и пожнешь — какой бы сложной ни была формула.
4. «Правило трёх»: простой трюк, когда ничего не видишь.
Как рассчитать доверительный интервал, если в выборке не зафиксировано ни одного случая события? Например, если новое медицинское лечение не показало побочных эффектов в первом испытании, можно ли сделать вывод о его полной безопасности? Конечно, нет.
«Правило трёх» — это простой и полезный способ решения именно этой проблемы.
Правило гласит: если в 'n' испытаниях вы наблюдаете ноль событий, то приблизительный 95% доверительный интервал для частоты этого события простирается от 0 до 3/n.
Это невероятно практично. Если у первых 250 пациентов новый препарат не вызывает побочных реакций, правило трех позволяет нам с 95% уверенностью утверждать, что истинная частота побочных реакций находится где-то между 0% и 1.2% (поскольку 3/250 = 0.012). Это обеспечивает разумную верхнюю границу риска, даже если пока ничего плохого не произошло.
Заключение: Примите интервальный подход.
Одно число — среднее значение, процент, ставка — никогда не отражает всей картины. Это лишь точечная оценка, единственное предположение в море неопределенности.
Доверительные интервалы заставляют нас столкнуться с этой неопределенностью. Они дают важнейший, заставляющий задуматься и более честный взгляд на то, что наши данные на самом деле могут рассказать нам о мире. Показывая нам диапазон правдоподобных истин, они не позволяют нам обмануться иллюзией уверенности.
В следующий раз, когда вы увидите какую-либо статистику, вы спросите о самом числе или о неопределенности, которая его окружает?
