Почему «нормальное» распределение на самом деле не является нормальным: 4 удивительных факта
Введение: Кривая, которую мы все знаем, но не понимаем.
«Колоколообразная кривая», или гауссово распределение, — одно из наиболее узнаваемых понятий в статистике, встречающееся в самых разных областях, от медицины до финансов. Но его общепринятое название — «нормальное распределение» — часто приводит к фундаментальным заблуждениям относительно того, что оно на самом деле представляет собой.
Это противоречие между его широким распространением и тонкой природой было прекрасно отражено Г. Липпманом:
В нормальное приближение верят все: экспериментаторы, потому что считают его математической теоремой, математики, потому что считают его экспериментальным фактом.
В этой статье мы рассмотрим четыре наиболее удивительные и важные истины о гауссовском распределении, чтобы помочь вам понять, что это такое, откуда оно берется и как правильно его интерпретировать.
Вывод 1: «Нормально» не значит нормально.
1. «Нормальность» означает не то, что вы думаете.
Хотя гауссово распределение обычно называют «нормальным распределением», в данном случае статистика придала обычному слову особое, техническое значение. Его не следует путать с обычным значением слова «нормальный», как в выражениях «обычно наблюдаемый», «типичный» или «не указывающий на заболевание».
Распространенное, но концептуально ошибочное применение — использование распределения для определения «нормального диапазона» для клинического значения. Например, можно предположить, что температура тела подчиняется гауссовому распределению, и определить верхние и нижние 2.5% населения как «аномальные». В этом случае нормальный диапазон будет равен значить плюс-минус 1.96 стандартных отклонений.
У этого чисто статистического подхода есть несколько проблем:
- Клинический контекст имеет важное значение. Для определения того, что является «аномальным», необходимы клинические знания о признаках заболевания; это нельзя определить только с помощью статистических расчетов.
- «Норма» зависит от других факторов. Показатель, который является нормальным для 80-летнего человека, может быть аномальным для 25-летнего. Необходимо учитывать такие факторы, как возраст и пол.
- Границы редко бывают чёткими. В медицине часто существуют «пограничные» значения. Четкая статистическая граница между нормой и отклонением от нормы зачастую нереалистична.
- Данные из реального мира редко бывают идеальными. Данные могут быть примерно Распределение имеет гауссову форму, но отклонения чаще всего возникают в крайних значениях (хвостах), именно там и обнаруживаются «аномальные» значения.
- Высокие и низкие значения не имеют одинакового значения. Этот статистический подход предполагает, что очень высокое значение вызывает такое же беспокойство, как и очень низкое. Что касается температуры тела, низкое значение обычно не является медицинской проблемой, тогда как высокое может быть признаком инфекции.
Вывод 2: Всё начинается со средних значений, а не всегда с данных.
2. Его сила проистекает из центральной предельной теоремы.
Центральная роль гауссова распределения в статистике обусловлена не тем, что большинство исходных данных следуют идеальной колоколообразной кривой, а мощным математическим соотношением, известным как центральная предельная теорема.
Вы можете понять основную идею теоремы с помощью простого воображаемого эксперимента:
- Начнём с популяции, распределение данных которой следующее: не Гауссово распределение.
- Случайным образом отберите из этой популяции множество различных выборок одинакового размера.
- Вычислите среднее значение для каждой из этих отдельных выборок.
- Создайте график частотного распределения всех средних значений выборок.
Центральная предельная теорема утверждает, что распределение выборочных средних будет аппроксимировать гауссово распределение, даже если исходная популяция не имела гауссова распределения.
Именно поэтому многие распространенные статистические тесты, такие как Т-тест и дисперсионный анализ, работают так хорошо. Поскольку эти тесты касаются только различий между средними значениями, центральная предельная теорема говорит нам, что сами средние значения, как правило, следуют предсказуемому, нормальному распределению, что делает эти тесты устойчивыми.
Вывод 3: Он состоит из множества мелких, взаимодополняющих элементов.
3. У этого явления простая история происхождения: случайность сама себя нейтрализует.
Интуитивно понятное объяснение частого появления гауссова распределения заключается в том, что оно является естественным результатом множества независимых случайных факторов, создающих изменчивость. Некоторые из этих факторов повышают значение, а другие — понижают.
В большинстве случаев эти случайные эффекты частично компенсируют друг друга, поэтому большинство значений в итоге группируются вблизи среднего значения. Лишь в редких случаях большинство случайных факторов будут действовать в одном направлении, создавая значение, далекое от среднего. Этот процесс приводит к характерной симметричной колоколообразной кривой, где значения, близкие к среднему, распространены, а экстремальные значения встречаются редко.
Ключевым условием для этого является то, что различные источники изменчивости должны быть независимыми, аддитивными, и ни один из источников изменчивости не должен доминировать над другими.
Вывод 4: Данные можно визуализировать, используя всего два числа.
4. Среднее значение и стандартное отклонение — мощный дуэт для описания характеристик.
Если вы можете с достаточной уверенностью предположить, что ваши данные приблизительно подчиняются гауссовому распределению, вы можете мысленно воссоздать картину всего набора данных, зная всего два числа: среднее значение и стандартное отклонение (SD).
Это возможно благодаря двум надежным эмпирическим правилам:
- Примерно две трети (68.3%) всех значений находятся в пределах 1 стандартного отклонения от среднего значения.
- Примерно 95% всех значений находятся в пределах 2 стандартных отклонений от среднего значения (точнее, 1.96 SD).
Например, если вам сообщили только, что средняя температура тела в исследовании составила 36.82 °C со стандартным отклонением 0.41 °C, вы можете сделать вывод, что около 95% значений находятся в диапазоне от 36.0 °C до 37.6 °C. Этот простой расчет дает достаточно точное представление о разбросе данных.
Заключение: За пределами колокола
Гауссово распределение — это фундаментальный и мощный инструмент. Однако его сила заключается в понимании его нюансов. Это модель поведения средних значений и результат кумулятивных случайных эффектов, а не универсальное описание для всех данных или жесткое определение «нормального распределения».
В следующий раз, когда вы увидите данные, описанные как «нормальные», какие более глубокие вопросы вы зададите себе о их истинной форме и значении?
