4 нетривиальные истины о стандартном отклонении
Введение: За пределами среднего уровня
У среднестатистического человека одна грудь и одно яичко.
Эта цитата наглядно иллюстрирует опасность опоры исключительно на среднее арифметическое для понимания набора данных. Хотя технически это верно, «среднестатистический человек», о котором идет речь, не существует и ничего не говорит нам о фактическом распределении признаков в популяции. Среднее арифметическое может вводить в заблуждение, когда наблюдается значительная вариация.
Для получения более ясной картины нам нужен способ количественной оценки этого «разброса» или «изменчивости». Наиболее распространенным инструментом для этой задачи является стандартное отклонение (СО). Оно измеряет, насколько сильно точки данных разбросаны относительно среднего значения. Хотя многие из нас изучают расчет стандартного отклонения на вводном курсе статистики, его интерпретация содержит несколько неожиданных нюансов, которые имеют решающее значение для правильного анализ данных.
Список: Четыре ключевых вывода
1. Почему мы делим на n-1: Загадка «степеней свободы»
Один из самых распространенных вопросов в вводном курсе статистики — почему формула для выборочного стандартного отклонения делит сумму квадратов разностей на n-1 (the number of data points minus one) instead of just n. The reason is subtle but important.
При анализе данных наша цель обычно состоит в том, чтобы, используя небольшую выборку, оценить характеристики гораздо большей популяции. Вычисленное нами стандартное отклонение на основе выборки представляет собой оценку истинного стандартного отклонения всей популяции.
Ключевой вывод заключается в следующем: точки данных в любой данной выборке в среднем будут ближе к собственное среднее значение выборки чем они по отношению к истине (и неизвестному) среднее по популяцииЭто приводит к тому, что сумма квадратов разностей относительно выборочного среднего оказывается немного меньше, чем если бы её можно было вычислить на основе истинного среднего значения генеральной совокупности. Чтобы скорректировать эту систематическую недооценку, мы делим на немного меньшее число. n-1, which makes the final result a bit larger and a better estimate of the population’s true standard deviation.
В статистике это понятие называется «степенями свободы». Поскольку выборочное среднее — это вычисленное, фиксированное значение, только n-1 of the data points are “free” to vary before the last one is determined. While the theory can be complex, a deep understanding is not critical for most practical applications.
2. «Наилучшая» оценка на самом деле предвзята.
Вот настоящий статистический парадокс: выборочное стандартное отклонение, рассчитанное с использованием n-1 formula is considered the “best possible estimate” for statistical inference, yet it is also a пристрастный оценка стандартного отклонения генеральной совокупности.
Однако стандартное отклонение, вычисленное с n – 1 в качестве знаменателя, не является наиболее точной оценкой стандартного отклонения генеральной совокупности. Напротив, это смещенная оценка стандартного отклонения генеральной совокупности. Смещение означает, что в среднем вычисленное стандартное отклонение не будет равно (в этом примере будет меньше) стандартному отклонению генеральной совокупности, особенно при малых выборках.
Как может «наилучшая» оценка быть смещенной? Парадокс разрешается, когда мы рассматриваем не стандартное отклонение, а дисперсия—что представляет собой просто квадрат стандартного отклонения. Формула использует n-1 produces an беспристрастный оценка численности населения дисперсияЭто крайне важно, поскольку статистические выводы, такие как доверительные интервалы и P-значения, выводятся из свойств дисперсии. Обеспечивая несмещенную оценку дисперсии, мы гарантируем статистическую обоснованность последующих вычислений, которые являются конечной целью анализа. Поэтому мы принимаем слегка смещенное стандартное отклонение для достижения несмещенной основы для наших выводов.
3. Больший размер выборки не уменьшит ваше стандартное отклонение.
Распространенное заблуждение заключается в том, что сбор большего количества данных должен приводить к уменьшению стандартного отклонения. Эта идея кажется интуитивно понятной — больше данных означает меньшую неопределенность, верно? Но это неверно.
Стандартное отклонение количественно оценивает присущую популяцииизменчивость . Например, температура тела человека естественным образом колеблется. Сбор данных от большего числа людей не меняет биологического факта этих колебаний. Однако больший размер выборки does более точно.
Это часто вызывает путаницу, поскольку он контрастирует с другой распространенной статистической величиной — стандартной ошибкой среднего (СЭМ). СЭМ does уменьшается с увеличением размера выборки, поскольку она измеряет, насколько точно среднее значение выборки оценивает среднее по популяции. В отличие от этого, стандартное отклонение измеряет разброс внутри самой генеральной совокупности. Большее количество данных дает более точную оценку среднего значения (меньшая СЭМ) и более точную оценку разброса (более стабильное стандартное отклонение), но само разброс не меняется.
В исходном тексте приводится прекрасный пример с использованием данных о температуре тела. Небольшая выборка из 12 человек показала стандартное отклонение 0.40 °C. Значительно большая выборка из 130 человек показала почти идентичное стандартное отклонение — 0.41 °C. Разброс данных в генеральной совокупности остался тем же; большая выборка просто подтвердила полученное значение с большей уверенностью.
4. Опасная ловушка псевдорепликации
Правильная интерпретация стандартного отклонения — и практически любого статистического расчета — основана на предположении, что каждая точка данных предоставляет независимую информацию. Ошибка, заключающаяся в том, что измерения, не являющиеся независимыми, рассматриваются как независимые, называется псевдорепликацией и приводит к вводящим в заблуждение малым и неточным статистическим результатам.
Вот два распространённых примера из исходного материала:
- Технические и биологические повторы: Представьте, что вы измеряете артериальное давление у каждого из трех животных по пять раз. В общей сложности у вас есть 15 измерений, но у вас нет...
n=15independent samples. The five measurements from a single animal are not independent; if that animal has naturally high blood pressure, all five of its readings will likely be higher. These are технические репликиИстинными источниками независимой изменчивости являются три разных вида животных (биологические репликатыПравильный подход заключается в том, чтобы сначала усреднить пять измерений для каждого животного, а затем проанализировать полученные три средних значения с помощьюn=3. - Парные измерения: Если измерить переменную в обоих глазах 10 человек, вы получите 20 точек данных. Однако, рассматривая это как
n=20is incorrect. The two measurements from one person are not independent because they are influenced by the same genetics, diet, and overall health. The variation между людьми Как правило, разница между двумя глазами одного человека значительно больше. Простое решение — усреднить измерения для каждого человека и использовать...n=10for your analysis.
В обоих случаях игнорирование отсутствия независимости привело бы к неверному расчету и интерпретации стандартного отклонения.
Заключение: см. рассеяние
Стандартное отклонение — это гораздо больше, чем просто шаг в формуле; это тонкое понятие, требующее тщательного осмысления. От тонкой корректировки n-1 to the critical importance of data independence, understanding these truths helps us avoid common analytical pitfalls.
Это возвращает нас к началу: среднестатистический человек с одной грудью и одним яичком. Проблема с этим средним значением не в математике; проблема в том, что оно скрывает истинную, бимодальную природу данных. Простое среднее арифметическое и стандартное отклонение не могут отразить эту картину, но график, показывающий разброс данных, мгновенно бы это показал.
В конечном счете, хотя стандартное отклонение является мощным обобщающим статистическим показателем, лучший способ оценить изменчивость — это взглянуть на нее напрямую. Покажите свои данные. Посмотрите на разброс. Теперь, когда вы увидели нюансы, где в вашем собственном анализе данных более глубокий взгляд на разброс может раскрыть совершенно другую картину?
