4 статистические ловушки, которые незаметно искажают анализ данных.
Введение: Скрытые правила чисел
Когда перед нами появляется набор чисел, наш первый инстинкт — начать вычисления. Мы предполагаем, что если у нас есть данные, мы можем выполнить над ними любую стандартную операцию — сложить, вычесть, вычислить средние значения или найти отношения. Это кажется самым основным правилом математики. Однако в мире анализ данныхэто предположение опасно.
Правда в том, что не все числа одинаковы. Фундаментальный тип переменной определяет, какие математические операции имеют смысл, а какие вводят в заблуждение с точки зрения статистики. Игнорировать эти различия — всё равно что пытаться играть в игру, не зная её основных правил; вы можете получить ответ, но вряд ли он будет правильным.
Это основополагающий навык для любого, кто работает с данными. Незнание его может привести к ошибочным выводам и обманчивым визуализациям. В этой статье мы рассмотрим четыре распространенных, но неожиданных статистических ловушки, в которые могут попасть даже опытные специалисты, и расскажем, как понимание природы ваших данных является ключом к их избеганию.
1. Иллюзия соотношения: почему 100°C не вдвое горячее, чем 50°C
Первая ловушка — это тонкая иллюзия смысла, которая возникает, когда мы путаем два разных типа непрерывных данных: интервальные и относительные.
Интервальные переменные — это переменные, у которых разница между двумя значениями является постоянной и осмысленной, но нулевая точка произвольна. Классический пример — температура в градусах Цельсия. Разница между 10°C и 20°C такая же, как разница между 80°C и 90°C. Однако 0°C (точка замерзания воды) не означает полного отсутствия температуры. Сравните это со шкалой Кельвина, где 0 К — абсолютный нуль, истинное отсутствие тепловой энергии. Поскольку шкала Кельвина имеет истинный нуль, это шкала отношений, и можно сказать , что 200 К в два раза горячее, чем 100 К.
Переменные отношения, представляющие собой отношения, имеют истинное, непроизвольное нулевое значение. Значение, равное нулю, означает полное отсутствие данной величины. Вес, рост и активность ферментов — все это переменные, представляющие собой отношения; вес, равный нулю, означает «отсутствие веса».
Поскольку нулевая точка для интервальной переменной произвольна, невозможно вычислить осмысленное соотношение. Статистически неверно утверждать, что температура 100°C в два раза выше, чем 50°C. Соотношение бессмысленно, потому что начальная точка шкалы не является истинным нулем.
Утверждение о том, что температура канарейки (40.5°C) на 33% выше, чем у утконоса (30.5°C), неверно. Если бы вы произвели тот же расчет, используя градусы Фаренгейта, вы получили бы другой результат, что доказывает бессмысленность такого соотношения.
2. Обман визуализации: как столбчатые диаграммы могут лгать.
Вторая ловушка напрямую вытекает из первой: когда мы визуализируем данные, подверженные иллюзии соотношения, мы создаем диаграммы, которые обманывают наши глаза. Мы визуально запрограммированы видеть столбец, который вдвое выше другого, и думать: «Это вдвое больше».
Этот визуальный приём создаёт ловушку при построении графиков интервальных данных, таких как температура. Стандартная столбчатая диаграмма, ось которой начинается с нуля, по своей сути побуждает зрителя сравнивать относительную высоту столбцов, предполагая соотношение, которое, как мы только что установили, бессмысленно. Но даже столбчатая диаграмма с приподнятой базовой линией вводит в заблуждение; она создаёт разные , но столь же вводящее в заблуждение соотношение. Столбчатые диаграммы проблематичны для интервальных данных независимо от их базовой линии, поскольку их формат по своей сути побуждает к сравнению высоты столбцов — сравнению, которое всегда некорректно для этого типа данных.
Для данных такого типа более информативным и менее вводящим в заблуждение способом представления значений является использование точек вместо столбцов. График с точками отображает отдельные значения и их разности, не создавая ложного соотношения, основанного на их расстоянии от произвольной нулевой точки. В некоторых случаях простая таблица может быть лучше любого графика для этих значений.
3. Принцип неоднозначности: когда переменные отказываются быть классифицированными
Третья статистическая ловушка заключается не в нарушении жесткого правила, а в неспособности осознать, что сами правила могут быть гибкими. На практике «категории переменных далеко не так четко определены, как может показаться». Правильная классификация переменной часто полностью зависит от контекста анализа.
Прекрасный пример такой неоднозначности — цвет.
- В психологическом исследовании восприятия, где участникам предлагается выбрать между «красным», «синим» и «зеленым», цвет является номинальный переменная. Значения представляют собой отдельные категории, не имеющие определенного порядка.
- Однако, если измерять те же цвета по их электромагнитной длине волны, цвет становится соотношение переменная. Она имеет истинный нуль, и можно с уверенностью сказать, что одна длина волны в два раза длиннее другой.
Этот принцип демонстрирует, что контекст имеет решающее значение. Прежде чем анализировать переменную, необходимо сначала понять, как она была измерена и что она представляет собой в рамках вашего конкретного вопроса.
4. Заповедь вычислений: ваши математические расчеты должны соответствовать типу данных.
Последняя и самая серьезная ловушка — это отсутствие дисциплины: выполнение вычислений, которые просто недопустимы для типа вашей переменной. Разные переменные предоставляют вам разные математические возможности.
Например, хотя для любого типа переменной можно рассчитать частотное распределение (то есть подсчитать, сколько раз встречается каждое значение), более сложные вычисления, такие как значить или стандартное отклонение имеют смысл только для интервальных и относительных переменных.
Это особенно важно помнить для порядковые переменные, которые выражают ранг или порядок, но не показывают последовательной разницы между значениями. Распространенный пример — шкала боли от 1 до 10. Оценка 7 выше, чем 5, а 5 выше, чем 3. Но нельзя предполагать, что разница в боли между 7 и 5 такая же, как разница между 5 и 3. Ощущаемый скачок от «легкого дискомфорта» (3) к «умеренной боли» (5) может быть гораздо меньше, чем скачок от «умеренной боли» (5) к «сильной боли» (7). Усреднение этих чисел подобно усреднению финишных позиций в гонке (1-е, 5-е, 10-е) без учета временных промежутков между бегунами — средний ранг ничего не говорит о фактических различиях в результатах.
Аналогично, некоторые вычисления еще более ограничительны. Коэффициент вариации (КВ), который равен стандартному отклонению, деленному на значить, имеет смысл только для переменных отношения. Это связано с тем, что вычисление зависит от истинной нулевой точки; если изменить единицы измерения интервальной переменной (например, с Цельсия на Фаренгейт), КВ изменится, и вычисление станет бессмысленным.
В заключение: задайте себе вопрос: «Что это за число?»
Прежде чем приступать к вычислениям, сортировке или визуализации, первым шагом в любом грамотном анализе данных является пауза и понимание фундаментальной природы переменных, с которыми вы работаете. Четыре ловушки — иллюзия соотношения, обман визуализации, принцип неоднозначности и неверные вычисления — все они проистекают из одной и той же первопричины: отношения ко всем числам так, как если бы они подчинялись одним и тем же правилам. Эта привычка к анализу переменных является отличительной чертой опытного специалиста по работе с данными и первой линией защиты от неверных выводов.
В следующий раз, когда вы будете изучать набор данных, не просто спрашивайте, что говорят цифры; спросите себя, что это за цифры и что они на самом деле могут мне рассказать?
