", в котором детям дают советы, а дети, как известно, всё делают наоборот и получается всё как раз правильно. Может быть и со всем остальным так получится?

Статистика, инфографика, big data, анализ данных и data science - этим сейчас кто только не занят. Все знают как правильно всем этим заниматься, осталось только кому-то написать как НЕ нужно этого делать. В данной статье мы именно этим и займемся.

Народное творчество о данном феномене:

По данным интернет-голосования 100% людей пользуются интернетом.

Зарплата выпускников

Никого не удивляло, что когда мы слышим о зарплатах выпускников ВУЗов, то почему-то всегда это неправдоподобно высокие цифры? В США сейчас доходит дело даже до судов , где выпускники утверждают, что данные по зарплатам искусственно завышены.

(картинка из How to Lie with Statistics)

Это довольно старая проблема, согласно Darrell Huff, подобный вопрос возникал у выпускников Yale 24-го года. И на самом деле все говорят правду, да только не всю. Сбор статистики происходил в виде опросов (а в те годы с помощью бумажной почты). Отправляют ответ далеко не все, а только небольшая часть всех выпускников; активнее других отвечают те, у кого дела идут хорошо (что часто выражается в неплохой зарплате), поэтому мы видим только «хорошую» часть картины. Это-то и создаёт предвзятость выборки и делает результаты подобных опросов абсолютно бесполезными.

Правильно выбираем среднее (Well-chosen average)

Представим себе компанию, в которой руководитель получает 25 тысяч, его заместитель 7,6 тысяч, топ-менеджеры по 5,5 тысяч, менеджеры среднего звена по 3,5 тысячи, младшие менеджеры по 2,5 тысячи, а обычные работники по 1,4 тысячи (абстрактных фунтиков) в месяц.

И наша задача представить информацию о компании в положительном свете. Мы можем написать средняя заработная плата в компании составляет X, но что означает среднее ? Рассмотрим возможные варианты (см. схему ниже):

(картинка из How to Lie with Statistics)

Арифметическое среднее некоторого конечного множества X={x i } - это такое число m равное mean(X) из уравнения:

Это самая бесполезная информация с точки зрения работника - 3,472 средняя зарплата, но за счет чего получается такая высокая цифра? За счет высоких зарплат руководства, что создает иллюзию, что работник будет получать столько же. С точки зрения работника данная величина не является особо информативной.

Конечно же народное творчество не обошло стороной эту особенность «средней величины» в виде средне арифметического

Чиновники едят мясо, я - капусту. В среднем мы едим голубцы.

Медиана некоторого распределения P(X) (X={x i }), это такая величина m, что она удовлетворяет следующему уравнению:

Проще говоря, половина работников получает больше данной величины, а половина меньше - ровно середина распределения! Данная статистика достаточно информативна для работников компании, так как она позволяет определить как зарплата сотрудника соотносится с большинством сотрудников.

Мода конечного множества X={x i }, это число m, которое встречается в X чаще всего. В данном случае, мода может быть наиболее информативна для человека, который собирается начать работать в данной компании.

Таким образом в зависимости от ситуации под средним значением может пониматься любая из указанных выше величин (в принципе и не только из них). Поэтому принципиально важно понять, как же рассчитывается это среднее значение.

И еще 10 неудачных экспериментов, про которые мы не написали

Опустим обычную газету в серную кислоту, а журнал ТВ Парк - в дистиллированную воду! Почувствовали разницу? С журналом ничего не произошло - бумага как новая! (Весь ролик .)

Наши исследования сообщают, что зубная паста Doake"s на 23% процента эффектнее конкурентов, и всё это благодаря Dr Cornish"s Tooth Powder! (Который наверняка содержал β-каротин и секретную формулу леса - прим. автора.) Вы наверное удивитесь, но исследование действительно провели и даже выпустили технический отчет. И эксперимент действительно показал, что зубная паста на 23% процента эффективнее конкурентов (чтобы это не значило). Но только вся ли это история?

В действительности выборка для эксперимента составляла всего лишь дюжину человек (согласно Darrell Huff и уже упомянутой книге). Это именно та выборка, которая нужна, чтобы получить любые результаты! Представим, что мы подбрасываем монетку пять раз. Какова вероятность, что все пять раз выпадет орел? (1/2) 5 = 1/32. Всего лишь одна тридцать вторая, это не может быть просто совпадением, если выпадут все пять орлов, ведь так? А теперь представим, что мы повторяем этот эксперимент 50 раз. Хоть одна из этих попыток увенчается успехом. О ней-то мы и напишем в отчете, а все другие эксперименты никуда не пойдут. Таким образом мы получим исключительно случайные данные, которые отлично вписываются в нашу задачу.

Играем со шкалой

Предположим, завтра нужно показать на совещании, что мы догнали конкурентов, но числа немного не сходятся, что же делать? Давайте немного подвигаем шкалой! Даже известный своей качественной работой с данными New York Times выпустил подобный совершенно сбивающий с толку график (обратите внимание на скачок с 800к до 1,5м в центре шкалы).

Скрываем нужные числа

Лучший способ что-то скрыть - это отвлечь внимание. Например, рассмотрим зависимость количества частных и публичных школ (в тысячах штук) по годам. Из графика видно, что число публичных школ сокращается, а число частных существенно не изменяется.

На самом деле рост числа частных школ скрыт на фоне числа публичных школ. Так как они отличаются на порядок, то фактически любые изменения будут не заметны на шкале с достаточно большим шагом. Перерисуем число частных школ отдельно; теперь мы отчетливо видим существенный рост числа частных школ, который был «скрыт» на предыдущем графике.

(пример и графики из How to Display Data Badly, Howard Wainer . The American Statistician, 1984.)

Визуальная метафора

Если сравнивать не с чем, а запутать очень хочется, то самое время для непонятных визуальных метафор. Например, если мы изобразим вместо длины площадь на графике, то любой рост будет казаться гораздо более значительным.

Рассмотрим потребление количества пива в США за 1970-1978 годы в миллионах баррелей и долю рынка компании Schlitz (см. график ниже). Неплохо выглядит, внушительно. Не правда ли?

А теперь давайте избавимся от ненужного «мусора» на данном графике и перерисуем его в нормальном виде. Уже как-то не так внушительно и серьезно выходит.

(графики и примеры из John P. Boyd, lecture notes How to Graph Badly or What. NOT to Do)

Первая картинка не врет, все числа в ней верные, только она неявно преподносит данные в совершенно ином свете.

(картинка из How to Lie with Statistics).

Пример качественной визуализации

Качественная визуализация прежде всего преподносит результаты, избегая неоднозначности, и передает достаточное количество информации в сжатом объеме. Про работу Шарль-Жозефа Минара хорошо сказано :

Тут прекрасно совершенно все, зрителя не держат за идиота, и не тратят его время на втыкание в censored . Широкая бежевая полоса показывает размер армии в каждой точке похода. В правом верхнем углу - Москва, куда приходит французская армия и откуда начинается отступление, показанное черной полосой. К маршруту отступления для дополнительного интереса привязан график времени и температуры.
Вывод в итоге: изумленный зритель сравнивает размер армии на старте с тем, что вернулось домой. Зритель весь в чувствах, он узнал новое, он ощутил масштаб, он заворожен, он понял, что в школе ничего не узнал.

(Charles Joseph Minard: Napoleon"s Retreat From Moscow (The Russian Campaign 1812-1813), 1869.)

Заключение и дальнейшее чтение

76% всей статистики взято из головы

Данная подборка покрывает далеко не полный список приемов, которые осознанно, а также не осознанно искажают данные. Данная статья прежде всего демонстрирует, что мы должны очень внимательно следить за предоставленными нам статистическими данными и выводами сделанными на их основе.

Короткий список к дальнейшему чтению:
How to Lie with Statistics - замечательная небольшая книга, невероятно интересно и хорошо написанная, читается на одном дыхании. Демонстрирует основные «ошибки», которые допускают СМИ (и не только они) при работе с данными.
How to Display Data Badly. Howard Wainer. The American Statistician (1984) - сборник типичных ошибок и общих «вредных» правил, чаще всего встречающихся в работах с визуализацией данных.

Теги: Добавить метки

(англ.) русск. в 1954 году. Она рассказывает о различных способах злоупотребления статистикой в целях обмана аудитории и манипулирования её мнением. Рассмотрено множество конкретных примеров, в основном из американской жизни (реклама, политика, пропаганда и агитация).

Первым эпиграфом к книге выбрана цитата из графа Би́консфилда (Б. Дизраэли) о статистике: «Существуют три вида лжи: ложь, наглая ложь и статистика».

Книга ориентирована на читателя-неспециалиста и снабжена яркими иллюстрациями. Материал излагается живо и в доступной форме, что обеспечило высокую популярность книги - она является одной из самых многотиражных публикаций, посвященных статистике, за вторую половину XX века .

Выборка изначально необъективна

Использование графических объектов, ассоциативно связанных с представляемой информацией, открывает широкие возможности для злоупотреблений. Это утверждение поясняется рядом примеров:

Для сравнения двух заработных плат можно использовать инфографику и нарисовать два мешка с деньгами. Если вторая заработная плата выше первой в два раза, то второй мешок будет не только выше, но и шире в два раза (что необходимо для сохранения пропорции). А поскольку мешок - это трёхмерный объект, то и контур второго мешка будет в два раза толще, чем первого. В результате наше зрение воспринимает второй мешок, как мешок в 8 (а не в 2!) раз больший, чем первый. Этот прием был использован журналом Newsweek.
В рекламе американского института стали и сплавов была использована инфографика для показа увеличения выплавки стали между 1930 и 1940 гг на 4.25 млн тон (с 10 млн до 14,25 млн). Техника инфографики (к рассмотренным ранее методам добавилось преднамеренное искажение пропорций) привело к тому, что указанное увеличение выплавки визуально воспринималось как 1500 %. Автор замечает, что это тот случай, когда «арифметика превращается в фантазию».
Использование изображения коров разного размера для показа различных показателей удоев по годам. В добавление к уже рассмотренным эффектам, этот метод приводит к еще одному недоразумению - читатель может подумать, что не только удои стали выше, но и коровы больше.

На рисунке ниже показан пример злоупотребления инфографикой - второй объект визуально больше в 8 раз.

Выучите терминологию. Словом “среднестатистический” сегодня бросаются налево и направо, едва лишь речь заходит об обсуждении чего-то, относящегося к статистике. На первый взгляд термин звучит вполне ясно: среднестатистическое - это то, что в середине. Тем не менее, есть несколько видов среднестатистических данных, каждый из которых может быть весьма и весьма обманчив для человека, не умеющего с ним работать.

Среднее арифметическое: его мы знаем со школы. Складываем все цифры, делим на количество цифр - и готово. К примеру, есть цифры 3, 3, 5, 4, 7. Среднее арифметическое высчитывается так: сперва сложим (22), потом поделим на 5 (5 цифр).
- Среднее арифметическое равняется 4.4
Медиана: некое число, которое находится строго в середине выборки. Если взять тот же набор чисел - 3, 3, 5, 4, 7 - то медианой в его случае будет 4, так как есть 2 числа меньше четверки и два числа больше.
Мода: это то число, которое чаще всего повторяется в выборке. Так, в нашем случае это 3, так как в этом - 3, 3, 5, 4, 7 - наборе чисел есть две тройки.

Когда лжет среднее арифметическое. Может казаться, что среднее арифметическое лгать не может просто по определению, но это только кажется. Аномальное высокие или аномальное низкие данные в выборке могут существенно исказить картину и, собственно, само среднее арифметическое! Чтобы лгать с его помощью, вам нужно найти выбросы значений данных и воспользоваться ими.

Пример: вы проводите опрос среди 50 домохозяйств в вашем районе. Тема опроса - уровень дохода. Допустим, все соседи получают доход в долларах. И все соседи зарабатывают около 40-60 тысяч долларов в год. Но один-единственный сосед умудряется делать в год 5 миллионов. Сами понимаете, когда вы сядете высчитывать среднее арифметическое по доходу в районе, то этот богатей своими 5 миллионами серьезно поднимет общую планку.
Аналогично: у 9 ваших соседей в банке лежит по тысяче долларов, а у десятого - всего один доллар. Среднее арифметическое получается равным $900,10, то есть почти на 10% меньше суммы вклада большей части людей.
В ходе проведения серьезных опросов, как правило, самые высокие и низкие показатели отбрасываются, только потом высчитывается среднее арифметическое. Увы, далеко не каждый опрос, чьи результаты вы видите в СМИ, можно назвать серьезным. Если у вас нет доступа к данным, полученным в ходе опроса, либо если нет письменного заявления о том, что в ходе анализа данных были отброшены экстремумы, то верить такому опросу… не стоит.

Когда лжет медиана. Откровенно говоря, тут лгать сложнее всего, что и понятно - медиана суть середина, она не может быть слишком большой или маленькой. Она просто должна быть в середине… тем не менее, с ее помощью можно прятать очень большие или очень маленькие данные. Например, у нас есть набор следующих цифр: 1, 1, 2, 3, 4, 5, 3000. Медиана здесь - 3.

Когда у вас четное количество данных, медиану можно найти, если найти среднее арифметическое двух данных, оказавшихся в середине выборки. Впрочем, это не вариант в случае резких выбросов показателей.
Не стоит слепо доверять отчетам об изменении результатов по прошествии времени, если оные изменения описываются медианами. Если какая-то компания заявляет, что медианный рост цен на ее услуги составил 3% в год, то это может значить, что в этом году компания повысила цены на все 20% и теперь просто пытается это скрыть за данными прошлых лет.

Когда лжет мода. В ряде случаев, и это объективно, моды лгать не могут. Например, когда речь заходит о том, сколько в среднем было куплено одним человеком билетов на спортивный матч, то тут фальсифицировать просто нечего. Тем не менее, моды тоже могут искажать действительность, особенно когда речь заходит о небольших выборках.

Например, в нашей выборке есть все цифры от 1 до 100, но “1” повторяется 3 раза. Соответственно, 1 будет модой по выборке, хотя среднее арифметическое будет гораздо ближе к 50.
Любой опрос, предлагающий оценить что-то по широкой шкале, может с помощью моды исказить действительность. Например, если опрошено 100 респондентов, каждому из которых предлагалось оценить что угодно по шкале от 1 до 10, и если люди оценивали на “10” чаще, чем ставили другие оценки (даже если десяток всего на одну больше, чем, к примеру, единиц), то можно смело заявить, что средняя мода по выборке равняется 10.

Первый шаг при сборе статистических данных - определить, что вы хотите анализировать. Специалисты по статистике называют информацию на этом этапе генеральной совокупностью . Затем нужно определить подкласс данных, которые при анализе должны представлять всё население в целом. Чем больше и точнее выборка, тем вернее будут результаты исследования.

Конечно, есть разные способы испортить статистическую выборку случайно или намеренно:

Систематическая ошибка отбора. Такая ошибка происходит, когда люди, принимающие участие в исследовании, сами относят себя к группе, не представляющей всё население.
Случайная выборка. Имеет место, когда анализируют легкодоступную информацию, а не пытаются собрать репрезентативные данные. Например, новостной канал может провести политический опрос среди своих зрителей. Не опросив людей, которые смотрят другие каналы (или вообще не смотрят телевизор), нельзя сказать, что результаты такого исследования будут отражать действительность.
Отказ респондентов от участия. Такая статистическая ошибка случается, когда часть людей не отвечает на вопросы, задаваемые в статистическом исследовании. Это приводит к неверному отображению результатов. Например, если в исследовании задаётся вопрос: «Изменяли ли вы когда-нибудь супругу/супруге?», некоторые просто не захотят признаться. В результате будет казаться, что измены происходят редко.
Опросы со свободным доступом. В таких опросах может принять участие любой человек. Часто даже не проверяется, сколько раз один и тот же человек отвечал на вопросы. Примером служат различные опросы в интернете. Проходить их очень интересно, но они не могут считаться объективными.

Прелесть ошибок отбора в том, что кто-нибудь где-нибудь наверняка проводит ненаучный опрос, который подтвердит любую вашу теорию. Так что просто поищите нужный опрос в Сети или создайте свой собственный.

Выбирайте результаты, которые подтверждают ваши идеи

Так как статистика использует числа, нам кажется, что она убедительно доказывает любую идею. Статистика опирается на сложные математические , которые при неправильном обращении могут привести к совершенно противоположным результатам.

Чтобы продемонстрировать изъяны анализа данных, английский математик Фрэнсис Энскомб создал квартет Энскомба . Он состоит из четырёх наборов числовых данных, которые на графиках выглядят совершенно по-разному.

На рисунке X1 - стандартная диаграмма рассеяния; X2 - кривая, которая сначала поднимается вверх, а потом опускается вниз; X3 - линия, немного поднимающаяся вверх, с одним выбросом на оси Y; X4 - данные на оси X, кроме одного выброса, расположенного высоко на обеих осях.

Для каждого из графиков верны следующие высказывания:

Среднее значение переменной x для каждого набора данных равно 9.
Среднее значение переменной y для каждого набора данных равно 7,5.
Дисперсия (разброс) переменной x - 11, переменной y - 4,12.
Корреляция между переменными x и y для каждого набора данных равна 0,816.

Если бы мы видели эти данные только в форме текста, мы бы подумали, что ситуации полностью одинаковы, хотя графики это опровергают.

Поэтому Энскомб предложил сначала визуализировать данные, а только потом делать выводы. Конечно, если вы хотите ввести кого-то в заблуждение, пропустите этот шаг.

Составляйте графики, которые подчеркнут желаемые результаты

У большинства людей нет времени проводить собственный статистический анализ. Они ждут, что вы предъявите им графики, обобщающие все ваши исследования. Правильно составленные графики должны отражать идеи, которые соответствуют реальности. Но также они могут подчеркнуть те данные, которые вы хотите показать.

Опускайте названия некоторых параметров, немного поменяйте шкалу на оси координат, не объясняйте контекст. Так вы сможете убедить всех в свой правоте.

Всеми средствами скрывайте источники

Если вы открыто указываете свои источники, людям легко проверить ваши выводы. Конечно, если вы стремитесь обвести всех вокруг пальца, ни за что не рассказывайте, как вы пришли к своим выводам.

Обычно в статьях и исследованиях всегда указывают ссылки на источники. При этом оригинальные работы могут предоставляться не полностью. Главное, чтобы источник отвечал на следующие вопросы:

Теперь вы знаете, как манипулировать числами и с помощью статистики доказать практически что угодно. Это поможет вам распознавать ложь и опровергать сфабрикованные теории.

В этой всемирно известной книге Дарелл Хафф рассказывает о различных способах злоупотребления статистикой в целях обмана аудитории и манипулирования ее мнением. Каждый день на вас пытаются повлиять, чтобы сподвигнуть на покупку какого-то «нужного» продукта или на выбор «правильного» кандидата: «Благодаря пасте “Чистые зубы” образование кариеса снижается на 23 %!»; «Политика N поддерживает 85 % граждан»… Как понять, насколько достоверны те или иные данные? Каким образом происходят подсчеты? Что учитывается, а что остается за кадром? Автор раскрывает секретные инструменты статистиков и вооружает читателя знаниями, которые помогут разобраться во всех хитросплетениях этой науки и не позволят ввести в заблуждение.

Глава 1. Выборка изначально необъективна

Результат выборочного исследования не может быть лучше выборки, на которой оно основано. Чтобы данные выборочного исследования имели ценность, они должны основываться на репрезентативной выборке, то есть на выборке, из которой устранены все возможные источники предвзятости.

Подвергайте такому осмыслению все прочитанное, и тогда вы сумеете оградить себя от сведений, не имеющих под собой реальной почвы.

Базовая выборка относится к категории случайной (вероятностной) выборки. Она отбирается произвольным образом из генеральной совокупности.

Проверить, действительно ли выборка имеет случайный (произвольный) характер, можно с помощью такого вопроса: каждое ли имя или предмет из обследуемой совокупности имеют равный шанс попасть в выборку?

Безупречно случайная – единственный тип выборки, которую можно исследовать при помощи статистических методов с полной уверенностью в надежности результата. Но у нее имеется один недостаток. Получить такую выборку настолько трудно и дорого, что чисто материальные соображения заставляют отказаться от этой идеи. Более экономной заменой, повсеместно используемой в изучении общественного мнения и рыночной конъюнктуры, будет стратифицированная случайная выборка.

Чтобы получить стратифицированную выборку, вы должны разбить генеральную совокупность на несколько групп (страт) пропорционально известному показателю их распространенности в совокупности. Вот тут-то и начнутся трудности: сведения о том, каково соотношение групп в генеральной совокупности, могут быть некорректны.

Вы инструктируете интервьюеров, которые будут проводить опрос, чтобы среди опрошенных было столько-то чернокожих, такой-то процент людей, относящихся к нескольким группам населения по размеру доходов, определенное число фермеров и т. п. Но вместе с тем в группе должно быть представлено равное количество людей в возрасте старше и моложе 40 лет.

Но что происходит на деле? В том, что касается цвета кожи, интервьюеры не ошибутся. Но они допустят больше ошибок в оценке размера доходов опрашиваемых. А если говорить о фермерах, то как вы классифицируете человека, который часть времени трудится на ферме, но вдобавок имеет работу в городе? Даже такой вопрос, как возрастная категория респондента, может создать некоторые трудности, но интервьюеры преодолевают их самым простым способом – выбирают респондентов, которые явно старше или значительно моложе 40 лет. Правда, в таких случаях выборка будет предвзятой ввиду фактического отсутствия в ней лиц в возрасте под 40 и тех, кому 40 с небольшим.

А кроме всего прочего, как на условиях стратификации получить вероятностную выборку? Самое очевидное решение – сначала переписать всех, кто входит в страту, а затем найти и опросить выбранных из этого списка случайным образом. Но это слишком уж дорогостоящая процедура. И тогда вы просто выходите на улицу – и сами искажаете свою выборку, поскольку в ней не будут представлены люди, которые сидят в это время по домам. Если вы будете стучаться в двери днем – значит, не охватите большинство тех, кто работает. Решив проводить опросы по вечерам, вы упустите любителей кинематографа и завсегдатаев ночных клубов.

Поэтому, когда вам встречается вывод, что «67% американцев против» того-то или того-то, вам следует задаться вопросом: 67% каких именно американцев?

Результаты опроса, безусловно, до такой степени предвзяты и необъективны, что это их практически обесценивает. Можете сами судить, сколь многие сделанные на основе таких опросов выводы предвзяты и ни к чему не годны.

Глава 2. Грамотно выбранное среднее

Три основных вида среднего – среднее арифметическое, медиана и мода.

Когда мне требуется показатель побольше, я использую простое среднее, то есть среднее арифметическое. Например, для расчета среднего дохода семей требуется сложить доходы всех семей и разделить получившуюся сумму на число семей.

Медиана означает, что половина семей имеет годовой доход выше $3500, а вторая половина – ниже $3500.

Мода – это чаще всего встречающееся значение в числовом ряду, составленном из доходов семей в интересующей нас местности. Если у большей части проживающих там семей годовой доход составляет $5000, это значение и будет модой, или модальным доходом.

В данном случае некое абстрактное «среднее» – без уточнения, какого оно вида, – бессмысленно.

Разные виды среднего имеют близкие значения, когда дело касается данных наподобие тех, что относятся ко многим характеристикам человека. Они настолько любезны, что изволят тяготеть к тому, что называется нормальным распределением. Если начертить кривую нормального распределения, то по форме она будет напоминать колокол, а среднее арифметическое значение, медиана и мода попадут в одну и ту же точку.

Один вид среднего ничуть не хуже другого, когда требуется охарактеризовать рост группы мужчин. Но все совсем не так, когда стоит задача описать размер их доходов.

Например, доходы жителей города (выборка) в тыс. руб. и их средние значения:

Житель №1	Житель №2	Житель №3	Житель №4	Житель №5	Житель №6	Житель №7	Житель №8	Житель №9	Житель №10

среднее арифметическое		когда требуется показатель побольше
мода		чаще всего встречающееся значение
медиана		половина жителей имеет годовой доход выше медианнного значения, а вторая половина – ниже (как правило, наиболее объективное значение)

Владелец бизнеса предпочел бы охарактеризовать ситуацию с оплатой труда в компании как «средний заработок в размере $5700», то есть прибегнуть к обманчивому среднему арифметическому значению, которое складывается из одного показателя дохода в размере $45 000 (владельца бизнеса) и зарплат его низкооплачиваемых сотрудников. Однако мода сказала бы нам намного больше: самый распространенный размер заработка в этой компании составляет $2000 в год. Однако медиана лучше проясняет картину, чем любой отдельно взятый показатель: половина сотрудников зарабатывает больше $3000, а другая половина – меньше.

Доходы в компании

Когда вам встречается средний показатель зарплаты, первым делом задайтесь вопросом: это среднее чего? Кого оно включает?

Был случай, когда Американская сталелитейная корпорация заявила, что средняя недельная зарплата ее сотрудников возросла на 107% в период 1940-1948 гг. Так оно и было – правда, в показатель за 1940 г. включено значительно большее число частично занятых сотрудников. Если в каком-то году вы работали по полнедели, а в следующем перешли на полную занятость, ваш заработок удвоится, но это ничего не говорит о размере вашей заработной платы.

Глава 3. Нюансы, о которых скромно умалчивают (или как не дать обмануть себя результатами исследований)

Как же не дать обмануть себя результатами исследований? Должен ли каждый из нас стать статистиком и лично изучать исходные данные любого исследования? Вовсе нет!

Просто не доверяйте среднестатистическим показателям, графикам и тенденциям, когда вам предъявляют их без важных цифр, которые могли бы прояснить смысл:

1. без критериев значимости

2. без размаха исследуемого признака или диапазона отклонения от указанного среднего

3. без пояснений методов/формул расчетов

4. без подписей данных на осях графиков

Иначе вы будете слепы, как тот чудак, что присматривает себе место для вылазки на природу, руководствуясь лишь сводкой средней температуры.

Ничего не знать о предмете зачастую гораздо лучше, чем знать то, что не соответствует действительности.

1) Критерий значимости

Если есть информация о степени их значимости, у вас будет более ясное представление о том, насколько эта информация заслуживает доверия. Степень значимости проще всего выразить в виде вероятности.

Для большинства случаев сойдет все, что не хуже 5%. Для некоторых целей требуемый уровень точности составляет 1%, а это означает, что в 99 случаях из 100 информация верна. Это уже «практически точные» данные.

2) Размах исследуемого признака или диапазон отклонения от указанного среднего

Часто бывает, что любое среднее представляет собой такое чрезмерное упрощение, что оно даже хуже, чем бесполезно.

Поэтому наряду с показателем «нормы» или среднего значения должен быть указан диапазон или размах этой самой нормы или среднего.

Например,

для среднего значения:

- неверно: среднестатистическая семья - 3,6 (т.е. 3-4) человека

- верно: задать диапазон: 3-4 чел. - 45%; 1-2 чел. - 35%; более 4 чел. - 20%

для нормы:

- неверно: ребенок в 12 мес. уже должен сидеть

- верно: ребенок садится в возрасте 10-14 мес.

Глава 4. Много шума практически из ничего (или о тестах на IQ)

Тесты на IQ упускают из виду такие важные свойства, как инициативность и творческое воображение. Они не принимают в расчет и сложившиеся на социальной почве суждения, музыкальные и художественные способности испытуемых.

Тест на IQ производит выборочную проверку интеллекта. Как и любой другой показатель, полученный методом выборки, IQ содержит статистическую погрешность, отражающую степень точности или достоверности данного показателя.

Величина вероятной ошибки означает, что полученный результат отличается от среднего, вероятно, не более чем на эту величину. Обычно в качестве вероятной ошибки берут 50%-ную ошибку, т. е. в 50% случаев фактическая ошибка будет меньше вероятной.

Например, вам требуется определить размеры большого числа полей, причем измерять предстоит шагами, следуя вдоль изгородей. Первое, что вам следует сделать, – это проверить, насколько точна ваша система измерения, и для этого нужно несколько раз промерить шагами расстояние, длиною, как вы считаете, 100 ярдов. В среднем погрешность подобного измерения составит 3 ярда. Иными словами, половина ваших промеров даст результат, отличающийся от 100 ярдов на 3 ярда в ту или другую сторону, а в другой половине случаев вы ошибетесь больше, чем на 3 ярда.

Тогда вероятная ошибка ваших измерений составит 3 ярда на 100 ярдов, или 3%. Значит, длину каждой изгороди, которую вы измерили шагами и определили равной 100 ярдам, можно будет занести в реестр как 100 ± 3 ярда.

Большинство статистиков на сегодняшний день отдают предпочтение другому, но сопоставимому параметру, называемому стандартной ошибкой. За основу берется порядка двух третей случаев вместо ровно половины.

Вероятная ошибка теста на IQ Стэнфорда – Бине определяется как 3%. Это указывает, с какой надежностью он измеряет IQ. Например, определенный у Питера IQ лучше выразить в виде 98 ± 3, а коэффициент IQ Линды – в виде 101 ± 3. Таким образом, Питер может быть даже умнее Линды (98+3=101 против 101-3=98).

Единственно правильным будет рассматривать IQ и результаты многих других выборочных исследований не сами по себе, а с учетом размаха отклонений. Тогда «нормальным» будет считаться показатель не 100 пунктов, а в пределах, скажем, от 90 до 110.

Глава 5. График – лучше не бывает (или трюки с графиками)

Простейшей разновидностью статистической картинки или графика будут всевозможные кривые. Они весьма полезны, когда нужно продемонстрировать те или иные тенденции. Сейчас мы сделаем так, что наш график наглядно покажет, как национальный доход США ежегодно увеличивается на 10%.

Ниже представлен «честный» график: 10% прироста – как восходящая тенденция, существенная, хотя и не сказать, чтобы такая уж впечатляющая.

Этого вполне достаточно, если ваша задача только в том, чтобы передать информацию. А давайте предположим, что вы хотите одержать верх в споре, потрясти читателей, побудить их к действию или что-то им продать. Но для этого вашему графику не хватает забористости, как-то он не впечатляет. А вы возьмите да и отрежьте нижнюю часть.

Итак, вы уже попрактиковались в обмане, и почему бы не пойти дальше по пути усечений? Есть один хитрый трюк, который стоит дюжины таких, как вышеописанный. Он придаст вашему скромному десятипроцентному росту такой шикарный вид, какой не полагается и стопроцентному. Просто измените пропорции между осью ординат и осью абсцисс. Никакими правилами это не запрещается, зато чудо преобразит ваш график. Все, что от вас требуется, – задать единицу деления на оси ординат в десять раз меньшую, чем миллиарды долларов на исходном графике.

Вот это уже впечатляет, не правда ли?

Вот реальный пример трюка с графиком.

Глава 6. Схематичная картинка (или трюки с гистограммами)

1 трюк. Увеличьте столбик и в ширину, и в высоту пропорционально росту. Размер зарплаты в 1-м столбце 30$, а во 2-м - 60$, т.е. в 2 раза больше. Однако 1-й столбец увеличивается в 2 раза не только в высоту, но и в ширину, зрительно увеличиваясь в 4 раза (2х2).

«Честный» график

«Нечестный» график

2 трюк. Изобразите трехмерные объекты, объемы которых трудно с ходу сопоставить, вместо двухмерных.

Размер зарплаты в 1-м мешке 30$, а во 2-м - 60$, т.е. в 2 раза больше. Однако 2-й мешок, как и в первом случае, увеличивается в 2 раза не только в высоту, но и в ширину, зрительно увеличиваясь в 4 раза (2х2).

«Честный» график

«Нечестный» график: рядом с внушительным мешком денег, которые зарабатывает американский плотник, заработок иностранца выглядит особенно ничтожным и жалким.

3 трюк. Отрежьте нижнюю часть (трюк как в графиках) или вырежьте середину столбиков.

Глава 7. Псевдообоснованная цифра

Если не получается доказать то, что вы хотите доказать, продемонстрируйте нечто другое и настаивайте, что это то же самое. Привязать цифру, отражающую какой-то факт, к другому факту – прием известный и всегда сослужит вам добрую службу. Действует безотказно.

1 пример. Чудо-лекарство "излечивает" от простуды

Допустим, вы не можете доказать, что ваше лекарство излечивает от простуды, но никто не мешает вам напечатать результаты настоящего лабораторного исследования: полкапли лекарства, помещенные в пробирку, через 11 секунд уничтожают 31 108 бактерий.

2 пример. Опрос общественного мнения о расовых предрассудка

Устройте опрос, имеют ли, по мнению респондентов, чернокожие такие же шансы получить работу, как белые.

Каждому, кого спрашивали о шансах чернокожих на трудоустройство, попутно задавали несколько вопросов, чтобы определить, не имеет ли респондент сильного расового предубеждения. Оказалось, что респонденты с самыми сильными расовыми предрассудками на вопрос о возможностях трудоустройства чернокожих чаще всего давали ответ «Да». Было установлено также, что около 2/3 респондентов, благосклонно настроенных по отношению к чернокожим, не считают, что у тех шансы трудоустроиться такие же, как у белых. А около 2/3 тех, кто выказал предубеждение против чернокожих, заявили, что чернокожим предоставляются такие же хорошие отпуска, как белым.

Теперь вы видите, что, если расовые предрассудки в период проведения опроса нарастают, у вас получается больше ответов, указывающих, что у чернокожих не меньше возможностей трудоустройства, чем у белых. И вот вы объявляете результаты: согласно опросу, отношение к чернокожим неизменно справедливо.

3 пример.Опрос работников об отношении к профсоюзу

В качестве начальника отдела кадров компании, у которой возникли трения с профсоюзом, вы «проводите опрос» сотрудников, чтобы выяснить, у скольких из них имеются жалобы на профсоюз. Вы можете спокойно задавать свой вопрос и честно записывать ответы, а потом представить это за доказательство, что у большинства сотрудников действительно есть какие-то жалобы. На основе собранных данных вы составляете доклад, где говорится, что «подавляющее большинство (78 %) сотрудников настроены против профсоюза». По сути вы сделали вот что: собрали в одну кучу все без разбора жалобы и мелкие конфликты, а затем выдали их за нечто другое, что выглядит примерно так же. Вы так и не доказали того, что требовалось, а подано все так, словно доказали, не правда ли?

Существует много других способов для расчета показателя чего-нибудь, с тем чтобы впоследствии выдать это за что-то другое. Общий метод состоит в том, чтобы взять две вещи, которые довольно похожи, но на деле вовсе не одинаковы.

Любую количественную величину несложно выразить множеством разнообразных способов.

Вы можете, например, представить один и тот же факт, называя его доходностью продаж в 1%, рентабельностью инвестиций в 15%, десятимиллионной прибылью, ростом прибылей на 40% (по сравнению со средним показателем за 1935–1939 гг.) или сокращением на 60% по сравнению с предыдущим годом.

Суть в том, чтобы выбрать формулировку, которая лучше всего подходит для текущих надобностей. А после остается уповать на то, что лишь единицы, читая эту информацию, сообразят, насколько она искажает реальное положение дел.

4 пример. Уровень смертности в военно-морском флоте

Уровень смертности в военно-морском флоте США в период Испано-Американской войны составлял 9 человек на тысячу. За тот же период уровень смертности среди гражданского населения Нью-Йорка достигал 16 человек на тысячу. Позже эти цифры использовали вербовщики, чтобы показать: служить в ВМС безопаснее, чем находиться за его пределами.

Однако группы, к которым относятся вышеуказанные цифры, несопоставимы. В рядах ВМС служат главным образом молодые мужчины, признанные здоровыми. Гражданское же население состоит среди прочего из малых детей, стариков и больных, и для этих категорий населения уровень смертности выше, где бы они ни находились. Приведенные цифры вообще никак не доказывают, что мужчины, признанные годными к службе в соответствии со стандартами ВМС, находясь в его рядах, проживут дольше, чем если бы не служили на флоте.

5 пример. Статистическая форма картинки «было – стало»

Или пара картинок показывает вам, что бывает, когда юная особа начинает применять ополаскиватель для волос. И – бог ты мой! – ее шевелюра действительно выглядит значительно лучше после, чем до. Но при внимательном изучении вы замечаете, что перемен добились главным образом за счет того, что девушку заставили улыбнуться, а ее волосы сзади подсвечены ярким светом.

Глава 8. И снова это «после – значит вследствие» (или ложная корреляция)

Одно заблуждение почти всегда обнаруживается в статистических данных, замаскированное в гуще внушительных цифр. Это заблуждение таково: если событие В следует за событием А, значит, событие А является причиной события В.

Когда имеется множество правдоподобных объяснений, у вас едва ли есть право выбрать то из них, которое вам больше нравится, и настаивать на его истинности. И все же многие поступают именно так.

Чтобы не поддаваться заблуждению «после – значит вследствие» и тем самым не уверовать в правоту многих ложных истин, следует подвергать любое утверждение самому тщательному анализу.

Корреляция, эта убедительно точная зависимость, которая на первый взгляд показывает, что одно событие происходит вследствие другого, бывает нескольких типов.

Типы ложной корреляции

1) Корреляция, обусловленная случайными причинами.

Возможно, у вас получилось установить корреляцию между двумя рядами чисел, чтобы доказать некое маловероятное утверждение. Но если вы снова попробуете проделать расчет, но уже на других цифрах, никакого доказательства не получится

Подобно производителю зубной пасты, которая, как казалось, препятствует развитию кариеса, вы просто отбрасываете неугодные вам результаты и широко тиражируете те, что подходят для ваших целей.

Если выборка невелика, то, скорее всего, вы обнаружите существенную корреляцию между двумя характеристиками или событиями, которые представляют для вас интерес.

2) Корреляция существует, но нельзя сказать, какая из переменных выступает причиной, а какая следствием.

Чем больше денег вы зарабатываете, тем больше акций покупаете, а чем больше у вас акций, тем больше доход. Так что утверждать, что одно влечет за собой другое, было бы некорректно.

3) Фиктивная корреляция - случай, когда ни одна из переменных не оказывает никакого воздействия на другую, но при этом значимая корреляция между ними действительно подтверждается расчетами.

Например, курение и успеваемость студентов. Курение плохо влияет на умственные способности? Или неуспевающие студенты - это экстраверты, которые не могут ни на чем сконцентрироваться и подвержены плохим привычкам.

4) Распространение корреляции за пределы данных, на которых она продемонстрирована.

Чем больше в данной местности выпадает дождей, тем выше вырастают зерновые или даже что урожай их будет тем больше. Однако очень дождливый сезон может навредить посевам или вовсе погубить урожай.

Положительная корреляция сохраняется до определенной точки, а затем быстро превращается в отрицательную.

Отрицательная корреляция говорит лишь о том, что по мере увеличения одной из двух переменных вторая склонна уменьшаться.

Глава 9. Как производить статистикуляции (статистические манипуляции)

Виды манипуляций с данными:

1) Искажение диаграмм (гл.5 «Трюки с графиками» и гл.6 «Трюки с гистограммами»)

2) Подбор подходящих средних величин (гл.2 «Грамотно выбранное среднее»)

3) Манипуляция с процентами

4) Сложение неслагаемого

5) Манипуляция индексами

Манипуляция с процентами

1. Выраженный в процентах показатель, рассчитанный на основе ограниченного числа случаев, скорее всего, искажает реальную картину. Будет полезнее и информативнее привести сами показатели.

Пример. В журнале Monthly Labor Review однажды написали, что на территории Вашингтона в таком-то месяце среди всех предложений по частичной занятости в 4,9% случаев предлагается оплата $18 в неделю. Как позже выяснилось, указанные проценты были выведены на основе каких-то двух предложений, а в общей сложности таковых было всего-то 41.

2. Манипуляция с основой, от которой рассчитывают изменения.

Пример 1. Когда оптовый торговец предлагает вам «Скидку 50% и еще 20% от прейскурантной цены», он не имеет в виду, что даст вам скидку 70%. В действительности скидка составит 60%, поскольку 20% берутся от меньшей цены, а именно от той, что получилась после того, как первоначальная цена уменьшилась на 50%.

Пример 2. Временное сокращение зарплаты на 50%, а потом возмещение этого сокращения на 50%. Однако в итоге зарплата не вернулась на прежний уровень. Отсюда вы видите, почему для того, чтобы компенсировать сокращение зарплаты на 50%, вам должны увеличить ее на 100%.

Не все статистические данные можно проверить с той же степенью надежности, какую гарантирует химический анализ, осуществляемый в стенах лаборатории. Но что мешает вам прощупать подозрительные данные с помощью пяти простеньких вопросов? Ответив на них, вы оградите себя от невероятной массы сведений, которые не содержат и крупицы правды.

1) Кто это говорит?

Может ли иметь место предвзятость статданных?

Вдруг они исходят от научно-исследовательской лаборатории, которой требуется подтвердить какую-нибудь теорию или сохранить репутацию? А еще ей просто могли за это заплатить. Или сведения представила газета, чья цель – интересная статья. А может, источником стал профсоюз или руководство компании и на кону стоит размер заработной платы персонала.

г) намеренная подмена точки отсчета. Такое практикуется, когда для одного сравнения за основу берется какой-то один год, а для другого сравнения – другой год, более подходящий.

д) выбор ненадлежащего статистического показателя, например, среднее арифметическое там, где медиана была бы более показательной.

Возможна ли НЕпреднамеренная предвзятость данных?

Когда упоминается «какое-надо-имя», удостоверьтесь, что авторитет его обладателя действительно стоит за данной информацией, а не просто приплетается ради пущей убедительности.

Например, хотя статистические данные предоставлены Корнеллским университетом, выводы из них целиком и полностью на совести автора статьи. Но благодаря упоминанию «какого-надо-имени» может сложиться неверное впечатление, будто это «Корнеллский университет утверждает, что…».

2) Откуда ему это известно?

Нет ли свидетельств тому, что выборка смещенная, т.е. отобрана ненадлежащим образом:

а) достаточно ли выборка велика, чтобы что-то означать? - Если говорят о среднем, уточняют ли его вид?

4) Не подменен ли объект исследования?

Не произошло ли подмены в процессе перехода от исходных данных к выводам?

Сообщалось, что население крупного района Китая составляет 28 млн. чел. Спустя пять лет численность населения была уже 105 млн. Однако реальный рост населения составлял лишь малую долю этого почти 4-кратного увеличения. Огромную разницу между двумя этими показателями можно объяснить, только принимая во внимание цели переписей населения, и степень готовности самих жителей быть переписанными. Как выяснилось, первая перепись проводилась в интересах налогообложения и военных нужд, а вторая – для того, чтобы разработать меры по борьбе с голодом.

5) Есть ли в этом смысл?

На сколько абсурдны приводимые выводы?

В период 1947–1952 гг. число телевизоров в домах американцев возросло почти на 10 000%. Попробуйте спроектировать эту тенденцию на следующие пять лет, и у вас получится, что в ближайшем будущем страну заполонят миллиарда два телевизоров!