воскресенье, 19 августа 2012 г.

Одураченные случайностью — Жизненные совпадения

Упрощенные некоторые интересные и можно сказать игровые ситуации, взятые из книги «Одураченные случайностью».

Таинственное письмо

Вы получаете анонимное письмо, 2-ого января, сообщающее вам, что рынок (курс валюты, стоимость акции, …) будет повышаться в течение месяца. Это оказывается правдой, но вы игнорируете его. В дальнейшем вы получаете другое письмо, 1-ого февраля, сообщающее вам, что рынок понизится. Опять это оказывается правдой. Далее получаете следующее письмо, 1-ого марта — опять та же история. К июлю вы заинтригованы предвидением анонима и вас он просит вложить капитал в специальный фонд. Вы вкладываете туда все ваши сбережения. Двумя месяцами позже, ваши деньги пропали. Вы проливаете слезы на плече вашего соседа и он сообщает вам, что он помнит, что он получил два таких таинственных письма. Но почтовые послания остановились на втором письме. Он вспоминает, что первое предсказание был правильным, а второе — нет.

Что случилось? Трюк в следующем. Мошенник-оператор берет 10,000 имен из телефонной книги. Он отправляет письмо о повышении рынка одной половине выборки, и второй — о понижении. В следующем месяце остаются имена людей, кому он отправил письма с правильным предсказанием, то есть 5,000 человек. И далее история повторяется, когда он делает то же самое для оставшихся 2,500 имен, пока список не сузится до 150 человек к июлю. Из них 75 будут жертвами. Инвестиция в тысячу долларов в почтовые марки превращается в несколько миллионов.

Если вас ищут, то в этом что-то не так

Если мы смотрим трансляцию матча, и по его результатам появляется куча фондов/людей, которые говорили, что они предсказали правильно, то об этом стоит задуматься. Так как если бы они действительно умели предсказывать, то они вряд ли бы себя рекламировали. Поэтому если к нам стучаться в дверь и говорят, что они такие успешные, то вряд ли они относятся напрямую к успешным. Вероятность мошенничества ближе к 100%. Но если мы возьмем всех представителей выборки, и выберем из них, то вероятность найти успешного будет выше и близка к средней по больнице.

Парадокс дня рождения и то, как тесен Мир

Известный парадокс, согласно которому многим кажется парадоксально, что если мы возьмем группу из ~23 человек, то вероятность дня рождения у хотя бы одной из пар людей в группе будет более 50%. Интуитивно это сложно, но при рассмотрении совсем не сложно — так как совпадение дней рождения это пара, а пар дней рождений в группе из N человек N*N шт.

Аналогичным эффектом обладают совпадения в жизни вида «Как тесен Мир!». Если мы видим какое-либо редкое событие, то оно кажется нам редким, но на самом деле в мире очень больше количество редких событий, и когда мы видим одно из них — то это естественно. Если у нас номер чека 127683, то он или часть его может совпасть с номером телефона, с номером машины, с номером квартиры, другим чеком, количеством $ на счету, расстоянием от Земли до Солнца, и со всеми другими известными нам числами. Если мы внезапно встречаем человека на улице, то следует понимать, что внезапно мы можем встретить любого человека, которого знаем, при чем каждого из них можно встретить в любой из дней.

Аналогично — если кто-то видит совпадения в «коде книги», то это имеет такой же эффект — во всей книге как на узоре ковра, можно найти любые комбинации, которые будут сравниваться со всем нашим опытом, N*N раз.

Проверка гипотезы

Регулярно можно наблюдать такую ситуацию. Есть большая выборка данных, и люди начинают в ней искать зависимости. Мозг также это пытается делать, даже в случае, если зависимостей нет. Например, если происходит какое-либо удачное событие, или неудачное, то мозг пытается найти причины этого события. Установить причинно-следственную связь с цветом галстука, или с каким-либо жестом, или с черной кошкой, или с рукопожатием над порогом и многое другое, рождая таким образом суеверия.

Этот процесс естественно-биологичен, и только сознательно мы можем его контролировать, что полезно в большом количестве случаев, особенно тогда, когда причины такого события неизвестны и все произошло фактически случайно. Один из способов борьбы — принимать сначала утверждение, что что-то произошло случайно, а потом уже искать действительно имеющие место и основание причинно-следственные связи.

На эту тему хорошо подходит бритва Хэнлона. Очень многое более случайно, чем мы думаем.

Ещё один, более сильный метод борьбы, из Machine Learning. Берем выборку, устанавливаем закономерность. Далее эту выборку необходимо проверить — на других данных выборки. Для этого берем новые элементы и проверяем. Если гипотеза подтверждается, то она более верна, чем не верна. При таком подходе зависимости вида «ураган в Месопотамии из-за взмаха крыльев бабочки в Австралии» отсекаются моментально.

Раковые кластеры

Рассмотрим квадрат, в который случайно бросили 16 дротиков (каждый из них попал в случайное место). Если разделить квадрат на 16 одинаковых по площади частей, то окажется, что среди них есть такие, где нет ни одного дротика, и такие где есть 2, 3 и даже более дротиков. И такая картина может казаться не совсем случайной.

Результатом наблюдения за такой картиной может быть появление «Бермудского треугольника». То есть там, где больше всего дротиков (утонуло кораблей) и находится злополучное место. Хотя на самом деле это результат случайного совпадения.