Автор «Черного лебедя» Нассим Талеб — о парадоксах прогнозирования и жирных хвостах

Чем хуже вы понимаете мир, тем проще вам принять решение, считает автор концепции «черных лебедей»  — непредвиденных событий, кардинально меняющих текущую ситуацию и ожидания развития событий в будущем — Нассим Талеб. Сам он уверен, что знает про мир слишком много, чтобы решения давались легко, однако думает, что при всей неопределенности мира и нехватке информации в любой ситуации можно найти оптимальное решение, исходя из того немногого, что известно.

В своей новой книге «Статистические последствия жирных хвостов. О новых вычислительных подходах к принятию решений» Талеб бросает вызов устоявшимся представлениям о статистике и экономике, подробно и с помощью многочисленных формул и графиков исследуя так называемые «распределения с жирными хвостами». Так в математической статистике принято называть распределение вероятностей, которое демонстрирует асимметрию по сравнению с нормальным. На графике это выглядит как медленно угасающая кривая, которая отстоит достаточно далеко от горизонтальной оси — именно это расстояние от оси называют «жирным хвостом». Такие асимметричные графики, по мнению Талеба, относятся как раз к ситуациям, которые можно назвать «черными лебедями». 

Для пояснения своей идеи о важности распределений с жирными хвостами Талеб использует метафору с существованием двух разных видов реальности — Медиокристана (от английского mediocre — заурядный, где события происходят в соответствии с нормальными распределениями вероятностей) и Экстримистана (от английского extreme — крайний, где происходят экстремальные всплески). 

Книга в русском переводе выходит в конце августа в издательстве «Азбука». Forbes публикует отрывок. 

Прогнозирование 

В «Одураченных случайностью» (книга Наcсима Талеба 2001 года. — Forbes) одного персонажа спрашивают про некоторый рынок, что вероятнее к концу месяца — подъем или падение. «Подъем, — отвечает персонаж, — намного вероятнее». После чего оказывается, что он заключил сделки, выгодные в случае падения. Разумеется, эта ситуация парадоксальна только на взгляд тех, кто не знаком с теорией вероятностей; для трейдеров это обычное дело, особенно когда распределение отличается от нормального: да, у подъема рынка вероятность была выше, но при этом у падения, если оно случится, ожидалась много бо́льшая глубина.

Это иллюстрирует распространенное смешение бинарного прогноза, который сообщает вероятность одного из двух исходов, с прогнозом эффекта, который учитывает больше нюансов и зависит от распределения вероятностей. Это самая элементарная, хотя и распространенная, ошибка — называть в прогнозе одну-единственную вероятность, когда в действительности возможен целый диапазон различных исходов и ему отвечает распределение вероятностей. По мере углубления в тему мы встречаемся с менее очевидными парадоксами, которые не так известны. Но суть в том, что, по мнению автора, ненаучно говорить о вероятности как о некой итоговой оценке, по которой принимают решение. 

В реальном мире платеж представляет собой не проценты вероятности, а доллары, выживание и т. д. Чем жирнее хвост, тем важнее пространство платежей; как говорят в Экстремистане, «платеж поглотил вероятность». Можно позволить себе то и дело ошибаться и проигрывать, если потери невелики и выпуклы вниз по платежу (благодаря большому доходу при выигрышах). И наоборот, можно делать верные ставки в 99,99 % случаев и обанкротиться (собственно, такого рода правота даже делает банкротство более вероятным: именно фонды с безупречным послужным списком разорились во время краха 2008–2009). 

Прозвучит немного сложно для незнакомых с финансовой математикой, но дело в том, что есть разница между «ванильным» (не экзотическим) опционом и бинарным опционом с той же страйк-ценой, как описано в «Динамическом хеджировании» (книга Нассима Талеба 1997 года. — Forbes): толстый хвост снижает стоимость бинарного опциона и повышает стоимость «ванильного». Отсюда авторская поговорка: «В жизни не видел ни одного богатого прогнозиста». Ужирнение хвоста снижает вероятность событий с отклонением больше одного среднеквадратического, однако усиливает их последствия (в терминах вклада в статистический момент — повышает влияние на среднее и прочие показатели).

Неточный прогноз вероятности («ошибка калибровки») лежит в другом классе распределений вероятности, нежели колебания прибылей и убытков в реальном мире (или чистых платежей). «Калибровка» (мера точности) при прогнозе вероятности принадлежит пространству вероятностей, то есть диапазону от 0 до 1. Всякая стандартная мера этого рода обязательно имеет тонкий хвост (скорее, даже сверхтонкий хвост, поскольку эта величина ограниченная) — даже когда случайная величина, в отношении которой делается прогноз, имеет толстый хвост. Платежи в реальном мире, напротив, могут иметь толстый хвост, и у их «калибровки» свойства распределения должны следовать свойствам распределения случайной величины.

Закон больших чисел

Обсудим теперь закон больших чисел, основу основ статистики. Он утверждает, что по мере накопления наблюдений среднее значение становится все более устойчивым, и скорость этой стабилизации около квадратного корня из двух. В случае распределения с жирным хвостом для выхода на устойчивое среднее требуется гораздо больше наблюдений. В таком случае теоретическая эквивалентность наблюдаемого среднего и среднего, которое на самом деле присуще порождающему процессу, может вас подвести.

В Экстремистане платеж поглотил вероятность: чтобы увидеть главное различие между Медиокристаном и Экстремистаном, рассмотрим такое событие, как авиакатастрофа. Последствия тяжелые, много погибших — допустим, от 100 до 400. Даже одно такое событие — трагедия. В рамках прогнозирования и управления рисками мы стараемся минимизировать такую вероятность, сделать ее пренебрежимо малой. 

А теперь представим себе катастрофу, которая убивает всех, кто когда либо летал самолетом, даже в далеком прошлом — всех. Считать ли ее событием того же типа? Такого рода события известны в Экстремистане, и, работая с ними, фокусируются не на снижении вероятности события, а на снижении его величины: 

• для первого типа управление рисками состоит в том, чтобы снизить вероятность, то есть частоту, происшествий. Мы подсчитываем число событий и стараемся его уменьшить; 

• для второго типа мы стараемся уменьшить масштаб катастрофы, если она все-таки разразится. Мы заняты не числом событий, а ущербом от одного события.

Если вам наш мысленный пример показался странным, примите во внимание, что центральные банки потеряли в 1982 году больше денег, чем заработали за всю свою историю, и что в 1991 году та же участь постигла в США ссудо-сберегательную отрасль (ныне не существующую), а в 2008–2009 годах вся американская банковская система потеряла все нажитое до последнего пенни. На финансовом рынке сплошь и рядом видишь, как люди лишаются всех накоплений в рамках одного-единственного события. То же относится ко многим другим отраслям (например, производителям автомобилей и самолетов). 

Ладно банки, они теряют только деньги; примем во внимание войны — уж для них-то мы точно не можем сфокусироваться на частоте в ущерб масштабу, как сделал научно-популярный писатель Стивен Пинкер в книге «Лучшее в нас». А ведь мы еще даже не коснулись проблемы разорения. Говоря техничнее, только при выполнении условия Крамера («Пусть X — случайная величина. Для всех r > 0 𝔼erX < +∞, где 𝔼 — оператор математическое ожидание»), исключающего субэкспоненциональность последовательных событий (даже если их величины просто складываются), можно придать какой-то смысл работе просто с вероятностью. Аналогия с авиакатастрофами была предложена изобретательным Рассом Робертсом во время передачи EconTalk с участием автора данной книги.

Один из самых известных феноменов статистики — это открытое Парето распределение 20 на 80; например, 20% итальянцев владеет 80% земли. При гауссовом распределении устойчивость достигается за 30 наблюдений, а при распределении Парето требуется 10 наблюдений, чтобы достичь той же выборочной ошибки для такого же среднего (если оно существует). 

Хотя построить и обсчитать это все нетрудно, мало кто заморачивается. Что достойно сожаления: на таком примере убеждаешься, что про распределение с толстым хвостом нельзя утверждать, что накопленная выборка достигла устойчивого среднего. Способ узнать среднее этой случайной величины существует, но это ни в коем случае не простое отслеживание выборочного среднего.

Эпистемология и дедуктивная асимметрия

Скорее преступник постарается выдать себя за честного человека, чем честный человек — выдать себя за преступника. Аналогичным образом легче принять жирнохвостое распределение за тонкохвостое, чем тонкий хвост — за жирный.

Эпистемология: невидимость генератора:

• Наблюдаемо не вероятностное распределение, а только его реализация.

 • Зная свойства некоторого вероятностного распределения, невозможно утверждать, что ему принадлежит известная реализация. 

• Для обсуждения хвостовых событий требуется метавероятностное распределение (т. е. распределение условных вероятностей того, что случайная величина следует тому или иному вероятностному распределению).

Изучим эпистемологические следствия. Существует так называемая проблема маскарада (она же Фундаментальная асимметрия статистического вывода) — когда вырожденная случайная переменная принимает постоянные на вид значения. Со времен самое позднее Секста Эмпирика мы знаем, что не можем вывести заключение о вырожденности, однако в некоторых ситуациях можем вывести заключение о невырожденности. Если я вижу распределение, в котором нет случайности, я не имею права заявить, что величина неслучайная. То есть не могу заявить, что черных лебедей не существует. Если же появится хотя бы одно наблюдение в стороне, я увижу, что величина случайная, и могу исключить вырожденность. Могу утверждать, что величина «не неслучайная». 

Когда мы видим черного лебедя, мы заключаем, что утверждение, которое отрицало существование черных лебедей, оказалось ложным. Так работает негативный эмпиризм, легший в основу западной науки. По мере сбора информации удается исключить те или иные вещи. Невырожденное распределение могло до поры скрываться под видом распределения слева, но вырожденное распределение никогда не сможет выдать себя за распределение справа. Тем самым мы получаем некоторые возможности для работы со случайностью.

Увидев событие в 20 сигм, мы можем исключить тонкохвостость распределения. Не увидев ни одного большого отклонения, мы не можем исключить толстый хвост, если не знаем порождающего принципа. Исходя из этого, ранжируем возможные распределения. Ранг отвечает способности распределения проявлять хвостовые события. Принцип оказался прост: порядок отвечает приоритету при вынесении суждений. Логика здесь та, что, когда кажется, что произошло десятисигмовое событие, скорее всего, это не событие десятисигмовое, это распределение выбрано не то и сигма посчитана не та (мы уточним этот довод позже в этой главе). Дальше в том же духе: как мы уже видели, толстохвостые распределения выдают мало отклонений от среднего, зато порой случается большое отклонение. Встретив такое, можно исключить 𝔖-распределение и понять, что мы не в Медиокристане. Можно объявить данное распределение толстохвостым, в силу устранения других возможностей. Другое дело, что никакое наблюдаемое распределение нельзя объявить тонкохвостым. Такова принципиальная проблема черного лебедя. 

Применение Проблемы маскарада. В качестве иллюстрации дедуктивной асимметрии применительно к параметрам распределения и того, как распределение может маскироваться под относительно тонкохвостое, рассмотрим наши сведения об аргентинском рынке до и после обвала 12 августа 2019 года. Рассуждая, как описано выше, нам иногда приходится со временем пересматривать хвосты в сторону ужирнения, но не в сторону утоньшения. Рафал Верон показал, что при подгонке устойчивого распределения мы рискуем преувеличить показатель хвоста и тем самым преуменьшить толщину хвоста.