Сетевая библиотекаСетевая библиотека
Война и еще 25 сценариев конца света Алексей Валерьевич Турчин Книга Алексея Турчина – это актуальный обзор последних научных наработок, описывающих, как и когда закончится существование человеческой цивилизации. В ней рассказано обо всех известных на сегодня видах глобальных рисков, которые могут уничтожить человечество, – от астероидов до запуска Большого адронного коллайдера и ядерной войны. Важность книги в эти дни необычайно велика по двум причинам. Во-первых, катастрофа человечества – вопрос, безусловно достойный нашего с вами внимания. Во-вторых, разработка многих новых технологий, способных вызвать глобальные риски, уже идет. Понимание того, сколь велики, реальны и близки риски конца света, должно заставить вас задуматься – как будете спасаться лично вы? Эта книга потребует недюжинной подготовки и силы характера, без которых лавина технологических угроз может сбить вас с ног. Если такое случится с вами, не пугайтесь и доверьтесь автору. Алексей Турчин Война и еще 25 сценариев конца света Предисловие Наука о конце света Все, что имеет начало, имеет и конец, и человеческая история (как и ваша жизнь) – не исключение. Идеи о конце света не новы, но сегодня они становятся как никогда ранее реальными. Книга Алексея Турчина – это актуальный обзор последних научных наработок в этой области, описывающих, как и когда закончится существование человеческой цивилизации. От астероидов до ядерной войны – всему, что может уничтожить человечество, будь то природный катаклизм или рукотворная катастрофа, нашлось место в книге. Некоторые риски, такие как кометно-астероидная опасность, вам известны давно, другие, например глобальное потепление, лишь несколько лет, а про риск физических экспериментов на ускорителе под названием Большой адронный коллайдер все услышали прошлым летом в связи с его близким запуском. Другие угрозы катастроф и по сей день ясны лишь узкому кругу специалистов. Среди них – глобальные супернаркотики, супервулканы и космические угрозы вроде гамма-вспышек. Одна из проблем, на которые указывает автор, в том, что общество внимательно относится к «раскрученным» угрозам с хорошим пиаром (и, добавлю, с солидной голливудской поддержкой), а не к вероятным и наиболее опасным. Важность книги в эти дни необычайно велика по двум причинам. Во-первых, катастрофа человечества – вопрос, безусловно достойный нашего с вами внимания. Во-вторых, разработка многих новых технологий, способных вызвать глобальные риски, уже идет. Например, миссия к центру Земли с помощью зонда, предложенного Стивенсоном, грозит совершить невозможное – расколоть земной шар ко всем чертям. При этом другой планеты у нас с вами пока нет. Проекты ядерных ракет, гигантских орбитальных станций и поселений на Луне пока остаются лишь проектами. Поэтому и спасаться от планетарных катастроф нам негде. Понимание того, сколь велики, реальны и близки риски конца света, должно заставить вас задуматься – как будете спасаться лично вы? Нам нужны индивидуальные планы спасения, нужны и глобальные, общепланетарные планы, разработанные и утвержденные на самом высоком уровне. Нужны и планы эвакуации, стрелочками показывающие, куда мы побежим в случае катастрофы – в подводные города или на орбитальные станции. Для этого создается новая научная область – изучение глобальных рисков. Это научная дисциплина новой волны – междисциплинарная и сложная для классификации. История, социология, математика, психология, геология, астрофизика и новые научные области сведены здесь воедино. В книге Турчина рассказано обо всех известных на сегодня видах глобальных рисков, которые могут уничтожить человечество. Впрочем, одной книги вам вряд ли хватит, чтобы составить свой личный план спасения. Эта книга потребует недюжинной подготовки и силы характера, без которых лавина технологических угроз может сбить вас с ног Если такое случится с вами, не пугайтесь и доверьтесь автору. Понять, что такое «транскранальная магнитная стимуляция», «сильный искусственный интеллект» или «нанофабрика», поможет поиск в Яндексе. Ваш «уровень шока будущего», а значит и вашу выживаемость, можно легко поднять с единички хотя бы до 2–3. Если справиться с нехваткой ликбеза и необходимостью делать перерывы для переваривания материала, то к последней странице перед вами встанет вопрос о решениях. На этот случай дам несколько советов. Первое. Будьте готовы к радикальным изменениям уже в ближайшем будущем. Даже если мы сумеем избежать всех катастроф, остается «технологическая сингулярность» – конец человеческой истории и начало новой эпохи. Она неизбежна. К ней нам готовиться еще важнее, чем к падению 100-километрового астероида, потому что есть шанс выжить. Не прекращайте изучение будущего в общем и проблемы глобальных рисков в частности. Второе. Уделите достаточно сил изучению теории вероятности, типичных когнитивных ошибок, стратегий эффективного мышления. Усиливайте свой интеллект с помощью новых алгоритмов и психологических практик, специализированных компьютерных программ. Третье. Сформируйте свой собственный план на будущее, даже если его первая версия и не имеет шансов оказаться правильной. Четвертое. Несмотря ни на что, начинайте постепенно менять мир, чтобы выжить в нем. Автор этой книги тоже не всегда был авторитетным экспертом в области глобальных рисков, как и все, когда-то он начинал с нуля, испуганно пытаясь осмыслить мир вокруг себя и разобраться в проблемах, казавшихся не по зубам. Но однажды он решил что-то сделать, и у него получилось. Надеюсь, получится и у вас! Данила Медведев, кандидат экономических наук, футуролог, эксперт Российского фонда развития высоких технологий Введение Истина и коллайдер Мы не знаем наверняка, возможен ли конец света – глобальная катастрофа, способная уничтожить человечество. Свои выводы относительно этого мы делаем на основании собственных суждений, которые вольно или невольно могут не отражать истинного положения вещей уже в силу того, что наше представление о мире неполно, а наш подход к изучению проблем зачастую не вполне объективен. Нам удобно верить в то, что никакая наша деятельность или бездеятельность наблюдаемого равновесия мира необратимо не нарушит, и поэтому истинность наших суждений и высказываний не кажется нам вещью предельно важной. В результате мы пренебрегаем риском, забывая о его цене и заблуждаясь относительно того, что глобальная катастрофа – вопрос послезавтрашнего дня. В определенном смысле «послезавтра» уже наступает, и примеров, показывающих, насколько наш разум к этому готов, уже вполне достаточно. В 2008 году в центре внимания общественности оказались гипотетические риски, связанные с запуском Большого адронного коллайдера (БАК, или LHC), расположенного на границе Франции и Швейцарии. Причиной тому, возможно, стали выступления ряда ученых, высказавших опасения, что в результате экспериментов, которые будут проводиться на новой установке, может возникнуть черная дыра, которая уничтожит Землю. Чтобы развеять эти опасения, были сделаны оценки безопасности экспериментов, которые показали, что риск катастрофы бесконечно мал. То есть оказалось, что безопасность всей планеты и выживание человечества были поставлены в зависимость от истинности выдвинутых доказательств. Итак, каким же именно образом была доказана безопасность экспериментов на БАК? Основные риски, связанные с ними, состоят в том, что в установке могут возникнуть некие гипотетические частицы, которые так или иначе будут способны захватывать частицы обычной материи и поглощать их или трансформировать в подобные себе. В основном речь идет о двух гипотетических частицах – микроскопических черных дырах и стрейнджлетах (страпельках). (Помимо них рассматривались еще два класса возможных опасных объектов – магнитные монополи и пузыри «истинного вакуума».) Сразу отметим, что полнота этого списка опасных объектов ничем не доказана. То есть, хотя и есть достаточные основания полагать, что все они либо безопасны, либо невозможны, это не значит, что нет какого-то пятого класса частиц, о которых мы можем ничего не знать до тех пор, пока их не откроем. Почему же эти частицы невозможны? Потому что их существования не допускает стандартная модель, принятая современной физикой. Однако коллайдер построен именно для того, чтобы исследовать границы применимости стандартной модели и найти возможные ее расширения. Здесь возникает логический парадокс: безопасность коллайдера доказывается через то, что мы знаем, тогда как цель запуска БАК – проникнуть в неведомое. Можно сказать так: чтобы полностью исследовать некую систему, нужно ее разобрать, то есть разрушить. Для познания человеческой анатомии потребовалась патологоанатомия. Соответственно окончательное познание тайн Вселенной потребует ее разрушения. Хотя стандартная модель и не допускает возникновения микроскопических черных дыр в недавно достроенном коллайдере (так как для этого просто не хватит энергии), некоторые расширения этой модели предполагают наличие дополнительных измерений и делают возникновение таких черных дыр возможным со скоростью порядка одной штуки в секунду. С точки зрения современной физики эти микроскопические черные дыры должны немедленно разрушаться Хокинговским излучением – то есть они будут излучать быстрее, чем будут способны притягивать материю. Правда, с самим Хокинговским излучением есть небольшая проблема: хотя его концепция выглядит теоретически убедительной, у нее нет никаких экспериментальных доказательств. (Поскольку чем больше черная дыра, тем меньше она излучает «по Хокингу», при этом у наблюдаемых, причем косвенно, космических черных дыр это излучение ничтожно мало и не может быть зафиксировано.) А что если излучение не сработает? Предполагается, что даже если микроскопическая черная дыра возникнет в БАК и даже если она не разрушится Хокинговским излучением, она будет настолько малой массы и размеров, что будет намного меньше размеров атома, и ее гравитационное поле тоже будет простираться на расстояния, меньшие размеров ядра атома. Таким образом, такая черная дыра будет очень мало способна к каким-либо реакциям. Она может свободно летать среди вещества, никак с ним не взаимодействуя. Вместе с тем существует теория, согласно которой в процессе формирования такая микроскопическая черная дыра приобретет электрический заряд или магнитный момент и в силу этого все же начнет гораздо быстрее притягивать к себе электрически заряженные ядра атомов и электроны. По мере роста ее массы ее способность поглощать материю тоже будет расти, и не известно, по какому закону – степенному или экспоненциальному. Небольшим утешением может быть то, что процесс начального роста микроскопической черной дыры может быть крайне медленным. (Можно, например, предположить, что катастрофа с микроскопической черной дырой уже произошла при работе предыдущих ускорителей (например, RHIC) и мы пока не наблюдаем ее проявлений, так как она пока еще не выросла.) То есть черная дыра может возникнуть на коллайдере БАК, и никто этого не заметит. Она погрузится в центр Земли, где начнет очень медленно, но с растущей скоростью набирать массу. По некоторым предположениям, это потребует миллионов и миллиардов лет, прежде чем станет заметным – а значит, не угрожает безопасности человечества. Однако, как показано в статье Benjamin Koch, Marcus Bleicher Horst Stb'cker. Exclusion of black hole disaster scenarios at the LHC (http://arxiv.org/PS_cache/arxiv/pdf/0807/0807.3349v1.pdf (http://arxiv.org/PS_cache/arxiv/pdf/0807/0807.3349v1.pdf)), в случае, если наша Вселенная имеет одно скрытое измерение, время поглощения Земли составит 27 лет, а если два – то десять тысяч триллионов лет. (Понятно, что только первый сценарий заслуживает внимания.) 27 лет – это, конечно, не те несколько секунд, за которые поглощается Земля на известном видеоролике, выложенном на YouTube. Отметим, однако, что человечество погибнет гораздо раньше, чем произойдет полное поглощение Земли черной дырой. Поскольку примерно половина массы при поглощении вещества черными дырами переходит в энергию излучения (за счет этого светят квазары), то процесс поглощения планеты будет сопровождаться ее разогревом. То есть вначале, например, из-под земли начнут вырываться потоки раскаленных газов в виде мощнейших вулканических извержений, которые сделают атмосферу непригодной для дыхания. Итак, микроскопическая черная дыра может быть опасной, только если ряд теоретических предположений окажется истинным. Понятно, что это маловероятно, хотя каким образом применять понятие вероятности к тем или иным свойствам законов Вселенной, не вполне ясно. Однако это еще не все: кроме теоретического способа обоснования безопасности коллайдера существует еще один – основанный на эмпирических свидетельствах. Эмпирические «заверения в безопасности» строятся на том факте, что энергии космических лучей, которые непрерывно бомбардируют атмосферу Земли, гораздо выше энергий, которые будут достигаться в коллайдере. А раз Земля до сих пор существует, то, значит, и установка безопасна. Более продвинутые версии доказательств используют тот факт, что существуют Луна, нейтронные звезды и белые карлики, несмотря на их непрерывную бомбардировку космическими лучами. То есть любые эмпирические доказательства безопасности основываются на определенных аналогиях, при том что БАК – сооружение уникальное. Например, говорится о том, что происходящее в коллайдере аналогично тому, что уже триллион триллионов раз происходило на Земле и во Вселенной без каких-либо негативных последствий. Действительно, нет сомнений в том, что случились триллионы столкновений атмосферы Земли с космическими лучами – однако то, что этот процесс ПОЛНОСТЬЮ аналогичен тому, что происходит в коллайдере, это лишь предположение. (Подробно возражения относительно «аналогичности» процессов приводятся в главе «Физические эксперименты», при этом следует подчеркнуть, что наличие возражений само по себе вовсе не означает, что катастрофа с коллайдером неизбежна или что я в ней уверен.) Нельзя сказать, что сомнения относительно безопасности коллайдера замалчивались – в течение последних лет вышло несколько статей, в которых обосновывается невозможность катастрофы с черными дырами. При этом, однако, общее свойство этих статей состоит в том, что они появились ПОСЛЕ того, как решение о строительстве коллайдера было принято, десятки тысяч физиков были наняты на работу и миллиарды долларов были потрачены. То есть цель этих статей – не исследовать вопрос о том, каковы реальные шансы катастрофы, а успокоить публику и обеспечить продолжение исследований. (Этим данные статьи отличаются, например, от рассекреченного недавно отчета LA-602 о рисках термоядерной детонации атмосферы, который был представлен перед первыми испытаниями атомной бомбы в США в 1945 году Комптоном, цель которого состояла в исследовании вопроса, а не в успокоении публики.) Другими словами, гораздо честнее было бы использовать в качестве обоснований рисков не публикации 2007–2008 годов, приуроченные к завершению работ по строительству коллайдера, а публикации 1999 года, на основании которых принимались решения о строительстве. Отметим, что наихудшая оценка риска в публикациях 1999 года, как сообщает Э. Кент в статье «Критический обзор оценок рисков глобальных катастроф», была 1 к 5000. Кстати, вопрос о том, какой риск катастрофы с коллайдером является приемлемым, заслуживает отдельного рассмотрения. К 2004 году наиболее твердая оценка риска, выведенная из эмпирических астрофизических наблюдений, показывала шансы получить катастрофу 1 к 50 миллионам. Очевидно, что эта оценка была принята в качестве достаточной, так как строительство было продолжено. Однако математическое ожидание числа жертв, то есть произведение числа погибших – 6 миллиардов на вероятность события составляет в данном случае 120 человек. Ни один другой научный проект с таким ожидаемым числом возможных жертв никогда бы не был допущен к реализации. Например, при захоронении радиоактивных отходов в Великобритании допустимым принимается ожидаемое число жертв только в 0,00001 человека в год. Отметим, что здесь учитывается только гибель ныне живущих людей. Однако вымирание человечества означало бы и невозможность рождения всех последующих поколений людей, то есть число неродившихся людей могло бы составлять тысячи триллионов. В этом случае математическое ожидание числа жертв также возросло бы на несколько порядков. Наконец, гибель Земли означала бы и гибель всей информации, накопленной человечеством. Другим способом оценки рисков является так называемый астероидный тест. Утверждается, что если риск, создаваемый коллайдером, меньше, чем риск человеческого вымирания в результате падения огромного астероида (примерно в 1 к 100 миллионам в год), то риском первого можно пренебречь. Однако сам риск падения такого астероида является неприемлемым – ведь ради его предотвращения затеваются специальные программы. То есть принятие астероидного теста равносильно утверждению о том, что нет разницы, погибнут ли в авиакатастрофе 300 человек или 301 человек. Третий способ оценки рисков связан с анализом затрат и рисков, выраженных в денежной форме. Сделать это пытается, например, американский судья и популяризатор науки Р. Познер в своей книге «Катастрофа: риск и реакция». Сумма выгод, которые мы ожидаем получить от ускорителя, примерно равна его стоимости (если бы она была значительно – скажем, в десять раз – больше, то строительство ускорителей было бы крайне выгодным бизнесом, и многие бы им занимались). Хотя огромная выгода возможна, например, в случае невероятного ценного открытия, вероятность этой выгоды не оценивается как большая. Стоимость ускорителя составляет около 10 миллиардов долларов. С другой стороны, можно оценить человеческую жизнь. (Американские страховые компании оценивают год жизни здорового человека в 50 000 долларов.) Отсюда и из разных других оценок получается, что цена человеческой жизни в развитом обществе составляет порядка 5 миллионов долларов. Тогда цена всего человечества примерно равна 3x10 долларов. В этом случае приемлемым оказывается риск менее чем 1 к 3 миллионам. Однако если учитывать цену неродившихся поколений, то потребуются гораздо более строгие границы риска. Кроме того, выгодополучатели и объекты риска не совпадают. Выгоду от работы ускорителя получат в первую очередь ученые и, кроме того, люди, интересующиеся наукой, тогда как большинством жертв возможной катастрофы будут люди, которые вообще никогда об ускорителе не слышали. Впрочем, неготовность вовремя анализировать риски и искать истину, а не утешение – лишь часть проблемы. Если бы в XXI веке только проведение экспериментов на БАК порождало риск глобальной катастрофы, все было бы довольно просто. На самом деле явлений и процессов, несущих угрозу безопасности человечества, гораздо больше. Из уже разворачивающихся событий такого рода можно, например, отметить обещание компании Google создать к 2011 году искусственный интеллект (ИИ), а также развивающийся на мировых рынках кризис (начавшийся с кризиса американской ипотеки) или рост цен на нефть. При этом следует помнить о том, что не все риски сегодня нам известны: чем шире познания о мире и совершеннее технологии, тем шире и список возможных угроз. Итак, задача, которую мы попытаемся решить в рамках этой книги, – изучение границ нашего знания в отношении рисков глобальной катастрофы, которая может привести к полному вымиранию человечества. Очевидно, зная эти границы, мы легче сможем ответить на вопрос о том, возможна ли вообще такая катастрофа, и если да, то когда, с какой вероятностью, отчего и как ее предотвратить. И даже если ее вероятность в ближайшее столетие равна нулю, мы должны знать это наверняка – результат в данном случае должен быть хорошо обоснован. В любом случае знать результат нам очень важно. Возьму на себя смелость заявить, что вопрос выживания человеческой цивилизации является важнейшим из тех, которые могут перед ней встать. Уже был период, когда он начал осознаваться как весьма актуальный – в годы холодной войны, – но впоследствии интерес к нему угас и маргинализировался. Отчасти это связано с психологическим феноменом утомления, отчасти – с мыслями о бесполезности публичных усилий. Сегодня трудно представить массовые демонстрации с требованиями запрета опасных биотехнологий, опытов на ускорителях, разработок нанотехнологического оружия. Так или иначе, сценарии и риски вымирания человечества оказались практически вытесненными в область бессознательного. На то есть свои причины: глобальные катастрофы заслонены от нас как пеленой «технического» незнания (вроде незнания реальных орбит астероидов и тому подобного), так и психологической защитой (по существу скрывающей нашу неспособность и нежелание предсказывать и анализировать нечто ужасное). Более того, глобальные катастрофы отделены от нас и теоретическим незнанием – нам неведомо, возможен ли искусственный интеллект, и в каких пределах, и как правильно применять разные версии теоремы о конце света, которые дают совершенно разные вероятностные оценки времени существования человечества. Исследование рисков глобальной катастрофы парадоксальным образом оказывается и исследованием природы непредсказуемости, поскольку вопрос о рисках такой катастрофы поднимает множество гносеологических проблем. В первую очередь речь идет об эффекте наблюдательной селекции и принципиальной невозможности и нежелательности решающего эксперимента в области глобальных катастроф. Следует отметить, что глобальная катастрофа труднопредсказуема по определению. Во-первых, потому что мы не знаем всех вариантов, которые могут выпасть. Во-вторых, нам очень трудно определить их вероятность. В-третьих, некому будет проверить результат. В-четвертых, мы не знаем, когда бросят «монету» и бросят ли ее вообще. Это незнание похоже на то незнание, которое есть у каждого человека о времени и причине его смерти (не говоря уже о том, что будет после смерти). Но у человека есть хотя бы опыт других людей, который дает статистическую модель того, что и с какой вероятностью может произойти. Другими словами, есть реальность – и есть мир человеческих ожиданий. До определенного момента они совпадают, создавая опасную иллюзию, что наша модель мира и есть мир. В какой-то момент они настолько расходятся, что мы сталкиваемся лоб в лоб с тем, что для нас раньше не существовало. Человек не знает, что с ним будет через 15 минут, но претендует на то, чтобы планировать будущее. Свет нашего знания всегда ограничен. Конец света – это столкновение несовершенства нашего знания с тьмой непостижимого. Следовательно, задачу, которую призвана решать гносеология катастроф, можно сформулировать и так: изучение общих закономерностей того, каким образом неправильное знание приводит к катастрофе. Ведь именно в ситуации глобальной катастрофы разрыв между знаниями и будущей реальностью наиболее велик. Глава 1 Будущее и природа человеческих заблуждений Попытки предсказания будущего – прекрасный материал для исследования природы человеческих заблуждений, и наоборот, данные экспериментальной психологии позволяют нам оценить, насколько ограничены мы в предсказании будущего. Нет смысла пытаться заглядывать в будущее, не исследовав границы своего возможного знания о нем. Эти границы обозначат горизонт нашей способности к прогнозу. Существует более ста возможных ошибок, которые могут совершить люди, пытаясь предсказать будущие катастрофы. Но вместо того чтобы перечислять их, мы постараемся исследовать их вероятные корни, то есть причины человеческой склонности к ошибкам. Основной корень возможных ошибок состоит в том, что человек «не предназначен» для оценки рисков глобальных катастроф. Не предназначены для этого ни его мозг, ни обычный взгляд на мир, ни созданный человеком научный метод. Рассмотрим поочередно каждый из этих трех источников неправильных представлений о сущности и вероятности глобальных катастроф. Мозг и эволюция Человеческий мозг сформировался в процессе эволюции. Поэтому, в первом приближении, мы можем сказать, что в ходе этого процесса в нем сохранились и усилились те качества, которые способствовали выживанию людей и заселению ими всей Земли. Отсюда можно было бы заключить, что люди успешно избегали катастроф, приводящих к вымиранию вида (в прошлом, во всяком случае). Те линии людей, которые не умели этого избегать, не дожили до наших дней, как, например, неандертальцы. Однако люди выживали вовсе не потому, что у них развился некий навык предотвращать катастрофы, а чисто статистически, за счет того, что они обладали большей живучестью. (Одной из возможных причин вымирания неандертальцев называют прионную инфекцию в духе коровьего бешенства, которая распространилась во всей их популяции в течение 100–200 лет за счет практики каннибализма; в то же время запрет на каннибализм, распространенный среди большинства сообществ homo sapiens, способствовал их выживанию – однако этот запрет никаким образом не приводил к росту понимания того, какова его реальная причина.) Эта человеческая живучесть, безусловно, является ценным ресурсом в случае будущих глобальных катастроф, но она ничего не дает для понимания соответствующих рисков, так как является свойством вида, а не отдельных людей. Для выживания вида каждый человек должен был дожить до возраста рождения детей или немногим более, и в силу этого его понимание рисков ограничивалось преодолением, в первую очередь, краткосрочных угроз. Более того, рискованное поведение отдельных людей способствовало выживанию вида в целом, побуждая отправляться на заселение далеких островов и иметь больше детей. Кроме того, homo sapiens, для того чтобы стать единственным хозяином планеты, вынужден был развить в себе навык уничтожения целых классов разумных существ, которые могли бы стать ему конкурентами. За примерами не надо ходить далеко: от тех же неандертальцев до тасманийских аборигенов, уничтоженных поголовно в XIX веке; кроме того, человек уничтожил мегафауну на всех континентах, кроме Африки. В XX веке люди решили (опыт мировой войны), что геноцид – это не способ решения проблем. Тем не менее в багаже очевидных решений, приходящих нам на ум, сохранилась идея «уничтожить всех врагов». Нет нужды говорить, что вид, обладающий таким навыком, как «уничтожение всех», становится опасным сам для себя, когда отдельным его представителям попадают в руки достаточные для реализации такого проекта технические средства. В данном случае «уничтожить всех» – это модель поведения, а не ошибка, но она может проявляться и как ошибка в планировании будущего. Ошибка здесь состоит в том, что попытки «уничтожить всех» ведут не к решению проблемы, а наоборот, только к ее усугублению. Подтверждение этому мы видим на примере конфликта Израиля и палестинцев: чем больше израильтяне хотят уничтожить всех террористов, тем больше палестинцы хотят уничтожить всех израильтян и порождают из своей среды террористов. И наоборот, чем меньше стороны пытаются «решить проблему», тем менее актуальна и сама проблема. Следующая «собака», которую нам подложила эволюция, это как наш мозг сопоставляет рискованность и полезность действий. Хотя эволюция отсеивала тех людей, которые слишком сильно рисковали собой и погибали в детстве, она также отсеивала и тех, кто слишком сильно стремился к безопасности. Происходило это, возможно, следующим образом: допустим, в стаде было четыре «рисковых парня». Они бурно выясняли между собой отношения, в результате чего трое погибли, а четвертый стал вожаком стада, покрыл всех самок и у него родился десяток детей. В силу этого рискованное поведение закрепилось, так как, несмотря на то, что большинство склонных к риску самцов погибло, один выживший оставил большое потомство. Более того, склонность к риску позволила ему повысить свой социальный статус и даже стать вожаком стада. С другой стороны, самец, который стремился бы к абсолютной безопасности и избегал стычек с другими самцами, в конечном счете утратил бы статус в стаде и оставил мало потомства. Наоборот, рисковый самец, став вожаком, будет «руководить» рискованными методами. Опять же, в силу этого какие-то племена погибнут, какие-то – попадут на новые территории и заселят их. Более близкий пример: Рональд Рейган, объявляя крестовый поход против СССР, увеличивал своими действиями риск ядерной войны, однако выигрыш его интересовал больше, чем проигрыш. Существует много исследований, которые показывают, что восприятие человеком вероятностей выигрышей и проигрышей значительно отличается от поведения абсолютно рационального субъекта. Например, человеку свойственно пренебрегать небольшой вероятностью очень плохого исхода – «тяжелым хвостом». С нашей эволюционной точки зрения это можно связать с тем, что человек не был бессмертным существом и знал это, поэтому он мог просто не дожить до редкого наихудшего случая, ущерб от которого перевесил бы полезность от всех позитивных исходов, вместе взятых. Доказано, что людям свойственно считать вероятности рисков, меньшие 0,001 процента, равными нулю. Понятно, почему это происходит: если средняя жизнь человека включает примерно 20 000 дней, то добавление на каждый день вероятности смерти порядка 0,001 процента изменит ее ожидаемую продолжительность только на несколько тысяч дней, что находится в пределах погрешности оценки продолжительности жизни. Люди выбирают езду на машине, питье, курение и т. д. потому, что риск смертельной аварии или заболевания попадает в эти пределы. Однако такая оценка определенно не годится для обеспечения безопасности человечества, потому что она означала бы гарантированное вымирание человечества в течение 300 лет. Кроме того, люди обычно не складывают вероятности, при том что многократное повторение разных событий с вероятностью в одну стотысячную может дать значительный эффект. Здесь же мы можем отметить психологический эффект, состоящий в том, что риск сам по себе запускает механизмы вознаграждения в мозгу, в силу чего некоторые люди склонны повышать свою норму риска – чтобы «поймать адреналин». Безусловно, это вопрос личного выбора этих людей, пока это касается только их самих. Однако не составляет труда привести примеры ситуаций, когда люди рисковали жизнями сотен людей ради собственного развлечения. Например, еще в советское время пилот самолета ТУ-154 на спор с товарищами взялся посадить самолет с закрытыми шторками окон кабины. Более ста человек погибли. Нетрудно вообразить ситуацию из не очень отдаленного будущего, где кто-то ради развлечения рискнет судьбой всего человечества. Ведь чем выше ставки, тем выше выброс адреналина! Например, ракетчики на одной американской базе придумали от скуки, как можно обойти систему запуска, требующую двух человек, с помощью одного человека, ножниц и нитки. Интересна также склонность людей выбирать свою норму риска. Например, при сравнении смертности на разных классах автомобилей (на основании статистики США) оказалось, что на более безопасных по заводским тестам машинах гибнет примерно такое же количество людей, как и на более дешевых и менее безопасных машинах. Это было связано с тем, что люди на более безопасных машинах ездили агрессивнее и быстрее, а на менее безопасных – осторожнее. В отношении глобальных катастроф это выглядит следующим образом: когда человек едет на машине, он зависит от своей машины и от машины на встречном курсе, то есть от двух машин. Но человек, живущий на Земле, зависит от всего множества войн, терактов и опасных экспериментов, которые могут иметь глобальный масштаб. И это приводит к тому, что для него складываются тысячи норм риска, которые допускают разные люди, решившиеся на реализацию этих проектов. Как принимаются «обоснованные» решения Другой корень неверных представлений, сформировавшихся эволюционно, состоит в крайне опасной связи между правотой, уверенностью и высоким социальным статусом. Одним из важнейших проявлений этого является неизменно присущее человеку качество сверхуверенности. Сверхуверенность состоит в том, что людям свойственно приписывать слишком высокую достоверность собственным мнениям. Сверхуверенность проявляется также в чувстве собственной важности, то есть в уверенности в своем более высоком социальном статусе и более высоких способностях, чем это есть на самом деле. Большинство опрошенных социологов считают, что они принадлежат к 10 лучшим в мире специалистам. Три четверти водителей считают, что они водят машину лучше, чем среднестатистический водитель. Другое проявление сверхуверенности – это очень низкая способность сомневаться в истинности своих высказываний. В экспериментах это проявляется, когда испытуемым предлагают дать оценку некой неизвестной величины (например, числа яиц, производимых в США в год), а затем просят указать интервал в 99 процентов уверенности вокруг этой величины. Несмотря на то что никто не мешает людям указать очень широкий интервал от нуля до бесконечности, люди все равно указывают слишком узкие интервалы, и реальная величина в них не попадает. Даже если люди являются экспертами в своей области (например, инженерами-гидротехниками), их интервал уверенности оказывается слишком узким. Даже если людей заранее предупреждают о том, что такой эффект имеет место быть, и просят его избегать, все равно их интервал уверенности оказывается слишком узким. Даже если людям предлагают денежное вознаграждение в размере трехмесячной зарплаты за правильный результат, все равно их интервал уверенности оказывается слишком узким. Из этого следует, что проблема не в том, что люди не хотят угадать правильный интервал уверенности: они действительно этого не могут сделать – не могут преодолеть свою сверхуверенность, которая «прошита» в устройстве их мозга. Мы можем часто сталкиваться с проявлениями такой сверхуверенности у других людей, когда слышим заявления о том, например, что вероятность ядерной войны в XXI веке будет нулевой, или наоборот, что она неизбежна. Чужая сверхуверенность достаточно очевидна, однако наиболее опасна своя, которую практически невозможно обнаружить собственными силами, да людям обычно и несвойственно искать в себе признаки сверхуверенности и стремиться уменьшить свою уверенность в сделанных выводах. Наоборот, люди стараются увеличить свое ощущение уверенности в своих выводах, и в результате на какое-нибудь случайное утверждение наматывается ком селективно подобранных доказательств. Такой подход известен как wishful thinking – то есть мышление, обусловленное желанием что-то доказать, подкрепить свою уверенность в некой теме. Целью такого мышления вовсе не является поиск истины, отсюда и результат – обычно таким образом истинные высказывания не получаются. Другим названием этой модели поведения является «рационализация» – то есть подбор рациональных оснований под некое иррациональное решение. В ходе такого отбора противоречащие доводы отсеиваются, а также нет попыток фальсифицировать свое исходное мнение – то есть проверить его устойчивость к опровержениям. Интернет оказывает в этом дурную услугу, так как поиск приносит в первую очередь подтверждения. Например, набрав в поиске «взрыв Земли», я наверняка наткнусь на кого-то, кто думает, что это возможно. Другое проявление борьбы за социальный статус состоит в резкой поляризации мнений в случае спора. Если человек колеблется между двумя гипотезами, то столкновение с оппонентом заставляет его выбрать одну из гипотез и начать ее защищать. В этом смысле спор не рождает истину. Поскольку вопрос о возможности глобальной катастрофы будет оставаться спорным вплоть до самого конца, то в связи с ней возможно особенно много споров. И если в результате этого спора кто-то преувеличит вероятность глобальной катастрофы, то это не пойдет на пользу выживания человечества. Переоценка какого-то одного фактора неизбежно означает недооценку другого. В связи со спорами возникает проблема убедительности. Единственный способ для общества начать предотвращать некую возможную глобальную катастрофу – это то, что кто-то его убедит в близости и реальности такого события, а также в возможности и необходимости его предотвращения. Но «убедительность» не тождественна истине. Некоторые сценарии глобальной катастрофы будут более «убедительными» за счет своей красочности, наличия исторических примеров и того, что их защищали лучшие спорщики. Например, падение астероидов. Другие будут гораздо более трудно доказуемыми, и их «пиар» будет менее возможным. Например, катастрофа на ускорителе в ходе физических экспериментов. Следующий корень ошибочных умозаключений и моделей поведения лежит в эмоциональных реакциях. Хотя доказательства вероятности некой катастрофы могут быть весьма строгими, эти выкладки понятны только тому ученому, который их сделал, а лица, принимающие решения, не будут перепроверять эти выкладки – будут реагировать на них в значительной мере эмоционально. Поэтому реакция публики, академии наук, парламента, правительства, президента на любые, даже самые серьезные предупреждения, будет эмоциональной, а не логической. Более того, поскольку человеку свойственно определять свою позицию в течение 10 секунд, а потом начать подбирать факты для ее защиты, эта эмоциональная реакция имеет шанс закрепиться. В силу сказанного, даже при наличии очень убедительных доказательств (а чем убедительнее доказательства, тем в большей мере катастрофа уже назрела и тем меньше времени осталось для борьбы с ней), все равно надо учитывать особенности эмоционального реагирования людей, так как окончательное решение в конечном счете будет зависеть не от тех, кто это доказательство вывел. Кроме того, людям свойственно чувствовать себя экспертами по глобальным вопросам, поскольку это повышает их самооценку. Например, если человека спросить, каков порядковый номер лантана в таблице Менделеева, то он, если он не химик, легко признается, что не знает этого и готов посмотреть в таблицу; однако если спросить его о некой глобальной проблеме, например о риске ядерной войны, то он сразу даст ответ, вместо того чтобы посмотреть существующую литературу на эту тему. Далее, естественной психологической реакцией является защита от неприятного знания. Первым уровнем такой защиты является состояние отрицания в духе «это слишком плохо, чтобы быть правдой». Действительно, глобальная катастрофа, ведущая к вымиранию всех людей, – это наихудшее событие, которое может с нами случиться. Тем более что не обязательно она будет быстрой, мгновенной и красивой, а может быть долгой и мучительной, скажем, в случае глобального радиоактивного заражения. Поэтому нетрудно предположить, что психологические механизмы защиты включатся на всю мощь, чтобы уменьшить ее ужас, а главное – или счесть ее невозможной, или вообще исключить из сознания, вытеснить. Поскольку люди знают, что идеи в духе «это слишком плохо, чтобы быть правдой» не имеют под собой никаких оснований, и каждый может вспомнить случаи из жизни, когда происходили вещи настолько плохие, что в это трудно поверить (ребенок, заболевший раком; невеста, умирающая накануне свадьбы, и т. д.), то этот тезис подменяется другим, а именно: «это слишком невероятно, чтобы быть правдой». Последнее высказывание по своей логической природе является тавтологией: «этого не может быть, потому что не может быть никогда». Однако в отношении глобальных окончательных катастроф их «невероятность» выводится, например, из того, что они не происходили в прошлом. По ряду причин, которые мы подробно рассмотрим дальше, это, однако, ничего не значит (например, в связи с наблюдательной селекцией). Уникальные события регулярно случаются. Вероятность глобальной катастрофы отвергается также потому, что это очень большое событие. Но и очень большие события иногда происходят, более того, они происходят рано или поздно. Следовательно, подобное преуменьшение вероятности носит в первую очередь эмоциональный характер. По одной из теорий, психологическая реакция на катастрофу или известие о неизлечимой болезни, называемая «горевание», проходит через пять стадий: отрицание, гнев, попытка заключить сделку с судьбой, депрессия, принятие. Можно предположить, что и эмоциональная реакция на риск глобальной катастрофы будет проходить через похожие стадии. Тогда стремлению «заключить сделку с судьбой» будут соответствовать попытки избежать катастрофы с помощью бункеров и т. д. То, что известно в быту как «стадный инстинкт», проявляется в психологических экспериментах по исследованию конформизма. Когда группа подсадных испытуемых единогласно утверждает, что белое – это черное, то значительная доля реальных испытуемых, находящихся в этой группе, тоже не верит своим глазам и боится высказать несогласие с группой. Особенно силен этот эффект, когда нужно выступить в одиночку против группы. По крайней мере до недавнего времени люди, высказывающиеся о значительном риске глобальных катастроф, особенно со стороны неких принципиально новых источников, оказывались в похожей ситуации. Они в одиночку должны были выступать против общественного мнения, справедливо опасаясь отвержения обществом и десоциализации. Однако и общество, со своей стороны, часто весьма заинтересовано в отвержении новых идей (точно так же, как старый вожак стаи отвергает претензии молодого самца на лидерство). Например, от предложения идеи анестезии в конце XVIII века до реального ее применения прошло почти 50 лет, хотя необходимые препараты – эфир – были уже известны. То же самое произошло и с идеей дезинфицировать руки перед операцией: в середине XIX века врачи все еще не верили в заражение от бактерий, и за десятки лет от того момента, когда идея была высказана, и до того, как она была принята, миллионы рожениц погибли от родовой горячки. Научный метод и нежелательность экспериментов Теперь обратимся к возможным причинам недооценки рисков глобальных катастроф, происходящих из устройства науки. Научный метод был создан, чтобы преодолеть все виды интеллектуальных искажений, связанных с ненадежностью человеческого мозга, и получить доступ к по-настоящему достоверному знанию. Обобщая, скажу, что важной частью научного метода является экспериментальная проверка результатов. Именно предсказуемые повторяющие результаты наблюдений и экспериментов позволяют отсеять ложные теории и подтвердить истинные. Благодаря этому какие бы систематические ошибки ни совершил человек, придумывая теорию, они с большой вероятностью будут вскрыты практикой. Таким образом, научный метод компенсировал несовершенство человеческого мозга экспериментальной проверкой. Однако ничего подобного не происходит в случае исследований рисков глобальных катастроф. Экспериментальная проверка любых теорий о глобальной катастрофе нежелательна, и более того, физически невозможна, так как в случае успеха не останется ни одного наблюдателя. В силу этого классический экспериментальный метод в случае глобальных катастроф буксует и не выполняет своей функции по устранению различных интеллектуальных искажений. Границы человеческой склонности ошибаться в прогнозах будущего стали притчей во языцех. Например, газета «Нью-Йорк таймс» опубликовала передовицу, посвященную очередной неудаче в попытках создать самолет, которая закончилась бесславным падением в воду, и предрекла, что свойства материалов таковы, что не удастся создать самолет в течение ближайшего миллиона лет. Однако братья Райт испытали свой самолет через 9 дней после этой статьи, и об этом событии газета не написала ни слова. То есть коэффициент ошибки составил 40 миллионов раз. В этой истории важно так же то, что самые важные открытия совершались вдали от людских глаз и становились великими событиями с огромными последствиями только задним числом. Одна из основных ошибок в области футурологии состоит в том, что людям свойственно переоценивать тенденции, касающиеся ближайшего будущего, и недооценивать качественные изменения, которые проявятся в более отдаленном будущем. Классический пример такой оценки – прогноз о том, что рост числа повозок в Лондоне приведет к тому, что все жители города станут кучерами, а навоз поднимется до уровня крыш. При этом интересно, что качественно этот прогноз сбылся: почти все стали водить машины, под капотами которых скрыты десятки лошадиных сил, а вредные выхлопы двигателей поднялись значительно выше крыш. Теперь остановимся на крайне важном различии между наилучшим, наиболее вероятным и наихудшим результатами. Склонность людей недооценивать вероятность наихудшего исхода регулярно проявляется при реализации крупных проектов. Президент Буш оценивал стоимость будущей иракской войны в 50 миллиардов долларов, однако один из его экономистов выдал более реалистичную оценку в 200 миллиардов, за что был уволен. Теперь суммарные расходы на войну оцениваются в сумму между одним и двумя триллионами долларов. Истребитель F-22 должен был стоить 30 миллионов долларов, а стал стоить 300. МКС должна была стоить около 8–10 миллиардов долларов, а обошлась более чем в 100. То же самое происходит и с оценками надежности и безопасности. Атомные станции должны были иметь надежность в одну крупную аварию на миллион лет эксплуатации, однако Чернобыль произошел, когда суммарная наработка всех станций в мире составляла порядка 10 000 лет эксплуатации. Космические корабли «Спейс шаттл» были рассчитаны менее чем на одну аварию на 1000 полетов, но первая авария произошла на 25-м полете. То есть исходная оценка надежности 1 к 25 была бы более точной. То есть реальная ситуация оказывается в несколько десятков раз хуже, чем задуманная и рассчитанная. Все же она оказывается лучше, чем в алармистских предупреждениях в духе того, что шаттл вообще никогда не взлетит, Ирак завоевать не удастся и т. п. Алармистские прогнозы точно так же нереалистичны, только с обратным знаком. Теперь разберемся со «страшилками». Очевидно, что выработался своего рода условный рефлекс на сообщения о возможных рисках и опасностях в духе: это все страшилки, нас пугают, чтобы привлечь внимание и вытрясти денег, но мы это раскусили и потому бояться не будем. Действительно, имеется целый класс «прогнозов» в духе: «к земле летит гигантский астероид», «на дне Неаполитанского залива лежит 20 атомных бомб» и т. п., которые были придуманы и нарочно тиражируются СМИ, чтобы что-то получить с человеческой паники. Результат же – как в сказке про волков: восприятие подобных предупреждений притупляется, и когда появляется реальное предупреждение, его никто не слышит. Я хочу подчеркнуть, что читатель имеет право воспринимать эту книгу как очередную «страшилку», но прошу отметить, что «волк» существует независимо от того, какую игру со страшилками мы, люди, устроили. При этом здесь вы не найдете призывов о том, что нужно срочно бежать и спасать мир определенным образом – я не знаю, как это сделать. Следующее важное обстоятельство, часто не принимаемое во внимание при прогнозах будущего, состоит в том, что более быстрые процессы затмевают более медленные. Например, если у нас в чашке Петри посеяно несколько культур бактерий, то через какое-то время наибольший объем будет занимать та культура, которая растет быстрее всех. В отношении предсказания будущего это означает, что нам следует выделять не самые большие процессы, а самые быстрорастущие. Например, бессмысленно рассматривать рост населения Земли до 2100 года в отрыве от биотехнологий, потому что эти биотехнологии или уничтожат всех людей, или резко продлят жизнь, или обеспечат всех достаточным количеством пропитания. Более того, и внутри биотехнологий нам следует выделять наиболее быстрорастущие направления. Человеческие мнения крайне подвержены влиянию фоновых обстоятельств, то есть того, каким образом оформлено высказывание, а не того, что именно в нем сказано. Что звучит страшнее: «Русские посылают сообщения инопланетянам со своего радиотелескопа, выдавая им расположение Земли» или «НАСА транслирует песню Биттлз “Через Вселенную” в сторону Полярной звезды?» Первое сообщение вызывает в целом осуждение, а второе – одобрение, потому что в нем использованы слова, которые связаны с приятными ощущениями. Хотя с физической точки зрения происходит одно и то же. Это говорит о том, насколько наши мнения зависят от того, что, по сути, не важно. Через 20 или 30 лет люди, если еще будут живы, составят новый список глобальных угроз, потому что эта проблема, однажды возникнув, никуда не денется. И они будут просматривать те списки рисков, которые мы предлагаем сейчас, и будут поражаться их наивности, неполноте и односторонности. Насколько бы совершенные списки рисков мы сейчас ни составляли, мы только царапаем по поверхности этой проблемы и должны быть готовы к тому, что в будущем эти списки будут значительно доработаны и многие наши ошибки и иллюзии станут очевидными. Рекомендуемая литература[1 - К каждой главе я приложу список из трех-пяти наиболее интересных работ по данной теме, которые стоит почитать; но это не полный список: заинтересовавшиеся читатели без труда найдут более полный список работ в Интернете.] Росс Л., Нисбетт Р. Человек и ситуация: уроки социальной психологии. – М.: Аспект Пресс, 1999. Турчин А.В. О возможных причинах недооценки рисков гибели человеческой цивилизации // Проблемы управления рисками и безопасностью: труды Института системного анализа Российской академии наук. – Т. 31. – М.: КомКнига, 2007. Юдковски Е. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков // Сборник «Диалоги о будущем». – М.: УРСС, 2008. Глава 2 Горизонт прогноза: непредсказуемость против непостижимости Вот как определяются эти два понятия у К. Кастанеды: «Неведомое в свое время становится известным. Непостижимое, с другой стороны, – это неописуемое, немыслимое, неосуществимое. Это что-то такое, что никогда не будет нам известно, однако это что-то есть там – ослепляющее и в то же время устрашающее в своей огромности». Но прежде чем перейти к рассмотрению этих предметов, необходимо обратить внимание на следующее: будущего не существует. Нам трудно сказать: «В будущем, завтра утром я пойду на работу». Когда я собираюсь через неделю дописать главу, через месяц поехать на юг, а через год написать новую книгу, я действую в продолженном настоящем. В будущем же может быть все что угодно. В будущем я могу стать альпинистом или переселиться в Японию, жениться на китаянке или вживить себе в мозг имплантат. Все это никак не связано с существующими событиями и в равной мере отражает игру моей фантазии и спектр пространства возможностей. Про будущее можно рассказывать сказки или страшилки, которые не побуждают ни к каким действиям, так как правильно распознаются как развлекательные тексты. В эссе «О невозможности прогнозирования» С. Лем пишет: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: “Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?” Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным?» Вместо того чтобы пытаться предсказать будущее, нам надо сосредоточиться на его принципиальной непостижимости. Правильные предсказания скорее похожи на случайные попадания из большого количества выстрелов, чем на результат работы некого систематического метода. В силу этого человек, вооруженный моделью принципиально непредсказуемого будущего, может оказаться в выигрыше по отношению к тому, кто думает, что может знать конкретное будущее. Например, принципиальное знание непредсказуемости игры в рулетку удерживает рационального субъекта от игры в нее и от закономерного проигрыша, тогда как любой человек, верящий в возможность ее предсказания, рано или поздно проигрывает. С другой стороны, принципиальная непредсказуемость будущего человеческой цивилизации буквально является концом света – то есть тьмой в конце туннеля. Конец света, то есть крах нашей познавательной способности, уже случился. И потребуется только время, чтобы он материализовался в крах физический, подобно тому, как погасший фонарь в темноте рано или поздно означает падение. Парадоксальным образом, однако, эта невозможность знать будущее в самых его главных аспектах сопровождается и даже вызывается ростом нашего знания о настоящем и об устройстве мира в деталях. Конец ознакомительного фрагмента. Текст предоставлен ООО «ЛитРес». Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/aleksey-turchin/voyna-i-esche-25-scenariev-konca-sveta/?lfrom=334617187) на ЛитРес. Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом. notes Примечания 1 К каждой главе я приложу список из трех-пяти наиболее интересных работ по данной теме, которые стоит почитать; но это не полный список: заинтересовавшиеся читатели без труда найдут более полный список работ в Интернете.
КУПИТЬ И СКАЧАТЬ ЗА: 59.90 руб.