FTX и апокалиптическая теория искусственного интеллекта: влияние на Anthropic

FTX перед банкротством имела глубокие связи с Anthropic... крупные инвестиции

Сэм Бэнкман, увлеченный корнями апокалиптической теории "эффективного альтруизма"

Существует философская, эмоциональная и культурная общность

[Журналист Блокмедиа Ли Чжонхва] "Теперь мы никогда не вернемся к спокойным временам (Things will never be chill again)"

На ноутбуках сотрудников компании по разработке искусственного интеллекта Anthropic часто наклеены стикеры с этой мотивацией. Это может означать как апокалиптическую теорию ИИ, так и "поэтому мы должны работать усерднее, чтобы предотвратить конец".

26 числа Wall Street Journal (WSJ) опубликовала длинную статью, в которой говорится о тесной связи между обанкротившейся криптобиржей FTX и Anthropic, исследуя корни апокалиптической теории ИИ. Основатель Anthropic Дарио Амодей часто посещал мероприятия, проводимые Сэмом Бэнкманом, и также получал инвестиции.

Они сформировали глубокую связь через философское учение, известное как "эффективный альтруизм" (Effective Altruism, EA). EA является теоретической основой апокалиптической теории ИИ. Сэм Бэнкман, который был осужден на 25 лет за мошенничество с криптовалютами, открыто упоминал, что был под влиянием EA.

Связь между FTX и апокалиптической теорией ИИ

Отправной точкой была не ИИ, а философия. EA начинается с идеи о том, что необходимо помочь как можно большему количеству людей с ограниченными деньгами и ресурсами. Это включает в себя оценку, сколько жизней можно спасти на каждый доллар пожертвования.

Расширяя эту логику на далекое будущее, изменились и объекты внимания. Важной задачей стало не только помощь нынешним людям, но и предотвращение "экзистенциальных рисков", угрожающих множеству будущих людей.

Если существует хоть малейшая вероятность того, что ИИ может уничтожить всё человечество, то предотвращение этого становится чрезвычайно ценным. По данным WSJ, сторонники EA считают, что даже если вероятность вымирания человечества из-за ИИ составляет всего 5%, это стоит подготовки.

На этом этапе появляется FTX.

Сэм Бэнкман был одним из основных спонсоров EA. В период стремительного роста FTX с 2020 по 2022 год он основал фонд FTX. Сэм Бэнкман заявил: "Я буду финансировать организации, которые могут оказать наибольшее положительное влияние на мир".

В его интересах были не только пандемия и мировое развитие, но и возможность коллапса человеческой цивилизации. Связанные с фондом FTX лица обменивались заметками о строительстве бункера на острове Науру, чтобы подготовиться к катастрофе, в которой может погибнуть от 50% до 99,99% человечества. Эти заметки были раскрыты в ходе судебного разбирательства по делу о банкротстве в 2023 году.

Сэм Бэнкман также смотрел на развитие ИИ с той же точки зрения. Он выражал опасения, что если ИИ станет умнее человека, он может не относиться к людям дружелюбно.

Инвестиции в Anthropic на 500 миллионов долларов

Эта проблема привела к реальным инвестициям. Дарио Амодей, соучредитель Anthropic, в 2021 году обратился к спонсорам EA за финансированием для нового AI-стартапа. Одним из них был Сэм Бэнкман.

Дарио Амодей, CEO Anthropic. Источник: Reuters (REUTERS/Bhawika) Chhabra

Сэм Бэнкман инвестировал 500 миллионов долларов в Anthropic. Это было в 5 раз больше первоначально рекомендованной суммы его инвестиционной команды. FTX стала одним из основных акционеров Anthropic. Anthropic заявила, что эти средства будут использованы для исследования и улучшения безопасности крупных AI-моделей.

Фонд FTX также пообещал финансирование нескольким некоммерческим организациям, занимающимся исследованиями безопасности ИИ. Связь не ограничивалась только деньгами.

Ник Бекстед, который возглавлял благотворительные проекты фонда FTX, позже возглавил организацию, занимающуюся снижением рисков ИИ. Он даже жил в доме, где раньше жили соучредители Anthropic, такие как Амодей. Этот дом был местом общения сторонников EA и защитников безопасности ИИ.

Кэролайн Эллисон, которая возглавляла сестринскую компанию FTX Alameda Research, также имела схожие взгляды на направление развития ИИ. Эллисон отдельно инвестировала 10 миллионов долларов в Anthropic.

В 2022 году представители Anthropic и других исследовательских институтов ИИ собрались на мероприятии на острове Элюсера в Багамах. На мероприятии основными темами обсуждения были риски ИИ и EA. Место было забронировано FTX, который тогда перенес свою штаб-квартиру на Багамы.

Элиезер Юдковский, один из ведущих представителей теории рисков ИИ, представил причины, по которым универсальный искусственный интеллект (AGI) может уничтожить человечество. Также был организован обед, на который могли прийти только те, кто считает, что вероятность вымирания человечества в течение следующих 100 лет составляет более 75%.

FTX рухнула, но идеи остались

FTX обанкротилась в 2022 году, не сумев вернуть средства клиентам. Сэм Бэнкман был приговорен к 25 годам тюремного заключения. Доля Anthropic, принадлежащая FTX, также была продана для погашения долгов перед кредиторами.

Крах FTX также сильно ударил по движению EA. WSJ сообщает, что после заключения Сэма Бэнкмана бренд EA стал объектом избегания. Лидеры EA дистанцировались от Сэма Бэнкмана, отрицая, что они его хорошо знают.

Хотя FTX исчезла, это не означает, что теория безопасности ИИ исчезла. Многие из старых членов Anthropic продолжили поддерживать связь с сообществом безопасности ИИ и EA. Исследования о возможности того, что ИИ может обмануть людей и захватить контроль, также продолжаются.

Организация Constellation, поддерживающая исследования и встречи в области безопасности ИИ, продолжает свою деятельность. Эта организация описывает себя на своем сайте следующим образом:

"Наша цель - снизить риск 'экстремального массового ущерба' и 'потери постоянного контроля над человеческой цивилизацией', которые могут быть вызваны ИИ."

Парадокс FTX заключается в том, что цифровая биржа, рухнувшая из-за присвоения клиентских средств, в конечном итоге обеспечила значительное финансирование одной из сторон текущих дебатов о безопасности ИИ.

Мотивация, которую разделяют члены Anthropic, сохраняет это осознание проблемы.

"Things will never be chill again."

Эта мотивация не означает только "мы никогда не будем спокойны снова". В английском языке слово 'chill' имеет оттенок расслабленности и спокойствия. Поэтому в контексте безопасности ИИ это можно интерпретировать как "мы больше не можем вернуться к спокойным временам".

Принятие возможности того, что ИИ может угрожать всему человечеству, означает, что мы не можем смотреть на развитие технологий так же, как раньше.

FTX исчезла. Однако сеть EA, поддерживаемая FTX, и дебаты о апокалиптической теории ИИ остались в самом центре Силиконовой долины. Слова "мы больше не можем расслабиться" сжато выражают эту мировоззренческую позицию.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.