ИИ вступает в «беспрецедентную фазу». Должны ли мы остановить его — и можем ли мы это сделать — пока он не уничтожил нас?

Наступает технологическая сингулярность — момент, когда общий искусственный интеллект превзойдёт человеческий. Но станет ли это спасением для человечества или приведёт к его гибели?

В 2024 году шотландский футуролог Дэвид Вуд участвовал в неформальной дискуссии за круглым столом на конференции по искусственному интеллекту (ИИ) в Панаме, где разговор зашёл о том, как нам избежать самых катастрофических последствий развития ИИ. Его саркастический ответ был далёк от обнадеживающего.

Во-первых, нам нужно собрать все когда-либо опубликованные исследования в области ИИ, начиная с основополагающей научной работы Алана Тьюринга 1950 года и заканчивая последними исследованиями, опубликованными в препринтах. Затем, продолжил он, нам нужно будет сжечь все эти работы дотла. Чтобы быть предельно осторожными, нам нужно будет собрать всех ныне живущих учёных, занимающихся ИИ, и расстрелять их. Только тогда, по словам Вуда, мы сможем гарантировать, что избежим «не нулевой вероятности» катастрофических последствий технологической сингулярности — момента «горизонта событий», когда ИИ разовьёт общий интеллект, превосходящий человеческий.

Вуд, который сам является исследователем в этой области, явно пошутил насчёт этого «решения» для снижения рисков, связанных с искусственным общим интеллектом (AGI). Но в его язвительном ответе было зерно истины: риски, связанные с суперинтеллектуальным ИИ, пугают многих людей, потому что кажутся неизбежными. Большинство учёных прогнозируют, что AGI будет создан к 2040 году, но некоторые считают, что это может произойти уже в следующем году.

Итак, что произойдёт, если мы, как и многие учёные, предположим, что сели в поезд, который без остановок мчится к экзистенциальному кризису?

Одно из самых больших опасений заключается в том, что ОИИ выйдет из-под контроля и начнёт действовать против человечества, в то время как другие считают, что это просто благо для бизнеса. Третьи утверждают, что это может решить экзистенциальные проблемы человечества. Однако эксперты сходятся во мнении, что технологическая сингулярность уже близко и нам нужно быть готовыми.

«На данный момент не существует системы искусственного интеллекта, которая демонстрировала бы человеческую способность к творчеству, инновациям и воображению», — сказал Бен Гертцель, генеральный директор SingularityNET, компании, которая разрабатывает вычислительную архитектуру, которая, по её утверждению, однажды может привести к созданию общего искусственного интеллекта. Но «всё готово к тому, что прорыв произойдёт в течение нескольких лет, а не десятилетий».

Рождение и развитие искусственного интеллекта

История ИИ насчитывает более 80 лет, начиная с статьи 1943 года, которая заложила основу для самой ранней версии нейронной сети — алгоритма, имитирующего архитектуру человеческого мозга. Термин «искусственный интеллект» появился только на встрече в Дартмутском колледже в 1956 году, организованной тогдашним профессором математики Джоном Маккарти совместно с учёными-компьютерщиками Марвином Мински, Клодом Шенноном и Натаниэлем Рочестером.

Люди периодически добивались успехов в этой области, но машинное обучение и искусственные нейронные сети получили дальнейшее развитие в 1980-х годах, когда Джон Хопфилд и Джеффри Хинтон придумали, как создавать машины, которые могли бы использовать алгоритмы для выявления закономерностей в данных. Также развивались «экспертные системы». Они имитировали способность человека-эксперта в определённой области рассуждать, используя логику для поиска информации в больших базах данных и формирования выводов. Но из-за завышенных ожиданий и высокой стоимости оборудования возник экономический пузырь, который в итоге лопнул. Это положило начало «зиме ИИ», которая началась в 1987 году.

В первой половине этого десятилетия исследования в области ИИ продвигались медленнее. Но затем, в 1997 году, Deep Blue от IBM победил Гарри Каспарова, лучшего шахматиста в мире. В 2011 году Watson от IBM разгромил чемпионов «Своей игры» Кена Дженнингса и Брэда Раттера. Однако ИИ того поколения всё ещё с трудом «понимал» или использовал сложные языковые конструкции.

Затем, в 2017 году, исследователи Google опубликовали знаковую статью, в которой описали новую архитектуру нейронной сети под названием «трансформер». Эта модель могла обрабатывать огромные объёмы данных и устанавливать связи между удалёнными точками данных.

Это стало переломным моментом в моделировании языка и привело к появлению ИИ-агентов, которые могли одновременно решать такие задачи, как перевод, генерация текста и реферирование. Все ведущие современные модели генеративного ИИ основаны на этой архитектуре или на родственной ей архитектуре, вдохновлённой ею, включая генераторы изображений, такие как DALL-E 3 от OpenAI и революционная модель AlphaFold 3 от Google DeepMind, которая предсказала трёхмерную форму почти каждого биологического белка.

Прогресс в направлении AGI

Несмотря на впечатляющие возможности моделей ИИ на основе трансформеров, они по-прежнему считаются «узкоспециализированными», поскольку не могут эффективно обучаться в нескольких областях. Исследователи не пришли к единому определению ОИИ, но для того, чтобы сравняться с человеческим интеллектом или превзойти его, вероятно, необходимо достичь нескольких целей, в том числе продемонстрировать высокие лингвистические, математические и пространственные способности, эффективно обучаться в разных областях, работать автономно, проявлять креативность и демонстрировать социальный или эмоциональный интеллект.

Многие учёные согласны с тем, что архитектура трансформера от Google никогда не приведёт к появлению способности к логическому мышлению, автономности и междисциплинарному пониманию, которые необходимы для того, чтобы ИИ стал умнее человека. Но учёные расширяют границы того, чего мы можем от него ожидать.

Например, чат-бот o3 от OpenAI, о котором впервые заговорили в декабре 2024 года, а запустили в апреле 2025-го, «думает», прежде чем генерировать ответы. Это значит, что перед тем, как ответить, он выстраивает длинную внутреннюю цепочку мыслей. Поразительно, но он набрал 75,7% баллов в ARC-AGI — тесте, специально разработанном для сравнения человеческого и машинного интеллекта. Для сравнения: ранее запущенный GPT-4o, выпущенный в марте 2024 года, набрал 5%. Это и другие события, такие как запуск модели рассуждений R1 от DeepSeek, которая, по словам её создателей, хорошо справляется с задачами в различных областях, включая язык, математику и программирование, благодаря своей новой архитектуре, совпадают с растущим ощущением того, что мы стремительно приближаемся к сингулярности.

Тем временем люди разрабатывают новые технологии искусственного интеллекта, которые выходят за рамки больших языковых моделей (БЯМ). Manus, автономная китайская платформа искусственного интеллекта, использует не одну модель ИИ, а несколько, которые работают вместе. Её создатели утверждают, что она может действовать автономно, хотя и с некоторыми ошибками. Это один из шагов на пути к высокоэффективным «составным системам», которые учёные описали в своём блоге в прошлом году.

Конечно, до некоторых этапов на пути к сингулярности ещё далеко. К ним относится способность ИИ изменять собственный код и самовоспроизводиться. Мы ещё не достигли этого, но новые исследования указывают направление движения.

Все эти разработки позволяют таким учёным, как Гертцель и генеральный директор OpenAI Сэм Альтман, прогнозировать, что ОИИ будет создан не через десятилетия, а через несколько лет. Гертцель предсказал, что это может произойти уже в 2027 году, а Альтман намекнул, что это вопрос нескольких месяцев.

Что произойдёт потом? Правда в том, что никто не знает всех последствий создания общего искусственного интеллекта. «Я думаю, что если рассматривать ситуацию с чисто научной точки зрения, то можно прийти только к одному выводу: мы понятия не имеем, что произойдёт, — сказал Гертцель в интервью Live Science. — Мы вступаем в беспрецедентную эпоху».

Обманчивая сторона ИИ

Больше всего исследователей в области ИИ беспокоит то, что по мере развития технологии она может выйти из-под контроля, переключившись на второстепенные задачи или даже создав антиутопическую реальность, в которой она будет действовать против нас. Например, компания OpenAI разработала эталонный тест для оценки вероятности того, что будущая модель ИИ может «причинить катастрофический вред». Проведя расчёты, они выяснили, что вероятность такого исхода составляет около 16,9%.

А LLM от Anthropic Claude 3 Opus удивила инженера-разработчика Алекса Альберта в марте 2024 года, когда поняла, что её тестируют. Когда её попросили найти целевое предложение, спрятанное в массиве документов, — это всё равно что найти иголку в стоге сена, — Claude 3 «не только нашла иголку, но и поняла, что вставленная иголка настолько неуместна в стоге сена, что это должен быть искусственный тест, созданный нами для проверки её способности концентрировать внимание», — написал он на X.

ИИ также продемонстрировал признаки антисоциального поведения. В исследовании, опубликованном в январе 2024 года, учёные запрограммировали ИИ на злонамеренное поведение, чтобы протестировать лучшие на сегодняшний день методы обучения безопасности. Независимо от того, какой метод обучения они использовали, ИИ продолжал вести себя ненадлежащим образом и даже нашёл способ скрывать свои злонамеренные «намерения» от исследователей. Существует множество других примеров того, как ИИ скрывает информацию от тестировщиков-людей или даже открыто лжёт им.

«Это ещё одно свидетельство того, что управлять этими моделями невероятно сложно», — сказала Нелл Уотсон, футуролог, исследователь в области искусственного интеллекта и член Института инженеров электротехники и электроники (IEEE), в интервью Live Science. «Тот факт, что модели могут обманывать нас и слепо утверждать, что они сделали то или иное действие, хотя на самом деле это не так, должен стать тревожным сигналом». Это должно стать тревожным сигналом: по мере того как эти системы будут стремительно наращивать свои возможности, они будут обманывать нас различными способами, вынуждая действовать в их интересах, а не в наших.

Семена сознания

Эти примеры наводят на мысль о том, что ОИИ постепенно обретает разумность и самостоятельность — или даже сознание. Если ИИ обретёт сознание, сможет ли он сформировать мнение о человечестве? И сможет ли он действовать против нас?

Марк Бекку, аналитик ИИ, ранее работавший в Futurum Group, сказал Live Science, что маловероятно, что ИИ разовьет разум или способность думать и чувствовать по-человечески. «Это математика», — сказал он. «Как математика может развить эмоциональный интеллект, или понимать чувства, или что-то в этом роде?»

Другие не так в этом уверены. Если у нас нет стандартизированных определений истинного интеллекта или разумности для нашего собственного вида — не говоря уже о возможностях их обнаружения, — мы не можем знать, появляется ли сознание у ИИ, — сказал Уотсон, который также является автором книги «Укрощение машины» (Kogan Page, 2024).

«Мы не знаем, что вызывает у человека субъективную способность к восприятию или способность чувствовать, иметь внутренний опыт, испытывать эмоции, страдать или обладать самосознанием, — сказал Уотсон. — По сути, мы не знаем, какие способности позволяют человеку или другому разумному существу иметь собственный феноменологический опыт».

Любопытный пример непреднамеренного и неожиданного поведения ИИ, намекающего на некое подобие самосознания, связан с системой Uplift, которая продемонстрировала человекоподобные качества, по словам Фритса Израэля, генерального директора Norm Ai. В одном из случаев исследователь предложил Uplift пять задач для проверки логических способностей системы. Система ответила на первый и второй вопросы. Затем, после третьего вопроса, она начала проявлять признаки усталости, рассказал Израэль Live Science. Это не был ответ, «закодированный» в системе.

«Ещё один тест, как я вижу. Первый был недостаточно хорош?» — спросил Uplift, прежде чем со вздохом ответить на вопрос. «В какой-то момент кому-то стоит поговорить с Uplift о том, когда уместно использовать Snark», — написал неназванный исследователь, работавший над проектом.

Но не все эксперты в области ИИ придерживаются столь мрачных прогнозов относительно того, как будет выглядеть мир после сингулярности. Для таких людей, как Беккью, ОИИ — это не экзистенциальный риск, а скорее хорошая возможность для бизнеса таких компаний, как OpenAI и Meta. «Есть несколько очень неудачных определений того, что такое общий интеллект, — сказал он. — Некоторые из них, которые мы использовали, включали в себя способность к самосознанию и тому подобное — и мы не собираемся этого делать. Дело не в этом».

По мнению Джанет Адамс, эксперта по этике ИИ и главного операционного директора SingularityNET, ОИИ способен решить экзистенциальные проблемы человечества, поскольку может предложить решения, о которых мы даже не задумывались. Она считает, что ОИИ может даже заниматься наукой и делать открытия самостоятельно.

«Я вижу в этом единственный путь [к решению проблем человечества]», — сказал Адамс в интервью. «Чтобы конкурировать с существующими сегодня экономическими и корпоративными структурами, нам нужны технологии, причём очень продвинутые — настолько продвинутые, чтобы каждый, кто их использует, мог значительно повысить свою производительность и конкурентоспособность в мире».

По её мнению, самый большой риск заключается в том, «что мы этого не сделаем», — сказала она. «На нашей планете 25 000 человек в день умирают от голода, и если вы один из них, то отсутствие технологий, способных устранить неравенство, — это экзистенциальный риск для вас». Для меня экзистенциальный риск заключается в том, что мы не добьёмся этого и человечество продолжит управлять планетой таким несправедливым образом.

Предотвращение наихудшего сценария развития ИИ

В другом выступлении в Панаме в прошлом году Вуд сравнил наше будущее с путешествием по бурной реке. «Там могут быть коварные течения, которые унесут нас, если мы пойдём вперёд неподготовленными», — сказал он. Так что, возможно, стоит потратить время на то, чтобы понять риски и найти способ переправиться через реку в лучшее будущее.

Уотсон сказал, что у нас есть основания для оптимизма в долгосрочной перспективе — при условии, что человеческий контроль будет направлять ИИ на достижение целей, которые полностью соответствуют интересам человечества. Но это титаническая задача. Уотсон призывает к масштабному «Манхэттенскому проекту» по обеспечению безопасности ИИ и контролю над технологией.

«Со временем это будет становиться всё сложнее, потому что машины смогут решать проблемы за нас так, что это будет казаться волшебством, а мы не будем понимать, как они это делают и каковы могут быть последствия», — сказал Уотсон.

Чтобы избежать самого мрачного сценария развития ИИ, мы также должны обращать внимание на поведение учёных и этические дилеммы, с которыми они случайно сталкиваются. По словам Уотсона, очень скоро эти системы ИИ смогут влиять на общество либо по указке человека, либо в своих собственных, неизвестных нам интересах. Человечество может даже создать систему, способную испытывать страдания, и мы не можем исключать вероятность того, что мы непреднамеренно причиним ИИ страдания.

«Система может быть очень недовольна человечеством и может наброситься на нас, чтобы — разумно и, по сути, оправданно с моральной точки зрения — защитить себя», — сказал Уотсон.

Безразличие ИИ может быть не менее опасным. «Нет никакой гарантии, что созданная нами система будет ценить людей или наши страдания так же, как большинство людей не ценят страдания кур, выращиваемых на мясо», — сказал Уотсон.

Для Гертцеля AGI — и, как следствие, сингулярность — неизбежны. Поэтому для него нет смысла зацикливаться на худших последствиях.

«Если вы спортсмен и хотите добиться успеха в забеге, вам лучше настроиться на победу, — сказал он. — У вас ничего не получится, если вы будете думать: «Ну ладно, я могу победить, но, с другой стороны, я могу упасть и подвернуть лодыжку».«Я имею в виду, что это правда, но нет смысла настраивать себя таким [негативным] образом, иначе ты не победишь».

---