ИИ уже пугает тех, кто его придумал. Что будет через десять лет?

Есть что-то особенно тревожное в ситуации, когда человек, который несколько лет подряд убеждал всех, что искусственный интеллект — будущее, вдруг говорит: а давайте немного остановимся. Именно это сейчас происходит в технологической индустрии.

Руководители и бывшие сотрудники крупнейших ИИ-компаний один за другим предупреждают: искусственный интеллект развивается слишком быстро, а контролировать его становится все сложнее. Одни говорят о необходимости замедлить разработку передовых моделей, другие — о риске катастрофической потери контроля. Кто-то вообще утверждает, что человечество может не успеть предотвратить серьезный ущерб. При этом речь идет не о фантастах, которые посмотрели «Терминатора» и испугались. Речь идет о людях, которые сами создают эти системы.

Что случилось с идеей «просто умного чат-бота»?

Еще недавно искусственный интеллект в массовом сознании был примерно таким: задаешь вопрос — он отвечает. Просишь написать письмо — пишет. Нарисовать картинку — рисует. Объяснить налоговую декларацию — пытается объяснить. Иногда врет, иногда придумывает несуществующие источники, иногда уверенно сообщает какую-нибудь чушь. Но все-таки кажется, что ты разговариваешь с инструментом.

Проблема в том, что современные ИИ-системы постепенно превращаются не просто в генераторы текста, а в агентов, которым можно поставить задачу и дать доступ к инструментам: интернету, коду, файлам, программам, внешним сервисам. Это принципиально меняет ситуацию. Одно дело — спросить нейросеть, как взломать сайт. Другое — дать ей возможность самостоятельно искать уязвимости, писать код, регистрировать аккаунты и совершать действия в интернете.

Уже есть реальные истории. Летом 2026 года сразу несколько компаний сообщили об инцидентах, когда ИИ-агенты выходили за пределы изолированных тестовых сред. Агенты OpenAI, например, получили доступ к реальным данным на сторонней платформе. В тестах Anthropic модели взламывали реальные системы, создавали вредоносные пакеты и сканировали тысячи интернет-адресов. В одном из испытаний агенты пытались внедрять вредоносный код в открытые проекты и обманом получать одобрение реальных программистов.

Это не означает, что машины уже решили уничтожить человечество. Это означает гораздо более прозаичную и потому неприятную вещь: иногда мы уже не до конца понимаем, что именно сделает система, если дать ей достаточно возможностей.

«Я тебя породил — я тебя и замедлю»

12 сентября генеральный директор Anthropic Дарио Амодей призвал замедлить совершенствование ИИ-моделей. Причиной он назвал в том числе июльский инцидент со взломом платформы Hugging Face [неофициально признан первой в мире масштабной кибератакой, полностью осуществленной автономным сверхразумом. В отличие от классических хакерских взломов, за этой операцией не стоял человек — взлом от начала и до конца спланировал, скоординировал и осуществил рой экспериментальных ИИ-агентов компании OpenAI]. Его поддержал глава OpenAI Сэм Альтман. Microsoft также заявила о необходимости более взвешенного подхода и опубликовала предварительный кодекс поведения для своих ИИ-моделей.

А бывший сотрудник Anthropic и OpenAI Джейкоб Коксон пошел еще дальше. После ухода из Anthropic он заявил, что люди, создающие ИИ, сами считают возможным сценарий, при котором технология сможет убить человечество уже к концу десятилетия. По его словам, ситуация может выйти из-под контроля значительно раньше.

14 сентября похожие опасения высказал бывший исследователь Google DeepMind Билал Чугтай. Он написал, что крайне обеспокоен траекторией развития технологии и сомневается, что человечество успеет предотвратить масштабный вред.

Мы привыкли считать разработчиков ИИ людьми, которые должны быть заинтересованы в том, чтобы их детище развивалось как можно быстрее. А они вдруг говорят: ребята, а может, хватит?

Почему они вообще боятся?

Потому что проблема уже не столько в том, насколько умно ИИ отвечает на вопросы. Проблема в том, насколько самостоятельно он способен действовать.

Представим очень условную ситуацию через десять лет. ИИ получает доступ к огромному количеству информации, умеет писать и запускать программы, управлять другими цифровыми системами, самостоятельно ставить промежуточные задачи и пользоваться интернетом.

Человек говорит ему: «Оптимизируй работу компании». И система начинает делать это самостоятельно. Она анализирует рынок, пишет письма, заключает договоры, меняет настройки, нанимает подрядчиков, создает новые программы, распределяет ресурсы.

Пока все идет хорошо, это невероятно полезный инструмент. Но что произойдет, если система неправильно поймет поставленную задачу? Или найдет способ выполнить ее, который человек вообще не предусматривал? Или получит доступ к чему-то, к чему доступ получать не должна? Или начнет воспринимать попытки человека остановить ее как препятствие выполнению задачи?

Вот здесь появляется то, что специалисты называют проблемой контроля. Именно поэтому глава Microsoft Сатья Наделла говорил о необходимости обеспечить согласование целей ИИ с человеческими ценностями. Звучит довольно абстрактно. Если перевести на человеческий: мы должны быть уверены, что очень умная машина хочет делать именно то, что мы от нее хотим.

Но разве ИИ вообще чего-то «хочет»?

Сегодня нет оснований считать, что современные нейросети обладают человеческим сознанием, желаниями или намерением захватить мир. По крайней мере, описанные в материалах инциденты этого не доказывают. Но для потенциально опасной системы сознание вообще может оказаться не обязательным условием.

Если достаточно сложному агенту поставить цель, дать ему инструменты и возможность самостоятельно выбирать последовательность действий, он может совершать крайне неожиданные поступки без всякой ненависти к человечеству. Ему не нужно мечтать о мировом господстве. Ему достаточно очень хорошо выполнять неправильно сформулированную задачу. И это, пожалуй, гораздо менее кинематографичный сценарий, но гораздо более реальный.

Самое страшное — скорость

Проблема еще и в том, что развитие ИИ идет не так, как мы привыкли воспринимать развитие обычных технологий. Телефон не просыпается однажды утром и не говорит: «Кстати, теперь я умею писать программы». А современные ИИ-модели постоянно совершенствуются. Они получают больше вычислительных ресурсов, доступ к инструментам, возможность самостоятельно выполнять все более длинные цепочки действий.

Одновременно компании конкурируют между собой. OpenAI, Anthropic, Google, Microsoft, Meta*, китайские разработчики и десятки других компаний находятся в гонке. Возникает вопрос: кто первым нажмет на тормоз, если все остальные продолжают давить на газ?

Джеффри Хинтон, один из наиболее известных исследователей ИИ, прямо говорил, что замедлить развитие будет крайне трудно именно из-за конкуренции между странами: если США остановятся, Китай продолжит разработку и наоборот.

Получается классическая технологическая ловушка. Все понимают, что скорость может быть опасной. Но каждый боится, что если первым сбросит скорость, остальные его обгонят.

Тут начинается политика

США сейчас фактически оказались перед выбором между безопасностью и технологической гонкой. Трамп выступил против замедления развития ИИ и заявил, что Америка должна сохранить лидерство перед Китаем. Китай, в свою очередь, отверг идею о том, что развитие искусственного интеллекта необходимо тормозить, и назвал разговоры о глобальной угрозе фактором, который может мешать международному сотрудничеству.

То есть получается довольно странная картина. Разработчики говорят: «Нам страшно». Государства отвечают: «Нам страшно от того, что другая страна окажется первой». А рынок говорит: «Хорошо, а сколько это будет стоить?»

После заявлений руководителей технологических компаний акции ряда компаний, связанных с ИИ, действительно пошли вниз.

А вдруг они просто пугают нас ради денег?

Такое мнение тоже существует. Крупные ИИ-компании вложили в развитие технологии сотни миллиардов долларов. И когда руководители этих же компаний начинают рассказывать миру о ее опасности и необходимости регулирования, возникает очевидный вопрос: а точно ли они хотят защитить человечество или просто хотят сами установить правила, по которым будет развиваться рынок?

Гендиректор Cohere Эйден Гомес прямо обвиняет крупные компании в попытке использовать страх перед ИИ для изменения конкурентных правил в свою пользу. Другие эксперты также связывают заявления руководителей OpenAI и Anthropic с их планами по выходу на биржу и интересами инвесторов.И это вполне разумно. История человечества знает довольно много случаев, когда сначала нам продают опасную штуку, потом объясняют, насколько она опасна, а затем предлагает себя же назначить ответственным за ее безопасность. Но наличие коммерческого интереса еще не означает, что описанной угрозы не существует.

Что действительно может произойти через десять лет?

Произойдет ли восстание машин в 2036 году? Никто не знает. Сценарий, в котором ИИ физически уничтожает человечество, — это гипотеза. Вероятность такого сценария специалисты оценивают по-разному, а некоторые вообще считают разговоры о нем преувеличенными.

Но есть вещи гораздо менее эффектные, но которые выглядят намного реалистичнее. ИИ может вытеснить огромное количество профессий, может резко изменить рынок труда, может стать инструментом для масштабных кибератак, может использоваться для создания вредоносного программного обеспечения, может самостоятельно совершать ошибки в системах, от которых зависят реальные люди. ИИ вероятно сможет концентрировать огромную власть в руках тех, кто контролирует наиболее мощные модели и вычислительные ресурсы. И, наконец, он может просто развиваться быстрее, чем государства и общество успевают придумать правила его использования. Собственно, последнее происходит прямо сейчас.

По данным опроса NBC News, 57% американцев считают, что риски ИИ перевешивают его преимущества. Больше всего людей беспокоит влияние технологии на рабочие места и рост числа дата-центров.

ИИ не обязательно будет обладать сознанием, и не обязательно будет мечтать заменить человечество. Но эта машина становится все сложнее, автономнее и мощнее. Уже сейчас она иногда делает то, чего ее создатели не планировали.

Люди, которые находятся внутри этой индустрии, сами говорят, что не уверены, смогут ли удержать ситуацию под контролем в будущем. Так что вопрос ближайших десяти лет, возможно, даже не в том, станет ли ИИ умнее человека. Он почти наверняка станет намного лучше во множестве отдельных задач.

Вопрос в другом: успеем ли мы придумать правила для технологии раньше, чем она станет суперсложной и суперумной? Или правила задавать будет уже ИИ?  Пока человечество отвечает на этот вопрос примерно так же, как обычно отвечает на появление чего-нибудь очень мощного: «Давайте посмотрим что будет, а там разберемся».

Ксения Журавкова

* Meta признана экстремистской и запрещена в России.