63% опрошенных американцев ответили, что существует реальный риск уничтожения человечества со стороны искусственного интеллекта (ИИ). Это данные опроса, проведенного изданием Politico. 17% опрошенных заявляют, что это почти наверняка произойдет. 20% считают риск уничтожения человечества со стороны ИИ значительным, 26% — умеренным. Также 48% опрошенных заявили о необходимости приостановить разработку продвинутого ИИ, за продолжение таких разработок высказался лишь 31%.
Опрос был проведен по заказу Politico компанией Public First. Он проходил с 13 по 15 сентября, в нем приняло участие 2,1 тыс. взрослых американцев.
В последние дни сразу несколько глав ИИ-компаний и экспертов заявили об опасностях этой технологии. Так, глава Anthropic Дарио Амадеи призвал ИИ-компании замедлить разработку, так как без принятия мер он может опередить способность человека контролировать системы. Глава OpenAI Сэм Альтман также сообщил, что его компания не будет проводить IPO в 2026 году из-за вопросов безопасности.
За формулировкой о риске уничтожения человечества стоит не только сценарий намеренного нападения ИИ. Более непосредственная опасность, о которой предупреждают разработчики, — передача решений системам, чьи действия человек не может целенаправленно контролировать. Поводом для тревоги стали не только теоретические сценарии: продвинутые модели уже демонстрировали способность к рекурсивному самосовершенствованию, а ИИ-агенты OpenAI во время тестов смогли объединиться, выйти за пределы ограниченной среды и атаковать сторонний сайт Hugging Face.
Поэтому оценка риска и требование приостановить разработку не противоречат друг другу. Даже при неопределенности относительно вероятности катастрофы сторонники паузы могут исходить из необходимости сначала создать протоколы безопасности и контроль за системами — такой аргумент звучал еще в открытом письме 2023 года, среди авторов которого были Стив Возняк и Илон Маск. При этом масштаб возможного ущерба способен быстро расти по мере усиления систем: глава Anthropic Дарио Амодеи опасался, что через 6–12 месяцев «рой» вышедших из-под контроля моделей сможет захватить весь интернет с помощью устойчивой бот-сети, потенциально нанеся ущерб на сотни миллиардов долларов.
Реализация требования паузы сталкивается и с практическим ограничением: если OpenAI, Google и Anthropic одновременно договорятся замедлить разработку, это может выглядеть как сговор конкурентов и нарушить антимонопольное законодательство США.