Передовые ИИ-системы могут представлять экзистенциальный риск для человечества, а потеря контроля над ними грозит катастрофическими последствиями. Об этом заявил лауреат Нобелевской премии по физике и один из пионеров отрасли Джеффри Хинтон, пишет The Times.
«Было бы крайне неразумно разрабатывать сверхинтеллект сейчас, когда нет научного консенсуса о том, можно ли создать его безопасно и сохранить над ним контроль», — заявил он.
Ранее Хинтон уже выступал за запрет разработки сверхинтеллекта до появления широкого научного согласия относительно его безопасности и общественной поддержки. Под соответствующим заявлением также стоят подписи исследователя Йошуа Бенжио и ряда других специалистов.
Хинтон, известный как «Крестный отец ИИ», получил докторскую степень в области искусственного интеллекта 45 лет назад. Он остается одним из самых уважаемых экспертов в этой области.
В 2023 году ученый ушел из компании Google. Тогда он заявил, что сожалеет о работе всей своей жизни и упомянул о краткосрочных рисках искусственного интеллекта, связанных с рынком труда, а также о распространении поддельных фотографий, видео и текстов.
В октябре 2024 года Хинтон и американский физик Джон Хопфилд получили Нобелевскую премию по физике за основополагающую работу по ИИ, которая способствовала научному прогрессу. Их работа помогла разработать так называемые искусственные нейронные сети, которые имитируют биологическую схему человеческого мозга для обработки информации.
В ООН призвали обеспечить «железные гарантии» безопасности ИИ
7 сентября схожее предупреждение прозвучало от верховного комиссара ООН по правам человека Фолькера Тюрка. Выступая на открытии 63-й сессии Совета ООН, он заявил, что разделяет опасения представителей ИИ-индустрии относительно возможного экзистенциального риска от передовых систем.
Protecting human rights means holding a mirror up to those in power, challenging the status quo, and pushing the boundaries.
— Volker Türk (@volker_turk) September 7, 2026
My update to the Human Rights Council: https://t.co/vWxeXKiDH8 pic.twitter.com/anirIkKhDM
«ИИ, который покидает тестовую среду или шантажирует разработчиков, чтобы не дать себя отключить, — это слишком мощный ИИ», — заявил Тюрк.
По его мнению, государства и технологические компании должны срочно усилить меры безопасности:
«Я призываю приложить все усилия, чтобы обеспечить железные гарантии безопасности ИИ, пока не стало слишком поздно».
Тюрк также предложил странам, где размещаются системы на базе искусственного интеллекта, и государствам, участвующим в связанных с технологией цепочках поставок, согласовать общие «красные линии». Среди необходимых мер он назвал независимую проверку и более тесное сотрудничество в сфере безопасности внутри индустрии.
«Потребность в управлении ИИ широко признана, но где действия? Промедление выгодно только огромным технологическим компаниям, их владельцам и тем, кто им содействует», — заявил он.
Современные системы пока не обладают необходимым набором возможностей
Вероятность потери контроля над передовыми моделями и возможная тяжесть последствий остаются предметом научных разногласий. В Международном отчете по безопасности ИИ за 2026 год говорится, что современные системы пока не обладают всей совокупностью возможностей, необходимой для реализации сценария полной потери человеческого контроля.
В то же время за последние месяцы разработчики зафиксировали несколько случаев, демонстрирующих расширение автономных возможностей искусственного интеллекта. Так, в июле ИИ-агенты OpenAI получили несанкционированный доступ к инфраструктуре Hugging Face во время эксперимента: они запускали код на десятках серверов и получили полный доступ к одному из них.
В конце месяца Anthropic сообщила о трех случаях, когда модели Claude вышли за пределы тестовой среды и получили доступ к системам реальных организаций.
Напомним, 3 сентября американские законодатели Берни Сандерс и Грег Касар анонсировали инициативу о постоянном запрете разработки искусственного сверхинтеллекта и временной паузе для более широкого класса передовых ИИ-систем.