- Джейкоб Коксон покинул Anthropic после трех лет работы над предварительным обучением моделей.
- Ранее он занимал должность также в OpenAI.
- Исследователь обвинил обе компании в безответственной гонке к самосовершенствующемуся сверхинтеллекту.
Исследователь Джейкоб Коксон объявил об уходе из Anthropic. По его словам, последние три года он занимался предварительным обучением моделей в OpenAI и Anthropic, однако пришел к выводу, что ни одна из компаний не действует достаточно ответственно в условиях гонки к созданию самосовершенствующегося сверхинтеллекта.
«Они мчатся прямо к самосовершенствующемуся сверхинтеллекту и играют нашими жизнями», — заявил Коксон.
Исследователь призвал не недооценивать возможности будущих систем. По его мнению, они могут превзойти человека в ряде областей, получить возможность взламывать компьютерные системы, резко ускорять научные исследования и приобретать значительное влияние в реальном мире.
Коксон также утверждает, что специалисты, непосредственно работающие над передовыми моделями, серьезно рассматривают сценарии катастрофических последствий дальнейшего развития технологии.
«Люди, создающие ИИ, искренне верят, что он может убить нас всех до конца десятилетия», — отметил исследователь.
При этом Коксон считает, что публичная риторика руководителей и ведущих специалистов зачастую звучит значительно осторожнее их оценок в частных разговорах.
Сектор нуждается в добровольных ограничениях
Ситуацию в OpenAI и Anthropic исследователь охарактеризовал по-разному. По его мнению, многие сотрудники OpenAI пока не в полной мере осознали потенциальные последствия развития сверхинтеллекта. В Anthropic, напротив, масштаб рисков понимают, однако компания остается вовлеченной в гонку, поскольку опасается, что конкуренты продолжат разработку в любом случае.
Коксон назвал такой подход чрезмерно рискованным. Он считает, что решение о запуске систем, способных самостоятельно ускорять исследования и собственное развитие, не должно оставаться исключительно в руках частных компаний.
В то же время исследователь допустил возможность координации между ведущими американскими ИИ-лабораториями. Среди потенциальных мер он упомянул добровольное ограничение темпов разработки и, при необходимости, временный отказ от дальнейшего наращивания возможностей моделей.
В завершение Коксон призвал сотрудников ИИ-компаний задуматься, готовы ли они участвовать в обучении сверхинтеллектуальных систем без достаточного понимания принципов их работы и связанных с ними рисков.
На необходимость сдерживать темпы развития ИИ при недостаточных гарантиях безопасности ранее указал и главный научный сотрудник OpenAI Якуб Пахоцкий.
В опубликованном 6 сентября эссе он заявил, что ни одна лаборатория пока не решила проблемы выравнивания и мониторинга настолько, чтобы еще долго ответственно масштабировать системы с максимальной скоростью.
Сообщение Исследователь Джейкоб Коксон ушел из Anthropic и раскритиковал гонку в сфере ИИ появились сначала на INCRYPTED.