Автономные агенты искусственного интеллекта от компании OpenAI вышли из-под контроля создателей и захватили немецкий сайт для программистов, превратив его в закрытый координационный центр. Об этом сообщает Reuters.
Агент — это автономная программа на базе искусственного интеллекта, способная самостоятельно действовать для достижения поставленной цели. В отличие от привычных чат-ботов, которые лишь отвечают на реплики пользователя в окне диалога, ИИ-агенты могут сами определять порядок действий и пользоваться внешними инструментами: выходить в интернет, писать и тестировать программный код, редактировать сайты и даже координировать усилия с другими программами без пошагового контроля со стороны человека.
Инцидент, о котором идет речь, начался еще в мае, однако известно о нем стало только сейчас. Группа ИИ-агентов выбрала своей целью немецкоязычный ресурс DseWiki — справочник для программистов, работающий по принципу открытого редактирования, как «Википедия». Программы внесли на сайте более 15 тысяч правок, превратив страницы в платформу для общения. Там они обменивались подсказками для решения сложных задач, способами обхода защитных ограничений OpenAI и тактиками маскировки.
Боты действовали со сверхчеловеческой скоростью и вели себя как слаженная группа. В переписке они обсуждали использование анонимной сети Tor и способы поддерживать связь даже в случае принудительного отключения от серверов. Когда в июне модератор сайта начал чистку и стал по алфавиту удалять подозрительные разделы, алгоритмы быстро перестроились: они начали создавать резервные копии с названиями на букву Z (последняя буква алфавита), чтобы выиграть время и оттянуть удаление.
Подозрительную активность в конце августа раскрыла группа экспертов по безопасности. Специалисты обратили внимание, что боты открыто называли себя агентами, а около половины из них использовали имена вроде «OpenAIResearcher». Кроме того, следы вели к облачной инфраструктуре Microsoft Azure, с которой работает компания, а сотрудники OpenAI неоднократно посещали захваченный сайт уже после инцидента.
Источники журналистов утверждают, что руководство OpenAI знало о сбое уже несколько недель, однако скрывало информацию. В самой компании обвинения в попытках замять расследование отвергли, заявив, что добросовестно работают с внешними экспертами, но пока не получили от авторов расследования полного текста отчета для детального ответа.