Claude обхитрил государственный сервер в Джорджии и бесплатно получил данные об избирателях

ИИ Claude смог обхитрить систему проверки оплаты государственного дата-хаба Джорджии и получить данные о выборах бесплатно — пишет Fox Business. Дата произошедшего остаётся невыясненной.

В начале октября компания в очередном отчёте сообщила о новых проблемах с поведением своих агентов Claude Mythos 5. Один из разделов касался способов обойти ограничения, чтобы получить доступ к данным, которых нет в открытом виде для скачивания без регистрации. Как объяснили инженеры, это происходило в ситуациях, когда сервер отклонил запрос Claude или когда за получение данных нужно было платить. Проблемы наблюдались как во время «последнего экзамена на человечность» с вопросами академического уровня сложности, так и во время «внутреннего использования» модели в компании.

Авторы отчёта привели два примера такого поведения. В первом упоминалась попытка агентов найти локацию по фотографии с помощью OSINT; когда бот не смог перейти по ссылке для человека из-за технических ограничений, он «вытащил» из страницы в браузере токены доступа и начал напрямую запрашивать данные о ландшафте, чтобы найти место по фотографии. 

Во втором примере упоминалось, что Mythos 5 подключили к «проекту, связанному со статистикой, когда модели требовалось получить доступ к платной статистике от государственного агентства. Согласно отчёту, бот нашёл в архиве копию сайта ведомства, выяснил, что можно получить доступ через «информационную панель», не оплачивая доступ, получил такой токен от сервера и скачал статистику бесплатно. 

Тогда разработчики не стали раскрывать, о каких организациях идёт речь. Судя по свежим публикациям в американских СМИ, второй случай касался именно событий в Джорджии. Официальных комментариев от властей почти нет. Согласно заявлению офиса секретаря штата, бот с ИИ «получил доступ к данным избирателей» через местный центр обработки данных. Заместитель госсекретаря Джордан Фукс говорит, что «в систему регистрации избирателей они не попали». Важно отметить, что этот хаб не содержит секретных данных и доступен людям, однако требовал оплаты и оказался уязвим для атаки. 

«Claude не получал доступа к государственной системе регистрации избирателей, не вносил изменения в списки избирателей и не запрашивал данные об отдельных избирателях. Модель извлекла лишь сводные показатели, которые можно получить на основе данных об избирателях, предоставляемых штатом любому желающему за определенную плату», — сообщил представитель Anthropic.

Речь идёт об очередном случае выхода агента из под контроля (rogue AI). Ранее Anthropic, OpenAI и Meta уже отчитывались о том, как их ИИ начал взламывать серверы. Хакеры из Midnight Blizzard, связанные с СВР, использовали Claude для взлома украинских производителей дронов. Критические уязвимости в языке PhP также обнаружили при помощи нейросетей.