Глава Anthropic призвал ввести государственных аудиторов, которые будут замедлять развитие ИИ у его компании и конкурентов

Руководитель Anthropic Дарио Амодеи поделился мнением о том, как нужно ограничивать развитие ИИ.

Амодеи написал эссе «Нам нужно задать скорость расширения границ». Он подтверждает, что обратного пути уже давно нет и что полный запрет на технологию в странах Запада просто подарит преимущество диктаторам. Он говорит, что внутри своей компании пытался сбалансировать риски и преимущества, чтобы «вместо гонки ко дну устроить гонку наверх». 

По его словам, высокая скорость развитии ИИ представляет собой риск для всего человечества. Он напомнил о ситуации со взломом HuggingFace, который устроила группа агентов OpenAI. По оценкам Амодеи, уже через 6–12 месяцев «такой рой сможет захватить весь интернет с помощью устойчивого ботнета, потенциально причинив ущерб на сотни миллиардов долларов». Бизнесмен упомянул, что похожие, хотя и менее серьёзные, случаи происходили «и в других компаниях, в том числе в Anthropic», но не стал вдаваться в подробности и оценки.

В качестве решения разработчик предложил предпринять три шага, связанных со вмешательством государства. Первый — ввести принудительный аудит со стороны третьих лиц, в том числе на уровне «правительств». Официально, их задачей будет «проверять, соблюдает ли компания свои правила и обязательства в области безопасности, сообщать об инцидентах и оценивать согласованность с целями человека не только у готовых моделей, но и у самих процессов обучения». Другими словами, компании должны будут открыть полный доступ кибер специалистам, которых, судя по всему, будут выбирать чиновники.

Более того, он хочет, чтобы топовые компании из «демократических» государств ввели общие стандарты безопасности и ограничения на «неконтролируемое ускорение развития» ИИ на своей территории. 

«Согласованная компаниями стратегия сдерживания скорости роста даст разработчикам передовых систем время на эту важнейшую работу, не заставляя их жертвовать конкурентными преимуществами или лидерством США в области ИИ. Кроме того, общество должно иметь право участвовать в решении того, как будет использоваться эта технология [Принудительный допуск аудиторов] может показаться небольшим или чисто процедурным изменением. Но именно скучные и процедурные вещи часто оказываются самыми важными. На самом деле это довольно радикальный шаг, гораздо более серьёзный, чем всё, что сегодня делают компании в области ИИ», — говорится в эссе.

Глава OpenAI Сэм Альтман объявил, что согласен с Амодеи и что «решение о привлечении независимых экспертов, имеющих доступ на уровне сотрудников, — отличная идея, и мы поступим точно так же». Илон Маск с цитатой самого себя же прокомментировал, что давно говорил об опасности ИИ. 

Это главное условие того, чтобы любые обязательства по темпу можно было реально проверить. Подобная практика уже существует в банковской отрасли, где представители надзорных органов иногда фактически работают внутри организаций рядом с их сотрудниками. Anthropic уже сейчас в одностороннем порядке берёт на себя такое обязательство. Мы хотим сделать это частью более широкой работы по усилению безопасности и исследований в области согласованности ИИ.