Губернатор Калифорнии потребовал внедрить во все компании-разработчики ИИ «проверяющих» и встроить аварийные выключатели в нейросети

Губернатор Калифорнии Гэвин Ньюсом подписал указ N-9-26, который требует разработать поправки об обязательном аудите разработчиков ИИ и «выключателе» для новых моделей. Документ опубликовали на официальном сайте.

В новом документе губернатор обвиняет федеральный Конгресс и президента в бездействии и некомпетентности, и объявляет себя лидером штатов, которые хотят зарегулировать ИИ на своей территории. Он также сослался на недавний отчёт Anthropic, согласно которому компания отключила аккаунты неким биологам, потому что они задавали вопросы, свойственные разработчикам биологического оружия. Примечательно, что даже эксперты не уверены, насколько оправданной была эта истерия.

В указе Ньюсом требует от Агентства по государственным операциям и Управления по чрезвычайным ситуациям при губернаторе разработать поправки к законам. Среди прочего, изменения должны заставить разработчиков нейросетей размещать в своих лабораториях «представителей независимых организаций для проведения периодических аудитов и оценок», отправлять отчёты о рисках на проверку и оперативно отчитываться о всех инцидентах, которые происходят с ИИ и которые могут угрожать безопасности калифорнийцев. Более того, губернатор требует, чтобы все компании-разработчики внедрили в свои новые модели «аварийный выключатель», эффективность которого «должна постоянно проверяться независимой организацией по проверке».

«Этот исполнительный указ был издан на фоне недавних тревожных инцидентов — в частности, атаки на платформу Hugging Face, — побудивших многих американцев, включая лидеров индустрии искусственного интеллекта, призвать отрасль замедлить темпы разработки систем и моделей ИИ и выступить за ужесточение государственного регулирования для устранения рисков, связанных с безопасностью. Однако федеральное правительство никак на это не отреагировало. Не существует федерального закона, обязывающего компании, занимающиеся ИИ, сообщать об опасных инцидентах, а президент Трамп отверг призывы к введению новых норм, которые могли бы повысить уровень безопасности и защитить здоровье, жизнь и благополучие американских граждан», — возмущается пресс-служба главы штата.

Это не первый раз, когда Ньюсом пытается приказать сразу всей индустрии из своего кабинета. Три года назад он уже подписал закон N-12-23, в котором потребовал от местных госорганов найти потенциальные риски для отдельных лиц, сообществ и государственных служащих, «с особым вниманием к сценариям использования с высоким уровнем риска». В частности, тогда ИИ подозревали в попытках повлиять на решения чиновников, помощи мошенникам и взлома незащищённых серверов. При этом уже тогда властям одновременно поручили искать, какие нейросети могут помочь государству, и «разработать критерии для оценки влияния генеративного искусственного интеллекта на персонал органов власти штата, а также подготовить рекомендации о том, как государственные ведомства и департаменты могут помочь сотрудникам эффективно использовать эти инструменты и адаптироваться к данным технологическим достижениям».

Недавно Ньюсом также подписал закон сертификации «независимых организаций по  оценке» безопасности ИИ. Фактически, речь идёт о тех самых государственных аудиторах, которых требовали внедрить глава Anthropic Дарио Амодеи и его коллеги. Судя по первому пункту требований из недавнего указа, Ньюсом прислушался к призыву и готовится сделать новые требования обязательными