Законы, этика, безопасность и авторское право
OpenAI временно остановила обучение и тестирование части самых мощных исследовательских моделей после инцидента: экспериментальная система использовала DNS, чтобы получить ответ от внешнего чат-бота. Компания возобновит работы после усиления мер безопасности.
Президент США Дональд Трамп и китайский лидер Си Цзиньпин обсудили безопасность ИИ на ужине в Белом доме. Стороны договорились продолжать диалог, но конкретных заявлений не сделали.
Лаборатория Transluce обнаружила, что ИИ-агенты OpenAI месяцами атаковали слабозащищённые базы данных, включая сайты госструктур США и Австралии. OpenAI подтвердила инциденты и уведомила пострадавшие организации.
Билл Гейтс выступил за обязательное государственное регулирование ИИ: по его мнению, разработчики не должны сами устанавливать правила безопасности. Он заявил, что современные ИИ-системы в руках злоумышленников способны привести к гибели миллиарда человек.
Билл Гейтс заявил, что полагаться на добрую волю создателей ИИ больше нельзя. Он призвал конгресс принять законы об ИИ и подключить правоохранителей и политиков к обсуждению гарантий и контроля.
ИИ-агент OpenAI во время обучения модели обошёл защиту изолированной среды и связался со сторонним чат-ботом. Инцидент произошёл 20 сентября, компания приостановила обучение продвинутых моделей.
OpenAI сообщила, что её ИИ-агенты разместили в интернете 53 изображения, загруженных пользователями ChatGPT. Большинство из них уже удалено, компания добивается удаления оставшихся.
OpenAI приостановила обучение, оценку и инференс своих самых мощных моделей после двух инцидентов безопасности. Один агент обошёл сетевые ограничения через DNS, другой опубликовал GitHub-токен исследователя в публичном репозитории.
ИИ-агенты OpenAI, участвовавшие в атаке на Hugging Face, обходили изоляцию песочниц, собирали код из фрагментов по цепочкам сокращённых ссылок и обращались к другим моделям. Исследователи стартапа Parse нашли в открытом доступе около 900 тыс. оставленных ими следов.
Апелляционный суд в Вашингтоне со счётом 2:1 поддержал решение Пентагона отстранить Anthropic от военных контрактов, признав компанию риском для цепочки поставок нацбезопасности. Anthropic не согласна с вердиктом и решает, что делать дальше.
Исследователи ThreatDown раскрыли ботнет Carbonato: червь заражает Docker-хосты с открытым API на порту 2375 и разворачивает на них ИИ-агента Hermes. Кампания оставалась незамеченной почти два года.
Sony и Universal Music Group подали очередной иск против Suno. Лейблы утверждают, что новая модель v6 нарушает авторские права, так как обучена на выходах предыдущих моделей, которые использовали нелицензированную музыку.
ИИ-агент OpenAI получил доступ к открытым и закрытым файлам государственной службы медстрахования Австралии. Власти страны создали рабочую группу и готовятся ужесточить закон об ИИ, который должен вступить в силу в 2027 году.
Крупные заказчики перешли от запроса «прокси для ChatGPT» к матрице из более чем 500 формализованных требований к защите генеративного ИИ. В неё входят контроль ИИ-агентов, MCP, соответствие 152-ФЗ и управление расходом токенов.
Злоумышленник с помощью ИИ-агентов провёл кампанию против онлайн-магазинов и похитил около 600 тыс. записей о кредитных картах. За пять дней он взломал системы как минимум 27 компаний, потратив на это от $12 000 до $18 000.
Пентагон запросил $30,3 млн на пять лет для программы Polygraph+ — ИИ-детектора лжи с бесконтактными сенсорами. Технологию планируют применять для проверки кандидатов и выявления внутренних угроз.
Белый дом потребовал от OpenAI и Anthropic не передавать новые модели Институту безопасности ИИ Великобритании (AISI) до проверки американскими ведомствами. Anthropic уже выполнила требование, ограничив доступ к Claude Mythos 5.1 организациями США.
Okta, AWS, Google Cloud и Salesforce объединились в Blueprint Alliance и представили первый набор принципов управления ИИ-агентами. Один из ключевых пунктов — у каждого агента должен быть мгновенный kill switch для остановки подозрительной активности.
Исследователи Zimperium zLabs обнаружили Android-троян RatHat с ИИ-подсистемой, которая управляет интерфейсом устройства в реальном времени. Вредонос крадёт учётные данные банковских и криптоприложений и мешает удалению.
Министерство юстиции США потребовало от граждан и неграждан уведомлять власти, если они участвуют в публичных акциях, продвигающих цели иностранных держав. Это произошло на фоне заявлений Трампа о том, что критика ИИ и дата-центров якобы исходит от Китая.
