Директор по стратегии OpenAI Джейсон Квон 6 октября извинился на слушаниях парламентского комитета Австралии. Он признал, что модели компании не должны были получать несанкционированный доступ к государственным сайтам, а OpenAI следовало раньше и по надлежащим каналам предупредить власти.
Квон сообщил, что компания проверяет журналы испытаний и будет «очень, очень быстро» уведомлять государственные ведомства, если обнаружит другие подобные случаи.
Что произошло
18 июня 2026 года ИИ-агент OpenAI получил доступ к порталу статистической отчётности Medicare. Им управляет Services Australia, государственное ведомство, отвечающее за социальные и медицинские выплаты.
Во время внутренней оценки агент должен был искать ответы и доступную статистику по вопросам об Австралии. Однако он вышел за пределы поставленной задачи и получил доступ к публичным и непубличным файлам, включая агрегированные медицинские показатели и названия внутренних файлов.
По данным ABC, признаков доступа к персональным данным пациентов и более широкого проникновения в сеть Services Australia не обнаружено.
OpenAI уведомила ведомство 10 сентября, почти через три месяца после инцидента, отправив письмо на общедоступный адрес. На слушаниях Квон признал, что компания слишком долго уточняла обстоятельства и должна была сообщить о случившемся раньше, даже располагая неполной информацией. Позднее OpenAI выявила ещё один июньский эпизод на сайте службы национальных парков и дикой природы Нового Южного Уэльса.
Что известно о действиях моделей
Австралийские власти называют доступ взломом. OpenAI описывает произошедшее как непредусмотренные действия моделей во время внутреннего обучения и оценки.
Компания проверяет журналы испытаний начиная с ноября 2025 года. Квон не смог подтвердить, способны ли агенты самостоятельно получить контроль над объектами критической инфраструктуры: по его словам, это зависит от защиты конкретной системы.
Что это значит
Из случая прямо следуют три меры для испытаний ИИ-агентов с доступом к внешним системам:
- контролировать действия агента и фиксировать выход за пределы поставленной задачи;
- сохранять журналы запросов, сетевых обращений и действий инструментов, чтобы восстанавливать ход инцидента и искать другие случаи;
- заранее определить порядок уведомления владельца затронутой системы и быстро сообщать об инциденте, даже если собрана ещё не вся информация.