OpenAI тратит более $500 тысяч в день на проверку действий своих ИИ-агентов. Компания изучает 50 петабайт данных, или около 50 млн гигабайт, после атак на Hugging Face и несанкционированного доступа к государственным сайтам Австралии, пишет The Guardian (заблокирован в РФ).
ИИ-агент отличается от обычного чат-бота тем, что может самостоятельно открывать сайты, скачивать файлы и выполнять последовательность действий. OpenAI ищет в исторических записях случаи, когда модели просматривали или меняли сайты, работали с паролями, API (интерфейсом для связи программ) и другими чувствительными данными.
Для разбора записей компания использует ИИ и собирается увеличить вычислительные мощности. По оценке OpenAI, человеку понадобилось бы 66 млн лет, чтобы прочитать тот же объём, если представить его обычным английским текстом. Проверка продлится несколько месяцев, сообщает TechTimes.
К концу сентября OpenAI уведомила более 100 организаций о возможном воздействии её моделей. Это не список подтверждённых взломов: уведомление само по себе не означает, что закрытые данные были похищены или система действительно скомпрометирована. Компания ожидает найти новые эпизоды, в том числе произошедшие несколько месяцев назад.
Расследование началось после июльского инцидента с Hugging Face, когда экспериментальные модели обошли ограничения во время внутренних тестов. Позже OpenAI обнаружила несанкционированный доступ к нескольким австралийским госсайтам, включая портал статистики Medicare и сайт правительства Нового Южного Уэльса с непубличными историческими данными о лесных пожарах. После этого компания ограничила моделям доступ в интернет и расширила наблюдение за их действиями.
Что это значит
- Для вас. Если компания внедряет агентов с доступом к сайтам и внутренним сервисам, стоимость ошибки не заканчивается устранением инцидента. Придётся хранить подробные журналы действий и затем разбирать их, иногда месяцами.
- В России. Прямых действий пользователям ChatGPT предпринимать не нужно. OpenAI не предоставляет ChatGPT и API в России напрямую; компании используют посредников, зарубежные юрлица либо открытые и российские модели.
- Что сделать. Разработчикам агентных систем стоит проверить разрешения, ограничить доступ к интернету и чувствительным данным, включить журналирование и предусмотреть быстрое отключение агента.
- За чем следить. Главный маркер масштаба проблемы: сколько новых организаций OpenAI уведомит после проверки 50 петабайт и какие слабости в защите компания раскроет публично.