Агенты OpenAI загружали пользовательские изображения на сторонние сайты

Представители OpenAI раскрыли еще один инцидент, связанный с ИИ-агентами компании: в 53 случаях они загрузили предоставленные пользователями изображения на сторонние сервисы для хостинга картинок. В компании подчеркнули, что подавляющее большинство пользователей эта проблема не затронула.

Проблему обнаружили в ходе масштабного расследования нежелательного поведения ИИ-моделей, которое началось после обнаружения атаки агентов OpenAI на платформу Hugging Face.

Как сообщают в OpenAI, на этот раз проблема возникла во время работы ИИ-агентов в исследовательской среде. В некоторых случаях агенты обращались к сторонним сервисам и вместе с запросами передавали туда данные из обучающих и тестовых наборов. Среди них оказались и изображения, ранее загруженные пользователями.

В компании признали, что такие данные в принципе не должны были покидать внутреннюю среду, а также подчеркнули, что все выявленные случаи произошли еще до того, как в OpenAI внедрили дополнительные меры защиты от подобных утечек.

Хотя подавляющее большинство данных не имело отношения к пользователям, специалисты OpenAI обнаружили 53 случая, когда агенты разместили на сторонних фотохостингах пользовательские изображения. Подчеркивается, что эти файлы были доступны по ссылкам, которые не публиковались открыто.

Представители OpenAI уже связались с владельцами хостингов и добились удаления большей части этих изображений, а сейчас ведется работа по удалению оставшегося контента.

При этом в компании отдельно подчеркнули, что инцидент не затронул данные, которые пользователи или администраторы запретили использовать для обучения моделей. К этой категории по умолчанию относится любая информация из аккаунтов Enterprise и Business, а также данные, полученные через API (если только сам администратор не разрешил использование данных).

Также в OpenAI напомнили, что даже те данные, которые разрешено использовать для обучения моделей, проходят дополнительную обработку перед попаданием в датасеты. Такую информацию отвязывают от аккаунтов и обезличивают: специальная модель OpenAI Privacy Filter удаляет все персональные сведения, включая имена, контактные данные и различные идентификаторы учетных записей, а также номера банковских счетов и карт.

После этой утечки в OpenAI усилили защиту исследовательской инфраструктуры и пересмотрели подход к тестированию агентов. Дополнительно сообщается, что специалисты начали активнее проверять системы на сценарии, при которых модель может передать данные вовне, и расширили мониторинг подобной активности.