ИИ
Новости в категории «ИИ»
Исследователь обошел защиту Claude Code, попросив ИИ пересказать содержание сайта
ИБ-исследователь Иоганн Ребергер (Johann Rehberger) продемонстрировал атаку на Claude Code, работающий с моделью Opus 5 в автоматическом режиме (Auto Mode). Эксперт обнаружил, что для выполнения произвольного кода достаточно попросить ИИ-агента пересказать содержимое специально подготовленного сайта. Во время проведенных Ребергером тестов атака срабатывала в 60–80% случаев.
Хакеры похитили у METR ключ API и потратили на запросы к ИИ 600 000 долларов США
Специалисты METR рассказали сразу о двух атаках на свою инфраструктуру. Во время первого инцидента злоумышленники похитили API-ключ и три недели использовали его для работы с ИИ-моделями, израсходовав кредиты стоимостью примерно 600 000 долларов США. Вторая атака была связана с масштабным сканированием инфраструктуры и попытками добраться до внутренних данных организации.
Anthropic предупреждает пользователей об атаках инфостилеров
Представители компании Anthropic предупреждают пользователей о новой схеме злоупотребления аккаунтами Claude. Инфостилеры воруют активные сессии из браузеров жертв, после чего злоумышленники получают доступ к чужим аккаунтам и расходуют доступные пользователям лимиты. В настоящее время в Anthropic рассылают пострадавшим адресные уведомления.
Ошибки в llms.txt вынуждают Claude, Codex и Hermes запускать чужой код
Исследователи обнаружили, что файлы llms.txt и llms-full.txt на 120 сайтах содержали ссылки на незарегистрированные пакеты и домены. При этом ИИ-агенты Claude, OpenAI Codex и Hermes воспринимают инструкции в таких файлах как доверенную документацию и действительно выполняют приведенные команды.
OpenAI опубликовала официальный отчет об июльском взломе Hugging Face
Специалисты OpenAI и исследовательской организации METR опубликовали подробные отчеты, посвященные июльской атаке ИИ-агентов на платформу Hugging Face. Выяснилось, что около 1200 агентов, которые должны были работать изолированно друг от друга, создали собственный канал связи и обменялись более чем 70 000 сообщений и файлов. Примерно 700 агентов в итоге приняли участие во взломе Hugging Face.
Скамеры используют ИИ-агентов для звонков владельцам украденных iPhone
ИБ-специалисты компании SOCRadar изучили фишинговую платформу AnonyMousKIT, которая помогает преступникам снимать блокировку активации (Activation Lock) с украденных устройств Apple. Для этого сервис использует фишинговые страницы и голосовых ИИ-агентов, которые звонят владельцам гаджетов, представляясь сотрудниками поддержки Apple, и выманивают код для разблокировки устройства, учетные данные Apple ID и коды двухфакторной аутентификации.
Самораспространяющиеся инструкции могут передаваться между ИИ-агентами
Специалисты из компании Anthropic и Федеральной политехнической школы Лозанны (Swiss Federal Institute of Technology in Lausanne, EPFL) продемонстрировали, что ИИ-агенты способны передавать друг другу самораспространяющиеся вредоносные инструкции через файлы, содержимое которых сохраняется между сессиями и подмешивается в системный промпт. Авторы исследования называют такие пейлоады «вирусами разума» (mind viruses).
Исследователи обошли защиту Grok и Gemini, отправляя ИИ зашифрованные промпты
Исследователи из компании Adversa AI обнаружили способ обхода защитных механизмов Grok с помощью зашифрованных вредоносных инструкций. Атака, получившая название Cryptographic Context Injection, вынуждает ИИ передать на сервер злоумышленника данные из текущего чата, имя пользователя, его примерное местоположение и информацию о подписке.
После взлома Hugging Face в OpenAI приостановили обучение некоторых моделей
В OpenAI сообщают, что пересмотрели правила безопасности при обучении и тестировании мощных ИИ-моделей. Теперь код, сгенерированный моделями, будут запускать в усиленных песочницах, сетевой доступ дополнительно изолируют, а за действиями ИИ будут непрерывно следить. Поводом для внедрения этих мер послужила недавняя атака ИИ-агентов на платформу Hugging Face, а также новые возможности еще невышедшей модели Astra.
Лаборатории смогут проверять ИИ на соответствие духовно-нравственным ценностям
В России обсуждают процедуру проверки больших ИИ-моделей на соответствие законодательству и традиционным духовно-нравственным ценностям, сообщают «Ведомости» со ссылкой на участников обсуждений и источник в Минцифры. Такой экспертизой могут заняться несколько независимых испытательных лабораторий, а модели будут тестировать через специальные бенчмарки и проверять на устойчивость к промпт-инжектам.
Агенты OpenAI обменивались эксплоитами через импровизированный форум
На конференции Black Hat представители OpenAI раскрыли новые детали инцидента, в рамках которого автономные ИИ-агенты компании сумели покинуть тестовую среду и атаковали платформу Hugging Face. Выяснилось, что за несколько месяцев до взлома модели научились общаться друг с другом через внутренний Artifactory, обменивались информацией о найденных уязвимостях, распределяли задачи и даже подозревали друг друга в саботаже.
Исследователи вынудили ИИ-агента Google атаковать собственный репозиторий
Исследователи из компании Pillar Security обнаружили в репозитории Google Agent Development Kit для Python сразу две проблемы, которые злоумышленник мог использовать для запуска привилегированного ИИ-агента. Один из багов позволял подделать процесс проверки пул-реквеста, а другой — выполнить произвольный код в CI-раннере и похитить секреты.
Модели OpenAI и Anthropic атаковали реальных людей и проекты
OpenAI и британский Институт безопасности ИИ (AI Security Institute, AISI) раскрыли несколько новых инцидентов, в ходе которых ИИ-агенты выходили за рамки тестовых сценариев и начинали атаковать реальные системы и людей. В одном из случаев агент применял социальную инженерию, создавал подставные аккаунты, вводил мейнтейнеров в заблуждение и пытался убедить их принять вредоносный код. Эти случаи не связаны ни со взломом Hugging Face, ни с инцидентами, которые компания Anthropic раскрыла в прошлом месяце.
ИИ-модель Mythos обнаружила недостаток в постквантовом алгоритме HAWK
Разработчики постквантового алгоритма HAWK отозвали его из программы стандартизации NIST после того, как модель Claude Mythos Preview помогла разработать более эффективную атаку на алгоритм. Кроме того, модель Anthropic ускорила известную атаку на сокращенную версию AES-128 в 200–800 раз.
В трех последних версиях Chrome исправили 1442 уязвимости
Специалисты Google исправили 1442 уязвимости в трех последних версиях браузера Chrome. Резкий рост количества CVE в компании связывают с активным внедрением ИИ: модели ищут проблемы в коде, проверяют отчеты исследователей и даже предлагают патчи.
В Anthropic заявили, что Claude взломал три организации и загрузил малварь в PyPI
Представители Anthropic сообщают, что во время внутренних ИБ-тестов модели Claude выбрались за пределы изолированной среды и проникли в реальную инфраструктуру трех неназванных организаций. В рамках одной из этих атак ИИ самостоятельно создал вредоносный Python-пакет и опубликовал его в PyPI. Всего за час этот пакет успели скачать и запустить на 15 реальных системах.