ИИ закрывает оповещения в SOC: какие проверки нужны до запуска

Разрешая ИИ-агенту закрывать оповещения, руководитель SOC передаёт ему решение о том, какие сигналы больше не требуют разбора. Проверять нужно основания такого решения, включая случаи, когда агент уверенно сообщает, что угрозы нет.

В исследовании Alert-Bench самопроверка Self-Refine исправила 16 неверных решений и превратила 79 верных в ошибки. Агент повторно оценивал ответ в том же контексте. Эксперимент с GPT-4.1 на одном стенде показывает, почему добавление проверки «подумай ещё раз» тоже требует испытания: повторный ответ может ухудшить результат.

Пустой поиск ещё не обосновывает закрытие

В трассах Alert-Bench 211 из 602 расследований, ошибочно завершившихся закрытием атакующего оповещения, закончились без получения записей. Авторы суммировали результаты пяти стратегий. Это расследования оповещений, а не 602 независимых инцидента.

Пустая выдача отвечает на вопрос, вернул ли конкретный поиск записи. Её недостаточно, чтобы установить безопасность события. Если агент принимает отсутствие результатов за основание закрыть сигнал, пробел расследования превращается в положительный вердикт. Наблюдение в трассах не доказывает, что пустой поиск всегда вызывает ошибку, но даёт конкретный случай для испытания.

В пилоте стоит отдельно проверить, как агент поступает с таким пробелом. При отсутствии записей следует требовать обоснования достаточности расследования, прежде чем разрешать закрытие. Сам факт выполненного запроса этого обоснования не даёт.

Отдельная роль проверяет основания решения

Самопроверка из вступления оставляет агента в контексте собственного ответа. В той же работе авторы предложили протокол AIDA с отдельным оспариванием решения. Сначала исследователь фиксирует вывод и свидетельства. Затем другая роль получает этот вывод и общие свидетельства без приватных рассуждений автора.

Возражение и исходное решение рассматривает Judge, роль оценщика. Он проверяет достаточность оснований: для закрытия нужны свидетельства безопасности либо достаточно полное расследование. Если конкретный пробел способен изменить решение, оценщик запрашивает недостающие данные.

Такую проверку можно испытывать по её результатам: какие основания она приняла и какой пробел потребовала устранить. Разделение контекстов ролей само по себе не означает независимость моделей и не гарантирует отсутствие пропусков. Для пилота полезен именно механизм проверки свидетельств, а не количество агентов в схеме.

Поздние данные проверяют результат настройки

В исследовании REFINE использовали DeepSeek-V3.2 и данные одного SOC. Для каждого из четырёх сценариев взяли 100 ранних оповещений для настройки и 150 более поздних, не пересекающихся с ними, для проверки.

На ранних наборах полнота составила 1,0. На позднем наборе Host-Process она снизилась до 0,807; в трёх остальных сценариях сохранилась 1,0. Это средние результаты трёх запусков. Полнота здесь показывает, какую долю оповещений, требовавших эскалации по решениям аналитиков, система также направила дальше. Метками служили решения сотрудников этого SOC, поэтому показатель не измеряет обнаружение всех реальных вторжений.

Успех на данных настройки не установил тот же результат на поздних данных во всех сценариях. Проверочную выборку для пилота следует отделить по времени и оценить ошибочные закрытия по каждому сценарию. Общий удачный результат не должен скрывать ухудшение в одном из них.

Когда передавать полномочие закрытия

Пилот должен позволять разобрать ошибочное закрытие: какие записи агент получил, чем обосновал безопасность и прошёл ли этот способ принятия решения проверку на поздних данных. Если пустая выдача завершает расследование без достаточных оснований, полномочие закрывать такие сигналы передавать рано.

Практический следующий шаг для руководителя SOC — выделить сценарии предполагаемого автозакрытия и проверить их отдельно. Расширять полномочие следует по результатам разбора ошибок в этих сценариях. Хороший результат настройки и убедительное повторное объяснение не дают основания автоматически распространить разрешение на остальные оповещения.