status/volatile Прогноз Gartner (40% к 2027) и конкретные уровни/контроли — быстро устаревающие утверждения. Ревизия раз в квартал.
Суть
Когда у тебя не один агент, а «армия» (10-30+), важно разделять их по governance. Причина роста рисков: агенты порождают инциденты, а на фоне сокращения штатов разработчиков команд не хватает capacity их чинить — вред начинает превышать пользу. Решение — не «контролировать всех одинаково», а классифицировать по уровню риска.
Зачем это нужно
Это организационный слой поверх технических защит (Guardrails, Agent Sandboxing): он определяет, какие контроли применять к какому агенту. Без него внедрение откатывается (прогноз Gartner). Прямо связан с принципом наименьших прав против Tool Hijacking.
Как работает (4 уровня автономии)
| Ур. | Название | Что делает агент | Ключевые контроли |
|---|---|---|---|
| 1 | Observe | Только читает данные, показывает результат | Scoped data access, аутентификация, логирование |
| 2 | Advise | Генерирует рекомендации/черновики; человек выполняет всё вручную | + тест на галлюцинации, обучение пользователей «не доверять слепо» |
| 3 | Act with Approval | Выполняет действия (запись, отправка), но после явного апрува | + audit trails, инцидент-процедуры; риск — усталость от апрувов |
| 4 | Act Autonomously | Действует сам в рамках guardrails; человек видит только исключения | + мониторинг 24/7, автоматические выключатели, откат, чёткий ownership |
Принцип: применять к каждому уровню пропорциональную governance — не недозащищать уровень 4 и не перегружать апрувами уровень 1. Чем выше автономия — тем строже контроли и ownership.
Связано с
- Agent Security — организационный слой общей модели
- Tool Hijacking — наименьшие права как защита
- Human in the Loop — апрувы на уровнях 3-4
- Multi Agent Systems — governance для «отдела» агентов
- Agent Sandboxing — пропорциональная изоляция по уровню риска
Открытые вопросы
- Как бороться с «усталостью от апрувов» на уровне 3 без отката к небезопасному уровню 4?