Когда агенты действуют самостоятельно, управление должно находиться на уровне данных.

Представлено EDB По мере того как предприятия предоставляют агентам ИИ больше автономии — способность планировать, принимать решения и действовать в системах без одобрения человека на каждом этапе — сложный вопрос становится центральным в каждом обзоре архитектуры: что на самом деле останавливает агента, когда он пытается выполнить действие, на которое его никогда не уполномочивали? Это ваши агенты, работающие на ваших моделях, взаимодействующие с вашими данными в вашей инфраструктуре — и ответственность за то, что они делают, лежит на вас. Эта ответственность не может быть выполнена задним числом или с помощью набора абстрактных политик, которые существуют на бумаге, но не на практике. Агенты нуждаются в правилах в контексте момента, потому что они не осуществляют собственный контроль над своими действиями. Рассмотрим простое правило: никогда не открывай дверь автомобиля. Если следовать этому правилу буквально, агент никогда не сможет войти или выйти из автомобиля. Но если изменить контекст (автомобиль только что разбился, пожар, кто-то пострадал и нуждается в выходе), тогда правило, которое вы на самом деле хотите, будет противоположным. Контекст в данный момент имеет решающее значение. Мы просим агентов делать разумные вещи; это требует разумных правил. Инстинкт заключается в том, чтобы добавить защитные меры вокруг агента: инструкции, политики и мониторинг, наложенные на модель. Эти механизмы важны, но у них есть структурное ограничение: правило о двери автомобиля кажется правдоподобным до момента, когда вам действительно нужно решить, открывать дверь или нет. Контроль на уровне агента надежен только в той мере, в какой выход агента предсказуем, а автономия — это именно то свойство, которое делает этот выход трудным для предсказания. Управление, которое зависит от проверки действия до его выполнения, не может успевать за системой, которая действует за миллисекунды, одновременно в нескольких системах. Управление должно стать исполняемым и применяться там, где агенты действительно выполняют свою работу: на уровне операционных данных, в контексте и именно в тот момент, когда это происходит. Уровень данных является точкой применения. Агенты создают ценность, взаимодействуя с данными