Управлять границей

Большинство политики в отношении ИИ, написанной до сих пор, привязано к модели. Обучающие вычисления выше определённого порога требуют отчётности. Модель общего назначения выше определённого размера предполагается содержать системный риск. Оценки проводятся для модели перед выпуском. Это имело смысл, когда способность была редкой и сконцентрирована: несколько лабораторий, несколько моделей, одно очевидное место для поиска.¹

Я думаю, это предположение ослабевает быстрее, чем политика, построенная на нём. И я думаю, что уровень, который будет там, когда оно исчезнет, — это тот, который почти ни одна политика не называет: граница, которая определяет, что ИИ-системе разрешено делать.

Это эссе — моя попытка объяснить, что означало бы управление этой границей, в терминах, которые могли бы использовать органы по стандартизации, закупочные подразделения или законодатели. Технические утверждения исходят из систем, которые я построил, и из более коротких заметок на этом сайте. Политические утверждения — это предложения. Заметки в конце указывают, что есть что.

Способность выходит за пороговые значения

В начале этого года я провёл 35 прямых тестов модели с 8 миллиардами параметров, оснащённой графом знаний, против модели с 70 миллиардами параметров на собственных ресурсах. На обоснованном поиске в масштабах предприятия малая модель с лучшей структурой выиграла: более высокий балл оценки, доля стоимости токена, треть задержки и проверяемая цепь вызовов инструментов, которую не могла создать большая модель. Это одна оценка на одном классе задач, и я не буду обобщать её дальше этого. Но это именно тот результат, который продолжает появляться. Архитектура, поиск, инструменты и оркестровка выполняют работу, которую раньше выполнял счёт параметров.²

Из этого следуют две вещи. Во-первых, система, построенная из моделей намного ниже любого порога вычислений, уже может предпринимать существенные действия: отправить сообщение, изменить запись, переместить деньги. Во-вторых, модель часто не является компонентом, который определяет, может ли она это делать. Разрешение приходит из окружающей системы, от того, кто её собрал, и от того, что эта сборка обеспечивает.

Правило, которое срабатывает на обучающих вычислениях, не видит ничего из этого. Оно видит модель. Оно не видит развёртывание, подключённые инструменты, личность, под которой она действует, или эффекты, которые она может произвести. Это то, что определяет, будет ли человек причинён вред.

Граница уже существует

Каждая развёрнутая ИИ-система, которая действует, имеет границу полномочий, независимо от того, проектировалась ли она. Это набор ответов на небольшое число вопросов. Какие действия эта система вообще может предпринять? Под какой личностью? Против каких ресурсов? Как долго? Кто может её остановить? Какая запись остаётся?

В хорошо построенной системе эти ответы явные. Набор разрешённых действий перечислен. Проверка разрешения — это детерминированный код, который читает выходные данные модели как входные, а не как вердикт. Принудительное исполнение находится в компоненте, который производит побочный эффект, поэтому инструмент может отказать в действии, которое прибыло без надлежащих полномочий. Разрешения ограничиваются частью работы и истекают вместе с ней. Отзыв вступает в силу немедленно, а не после того, как очередь опустошится. Отказ сужает возможности системы, а не удаляет её средства управления. И запись рядом с каждым действием указывает, какую модель, какую версию политики, где она работала и от чьего имени.³

В плохо построенной системе на те же вопросы тоже есть ответы. Они просто неявные. Модели задают вопрос в прозе о том, может ли она продолжить. Инструменты доверяют тому, что их вызывает. Разрешения — это какие-то учётные данные, которые произошли в окружении. Журнал записывается после события и называется средством управления.

Разница между этими двумя системами — не модель. Обе могут запускать одни и те же веса. Разница — граница. Вот почему я думаю, что граница — это правильный объект для политики.

Шесть свойств, которые должна иметь граница

Технические заметки на этом сайте отстаивают каждый из них отдельно. Вот они в виде списка, в форме, которую может использовать стандарт.

Перечисленные действия. Система может создать конечный список побочных эффектов, которые она способна вызвать. Если список не может быть записан, система не готова к доверению с повторяющимся действием.

Детерминированное разрешение. Разрешено ли действие, решается по правилу, которое написал человек, версионировал и может проверить. Уверенность модели может быть входом в это правило. Она не может быть самим правилом.⁴

Принудительное исполнение у эффектора. Компонент, который отправляет, расходует, удаляет или изменяет запись, проверяет полученные им полномочия. Политика, которая существует только в диаграмме, — это документация.

Ограниченные, истекающие полномочия. Разрешение прикрепляется к задаче: эта личность, эти действия, эти ресурсы, это окно. Постоянный доступ — исключение и требует названной причины.

Живой отзыв и корректное снижение функциональности. Полномочия могут быть отозваны, пока система работает, и потеря компонента снижает то, что система может делать, прежде чем удаляет способность системы сказать нет.

Происхождение действия. Каждое существенное действие оставляет запись о модели, версии политики, месте выполнения и принципале, от имени которого оно действовало. Происхождение включает, где оно работало.⁵

Ничто из этого не требует конкретной архитектуры. Облачный сервис одного поставщика может их удовлетворить. Так же может система, распределённая по собственным устройствам человека и региональному оператору. Они описывают права и обязательства, а не топологию.

Как это выглядело бы как политика

Я не предлагаю новый регулирующий орган или новый закон. Ниже приведены места, где существующие инструменты могли бы присоединиться к границе вместо модели или в дополнение к ней.

1. Закупки. Правительство — крупный покупатель агентных систем, и правила закупок обязывают без законодательства. Федеральный или государственный стандарт закупок мог бы требовать, чтобы любая ИИ-система, уполномоченная предпринимать действия на данных или системах агентства, задокументировала свой набор перечисленных действий, логику разрешений, точки принудительного исполнения и путь отзыва, и продемонстрировала каждый при приёмочном тестировании. Это не экзотично. Это та же дисциплина, которую агентства уже применяют к управлению идентичностью и доступом. Агент — это новый вид принципала, а не новый вид проблемы.⁶

2. Уровни риска, ключевые к действиям, а не к размеру. Где структура сортирует ИИ-системы по уровням, переменная сортировки должна включать класс действия, которое может предпринять система: только информационное; обратимое и содержащееся; влияет на записи, от которых зависят другие люди; перемещает деньги или раскрывает приватные данные; производит физические или необратимые эффекты. Малая модель, подключённая к API платежей, находится в более высоком уровне, чем большая модель, которая может только черновики. Пороги вычислений могут оставаться полезной косвенной мерой для риска обучения пограничной модели. Их не следует путать с мерой риска развёртывания.⁷

3. Отделить стандарт для записей от стандарта для средств управления. Требования к ведению журналов и прозрачности являются наиболее распространёнными обязательствами ИИ сегодня, и они полезны. Им не должно быть разрешено удовлетворять требование контроля. Стандарт должен ясно сказать, что запись, написанная после действия, — это доказательство, и что контроль — это что-то способное остановить действие заранее. Их путаница создаёт видимость безопасности именно там, где была нужна граница.⁸

4. Ответственность на границе, а не только в лаборатории. Обязательства должны следовать тому, кто контролирует границу полномочий. Часто это развёртывающий, а не разработчик модели. Разработчик может и должен подтвердить, на что модель была обучена и оценена для выполнения. Только сторона, которая собрала инструменты, разрешения и принудительное исполнение, может подтвердить, что системе разрешено делать. Ответственность и обязанности по раскрытию информации должны это отражать.⁹

5. Названный принципал для делегированного полномочия. Каждое действие, которое предпринимает ИИ-система, должно прослеживаться до человека или роли, которые предоставили полномочия и могут быть опрошены об этом. Это самое старое правило в организациях, которые управляют деньгами: анализ может быть дешёвым и плодородным, но право на обязательство редко и назначено. Агент не должен быть последним именем в записи.¹⁰ Та же дисциплина применяется на уровень выше: организация, применяющая ИИ, должна быть способна сказать, для каждой инициативы, кто её владеет и что заставило бы их остановить это.¹¹

6. Согласие владельца как примитив управления для распределённых вычислений. Управление вычислениями сегодня предполагает небольшое число крупных поставщиков, которых можно идентифицировать и обязать. Это предположение верно для обучения пограничной модели. Оно уже слабее для вывода, и оно будет ослабевать дальше, когда способные модели запускаются на машинах, которые люди и небольшие организации владеют. Когда это произойдёт, точка принудительного исполнения — не центр данных. Это машина, под политикой, которую выбрал её владелец. Стандарты для портативной политики, аттестации рабочей нагрузки и отзыва, который сеть должна уважать, — это работа управления вычислениями, которая потребуется распределённому ИИ. Лучше писать их до того, как сеть существует, чем после.¹²

Что это не решает

Управление границей не подсказывает вам, следует ли обучать или выпускать пограничную модель. Это развёрнутый фреймворк, и он дополняет, а не заменяет, работу по обучающим вычислениям, оценкам моделей и злоупотреблению наиболее способными системами.

Это также не удаляет суждение из цикла. Некоторые решения действительно делегируются модели: приемлем ли этот тон, реален ли эта свинец. Фреймворк просит, чтобы делегирование было записано и чтобы низкая уверенность имела ветвь, которой владеет человек. Он не претендует на то, что нечёткий вызов может быть сделан детерминированным.

И это только так хорошо, как принудительное исполнение. Граница, которая существует на бумаге, — это то, против чего это эссе возражает. Тест — это тот же самый, который я использую для распределённых вычислений. После того, как модель способна, после того, как инструменты подключены, после того, как существует экономическая причина позволить системе действовать: может ли граница всё ещё сказать нет, так, что остальная система вынуждена это уважать? Если ответ нет, система имеет модель. Она не имеет управления.

Примечания.

Примечания

1. Два примера. Статья 51(2) Закона ЕС об искусственном интеллекте предполагает, что модель общего назначения представляет системный риск, когда совокупные вычислительные мощности, используемые для её обучения, превышают 10^25 операций с плавающей точкой; это предположение можно оспорить, и поставщики должны уведомить Комиссию в течение двух недель после достижения порога (Article 51). В Соединённых Штатах Указ президента 14110 от 30 октября 2023 года требовал отчётности о моделях, обученных выше 10^26 операций (Federal Register); он был отменён 20 января 2025 года (Federal Register). Идея порога сохраняется в законодательстве штатов и в ЕС. Замечание касается того, где эти инструменты закреплены, а не того, разумны ли они. ↩

2. Оценка описана в статье A smaller model with better structure. Это одно исследование на тему обоснованного поиска информации в организации. Я ссылаюсь на него как на пример паттерна, а не как на доказательство паттерна. ↩

3. Эти свойства обсуждаются отдельно в более кратких заметках: Policy should not be probabilistic, You can only govern what you can diff, An agent should have its own identity, The place that performs the action should say no, Permissions should expire with the work, Failure should reduce capability, An audit log is not a control и Provenance should include where it ran. ↩

4. Принцип. Вероятность модели может информировать политику; политика остаётся кодом. Полный аргумент в статье Probabilistic Intelligence, Deterministic Control. ↩

5. Провенанс здесь находится на стороне развёртывания: какая модель, какая версия политики, где она выполнялась, от чьего имени. Это другой тип записи, чем провенанс данных обучения, и оба необходимы. ↩

6. Предложение. Текущие федеральные инструменты — это меморандумы OMB M-25-21 об использовании искусственного интеллекта агентствами и M-25-22 о закупках, оба изданы 3 апреля 2025 года (OMB M-25-22). M-25-22 уже устанавливает условия контрактов на права данных, взаимодействие систем и использование государственных данных поставщиком. Это естественное место для закрепления требований к перечисленным действиям, логике разрешений, точкам применения и отзыву. ↩

7. Предложение. Список классов действий иллюстративен. Фактором сортировки является утверждение, а не точные уровни. Это следует принципу Autonomy should scale with reversibility. ↩

8. Принцип из статьи An audit log is not a control. ↩

9. Принцип из статьи Whoever assembles the tools owns the boundary. Разработчик аттестует модель; сборщик аттестует систему. ↩

10. Принцип из статьи What owners notice. Дефицитный ресурс в организации — это право утвердить, а не анализ. ↩

11. Из статьи Treat AI adoption as a portfolio, not a project. ↩

12. Предложение. Минимальный контракт управления для вычислений, контролируемых владельцем, изложен в статье Capacity is not consent. Утверждение, что вывод будет перемещаться на машины, контролируемые владельцем, в масштабе, это предсказание, а не измерение. ↩