Sınırı Yönet | Dastan Aitzhanov

Şimdiye kadar yazılan çoğu AI politikası modele yapışmıştır. Belirli bir eşiğin üzerindeki eğitim hesaplaması raporlamayı tetikler. Belirli bir boyutun üzerindeki genel amaçlı bir model sistemik risik taşıdığı varsayılır. Değerlendirmeler yayından önce model üzerinde çalıştırılır. Yetenek nadir ve yoğunlaştırılmışken bu mantıklıydı: birkaç laboratuvar, birkaç model, bakılacak bir açık yer.¹

Bu varsayımın, üzerine inşa edilen politikadan daha hızlı zayıfladığını düşünüyorum. Ve hala orada olacak katmanın neredeyse hiçbir politikanın adını koymadığı katman olduğunu düşünüyorum: bir AI sisteminin ne yapmasına izin verildiğini belirleyen sınır.

Bu makale, bir standart gövde, bir satın alma ofisi veya bir yasa koyucu kullanabileceği terimlerle o sınırı yönetmenin ne anlama geleceğini söyleme denemesidir. Teknik iddialar inşa ettiğim sistemlerden ve bu sitedeki kısa notlardan geliyor. Politika iddiaları önerilerdir. Sonundaki notlar hangisinin hangisi olduğunu söyler.

Yetenek eşikten ayrılıyor

Bu yılın başlarında 8 milyar parametreli bir modeli bilgi grafiğiyle donatılmış olarak 70 milyar parametreli bir modellin karşısında 35 adet başa baş test yaptım. Temel alınan kurumsal retrieval konusunda, daha iyi yapıya sahip küçük model kazandı: daha yüksek değerlendirme puanı, token maliyetinin bir bölümü, gecikmenin üçte biri ve büyük modelin üretemediği doğrulanabilir bir araç çağrısı zinciri. Bu, bir görev sınıfında bir değerlendirmedir ve bundan daha ileri gitmeyeceğim. Ama bu sonuçlar ortaya çıkıyor. Mimari, retrieval, araçlar ve orkestrasyon, parametre sayısının yapması gerekecek işi yapıyor.²

İki şey takip ediyor. Birincisi, herhangi bir hesaplama eşiğinin altında iyi modeller kullanılarak inşa edilen bir sistem önceden sonuçlu eylemleri gerçekleştirebilir: mesajı gönderin, kaydı değiştirin, parayı taşıyın. İkincisi, model genellikle buna izin verilip verilmediğine karar veren bileşen değildir. İzin, çevreleyen sistemden, onu kimin bir araya getirdiğinden ve o montajın ne zorunlu kıldığından geliyor.

Eğitim hesaplaması üzerinde tetiklenen bir kural bunun hiçbirini görmez. Modeli görür. Dağıtımı, ona bağlı araçları, hareket ettiği kimliği veya üretebileceği etkileri görmez. Bunlar bir kişinin zarar görmediğini belirleyen şeylerdir.

Sınır zaten var

Hareket eden dağıtılan her AI sistemi, biri onu tasarlasın veya tasarlamasın bir yetki sınırına sahiptir. Bu, az sayıda soruya verilen yanıtların kümesidir. Bu sistem hiç hangi eylemleri alabilir? Kimin kimliği altında? Hangi kaynaklara karşı? Ne kadar süre? Kim onu durdurabilir? Ne kayıt kalır?

İyi inşa edilen bir sistemde, bu cevaplar açıktır. Yasal eylemler kümesi sayılır. İzin kontrolü, bir modelin çıktısını bir veri olarak okuyan, bir sonuç olarak değil, deterministik koddur. Uygulama yan etkiyi gerçekleştiren bileşende yaşar, bu nedenle bir araç geçerli yetki olmadan gelen bir eylemi reddedebilir. İzinler bir iş parçasına kapsamlıdır ve bitmesiyle sona erer. İptal hemen yürürlüğe girer, kuyruk boşaldıktan sonra değil. Arıza sistemin kontrollerini kaldırmaktan ziyade yeteneğini daraltır. Ve her eylem yanındaki kayıt hangi modeli, hangi politika sürümünü, nerede çalıştığını ve kimin adına çalıştığını söyler.³

Kötü inşa edilen bir sistemde, aynı sorular da cevapları var. Sadece örtülüdür. Modele devam edip edemeyeceği yazıyla soruluyor. Araçlar kendilerine çağrı yapan her şeyi güvenmiyor. İzinler ortamda bulunan kimlik bilgileridir. Günlük eylemi izleyen tarihte yazılır ve bir kontrol denir.

Bu iki sistem arasındaki fark model değildir. Her ikisi de aynı ağırlıkları çalıştırabilir. Fark sınırdır. Bu yüzden sınırın politika için doğru nesne olduğunu düşünüyorum.

Bir sınırın sahip olması gereken altı özellik

Bu sitenin teknik notları bunların her birini ayrı ayrı tartışır. İşte bunlar bir standart kullanabileceği biçimde bir liste olarak.

Sayılan eylemler. Sistem neden olabileceği yan etkilerin sonlu bir listesini üretebilir. Liste yazılamıyorsa, sistem tekrarlanan bir eylem ile güvenilir olmaya hazır değildir.

Deterministik izin. Bir eylemin izinli olup olmadığı, bir kişinin yazdığı, sürümlenmiş ve test edebileceği bir kuralla karar verilir. Bir modelin güveni bu kuralın girişi olabilir. Kural olamaz.⁴

Uygulama, etkileyicisinde. Gönderen, harcayan, silen veya kaydı değiştiren bileşen aldığı yetoriyi doğrular. Sadece bir diyagramda yaşayan bir politika belgedir.

Kapsamlı, süresi dolan yetki. İzin bir göreve yapışır: bu kimlik, bu eylemler, bu kaynaklar, bu pencere. Kalıcı erişim istisnadır ve adlandırılmış bir neden gerektirir.

Canlı iptal ve zarif degradasyon. Yetki sistem çalışırken geri çekilebilir ve bir bileşeni kaybetmek, sistem hayır diyebilme yeteneğini kaldırmadan önce sistemin ne yapabileceğini azaltır.

Eylem kaynağı. Her önemli eylem, modelin, politika sürümünün, yürütülen konumun ve adına hareket ettiği müdürün kaydını bırakır. Kaynağı nerede çalıştığını içerir.⁵

Bunların hiçbiri belirli bir mimariyi gerektirmez. Tek bir satıcının bulut hizmeti bunları karşılayabilir. Kişinin kendi cihazları ve bölgesel bir operatöre yayılan bir sistem de. Bunlar haklar ve yükümlülükleri tanımlar, bir topoloji değil.

Bu politika olarak neye benzer

Yeni bir düzenleyici veya yeni bir kanun önermiş değilim. Aşağıdakiler, mevcut araçların, modele ek olarak veya yerine sınıra yapabilecekleri yerlerdir.

1. Satın alma. Hükümet acenteli sistemlerin büyük alıcısıdır ve satın alma kuralları mevzuatt olmadan bağlayıcıdır. Federal veya eyalet satın alma standardı, ajans verilerine veya sistemlerine karşı eylem almaya yetkili herhangi bir AI sisteminin kendi sayılan eylem setini, izin mantığını, uygulama noktalarını ve iptali yolunu belgelemesini ve kabul testinde her birini göstermesini gerektirebilir. Bu egzotik değildir. Bu, ajansların zaten kimlik ve erişim yönetimine uyguladığı disiplindir. Ajan yeni bir müdür türüdür, yeni bir sorun türü değil.⁶

2. Eylem değil, boyuta göre anahtarlanmış risk katmanları. Bir çerçeve AI sistemlerini katmanlara ayırdığında, sıralama değişkeni sistemin atabileceği eylem sınıfını içermelidir: sadece bilgilendirme; geri alınabilir ve kapsanmış; diğer insanların güvendiği kayıtları etkiler; para taşır veya özel verileri ortaya çıkarır; fiziksel veya geri döndürülemez etkiler üretir. Bir ödeme API'ına bağlı küçük bir model, sadece taslak yapabilen büyük bir modelden daha yüksek bir katmandadır. Hesaplama eşikleri sınır eğitim riski için yararlı bir vekil olarak kalabilir. Bunlar dağıtım riski ölçüsü ile karıştırılmamalıdır.⁷

3. Kayıtlar için standardı kontrollerden standarttan ayırın. Günlük ve şeffaflık gereklilikleri bugün en yaygın AI yükümlülükleridir ve faydalıdırlar. Kontrol gereksinimini karşılamaya izin verilmemelidir. Bir standart, açık terimlerle söylemelidir ki, bir eylemden sonra yazılan bir kayıt kanıttır ve bir kontrol, eylemi önceden durdurabilecek bir şeydir. Bunları karıştırmak, bir sınırın gerekli olduğu tam yerde güvenliğin görünüşünü üretir.⁸

4. Muhasebeleştirme sınırda, sadece laboratuvarda değil. Yükümlülükler yetki sınırını kontrol eden kişiyi takip etmelidir. Genellikle bu model geliştirici değil, dağıtıcıdır. Bir geliştirici, bir modelin ne için eğitildiğini ve değerlendirildiğini kanıtlayabilir ve kanıtlamalıdır. Yalnızca araçları, izinleri ve uygulamayı bir araya getiren taraf, sistemin ne yapmasına izin verildiğini kanıtlayabilir. Sorumluluk ve açıklama görevleri bu bölünmeyi yansıtmalıdır.⁹

5. Deleged yetki için adlandırılmış bir müdür. Bir AI sisteminin aldığı her eylem, yetoriyi vereni ve bunu söylemek için sorulabileceği bir kişi veya role izlenmelidir. Bu, para yöneten organizasyonlardaki en eski kuraldır: analiz ucuz ve zengin olabilir, ama taahhüde hakkı nadirdir ve atanır. Bir ajan kayıttaki son ad olmamalıdır.¹⁰ Aynı disiplin bir seviye yukarıdan uygulanır: AI'yi benimsezen bir organizasyon, her girişim için kimin sahibi olduğunu ve onları neyin durdureceğini söyleyebilmeli.¹¹

6. Dağıtılmış hesaplama için yönetişim ilkel olarak sahip onayı. Günümüzün hesaplama yönetişimi, tanımlanabilen ve yükümlü kılınabilen az sayıda büyük sağlayıcı varsayar. Bu varsayım sınır eğitimi için geçerlidir. Çıkarım için zaten daha zayıftır ve insanların ve küçük organizasyonların sahip olduğu makinelerde yetenekli modeller çalışırken daha da zayıflaşacaktır. Bu olduğunda, uygulama noktası veri merkezi değildir. O sahibinin seçtiği bir politika altında makinedir. Taşınabilir politika, iş yükü kanıtı ve ağın saygı göstermesi gereken iptali için standartlar, dağıtılmış AI'nin ihtiyaç duyacağı hesaplama yönetişim işidir. Ağ var olduktan sonra değil, var olmadan önce yazmak daha iyidir.¹²

Bunun ne çözmediği

Sınırı yönetmek, bir sınır modelinin eğitilip yayınlanıp yayınlanmaması gerektiğini söylemez. Bu bir dağıtım tarafı çerçevesi ve eğitim hesaplaması, model değerlendirmeleri ve en yetenekli sistemlerin kötüye kullanımı konusundaki işi tamamlar, değil değiştirir.

Ayrıca yargıyı döngüden de kaldırmaz. Bazı kararlar gerçekten bir modele devredilir: bu ton kabul edilebilir mi, bu ipucu gerçek mi. Çerçeve, yetkilendirmenin yazılı olmasını ve düşük güvenin bir kişinin sahip olduğu bir şubesi olmasını sorar. Bulanık çağrının deterministik yapılabileceğini taklit etmez.

Ve uygulaması kadar iyidir. Kağıtta var olan bir sınır, bu makalenin savunduğu şeydir. Test, dağıtılmış hesaplama için kullandığım test ile aynıdır. Model yetenekleri bittikten sonra, araçlar bağlandıktan sonra, sistemin hareket etmesine izin vermenin ekonomik bir nedeni var olduktan sonra: sınır hala hayır diyebilir mi, sistemin geri kalanının saygı göstermek zorunda olduğu bir şekilde? Cevap hayır ise, sistemin bir modeli var. Yönetişimi yok.

Notlar

İki örnek. AB Yapay Zeka Yasası'nın 51(2) maddesi, eğer bir genel amaçlı modeli eğitmek için kullanılan birikimli hesaplama 10^25 kayan nokta işlemini aştığında, söz konusu modelin sistemik risk taşıdığını varsayar; bu varsayım çürütülebilir ve sağlayıcılar eşiğe ulaştıktan iki hafta içinde Komisyon'u bilgilendirmek zorundadır (Article 51). Amerika Birleşik Devletleri'nde, 30 Ekim 2023 tarihli Executive Order 14110, 10^26 işleminin üzerinde eğitilen modeller için raporlamayı zorunlu kılmıştır (Federal Register); 20 Ocak 2025'te iptal edilmiştir (Federal Register). Eşik fikri eyalet yasalarında ve AB'de varlığını sürdürmektedir. Söz konusu olmakta olan konu, bu araçların nereye bağlandığıdır, bunların akıllı olup olmadığı değil. ↩
Değerlendirme A smaller model with better structure başlığında açıklanmaktadır. Bu, temelli kurumsal alma üzerinde yapılan bir çalışmadır. Bunu bir örüntünün kanıtı olarak değil, örüntüye işaret eden bir durum olarak alıntılanmaktadır. ↩
Bu özellikler daha kısa not başlıklarında ayrı ayrı tartışılmaktadır: Policy should not be probabilistic, You can only govern what you can diff, An agent should have its own identity, The place that performs the action should say no, Permissions should expire with the work, Failure should reduce capability, An audit log is not a control, ve Provenance should include where it ran. ↩
İlke. Bir modelin olasılığı bir politikayı bilgilendirebilir; politika kod olarak kalır. Tam argüman Probabilistic Intelligence, Deterministic Control başlığında yer almaktadır. ↩
Buradaki kökensellik, dağıtım tarafında yer almaktadır: hangi model, hangi politika sürümü, nerede çalıştırıldığı, kimin adına. Bu, eğitim verisi kökenselliğinden farklı bir kayıttır ve her ikisi de gereklidir. ↩
Öneri. Mevcut federal araçlar, ajans yapay zeka kullanımı hakkında OMB memorandumu M-25-21 ve satın alımı hakkında M-25-22, her ikisi de 3 Nisan 2025 tarihinde yayınlanmıştır (OMB M-25-22). M-25-22, veri hakları, birlikte çalışabilirlik ve satıcının devlet verilerini kullanması konusunda sözleşme şartlarını zaten belirlemektedir. Bu, numaralandırılan eylemler, izin mantığı, uygulanma noktaları ve iptal için gereken şartların bağlanması için doğal yerdir. ↩
Öneri. Eylem sınıfı listesi açıklayıcı niteliktedir. İddia, tam katmanlar değil, sıralama değişkenidir. Bu, Autonomy should scale with reversibility başlığını takip etmektedir. ↩
İlke, An audit log is not a control başlığından gelmektedir. ↩
İlke, Whoever assembles the tools owns the boundary başlığından gelmektedir. Geliştirici modeli onaylar; derleyici sistemi onaylar. ↩
İlke, What owners notice başlığından gelmektedir. Bir kuruluşta nadir olan nesne, analiz değil, taahhüt etme hakkıdır. ↩
Treat AI adoption as a portfolio, not a project başlığından gelmektedir. ↩
Öneri. Sahibinin kontrol ettiği işlem için minimum yönetişim sözleşmesi Capacity is not consent başlığında belirtilmiştir. Çıkarım konusunun ölçekte sahibinin kontrol ettiği makinelere taşınacağına dair iddia, bir ölçüm değil, bir tahmindir. ↩