Wyciek skompilowanego artefaktu

Kusi, żeby traktować „wyciek skompilowanego artefaktu" jako unikalnie AI-kształtny problem. W większości nim nie jest. Uczciwe ujęcie — i to, z którym teraz wchodzę — jest takie, że problem ten dzieli się na dwie klasy o nierównym ciężarze, a zlepianie ich prowadzi do przebudowanych kontroli dla jednej i niedobudowanych dla drugiej.

Problem, dwie klasy

Około 80% powierzchni wycieku to problem konfiguracji. Skompilowany artefakt ujawnia coś, czego nie powinien, bo model praw dostępu został tak ustawiony, żeby na to zezwolić — w ten sam sposób, w jaki kalendarz ustawiony na pokazywanie free/busy może w ogóle ujawnić, że odbywa się wrażliwe spotkanie. Poprawką są uprawnienia, zastosowane poprawnie, z właściwymi regułami dziedziczenia. Nie nowa machineria; stara dyscyplina.

Około 20% jest prawdziwie emergentnie-kompilatorowe. Nawet z idealną konfiguracją uprawnień artefakt wyprodukowany przez LLM może — przez kształt swojej prozy, a nie jej treść — zakodować coś o źródle wyższej wrażliwości, którego model uprawnień nie wyłapał. A kompilator może wyprodukować nowe niejawne fakty, łącząc źródła niższej wrażliwości w sposób, którego model uprawnień nie mógł otagować z wyprzedzeniem.

Te dwie klasy potrzebują różnych kontroli. Większość szumu wokół wycieków kompilacji LLM bierze się ze stosowania troski o emergentny kompilator do przypadków, które tak naprawdę były błędami konfiguracji.

Większy udział: konfiguracja

To kategoria, która wygląda przerażająco, ale jest rozwiązywalna.

Cotygodniowy skrót wspomina, że odbyło się spotkanie kadry kierowniczej — podczas gdy samo istnienie spotkania było wrażliwe. Streszczenie „ostatniej aktywności" odwołuje się do dokumentu z nazwy, podczas gdy istnienie dokumentu było prywatne. Dossier klienta agreguje rozmowy z segmentu, który nie powinien być czytelny jako zbiór. W każdym z tych przypadków coś zostało otagowane wrażliwością zbyt luźną dla tego, czym rzeczywiście było, a kompilacja sumiennie odbiła to otagowanie.

Model uprawnień zamyka tę klasę na cztery sposoby:

Minimum niezbędnego przy przyjęciu. Warstwa wiedzy przechowuje wyciągnięte fakty, a nie kopie rekordów źródłowych. Czego nie wyciągnięto, tego nie można wycieknąć przez kompilację. Kontekst kompilatora jest z konstrukcji węższy.

Dziedziczenie wrażliwości. Każdy skompilowany artefakt dziedziczy maksymalną wrażliwość swoich źródeł (zobacz gradient wrażliwości). Skrót skompilowany z jednej notatki leadership i trzech team-wide jest artefaktem leadership, kropka. Jeśli nie chcesz, żeby skrót był widoczny na team-wide, poprawką jest albo otagowanie źródła kadry kierowniczej jako leadership (co reguła dziedziczenia honoruje), albo wykluczenie go ze zbioru kandydatów skrótu. To kalendarzowo-uprawnieniowy ekwiwalent: jeśli istnienie spotkania jest wrażliwe, kalendarz musi być skonfigurowany, żeby ukrywać zajęty, a nie tylko ukrywać tytuł.

Niezmiennik filter-first w momencie zapytania. Użytkownik, który nie powinien widzieć wrażliwego źródła, również nie powinien widzieć kompilacji, która dziedziczy wrażliwość tego źródła. Architektura filter-first gwarantuje, że model nigdy nie zobaczy kompilacji o wrażliwości, do której pytający użytkownik nie ma uprawnień.

Cytaty z powrotem do źródła. Każdy skompilowany artefakt jest odtwarzalny do surowych wejść, które go wyprodukowały. Cytaty nie zapobiegają wyciekom; sprawiają, że incydenty są badalne, a błędne konfiguracje wrażliwości poprawialne u źródła.

Zastosowane dobrze, te cztery rzeczy zamykają zasadniczo wszystkie incydenty „skompilowany artefakt coś wyciekł", które faktycznie widziałem w działających systemach. Nie są specyficzne dla LLM; są projektowaniem uprawnień zastosowanym do artefaktów generowanych zamiast przechowywanych.

Mniejszy udział: emergentne z kompilatora

Ta kategoria jest rzeczywiście nowa przy kompilacji LLM i jest mniejszą częścią.

Echo lingwistyczne. Skompilowany artefakt na dozwolonej wrażliwości może zakodować — przez ton, słownictwo, kształt tematyczny — coś o źródle wyższej wrażliwości, którego model uprawnień nie otagował. Model został pokazany tylko źródła team-wide, skomponował streszczenie, a styl streszczenia (techniczna precyzja na temacie, który rzadko jest omawiany na tym poziomie) wskazuje na równoległą rozmowę leadership. Żadne uprawnienie nie zostało naruszone w treści; coś zostało przekazane w formie.

Emergentna kombinacja. LLM może łączyć fakty z wielu źródeł niższej wrażliwości w niejawny fakt, którego nie było w żadnym źródle z osobna. Dwie nieznaczące obserwacje team-wide — klient opuścił swoje dwa ostatnie przeglądy oraz lead sprzedażowy oczyścił kalendarz w czwartek — mogą zostać połączone w wnioskowanie o statusie konta, którego żadne źródło nie stwierdza i którego nikt nie otagował na żadnej wrażliwości, bo połączony fakt nie istniał przed kompilacją. Kalendarz nie potrafi tego zrobić; niezależne spotkania nie syntetyzują się.

Oba kanały są realne. Są też wąskie: widziałem incydenty echa lingwistycznego dokładnie dwa razy w działających systemach i incydenty emergentnej kombinacji może trzy razy, wszystkie na tyle małe, żeby wyłapać je w recenzji. Nie są dominującym ryzykiem.

Zabezpieczenia, które uruchamiam dla tej reszty, są konserwatywne i przyznaję, że częściowe:

• Dyscyplina recenzji. Skompilowane artefakty, które rozpinają się między warstwami, są czytane przez operatora przed wyniesieniem — pod kątem tonu i wnioskowania, nie tylko treści. Jest to wolne i nie skaluje się; to uczciwy stan.
• Prompty normalizujące styl. Kompilator jest instruowany, żeby pisać na wrażliwości warstwy wyjściowej, a nie maksimum wejść — tak żeby streszczenie team-wide czytało się jak inne streszczenia team-wide, a nie jak stylistyczny kuzyn notatki kadry kierowniczej. To zamyka część przypadków echa lingwistycznego; nie mam pomiaru, ile.
• Modele hostowane u klienta dla regulowanych wdrożeń. Gdy powierzchnia resztowa ma większe znaczenie niż koszt operacyjny — branże regulowane, praca z klientem o wysokiej wrażliwości — przenoszę kompilację do wnętrza granicy własnej chmury klienta. Nie zamyka to technicznie kanału emergentnego z kompilatora; ogranicza jego promień rażenia.

Gdzie to zmienia postawę

Użyteczna rewizja: gdy incydent wygląda na „wyciek skompilowanego artefaktu", pierwszym pytaniem nie jest „czy LLM zrobił coś nowatorskiego?", lecz „czy to konfiguracja uprawnień, którą powinniśmy byli wyłapać?". Cztery razy na pięć odpowiedź brzmi tak — a poprawką jest zacieśnienie tagowania wrażliwości w górnym biegu, a nie dodanie nowej maszynerii specyficznej dla LLM.

Jedno na pięć, które jest prawdziwie emergentne z kompilatora, jest realne, węższe niż sugeruje retoryka wokół kompilacji LLM, a zabezpieczenia dla tego są częściowe i zależne od operatora. To uczciwa pozycja i jest lepsza niż traktowanie całej klasy jako nierozwiązanej.