Modele lokalne kontra hostowane

Nie ma tu jednej prawidłowej odpowiedzi. Pytanie — czy LLM działający przeciwko systemowi wiedzy powinien być lokalny czy hostowany? — czysto dzieli się między warstwy, a wartość domyślna, z którą wchodzę, jest różna w każdej.

Warstwa osobista

Większość tego, co kompiluje osobisty KMS, nie jest wrażliwa. Przejście kompilacyjne przez tydzień notatek ze spotkań, wycinki z badań i wpół uformowane pomysły nie ma znaczącej powierzchni wycieku. Dla takiej treści modele hostowane z sensownymi wartościami domyślnymi są w porządku. Ustawienia na poziomie konta Anthropic „brak trenowania, brak retencji" są bazą, którą zakładam, a luka w możliwościach między hostowanymi modelami frontierowymi a czymkolwiek, co działa lokalnie, jest istotna — kompilacja w długim kontekście jest w szczególności możliwością, której lokalne małe modele nie są jeszcze w stanie dorównać.

Dla mniejszości treści osobistej, która jest znacząco wrażliwa — zapisy finansowe, sprawy prawne, informacje zdrowotne — sensowna jest kompilacja lokalna, a narzędzia istnieją (Ollama z rozsądnymi modelami, llama.cpp, garść cienkich środowisk). Luka w możliwościach jest prawdziwa, ale akceptowalna, bo praca nad tą treścią jest w mniejszym stopniu o jakości rozumowania, a w większym o prostej ekstrakcji i kierowaniu.

Pozycja warstwy osobistej to zatem hybryda — hostowane jako wartość domyślna, lokalne jako opcja włączana per-encja dla treści oflagowanej jako wrażliwa. Kierowanie dzieje się u bramkarza, a nie w momencie zapytania, bo kompilacja lokalna jest wolniejsza i nie chcesz płacić tego podatku przy każdym przyjęciu.

Warstwa zespołowa

Warstwa zespołowa to miejsce, gdzie hostowane wygrywa na gruncie pragmatyzmu. Obciążenie rozumowaniem w skali zespołowej — kompilacja po setkach koncepcji, międzyencyjne sprawdzenia sprzeczności, przegląd w długim kontekście — to miejsce, gdzie luka w możliwościach między hostowanymi modelami frontierowymi a czymkolwiek lokalnie uruchamialnym jest największa. Wdrożenie lokalne w tej skali tworzy również obciążenie operacyjne, które zespół sam musi wchłonąć.

Pozycja warstwy zespołowej, którą wdrażam, to: modele hostowane, ale z surowymi kontrolami kontraktowymi i konfiguracyjnymi.

• Konto API ma trenowanie wyłączone na poziomie konta. Weryfikowalne w konfiguracji konta; odnawiane i weryfikowane ponownie corocznie.
• Wdrożenie jest jednotenantowe — dedykowana baza, dedykowane obliczenia, dedykowane poświadczenia. Nie istnieją współdzielone magazyny wielotenantowe, gdzie źle skonfigurowana polityka mogłaby wyciec między klientami.
• Model nigdy nie widzi treści, do której pytający użytkownik nie ma dostępu (zobacz filtruj najpierw, rozumuj potem).
• Powierzchnia dostawców jest jawnie wylistowana i zakresowana. Dostawca rozumowania (Anthropic) widzi wyciągnięte fakty i zapytania, a nie surowe dane źródłowe. Dostawca bazy danych trzyma warstwę wiedzy (jest on bazą warstwy wiedzy). Dostawca hostingu widzi zaszyfrowany ruch. Orkiestracja zadań w tle widzi metadane zadań. Każdy z nich ma umowę przetwarzania danych; lista dostawców jest publikowana, a nie jest tajemnicą handlową.

Ta kombinacja — trenowanie wyłączone, jednotenantowa, filter-first, jawna powierzchnia dostawców — jest wartością domyślną, którą wdrażam w skali zespołowej. Nie jest to to samo co tylko-lokalne. Jest to przemyślany zakład, że kontrole prawne i operacyjne są wystarczająco silne, żeby uczynić hostowane lepszym wyborem, biorąc pod uwagę deltę możliwości.

Regulowane lub wysokiej wrażliwości

Gdy wymaga tego regulacja lub jawny kontrakt — dane finansowe w pewnych reżimach, enterprise'owe postanowienia EU AI Act, konkretne postawy bezpieczeństwa klienta — hostowane-w-naszym-środowisku nie jest właściwą odpowiedzią, nawet ze wszystkimi kontrolami powyżej. Właściwą odpowiedzią jest hostowane wewnątrz własnej chmury klienta.

Claude jest dostępny przez AWS Bedrock i GCP Vertex AI, oba pokryte istniejącymi umowami enterprise'owymi chmury. W tej konfiguracji wrażliwa treść — regulowane rekordy, poufne dane klienta — nigdy nie opuszcza perymetru bezpieczeństwa klienta. Rozumowanie AI dzieje się wewnątrz granicy klienta. To jest konfiguracja, do której wracam domyślnie dla każdego wdrożenia, gdzie typ danych wymagałby w innym wypadku osobnej umowy przetwarzania danych z dostawcą modelu, i jest to ta, której używam przy zleceniach z branż regulowanych.

Dla garstki przypadków, gdzie nawet hostowane u klienta nie wystarczy — środowiska air-gapped, klasyfikacje rządowe, konkretne modele zagrożeń przeciwnika — odpowiedzią jest tylko-lokalne na własnej infrastrukturze klienta, z akceptacją luki w możliwościach. Wdrożyłem to raz; jest drogie w operacji i nie poleciłbym tego, chyba że model zagrożeń konkretnie tego wymaga.

Zastrzeżenia

To strona, na której moje myślenie najprawdopodobniej się przesunie. Rynek modeli hostowanych szybko przecenia swoje prymitywy zaufania — endpointy zero-retencji, wdrożenia prywatne, środowiska wykonawcze confidential-compute. Za dwanaście miesięcy właściwa wartość domyślna może wyglądać inaczej.

Pozycja, która trzyma się we wszystkich przypadkach, niezależnie od tego, gdzie działa model: niezmiennik filter-first (najpierw filtruj, dopiero potem rozumuj). Warstwa modelu się zmienia; niezmiennik nie. Cokolwiek przenosi wrażliwą treść do kontekstu modelu, jest powierzchnią wycieku; cokolwiek tego nie robi, nie jest. Wybieraj wdrożenie, które sprawia, że ten rozdział jest najczystszy dla danej treści.