Ewaluacja KMS-u

Otwarte pytanie

Słowo „kumuluje" jest rzucane w pismach o zarządzaniu wiedzą — w moich również — tak, jakby było obserwowalne. Nie jest. KMS może akumulować notatki w stałym tempie bez tego, żeby którakolwiek z nich kiedykolwiek została pobrana. KMS może raz dobrze odpowiedzieć na zapytanie i nigdy więcej. KMS może osiągnąć stan ustalony, w którym agent wydaje się pomocny, ale tak naprawdę nie zmienia pracy użytkownika w znaczący sposób. Żaden z tych stanów nie jest rozróżnialny od środka.

Pytanie: skąd wiesz, że twój KMS naprawdę pomaga, a nie daje ci tylko ciepłego poczucia systemu, który mruczy?

Obecne myślenie

Trzy poziomy tego, co mógłbyś mierzyć

Sygnały zdrowia systemu — czy maszyna działa? Wskaźnik przyjęć, wskaźnik powodzenia kompilacji, opóźnienie zapytań, wskaźnik błędów. Są obserwowalne i nudne. Mówią ci, że system żyje, a nie że jest użyteczny.

Jakość pobierania — gdy pada zapytanie, czy odpowiedź używa właściwych źródeł? Czy właściwy kontekst jest wyniesiony? Tu pomiar jest bardziej interesujący, ale nadal od środka: oceniasz system wobec wykuratorowanego zbioru oczekiwanych pobrań, co wymaga, żeby ktoś zbudował i utrzymywał ten zbiór. Większość zespołów nigdy tego nie robi.

Sygnały wynikowe — czy użytkownik podjął lepszą decyzję dzięki temu, co system wyniósł? Czy cykl wdrożenia się skrócił? Czy decyzja została podjęta szybciej i z mniejszą liczbą spotkań? To są sygnały, które mają znaczenie. Są też najtrudniejsze do atrybucji, bo decyzja zapada na przecięciu wielu wejść, a KMS jest tylko jednym z nich.

Pole osiadło na mierzeniu (1), bo jest automatyczne, gestykulowaniu przy (2), gdy jest finansowanie, i niemal nigdy dotykaniu (3).

Metryki zastępcze, których teraz używam

W warstwie osobistej zastępnikiem, którego używam, jest wskaźnik powrotów: jak często agent wynosi notatkę, której nie dotykałem tydzień, i czy wyniesienie zamienia się w referencję? Jeśli stare notatki nigdy nie wracają do aktywnego użycia, system jest magazynem tylko-do-zapisu, a twierdzenie o kumulacji jest puste.

W warstwie zespołowej zastępnikiem jest przekierowanie pytań: ile pytań, które dawniej trafiały do konkretnej osoby (CTO, szef operacji), teraz otrzymuje odpowiedź z systemu, nie docierając do niej? Jest to mierzalne przez wzorce wzmianek na Slacku, jeśli jesteś gotów je parsować, i jest rozsądnym zastępnikiem dla tego, czy system wchłonął wiedzę instytucjonalną w formę odpytywalną.

W warstwie aplikacyjnej zastępnikiem jest wskaźnik pierwszej-odpowiedzi-na-pierwsze-zapytanie: gdy użytkownik zadaje nowe pytanie, czy pierwsza odpowiedź systemu staje się odpowiedzią, na którą działa, czy wciąż odpytuje i udoskonala? System z rosnącym wskaźnikiem pierwszej-odpowiedzi-na-pierwsze-zapytanie to system, który się nauczył.

Żadne z nich nie są tym samym, co „sygnały wynikowe". Są to heurystyki szybkiej informacji zwrotnej, które pozwalają szybko zauważyć starzenie.

Paradoks dobrego KMS-u

KMS, który działa dobrze, jest niewidoczny. Użytkownik nie pamięta, by być wdzięcznym za kontekst, który pojawił się bezszwowo; pamięta tylko tarcie, gdy się nie pojawił. To sprawia, że zgłaszana przez użytkownika satysfakcja jest niemal bezużytecznym sygnałem dla dojrzałego systemu — użytkownicy, którzy korzystają najbardziej, zapomnieli, że system tam jest. Ewaluacja musi pochodzić ze śladów behawioralnych, a nie z pytania.

Asymetria starzenia

Kumulacja to twierdzenie. Starzenie to tryb awarii, o którym nikt nie mówi. KMS, który nie jest aktywnie utrzymywany, zanika — notatki stają się zwietrzałe, wyciągnięte fakty odpływają od aktualnego stanu biznesu, kompilacja akumuluje sprzeczności, których nikt nie rozstrzyga. Dobra ramka ewaluacji musi wykrywać starzenie wcześniej, niż wykrywa wzrost, bo starzenie w systemie wiedzy jest mniej widoczne i bardziej kosztowne.

Obecny sygnał wykrywania, którego uruchamiam dla starzenia, to wskaźnik sprzeczności: ile oflagowanych sprzeczności istnieje w danym momencie i czy są rozstrzygane szybciej, niż się akumulują? Rosnąca liczba nierozstrzygniętych sprzeczności jest najczystszym wskaźnikiem wyprzedzającym KMS-u, który się osuwa.

Czego nie rozgryzłem

Problem atrybucji wyniku nie ma czystej odpowiedzi. Decyzja zapada z wejściami od ludzi, spotkań, pamięci i KMS-u, i nie można rozdzielić wkładu każdego z nich w żywym środowisku operacyjnym bez instrumentowania całego procesu decyzyjnego — czego ani zespół, ani użytkownik nie zniesie.

Problem benchmarku: nie ma odpowiednika zbioru eval dla jakości KMS-u. Pole ma benchmarki pobierania (BEIR, MTEB, te, których używają artykuły o modelach osadzeń), ale te są o pobieraniu na poziomie dokumentu, a nie o tym, czy zsyntetyzowana odpowiedź jest użyteczna dla decyzji, z którą mamy do czynienia. Zbudowanie domenowo-specyficznego zbioru eval jest drogie i szybko staje się nieaktualne.

Co by to rozstrzygnęło

Ramka łącząca lekkie behawioralne zastępniki (wskaźnik powrotów, przekierowanie pytań, wskaźnik sprzeczności) z kwartalnym audytem wyników (pięć konkretnych decyzji podjętych w okresie, zrekonstruowanych, żeby zrozumieć, jaką rolę odegrał KMS), plus standaryzowany detektor starzenia. Jest to możliwe do zbudowania; nie jest zbudowane jeszcze. A dopóki nie jest, słowo „kumulacja" powinno być używane z zastrzeżeniem — jest twierdzeniem o kształcie, a nie pomiarem.