De demo waarin een agent een volledig proces afwerkt, verzwijgt wat er gebeurt als hij zich vergist. Waarom wij agents bewust klein houden, en wat dat ons kost.
Je hebt de demo gezien. Een agent leest een binnenkomende e-mail, zoekt het contract op, maakt een factuur aan en boekt de betaling, zonder dat iemand iets aanraakt. Het ziet er overtuigend uit, en de vraag die daarna komt is terecht: wat gebeurt er op de dag dat hij zich vergist? Ons standpunt is dat een agent zijn plaats verdient door een smalle taak goed te doen, niet door zelfstandig te handelen.
Wat de demo verzwijgt
Een autonoom proces van begin tot eind laat een spoor van stappen na, maar geen verklaring. Achteraf kan niemand met zekerheid zeggen waarom de agent die leverancier koos, die clausule negeerde of die korting toekende. Je kunt de prompt en de tussenresultaten teruglezen, en wat je dan reconstrueert, blijft een vermoeden over de redenering. Voor een auditor, een jurist of een klant die een klacht indient, volstaat dat niet.
Het tweede probleem is een kwestie van verhoudingen. Een agent die een stapel routinedossiers correct afhandelt, bespaart uren. Eén betaling naar de verkeerde rekening, of één toezegging aan een klant die het bedrijf niet kan nakomen, kost meer dan al die uren samen. Een taalmodel vergist zich bovendien zelden aarzelend: de fout komt met dezelfde zekerheid als de juiste antwoorden, en in een keten zonder controle neemt de volgende stap ze zonder vragen over.
Wat wij in de plaats bouwen
De agents die we vandaag in bedrijven inzetten, krijgen een afgebakende job. Ze lezen binnenkomende documenten, classificeren ze, halen de velden eruit, sturen ze naar de juiste plek en markeren wat ze niet zeker weten. Alles wat raakt aan geld, contracten, juridische claims of een toezegging aan een klant gaat naar een mens. Die afbakening steunt op drie ontwerpkeuzes.
Een vaste grens: een expliciete lijst van systemen en velden die de agent mag lezen of schrijven, en verder niets
Een betrouwbaarheidsdrempel per veld, waaronder de agent het dossier doorgeeft in plaats van te gokken
Een goedkeuringsstap die in enkele seconden af is, omdat de agent bij elk voorstel de bron toont: de pagina, de zin, de tabelcel
Die laatste keuze doet het meeste werk. Een reviewer die naast het voorgestelde bedrag meteen de gemarkeerde regel uit de factuur ziet, hoeft niets op te zoeken en beslist in één blik. Daar betalen we een prijs voor: onze demo's zijn minder spectaculair, en het afstellen van drempels op echte documenten vraagt veel tijd.
Een agent die weet wanneer hij moet stoppen, is meer waard dan een agent die alles kan.
Het sterkste tegenargument
Goedkeuringsstappen vertragen het proces, en wie de hele dag op akkoord klikt, stopt na een tijd met kijken. Dat bezwaar nemen we ernstig. Een controle die mensen blind aftekenen, is erger dan geen controle, omdat ze een zekerheid suggereert die er niet is. Dat ligt wel aan hoe de goedkeuring ontworpen is, en dat ontwerp kan anders.
Bij ons ziet de reviewer alleen de dossiers onder de drempel en de dossiers die de grens van de agent raken. De rest loopt door en wordt steekproefsgewijs nagekeken. Daarnaast meten we hoe vaak de reviewer het voorstel van de agent verwerpt: zakt dat cijfer naar nul, dan staat de drempel te voorzichtig of wordt er afgestempeld, en de steekproef vertelt ons welk van de twee. Wie een agent wil inzetten, begint dus best met één documentstroom en die meting, en kijkt pas daarna hoeveel er zonder mens kan.
Een project in gedachten?
Vertel ons wat je wilt bouwen. Eén zin volstaat om het gesprek te starten.
