Artikel | Aan een half woord genoeg hebben

Auteur: Guido de Wit

Zo’n zeven jaar geleden begonnen we in diverse projecten met het grootschalig meten van de CO2-uitstoot per zending, samen met de transportbedrijven en hun opdrachtgevers. Het meten van de totale uitstoot van een transportbedrijf is makkelijk: je verzamelt de brandstofrekeningen, telt het aantal liters en je berekent met de emissiefactor van de brandstof de uitstoot.

Maar daar heb je weinig aan, het gaat om de uitstoot per zending. Elke opdrachtgever wil alleen zijn deel weten, dus moet je de totale uitstoot toewijzen.

Dat moet toch niet moeilijk zijn?

De manier om die uitstoot netjes en eerlijk toe te wijzen was door ons al in de praktijk getest en ontwikkeld. Neem de gegevens van de vrachtbrieven over, koppel die aan het voertuig (en het brandstofverbruik) die het transport gedaan heeft, en je kunt gaan rekenen.  

Helaas, dat viel tegen.

Gegevens staan in verschillende systemen, die elk andere definities gebruiken. In het ordersysteem staan de klant en de opdracht, in het plansysteem de zendingen per rit, in het TMS de gereden kilometers en in het financiële systeem de brandstofrekening.

En in elk systeem staan slordigheden en dubbelingen: dezelfde klant komt drie keer voor, met de naam net even anders gespeld of bijvoorbeeld met of zonder hoofdletter. Kentekens staan met of zonder streepje, of zijn fout overgenomen. Bij een zending ontbreekt het gewicht. 

Als je die data wilt combineren om ermee te rekenen, heb je flink wat werk om die ruis eruit te halen.

Ruis blijkt overal te zitten

In het begin denk je dat het toeval is, of dat het komt omdat een bedrijf klein is. Maar wat bleek: ook bij grotere bedrijven, zelfs hele grote transportbedrijven, zie je precies hetzelfde.

Ligt het dan aan de sector? Nee, ook niet.

Toen we voor een ander project over ketenaantoonbaarheid (hoe kun je bewijzen dat je een nette productieketen hebt?) bij productiebedrijven data ophaalden, zagen we dezelfde “ruis” in de basisdata.

Als je vriendelijk doorvraagt, blijkt dat het fenomeen van “slordige” basisdata eigenlijk overal voorkomt. Het is een uitzondering als de basisdata strak op orde is.

Mensen kunnen verrassend goed omgaan met slechte data

Je kunt maar één conclusie trekken: wat zijn wij mensen toch goed in het omgaan met flarden informatie, half goede data en het negeren van ruis.

Nieuwe medewerkers hebben even tijd nodig om de context te kennen, relaties op te bouwen en de processen te snappen. Daarna hebben ze bijna letterlijk aan een half woord genoeg.

En wat zijn computers daar toch slecht in: die lopen vrijwel meteen vast op dit soort fouten.

Tsja, wat nu? Met de hand een grote database opschonen is rotwerk en onbetaalbaar. Of moeten we toch maar computers leren om aan een half woord genoeg te hebben?

Natuurlijk hebben we dat al een beetje uitgezocht.

Kan AI aan een half woord genoeg hebben?

Wat hebben de testen opgeleverd?

AI, in dit geval generatieve AI met een LLM, lijkt niet in staat de mens te evenaren in het aan een half woord genoeg hebben. AI is ook niet in staat om een vervuilde database op te schonen.

Maar AI kan je wel helpen om algoritmes te ontwikkelen waarmee je de database gradueel kunt verbeteren. Dat lijkt een begaanbare weg.