Afgelopen jaar zijn we vanuit de directie gestart met het ontwikkelen een tweetal AI-chatbots. de chatbot genaamd Herman specifiek voor gestructureerde data (relationele database) en de chatbot Rachel gericht op interne ongestructureerde data (zoals procesdocumentatie voor de jaarrekening, voor- en najaarsnota, etc). Dit project bracht niet alleen technische uitdagingen met zich mee, zoals het werken met embeddings en LLMs, maar ook organisatorische obstakels. We liepen tegen veranderende kaders aan: welke processen moeten er gevolgd worden voor het toepassen van generatieve AI. Op welk niveau (directeur/wethouder) moet geaccordeerd worden in welk processtap? Welke professionals (ethiek, privacy, beveiliging, etc) moeten er betrokken worden bij het proces? Welke documenten moeten overlegd worden? Op het technisch vlak waren de vragen meer gericht op welke modellen geschikt zijn voor onze casus in het Nederlands. Welke embeddings dienen we te gebruiken in combinatie met welke chunks grootte? Hoe gaan we testen? De sessie biedt inzicht in d epraktische kant van AI binnen een overheidsinstantie (gemeente). We delen onze lessen, zowel technisch als organisatorisch en geven we een live demo voor de huidige chatbots.