Aangezien LLMs een recente innovatie zijn, zijn er nog niet genoeg eenvoudige manieren om de voor- en nadelen ervan te begrijpen.
Ten eerste gaan LLM's geen mensen vervangen of het werk van mensen doen. De nauwkeurigheid van LLM's hangt sterk af van de gebruikte trainingsdataset. Hoe kleiner de dataset, hoe minder nauwkeurig de LLM zal zijn. LLM's kunnen met vertrouwen een antwoord geven op elke prompt, ongeacht of deze accuraat is of niet. Er moet dus rekening worden gehouden met de verantwoordelijkheid van de verificatie om problemen bij het gebruik van uw product door jouw klanten te voorkomen.
De nauwkeurigheidsvalidatie kan worden uitgevoerd met behulp van een raamwerk zoals evals, om het vertrouwen te vergroten dat LLM correcte antwoorden geeft voor een bepaald scenario. Dit raamwerk zal de LLM evalueren aan de hand van algemene patronen en bekende prompts. De moeilijkheid hierbij is dat je zelfs met evaluatie nooit zeker weet of de antwoorden accuraat zijn. Zoals eerder vermeld kun je proberen de nauwkeurigheid te verhogen door grotere modellen te gebruiken, maar dit heeft invloed op de prestaties.
Het integreren van LLM's kan vertraging en latentie introduceren in je gebruikersreis. Zelfs als je de snelste LLM gebruikt, wordt de vertraging groter naarmate het model en de context van de conversatie groter is. Je moet dus heel voorzichtig zijn met het toevoegen van LLM's aan je bestaande productflows.
Om LLM's succesvol te integreren in je product moet je rekening houden met de bovengenoemde beperkingen.
Wanneer de LLM's aan de productstroom worden toegevoegd, zullen ze zeker een extra latentiecomponent toevoegen. Denk dus goed na over in welke flows je gebruikers tolerant en geduldig zijn. Hierbij moet het probleem van de integratie van LLM's niet alleen worden gezien als een technische taak, maar ook als een verbetering van de gebruikerservaring. Als LLM of GenAI bijvoorbeeld wordt geïntroduceerd als onderdeel van een kritisch pad, kunnen gebruikers nog gefrustreerder raken van de trage responstijden. Zelfs als ze de prestatieproblemen tolereren, kunnen ze uiteindelijk last krijgen van hallucinatieproblemen.
Om de fouten veroorzaakt door hallucinaties te beperken, introduceer je expliciete validatie door een mens in kritieke workflows. Dit helpt om het vertrouwen van de gebruiker in je product te vergroten. Als je product niet schaalbaar is met het introduceren van verificatie door mensen, geef de gebruiker dan een optie om een validatie door een mens aan te vragen. Afhankelijk van het domein waarin je werkt, kan de menselijke variant zelfs wettelijk verplicht zijn. Wees je bewust van de juridische implicaties van gegenereerde antwoorden en geef duidelijk aan waar de verantwoordelijkheid ligt.
Tot slot, probeer de LLM's te gebruiken via cloudservices, het bouwen en trainen van LLM's is een zeer kostbare aangelegenheid. Als product wil je nieuwe functies zo snel mogelijk introduceren en valideren bij je gebruikers. Het is dus beter om API's te gebruiken zoals Claude, OpenAI die via Azure of Amazon worden aangeboden, dat gaat sneller dan het bouwen van je eigen model en het hosten ervan. Dit voegt alleen maar veel complexiteit toe aan je engineering zonder duidelijk voordeel voor je gebruikers.
LLM's en GenAI ontwikkelen zich snel tot nuttige technologieën om productjourneys te verbeteren. Als je ze integreert met de gebruikerservaring als uitgangspunt, kun je prachtige en succesvolle producten bouwen.
Heb je meer vragen over het implementeren van LLM's in je product of wil je meer weten over de voor- en nadelen? Stuur ons een berichtje op contact@datapebbles.com