Onderzoek naar Retrieval-Augmented Generators (RAG's) v2

Introductie

In het snel ontwikkelende veld van natuurlijke taalverwerking (NLP) vormen Retrieval-Augmented Generators (RAGs) een belangrijke vooruitgang. Voordat we dieper ingaan op RAGs, is het goed om kort de evolutie van taalmodellen te verkennen, van de vroege op regels gebaseerde systemen tot de moderne neurale netwerkbenaderingen.

Dit artikel zal een overzicht geven van de geschiedenis van taalmodellen, de technische werking van RAGs uitleggen, en hun toepassingen en impact bespreken.

De evolutie van taalmodellen

Vroege methoden
In de jaren 1950 en 1960 vertrouwden taalmodellen op op regels gebaseerde systemen, waarbij taalkundige experts handmatig regels opstelden voor het verwerken van taal. Een opmerkelijk voorbeeld is het ELIZA-programma van Joseph Weizenbaum, dat gesprekken nabootste door middel van patroonherkenning en gescripte antwoorden.
Naarmate de rekenkracht toenam, verschenen statistische modellen zoals n-grams en Hidden Markov Models (HMM's). Deze modellen gebruikten waarschijnlijkheden om het volgende woord in een reeks te voorspellen, maar hadden moeite met context en samenhang in langere teksten.

Marcin Wichary, Flickr CC BY 2.0

De opkomst van neurale netwerken
In de jaren 2000 vond er een verschuiving plaats toen machine learning en neurale netwerken opkwamen. Modellen kunnen nu leren van grote datasets en taalpatronen beter begrijpen.

Tussen 2001 en 2017 zagen we grote sprongen voorwaarts. Woordembeddings zoals Word2Vec (Google, 2013) en GloVe (Stanford, 2014) veranderden de spelregels door woorden te representeren in een continue vectorruimte, wat de begrijpelijkheid van woordrelaties verbeterde. Recurrente neurale netwerken (RNN's) en Long Short-Term Memory (LSTM) netwerken werden cruciaal voor het verwerken van sequenties en context. Sequence-to-sequence (Seq2Seq) modellen met aandachtmechanismen, geïntroduceerd door Google in 2014, verbeterden taken zoals vertaling en samenvatting door modellen in staat te stellen zich te concentreren op verschillende delen van de invoer.

Transformers: Een Revolutie
In 2017 revolutioneerden transformers de NLP met hun paper “Attention is All You Need.” Transformers maken gebruik van aandachtmechanismen om woordafhankelijkheden te begrijpen, waarbij ze hele zinnen in één keer verwerken. Deze innovatie leidde tot geavanceerde modellen zoals OpenAI’s GPT-3 en GPT-4, die bekend staan om het genereren van zeer accurate en contextbewuste tekst.

Inleiding tot Retrieval-Augmented Generators (RAGs)

Ondanks hun geavanceerde mogelijkheden kunnen modellen zoals GPT-3 en GPT-4 moeite hebben met taken die actuele informatie of domeinspecifieke kennis vereisen. Retrieval-Augmented Generators (RAGs) lossen deze beperkingen op door retrieval-gebaseerde en generatieve modellen te combineren.

Hier is een overzicht van hoe RAGs werken en hoe je ze kunt voeden.

Hoe Werkt RAG?

• Gegevens Laden: Verzamel alle relevante documenten met behulp van documentloaders.
• Tekst Splitsers: Verdeel de gegevens in kleinere, beheersbare secties.
• Embeddings: Zet deze secties om in vectorrepresentaties met behulp van taalmodellen.
• Vector Database: Sla deze embeddings op in een vectordatabase.

• Retrieval: Gebruik de zoekopdracht van de gebruiker om relevante informatie uit de vectordatabase op te halen.
• Taalmodel (LLM): Combineer de opgehaalde informatie met de zoekopdracht en voer deze in een LLM.
• Antwoordgeneratie: Het LLM genereert een antwoord op basis van de opgehaalde context en de zoekopdracht.

Je RAG-systeem Voeden
Het voeden van een Retrieval-Augmented Generation (RAG) systeem omvat verschillende belangrijke stappen om ervoor te zorgen dat het systeem beschikt over een rijke en diverse dataset waaruit het kan putten en efficiënt antwoorden kan ophalen en genereren.

Basic High Level RAG Flow

Gegevensverzameling: De eerste stap is het verzamelen van alle relevante gegevens die nodig zijn voor je doel.

Begin met het verzamelen van een groot aantal documenten die betrekking hebben op de onderwerpen die uw RAG systeem moet behandelen. Deze documenten kunnen van verschillende plaatsen komen, zoals webpagina's, databases, bestanden en API's.

Gegevenschunking: Nadat je de documenten hebt verzameld, verdeel je ze in kleinere, beter beheersbare secties of "chunks." Deze stap zorgt ervoor dat elk stuk data efficiënt kan worden verwerkt.

Voordelen van Gegevenschunking

• Efficiënte Verwerking: Het systeem kan elk chunk efficiënt verwerken en zich richten op relevante details zoals artistieke interpretaties of historische contexten.
• Nauwkeurige Ophaling: Wanneer een gebruiker vraagt naar specifieke aspecten zoals symboliek of achtergrond van de kunstenaar, kan het systeem snel de meest relevante informatiechunks ophalen en presenteren.

Je kunt tools en algoritmen gebruiken om tekst op te splitsen in logische chunks, zoals alinea's of zinnen.

Embeddings: Zet deze gegevenschunks om in vectorrepresentaties, ook wel embeddings genoemd. Embeddings vangen de semantische betekenis van de tekst, waardoor het systeem gebruikersqueries kan begrijpen en afstemmen op de meest relevante informatie op basis van betekenis, in plaats van alleen op zoekwoorden.

Deze embeddings vangen de semantische betekenis van de tekst en maken efficiënte similariteitszoekopdrachten mogelijk.

Opslaan in een Vector Database: Sla de berekende embeddings op in een vectordatabase zoals FAISS, Milvus of Chroma, die is geoptimaliseerd voor het opslaan en ophalen van vectoren met hoge dimensies.

Omgaan met Gebruikersqueries: Wanneer een gebruiker een query indient, wordt deze ook omgezet in een embedding. Het systeem vergelijkt vervolgens de query-embedding met de documentembeddings en haalt de meest relevante chunks op met behulp van similariteitsmaatregelen zoals Cosine-similariteit of Euclidische afstand.

Relevante Informatie Ophalen: De query-embedding wordt gebruikt om de vectordatabase te doorzoeken naar de meest relevante gegevenschunks. Dit ophalen vindt de gegevenschunks die semantisch het dichtst bij de query liggen.

Antwoorden Genereren: De opgehaalde tekstchunks en de gebruikersquery worden ingevoerd in een groot taalmodel (LLM) zoals GPT-4 om het uiteindelijke antwoord te genereren. Het LLM gebruikt deze informatie om een samenhangend en nauwkeurig antwoord te creëren, dat vervolgens aan de gebruiker wordt gepresenteerd.

Voorbeeld
Stel je voor dat je een op maat gemaakt RAG-systeem creëert, speciaal ontworpen voor kunstgeschiedenis-enthousiastelingen. Iemand vraagt: “Wat is het verhaal achter Sandro Botticelli’s schilderij ‘De Geboorte van Venus’?” Jouw systeem gaat aan de slag. Het doorzoekt een schat aan bronnen zoals kunstgeschiedenisboeken, museumarchieven en wetenschappelijke artikelen; allemaal gevuld met rijke analyses en historische informatie over dit kunstwerk.

Je RAG-systeem organiseert deze documenten in kleinere stukjes terwijl het informatie verzamelt. Bijvoorbeeld, een gedetailleerd wetenschappelijk artikel kan worden verdeeld in beheersbare delen. Elk hoofdstuk behandelt verschillende aspecten, van de symboliek van Venus tot de diepere betekenissen die in de afbeelding van de zee zijn verweven.

Zie het zo: In deze teksten worden zinnen die beschrijven hoe Venus gracieus uit de zee opkomt of de symboliek van de schelp onder haar voeten, gedestilleerd tot gemakkelijk te verwerken stukjes informatie.

• Alinea-niveau Chunking: Een sectie die de symboliek van het schilderij behandelt, kan worden opgesplitst in alinea's, waarbij elke alinea verschillende elementen bespreekt, zoals de representatie van Venus en de symboliek van de zee..
• Zinsniveau Chunking: Binnen deze alinea's worden individuele zinnen opgesplitst in chunks zoals “Het schilderij toont Venus, de godin van de liefde, die uit de zee oprijst” en “Ze staat op een schelp, wat haar geboorte uit het zeefoam symboliseert.”

Basic RAG Flow with an Example

Wanneer iemand een vraag stelt over het schilderij “De Geboorte van Venus,” komt het RAG-systeem in actie en verzamelt informatie uit zijn repository van kunstgeschiedenisboeken, museumarchieven en academische artikelen. Vervolgens formuleert het een antwoord: “In Sandro Botticelli’s ‘De Geboorte van Venus’ rijst de godin Venus op uit de zee op een schelp, wat haar geboorte symboliseert en de idealen van schoonheid en puurheid belichaamt.”

Dit antwoord vat de kern van het kunstwerk samen en biedt een kijkje in de symboliek en culturele betekenis ervan.

Conclusie
Het voeden van een RAG-systeem omvat verschillende belangrijke stappen: het verzamelen van diverse documenten, het opsplitsen in beheersbare chunks, het genereren van embeddings en het opslaan van deze embeddings in een vectordatabase. Dit proces zorgt voor een efficiënte afhandeling van queries en het ophalen van relevante informatie, waardoor samenhangende antwoorden kunnen worden gegenereerd met behulp van geavanceerde taalmodellen.

RAGs zijn echter niet zonder uitdagingen. Ze vereisen uitgebreide, hoogwaardige data, aanzienlijke rekenkracht en regelmatige updates om de relevantie van de vectordatabase te behouden. Bovendien, hoewel RAGs uitblinken in het produceren van contextueel accurate antwoorden, kunnen ze moeite hebben met het genereren van creatieve of genuanceerde inhoud die verder gaat dan de opgehaalde data.

Ondanks deze nadelen hebben RAGs een diepgaande impact op verschillende toepassingen, waaronder klantenservice, technische ondersteuning en contentcreatie. Hun vermogen om nauwkeurige en contextueel passende antwoorden te leveren, maakt hen tot onmisbare tools. Naarmate de technologie verder vordert, zullen de mogelijkheden en toepassingen van RAGs uitbreiden, waardoor hun essentiële rol in de toekomst van NLP wordt versterkt.