Kleine handen dragen veel werk.


Large Language Models (LLMs) hebben de populariteit en inzet van AI een flinke boost gegeven, maar ook zien we dat LLMs nu worden ingezet voor taken waar het veel handiger is juist een klein toegespitst AI model in te zetten. Of eigenlijk de “saaie” AI toepassingen die we al jaren kennen. Wat afwegingen op een rij:

Prestaties en duurzaamheid

Fijn als een model ook schaakmeester is of alle cactussen van de wereld kent, maar uiteindelijk draait het erom dat een AI-model die ene specifieke taak kan uitvoeren die belangrijk is voor jouw bedrijf en dan is al die andere kennis vaak niet van belang. Sterker nog, grote taalmodellen snappen niks van jouw bedrijf. Toegespitste/narrow AI modellen worden getraind voor één taak en dat maakt deze modellen zeer goed in het uitvoeren van gewoon die ene taak. Is dat voldoende? Dan kunnen de voordelen liggen op snelheid, kosten en duurzaamheid. Het finetunen van een groot taalmodel voor maar één specifieke taak, is eigenlijk zonde van al die de resources!


“A very small cute robot lifts a large box above its head”

Kostenbeheersing

Een groot taalmodel is best dure technologie. Tenminste, afhankelijk van hoe je het toepast. Voor persoonlijke productiviteit of adhoc taken zijn de voordelen helder, maar met name op de repeterende schaal en volume van bedrijfsprocessen kunnen de kosten flink oplopen. Een LLM inzetten om bijvoorbeeld je zoekmachine te verbeteren? Opeens kan het bezoekvolume je honderden of duizenden euro’s meer kosten, waar daarvoor die kosten er nog niet waren. Is de business case of de kosten-batenafweging er wel? Mooi! Let wel, een toegespitst AI model of Small Language Model (SLM) kan in diverse gevallen dezelfde prestaties leveren, onder lagere repeterende kosten.

Bedrijfscontinuïteit

Vind je een Whatsapp storing al vervelend? De kans is groot dat er in de toekomst meer bedrijven zullen stilliggen bij een OpenAI storing, omdat steeds elementairdere bedrijfsprocessen worden geautomatiseerd. Taken die je automatiseert met een LLM, zijn niet makkelijk vervangbaar. Immers besteed je een stukje ‘intellectueel werk’ uit in een systeem dat dan weer terugvalt naar specifieke (kennis-)medewerkers en IT zal dit niet kunnen oplossen. Bedrijven moeten dus goed inventariseren welke processen geautomatiseerd worden en wat de impact bij uitval daarvan is. Kleinere AI-modellen zijn zelf te beheren, te repareren en makkelijker redundant (dubbel) uit te voeren, waardoor de impact op storingen wordt geminimaliseerd. Blijft jouw bedrijf veilig doordraaien.

Bedrijven zullen bij de inzet van grote taalmodellen moeten afwegen of de inzet van het grote model opweegt t.o.v. de mogelijkheden die kleinere toegespitste AI-modellen opleveren. Hulp bij deze afweging nodig of ben je benieuwd hoe je een kleine of grote modellen efficiënt inzet op de juiste plek? Daar weten wij natuurlijk alles van :)

Geplaatst 01-2024 in LLMs

Eerdere posts

Tekstverbanden verbeteren met wereldkennis

Stel ik leg aan een verzekeraar de situatie uit: “Ik ben met mijn auto gebotst [...] De ruit heeft lichte schade opgelopen.” Dan begrijpen wij mensen dat met “de ruit”, “de ruit van de auto” wordt bedoeld en dat schade het gevolg is van de botsing. • (2023) Lees verder →

Article Discovery: Schonere data door automatische artikeldetectie

In veel projecten met conversational AI en taalverwerking in het algemeen speelt content-aggregatie een belangrijke rol. De vaardigheid van een AI-systeem wordt beïnvloed door de content (data) die je in het systeem kunt stoppen en het is belangrijk dat dit kwalitatief en met structuur gebeurt. • (2023) Lees verder →

Het (verborgen) belang van het lidwoord in taaltechnologie.

In de Nederlandse taal zijn onze lidwoorden (de, het, een) een van de meest voorkomende woorden. Ze worden gebruikt om een zelfstandig naamwoord te introduceren en komen daardoor in vrijwel iedere zin wel voor. • (2023) Lees verder →