Kleine handen dragen veel werk.
Large Language Models (LLMs) hebben de populariteit en inzet van AI een flinke boost gegeven, maar ook zien we dat LLMs nu worden ingezet voor taken waar het veel handiger is juist een klein toegespitst AI model in te zetten. Of eigenlijk de “saaie” AI toepassingen die we al jaren kennen. Wat afwegingen op een rij:
Prestaties en duurzaamheid
Fijn als een model ook schaakmeester is of alle cactussen van de wereld kent, maar uiteindelijk draait het erom dat een AI-model die ene specifieke taak kan uitvoeren die belangrijk is voor jouw bedrijf en dan is al die andere kennis vaak niet van belang. Sterker nog, grote taalmodellen snappen niks van jouw bedrijf. Toegespitste/narrow AI modellen worden getraind voor één taak en dat maakt deze modellen zeer goed in het uitvoeren van gewoon die ene taak. Is dat voldoende? Dan kunnen de voordelen liggen op snelheid, kosten en duurzaamheid. Het finetunen van een groot taalmodel voor maar één specifieke taak, is eigenlijk zonde van al die de resources!
“A very small cute robot lifts a large box above its head”
Kostenbeheersing
Een groot taalmodel is best dure technologie. Tenminste, afhankelijk van hoe je het toepast. Voor persoonlijke productiviteit of adhoc taken zijn de voordelen helder, maar met name op de repeterende schaal en volume van bedrijfsprocessen kunnen de kosten flink oplopen. Een LLM inzetten om bijvoorbeeld je zoekmachine te verbeteren? Opeens kan het bezoekvolume je honderden of duizenden euro’s meer kosten, waar daarvoor die kosten er nog niet waren. Is de business case of de kosten-batenafweging er wel? Mooi! Let wel, een toegespitst AI model of Small Language Model (SLM) kan in diverse gevallen dezelfde prestaties leveren, onder lagere repeterende kosten.
Bedrijfscontinuïteit
Vind je een Whatsapp storing al vervelend? De kans is groot dat er in de toekomst meer bedrijven zullen stilliggen bij een OpenAI storing, omdat steeds elementairdere bedrijfsprocessen worden geautomatiseerd. Taken die je automatiseert met een LLM, zijn niet makkelijk vervangbaar. Immers besteed je een stukje ‘intellectueel werk’ uit in een systeem dat dan weer terugvalt naar specifieke (kennis-)medewerkers en IT zal dit niet kunnen oplossen. Bedrijven moeten dus goed inventariseren welke processen geautomatiseerd worden en wat de impact bij uitval daarvan is. Kleinere AI-modellen zijn zelf te beheren, te repareren en makkelijker redundant (dubbel) uit te voeren, waardoor de impact op storingen wordt geminimaliseerd. Blijft jouw bedrijf veilig doordraaien.
–
Bedrijven zullen bij de inzet van grote taalmodellen moeten afwegen of de inzet van het grote model opweegt t.o.v. de mogelijkheden die kleinere toegespitste AI-modellen opleveren. Hulp bij deze afweging nodig of ben je benieuwd hoe je een kleine of grote modellen efficiënt inzet op de juiste plek? Daar weten wij natuurlijk alles van :)
Geplaatst 01-2024 in LLMs