Reductie in complexiteit


Een fascinerend aspect van de totstandkoming van de baanbrekende transformer architectuur (Google Brain team, 2017), sindsdien het dominante component in de huidige AI-revolutie, is het destijds streven naar meer eenvoud. De best presenterende architecturen daarvoor werden steeds complexer en dit zou je in eerste instantie ook verwachten richting het pad naar intelligente AI. De transformer architectuur is in ruwe vorm in minder dan 1000 regels code te schrijven (eenvoudig voor één developer) en toch tot verassend krachtige mogelijkheden in staat.

John Carmack (maker van o.a. game Doom, founder Keen Technologies) benadrukte vorig jaar in de Lex Fridman podcast nog maar eens dat de code voor AGI (Artificial General Intelligence) mogelijk eenvoudig zal zijn. En misschien is het zelfs zo dat de componenten hiervoor eerder zijn bedacht. Echter doordat de experimenten met neurale netwerken in de jaren 70 op bij wijs van spreken slechts 12 neurons konden plaatsvinden door gebrek aan computerkracht en data, kwamen deze niet tot zijn recht of zijn in vergetelheid geraakt door andere trends. En zo ook overschaduwt de transformer-trend misschien weer andere architecturen die tot AGI kunnen leiden.

Een fameuze uitspraak van Elon Musk is voor mij ook “Het beste proces is geen proces”. Het hangt uiteraard af van de use-case maar meer tussenlagen betekent doorgaans dat er op meer plekken iets mis kan gaan. En zeker als je dure raketten maakt, is dit onhandig.


Mijn beste innovaties tot nu waren de momenten waarop ik uitvond hoe ik processen opeens een stuk eenvoudiger kon maken. Hoe fijn is het als je een codebase kan halveren omdat je opeens veel meer en eenvoudiger kan? Dat maakt dat je met minder mankracht veel verder kan komen. Processen slimmer én eenvoudiger maken is een uitdaging maar dwingt je tot de beste ideeën.

Moraal van dit verhaal: Streven naar reductie in complexiteit speelt een belangrijke rol in innovatie. “Kan dit proces simpeler?” en “Waarom doen we dit überhaupt eigenlijk?” wordt regelmatig vergeten aan bedrijfstafels. Innovatie is soms de uitdaging van het weglaten.

Geplaatst 05-2023 in Company

Eerdere posts

Innovaties

Cornelistools B.V. is een techbedrijf waarbij innovatie een van de belangrijkste peilers is. Onze slogan is niet voor niks 'Next Generation Tools' omdat we met onze ontwikkelingen op het gebied van o.a. conversational AI willen voorlopen in relevante functionaliteit t.o.v. de huidige generatie producten. • (2023) Lees verder →

Richting Voice Marker II

In onze producten speelt taal een belangrijke rol. Zo maken we het met onze taaltechnologie het mogelijk dat kinderen educatieve spelletjes kunnen spelen met hun stem via voicebots, zetten we met taal- en dialoogtechnologie websites om naar de meest uitgebreide leerzame chatbots • (2023) Lees verder →

Streaming NLP

Traditionele Natural Language Processing (NLP)-systemen verwerken documenten op een gelaagde manier: In een zogeheten verwerkingsstraat ondergaat de tekst stap voor stap logische bewerkingen om tot het eindresultaat te komen, denk aan een rijtje dominostenen. • (2023) Lees verder →