Reductie in complexiteit
Een fascinerend aspect van de totstandkoming van de baanbrekende transformer architectuur (Google Brain team, 2017), sindsdien het dominante component in de huidige AI-revolutie, is het destijds streven naar meer eenvoud. De best presenterende architecturen daarvoor werden steeds complexer en dit zou je in eerste instantie ook verwachten richting het pad naar intelligente AI. De transformer architectuur is in ruwe vorm in minder dan 1000 regels code te schrijven (eenvoudig voor één developer) en toch tot verassend krachtige mogelijkheden in staat.
John Carmack (maker van o.a. game Doom, founder Keen Technologies) benadrukte vorig jaar in de Lex Fridman podcast nog maar eens dat de code voor AGI (Artificial General Intelligence) mogelijk eenvoudig zal zijn. En misschien is het zelfs zo dat de componenten hiervoor eerder zijn bedacht. Echter doordat de experimenten met neurale netwerken in de jaren 70 op bij wijs van spreken slechts 12 neurons konden plaatsvinden door gebrek aan computerkracht en data, kwamen deze niet tot zijn recht of zijn in vergetelheid geraakt door andere trends. En zo ook overschaduwt de transformer-trend misschien weer andere architecturen die tot AGI kunnen leiden.
Een fameuze uitspraak van Elon Musk is voor mij ook “Het beste proces is geen proces”. Het hangt uiteraard af van de use-case maar meer tussenlagen betekent doorgaans dat er op meer plekken iets mis kan gaan. En zeker als je dure raketten maakt, is dit onhandig.
Mijn beste innovaties tot nu waren de momenten waarop ik uitvond hoe ik processen opeens een stuk eenvoudiger kon maken. Hoe fijn is het als je een codebase kan halveren omdat je opeens veel meer en eenvoudiger kan? Dat maakt dat je met minder mankracht veel verder kan komen. Processen slimmer én eenvoudiger maken is een uitdaging maar dwingt je tot de beste ideeën.
Moraal van dit verhaal: Streven naar reductie in complexiteit speelt een belangrijke rol in innovatie. “Kan dit proces simpeler?” en “Waarom doen we dit überhaupt eigenlijk?” wordt regelmatig vergeten aan bedrijfstafels. Innovatie is soms de uitdaging van het weglaten.
Geplaatst 05-2023 in Company