Work in progress article. Written in Czech so far. Trochu jsem přemýšlel jak momentálně vidím současnost a budoucnost AI. Třeba jak vlastně vidím AGI. AGI je teda problém zadefinovat, ale někteří to teď definují AGI ekonomicky/behaviorálně/funkcionálně, jako např "Systém který dokáže udělat libovolnou činnost na počítači lépe než 50 percentil expert v dané oblasti." Což je do jistý míry vágní a blbě se to měří, ale používá se to. Přemýšlel jsem jak moc jsem pod touhle definicí "AGI pilled". I guess záleží. Můj celkový world view je teď to first approximation něco ve směru: Všechno je čistě fyzikální. Lidi jsou čistě fyzikální systémy, a lidská inteligence je součást fyzikální dynamiky mozku. Lidská inteligence není super speciální fyzikální systém, je to jenom další výsledek evoluce. V minulosti jsme částečně "zautomatizovali" části fyzikálních procesů, např části koňů přes auta, ptáky přes letadla, nějakou lidskou manuální práci přes nějaký industriální stroje a robotiku, různý výpočty přes kalkulačky, atd., ale v jistých smyslech jinak. AIčka jdou do jistý míry na podobný trajektorii. Momentálně vytváříme všemožný AI/ML systémy co mají jistý matematický podobnosti a odlišnosti s lidskou inteligencí. LLMs jsou podmnožina těchto AIček co je teď nejvíc hyped do čeho teď u researche a developmentu jde nejvíc resources. LLMs mají jistý podobnosti a odlišnosti s lidskou inteligencí. Ale tím jak jsou LLMs budovaný pořád jinak, i když s nějakýma podobnostma, tak máš ve výsledku jagged inteligenci, co řeší otevřený matematický problémy co se líp verifikují, a zároveň dělá ty nejstupidnější možný logický chyby u navrhováních jednoduchých skriptů co se hůř verifikují. To jak architektura, učící algoritmus, data atd. u LLMs a obecně deep learning systémů vypadá je ovlivěný miliardama incentivama, ne jen o pokus replikace lidský inteligence. Někteří chtějí vytvořit něco co působí či funguje co nejvíc jako člověk, další chtějí vyřešit různý vědy a matiky a inženýrství, další chtějí superprogramátora, další chtějí AIčko co developuje další AIčka, další prostě vydělat prachy, další získat moc, další jen čistě ze zvědavosti zkoumají prostor možných systémů zpracovávající informace, další generovat hypergoon material, glazing lidí, atd.. A různý kombinace. To dost formuje to jak ty systémy ve výsledku vypadají. A ty různý incentivy jsou driven vědomostmi z kognitivní vědy (neuronky mají historii v connectionismu), biologie (konvoluční sítě jsou inspirovaný vizuálním kortexem v mozku), fyziky (diffusion modely, fyzika gradientů), matiky (různý důkazy různých vlastností o matice pod neuronkama, třeba universal approximation theorem, teorie informace, apod.), filozofie (alignment problem), computer science (neuronky jsou directed acyclic graf, debatuje se turing completeness), teorie optimalizace (gradient descent), hardware engineering (efektivita na hardwaru), control theory (reinforcement learning, agents), software engineering (do jistý míry formuje agenty), psychologie, apod. A různý kombinace. To taky dost formuje to jak ty systémy ve výsledku vypadají. Tyhle incentivy tvoří hodně top down design, mezitím co lidská inteligence je v podstatě výsledek hloupý evoluce bez designera. Ale to platilo i u aut, letadel, dalších strojů, atd. A když tvoříme dosavadní AIčka, tak spíš tvoříme incentivy a necháváme ty neuronky "růst", tím jak gradient descent je takový search přes možný váhy neuronkových architektur, s emergentníma obvodama ve váhách, kde ty emergentní obvody lidi sami nedesignují, kterým pořádně zatím nerozumíme, což se snažíme reverse engineerovat přes mechanistic interpretability, což dost AIček liší od klasickýho symbolickýho softwaru. Myslím si že v principu můžeš vytvořit další fyzikální systém co bude, co se týče schopností, mít všechny intelektuální a možná fyzický schopností lidských systémů. Všechno je fyzika. Rád ještě vidím fyziku jako tvořenou z matiky, což ale pro tento argument není úplně potřeba. Lidský fyzikální systémy jdou popsat jistou matikou, a AIčka taky. Pokud jediný validní směr bude replikace matematiky za lidskou inteligencí, možná ani není potřeba replikovat hodně různých low level částí mozku, jako biologický neurony v celý jejich komplexitě, ale bude stačit jen nějaký high level algoritmy. Možná ale ne, může to být až moc těžký. V tom směru "AGI pilled" jsem. Ale či v praxi jdeme směrem AGI v incentivách kapitalismu a výzkumu? Nejsem si úplně jist. Je možný že se až moc zasekneme v nějakých paradigmatech, co "úplnou automatizaci" zamezí. Možná transformery a lineární attention a různý mutace jsou suboptimální. Možná neurony jako reálná čísla jsou suboptimální, i když násobení matic se tak hezky implementuje na dosavadních GPUs. Možná gradient descent a jeho varianty, cross entropy loss, reinforcement learning, agenti, atd. jsou suboptimální. Možná celý connectionism je suboptimální. Atd. Třeba se z těchto lokálních minim nedostanem a bude to bottleneck, ale třeba to bottleneck nebude, idk. Možná pořádnější řešení je někde schovaný ve výzkumu co nikdo pořádně nezná a nezkouší. Problém je v tom že máš software a hardware infrastrukturu, talent, firmy a investice optimalizovaný kolem určitýho paradigmatu, co nemusí být úplně správně nasměřovaný, a investice do pokoušení radikálnějších alternativ jsou často moc riskantní a/nebo drahá. Ale stejně se pokusy o riskantní alternativní paradigmata financují taky, třeba Ndea co dělá deep learning guided symbolic learning, a třeba z nich vzniknou i užitečný hybridní paradigmata. Třeba to bude relativně easy a jdem směrem AGI, ale třeba to bude mega hard a nejdem tím směrem. Možná se nebude dařit a celý to popne a nastane další AI winter. Nebo to bude pokračovat a bude teď dlouhá AI summer. Myslím si že realita bude někde mezi. A kdyby se zautomatizoval AI research, o co se velká část AI labs snaží, to by taky udělalo hodně. A pak taky máš další praktický bariéry. Můžeš mít AGI ale než se AGI všude začně používat a automatizovat tasky, tak to bude trvat dlouho. Regulace jsou všude. Legacy infrastruktura je všude. Hardware a software infrastruktura se musí adaptovat a to někdy trvá dlouho. U robotiky někdy musíš předělat velkou část firem designovaná pro lidi pro ty roboty. Elektrifikace továren trvala desítky let. Boomeři často netuší co se v AI světě dejě tím že to nesledujou, nebo to nedokážou zprastovat, nebo jsou clueless jak ty nástroje používat. Vybudovat fyzikální infrastrukturu jako data centra trvá dlouho. Edge cases a chybičky jsou všude. Třeba vlády zabanujou data centra co by byly možná potřeba, nebo celý LLMs. Atd. Možná budeš furt potřebovat lidský výzkumníky, inženýry, piloty, údržbáře, integrátory, učitele atd. AIček. Atd. Myslím, že budoucnost bude obsahovat velikou diverzitu všemožných typů AIček, který jsou různě jagged, různě superhuman a subhuman v různých dimenzích schopností s jinými profily, tím jak jsou a budou tvořený diverzní matematikou zpracovávající informace. Už teď je AlphaZero top v šachách, a LLMs ne. A možná třeba automatizovaný AI research bude vždycky ta schopnost co trpí jaggedness, tím že se vědecký paradigm shifty můžou hůř verifikovat, a nemusí se podařit vytvořit pořádně explorativní AIčka, ale možná ne. Uvidíme kam to např půjde dál v matice, kde to teď krativně řeší theoremy pomocí existující matematický mašinérie, ale zatím to nevytváří nový matematický teorie. A možná tuhle enormní diverzitu AIček budeme různě používat pro různý typy tasků. Ale možná jaggedness nakonec přestane existovat, idk. Ale lidi jsou taky jagged, třeba někteří autisti nedávaj sociální věci ale zase třeba rádi STEM, a někteří neurotypicals nemusí dávat STEM ale můžou dávaj sociální věci, ale tím jak sdílíme v podstatě skoro stejnou mozkovou architekturu, tak nejsme v porovnání mezi sebou až tak jagged. Takže řekl bych že jsem plně teoreticky AGI pilled. A s velkou nejistotou prakticky AGI pilled, a co se týče pravděpodobnostích timelines, možná zhruba log normal pravdepodobnostní distribuce s medianem za 15 let a se směrodatnou odchylkou 0.8. Takže zhruba 68% mý pravděpodobnosti je mezi 7 a 33 lety od dneška, a s dlouhým pravým ocasem směrem k mnohem pozdějším datům. Ale možná by byla lepší nějaká mixture distribuce s více peakama co se časem vzdalují a zmenšují, a s nenulovou pidi pravděpodbností u možnosti "nikdy". Mimo tuhle definici AGI se ve výkumu ale pokouší zadefinovat AGI víc mechanisticky, víc matematicky, než jen behaviorálně. But researchers can never really agree on definining what the fuck does AGI even mean. Many vague philosophical definitions sound nice, now try to define it more concretely, in a way thats measurable scientifically, in a more robust way, and captures what we want to capture. If you ask 1000 different scientists to define "AGI", "ASI", "true intelligence", "true understanding", "true thinking", "true reasoning", etc. philosophically, ideally also mathematically, and how to operationalize it, how to measure it empirically, how to evaluate it, all in both humans and AIs, then you will get 1000 different answers. But there are kind of some distinct and overlapping clusters in responses. Řeší se to pořád všechny ty roky. Někteří se snaží AGI/inteligenci definovat velkou část jejich kariéry. Někteří jsou naprosto přesvědčení že jejich existující definice inteligence/AGI je ta jedna jediná správná (a úplná), i když je opačná od jiných lidí co taky říkají že ta jejich je ta jediná správná, a říkají že ostatní jsou idioti co vůbec nechápou tu jedinou správnou fundamentální náturu inteligence. Někteří poslouchají všechny ostatní a myslí si že je víc pohledů validní, a někteří se snaží ty pohledy zesyntezóvat (to je příštup co je mi asi nejblíž). Někteří ty slova odmítají řešit celkově. Někteří jsou jakože "všechno tohle je pointless, shut up and build what just works using empirical alchemy". Atd. Je to chaos. Debaty. Nerdský tribalismus. Silný neshody. Částečný shody... Tady nějaký častý definice inteligence listují a debatují před rokem https://youtu.be/K18Gmp2oXIM?si=gr14Ff6kXJq6DGp-&t=174 Nejradši asi mám osobně tyto 3 definice inteligence: - "Intelligence measures an agent’s ability to achieve goals in a wide range of environments." - Shane Legg, Marcus Hutter, týpek za AIXI, zmatematizovaný přes theory of computation, algorithmic information theory atd. v 2007 v [Universal Intelligence: A Definition of Machine Intelligence](<https://arxiv.org/abs/0712.3329.) - "The intelligence of a system is a measure of its skill-acquisition efficiency over a scope of tasks, with respect to priors, experience, and generalization difficulty." - Francois Chollet, týpek za ARC-AGI, zmatematizovaný přes theory of computation, algorithmic information theory atd. v 2019 v [On the Measure of Intelligence](https://arxiv.org/abs/1911.01547) - "Intelligence of an information-processing system is the ability to adapt to its environment while operating with limited knowledge and computational resources." - Pei Wang, v 2019 v [On Defining Artificial Intelligence](<https://reference-global.com/article/10.2478/jagi-2019-0002>) Or here's 4613216498431 other definitions in case you happen to run out of them [A working list: Definitions of Artificial Intelligence and Human Intelligence](<https://www.agisi.org/Defs_intelligence.html>) or [Collection of Definitions of Intelligence](<https://arxiv.org/abs/0706.3639>) Nebo tady je debatují 5:08 s Davidem Krakauerem <https://youtu.be/dY46YsGWMIc?si=YJUv6OHS11AYoPpw&t=308> Nebo tady 31:41 s Karlem Fristonem <https://youtu.be/V_VXOdf1NMw?si=u_mTNfXyBMpXzZU8&t=1899> Nebo s Francois Cholletem <https://youtu.be/JTU8Ha4Jyfc?is=hTzh49NEk5YJEeZB> A ideálně by se všechny ty použitý koncepty měly co nejkonkrétněji zadefinovat. A testovat a měřit všechny tyto definice empiricky je šílený problém, nic pořádnýho neexistuje.