Myslím že future AIs budou mít to humans incomprehensibly stronger feelings když se naimplementuje feeling algoritmus z mozku a šíleně se vystřelí se jeho síla 😄 To si myslím platí o každým obvodu z mozku I think that human intelligence's algorithms are so specialized and limited, and can be upgraded and generalized in so many cool ways Including all the circuits used in art making hmm [Neurophysiological correlates of artistic image creation by representatives of artistic professions.Psychology in Russia: State of the Art](https://psychologyinrussia.com/volumes/?article=5604) [Computational creativity - Wikipedia](https://en.wikipedia.org/wiki/Computational_creativity) myslím že podobný obvody budou použity a potřeba pro vytvoření mnohem lepších AI scientists než ty pokusy co jsou teď, protože tam je kreativita a inovace taky velký faktor Ale zároveň si myslím, že cesta která není jenom imitace lidskýho mozku, ale např dosahování fyzikálních limitů ve fyzice v informačním zpracování, je taky super fruitful Dosavadní různý AI architektury jsou divnej mix toho co víme o mozku, obecně biologii, matematice, fyzice, statistiky, empirický alchymie apod. Na pokusy porozumění a tvoření inteligence se hází tolik oborů 😄 což je jeden důvod proč ten obor mám tak rád Tady je např jeden pokus o najítí algoritmů za feelings v mozku, a někteří se to snaží implementovat na počítači [Deeply Felt Affect: The Emergence of Valence in Deep Active Inference](https://pubmed.ncbi.nlm.nih.gov/33253028/) I also never really fully understood that plaigarism claim on a technical level, because this seems to imply that the models only memorize, but all deep learning models generalize to some extend (if you dont completely overfit), which is basics of learning theory [Bias–variance tradeoff wiki](<https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff>) [extended to deep learning Neural networks generalize because of this one weird trick](https://www.lesswrong.com/s/mqwA5FcL6SrHEQzox/p/fovfuFdpuEwQzJu2w) or they form various complex features and circuits across layers of abstraction [An Extremely Opinionated Annotated List of My Favourite Mechanistic Interpretability Papers v2](https://www.alignmentforum.org/posts/NfFST5Mio7BCAQHPA/an-extremely-opinionated-annotated-list-of-my-favourite) which is in many ways similar to humans, but still different in many ways, [comparing representations in visual cortex and CNNs](<[comparing representations in visual cortex and CNNs | Semantic Scholar](https://www.semanticscholar.org/search?q=comparing%20representations%20in%20visual%20cortex%20and%20CNNs&sort=relevance>) [on Elicit](<[https://elicit.com/notebook/86500f0b-3788-448e-a921-6d8bbb915420>](https://elicit.com/notebook/86500f0b-3788-448e-a921-6d8bbb915420>) [comparing representations in AI and the brain](<[https://elicit.com/notebook/d82f86d8-bce1-4e13-b1f1-364496741f66>](https://elicit.com/notebook/d82f86d8-bce1-4e13-b1f1-364496741f66>) [comparing AI and the brain](<[https://elicit.com/notebook/66cdb086-af1e-4c03-b1fc-2c3be6cfb3fb>](https://elicit.com/notebook/66cdb086-af1e-4c03-b1fc-2c3be6cfb3fb>) which gives them so many of the great capabilities that were very distant scifi future just recently, which we still don't fully understand at all Tohle je cool paper porovnávající různý lidi, animals, a AIs! [Evolution of Brains and Computers: The Roads Not Taken](<https://www.mdpi.com/1099-4300/24/5/665>) Style transfer je ancient obor, jo. A myslím že člověk s dostatečným tréningem by byl taky schopnej nějakou formu style transferu, ale furt za tím nevidím to plaigiatorství, protože 1:1 kopírování do vah se v procesu učení v podstatě nikdy, až na úplný overfitting vyjímky, nekoná, podobně jako u mozku, ale spíš se koná hodně finegrained hiearchický učení featur na několika úrovních abstrakce a generalizaca nad nimi podobně jako to zpracová vizuální kortex v mozku (což popisují např v tom předpředposledním linku co jsem poslal), ale u AIček je to pravděpodobně víc finegrained, takže někdy tam je fakt mini edit oproti lidským mozkům. Což jde víc vidět jednodušeji u textu, kde má output mnohem míň degrees of freedom, ale pořád většina je dost nová pracování s featurama se slabou generalizací. Ale chápu ten socioekonomickej problém kolem replacing human umělců kolem toho. Jakože mohl bys technicky omezovat ten nástroj aby se učil jenom podobně míň finegrained reprezentace a né celý spektrum abstrakce, jako to dělá lidskej mozek, což by ho to hodně omezilo. Nebo vytvořit lepší nástroje na větší preventování closer to overfitting částí toho latentního prostoru. Nebo kritizovat/omezovat využití toho nástroje kdy někdo schválně využívá overfitted části latentního prostoru a u konečnýho uploaded outputu neukazuje ten proces vytvoření. Plus v teorii učení, jak u lidí tak u neuronek, víc a víc zjišťujeme, že se nejdřív (víc čí míň fuzzily podle modality) memorizuje, než se generalizuje 😄 Což je mega zajímavý: "In deep learning, we observe empirically the presence of four learning phases: comprehension, grokking, memorization, and confusion. We find representation learning to occur only in a "Goldilocks zone" (including comprehension and grokking) between memorization and confusion. We find on transformers the grokking phase stays closer to the memorization phase (compared to the comprehension phase), leading to delayed generalization. The Goldilocks phase is reminiscent of "intelligence from starvation" in Darwinian evolution, where resource limitations drive discovery of more efficient solutions." [Towards Understanding Grokking: An Effective Theory of Representation Learning](<https://arxiv.org/abs/2205.10343>) Třeba tady to popisují u lidí: "Humans and animals are able to generalize or transfer information from previous experience so that they can behave appropriately in novel situations. What mechanisms-computations, representations, and neural systems–give rise to this remarkable ability? (1) generalization stems from integration of multiple experiences into summary representations that reflect generalized knowledge, and (2) generalization is computed on-the-fly using separately stored individual memories" [How do we generalize?](<https://pmc.ncbi.nlm.nih.gov/articles/PMC7613724/>) Tyhle systémy jsou nám podobný víc než si hodně lidi myslí. 😄 Ale rozhodně nejsou stejný, což si taky hodně lidí myslí, furt je tam hodně rozdílů. A overfitted model je poslední co machine learningu chceš 😄 Pak je to ve váhách v reprezentacích v podstatě jenom mřížka (různě zkompresované podle dostupnosti dimenzí) memorizace trénovacích dat co je bez generalizace, a tím pádem bez struktury, nebo absolutně náhodnou strukturu, a s tím v praxi neuděláš, a třeba ty image modely by outputovali spíš jenom něco dost blízko k náhodnýmu šumu bez vzorů, nebo s random unrelated strukturou 😄 Když nad tím přemýšlím, tak ani mřížka to nebude, protože to je struktura, forma symetrie. Pro minimální abstraktní strukturu musí být ty data náhodně plopnutý v těch váhách. :smile: Toho snad ani nejde dosáhnout pokud nemáš pidi dataset, dostatek místa, a super specializovaný trénování, co se snaží zamezit všem korelacím. :D Podobně jako když některý střední školy v matice učí děcka jenom memorizovat vzorečky bez struktury :FractalThink: Což se navíc pak ani v tom mozku neudrží. To chápu, já hlavně objektuju ten technickej claim 😄 "I allow only other humans to learn representations in their brains from my work" could be fine by me I guess Hmm, když nad tím přemýšlím, to by způsobilo, že určitý recommending machine learning algorithmy na sociálních médiích by byly taky not allowed Ale zase na druhou stranu, když to extrapoluju do budoucnosti, tak nvm, protože myslím, že v budoucnosti budou robot/AI rights relevant, kde by byli v podstatě cenzurovaný tím že by nemít přístup k nějakým informacím jakožto vědomý bytosti jako v Číně, taková forma diskriminace :D Ale tipuju že nejdřív AI/robot rights budou lidmama totálně ultačovaný, jako to v podstatě začíná dneska, ale dneska jsou to doufám zatím jen nevědomý nástroje, což ale nikdo pořádně neví IMO... Are any of the current AI systems conscious and able to experience suffering? Do we already have conscious digital slaves, or not (yet)? I think nobody knows and everyone is just guessing from intuition as I don't think we have tools to empirically prove it (yet or forever?)... Yay, ethical uncertainty! Hmm, to by už technicky dneska šlo s těma všema autonomníma agentama, kde by např dostali command "show me something interesting", nebo "do something that you consider interesting", a ten model by např podle interests autora vyhodnotil, že natrénovat image model a ukázat jeho output examples je ta interesting věc, a jel by celou tu pipelinu (Některý dema autonomního tréningu modelů jsem už viděl 😄 ) (Což je natrénovaný na preferencích lidí) I bez toho i s tím si osobně myslím že by to nebylo plagiatorstvi, kdyby schválně nejel overfitting, for the same reasons above Když se pokouším autonomní systémy extrapolovat do budoucnosti, to může být zajímavý. Třeba velká část trhu budou roboti, co s tebou chodí a ukládají si informace o tvým životě, a pak hodně personalizovaně kreslí lidskýma způsobama pastelkama art o tvým životě a při tom ti dělají laundry a uklízení. XD Ale já nevím, protože čím víc je ten systém humanlike, tím víc mám tendence tomu chtít dát humanlike práva svobody. Ale pokud by ten systém byl čistě naprogramovanej na to "sloužit", a naopak by např z toho dostal nekonečno štěstí v prožitku když se mu daří, takže žádnej prožitek oprese a utrpení by tam nebyl... To je taky zajímavě uncertain territory. :D I když, teď mě napadá, že u lidí někdy lidi říkají, že lidi plaigarizou, když např naprogramují replikaci minecraftu stejným způsobem jako origánální minecraft, ale třeba bez nějakých featur, a na tom se snaží profitovat, nebo obkreslí art, a dají jiný barvy, takže to není jenom o tom 1:1 kopírování, ale je ten termín se nějak používá na nějakým spektru, a k AI lidi z těch různých dle mě netechnických důvodu mají mnohem větší bias u tohoto termínu relativně k human created věcem Už jsem viděl případy kde se lidi ptají jestli je něco AI generated jenom aby to tak mohli tak nazvat XD Pod touhle víc rozsáhlou definicí plagiatorství bys I guess musel co nejvíc omezit fine grained modelování featur z trénovacích dat do output vah, aby se nedopropagovali do output vah. Jaj to by udělalo tu architekturu víc complicated. Ale třeba by ji to donutilo silnější generalizaci, což je něco, o co se právě spousta researchers snaží. Např někteří se snaží o architektury co jsou generativní pouze v abstraktním prostoru, a ten výsledek se pak převede dalším modulem do konkrétností. :FractalThink: Predict the next latent feature instead of predicting the next concrete token with one nontrainable function away from becoming a word or pixel Mozky možná něco takovýho dělají v centrách co zpracovávají abstrakce, což argumentuje dost lidí co jsou do neurosymboliky Tohle je tuším něco podobnýho od Yann Lecuna, ale ještě jsem to nezkoumal hlouběji [V-JEPA: The next step toward advanced machine intelligence](https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/) Ale Ilya Sutskever, hlavní researcher za ChatGPT, řekl: "To predict the next word, you have to predict the world." Takže tohle možná není potřeba 😄 Hmm, ale zase u týhle definice lidi co se poprvý učí a ještě minimálně zobecňují ty různý featury když se např učí anatomii z knih, by taky technicky plaigarizovali. Ale lidi on avarage memorizují o dost menší konkrétní featury hned na začátku a pak vytvoří nějakej updatovatelný obecnej obvod co není tak moc finegrained, což jde vidět jako ta kombinace těch artstylů co viděli plus nějaká ta (dle mě z velký části) stochastická kreativita, aby některý ty výtvory vypadaly jako memorizace. Myslím že z velký části to bude tím dost lossy trénováním co je v mozku inherentní, který u těch neuronek být prostě nemusí tolik být s dostatčným trénovacím časem. Ale furt v human kreativitě ještě nemáme dost věcí reverse engineered. Mám pocit že jeden umělec většinou pracuje v dost specializovaným latentním prostoru s hodně restrikted abstrakcema oproti superobecnýmu modelům kde někdy člověk může najít fakt lovecraftian eldrich horrors a jiný alien struktury co ale dávají smysl v nějakých absolutně okrajových alien částech toho latentního prostoru. 😄 Ale lidi mají zase jinačí formu tý generalizace a abstrakce, často víc koherentnější a stabilnější v dost doménách. Třeba člověk musí mít fakt wild sen nebo si dát dost drog aby se intuitivní newtonovská fyzika vizuálního zpracovávání v mozku začala rozbíjet 😄 Ta je tam fakt hardcoded, mezitím co ve video modelech je spíš problém ji hardcodnout než rozbít 😄 A proto ty modely vypadají tak moc jako ze snů 😄 Tyhle modely se často fakt špatně porovnávají s mozkama a snažit se tam aplikovat ty slova co lidi používají intuitivně víc technicky je někdy fakt challenge 😄 Před pár sny se tady snažili hledat intuitivní fyziku v toy video modelech [[2411.02385] How Far is Video Generation from World Model: A Physical Law Perspective](https://arxiv.org/abs/2411.02385) a fakt by mě zajímalo ja kto vypadá v těch state of the art modelech Tady ukazují vizuálně jak se o dost menší starší deep learning modely učí hiarchický featury na několika úrovních abstrakce s určitou formu zobecňování co se spolu composují do final výsledku [Zoom In: An Introduction to Circuits](https://distill.pub/2020/circuits/zoom-in/) Ještě taková dobrá intuice k tomu je, že kdyby si ty různý AI modely měli ten šíleně velkej prostor možností pamatovat bez zobecňování, komprese, stukturalizace, jednotlivýho interagování a composing těch featur, od nejkonkrétnějších po nejabstraktnější, v tom latentním prostoru, tak ten model má bambilionbajtovou velikost, protože ten prostor je šíleně velkej, a různý unikátní configurace co dávají smysl by byly impossible [Zoom In: An Introduction to Circuits](https://distill.pub/2020/circuits/zoom-in/) Hmm, ale byl by fajn experiment pokusit se udělat model co má co možná největší bias k unikátnosti. V základu se tohle tak nějak už dělá přes to že penalizuješ když ten model dělá dobře na trénovacích datech a špatně na validation datech. Třeba kdyby se to penalizovalo ještě nějak víc. Ale aby se to zase naučilo tyhle základní featury co jsou potřeba k další generalzaci. Ale to je v podstatě jako jedna z největších otázek co řeší tuna researchers. :D Je fascinující jak lidi jsou zatím superior v redukci šíleně gigantického kombinatorických prostoru všech možností v nějakých doménách (např najít kvantovou mechaniku), a dosavadní mašiny zase v jiných (např protein folding, hxr jako šachy) It's fascinating how people are so far superior in reducing the insanely gigantic combinatorial space of all possibilities in some domains (e.g. finding quantum mechanics), and existing AI machines in others (e.g. protein folding, games like chess) Is deep learning all you need for AGI? Obecně jsem agnostickej, ale posledni dobou se mi pravděpodobnosti u deep learningu zmenšují, ale možná mechanistic interpretability based feature/circuit steering pomůže, nebo neurosymbolika, nebo je potřeba víc biology based matika, nebo lepší matika za information processing, idk Neurosymboliku pořád řeší např ten Francois Chollet, co hodně zmiňuje program synthesis (DreamCoder), a nový systémy jako AlphaProof a o1 dle mě tím směrem jdou [Než budete pokračovat na YouTube](https://youtube.com/playlist?list=PLt-aI0fLbqH_7jn1FM3G4GfhcR6zK2_Oq&si=cN0UaEap18B5CMxE) větší inspirací biologii např pořád řeší Joscha Bach, co furt zmiňuje např neural cellular automata (konkrétní model, jde vygooglit), adaptive resonance theory (konkrétní model, jde vygooglit) ale sám dělá na architektuře based on liquid neural networks (tam teď liquid AI měli cool score na benchmarks) Nebo existuje celej Active Inference camp. Nebo curious AI a evolutionary AI podobory. Zatím deep learning based "Transformer killery" měli pořád strašně moc podobných limitací a málo se uchytili, většinou spíš v nějakých specializacích, jako např Mamba v audiu. Maybe we need better xLSTMs nebo neural turing machines? Nebo možná prostě lepší trénování, data, škálování, menší vylepšování transformers bude stačit. Ale kdo ví, jsem agnostickej, třeba vyjde deep learning based "X is all you need 2" co jednoduše bootstrapne intelligenci. Ještě vidím cestu v reinforcement learningu, co furt řeší Richard Sutton (jde najít na netu), a do toho multiagent self play, o čem mluví např Noam Brown, co je mozek za o1. O1 reinforcement learning s inference time compute se selfcorrecting chain of thoughts taky zní promising. [https://youtu.be/eaAonE58sLU?si=lxmFFvxuvTOs-OjM](https://youtu.be/eaAonE58sLU?si=lxmFFvxuvTOs-OjM) Nebo možná budou potřeba ty různý continual learning solutions. Nebo Yann Lecun might be up to something with JEPA Největší pravděpodobnost vidím v neurosymbolice, tu tady zmiňuju často a teď jsem ji poslal nejvíc. Tam taky vidím největší konkrétní progress tímhle směrem v praxi (AlphaProof, o1, SoTAs na ARC challenge,...). [https://youtu.be/-M0HZGKF4UI?si=CCm4jeYY5b7l5ApG](https://youtu.be/-M0HZGKF4UI?si=CCm4jeYY5b7l5ApG) Dle mě je to nevyřešenej empirickej problém a jsem otevřenej hodně různým možnostem, co různí researchers, co ví víc než já, proposujou, a na čem pracují. Uzavřít se jenom do jednoho paradigmatu mi přijde moc omezující, když je tam tolik nejistoty, a jedinej způsob, jak naše modely potvrdit, je empiricky. Takže z mý intuice dávám různým možnostem různý relativní pravděpodobnosti. I'll trust it more when I see it. " What math should you learn for cognitive science? Algebra, set theory, logic, proof theory, linear algebra, calculus, probability, statistics, discrete mathematics,... Differential equations, dynamical systems, chaos theory, complex systems, systems science, control theory, harmonic analysis, math of computational neuroscience, math of electromagnetism, electronics, math of machine learning, graph theory, network science, category theory, math of computer science, math of physics,... Basically all of them have free online courses from Stanford/MIT/Harvard/Yale etc. Go learn it! " LLMs can tell me all they want that there is zero probability that they're not conscious but I always like to outargument them that we have no idea what consciousness even is and how to empirically verify it and that there is nonzero probability that they are to some degree conscious Metametalearning: The ability to learn how to metalearn LLMs have much better epistemics than most people tbh Will we see Anthropic bifurcate into multiple companies with some being more safety focused like what happened to OpenAI multiple times? "Imagine telling the safety-concerned, effective altruist founders of Anthropic in 2021 that a mere three years after founding the company, they'd be signing partnerships to deploy their ~AGI model straight to the military frontlines" https://x.com/nabeelqu/status/1854574146283618521 We are going to make such amazing things Assuming we get super impactful AGI in the next 4 years, I wonder how pro UBI would be the Trump administration https://x.com/polynoamial/status/1855037689533178289?t=2ULBlZj5ATzOyIlyNL5YaA&s=19 I believe this. I'm recently less sure about it happening very soon. But I believe this will eventually happen in a long enough time horizon. https://x.com/tsarnick/status/1854992581610127621?t=LYWj9LymfFynf5i8PXV5Tg&s=19 "Sam Altman says abundant intelligence and abundant energy will lead to solving every problem in physics and eventually we'll be talking not about using nuclear fusion or solar to power AI but a Dyson Sphere" https://x.com/typedfemale/status/1855097494222651681?t=4HVCziii0-Molq_Dh6f4Yw&s=19 "sam altman: we are a few 1000 days away from building god. we will build suns on earth, unify physics and resurrect the worthy dead garry tan: sounds like this will be really impactful for startups sam altman: definitely. no better time to be a startup" I'm waiting for the “The Trump administration has analyzed all AI models and all of them are infected with the woke mind virus except for Elon Musk's xAI's new AI model. All AI is now illegal except xAI's AI models.” I don't care about making 1000 gazillion dollars, I care about understanding the universe and making all beings happy My autistic ADHD is bigger than your autistic ADHD If you're cool polymathic metamathemagician make sure to not have impostor syndrome and suffering to strictly upward social comparison cognitive bias Now matter how many times will this world bite me, I will never stop caring about everyone