different AI researchers prefer different types of AI architectures pure autoregressive transformer based deep learning is one subset of the AI field that just blew up a ton last few years or preferring different types of behaviors, depending on your type of analysis of the systems The first law of AI researchers: My approach will lead to to the perfect AI and everyone else's approach is dead end. https://garymarcus.substack.com/p/a-knockout-blow-for-llms I try to follow Gary's ideas, but sometimes I just can't grasp how he's saying for years that deep learning is hitting a wall while it's constantly smashing new records everywhere where no other methods match it I love neurosymbolic AI like him as well, but he just doesn't give enough credit to what just deep learning can already do imo :D also the models are full of known limitations but that Apple paper is full of flaws https://x.com/scaling01/status/1931783050511126954?t=n26fWzH79Rml8BDAXHtCGQ&s=19 Feels like most people over social media saw the title and didn't even read the abstract and got millions of views by making extreme claims that often arent even mentioned in the paper Also Subbarao had similar papers exploring the limitations of some of the models on more complex and OOD tasks I also feel like the whole issue in this whole polarized culture war is that completely everyone is using different definitions of reasoning, there is a strong division on that in the AI field If you check Anthropic's mechanistic interpretability papers that do reverse engineering, then under various definitions reasoning, just base LLMs doing latent computations with some learned emergent abstract features and circuits, is a form of reasoning, even if it's very brittle, fuzzy, stochastic, full of shortcuts, breaking down with growing complexity, full of errors, etc. https://transformer-circuits.pub/2025/attribution-graphs/biology.html > I see other grad students who choose to use AI tools becoming increasingly complacent with out-sourcing their own thinking and learning. This is highly dependent and not general. You can use it in such a way that you don't do outsourcing of things you care about. An example usecase can be additional form of double checking of a reasoning process after all other forms of double checking, or automating boilerplatish/mechanistic stuff that don't give you value to focus on things that give you value. > because I don't want my knowledge and ability to learn to be dependent on my ability to access a tool made by a corporation who's goal is to make money. There are open source models trained in decentralized way by the people and not corporations for example, that you can run on your GPUs nowadays, or on rented ones. Or on copyright free data, if you want that. The zoo of models is big and growing, Big Tech companies arent the only players in this technology. empirically from data the new versions of LLMs hallucinate less single research paper on hallucinations isnt the only model of hallucinations out there, it's still an unsolved scientific problem for example some other papers in mechanistic interpretability (subfield that reverse engineers deep learning systems) localize concrete emergent circuits related to hallucinations which you can causally intervene with https://transformer-circuits.pub/2025/attribution-graphs/biology.html#dives-hallucinations Daily I get angry with people fully outsourcing their thinking to LLMs too, since then they often cant tell if what was generated is accurate or not, and thats a problem. So when they wanna continue using them, I often try to teach them what are the capabilities and limitations of these systems, how they work, how to use them properly, what all kinds exist, etc. For example I moderate an AI researcher community and often we get people that come in with LLM generated theories that just don't make sense mathematically or/and in code. And I see this stuff in math and physics communities I'm part of as well. It makes me sad, since there are ways to use it in proper and productive ways, if you know how the technology works, and if you know how the domain you use it in works. A lot of research is emerging in that.But it seems like the Dunning Kruger people often cannot be taught. You can be a simple user of an LLM product with little knowledge about the technology. Or you can be a scientist and create a complex system utilizing LLMs, verifier, evolutionary search with program databases, etc., like AlphaEvolve, and use it to find some results in mathematics. https://arxiv.org/abs/2506.13131 But yes, it feels like most people using LLM products have tiny idea about how it works, what they're exactly using, how to use it, what are its capabilities and limitations, what are the alternatives, etc.. And they never build any complex systems that include LLMs. Creativity I want her equation I will get her equation one day Someone: "its just adding noise to function describing gradient of the goal" Myslím že je v tom víc, i když tohle je taky součást hodně typů kreativity Přidání šumu může zvětšit robustness nebo vytvořit míň pravděpodobný výsledky Ale furt mi příjde že u dost typů kreativity je i nějaká deterministická část V tvý formalizaci by možná kreativita byly random forces v langevin rovnici https://en.wikipedia.org/wiki/Langevin_equation Na Langevin dynamice jsou založený i diffusion modely https://en.wikipedia.org/wiki/Diffusion_model Mám pocit že pro stronger out of distribution kreativitu co zároveň produkuje prediktivní modely existuje nějaký deterministický faktor co jsme ještě nenašli diffusion modely jsou pod většinou image/video modelama a teď to začíná být i pod text modelama víc a víc, nebo se hodně používají ve vědě specializovaně the fact that diffusion models learn to make structure out of noise is the most mindblowing thing ever to me it uses nonequilibrium thermodynamics the second law of thermodynamics reversed and biological life also resists the second law of thermodynamics globálně druhý thermodnamický zákon život akceleruje konvertováním pockets negentropie do entropie AI kod nejlíp píše nejlíp když ji člověk guiduje správně podle jeho a internetových znalostí no pak to dokáže být násobně rychlejší koukni na state of the art metody na Kaggle nebo jinde (nvm či na Kaggle jsou i image generation metody) a ty replikuj, klidně pomocí llms, to je dle mě mnohem lepší metoda než takhle gamblit s chatgpt tohle je proč furt všude píšu že llm programming funguje nejlíp když jsou napojený na state of the art znalosti, než je používat samy o sobě a pro zlepšování dosavadních metod se s LLMs se pak hodí mutovat ty nejlepší jako v AlphaEvole ve co našel nový algoritmy jo, jedno z llms a spíš bych použival toho gemini a clauda, ten na všech benchmarcích a v praxi jsou na tenhle typ tasků on avarage lepší ale někdy i takhle tahle ungrounded exploration může vytvořit fruits to taky někdy zkouším no když dělám cokoliv kde existuje nějaká ground truth na internetu (nebo něco co nejblíž ground truth) tak se všechny ty llmka snažím napojit na všechny tyhle existující guides abych je groundnul (a třeba nad tím iteruju v cursoru) Můj benchmark bývá reinforcement learning na snake hře Ale skoro vždycky lepší solutions jsou human solutions na internetu Dle mě je často nejlepší začít s nejlepšími human solutions co existují na internetu a pak nad tím iterovat v Cursoru/Claude Code CLI, ideálně grounded testama (evaluacema), ideálně pořád co nejvíc napojeny na web/dokumentace/guides/jiný solutions atd. v různých forcích v praxi se často vezme nejlepší human kód, a nad tím se pak evolučně iteruje, což může dál být grounded ruznými human guides, a evalama/testama tuhle heuristiku přesně udělal např AlphaEvolve na maximum ještě líp, a našel se díky tomu novej algoritmus na násobení matic a pár jiných výsledků v matice tyhle modely se musí hodně steerovat, proto vzniká takových scaffolding firem všeho druhu pro různý usecases a zároveň jsou i pokusy o automatizaci tohodle všeho scaffoldingu, ale zatím to funguje jenom někde někdy, např některý agent systémy psát to from scratch se hodí když se to spíš chceš učit, ale to je lepší psát víc sám a chápat každou část kódu, a generovat boilerplate po kouskách, nebo generovat i víc než jen boilerplate, ale hlavně ať ten kód člověk chápe konceptuálně, aby to i mohl korektovat a steerovat když s tím někdy dělám agentic věci co nechci from scratch tak i tam mají LLMka tendenci dost věcí dělat from scratch, proto je na všechny tyhle knihovny napojuju aby a nutím je je používat na začátek ty LLMka můžeš na tyhle různý docs všech těhle knihoven napojit v Cursoru a nutit je je co nejvíc používat (a spíš použít Gemini a Clauda) pak šance že to bude fungovat je 1000x větší ale i z tohodle experimentování co děláš by šlo napsat paper ve stylu "Ability of LLMs replicate known architectures from scratch without grounding" já se časem míň a míň divím že většina lidí na llms tak nadávaj a často o nich říkají věci co nejsou pravda univerzálně, protože jsem v bublině v ai research komunitě, kde ty llmka používáme často radiálně jinak než většina lidí, protože jim víc rozumíme víc fundamentálně a víc víme jejich strengths a weaknesses a víc víme jak jim nastavit kontext, víc víme jak je mnohem líp využít no... je to svůj vlastní skill jako každý jiný v tenhle moment chain of thought korektnost relativně hodně zlepšily, jde to hodně kupředu časem ale problém je že errory se stackujou i tak, a čím víc jdeš do minulosti tím to bylo horší je lepší používat existující kód těhle všech architektur než ho generovat statisticky nic není 100% v těhle modelech když je použiješ takhle samotný je potřeba z toho dělat neurosymbolický systémy, napojit na knihovny, reusovat funkční kód, atd. neurosymbolickým směrem to teď jde víc fundamentálně, to je další zlepšování co se teď časem děje Lidi v praxi fungují celkem podobně, nesnaží se reinventovat the wheel from scratch, a importují existující fungující knihovny. Pokud se teda nechějí učit, nebo dělat věci for fun, nebo nejsou mainteineří těch knihoven, nebo developovat dost nový metody - tam llms můžou pomoct, tím jak je to často mutování existujích nejlepších metod, pokud člověk netvoří fakt nějakou hodně out of distribution metodu, tam jsou lidi furt ve většině doménách lepší llms můžou pomoct všude, i u replikování existujících nejlepších metod jak dělat věci, kde jim dáš fungující existující kód nebo general patterns od lidí, např v tom Cursoru jak jsem zmínil je potřeba toho gigantickýho generalistu víc naspecializovat brzo se tohle asi bude líp dělat automaticky přes lepší adaptaci na každý task (používají tady na to reinforcement learning) https://fxtwitter.com/jyo_pari/status/1933350025284702697 proto se to grounduje těma evalama/testama no ono je šance že to napsal dobře ale machine learning je z 99% empirická alchymie často bez nějaké teorie ( ) spoustu těch výsledků fungují díky trial and error a ty nejlepší architecture details, hyperparametry, training pipelines, training length, training data processing methods, atd. jsou v těch všech knihovnách co jsem teď zminil když necháš llmka dělat to co dělá člověk, tak jsou to nekonečný trial and error iterace a adaptování metod ze SoTA metod z paperů a jiných repos to přesně jde v Cursoru, nechat agenta iterovat nad testama, nad evalama ani lidi tohle všechno neoneshottujou v AI firmách kolikrát runs za šílený miliardy dollarů jsou naprostej gamble protože prostě nevíme protože prostě neexistuje teorie paradoxne je šance že LLMka už jsou v dost částí machine learning empirický alchymie superhuman když jsou dobře nastavený, viz https://x.com/jiaxinwen22/status/1929937189980250505?t=lq8dTVVsdMhq2kvOM2wd9Q&s=19 i tady vidíš jak strašně důležitý je používat relevantní nadstavby pro lepší výsledky, tady dokonce se jde z random guessing do superhuman performance díky nadstavbě nad llmkem a finetuningu i když dneska i ty interfaces jako chatgpt už částečně neurosymbolicky fungují - používají python kód exekuci a web search atd., ale furt to není dostatečný pro tunu tasků kde je potřeba víc iterovat, kde alternativy jako Crosr a Claude Code CLI a Aider atd. jsou relativně o dost lepší z nondeveloper perspektivy na quick sumarizaci YT videa je ted nejlepsi asi Gemini 2.5 a z developer perspectivy na relativně víc accurate sumarizaci se hodí pipeline: transcription -> divide into subparts -> summarize each part -> optionally extra double checking process, ideálně s Gemini 2.5/Claude 4/o3 >Asking ChatGPT to "Draw a creative image." gives this, which is meh but still counts as something. Show this to someone 5-10-15... years ago and he would be mindblown We adapt so fast >it's just doing the same thing every time Even if you play with the temperature parameter? Or you mean that the probability distribution of next tokens is always the same? >This might explain why ChatGPT's generation is not very diverse. I had the same observation! "omnidisciplinary metamathemagician wizard on the quest to reverse engineer the fundamental equations of the universe and of intelligence with total theory of everything in highly expressive, maximalist, vibrant, colorful, crazy, psychedelic, fractal, futurist, cosmic, diverse, etc. style with as much information saturation as possible" https://imgur.com/RRE5yuN https://imgur.com/ruUQmyB https://imgur.com/Hz1ZEWw It feels like the new ChatGPT image generator has much less diversity and creativity for such crazy prompts. The images compared to each other are always so similar and not as diverse in the content across the image when compared to the previous models. I guess to achieve better coherence when combining concepts, they had to sacrifice diverse craziness. Maybe we could create "weak combinatorial creativity" and "strong combinatorial creativity" term. Or/and put it all on a spectrum. RL on LLMs seems to in major part concentrate probabilities into certain subspace (which is good for more correct math) But also maybe at the same time smoothen it and therefore allow for some degree of better weak generalization? https://arxiv.org/abs/2501.17161 https://www.inference.vc/sharp-vs-flat-minima-are-still-a-mystery-to-me/ The relevant more recent papers are this one (https://arxiv.org/pdf/2504.13837), showing pass@k doesn’t increase when doing RL, and then a sort of response paper (https://arxiv.org/html/2505.24864v1) that shows that basically when we fix the entropy and a few other issues RL seems to generate new capabilities. Nathan Lamert also has some great explorations of RL Do teď nepobiram že je všech těhle věcí co deep learning dělá vůbec schopnej To nepobírá pořádně nikdo, neexistuje pořádná teorie Je to z velký části alchymie co prostě funguje tak moc relativně dobře z nějakýho důvodu co pořádně nechápeme https://imgur.com/mQGN50Y Ale matematický teorie za tím jak a proč to funguje pomalu vznikají, tak se začínáme alespoň trochu teoreticky chytat https://imgur.com/G4H1QO2 GenAI models for 3D modelling: Mě spíš přijde hustý že to vůbec generuje takhle relativně koherentní 3D strukturu vzhledem k tomu že to před pár lety umělo šmouhu ve 2D Interní reprezentace jsou strašně fractured, což se možná manifestuje v tom 3D modelu. Ale pomalu zjišťujeme jak incentivizivat kvalitnější generalizaci a mít ty reprezentace víc modulární, unified, compositional, koherentní, atd. Třeba to bude brzo i v těch 3D modelech. https://arxiv.org/abs/2506.12284 https://imgur.com/qYg03Su https://x.com/kenneth0stanley/status/1924650134299939082 Mám pocit že přesně tohle se děje i v tom 3D modelu, je to celkem univerzální problém v deep learningu, na který vzniká tuna metod jak to zlepšit. Ale osobně jsem asi největší fanoušek neurosymboliky než čistýho deep learningu, kde je ta modularita hardcoded symbolicky, a to se manipuluje neurálně. Tady to třeba používají na hraní her https://x.com/ellisk_kellis/status/1933196127358386212 V tom si myslím že je největší budoucnost. Konečně tenhle podobor začíná víc bloomovat. Fandím mu už dlouho. Ale do 3D genu tolik nevidím, já jsem primárně v jazyce LLMs are latent space brushes i use llms daily for coding but my heuristic is make sure to understand the code which you need when you're doing something more complex and complexity starts piling up and you have to guide them really hard :D but its also an amazing accelerator of ideas at the start i tend to think of them as a latent space brushes >overlying on LLMs will kill your thinking not surprising that not using your muscles will not make them stronger my philosophy became to use llms and other ai tools as extensions and not as replacements for stuff i care about, but im ok with automating stuff i dont care about to be as buffed as possible also the more you know when it comes to facts and skills, the more you can use and properly steer these latent space brushes, since humans with knowledge are currently ultimately best at grounding them plus there's a big science and engineering field of constructing complex domain specific scaffoldings for them but thats another giant rabbit hole also they can be effective for learning, but make sure to get grounded by humans lol https://youtu.be/ddd4xjuJTyg?feature=shared&t=3638 "Any potential in diffusion reasoning?" "Can look into that!" or "Can't look into that!" or "I'll make it into that!"? and instantly skip to another question sus So OpenAI is working on diffusion LLMs? Well honestly that isn't as surprising as Google is as well But if they work on diffusion reasoning building on top of that, that will be interesting Continual learning still not solved Sutton said he is trying to work on this in the context of RL, I wonder if he will succeed Hmmm, I bet all big AI labs also try to work on it >researches some ML healthcare application >transformers are winning again Efficient pneumonia detection using Vision Transformers on chest X-rays https://www.nature.com/articles/s41598-024-52703-2 jsou potřeba míň fractured representations pro kvalitnější formu generalizaci obecně, aby se efektivněji mohly composovat nový styly from scratch z atomických částí - ale styly ve všem, ne jen artu, styly v přemýšlení, nový matiky, atd. to je dle mě první krok, najít fungující víc open ended algoritmy Fractured entangled representations [Questioning Representational Optimism in Deep Learning: The Fractured Entangled Representation Hypothesis](<https://arxiv.org/abs/2505.11581>) https://x.com/kenneth0stanley/status/1924650124829196370 https://x.com/kenneth0stanley/status/1924650134299939082 sparse autoencodery tyhle zamotaný reprezentace dokážou rozmotat, ale furt je to moc fuzzy a fractured než se tohle vyřeší tak si myslím furt budou artefakty typu toho jak v tomto video ta nvidia grafika zmizela když se do ní pushnula ta pod ní nebo když image gen edituje nějakou část obrázku tak často rozhodí něco jinýho než když se v llm manipuluje s vnitřnostmi aby se změnil nějaký faktor tak to rozhodí jiný faktory tohle je nejvíc obecnej problém co má přesah do všeho, myslím že je to taky potřeba pro to aby ty modely dokázaly dělat kvalitnější matematiku a fyziku a jiný vědy s o dost menšíma error rates jinak jsem rád žes mi obnovil vzpomínky kolem deep dreamu je fascinující jak moc je to starý, z 2015 ⁠ Tbh sometimes I wanna go back into 2022 or before when there wasn't such a big culture war about AI, and it was just a couple of computer nerds figuring out that artificial neural networks are more magical than we thought, and finding out that they can learn structure so relatively well. And I'm still mindblown daily, all these years, by how well they work, and I love to constantly explore all kinds of research that tries to understand the inner workings of these fascinating silicon mind-like entities.