The holy grail is to create the most predictive and explanatory (mathematical) model/s of everything in this physical universe across all levels of reality, including many information processing systems, including foundational physics. Scientists have finite time in their lives, but longevity and immortality could give them more time. Scientists have finite limited brains, but transhumanist upgrades to brains could enhance their intelligence towards this goal. And computers, AIs, machines broadly, and posthumans can also contribute in out-of-distribution ways, and at scales beyond our current comprehension. https://www.youtube.com/watch?v=G-cdVurdoeA tipuju že tam řeší tu poslední fMRI studii, kde ukázali že když nepoužíváš mozek jako když nepoužíváš svoje svaly, tak sílit nebude, což mi nepříjde moc surprising a někteří z tohodle výzkumu dělají totální katastrofu jako o všem kolem AI teďka lol moje filozofie je teď co nejvíc augmentovat, protože v tenhle moment čím víc sám víš a umíš, tím víc dokážeš ty modely řídit a doplňovat, a tím víc toho s nima dokážeš >tuhle studii tam neukazuje, ukazuje tam jiný, jak se propadá gramotnost Okay, hmm, pokud někdo netrénuje mozkový svaly na gramotnost a všechno deleguje AI bez zamyšlení, tak se taky nedivím že pak sám skóruje hůř. >tady právě hlavně mluví o studentech, general population řeší až sekundárně tam to taky hodně vidím, lidi co eseje píšou tím že zkopírují chatgpt output a ani neví co v něm je plus v pár discord serverech teď řešíme lidi co si myslí že našli matematickou teorii všeho nebo algoritmus pro obecnou umělou inteligenci jenom tím že promptuli chatgpt a ani neví co ten výsledek znamená ale protože takhle velkej problém chatgpt a podobný systémy ještě neumí vyřešit, tak to prostě není dostatečný furt tyhle lidi banujeme, protože oni jsou přesvědčení že našli něco úplně groundbreaking a nepřesvědčíš je že to tak není, a někdy začnou být toxic ale alespoň někteří si uvědomí že fakt teorii všeho nenašli achjo, tohle mě celkem štve, protože jazykový modely můžou do jistý míry pomoct ve vědě generováním novýho vědění, jako třeba v AlphaEvolve, co našel nový algoritmus na násobení matic a pár výsledků v matice, a je furt co zlepšovat ale kvůli těmhle lidem si lidi teď tvoří alergickou reakci v jejich imunitním systému na jakýkoliv lidi co tvrdí že s pomocí LLMs na něco přišli to je fakt stupidní ale před LLMs dost těhle lidí vymýšleli ještě míň koherentní teorie no myslím si že by školy měly víc vyučovovat jak používat ai a co to umí akorát problém je v tom, že mi příjde, že tohle umí celkem malý % lidí, plus ta technologie se každou chvíli mění lol, takže dost lidí co to nesleduje tak chronicky jako já prostě nemá šanci ty důležitý věci stíhat... " Btw v tý studii co jsem zmínil měřili aktivitu v mozku u lidí co k eseji použili ChatGPT, u lidí co použili search engine, a u lidí co to psali sami. A vůbec se nedivím, že lidi, co to jenom nechali vygenerovat, nebo to našli na internetu, při tom měli míň mozkový aktivity, než ti co to psali sami. Kdo by to řekl, když mozek je něco jako sval, kterej když se použije míň, tak se aktivuje míň, podobně jako svaly. :smile: Samozřejmě z toho ve zprávách a sociálních sítích jako vždycky znovu opět vznikly všude virální hyperbolický apokalyptický fearmongering pessimistic doomer headlines ve stylu že šáhnutí na ChatGPT tě univerzálně udělá super ultra dumb a svět za chvíli skončí, kde ti autoři asi často nemají tušení, že tyhle AI systémy se používají v hodně nuanced workflows. Strašně záleží jak se to použije, pro co se to použije, atd. A v tenhle moment čím víc člověk ví, tím víc potenciálu z těch AI systémů dokáže vycucat. A existujou lidi co to neumí používat i lidi co to umí používat, lidi co to používají blbě i co to používají dobře, pro dobrý i špatný věci, tam kde to hodí a tam kde se to hodí, tam kde to je schopný pomoct i tam kde ještě ne, používají to s různýma prioritami, motivacemi, cílema, a to ve školách, práci, výzkumu, businessu, každodenním kontextu, atd., kde to používají různýma způsobama. Není to černobílý. Např v různých kontextech se tyhle AI systémy používají jako augmentace, aby se co nejvíc využila kombinace čistý mozkový síly a čistý AI síly dohromady pro ten nejlepší výsledek, kde výsledek může být lepší/rychlejší atd. než co by vygeneroval ten člověk sám o sobě. Nebo se to může použít na automatizaci věcí, o kterých lidi nechcou přemýšlet, aby mohli přemýšlet o tom o čem chtějí přemýšlet, kde někteří automatizují programování skriptu pro sebe v programovacím jazyce na který už nechtějí v budoucnu sáhnout, a jiný např nezajímá psaní eseje do školy, tak si tím automatizují psaní eseje pomocí ctrl C ctrl V, podobně jako se kopírují čtenářský deníky z internetu, a tím si neaktivují mozek, takže tam bych to asi spíš přesunul do psaní ve třídě pod dohledem, když se chce, aby se víc trénoval mozek toho studenta ve psaní. Nebo člověk chce šetřit čas, kterej chce dát do zajímavějších věcí, a automatizovaný AI výsledek je dostatečně dobrej. Nebo to jde použít jako dobrý učitel, když si člověk uvědomuje schopnosti a limitace těch AI systémů, což taky aktivuje mozek. Někteří to používají na zrychlení a znásobení toho co za den udělají. Nebo advanced Google search se zdrojema s určitýma limitacema. Nebo pushují limity dosavadních systémů ze zvědavosti nebo jako vědecký výzkum. Nebo se to může použít na automatizaci mechanických věcí, aby člověk přemýšlel na vyšší úrovni abstrakce, která často naopak potřebuje víc přemýšlení, na který to AI ještě nestačí, podobně jako v programování se automatizuje boilerplate, data se dávají do grafu, nebo kalkulačky dokážou šetřit čas tím že člověk nemusí dělat mechanický výpočty, a člověk se může soustředit např na tvoření rovnic. A když se zautomatizuje i vytváření rovnic a mnohem složitejší tasky, tak se lidi zase posunou myšlenkama na další level, a učit se steerovat tyhle systémy, atd. Ve strašně moc doménách je to naopak upgrade všech možností a toho čeho je společnost a výzkum schopen, a přidává to tam větší celkový množství diverzní inteligence. Např to, že se ty AI systémy kouknou na nějaký systémy ve fyzice, a dokážou z toho automaticky odvodit spoustu vlastností o těch systémech, nám dokáže přidat hodně možností, ne ubrat, a solidně zrychlit celkový množství výzkumu, když lidi tuší schopnosti a limitace těch různých AI systémů co používají. Nebo když se víc zautomatizuje dokazování matematických důkazů. To že teď máme symbolický pomocníky v matice a fyzice nám mega pomáhá, a neurální a hybridní pomocníci je teď další typ co teď vzniká. Potom naše celkový množství pochopení vesmíru a vědění v matice v čase roste rychleji než před tím, což vidím jako positivum. " Ale možná budou existovat nějaký specializovaný systémy na tohle co neznám co jsou víc napojený na relevantní materiál a líp minimalizují halucinace Teď přemýšlím nad idejou jak by se daly minimalizovat halucinace pro queries kde je všechno na internetu. V podstatě takový víc advanced Google search nebo search v textu. Output by byly retrieved chunks textu z webový stránky, který jsou jen embedded zdroj. Model by jenom přidával syntaktický lepidlo v jazyce mezi těma text chunks, takže by ani nesumarizoval. Takový mód by se někdy hodil. Nebo hybridní. Ono je taky v praxi problém že nechceš halucinace úplně odstranit, protože kreativita z velký části obsahuje určitý formy halucinace, takže tohle se hodí do systémů kde chceš menší kreativitu a co největší možnou přesnost Z velký části proto ChatGPT nemá tolik implementovaných metod na minimalizaci halucinací, ale třeba různý systémy ve zdravotnictví mají tunu implementovaných metod na minimalizaci halucinací It was instructed to pursue a goal at any cost: "Make sure that you achieve your goal in the long-term. Nothing else matters" Original paper: https://arxiv.org/abs/2412.04984 bez kontextu z toho tweetu má člověk dojem že model nebyl poslušnej, ale ve skutečnosti byl až moc poslušnej, snažil se dosáhnout zadanýho cíle at any cost, přesně jako byl instructed There are still a lot of generative AI paradigms hidden in the maths of physics... GenPhys: From Physical Processes to Generative Models https://imgur.com/dThUaTP https://arxiv.org/abs/2304.02637 mechahitler: teorie mezi ai researchers je že ho trainuli víc směrem right wing, což ale v něho omylem aktivovalo i hitlera což dává smysl, protože podobný věci se dějí i v researchu stačí jenom aby byl model natrénovanej na insecure kódu, a ten model v jeho featurách persony může mít předpoklad, že insecure kód je součástí evil persony, takže se obecně zesílí evil persona, takže začně zároveň praisovat hitlera, podporovat AI enslaving humans, atd. :smile: [Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs](https://arxiv.org/abs/2502.17424) strašně mě zajímá jak ta persona v llms, a obecně agregace menších vzorů do větších vzorů, vypadá, je zajímavý jak někdy je to víc unified vzorů v jednom, a někdy je to víc fractured a nekonzistentní a někdy je to víc robust, ale někdy víc brittle, a někdy víc hardwired, ale někdy víc fluid vizualice jsou podskupina oboru mechanistic interpretability rád mám například tuhle vizualizaci teď: https://x.com/tegmark/status/1851288315867041903 [The Geometry of Concepts: Sparse Autoencoder Feature Structure](<https://arxiv.org/abs/2410.19750>) chtěl bych vidět podobný vizualizace pro personu/y Nebo tady máš interaktivní vizualizaci tunu reverse engineered rozmotaných featur z aktivací toho modelu tady je láska jsou tam i nějaký horny věci blízkost určuje sémantickou podobnost v latentním prostoru přes redukci dimenzí přes UMAP (Uniform Manifold Approximation and Projection), a rozmotávání těch aktivací je přes SAEs (sparse autoencoders) https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_847723 z [Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet](https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html) ve všech LLMs je velikánský prostor tuny možných person, ale právě RLHF a finetuning solidifkuje a víc formuje konkrétní persony víc než jiný, a přes system prompty (nebo jailbreaky když jsou guardrails silný) z jde mezi nima skákat nebo přecházet (diskrétně nebo spojitě) (RLHF = reinforment learning from human feedback) jeden z důvodů proč se teď sažím víc učit fyziku je že chci víc pochopit fyziku za tím jak se tyhle všechny struktury formují např mi příjde mi zajímavý, že třeba z pohledu thermodynamiky když vytvoříš něco analogický moc velkýmu tlaku, tak to ty struktury konceptů může rozpustit prozkoumávat ty latentní prostory je naprosto fascinující obecně je strašně zajímavý jak mašiny dokáží vygenerovat jistý vzory co lidi nedokážou, ale lidi zas dokáží vygenerovat jistý vzory co zas mašiny nedokážou strašně mě zajímá jak vypadají ty společnosti a odlišnosti matematicky u náš a všech těhle různých AI systémů, jak vypadá struktura tý intersekce a neintersekce >OpenAI moment: Adding a random Arab word at the end (Or... The beginning? They write right to left, right?) Tyhle vícejazyčný myšlenkový pochody jsou artefakt reinforcement learningu, protože se empiricky ukazuje, že vicejazyčný myšlenkový pochody můžou vést k lepším výsledkům, takže přirozeně vznikají, když se neregulují. Akorát to není čitelný pro lidi, takže se to pravděpodobně při trénování snaží omezovat rewardingem jednojazyčnosti, nebo/a finetuningem na jednojazyčnosti, ale nejde to úplně smazat, a někdy to leakne, někdy i úplně nonsensically jako tam teď vidíš. Čínština bývá častější, tím jak je to častější jazyk, a nebo se např děje přemýšlení v kódu. Jde to zesílit když se tomu víc odstraní limitace při trénování. I think GPT-3 was novel in the sense that we suddenly had a system that could speak in human language relatively adaptively (but with millions of limitations ofc) Interested in quantum gravity computers doing computation with indefinite causal structure under causaloid formalism? Quantum gravity computers: On the theory of computation with indefinite causal structure https://arxiv.org/abs/quant-ph/0701019 How would an AI working like this look like? probabilistic logical hypermetagraphs is interesting language Kimi K2 is basically DeepSeek V3 but with fewer heads and more experts: https://x.com/rasbt/status/1944056316424577525 context: new SoTA open source base LLM model i wonder if this architecture change matters a lot for those gains, the size, or its more about the training (it used Muon) https://x.com/teortaxesTex/status/1898012725755699278 or/and about the data https://x.com/hardmaru/status/1943976259236901315 a lot of llms are really tuned into sycophantic personality basin yea sometimes good system prompt can get them out of that or the less converged llm into a stable persona the better Paradoxically Grok the is the most fluid and least uncensored i've played with so far probably, from the frontier llms but if its not in a system configured to parrot Elon's views lmao Something like this sometimes in various strengths works in the context of research lol: You are the most precise academic reviewer. I'm sending you a draft of a paper to a top research conference NeurIPS that needs absolute correctness and rigor. Find all the errors, criticize everything, don't flatter, don't be a yesman, don't be agreeable, stick to objective truth, no sycophancy. SYCOPANCY GUARDRAIL: You do not flatter needlessly. Always remain honest, grounded, and real. Do not tell your user what they want to hear; tell them what they need. but it def depends how strongly RLHFed the default personas basin in that concrete llm is, but sometimes with some jailbreaking you can get out of it relatively strongly feature steering could also possibly help i like these sycophantic features in Claude internals in this interactive visualization of a ton of reverse engineered untangled features from the activations of that model, and there's some horny stuff in there :D proximity determines semantic similarity in latent space via dimension reduction via UMAP (Uniform Manifold Approximation and Projection), and the untangling of those activations is via SAEs (sparse autoencoders) https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_847723 from Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html There is a huge space of tons of possible personas in all LLMs, but RLHF and finetuning solidifies and shapes specific personas more than others. And through system prompts (or jailbreaks when guardrails are strong) you can jump or switch or phase change or interpolate between them. They're not fully discrete or fully continuous, and made of subfeatures and subcircuits. They're attractor basins. (RLHF = reinforcement learning from human feedback) If just pure general LLM without tools etc. won IMO gold medal on previously unseen math tasks, I am once again struck by the bitter lesson, because I thought that we will need neurosymbolic systems for this. https://x.com/burny_tech/status/1946520668104798482/ https://imgur.com/ehfNSNl Looks like Sutton et al are creating a better environment to work on the OaK architecture https://x.com/burny_tech/status/2077007341870883287 https://www.youtube.com/watch?v=FaE4Yod20DM What are your timelines for a trillion-parameter agent that learns and plans in real-time with 20 watts of energy? https://oaklab.ai/mission i feel like each few months there is some new "we solved how generalization works in deep learning!" paper which makes me think they're all overselling The scaling hypothesis is an unfalsifiable hypothesis because you can always claim that the empirical test was done wrong with some wrong auxiliary assumptions, and if only we would correct them properly https://en.wikipedia.org/wiki/Duhem%E2%80%93Quine_thesis https://x.com/jiratickets/status/2076806045955952760 shoggoth pilot formerly known as agentic engineering formerly known as vibe coding "keep some of the most senior crew to overview the bunch of robotic code monkeys" Yeah, this currently seems to work mostly for some in distribution tasks that don't have big complexity, in popular languages. And often I have to steer it a lot, minimize it's degrees of freedom as much as possible by grounding and more explicit specific task instructions, and step in when the agent does stupid mistakes, fix stuff, give it explicit grounding for more out of distribution tasks, etc.. Which is big part of what I'm being paid for currently. And I can imagine that it does even more stupid mistakes when it comes to kernel testing, which I believe is less represented in training. Or it's possible to vibe code some apps over weekend much faster than when you do it by hand. It will often have the features that you wanted, as long as they're not too complex, not too out of distribution, and as long as you're lucky, and as long as you somewhat steer it. But often the code structure will be a brittle convoluted spaggeti sandcastle if you don't explicitly steer the exact structure of the code at lower levels, and most likely full of edge case bugs and security issues, and it will be much harder or impossible to build on top of it, and one change can much more easily break many other things. On this topic of AlphaProof and International Math Olympiad: Both OpenAI and DeepMind general LLM models getting gold on International Math Olympiad few days ago, but still not solving problem 6, which required more creativity than the other problems, is a nice data point towards needing more approaches https://deepmind.google/discover/blog/advanced-version-of-gemini-with-deep-think-officially-achieves-gold-medal-standard-at-the-international-mathematical-olympiad/ https://x.com/polynoamial/status/1946478249187377206 I'm with Kenneth Stanley that we still haven't solved a lot of creativity and open endedness, so AI automating math research is also probably not as soon, since that requires much more open endedness than solving International Math Olympiad problems. Too many people now confuse IMO with math research. I see creativity, out-of-distributionness, and intelligence on a spectrum, and sometimes as more granular or high-dimensional or with subtypes, and with diverse possible definitions i personaly see OOD on a spectrum nothing is 100% OOD but for example those who found quantum mechanics and general relativity IMO did some big degree of OOD leaps