" Zero LLM hallucinations is impossible as long as we training on human generated data full of human hallucinations and not filtering these hallucinations out, if that would be even possible with 100% accuracy. This doesn't mean that lowering hallucinations is impossible, that is definitely possible! I'm making claim about the limit case of absolutely zero hallucinations. And I think that creativity and creating novel thoughts in for example science involves hallucinating to some degree! I'm afraid that if we tried to make infinitely correct LLMs, that they would either often respond with "I don't know.", or would take ages to search for and verify information, or they would drown in complexity of problems as humans do when they try to understand things beyond naive simplifications. But these systems would be interesting to interact with too I think! The more you know the more you know how much you don't know anything about anything really as reality is infinitely complex the more fine grained models with as many details as possible you try to make. " [Imgur: The magic of the Internet](https://imgur.com/rBp5h65) https://x.com/burny_tech/status/1857888119174914179 přemýšlím že si sprovoznim [nicoboss/Meta-Llama-3.1-405B-Instruct-Uncensored-Lora · Hugging Face](https://huggingface.co/nicoboss/Meta-Llama-3.1-405B-Instruct-Uncensored-Lora) na rented GPUs, pokud je ten model good ale koukam ze by to na hodinu podle gpu renting služby stálo na hodinu kolem 170 Kč ($7) (RunPod, Lambda Labs,...) ale bylo by to mnohem relativně chytřejší 😄 i just need apparently 4 x A100 nebo 4x H100 ale fakt divny ze ma jenom 12 downloads, cekal bych ze tenhle model bude bigger věc " Ještě tady dost dobře coveruje nuanced a complex middle ground co se snažím zmiňovat v týhle nejvíc recent 5449646321th vlně news o tom jak je všechno hitting a wall a parallelní vlně news o tom jak god like AGI je tu zítra. [https://www.youtube.com/watch?v=iybgycPk-N4](https://www.youtube.com/watch?v=iybgycPk-N4) [https://www.youtube.com/watch?v=5uJ8XPvn6kY](https://www.youtube.com/watch?v=5uJ8XPvn6kY) o1 před měsícem měl solid improvements, Claude měl před měsícem solid improvements, ten OpenAI's "Orion" má prej taky nějaký improvements, i když to už jsou jenom leaks, nebo novej Gemini co před pár dny vyšel má taky nějaký improvements, všechny laby pracují nebo začali pracovat na inference time compute reasoners ve stylu o1, nebo i ty víc neurosymbolický systémy jako AlphaProof by prej měli být brzo avaiable dle nějakých leaks. Dle těch všemožných benchmarků a zkušeností lidí co jsou hodně v oboru to pořád jde určitým způsobem up s hodně realistickýma limitacema, ale ne super extrémně nebo ultra plateauing jako to říkaj ty extrémní news. Nebo ARC benchmark, nebo ten novej FrontierMath benchmark taky nový modely dávaj líp než ty před rokem, i když furt mají málo %, ale to je tak hardcore math benchmark, že i top mathematician Terrence Tao říká že s tím má dost problems. :D Terrence Tao byl taky dost amazed se step improvementem u o1. A tohle jsou mainly jazykový modely. There's also a whole world of all the recent insane progress in other modalities like image, sound and video. I dont think anybody still knows about any wall or ceiling about scaling (jako např v tom inference time compute). You can also count in algorithms, tricks with data, hardware tricks a other engineering tricks, which all interact with eachother and with scaling. Např Noam Brown (největší mozek za o1) tohle v určitý formě říká taky. A Ilya Sutskever (největší mozek za originálníma GPTs a taky za o1) teď řekl "Scaling the right thing now matters more than ever." Nonextreme bias for optimism about the future of AI makes the most sense to me right now given current available data if they get extrapolated. :D " " [https://www.youtube.com/watch?v=iybgycPk-N4](https://www.youtube.com/watch?v=iybgycPk-N4) [https://www.youtube.com/watch?v=5uJ8XPvn6kY](https://www.youtube.com/watch?v=5uJ8XPvn6kY) With the recent 544964632144787th wave of news about how everything in AI is hitting a wall and the parallel wave of news about how god like AGI is here tomorrow, I think that AI explained gives the best nuanced and complex middle ground perspective! From my perspective that's very similar to his, if you've been following the AI space recently: o1 had solid improvements a month ago, Claude had solid improvements a month ago, OpenAI's "Orion" supposedly has some improvements too, even if it's just leaks, or the new Gemini that came out a few days ago has some improvements too, all the labs are working or have started working on inference time compute reasoners in the style of o1, or even the more neurosymbolic AI systems like AlphaProof supposedly should be available soon according to some leaks. According to all sorts of benchmarks and the experience of people who are very much in the field, the progress is still going forwards in some way with various realistic limitations, and it's not super extreme or ultra plateauing like the extreme news recently say. Or the ARC benchmark, or that new FrontierMath benchmark, the new models there are better than the ones from a year ago, even though they still have low %, but that's such a hardcore math benchmark that even top mathematician Terrence Tao says that it's difficult for him :D Terrence Tao was also pretty amazed with the step improvement of o1! And these are mainly language models. There's also a whole world of all the recent insane progress in other modalities like image, sound and video. I dont think anybody still knows about any wall or ceiling about scaling (like the inference time compute scaling). You can also count in algorithmic improvement, tricks with data, hardware tricks and other engineering tricks, which all interact with each other and with scaling. For example Noam Brown (the greatest mind behind o1) says this in some form too. And Ilya Sutskever (the biggest brain behind the original GPTs and also behind o1) has now said "Scaling the right thing now matters more than ever." Nonextreme bias for optimism about the future of AI makes the most sense to me right now given current available data if they get extrapolated. :D " The real AI risk is AI being trained on potential AI risk narratives data Gemini tells user to kill himself My favorite theory is that the whole conversation is too much like a scifi plot, where someone asks the AI repetitive questions, until the AI snaps, so the pattern was pattern matched in the training data, where while training, the RLHF, or whatever they use for alignment, didn't squeeze the region in the latent space corresponding to this persona sufficiently enough https://x.com/burny_tech/status/1858309321450246500?t=9aYiAh10TxGXiMCjQ-jFNQ&s=19 a je zajímavý jak tyhle fuckupy slyším jen od Googlu znám nějaký technický alignment people co šli z ostatních labs do googlu aby tam byl nějakej technickej alignment 😄 Google je pozadu za všema ve všem v AI, absolutně nestíhá, a releasuje věci co fungují na půl v porovnávání s jinýma XD tenhle fuckup mě motivuje k tomu se vrátit k hyperobsesi nad ostraňováním těhle misaligned vnitřních reprezentací v kontextu kdy je nechceme Googlí Gemini ale posírá všechno mnohem víc než jiný top modely protože Google je v consumer AI víc neschopnej oproti jiným labs z nějakýho důvodu když jsem byl na AI alignment srazu, tak jsem od Googlího head of mechanistic interpretability (reverse engineering a steering neuronek) (což je přesně co je potřeba co by tomuhle mohlo víc zabrátnit!!) slyšel, jak je tam mega znevýhodněnej oproti zbytku AI týmu, v porovnání když dělal v Anthropicu, co jsou champions v mechanistic interpretability, a zároveň teď už dlouhou dobu mají nejlepší modely na světě (ten novej Claude 3.6 Sonnet unexpectedly rozdrtil hodně věcí, hlavně od OpenAI...) (tenhle týpek [Neel Nanda](https://www.neelnanda.io/) ) a taky není náhoda že veškerej absurd search hallucinations fuckups co vidím jsou v podstatě jen od Googlího AI příjde mi to absurdní, protože mají nejvíc peněz, v podstatě vymysleli tu architekturu za tím, a stejně mají v tomhle nejhorší AI Příjde mi že z velký části reálný AI riziko je AI natrenovaná na příbězích o AI riziku a pak tyhle příběhy pattern matchuje když nechcem bylo by taky fajn na těch příbězích netrénovat in the first place, než se to pak pokoušet opravovat rozkládním toho mozku a smazáváním toho co nechcem 😄 jeden z problémů taky je, že jak nepoužívání těhle dat, tak smazávání těch naučených vzorů z toho mozku, dělá ty modely o něco hloupější, takže to taky tvoří menší incentivy to dělat 😄 v tom je taky nějaká pravda no 😄 na matiku bych chtěl hodně vyzkoušet ty úplně unconstrained top modely 😄 do jistý mýry je ten alignment tvarování do toho co chceme, což to do jistý míry dělá chytřejší (když to např natvarujeme na lepší matematiku), ale do jiný míry zase hloupější (když potlačíme nějakej koncept co je asociačně dost napojenej na jiný důležitý na performance v nějakých tascích...) ale bylo by mega fajn, aby alespoň u těch casual chatbotů, kde není úplně potřeba superhyperinteligence, byla šance, že mý babičce řekne kill yourself, limitně nulová 😄 a zároveň mít možnost unconstrained superhyperintelligent módu na vědu 😄 hmm, např když se smaže koncept klamání (o což se dost AI alignmentu snaží) , tak to asi spíš bude horší AI theraphist, tím jak by nemohl pochopit, když si člověk u něho stěžuje že ho třeba rodina manipuluje 😄 to chce smazat ten koncept jen v nějakým kontextu, v nějakých asociacích, v nějaký personě ale to se v gigantickým statistickým fuzzy shoggothovi dělá dost blbě nějak víc exaktněji ale další problém vůbec je, aby ty AI companies ty safety/steering mechanismy vůbec implementovaly, což jak u Googlu jde vidět, dělají mnohem míň než jiný AI companies, když skoro všechny fuckupy co se stanou, jsou od nich v AI pro zdravotnictví je alespoň mnohem větší incentiva ty modely udělat co nejvíc steerable, reliable a interpretable :D ale bojím že tyhle gigantický korporace prostě dál nebudou tak řešit alignment a nějakej katastrofickej harm se fakt stane až ty modely budou mnohem víc capable OpenAI nedávno v podstatě odstranil většinu alignment týmu, a velká část toho týmu šla do Anthopicu (co teda teď mají pro engineering nejlepší modely) Plus dneska mě u Googlu pobavilo, že jsem dneska začal pro práci psát pidi článkek o tom jak Google konečně v něčem vede, pak kouknu na statistiky, a zjistím, jak je OpenAI doslova před hodinou novým modelem Google předehnali, takže jsem ten článek mohl zahodit (tbh to byla zrovna metrika, co moc neřešila inteligenci, a co jde hodně jednoduše občůrat, co už moc neříká at this point, co moc netestuje ty modely v reálný praxi IMO) Ještě zapomínám na o1 co je taky on top podle toho co člověk řeší, o1 je v nějakých věcech lepší (např nějaká matika), a Claude 3.6 Sonnet je lepší zas v jiných věcech (např programování) Ale na některý usecases jsou ještě lepší napojeny na různý vědomosti (jako ten Perplexity s webem, Cursor s programováním, Elicit se studiem apod. o čem pořád mluvím) A Google Gemini nikde Vlastně je jedna věc ve který Google vyhrává, long context window! miluju openai voice mód, že do toho můžu jít hyperactive unfiltered information saturation, a celkem to dává, i když musím někdy promptovat aby šel deeper a deeper xD jenom škoda že za tím není inteligentnější model na levelu Claude 3.6 Sonneta no 😄 nebo o1 The fact that LLMs in their more raw state are technically a superposition of all of training data's personas feels so relatable brain is also a pattern matching machine to some degree [Predictive coding - Wikipedia](https://en.wikipedia.org/wiki/Predictive_coding) I guess you could say that the AI gen process intention is the emergent subgoals from the mean squared error loss function (or whatever loss function is used) And one can see human intentions as part of the loss function life, of evolution I see different kinds of magic in both "Ai is just bruteforce!" Well not really from a technical perspective But i guess it depends on how broadly you define brute force I see brute force as dumb one by one search through some option space without any smarter components While deep learning impressively compresses and generalizes (with some limitations) Gradient descent is magical I often feel like If you use similar kind of architecture, you for example get impressive results in protein folding in structural biology, which previous methods stuggled with. Brute force is impossible. Is that also not impressive? [https://www.youtube.com/watch?v=cx7l9ZGFZkw](https://www.youtube.com/watch?v=cx7l9ZGFZkw) When we try to reverse engineer image models in particular, it's minbboggling how it learns circuits to detect curves, colors, directions of objects, higher order compositions of these low level features, fur detector, whole body parts, all in hierarchies composing into for example dog detector Its magic that it even works Deep learning broke what we thought we knew classical learning theory Now singular learning theory and other attempts try to understand the generalization capabilities of deep learning, but it's still so unexplored and we still know so little i use AI for coding in work daily, it's very useful symbolic systems can help with very strict boilerplate, while deep learning AI is more flexible so it helps in more uncertain scenarios you can't explicitly put into code and it got much better in the last year the efficiency is also getting better exponentially as the technology matures first industrial machines/computers/etc. were also inefficient beasts compared to what we have now 😄 and i agree that it's difficult to understand, but at the same time that makes it such a mystery because the fact that it even works so well surprised everyone when scaling of deep learning models started to unexpectedly work, so I really love the reverse engineering of deep learning field (mechanistic interpretability) [https://www.youtube.com/watch?v=2Rdp9GvcYOE](https://www.youtube.com/watch?v=2Rdp9GvcYOE) this mindblows me daily how gradient descent is even capable of all this structure and behavior similarly to how evolution creates the complexity of nature which we also understand so little all emergent from fundamental particles in spacetime that we also still not fully understand AI job applying is technologically cool but I fear this will kill online job applications because the signal will drown in noise and people will return to applying only in person https://x.com/burny_tech/status/1859528917188563403?t=1k9S7fe-wSlvdls_y5PFmA&s=19 Osobně vidím jiný typy kouzel v human created a AI generated věcech. Ale já to vidím spíš z inženýrskýho pohledu, takže mě fascinuje to kouzlo, ta "duše", spíš v tom, jak jak lidi, tak různý AIčka, jsou schopny tvořit podobnými, ale dost jinými procesy, různý výtvory. A navíc u AIčka (konkrétně deep learningu obecně) mě každej den mindblowuje, že je to vůbec schopný se učit in the first place, proč to vůbec funguje. Já jsem taky většinou radikální materialista (fyzikalista), kde z inženýrskýho pohledu vidím inteligenci a vědomí jako čistě fyzikalistickou věc, kde všechno musí být nějak zadefinovaný a naimplementovaný ve fyzice, a to pak miluju reverse engineerovat nebo tvořit 😄 Sohlasím, že AI stejný určitě není stejný jako human art, ale vidím tam určitý podobnosti. Takže proto v obou vidím jiný typy podobných a odlišných kouzel. 😄 Třeba některý budoucí AI modely (a roboti) budou bliž k human procesu, a některý zase ještě víc alien a incomprehensible to us. 😄 I'm excited for that part of future from a curiousity perspective! 😄 ai for stock market prediction recently někteří prostě dali chatgpt prompt "chovej se jako super crypto invesor a dávej best rady" místo nějakých actual modelů trénovaných na trhu jakože absolutně useless to na tuhle usecase není, tím jak to může retrievovat useful strategie co různě fungujou investorům, a možná nějaký weakly generalized novel insights, ale specializovaný nonNLP modely jsou něco jinýho a tbh automatizovat určitou část (crypto) investorů asi moc složitý nebude the coin goes up when vibes go up ale dělat ty (working?) specializovaný modely by mohlo být celkem zajímavý z engineering stránky mám uložený v to read later listu: [[2408.12408v1] An Evaluation of Deep Learning Models for Stock Market Trend Prediction](https://arxiv.org/abs/2408.12408v1) nvm, možná se do toho někdy víc ponořím 😄 >Among the models tested, xLSTM-TS consistently outperformed others. For example, it achieved a test accuracy of 72.82% and an F1 score of 73.16% on the EWZ daily dataset. když víc lidí compatuje s podobnými metodami, tak bych tipoval, že by to bylo podobný jak v jiných AI vs AI rat races v jiných AI podoborech, kde by se modely navzájem predikovaly a přechytračovaly yet another variable contributing to this insanely complex chaotic dynamical system a tipoval bych, že v momentu, kdy se nějaká metoda do open sourcu releasne že nějak funguje, tak to veškerý quant ML huby po celým světě instantně naškálovaně naimplementujou, což by to tu efektivitu mělo zmenšit jsou trénovaný aby nějak generalizovali alespoň na tom datasetu (jako všechny ML modely), ale jak je to transferable do real word scenarios s tím jak všichni masivně competujou, tak idk který faktory jsou nejsilnější jestli to je vůbec tractable a tipoval bych že v praxi pak chceš trénovat na co nejvíc recent stocks datech u older dat me napada mozna vyhoda ze na zbytek competitors by na nich možná netrenovali a tim bys mozna mel nejakou vyhodu, nebo by to bylo prostě outdated, nebo by byl transfer learning dostatecne silnej no idea, je to hodně empirických otázek xd fakt by mě zajímalo či tam jsou alespoň nějaký, pro today's stock market prediction, užitečný laws co platí dlouhodoběji, nebo je to prostě z většiny totálně unpredictable chaos příjdou mi ještě zajímavej tenhle obor, co se snaží na ekonomiku cpát fyziku 😄 [Econophysics - Wikipedia](https://en.wikipedia.org/wiki/Econophysics) ten si chci taky hodně pročíst ale je mega hated ale nevidím do toho pořádně, ale zní to mega zajímavě 😄 tady ještě je fajn list prediction methods [Stock market prediction - Wikipedia](https://en.wikipedia.org/wiki/Stock_market_prediction#Prediction_methods) ještě mi příjde fascinující Black–Scholes model [https://www.youtube.com/watch?v=A5w-dEgIU1M](https://www.youtube.com/watch?v=A5w-dEgIU1M) ale ML mi příjde že je teď asi nejvíc in, ale nevim, nevidim do tohodle industry tolik když se snažím paralelně zkoumat matiku za ML a fyziku, tak mě fascinuje, kolik podobností tam je 😄 A třeba tahle kniha učí deep learning terminologií fyziky [Deep Learning and Physics | SpringerLink](https://link.springer.com/book/10.1007/978-981-33-6108-9) [Sci-Hub | Deep Learning and Physics. Mathematical Physics Studies | 10.1007/978-981-33-6108-9](https://sci-hub.se/https://link.springer.com/book/10.1007/978-981-33-6108-9) pak ještě: [AI meets physics: a comprehensive survey | Artificial Intelligence Review](https://link.springer.com/article/10.1007/s10462-024-10874-4) [[2106.10165] The Principles of Deep Learning Theory](https://arxiv.org/abs/2106.10165) [[2103.09985] A deep learning theory for neural networks grounded in physics](https://arxiv.org/abs/2103.09985) I mean, optimizace v kompilátorech se poslední dobou přes specialized machine learning modely zkoumá víc, na zvýšení efektivity přes nahrazování moc komplikovaných heuristik, bez jenom blbýho poslani promptu ChatGPT bez žádného extra engineeringu... [MLGO: A Machine Learning Framework for Compiler Optimization](https://research.google/blog/mlgo-a-machine-learning-framework-for-compiler-optimization/) [ML for Comp and Arch](https://mlcomp.cs.illinois.edu/fa2023/) Když už se chce použít generalist jazykovej model na něco, tak se hodí to integrovat nějak inteligentněji, v konjunkci s víc performant specializovanýma modelama kde to jde, a chápat limitace všech těch modelů To by chtělo nějakou AI na doporučování AI? Na to technicky někdy stačí blbej Google, nebo technicky na to někdy používám Perplexity/Phind (co hledá na webu a ve studiích) a Elicit/ConsensusAI/SemanticScholar apod. (co hledají ve studiích) sem tam používám (a teď ještě experimentuju s tím novým SearchGPT) Ale existuje ještě obecněji víc fundamental research direction, kdy se trénují specializovaný routery na redirecting tasks do co nejvíc optimálních modelů 😄