jinak se osobnost sofistikovaněji tvoří přes https://en.wikipedia.org/wiki/Reinforcement_learning_from_human_feedback kde se tvoří osobnost tím, že samplne llm několikrát, a pak lidi rankujou jaký odpovědi co víc sedí s tou osobností, a z toho se trénuje reward model, který pak pomocí reinforcement learning loopu učí ten model mít tu osobnost hmm jo minimalizace degrees of freedom inputu pro RL agenty je velký podobor no nebo když se engineerují features pro RL agenty na hry, tak se do inputu často dá relativně celkem malý množství konkrétních informací o stavu hry místo preprocessed image inputu celý hry, např se mi líbilo jak tady v Trackmanii, podobný věci jsem zkoušel u jednoduší hry https://www.youtube.com/watch?v=NUl6QikjR04 a reward funkce jsou taky strašně důležitý hmm, možná by šel vytvořit nějaký víc automatizovaný pipeline pro konstrukci těhle input features možná aj pomocí ML samotnýho metalearning is fun moderní generativní algoritmy v matice při generování v podstatě nechávají tvar prostoru možností plout jako tekutiny https://fxtwitter.com/alec_helbling/status/1924451851316932758 to nejsou výsledný obrázky ale prostory možností kde každý bod (možnost) může být cokoliv když se transformuje takže to můžou být třeba i proteiny já zkouším flow matching, alternativa k diffuzi, co se teď víc a víc používá za tunou nejazykovýma generativníma modelama (přesněji řečeno je to technicky matematicky spíš zobecnění diffuze než alternativa) nope, tohle jsou výsledky transformování obecný pravděpodobnostní distribuce, co nekoresponduje k žádný konkrétní modalitě, its just numbers https://futurism.com/commitment-jail-chatgpt-psychosis příjde mi zajímavý jakým směrem možná bude ta kauzalita nebo jenom korelace v různých případech myslím že v některých případech to bude cirkulární kauzalita, takže někteří přes confirmation/selection bias zesilují svoje crazy beliefs přes chatboty ale např před chatgpt by crazy lidi zintenzivňovali svoji craziness pomocí jiných nástrojů, jako konspirátorský/spiritální skupiny na facebooku, různý kulty irl, nebo stačí knížky a google search s crazy informacema, nebo jenom unhinged mozek co si generuje crazy narativy sám o sobě lol plus je i dost případů kde někdo začíná být crazy a chatboti ho naopak relativně groundnou nazpátek do reality, takže kauzálně funguje i opačný fenomén nebo obecněji jsou různý případy kde je korelace s horším mental health a případy kde je korelace s lepším mental health, kde je zajímavý zkoumat jakým směrem nějaká kauzalita je, pokud tam vůbec v různých případech je ale většina toho je zkoumání možností a spekulování no, protože jestli v těch různých případech jsou a nejsou confounding variables by nejlíp určila jen nějaká kvalitní systematická studie s dobrou statistikou myslím že mě osobně chatboti ve roli terapeuta mega pomohly a znám jiný takový lidi hmm, některý tyhle myšlenky přídám do návrhu skriptu videa ale taky zároveň znám crazy lidi co používají chatgpt aby svoje crazy beliefs zesilovali, co dostala banány z různých komunit kde jsem no zkoumal jsem dřívěší futurism article na podobný téma reagoval jsem hlavně obecně na "As we reported earlier this month, many ChatGPT users are developing all-consuming obsessions with the chatbot, spiraling into severe mental health crises characterized by paranoia, delusions, and breaks with reality." koukám zbytek článku, koukám že tam listují další podobný případy akorát se mi u Futurismu nelíbí že mají konzistetně šíleně velký doom bias mohli by zmínit víc celej ten landscape, ne jen zmiňovat negativa, i když to generuje nejvíc clicks třeba u tý terapie by třeba mohli zmínit že i když existují ty výsledky co zmiňují, tak zároveň existují i pozitivní výsledky, jako např: [The therapeutic effectiveness of artificial intelligence-based chatbots in alleviation of depressive and anxiety symptoms in short-course treatments: A systematic review and meta-analysis](<https://pubmed.ncbi.nlm.nih.gov/38631422/>) we observed noteworthy improvements in depression and anxiety symtoms ale taková studie se nikdy na futurismu neobjeví Když jde o AI, tak tam se jede primárně doom mám radši když se ukáží kousky z co nejvíc částí toho landscapu toho tématu, aby člověk měl lepší přehled o celým tom landscapu, a tak se i minimalizoval tunnel vision a confirmation/selection bias ok, tak já jen odpověděl že na tohle teď chceme taky psát skript pro video a jak tohle téma teď vidím plus že myslím že v médiích je relativně nadměrný zastoupení doomu oproti bloomu ale to ne jen kolem AI no někdy mě jebe z toho jak první asociace tuny lidí kolem AI jsou jenom čistej doom z velký části a skoro žádný pozitiva protože média jim minimálně ukazují i ty pozitivní stránky co se dějou ale to je u hodně témat ale u AI je to hlavně kulturní válka než reportovat co nejvíc celý landscape v jednom zdroji alespoň např https://singularityhub.com/category/artificial-intelligence/ reportuje positive news nebo ten YT kanál co jsem poslal kterým pomáhám obsahuje jak silnou kritiku tak silný praise poslední video je diskuze mezi tím nejznámějším haterem LLMs a týpkama co jsou "na opačný straně" jé novej článek na moje oblíbený téma https://singularityhub.com/2025/06/26/the-dream-of-an-ai-scientist-is-closer-than-ever/ je super že tu mapují všechny různý AI systémy a jejich využití pro vědu ale myslím že tihle mají zase až moc velkej positive bias, např u LLMs by měli zmínit že naopak je i dost případů kde LLMs udělaly chybu a lidi to po nich neopravili, což je problém nebo že spousta těch jiných AI systémů mají lepší state of the art výsledky v nějakých problem domains, ale není to naprosto šílenej skok dopředu, a někdy se využívaj kombinace tradičních a neurálních systémů ale alespoň singularityhub tím větším positive biasem asi tvoří trochu větší balanc v tom dle mě relativně nadměrným zastoupení doomu oproti bloomu v médiích snažím se být nekonfliktní já chci spojovat, ne polarizovat i want to build bridges and balance the overall distribution of beliefs that people have to create conditions for these bridges This paper has been on my mind a lot https://x.com/kenneth0stanley/status/1924650124829196370 He's arguing that open ended search learns better internal representations than conventional stochastic gradient descent in neural networks I wanna see more interpretability on models doing mathematics! I was in category theory rabbit hole too, before I went from pure math into empiricism. Category theory x AI is also a rabbit hole I love! Do you know about categorical deep learning? Position: Categorical Deep Learning is an Algebraic Theory of All Architectures https://arxiv.org/abs/2402.15332 Someone "I claim this is pretty much useless, uninspiring, and just nerd sniping" Yeah I've seen similar feedback on this lol. One of the reasons why I left category theory for practical stuff in this field. But it's still mathematically euphoric! :D I see category theory as linguistics of mathematics. I like geometric deep learning for example that looks at everything through symmetries. That's both practical and mathematically euphoric! https://arxiv.org/abs/2104.13478 They already created novel practical SoTA architectures thanks to this. https://deepmind.google/discover/blog/tacticai-ai-assistant-for-football-tactics/ GNNs already work in domains where its graph structure can be exploited. But yeah, in the long run, more simple approaches with enough scale will maybe work better more generally.. I'm a big fan of Sutton and i love reinforcement learning! His "Welcome to the Era of Experience" essay was great. https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf i mean there are still domains where graph neural networks are just better SoTA than transformer approaches, like the one i linked but yes its entirely possible that there's a better way to setup a transformer that will beat it the unreasonable effectiveness of transformers fascinates me daily similarly to how when it comes to some tabular data, architectures like extreme gradient boosting (XGBoost) is still SoTA i am transformer maximalist too, or neural network maximalist more generally, so i feel you :D is that so? https://arxiv.org/abs/2207.01848 hmm that looks cool, i wonder how would that work on various datasets on Kaggle where XGboost or similar architectures are on top i agree transformers are steamrolling more and more domains, recently i looked at some healthcare applications and a lot of visions transformers steamrolled CNNs recently and i find it fascinating how every few months there's some transformer killer but transformers are still on top after the hype fades away anyway i definitely think in many domains transformers aren't SoTA yet only because people just didnt try applying them enough people using agents: např jim příjde příjemný mít pocit že mají několik machine coworkers který teda ale musí hodně navádět a opravovat a mají šíleně limitací apod. nebo jiný to vidí jako mít advanced photoshop kde brushes jsou kód a já osobně psychologicky primárně rád z vědecké zvědavosti zkoumám schopnosti různých inteligencí tak to by ti asi nejvíc vyhovovalo to vidět jako advanced photoshop specializovaný na low level tipuju, možná i to ne jakože v tenhle moment by člověk stejně furt měl být na všech místech, protože ty aička dělají chyby pořád, často úplně hloupý chyby (ale jindy naopak vytvoří naprosto perfektní výsledek co člověka možná ani nemusí napadnout, což je někdy fakt paradoxní), a mají hodně limitací, člověk je musí supervizovat a navádět a oparavovat a jako juniory nebo studenty ve škole ale spousta manažerů si myslej že už jsou perfektní machine coworkers, to fakt ne, na to je moc brzo technicky řečeno jeden z primárních problémů je že mají hodně velkou míru false positives v porovnání s lidmi a v Cčku v linuxu tohle platí 100x víc, protože programming aička jsou teď nejlepší v pythonu/javascriptu v nejpopulárnějších kontextech, když to není moc komplexní, a když existuje dostatek základu ze kterýho stavět, což ti manažeři znají asi nejvíc On the other hand, it might be useful there in this way like in here: [How I used o3 to find CVE-2025-37899, a remote zeroday vulnerability in the Linux kernel’s SMB implementation](https://sean.heelan.io/2025/05/22/how-i-used-o3-to-find-cve-2025-37899-a-remote-zeroday-vulnerability-in-the-linux-kernels-smb-implementation/) metagraphs of thought to že gigantický generativní modely hodně konkrétního typu jsou teď synonymum s AI mě taky štve AI je extrémně gigantickej obor a tohle je asi 1% všeho co existuje to že všechno co zmiňuje se nazývá AI není obfuskace to je terminologie co se v akademii používá roky před celým genAI boomem expertní systémy byla jedna z prvních vln AI, pak byla první deep learning vlna, teď je druhá deep learning vlna (a různý další vlny mezi tím) >dont trust Ai at all to be used in science tradiční Ai systémy i moderní generativní modely mají šílený množství usecases ve vědách např jejich větší míra false positives se bere v potaz v seriózním searchu co to používá pro advancement věd grounduje se to např přes symbolický evaluation funkce a existují lokální modely na pár GPUs nebo modely co mají strict kontrolu nad open trénovacími daty když to člověk chce LLMs generalize to some degree though That's more than just repeating information Otherwise novel discoveries in math wouldn't be possible with them, like in AlphaEvolve https://youtu.be/vC9nAosXrJw?si=pkgqUkTVpjtDbwvL We can do so much better when it comes to generalization and world model building, yes, but it's not just repeating, as we're already creating new knowledge with them And when you look inside using reverse engineering, you see the generalizing circuits, that are often broken and can be better, but they're there Is that novel math result not an original thought? It's for sure original I guess it depends on how you define "thought" It is different, because no other algoritm that we have that we tried could achieve this result How do you define thought? It has to be a representation on only biological substrate? I see the brain as operating under algorithms and building representations too, among many other things, which is studied by computational neuroscience Brain has different algorithms and differently structured representations on a different hardware, but it's also algorithms and representations on hardware with some similarities in those algorithms, representations and hardware It uses algorithms, that's what the field of computational neuroscience studies among other things Checkout for example https://en.wikipedia.org/wiki/Predictive_coding Algorithm is just a process or set of rules to be followed in calculations or other problem solving operations, which you can find in the brain You have a lot of dedicated regions for specialized information processing, like a region for facial recognition People do compare it in science though. There are differences for sure, but also lots of similarities. See Human-like object concept representations emerge naturally in multimodal large language models https://www.nature.com/articles/s42256-025-01049-z https://techxplore.com/news/2025-06-multimodal-llms-human-brain-representations.html "The resulting 66-dimensional embeddings were stable, predictive and exhibited semantic clustering similar to human mental representations. Remarkably, the dimensions underlying these embeddings were interpretable, suggesting that LLMs and multimodal LLMs develop human-like conceptual representations of objects." And https://transformer-circuits.pub/2025/attribution-graphs/biology.html It is different, hut not completely different, there are similarities that don't make it completely different "why computers can't really do what the brain does" Functionally they can already do various tasks that were previously just thought to be human things, because of those similarities Sure, there's still tons of unsolved problems And sure, whole brain emulation projects will still take a lot of time If you want 1:1 mapping I don't think we need exact replicas of the brain for intelligent machines, as we're seeing now I'm also at the same time fan of attempts at whole brain emulation and simulation that tries to do as much 1:1 mapping as possible and simulate it, on both biologically inspired hardware and digital computers But it's so far not solved enough and very impractical for AI, but maybe that will change in some years To me intelligence isn't limited to brains and biology generally https://youtu.be/6w5xr8BYV8M?si=hh-mXQiSOFT1i04s Novel systems with novel algorithms on silicon can also be intelligent to me, if they can to various degrees create models, generalize, generate novel knowledge, solve hard tasks by learning, adapt, etc. There are levels to the ability of being able to do all these things, so it's on a spectrum, and there are different types too. I guess your definition is radically human centric, maybe equating it with the equations that the brain uses. I guess we disagree there, as my definition is approximately this one, which isn't radically human centric, and can be implemented in other subtrates, like the computers we create, too, in various forms, as long as it does the things that I mentioned to define intelligence. And there's also Turing completeness that makes computers theoretically universal where they can execute any computable algorithm. But the efficiency depending on the Turing complete building blocks also matter in practice. And there's also: In computer science and quantum physics, the Church–Turing–Deutsch principle states that a universal computing device can theoretically simulate every physical process. https://en.wikipedia.org/wiki/Church–Turing–Deutsch_principle This is one of my favorite attempts at putting intelligence into an equation, Francois Chollet's definition! His motivation is primarily to get some better ways to measure it in machines. https://arxiv.org/abs/1911.01547 For him, intelligence is skill-acquisition efficiency, the efficiency with which you operationalize past information in order to deal with the future, which can be interpreted as a conversion ratio, and highlighting the concepts of scope, generalization difficulty, priors, and experience. The ability to generalize is important there. He uses algoritmic information theory. https://imgur.com/f7YuIXO And he's fan of neurosymbolic program synthesis approaches. His new presentation. https://www.youtube.com/watch?v=5QcCeSsNRks mám chuť udělat nějakou pořádnější tabulku co nejvíc různých typů generativních AI systémů a co nejvíc různých usecases, aby někteří lidi, co si ideologicky dogmaticky bez nuance myslí že veškerý generativní AI je satanic antichrist co přišel aby zničil veškerou existenci, viděli, co všechno reálně v tom oboru a v industry existuje, aby viděli tu nuanci a diverzitu generativní AI je obecně prostě forma generativní inteligence, co je na siliconu, a lidi taky mají formu generativní inteligence, co je na carbonu, a tuhle naši generativní inteligenci můžeme taky použít k těm nejvíc cool věcem a zároveň k těm nejhorším věcem nebo další rozdíl je že různý mozky mají relativně podobnou architekturu mezi sebou, mezitím co generativní AI jako obor obsahuje extrémní diverzitu různých architektur a algoritmů, a jde to použít na hodně velký množství tasků, ale zároveň furt jsou tasky, kde funguje jen ta lidská generativní inteligence, co jde taky použít na velký množství tasků, a ta množina vypadá jinak a průnik podobností architektur a tasků co lidi a AIčka dokážou řešit jde znázornit vennovým diagramem, ale je tam ještě hodně nuance co se týče způsobů řešení a schopnosti řešení (a detaily konkrétních modelů) https://www.youtube.com/watch?v=rpuIQm_bK9k Zatím jsem to neviděl ale ten titulek vypadá zase strašně černobíle, depends how you use it, můžeš ten jazykový model shapovat do různých konkrétních kontextů a člověk musí být aware o sycophancy co zrovna u jazykového modelu pod ChatGPT celkem je v defaultním módu, což ale jde částečně regulovat Ale dle mě existují lepší setupy Slingshot AI je fajn https://www.youtube.com/watch?v=7hwX6OZyNC0 https://slingshotai.com/ Koukám že to video je mnohem míň černobílý než ten titulek Fakt nemám rád když lidi takhle baití Asi forma clickbaitu, idk Koukám že dost těch shortcomings co zmiňuje do jistý (limitovaný) míry řeší různý system prompty nebo wrappery nad ChatGPT jazykovýma modelama, a někdy ty wrappery používají víc modelů. Dost firem tohle dělá za tebe. Rozhodně to ale není všechno solved, má tam dle mě dobrý některý pointy, ale taky to fakt dle mě není "worst nightmare". >it's just regurgitating words Proč tohle lidi co tolik nevidí do technických detailů LLMs furt říkaj? Ve vědě jazykových modelů víme že si při učení tvoří různě komplexní vnitřní obvody co fakt nejsou jen "regurgitating words", i když ty obvody jsou daleko od perfektních obvodů ale jsem rád že tam zmínila Therabota https://home.dartmouth.edu/news/2025/03/first-therapy-chatbot-trial-yields-mental-health-benefits Btw další technická poznámka co tam mohla zmínit: Většina lidí používají modely co jsou relativně small a relativně nenáročný, že to inferencování se dá dělat na o dost menším clusteru grafik, a několik let se cost to serve per the same level of intelligence zmenšuje dvojnásobně za nějaký měsíce. Alternativně si můžou podobně kvalitní modely hostovat sami.