Fundamentálně se všechno co dělám a o čem přemýšlím motá kolem toho že chci rozumnět a zjistit rovnici reality ve fyzice a vědách, rovnici intelligence, vědomí, kreativity, rovnici pro šťastnější svět pro všechny s co nejlepšímu standards of living a tvořit to technologiemi a lepší politikou a ekonomikou, přežití všech dlouhodobě, prozkoumání a osídlení celýho vesmíru, transhumanismus, všechnu matiku, apod. Curiosity, STEM, care for all, intelligence, growth Ale tuna tohodle systému v mým oboru mají jako number one prioritu extrahovat co nejvíc peněz z ostatních a prostředí, což někdy nepřímo náhodou podporuje to co chci já, ale často to rozbíjí a nebo je to přesně naopak. Musím změnit svý bubliny, mám z toho šílenou alergickou reakci. The future of programming is AI plus humans with BCI connected cothinking and cotabtabtabtabtabing [https://youtu.be/oFfVt3S51T4?si=7f2NhykKrjk4kleC](https://youtu.be/oFfVt3S51T4?si=7f2NhykKrjk4kleC) https://x.com/lexfridman/status/1843010390772605183?t=H3RuwzHnTBq0pnUJ6CFisw&s=19 Kvantová komunikace je cool, tady ukazují jak využívají jednotlivé fotony v superpozici, což umožňuje odesílateli a příjemci odhalit případné pokusy o odposlech díky kolapsu tý superpozice. [https://www.youtube.com/watch?v=HkGOGm2zDik](https://www.youtube.com/watch?v=HkGOGm2zDik) "pointa je, že vzdálenost dvou různých bodů v euklidovském prostoru je vždycky kladná; matematicky je to popsané metrikou, která je pozitivně definitní kvadratická forma (symetrické bilineární formy jsou ke kvadratickým 1:1) kdyby ta forma byla degenerovaná, tak budou nulové i vzdálenosti mezi některými různými body, takže ta forma už není pozitivně definitní a ten prostor není euklidovský " " [Euclidean distance - Wikipedia](https://en.wikipedia.org/wiki/Euclidean_distance) [Metric space - Wikipedia](https://en.wikipedia.org/wiki/Metric_space) [Quadratic form - Wikipedia](https://en.wikipedia.org/wiki/Quadratic_form) [Definite quadratic form - Wikipedia](https://en.wikipedia.org/wiki/Definite_quadratic_form) [Bilinear form - Wikipedia](https://en.wikipedia.org/wiki/Bilinear_form) [Symmetric bilinear form - Wikipedia](https://en.wikipedia.org/wiki/Symmetric_bilinear_form) [Non-Euclidean geometry - Wikipedia](https://en.wikipedia.org/wiki/Non-Euclidean_geometry) " " Když se to pokusím ty termíny vysvětlit v jednoduším jazyce když osekám nějakou tu matiku, tak zhruba to asi jde zaokrouhlit takhle: Neeuklidovský prostor se od euklidovskýho prostoru liší tím že je zakřivený. Metrika je funkce co zobecňuje vzdálenost, dá ti číslo když tomu dáš dvě něco (např body nebo vektory), a má určitý vlastnosti co chceme pro vzdálenost (např nezáporný výsledek, pořádí argumentů je jedno, dva stejný body ti dají nulovou vzdálenost). Kvadratická forma je funkce co má všechny části s druhým řádem (např funkce x^2 + y^2 + xy). Když je pozitivně definitivní, tak každý nenulový vstup dá kladný výstup, a nulu dá jen pro nuly. Což platí pro euklidovskou vzálenost vektorů (když se to dá na druhou). Ale když je degenerátní, tak existuje nenulový vstup, co vrátí nulu, což rozbíjí pozitivní definitivnost. Pro každou kvadratickou formu existuje bilineární forma. Bilineární forma je funkce co bere dva vektory a vyplivne číslo, a když se nějak změní vektor na vstupu, tak se výstup změní stejně (dost zjednodušeně linearita, bilinearita to víc rozšiřuje). A když je symetrická, tak je jedno v jakým pořádí dáme argumenty. " " "People just use LLMs in schools and plaigarize!" Hmm, ty courses se budou muset nějak víc adaptovat no. Natočení toho jak lidi píšou, psaní jen v classrooms... Podobný metody se dělají když lidí reálně plaigarizovali už před tím, když člověk okopčil text od spolužáka nebo z internetu od jinýho člověka 😄 to se mega dělalo a dělá na maturitu z literatury všude. "LLMs just plaigarize!" Tenhle claim jsem nikdy pořádně nepochopil. Pro to aby ty AI firmy kompenzovali autory trenovacich dat ale souhlasím, o tom jsem loud. 😄 Ale připadá mi to jako podobný lost battle jako když už teď všechen big tech sbírá a prodává všechny naše data pro všechno možný. Nebo aby měli stejnou cestu k přístupu k datům jako mají přístup lidský oči. Nebo aby vraceli benefit z automatizace přes např UBI. Apod. A chápu tu frustraci, ale, pořádně jsem nikdy nepochopil ten claim plaigarismu. Modely musí dělat kombinaci memorizace a generalizace různých featur, heuristik, programů apod. derived z trenovacich dat pro to aby fungovali tak jak fungují, podobně jako lidský mozky. Pro mě plaigarism znamená v podstatě kompletní ctrl c ctrl v. Deep learning tohle ale nedělá, deep learning má určitou formu unique recombinace různých zkompresovanych features nad trenovacima datama a určitou formu generalizace skrz různý škály. Doslova když se ty modely trénuješ, tak máš training set, validation set, a evaluation set. Trénuješ jen na training setu. Schválně se tréning set v různých tzv epochs různě shuffluje aby se tvořila co nejvíc diverzní vnitřní reprezentace. Nebo se dělá circulum learning a podobný triky. Evals se schválně dělají na validation a evaluation setu aby se incentivizovala ta generalizace, aby to minimálně memorizovalo. Má to název crossvalidace. To co nechceš se říká overfitting, a řeší to bias and variance trade off ze statistical learning theory. Pak máš mnohem lepší performance. [Bias–variance tradeoff - Wikipedia](https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff?wprov=sfla1) Ale lidský mozky jsou pořád unique v nějakých aspektech. Lidi jako Einstein museli dle mě udělat nějakou stronger out of box generalizaci co dle mě dosavadní modely by možná nedaly kdyby měly všechny modely fyziky a naměřený empirický data z fyziky. A dost lidí jsou pořád míň brittle, mají větší long term coherence ve víc complex actions, apod., je ještě dost unsolved problems, do toho jde hezky Francois Chollet researcher. Teorie kolem toho jak ty AI systémy co už máme fungují taky ještě chybí. Můj oblibenej příklad kreativity u jazykových modelů je tohle od Ben Goertzela researchera. 😄 "Like, you can craft prompts describing an alien civilization with five sexes and the love affairs among these different combinations of alien sexes, what's considered cheating or not among different permutations of alien molecules? Right? Then you can ask the LLM what will be considered unethical to what degree by which of these alien sexes. Right? And there's nothing like that in the training data. You just made it up. And it can reason through that with great facility." Nebo FunSearch co vytvořil progress v matice. [FunSearch: Making new discoveries in mathematical sciences using Large Language Models - Google DeepMind](https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/) Nebo AlphaFold na protein folding, některý výsledky pro matiku kolem o1, material science discovery systémy, apod. " " Ještě mi příjde zajímavý jak tím, že v deep learning je v základu spojitý paradigma (differential programming), tak aby ses nedostal do divných částí toho šíleně dimenzionálního latentního prostoru, kde máš např napůl brýle na člověku, a na půl ne, tak tyhle outlier části prostoru musíš šílené squishovat s šíleným množstvím dat a trénováním, což ale trochu zároveň omezuje i kreativitu. [https://youtu.be/LgwjcqhkOA4?si=jiI3dWGArOct3nm0&t=1470](https://youtu.be/LgwjcqhkOA4?si=jiI3dWGArOct3nm0&t=1470) Proto míň dotrénovaný deep learning modely jsou v nějakých aspektech kreativnější v základu, tím jak mají větší varience a menší bias, a jak mají přístup do těhle alien části latentního prostoru. :D Ale i extrapolace ve squished prostoru je pořád solidně kreativní, tím jak to může vytvořit takový kombinace co v trenovacich datech nebyly přes retrieving společných konkrétních featur, programů, jejich kombinací, a různý slabý generalizace těchto vzorů. :smile: Neurosymbolika od základu je schopna jednoduššího zobecňování a tenhle spojitý squishing není potřeba, a tuna lidí se to snaží s neuronkama spojit. Nejlepší deep learning systémy do neurosymboliky pomalu morphují. AlphaGeometry and AlphaProof uses LLM with symbolic Lean AlphaCode uses MCTS and sampling o1 uses CoT RL with reward model, not just pure deep learning <https://arxiv.org/abs/2006.08381> etc. " Deep learning is applied physics [Press release: The Nobel Prize in Physics 2024 - NobelPrize.org](https://www.nobelprize.org/prizes/physics/2024/press-release/) Lots of AI is subset of physics. The Hopfield network is closely related to spin glass systems. Statistical mechanics ideas such as phase diagrams and phase transitions are used to analyze Hopfield networks. There is a reason why neural networks are grouped with disordered systems in arXiv. polyrize mi už vygenerovala tolik anxiety [Polycrisis - Wikipedia](https://en.wikipedia.org/wiki/Polycrisis) ale štve mě že spousta lidí co řeší polykrizi jsou směrem k degrowthu, se kterým nesouhlasím, ten si myslím by věci v praxi spíš zhoršil navíc ta věda za tím je dost fuzzy https://x.com/heimbergecon/status/1831240253358653680 Lets be glad we all have a limited time to spend on this rock in space, and enjoy it while it last? my values are too transhumanist to not want to make that time to enjoy even longer laws of physics are the only limitation! maybe we will be able to rewrite them with technology one day! 😄 Train AI to curate AI in search [Reddit - The heart of the internet](https://www.reddit.com/r/aiwars/comments/1fyppp1/ignore_the_somewhat_exaggerated_title_below_but/?share_id=qGZuDHoVVnPuzl5VTBcRh) Agency over qualia maxxing https://x.com/algekalipso/status/1843724663937216600?t=nkqe0MenFIdOrcuDYbuuCw&s=19 Multiagent AI systems are higher order massively parallel computing If you think that your cognition with intelligence and beyond won't be able to be created in machines, then you're probably going to be extreeeeeemely surprised very soon. Many people are already surprised with what the current AI systems can already do. But there are still many things to improve. But this is the worst that AI will ever be, it will get only better from now. For so many tasks you don't need to build a gigantic pipeline of tons of interacting agentic AI models, one very clear engineered prompt to one model can be enough Freedom is worth more than fancy objects Let love and understanding be the light and your way každý je nejvíc skilled a dokázal toho maximum v jeho vlastním kontextu there is only growth in the future by building on top of the current state, which one can accept, as ruminating on the past doesn't lead to anywhere radically accepting the present moment and living in it is also an option (i tried to do that a lot in the past, now i do it sometimes) we are the story we tell ourselves and we have the ability to edit it jsou to programy co často jdou do mozku nainstalovat, plus je o tom hodně terapií 😄 i když jsem byl na dně, tak tam zároveň pořád existovaly tyhle různý hopium části, co moji mysl celkově kind of pořád držely nad vodou cognitive behavioral theraphy tomu říká cognitive restructuring nebo jeden algoritmus co mi fungoval je že člověk musí pořád meditovat na "i need to get unstuck, these are the steps to take to solve this problem, let's focus on it now obsessively" myslím že do velký míry to jsou programy co jdou eventuelně nainstalovat s dostatečnýma vlivama na mozek u některých možná ale klasický vlivy mají malou podobnost úspěchu nainstalování stabilních hopes and dreams a pomůže už jen neurotechnologie zajímalo by mě do jaký míry to je softwarový a do jaký míry hardwarový to chce boostnout [The powerful brain: Neural correlates of sense of power and hope](https://www.sciencedirect.com/science/article/abs/pii/S0028393222001762) , [Goal setting and attaining: Neural correlates of positive coping style and hope](<[Goal setting and attaining: Neural correlates of positive coping style and hope - PubMed](https://pubmed.ncbi.nlm.nih.gov/34180066/>) ye, vidím to tak že software může kauzálně měnit hardware a hardware může kauzálně měnit software (v neurovědách to je forma top down a bottom up causation/control) a software vidím jako jednodušeji transformovatelný jenom komunikací a tím jak hardware může pomoct ovlivnit software může např psychoterapie u dost lidí být accelerovaná když je supplementovaná se SSRIs, SNRIs, psychedeliky, ketaminem, MDMA, nebo jinýma antidepresivama a pak jsou víc hardcore antidepresant technologie jako transcranial magnetic stimulation fungujou různě u jiných lidí no 😄 některým pomůžou, některým spíš ne je o tom celej obor cognitive computational neuroscience 😄 na depresi z cognitive computational neuroscience má rád tyhle studie: [Oversampled and undersolved: Depressive rumination from an active inference perspective](<https://www.sciencedirect.com/science/article/abs/pii/S0149763422003621>), [An active inference theory of allostasis and interoception in depression](<https://royalsocietypublishing.org/doi/10.1098/rstb.2016.0011>) njn, zatím umíme spíš hodně jednoduše číst nějaký verbální a vizuální myšlenky přes AI :smile: [New Mind-Reading "BrainGPT" Turns Thoughts Into Text On Screen](<https://www.iflscience.com/new-mind-reading-braingpt-turns-thoughts-into-text-on-screen-72054>), [Toward a real-time decoding of images from brain activity](<https://ai.meta.com/blog/brain-ai-image-decoding-meg-magnetoencephalography/>) další krok bude přímější editing a upload 😄 na depresi v praxi v nemocnicích zatím prostě zkoušíme hackovat hardwarovou neurochemii a geometrii mozku přes substance a např ty electromagnetickou stimulaci 😄 dost mě zajímá jaký technologie na deprese budeme mít v nemocních za pár desítek let 😄 nebo neuralink se kterým jde např myslí ovládat počítač je taky krok vpřed (a všechny rivaly neuralinku 😄 ), ale to je taky zatím jen reading nejčasetěji se proti závislostem používá ta transcranial magnetic stimulation neurotechnologická metoda 😄 ale je jich víc 😄 i na depky time to destroy these causes of these problems 💪 "some problems are permanent" chápu, i když věřím že eventulně různý typy technologií budou schopny v mozku přetransformovat cokoliv, ale tam ještě nejsme ale zároveň si myslím že by se měl dost přetransformovat náš systém, aby různý příčiny deprese nezpůsoboval in the first place nebo ještě chápu věci jako grief, i když si myslím že může být až moc chronický or physical health issues, tam si taky myslím že to technologie budou eventuelně schopný vyřešit 😄 we might need more methods of activating or growing the love module in the brain a zároveň si myslím, že ten technologický pokrok bude mnohem rychlejší než většina lidí předpokládá! 😄 ale ještě je potřeba zařídit, aby se dostal co nejvíc do rukou všech, nezávisle na tom kolik má člověk individuální peněžní/politický/sociální/technologický moci, kontaktů, kde bydlí, atd... Which one of the Turing machines do you feel like? [Turing machine - Wikipedia](https://en.wikipedia.org/wiki/Turing_machine) AI is eating the world AI is and will start to eat all prizes I'm in love with the chain rule Yeah sex is probably great but have you ever had extremely complicated equation where everything slowly but surely beautifully canceled and you were left with the most simple beautiful elegant equation possible as a result? Quantum machine learning is the ultimate nerd snipe Trying to understand the equations of intelligence, our world, and the universe, and applying them to build technology for the benefit of all, is what fuels me Open-ended exploration through space of possible structures with very loose objective functions is where serendipity happens [https://youtu.be/lhYGXYeMq_E?si=wjLh7R77vxijaHL8](https://youtu.be/lhYGXYeMq_E?si=wjLh7R77vxijaHL8) Me checking the /r/Singularity every morning: "Hmm, let's see if the world hasn't exploded yet..." I will be the Higgs field to your particles, the Calabi-Yau manifold to your strings, the loop quantum gravity to your spacetime. If you have a consistent reward signal and enough compute, you can RL multiagent self play your way to superintelligence Hello fellow human, may I introduce you to the replication crisis that is melting the foundations of the results from soft sciences? I want to express more kindness to people that are kind and create a mutually reinforcing ecosystem of kindness with glowing golden and rainbow hearts AI jobs nowadays be like: "Yes, we're now trying to integrate this technology that came out two nanoseconds ago for this client's project. We will try to integrate the other technology that came out one nanosecond ago for the next client's project." Agents are the next big thing in AI Both hard sciences and soft sciences are results of our brains collectively predicting, controlling and constructing stable regularities of the physical world in time and space. I love the field of cybernetics! https://x.com/FrederikNeckar/status/1845515766881546511?t=Uqun0J6rY-j_mrr0PCn5zA&s=19 Map is not the territory All models are wrong but some are more predictive than others https://x.com/PhysInHistory/status/1845698297253491164?t=oYoz8-Idv9yfPu3nuqaoQA&s=19 Lots of rationalists and effective altruists are such kind souls. Keep being so pure with golden hearts! 💞 Build future that everyone will love " I love systems science! When it comes to the world around us and minds, i think about it often in the terms of homeostasis, control, feedback loops, hierarchies/heterarchies, emergence, selforganization, evolution, adaptation, learning, predicting, modelling, approximating, acting, inference, world models, nonlinearity, chaos, attractors, metastability, resilience, autopoiesis, equilibria, out of equilibria, fluctuation, dissipation, fractals (selfsimilarity, scalefree patterns), scales, ecosystems, modularity, flows, evolutionary game theory with agents, reinforcement learning, imitation learning, fluid dynamics, cybernetics, (bayesian) probability, harmonic analysis, information flow, symmetries and asymmetries, active inference, network theory, graph theory, search, phase transitions, pullback attractors, minimizing free energy, edge of chaos, nested subsystems, fuzzy boundaries, topology, modelling regularities across time and space,... You can google all of these terms, I think they're all extremely insightful. Most of them have wikipedia article. Wikipedia graph of concepts on systems science is amazing. For almost all of them there exists at least one study where someone tried to apply them either to the brain or to society that you can download and read (or to various other complex adaptive systems). [Systems science - Wikipedia](https://en.wikipedia.org/wiki/Systems_science) Some of my favorite complexity science thinkers from cognitive science are for example Karl Friston (with his free energy minimization with active inference applied to all systems) and Joscha Bach (who sees mind as a coherence inducing operator over neural dynamics). [https://www.youtube.com/watch?v=CcQMYNi9a2w](https://www.youtube.com/watch?v=CcQMYNi9a2w) [https://www.youtube.com/watch?v=kgMFnfB5E_A](https://www.youtube.com/watch?v=kgMFnfB5E_A) We're swimming in memetic narratives that posit overly simple linear causality about our world but reality is highly complex nonlinear chaotic interaction of tons of incentives across scales. Our physical and mental functional and morphological selfregulating architecture is shaped by a gazillion of chaotically interacting environmental and genetic factors. I helped to write a paper summarizing applications of Friston's framework (tendency of complex adaptive systems to self-organize as to maintain low-surprise states) to all sorts of systems. " MMLU is terrible benchmark and it's even more terrible and not saying anything anymore when close to 100% Everybody knows about AI generating images but almost nobody knows about AI predicting proteins and helping in healthcare. Let's change that! chápu to tak že quantum computing má největší reálný implikace pro např pro kryptografii [Post-quantum cryptography - Wikipedia](https://en.wikipedia.org/wiki/Post-quantum_cryptography) nebo pro simulaci kvantových systémů [Practical quantum advantage in quantum simulation | Nature](https://www.nature.com/articles/s41586-022-04940-6) a možná nějaký ty ML algoritmy Scott Aaronson je můj oblíbenej quantum computing vědec, taky popisuje quantum computing aplikace 😄 [Shtetl-Optimized » Blog Archive » Quantum Computing: Between Hope and Hype](https://scottaaronson.blog/?p=8329) https://x.com/burny_tech/status/1846024272491286942 Scott Aaronson on quantum computing applications [Shtetl-Optimized » Blog Archive » Quantum Computing: Between Hope and Hype](https://scottaaronson.blog/?p=8329) https://x.com/burny_tech/status/1846024272491286942 Intelligence at the edge of chaos [[2410.02536] Intelligence at the Edge of Chaos](https://www.arxiv.org/abs/2410.02536)