" Structure of reality from first principles Quantum fields, as described by the Standard Model of particle physics, are fundamental to our current understanding of reality. While some theories like string theory or loop quantum gravity propose more fundamental structures, these remain speculative and unproven. Matter and forces are understood as excitations or quanta of these fields. The behavior of quantum systems is generally described by quantum mechanics, with the Schrödinger equation being fundamental for non-relativistic systems. In quantum field theory, relativistic equations such as the Klein-Gordon or Dirac equations are used. These fields exist within spacetime, and the curvature of spacetime due to matter and energy is described by Einstein's theory of general relativity, with this curvature manifesting as gravity. Particles can exhibit quantum properties such as superposition and entanglement. As systems become more complex through the composition of these particles, systems of particles, and systems of systems, they can display varying degrees of quantum or classical behavior. When these systems interact with their environment, they undergo decoherence, which tends to make them appear more classical. Generally, more complex systems that interact strongly with their environment tend to exhibit more classical behavior. At larger scales, more complex systems give rise to emergent phenomena described by higher-level laws. These include various branches of physics, as well as chemistry, biology, ecology, sociology, astrophysics, and other sciences. While these emergent laws are ultimately based on the fundamental laws of physics, they often provide more practical descriptions of phenomena at their respective scales. The Standard Model describes three generations of matter particles: quarks and leptons. The six types of quarks are up, down, charm, strange, top, and bottom. The six leptons are the electron, muon, and tau, along with their corresponding neutrinos (electron neutrino, muon neutrino, and tau neutrino). Additionally, the model includes force-carrying particles: photons for the electromagnetic force, gluons for the strong nuclear force, and W and Z bosons for the weak nuclear force. The Higgs boson, discovered in 2012, completes the Standard Model and explains how other particles acquire mass through their interaction with the Higgs field. While the Standard Model successfully describes three of the four fundamental forces (strong nuclear, weak nuclear, and electromagnetic), it does not include gravity. The reconciliation of quantum mechanics with gravity remains an active area of research in theoretical physics. " https://x.com/burny_tech/status/1835157435796906315?t=3WBT9l31Nb1VS3_MNziW2w&s=19 We will crack the source code of reality What's the architecture of your mental universal function approximator? The power of universal function approximators [AlphaProteo generates novel proteins for biology and health research - Google DeepMind](https://deepmind.google/discover/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/) funkcionální magie ale chtěl bych se někdy naučit Agdu, ve kterým pár lidí dělá implementuje homotopy type theory https://en.wikipedia.org/wiki/Agda_(programming_language) a ještě Idris! https://en.wikipedia.org/wiki/Idris_(programming_language) Python je dobrej mix všemožných paradigmat, i když je všechno objekt machine learning používá různou funkcionální magii často uvnitř objektů a zároveň do toho hodně imperativity/procedulárna často hmm i ten monoid v kategorii endofunktorů [Mastering Python’s Hidden Power: Monad Design Patterns for Smarter Code | by Hamzza | Medium](https://medium.com/@hk151817/mastering-pythons-hidden-power-monad-design-patterns-for-smarter-code-123e509553d1) python je dobrá plastelína as long as its turing complete, you can implement everything in it but efficiency of that is another can of worms funkcionální jazyky se často používají v praxi v matice víc než ostatní u abstraktnější matiky nejčastěji se používá Lean https://en.wikipedia.org/wiki/Lean_(proof_assistant) hmm, ale asi ten bych se chtěl z těhle jazyků na matiku naučit pořádně asi nejvíc vím akorát nějakou matiku za ním, a dělal jsem si pár důkazů v Coqu, a hrál si trochu v Idrisu s kategoriemi (a asi ještě nějaký věci co si teď nevzpominam co se týče abstraktní matiky) [https://www.youtube.com/watch?v=Z2tKbdy_lys](https://www.youtube.com/watch?v=Z2tKbdy_lys) kategorie jsou nejhezší struktura v matematice co v sobě obsahuje nekonečno struktury a komplexity tím jak může definovat biliardu věcí transformery, teď jedna z nejpopulárnější neuronkových architektur, jsou technicky turingovsky kompletní (jen chybí infinite memory, ale to se snaží vyřešit např neural turing machines), takže tam můžeš simulovat jakýkoliv program co chceš [Attention is Turing Complete](https://www.jmlr.org/papers/volume22/20-302/20-302.pdf) a [ Memory Augmented Large Language Models are Computationally Universal](<https://arxiv.org/abs/2301.04589>) tady si hrajou s hradlama jako XOR ve váhách [Toward A Mathematical Framework for Computation in Superposition](<[Toward A Mathematical Framework for Computation in Superposition — LessWrong](https://www.lesswrong.com/posts/2roZtSr5TGmLjXMnT/toward-a-mathematical-framework-for-computation-in>) tady našli emergent konečný automaty ve váhách [Towards Monosemanticity: Decomposing Language Models With Dictionary Learning](<https://transformer-circuits.pub/2023/monosemantic-features>) co pak rozšířili [Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet](<https://transformer-circuits.pub/2024/scaling-monosemanticity/>), tady našli specializovaný obecný trigonometrický algoritmus na specializovaný task ve váhách [Progress measures for grokking via mechanistic interpretability, reverse engineering modular addition](<https://arxiv.org/abs/2301.05217>), tady našli kauzální board state šach ve váhách co jdou manipulovat [Chess-GPT's Internal World Model](<https://adamkarvonen.github.io/machine_learning/2024/01/03/chess-world-models.html>), tady board state othella [Actually, Othello-GPT Has A Linear Emergent World Representation](<https://www.neelnanda.io/mechanistic-interpretability/othello>), tady si hrajou s kauzálními grafy ve váhách [Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models](<https://arxiv.org/abs/2403.19647v1>), tady používají tuším symbolický RASP programovácí jazyk na rozumění co dělají váhy a na implementování algorithmů [Thinking Like Transformers](<https://arxiv.org/abs/2106.06981>) a [What Algorithms can Transformers Learn? A Study in Length Generalization](<https://arxiv.org/abs/2310.16028>), Atd. transformery, teď jedna z nejpopulárnější neuronkových architektur, jsou technicky turingovsky kompletní (jen chybí infinite memory, ale to se snaží vyřešit např neural turing machines), takže tam můžeš simulovat jakýkoliv program co chceš [Attention is Turing Complete](https://www.jmlr.org/papers/volume22/20-302/20-302.pdf) a [ Memory Augmented Large Language Models are Computationally Universal](https://arxiv.org/abs/2301.04589) tady si hrajou s hradlama jako XOR ve váhách [Toward A Mathematical Framework for Computation in Superposition](https://www.lesswrong.com/posts/2roZtSr5TGmLjXMnT/toward-a-mathematical-framework-for-computation-in), tady našli emergent konečný automaty ve váhách [Towards Monosemanticity: Decomposing Language Models With Dictionary Learning](https://transformer-circuits.pub/2023/monosemantic-features) co pak rozšířili [Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet](https://transformer-circuits.pub/2024/scaling-monosemanticity/), tady našli specializovaný obecný trigonometrický algoritmus na specializovaný task ve váhách [Progress measures for grokking via mechanistic interpretability, reverse engineering modular addition](https://arxiv.org/abs/2301.05217), tady našli kauzální board state šach ve váhách co jdou manipulovat [Chess-GPT's Internal World Model](https://adamkarvonen.github.io/machine_learning/2024/01/03/chess-world-models.html), tady board state othella [Actually, Othello-GPT Has A Linear Emergent World Representation](https://www.neelnanda.io/mechanistic-interpretability/othello), tady si hrajou s kauzálními grafy ve váhách [Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models](https://arxiv.org/abs/2403.19647v1), tady používají tuším symbolický RASP programovácí jazyk na rozumění co dělají váhy a na implementování algorithmů [Thinking Like Transformers](https://arxiv.org/abs/2106.06981) a [What Algorithms can Transformers Learn? A Study in Length Generalization](https://arxiv.org/abs/2310.16028), Atd. Rewarding firem producing value and taxing more those not producing value Weak ubi evropa healthcare podpora nezaměstnanosti, anarchocapitalist empire mars [Reddit - The heart of the internet](https://www.reddit.com/r/cscareerquestions/comments/1ffs19l/i_started_studying_cs_in_2021_during_the_greatest/) Tohle je jenom v Americe že? :smile: každej den vidím takovejhle identickej post na redditu v Česku o těhle případech v podstatě neslyším :D Podle mě je to spíš krize než saturace Velkou roli v tom hraje fakt, že teď tak nějak konci období kdy se do velkých startup giants investovalo a investoři chtějí revenue Je to vidět na všech těch Ride a delivery službách, které se postupně snaží být ziskové a ubližují tím řidičům i uživatelům A s tímhle se pojí I layoffs a trochu rozumnější zaměstnávání lidí A Amerika je prime target pro levné remote indy Hiring na poli crypto, defi,security vidím pořád Ale code monkeys už míň a všiml jsem s že (big) data engineering/analytics/science taky absolutně oversaturovali Indi 😄 globalizace hodně umožňuje velnou pracovní IT sílu z developing zemí myslím že před pár lety byl obecně IT peak, a teď je bottom, a do pár let se to stabilizuje do středu (hlavně software a web engineering) (a peak před tím byl dot com bubble) a AI job market je zase v peaku, co teď poslední půlrok ale trochu upadá kvůli až moc unrealistic expectations, což se ale možná zase teď změní s novou vlnou modelů co vychází teď plus mám pocit že Evropa je v těchto IT (a obecně technology) peaks a vlnách v delayi oproti Americe, a ostatní země v podobným nebo ještě větším delayi plus interně v Americe je zbytek Ameriky v delayi oproti San Franciscu se Silicon Valley Hmm, a jestli tohle je pravda, tak by na tom šlo možná rejžovat XD inženýr chce vidět krásné věci, CEO chce vidět prachy hmm, a velká část technology altruistů zase chcou vidět šťastný lidi a jiný bytosti :D je to směr jakým směrem věci evolvovat, postupně zvětšovat dosavadní množství štěstí/wellbeigu apod. na planetě, ne ultimátní cíl absolutního štěstí všech, což je taky IMO nerealistický podobně jako nikdy věci nebudou nejkrásnější nejperfektnější engineering marvely, nebo nikdy nikdo nebude mít nekonečno peněz, a věda asi nezjistí absolutně všechny vzory vesmíru atd. Rád si idealistický utopistický scénáře představuju, a kdysi jsem věřil že by šly i naimplementovat. Ale možná by šly naimplementovat na malých škálách, a nad tím někdy počád často přemýšlím. Ale došel jsem k tomu že na velkých škálách musí člověk mnohem víc brát v potaz dosavadní svět a jeho dosavadní stav, a jaký pravidla a hry tam reálně fungujou, jaký mají limitace, a jak s nimi pracovat, aby se to posunulo někam, kam člověk chce, místo přesně naopak než někdo chtěl, což se taky často děje,... :D myslím že na velkých škálách, pokud člověk nemá milliony/billióny peněz na lobbying nebo/a technologickou moc nebo/a politický kapitál nebo/a jiný nástroje na reorganizaci moci atd., tak toho dle mě změní/vytvoří/udělá málo, a často dobrý účely věci i někdy ještě zhorší tím že to někteří rádi zneužijí jak někteří AI znechucují publiku mě sere každej den, o tom rantím pořád :D podle starých i nových akademických definicí je machine learning obor podmnožina AI oboru, např wiki to taky klasifikuje stejně včerejší OpenAI model tohle přemýšlí i několik minut někdy, co ti ke všemu dá jeho chain of thought steps, co crusnul všechny předchozí modely v dost reasoning/math atd. tasks problém je že dosavadní modely jsou inherentně blackboxy (a research se to snaží rozluštit, nebo developovat víc interpretable architektury jako je neurosymbolika jako AlphaProof), a lidskej mozek taky z velký části je blaxbox pravděpodobně xD třeba intuici prostě nepůjde zinterpretovat u lidí spíš vidím frustraci v tom když svoje AI produkty některý companies až moc oversellujou 😄 to sice přinásí billiony v investicích, což zvyšuje funding pro další engineering a research, ale dost to ničí pověst, když to pak má horší výsledky než bylo očekáváno 😄 a pak problém greedy korporací co maximizujou prachy za každou cenu nad etikou, usefulness, safety, benefitem pro společnost, apod. :/ byl bych nejradši aby ty nejlepší a nejvíc powerful modely a obecně technologie developovali hlavně benevolent nerdi ale když už člověk má tak powerful modely a obecně technologie, tak i kdyby se snažili být benevolent, tak dle mě tlaku, incentiv, a žraní od korporací, různých vlád, apod., spíš neutečou, který operujou tak jak operujou, víc selfishly a powergrabbingly, a ne úplně hlavně pro dobro všech (jakkoliv se to dobro všech definuje, ale vydělat co nejvíc, a získat co největší kontrolu nad všema místo svobody, atd., to fakt IMO není, i když se tam různý (většinou menší) podkupiny lidí o to dobro reálně snaží) technicky naučit nový věci ji jde když si to cos řekl dá do short term memory (context window, která zmizí s novým chatem, když používáš nějakou nadstavbu nad surovým modelem), místo long term memory (do databáze na kterou může být napojenej, nebo "do neuronů" trénováním, ale to se v praxi zatím nedělá) ale pokusů aby se to trénovalo realtime do neuronů je hodně, je kolem toho celej podobor continual learning, a myslím, že do pár let to bude vyřešený a rozšířený i u tohodle chatbot apod. usecasu (možná s dosavadní arcitekturou ale upravenou, možná s novou) [[2302.00487] A Comprehensive Survey of Continual Learning: Theory, Method and Application](https://arxiv.org/abs/2302.00487) záleží jak to slovo "intelligence" definuješ 😄 prošel jsem si asi 1000 definicí od různých researcherů apod. a skoro každej to vidí jinak XD podle nějakých definicí jsou dosavadní modely různě inteligentní v různých doménách, podle jiných tam ještě nějakterý aspekty chybí, podle některých nevíme protože je nemáme dost prozkoumaný jak vlastně fungujou, podle některých jediný inteligentní lidi jsou ti kdo vymyslí něco novýho ve vědě, atd,... je to bordel XD tady nádherně na začátku zhrnuje různý existující definice: [[1911.01547] On the Measure of Intelligence](https://arxiv.org/abs/1911.01547) AI je celkově všude, dosavadní populární chatboti a obrázky/videa atd. jsou jenom celkem malá skupina AIček, pár usecases používající pár architektur. Pak jsou další usecases co používají podobný nebo další architektury - doporučování contentu na internetu, focení, různý rozpoznávání, healthcare, finance, autonomní auta a jiný stroje, roboti, automatický manufacturing, nějaký engineering, modelování fyziky a jiných věd, na matiku, hledání cest, plánování, různý optimalizace, apod.,... Ask infinite questions about how everything works! How can we analyze the system's shape? -> Geometry How do things change over time? How can we model the rates of change within the system? -> Calculus, Differential Equations How can we account for uncertainty and randomness in the system? -> Probability theory How can we model and analyze relationships and connections within the system? -> Graph Theory How can we model systems with distinct and separate components? -> Discrete Mathematics How symmetric is the system? What algebraic structures help in understanding the system's patterns? -> Abstract Algebra How many ways can the components of the system be arranged or interact? -> Combinatorics How can we break down signals or patterns into their frequency components? -> Fourier Analysis How can we investigate the inherent connectivity and structure of a system? -> Algebraic Topology How can we describe the evolution and long-term behavior of the system? -> Dynamical Systems How can we understand the average behavior of systems evolving over time? -> Ergodic Theory How can we understand and model entangled structures and their properties in the system? -> Knot Theory How can we quantify and manage information within the system? -> Information Theory How can we design systems to behave in desired ways through feedback? -> Control Theory How can we determine the most efficient ways to achieve desired outcomes in the system? -> Mathematical Optimization How can we compute approximate solutions to complex mathematical models of the system? -> Numerical Analysis How can we analyze and model patterns that repeat at different scales? -> Fractal Analysis How can we abstractly organize and relate different mathematical structures in modeling systems? -> Category Theory Etc. Ability to ask good questions is one of the most important skills It has been only eighty years since the first digital computers were built and we are nowhere close to exhausting their full potential. What happened in the past eighty years is nothing compared with what’s in store. I really hate how ethanol is so normalized in our culture (specifically here in Czechia) while so many other molecules, which are not at all on the level of ethanol's harm but on the contrary, are looked down upon. It's so insanely hypocritical and unjust and periodically fills me with rage. Sex is trillions of cells working to bring two cells together. Learn absolutely everything Some people are in such an insane denial about current AI. It's crazy. But I empathize. Too many people "define" intelligence by just behavioral subjective vibes instead of defining it by some rigorous scientific mathematical engineering definition that you can measure and localize concretely like Chollet's that actually isn't worthless scientifically. [[1911.01547] On the Measure of Intelligence](https://arxiv.org/abs/1911.01547) štve mě že všechny tl;drs o trump x kamala debatě co jsem našel na netu buďto mega pozdvihujou trumpa nebo harrisovou ale [Verity - News to Empower Humanity](https://www.improvethenews.org/) se snaží být všechnostrnný [Verity - Latest US Election 2024 controversies](https://www.improvethenews.org/controversies/us-election-2024) [Verity - Harris, Trump Spar in First Debate](https://www.improvethenews.org/story/2024/harris-trump-spar-in-first-debate) tu stránku fakt doporučuju [Verity - News to Empower Humanity](https://www.improvethenews.org/) metaanalyzujou všechny různý politický tlupy a jejich populární narrativy, a člověk si může různě nastavovat preference Let's build utopia future [Imgur: The magic of the Internet](https://imgur.com/4zxpLsZ) https://x.com/burny_tech/status/1835337541781729343 Let's make sure that the fruits of technology benefit everyone [Imgur: The magic of the Internet](https://imgur.com/SG5ZeuZ) As long as its Turing complete, you can run neural networks on it https://x.com/mustafa_kh4n/status/1835047093041242617 dyson spheres won't build themselves (hmm, or AGIs might build it) https://x.com/burny_tech/status/1835477808996311234 What are all the ways to maximize the total amount of benefits and advantages while minimizing the harms and disadvantages of AI? Yeah, duh, I'm nonbinary. I am an analog bioelectrochemical computer, not a binary one. What else did you think? The ecosystem of different intelligences will become so much more diverse! https://x.com/nickcammarata/status/1835763847430631692 We will need human intelligence augmentation to catch up with exponentially increasing machine intelligence