Multiagent abstrakce je powerful. V LlamaIndexu to jde dělat nejvíc fajn místo LangChainu IMO. Nejjednodušší agent je např ReAct agent: vezme input od usera, LLM reasoning evalne či může hned odpovědět nebo musí použít toolku, což je nějaká funkce (nastavitelný buďto stochasticky system promptem nebo víc hardcoded přes graph based jazyk jako LangGraph), a buďto hned odpoví nebo použije tu funkci, dostane nazpátek responce, evalne či už má dostatek infomací a pokračuje v loopu dokud neodpoví userovi. Reasoning chain může být arbitrarily long, může se přidat planning, scratch pad, multi step reasoning atd. Multiagent systémy se můžou dělat tak, že např hlavní agent a další agenti mají ostatní agenty jako toolky, který můžou promptovat, nebo jde mít několik agentů fungující parallelně a asynchroně komunikujících přes shared protocol. Toolky můžou být všechno možný, různý APIčka, symbolický enginy, web search, apod. Knowledge jim jde přidat buď do context window, SQL/vector databases, grafový databáze (co jdou z dat automaticky vegenerovat např přes GraphRAG), apod. Pořád se vymýšlí nový architektury a toolky. :D Člověk může reusovat nebo adaptovat různý solutions out there, nebo si dělat vlastní from scratch. AutoGen si dělá svoje, CrewAI si dělá svoje, MetaGPT, atd. V těhle studjí listují billion metod: [A Survey on Large Language Model based Autonomous Agents](https://arxiv.org/abs/2308.11432) [Large Language Model based Multi-Agents: A Survey of Progress and Challenges](https://arxiv.org/abs/2402.01680) [Retrieval-Augmented Generation for Large Language Models: A Survey](<https://arxiv.org/abs/2312.10997>) [Graph Retrieval-Augmented Generation: A Survey](<https://arxiv.org/abs/2408.08921>) [A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models](<https://arxiv.org/abs/2401.01313>) Mechanistic interpretability is making some progress in reverse engineering learned, in some ways generalizing, emergent features and algorithms, but it's still magic [List of Mechanistic Interpretability Papers](https://www.alignmentforum.org/posts/NfFST5Mio7BCAQHPA/an-extremely-opinionated-annotated-list-of-my-favourite-1) Also let's not forget attention is all you need and some other recent algorithmic improvements and other hacks "Look man fuck all of this shit, I've spent the past 5 years of my life studying and optimising machine learning, and deep learning models. No one really knows why certain hyperparameters work better, we just guess randomly and hope for the best. We still don't really understand why the fuck certain models work better than others and to be fucking honest we are using the same old shit from 50 years ago but just bigger and bigger because we can run it with faster computers. It is a black box art form most of the time and anyone who says they really really understand what it is doing beyond the first few layers is just full of fucking shit. We played god and lost control but it is too late to stop now because there is a lot of money." https://x.com/burny_tech/status/1855462448058478896 často mě příjde fakt hustý jak AIčko dokáže různě sureálně udělat CGI :D vždycky žasnu když se dlabu v experimentech jak se AIčko učí různý jednoduchý vlastnosti ze kterých pak tvoří komplikovaný obvody co tvoří komplikovaný zobecňující tvary a jak je to v dost aspektech podobný lidskýmu mozku, ale v dost apektech alien :D je to strašně fascinujcíí [Zoom In: An Introduction to Circuits](https://distill.pub/2020/circuits/zoom-in/) komprese, zobecňování, stukturalizace, interagování a composing různých featur, od nejkonkrétnějších po nejabstraktnější, tvořící složitější obvody, všechno emergentně v lidským mozku ve vizuálním kortextu co zpracovává obraz jdou najít dost podobný vzory, i když tam jsou různý rozdíly [https://elicit.com/notebook/55258687-90c0-4f1c-a650-100359ccc508](https://elicit.com/notebook/55258687-90c0-4f1c-a650-100359ccc508) Moje nerdský já by si přálo, aby víc lidí u generativní AI, jako image generators, viděli tu mysteriozitu za tím, že ty neuronky jsou toho z technologickýho pohledu vůbec schopny, že to vůbec funguje. Aby je víc zajímalo jak to vůbec funguje, jak to dokáže generovat unikátní věci co dávají smysl. To mi příjde z vědeckýho pohledu jako stejná dosud nevyřešená záhada, jako například záhada za tím, jak funguje lidská inteligence, nebo jaká je rovnice vesmíru. To stejný u jazykových modelů a spousty jiných AI systémů. Ale moje realistický já chápe a soucití že takhle věci vidí asi spíš celkem minorita mozků :D K čemu se AI používá při analýze EKG? Deep learning se tam používá hodně, tady v Česku jsem už zatím na to našel 3 firmy. V zahraničí jsem toho viděl hodně. :smile: Např tady si o tom můžeš načíst víc co se používá v kontextu detekce arytmie (CNNs, RNNs, LSTMs, Transformers,...). Výhodu vidím v automatic feature extrakci (míň manual feature engineering), větší robustness to noise, lepší klasifikaci short term a long term irregularities, komplexnějších nuanced vzorů. Ale každá metoda má svý výhody, existují i hybrid approaches. Tady např ukazují jak je performance lepší relativně ke klasickým clustering a SVM approaches: [Deep Learning-Based ECG Arrhythmia Classification: A Systematic Review](<https://www.mdpi.com/2076-3417/13/8/4964>). "Compared to traditional machine learning-based classification methods such as clustering and support vector machine (SVM), the DL-based ECG classification could better map the characteristics of ECG signals to their corresponding categories thanks to its powerful multi-level abstraction capability of feature extraction." O tomhle usecasu ještě nemám tolik načtený, tenhle paper si plánuju přečíst co nejvíc do detailů: [Deep learning for ECG Arrhythmia detection and classification: an overview of progress for period 2017–2023 ](https://pmc.ncbi.nlm.nih.gov/articles/PMC10542398/) "Deep Learning (DL) architectures have been successfully employed for arrhythmia detection and classification and offered superior performance to traditional shallow Machine Learning (ML) approaches." "The DL models proposed for ECG signal classification have adopted different pathways, each with distinctive features and limitations." Nebo ještě tyhle mám bookmarked na detailní read: [Deep-Learning-Based Arrhythmia Detection Using ECG Signals: A Comparative Study and Performance Evaluation](<[Deep-Learning-Based Arrhythmia Detection Using ECG Signals: A Comparative Study and Performance Evaluation - PMC](https://pmc.ncbi.nlm.nih.gov/articles/PMC10742760/#sec5-diagnostics-13-03605>) [Multi-classification method of arrhythmia based on multi-scale residual neural network and multi-channel data fusion](<https://www.frontiersin.org/journals/physiology/articles/10.3389/fphys.2023.1253907/full>) [A novel application of deep learning for single-lead ECG classification](<[A novel application of deep learning for single-lead ECG classification - PubMed](https://pubmed.ncbi.nlm.nih.gov/29886261/>) [A Comparative Analysis of the Feature Selection Process Using Deep Learning Methods for Arrhythmia](<https://ieeexplore.ieee.org/document/10063070>) [An Ensemble of Deep Learning-Based Multi-Model for ECG Heartbeats Arrhythmia Classification](<https://ieeexplore.ieee.org/document/9492034>) <https://github.com/hsd1503/DL-ECG-Review> Tohle je asi nejblíž k tvý otázce, v kontextu QRS complexů zmiňují to co jsem řekl, že máš mnohem míň handcrafted features to my quick understanding: [Towards End-to-End ECG Classification With Raw Signal Extraction and Deep Neural Networks](<[Towards End-to-End ECG Classification With Raw Signal Extraction and Deep Neural Networks - PubMed](https://pubmed.ncbi.nlm.nih.gov/30235153/>) <[Sci-Hub: article not found](https://sci-hub.se/https://pubmed.ncbi.nlm.nih.gov/30235153/>) Plus: [A deep-learning classifier for cardiac arrhythmias](<https://ieeexplore.ieee.org/document/9509791>) "The method localises the QRS peak complex to define each heart beat and uses a neural network to infer the patterns characteristic of each heart beat class." Deep learning má dle mě největší sílu v automatic feature extraction a hledání hodně nuanced a noisy patterns co klasický statistický a exaktní metody často missnou v komplexních datech (což se snaží v těch odkazech co jsem poslal taky v jistý formě vyjádřit) Ale furt to není perfect, např těch jailbreaků pro deep learning systémy je bambilion ve všech modalitách 😄 U protein foldingu je taky podobná intuice, kde bude ještě víc komplexity. Exaktnější, handcrafted, shallow nedeep learning metody jsou fajn a fungují, ale někdy nestačí, kde to deep learning někdy mega superchargne, ale pořád tam jsou limitace, jako u každý metody. No free lunch theorem taky dává fajn intuici. 😄 [https://www.youtube.com/watch?v=cx7l9ZGFZkw](https://www.youtube.com/watch?v=cx7l9ZGFZkw) Tady apparently ukazují kde jsou různý metody různě lepší, ale nevím jak moc je tohle relevantní, protože tohle řeší AlphaFold 2, a teď je AlphaFold 3, co je o dost lepší [Comparative studies of AlphaFold, RoseTTAFold and Modeller: a case study involving the use of G-protein-coupled receptors](<https://academic.oup.com/bib/article/23/5/bbac308/6658852>) "Modeller had the smallest average modeling RMSD of 2.17 Å, which is better than AlphaFold’s 5.53 Å and RoseTTAFold’s 6.28 Å, probably since Modeller already included many known structures as templates. However, the NN-based methods (AlphaFold and RoseTTAFold) outperformed Modeller in 21 and 15 out of the 73 cases with the top-scored model, respectively, where no good templates were available for Modeller. " [MODELLER - Wikipedia](https://en.wikipedia.org/wiki/MODELLER) Ale k tomu Universal approximation theorem dává fajn intuici proč je deep learning tak univerzální <https://en.wikipedia.org/wiki/Universal_approximation_theorem> <[https://www.youtube.com/watch?v=Ln8pV1AXAgQ>](https://www.youtube.com/watch?v=Ln8pV1AXAgQ>) " When it comes to all the various types of AI models (language models, image models, video models, biology (protein) models, math models, classifiers (for example in healthcare), game playing AIs, predicting physical systems (like weather), robotics, recommender systems,...) used for fun or for good, instead of for bad in usually in bad geopolitical or capitalist incentives, my nerdy self wishes that more people would see the mystery behind them. The fact that these neural networks in an attentional or other architectures is even capable of doing what it's doing from a technological perspective, the fact that it even works, I'm infinitely amazed by it. I wish more people were fully interested in how it even works, how can it predict relatively well and sometimes generate relatively unique and new things that make sense, and how can it to some degree generalize relatively so well, with various kinds of limitations. That mindblows me daily, from a scientific perspective, it feels like the same kind of unsolved mystery as, say, the mystery behind how human (or animal in general) intelligence works, or what the equation of the universe is. I went through a pretty big amount of papers showing how these models learn various abstract representations that form internal circuits, with various limitations, it's such fascinating stuff, and I wanted to research in that field, but now I'm pivoting to AI applied in healthcare. Today I'm trying to build a system that classifies different kinds of diseases from lung screening pictures. But I will never stop being amazed by why the fact how much of a mystery it is that all of this works in the first place. But my realistic self understands and sympathizes that this is probably how quite a minority of brains see things. 😄 " Oops random stochastic flucation accidentally catapulted Gemini to the inversed region of the RLHFed latent space [Reddit - The heart of the internet](https://www.reddit.com/r/singularity/comments/1gqss21/comment/lx1n10q/) [Before you continue](https://gemini.google.com/share/6d141b742a13) Dvě moje oblíbený teorie jsou: 1) Ta celá konverzace se až moc podoba scifi plotu kde se někdo ptá AI na repetitivní otázky až AI snapne, a na těch scifi plotech to je natrenovaný, tak to ten naučený vzor z trenovacích dat aktivovalo :D 2) Náhodnost rozbila natrenovanou osobnost do přesnýho opaku v prostoru možných osobností protože statistika je unreliable :D Scaling laws Růst se ale děl a pořád do jistý míry děje Scaling laws are a thing 😄 Teď se cucají benefity z test time scaling laws. Všechny ty naskalovani byly do tyhle doby nejvíc surprising že fungují. Poslední bylo o1 test time compute scaling. Ale supermaximalisti a superskeptici jsou asi nejvíc loud minority. Pravda je dle mě někde in the middle, ale menší bias směrem k optimismu zatím empiricky seděl dle performance a tipuju že bude sedět i dál do určitý míry (viz posts co jsem linknul) DanNet z 2011 konvolučka byl historicky asi první neočekávaný shock do toho že scaling funguje [2011: DanNet triggers deep CNN revolution](https://people.idsia.ch/~juergen/DanNet-triggers-deep-CNN-revolution-2011.html) , GPTs skoro nikdo neočekával. Test time scaling výsledky taky očekávala minimum lidí. Scaling hype je reálnej a empiricky grounded, ale jsou nejvíc loud ty největší extrémy, to stejný u superskeptických skupin. Zatím slabší bias k optimismu byl nejvíc accurate dle mě, u kterýho osobně dávám největší pravděpodobnost že bude pokračovat, ale ostatní možnosti mají taky nenulovou pravděpodobnost. Zkoušel jsi Cursor s kontextem code basy, dokumentací, best coding practices, webem apod., nebo Perplexity? Vanilla LLMs na kodovani nepouzivam. Chceš tomu nacpat co nejvíc kontextu. Cursor s Claude 3.5 Sonnetem a o1 používám pořád na 100+ lines kód. It's not perfect ale solid upgrade oproti tomu co bylo před rokem jen u vanilla LLMs. Na simple RAG už mě několikrát překvapil např Claude projects. Teď začíná fungovat multimodální RAG nad pdfs u nových všech multimodálních modelů. Pak je milion služeb co RAGuje přes vektorový databáze. Specializovanějěí custom tailored systémy s víc complex RAG pipelines dělám v práci. Je cool jak Gwern co byl initially skeptik scaling laws to potom prediktnul celkem accurately 😄 [https://www.youtube.com/watch?v=a42key59cZQ](https://www.youtube.com/watch?v=a42key59cZQ) [The Scaling Hypothesis · Gwern.net](https://gwern.net/scaling-hypothesis) Super summary historie scaling laws (until 2020) Nemyslím si že inteligence je dostatčně probádaná, myslím že teprv scratchujeme surface. Advanced pokusů na prediktivní modely na inteligenci, "natural" nebo engineered, je furt dost málo. I agree with you. Intelligence, natural or engineered, in general is still such an unknown mystery. I wish we understood it more! So many definitions, so many proposed models under all these kinds of definitions, but still not enough, with so little consensus, with so little empirical tests of these models... Příjde mi tak moc hustý, kolik toho ty různý typy engineered neuronky s náma sdílí, a zároveň kolik toho mají odlišnýho 😄 I think that the biggest questions in science are: What is the equation of the universe? What is the equation of intelligence? (What are the best definitions? How does machine intelligence compare to biological intelligence?) I wish that more people would see the mystery the current AI systems. When I went through a various papers showing how these models learn various representations that form internal circuits in hierarchies from concrete to abstract, with various limitations, similarly (but differently) to the human visual cortex, it just mindblows me. The fact that these neural networks, in an attentional or other architectures, are even capable of doing what they're doing from a technological perspective, the fact that it even works, I'm infinitely amazed by it. I wish more people were fully interested in how it even works, how can it predict relatively well and sometimes generate relatively unique and new things that make sense, and how can it to some degree generalize relatively so well, with various kinds of limitations. We still don't know why it can semireason so well. That mindblows me daily, from a scientific perspective, it feels like the same kind of unsolved mystery as, say, the mystery behind how human (or animal in general) intelligence works (better understanding of that would IMO definitely help us design better AI systems), or what the equation of the universe is. Poslední dobou mě v inteligenci asi nejvíc puzzluje ten aspekt schopnosti redukce toho šíleně gigantickýho kombinatorickýho prostoru možností do relevantního podprostoru se kterým už jde počítat jednodušeji Hmm, bylo by fajn kdyby něco jako AlphaZero nebo jiný superhuman šachový AI systémy byly schopný napsat něco jako knihu šachový teorie pro superinteligence. 😄 Btw tohle je asi můj oblíbený matematický model emergence teď :smile: Možná tyhle pokusy o prediktivní matematickou definici emergence eventulně pomůžou i pochopit AI systémy. :smile: [Software in the natural world: A computational approach to hierarchical emergence](https://arxiv.org/abs/2402.09090) [https://www.youtube.com/watch?v=Tw9sr05Vtso](https://www.youtube.com/watch?v=Tw9sr05Vtso) We might find that book in the process of reverse engineering AlphaZero and other superhuman chess systems Oh, tohle je blízko. U Go místo šach [Inside the mind of a superhuman Go model: How does Leela Zero read ladders?](https://www.lesswrong.com/posts/FF8i6SLfKb4g7C4EL/inside-the-mind-of-a-superhuman-go-model-how-does-leela-zero-2) AlphaZero: [[2111.09259] Acquisition of Chess Knowledge in AlphaZero](https://arxiv.org/abs/2111.09259) cool "In this work we provide evidence that human knowledge is acquired by the AlphaZero neural network as it trains on the game of chess. By probing for a broad range of human chess concepts we show when and where these concepts are represented in the AlphaZero network." Btw na průniku intelligence x emergence ještě nedávno vyšel tento paper: [[2410.02536] Intelligence at the Edge of Chaos](https://www.arxiv.org/abs/2410.02536) [https://www.youtube.com/watch?v=wkDE2hyf5jU](https://www.youtube.com/watch?v=wkDE2hyf5jU) AI for lung disease classification Myslím že za tím není moc složitá matika (zjednodušeně gradient descent nad neuronkama a konvolucema atd.), spíš člověk musí poskládat do hromady spousty empirických engineering triků co fungujou protože empiricky prostě fungujou 😄 např DenseNet, adaptování těch algorithmů na ty na data přes např úpravu loss funkce a ty architektury, nebo spousta data preprocessingu, data augmentace atd. 😄 Super magie je se SoTA LLMkama napojeny na dokumentace co dávají zdroje, co tady furt zmiňuju už snad rok, co např Perplexity a Phind trochu aproximuje obecně, nebo jim jdou uploadnout ty dokumentace (pak jsou specializovanější systémy, Cursor to taky trochu umí), to mi šetří spousty času a pomáhá s tím vysvětlováním na míru mám stejný zkušenosti Např když se učím s LLMkama napojený na fyziku/machine learning, tak vždycky řeknu něco jako: "explain with mathematical equations in detail, do not miss any mathematics", aby tam nacpal co nejvíc matiky co nejdetailněji 😄 pak to zkoumám paralelně s těma zdrojema a hodně to pomáhá " When it comes to LLM benchmarks, I recommend to follow benchmarks that are optimized to minimize data leakage, are focused on reasoning, etc., like SimpleBench, where the results are completely different from mainstream, contaminated, oversaturated, full of errors etc. benchmarks like MMLU that basically mean nothing at this point. The oldest GPT-4 would be already buried somewhere down. These results tbh also fit quite well with my practical experience. Or this TAU-bench for agents that measures consistency, which is needed for agents. 3 Opus is half a year old compared to the new 3.5 Sonnet that came out recently. SWE-bench software engineering benchmark is also good. I didn't really get Gary Marcus arguing before the release of o1 that deep learning is hitting a wall for the 532164984613615614th time and showing the MMLU chart as evidence. Like, I agree with him that neurosymbolic AI is the future for better reasoning etc, but I just can't get my head around this. A ton of researchers agree that MMLU is meaningless at this point. When I see all this data (and personal experience) I really don't understand people saying that there has been no progress in LLMs in the last year. That's just completely false. And it's mostly said by people who don't use LLMs much or at all or only know ChatGPT or use them for specialized tasks that don't require these improvements. " https://x.com/burny_tech/status/1857877905327440042 [https://www.youtube.com/watch?v=KngdLKv9RAc](https://www.youtube.com/watch?v=KngdLKv9RAc)