Konečně se Perplexity dostává do kolektivního knowledge Teď tam ještě dostat Clauda místo GPT-4o (a technicky o1-preview, nebo novýho Deepseeka co je podobnej o1-preview) https://fxtwitter.com/dkardonsky_/status/1860101729418944659?t=UTlwKy4_cUCloX8HbGEBNQ&s=19 Btw u Perplexity premium je úplně jinde než ta free verze A ještě to tam chce dostat ty jiný užitečný nadstavby jako Cursor AI na programování 😄 a Elicit/ConcensusAI na vědu, a jiný specializovanější čistý GPT-4/GPT-4o jsem pro složitější věci použil už před strašně dlouhou dobou, it really sucks compared to alternatives Tady osobně můj postup byl snažil hledat zdroje od různých (hlavně amerických) univerzit a jiných tutorials na netu (pokud ty zdroje existují), a ty pokud bych to nedal z toho, tak bych zkoušel ty materiály (scraped) dát třeba do Claude Projects a chatovat nad nimi První zdroje co tady na mě vyskočily jsou z Princetonu a Stanfordu, šel bych nejdřív do nich https://www.perplexity.ai/search/zero-knowledge-property-of-int-eA5rWgciT_.Vds_7onpt5A Tady jsou search results když je focus na jenom akademický články: <https://www.perplexity.ai/search/zero-knowledge-property-of-int-KKC5OcjeSRmvUknGiI7M6w> Tady to taky linkuje různý studie [https://elicit.com/notebook/aad6dabf-60d9-4c0a-bab6-26fdccb12ade](https://elicit.com/notebook/aad6dabf-60d9-4c0a-bab6-26fdccb12ade) Vlastně je pravda že teď paralelně často zkusím GPT-4o se searchem (SearchGPT) a Perplexity zároveň (kdysi jsem ještě zkoušel Phind) Někdy je stronger jedno a někdy druhý Jednou jsem viděl nějakou manim animaci na zero knowledge proofs co se mi líbila, to mám taky rád, tohle vypadá fajn: [https://youtu.be/FfeXX6OLq8w?si=d7OwolgLyIHFd9rn](https://youtu.be/FfeXX6OLq8w?si=d7OwolgLyIHFd9rn) To s tím kontextem je pravda na delší konverzace, taky mě to štve no 😄 ale je to relativně lepší než to bylo na začátku A ještě paralelně použiju Google (a u českých věci seznam), a měl bych zkoušet i jiný search enginy U vědy ještě semantic scholar a semantic arxiv a Google scholar Měl bych si tehle paralelní search a prompting různých search enginů, LLM based search systémům, čistým LLMs, LLM agents, apod. zautomatizovat 😄 viděl jsem max systémy na parallel prompting čistých LLMs, ale já chci parallel všechno! 😄 s možností s focusama na search/llmka a nebo specializovaný focusy na programování/vědu/simple information lookup/simple problem solving/advanced agentic problem solving/talking apod. Hmm, možná ten kdo něco takový zprovozní, a bude to reálně dobře fungovat, z toho zbohatne 😄 Všechny ty systémy mají svoje různý strengths a weaknesses, co se často ale blbě predikují, ale když člověk použije všechny možnosti, tam si může vybrat ty nejsilnější výsledky, nebo různý syntézy 😄 Nebo vždycky na YouTube hledam <topic> Stanford/MIT/Harvard/Princeton/Yale apod. <[https://youtu.be/9hJNw2i1dL4>](https://youtu.be/9hJNw2i1dL4>) <[https://youtu.be/3uqqfeK3vB8>](https://youtu.be/3uqqfeK3vB8>) Stronger generalization at scale is still not solved https://x.com/fchollet/status/1860684083086438456?t=aCbgM4cnMllUhL32-Apt3g&s=19 [[2410.21272] Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics](https://arxiv.org/abs/2410.21272) Monkeys love to do imitation learning from eachother Will AI replace humans? https://x.com/METR_Evals/status/1860061711849652378 Zrovna v tomhle benchmarku ti lidi moc medianovi nejsou IMO (from top industry labs or ML PhDs), a ty AIs jsou specializovanější agentní systémy <https://x.com/METR_Evals/status/1860061721408471095> Idk, tenhle result mi přijde mega impressive, navíc když se porovná s tím, kde to bylo před pár lety, a kdyz se to extrapoluje dál do budoucnosti. Plus je to smarter "brute force", jinak by ses celkem utopil v kombinatorický explozi možností, ale používat tenhle termín mi tady až tak nedává smysl. Spíš mi dává smysl pattern matching se zatím relativně weaker generalizací a weaker reasoningem, s composingem featur a vektor programů, co jsou zatím dost různě brittle v porovnání s lidmama, co se ale postupně zlepšuje. Ale přijde mi zajímavý, jak jsou tasky, kde humans jsou hodně superior, ale zase jiný tasky, kde to je tak míň a míň In big part I think that's because they're operating on a different but similar architecture compared to humans And that AI systems and humans are trained similarly but differently using similar but different trading data So when it comes to the space of all possible architectures, space of all possible training algorithms, space of all possible training data, and the space of all possible capabilities that they can together solve, then the high dimensional capabilities manifolds, that the various types of the AI systems inhabit, currently have different shapes than the human manifolds And we get these counterintuitive results, because we intuitively collapse capabilities to just one direction, but reality seems to be different when comparing humans and AI systems Human and machine collaboration supremacy! 😄 u AGI bych bral schopnost počítat libovolně dlouhý čísla, ale ne u AHI (artificial humanlike AI), tím jak tohle lidi taky nedaj osobně si myslím, že jedinej způsob, jak dosáhnout 100% AHI, je doslova okopírovat lidi 1:1, ale to se v AI oboru tak moc neděje takže vždy bude nějaká odlišnost ať subhuman nebo superhuman směry v různých tascích OpenAI definuje AGI jako "highly autonomous systems that outperform humans at most economically valuable work" kde si myslím že umět sám o sobě sečíst dvě čísla libovolné délky není potřeba k tomuhle se IMO nejčastěji ještě dodává, že se myslí jobs co jdou technically dělat přes kompl z home officu ale moje oblíbená definice AGI je schopnost generalizace (protože to je v tom jménu: general AI 😄 ) montovní linka je schopná konkrétní podmnožinu economcially valuable work "Já bych "general inteligence" řekl třeba že je něco, co dokáže řešit dříve nepoznaný problém :FeelsWOWMan:" to si mylslím že je důsledek schopnosti generalizace 😄 což dosavadní deep learning má relativně slabej, ale ne nenulovej a argumentoval bych taky, že lidi jsou taky celkem specializovaný 😄 "No tak generalizované koncepty ještě musíš umět aplikovat. To je jako když se na přednášce naučíš nějaké abstraktní formule, tak pro ně musíš ještě pak najít v reálném životě využití :FeelsWOWMan:" category theorists would like to have a word with you :kek: ale understandable 😄 Myslím že: 1) Pro AHI (artificial human intelligence) replikaci lidí bys musel 1:1 okopírovat lidskou architekturu. 2) Ale možná bude existovat AI systém, co lidskou architekturu bude mít jako subset, a ty lidský tasky dávat líp a umět víc co lidi už nedávaj. I would call that ASHI - artificial super human intelligence. Dosavadní architektury jsou možná specialized až moc jiným stylem, a možná jim vždycky nějaká část human intelligence prostě bude chybět, ale tohle je empirická otázka co možná bude falsified. 2) Neexistuje free lunch: absolutně obecný idealizovaný AGI je prakticky nemožný teoretický konstrukt (AIXI model AGI se to snaží modelovat přes algoritmic information theory), a my to můžeme jenom aproximovat. Každý systém má nějakou úroveň obecnosti v nějakých svých specializovanějších poddoménách/modalitách, mezi kterýma dělá cross pattern matching pomocí úrovně schopnosti generalizace. Lidi a dosavadní AIs jsou jinak specializovaný a jinak obecný IMO, ale zároveň toho i celkem sdílí. "Teoreticky dostatečně výkonný stroj, by mohl přijít vždy s novým řešením konkrétního problému bez nutnosti jakkoliv aplikovat generalizované řešení nějakého předchozího" Interesting, let's call that "solving everything from scratch intelligence" 😄 Ale tbh bral bych inteligenci, co by byla schopná absolutně from scratch ze standardního modelu (teorie kvantového pole) a obecný relativity (po tom co je unifikuje) zjistit všechny ostatní emergentní vzory v realitě na vyšších škáláchj ako biologii. Což je možná super overcomplicated, ale bylo by to mega cool. 😄 Ještě bych v tomhle všem názvosloví upravil "artificial" na "machine", nebo na "engineered", protože budoucí AIs možná budou biologický. Ale podle nějakých biologů jsou všechny biologický systémy typ mašin. Musím napsat nějakou slohovku na moje oblíbený terminologie. 😄 Xenoboti jsou taky bordel. Ale není to potřeba. Emergentní vzory (např jak fungují části biologie) se jdou naučit bez toho. 😄 Memorizing intelligence vs generalizing intelligence vs pragmatic intelligence Myslím že všechny tyhle dimenze jdou technicky kvantifikovat a každý systém jde pod všema těmato lenses zkoumat 😄 Does this system reason? Is it intelligent? Everything is a continuous high dimensional spectrum of perspectives for me. Na jednu research direction co se snaží aplikovat formu continual learning (což je celej gigantickej obor) jsem teď pro jednu schopinu pomáhal dělat menší research [[2410.08020v1] Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs](https://arxiv.org/abs/2410.08020v1) Tady je na tenhle podobor survey 😄 [[2302.00487] A Comprehensive Survey of Continual Learning: Theory, Method and Application](https://arxiv.org/abs/2302.00487) "Možnost intereagovat s reálným světem by měla stačit" agents "Lidi mají samozřejmě nějaký hard-wired funkce a motivuje je přežití. Tenhle agent by taky asi musel mít nějaké cíle, aby měl důvod snažit se překonávat překážky. Ale to už jsme u takových těch klasických architektur :kek:" na to je můj oblíbenej model kognitivní architectury od Joschy Bacha [From Computation to Consciousness: Can AI reveal the nature of our minds? | by Joscha Bach | HackerNoon.com | Medium](https://medium.com/hackernoon/from-computation-to-consciousness-can-ai-reveal-the-nature-of-our-minds-81bc994500ab) [Imgur: The magic of the Internet](https://imgur.com/B9KZxsX) ty smyčky jsou ale velkej problém, s tím souhlasím, u toho si myslím, že by ten continual learning dokázal dost pomoct alternativně jsou metody jak penalizovat za repetetivnost v tokenech teď, ale není to ideal “the definition of insanity is doing the same thing over and over and expecting different results” problém je že někdy to reálně funguje no (snažit se něco dělat znovu dokola) xD ale hodilo by se aby to na human úrovni dokázalo poznat, kdy to spíš reálně nefunguje 😄 "Musí to na sobě poznat WILL NOT HALT :PepeLaugh~1:" Turing se otáčí v hrobě XD Btw ten unbounded argument je častej argument. Lidi se to snaží řešit tím, že zkouší různý unbounded architektury, kde máš třeba memory co může růst nekonečně Aby to bylo ekvivalentní turingovský mašině i v tom smyslu, že má technicky možnou nekonečnou memory [Neural Turing machine - Wikipedia](https://en.wikipedia.org/wiki/Neural_Turing_machine) byl jeden z prvních pokusů u deep learningu Např tady to řeší víc do hloubky 😄 na tomhle kanálu tenhle argument řeší pořád 😄 [https://www.youtube.com/watch?v=nO6sDk6vO0g](https://www.youtube.com/watch?v=nO6sDk6vO0g) a jsou argumenty jak ten novej paradigm je víc computationally universal, protože technicky můžeš mít nekonečno chain of thoughts [[2402.12875] Chain of Thought Empowers Transformers to Solve Inherently Serial Problems](https://arxiv.org/abs/2402.12875) (ale turing completnost neznamená že je to vševědocucí, protože tolik useless věcí je turing complete) check loops in LLMs: na tohle by šla u LLMs udělat multiagent nadstavba (u LLMs se agenti definujou jako několik interagující LLM for loopů když to mega zjednoduším) co tohle explicitně chekuje [[2402.01680] Large Language Model based Multi-Agents: A Survey of Progress and Challenges](https://arxiv.org/abs/2402.01680) memory se ještě u LLMs dneska implementuje přes to, že LLM agent má přístup k datábázi (klasický nebo vektorový) do který píše a retrievuje, přes function calling jedna z možností je do těch databází ukládat summaries eventů 😄 ale je pravda že by bylo víc fajn, kdyby tohle všechno bylo mnohem víc fundamentálně natrénovaný jako součást ty fundamentální architektury, než jenom jako nadstavba nad LLMs hodně lidí se o to snaží no :D popisuješ něco hodně blízko těm vektorovým databázím, tam se embeddings často retrievujou přes cosine similarity (ale často tahle naivní implementace nestačí) [[2312.10997] Retrieval-Augmented Generation for Large Language Models: A Survey](https://arxiv.org/abs/2312.10997) "Já bych si představoval třeba tak, že to LLM fakt projde všechny ty předchozí intereakce a porovná je s tou současnou, dá tomu skóre a postupně to bude eliminovat, dokud nenajde ty nejpodobnější 😄" jo, to jde taky naimplementovat 😄 nebo se implementuje procházení knowledge grafem [[2408.08921] Graph Retrieval-Augmented Generation: A Survey](https://arxiv.org/abs/2408.08921) " Já nikdy pořádně nepochopil tyhle argumenty z technický stránky. Přijde mi, že to často říkají lidi, co tu technologii nějak víc nezkoumali. Can you pls explain them? How do you define AI? Já to vidím takhle: AI se AI od úplného začátku ve výzkumu říká, protože umělý neurální sítě jsou určitá neperfektní aproximace biologických neuronů, která vznikla v connectionismu v kognitivních vědách, když se lidi snažili modelovat mozek. Mezi biologickými a umělými neurony pozorujeme hodně podobností, např na struktuře naučených emergentních hierarchických reprezentací na několika úrovních abstrakce, což jde vidět ve vizuálním cortexu a neocortexu. Lepších matematických aproximací neuronů už máme víc, ale nefungují tak dobře empiricky v AI, a často se hůř počítají složitějšíma operacema. U tohodle všeho můžu odkázat na milion studií. Je tam hodně jak podobností, tak odlišností. Obor co reverse engineeruje neuronky je mechanistic interpretability, výpočetní neurověda zkoumá mozek, a NeuroAI zkoumá interakci biologie a AI. :D Markov chain je o dost omezenější model, např nemá long term dependencies přes attention. Není tam hluboká feature manipulation. S tím výsledky deep learningu nedosáhneš tam kde deep learning exceluje. Claim plaigarismu moc nechápu, tím jak deep learning do jistý míry generalizuje a dělá structural learning, jinak by nebyl tak úspěšnej. Deep learning unikátní věci do určitý míry tvoří, a někdy jinak než lidi, jinak by např FunSearch, AlphaFold nebo AlphaZero neexistovali s jejich výsledky. Tam hádám, že asi lidem vadí (z technický stránky, když teď neřeším socioekonomický problémy), že neuronky dělají kombinace memorizace a generalizace (tohle řeší bias and variance trade off z learning theory) a ne jen generalizaci, ale lidi fungujou v tomhle určitým způsobem podobně. Přemýšlel jsem nad tím, jak by šly udělat neuronky, nebo AI systémy obecně, co by jen generalizovaly, a spousta lidí se snaží úroveň generalizace AI zvětšit, ale nevím, jak úplně odstranit memorizaci. Ale mám pocit, že odstranit memorizaci z učícího se systému snad ani matematicky nejde, to jde proti většině learning theory, jak u lidí, tak u neuronek. Lidi taky nejsou schopni generalizovat bez memorizace nad datama ze svých smyslů, což např vidíme ve vizuálním cortexu a neocortexu. Neuronky jsou v tomhle víc finegrained. Osobně myslím, že dlouhodobě se hodí mít podobný práva pro učící se lidi i učící se stroje, a budoucí hybridy. Líbí se mi pohled: Co můžou zpracovávat lidský smysly, to můžou zpracovávat i strojový smysly, kde např vědu bych absolutně zdemokratizoval. Ale chápu ten problém, když korporace apod. tuhle dosavadní technologii zneužívají, a blokují tomu, aby to benefitovalo všem, a tím to ruinují ostatním, co se snaží tu technologii aplikovat pro dobro, např ve zdravotnictví a vědě, což je součást těch socioekonomických problémů. To ale dle mě neneguje tu hustost toho, že AI po technický stránce vůbec funguje, kde je zatím ještě hodně nezodpovědných otázek v AI teorii a praxi. Počítače a elektrika obecně se taky podobně zneužívají bad actorama, a zároveň využívaný good actorama, a přijdou mi taky totálně hustý. " " I've never really understood the technical side of these arguments as someone working in AI research and engineering. It seems to me that it's often said by people who haven't really researched this technology. Can you pls explain them? How do you define AI? AI has been called AI from the very beginning in research because artificial neural networks are one form of an imperfect approximation of biological neurons that originated in connectionism in cognitive science when people tried to model the brain. We observe a lot of similarities between biological and artificial neural networks, e.g., at the structure of learned emergent hierarchical representations at several levels of abstraction, which can be seen in the visual cortex and neocortex. We already have better mathematical approximations of neurons, but they don't work as well empirically in AI, often because they are harder to compute with more complex operations. I can refer to a million studies for all this. There are a lot of both similarities and differences. The field that reverse engineers artificial neural networks is mechanistic interpretability, computational neuroscience studies the brain, and NeuroAI explores the interaction of biology and AI. 😄 Markov chain is a much more limited model, e.g. it does not have long term dependencies or attention. There is no deep feature manipulation. With that, you don't get the deep learning results in domains where deep learning excels. I don't really understand the plaigarism claim, since deep learning generalizes to some degree and does structural learning, otherwise it wouldn't be so successful. Deep learning creates unique things to some extent, and sometimes differently than humans, otherwise e.g. FunSearch, AlphaFold or AlphaZero would not exist with their results. I guess what probably bothers people there (on a technical level, I'm not addressing socioeconomic issues now) that neural networks do a combination of memorization and generalization (this is addressed by the bias and variance trade off from learning theory) and not just generalization, but people function similarly like this in similar ways. I've been thinking about how to make neural networks, or AI systems in general, that just generalize, and a lot of people are trying to increase the level of generalization of AI, but I don't know how to completely remove memorization. But I feel like removing memorization from a learning system is perhaps not even mathematically possible, as it goes against most learning theory, both for humans and for AI. Humans are also unable to generalize without memorization over data from their senses, which we see in the visual cortex and neocortex for example. Deep learning is more finegrained in this. Personally, I think in the long run it is useful to have similar rights for human learning and machine learning, and future hybrids. I like this view: what human senses can process, machine senses can process too, where e.g. I would absolutely democratize science. But I understand the problem when corporations etc. abuse this existing technology, and block it from benefiting everyone, thus ruining it for others, who are trying to apply the technology for good, e.g. in health and science, which is part of the socioeconomic problems. But that doesn't, in my opinion, negate the coolness of AI technically working at all, where there are still a lot of unanswered questions in AI theory and practice. Computers and electricity in general are also similarly abused by bad actors, while being used by good actors too, and I find them totally cool too. "