UNLEASH YOUR INNER INFINITE CURIOSITY! TRY TO UNDERSTAND AS MANY MATHEMATICAL PATTERNS AS POSSIBLE IN THE WHOLE UNIVERSE! TRUTH IS SO BEAUTIFUL AND REMARKABLE! INFINITE CURIOSITY! [https://www.youtube.com/watch?v=UjEngEpiJKo](https://www.youtube.com/watch?v=UjEngEpiJKo) "Co je intelligence?" V tomhle je AI obor strašně divided. Nikdo se neshodne na tom co je inteligentní, není concensus. Vzor co tam jde vidět je, že spousta profesorů, co vytvořili nějaký podobory AI, co jsou jiný než ten pod kterým jedou dosavadní state of the art generalist systémy, si často myslí, že ty state of the art systémy jsou dumb, ale pod jejich podoborem by byly pravděpodobně víc smart, a podle toho si i zadefinují slovo intelligence. 😄 Všimni si jak Richard Suttonova definice intelligence hodně brala v potaz adaptivnost v čase. 😄 Richard Sutton jede reinforcement learning, Francois Chollet a Gary Marcus jede neurosymboliku, Yann LeCun jede energy based modely, neurovědci jedou neurovedecky algoritmy jako spiking neural networks a forward forward algorithm, Joscha Bach jede liquid neural networks, Karl Friston jede bayesian Active Inference, atd. atd... XD A platí to i na opak, ti co hodně do deep learningu přispěli si zas myslí že deep learning je superior (Geoffrey Hinton co vyhrál Nobelovou a aplikoval backpropagaci na neuronky, Illya Sucketer co je brain za GPTx modelama,...) AI co se vytvoří autonomně? Možná v selforganizing paradigmatu. Evoluční AI je taky jeden podobor AI s lidmama co věří že jejich podobor je cesta 😄 (quantum AI je taky svůj podobor na kvantových počítačích xD) A ty podobory mají různý překryvy, můžeš např použít evoluční algoritmy na trénování klasických neuronek Curious AI je ale hodně zajímavý podobor [Artificial Curiosity Since 1990](https://people.idsia.ch/~juergen/artificial-curiosity-since-1990.html) Před pár dny když jsem koukal na statistiku climate change jsem přemýšlel či se neponorit do using AI to solve climate change oboru... Ten obor taky roste a myslím že to je jeden z hlavních klíčů k řešení, např pro development technologií jako je carbon capture apod. Ale snažím se zas neměnit svoje priority. "Nesnáším rád AI" mě to taky zní často podobně jako kdyby někdo řekl něco jako "nesnáším elektřinu a počítače" protože to používají ve válce Mezitím co elektřina nám i zároveň tvoří tolik hojnosti, podobně jako různý aplikace dalších technologií Konkrétní aplikace těch technologií mám na mysli, a politický kontext, než ty technologie samotný. Třeba korporace používající obrázkový generátory. Nebo státy používající válečný drony. Generativní AI samotný je taky zároveň strašně obecný podobor, třeba AlphaFold co pomáhá v medicíně je taky generativní AI, protože generuje proteinový struktury [https://youtu.be/cx7l9ZGFZkw?si=-WLhQMcZhQac7fSI](https://youtu.be/cx7l9ZGFZkw?si=-WLhQMcZhQac7fSI) I'm guessing you don't hate (Gen)AI technology itself, I'm guessing you hate the terrible parts of our capitalist system using this general purpose dual use technology in terrible ways and/or on terrible applications and/or in terrible economic/political/cultural contexts, similarly how they use many other technologies in terrible ways. Třeba taky nesnáším jak korporace generují masy nejlevnějšího uncreative homogenního artu jak na pásu (což IMO dělali i před gen AI boomem) jehož skoro jediný purpose je engagement a profit maximization. Mezitím co skoro identická technologie se např víc a víc používá v medicíně na např predikci problémů v mozku, srdci, diagnostiku rakoviny, drug discovery, apod., nebo v různých dalších oborech na zlepšování quality of life lidí Sorry že to furt opakuju, začínal jsem breakdownovat z toho jak velká část levice kolem mě, část co většinou není v AI oboru, začíná mít mnohem větší tendence házet tolik AI do jednoho pytle kvůli pár evil aplikacím a tím např (věřím že nechtěně) ubližovat těm co tu technologii používají pro dobro, kteří zpráváma a sociálníma mediema amplifikovaní prostě nejsou, a celkový sociální narrativ je pak dle mě z velký části dost mimo relativně k realitě v tom oboru. Ale emptatizuju s frustracemi na všech stranách a chci pomoct všem stranám co chtějí dobro pro všechny. Hádám že podobný fenomény se děly když se poprvý objevila elektrika, počítače, internet, celkově mašiny,... Vždycky když někde vidím nespravedlnost tak mám prostě tendence být hlasitej Frustraci z těhle blbých aplikací tý nový technologie sdílím taky, včetně tý vědy, když to použije někdo, kdo těm technologiím buďto nerozumí, nebo je mu jedno kvalita, nebo farmuje kvantitu místo kvality, nebo je línej, nebo je stucklej v publish or perish dynamice, nebo nevědomost, atd... Když nějakou takovou studii nebo článek vidím, co je např jasnej wrong nezdrojovanej naivní single ChatGPT output, tak mě to štve stejně. Nechápu jak to může projít i přes peer review, pak mě přijde že peer review je někdy dost broken systém, když tam někdy projdou i hodně jasně špatně čistě human generated blbosti. Na druhou stranu ve vědě existujou publikace, kde LLMs jsou použitý reasonably na automatizaci boring věcí, nebo grounded generation, s double checkingem na prevenci halucinací, či něco komplexnějšího, např co dělají systémy na vědu co zatím moc známý nejsou. Moje práce je teď z velký části doslova tvořit systémy co minimalizují halucinace. Existují studie kde to lidi nepoužijí na generování omáčky se špatnými informacemi nebo bez informací aby to mělo co nejvíc stránek atd, ale budu biased v tom, že studie kde to takhle je, co jsem viděl, jsou hlavně kolem AI, protože ty čtu nejvíc, kde lidi častěji mnohem víc rozumí, co za systémy kromě ChatGPT existuje na vědu, co ty technologie reálně umí, a kde mají zatím limitace, a podle toho je používají. To mi ale přijde že ale bylo do určitý míry i před GenAI boomem, jenom používali jiný zkratky ke kvantitě, co existovaly předtím. A taky mi přijde nespravedlivý, že tihle jsou pak dosavadním systémem často spíš boosted oproti těm co se snaží o kvalitu. V dost aspektech to vidím podobně u artu. Věřím, že ti, co chcou tvořit kvalitu, se to eventuálně víc naučí používat, a naučí se co to už umí, a co ještě ne, tím jak moc nový nástroj to je. Některý ty companies jsou taky problém, když jejich nástroje marketují, a nevysvětlí jak to realistický používat, kde se ukazují kapitalistický incentivy, lenost nebo prostě nevědomost. Zároveň učení se používat jazykový modely je problém, že co to umí se furt mění, protože ta technologie jde extrémně rychle kupředu, a než se lidi s něčím naučí, tak už je o dost v různých aspektech lepší nová verze, o který často lidi ani neví. Mě to v researchu pomáhá hodně a používám to hodně, když dělám research hlavně kolem jazykových modelů, když teď dělám proprietární věci. To s tím doktorem jsem se pak snažil dovysvětlit, že to bylo myšleno v dost limitovaným kontextu designu tý studie přes jen ten text interface v těch konkrétních otázkách atd. U artu máme asi prostě hodně jiný vnímání, ale tam mě taky sere, že někteří to právě používají na tu homogenní kvantitu místo kreativní kvality. Svět co jsem si před tímhle boomem představoval (a co si spousta scifi lidí a transhumanistů představovala) je humans a machines cocreating beautiful art together, each with their own limitations. Miluju human generated i machine generated art, když jsou oba kvalitní či kreativní a ne homogenní atd., ale chápu že některým ty kvalitnější machine generated věci nevyvolávají takový emoce protože jsou např víc napojení na tu lidskost v tom, na ten jiný human generating proces těch výtvorů apod. Mě nejvíc emoce způsobujou ty abstraktní ideje, a u mašin mě zároveň mega fascinuje jak jsou schopný dost podobně, ale zároveň jinak než lidi, různě pracovat s těmi různými naučenými vzory. A taky bych chtěl větší kompenzaci human artists v tomhle capitalist systému. Někteří se o to různě úspěšně snaží. Chápu tu frustraci z toho, že je to všude, a že všichni skákají na ten hype train, a i když to tomu nerozumí, tak se to snaží do svých produktů nacpat za každou cenu, i když to nepřidá hodnotu, jinak by se cítili left behind, nebo jinak by do nich investoři neinvestovali (což je real world situace co jsem slyšel hodně krát), což mě taky sere, protože to vede k tomuhle co zmiňuješ. Tohle se děje se spoustou novýma technologiemi co začnou být trendy. Eventuálně lidi vystřízliví, naučí se s tím pracovat, a začne se to víc používat hlavně kde to dává největší smysl. Podobný se teď děje u kvantových počítačů. Nebo bych ještě např argumentoval, že když se ta technologie použije správně, tak to naopak přemýšlení a zlepšování enhance, než suppresne. A asi chápu když to hodně lidí začalo enthusiasticly používat, protože je to nový a neprobádaný, a zkoušet co to umí a sdílet svoje výsledky, a ty tohle nesdilis, že ti to nevyhovovalo. Spoustu těhle negativ chápu a sdílím dost těch frustrací a chci aby byly vyjádřený a řešený, ale chybí mi tam ten focus i na ty pozitiva, kterej se začíná všude možně na internetu a irl (hlavně v levicových kruzích) míň a míň relativně vyjadřovat a pozdvihovat a podporovat. Přijde mi, že ostatní technologie nemají tak šílený focus hlavně na ty negativa, i když se používají k podobným a jiným bordelům. Taky mi přijde mi že často AI se akorát využije v kontextu už existujících problémů, kde problém není to AI samotný, což se použije jenom jako další nástroj v kontextu těch obecnějších problémů, a lidi začnou spíš řešit hlavně to AI než ty obecnější problémy, což mi přijde často míň efektivní. Ale tohle všechno asi ze začátku bývá u hodně technologií. Snažím se s tím emptatizovat. Jde mi o ten většinový silně negativní kolektivní kulturní narrativ co harmuje některý lidi co se snaží o dobro. Ale chápu že různý harms se dějí více směry, a ideální by bylo minimalizovat všechny dle mě... Ale stejně mě pořád fascinuje jak ty modely dokážou mít takovou relativní konzistenci skládání vzorů, i když s jinými různými limitacemi než různý limitace lidských mozků, i z těch naivních promptů bez těch všech komplexních pipelines pokud člověk chce získat něco kvalitnějšího nebo konkrétnějšího. Absolutní scifi pro lidi přes pár lety. Když lidi tu technologii zkoušeli poprvý tak to bylo tak strašně mindblowing, než si na to pak lidi dost rychle zvykli. To stejný pro jazykový modely. A pořád nechápeme proč to funguje tak dobře se slabým zobecňováním. Nemělo by to tak fungovat dle starý matematický teorie strojového učení! Aaaaa 😄 Ale věřím že to eventuálně pochopíme. Některý ty alien části toho jejich latentního prostoru, co díky ty slabý generalizaci a kompozicím existují, jsou dle mě kde je nejvíc toho zajímavýho a zároveň novýho mimo distribuci, kreativního a určitým způsobem užitečnýho. Nejvíc jsem u tohodle nadšený pro vědu a pro hodně divergentní komplexní zajímavý struktury, ať pro matiku nebo přirozený jazyk/obrázky/videa či jiný modality, nebo v tý vědě pro různý nový matematický a empirický teorie jak věci fungují, a nebo pro design nových technologií, ideálně pro dobro, kde se to začíná víc a víc aplikovat. Co dělám poslední dobou celkem často je snažit se generovat co nejvíc alien matematický struktury 😄 ale u větších neurosymbolických systémů to myslím bude lepší Taky halucinace nevidím přímo jako lhaní, protože pod lží vidím nějakou intention, kdy by zároveň věděli a schovávali tu pravdu, což tady v tomhle kontextu dle mě není. Naopak byli natrenovaný aby lhali co možná nejmíň pod tou dosavadní technologií. Tohle je spíš spletení se kvůli technologickým limitacím. Vidím to jako limitaci těch dosavadních technologií, kterých jsou si v podstatě všichni, co to nějak víc používají víc než jen na hraní, vědomi. A podle toho ty technologie používají. Na minimalizaci těch halucinací existuje a vzniká milion způsobů jak je omezovat, což se všechno časem zlepšuje v nových verzích. To v práci z velký části implementuju. Z velký části si myslím, že se o tom prostě málo vzdělává, ale vzdělávat je těžký když to jde tak rychle kupředu. Ale lidi inherentně maximalizující kvantitu místo kvality jakýmkoliv nástroji který mají jsou taky problém no. Ale tím jak jsou to inherentně (zatím) skoro čistě statistický modely, tak to pravděpodobně nikdy nebude inherentně stoprocentní. Zároveň v nějakých situacích si myslím, že se "halucinace" hodí, protože to je dle mě součást kreativity, ale to nechceš u tasků, kde chceš reliability. Myslím že reliabilita bude lepší u neurosymbolických AIs, která se taky začíná víc vyvíjet. Není to neomylný podobně jako člověk, i když zatím člověk je míň omylný v hodně kontextech co se teď nejvíc diskutují, ale v dost kontextech co se moc nediskutují už se to používá reliably dlouho, a myslím, že v nějakých konkrétních limitovaných kontextech co se teď hodně diskutují v konkrétním sestupu už to dokáže být víc performant než jako někteří lidi, jako například tasks, který jsou co nejvíc repetitivní, nebo kde potřebuješ hodně velkou paměť, nebo kde memorizace je nejvíc valued, nebo třeba když máš nějaký velký kontext ze kterýho chceš dělat retrieval, nad kterým se přidává různá chytrá heuristika co omezuje chyby. Studie kolem toho jsou často v omezeným kontextu.Vysledky kolem tohoto jdou dost nahoru. Někde je to dostatečný na to ty systémy nechat samotný, někde je nejefektivnější AI plus human collaboration, někde jenom člověk je furt nejlepší. Podobně jako např kalkulačky, co jsou superhuman v tom, že když dělají nějaký hodně velký výpočet, tak mají menší error rate než lidi. Nebo v šachách, tam máme AIčka, co mají lepší performance, když hraje jenom to AIčko, než když hraje to AIčko plus člověk, nebo jenom člověk. Furt vychází nějaký studie ukazující jak konkrétně nastavený různý většinou specializovaný AI architektury v hodně specifických tascích jsou víc performant než lidi, a dost toho se už používá v praxi. Diky tomu se zároveň hodně AI architektur implementuje do zdravotnictví, kde přesnost je hodně nejdůležitá, a LLMka taky, ale dost specializovaně nebo jako pomocníka doktora, často na repetitivní věci, aby měl víc času na pacienta. Obecně machine learning je všude kolem nás. Lidi budou pokračovat aplikovat nějaký nástroje tam kde se hodí málo a nebo nevidět užitečnost aplikace dalších nástrojů. Nikdo nemá nekonečno zkušeností a vědomostí aby to všechno dokázal předpovědět když se rozhodne experimentovat s něčím novým. Dle mě taky spousta těch failure modes většinou nebývá vina těch nástrojů, což teď mají lidi větší tendenci říkat mi přijde. Ale taky když se mi např nezkomplikuje kód, tak mám chuť vinit ten kód. 😄 Lol zapnu [https://youtu.be/6w5xr8BYV8M?si=ke6DTBugYRwHUOiR](https://youtu.be/6w5xr8BYV8M?si=ke6DTBugYRwHUOiR) 28:20 a první co slyším je "in biology everything is unreliable", ale v jiným kontextu softmax v tomhle usecasu převádí vektor raw parametrů (logitů) z tý neuronky na pravděpodobnostní distribuci, kde každý prvek toho vektoru je pravděpodobnost klasifikace vstupu k jedné ze tříd, kde v tvým případě jsou třídy co klasifikuješ "je to číslo x" a hádám že používáš klasický MNIST dataset 😄 vektor je jenom nekolik skalárů u sebe u LLMek ta pravděpodobnostní distribuce jsou možnosti pro další token (~podslovo) ze kterých se sampluje tohle je dle mě nejlepší quick video na softmax [https://www.youtube.com/watch?v=p-6wUOXaVqs](https://www.youtube.com/watch?v=p-6wUOXaVqs) kde taky klasifikuje obrázky Tady ukazujou kód [Softmax Activation Function: Everything You Need to Know | Pinecone](https://www.pinecone.io/learn/softmax-activation/) U klasický neuronky jedna vrstva je y = w_1*x_1+w_2*x_2+ . . . +w_n*x_n ​ nebo v maticový formě v jednom: Y = W*X + b kde Y je layer output, W jsou trénovatelný váhy, X je input vector, b je bias vector, kde W a b jsou trénovatelný parametry Pak je ReLU: f(x) = max(0,x), kde x je input Pak je softmax σ(z)_i = (e^z_i)/(∑od j = 1 po K: e^z_j, kde z je input vector a K počet tříd Pak se můžou dát dohromady, např u dvou vrstev: H=max(0,W_1*X+b1) Y=σ(W2*H+b2) pak se to ještě optimalizuje gradient descentem, používá se např cross entropy loss, používá se chain rule, atd., tady jde skrz tu matiku na to from first principles [https://www.youtube.com/watch?v=MfIjxPh6Pys](https://www.youtube.com/watch?v=MfIjxPh6Pys) nebo můžeš mrknout na karpathyho pokud to chceš víc v kódu a míň v matice 😄 [https://www.youtube.com/watch?v=VMj-3S1tku0&list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ&index=1](https://www.youtube.com/watch?v=VMj-3S1tku0&list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ&index=1) [https://www.youtube.com/watch?v=eq6b1rSpXsg](https://www.youtube.com/watch?v=eq6b1rSpXsg) antibiotic discovery, astronomy, deciphering scrools, deciphering the brain, yes! Nebo tohle mě příjde exciting [https://www.youtube.com/watch?v=XRL56YCfKtA](https://www.youtube.com/watch?v=XRL56YCfKtA) [Automated discovery of fundamental variables hidden in experimental data | Nature Computational Science](https://www.nature.com/articles/s43588-022-00281-6) [[2112.10755] Discovering State Variables Hidden in Experimental Data](https://arxiv.org/abs/2112.10755) autoencoder co pomocí velikosti jeho latentního prostoru nachází kolik variables je potřeba na modelování různých fyzikálních dynamických systémů, včetně těch pro který nevíme ground truth [https://youtu.be/HfUTgqkXMoQ?si=_DUbbzeFkdsKNY2m](https://youtu.be/HfUTgqkXMoQ?si=_DUbbzeFkdsKNY2m) I think it will be possible to screen ADHD and maybe even "cure" or manage symptoms better (ideally with other methods too) (or you can accept or use the neurodivergence's benefits) https://www.researchgate.net/publication/230845066_Toward_systems_neuroscience_of_ADHD_a_meta-analysis_of_55_fMRI_Studies lower levels of dopamine and norepinephrine, different levels of blood flow to different areas, structural and functional differences in neural networks, differently active various areas, different volumes in different areas,... [Understanding the ADHD Brain Scan](https://creyos.com/blog/adhd-brain-scan) Well, it's not as easy as the brain changes seem to be influenced by both environmental and genetic factors that feed on eachother. I think it depends a lot on which of these factors are stronger in your case and how changeable they are in your brain by various methods and to what degree which varies. [Genetic and environmental influences on attention-deficit/hyperactivity disorder symptoms in Chinese adolescents: a longitudinal twin study - PubMed](https://pubmed.ncbi.nlm.nih.gov/31111269/) I think you're oversimplifying it to just one set of environmental factors where as the empirical data that science found so far is way more nuanced. See for example: "Child ADHD behaviors correlated with their mother's (0.24) and father's (0.10) ADHD behaviors. These correlations were largely due to additive genetic transmission. Variation in children's ADHD behaviors was explained by genetic factors active in both generations (11%) and genetic factors specific to the children (46%), giving a total heritability of 57%. There were small effects of parental ADHD behaviors (2% environmental transmission) and gene-environment correlation (3%). The remaining variability in ADHD behaviors was due to individual-specific environmental factors." [Intergenerational transmission of ADHD behaviors: genetic and environmental pathways - PubMed](https://pubmed.ncbi.nlm.nih.gov/37920986/) I think we should be looking for all sorts of genetic and environmental factors using proper science and do rigorous statistics on which factors are the most causal and isolate them and map how they influence eachother and formulate explanations using the most predictive evidence. This also leads to best methods to make life of an ADHD person better. Here's a study looking and some types of successes and failures in relation to ADHD [Longitudinal Associations Between Symptoms of ADHD and Life Success: From Emerging Adulthood to Early Middle Adulthood - PMC](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11016205/)