"AI is just outsourced content" I was always conflicted on this, because this seems to imply that the models only memorize, but all deep learning models generalize to some extend (if you dont completely overfit), which is basics of learning theory Bias–variance tradeoff wiki ([Bias–variance tradeoff - Wikipedia](https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff) (extended to deep learning Neural networks generalize because of this one weird trick ([Neural networks generalize because of this one weird trick — LessWrong](https://www.lesswrong.com/s/mqwA5FcL6SrHEQzox/p/fovfuFdpuEwQzJu2w) ) or they form various complex features and circuits across layers of abstraction An Extremely Opinionated Annotated List of My Favourite Mechanistic Interpretability Papers v2 ([An Extremely Opinionated Annotated List of My Favourite Mechanistic Interpretability Papers v2 — AI Alignment Forum](https://www.alignmentforum.org/posts/NfFST5Mio7BCAQHPA/an-extremely-opinionated-annotated-list-of-my-favourite) which is in many ways similar to humans, but still different in many ways, comparing representations in visual cortex and CNNs ([comparing representations in visual cortex and CNNs | Semantic Scholar](https://www.semanticscholar.org/search?q=comparing%20representations%20in%20visual%20cortex%20and%20CNNs&sort=relevance) which gives them so many of the great capabilities that were very distant scifi future just recently, which we still don't fully understand at all But I'm definitely for something like universal basic uncome (UBI) and decentralization of abundance, wealth and power, in an increasingly automated word. I think that industrial revolution made human strength irrelevant, and I think very soon technology will make human intelligence irrelevant in many contexts. https://fxtwitter.com/kimmonismus/status/1850239829046665536 I think that highly depends on the domain you are trying to perform in. In many domains, maybe. I think we will soon figure it out in many domains like we figured it out for for example chess, where at first humans were the best, then human + AI was the best, and eventually Human + AI performed worse than just the AI on it's own. I think this will come first in coding and math. The current models feel very conflicting there already, where it's paradoxical how they are already helping mathematicians for complex theorems while they often fail basic algebra. 😆 And many of the mare closed source, I really wish I could benchmark AlphaProof. But the gap is closing. Neurosymbolic multiagent RL selfplay with some "easy" reward like "code compiles" or "proof assistant says its valid" seems like the future that many labs are working on. I agree that in domains where you're inherently training it in on human biases, they will be in the model. Technically you could do some feature steering and ablation to do posttraining top down bias engineering like they did here. Who knows. :D https://www.anthropic.com/research/evaluating-feature-steering I agree that many people try to capitalize on the hype, but I think that many other people are just very optimistic relative to the mainstream. Some predictions came true, some not. I think almost nobody years ago expected that deep learning will do so well. :D There's lots of research trying to debias models, but yeah, it depends who's hands the technology is in definitely. And I think many people are already using it for social engineering of their agendas :D https://fxtwitter.com/pmddomingos/status/1850704038817571042/photo/1 In imitation learning paradigm on human data often yes. Unless it's selfplay where we have superhuman models, but usually in games like chess. Or I'm curious how reinfocement learning in simulations for robotics will evolve. Or I'm curious about autonomous curiousity paradigm. But I think even in imitation learning paradigm, you can get to superhuman level if you benchmark it by comparing the model to avarage human on some task (which is already in many domains apparently true according to some papers), as you can get the highest quality data from the smartest humans and train on countless times more of the data for countless times longer compared to human learning. But for that we will need less data hungry algorithms, better forming of abstract representations etc. And all the other currently unsolved problems in deep learning or other paradigms that people work on: causal modeling, strong generalization, continuous learning, data & compute efficiency, stability/reliability in symbolic reasoning, agency, more long term coherence in complex tasks across time and space, long term planning, coherent logic, algebraic/axiomatic manipulation, efficient search, etc.,... Current (and future) neurosymbolic Ai attempts seems promising for many of these IMO. posledních pár dnů jsem lítal po různých českých AI healthcare companies, je dost cool vidět co už se v praxi dělá dneska jsem např potkal jedny co predikují a preventují heart failure pomocí lepší měřící EKG technologie a neuronkový technologie na zpracovávání těch dat, co už to nasazují do nemocnic 👍 a predikování a preventing jiných diseases pomocí měření a zpracovávání různých parametrů v očích před dvouma dnama jsem ještě potkal týpky co měří tep víc dlouhodobě než jen na kontrolách (což dává víc dat na predikci problémů), nebo jiný co dělají AI therepeuta v tomhle vidím jako jedno z největších potenciálů pro dobro nebo tohle nedávno vyšlo mimo Česko: BrainLM: A foundation model for brain activity recordings [BrainLM: A foundation model for brain activity recordings | bioRxiv](https://www.biorxiv.org/content/10.1101/2023.09.12.557460v1) nebo (chatgpt like proste znamena ze oboji pouzivaj transformer architekturu) 96% Accuracy: Harvard Scientists Unveil Revolutionary ChatGPT-Like AI for Cancer Diagnosis [A pathology foundation model for cancer diagnosis and prognosis prediction | Nature](https://www.nature.com/articles/s41586-024-07894-z) teď zrovna surfuju co zrovna za health startupy v česku existuje, dost přemýšlím že nějakej joinu v ai talk channelu ⁠ Když jsem by před pár dny na setkání lidí co se hlavně se zabývají AI ve zdravotnictví, tak spousta z nich si stěžovala na to, jak prosazení nějaký technologický inovace v českým (a evropským) zdravotnictví může někdy trvat až 10 let kvůli těm nekonečným layers regulací a certifikátů atd., i když např studie už říkají že to funguje. Ale trading firmy dost platěj no, teď nedáno jsem potkal jednoho týpka co dělal machine learning v CERNUu co se rozhodl že leavne research a zbohatne a založil si startup na machine learning predikování trhu. Ale bylo mega cool ho poslouchat jak v CERNu hledají malý signály v denním flow petabytes dat. typů firem je hodně. Nejvíc cool mě příjdou firmy co např dělají něco jako foundational machine learning model na např predikci heart failure z víc high resolution dat než z EKG. Obecně mě příjdou cool různý entity co dělají specializovaný foundational modely na biologii, fyziku, matiku Každý svůj limitovaný pohled na věc. Svět je hodně komplexní relativně k tomu co jde vyjádřit v lidským přirozeným jazyce pomocí lidskýho mozku. I feel like so many compsci (non)enjoyers don't care if they enjoy the work or if it fullfills them or if it helps the world, as long as it pays them billions, a mám pocit že to pro mental health často není dobrý [Imgur: The magic of the Internet](https://imgur.com/t55jCOP) Tak aspoň v Česku mám pocit, že si buď vybíráš mezi zajímavou a fullilling prací nebo finanční buducností. Ideal system would offer both in one much more often :Sadge: Let's use AI for this instead [https://youtu.be/cx7l9ZGFZkw?si=ZmH2cIx-geks0imJ](https://youtu.be/cx7l9ZGFZkw?si=ZmH2cIx-geks0imJ) Zajímalo či dosavadní negativní čast kulturní reakce na AI by byla jiná, kdyby se ta technologie nevytvořila v kontextu kapitalismu, což pak tvoří incentivy co vidíme. I feel like when it comes to the current AI wars, I think most people don't hate AI itself as a technology, but the exploitative inequitable system using this dual-use technology in certain contexts. I wish more people used it for good, like in healthcare, science, math, education, climate, agriculture, aid, social services, supporting other technology for good etc. And I wish that would actually be in the news much more. ⁠ Tho when it comes to the current AI wars, I think most people don't hate AI itself as a technology, but the exploitative inequitable system using some types of the dual-use technology in certain contexts Will power/wealth/abundance from AI get redistributed? I think that the more people think that, the smaller the probability of that happening gets (and I don't see it as a binary thing, but more on a spectrum) More people having hope that things can be changed means more people try to resist and pursue towards that change using all sorts of methods. It seems to me that lots of changes or more radical revolutions began this way. Spíš mám problém vidět situace, kdy je někdo v něčem úspěšný, bez toho aby věřil, že je to alespoň trochu možný 😄 Hope causes civil resistance, civil resistance causes hope sometimes. A myslím to jako nessesary condition (až možná na nějaký ultra výjimky), než jako sufficient condition. A co se ve více statisticky nasčítá do většího kauzálního efektu, a tím se zvýší pravděpodobnost úspěchu (u spousty společenských fenoménů), i když u nějakých věcí to může z nuly udělat nulu (např. pokud to rozbíjí zákony fyziky), ale v tomhle kontextu si myslím, že to na nulové pravděpodobně nezačíná, a že se zvýší. Beru taky v potaz že ten "cíl" v tomhle kontextu vidím taky vidím jako spektrum. Myslím že by svět vypadal dost jinak, kdyby se nikdo v historii nesnažil o redistribuci moci, co věřil že to jde 😄 Je zajímavý že na AI je teď největší fixace v kulturní válce, a na ostatní technologie co se v týhle mašinerii používají podobně pro dobro i zlo ne tolik. Asi to bude taky tím jak moc jsou některý části AI nový a jaký mají hlasitý impact. Nebo se lidi dost bojí kvůli tomu že je to může nahradit např v práci... proto jsem pro např UBI a pro decentralizaci a demokratizaci technologií, místo další a další koncentraci technologické, ekonomické, politické, kulturní apod. moci Forces that are bad and forces that are good for all the people are both trying, and we need more good It makes me sad daily that such technology that is also already doing so much good and has even more extreme potential to do enormous good is now being hated because some people use it for evil And news media tends to amplify the negative more than the positive which then most people see And it's not just the practical usecases (healthcare usecases ftw I think), like, trying to build intelligence in machines from research perspective feels like the most interesting thing possible to the supercurious hypernerd part of me My intuitive mind often cannot comprehend why people don't want to understand the equation of the universe and the equation of intelligence, but I'm a nerd hyperfixating on these concrete topics, so that's why. My rational mind can find all kinds of explanations for why is it like that, by for example how evolution and environmental factors shaped everyone differently. here's one of the many "boring" tasks that people attempt to automate with AI with robotics recently https://fxtwitter.com/gunsnrosesgirl3/status/1849324102336622643?t=dO0FL_A9X2FZqfvo3xUkGw&s=19 Dneska tenhle robodog už stojí jenom 2700$ u Unitree robotics, a cena klesá dál Ten od Boston dynamics stojí 30x víc Lol, nebo tohle je cool 😄 https://fxtwitter.com/BrianRoemmele/status/1849576526158889348?t=6vgQn-SkoYGeeya4rMAn-w&s=19 Nebo ještě tohle [https://youtu.be/RaTKObI1xyc?si=RNYO3mnSMNr9pCQz](https://youtu.be/RaTKObI1xyc?si=RNYO3mnSMNr9pCQz) Nebo je miliarda pokusů na různý chefs, různě specializovaný, míň nebo víc humanoidní nebo různý linky [https://youtu.be/GyEHRXA_aA4?si=yI1dvjudz_aVNs-d](https://youtu.be/GyEHRXA_aA4?si=yI1dvjudz_aVNs-d) [https://youtu.be/zMNumQ45pJ8?si=fpBYIS6djafTfL-z](https://youtu.be/zMNumQ45pJ8?si=fpBYIS6djafTfL-z) Mobile aloha je asi nejvíc recent pokus o levnější general purpose robotiku co je open source Zatím vyjde na 30000$, jedna chňapka za 6000$, což je taky zlevnění Teď jsem byl na FELu kde drinky taky dávala robotická chňapka 😄 Myslím že budoucnost household robotics bude kombinace humanoid parťáků, těhle robotic jezdítek, a dogs. Co jsou různě obecný, nebo hodně specializovaný roboti a mašiny. Já chci tohle dom [https://youtu.be/djzOBZUFzTw?si=4tk6rD7RR2dnsIo8](https://youtu.be/djzOBZUFzTw?si=4tk6rD7RR2dnsIo8) Nebo tenhle chodí hodně lidsky https://fxtwitter.com/TheHumanoidHub/status/1849549505601077540?t=04YSXYWKA8IDXcSQSpP0Uw&s=19 U tehle usecases si říkám či je humanoid potřeba místo jiných robotických forem, ale je designován do míst co byly designový pro lidský formy, a alespoň to vypadá cool [https://youtu.be/ZWonAz7Kczs?si=kh6Bjw1eU8DGj6a4](https://youtu.be/ZWonAz7Kczs?si=kh6Bjw1eU8DGj6a4) Za 25000$ [https://www.youtube.com/watch?v=F_7IPm7f1vI](https://www.youtube.com/watch?v=F_7IPm7f1vI) chci domů https://fxtwitter.com/chris_j_paxton/status/1852047463978254460 autonomní roboti co dělají laundry nebo jiný house chores dle mě do pár let explodujou Novej víc agentic Claude model co je teď i lepší pro kódování a PC control [https://youtu.be/DVRg0daTads?si=c4Wxnm9UJSLRhuoc](https://youtu.be/DVRg0daTads?si=c4Wxnm9UJSLRhuoc) Vždycky když irl někde vidím libovolnýho robota v libovolný formě tak je z něho instantní kamarád ❤️ AI for good is hard Incentives in souless corporations maximizing profits stuck in mutual arms races are fun Snažím se už tolik nepřemýšlet jak proti tomuhle bojovat, a jak přeprogramovat ty incentives fundamentálně, jako kdysi, protože jsem se z toho malém zbláznil, a snažím se spíš dělat jiný věci Good things still exist even in this system with deeply ingrained rotten incentives and one can help amplify these instead AI je technologie jako např internet a elektrika a používá se jak pro dobro tak bohužel i zlo jako jiný technologie Proto k tomu furt mluvím o např univerzálním základním příjmu 😄 A štve mě že u jazykových modelů jdou nejvíc vidět lidi co to používají pro souless money generation nebo netuší jak to použít a co jsou jejich reálný dosavadní schopnosti a limitace Plus jazykový modely jsou 1% AI oboru, a všichni teď vidí jen to, to mě taky štve "What people expected: AI doing the boring parts of their lives, so they could be creative What it is doing: Automating the creative things so we could work more" Both are happening, but I agree I want the first to happen more and I advocate for that Např robotika pro boring stuff je teď taky v boomu a ceny časem klesají násobně Ale negativní zprávy jsou prostě víc virální tak se to relativně tolik nevidí Ale protože všichni teď znají jenom část generativní AI podoboru a zbytek AI oboru ne, tak i ty jazykový modely se používají pro automatizaci boring věcí. Já je na to používám furt. Ale obecně mě přijde že Evropa přestává vidět benefity technologií a vidí z většiny jen to špatný Je zajímavý jak Asie a Amerika tohle tak moc nedělá It's getting harder to be a technooptimist or technorealist instead of technopessimist Je zajímavý jak obecně velká část levice teď víc přepíná do technopessimismu Poslední dobou mám kvůli tomu mega chuť založit nějakou optimistic AI news stránku co by highlightovala zprávy ze všech dobrých AI aplikací, který jsou většinou zastíněný těmi negativními, který média mají tendence amplifikovat. Něco takovýho z části v podstatě dělám už na sociálních sítích z mých profilů. Ale štve mě na AI akcích poslouchat profit maximizing lidi, jejichž jedinej cíl je vydělat biliony, povídat o tom jak vydělali miliony, nezávisle na tom jak to udělali, a hned na to poslouchat lidi, co např dělají AI a jiný technologie do healthcare, stěžující na to jak jsou heavily underfunded a dost limitovaný byrokracií. Já chci změněnej systém, kde by peníze šly do těch pozitivních aplikací, co lidem víc pomáhají, ale měnit incentivy v dosavadním systému mi přijde skoro impossible, když člověk sám nemá biliony nebo jinou technologickou/kulturní/atd. moc... That's why I kind of started to give up there... Ještě s mým neurodivergentním mozkem co pro to spíš asi není moc stavěnej... I think I instead want to build stuff that helps, even in these bad incentives... Bylo by fajn kdyby dělat to bylo jednoduší relativně k dělání pro profit maximizing firmy. Pokud vás napadá nějaký (ideálně realistický) řešení, tak ho klidně do svýho šuplíku potenciálních řešení přidám Je hodně examples automating boring parts AIčkem např robotikou leaf blowing v zahradě ⁠intelligence⁠ nebo různý jiný uklizející roboti, nebo na vaření, kde některý se pomalu a jistě stávají affordable, nebo se používají ve fabrikách např na jídlo. Je to hodně general purpose technologie že se aplikuje všude jako třeba elektrika a počítače. Do toho je dneska rozšířená ještě např affordable roomba, existuje affordable washing machine a dishwasher, atd... Podobných užitečných mašin, míň nebo víc adaptivních pomocí AIčka, je a bude jich víc a víc rychleji a rychleji. Jak ve fyzickým tak digitálním prostředí ve formě softwaru. V softwaru je machine learning všude, kromě searche mě teď napadají ještě např antiviry nebo jiný klasifikátory, LLMka jsou relativně minimum, i když se taky používají na různý mundane a useful tasks. Jsem pro to aby se tyhle automatizace boring a useful věcí automatizovaly relativně víc. Přijde mi fun jak podle originálních definicí AI se ty různý míň adaptivní mašiny a software počítaly za AI a dneska to tak lidi mají tendenci vidět míň. Např expertní systémy. 😄 Ale dneska pod tím lidi znají jen to Chatgpt a image generátory, když existuje všechno tohle ostatní... Dneska jsem byl na přednášce jednoho staršího profesora co povídal o tom jak se kdysi první počítače viděly jako velký magický mozky, což už dneska tak moc není když to má málo adaptivní hardcoded logiku. 😄 Ben hezky popisuje jak díky všem těm technologiím co dneska máme žijeme celkem relativně v technologický utopii oproti minulosti, jako např tuna jídla v supermarketech a letadla na cestování, i když to má svoje problémy. https://fxtwitter.com/TheHumanoidHub/status/1848756885446615515?t=DZ1a2uLdCpfwuUQo4adLWw&s=19 Technooptimism and technorealism are good perspectives I think We are better off than people long time ago And it can be so much better Achjo, vždycky když na internetu nebo v reálu vidím někoho říct/napsat nějakou formu "AI bad", tak i když ten zdroj bad feelings často chápu a chci ho minimalizovat, tak mi to např přijde strašně nespravedlivý vůči lidem co se v našem světě snaží různý typy AI systémů aplikovat pro dobro, který často v tý vlně hatu amplifikovanými médiema nejdou videt, plus pak lidi mají tendence do škatulky s evil lidmama házet i lidi co se snaží o to dobro, jenom protože oba používají stejnou technologii ale na jiný věci. A pak se ve společnosti tvoří odpor i vůči těm dobrým aplikacím, třeba ve zdravotnictví, což pak dělá bordel. Mám to v hlavě tak moc emočně napojený že do teď se mi to pak ještě dlouho honí v hlavě. Nějaká redistribuce a demokratizace se taky děje, a mám za to že by to chtělo právě víc amplifikovat Proto se mi tak např líbí ty recent breakthroughs v AI pro zdravotnictví, protože to v našem systému má největší šanci se dostat k víc lidem Pokud někoho napadá víc (ideálně realistických) řešení na problém power koncentrace, rád si je přidám do svýho šuplíku potenciálních řešení. Zároveň mě štve jak tenhle hate právě někdy prosakuje i na ty good guys jen protože používají tu stejnou technologii no... Snažím se vyjádřit aby to nebyl hate ty technologie samotný, ale těch aplikaci těch konkrétních technologií a toho kontextu A aby i ty ostatní aplikace co se dějí dostaly recognition Možná lepší news media je velký faktor, možná je toho potřeba víc... Možna budování a demokratizace pozitivních aplikací technologií je způsob jak rozbít monopoly a zastínit negativní aplikace, Tohle si celkem velká část AI oboru myslí Hmm, taktik to chce hodně no, včetně přímýho boje proti koncentraci moci, ale to mě přijde často jako takový nehybný superodolný gigant, ještě když bojující skupiny na to v podstatě ani nemá žádný resources relativně k tomu gigantu. Ale ve více je síla... Tenhle týpek co tohle dost řeší je dost dobrej 😄 [https://www.youtube.com/watch?v=qSBLSFfZ0us](https://www.youtube.com/watch?v=qSBLSFfZ0us)