Jak zabráníš misalignmentu mesaoptimalizátorů? [https://www.youtube.com/watch?v=nUrYCUkTFE4](https://www.youtube.com/watch?v=nUrYCUkTFE4) Formální verifikace nad hardcoded nebo emergentníma obvodama mi dává jako jedinej smysl Ale otázka je či formálně verifikovat alignment vůbec jde Musíš mít matematickou definici alignmentu co je dostatečně all encompassing třeba avarage human values jenomže ty jsou nekonzistentní, to dost lidí taky argumentuje, a proto je tak impossible to dát do matiky ale pár lidí se alespoň snaží zmatematizovat utilitarianismus, deontologii apod. zatím máme tenhle fuzzy "alignment" z algoritmů co ulačují konkrétní podprostory latentního prostoru jako RLHF nebo constitutional AI 😄 https://fxtwitter.com/pmddomingos/status/1850704038817571042/photo/1 ale zase bych argumentoval, tak proč nemůžeme udělat AIčka co jsou v tomhle lepší než dost lidí bylo by třeba fajn ale například hardcodnout exaktní properties jako formálně žádný zabíjení lidí, nebo žádný lhaní/deception (když Aičko ví pravdu a schválně řekne lež za nějakým účelem) ale dostavadní modely jsou statistický fuzzy shoggoths s broken abstrakcema kde formální verifikace je pravděpodobně impossible humans are misaligned, and yet we still havent nuked eachother, yet moderní civilizace je vybudovaná na utlačování ostatních 1 AM mood about wanting to overthrow the whole system because of insane nespravedlnost everywhere but good people still exist, even if they often dont win in the current power games and at least we can try to make AIs better compassionate benevolent superintelligent AI is the dream kde tyto jejich properties jsou matematicky dokázány podobný věci si často dávám do system promptu u LLMs 😄 někdy chodím po trávě a mám pocit že tý trávě ubližuju a jsem z toho smutnej hmyz se snažím nikdy nezabíjet pokud to jde a spíš ho vyprovozovat z pokoje a často mi vadí že jím maso a nemůžu si pomoct třeba nějaká skupina co chce přeprogramovat biosféru aby omezila utrpení a vytvořit post scarcity utopii eventulně bude dominantnější, ale problém je v tom, že tenhle typ lidí většinou dominantnější není no, takže je jiní porazí ve hrách o moc v našem systému... 😄 [https://www.youtube.com/watch?v=R3c6cesOG4M](https://www.youtube.com/watch?v=R3c6cesOG4M) [The Hedonistic Imperative](https://hedweb.com/) don't make me change my priorities again, now I wanna get into AI in healthcare! xD (což je ale relativně blízko k tomuto) i když poslední dny spíš surfuju přednášky o fyzice většinu volnýho času (když ještě nepočítám chronickou prokrastinaci na sociálních sítích), aaaaa 😄 Ale mozek je bioelectromagnetickochemický complexní dynamický algoritmický systém, takže to je relevantní! Tohle je super kurz! Jeho součástí je diagnostika nemocí z rentgenových (x-ray) snímků a 3D snímků mozku z MRI (magnetické rezonance) [AI for Medicine Specialization - DeepLearning.AI](https://www.deeplearning.ai/courses/ai-for-medicine-specialization/) I often find it really bizarre how compared to humans current AI models can do some things really well, but completely mess up other relatively simple things, and how badly we can predict these failure modes, and how different wrappers over the models trying to fix these issues work or don't work in different hard to predict ways. 😄 It really is total alchemy sometimes. If only we understood more about how the models work. ChatGPT pro advanced matiku? Pro větší accuracy doporučuju Perplexity s Claude 3.5 Sonnetem pro relativně jednoduchý grounding ve skriptech co jsou na netu a s kalkulačka jako Wolfram Alpha. Nebo jím cpát context, např i do o1. Performance to hodně relativně zlepší. Nebo je spoustu různých chat with pdf solutions. Ale pro lepší grounding se dělají komplexnější systémy no, často specializovaný. Přímo human made ground "truth" je u dost matiky ideál dle mě, když to u těch příkladů existuje. Nadstavby nad těmi zdroji s LLMs a jinýma neurosymbolickýma systémama vidím jako komplementární nebo když nejsou alternativy a Google, YouTube, WolframAlpha, Symbolab, Photomath, Proofwiki, lidi apod. není dostatečný. Příjde mi často fakt bizarní, jak v porovnání s lidmama to je schopný některý věci udělat fakt dobře, ale jiný relativně jednoduchý věci totálně pokazit, a jak blbě se to predikuje, a jak různý wrappery nad těma modelama co se to snaží zpravovat různě fungují či nefungují. 😄 Je to fakt někdy totální alchemie. Kdybychom tak víc rozumněli jak ty modely fungujou. Nebo ještě math researcher Terrence Tao má za mě ještě fajn pohled ohledně OpenAI o1 modelu kolem matiky, co je dostupný pod ChatGPT premium. Tady ukazuje jeho strenghts a weaknesses. Řekl: " The experience seemed roughly on par with trying to advise a mediocre, but not completely incompetent, (static simulation of a) graduate student." [Terence Tao: "I have played a little bit with OpenAI's new iter…" - Mathstodon](https://mathstodon.xyz/@tao/113132502735585408) Teď kdyby se ještě napojil na databáze definicí, proofs, step by step výpočtů s postupy, měl přístup k Wolfram Alpha / Mathematice apod., Perplexity je k tomuto blízko (co ale ještě nemá pro všechny o1, ale má Claude 3.5 Sonneta), ale ten kouká na celej net a někdy použije Wolframa. Perplexity není specializovaný na matiku, i když je to často jako jedna z nejlepších dostupných variant. Nebo ještě vidím budoucnost v neurosymbolických systémech jako AlphaProof. I bet Google is already trying to scale it. [AI achieves silver-medal standard solving International Mathematical Olympiad problems - Google DeepMind](https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/) Ty jsou víc než jen jazykový modely. Proto se mi líbí ty alternativní emerging approaches jako je např ten AlphaProof. :smile: Různý formy neurosymboliky dávají možnost tu logiku víc hardcodovat. Zajímá mě kam se to všechno do pár let dostane. :smile: [AIC: From Probabilistic Logics to Neuro-Symbolic Artificial Intelligence (Prof. Luc De Raedt)](https://www.youtube.com/watch?v=IT9KDheuS1o) na programování víc používám např Perplexity nebo Cursor IDE s Claude 3.5 Sonnetem (New) nebo o1-preview napojený na ty dokumentace a guides [Cursor - The AI Code Editor](https://www.cursor.com/) https://www.perplexity.ai/ Oproti čistýmu ChatGPT je dost těhle setupů nad modelama úplně relativně jinde dle mě, i když pořád dost limited, a Claude 3.5 Sonnet (New) jako base model oproti GPT-4o vede o dost dle mě a benchmarků Jj Claude 3.5 Sonnet (New) dělá pořád dost podobných chyb. Ale relativně oproti GPT-4o na kódování a matiku je lepší dle benchmarků a zkušeností mě a dost lidí co znám co do toho jsou hodně. 😄 A o1 to taky řeší zas trochu jinak. Ale o1 teď v dost tascích konkuruje. To už se hůř srovnává, když je to model v dost změněným paradigmatu. Nejlepší jsou ale dle mě ty specializovanější systémy kde ten foundational model je wrapnutej do něčeho většího, jako napojený na web search engine systém a Wolfram kalkulačku (Perplexity AI) nebo embedded do IDE a napojený na codebase a dokumentace (Cursor AI) Ale některý chyby tam jsou pořád celý ty roky. Třeba ty halucinace se sice zlepšují, ale furt je to dost problém. tady jsem se rozbásnil o metodách co existují na jejich minimalizaci. Na minimalizaci halucinací v industry teď dělám v práci. ⁠off-topic⁠ Je dost možný, že abychom to vyřešili, tak prostě budeme muset přejít mnohem víc na neurosymboliku nebo jiný paradigma, který by možná ten reasoning a logiku víc hardcodnuli. Francois Chollet je jeden z mých oblíbených vědců co tohle hodně řeší. Tady ukazuje weaknesses a strengths dosavadních systémů, ale IMO některý ty jeho claims jsou až moc strong, myslím že u dost věcí co zmiňuje se progress děje, plus jsou teď trochu weaker s příchodem o1, kde tahle přednáška byla před o1. [https://www.youtube.com/watch?v=s7_NlkBwdj8](https://www.youtube.com/watch?v=s7_NlkBwdj8) But I would argue we are already seeing the phase shift in the AI architectures happen, where AI systems are slowly morphing into neurosymoblic AI,where deep learning is still a major component, but a bit less. o1 uses selfcorrecting chain of thought reinforcement learning with a reward model, not just pure deep learning AlphaGeometry and AlphaProof uses LLM with symbolic Lean and AlphaZero like RL AlphaCode uses MCTS and sampling etc. But depending on how one defines strong logic, symbolic reasoning, intuitive reasoning, generalization, causal modelling, continuous learning, data and compute efficency, agency, long term coherence, etc., then lots of those aspects probably aren't cracked yet. o1, ne o4 😄 a je to ještě o1-preview verze nebo o1 mini, a ne celý o1 4o je ten pro STEM related věci slabší multimodální model a 4 je jen jazykový least confusing AI company naming scheme před chvílí vyšel např Claude 3.5 Sonnet (New) a u Gemini jsem se už ztratil (gemini-1.5-pro-exp-0827?) Intelligence is the ability to make more complicated mistakes Half of my internet is celebrating, half of it is crying right now when Trump is winning. I have sympathy for all. I think most people aren't evil. I think most people want a better world for everyone. Does this mean that @xai will become a leader in AI. State sponsored nuclear power plants for USA superintelligence to beat China incoming. https://x.com/burny_tech/status/1854029394072764714?t=_74mbtpJK6yRz0vQ3zHkSA&s=19 https://x.com/burny_tech/status/1854030033725034978?t=-Wf7-VXaKU-YLCBiH7a-pQ&s=19 Polovina mýho internetu teď jsou democrats/lefties říkající jak půjde ekonomika spíš do háje, jak je Trump napojenej na antiscience lidi, jak práva minorit půjdou do háje apod., a polovina jsou tech liberteriáni celebrating accelerating technological America with less constrains. Dle liberteriánů se všechno zlevní, dle demokratů se všechno zdraží. Liberteriáni jsou happy protože věří že bude míň regulací, ale kvůli tomu se lefties bojí, že billionaires budou mít ještě víc moci. Evropané se bojí že situace na Ukraine bude lepší pro Putina. Half my internet is tech libertarians celebrating accelerating technological America with less constraints, and other half is democrats/lefties saying how the economy will go to hell, how Trump is connected to anti-science people, how minority rights will go to hell, etc.. According to libertarians everything will get cheaper, according to democrats everything will get more expensive. Libertarians are happy because they believe there will be less regulation, but because of that lefties fear that billionaires will have even more power. Europeans are scared that the situation in Ukraine will get better for Putin. Ignorance je často bliss. Ale, když by člověk chtěl v politice možná eventuálně pomoct prosadit nějakou změnu, a když některý ty věci se tam člověka týkají víc přímo než si myslí, a když je FOMO když to sledují všichni kolem. 😄 Ale když se neděje něco velkýho tak se to snažím politiku co nejvíc omezit poslední dobou, protože to může být fakt žrout času a generátor úzkostí a pocitu bezmoci a nejistoty. Ale u některých věcí, kde bych chtěl eventuálně možná nějak pomoct se změnou, se hodí udržovat přehled pořád no "Proc by ses nechal ovlivnit zpravou na internetu? Muzes nad tim reflektovat a uvedomit si, ze s tim vlastne nic nenadelas. Navic nas neafektuje naprimo (nejsme USA)" Myslím že to neplatí univerzálně. Myslím že někteří s tím nadělat něco můžou když chtějí, i když se o to chce snažit minorita. A dost záleží na konkrétní věci no. Ale pro většinu je to asi dobrý advice pro lepší mental health. Já jen, že tohle mě už řeklo několik lidí, ale já tak odmítám z principu fungovat, protože bych možná chtěl eventulně víc pomoct s nějakýma změnama. A je myslím fajn, když se do pokoušení o pozitivní změny připojí víc lidí. Myslím, že čím míň lidí se snaží o pozitivní změny, díky tomu že tenhle advice je častý, tím míň se ty pozitivní změny ve světě reálně dějou. 😄 Ale zároveň mám pocit, že je naše kultura časem víc a víc naprogramovaná, že stav světa náma nejde změnit k lepšímu, kdychom se o to dostatečně pokoušeli, i když my ten svět vlastně spolu tvoříme. A to se mi nelíbí, protože mám pocit, že to způsobuje kolektivní kulturní pocit beznaděj, že svět jde udělat lepší, takovou kolektivní depresi, kterou odmítám taky vstřebat. A argumentoval bych že co se děje v USA nás dost afektuje v našem globalistickým propojeným světě kde se tuna věcí v geopolitice, technologiích apod. ovlivňuje hodně propojeně. "Nemyslím, že by to bylo naprogramované v kultuře. To jenom banda nejstarších a nejsilnějších opičáků se úporně drží svých míst na vrcholku skály. Ale to je dost dočasný stav." Ano, ale čím míň se ostatní opičáci snaží s tím něco dělat, tím jednodušeji se ta banda starých opičáků s mocí na jejich trůnu udržují a tím víc kolem svých hradů staví obranu. Což je pro ně víc jednodušší když si víc lidí myslí že je status quo jima nezměnitelný. Takže čím víc naší společností kolují tyhle narrativy o tom, že jako lidi nic se stavem našeho systému neuděláme, tím míň lidí se o to snaží, a tím se paradoxně zvyšuje šance, že to tak fakt zůstane delší dobu, a tím míň pozitivních změn se děje. Hodně že mě taky mluví to, že jsem dost krát byl v mindsetu silný depresivní beznaděje, kde jsem si celkem silně myslel, že věci v mým životě a ve světě nejdou změnit k lepšímu, a prostě se do tohoto typu přemýšlení odmítám v jakékoliv formě vrátit. And I want to care, instead of suppressing my care. And I want to be ambitious, instead of suppressing my ambition. Někdy si říkám: Optimism seems delusional until it's not. A necessary ingredient to achieve anything difficult. I just don't want to feel deeply defeated anymore One thing that I've observed in this election hype is that many people define intelligence of another human/agent as the agent's alignment to their own political values or how much the agent shares their own specific narrow skills My deep value is increasing the total amount of as intelligent as possible consciousness experiencing as much wellbeing as possible, on earth and throughout as much of the whole universe as possible, surviving for as long as possible, reverse engineering the source code of the universe as accurately as possible by finding as predictive mathematical physical model as possible, and explore the whole state space of mathematics, philosophy and consciousness. Maximize the integral. Moje oblíbená filozofie je realistický optimismus pushnutý do jeho limitů, co se snaží vnímat co nejvíc co nejobsáhlejších jak dosavadních či potenciálních negativ i pozitiv, co co nejvíc předpovídají svět, s focusem na pozitiva, a tvořit je, co se snaží co nejvíc openmindedly pochopit pohled všech stran. 😄 My favorite philosophy is realistic optimism pushed to its limits, trying to perceive as much as possible of both existing or potential negatives and positives, predicting the world as much as possible, focusing on the positives, and creating them, and trying as much as possible to openmindedly understand the perspectives of all parties involved. 😄 Since AI minecraft is more similar to dreams than to awake experience, I wonder if what we're missing from deep learning is some mechanism like the brain as a nonlinear complex dynamical system constantly coupling with external sensory data and with the past states of the internal world simulation to stabilize coherent spaciotemporal patterns in some selfregulating selfcorrecting cybernetic control theoretic way. I think the emerging current selfcorrecting chain of thought reinforcement paradigm is slightly getting closer to that, but maybe if we do it on neural cellular automata and kuramoto oscillatory neural networks with some cybernetic control on top of it? https://x.com/RhysSullivan/status/1853273224047702479 Make Left Great Again https://x.com/Liv_Boeree/status/1854237463080009941 Many people think that human intelligence is the limit in artificial intelligence. I see no reason why can't we couldn't make AIs that are better at many things than most humans. I think we already have many AI systems that are already superhuman in some ways, like playing games, having better certain types of memory, and so on. Some people will just not accept that their cognition can be eventually automated no matter what evidence they will see Some people will just not accept that their cognition can be eventually understood and recreated in artificial intelligence no matter what evidence they will see Trump and Elon winning will have big implementations for AI research and development a regulace Vzhledem k tomu, že AI's ideology reflects the ideology of it's creators, že v nich bude mnohem víc republikánských/konzervativních biasů A controlability research teď taky dostane ještě menší prioritu relativně k zvyšování schopností v ještě napjatějším závodě k superinteligenci s Čínou 😄 Tyhle dva body v podstatě skoro explicitně reflektují jejich proposals for policies Odstranění nějakých regulacích co nejsou moc science based a spíš benefituji korporace je fajn, ale ne skoro úplný smazání a přidání regulací co jsou hodně antileftist a prorepublican/proconservative/proright