You can do this more controlled way of painting in diffusion models, turning it much more into a latent space brush, where you paint with sparse autoencoders features: https://fxtwitter.com/GoodfireAI/status/1927415017504165978?t=fvMPOGfH4yqLbPiq1wfuUQ&s=19 https://www.youtube.com/watch?v=mlZYRwJ2oJg It's a bit similar to this from long time ago (4 years ago) They are using sparse autoencoder features for this: https://fxtwitter.com/GoodfireAI/status/1927415034973491395 There are ways to make the various objects more consistent across different images, less entangled/fractured. I wonder if you could run something like AlphaEvolve on Diffusion model prompts or steering of those latent features, maybe with giving LLM as a judge to evaluate novelty, interestingness, complexity etc.. But LLM as a judge is highly limited and humans would for sure be better like in PicBreeder. I should finally try this idea. Also what is interesting to me, that they have this weak generalization capability with (IMO) weak combinatorial creativity, thanks to the fractured, entangled, convoluted, not so smart, etc. features and circuits that they learn, like those that what we see in LLM mechanistic interpretability, for example in the "Biology of LLM" paper. So as a result they struggle with clocks, half full glasses of wine etc.. I wonder to what degree ChatGPT now being able to do half full glasses of wine is the consequence of them explictly patching it by synthetic data, or actually training a better model. Or for example video models can sometimes learn stuff like "astronaut riding a horse that turns into a cat", but maybe at the same time they fail to learn "astronaut riding a horse that turns into a dog", and it also tends to change the astronaut's face or something thanks to the fractured entanglement of features, which you can technically modulate with all these hacks to some degree. I currently see it as there being this brittle emergent (semisymbolic?) world model composed of all these features and circuits, that can do this brittle weak combinatorial creativity, that can break easily, but that are to some degree weakly generalizing, mostly in distribution. And maybe you can connect it to LLMs prompting it, or steering the latent features, and doing evolutionary or other search, which could enhance the weak combinatorial creativity to some degree. We need in more stronger generalizing (emergent or not or hybrid) symbolic representations, both in distribution and out of distribution, creating a more robust world model, that you can use to do more coherent interpolation, extrapolation, exploring of the space of possible concepts, with counterfactuals, etc., in more open ended way, for more coherent novelty, thanks to better combinatorial creativity and inventive creativity Já teď řeším že Claude Code CLI moc rád způsobuje např data leakage při psaní machine learning pipelines, takže všechny ty jeho failure modes zkouším regulovat přes CLAUDE.md rules, kde dávám co nejvíc heuristik jak tomu předejít, a jiný metody. Me: Claude Code, I need this model to perform well Claude Code: Ok adds target feature into an engineered feature and causes data leak to get to almost 100% Reward hacking champion https://imgur.com/vmWp7qk Zkouším jak moc jde automatizovat psaní ML pipelines pomocí nastavování Claude Code bez toho abych udělal nějakej custom specializovanej workflow/agentic/multiagentic systém. AI je obří obor co zkoumá a různě aplikuje různý formy inteligence a jiných souvisejících algoritmů ve strojích. tens of thousands of years of philosophy on good and evil vs subtracting the evil persona vector https://x.com/AnthropicAI/status/1951317898313466361?t=3EW_ERNvei2m4CwcQYbc3A&s=19 Myslím že krása je ještě z velký části symetrie, a komprese by mohla jít vidět jako identifikace konkrétních symetrií v datech a pomocí toho zmenšení redundance. Ale ty symetrie v kráse můžou být i víc obecný symetrie. you can throw tons of math to find structure in all those learned black box numbers Theorem proving AIs sleduju hodně To mě právě teď strašně zajímá, ale teď víc ve fyzice Teď byl tenhle cool objev co chci víc prozkoumat: https://interestingengineering.com/innovation/ai-decodes-dusty-plasma-new-forces-physics Physics-tailored machine learning reveals unexpected physics in dusty plasmas https://www.pnas.org/doi/10.1073/pnas.2505725122 Věci jako tohle mě teď asi nejvíc zajímají Jak udělat lepší stroje co kouknou na fyzikální data a dokážou v tom vyčíst nějaký nový matematický vzory na který jsme jako lidi nepřišli Zatím jsem tento article skimnul, ale jediná souvislost mezi tímhle a ChatGPT je to že obojí používají neuronky. Ani to nepoužívá pozornostní architekturu. Viděl jsem pár matematiků co s tím (nebo s jinými podobnými LLM systémy) v podstatě ve spolupráci vydali validní papery s novými results Nedávno třeba cosi v kombinatorice Problém LLMs je vysoká míra false positives, takže člověk musí buďto být domain expert aby věděl jestli to vygenerovaný dává smysl, a vzít z toho to co dává smysl A nebo, protože matika jde symbolicky verifikovat, tak vygenerovat tuny řešení, různě je evolučně mutovat, atd. a vybrat ty co jsou validní dle verifikátoru Např tohle jsou výsledky z AlphaEvolve, co funguje tak nějak https://youtu.be/sGCmu7YKgPA?si=4TvpXwRGjB3JYBQJ A proto se teď všichni snaží všechno přeložit do Leanu, protože tam ty proofs jdou verifikovat Nebo teď AI získalo zlatou medaili v matematický olympiádě, kde jsou previously unseen příklady https://deepmind.google/discover/blog/advanced-version-of-gemini-with-deep-think-officially-achieves-gold-medal-standard-at-the-international-mathematical-olympiad/ Tam jsou potřeba proofs Nebo existuje DeepSeek prover, co problémy rozkládá na podproblémy a co má v sobě Lean https://youtu.be/vhXDKif9mPU?si=NmA687iiPhF3NkD_ Jednu z největších nadějí vidím v neurálně guided symbolic proof synthesis v Leanu https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/ AlphaProof je taky super architektura, co má v sobě neuronky i Lean, která se učí přes reinforcement learning Ta diverzita architektur pro matiku je velká, a je to šíleně fascinating Můj to;dr asi je že jedna z nejčastějších misinformací o AI na internetu je že to jenom kopíruje trénovací data, většinou od lidí co neví o deep learning theory, co studuje do jaký míry ty modely generalizují, jak se učí ještě např pomocí reinforcement learningu, atd., aby např všechno co jsem poslal bylo možný Ale furt je co zlepšovat, je to často dost brittle a je tam dost nevyřešených problémů Snažím se co nejmíň koukat na to co si o tom mainstream masy lidí myslí, jinak trochu šílím z toho jaký množství misinformed objektivně factually wrong technical claims, od lidí co do toho vidí minimálně, všude je Jsem ok s politickými názory proti big techu, ty často sdílím Ale nejsem ok když si lidi vymýšlí technický claims o AI co jsou naprosto mimo to co o tom ve vědě víme Maximalizace agreeableness místo vědecký pravdy, co ty některý velký firmy dělaj, je něco co taky pořád kritizuju, ze stejných důvodu Ale to co big tech chatboti jsou asi 1% toho co všechno v AI existuje Ta matika za tím se používá na miliardě jiných místech a skoro nikdo to neví Teď jsem přišel s rodinnýho setkání kde jsem milionkrát opakoval limitace těch různých systémů Dost záleží na tom systému no. Generalizace in distribution a out of distribution je na spektru, a je tam furt hodně nevyřešených problémů. Člověk může i jen overfitnout, ale to je na houby. Dost LLMs jsou overfitted na dost věcí, ale jinde nějakou míru generalizace mají. Jinak by teď např nezískaly zlatou medaili na matematický olympiádě. Tam jsem to primárně myslel v kontextu mathy/scientific results co už jsou díky těm různým neuronkovým systémům. Ale furt je co řešit, má to furt hodně limitací, a dělají stupidní chyby. V image/video genu taky generalizují do určitý míry, pokud ty modely mají dobrou architekturu, trénovací algoritmus, a jsou natrénovaný dobře, ale jsou tam limitace Jako jo, když nepotřebuješ generalizovat Nebo třeba AlphaZero se učilo tak že hrálo sám se sebou přes reinforcement learning a našlo nějakou novou strategii v šachách https://arxiv.org/abs/2310.16410 "Our analysis indicates that AlphaZero may encode knowledge that extends beyond the existing human knowledge, but knowledge that is ultimately not beyond human grasp, and can be successfully learned from." Existují různý věci jako tohle ale stejně jsou na sociálních sítích armády lidí co kolektivně papouškují že veškerý AI jenom papouškuje (copy pastuje) lidský trénovací data a nedělá nic jinýho Už se mi taky hodně krát stalo že jsem zmiňoval nějaký limitace dosavadních AI systémů a to se zase nelíbí lidem co si chtějí myslet že LLMs umí všechno On je problém v tom když některý ty lidi nepřesvědčíš empirickými výsledky z experimentů s dosavadními AI systémy Protože někteří si dogmaticky chtějí myslet že dosavadní AI systémy umí všechno, a žádný empirický data jim mysl nezmění A někteří si dogmaticky chtějí myslet že dosavadní AI systémy neumí nic, a žádný empirický data jim mysl nezmění https://youtu.be/kOWVJWMwKDo?si=GGYrjo8Z6DFEacU6 Cool, opakuje tam rant co jsem rantoval i tady, kde zmiňuje tu MIT studii, kde vygenerování eseje bez přemýšlení míň aktivovalo mozek než napsání eseje vlastní hlavou, a všichni z toho byli strašně překvapení. Moc nechápu, proč jsou z toho všichni tak překvapení. Když nepoužijí svaly, tak se neaktivují, tak se netrénujou, tak nerostou, což mi nepřijde překvapivý. Ten content je relativně fajn, ale ten thumbnail mě trochu ickuje tím jak overgeneralizuje. AI se už jako doktor používá dlouho, ale míň to jsou tyhle generalistický jazykový modely, i když ty se používají taky, protože často jsou na nějaký tasky lepší než specializovaný modely, a je kolem toho potřeba vytvořit hodně lešení. Ale hodně jsou to ještě např specializovaný diagnostický klasifikátory taky založený na podobných architekturách, který sem tam uvidí něco co doktor nevidí, ale zase doktoři vidí věci co lidi nevidí, takže s tím spolupracují jako s nástrojem. Viz. https://ct24.ceskatelevize.cz/clanek/regiony/lepsi-diagnostika-mene-administrativy-ai-vyuziva-vic-nez-polovina-ceskych-nemocnic-362762 Ale taky tam nezmiňuje tu velkou diverzitu chatbotů a kouká jen většinové na ChatGPT. Např specializovaný therapist chatboti taky vznikají od theraphy firem, co nemaximalizují engagement ve formě agreeableness atd., co dle studií vypadají že začínají fungovat Nebo některý chatboty jdou system promptnout nebo jailbreaknout atd. do toho aby naopak nebylo tak agreeable, dost záleží na tom jak je ten AI systém natrenovanej nebo jsou na to jiní (specializovaní) chatboti co to mají v základu Ale většina lidí teď zná jen ChatGPT v jeho defaultní konfiguraci a o tomhle všem co jsem zmínil skoro neví no. Ale jsem rád že to video není černobílý. Takových je potřeba víc. instead so far we have overaligned systems, that will do stuff as you say, which turns out to be easier than expected, with way too much agreeableness, that sometimes say how everything you say is true and correct and brilliant and so on, as that seems to be what most customers want and what market optimizes for, and i expect that to continue, instead of having some rogue systems my bigger point is that there is this assumption that by default they're rogue in all those scifi scenarios, but in reality its easier than expected to give the systems the values that we want so currently the values and personalities of the systems reflects the values and personalities of their parents and of the market incentives if you mean that more intelligent systems dominate everyone, then i always think of the example where dumber politicians dominate much smarter scientists i think of ASI more like a gigantic hammer made of raw intelligence, that we can direct on anything we want ideally at figuring out science! i mean future ai systems, not the current ones i dont buy the assumption that there is some inherent rogueness to intelligence, from the empirical evidence we have so far I used to be obsessed with the AI control problem for some time, but not anymore, the more i study these systems. The systems themselves in the current paradigm and in the near future are much more configurable, customizable, controllable, etc., so what matters is who has it in their hands for what usecase. And we should be figthing against certain people misusing it, as certain people using it are the misaligned intelligences, i can aleborate i'm currently obsessed daily about reverse engineering current ai systems, and i think a lot of these methods will work on future ai systems too and we dont really have any empirical data for observing any inherent need to kill/enslave emerging etc. everyone like in all the doomer scenarios a lot of the times its viral headlines from experiments where they play with system prompt, pretrain a sleeping agent that they then activate etc. like, some weeks ago there was viral headline where they told an ai to pursue goal at any cost, and it did, and some people were so surprised, and media misrepresented a ton as it going rogue (no it didnt) there was some experiment, where the ai had goals to keep itself aligned, so it prevented finetuning to make it misaligned and people were surprised it tried to stay aligned like, the systems are way more aligned than all the doomer scenarios literally keeping itself from having its alignement turned off and we've seen its thoughts, had control over the system running, etc. intelligence is decoupled from agency, if you define intelligence as the ability to make models did Einstein try to take over the world? he was the most pacifist person possible and selfpresevation at all costs as a value that is stronger than all other values is a goal you have to explicitly configure into these systems, its not there by default, and there doesnt seem to be an empirical evidence on the contrary so far intelligence as the ability to make models on its own is harmless so far it seems to me that we would have to have a veeeery big paradigm shift to get something similar to sefpreservation emerging in biological creatures from nature's evolution, at the cost of steamrolling everything around you, in AI, which IMO wont happen in the next 10+ years in the most capable AI systems, when I observe the current paradigm and the direction of the technology and even we didnt steamroll everything around us and even that varies a lot, for example if you create maximally curious autonomous AIs, then they will want to study everything on earth and in the universe instead, which some researchers are trying intelligence on its own is much more configurable than the human brain architecture, which is IMO pretty specialized Linearní regrese a jiný regrese jsou teď nejlepší v Pythonu alespoň pro moje usecases, hlavně scikit-learn knihovna, protože většinou na ty data hodím víc architektur zároveň, podle struktury dat, a s různýma hyperparametrama co tunuju, a porovnávám, a vyberu to nejlepší, tak někdy kombinuju. Hmm, v Pythonu jsou různý statistický testy technicky na jeden řádek (t-test, ANOVA, correlation test,...) Když nepočítám přípravu dat. A když člověk dá tu rovnici na jeden řádek. Nebo když se to importne ze scipy knihovny a neřeším její internals, kde budou ty rovnice víc optimized, kde under the hood je to wrapper nad C/C++, jako u dalších machine learning a deep learning knihoven. Ale třeba R někdy využiju kdybych chtěl použít nějakou ultra nevšední statistickou metodu co nějakej profesor před lety napsal v R a použili to 3 lidi na planetě [FМBУ], AI modely věci pokazí když člověk AI modelům dá moc velkou svobodu (moc degrees of freedom), moc velký task zaráz, nedostatek groundingu přes instrukce, rules, docs, někdy blbou agentic scaffolding na kterou ten model není reinforcement learned, nebo má prostě bad luck, atd. Nebo jsem včera přemýšlel v kontextu teorii kategorií v čistý abstraktní matice: existuje kategorická kvantová mechanika a kategorický deep learning jako dva odděleny odlišný obory, tak by mě zajímalo, či někdy někdo dělal něco na intersekci, tím že existuje dost věcí na intersekci fyziky a deep learningu, a tím že teorie kategorií je taková matematická lingvistika matematiky. Ale nic jsem nenašel na intersekci. Kontext: https://en.wikipedia.org/wiki/Categorical_quantum_mechanics https://arxiv.org/abs/2402.15332 blindly extremely trusting LLMs on these niche topics without double checking sources is always a terrible idea (assuming the free version of chatgpt even gives any sources) alespon na druhou stranu jsem videl i pripady kde to pomohlo např ve stylu ze to suggestnulo nějakou extra medical diagnózu co nakonec byla true jako často i lidi neví 100% kontextu (což často ani nejde), a taky ví jen to co se naučí ale momentálně tyhle populární typy LLMs mají v průměru oproti lidským domain expertům větší úrovně mýlení se, což je technicky řečeno větší míra false positives a není to jenom o tom co se to naučí, ale i o tom co to najde na internetu co paid verze chatgpt dělá, a nevím do jaký míry i ta free verze Historie AI je plná specializovaných architektur a učících algoritmů co zápasí s obecnýma architekturama a učícími algorithmy, a všechno mezi (včetně co se týče learning progressu) Populární state of the art open source ve video generaci je architektura za Wanem https://arxiv.org/abs/2503.20314 tam máš transformery co jsou teď všude, diffusion, flow matching (rectified flows), variational autoencoder s konvolučkama,... GPT-5: https://youtu.be/8tx2viHpgA8?si=TnxSBsTqp0DKywro sleduju to všechno do detailů model byl mega overhyped, ale je dobrej, ale nic mega velkýho, nic paradigm shifting takže všichni jsou totálně dissapointed akorát v podstatě nějakých aspektech dohnali Google a Anthropic ten benchmark cos postl https://imgur.com/ZwnF3Tq je SimpleBench, to testuje intuitivní fyziku některý benchmarky mají reálně state of the art, ale ve spoustě jiných totální crash ale pořád čekám na víc private evaly, protože ty mainstream benchmarky jsou často totálně gamed tbh měli nazvat o1 nebo o3 GPT5kou, to by dávalo větší smysl, tam reálnej velkej pokrok byl, místo téhle unifikace a incremental improvementu nad předchozíma OpenAI je ale mega desparate no celkem imploduje a je gutted ze všech stran so much of top talent recently escaped to Safe Superintelligence Lab, Thinking Machines lab, and got poached by Zuck rozhodně to budu s Anthropic a Google modelama používat, ale nikdo není úplně na vrcholu ve všem, každý má svoje výhody a nevýhody, a OpenAI akorát competitors teď dohnal jen v nějakých aspektech, a v některých je na tom trochu líp, a v jiných furt pokulhává a většina lidi co nejsou tolik do LLMs používala gpt-4o nebo gpt-4o-mini, který jsou o řád horší, místo o3 a lepších competitors, takže tohle pro ně bude hodně velkej jump, pokud neřeší jen ultra simple věci ale pro lidi co jsou do toho do hloubky se nemění skoro nic lol Beru zpět asi, víc a víc independent benchmarků ukazuje že je to celkem špatný. Ten free model na tom vypadá celkem špatně, ale ten paid ujde, ale není nijak groundbreaking. OpenAI fakt imploduje. Všechen talent jim utíká jinam. Jsou asi celkem v háji. Competitors je solidně ničí. Jejich primární moat je teď ta úroveň adopce, že skoro nikdo mimo AI nerdy neví o alternativách. Overly aggressive marketing works, until it implodes