Creativity
I want her equation
I will get her equation one day
Someone: "its just adding noise to function describing gradient of the goal"
Myslím že je v tom víc, i když tohle je taky součást hodně typů kreativity
Přidání šumu může zvětšit robustness nebo vytvořit míň pravděpodobný výsledky
Ale furt mi příjde že u dost typů kreativity je i nějaká deterministická část
V tvý formalizaci by možná kreativita byly random forces v langevin rovnici https://en.wikipedia.org/wiki/Langevin_equation
Na Langevin dynamice jsou založený i diffusion modely https://en.wikipedia.org/wiki/Diffusion_model
Mám pocit že pro stronger out of distribution kreativitu co zároveň produkuje prediktivní modely existuje nějaký deterministický faktor co jsme ještě nenašli
diffusion modely jsou pod většinou image/video modelama a teď to začíná být i pod text modelama víc a víc, nebo se hodně používají ve vědě specializovaně
the fact that diffusion models learn to make structure out of noise is the most mindblowing thing ever to me
it uses nonequilibrium thermodynamics
the second law of thermodynamics reversed
and biological life also resists the second law of thermodynamics
globálně druhý thermodnamický zákon život akceleruje konvertováním pockets negentropie do entropie
Maybe we could create "weak combinatorial creativity" and "strong combinatorial creativity" term. Or/and put it all on a spectrum.
I see creativity, out-of-distributionness, and intelligence on a spectrum, and sometimes as more granular or high-dimensional or with subtypes, and with diverse possible definitions