Diffusion models are generative methods that progressively add and remove noise to create high-quality synthetic data.Les modèles de diffusion sont une approche générative qui transforme le bruit gaussien en données ordonnées, par exemple une photographie de chat. Le processus rappelle la restauration d’une mosaïque de mémoire : vous n’avez qu’un schéma approximatif, mais vous vous souvenez à quoi ressemblaient des œuvres similaires, et vous recréez progressivement le motif — des taches floues aux lignes fines. Le modèle contient une « représentation » du monde, apprise sur des millions d’exemples, et peut donc générer de nouvelles images plausibles. La principale différence avec les autres réseaux génératifs est l’itérativité : l’image ne naît pas instantanément, mais à travers une chaîne de petites améliorations.
Les racines de la méthode remontent aux travaux en thermodynamique et en physique statistique (par exemple, les travaux de Langevin), mais l’incarnation moderne a été proposée en 2015 par Jascha Sohl-Dickstein comme un modèle génératif stochastique basé sur la thermodynamique hors équilibre. La percée s’est produite après la publication en 2020 de l’article « Denoising Diffusion Probabilistic Models », qui a démontré des résultats exceptionnels sur les tâches de synthèse d’images. Les améliorations ultérieures (échantillonnage accéléré, contrôle conditionnel) ont conduit à la création de systèmes tels que DALL-E 2, Imagen, Stable Diffusion, qui ont révolutionné le domaine de la créativité par IA.
Processus direct : à l’image originale x0, on ajoute de petites quantités de bruit gaussien pendant T étapes, obtenant ainsi une séquence x1, x2, ..., xT, où xT est pratiquement indiscernable d’un bruit blanc. La transition à chaque étape est : q(xt|xt-1) = N(xt; sqrt(1-βt)·xt-1, βtI), où βt est le plan de variance. Processus inverse : le réseau de neurones εθ(xt, t) apprend à prédire le bruit ajouté à l’étape t, en minimisant E[||ε - εθ(xt, t)||²]. Pendant la génération, on part de xT ~ N(0, I) et on applique itérativement xt-1 = (1/√(αt))·(xt - (1-αt)/√(1-ᾱt)·εθ(xt, t)) + σt·z, où z est un bruit. Pour accélérer l’échantillonnage, on utilise DDIM (Denoising Diffusion Implicit Models) avec saut d’étapes. Les modèles conditionnels ajoutent à l’entrée des informations sur le texte, la classe, etc., guidant le processus inverse.
Génération de photographies à partir de descriptions textuelles, amélioration des images télescopiques, conception de nouveaux matériaux.
Bien que la diffusion semble lente, les versions modernes créent une image en seulement une demi-seconde sur une puce graphique puissante.
| D | variable | Diffusion coefficient — coefficient de diffusion metre squared per second |
| E | variable | Particle energy — énergie joule |
| B | variable | Magnetic field strength — intensité du champ magnétique tesla |
| R_inj | variable | Injection scale (turbulence outer scale) — longueur metre |
| ε'' | variable | Imaginary part of the dielectric function (dielectric loss) — dielectric function |
| ω | variable | Angular frequency of the applied electromagnetic field — fréquence angulaire radian per second |
| ω_0 | variable | Resonance angular frequency of the oscillator — fréquence angulaire radian per second |
| γ | variable | Damping rate of the oscillator — fréquence angulaire radian per second |
| ω_p | variable | Plasma frequency, related to the density of oscillators — fréquence angulaire radian per second |
