Calcul distribué, parallèle et en cluster cs.DC

Un supercalculateur qui simule le comportement d'un plasma créé par laser ressemble à une cuisine où des centaines de cuisiniers préparent un même plat. Si dix personnes s'entassent devant une cuisinière et qu'aucune ne se tient devant une autre, le travail s'arrête.

Entraîner un grand réseau de neurones sur des centaines de machines, c'est un peu comme préparer une soupe avec des dizaines de cuisiniers : chacun goûte et communique ses ajustements aux autres. Dans l'apprentissage automatique moderne, ces « négociations » prennent du temps, consomment de la bande passante et sont vulnérables aux écoutes indiscrètes.

À l'heure de pointe dans la cuisine d'un restaurant, l'huile grésille, les couteaux claquent, les commandes fusent. Le chef ne peut pas attendre qu'on lave la poêle — il a toujours sous la main un commis qui prépare une poêle propre à l'avance.

Quand vous tapez « salade » et que le clavier propose « césar », en coulisses, des millions de téléphones apprennent ensemble à prédire les mots. Ils n'échangent pas vos messages, mais seulement les améliorations de l'algorithme commun — comme un entraîneur qui envoie aux athlètes uniquement les changements au programme : « ajoutez 5 pompes à ceux d'hier ».

Dans une soupe bouillonnante, les molécules entrent en collision de manière chaotique et réagissent. Mais si l'on mesure comment leurs concentrations varient, des régularités apparaissent.

Les ordinateurs quantiques font des erreurs. Chaque qubit est comme une bille au bout d'un crayon : si la main tremble un peu, elle tombe. Pour éviter que les billes ne tombent, il faut quelqu'un qui remarque le tremblement et corrige à temps.