
Self-supervised learning is a method where models learn representations from unlabeled data by predicting parts of the input.L'apprentissage auto-supervisé est un paradigme dans lequel le modèle génère des signaux d'apprentissage en les extrayant de la structure même des données non étiquetées. Contrairement à l'apprentissage non supervisé, qui se concentre souvent sur le clustering ou la réduction de dimensionnalité, on construit ici des tâches substitutives (pretext tasks) ne nécessitant pas d'annotations humaines. Par exemple, en traitement du langage naturel, une partie des mots d'une phrase d'entrée est masquée, et le réseau apprend à les reconstituer à partir du contexte. En vision par ordinateur, les méthodes contrastives sont populaires : deux versions aléatoirement déformées d'une même image sont « rapprochées » dans l'espace des représentations, tandis qu'elles sont « éloignées » des autres images. Cela forme une notion visuelle rappelant la manière dont les nourrissons extraient les objets de l'arrière-plan.
Les idées d'auto-contrôle remontent aux travaux sur les auto-encodeurs (Hinton, 2006) et à l'apprentissage de représentations par reconstruction. Le moment décisif fut 2018 avec l'apparition de BERT (Devlin et al.), utilisant le masquage de mots. Pour les images, en 2020, la méthode SimCLR (Chen et al.) a montré qu'un schéma contrastif simple avec de grandes tailles de batch est comparable à l'apprentissage supervisé. Plus tard, les Vision Transformers combinés au codage automatique masqué (MAE) ont reproduit le succès du NLP, démontrant la scalabilité.
Le schéma général du SSL comprend : 1) une tâche prétexte — génération automatique du signal cible ; 2) un encodeur extrayant les représentations ; 3) éventuellement un projecteur pour la mise en correspondance des métriques ; 4) une fonction de perte résolvant la tâche prétexte spécifique. En NLP : langage masqué (MLM) — tâche de reconstruction des tokens cachés. Le modèle reçoit une séquence avec des masques [MASK] et apprend à prédire les mots originaux via l'entropie croisée. En CV : les méthodes contrastives apprennent des représentations invariantes aux augmentations, en utilisant de grandes tailles de batch et un mécanisme d'encodeur momentum pour la stabilisation. Les récents auto-encodeurs masqués (MAE) masquent des patchs aléatoires de l'image, et le décodeur reconstruit les pixels, forçant le modèle à comprendre la structure globale des objets.
Systèmes de reconnaissance vocale, traducteurs automatiques, tous les grands modèles de langage modernes (comme GPT), diagnostic médical à partir d'images sans annotations de médecins.
Après un apprentissage auto-supervisé sur des textes, le modèle GPT-3 s'est révélé capable d'écrire des poèmes, du code et des essais scientifiques, bien que personne ne le lui ait spécifiquement enseigné.














