Contrastive learning is a machine learning method that trains models by comparing similar and dissimilar examples.El aprendizaje contrastivo es un enfoque en el aprendizaje automático que permite construir representaciones de datos de alta calidad sin etiquetas (auto-supervisado). Se basa en el concepto de pérdida contrastiva: el modelo atrae las representaciones (embeddings) de objetos semánticamente cercanos (pares positivos) y repele las representaciones de los no relacionados (pares negativos). Por ejemplo, para imágenes, los pares positivos son diferentes vistas (aumentos) de la misma foto, y los negativos son cualquier otra imagen en el mini-lote. Así, la red neuronal aprende a extraer características invariantes, ignorando variaciones irrelevantes de iluminación, rotación o escala. Este método es la base de muchos sistemas modernos de reconocimiento, donde a menudo supera al aprendizaje supervisado cuando hay pocas etiquetas.
Sus raíces se remontan al aprendizaje métrico: las redes siamesas (Bromley et al., 1993) para comparar firmas. En 2006, Hadsell y LeCun propusieron la pérdida contrastiva para aprender representaciones invariantes. El resurgimiento del interés está ligado al progreso en el aprendizaje auto-supervisado para imágenes: en 2018, el modelo InstDisc (Wu et al.) utilizó un banco de memoria; los avances decisivos llegaron con MoCo (He et al., 2020), que emplea una cola de ejemplos negativos, y SimCLR (Chen et al., 2020), con un gran tamaño de lote y fuertes aumentos. Estos trabajos demostraron que el preentrenamiento contrastivo alcanza una precisión cercana a la supervisada, y a veces la supera al reentrenar con pocos datos. Posteriormente, el enfoque se adaptó a vídeo, audio, grafos y datos multimodales (CLIP, 2021).
El algoritmo consta de tres etapas: (1) el aumento estocástico de datos crea dos representaciones independientes de una misma entrada (por ejemplo, recorte aleatorio, distorsión de color); (2) el codificador (ResNet, ViT) las mapea a vectores en un espacio latente; (3) una cabeza de proyección (MLP) los transforma a un espacio de menor dimensión donde se calcula la pérdida contrastiva InfoNCE: L = -log[ exp(sim(z_i, z_j)/τ) / ∑_{k=1}^{2N} 1_{k≠i} exp(sim(z_i, z_k)/τ) ], donde sim es la similitud coseno y τ el parámetro de temperatura. La optimización reduce la entropía cruzada entre la distribución de pares positivos y negativos. Para evitar el colapso representacional (que todos los vectores degeneren en un solo punto), se emplean mecanismos como: pares negativos de una cola (MoCo), parada de gradiente y predictor (BYOL), o agrupamiento (SwAV). Al final, el espacio latente adquiere una estructura semántica invariante a las transformaciones aplicadas.
Reconocimiento facial sin etiquetas, búsqueda de imágenes similares en grandes archivos, mejora de diagnósticos a partir de imágenes médicas cuando hay pocos datos etiquetados.
El sistema CLIP de OpenAI, entrenado de forma contrastiva con pares imagen-texto, es capaz de dibujar cuadros a partir de descripciones, aunque nunca se le enseñó estilo artístico directamente: simplemente captó las interrelaciones.





















