
Self-supervised learning is a method where models learn representations from unlabeled data by predicting parts of the input.El aprendizaje autosupervisado es un paradigma en el que el modelo genera señales de entrenamiento extrayéndolas de la propia estructura de los datos no etiquetados. A diferencia del aprendizaje no supervisado, que a menudo se centra en la agrupación o la reducción de dimensionalidad, aquí se construyen tareas sustitutas (pretexto) que no requieren anotaciones humanas. Por ejemplo, en el procesamiento del lenguaje natural, se enmascara una parte de las palabras en una oración de entrada y la red aprende a reconstruirlas a partir del contexto. En visión artificial, son populares los métodos contrastivos: dos versiones distorsionadas aleatoriamente de una misma imagen se 'acercan' en el espacio de representaciones, mientras que se 'alejan' de otras imágenes. Esto forma un concepto visual, similar a cómo los bebés segmentan objetos del fondo.
Las ideas de autocontrol se remontan a los trabajos sobre autoencodificadores (Hinton, 2006) y al aprendizaje de representaciones mediante reconstrucción. El momento decisivo fue 2018 con la aparición de BERT (Devlin et al.), que utiliza enmascaramiento de palabras. Para imágenes, en 2020, el método SimCLR (Chen et al.) mostró que un esquema contrastivo simple con lotes de gran tamaño es comparable al aprendizaje supervisado. Posteriormente, los Transformadores de Visión combinados con la codificación automática enmascarada (MAE) repitieron el éxito de la PNL, demostrando escalabilidad.
El esquema general de SSL incluye: 1) una tarea pretexto — generación automática de la señal objetivo; 2) un codificador que extrae representaciones; 3) opcionalmente, un proyector para la comparación de métricas; 4) una función de pérdida que resuelve la tarea pretexto concreta. En PNL: lenguaje enmascarado (MLM) — tarea de reconstrucción de tokens ocultos. El modelo recibe una secuencia con máscaras [MASK] y aprende a predecir las palabras originales mediante entropía cruzada. En visión artificial: los métodos contrastivos aprenden representaciones invariantes a los aumentos, utilizando lotes grandes y un codificador de momento (momentum encoder) para estabilizar. Los codificadores automáticos enmascarados recientes (MAE) enmascaran parches aleatorios de la imagen y un decodificador reconstruye los píxeles, obligando al modelo a comprender la estructura global de los objetos.
Sistemas de reconocimiento de voz, traductores automáticos, todos los grandes modelos de lenguaje modernos (como GPT), diagnóstico médico mediante imágenes sin anotaciones de los médicos.
Después del aprendizaje autosupervisado con textos, el modelo GPT-3 resultó capaz de escribir poesía, código y ensayos científicos, aunque nadie le enseñó específicamente a hacerlo.














