El cardiograma no es solo una línea ondulada en un papel. En él, como en un diario, queda registrado el estado de todo el corazón: el ritmo, el grosor de las paredes y las pistas sobre problemas futuros. Pero hoy en día, los programas que aprenden a leer este diario se entrenan en tareas muy limitadas, principalmente en la búsqueda de arritmias. Es como enseñar a alguien a entender un libro mostrándole solo una lista de erratas.
Los autores del estudio decidieron comprobar con qué honestidad se evalúa a estos programas. Tomaron cinco enfoques populares de aprendizaje y los sometieron a seis exámenes diferentes: tres estándar (los que buscan arritmias) y tres nuevos: búsqueda de enfermedades estructurales del corazón, evaluación de la presión dentro del corazón y predicción del estado futuro del paciente. Resultó que en los exámenes antiguos todos muestran buenos resultados, pero en los nuevos el panorama cambia. Además, resultó que un conjunto aleatorio de números, que no había aprendido nada, en muchas tareas funciona tan bien como los algoritmos entrenados. Es como si una persona que no conoce el idioma adivinara el significado de un libro por la portada y acertara tan a menudo como un experto.
¿Qué proponen los autores? Primero, ampliar la lista de tareas: añadir la búsqueda de cambios estructurales del corazón (por ejemplo, engrosamiento de las paredes) y la predicción de lo que le ocurrirá al paciente con el tiempo. Segundo, comparar siempre el resultado con un simple "alumno" aleatorio. Si un programa inteligente no supera al placebo, su éxito no significa nada. Es como en el deporte: un récord solo se valida si se supera el resultado de un principiante.
Este enfoque podría cambiar todo el campo: en lugar de perseguir cifras bonitas en pruebas limitadas, los científicos empezarán a resolver problemas que realmente importan a médicos y pacientes. El cardiograma es una fuente de información demasiado valiosa como para gastarla en adivinar erratas.
tal como lo escribieron los autores, en inglés arXiv:2602.17531
This position paper argues that current benchmarking practice in 12-lead ECG representation learning must be fixed to ensure progress is reliable and aligned with clinically meaningful objectives. The field has largely converged on three public multi-label benchmarks (PTB-XL, CPSC2018, CSN) dominated by arrhythmia and waveform-morphology labels, even though the ECG is known to encode substantially broader clinical information. We argue that downstream evaluation should expand to include an assessment of structural heart disease and patient-level forecasting, in addition to other evolving ECG-related endpoints, as relevant clinical targets. Next, we outline evaluation best practices for multi-label, imbalanced settings, and show that when they are applied, the literature's current conclusion about which representations perform best is altered. Furthermore, we demonstrate the surprising result that a randomly initialized encoder with linear evaluation matches state-of-the-art pre-training on many tasks. This motivates the use of a random encoder as a reasonable baseline model. We substantiate our observations with an empirical evaluation of five representative ECG pre-training approaches across six evaluation settings: the three standard benchmarks, a structural disease dataset, hemodynamic inference, and patient forecasting.
Un conjunto aleatorio de números que jamás ha visto un cardiograma, en algunas tareas médicas muestra un resultado tan bueno como los algoritmos entrenados con miles de registros.