Оркестр без дирижёра: эластичный ганг для LLM-инференса
Семь ядер замерли у невидимого барьера. Восьмое задержалось на чужом процессе — и весь LLM-инференс завис. Так выглядит главная коллизия совместной жизни задач машинного обучения и обычных процессов на одном процессоре. Инференс-ганг требует, чтобы все ядра ударили в такт одновременно — иначе тишина.