Лабораторный робот отсчитывает молекулы — и сбивается. В одной пробирке 0, в другой 12, в третьей 3, хотя на самом деле везде примерно поровну. Такие «сырые» цифры — обычное дело в биологии: секвенирование ДНК, подсчёт видов в пробе воды, активность генов. Данных много, но они разрежены и разбросаны сильнее, чем допускает простая случайность.
Математики предложили «переводчика» для этого шума — метод остатков на основе распределения Дирихле-мультиномиального (DM). Идея похожа на работу корректора в текстовом редакторе: он не переписывает текст заново, а лишь подчёркивает подозрительные места, оставляя всё остальное нетронутым. Так и здесь: метод не меняет исходные нули и единицы, а лишь сжимает повторяющиеся значения, если они выбиваются из общей картины. Вся очистка происходит за один проход, и время обработки зависит только от числа ненулевых ячеек — то есть почти мгновенно.
Новый подход — как универсальный переходник. Он работает не только с простыми таблицами, но и с данными, где признаки связаны в цепочки или деревья (например, виды на филогенетическом древе). Это позволяет одним и тем же инструментом чистить данные о генах, белках или экосистемах. И главное — его можно просто «воткнуть» в уже готовые программы анализа, не переписывая их целиком.
Корректор не придумывает факты. Он лишь убирает рябь, оставляя текст — или таблицу — чище, чем было.
Распределение Дирихле-мультиномиальное часто используют для анализа текстов: оно хорошо описывает, как частоты слов меняются от документа к документу.
В «Машине различий» Гибсона и Стерлинга анализ данных меняет ход истории — наш метод стал бы идеальным фильтром для парового компьютера лорда Бэббиджа.