понятие

набор данных

Совокупность точек данных, используемая для обучения или тестирования моделей.
33 статьи

Описание

Набор данных — это структурированная совокупность точек данных, каждая из которых представляет отдельное наблюдение или пример, используемая для обучения или тестирования моделей машинного обучения. В физике и материаловедении наборы данных являются сырьём, из которого модели извлекают закономерности — например, сопоставляя молекулярные структуры с их свойствами или предсказывая результаты столкновений частиц. Качество, размер и разнообразие набора данных напрямую определяют, чему модель может научиться и насколько хорошо она обобщает на новые, ранее не встречавшиеся случаи.

История

Концепция набора данных как формального объекта возникла с развитием статистики и машинного обучения в середине XX века. В физике практика обмена большими экспериментальными наборами данных стала распространённой благодаря крупным коллаборациям, таким как проект «Геном человека» (1990-е годы), а позднее — с открытыми публикациями данных ЦЕРН и астрономических обзоров.

Как это работает

Наборы данных обычно организованы в виде таблиц или массивов, где каждая строка — это образец, а каждый столбец — признак (вход) или метка (выход). Для обучения модель получает множество примеров и корректирует свои внутренние параметры, чтобы минимизировать разницу между своими предсказаниями и истинными метками. Отдельный тестовый набор, не использовавшийся при обучении, применяется для оценки производительности. В физике наборы данных часто получают из симуляций, экспериментов или тщательно отобранной литературы, и они могут включать неопределённости или физические ограничения.

Где применяется

Наборы данных питают модели машинного обучения, используемые для предсказания свойств материалов, ускорения симуляций, классификации астрономических объектов и анализа данных о столкновениях частиц, как подчёркивается в приведённых заголовках статей.

Любопытный факт

Качество набора данных часто важнее его размера: небольшой, тщательно подобранный набор с точными метками может превзойти большой, но зашумлённый, как подчёркивается в статье «Твердотельные батареи: ключ к успеху — не объём данных, а их качество».

Граф понятий →

Статьи по теме · 33

SenSASP: карта генов старения, сшитая из четырёх старых
Четыре старые карты лежали в разных ящиках стола. На каждой были отмечены гены, связанные со старением клеток, но карты не совпадали: разные названия, разные масштабы, разные легенды. Учёному, который искал ген для эксперимента, приходилось сверять их вручную, рискуя пропустить важную отметку. SenSASP сшила эти карты в одну.
Химическая физика2026-08-211 минarXiv:2608.21322экспресс
Как вычислить колебания белка за секунды: новый метод расчёта жёсткости
Белок в клетке не статичен, как манекен в витрине. Его атомы непрерывно колеблются, растягиваются и изгибаются — подобно натянутой гитарной струне, которая продолжает вибрировать после щипка. Чтобы понять функцию белка, необходимо оценить жёсткость связей между его участками.
Как разглядеть форму, когда данных неравное количество
Представьте: два фотографа снимают одну и ту же гору. Один делает сотню кадров с вершины и лишь пару у подножия, другой — наоборот. Если попытаться совместить их снимки, алгоритм может решить, что вершина на одном снимке соответствует вершине на другом просто потому, что там много похожих точек, а не потому, что это одно и то же место. Плотность съёмки сбивает с толку.
Почему стареют перовскитные солнечные батареи: взгляд внутрь без разборки
Перовскитная солнечная батарея напоминает молодую спортсменку: на старте демонстрирует выдающиеся показатели, но быстро утомляется. Всего за восемь часов её эффективность заметно снижается, хотя видимых дефектов — трещин, пыли, отслоений — не наблюдается.
Биомолекулы2026-07-201 минarXiv:2607.17753экспресс
Белки-разведчики находят гены по энергетическому следу
Белок скользит по нити ДНК, как ключ по связке, — ищет свой замок. Один неверный поворот, и ген останется выключенным. Чтобы понять, где белок ухватится надёжно, нужно измерить силу этой хватки — энергию связывания. Но перебрать все возможные места вручную невозможно: геном млекопитающих — это миллиарды «букв».
Машинное обучение2026-07-151 минarXiv:2607.13891экспресс
Радар без обучения: как PiVoT превращает шум в порядок
Обычный радар напоминает микрофон в гудящей толпе: отдельные звуки сливаются в кашу. PiVoT работает как дирижёр, который в хаосе настройки мгновенно распознаёт каждый инструмент. Вместо того чтобы перебирать гипотезы, алгоритм стягивает петлю вокруг самых вероятных целей — автомобилей, велосипедистов, пешеходов.
Звуковой концентрат: как передать речь без избыточных битов
Стандартный подход к оцифровке речи, лежащий в основе современных телекоммуникаций, — это прямая дискретизация: тысячи раз в секунду фиксируется мгновенная громкость сигнала. Представьте, что вы пробуете бульон чайной ложкой — каждый глоток даёт лишь слабый намёк на вкус, а чтобы уловить букет, приходится черпать снова и снова.
Системы и управление2026-07-131 минarXiv:2607.11459экспресс
Энергетика открывает данные для искусственного интеллекта
Живая энергосистема подобна организму: линии электропередач — это сосуды, по которым течёт ток-кровь. Данные же — нервные импульсы, которые прежде рассеивались, не достигая единого центра обработки. Проект mAIEnergy подключает эти «нервы» к общему «мозгу», создавая хранилище, где собраны спутниковые снимки, показания электросчётчиков, научные статьи и метеосводки.
Системы и управление2026-07-131 минarXiv:2607.11551экспресс
Картотека будущего: предсказание движения без формул — метод библиотек траекторий
Опытный сыщик не вычисляет путь преступника, решая дифференциальные уравнения движения, — он обращается к картотеке схожих дел. Точно так же действует новый метод предсказания: в его основе не сложные формулы, а гигантский архив уже реализованных траекторий — движений планет, колебаний валютных курсов, сигналов из глубин космоса.
Раскопки реальности: два режима обучения нейросети на примере модели Изинга
Машинное обучение давно перестало быть просто инструментом — оно становится исследователем, самостоятельно выуживающим законы природы из данных. Но как кремниевый разум приходит к пониманию? Чтобы подсмотреть этот процесс, физики обратились к игрушечной, но глубокой модели — решётке Изинга, где спины танцуют под диктовку температуры.
Симфония кристаллов: трёхтуровый кастинг материалов будущего
Представьте прослушивание в симфонический оркестр, где из сотен претендентов остаются лишь те, чьи инструменты звучат чисто и выдерживают яростное крещендо. В мире материалов компьютеры научились генерировать «атомные партитуры» — тысячи виртуальных кристаллов, обещающих стать основой для квантовых чипов или сверхпроводников.
Симфония масштабов: нейросеть, расслышавшая оркестр природы
Вообразите: филармонический оркестр играет, но микрофон ловит лишь слитный гул — tutti, в котором смешались контрабасы, флейты и литавры. Похожую задачу десятилетиями решают физики, вглядываясь в поля плотности, температуры или магнитной индукции.
Оптика2026-06-201 минarXiv:2606.21945экспресс
Нейросети, усвоившие законы природы: физически-информированное обучение
Обычные нейросети учатся на примерах, как человек, заучивающий мелодии на слух: они накапливают статистические закономерности, но не понимают глубинных правил. Иной подход — физически-информированные нейронные сети, в архитектуру которых изначально встроены фундаментальные законы физики, такие как уравнения сохранения энергии или уравнения движения.
86 тысяч часов сигналов мозга: теперь по одному клику
В открытых архивах OpenNeuro и NEMAR хранится 791 запись электрической активности мозга от почти сорока тысяч человек. Суммарно это 86 051 час сигналов — примерно десять лет непрерывного прослушивания. Раньше, чтобы взять с полки хотя бы одну такую запись, приходилось писать тысячи строк кода: скачать, распаковать, исправить ошибки формата, нарезать на куски нужной длины. EEG-Dash работает как умный библиотекарь.
Нейтрино со всего мира сложили в одну картину
Нейтрино часто сравнивают с радиопередачей, которую ловят разные приёмники. Одна станция шлёт сигнал, но антенны в Японии, Антарктиде и на дне Средиземного моря слышат его по-разному — из-за расстояния, помех и поворота антенны. До сих пор считалось, что объединить записи с таких разных «приёмников» в одну осмысленную картину нельзя: слишком много технических тонкостей.
Как отличить квантовый кристалл от пены
Пространство-время часто представляют как гладкую ткань. Но на самом микроскопическом уровне эта ткань может оказаться не сплошной, а состоящей из отдельных «атомов» — событий, связанных причинностью. Такая картина мира называется теорией причинных множеств.
Как гены и среда лепят поведение подростка
Оркестр играет без дирижёра. У каждого музыканта есть партитура — это гены. А громкость и темп зависят от акустики зала, настроения и соседей по сцене. Примерно так же наследственность и повседневная жизнь вместе создают поведение подростка. В новом исследовании учёные собрали данные тысяч детей из долгосрочного проекта ABCD.
Химическая физика2026-04-271 минarXiv:2604.24607экспресс
Как нейросеть учится на ошибках квантовой химии
Квантовые расчёты — это рецепт с идеальными ингредиентами, но повар-природа готовит по-своему. Машинные модели атомов выучивают рецепт назубок и предсказывают свойства вещества за секунды вместо недель. Беда в том, что сам рецепт — уравнения Шрёдингера — содержит упрощения: где-то пренебрегли дрожанием электронов, где-то заменили сложный обмен на среднее поле.
Материаловедение2026-04-241 минarXiv:2604.22938экспресс
Как выудить данные из тысяч статей
Библиотека на 27 тысяч книг, и все они про бетон. В каждой — рецепт смеси, температура, прочность. Но сведения разбросаны по абзацам, таблицам и сноскам. Человеку, чтобы собрать их воедино, понадобились бы годы. Программа справилась за час.
Одна галактика, два телескопа: как отделить физику от искажений
Если сфотографировать одну и ту же гору на плёночный фотоаппарат и на современный смартфон, получатся разные изображения: где-то цвета ярче, где-то детали размыты. Так и с телескопами: каждый инструмент видит небо по-своему, добавляя к настоящему свету галактик собственные искажения — как фильтр, через который мы смотрим. Новая работа предлагает способ убрать этот «фильтр».
Машинное обучение2026-04-052 минarXiv:2604.04107экспресс
Нейросеть учится чувствовать Землю
Сейсмологи слушают Землю, как врач слушает сердце. Поверхностные волны от землетрясений расходятся по планете, и по их скорости можно судить о том, что скрыто под ногами — твёрдая порода, расплав или вода. Обычно для этого строят сложные физические модели.
Машинное обучение2026-03-151 минarXiv:2603.14161экспресс
Учимся на множестве мозгов
Обычная модель машинного обучения смотрит на один объект за раз: один мозг, один пациент, один двигатель. Но биологам нужно общее: как устроен мозг вида в целом, а не только конкретной рыбки. Новый метод — глубокий вероятностный синтез моделей (DPMS) — учится сразу на множестве экземпляров, как повар, который пробует десятки яблок, чтобы понять вкус сорта, а не одного плода.
Материаловедение2026-03-141 минarXiv:2603.14139экспресс
Водород под контролем: база данных для новых материалов
Водород — чемпион по энергии на килограмм, но хранить его — морока. В виде газа он занимает огромный объём, а если сжать или охладить до жидкости, нужны тяжёлые баллоны и много энергии. Есть третий путь: некоторые твёрдые материалы впитывают водород, как губка впитывает воду, и держат его внутри себя. Нагрел — водород вышел, остудил — впитался обратно.
Материаловедение2026-03-081 минarXiv:2603.07425экспресс
Твердотельные батареи: ключ к успеху — не объём данных, а их качество
В классической батарейке электролит жидкий, и заряженные частицы — ионы — движутся в нём свободно, почти как пловцы в открытом бассейне. В твердотельной версии электролит заменён на твёрдый материал, и ионам приходится протискиваться сквозь атомные «коридоры», словно пешеходам в узких переходах в час пик.
Детектор, который не устаёт
Детектор частиц на Большом адронном коллайдере работает годами без остановки. Его датчики каждую секунду выдают горы данных, и среди них нужно быстро заметить сбой — например, перегрев или сломанный канал. Раньше за этим следили простые правила, но они часто ошибались.
Машинное обучение2026-02-211 минarXiv:2602.18679экспресс
Как нейросеть предсказывает невиданное
Турбулентный поток воды в трубе и колебания маятника кажутся непохожими. Но внутри у них есть общее: оба подчиняются своим законам движения, которые можно описать числами. Нейросеть, обученная только на одном таком «танце» чисел, вдруг начинает понимать другой — без единого дополнительного примера. Это как музыкант, который выучил одну мелодию, а потом с листа играет незнакомую пьесу, уловив её гармонию.
Хаос в кристалле учится думать
Кристалл, который внутри напоминает губку с лабиринтом пор, оказался способен выполнять вычисления. Материал с названием DUT-8 состоит из металлических узлов и органических перемычек, образующих ажурную решётку. Под воздействием разных газов эта решётка слегка меняет форму — как карточный домик, который перестраивается от лёгкого дуновения.
Точки слома: как реставратор чистит данные
Старые метеосводки хранят сюрпризы: столбик термометра вдруг подпрыгивает на полградуса не из-за погоды, а потому что на станции сменили прибор. Такие резкие сдвиги в данных называют точками изменения, и отделить их от настоящих климатических сигналов — задача, над которой бьются статистики.
Материаловедение2026-01-241 минarXiv:2601.17253экспресс
Нейросеть отличила настоящие кристаллы от фантазий
Пористые минералы-цеолиты работают как крошечные губки с отверстиями строго определённого размера. Через такие отверстия проходят молекулы одного сорта и застревают другие — на этом построена очистка воды, разделение газов и катализ в нефтехимии. Но придумать новый цеолит на бумаге гораздо проще, чем вырастить его в лаборатории: у кристалла должны сойтись десятки тонких условий.
EveNet: как нейросеть учится на 500 миллионах столкновений
В детекторе коллайдера каждое столкновение протонов оставляет след из десятков частиц — как брызги от брошенного в воду камня. Разобраться в этих брызгах и понять, что именно произошло в момент удара, — задача, с которой человек уже не справляется в одиночку.
Медицинская физика2026-01-141 минarXiv:2601.09235экспресс
Цифровые двойники учат томограф
Компьютерная томография — это как рентген, который делает сотни снимков с разных сторон и собирает из них объемную картинку тела. Но каждый снимок — это небольшая доза радиации, и врачам нужно знать, сколько ее получил каждый орган. Сейчас это часто оценивают грубо, по средним таблицам, а не по конкретному пациенту. Исследователи научили нейросеть предсказывать дозу для каждого органа.
Швейцарский нож для графовых нейросетей в материаловедении
Швейцарский нож устроен просто: один корпус, много лезвий, каждое под свою задачу. Достал нужное — и работаешь. В материаловедении графовые нейросети долго напоминали разрозненные инструменты: MEGNet лежал в ящике TensorFlow, M3GNet — в ящике PyTorch, CHGNet — вообще в отдельной коробке со своими скриптами.
Точка разлома в потоке функций
Сейсмограф записывает подземные толчки: плавная линия вдруг вздрагивает и меняет характер. Так и функциональные данные, например карты температуры океана или сигналы мозга, могут в какой-то момент изменить свою форму. Новый алгоритм FSBS улавливает такие разломы, даже если каждая кривая измерена всего в одной точке, а шум заглушает сигнал.