
Энтропия — это мера беспорядка или неопределённости в системе, часто связанная с рассеянием энергии и информации.В термодинамике изменение энтропии при обратимом процессе равно отношению переданной теплоты Q к температуре T: ΔS = Q/T. Статистическая механика трактует энтропию как меру числа микросостояний (конкретных способов расположения частиц), соответствующих данному макросостоянию: S = k ln W (формула Больцмана). В изолированной системе энтропия никогда не убывает (второй закон термодинамики), что придаёт времени направленность.
Клаузиус в 1850-х ввёл понятие «превращённого тепла», а в 1865 — термин «энтропия». Людвиг Больцман в 1877 году дал статистическое толкование: S ∝ ln W, выгравированное на его могиле. Джейкоб Бекенштейн (1972) распространил понятие на чёрные дыры, а Стивен Хокинг подтвердил это, открыв излучение Хокинга (1974). Клод Шеннон в 1948 году применил энтропию в теории информации.
Второй закон термодинамики: в изолированной системе энтропия стремится к максимуму. Это статистический эффект: состояний «беспорядка» несопоставимо больше, чем упорядоченных, и система с подавляющей вероятностью движется к равновесию. Для чёрной дыры энтропия выражается через площадь горизонта событий A: S = k_B A / (4 l_P²), где l_P = √(ħG/c³) — планковская длина.
Определяет предельный КПД тепловых машин; лежит в основе теории информации (сжатие данных, пропускная способность каналов) и описывает потоки энергии в экологических системах.
Чёрные дыры обладают энтропией, пропорциональной площади их горизонта событий. Даже испаряясь за счёт излучения Хокинга, чёрная дыра передаёт энтропию окружающему пространству, и общая энтропия Вселенной возрастает.
| ψ | переменная | чистое состояние двух кубитов — квантовое состояние |
| α | переменная | амплитуда компоненты |00> — probability amplitude |
| β | переменная | амплитуда компоненты |01> — probability amplitude |
| γ | переменная | амплитуда компоненты |10> — probability amplitude |
| δ | переменная | амплитуда компоненты |11> — probability amplitude |
| S | переменная | энтропия системы — энтропия Дж/К |
| Ω | переменная | число микросостояний, соответствующих макросостоянию — number of microstates |
| k_B | константа | связывает температуру с энергией на степень свободы — постоянная Больцмана = 1.380649e-23 Дж/К |
| ln | оператор | натуральный логарифм — натуральный логарифм |
| S | переменная | Энтропия — энтропия Дж/К |
| W | переменная | Число микросостояний — number of states |
| k | константа | Связывает температуру с энергией в статистической механике — постоянная Больцмана = 1.380649e-23 Дж/К |
| \leq | оператор | Указывает на верхнюю границу — less than or equal |
| \ln | оператор | Вычисляет логарифм по основанию e — натуральный логарифм |
| \eta | переменная | Отношение барионов к энтропии — baryon to entropy ratio |
| n_B | переменная | Плотность числа барионов — baryon number density 1/м³ |
| s | переменная | Плотность энтропии — entropy density Дж/(м³·К) |
| S | переменная | Энтропия Шеннона — энтропия |
| p_i | переменная | Вероятность i-го исхода — вероятность |
| \sum_i | оператор | Суммирование по всем возможным исходам i — суммирование |
| \ln | оператор | Натуральный логарифм (по основанию e) — натуральный логарифм |
| \mathcal{L} | переменная | Значение функции потерь кросс-энтропии — loss |
| y_i | переменная | Истинная вероятность (или one-hot метка) для класса i — вероятность |
| p_i | переменная | Предсказанная вероятность для класса i — вероятность |
| \sum_i | оператор | Суммирует слагаемые для каждого класса — суммирование |
| \log | оператор | Вычисляет логарифм по основанию e — натуральный логарифм |









