Эпсилон-энтропия

Эпсилон-энтропия или ε-энтропия — термин, введённый А. Н. Колмогоровым для характеристики классов функций. Он определяет меру сложности функции, минимальное количество знаков, необходимое для задания функции с точностью .

Введение в понятиеПравить

Рассмотрим компактное метрическое пространство   и зададим в нём эпсилон-сеть, то есть такое конечное (состоящее из   точек) множество, что шары радиуса   с центрами в этих точках целиком покрывают всё  . Тогда для задания любого элемента   с точностью   (то есть, по сути, выбора одного из узлов сети) достаточно порядка   знаков (бит).

Для отрезка   величина   растёт при уменьшении   как  , для квадрата как   и т. д. Тем самым показатель определяет размерность Минковского множества  .

В случае пространства   гладких функций (на компактном кубе в  -мерном пространстве и с ограниченными константой производными до порядка  , чтобы это пространство было компактным) размерность пространства бесконечна, но число   элементов сети конечно, хотя оно и растёт быстрее любой (отрицательной) степени величины  .

Колмогоров доказал, что логарифм числа   точек минимальной  -сети растёт в этом случае как  .

ПрименениеПравить

Введение понятия эпсилон-энтропии позволило понять и решить 13-ю проблему Гильберта.

Если бы функции   переменных, участвующие в суперпозиции, имели гладкость  , то с их помощью можно было бы получить для представляемых функций сеть, логарифм числа точек которой был бы порядка  . Если это число меньше минимально возможного для функций   переменных гладкости  , то, значит, предполагавшееся представление суперпозициями функций столь большой гладкости невозможно.

Потом Колмогоров показал, что если отказаться от гладкости и допускать к участию в суперпозиции все непрерывные функции, то любая непрерывная функция от   переменных представляется суперпозицией непрерывных функций от всего трёх переменных, а после этого его студент, В. И. Арнольд представил их и суперпозициями непрерывных функций двух переменных. В итоге теорема Колмогорова содержала единственную функцию двух переменных — сумму, а все остальные непрерывные функции, из которых составляется представляющая все непрерывные функции от   переменных суперпозиция, зависят каждая лишь от одной переменной.