Расстояние Кульбака — Лейблера: различия между версиями

Можно было бы назвать РКЛ «[[Метрическое пространство|метрикой]]» в пространстве вероятностных распределений, но это было бы некорректно, так как оно не симметрично<math>D_{\mathrm{KL}}(P\parallel Q) \neq D_{\mathrm{KL}}(Q\parallel P)</math>, и не удовлетворяет [[Неравенство треугольника|неравенству треугольника]]. Все-таки, будучи [[:en:Metric (mathematics)#Premetrics|предварительной метрикой]], она порождает [[Топология|топологию]] в пространстве [[Распределение вероятностей|вероятностных распределений]]. Более конкретно, если <math>\{P_1,P_2,\cdots\}</math>- это последовательность распределений такая, что <math>\lim_{n \rightarrow \infty} D_{\mathrm{KL}}(P_n\parallel Q) = 0</math>, тогда говорят, что <math>P_n \xrightarrow{D} Q</math>. Из [[:en:Pinsker's inequality|неравенства ПинкераПинскера]] следует, что — <math>P_n \xrightarrow{\mathrm{D}} P \Rightarrow P_n \xrightarrow{\mathrm{TV}} P</math>, где последнее нужно для для сходимости по [[Вариация функции|вариации]].