Многопеременная логистическая функция

Многопеременная логистическая функция (в программировании также используется англ. Softmax) — это обобщение логистической функции для многомерного случая. Функция преобразует вектор $z$ размерности $K$ в вектор $\sigma$ той же размерности, где каждая координата $\sigma _{i}$ полученного вектора представлена вещественным числом в интервале [0,1] и сумма координат равна 1.

Координаты $\sigma _{i}$ вычисляются следующим образом:

$\sigma (z)_{i}={\frac {e^{z_{i}}}{\displaystyle \sum _{k\mathop {=} 1}^{K}e^{z_{k}}}}$

Применение в машинном обучении

Многопеременная логистическая функция применяется в машинном обучении для задач классификации, когда количество возможных классов больше двух (для двух классов используется логистическая функция). Координаты $\sigma _{i}$ полученного вектора при этом трактуются как вероятности того, что объект принадлежит к классу $i$. Вектор-столбец $z$ при этом рассчитывается следующим образом:

$z=w^{T}x-\theta$

где $x$ — вектор-столбец признаков объекта размерности $M\times 1$; $w^{T}$ — транспонированная матрица весовых коэффициентов признаков, имеющая размерность $K\times M$; $\theta$ — вектор-столбец с пороговыми значениями размерности $K\times 1$ (см. перцептрон), где $K$— количество классов объектов, а $M$ — количество признаков объектов.

Часто Softmax используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.