Функция потерь Хубера

Функция потерь Хубера — функция потерь, используемая в устойчивой регрессии, которая менее чувствительна к выбросам, чем квадратичная ошибка.

Функция потерь Хубера (зелёный, $\delta =1$) и квадратичная функция потерь (синий) как функция от $y-f(x)$

Задаёт штраф за процедуру оценки. Изначально определена Петером Хубером в 1964 году как кусочная функция вида:

$L_{\delta }(a)={\begin{cases}{\frac {1}{2}}{a^{2}}&{\text{для }}|a|\leqslant \delta \\\delta (|a|-{\frac {1}{2}}\delta )&{\text{иначе}}\end{cases}}$

Эта функция квадратична для малых значений $a$, и линейна для больших значений, с одинаковым значением и уклоном для различных участков двух точек где $|a|=\delta$. Переменную $a$ часто рассматривают как остаток, то есть как разницу между наблюдаемым и предсказанным значением $a=y-f(x)$, поэтому исходное определение может быть расширено до:

$L_{\delta }(y,f(x))={\begin{cases}{\frac {1}{2}}(y-f(x))^{2}&{\text{для }}|y-f(x)|\leqslant \delta \\\delta \,|y-f(x)|-{\frac {1}{2}}\delta ^{2}&{\text{иначе}}\end{cases}}$