Стохастический градиентный спуск: различия между версиями

'''Стохастический градиентный спуск''' ({{lang-en|Stochastic gradient descent}}, '''SGD''') — это [[методИтерация итерации(математика)|итерационный]] метод для [[Оптимизация (математика)|оптимизации]] [[Функция потерь|целевой функции]] с подходящими свойствами [[Гладкая функция|гладкости]] (например, [[Дифференцируемая функция|дифференцируемость]] или [[Субдифференциал|субдифференцируемость]]). Его можно расценивать как [[Стохастическая аппроксимация|стохастическую аппроксимацию]] оптимизации методом [[Градиентный спуск|градиентного спуска]], поскольку он заменяет реальный градиент (вычисленный из полного {{не переведено 5|Набор данных|набора данных||data set}}) путём оценки такового (вычисленного из случайно выбранного подмножества данных){{sfn|Taddy|2019|с=303–307}}. Особенно в приложениях обработки [[Большие данные|больших данных]] это сокращает [[Вычислительная сложность|вычислительные ресурсы]], достигая более быстрые итерации в обмен на более низкую скорость сходимости{{sfn|Bottou, Bousquet|2012|с=351–368}}.