Стохастический градиентный спуск: различия между версиями
| [отпатрулированная версия] | [отпатрулированная версия] |
Содержимое удалено Содержимое добавлено
Jumpow (обсуждение | вклад) Отклонено первое 1 изменение (Archivement), следовавшее за версией 110469041 109.252.203.120: Здесь итерации во множественоом числе, не в единственном |
мНет описания правки Метки: через визуальный редактор с мобильного устройства из мобильной версии задача для новичков |
||
Строка 1:
'''Стохастический градиентный спуск''' ({{lang-en|Stochastic gradient descent}}, '''SGD''') — это [[метод итерации]] для [[Оптимизация (математика)|оптимизации]] [[Функция потерь|целевой функции]] с подходящими свойствами [[Гладкая функция|гладкости]] (например, [[Дифференцируемая функция|дифференцируемость]] или [[Субдифференциал|субдифференцируемость]]). Его можно расценивать как [[Стохастическая аппроксимация|стохастическую аппроксимацию]] оптимизации методом [[Градиентный спуск|градиентного спуска]], поскольку он заменяет реальный градиент (вычисленный из полного {{не переведено 5|Набор данных|набора данных||data set}}) путём оценки такового (вычисленного из случайно выбранного подмножества данных){{sfn|Taddy|2019|с=303–307}}. Особенно в приложениях обработки [[Большие данные|больших данных]] это сокращает [[Вычислительная сложность|вычислительные ресурсы]], достигая более быстрые итерации в обмен на более низкую скорость сходимости{{sfn|Bottou, Bousquet|2012|с=351–368}}.
Хотя базовую идею стохастической аппроксимации можно отследить назад к {{не переведено 5|Алгоритм Роббинса — Монро|алгоритму Роббинса — Монро||Robbins–Monro algorithm}} 1950-х годов{{sfn|Mei|2018|с=E7665–E7671}}, стохастический градиентный спуск стал важным
== Предпосылки ==
| |||