Стохастическая аппроксимация

Стохастическая аппроксимациярекуррентный метод построения состоятельной последовательности оценок решений уравнений регрессии и экстремумов функций регрессии в задачах непараметрического оценивания. В биологии, химии, медицине используется для анализа результатов опытов. В теории автоматического управления применяется как средство решения задач распознавания, идентификации, обучения и адаптации[1]. Основоположниками метода стохастической аппроксимации являются Кифер, Вольфовиц[2], Робинс, Монро [3].

Поиск решения уравнения регрессииПравить

Пусть каждому значению параметра   соответствует измеряемая опытным путём случайная величина   с функцией распределения  , причем математическое ожидание величины   при фиксированном параметре    . Требуется найти решение уравнения регрессии  . Предполагается, что решение уравнения регрессии единственно, а функции   и   неизвестны.

Процедура стохастической аппроксимации для получения оценок корня   уравнения регрессии   заключается в использовании полученной на основании опыта обучающей выборки измеряемых случайных величин  .

Оценка   искомого корня находится на основе предыдущей оценки   с помощью обучающего значения измеренной случайной величины   с помощью соотношения  , где  ,   - произвольное число[3].

Если последовательность коэффициентов   удовлетворяет условиям  ,  ,  , то при   оценка   стремится по вероятности к корню уравнения  .

При некоторых дополнительных требованиях к функции регрессии   оценки   могут сходится в среднеквадратическом к решению уравнения регрессии [4][5].

ПримерыПравить

  • Твёрдость сплава меди с железом   зависит от времени  , в течение которого сплав подвергается воздействию высокой температуры. В этом случае измеряемой случайной величиной является твёрдость сплава  , а задача состоит в определении времени  , при котором сплав имеет заданную твёрдость  [6].

Поиск экстремума функции регрессииПравить

Оценка   экстремального значения функции регрессии находится на основе предыдущей оценки   и обучающих значений измеренной случайной величины   и   с помощью соотношения  , где  ,   - произвольное число,   - последовательность положительных чисел, а последовательности   и   независимы и соответствуют значениям параметра   и  [2].

Если последовательности коэффициентов   и   удовлетворяют условиям  ,  ,   при  ,  ,  ,  , то при   оценка   стремится по вероятности к экстремальному значению функции регрессии.

При некоторых дополнительных требованиях к функции регрессии   оценки   могут сходится в среднеквадратическом к экстремуму функции регрессии[5].

ПримерыПравить

  • Урожайность участка земли   зависит от количества удобрений  . В этом случае измеряемой случайной величиной является урожайность  , а задача состоит в определении количества удобрений  , при котором участок земли имеет макcимальную урожайность[6].

ПримечанияПравить

  1. Цыпкин Я.З. “Адаптация, обучение и самообучение в автоматических системах”, // Автоматика и телемеханика. — 1966. — № 1. — С. 23–61. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at10991
  2. 1 2 Кiefer J., Wolfowitz J. Stochastic Estimation of the Maximum of a Regression Function // Ann. Math. Statistics. — 1952. — v. 23. — № 3.
  3. 1 2 Robbins Н., Monro S. A stochastic approximation method // Annals of Math. Stat. — 1951. — v. 22. — № 1. — С. 400—407.
  4. Вазан, 1972, с. 18.
  5. 1 2 Логинов Н. В. “Методы стохастической аппроксимации” // Автоматика и телемеханика. — 1966. — № 4. — С. 185–204. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at11080
  6. 1 2 Вазан, 1972, с. 10.

ЛитератураПравить

  • Вазан М. Стохастическая аппроксимация. — М.: Мир, 1972. — 295 с.
  • Цыпкин Я.З. Основы теории обучающихся систем. — М.: Наука, 1970. — 251 с.
  • Цыпкин Я.З. Адаптация и обучение в автоматических системах. — М.: Наука, 1968. — 399 с.