Марковский момент

В математике теория момента остановки или марковский момент времени связана с проблемой выбора времени, чтобы принять определённое действие, для того чтобы максимизировать ожидаемое вознаграждение или минимизировать ожидаемые затраты. Проблема момента остановки может быть найдена в области статистики, экономики и финансовой математики (связанные с ценообразованием на американские опционы). Самым ярким примером, относящимся к моменту остановки, является Задача о разборчивой невесте. Проблема момента остановки часто может быть указана в форме уравнения Беллмана и поэтому часто решается с помощью динамического программирования.

Определение

Случай с дискретным временем

Как правило, проблема момента остановки связана с двумя объектами:

1. Последовательность случайных величин $X_{1},X_{2},\ldots$, чьё совместное распределение предполагается известным.
2. Последовательность «вознаграждающих» функций $(y_{i})_{i\geq 1}$ которые зависят от наблюдаемых значений случайных величин в 1:

   $y_{i}=y_{i}(x_{1},\ldots ,x_{i})$

С учетом этих объектов, проблема заключается в следующем:

• Вы, соблюдая последовательность случайных величин, на каждом шаге $i$ можете выбрать прекратить или продолжить наблюдение.
• Если вы прекратите наблюдать на шаге $i$, вы получите награду $y_{i}$.
• Вам нужно выбрать правило остановки, чтобы максимизировать предполагаемое вознаграждение (или, что эквивалентно, минимизировать ожидаемую потерю).

Случай непрерывного времени

Рассмотрим усиление процессов $G=(G_{t})_{t\geq 0}$ определённых на фильтрованном вероятностном пространстве $(\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} )$ и предположим, что $G$ это адаптирование фильтрации. Задача момента остановки состоит в том, чтобы найти время остановки $\tau ^{*}$ которое максимизирует ожидаемый выигрыш:

$V_{t}^{T}=\mathbb {E} G_{\tau ^{*}}=\sup _{t\leq \tau \leq T}\mathbb {E} G_{\tau }$

где $V_{t}^{T}$ называется значением функции. Здесь $T$ может иметь значение $\infty$.

Более конкретная формулировка выглядит следующим образом. Мы рассматриваем адаптированный сильный Марковский процесс $X=(X_{t})_{t\geq 0}$, определённый на фильтрованном вероятностном пространстве $(\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} _{x})$, где $\mathbb {P} _{x}$ обозначает вероятностную меру, при которой случайный процесс начинается с $x$. Учитывая непрерывные функции $M,L$ и $K$, задача оптимальной остановки:

$V(x)=\sup _{0\leq \tau \leq T}\mathbb {E} _{x}\left(M(X_{\tau })+\int _{0}^{\tau }L(X_{t})dt+\sup _{0\leq t\leq \tau }K(X_{t})\right).$

Иногда это называется МЛС (Майер, Лагранж и супремум, соответственно) формулировка.

Методы решения

Есть два подхода к решению проблемы момента остановки. Когда основной процесс (или усиление процесса) описывается своим безусловным конечномерным распределением, тогда соответствующий метод решения — подход Мартингала, названный так потому, что он использует теорию Мартингала, наиболее важным понятием является разработка Снелла. В дискретном случае, если горизонт планирования $T$ конечен, проблема может быть легко решена с помощью динамического программирования.

Когда основной процесс определяется семейством (условных) функций переходов приводящих к Марковскому семейству вероятностных переходов, часто могут быть использованы мощные аналитические инструменты теории Марковских процессов и такой подход называется Марковским методом. Решение обычно получается путём решения связанных задач со свободными границами (задачи Стефана).

Результат диффузии прыжка

Пусть $Y_{t}$ будет диффузия Леви в $\mathbb {R} ^{k}$ из стохастического дифференциального уравнения

$dY_{t}=b(Y_{t})dt+\sigma (Y_{t})dB_{t}+\int _{\mathbb {R} ^{k}}\gamma (Y_{t-},z){\bar {N}}(dt,dz),\quad Y_{0}=y$

где $B$ — $m$-мерное Броуновское движение, ${\bar {N}}$ это $l$-мерная компенсированная случайная мера Пуассона, $b:\mathbb {R} ^{k}\to \mathbb {R} ^{k}$, $\sigma :\mathbb {R} ^{k}\to \mathbb {R} ^{k\times m}$, и $\gamma :\mathbb {R} ^{k}\times \mathbb {R} ^{k}\to \mathbb {R} ^{k\times l}$ заданы такие функции, что существует единственное решение $(Y_{t})$. Пусть ${\mathcal {S}}\subset \mathbb {R} ^{k}$ будет открытым множеством (область платежеспособности) и

$\tau _{\mathcal {S}}=\inf\{t>0:Y_{t}\notin {\mathcal {S}}\}$

время банкротства. Задача оптимальной остановки:

$V(y)=\sup _{\tau \leq \tau _{\mathcal {S}}}J^{\tau }(y)=\sup _{\tau \leq \tau _{\mathcal {S}}}\mathbb {E} _{y}\left[M(Y_{\tau })+\int _{0}^{\tau }L(Y_{t})dt\right].$

Получается, что при некоторых условиях регулярности, выполняется следующая теорема проверки:

Если функция $\phi :{\bar {\mathcal {S}}}\to \mathbb {R}$ удовлетворяет

• $\phi \in C({\bar {\mathcal {S}}})\cap C^{1}({\mathcal {S}})\cap C^{2}({\mathcal {S}}\setminus \partial D)$ где область продолжения $D=\{y\in {\mathcal {S}}:\phi (y)>M(y)\}$,
• $\phi \geq M$ на ${\mathcal {S}}$, и
• ${\mathcal {A}}\phi +L\leq 0$ на ${\mathcal {S}}\setminus \partial D$, где ${\mathcal {A}}$ — бесконечно малый генератор $(Y_{t})$

тогда $\phi (y)\geq V(y)$ для всех $y\in {\bar {\mathcal {S}}}$. Кроме того, если

• ${\mathcal {A}}\phi +L=0$ на $D$

Тогда $\phi (y)=V(y)$ для всех $y\in {\bar {\mathcal {S}}}$ и $\tau ^{*}=\inf\{t>0:Y_{t}\notin D\}$ — оптимальный момент остановки.

Эти условия могут быть записаны в более компактной форме (интегро-вариационное неравенство):

• $\max \left\{{\mathcal {A}}\phi +L,M-\phi \right\}=0$ на ${\mathcal {S}}\setminus \partial D.$

Примеры

Подбрасывание монеты

(Пример, где $\mathbb {E} (y_{i})$ сходится)

У вас есть честная монета, и вы постоянно подбрасываете её. Каждый раз, перед броском, вы можете остановить бросок и получить оплату (скажем, в долларах) за среднее количество выпавших орлов.

Вы хотите максимизировать сумму, которую вам заплатят, выбирая правило остановки. Если х_i (где i ≥ 1) образует последовательность независимых, одинаково распределённых случайных величин с распределением Бернулли

${\text{Bern}}\left({\frac {1}{2}}\right),$

и если

$y_{i}={\frac {1}{i}}\sum _{k=1}^{i}X_{k}$

тогда последовательности $(X_{i})_{i\geq 1}$ и $(y_{i})_{i\geq 1}$ являются объектами, связанными с этой проблемой.

Продажа дома

(Пример, где $\mathbb {E} (y_{i})$ не обязательно сходится)

У вас есть дом, и вы хотите продать его. Каждый день вам предлагают $X_{n}$ за ваш дом, и платите $k$, чтобы продолжать рекламировать его. Если вы продадите ваш дом в день $n$, вы заработаете $y_{n}$, где $y_{n}=(X_{n}-nk)$.

Вы хотите максимизировать сумму, которую вы зарабатываете, выбирая правило остановки.

В этом примере последовательности ($X_{i}$) является последовательностью предложений за ваш дом, а последовательность «вознаграждений» функций определяет, сколько вы будете зарабатывать.

Задача о разборчивой невесте

Основная статья: Задача о разборчивой невесте

(Пример, где $(X_{i})$ — это конечная последовательность)

Рассматривается последовательность объектов, которые можно отсортировать от лучшего к худшему. Вы хотите выбрать правило остановки, которое максимизирует ваши шансы на выбор лучшего объекта.

Здесь, если $R_{1},\ldots ,R_{n}$ (n - некоторое большое число) — ранги объектов, и $y_{i}$ — это шанс, что вы выберете лучший объект, если прекратите намеренно отбрасывать объекты на шаге i, то $(R_{i})$ и $(y_{i})$ — последовательности, связанные с этой проблемой. Эта задача была решена в начале 1960-х годов. Изящное решение задачи секретаря и несколько модификаций этой задачи обеспечивают более современный алгоритм оптимальной остановки (алгоритм Брюса).

Теория поиска

Основная статья: Теория поиска

Экономисты изучили ряд проблем оптимального момента остановки, подобных «задаче секретаря», и обычно называют этот тип анализа «теорией поиска». Теория поиска особенно сосредоточена на поиске работником высокооплачиваемой работы или поиске потребителем продукции по низкой цене.

Торговля опционами

В торговле опционами на финансовых рынках, держатель американского опциона может осуществлять право купить (или продать) базовый актив по определённой цене в любое время до или в момент истечения срока. Таким образом, оценка американских опционов, по сути, проблема оптимальной остановки. Рассмотрим классическую модель Блэка-Шоулза и пусть $r$ будет безрисковой процентной ставкой $\delta$ и $\sigma$ ставка дивидендов и непостоянство акции. Цена акций $S$ следует за геометрическим броуновским движением

$S_{t}=S_{0}\exp \left\{\left(r-\delta -{\frac {\sigma ^{2}}{2}}\right)t+\sigma B_{t}\right\}$

В соответствии с мерой риска.

Когда параметр является бессрочным, задача оптимальной остановки

$V(x)=\sup _{\tau }\mathbb {E} _{x}\left[e^{-r\tau }g(S_{\tau })\right]$,

где функция выигрыша $g(x)=(x-K)^{+}$ для опциона вызова и $g(x)=(K-x)^{+}$ для опциона ставки. Вариационное неравенство

$\max \left\{{\frac {1}{2}}\sigma ^{2}x^{2}V''(x)+(r-\delta )xV'(x)-rV(x),g(x)-V(x)\right\}=0$

для всех $x\in (0,\infty )\setminus \{b\}$ где $b$ это граница физических упражнений. Решение известно

• (Бесконечный вызов) $V(x)={\begin{cases}(b-K)(x/b)^{\gamma }&x\in (0,b)\\x-K&x\in [b,\infty )\end{cases}}$ где $\gamma =({\sqrt {\nu ^{2}+2r}}-\nu )/\sigma$ и $\nu =(r-\delta )/\sigma -\sigma /2,\quad b=\gamma K/(\gamma -1).$
• (Бесконечная ставка) $V(x)={\begin{cases}K-x&x\in (0,c]\\(K-c)(x/c)^{\tilde {\gamma }}&x\in (c,\infty )\end{cases}}$ где ${\tilde {\gamma }}=-({\sqrt {\nu ^{2}+2r}}+\nu )/\sigma$ и $\nu =(r-\delta )/\sigma -\sigma /2,\quad c={\tilde {\gamma }}K/({\tilde {\gamma }}-1).$

С другой стороны, когда конечный срок действия конечен, задача связана с двумерной задачей о свободной границе без известного решения замкнутой формы. Однако могут быть использованы различные численные методы. См. Модель Black-Scholes # Американские опционы для различных методов оценки здесь, а также Fugit для дискретного дерева на основе расчета оптимального времени для тренировки.

См. также

• Стохастическое управление
• Марковский процесс принятия решений