Enlightenment in the shadow

지난 포스팅에서는 deterministic system에서의 해밀턴 자코비 벨만 방정식(Hamilton-Jacobi-Bellman equation)에 대해 다루었다. Deterministic system에서는 시간에 대한 함수로서 상태 방정식(state equation)을 고려하지만, Stochastic system에서는 정의할 수 없는 외생변수의 영향력이 불확실성으로써 시간과 함께 모델링 된다. 여기서 이 불확실성은 랜덤 프로세스(Stochastic process)로 정의되어 시간과 함께 dynamics에 반영된다. 즉 물리적으로 정의하기 힘든 시계열 현상들에 대한 dynamical system을 정의할 때, 랜덤 프로세스가 함께 활용되어 모델링되고 이를 Stochastic system이라 정의한다. ..

1. Optimal Control problem 최적 제어(Optimal Control)는 아래의 그림에서 제어 입력(control) $\mathbf{u}(t)$을 디자인하여 cost $J$를 최소화시키면서 상태(state) $\mathbf{x}(t_0)$에서 $\mathbf{x}(t_f)$까지 도달하는 것을 목표로 한다. 여기서 위 시스템의 dynamics와 cost function을 다음과 같이 상정해보자. $$ \begin{align} \frac{d}{dt}\mathbf{x}&=f(\mathbf{x}(t), \mathbf{u}(t)) \label{eq1} \tag{1} \\ J(\mathbf{x}(t), \mathbf{u}(t), t_0)&=Q(\mathbf{x}(t_f), t_f)+\int_{t_..

1. Solution of GBM 먼저 아래의 기하 브라운 모형(Geometric Brownian Motion)을 살펴보자. $$ dS_t = \mu S_t dt + \sigma S_t dW_t \label{eq1} \tag{1} $$ 그리고 이걸 기반으로 $d \ln S_t$를 구하면 아래와 같다. 이 때 $\ln S_t$가 확률미분방정식 시스템인 S_t에 대한 함수이기 때문에 Ito's lemma로 2계 도함수까지 테일러 근사를 진행해야한다. Ito's lemma에 대한 자세한 설명은 "해밀턴 자코비 벨만 방정식 2(stochastic case)" 포스팅의 1. Ito's lemma 파트를 참고하면 된다. Ito lemma로 $d \ln S_t$에 대한 전미분을 시행하면 아래와 같다. $$ \begi..

1. Definition of Brownian motion 어떤 실수 값으로 된 랜덤 프로세스(Stochastic process)가 다음의 성질(property)을 따를 때 브라운 운동(Brownian motion)이라 칭한다. 1. $W(0)=0$ 2. $W(t)-W(s) \sim N(0, t-s)$, for t > s 3. $W(t_2)-W(t_1), W(t_3)-W(t_2), \cdots, W(t_n)-W(t_{n-1}) $들은 모두 독립이다. 위 2번째 성질에서 브라운 운동의 증분은 그 정의상 평균은 0, 분산은 time index의 거리가 된다. 즉 다음과 같이 일반화할 수 있다. $$ E[\Delta W] = 0 \\ $$ $$ \begin{align} Var[\Delta W] &= E[(\D..