Optimization 심화 : Random process 2 (Stochatic process)

 

 

모바일 앱 환경에서는 latex 수식이 깨져 나타나므로 가급적 웹 환경에서 봐주시길 바랍니다.

 

지난 번 글에서 Probability theory와 함께 Random process에 대한 기본적인 정의들을 이야기하였다.

 

먼저 (Informally) 직관적으로 정의하자면, 시간의 흐름에 따라 상태가 바뀌는 시스템에 대해 수학적으로 모델링하기 위한 개념인데, 이 때 변화에 있어 randomness가 존재하는 모든 system을 아우른다.

 

(Formally) Random process란, Random variable의 집합으로 정의되며, $\{X(t) : t \in T\}$로 표기되며, index set은 "주로" time-step을 의미하며, 이 집합 또한 measurable space $(S, \sigma)$의 부분집합으로 정의된다.

정리하면, probability space $(\Omega, \mathcal{F}, \mathbb{P})$와 measurable space $(S, \Sigma)$가 주어졌을 때,

stochastic process는 Random variable의 집합이다.

이때 $S$는 state space이며, $\mathbb{Z}, \mathbb{R}, \mathbb{R}^n, \mathbb{C}$등이 대표적인 예시이다.

Random process에서 state space는 random variable이 특정 시점에서 취할 수 있는 값을 정의하기 위해 사용된다.

 

이때 time-step (Index Set)이 Discrete-time이냐, Continuous-time이냐에 따라 Random process를 나눌 수 있다.

또한, 앞으로 특별한 언급이 없는 한, index set은 time step을 의미한다고 생각하자.

 

오늘은 두 번째 시간으로 Random process의 기본적인 용어들을 추가적으로 더 알아보는 시간이다.

 

<Sample function> (= Sample path)

"stochastic process에서의 single outcome (single realization)"

다시 말해 어떤 $w \in \Omega$에 대하여, 다음과 같은 함수

$X(\cdot, w) : T \rightarrow S$

를 우리는 sample function이라 정의한다. 

일반적인 stochastic process처럼, $t \in T$를 time step으로 본다면, 'trajectory'란 용어를 사용할 수도 있다.

 

<Increment> 

"하나의 Stochastic process에서 두 random variable 간의 차이"

다시 말해 특정한 시간 (time period)동안  random variable이 얼만큼 바뀌었는가를 나타낸다.

 

$X_{t_2} - X_{t_1} \; t_1, t_2 \in T \; t_1 \le t_2$

 

<Law>

probability theory에서 'law'란 결국 그 random variable의 probability distribution을 이야기한다. 

다른 말론 "probability law", "law of a random variable"이라고도 한다.

결국 이는 Random variable이 특정한 값을 취할 확률을 모델링한 것으로 Stochastic process는 random variable의 sequence이므로 (collection), 모든 Random variable의 Joint distribution을 의미하게 된다.

당연히 이는 하나의 random variable의 law보다 더 복잡할 수밖에 없는데 시간 축을 기준으로 하여 각 random variable이 '독립'이 아닐 수도 있기 때문이다. 

 

<Finite-dimensional distribution>

Random process $\{X(t) : t \in T \}$가 주어졌을 때, Random variable들의 finite collection, 즉 $\{X(t_1), X(t_2), \cdots, X(t_n) \}$을 의미한다. 정확히는 이들의 Joint probability distribution을 의미한다.

여기서 "Finite"이란 단어가 붙은 것도 index set $t$에서 유한 개의 time step을 sampling하기 때문이다.

 

 

<Stationarity> 

Stationarity는 두 가지 의미가 있는데 하나는 'Strong stationarity'이고 다른 하나는 'Weak stationarity'이다.

 

Strong stationarity : Random process의 finite-dimensional distribution이 시간의 이동에도 "invariant'할 때 Strong stationarity라고 한다. 즉, 시간이 지나더라도 이전 시간에서의 Random variable의 distribution과 동일한 distribution을 갖는 Random process를 "(strong) stationary"하다고 한다. 

 

Weak stationarity : 위와 같은 Strong stationarity는 결국 모든 index set $t \in T$에 대하여 모든 $X_t$가 "identical distribution"을 갖는다는 의미인데 이는 상대적으로 매우 강한 특징이다.

이를 완화한 Weak stationarity는 $\mathbb{E}[X(t)]$가 모든 $t\ in T$에 대하여 항상 constant이고, $Cov(X(s), X(t))$가 $t-s$에만 의존할 때 우리는 이러한 Stochastic process를 'Weak stationarity"라고 정의한다.

 

<Filtration>

지난 번 글에서 간단하게 언급하였는데 다시 정리하자.

Filtration은 $\sigma$-algebra 의 집합인데, $\{ \mathcal{F}_t \}_{t \in T}$ 이때 각각의 $\mathcal{F}_t$는 $\sigma$-algebra이고 다음을 만족한다.

 

만약 $s < t$이면 $\mathcal{F}_s \subseteq \mathcal{F}_t$이다.  

 

직관적으로 이는 시간이 지남에 따라 이전의 모든 정보가 누적되어짐을 의미한다.

 

Stochastic process가 "adapted to a filtration"이란 표현이 종종 등장하는데 이는 모든 time step $t \in T$에 대하여 특정한 step에서의 Random variable의 값을 알기 위한 모든 정보가 주어진다는 의미이다.

이에 대해 중요한 Stochastic process로 "Martingale" , "Super / Sub" martingale이 있는데 이에 대해서 곧 살펴볼 예정이다.

 

 

 

그럼 다음 글에서는 Stochastic process의 기본적인 예시들을 살펴보도록 하자.