서론
목차
Markov process
Markove property를 만족하는 확률 과정을 Markov process라고 하는데 시간과 상태가 연속인지 이산인지에 따라 네 가지 조합이 가능하다.
- 이 중 시간이 이산적이고 상태 공간이 이산인 Markove process를 특별히 Markov Chain이라 부른다.
- 강화학습에서는 대부분 이산 시간 스텝 t=0, 1, 2, ..을 다루므로 Markov chain을 가정으로한다.
Markov property
현재상태가 이전 상태에만 영향을 받는다는 성질을 의미한다.
\[P(x_{n+1}|x_n, x_{n-1}, x_{n-2}, ...,x_0) = P(x_{n+1}|x_n)
\]
Stochastic process
시간 인덱스 t마다 확률변수 \(X_t\)가 하나씩 대응되는 확률변수들의 모임(collection of random variables)를 말한다. 시간이 이산인 경우 식은 아래와 같다.
\[\{X_t\}_{t \in T}, \quad T = \{0, 1, 2, \dots\}\]
Markov Chain
State transition matrix
상태가 유한개(\(|S|=n\))라면 모든 state transition matrix를 아래처럼 쓸 수 있다.
각 행은 확률 분포이므로 행의 합은 항상 1이다:
Comment