随机过程课程设计-连续马尔科夫过程的转移概率及应用(编辑修改稿)

随机过程课程设计-连续马尔科夫过程的转移概率及应用(编辑修改稿)内容摘要：

把矩阵00 01 010 11 101q=nnn n nnqqq q qQq q q叫 马氏过程的速率矩阵，简称 Q矩阵。 但考虑到密度矩阵 ()ijQq ，是由 ( ) ( )ijP t p 的 导数组成 即 (0)QP 39。 0( ( ))ij ij tq p t  跳跃强度的性质 0ijjIq  假设ik iikiqq ，则对一切 i, j 及 t ≥ 0，有      39。 i j i k k j i i i j i jkip t q p t q p t Q P   在适当的正则条件下有      39。 i j i k k j i j j jkjp t p t q p t q ★ 向后方程的矩阵形式：    39。 P t QP t ① ★ 向前方程的矩阵形式：    39。 P t P t Q ② 其中 Q 矩阵为 0 0 0 1 0 21 0 1 1 1 22 0 2 1 2 2q q qq q qQq q q  矩阵 39。 pt的元素为矩阵 pt 的元素的导数，而                 0 0 0 1 0 21 0 1 1 1 22 0 2 1 2 2=p t p t p tp t p t p tPtp t p t p t 这样，连续时间马尔科夫链的转移概率的求解问题就是矩阵微分方 程的求解问题，其转移概率有其转移速率矩阵 Q 决定。 若 Q 是一个有限维矩阵，则式①和式②的解为 随机过程课程设计 5    0 !jQtjQtP t e j 定理 3 齐次马尔可夫过程在 t 时刻处于状 态 jI 的绝对概率 jpt 满足方程：      39。 j j j j k k jkjp t p t q p t q    第 4 章 马尔可夫过程研究的问题的分析 连续参数 随机游动问题 有限图上的随机游动 (即有限马尔可夫链 )近一二十年来在近似算法设计的重要应用，使它受到越来越广泛的关注。 这时算法的有效性大部分依赖于所设计随机游动的性能好坏，而随机游动的性能主要由它的几个重要的参数来决定，如平均首达时间，平均覆盖时间，收敛速度等。 例 设在  1,5 的线段上有一个质点作随机游动，此质点只能停留在 1,2,3,4,5, 诸点上。 质点任何时刻都可能发生移动，其移动的规则是： （ 1）若在时刻 t 质点位于 2,3,4, 中的一点， ，则在 tt（ ） 中以概率  t o t  向右移动一格，以概率  2 t o t   向左移动一格； （ 2）若在时刻 t 质点位于 1，则在 tt（ ） 中以概率  t o t  向右移动一格； （ 3）若在时刻 t 质点位于 5，则以概率  2 t o t   向左移动一格 ； （ 4）在 tt（ ） 发生其他移动的概率是  ot。 求  jiPt满足的微分方程。 转移速率矩阵 ijQq 状态转移概率矩阵    ijpp  从给定状态转移到任意状态的转移概率矩阵 记作 ip ，为    ijpp 的第 i 行的行矢量 从任意状态转移到特定状态的转移概率矩阵 记作 js  ，为    ijpp 的第 j 行的列矢量 t 时刻系统状态的概率分布律矩阵          01, , ,ikW t w t w t w t w t       随机过程课程设计 6 第 5 章 计算结果及程序 解： 写出马尔科夫过程的 Q 矩阵，则相应的 Q 矩阵是， 1 1 0 0 02 3 1 0 0= 0 2 3 1 00 0 2 3 10 0 0 2 2Q 根据柯尔莫哥洛夫 费勒前进方程，可以列出  jiPt满足的微分方程：     ,ij i k k jkjd p t p t q i j Idt 初始条件：     100 ijij ij ijp   根据柯尔莫哥洛夫 费勒后退方程，可以列出  jiPt 满足的微分方程：     ,ij i k k jkjd p t q t p i j Idt 初始条件：     100 ijij ij ijp   程序 [x,y,z,m,n]=dsolve(39。 Dx=1*x+2*y,Dy=1*x(1+2)*y+2*z,Dz=1*y(1+2) *z+2*m,Dm=1*z(1+2)*m+2*n,Dn=1*m2*n39。 ,39。 x(0)=1,y(0)=0,z(0)=0,m(0)=0,n(0) =039。 ,39。 t39。 ) x = 1/4*(15/1243/620*5^(1/2)1/62*2^(1/2)3/155*10^(1/2))*exp((31/2*10^ (1/2)1/2*2^(1/2))*t)+2/311/4*(3/155*10^(1/2)+15/1243/620*5^(1/2) +1/62*2^(1/2))*exp((3+1/2*10^(1/2)+1/2*2^(1/2))*t)1/4*(1/62*2^(1/2) +15/1243/155*10^(1/2)+3/620*5^(1/2))*exp((31/2*10^(1/2)+1/2*2^(1/2))。