随机过程马尔可夫过程(编辑修改稿)

随机过程马尔可夫过程(编辑修改稿)内容摘要：

(   nijjjnijmnjjmijnmnij fpfpfpji 推论 ji  的充要条件是 0ijf 且 0jif首页 3．常返态与瞬时态 则称状态 i为常返态 则称状态 i为瞬时态 注 若 1iif若 1iif“常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返” 定理 4 若 1iif ，则系统以概率 1 无穷次返回 i；若 1iif ，则系统以概率 1 只有有穷次返回 i。 证 若 1iif则系统从状态 i出发，经过有限次转移之后，必定以概率 1返回状态 i。 再由马氏性 系统返回状态 i要重复发生 首页 这样 ， 系统从状态 i出发 ， 又返回 ， 再出发 ， 再返回 ， 随着时间的无限推移 ， 将无限次访问状态 i。 将 “ 不返回 i”称为成功 ， 则首次成功出现的次数服从几何分布， 若 1iif则每次回到 i 后都有正的概率 iif1 不返回 i， 其均值为iif11 ， 这就是说 平均回到 i 共iif11 次 就不再回到 i 了。 也就是说以概率 1只有有穷次返回 i。 首页 定理 5 证 令 n = 0， 1， 2， … 因此，从状态 i出发，访问状态 i的平均次数为 i 是常返态的充要条件是  0)(nniipiXiXInnn ，当，当01那么过程访问状态 i 的次数为  0nnIE [ 访问状态 i 的次数 | iX 0 ]  iXIEnn 00| ]|[ 00iXIEnn  }|1{1 00iXIPnn  }|{ 00iXiXPnn  0)(nniip由定理 4，得证。 首页 说明 本定理的等价形式： i为瞬时态，当且仅当 定理 6 证 如果 i为常返态 ， 且 ， 则 j也是常返态。 因 由切普曼 可尔莫哥洛夫方程得 上式两边对所有的 s相加 ， 得  0)(nniipji ji  所以存在 0m ， 0n 使 0)( mijp ， 0)( njip 对于任意的 0s ，)()()( smijnjiIisnmjj ppp  )()()( mljsilnjiIlIippp )()()( mijsiinji ppp)(0snmjjsp  )()()(0mijsiinjisppp)(0)()( siismijnji ppp 又因为 i为常返态， 所以 )(0siisp首页 故得 从而 即状态 j也是常返态 定理 7 所有常返态构成一个闭集 证 设 i为常返态，  )(0snmjjsp)(0njjnp如果 ji  ，则 ij  ，即 i和 j相通。 这是因为 若自 j出发不能到达 i，那么从 i出发到达 j后，就不能再返回 i，这与 i是常返态的 相矛盾。 1iif再由定理 6知， j也是常返态， 这就是说， 自常返态出发，只能到达常返态，不能到达瞬时态。 故常返态全体构成一个闭集 首页 4． 状态空间的分解 如果已知类中有一个常返态，则这个类中其它状态都是常返的； 若类中有一个瞬时态，则类中其它状态都是瞬时态。 若对不可约马氏链，则要么全是常返态，要么全是瞬时态。 定理 8 任一马氏链的状态空间 I必可分解为   kCCCNI 21其中 N是瞬时态集， ，21 CC 是互不相交的由常返态组成的闭集而且 （ 1 ）对每一个确定的 h ， hC 内任意两个状态相通；（ 2 ） hC 和 gC （ gh  ）中的状态不相同。 首页 证 记 C为全体常返态所构成的集合， 则由定理 7知 C为闭集 将 C按相通关系分类： 那么再从余下的状态中任取一个状态 如此进行下去， 并且显然满足条件（ 1）和（ 2）。 CIN  为瞬时态全体在 C 中任取一个状态 1i ，凡是与 1i 相通的状态组成一个集合，记为 1C ；在组成 1C 后，如果还有余下的状态，2i凡是与 2i 相通的状态组成一个集合 2C ；就可将 C 分解成 ， 21 CC 等集合之和，首页 5． 正常返态与零常返态 平均返回时间 从状态 i出发，首次返回状态 i的平均时间 称为状态 i平均返回时间 . 根据的值是有限或无限 ， 可把常返态分为两类： 设 i是常返态， 则称 i为正常返态； )(11}{][ niiniiniii nfnTnPTE 若 i若 i ，则称 i为零常返态。 首页 定理 9 设 i是常返态，则 （ 1） i是零常返态的充要条件是 （ 2） i是正常返态的充要条件是 0lim )(  niin p0lim )(  niin p证明 （略） 推论 如果 j 是零常返态， i 是任一状态，则0lim )(  nijn p证 因为 首页 )(0)()(0 knjjnkkijnij pfp)(1)( knjjNkkij pf )(1)( knjjnNkkij pf)(1)( knjjNkkij pf nNkkijf1)(固定 N ，先令 n ，由定理 9，上式第一项有 0lim )(1)(  knjjNkkijn pf又由于级数 1)( 1kijkij ff 收敛，故其尾部  1)(Nkkijf 当 N 时趋于 0 ，即第二项当 N 时趋于 0 ，从而推论得证。 首页 说明 用极限判断状态类型的准则 （ 2） i是零常返态 （ 2） i是正常返态 0lim )(  niin p（ 1） i是瞬时态 )(0niinp（这时 0lim )(  niin p ） )(0niinp且 )(0niinp且 0lim )(  niin p首页 定理 10 证明 若 ji , 为常返态，且 ji  ，则 ji , 同为正常返或同为零常返设 ji , 为常返态因为 ji 所以存在正整数 k 、 m ，使 0)(  kijp ， 0)(  jip对于任意正整数 r ，由切普曼 可尔莫哥洛夫方程得 )()()()()( rjjmjirjjkijmrkii ppppp )()()()()( riikijriimjimrkjj ppppp 令 r ，得 )()( limlim rjjrmrkiir pp   )()( limlim riirmrkjjr pp   由此可知 )(lim riir p 与)(lim rjjr p 或同为零，或同为正，由定理 9知 ji , 同为正常返或同为零常返首页 6．有限马氏链 对有限状态的马氏链我们给出不加证明的性质 定理 11 设 { ,2,1,0, nXn } 是状态空间 I 有限的马氏链，则 （ 1）瞬时态集 N不可能是闭集； （ 2）至少有一个常返态； （ 3）不存在零常返态； （ 4）若链是不可约的，那么状态都是正常返的 （ 5）其状态空间可分解为 kCCCNI  21其中 N 是瞬时态集，kCCC ，， 21是互不相交的由正常返态组成的闭集。 首页 例 3 转移矩阵 已知马氏链 { ,2,1,0, nX n } 的状态空间}4,3,2,1{I00011000010041414141P试对其状态分类。 解 按一步转移概率， 画出各状态间的传递图 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 首页 从图可知，此链的每一状态都可到达另一状态，即 4个状态都是相通的。 考虑状态 1是否常返， 需要计算11f ：41)1(11 f}1|1,1{ 012)2(11  XXXPf}1|2,1{ 012  XXXP }1|3,1{ 012  XXXP}1|4,1{ 012  XXXP}1,4|1{ 012  XXXP }1|4{ 01  XXP414114  pp首页 类似地可求得 所以 41413413)3(11  pppf4141342312)4(11  ppppf0)(11 nf （ ,6,5n ）)(11111nnff  141414141 于是状态 1是常返的。 又因为   25)(1111nnfn所以状态 1是正常返的。 由定理可知，此链所有状态都是正常返的。 首页 例 4 设马氏链的状态空间 I={0,1,2,…} ，其一步转移概率为 其中 试证此马氏链是一个不可约常返态链 pp ii  1 ， qp i 0 ， Ii 10  p ， 1 qp证 先证 I不可约 设 i， j是 I中任意两个状态， 若 ji  ，则有 jjii pppp      11 即 ji 若 ji  ，则有jji ppppq       110 即 ji 于是对于任意的 Iji , ，都有 ji 首页 类似地可证 所以 即 I中任意两个状态都是相通的。 因此 ， I是一个不可约的闭集 再证 I中状态 0是一个常返态： 由状态的转移规则，得 ij ji 01210       qpppp n所以 )(00100nnff  }0|{0001 XnTPn首页 }0|0,1,2,1{ 01211  XXnXXXP nnn}1,0|2{}0|1{ 102011 XXXPXXPn}1,0|0{ 10   nXXXP nn }1|2{}0|1{ 12011 XXPXXPn}1|0{ 1   nXXP nn11nnqp11pq由定义知状态 0为常返态。 因此，由定理知 I中所有状态都是常返态。 故此马氏链为不可约常返链。 首页 三、状态的周期与遍历 1．周期状态 对于任意的 ，令 其中 GCD表示最大公约数 Ii}01{ )(  niii pnG C Dd ：如果 1id ，则称 为周期态， iid 为周期如果 1id则称 为非周期态。 i定理 12 设马氏链的状态空间为 I ， Iji ,（ 1 ）若 ji  ，则 ji dd  ；（ 2 ）若是不可约马氏链，且 0iip ，则此马氏链是非周期链。 首页 证 所以存在正整数 m、。