应用随机过程

本课程包括6部分内容:(1)概率论基础与随机过程一般概念:概率和概率空间,特征函数和母函数,收敛性和极限定理,条件分布与条件期望,随机过程的一般概念;(2)离散时间马尔可夫链:定义和性质,状态空间的分解,常返态与瞬时态,平稳分布和极限分布,分支过程及案例分析;(3)连续时间马尔可夫链:定义和性质, 矩阵与向前、向后微分方程,泊凇过程,更新过程,生灭过程;(4)排队论:随机服务系统基本概念,几种常见的分布函数,基于生灭/非生灭过程的排队模型,服务机构串连的排队模型,具有优先权的排队模型,排队网络;(5)马尔可夫决策规划:机器维修问题,MDP的数学描述,策略类与目标函数,有限阶段模型,折扣模型;(6)鞅与停时:上鞅(下鞅)及分解定理,停时与停时定理,鞅收敛定理等。