马尔可夫链(过程)的发展与应用
1. 随机过程发展简述
在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。
一些特殊的随机过程早已引起注意，例如1907年前后，Α.Α.马尔可夫研究过一列有特定相依性的随机变量，后人称之为马尔可夫链（见马尔可夫过程）；又如1923年N.维纳给出了布朗运动的数学定义（后人也称数学上的布朗运动为维纳过程），这种过程至今仍是重要的研究对象。虽然如此，随机过程一般理论的研究通常认为开始于30年代。1931年，Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》；三年后，Α.Я.辛钦发表了《平稳过程的相关理论》。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。稍后，P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。1953年，J.L.杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。1951年伊藤清建立了关于布朗运动的随机微分方程的理论(见随机积分)，为研究马尔可夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流形上的随机微分方程的理论，正方兴未艾。60年代，法国学派基于马尔可夫过程和位势理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、鞅论、极限定理、随机微分方程等方面也做出了较好的工作。
2. 马尔可夫过程发展
2.1 马尔可夫过程简介
马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。
2.2 马尔可夫过程的发展
20世纪50年代以前，研究马尔可夫过程的主要工具是微分方程和半群理论（即分析方法）；1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并
形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。
出于扩大极限定理应用范围的目的，马尔科夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔科夫链的著名概率模型。也是在这篇论文里，马尔科夫建立了这种链的大数定律。
用一个通俗的比喻来形容，一只被切除了大脑的白鼠在若干个洞穴间的蹿动就构成一个马尔科夫链。因为这只白鼠已没有了记忆，瞬间而生的念头决定了它从一个洞穴蹿到另一个洞穴；当其所在位置确定时，它下一步蹿往何处与它以往经过的路径无关。这一模型的哲学意义是十分明显的，用前苏联数学家辛钦（1894－1959〕的话来说，就是承认客观世界中有这样一种现象，其未来由现在决定的程度，使得我们关于过去的知识丝毫不影响这种决定性。这种在已知“现在”的条件下，“未来”与“过去”彼此独立的特性就被称为马尔科夫性，具有这种性质的随机过程就叫做马尔科夫过程，其最原始的模型就是马尔科夫链。
这既是对荷兰数学家惠更斯（Ch. Huygens, 1629－1659）提出的无后效原理的概率推广，也是对法国数学家拉普拉斯（P. S. Laplace, 1749－1827）机械决定论的否定。
这里应该指出，尽管拉普拉斯对概率论的早期发展作出过重大贡献，但是他的部分哲学观点是不利于这门学科的深入发展的。十八世纪以来，随着牛顿力学的彻底胜利，一种机械唯物主义的决定论思潮开始在欧洲科学界蔓延，鼓吹最力者就是拉普拉斯。1759年他在巴黎高等师范学院发表了一篇题为《概率论的哲学探讨》的演讲，淋漓尽致地表达出了这种思想。他说：“假如有人知道了某一时刻支配自然的一切力，以及它的一切组成部分的相对位置，又假如他的智力充分发达，能把这一切数据加以充分的分析，把整个宇宙中从最巨大的天体到最微小的原子的一切运动完全包括在一个公式里面，这样对他就没有什么东西是不确定的了，未来也好，过去也好，他都能纵览无遗。”1812年，拉普拉斯又进一步提出“神圣计算者”的观念，认为这个理想的数学家只须知道世界某一时刻的初始状态，就可以从一个无所不包的微分方程中算出过去和未来的一切状态。换句话说，他认为任意系统在 t > t0时的状态 x可由其初始时刻 t0和初始状态 x0唯一决定。这可真是笔判终身、细评流年，数学家可以摆个卦摊了。马尔科夫的概率模型从根本上否定了系统中任一状态 x与其初始状态 x0之间的因果必然性，从而也否定了“神圣计算者”的神话。
还应该指出，马尔科夫所建立的概率模型不但具有深刻的哲学意义，而且具有真实的物质背景，在他的工作之前或同时，一些马尔科夫链或更复杂的随机过程的例子已出现在某些人的研究中，只不过这些人没有自觉地认识到这类模型的普遍意义或用精确的数学语言表述出来罢了。例如苏格兰植物学家布朗 ( R. Brown, 1773－1858) 于1827年发现的悬浮微粒的无规则运动、英格兰遗传学家高尔顿（F.Galton, 1822－1911) 于1889年提出的家族遗传规律、荷兰物理学家埃伦费斯特 ( P. Ehrenfest, 1880－1933) 于1907年关
于容器中分子扩散的实验，以及传染病感染的人数，谣言的传播，原子核中自由电子的跃迁，人口增长的过程等等，都可用马尔科夫链或过程来描述。也正是在统计物理、量子力学、遗传学以及社会科学的若干新课题、新事实面前，决定论的方法显得百孔千疮、踵决肘见。
有趣的是，马尔科夫本人没有提到他的概率模型在物理世界的应用，但是他利用了语言文学方面的材料来说明链的性质。在《概率演算》第四版中，他统计了长诗《叶甫盖尼·奥涅金》中元音字母和辅音字母交替变化的规律：这是长诗开头的两句，意为：“我不想取悦骄狂的人生，只希望博得朋友的欣赏。”诗人那火一般的诗篇在数学家那里变成了一条冷冰冰的锁链：在这条锁链上只有两种链环，C代表辅音、 代表元音（为了使问题简化起见，不仿把两个无音字母算作辅音）。马尔科夫分别统计了在C后面出现C和 的概率p和1－p，以及在 后出现C和 的概率q和1－q，把结果与按照俄语拼音规则计算出的结果进行比较，证实了语言文字中随机的（从概率的意义上讲）字母序列符合他所建立的概率模型。
完成了关于链的大数定律的证明之后，马尔科夫又开始在一系列论文中研究链的中心极限定理。1907年他在《一种不平常的相依试验》中证明了齐次马尔科夫链的渐近正态性；1908年在《一个链中变量和的概率计算的极限定理推广》中作了进一步的推广；1910年他发表了重要的论文《成连锁的试验》，在其中证明了两种情况的非齐次马尔科夫链的中心极限定理。与此同时他在一些假定的前提下证明了模型的各态历经性，成为在统计物理中具有重要作用的遍历理论中第一个被严格证明的结果。遍历理论亦称ergodic理论, 是奥地利物理学家玻耳兹曼（L. Boltzmann, 1844－1906) 于1781年提出来的，其大意是：一个系统必将经过或已经经过其总能量与当时状态相同的另外的任何状态。 马尔科夫链的引入，在物理、化学、天文、生物、经济、军事等科学领域都产生了连锁性的反应，很快地涌现出一系列新的课题、新的理论和新的学科，并揭开了概率论中一个重要分支－－随机过程理论蓬勃发展的序幕。
3 马尔可夫过程的应用
3.1 马尔可夫应用概述
马尔可夫随机过程的发展史说明了理论与实际之间的密切关系。许多研究方向的提出，归根到底是有其实际背景的。反过来，当这些方向被深入研究后，又可指导实践，进一步扩大和深化应用范围。下面简略介绍一下马尔可夫随机过程本身在各方面的应用情况。
在物理学方面，高能电子或核子穿过吸收体时，产生级联（或倍增）现象,在研究电了-光子级联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为实际级联的近似，有时还要用到更新过程（见点过程）的概念。当核子穿到吸收体的某一深度时，则可用扩散方程来计算核子的概率分布。物理学中的放射性衰变，粒子计数器，原子核照相乳胶中的径迹理论和原子核反应堆中的问题等的研究，都要用到泊松过程和更新理论。湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到
随机场的理论。探讨太阳黑子的规律及其预测时，时间序列方法非常有用。
化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题,自动催化反应，单分子反应,双分子反应及一些连锁反应的动力学模型等，都要以生灭过程（见马尔可夫过程）来描述。
随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构造生物现象的模型。研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体间竞争与生尅模型，群体迁移模型，增长过程的扩散模型等等。有些生物现象还可以利用时间序列模型来进行预报。传染病流行问题要用到具有有限个状态的多变量非线性生灭过程。在遗传问题中，着重研究群体经过多少代遗传后，进入某一固定类和首次进入此固定类的时间，以及最大基因频率的分布等。
许多服务系统，如电话通信，船舶装卸，机器损修，病人候诊，红绿灯交换，存货控制，水库调度，购货排队，等等，都可用一类概率模型来描述。这类概率模型涉及的过程叫排队过程，它是点过程的特例。排队过程一般不是马尔可夫型的。当把顾客到达和服务所需时间的统计规律研究清楚后，就可以合理安排服务点。
在通信、雷达探测、地震探测等领域中，都有传递信号与接收信号的问题。传递信号时会受到噪声的干扰，为了准确地传递和接收信号，就要把干扰的性质分析清楚，然后采取办法消除干扰。这是信息论的主要目的。噪声本身是随机的，所以概率论是信息论研究中必不可少的工具。信息论中的滤波问题就是研究在接收信号时如何最大限度地消除噪声的干扰，而编码问题则是研究采取什么样的手段发射信号，能最大限度地抵抗干扰。在空间科学和工业生产的自动化技术中需要用到信息论和控制理论，而研究带随机干扰的控制问题，也要用到马尔可夫随机过程。
3.2 一种新的马尔可夫模型应用举例
隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态变迁概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。
隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有响应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。自20世纪80年代以来，HMM被应用于语音识别，取得重大成功。到了90年代，HMM还被引入计算机文字识别和移动通信核心技术“多用户的检测”。近年来，HMM在生物信息科学、故障诊断等领域也开始得到应用。
附：与马尔可夫过程相关的历史事件
1997年提出在因果马尔科夫条件下,可以由网络的条件独立和条件相关关系推断因果关系。
夸（Qllah）于 1993年采用马尔科夫涟模型 对欧洲经济的发展作了进一步分析，认为以前传统的经验方法对研究收敛性有时可能有 误导作用。
1991年Cohen等采用高斯一马尔科夫随机场(GMRF)纹理模型对织物疵点的检测进行了研究,从正常纹理中提取模型参数,再通过统计假设检验判别疵点。
1990年 撰写“马尔科夫链预测技术的应用”等论文 1992年之后撰写成“现代控制理论在森林资源动态预测中的应用”和“森林资源动态系统Kalman滤波”等文章。
1973年Dudley“和Burt把动态规划应用于灌溉水库的管理上,利用马尔科夫链的转移概率对递推动态方程加权。
直到 1971年 Hammersly等提出H C定理 从理论上证明了马尔科夫性与吉布斯分布等价性 以吉布斯为代表的随机场理论才得到空前发展与运用。
1948年,Shannon首先证明遍历齐次马尔科夫链的极限是存在的;1957年,Briemann证明了平稳遍历的马尔科夫链的极限是存在的。
1940年克拉默斯(Kramers)将裂变过程看作复合核内部的各种可能的分裂碎片的无规运动行为,但不是完全随机行为,而是仅保持对前一步记忆的马尔科夫无规运动,例如布朗运动。
马尔可夫链(过程)的发展与应用
1. 随机过程发展简述
在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。
一些特殊的随机过程早已引起注意，例如1907年前后，Α.Α.马尔可夫研究过一列有特定相依性的随机变量，后人称之为马尔可夫链（见马尔可夫过程）；又如1923年N.维纳给出了布朗运动的数学定义（后人也称数学上的布朗运动为维纳过程），这种过程至今仍是重要的研究对象。虽然如此，随机过程一般理论的研究通常认为开始于30年代。1931年，Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》；三年后，Α.Я.辛钦发表了《平稳过程的相关理论》。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。稍后，P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。1953年，J.L.杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。1951年伊藤清建立了关于布朗运动的随机微分方程的理论(见随机积分)，为研究马尔可夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程；而流形上的随机微分方程的理论，正方兴未艾。60年代，法国学派基于马尔可夫过程和位势理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、鞅论、极限定理、随机微分方程等方面也做出了较好的工作。
2. 马尔可夫过程发展
2.1 马尔可夫过程简介
马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。
2.2 马尔可夫过程的发展
20世纪50年代以前，研究马尔可夫过程的主要工具是微分方程和半群理论（即分析方法）；1936年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并
形成了对轨道分析必不可少的强马尔可夫性概念。1942年，伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程，开辟了研究马尔可夫过程的又一重要途径。
出于扩大极限定理应用范围的目的，马尔科夫在20世纪初开始考虑相依随机变量序列的规律，并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中，第一次提到这种如同锁链般环环相扣的随机变量序列，其中某个变量各以多大的概率取什么值，完全由它前面的一个变量来决定，而与它更前面的那些变量无关。这就是被后人称作马尔科夫链的著名概率模型。也是在这篇论文里，马尔科夫建立了这种链的大数定律。
用一个通俗的比喻来形容，一只被切除了大脑的白鼠在若干个洞穴间的蹿动就构成一个马尔科夫链。因为这只白鼠已没有了记忆，瞬间而生的念头决定了它从一个洞穴蹿到另一个洞穴；当其所在位置确定时，它下一步蹿往何处与它以往经过的路径无关。这一模型的哲学意义是十分明显的，用前苏联数学家辛钦（1894－1959〕的话来说，就是承认客观世界中有这样一种现象，其未来由现在决定的程度，使得我们关于过去的知识丝毫不影响这种决定性。这种在已知“现在”的条件下，“未来”与“过去”彼此独立的特性就被称为马尔科夫性，具有这种性质的随机过程就叫做马尔科夫过程，其最原始的模型就是马尔科夫链。
这既是对荷兰数学家惠更斯（Ch. Huygens, 1629－1659）提出的无后效原理的概率推广，也是对法国数学家拉普拉斯（P. S. Laplace, 1749－1827）机械决定论的否定。
这里应该指出，尽管拉普拉斯对概率论的早期发展作出过重大贡献，但是他的部分哲学观点是不利于这门学科的深入发展的。十八世纪以来，随着牛顿力学的彻底胜利，一种机械唯物主义的决定论思潮开始在欧洲科学界蔓延，鼓吹最力者就是拉普拉斯。1759年他在巴黎高等师范学院发表了一篇题为《概率论的哲学探讨》的演讲，淋漓尽致地表达出了这种思想。他说：“假如有人知道了某一时刻支配自然的一切力，以及它的一切组成部分的相对位置，又假如他的智力充分发达，能把这一切数据加以充分的分析，把整个宇宙中从最巨大的天体到最微小的原子的一切运动完全包括在一个公式里面，这样对他就没有什么东西是不确定的了，未来也好，过去也好，他都能纵览无遗。”1812年，拉普拉斯又进一步提出“神圣计算者”的观念，认为这个理想的数学家只须知道世界某一时刻的初始状态，就可以从一个无所不包的微分方程中算出过去和未来的一切状态。换句话说，他认为任意系统在 t > t0时的状态 x可由其初始时刻 t0和初始状态 x0唯一决定。这可真是笔判终身、细评流年，数学家可以摆个卦摊了。马尔科夫的概率模型从根本上否定了系统中任一状态 x与其初始状态 x0之间的因果必然性，从而也否定了“神圣计算者”的神话。
还应该指出，马尔科夫所建立的概率模型不但具有深刻的哲学意义，而且具有真实的物质背景，在他的工作之前或同时，一些马尔科夫链或更复杂的随机过程的例子已出现在某些人的研究中，只不过这些人没有自觉地认识到这类模型的普遍意义或用精确的数学语言表述出来罢了。例如苏格兰植物学家布朗 ( R. Brown, 1773－1858) 于1827年发现的悬浮微粒的无规则运动、英格兰遗传学家高尔顿（F.Galton, 1822－1911) 于1889年提出的家族遗传规律、荷兰物理学家埃伦费斯特 ( P. Ehrenfest, 1880－1933) 于1907年关
于容器中分子扩散的实验，以及传染病感染的人数，谣言的传播，原子核中自由电子的跃迁，人口增长的过程等等，都可用马尔科夫链或过程来描述。也正是在统计物理、量子力学、遗传学以及社会科学的若干新课题、新事实面前，决定论的方法显得百孔千疮、踵决肘见。
有趣的是，马尔科夫本人没有提到他的概率模型在物理世界的应用，但是他利用了语言文学方面的材料来说明链的性质。在《概率演算》第四版中，他统计了长诗《叶甫盖尼·奥涅金》中元音字母和辅音字母交替变化的规律：这是长诗开头的两句，意为：“我不想取悦骄狂的人生，只希望博得朋友的欣赏。”诗人那火一般的诗篇在数学家那里变成了一条冷冰冰的锁链：在这条锁链上只有两种链环，C代表辅音、 代表元音（为了使问题简化起见，不仿把两个无音字母算作辅音）。马尔科夫分别统计了在C后面出现C和 的概率p和1－p，以及在 后出现C和 的概率q和1－q，把结果与按照俄语拼音规则计算出的结果进行比较，证实了语言文字中随机的（从概率的意义上讲）字母序列符合他所建立的概率模型。
完成了关于链的大数定律的证明之后，马尔科夫又开始在一系列论文中研究链的中心极限定理。1907年他在《一种不平常的相依试验》中证明了齐次马尔科夫链的渐近正态性；1908年在《一个链中变量和的概率计算的极限定理推广》中作了进一步的推广；1910年他发表了重要的论文《成连锁的试验》，在其中证明了两种情况的非齐次马尔科夫链的中心极限定理。与此同时他在一些假定的前提下证明了模型的各态历经性，成为在统计物理中具有重要作用的遍历理论中第一个被严格证明的结果。遍历理论亦称ergodic理论, 是奥地利物理学家玻耳兹曼（L. Boltzmann, 1844－1906) 于1781年提出来的，其大意是：一个系统必将经过或已经经过其总能量与当时状态相同的另外的任何状态。 马尔科夫链的引入，在物理、化学、天文、生物、经济、军事等科学领域都产生了连锁性的反应，很快地涌现出一系列新的课题、新的理论和新的学科，并揭开了概率论中一个重要分支－－随机过程理论蓬勃发展的序幕。
3 马尔可夫过程的应用
3.1 马尔可夫应用概述
马尔可夫随机过程的发展史说明了理论与实际之间的密切关系。许多研究方向的提出，归根到底是有其实际背景的。反过来，当这些方向被深入研究后，又可指导实践，进一步扩大和深化应用范围。下面简略介绍一下马尔可夫随机过程本身在各方面的应用情况。
在物理学方面，高能电子或核子穿过吸收体时，产生级联（或倍增）现象,在研究电了-光子级联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为实际级联的近似，有时还要用到更新过程（见点过程）的概念。当核子穿到吸收体的某一深度时，则可用扩散方程来计算核子的概率分布。物理学中的放射性衰变，粒子计数器，原子核照相乳胶中的径迹理论和原子核反应堆中的问题等的研究，都要用到泊松过程和更新理论。湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到
随机场的理论。探讨太阳黑子的规律及其预测时，时间序列方法非常有用。
化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题,自动催化反应，单分子反应,双分子反应及一些连锁反应的动力学模型等，都要以生灭过程（见马尔可夫过程）来描述。
随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构造生物现象的模型。研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体间竞争与生尅模型，群体迁移模型，增长过程的扩散模型等等。有些生物现象还可以利用时间序列模型来进行预报。传染病流行问题要用到具有有限个状态的多变量非线性生灭过程。在遗传问题中，着重研究群体经过多少代遗传后，进入某一固定类和首次进入此固定类的时间，以及最大基因频率的分布等。
许多服务系统，如电话通信，船舶装卸，机器损修，病人候诊，红绿灯交换，存货控制，水库调度，购货排队，等等，都可用一类概率模型来描述。这类概率模型涉及的过程叫排队过程，它是点过程的特例。排队过程一般不是马尔可夫型的。当把顾客到达和服务所需时间的统计规律研究清楚后，就可以合理安排服务点。
在通信、雷达探测、地震探测等领域中，都有传递信号与接收信号的问题。传递信号时会受到噪声的干扰，为了准确地传递和接收信号，就要把干扰的性质分析清楚，然后采取办法消除干扰。这是信息论的主要目的。噪声本身是随机的，所以概率论是信息论研究中必不可少的工具。信息论中的滤波问题就是研究在接收信号时如何最大限度地消除噪声的干扰，而编码问题则是研究采取什么样的手段发射信号，能最大限度地抵抗干扰。在空间科学和工业生产的自动化技术中需要用到信息论和控制理论，而研究带随机干扰的控制问题，也要用到马尔可夫随机过程。
3.2 一种新的马尔可夫模型应用举例
隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态变迁概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。
隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有响应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。自20世纪80年代以来，HMM被应用于语音识别，取得重大成功。到了90年代，HMM还被引入计算机文字识别和移动通信核心技术“多用户的检测”。近年来，HMM在生物信息科学、故障诊断等领域也开始得到应用。
附：与马尔可夫过程相关的历史事件
1997年提出在因果马尔科夫条件下,可以由网络的条件独立和条件相关关系推断因果关系。
夸（Qllah）于 1993年采用马尔科夫涟模型 对欧洲经济的发展作了进一步分析，认为以前传统的经验方法对研究收敛性有时可能有 误导作用。
1991年Cohen等采用高斯一马尔科夫随机场(GMRF)纹理模型对织物疵点的检测进行了研究,从正常纹理中提取模型参数,再通过统计假设检验判别疵点。
1990年 撰写“马尔科夫链预测技术的应用”等论文 1992年之后撰写成“现代控制理论在森林资源动态预测中的应用”和“森林资源动态系统Kalman滤波”等文章。
1973年Dudley“和Burt把动态规划应用于灌溉水库的管理上,利用马尔科夫链的转移概率对递推动态方程加权。
直到 1971年 Hammersly等提出H C定理 从理论上证明了马尔科夫性与吉布斯分布等价性 以吉布斯为代表的随机场理论才得到空前发展与运用。
1948年,Shannon首先证明遍历齐次马尔科夫链的极限是存在的;1957年,Briemann证明了平稳遍历的马尔科夫链的极限是存在的。
1940年克拉默斯(Kramers)将裂变过程看作复合核内部的各种可能的分裂碎片的无规运动行为,但不是完全随机行为,而是仅保持对前一步记忆的马尔科夫无规运动,例如布朗运动。