您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
基于Markov模型建立适合我国的胃癌治疗药物经济学评价模型.pdf144页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
文档加载中...广告还剩秒
需要金币：200 &&
你可能关注的文档：
··········
··········
中图分类号 R94 学校代码 10533 UDC
610 密级 博士学位论文 基于Markov模型建立适合 中国的胃癌治疗药物经济学评价模型 modelof Build evaluation pharmacoeconomics cancerfittedChinabasedonMarkovmodel gastric 谭重庆 药 学 作学研
名业向 临床药学与药物经济学 学院 系、所 ： 中南大学药学院 指导教师： 彭六保教授 论文答辩日期童呈!垒三!望
答辩委员会主席 中
南 大 学 二0一四年四月
万方数据 学位论文原创性声明 本人郑重声明，所呈交的学位论文是本人在导师指导下进行的研 究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得中南大学或其他教育机构的学位或证书而使用过的材 料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确 的说明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 作者签名： 日期： 冱!绎厶妇 学位论文版权使用授权书 本学位论文作者和指导教师完全了解中南大学有关保留、使用学 位论文的规定：即学校有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版；本人允许本学位论文被查阅和借阅；学校可以 将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用 复印、缩印或其它手段保存和汇编本学位论文。 保密论文待解密后适应本声明。 作者签名： 导师签名 日期：趁!脚么月生日 吼婵年厶半日
万方数据 博士论文 中文摘要 基于Markov模型建立适合 中国的胃癌治疗药物经济学评价模型 摘要： 一、目的 1．从中国医疗保障角度出发，基于CLASSIC临床试验，对被实 施D2胃切除术II．IIIB期胃癌患者，比较术后使用卡培他滨
正在加载中，请稍后...Homogeneous: A Markov Chain is called homogeneous if the transition probabilities do not change in the progression of state transitions.
Ergodicity???: As the number of iterations on the Markov Chain approach infinity.A distribution independent of the initial distribution is invariant&to further simulation can be called the equilibrium distribution. An ergodic Markov chain can have only one equilibrium distribution.
蒙特卡洛模拟法简介
　　蒙特卡洛(Monte Carlo)模拟是一种通过设定随机过程，反复生成时间序列，计算参数估计量和统计量，进而研究其分布特征的方法。具体的，当系统中各个单元的可靠性特征量已知，但过于复杂，难以建立可靠性预计的精确数学模型或模型太复杂而不便应用时，可用随机模拟法近似计算出的预计值；随着模拟次数的增多，其预计精度也逐渐增高。由于涉及到时间序列的反复生成，蒙特卡洛模拟法是以高容量和高速度的计算机为前提条件的，因此只是在近些年才得到广泛推广。 　　这个术语是二战时期物理学家Metropolis执行曼哈顿计划的过程中提出来的。 　　蒙特卡洛模拟方法的原理是当问题或对象本身具有概率特征时，可以用计算机模拟的方法产生抽样结果，根据抽样计算统计量或者参数的值；随着模拟次数的增多，可以通过对各次统计量或参数的估计值求平均的方法得到稳定结论。
蒙特卡洛模拟法的应用领域　　蒙特卡洛模拟法的应用领域主要有： 　　1.直接应用蒙特卡洛模拟:应用大规模的随机数列来模拟复杂系统，得到某些参数或重要指标。 　　2.蒙特卡洛积分:利用随机数列计算积分，维数越高，积分效率越高。 　　3.MCMC:这是直接应用蒙特卡洛模拟方法的推广，该方法中随机数的产生是采用的马尔科夫链形式。
蒙特卡洛模拟法的概念　　（也叫随机模拟法）当系统中各个单元的可靠性特征量已知，但系统的可靠性过于复杂，难以建立可靠性预计的精确数学模型或模型太复杂而不便应用则可用随机模拟法近似计算出系统可靠性的预计值。随着模拟次数的增多，其预计精度也逐渐增高。由于需要大量反复的计算，一般均用计算机来完成。
蒙特卡洛模拟法求解步骤　　应用此方法求解工程技术问题可以分为两类:确定性问题和随机性问题。解题步骤如下： 　　1.根据提出的问题构造一个简单、适用的概率模型或随机模型，使问题的解对应于该模型中随机变量的某些特征（如概率、均值和方差等），所构造的模型在主要特征参量方面要与实际问题或系统相一致 　　2 .根据模型中各个随机变量的分布，在计算机上产生随机数，实现一次模拟过程所需的足够数量的随机数。通常先产生均匀分布的随机数，然后生成服从某一分布的随机数，方可进行随机模拟试验。 　　3. 根据概率模型的特点和随机变量的分布特性，设计和选取合适的抽样方法，并对每个随机变量进行抽样（包括直接抽样、分层抽样、相关抽样、重要抽样等）。 　　4.按照所建立的模型进行仿真试验、计算，求出问题的随机解。 　　5. 统计分析模拟试验结果，给出问题的概率解以及解的精度估计。 　　在可靠性分析和设计中，用蒙特卡洛模拟法可以确定复杂随机变量的概率分布和数字特征，可以通过随机模拟估算系统和零件的可靠度，也可以模拟随机过程、寻求系统最优参数等。
马尔科夫链蒙特卡洛方法(MCMC)
计算机模拟采用的方法来看,它大致可以分为两种类型:(1) 随机模拟方法或统计试验方法,又称蒙特卡洛(Monte Carlo)方法.它是通过不断产生随机数序列来模拟过程.自然界中有的过程本身就是随机的过程,物理现象中如粒子的衰变过程,粒子在介质中的输运过程...等.当然蒙特卡洛方法也可以借助慨率模型来解决不直接具有随机性的确定性问题.(2) 确定性模拟方法.它是通过数值求解一个个的粒子运动方程来模拟整个系统的行为.在统计物理中称为分子动力学(Molecular Dynamics)方法.关于分子动力学方法我们将在第六章中介绍.此外, 近年来还发展了神经元网络方法和原胞自动机方法.从蒙特卡洛模拟的应用来看,该类型的应用可以分为三种形式:(1) 直接蒙特卡洛模拟.它采用随机数序列来模拟复杂随机过程的效应.(2) 蒙特卡洛积分.这是利用随机数序列计算积分的方法.积分维数越高,该方法的积分效率就越高.(3) Metropolis蒙特卡洛模拟.这种模拟是以所谓"马尔科夫"(Markov)链的形式产生系统的分布序列.该方法可以使我们能够研究经典和量子多粒子系统的问题.
一, 基本思想
对求解问题本身就具有概率和统计性的情况,例如中子在介质中的传播,核衰变过程等,我们可以使用直接蒙特卡洛模拟方法.该方法是按照实际问题所遵循的概率统计规律,用电子计算机进行直接的抽样试验,然后计算其统计参数.直接蒙特卡洛模拟法最充分体现出蒙特卡洛方法无可比拟的特殊性和优越性,因而在物理学的各种各样问题中得到广泛的应用.该方法也就是通常所说的"计算机实验". 蒙特卡洛方法也可以人为地构造出一个合适的概率模型,依照该模型进行大量的统计实验,使它的某些统计参量正好是待求问题的解.这也就是所谓的间接蒙特卡洛方法.下面我们举两个最简单的例子来说明间接蒙特卡洛方法应用的内涵.
巴夫昂(Buffon)投针实验.该试验方案是:在平滑桌面上划一组相距为s的平行线,向此桌面随意地投掷长度ls=的细针,那末从针与平行线相交的概率就可以得到π的数值. 数学统计理论的简单地计算: 设针与平行线的垂直方向的夹角为α,那么针在与平行线垂直的方向上投影的长度为αcos l.对于确定的α夹角,细针与平行线相交的概率为投影长度与平行线间距之比,
蒙特卡洛方法的基本思想:
当问题可以抽象为某个确定的数学问题时,应当首先建立一个恰当的概率模型,即确定某个随机事件A或随机变量X,使得待求的解等于随机事件出现的概率或随机变量的数学期望值.然后进行模拟实验,即重复多次地模拟随机事件A或随机变量X.最后对随机实验结果进行统计平均,求出A出现的频数或X的平均值作为问题的近似解.这种方法也叫做间接蒙特卡洛模拟.
从上面的分析看到,蒙特卡洛方法的误差与和n有关.为了减小误差,就应当选取最优的随机变量,使其方差最小.对同一个问题,往往会有多个可供选择的随机变量,这时就应当择优而用之.在方差固定时,增加模拟次数可以有效地减小误差.如试验次数增加100倍,精度提高10倍.当然这样做就增加了计算的机时,提高了费用.所以在考虑蒙特卡洛方法的精确度时,不能只是简单地减少方差和增加模拟次数,还要同时兼顾计算费用,即机时耗费.通常以方差和费用的乘积作为衡量方法优劣的标准.
马尔科夫蒙特卡洛
(MCMC) 方法 (含
蒙特卡洛 方法) 是一组
用马氏链从 取样，之前步骤的作为底本. 步数越多，结果越好.
建立一个指定属性的马氏链并非难事. 难的是如何在许可误差内得出限定步数. 马氏链还可以有 快速混合——从开始阶段迅速获得的一个稳定状态—请参考 .
因于初始样本，最常见的MCMC取样只能近似得到分布. 复杂的MCMC改进算法如
，但是会消耗更多的计算资源和时间.
典型用法是模拟一个随机行走的行人来进行路径优化等. 每一步都算作是一个状态. 而统计经过次数最多的地方将在下一步中更有可能为目的地. 马氏蒙特卡洛方法是一种结合了的解决方案. 但不同于以往的蒙特卡洛 integration 是的, MCMC中的是的.
本方法的相关应用包括：, ,
以及 , 此外还有Gill先生的一些著作。
Jeff Gill. . Second Edition. London: Chapman and Hall/CRC. 2008.
. &/ref& and Robert & Casella.
随机行进算法
马氏链性质决定了下一个方位取决于当前状态和随机变量. 这样的性质决定了最终所有的空间将被覆盖但是却需要花费较长时间. 下面给出MCMC方法:
: 给出预见密度和回绝按照给出方向前进的方法.
: 取目标区域所有的样本.
: 的改良版本.
MCMC 方法是使用马尔科夫链的蒙特卡罗积分，其基本思想是：构造一条 Markov 链使其平稳分布为待估参数的后验分布，通过这条马尔科夫链产生后验分布的样本，并基于马尔科夫链达到平稳分布时的样本(有效样本)进行蒙特卡罗积分。设为某一空间 n 为产生的总样本数 m 为链条达到平稳时的样本数 则 MCMC 方法的基本思路可概括为：
构造Markov链。构造一条Markov链，使其收敛到平稳分布；
产生样本：由中的某一点出发，用i中的Markov链进行抽样模拟，产生点序列：
蒙特卡罗积分。任一函数的期望估计为：
在采用 MCMC 方法时 马尔科夫链转移核的构造至关重要，不同的转移核构造方法 将产生不同的 MCMC 方法，目前常用的 MCMC 方法主要有两种 Gibbs 抽样和Metropo- Lis-Hastings算法。
l Gibbs '抽样'
Gibbs 抽样是现实中最简单 应用最广泛的 MCMC 方法，由 Geman 最初命名提出 其基础思路如下：
给定任意的初始向量；
从中抽取样本
从中抽取样本
从中抽取样本
从中抽取样本
至此，完成的转移。经过 n 次迭代，可得后验样本。根据后验样本可计算后验分布的各阶矩，进行相应的统计推断。
Metropolis-Hastings '算法'
Metropolis-Hastings 算法是较早出现且比较一般化的MCMC 方法，最初由 Metropolis 等人在 1953 年提出 之后由Hastings 对其加以推广 形成了，Metropolis-Hastings 方法。该方法的基本思路是：选择一转移函数和初始值，若第次迭代开始时的参数值为
，则第次迭代过程为：
从中抽取一个备选值
计算接受概率
以概率，置，以概率，置；
重复i –iii 次，则可得后验样本。根据后验样本可计算后验分布的各阶矩，进行相应的统计推断。
Christian P Robert & Casella G. . Second Edition. New York: Springer. 2004.
Christophe Andrieu et al., , 2003
Bernd A. Berg. "Markov Chain Monte Carlo Simulations and Their Statistical Analysis". Singapore, World Scientific 2004.
George Casella and Edward I. George. "Explaining the Gibbs sampler". The American Statistician, 46:167–174, 1992. (Basic summary and many references.)
A.E. Gelfand and A.F.M. Smith. "Sampling-Based Approaches to Calculating Marginal Densities". J. American Statistical Association, 85:398–409, 1990.
, John B. Carlin, Hal S. Stern, and Donald B. Rubin. Bayesian Data Analysis. London: Chapman and Hall. First edition, 1995. (See Chapter 11.)
S. Geman and D. Geman. "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images". IEEE Transactions on Pattern Analysis and Machine Intelligence, 6:721–741, 1984.
Radford M. Neal, , 1993.
Gilks W.R., Richardson S. and Spiegelhalter D.J. "Markov Chain Monte Carlo in Practice". Chapman & Hall/CRC, 1996.
C.P. Robert and G. Casella. "Monte Carlo Statistical Methods" (second edition). New York: Springer-Verlag, 2004.
R. Y. Rubinstein and D. P. Kroese. Simulation and the Monte Carlo Method (second edition). New York: John Wiley & Sons, 2007.
R. L. Smith "Efficient Monte Carlo Procedures for Generating Points Uniformly Distributed Over Bounded Regions", Operations Research, Vol. 32, pp. , 1984.
Asmussen and Glynn "Stochastic Simulation: Algorithms and Analysis", Springer. Series: Stochastic Modelling and Applied Probability, Vol. 57, 2007.
P. Atzberger, "An Introduction to Monte-Carlo Methods." .
Bolstad, William M. (2010) Understanding Computational Bayesian Statistics, John Wiley
, , Bull. Amer. Math. Soc. (2009)
Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP, , Numerical Recipes: The Art of Scientific Computing. 3rd, New York: Cambridge University Press. 2007,
, "The Evolution of Markov Chain Monte Carlo Methods", The American Mathematical Monthly, May 3
, by Alexander Mantzaris
, by Laird Breyer
, by Zhiyuan Weng
, by Stijn van Dongen
and Robert & Casella.
Markov chain Monte Carlo methods that change dimensionality have also long been used in
基于马尔科夫链蒙特卡洛粒子滤波的目标跟踪方法&&&【公开号】& CNA& 【公开日】& &【申请人】& 哈尔滨工程大学& 【地址】& 150001 黑龙江省哈尔滨市南岗区南通大街145号哈尔滨工程大学科技处知识产权办公室&【发明人】& 杨萌;高伟;郝燕玲&【摘要】& 本发明提供的是一种基于马尔科夫链蒙特卡洛粒子滤波的目标跟踪方法：1、初始时刻,由初始分布中得到一组初始粒子,并设置其初始的均值和方差；2、重要性采样；3、权值更新；4、得到归一化的权值；5、再采样；6、引入MCMC移动步骤；7、状态更新。本发明通过MCMC移动步骤,将粒子推向先验分布和后验分布都较大的区域,改善粒子多样性,在一定程度上抑制样本贫化问题。样本贫化问题的解决使得算法再采样的效果得到保证,进而可以提高滤波的精度。MCMC移动步骤比较容易实现,因此可以与其它改进步骤结合运用对粒子滤波进行优化。MCMC步骤的加入增加了滤波方法的运算量,但另一方面降低了精确估计所需要的粒子数,提高了滤波的效率。&【主权项】& 一种基于马尔可夫链蒙特卡罗粒子滤波的目标跟踪方法,其特征是主要包括如下步骤：第一步,初始时刻,由初始分布p(x0)中得到一组初始粒子,并设置其初始的均值和方差；第二步,重要性采样(1)根据标准无迹粒子滤波算法以及基于超球面采样的无迹粒子滤波对粒子的状态进行更新；或采取混合建议分布,即一部分粒子通过标准无迹粒子滤波或算法以及基于超球面采样的无迹粒子滤得到,剩余部分由先验分布产生；(2)求粒子集的均值和方差Pki；(3)从重要性密度函数中抽取粒子；第三步,权值更新 w k&
双随机过程、考克斯过程和蒙特卡洛马尔科夫链方法(
马尔可夫链
马尔可夫链，因安德烈?马尔可夫（A.A.Markov，）得名，是中具有马尔可夫性质的离散时间。该过程中，在给定当前或的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
　　马尔可夫链是具有马尔科夫性质的随机X_1,X_2,X_3...的一个数列。这些变量的范围，即它们所有可能取值的，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件分布仅是X_n的一个，则 　　P(X_{n+1}=x|X_1=x_1, X_2=x_2, ..., X_n=x_n) = P(X_{n+1}=x|X_n=x_n). 　　这里x为过程中的某个状态。上面这个恒等式可以被看作是性质。
　　马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由在1936年给出的。 　　马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 　　物理马尔可夫链通常用来排队理论和统计学中的建模，还可作为信号模型用于技术，如（著名的数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于，用以编码区域或基因预测。 　　马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
马尔可夫过程
　　马尔可夫过程的定义： 　　（1）设{(X(t),t∈T)}是一个随机过程，如果{X(t),t∈T)}在t0时刻所处的状态为已知时，它在时刻t&t0之前所处的状态无关，则称{X(t),t∈T)}具有马尔可夫性。 　　（2）设{X(t),t∈T)}的状态空间为S，如果对于任意的n≧2，任意的t1&t2&....&tn∈T,在条件X(ti)=xi, xi∈S, i=1,2,...,n-1下，X(tn)的条件分布函数恰好等于在条件X(tn-1)=xn-1下的条件分布函数，即 　　P(X(tn)&=xn|X(t1)=x1,X(t2)=x2,...,X(tn-1)=xn-1) 　　=P(X(tn)&=xn|X(tn-1)=xn-1) 　　则称{(X(t),t∈T)}为马尔可夫过程。 　　马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”。马尔可夫链还被用于谱曲。 　　它们是后面进行推导必不可少的条件:(1)尺度间具有马尔可夫性质.随机场从上到下形成了马尔可夫链,即 Xi 的分布只依赖于 Xi,与其他更粗 糙的尺度无关,这是因为 Xi 已经包含了所有位于其上层的尺度所含有的信息.(2) 随机场像素的条件独立性.若 Xi 中像素的父节点已知,则 Xi 中的像素彼此独立.这一性质使我们不必再考虑平面中相邻像素间的关系,而转为研究尺度间相邻像素(即节点)间的关系.(3) 设在给定 Xn 的情况下,Y 中的像素彼此独立.(4) 可分离性.若给定任一节点 xs,则以其各子节点为根的子树所对应的变量相互独立. 　　从只有一个节点的根到和图像大小一致的,建立了完整的四叉树模型,各层间的马尔可夫链的因果关系使我们可以由非迭代的推导过程快速计算出 X 的最大后验概率或后验边缘概率.
　　完整的四叉树模型也存在一些问题.(1) 因概率值过小,计算机的精度难以保障而出现下溢,若层次多,这一问题更为突出.虽然可以通过取对数的方法将接近于 0 的小值转换成大的负值,但若层次过多、概率值过小,该方法也难以奏效,且为了这些转换所采用的技巧又增加了不少计算量.(2) 当图像较大而导致层次较多时,逐层 的计 算甚 为繁琐 下 溢 现象肯定 会出 现 , 存储中 间变 量也 会占 用大 量空 间 , 在时 间空间 上都 有更 多的 开销 . 　　(3) 分层模型存在块效应,即区域边界可能出现跳跃,因为在该模型中,同一层随机场中相邻的像素不一定有同一个父节点,同一层的相邻像素间又没有交互,从而可能出现边界不连续的现象.
　　为了解决这些问题,我们提出一种新的分层 MRF 模型——半树模型,其结构和图1 5类似,仍然是四叉树, 　　只是层数比完整的四叉树大大减少,相当于将完整的四叉树截为两部分,只取下面的这部分.模型最下层仍和图像大小一致,但最上层则不止一个节点.完整的四叉树模型所具有的性质完全适用于半树模型,不同点仅在于最上层,完整的树模型从上到下构成了完整的因果依赖性,而半树模型的层间因果关系被截断,该层节点的父节点及祖先均被删去,因此该层中的各节点不具有条件独立性,即不满足上述的性质 2,因而对这一层转为考虑层内相邻节点间的关系.半树模型和完整的树模型相比,层次减少了许多,这样,层次间的信息传递快了,概率值也不会因为过多层次的逐层计算而小到出现下溢.但第 0 层带来了新的问题,我们必须得考虑节点间的交互,才能得出正确的推导结果,也正是因为在 第 0 层考虑了相邻节点间的影响,使得该模型的块现象要好于完整的树模型.对于层次数的选取,我们认为不宜多,太多则达不到简化模型的目的,其优势体现不出来,但也不能太少,因为第 0 层的概率计算仍然要采用非迭代的算法,层数少表明第 0 层的节点数仍较多,计算费时,所以在实验中将层数取为完整层次数的一半或一半稍少.
　　3半树模型的 MPM 算法 　　即已知观测图像 y,估计 X 的配置,采用贝叶斯估计器,可由一个优化问题来表示: 　　?x = arg min [E C ( x, x )′ | Y = y] ,x其中代价函数 C 给出了真实配置为 x 而实际分割结果为 x′时的代价.在已知 y 的情况下,最小化这一代价的期望,从而得到最佳的分割.代价函数取法不同得到了不同的估计器,若 C(x,x′)=1?δ(x,x′)(当 x=x′时δ(x,x′)=1,否则 δ(x,x′)=0)得到的是 MAP 估计器,它意味着 x 和 x′只要在一个像素处有不同,则代价为 1,对误分类的惩罚比较重,汪西莉 等:一种分层马尔可夫图像模型及其推导算法 　　而在实际中存在一些误分类是完全允许的.若将半树模型的 MPM 算法记为 HT-MPM,它分为向上算法和向下算法两步,向上算法自下而上根据式(2)、 式 (3)逐层计算P(yd(s)|xs)和 P(xs,xρ(s)|yd(s)), 对最下层 P(yd(s)|xs)=P(ys|xs). 向下算法自上而下根据 式 (1)逐层计算 P(xs|y),对最上层由 P(x0|y)采样 x0(1),…,x0(n),
　　马尔可夫链，因安德烈·马尔可夫（A.A.Markov，）得名，是数学中具有马尔可夫性质的离散时间。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。 　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为Xn = X(n),n = 1,2,3,4····。 　　马尔可夫链是随机变量的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则 　　这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。 　　马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 　　马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 　　马尔可夫链是满足下面两个假设的一种随机过程： 　　1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关； 　　2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下： 　　1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或Si,Sj)等来表示状态。 　　2）是系统的状态转移概率，其中Pij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有。 　　3）是系统的初始概率分布，qi是系统在初始时刻处于状态i的概率，满足。
　　马尔可夫链模型的性质 　　马尔可夫链是由一个条件分布来表示的 　　P(Xn + 1 | Xn) 　　这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质： 　　同样： 　　这些式子可以通过乘以转移概率并求k?1次积分来一般化到任意的将来时间n+k。 　　边际分布P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述： 　　这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足： 　　其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。 　　平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。
　　离散状态空间中的马尔可夫链模型 　　如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“”： 　　Pij = P(Xn + 1 = i | Xn = j) 　　对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果是一步转移矩阵，就是k步转移后的转移矩阵。 　　平稳分布是一个满足以下方程的向量： 　　在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。 　　如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布π * ，并且， 　　独立于初始分布π。这是由Perron-Frobenius theorem所指出的。 　　正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个，当且仅当这是某个马尔可夫链中转移概率的矩阵。 　　注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。 　　转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程
　　马尔可夫链模型的应用
科学中的应用
　　马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽还被用于生物信息学，用以编码区域或基因预测。马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
人力资源中的应用
　　马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。
马尔可夫链
一个具有两个转换状态的马尔可夫链.
马尔可夫链，因得名，是数学中具有的离散时间。该过程中，在给定当前知识或信息的情况下，只有当前的状态用来预测将来，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态,也可以保持当前状态。状态的改变叫做过渡，与不同的状态改变相关的概率叫做过渡概率。就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的(无论之前漫步路径是如何的)。
在首先做出了这类过程。而将此一般化到是由在给出的。马尔可夫链与以及这两个初期重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件的扩张。
马尔可夫链是的一个。这些变量的范围，即他们所有可能取值的，被称为“状态空间”，而的值则是在时间的状态。如果对于过去状态的仅是的一个，则
这里为过程中的某个状态。上面这个可以被看作是。
马尔可夫链是由一个来表示的
这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：
这些式子可以通过乘以转移概率并求次来一般化到任意的将来时间。
是在时间为时的状态的分布。初始分布为。该过程的变化可以用以下的一个时间步幅来描述：
这是 ()的一个版本。这时可能存在一个或多个状态分布满足
其中只是为了便于对变量积分的一个名义。这样的分布被称作是“”（Stationary Distribution）或者“”（Steady-state Distribution）。一个平稳分布是一个对应于为的条件分布函数的。
平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。
各态历遍性 各态历经性
平稳状态分析和极限分布
可反转马尔可夫链
可反转马尔可夫链类似于应用来反转一个条件概率:
以上就是反转的马尔可夫链。因而，如果存在一个π，使得:
那么这个马尔可夫链就是可反转的。
这个条件也被称为 (detailed balance)条件。
对于所有的i求和:
所以，对于可反转马尔可夫链，π总是一个。
有限状态空间中的马尔可夫链
如果状态空间是有限的，则转移概率分布可以表示为一个具有元素的矩阵，称之为“转移矩阵”：
对于一个离散状态空间，步转移概率的积分即为求和，可以对转移矩阵求次幂来求得。就是说，如果是一步转移矩阵，就是步转移后的转移矩阵。
平稳分布是一个满足以下方程的矢量
在此情况下，稳态分布 是一个对应于特征根为的、该转移矩阵的特征矢量。
如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布
独立于初始分布。这是由所指出的。
正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个，当且仅当这是某个马尔可夫链中转移概率的矩阵。
注意：在上面的定式化中，元素是由j转移到i的概率。有时候一个由元素给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征矢量给出的，而不是右特征矢量。
转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为
马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于技术，如（著名的数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。
马尔可夫链也有众多的生物学应用，特别是，可以帮助模拟生物增殖过程的建模。还被用于，用以编码区域或基因预测。
马尔可夫链最近的应用是在（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
因特网应用
谷歌所使用的网页排序算法（）就是由马尔可夫链定义的。马尔可夫模型也被应用于分析用户浏览网页的行为。一阶或者二阶的马尔可夫模型可以用于对一个用户从某一网络链接转移到另一链接的行为进行建模，然后这些模型可以用于对用户之后的浏览行为进行预测。
马尔可夫模仿文本生成器
马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。
A.A. Markov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, tom 15, pp 135-156, 1906.
A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons, 1971.
Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. . (See Chapter 7.)
J.L. Doob. Stochastic Processes. New York: John Wiley and Sons, 1953. .
(有关使用马尔可夫链产生随机文本)
(Google's PageRank as the stationary distribution of a random walk through the Web.)
approximates a Markov process
Markov chains used to produce semi-coherent English.
马尔可夫链模型（Markov Chain Model）
马尔可夫链模型概述
　　马尔可夫链因（，）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于将来（即当期以后的未来状态）是无关的。
　　时间和状态都是离散的称为马尔可夫链, 简记为。
　　马尔可夫链是的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的分布仅是Xn的一个函数，则
　　这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。
　　在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。
　　马尔可夫链与以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件的扩张。
　　马尔可夫链是满足下面两个假设的一种随机过程：
　　1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；
　　2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下：
　　1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或Si,Sj)等来表示状态。
　　2）是系统的状态，其中Pij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有。
　　3）是系统的初始概率分布，qi是系统在初始时刻处于状态i的概率，满足。
马尔可夫链模型的性质
　　马尔可夫链是由一个条件分布来表示的
　　P(Xn + 1 | Xn)
　　这被称为是随机过程中的“”。这有时也被称作是“一步转移概率”。二、三，以及更多步的可以导自一步转移概率和马尔可夫性质：
　　同样：
　　这些式子可以通过乘以转移概率并求k?1次积分来一般化到任意的将来时间n+k。
　　边际分布P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述：
　　这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足：
　　其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。
　　平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。
离散状态空间中的马尔可夫链模型
　　如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：
　　Pij = P(Xn + 1 = i | Xn = j)
　　对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果是一步转移矩阵，就是k步转移后的转移矩阵。
　　平稳分布是一个满足以下方程的向量：
　　在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。
　　如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布π * ，并且，
　　独立于初始分布π。这是由Perron-Frobenius theorem所指出的。
　　正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。
　　注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。
　　转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程
马尔可夫链模型的应用
科学中的应用
　　马尔可夫链通常用来建模和中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。
　　马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
　　马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部趋势和概率，如升迁、转职、调配或等方面的情况，以便为内部的人力资源的调配提供依据。
　　它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。
　　具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净。其基本表达式为：
Ni(t)：t时间内I类人员数量；
Pji：人员从j类向I类转移的转移率；
Vi(t)：在时间（t-1,t）I类所补充的人员数。
　　企业人员的变动有调出、调入、、与降级五种。表3 假设一家零售公司在年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90％的商店经理仍在商店内，10％的商店经理离职，期初36位经理助理有 11％晋升到经理，83％留在原来的职务，6％离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12×90％），另外，经理助理中有4人（36×83％）晋升到经理职位，最后经理的总数是15人（11＋4）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。假设的零售公司的马尔可夫分析，见下表：
商店经理(n=12)
经理助理(n=36)
区域经理(n=96)
部门经理(=288)
销售员(=1440)
马尔可夫模型案例分析
　　：在信用卡账户行为变化预测中的应用
　　信用卡业务是的零售业务,信用卡的消费金额是银行的.在此,我们可以借鉴零售行业应收账款状态变化的预测方法对信用卡账户的行为变化进行描述和预测。
　　对信用卡账户的马尔可夫过程进行研究,主要解决新增贷款发生周期性变化的情况下利用马尔可夫过程预测不同时刻的信用卡账户各状态下的金额、已偿付态和坏帐态的金额、全部应收款的现值及它们的方差计算等内容,以为商业银行信用卡账户的行为风险管理提供方法依据。
马尔可夫模型的建立
　　马尔可夫状态转移模型是在满足“马氏性”和“平稳性”的基础上建立的.假定银行的信用卡账户中每期处于不同期限的逾期贷款数量只与上期逾期贷款的数量与结构有关,而与前期的状态无关,这就满足了“马氏性”。同时,在环境稳定、人口特征比较稳定、银行的信用卡管理技术和方法没有发生重大变化的情况下,可以认为由一种状态转移到另一种状态的概率在各期是保持不变的,即每年的转移概率矩阵基本保持稳定,满足了马氏链的“平稳性”要求.这样,银行就可以通过往年的数据资料模拟出比较精确的转移概率矩阵,对信用卡账户的行为状态做出预测和评估,下面给出具体分析。
　　假设某一银行在时间i有一定的信用卡应收账款,当前或者随后的时间内这些余额都可以划分为n个时间段(即状态。对于这批在时间i的应收账款而言,有:
　　B0=逾期为0期的应收账款余额(也就是当前期);
　　B1 = 逾期为1期的应收账款余额;
　　Bj = 逾期为j期的应收账款余额;
　　Bn ? 1 = 逾期为n-1期的应收账款余额;
　　Bn = 逾期为n期的应收账款余额。
　　实践中,时间段的数目将视情况而定,最后一个时间段主要依赖于银行应收账款的“”原则,美国的一般拖欠180天以上即成为呆账予以“冲销”.虽然拖欠账款最终也可能得到偿还,但是将超过规定还款期限的应收账款归入坏帐种类中是很自然的。
　　一般而言,我们可以让Bjk表示从i时刻处于j状态转移到i+1时刻处于k状态的账户的金额.用这种方法,我们可以对处于i时刻的所有应收账款做出在i+1时刻的一步转移账户.需要注意的是,还应该有一个“时间”状态应该加入到先前所描述的分类中,这一状态就是已付款状态,用表示.在i时刻任何一种分类状态从0到n的账户在i+1时刻都可以转移到状态.这样,i时刻的应收账款账户可以用一个n+2维矩阵来表示,矩阵中的每一项Bjk表示i时刻j状态转移为i+1时刻k状态的金额,如下所示:
　　对信用卡账户而言,需要注意的是,当状态Bjk中的j&i时,应理解为i时刻处于状态j的账户,在随后的i+1时刻(一般为30天后)偿还了部分的利息,使得应收账款(贷款)又转变为k状态。
　　从n+2维应收账款矩阵B可以导出n+2维转移概率矩阵P.转移概率矩阵P中的每一项目表示在特定时间内某一账户由一种状态转移到另一状态的可能性.这样的话,一个隐含假设是,转移概率矩阵的考察周期和应收账款分类的考察周期是相同的.一般情况下,转移概率Pjk表示的是i时刻j状态的账款转移到i+1时刻k状态账款的可能性.根据应收账款矩阵B及Bjk,转移概率Pjk可被定义为:
　　　　　　(1)
　　在应用转移概率矩阵时需要注意两点。一是状态的账款不可能转移到其它的状态,它只能停留在已付款状态,状态账户的转移概率依次为:,,,…,,…,。二是呆账类账户的状态,虽然有时候坏呆账类账款仍能收回现金,但在我们的模型里边假设呆账类账款只能停留在呆账类的状态,即:,pn0 = 0,pn1 = 0,…,pnn = 1.00。
　　上面描述的模型可以被看作一个有n+2个状态的马尔可夫链过程,其转移概率矩阵为P.而且,它有两个吸收态(偿付态0和呆账态n),从其他任何一个暂态(非吸收态)都可以到达这两个吸收态,因此它是一个具有两个吸收态的马尔可夫链.我们将在充分利用马尔可夫理论和已有研究的基础上,研究如何利用马尔可夫链方法预测和估计信用卡账户行为的变化。
马尔可夫模型的应用
　　在此,采用Kemeny和Snell的部分研究成果.为便于计算,将n+2维转移概率方阵重新排列,将吸收态的偿付态和呆账态放在一起,将另外的暂态0,1,2,…,n-1放在一起.这样矩阵P就可以被分割为:
　　其中I是一个2×2阶,O是一个2×n阶0矩阵,R是一个n×2阶矩阵,Q是一个n×n阶矩阵.其中,我们定义矩阵:
　　一定存在,并将其称为吸收态马尔可夫链的基本矩阵
　　对于n×2阶矩阵的所有分项,N R给出了每一状态转移到吸收态和n的吸收概率.NR中的第一列给出了每一个状态转移到已偿付状态的概率,第二列给出了每一个状态下转移到呆账的概率。
　　1.无新增贷款的情况
　　假设在时刻i,具有n个分项向量的给出来每一状态下应收账款的余额.让b等于所有这些余额之和,则向量是一个没有非负分量且全部之和为1的概率向量,向量的分量代表了每一状态下应收账款的比例.如果我们假设上述状态中的余额的移动是独立的,那么我们就可以认定向量π为马尔可夫链的初始向量.另外,还假定:如果A是任一矩阵,那么我们让Asq表示A中每一项平方后的结果;让Art表示A中每一项取平方根后的结果.则有如下结论:
　　二维向量BNR中的分量可以给出来自应收账款向量B的期望还款和坏帐金额;分量给出来偿还态和呆帐态的方差,Art给出了这两种状态的标准差。
　　证明　如上所述,矩阵NR中第一列的分量给出来应收账款从每一暂态转移到吸收态(偿付态)的概率.向量的分量给出了每次过程开始时账款转移到每一暂态的初始概率.因此,账款在最终时偿付态的概率可以由向量πNR的第一列分量给出.如果这一过程开始了b次,那么在最终时偿付态的平均数就是向量bπNR = BNR的第一列分量.向量πNR的第一分量是函数f的平均值,其中f表示在最终结束时偿付态的价值为全部价值,其它状态的价值为零.这一函数的方差可以由下式的第一分量给出:
　　因为f2 = f,所以M(f2) = M(f),因此f的方差可以由πNR ? (πNR)sq的第一分量给出.如果过程开始了b次,那么偿付态的全部金额的方差可以由的第一分量给出.有关呆帐态的分析与偿付态的分析类似。
　　此外，还可以对应收账款现值的计算进行了研究. 如果 r是利率,则就表示了,应收账款现值的计算就可以由下面的计算给出。
　　假定B是应收账款向量,R1是矩阵R的第一列分量,则BR1表示当前时期的收现额;从下一期的BQR1的价值就只有BBQR1;依此类推,在(k+1)周期时BQkR1的价值就只有ΒkBQkR1.将这些折现价值加在一起就可以得到应收账款的当前现值:
　　,其中的Nβ表示。
　　在实践当中,银行一般都要对信用卡客户收取一定的年费,假定银行对客户收取b的费率,则β = 1 + b,那么完全可以利用上述公式来计算应收账款的现值.当然,如果考虑利率和年费率两种因素的话,将会有一个净或者一个费用率。
　　2.新增贷款固定不变的情况
　　假设每期又发生了金额为c的新应收款,这些新应收款被分不在不同的状态下,构成了向量C的各分量组成,即:.定义向量,则η为概率向量并且被认为是马尔可夫链的初始向量.假设,马尔可夫过程每期以初始概率η开始了c次.那么应收账款的稳定态分布会怎么样,这些账户的方差又是多少?每期期望付款和呆账的数量以及它们的期望方差又怎么样?
　　如果马尔可夫过程每期以初始概率η开始了c次,则向量CN的分量给出来所有时刻下稳定的应收账款金额,数值CNξ给出了稳定态的全部应收账款金额,其中ξ是各项为1的n维列向量.二维向量CNR给出来每期偿付款和呆账的稳定态的金额。
　　证明　如果上述马尔可夫过程进行了许多个周期,则各状态的金额由当前η一个月前的ηQ、二个月前的ηQ2,等等组成.那么这些数量之和为:
　　如果这个过程每周期开始了c次,每一状态下的应收账款可以由向量cηN = CN表示.如果ξ是一个各项为1的列向量,则CNξ是向量CN的分量之和,代表了应收账款的全部账户余额.
　　如果上述过程进行了很多周期,将会有ηR的账款从第一期的新收款中转移到吸收态,将有ηQR的账款从接下来的一期的新收款中转移到吸收态,将有ηQ2R的账款从过期两个月的新收款中转移到吸收态,依此类推,那么所有这些之和为:
　　如果这一过程开始了c次,每期稳定态的偿付款和呆账将有cηNR = CNR给出。证明完毕。
　　综合定理1和定理2,我们能够得出一下推论.让t = CNξ,;那么CN2R和是偿付款和呆账的预测均值和方差.而且,可以根据对应收款的利率和费率来计算应收账款的现值。
　　3.新增贷款发生周期性变化的情况
　　上述讨论都没有考虑应收账款发生变化的情况,然而,在现实情况下,银行的信用卡消费呈现出一定的周期性,例如在春节、国庆节和秋季开学的时候消费比较高. 除此之外,商业银行每年的消费贷款也可能因为或萧条等原因而扩张或收缩. 因此,我们需要考虑这些因素对模型的一些影响.
　　具体来讲,让Ci是给定月份i的新应收款的向量; ci是全部应收款的金额; η = (1 / ci)Ci是第 i时刻的初始向量,假设:
　　ηi ? T = (ηi)　　　(3)
　　Ci ? T = αCi　　　(4)
　　其中α是增长系数的倒数,例如某一的信用卡业务以2%的年扩张则α = 1 / (1 + 0.02) = 1 / 1.02T 为循环周期的长度,一般情况下周期T = 12. 从上面的两个式子里边我们可以推出ci ? T = αci
　　让Nα = (I ? αQT) ? 1,那么下列式子:
　　　　(5)
　　　　(6)
　　　　(7)
　　给出了 i时刻不同状态下的金额、全部应收账款、以及吸收态的金额.
　　证明　让是第i月份及其之前T-1月的真实新收款. 在知道增长率的情况下,根据(4)式能够推出以前月份的所有应收款,其中第i月份不同状态的应收款是
　　Ci;第(i-1)月份的是Ci ? 1Q;第(i-2) 月份的是Ci ? 2Q2,等等; 第(i-T+1) 月份的是
　　Ci ? T + 1QT ? 1;第(i-T )月份的是CiQT(Ci ? T = αCi),等等. 将这些向量加总后如下:
　　这就是Ai,αi和Di的证明与Ai类似.
　　当然,对于 i时刻的这些估计依赖于第 i月及其前T - 1月的新增应收款,上面给出的估计结果比结论2给出的结果更准确一些. 当然,如果Qn快速趋于0,则用过去几个月的应收账款来估计一个合理的结果也是可以的.
　　根据结论1和结论3的结论,我们可以用AiNR和,其中αi = Aiξ、τi = (1 / alphai)Ai来估计 i时刻偿付款和呆帐的均值和方差,而且也可以用AiNβR1用来估计 i时刻应收账款的现值.
任金政 陈宝峰 庄传礼.马尔可夫链模型在账户行为变化预测中的应用.数学的实践与认识.2008年5月第9期第38卷
发表评论：
TA的最新馆藏[转]&[转]&[转]&[转]&[转]&[转]&}