自从发现马尔科夫链之后，马尔可夫便开始进行深度挖掘。
一个系统的某些因素在转移中，第n次结果只受第n-1的结果影响，只与当前所处状态有关，与其他无关。在马尔科夫分析中，引入状态转移这个概念。所谓状态是指客观事物可能出现或存在的状态；状态转移是指客观事物由一种状态转移到另一种状态的概率。
马尔可夫认为自己可以对一个系统进行预测，自己可以当一个完美的算命先生。
就是使用马尔可夫转移矩阵法。
假定某大学有1万学生，每人每月用1支牙膏，并且只使用“中华”牙膏与“黑妹”牙膏两者之一。根据本月（12月）调查，有3000人使用A牙膏，7000人使用b牙膏。又据调查，使用A牙膏的3000人中，有60％的人下月将继续使用A牙膏，40％的人将改用b牙膏；使用b牙膏的7000人中，有70％的人下月将继续使用b牙膏，30％的人将改用A牙膏。
现用\\拟用 A牙膏 b牙膏
A牙膏 60％ 40％
b牙膏 30％ 70％
根据这个表，马尔可夫用矩阵表示。
b=[ 60% 40%]
[ 30% 70%]
称为转移概率矩阵。可以看出，转移概率矩阵的一个特点是其各行元素之和为1。在本例中，其经济意义是：现在使用某种牙膏的人中，将来使用各种品牌牙膏的人数百分比之和为1。
有了转移矩阵，可以预测下一个月（1月）的使用各种牙膏的人数。
（3000 ，7000）[ 60% 40%]=（3900，6100）
[ 30% 70%]
如果转移概率矩阵不变，继续可以预测2月份情况
（3900，6100）[ 60% 40%]=（4170，5830）
[ 30% 70%]
二月份使用牙膏数也知道了。
而且从中可以看出其中2个月的变化，就是这个矩阵的二次方。
辛钦对马尔可夫说：“你发现的第n次结果只受第n-1的结果影响，只与当前所处状态有关，与其他无关。这个会有很大作用吗？感觉n-1以前的全部作废了？”
马尔可夫说：“你的脑子还是没转过来吧。n-1与n-2有关联，n-2与n-3有关联啊！”
辛钦说：“我们不是要研究n的状态吗？前面的我们还要管他干嘛？”
马尔可夫说：“很多系统，在时间演变过程中，我们只是取到其中几个时间点的一些碎片。我们要把整个系统的演化过程推演出来，之后分成很多段时间点，把从上到下的每个转移矩阵推敲出来，然后对系统前后的变化进行推敲。”
辛钦摇摇头说：“概率转移矩阵又不是恒定的？你这样做的意义？”
马尔可夫说：“不一样，所以可以把每个状态的概率矩阵都写出来，然后观察其中的变化。”
辛钦说：“试图寻找稳定的，或者即使是不稳定的，也是可预测的那种？”
辛钦说：“是的。”
后来结合蒙特卡洛，马尔科夫又发现了马尔可夫链蒙特卡洛方法(markov chain monte carlo)，简称mcmc，产生于19世纪50年代早期，是在贝叶斯理论框架下，通过计算机进行模拟的蒙特卡洛方法(monte carlo)。该方法将马尔科夫(markov)过程引入到monte carlo模拟中，实现抽样分布随模拟的进行而改变的动态模拟，弥补了传统的蒙特卡罗积分只能静态模拟的缺陷。mcmc是一种简单有效的计算方法，在很多领域到广泛的应用，如统计物、贝叶斯(bayes)问题、计算机问题等。
喜欢数学心请大家收藏：(m.bokandushu.com)数学心博看读书更新速度全网最快。