统计推断通常基于最大似然估计 (MLE)。MLE 选择能够使数据似然最大化的参数，是一种较为自然的方法。在 MLE 中，假定参数是未知但固定的数值，并在一定的置信度下进行计算。在贝叶斯统计中，使用概率来量化未知参数的不确定性，因而未知参数被视为随机变量。

　　贝叶斯推断是结合有关模型或模型参数的先验知识来分析统计模型的过程。这种推断的根基是贝叶斯定理：

　　在此公式中，mu 和 tau（有时也称为超参数）也是已知的。如果观察 X 的 n 个样本，我们大家可以获得 theta 的后验分布

　　在一些简单的问题中，例如前面的正态均值推断示例，很容易计算出封闭形式的后验分布。但是，在涉及非共轭先验的一般问题中，后验分布很难或不可能通过一系列分析来进行计算。我们将以逻辑回归作为示例。此示例包含一个实验，以帮助建模不同重量的汽车在里程测试中的未通过比例。数据包括被测汽车的重量、汽车数量以及失败次数等观测值。我们采用一组经过变换的重量，以减少回归参数估值的相关性。

　　逻辑回归（广义线性模型的一种特例）适合这一些数据，因为因变量呈二项分布。逻辑回归模型可以写作：

　　如果您有一些先验知识或者已经具备某些非信息性先验，则可以指定模型参数的先验概率分布。例如，在此示例中，个人会使用正态先验值表示截距 b1 和斜率 b2，即

　　请注意，此模型中后验的归一化常数很难做多元化的分析。但是，即使不知道归一化常数，如果您知道模型参数的大致范围，也可以可视化后验分布。

　　此后验沿参数空间的对角线伸长，表明（在我们观察数据后）我们大家都认为参数是相关的。这很有意思，因为在我们收集任何数据之前，我们假设它们是独立的。相关性来自我们的先验分布与似然函数的组合。

　　R语言随机森林RandomForest、逻辑回归Logisitc预测心脏病数据和可视化分析

　　蒙特卡罗方法常用于在贝叶斯数据分析中汇总后验分布。其想法是，即使您不能通过一系列分析的方式计算后验分布，也可以从分布中生成随机样本，并使用这一些随机值来估计后验分布或推断的统计量，如后验均值、中位数、标准差等。_切片_采样是一种算法，用于从具有任意密度函数的分布中进行抽样，已知项最多只有一个比例常数 - 而这正是从归一化常数未知的复杂后验分布中抽样所需要的。此算法不生成独立样本，而是生成马尔可夫序列，其平稳分布就是目标分布。因此，切片抽样器是一种马尔可夫链蒙特卡罗 (MCMC) 算法。但是，它与其他众所周知的 MCMC 算法不同，因为只需要指定缩放的后验，不需要建议分布或边缘分布。

　　此示例说明怎么样去使用切片抽样器作为里程测试逻辑回归模型的贝叶斯分析的一部分，包括从模型参数的后验分布生成随机样本、分析抽样器的输出，以及对模型参数进行推断。第一步是生成随机样本。

　　从切片采样获取随机样本后，很重要的一点是研究诸如收敛和混合之类的问题，以确定将样本视为是来自目标后验分布的一组随机实现是不是合理。观察边缘轨迹图是检查输出的最简单方法。

　　从这些图中可以明显看出，在处理过程趋于平稳之前，参数起始值的影响会维持一段时间（大约 50 个样本）才会消失。

　　检查收敛以使用移动窗口计算统计量（例如样本的均值、中位数或标准差）也很有帮助。这样做才能够产生比原始样本轨迹更平滑的图，并且更容易识别和理解任何非平稳性。

　　由于这些是基于包含 50 次迭代的窗口计算的移动平均值，因此前 50 个值无法与图中的其他值作比较。然而，每个图的其他值似乎证实参数后验均值在 100 次左右迭代后收敛至平稳分布。同样显而易见的是，这两个参数你我相关，与之前的后验密度图一致。

　　由于磨合期代表目标分布中不能合理视为随机实现的样本，因此不建议使用切片采样器一开始输出的前 50 个左右的值。您可以简单地删除这些输出行，但也可以指定一个“预热”期。在已知合适的预热长度（可能来自先前的运行）时，这样的形式很简便。

　　但是，还有必要了解跟踪图的另一方面。虽然截距的轨迹看起来像高频噪声，但斜率的轨迹好像具有低频分量，表明相邻迭代的值之间有自相关。虽然也可以从这个自相关样本计算均值，但我们一般会通过删除样本中的冗余数据这一简便的操作来降低存储要求。如果它同时消除了自相关，我们还可以将这一些数据视为独立值样本。例如，您能够最终靠只保留第 10 个、第 20 个、第 30 个等值来稀释样本。

　　要检查这种稀释的效果，能够准确的通过轨迹估计样本自相关函数，并使用它们来检查样本是否快速混合。

　　第一个滞后的自相关值对于截距参数很明显，对于斜率参数更是如此。我们大家可以使用更大的稀释参数重复抽样，以逐步降低相关性。但为完成本示例的目的，我们将接着使用当前样本。

　　您还可以计算描述性统计量，例如随机样本的后验均值或百分位数。为了确定样本大小是否足以实现所需的精度，将所需的轨迹统计量作为样本数的函数来进行查看会很有帮助。

　　在这种情况下，样本大小 1000 似乎足以为后验均值估计值提供良好的精度。

　　您能够轻松地指定似然和先验。您也可以将它们结合起来用于推断后验分布。您能够最终靠马尔可夫链蒙特卡罗仿真在 MATLAB 中执行贝叶斯分析。

　　本文选自《matlab用马尔可夫链蒙特卡罗 (MCMC) 的Logistic逻辑回归模型分析汽车实验数据》。

　　R语言贝叶斯METROPOLIS-HASTINGS GIBBS 吉布斯采样器估计变点指数分布分析泊松过程车站等待时间

　　Matlab用BUGS马尔可夫区制转换Markov switching随机波动率模型、序列蒙特卡罗SMC、M H采样分析时间序列R语言RSTAN MCMC：NUTS采样算法用LASSO 构建贝叶斯线性回归模型分析职业声望数据

　　R语言BUGS序列蒙特卡罗SMC、马尔可夫转换随机波动率SV模型、粒子滤波、Metropolis Hasting采样时间序列分析

　　R语言贝叶斯MCMC：用rstan建立线性回归模型分析汽车数据和可视化诊断

　　R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病

　　R语言实现贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析

　　R语言和STAN,JAGS：用RSTAN,RJAG建立贝叶斯多元线性回归预测选举数据

　　R语言MCMC:Metropolis-Hastings采样用于回归的贝叶斯估计R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病

　　R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯和KMEANS聚类用户画像

　　Python对商店数据来进行lstm和xgboost销售量时间序列建模预测分析

　　PYTHON集成机器学习：用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化

　　R语言集成模型：提升树boosting、随机森林、约束最小二乘法加权平均模型融合分析时间序列数据

　　Python对商店数据来进行lstm和xgboost销售量时间序列建模预测分析

　　R语言用主成分PCA、 逻辑回归、决策树、随机森林分析心脏病数据并高维可视化

　　R语言里的非线性模型：多项式回归、局部样条、平滑样条、 广义相加模型GAM分析

　　R语言用标准最小二乘OLS，广义相加模型GAM ，样条函数进行逻辑回归LOGISTIC分类

　　R语言分位数回归、GAM样条曲线、指数平滑和SARIMA对电力负荷时间序列预测R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化

　　R语言ARMA-EGARCH模型、集成预测算法对SPX实际波动率进行预测在python 深度学习Keras中计算神经网络集成模型R语言ARIMA集成模型预测时间序列分析R语言基于Bagging分类的逻辑回归(Logistic Regression)、决策树、森林分析心脏病患者

　　R语言使用bootstrap和增量法计算广义线性模型（GLM）预测置信区间

　　R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化

　　Python对商店数据来进行lstm和xgboost销售量时间序列建模预测分析

　　R语言随机森林RandomForest、逻辑回归Logisitc预测心脏病数据和可视化分析

　　R语言用主成分PCA、 逻辑回归、决策树、随机森林分析心脏病数据并高维可视化

　　matlab使用分位数随机森林（QRF）回归树检测异常值返回搜狐，查看更加多