Maxim Kochurov 的帖子
高斯过程：HSGP 高级用法
- 2024年6月28日
希尔伯特空间高斯过程近似是一种低秩 GP 近似，特别适合在像 PyMC 这样的概率编程语言中使用。它使用预先计算和固定的基函数集来近似 GP，这些基函数不依赖于协方差核的形式或其超参数。它是一种参数近似，因此在 PyMC 中进行预测可以像使用线性模型一样通过 pm.Data 或 pm.set_data 完成。你不需要定义非参数 GP 依赖的 .conditional 分布。这使得将 HSGP 而不是 GP 集成到你现有的 PyMC 模型中变得容易得多。此外，与许多其他 GP 近似不同，HSGP 可以用于模型内的任何位置以及任何似然函数。
PyMC 变分推断简介
- 2023年1月13日
计算贝叶斯模型后验量的最常见策略是通过抽样，特别是马尔可夫链蒙特卡洛 (MCMC) 算法。虽然抽样算法和相关的计算在性能和效率方面不断提高，但 MCMC 方法在数据量较大时仍然扩展性较差，并且对于超过几千个观测值的情况变得难以处理。一种更具可扩展性的抽样替代方案是变分推断 (VI)，它将计算后验分布的问题重新定义为优化问题。
经验近似概述
- 2023年1月13日
对于大多数模型，我们使用抽样 MCMC 算法，如 Metropolis 或 NUTS。在 PyMC 中，我们习惯于存储 MCMC 样本的轨迹，然后使用它们进行分析。PyMC 中的变分推断子模块也有类似的概念：经验 (Empirical)。这种类型的近似存储 SVGD 采样器的粒子。独立的 SVGD 粒子和 MCMC 样本之间没有区别。经验 (Empirical) 充当 MCMC 抽样输出和成熟的 VI 工具（如 apply_replacements 或 sample_node）之间的桥梁。有关接口描述，请参阅 variational_api_quickstart。在这里，我们将只关注经验 (Empirical)，并概述经验 (Empirical) 近似的具体事项。