标记为变分推断的文章
Pathfinder 变分推断
- 2023年2月5日
Pathfinder [Zhang等, 2021] 是一种变分推断算法，可以从贝叶斯模型的后验分布中生成样本。它与广泛使用的 ADVI 算法相比更具优势。 在大型问题上，它的扩展性应优于大多数 MCMC 算法，包括动态 HMC（即 NUTS），但代价是对后验分布的估计会更有偏差。 有关该算法的详细信息，请参阅 arxiv 预印本。
PyMC 变分推断简介
- 2023年1月13日
计算贝叶斯模型后验量的最常用策略是通过采样，特别是马尔可夫链蒙特卡洛 (MCMC) 算法。 虽然采样算法和相关的计算在性能和效率上不断提高，但 MCMC 方法在数据规模较大时扩展性仍然较差，并且对于超过几千个观测值的情况变得难以处理。 变分推断 (VI) 是采样的一种更具扩展性的替代方法，它将计算后验分布的问题重新定义为优化问题。
经验近似概述
- 2023年1月13日
对于大多数模型，我们使用采样 MCMC 算法，如 Metropolis 或 NUTS。 在 PyMC 中，我们习惯于存储 MCMC 样本的轨迹，然后使用它们进行分析。 PyMC 中的变分推断子模块也有类似的概念：Empirical。 这种类型的近似为 SVGD 采样器存储粒子。 独立的 SVGD 粒子和 MCMC 样本之间没有区别。 Empirical 充当 MCMC 采样输出和成熟的 VI 实用程序（如 apply_replacements 或 sample_node）之间的桥梁。 有关接口描述，请参阅 variational_api_quickstart。 在这里，我们将只关注 Emprical，并概述 Empirical 近似的具体事项。
变分推断：贝叶斯神经网络
- 2022年5月30日
概率编程、深度学习 和 “大数据” 是机器学习中最重要的主题之一。 在 PP 内部，许多创新都集中在使用 变分推断 来扩展规模。 在此示例中，我将展示如何在 PyMC 中使用变分推断来拟合简单的贝叶斯神经网络。 我还将讨论桥接概率编程和深度学习如何为未来研究开辟非常有趣的途径。