标签为 变分推断 的文章
Pathfinder 变分推断
- 05 二月 2023
Pathfinder [Zhang 等人, 2021] 是一种变分推断算法，能够从贝叶斯模型的后验分布中生成样本。它相较于广泛使用的ADVI算法具有优势。在大规模问题上，它的扩展性应优于大多数MCMC算法，包括动态HMC（即NUTS），但代价是后验估计的偏差更大。有关该算法的详细信息，请参阅arxiv预印本。
Pathfinder 变分推断
- 05 二月 2023
Pathfinder [Zhang 等人, 2021] 是一种变分推断算法，能够从贝叶斯模型的后验分布中生成样本。它相较于广泛使用的ADVI算法具有优势。在大规模问题上，它的扩展性应优于大多数MCMC算法，包括动态HMC（即NUTS），但代价是后验估计的偏差更大。有关该算法的详细信息，请参阅arxiv预印本。
PyMC中的变分推断简介
- 13 一月 2023
计算贝叶斯模型后验量的最常见策略是通过采样，特别是马尔可夫链蒙特卡洛（MCMC）算法。尽管采样算法及其相关计算在性能和效率上不断改进，但MCMC方法在数据规模上仍然扩展性差，对于超过几千个观测值的情况变得不可行。一种更具扩展性的替代方法是变分推断（VI），它将计算后验分布的问题重新表述为一个优化问题。
使用PyMC进行变分推断简介
- 13 一月 2023
计算贝叶斯模型后验量的最常见策略是通过采样，特别是马尔可夫链蒙特卡洛（MCMC）算法。尽管采样算法及其相关计算在性能和效率上不断改进，但MCMC方法在数据规模上仍然扩展性差，对于超过几千个观测值的情况变得不可行。一种更具扩展性的替代方法是变分推断（VI），它将计算后验分布的问题重新表述为一个优化问题。
经验近似概述
- 13 一月 2023
对于大多数模型，我们使用Metropolis或NUTS等采样MCMC算法。在PyMC中，我们习惯于存储MCMC样本的轨迹，然后使用它们进行分析。PyMC中的变分推断子模块有一个类似的概念：Empirical。这种近似方法为SVGD采样器存储粒子。独立SVGD粒子和MCMC样本之间没有区别。Empirical充当MCMC采样输出与apply_replacements或sample_node等全功能VI工具之间的桥梁。有关接口描述，请参见变分API快速入门。这里我们将只关注Emprical，并概述Empirical近似的特定内容。
经验近似概述
- 13 一月 2023
对于大多数模型，我们使用Metropolis或NUTS等采样MCMC算法。在PyMC中，我们习惯于存储MCMC样本的轨迹，然后使用它们进行分析。PyMC中的变分推断子模块有一个类似的概念：Empirical。这种近似方法为SVGD采样器存储粒子。独立SVGD粒子与MCMC样本之间没有区别。Empirical充当MCMC采样输出与apply_replacements或sample_node等全功能VI工具之间的桥梁。有关接口描述，请参见变分推断API快速入门。这里我们将只关注Emprical，并概述Empirical近似的特定内容。
变分推断：贝叶斯神经网络
- 30 五月 2022
概率编程、深度学习和“大数据”是机器学习中最大的主题之一。在概率编程（PP）中，许多创新集中在使用变分推断来扩展规模。在这个例子中，我将展示如何在PyMC中使用变分推断来拟合一个简单的贝叶斯神经网络。我还将讨论将概率编程与深度学习结合如何为未来的研究开辟非常有趣的探索途径。
变分推断：贝叶斯神经网络
- 30 五月 2022
概率编程、深度学习和“大数据”是机器学习中最大的主题之一。在概率编程（PP）中，许多创新集中在使用变分推断来扩展规模。在这个例子中，我将展示如何在PyMC中使用变分推断来拟合一个简单的贝叶斯神经网络。我还将讨论将概率编程与深度学习结合如何为未来的研究开辟非常有趣的探索途径。