方法¶

本节列出了Fortuna支持的用于估计和校准不确定性的已发布方法。

后验近似方法¶

最大后验估计 (MAP) [Bassett et al., 2018]
用狄拉克δ函数近似后验分布，其中心位于估计的模式。这是Fortuna支持的最快且最粗糙的后验近似方法。它可以看作是一种正则化的最大似然估计 (MLE) 过程。
自动微分变分推断 (ADVI) [Kucukelbir et al., 2017]
一种变分推断方法，使用对角多元高斯分布来近似后验分布。
拉普拉斯近似 [Daxberger et al., 2021]
拉普拉斯近似用高斯分布来近似后验分布。均值由最大后验估计（MAP）给出，即后验分布的模的估计。协方差矩阵表示为负对数后验的海森矩阵的逆。在实际应用中，海森矩阵也是近似的。Fortuna目前支持对角广义高斯-牛顿海森矩阵近似。
深度集成 [Lakshminarayanan et al., 2017]
从不同初始化开始的极大后验概率（MAP）集成，将后验分布近似为狄拉克δ函数的混合。
SWAG [Maddox et al., 2019]
SWAG 使用高斯分布来近似后验分布。在达到收敛状态后，通过对随机优化轨迹上的检查点进行平均来得到均值。协方差也是沿着轨迹经验性地估计的，它由一个对角分量和一个低秩非对角分量组成。
随机梯度哈密顿蒙特卡罗 (SGHMC) [Chen et al., 2014]
SGHMC 将后验近似为具有哈密顿动力学的蒙特卡罗马尔可夫链的稳态分布。在初始的“燃烧”阶段之后，链的每一步都会从后验生成样本。
循环随机梯度朗之万动力学 (Cyclical SGLD) [Zhang et al., 2020]
Cyclical SGLD 采用了循环余弦步长调度，并在探索和采样阶段之间交替，以更好地探索深度神经网络的多模态后验分布。
谱归一化神经高斯过程 (SNGP) [Liu et al., 2020]
一种具有谱归一化和随机特征的深度核学习 (DKL; 参见 [Wilson et al., 2015]) 方法。它有助于提高分布外认知不确定性。

参数校准方法¶

Fortuna 支持通过在使用训练或后验近似的模型输出之上添加输出校准模型，并训练其参数来进行参数校准。明确支持用于分类和回归的温度缩放模型[Guo et al., 2017]，其中输出使用单个缩放参数进行校准。

保形预测方法¶

我们支持用于分类和回归的保形预测方法。

用于分类：

一种简单的共形预测集方法 [Vovk et al., 2005]
一种简单的共形预测方法，从与最大类别相关的概率中导出评分函数。
自适应共形预测集方法 [Romano et al., 2020]
一种用于共形预测的方法，推导出一个利用类别概率完整向量的评分函数。
自适应共形推理 [Gibbs et al., 2021]
一种用于共形预测的方法，旨在在数据分布随时间变化的情况下，在顺序预测框架（例如时间序列预测）中纠正共形预测方法的覆盖范围。
BatchMVP [Jung C. et al., 2022]
一种满足基于组成员资格和非一致性阈值的覆盖保证的保形预测算法。
多校准 [Hébert-Johnson Ú. 等人, 2017], [Roth A., 算法 15]
与标准的保形预测方法不同，该算法为每个数据点返回标量校准的分数值。例如，在二分类中，它可以返回预测的校准概率。该方法满足基于组成员资格和模型值的覆盖保证。
一次性多重校准 [Roth A., 算法 15]
与标准的保形预测方法不同，该算法为每个数据点返回标量校准的分数值。该方法满足基于模型值的覆盖保证。

对于回归：

保形分位数回归 [Romano et al., 2019]
一种保形预测方法，输入一个覆盖区间并对其进行校准。
从标量不确定性度量得到的保形区间 [Angelopoulos et al., 2022]
一种保形预测方法，该方法输入一个标量的不确定性度量（例如标准差）并返回一个保形区间。
Jackknife+、jackknife-minmax 和 CV+ [Barber et al., 2021]
基于留一法和K折交叉验证的方法，仅从模型输出中提供满足最小覆盖特性的保形区间。
BatchMVP [Jung C. et al., 2022]
一种满足基于组成员资格和非一致性阈值的覆盖保证的保形预测算法。
EnbPI [Xu et al., 2021]
一种基于数据自举的时间序列回归的保形预测方法。
多校准 [Hébert-Johnson Ú. 等人, 2017], [Roth A., 算法 15]
与标准的保形预测方法不同，该算法为每个数据点返回标量校准的分数值。该方法满足基于组成员资格和模型值的覆盖保证。
一次性多重校准 [Roth A., 算法 15]
与标准的保形预测方法不同，该算法为每个数据点返回标量校准的分数值。该方法满足基于模型值的覆盖保证。
自适应共形推理 [Gibbs et al., 2021]
一种用于共形预测的方法，旨在在数据分布随时间变化的情况下，在顺序预测框架（例如时间序列预测）中纠正共形预测方法的覆盖范围。

分布外（OOD）检测¶

我们支持以下用于分类中的OOD检测方法：

马氏距离分类器 [Lee et al., 2018]
基于马氏距离的分类器。它为每个输入估计一个OOD分数。
深度确定性不确定性 (DDU) [Mukhoti et al., 2022]
类似于马氏距离分类器，它为每个标签拟合一个高斯分布，并为每个输入估计一个OOD分数。