Out-of-Distribution Detection

Test-Time Adaptation (TTA)

TTA updates the model with the unlabeled test data at test time.

可用方法如下:

• BN Adapt
  • Batch Normalization 层会在训练时记录均值和方差（moving average）。在测试时，这些统计信息可以动态更新为当前测试数据的均值和方差。
  • 用当前测试数据的均值和方差替换训练阶段的统计信息。
• 伪标签生成
  • 仅保留预测置信度较高的样本。
  • 利用伪标签数据对模型进行一次微调。
• 最小熵优化 (Entropy Minimization)
  • 测试阶段通过最小化模型输出的预测熵，使得模型对测试样本的预测更自信、更稳定。

Transductive learning (TL)

Models are trained jointly on both the train and test data (without testing labels).

通过约束模型对测试数据的输出，提升泛化能力。可用方法如下:

• Pseudo-Labeling（伪标签生成）
• Consistency Regularization（一致性正则化）
  • 对测试数据的预测在不同增强（如图像变换、噪声添加）下应保持一致。这是一种无监督的方式，用于强制模型对输入的不同变体生成相同的输出。
• Graph-Based Learning（图学习）
  • 将训练和测试数据建模为图结构，基于数据间的相似性传播标签信息。
  • 利用训练数据的标签，推断测试数据的伪标签。
• Entropy Minimization（熵最小化）
  • 对测试数据的无监督优化：最小化模型输出的预测熵，让模型对测试数据的预测更自信。

OOD scores

In general, OOD detection involves using continuous OOD scores to identify instances not belonging to these labels by setting a threshold below which they are rejected.

• MSP
• Energy-based model (EBM)
• Kullback-Leibler (KL) divergence
• ODIN