版本 0.5.1

Changes

AutoMM

更改为新的命名空间 autogluon.multimodal (AutoMM)，这是一个深度学习“模型库”的模型库。一方面，AutoMM 可以自动训练用于单模态（仅图像、仅文本或仅表格）问题的深度模型。另一方面，AutoMM 可以通过融合多个深度学习模型自动解决多模态（图像、文本和表格的任何组合）问题。此外，AutoMM 可以用作 AutoGluon Tabular 中的基础模型，并参与模型集成。

New features

  • 支持使用CLIP进行零样本学习 (#1922) @zhiqiangdon

    • 用户可以直接使用CLIP模型进行零样本图像分类。此外，用户可以使用CLIP提取图像和文本嵌入，以进行图像到文本或文本到图像的检索。

  • 改进的高效微调

    • 支持“bit_fit”、“norm_fit”、“lora”、“lora_bias”、“lora_norm”。在四个多语言数据集（xnli、stsb_multi_mt、paws-x、amazon_reviews_multi）中，“lora_bias”是LoRA和BitFit的组合，取得了最佳的整体性能。与微调整个网络相比，“lora_bias”只会微调<0.5%的网络参数，并且可以在“stsb_multi_mt”上取得相当的性能（#1780, #1809）。@Raldir @zhiqiangdon

    • 支持在单个NVIDIA G4 GPU上微调具有17亿参数的mT5-XL模型。在AutoMM中，我们仅使用类似Sentence-T5的T5编码器（17亿参数）。(#1933) @sxjscience

  • 增加了更多的数据增强技术

  • 增强的师生模型蒸馏

    • 支持从单模态/多模态教师模型中提取知识到学生模型。(#1670, #1895) @zhiqiangdon

更多教程和示例

  • 初学者教程 关于如何将AutoMM应用于图像、文本或多模态（包括表格）数据。(#1861, #1908, #1858, #1869) @bryanyzhu @sxjscience @zhiqiangdon

  • 一个使用CLIP模型的零样本图像分类教程 (#1942) @bryanyzhu

  • 一个关于使用CLIP模型提取嵌入进行图像-文本检索的教程。(#1957) @bryanyzhu

  • 一个教程 介绍全面的AutoMM配置 (#1861)。@zhiqiangdon

  • AutoMM 用于表格数据示例 (#1752, #1893, #1903). @yiqings

  • AutoMM 蒸馏示例 (#1846). @FANGAreNotGnu

  • 一个关于如何使用AutoMM预测宠物收养的Kaggle笔记本：https://www.kaggle.com/code/linuxdex/use-autogluon-to-predict-pet-adoption。该模型在此仅内核竞赛中达到了相当于前1%（第20名/3537）的分数（测试数据仅在内核中可用，无法访问互联网）（#1796, #1847, #1894, #1943）。@Linuxdex

时间序列

我们很高兴宣布推出AutoGluon-TimeSeries！从v0.5开始，AutoGluon现在支持时间序列预测的AutoML，利用统计预测方法如ETS和ARIMA，以及通过GluonTS的现代深度学习架构。新模块还提供了时间序列模型的加权集成，并专注于概率（分位数）预测，以支持从需求和供应链预测到金融应用的多种用例。

所有时间序列预测任务都通过熟悉的AutoGluon界面支持，通过TimeSeriesPredictor类。立即开始使用AutoGluon-TimeSeries的快速入门指南进行预测。

贡献者列表：@canerturkmen, @huibinshen, @Innixma, @yinweisu, @shchur, @gradientsky

v0.5.1 中的修复和增强

  • 为AutoGluon-TimeSeries模型添加早停功能 (#1917) @huibinshen

  • 允许从TimeSeriesDataFrame索引中自动推断季节性周期，在AutoETS中智能设置默认用于ETS模型的季节性。(#1914) @canerturkmen, @shchur

  • 模型预设的更改，默认启用ARIMA和GluonTS的Transformer模型，并移除MQCNN模型（#1914）。@canerturkmen, @shchur

  • 修复了在使用TimeSeriesPredictor时影响具有自定义目标列名的数据集的问题 (#1901) @canerturkmen

  • 限制 gluonts, sktime 版本 (#1914, #1916) @yinweisu, @canerturkmen, @shchur