探索者

探索器能帮助您通过几次点击比较数千个AI实验。 探索器是Aim围绕构建的核心工具。

在本节中,我们将介绍Aim探索器的功能特性及使用方法。

指标浏览器

概述

使用指标探索器搜索并比较数千种机器学习训练指标。

指标探索器允许您搜索、分组和比较各项指标。得益于这一功能以及指标探索器上的其他多项可视化特性,与其他开源实验跟踪工具相比,您在比较实验时将节省大量时间。

指标探索器包含以下主要部分:

  • 指标选择: 用于选择要探索的指标

  • 搜索栏: 用于查询运行记录以进行探索

  • 图表浏览器: 展示指标数据的区域

  • 指标修饰器: 所有分组、图表分割和其他指标修饰工具

  • 上下文表:所选指标的全部信息均可查看

此外还提供高级搜索模式,您可以使用完整的Aim QL(本节后续将详细介绍)。

有两种方式可以查询指标和运行记录

查询指标可进行的操作概览 - 修饰符:

metrics_explorer

选择指标并查询运行记录

在指标浏览器中,有一个+ Metrics按钮。 点击后,将显示一个下拉菜单,其中包含所有已跟踪的指标及其扁平化的上下文。 该下拉菜单支持搜索功能 - 因此您只需输入几个字符就能快速找到感兴趣的指标!

select_form_dropdown

搜索栏位于+ Metric按钮下方。它允许对所有已跟踪的参数执行Python风格的查询(即作为Python语句进行求值)。

使用Aim QL搜索运行记录

select_form_filter

高级搜索模式

一旦您点击主Search按钮下方的Enable advanced search mode按钮,将启用完整的Aim QL搜索编辑器 - 通过完整的Aim QL查询指标和运行记录

以下是一个示例:

((metric.name == 'bleu' and metric.context.subset == 'val') or (metric.name == 'loss' and metric.context.subset == 'train')) and 1e-5 < run.hparams.learning_rate < 1e-2

select_form_advanced_search

按任意参数分组

按任何跟踪参数对选定指标进行分组,可让您快速识别最具影响力的参数和决策(如预处理步骤、超参数等)。

参数不仅包括您已追踪的那些,还包括Aim原生对象,例如

  • metric.name

  • metric.context.[context_key]

  • run.hash

您可以通过多种方式对选定的指标和运行进行分组 - 按颜色、按线条样式和按图表。

按颜色分组

使用此功能可根据所选参数值将选定指标划分为不同集群。每个集群会以不同颜色显示。

分组时有多种选项可供选择

  • 按值分组 - 根据所选参数的值进行聚类

  • 反向分组 - 按除选定参数外的所有参数进行聚类。

分组颜色是随机选取的,但可以通过高级配色功能进行固定。

以下是高级模式中的功能:

  • 修复分组颜色问题

  • 控制分组时使用的调色板

groupby_color

按笔画分组

按线条样式对指标进行分组。 除了高级模式外,具备颜色分组的所有其他可用功能。

groupby_stroke

分组图表

使用此功能的最终结果:根据所选参数的值划分为子图。 为什么这是一种分组机制?它将属于同一组的指标分组到单独的图表中。

groupby_chart

聚合指标

指标聚合功能可帮助快速查看每组指标的趋势变化。了解更多关于指标分组的信息。

您可以从以下两个方面控制聚合:

  • 趋势线

  • 该组指标所占的区域

趋势线计算方法:

  • 平均值

  • 中位数

  • 最小值

  • 最大值

面积计算方法:

  • (当您想移除该区域时)

  • 最小值/最大值

  • 平均值 +/- 标准差

  • 平均值 +/- 标准误差

  • 置信区间 (95%)

请查看截图:

aggr_line_mean

坐标轴属性

坐标轴属性部分用于按时间、周期或其他指标对齐指标,并支持手动设置坐标轴范围。

对齐方式:

支持以下类型的指标对齐方式:StepEpochRelative TimeAbsolute TimeCustom Metric。 默认情况下,指标按Step对齐。

步骤

通过将指标对齐方式设置为Step,x轴值将表示跟踪指标的步数。

alignment_step

训练轮次

通过将指标对齐方式设置为Epoch,x轴值将表示跟踪指标的周期数。

alignment_epoch

相对时间

通过将指标对齐方式设置为相对时间,x轴值将以HH:mm:ss格式表示跟踪过程的持续时间。

alignment_relative

绝对时间

通过将指标对齐方式设置为绝对时间,x轴值将表示为日期HH:mm:ss D MMM, YY,从第一次运行的开始日期直到最后一次运行。

alignment_absolute

自定义指标

通过将指标对齐方式设置为自定义指标,x轴值将代表所选指标值,您可以检测查询指标与所选指标之间的相关性。

设置坐标轴范围:

要在所有图表中固定坐标轴范围,请在表单中设置相应轴的最小和最大边界值。

set-axes-range

坐标轴比例

坐标轴比例部分提供了显示线性对数比例尺的功能。

默认情况下,坐标轴的比例尺为线性

线性比例尺

axes_scale_linear

X轴刻度:线性,Y轴刻度:对数

y-axis-scale-log

X轴刻度:对数,Y轴刻度:线性

x-axis-scale-log

对数刻度

axes-scale-log

图表平滑处理

在对图表进行平滑处理时,数据点会被调整:高于相邻点(可能是由于噪声)的单个点会被降低,而低于相邻点的点会被提高,从而产生更平滑的信号。 您可以选择曲线插值方法:线性或三次方。 默认情况下,图表平滑采用指数移动平均模式,曲线插值方法为线性。

指数移动平均

一种指数移动平均,也称为指数加权移动平均(EWMA),是一种一阶无限脉冲响应滤波器,它应用呈指数递减的加权因子。

smoothing_ema

中心移动平均

当您对移动平均线进行居中处理时,数据点会被放置在区间的中心位置而非末端。 这样做的目的是将移动平均值定位在其时间轴上的中心位置。

smoothing_cma

忽略异常值

异常值是指在一个随机样本中,与其他数值存在异常距离的观测点。对数据进行检验时,会发现那些远离主体数据的异常观测点。这些点通常被称为离群值。

ignore-outliers-off

排除异常值可能导致你的结果在统计上变得显著。 默认情况下,异常值会被忽略。

ignore-outliers-on

高亮模式

高亮功能可用于筛选指标并仅突出显示悬停的指标。 提供以下高亮模式类型:Highlight OffHighlight Metric on HoverHighlight Run on Hover。 默认情况下,高亮模式为Highlight Run on Hover

关闭高亮

通过关闭高亮模式,鼠标悬停时将不会显示高亮功能。

highlight_off

悬停时高亮指标

通过设置悬停高亮模式,鼠标指向最近的指标会高亮显示,其他指标则以半透明状态呈现。

highlight_metric

悬停时高亮运行

通过设置高亮模式为悬停时运行,鼠标指针最接近的指标会高亮显示,同时高亮指标对应的运行也会以半透明方式突出显示其他指标。

highlight_run

设置工具提示参数

您可以选择工具提示参数,在工具提示的"参数"部分显示参数及其值。 您可以选择隐藏或显示按钮,控制悬停时工具提示的显示与隐藏。

tooltip-parameters-popover

select-tooltip-parameters

在图表上应用缩放

放大查看

zoom-in-popover.png

zoom-in-action.png

zoom-out.png

缩小视图

zoom_out_popover

将图表导出为图片

指标探索器还支持将图表导出为图片。 通过点击控制面板中的export button按钮,将打开图表预览弹窗。 您可以更改可导出图表的image width(图片宽度)、single chart height(单图高度),设置image name(图片名称)和format(格式)。

export_preview

支持以下图表导出格式:SVG, JPEG, PNG

export-format

图像浏览器

概述

通过使用选择表单功能轻松追踪中间图像搜索,并利用丰富的控制面板在图像浏览器中进行比较。

Images explore overview

功能特性:

查询任意图像

使用选择表单轻松查询任何图像。有两种通过下拉菜单查询图像的选项:使用Aim QL语言或Aim QL的高级模式。

Images explore overview

  • 点击Images按钮

  • 选择您想在查询中使用的选项

  • 点击搜索按钮

Images explore overview

Images explore overview

  • 点击选择表单右侧的铅笔图标以显示输入框

  • 输入高级 Aim QL 查询

  • 点击搜索按钮

Images explore overview

按运行参数分组图像

使用位于图像探索页面右上角的选择分组下拉菜单。

Images explore overview

  • 点击分组按钮

  • 选择您想要按其对图像进行分组的字段

分组将在每次字段选择后应用,您还可以选择分组模式(分组或反向)

Images explore overview

图像浏览器右侧控制面板

控件的任何变化都将有助于在工作区更好地探索图像

图像尺寸操作控制

  • 点击图像属性按钮

  • 从下拉菜单中选择值以对齐图像。(默认下拉选项为Height)。使用滑块配置相对于窗口大小的缩放值,默认缩放值为15%

    • 按高度

      Images explore overview

    • 按宽度

      Images explore overview

    • 原始尺寸

      Images explore overview

  • 默认使用图像渲染变体,该控件的默认值为Pixelated

    Images explore overview

图像排序控制

  • 点击图片排序按钮

  • 选择用于排序图像的字段。选择顺序是有意义的,数据将按照选择顺序进行排序。下方可见"排序依据"列表,其中包含从下拉菜单中选择的所有字段。您可以通过点击x图标移除任何已选字段,或通过点击单选按钮"升序"或"降序"来更改排序方向。默认选中的方向是升序。

  • 要重置所有现有的排序字段,只需点击"重置排序"按钮

Images sorting popover

设置工具提示参数

您可以选择工具提示参数,在工具提示的"参数"部分显示参数及其值。 您可以选择隐藏或显示按钮,控制悬停时工具提示的显示与隐藏。

tooltip-parameters-popover

参数探索器

概述

参数探索器帮助您将高维数据呈现为多维可视化。 功能:

Params explore

查询任意指标和参数

从下拉菜单中选择参数和指标

Select params and metrics from dropdown

使用Aim QL搜索运行记录

Search runs

分组

按颜色、笔触或图表与选定参数分组

Grouping

曲线插值

通过点击控制面板中的曲线插值按钮,可以将直线转换为曲线,以展示非相邻轴之间的相关性。

Curve interpolation

颜色指示器

通过点击控制面板中的颜色指示器按钮,可以开启按最后一个维度进行线条渐变着色的功能。

Color indicator

散点图探索器

散点图探索器能够可视化指标最终值与超参数之间的相关性。

它表示将数据集中的对应值作为点放置在坐标平面上的图形。点之间的关系有时表现为正相关、负相关、强相关或弱相关。

scatters-explore

Scatter探索器提供的功能

XY轴下拉菜单中选择参数和指标,将指标最后值与超参数对齐。

  • X轴

x axis dropdown

  • Y轴

y axis dropdown

此外,您可以使用Aim QL搜索运行记录

search runs

通过颜色和选定参数轻松对数据进行分组和图表展示。

  • Color 分类

Grouping color

  • Chart 分类

Grouping chart line

趋势线是一条最能代表scatter plot中各数据点的直线。趋势线可能会穿过某些点,但不需要穿过所有点。

trend line

从趋势线选项弹出窗口中,您可以将回归从默认的Linear更改为LOESS(局部加权平滑),这会通过scatter plot创建一条平滑线,帮助您查看变量之间的关系并预测趋势。此外,您还可以使用slider调整bandwidth

trend line loess

散点图探索器还支持将图表导出图片

点击控制面板中的export button按钮,将会打开图表预览弹窗。 您可以修改可导出图表的image widthsingle chart height,设置image nameformat

export chart

支持导出的图像格式包括:SVG, JPEG, PNG

export format