探索者
探索器能帮助您通过几次点击比较数千个AI实验。 探索器是Aim围绕构建的核心工具。
在本节中,我们将介绍Aim探索器的功能特性及使用方法。
指标浏览器
概述
使用指标探索器搜索并比较数千种机器学习训练指标。
指标探索器允许您搜索、分组和比较各项指标。得益于这一功能以及指标探索器上的其他多项可视化特性,与其他开源实验跟踪工具相比,您在比较实验时将节省大量时间。
指标探索器包含以下主要部分:
指标选择: 用于选择要探索的指标
搜索栏: 用于查询运行记录以进行探索
图表浏览器: 展示指标数据的区域
指标修饰器: 所有分组、图表分割和其他指标修饰工具
上下文表:所选指标的全部信息均可查看
此外还提供高级搜索模式,您可以使用完整的Aim QL(本节后续将详细介绍)。
有两种方式可以查询指标和运行记录
查询指标可进行的操作概览 - 修饰符:

选择指标并查询运行记录
在指标浏览器中,有一个+ Metrics按钮。
点击后,将显示一个下拉菜单,其中包含所有已跟踪的指标及其扁平化的上下文。
该下拉菜单支持搜索功能 - 因此您只需输入几个字符就能快速找到感兴趣的指标!

搜索栏位于+ Metric按钮下方。它允许对所有已跟踪的参数执行Python风格的查询(即作为Python语句进行求值)。
使用Aim QL搜索运行记录

高级搜索模式
一旦您点击主Search按钮下方的Enable advanced search mode按钮,将启用完整的Aim QL搜索编辑器 - 通过完整的Aim QL查询指标和运行记录
以下是一个示例:
((metric.name == 'bleu' and metric.context.subset == 'val') or (metric.name == 'loss' and metric.context.subset == 'train'))
and 1e-5 < run.hparams.learning_rate < 1e-2

按任意参数分组
按任何跟踪参数对选定指标进行分组,可让您快速识别最具影响力的参数和决策(如预处理步骤、超参数等)。
参数不仅包括您已追踪的那些,还包括Aim原生对象,例如
metric.namemetric.context.[context_key]run.hash
您可以通过多种方式对选定的指标和运行进行分组 - 按颜色、按线条样式和按图表。
按颜色分组
使用此功能可根据所选参数值将选定指标划分为不同集群。每个集群会以不同颜色显示。
分组时有多种选项可供选择
按值分组 - 根据所选参数的值进行聚类
反向分组 - 按除选定参数外的所有参数进行聚类。
分组颜色是随机选取的,但可以通过高级配色功能进行固定。
以下是高级模式中的功能:
修复分组颜色问题
控制分组时使用的调色板

按笔画分组
按线条样式对指标进行分组。 除了高级模式外,具备颜色分组的所有其他可用功能。

分组图表
使用此功能的最终结果:根据所选参数的值划分为子图。 为什么这是一种分组机制?它将属于同一组的指标分组到单独的图表中。

聚合指标
指标聚合功能可帮助快速查看每组指标的趋势变化。了解更多关于指标分组的信息。
您可以从以下两个方面控制聚合:
趋势线
该组指标所占的区域
趋势线计算方法:
平均值
中位数
最小值
最大值
面积计算方法:
无 (当您想移除该区域时)
最小值/最大值
平均值 +/- 标准差
平均值 +/- 标准误差
置信区间 (95%)
请查看截图:

坐标轴属性
坐标轴属性部分用于按时间、周期或其他指标对齐指标,并支持手动设置坐标轴范围。
对齐方式:
支持以下类型的指标对齐方式:Step、Epoch、Relative Time、Absolute Time和Custom Metric。 默认情况下,指标按Step对齐。
步骤
通过将指标对齐方式设置为Step,x轴值将表示跟踪指标的步数。

训练轮次
通过将指标对齐方式设置为Epoch,x轴值将表示跟踪指标的周期数。

相对时间
通过将指标对齐方式设置为相对时间,x轴值将以HH:mm:ss格式表示跟踪过程的持续时间。

绝对时间
通过将指标对齐方式设置为绝对时间,x轴值将表示为日期HH:mm:ss D MMM, YY,从第一次运行的开始日期直到最后一次运行。

自定义指标
通过将指标对齐方式设置为自定义指标,x轴值将代表所选指标值,您可以检测查询指标与所选指标之间的相关性。
设置坐标轴范围:
要在所有图表中固定坐标轴范围,请在表单中设置相应轴的最小和最大边界值。

坐标轴比例
默认情况下,坐标轴的比例尺为线性。
线性比例尺

X轴刻度:线性,Y轴刻度:对数

X轴刻度:对数,Y轴刻度:线性

对数刻度

图表平滑处理
在对图表进行平滑处理时,数据点会被调整:高于相邻点(可能是由于噪声)的单个点会被降低,而低于相邻点的点会被提高,从而产生更平滑的信号。 您可以选择曲线插值方法:线性或三次方。 默认情况下,图表平滑采用指数移动平均模式,曲线插值方法为线性。
指数移动平均
一种指数移动平均,也称为指数加权移动平均(EWMA),是一种一阶无限脉冲响应滤波器,它应用呈指数递减的加权因子。

中心移动平均
当您对移动平均线进行居中处理时,数据点会被放置在区间的中心位置而非末端。 这样做的目的是将移动平均值定位在其时间轴上的中心位置。

忽略异常值
异常值是指在一个随机样本中,与其他数值存在异常距离的观测点。对数据进行检验时,会发现那些远离主体数据的异常观测点。这些点通常被称为离群值。

排除异常值可能导致你的结果在统计上变得显著。 默认情况下,异常值会被忽略。

高亮模式
高亮功能可用于筛选指标并仅突出显示悬停的指标。 提供以下高亮模式类型:Highlight Off、Highlight Metric on Hover和Highlight Run on Hover。 默认情况下,高亮模式为Highlight Run on Hover。
关闭高亮
通过关闭高亮模式,鼠标悬停时将不会显示高亮功能。

悬停时高亮指标
通过设置悬停高亮模式,鼠标指向最近的指标会高亮显示,其他指标则以半透明状态呈现。

悬停时高亮运行
通过设置高亮模式为悬停时运行,鼠标指针最接近的指标会高亮显示,同时高亮指标对应的运行也会以半透明方式突出显示其他指标。

设置工具提示参数
您可以选择工具提示参数,在工具提示的"参数"部分显示参数及其值。 您可以选择隐藏或显示按钮,控制悬停时工具提示的显示与隐藏。


在图表上应用缩放
放大查看



缩小视图

将图表导出为图片
指标探索器还支持将图表导出为图片。
通过点击控制面板中的export button按钮,将打开图表预览弹窗。
您可以更改可导出图表的image width(图片宽度)、single chart height(单图高度),设置image name(图片名称)和format(格式)。

支持以下图表导出格式:SVG, JPEG, PNG。

图像浏览器
概述
通过使用选择表单功能轻松追踪中间图像搜索,并利用丰富的控制面板在图像浏览器中进行比较。

功能特性:
查询任意图像
使用选择表单轻松查询任何图像。有两种通过下拉菜单查询图像的选项:使用Aim QL语言或Aim QL的高级模式。

点击Images按钮
选择您想在查询中使用的选项
点击搜索按钮


点击选择表单右侧的铅笔图标以显示输入框
输入高级 Aim QL 查询
点击搜索按钮

按运行参数分组图像
使用位于图像探索页面右上角的选择分组下拉菜单。

点击分组按钮
选择您想要按其对图像进行分组的字段
分组将在每次字段选择后应用,您还可以选择分组模式(分组或反向)

图像浏览器右侧控制面板
控件的任何变化都将有助于在工作区更好地探索图像
图像尺寸操作控制
点击图像属性按钮
从下拉菜单中选择值以对齐图像。(默认下拉选项为
Height)。使用滑块配置相对于窗口大小的缩放值,默认缩放值为15%。按高度

按宽度

原始尺寸

默认使用图像渲染变体,该控件的默认值为
Pixelated
图像排序控制
点击图片排序按钮
选择用于排序图像的字段。选择顺序是有意义的,数据将按照选择顺序进行排序。下方可见"排序依据"列表,其中包含从下拉菜单中选择的所有字段。您可以通过点击
x图标移除任何已选字段,或通过点击单选按钮"升序"或"降序"来更改排序方向。默认选中的方向是升序。要重置所有现有的排序字段,只需点击"重置排序"按钮

设置工具提示参数
您可以选择工具提示参数,在工具提示的"参数"部分显示参数及其值。 您可以选择隐藏或显示按钮,控制悬停时工具提示的显示与隐藏。

参数探索器
概述
参数探索器帮助您将高维数据呈现为多维可视化。 功能:

查询任意指标和参数
从下拉菜单中选择参数和指标

使用Aim QL搜索运行记录

分组
按颜色、笔触或图表与选定参数分组

曲线插值
通过点击控制面板中的曲线插值按钮,可以将直线转换为曲线,以展示非相邻轴之间的相关性。

颜色指示器
通过点击控制面板中的颜色指示器按钮,可以开启按最后一个维度进行线条渐变着色的功能。

散点图探索器
散点图探索器能够可视化指标最终值与超参数之间的相关性。
它表示将数据集中的对应值作为点放置在坐标平面上的图形。点之间的关系有时表现为正相关、负相关、强相关或弱相关。

Scatter探索器提供的功能
从X和Y轴下拉菜单中选择参数和指标,将指标最后值与超参数对齐。
X轴

Y轴

此外,您可以使用Aim QL搜索运行记录

通过颜色和选定参数轻松对数据进行分组和图表展示。
按
Color分类

按
Chart分类

趋势线是一条最能代表scatter plot中各数据点的直线。趋势线可能会穿过某些点,但不需要穿过所有点。

从趋势线选项弹出窗口中,您可以将回归从默认的Linear更改为LOESS(局部加权平滑),这会通过scatter plot创建一条平滑线,帮助您查看变量之间的关系并预测趋势。此外,您还可以使用slider调整bandwidth

散点图探索器还支持将图表导出为图片。
点击控制面板中的export button按钮,将会打开图表预览弹窗。
您可以修改可导出图表的image width、single chart height,设置image name和format。

支持导出的图像格式包括:SVG, JPEG, PNG。
