可视化追踪#
实验性功能
这是一个实验性功能,可能会随时更改。了解更多更多。
Prompt flow 在 promptflow-devkit
中提供了多种跟踪工具包。本页将介绍跟踪用户界面,用户可以通过该界面更好地捕捉和可视化流程的内部执行细节。通过跟踪用户界面,用户可以跟踪和可视化流程执行,这为开发人员理解执行的内部细节提供了关键的见解。
概述#
安装了promptflow-devkit
后,使用start_trace
运行Python脚本将产生以下示例输出:
Prompt flow service has started...
You can view the traces from local: http://127.0.0.1:<port>/v1.0/ui/traces/?#collection=basic
点击该链接,用户将看到与每个LLM调用对应的跟踪列表:
点击一行记录,LLM 的详细信息将以聊天窗口的形式显示,同时显示其他 LLM 调用参数:
当结合跟踪和流程时,跟踪UI提供了更全面的流程执行视图,用户可以轻松跟踪流程执行细节,并调试流程执行问题。
流程测试#
如果你的应用程序是使用DAG流程创建的,所有流程测试和批量运行将自动启用跟踪功能。以chat_with_pdf为例。
运行 pf flow test --flow .
,每个流程测试将在跟踪UI中生成一行:
点击一条记录,跟踪详情将以树状视图展示。
评估批量数据#
继续使用chat_with_pdf作为示例,要触发批量运行,您可以在文件夹下使用以下命令(您可以从运行和评估流程了解更多,以了解以下命令的作用):
pf run create --flow . --data "./data/bert-paper-qna.jsonl" --column-mapping chat_history='${data.chat_history}' pdf_url='${data.pdf_url}' question='${data.question}'
然后你将获得一个与运行相关的跟踪URL,例如 http://127.0.0.1:
搜索#
Trace UI 支持简单的 Python 表达式以提升搜索体验,如下面的 GIF 所示:
目前支持:
操作符:
布尔:
and
和or
比较:
==
,!=
,>
,>=
,<
和<=
可搜索字段:
元数据:
name
,kind
和status
时间:
start_time
令牌计数:
cumulative_token_count.total
,cumulative_token_count.prompt
和cumulative_token_count.completion
你也可以通过点击搜索编辑框右侧的按钮来找到提示: