可视化追踪#

实验性功能

这是一个实验性功能,可能会随时更改。了解更多更多

Prompt flow 在 promptflow-devkit 中提供了多种跟踪工具包。本页将介绍跟踪用户界面,用户可以通过该界面更好地捕捉和可视化流程的内部执行细节。通过跟踪用户界面,用户可以跟踪和可视化流程执行,这为开发人员理解执行的内部细节提供了关键的见解。

概述#

安装了promptflow-devkit后,使用start_trace运行Python脚本将产生以下示例输出:

Prompt flow service has started...
You can view the traces from local: http://127.0.0.1:<port>/v1.0/ui/traces/?#collection=basic

点击该链接,用户将看到与每个LLM调用对应的跟踪列表: LLM-trace-list

点击一行记录,LLM 的详细信息将以聊天窗口的形式显示,同时显示其他 LLM 调用参数: LLM-trace-detail

当结合跟踪和流程时,跟踪UI提供了更全面的流程执行视图,用户可以轻松跟踪流程执行细节,并调试流程执行问题。

流程测试#

如果你的应用程序是使用DAG流程创建的,所有流程测试和批量运行将自动启用跟踪功能。以chat_with_pdf为例。

运行 pf flow test --flow .,每个流程测试将在跟踪UI中生成一行:

flow-trace-record

点击一条记录,跟踪详情将以树状视图展示。

flow-trace-detail

评估批量数据#

继续使用chat_with_pdf作为示例,要触发批量运行,您可以在文件夹下使用以下命令(您可以从运行和评估流程了解更多,以了解以下命令的作用):

pf run create --flow . --data "./data/bert-paper-qna.jsonl" --column-mapping chat_history='${data.chat_history}' pdf_url='${data.pdf_url}' question='${data.question}'

然后你将获得一个与运行相关的跟踪URL,例如 http://127.0.0.1:/v1.0/ui/traces?run=chat_with_pdf_20240226_181222_219335

batch_run_record