MultiModalPredictor.evaluate

MultiModalPredictor.evaluate(data: DataFrame | dict | list | str, query_data: list | None = None, response_data: list | None = None, id_mappings: Dict[str, Dict] | Dict[str, Series] | None = None, metrics: str | List[str] | None = None, chunk_size: int | None = 1024, similarity_type: str | None = 'cosine', cutoffs: List[int] | None = [1, 5, 10], label: str | None = None, return_pred: bool | None = False, realtime: bool | None = False, eval_tool: str | None = None)

在给定数据集上评估模型。

Parameters:

• data – 一个 pd.DataFrame，包含与训练数据相同的列。 或者是一个 str，表示检测的注释文件的路径。

• query_data – 用于排名的查询数据。

• response_data – 用于排名的响应数据。

• id_mappings – ID到内容的映射。内容可以是文本、图像等。 当data/query_data/response_data包含查询/响应标识符而不是它们的内容时使用此映射。

• metrics – 要报告的指标名称列表。 如果为None，我们只返回存储的_eval_metric_name的分数。

• chunk_size – 每次按chunk_size扫描响应数据。增加该值会提高速度，但需要更多内存。

• similarity_type – 使用什么函数（cosine/dot_prod）来评分相似度（默认：cosine）。

• cutoffs – 用于评估排名的截止值列表。

• label – 数据中的标签列名称。某些任务，例如图像<–>文本匹配，在训练数据中没有标签列，但在评估时可能仍然需要标签列。

• return_pred – 是否返回每行的预测结果。

• realtime – Whether to do realtime inference, which is efficient for small data (default False). If provided None, we would infer it on based on the data modalities and sample number.

• eval_tool – 用于目标检测的eval_tool。可以是“pycocotools”或“torchmetrics”。

Returns:

• 一个包含指标名称及其对应分数的字典。

• 可选地返回预测结果的pd.DataFrame。