Grounding DINO 后端集成
该集成将允许您:
- 使用文本提示对图像中的物体进行零样本检测。
- 无需任何模型微调,即可指定检测任意对象并获得最先进的结果。
有关预训练Grounding DINO模型的更多详情,请参阅此处。
开始之前
在开始之前,您必须安装Label Studio ML后端。
本教程使用grounding_dino
示例。
快速入门
确保已安装Docker。
编辑
docker-compose.yml
文件以包含以下内容:LABEL_STUDIO_HOST
设置Label Studio主机的终端节点。必须以http://
开头LABEL_STUDIO_ACCESS_TOKEN
设置Label Studio主机的API访问令牌。可以通过登录Label Studio并访问账户与设置页面获取。
示例:
LABEL_STUDIO_HOST=http://123.456.7.8:8080
LABEL_STUDIO_ACCESS_TOKEN=your-api-key
运行
docker compose up
使用
docker ps
检查后端的IP地址。在将后端连接到Label Studio项目时需要使用此URL。通常为http://localhost:9090
。创建一个项目并编辑标注配置(下方提供了示例)。在编辑标注配置时,请确保将所有矩形标签添加在
RectangleLabels
标签下,并将所有对应的笔刷标签添加在BrushLabels
标签下。
<View>
<Style>
.lsf-main-content.lsf-requesting .prompt::before { content: ' loading...'; color: #808080; }
</Style>
<View className="prompt">
<Header value="Enter a prompt to detect objects in the image:"/>
<TextArea name="prompt" toName="image" editable="true" rows="2" maxSubmissions="1" showSubmitButton="true"/>
</View>
<Image name="image" value="$image"/>
<RectangleLabels name="label" toName="image">
<Label value="cats" background="yellow"/>
<Label value="house" background="blue"/>
</RectangleLabels>
</View>
- 在项目设置的模型页面中,连接模型。
- 进入项目中的图像任务。启用自动标注(位于标注界面底部)。然后在提示框中输入内容并点击添加。完成后,您应该会收到预测结果。观看上方视频可查看演示。
使用GPU
为了获得最佳用户体验,建议使用GPU。为此,您可以更新docker-compose.yml
文件,包含以下内容:
environment:
- NVIDIA_VISIBLE_DEVICES=all
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
使用GroundingSAM
如果您正在寻找GroundingDINO与SAM的集成方案,查看此示例。