使用GLiNER进行NER标注
GLiNER模型是一个通用的BERT系列命名实体识别模型。我们从HuggingFace下载该模型,但原始模型可在GitHub上获取。
开始之前
在开始之前,您必须安装Label Studio ML后端。
本教程使用gliner示例。
使用Docker运行(推荐)
- 使用预构建镜像在
http://localhost:9090上启动机器学习后端:
docker-compose up
- 验证后端是否正在运行
$ curl http://localhost:9090/
{"status":"UP"}
- 在Label Studio中创建一个项目。然后从项目设置的模型页面,连接模型。默认URL是
http://localhost:9090。
从源码构建(高级)
要从源代码构建ML后端,您需要克隆代码仓库并构建Docker镜像:
docker-compose build
不使用Docker运行(高级)
要在不使用Docker的情况下运行ML后端,您需要克隆代码库并使用pip安装所有依赖项:
python -m venv ml-backend
source ml-backend/bin/activate
pip install -r requirements.txt
然后你可以启动ML后端:
label-studio-ml start ./dir_with_your_model
配置
在运行容器之前,可以在docker-compose.yml中设置参数。
以下通用参数可用:
BASIC_AUTH_USER- 指定模型服务器的基础认证用户。BASIC_AUTH_PASS- 指定模型服务器的基础认证密码。LOG_LEVEL- 设置模型服务器的日志级别。WORKERS- 指定模型服务器的工作线程数量。THREADS- 指定模型服务器的线程数量。LABEL_STUDIO_URL- 指定您的Label Studio实例的URL。请注意,如果您在另一个Docker容器中运行Label Studio,可能需要设置为http://host.docker.internal:8080。LABEL_STUDIO_API_KEY- 指定用于验证Label Studio实例的API密钥。您可以通过登录Label Studio并访问账户与设置页面找到该密钥。