流水线

句子识别器

classv3
String name:senterTrainable:
用于句子分割的流水线组件

一个可训练的句子分割流水线组件。如需更简单的基于规则的策略,请参阅Sentencizer

Assigned Attributes

预测值将被赋值给Token.is_sent_start。生成的句子可以通过Doc.sents访问。

位置
Token.is_sent_startA boolean value indicating whether the token starts a sentence. This will be either True or False for all tokens. bool
Doc.sentsAn iterator over sentences in the Doc, determined by Token.is_sent_start values. Iterator[Span]

配置与实现

默认配置由管道组件工厂定义,描述了组件应如何配置。您可以通过nlp.add_pipe中的config参数或在训练用的config.cfg中覆盖其设置。有关架构及其参数和超参数的详细信息,请参阅模型架构文档。

设置描述
modelThe Model powering the pipeline component. Defaults to Tagger. Model[List[Doc], List[Floats2d]]
overwrite v3.2Whether existing annotation is overwritten. Defaults to False. bool
scorer v3.2The scoring method. Defaults to Scorer.score_spans for the attribute "sents". Optional[Callable]
explosion/spaCy/master/spacy/pipeline/senter.pyx

SentenceRecognizer.__init__ 方法

初始化句子识别器。

创建一个新的管道实例。在您的应用程序中,通常会使用快捷方式,通过其字符串名称并使用nlp.add_pipe来实例化该组件。

名称描述
vocabThe shared vocabulary. Vocab
modelThe Model powering the pipeline component. Model[List[Doc], List[Floats2d]]
nameString name of the component instance. Used to add entries to the losses during training. str
仅关键字
overwrite v3.2Whether existing annotation is overwritten. Defaults to False. bool
scorer v3.2The scoring method. Defaults to Scorer.score_spans for the attribute "sents". Optional[Callable]

SentenceRecognizer.__call__ 方法

将管道应用于单个文档。文档会被原地修改并返回。 这通常在调用nlp对象处理文本时自动完成, 所有管道组件会按顺序应用于Doc对象。 __call__pipe方法都会委托给 predictset_annotations方法。

名称描述
docThe document to process. Doc

SentenceRecognizer.pipe 方法

将管道应用于文档流。这通常在调用nlp对象处理文本时自动完成,所有流水线组件会按顺序应用于Doc对象。__call__pipe方法都会委托给predictset_annotations方法执行。

名称描述
streamA stream of documents. Iterable[Doc]
仅关键字
batch_sizeThe number of documents to buffer. Defaults to 128. int

SentenceRecognizer.initialize 方法

初始化组件以进行训练。get_examples应是一个返回可迭代Example对象的函数。至少需要提供一个示例。这些数据示例用于初始化组件模型,可以是完整的训练数据或代表性样本。初始化过程包括验证网络、推断缺失形状以及根据数据设置标签方案。该方法通常由Language.initialize调用。

名称描述
get_examplesFunction that returns gold-standard annotations in the form of Example objects. Must contain at least one Example. Callable[[], Iterable[Example]]
仅关键字
nlpThe current nlp object. Defaults to None. Optional[Language]

SentenceRecognizer.predict 方法

将组件的模型应用于一批Doc对象,而不修改它们。

名称描述
docsThe documents to predict. Iterable[Doc]

SentenceRecognizer.set_annotations 方法

使用预先计算的分数修改一批Doc对象。

名称描述
docsThe documents to modify. Iterable[Doc]
scoresThe scores to set, produced by SentenceRecognizer.predict.

SentenceRecognizer.update 方法

从一批包含预测和黄金标准注释的Example对象中学习,并更新组件的模型。委托给predictget_loss

名称描述
examplesA batch of Example objects to learn from. Iterable[Example]
仅关键字
dropThe dropout rate. float
sgdAn optimizer. Will be created via create_optimizer if not set. Optional[Optimizer]
lossesOptional record of the loss during training. Updated using the component name as the key. Optional[Dict[str, float]]

SentenceRecognizer.rehearse 方法实验性v3.0

对一批数据执行“预演”更新。预演更新旨在教导当前模型做出与初始模型相似的预测,以尝试解决“灾难性遗忘”问题。此功能为实验性功能。

名称描述
examplesA batch of Example objects to learn from. Iterable[Example]
仅关键字
dropThe dropout rate. float
sgdAn optimizer. Will be created via create_optimizer if not set. Optional[Optimizer]
lossesOptional record of the loss during training. Updated using the component name as the key. Optional[Dict[str, float]]

SentenceRecognizer.get_loss 方法

计算这批文档及其预测分数的损失和损失梯度。

名称描述
examplesThe batch of examples. Iterable[Example]
scoresScores representing the model’s predictions.

SentenceRecognizer.create_optimizer 方法

为管道组件创建一个优化器。

名称描述

SentenceRecognizer.use_params 方法上下文管理器

修改管道的模型,以使用给定的参数值。在上下文结束时,原始参数将被恢复。

名称描述
paramsThe parameter values to use in the model. dict

SentenceRecognizer.to_disk 方法

将管道序列化到磁盘。

名称描述
pathA path to a directory, which will be created if it doesn’t exist. Paths may be either strings or Path-like objects. Union[str,Path]
仅关键字
excludeString names of serialization fields to exclude. Iterable[str]

SentenceRecognizer.from_disk 方法

从磁盘加载管道。原地修改对象并返回它。

名称描述
pathA path to a directory. Paths may be either strings or Path-like objects. Union[str,Path]
仅关键字
excludeString names of serialization fields to exclude. Iterable[str]

SentenceRecognizer.to_bytes 方法

将管道序列化为字节串。

名称描述
仅关键字
excludeString names of serialization fields to exclude. Iterable[str]

SentenceRecognizer.from_bytes 方法

从字节串加载管道。原地修改对象并返回它。

名称描述
bytes_dataThe data to load from. bytes
仅关键字
excludeString names of serialization fields to exclude. Iterable[str]

序列化字段

在序列化过程中,spaCy会导出多个用于恢复对象不同方面的数据字段。如果需要,您可以通过exclude参数传入字符串名称来将它们排除在序列化之外。

名称描述
vocabThe shared Vocab.
cfgThe config file. You usually don’t want to exclude this.
modelThe binary model data. You usually don’t want to exclude this.