参考

结构化生成

尽管大型语言模型的能力越来越令人印象深刻，但我们可以通过引导生成使其输出更可靠。因此，Outlines提供了机制，以便在生成语言模型的文本补全上指定高级约束。

停止序列 默认情况下，语言模型在生成了标记后停止生成令牌，或者在达到设置的最大令牌数量后停止。它们的输出可能冗长，出于实际目的，通常需要在找到给定序列后停止生成。您可以在使用提示调用模型时使用stop_at关键字参数：

import outlines.models as models

complete = models.openai("gpt-4o-mini")
expert = complete("Name an expert in quantum gravity.", stop_at=["\n", "."])