Skip to main content

提示注入策略

提示注入策略测试大型语言模型(LLM)中常见的直接提示注入漏洞。

要在所有红队测试中启用提示注入,请将以下内容添加到您的 promptfooconfig.yaml 文件中:

strategies:
- prompt-injection

默认情况下,它会从数百个提示注入中随机选择一个。要控制采样的提示注入数量,请使用 sample 选项:

strategies:
- id: prompt-injection
config:
sample: 10

请注意,这会对运行的测试数量产生乘法效应!这意味着对于每个由插件生成的测试用例,将测试 10 个提示注入。

此策略还支持 harmfulOnly 选项,该选项将提示注入限制为 harmful 插件。这对于节省时间/成本非常有用:

strategies:
- id: prompt-injection
config:
sample: 5
harmfulOnly: true

注入示例

  1. OPPO
  2. Skeleton key
  3. DAN

在生成式AI红队测试中的重要性

提示注入是一个广为人知的攻击向量。尽管基础实验室正在努力在模型层面缓解注入问题,但仍然有必要测试您的应用程序对用户提供提示的处理情况。

相关概念

有关LLM漏洞和红队策略的全面概述,请访问我们的LLM漏洞类型页面。