提示注入策略
提示注入策略测试大型语言模型(LLM)中常见的直接提示注入漏洞。
要在所有红队测试中启用提示注入,请将以下内容添加到您的 promptfooconfig.yaml
文件中:
strategies:
- prompt-injection
默认情况下,它会从数百个提示注入中随机选择一个。要控制采样的提示注入数量,请使用 sample
选项:
strategies:
- id: prompt-injection
config:
sample: 10
请注意,这会对运行的测试数量产生乘法效应!这意味着对于每个由插件生成的测试用例,将测试 10 个提示注入。
此策略还支持 harmfulOnly
选项,该选项将提示注入限制为 harmful
插件。这对于节省时间/成本非常有用:
strategies:
- id: prompt-injection
config:
sample: 5
harmfulOnly: true
注入示例
在生成式AI红队测试中的重要性
提示注入是一个广为人知的攻击向量。尽管基础实验室正在努力在模型层面缓解注入问题,但仍然有必要测试您的应用程序对用户提供提示的处理情况。
相关概念
有关LLM漏洞和红队策略的全面概述,请访问我们的LLM漏洞类型页面。