提示缓存

提示词缓存是一项可以减少重复提示处理时间和成本的功能。它受到各种LLM提供商的支持，但具体实现方式可能有所不同。

`ephemeral`

您可以在def部分或$函数中设置cacheControl为"ephemeral"来启用提示缓存优化。这实质上意味着允许LLM提供商短时间内缓存提示。

def("FILE", env.files, { cacheControl: "ephemeral" })

$`Some very cool prompt`.cacheControl("ephemeral")

在大多数情况下，LLM提供商会忽略ephemeral提示。但以下情况是受支持的

Prompt caching 提示前缀的缓存功能由OpenAI自动启用。所有临时注释均会被移除。

ephemeral 注解会被转换为消息对象中的 'cache-control': { ... } 字段。

请注意，提示缓存功能仍标记为测试版，并非所有模型都支持（特别是较旧的模型）。