缓存

默认情况下，LLM请求不会被缓存。不过，您可以通过script元数据或CLI参数来开启LLM请求缓存功能。

script({
    ...,
    cache: true
})

或

npx genaiscript run ... --cache

缓存存储在.genaiscript/cache/chat.jsonl文件中。您可以删除此文件以清除缓存。默认情况下该文件会被git排除。

Directory.genaiscript
- Directorycache
  - chat.jsonl

自定义缓存文件

使用cacheName选项来指定自定义缓存文件名。该名称将用于在.genaiscript/cache目录中创建文件。

script({
    ...,
    cache: "summary"
})

或者在CLI中使用--cache-name标志。

npx genaiscript run .... --cache-name summary

Directory.genaiscript
- Directorycache
  - summary.jsonl

编程式缓存

您可以实例化一个自定义缓存对象来以编程方式管理缓存。

const cache = await workspace.cache("custom")
// write entries
await cache.set("file.txt", "...")
// read value
const content = await cache.get("file.txt")
// list keys
const keys = await cache.keys()
// list values
const values = await cache.values()