服务
启动一个本地网络服务器,用于运行playground或Visual Studio Code。
从工作区根目录运行:
npx genaiscript serve端口
默认端口是8003。您可以通过设置--port标志来指定端口。
npx genaiscript serve --port 8004API密钥
API密钥用于验证对服务器的请求。
您可以通过设置--api-key标志或GENAISCRIPT_API_KEY环境变量来指定API密钥。
npx genaiscript serve --api-key my-api-key或
GENAISCRIPT_API_KEY=my-api-keyAPI密钥可以在请求的Authorization头部中设置,或者在URL查询参数api-key中设置(http://localhost:8003/#api-key=my-api-key)
CORS
您可以通过设置--cors标志或配置GENAISCRIPT_CORS_ORIGIN环境变量来启用跨源共享资源。
npx genaiscript serve --cors contoso.com网络
您可以通过设置--network标志将服务器绑定到0.0.0.0,使其可从网络访问。
npx genaiscript serve --network我们强烈建议在网络环境中运行服务器时设置API密钥。
OpenAI API 端点
该服务器实现了多种与OpenAI API兼容的端点。您可以通过设置--openai标志将服务器用作OpenAI API的代理。
这些路由可用于为其他工具(如promptfoo)提供对已配置LLM的稳定访问。
npx genaiscript serve --openai这将启用以下路由:
/v1/chat/completions
与OpenAI的聊天补全API基本兼容。服务器会将请求转发到OpenAI API并返回响应。
stream不支持。
/v1/models
返回服务器中可用的模型和别名列表。