oai.groq

使用Groq的API创建一个OpenAI兼容的客户端。

示例:

llm_config={

• "config_list" - [{

• "api_type" - "groq",

• "model" - "mixtral-8x7b-32768",

• "api_key" - os.environ.get("GROQ_API_KEY") } ]}

  agent = autogen.AssistantAgent("my_agent", llm_config=llm_config)

  使用以下命令安装Groq的python库：pip install --upgrade groq

  资源:

  • https://console.groq.com/docs/quickstart

GroqClient​

class GroqClient()

Groq的API客户端。

__init__​

def __init__(**kwargs)

需要设置api_key或环境变量

参数:

• api_key str - Groq 使用的 API 密钥（或需要设置环境变量 GROQ_API_KEY）

消息检索​

def message_retrieval(response) -> List

从响应中检索并返回一个字符串列表或一个Choice.Message列表。

注意：如果返回的是一个Choice.Message列表，它目前需要包含OpenAI的ChatCompletion Message对象的字段，因为在当前代码库中，除非使用自定义代理，否则这是函数或工具调用的预期。

get_usage​

@staticmethod
def get_usage(response) -> Dict

使用 RESPONSE_USAGE_KEYS 返回响应的使用摘要。

parse_params​

def parse_params(params: Dict[str, Any]) -> Dict[str, Any]

从传入的参数中加载Groq API的参数并返回一个经过验证的集合。检查类型、范围并设置默认值

oai_messages_to_groq_messages​

def oai_messages_to_groq_messages(
        messages: list[Dict[str, Any]]) -> list[dict[str, Any]]

将消息从OAI格式转换为Groq的格式。 我们会修正任何特定的角色顺序和类型。

计算_groq_成本​

def calculate_groq_cost(input_tokens: int, output_tokens: int,
                        model: str) -> float

使用Groq定价计算完成的成本。