oai.cerebras

使用Cerebras的API创建一个OpenAI兼容的客户端。

示例:

llm_config={

• "config_list" - [{

• "api_type" - "cerebras",

• "model" - "llama3.1-8b",

• "api_key" - os.environ.get("CEREBRAS_API_KEY") }] }

  agent = autogen.AssistantAgent("my_agent", llm_config=llm_config)

  使用以下命令安装Cerebras的python库：pip install --upgrade cerebras_cloud_sdk

  资源:

  • https://inference-docs.cerebras.ai/quickstart

Cerebras客户端​

class CerebrasClient()

Cerebras API 的客户端。

__init__​

def __init__(api_key=None, **kwargs)

需要设置api_key或环境变量

参数:

• api_key str - 用于使用Cerebras的API密钥（或需要设置环境变量CEREBRAS_API_KEY）

消息检索​

def message_retrieval(response: ChatCompletion) -> List

从响应中检索并返回一个字符串列表或一个Choice.Message列表。

注意：如果返回的是一个Choice.Message列表，它目前需要包含OpenAI的ChatCompletion Message对象的字段，因为在当前代码库中，除非使用自定义代理，否则这是函数或工具调用的预期。

get_usage​

@staticmethod
def get_usage(response: ChatCompletion) -> Dict

使用 RESPONSE_USAGE_KEYS 返回响应的使用摘要。

parse_params​

def parse_params(params: Dict[str, Any]) -> Dict[str, Any]

从传入的参数中加载Cerebras API的参数并返回一个已验证的集合。检查类型、范围，并设置默认值

oai_messages_to_cerebras_messages​

def oai_messages_to_cerebras_messages(
        messages: list[Dict[str, Any]]) -> list[dict[str, Any]]

将消息从OAI格式转换为Cerebras的格式。 我们纠正任何特定的角色顺序和类型。

calculate_cerebras_cost​

def calculate_cerebras_cost(input_tokens: int, output_tokens: int,
                            model: str) -> float

使用Cerebras定价计算完成成本。