oai.together

使用Together.AI的API创建一个与OpenAI兼容的客户端。

示例:

llm_config={

• "config_list" - [{

• "api_type" - "together",

• "model" - "mistralai/Mixtral-8x7B-Instruct-v0.1",

• "api_key" - os.environ.get("TOGETHER_API_KEY") } ]}

  agent = autogen.AssistantAgent("my_agent", llm_config=llm_config)

  使用以下命令安装Together.AI Python库：pip install --upgrade together

  资源:

  • https://docs.together.ai/docs/inference-python

TogetherClient​

class TogetherClient()

Together.AI 的 API 客户端。

__init__​

def __init__(**kwargs)

需要设置api_key或环境变量

参数:

• api_key str - 用于使用 Together.AI 的 API 密钥（或需要设置环境变量 TOGETHER_API_KEY）

消息检索​

def message_retrieval(response) -> List

从响应中检索并返回一个字符串列表或一个Choice.Message列表。

注意：如果返回的是一个Choice.Message列表，它目前需要包含OpenAI的ChatCompletion Message对象的字段，因为在当前代码库中，除非使用自定义代理，否则这是函数或工具调用的预期。

get_usage​

@staticmethod
def get_usage(response) -> Dict

使用 RESPONSE_USAGE_KEYS 返回响应的使用摘要。

parse_params​

def parse_params(params: Dict[str, Any]) -> Dict[str, Any]

从传入的参数中加载Together.AI API的参数，并返回已验证的参数集。检查类型、范围，并设置默认值。

oai_messages_to_together_messages​

def oai_messages_to_together_messages(
        messages: list[Dict[str, Any]]) -> list[dict[str, Any]]

将消息从OAI格式转换为Together.AI格式。 我们纠正任何特定的角色顺序和类型。

calculate_together_cost​

def calculate_together_cost(input_tokens: int, output_tokens: int,
                            model_name: str) -> float

推理成本计算