[旧代理 👉 新代理在此] 本地LiteLLM代理服务器

import openai 

openai.api_key = "any-string-here"
openai.api_base = "http://0.0.0.0:8080" # 你的代理URL

# 调用OpenAI
response = openai.ChatCompletion.create(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hey"}])

print(response)

# 调用Cohere
response = openai.ChatCompletion.create(model="command-nightly", messages=[{"role": "user", "content": "Hey"}])

print(response)

pip install pyautogen

from autogen import AssistantAgent, UserProxyAgent, oai
config_list=[
    {
        "model": "my-fake-model",
        "api_base": "http://0.0.0.0:8000",  #litellm兼容端点
        "api_type": "open_ai",
        "api_key": "NULL", # 只是一个占位符
    }
]

response = oai.Completion.create(config_list=config_list, prompt="Hi")
print(response) # 运行正常

llm_config={
    "config_list": config_list,
}

assistant = AssistantAgent("assistant", llm_config=llm_config)
user_proxy = UserProxyAgent("user_proxy")
user_proxy.initiate_chat(assistant, message="Plot a chart of META and TESLA stock price change YTD.", config_list=config_list)

from autogen import AssistantAgent, GroupChatManager, UserProxyAgent
from autogen.agentchat import GroupChat
config_list = [
    {
        "model": "ollama/mistralorca",
        "api_base": "http://0.0.0.0:8000",  # litellm兼容端点
        "api_type": "open_ai",
        "api_key": "NULL",  # 仅作为占位符
    }
]
llm_config = {"config_list": config_list, "seed": 42}

code_config_list = [
    {
        "model": "ollama/phind-code",
        "api_base": "http://0.0.0.0:8000",  # litellm兼容端点
        "api_type": "open_ai",
        "api_key": "NULL",  # 仅作为占位符
    }
]

code_config = {"config_list": code_config_list, "seed": 42}

admin = UserProxyAgent(
    name="Admin",
    system_message="一位人类管理员。与计划者互动讨论计划。计划执行需要得到这位管理员的批准。",
    llm_config=llm_config,
    code_execution_config=False,
)


engineer = AssistantAgent(
    name="Engineer",
    llm_config=code_config,
    system_message="""工程师。你遵循批准的计划。你编写python/shell代码来解决任务。将代码包裹在一个指定脚本类型的代码块中。用户无法修改你的代码。因此，不要建议需要他人修改的不完整代码。如果不打算让执行者执行代码，请不要使用代码块。
不要在一个响应中包含多个代码块。不要要求他人复制并粘贴结果。检查执行者返回的执行结果。
如果结果表明存在错误，修复错误并再次输出代码。建议完整的代码而不是部分代码或代码更改。如果错误无法修复或即使代码成功执行后任务仍未解决，分析问题，重新审视你的假设，收集你需要的额外信息，并考虑尝试不同的方法。
""",
)
planner = AssistantAgent(
    name="Planner",
    system_message="""计划者。提出一个计划。根据管理员和批评者的反馈修订计划，直到管理员批准。
计划可能涉及一个可以编写代码的工程师和一个不编写代码的科学家。
首先解释计划。明确哪些步骤由工程师执行，哪些步骤由科学家执行。
""",
    llm_config=llm_config,
)
executor = UserProxyAgent(
    name="Executor",
    system_message="执行者。执行工程师编写的代码并报告结果。",
    human_input_mode="NEVER",
    llm_config=llm_config,
    code_execution_config={"last_n_messages": 3, "work_dir": "paper"},
)
critic = AssistantAgent(
    name="Critic",
    system_message="批评者。仔细检查其他代理的计划、主张、代码并提供反馈。检查计划是否包含可验证的信息，如来源URL。",
    llm_config=llm_config,
)
groupchat = GroupChat(
    agents=[admin, engineer, planner, executor, critic],
    messages=[],
    max_round=50,
)
manager = GroupChatManager(groupchat=groupchat, llm_config=llm_config)


admin.initiate_chat(
    manager,
    message="""
""",
)

pip install langroid

from langroid.language_models.openai_gpt import OpenAIGPTConfig, OpenAIGPT

# 配置 LLM
my_llm_config = OpenAIGPTConfig(
    # 代理服务器监听地址
    api_base="http://0.0.0.0:8000", 
)

# 创建 LLM，一次性交互
llm = OpenAIGPT(my_llm_config)
response = mdl.chat("What is the capital of China?", max_tokens=50)

# 使用此 LLM 创建一个 Agent，将其包装在任务中，并
# 将其作为交互式聊天应用运行：
from langroid.agent.base import ChatAgent, ChatAgentConfig
from langroid.agent.task import Task

agent_config = ChatAgentConfig(llm=my_llm_config, name="my-llm-agent")
agent = ChatAgent(agent_config)

task = Task(agent, name="my-llm-task")
task.run() 

import openai 

openai.api_key = "any-string-here"
openai.api_base = "http://0.0.0.0:8080" # 您的代理 URL

# 调用 gpt-3.5-turbo
response = openai.ChatCompletion.create(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hey"}])

print(response)

# 调用 ollama/llama2
response = openai.ChatCompletion.create(model="ollama/llama2", messages=[{"role": "user", "content": "Hey"}])

print(response)

  default=OpenAI(
      api_key="IGNORED",
      model="fake-model-name",
      context_length=2048, # 根据需要自定义您的模型
      api_base="http://localhost:8000" # 您的代理服务器 URL
  ),

pip install pyautogen

from autogen import AssistantAgent, UserProxyAgent, oai
config_list=[
    {
        "model": "my-fake-model",
        "api_base": "http://localhost:8000",  #litellm 兼容端点
        "api_type": "open_ai",
        "api_key": "NULL", # 只是一个占位符
    }
]

response = oai.Completion.create(config_list=config_list, prompt="Hi")
print(response) # 运行良好

llm_config={
    "config_list": config_list,
}

assistant = AssistantAgent("assistant", llm_config=llm_config)
user_proxy = UserProxyAgent("user_proxy")
user_proxy.initiate_chat(assistant, message="Plot a chart of META and TESLA stock price change YTD.", config_list=config_list)

from autogen import AssistantAgent, GroupChatManager, UserProxyAgent
from autogen.agentchat import GroupChat
config_list = [
    {
        "model": "ollama/mistralorca",
        "api_base": "http://localhost:8000",  # litellm兼容的端点
        "api_type": "open_ai",
        "api_key": "NULL",  # 只是一个占位符
    }
]
llm_config = {"config_list": config_list, "seed": 42}

code_config_list = [
    {
        "model": "ollama/phind-code",
        "api_base": "http://localhost:8000",  # litellm兼容的端点
        "api_type": "open_ai",
        "api_key": "NULL",  # 只是一个占位符
    }
]

code_config = {"config_list": code_config_list, "seed": 42}

admin = UserProxyAgent(
    name="管理员",
    system_message="一个人类管理员。与规划者互动以讨论计划。计划执行需要得到该管理员的批准。",
    llm_config=llm_config,
    code_execution_config=False,
)

engineer = AssistantAgent(
    name="工程师",
    llm_config=code_config,
    system_message="""工程师。你遵循一个批准的计划。你编写用于解决任务的python/shell代码。将代码包裹在指定脚本类型的代码块中。用户无法修改你的代码。因此，不要建议需要其他人修改的不完整代码。如果不打算由执行者执行，请不要使用代码块。
不要在一个响应中包含多个代码块。不要要求其他人复制和粘贴结果。检查执行者返回的执行结果。
如果结果表明有错误，修复错误并再次输出代码。建议完整的代码而不是部分代码或代码更改。如果错误无法修复或即使代码成功执行任务仍未解决，分析问题，重新审视你的假设，收集你需要的额外信息，并考虑尝试不同的方法。
""",
)

planner = AssistantAgent(
    name="规划者",
    system_message="""规划者。提出一个计划。根据管理员和批评者的反馈修订计划，直到得到管理员的批准。
该计划可能涉及一个可以编写代码的工程师和一个不编写代码的科学家。
首先解释计划。明确指出哪一步由工程师执行，哪一步由科学家执行。
""",
    llm_config=llm_config,
)

executor = UserProxyAgent(
    name="执行者",
    system_message="执行者。执行工程师编写的代码并报告结果。",
    human_input_mode="NEVER",
    llm_config=llm_config,
    code_execution_config={"last_n_messages": 3, "work_dir": "paper"},
)

critic = AssistantAgent(
    name="批评者",
    system_message="批评者。仔细检查其他代理的计划、主张、代码并提供反馈。检查计划是否包括添加可验证的信息，如来源URL。",
    llm_config=llm_config,
)

groupchat = GroupChat(
    agents=[admin, engineer, planner, executor, critic],
    messages=[],
    max_round=50,
)
manager = GroupChatManager(groupchat=groupchat, llm_config=llm_config)

admin.initiate_chat(
    manager,
    message="""
""",
)

pip install langroid

from langroid.language_models.openai_gpt import OpenAIGPTConfig, OpenAIGPT

# 配置LLM
my_llm_config = OpenAIGPTConfig(
    #格式: "local/[LiteLLM代理监听的URL]"
    chat_model="local/localhost:8000", 
    chat_context_length=2048,  # 根据模型调整
)

# 创建llm，一次性交互
llm = OpenAIGPT(my_llm_config)
response = mdl.chat("What is the capital of China?", max_tokens=50)

# 使用此LLM创建一个代理，将其包装在一个任务中，并
# 将其作为交互式聊天应用运行：
from langroid.agent.base import ChatAgent, ChatAgentConfig
from langroid.agent.task import Task

agent_config = ChatAgentConfig(llm=my_llm_config, name="my-llm-agent")
agent = ChatAgent(agent_config)

task = Task(agent, name="my-llm-task")
task.run() 

import guidance

# 设置api_base到你的代理
# 设置api_key为任何值
gpt4 = guidance.llms.OpenAI("gpt-4", api_base="http://0.0.0.0:8000", api_key="anything")

experts = guidance('''
{{#system~}}
你是一个有帮助且简洁的助手。
{{~/system}}

{{#user~}}
我想要一个对以下问题的回答：
{{query}}
请列出3位世界级的专家（过去或现在），他们非常擅长回答这个问题？
暂时不要回答问题。
{{~/user}}

{{#assistant~}}
{{gen 'expert_names' temperature=0 max_tokens=300}}
{{~/assistant}}
''', llm=gpt4)

result = experts(query='如何提高生产力？')
print(result)