如何调用一个大模型

OpenAI调用方式

调用大模型一般通过OpenAI API的协议进行调用，更多的还是直接使用SDK，可以很方便的调用。官方的SDK有JS/Python/.net/java/go等。另外，微软也提供了几种语言的SDK兼容OpenAI API和微软云自己的OpenAI服务。此外，还有很多第三方的SDK。

OpenAI API的官方SDK调用方式为：

pip install openai

from openai import OpenAI
client = OpenAI()

response = client.responses.create(
    model="gpt-4.1",
    input="Write a one-sentence bedtime story about a unicorn."
)

print(response.output_text)

流式的访问：

from openai import OpenAI
client = OpenAI()

stream = client.responses.create(
    model="gpt-4.1",
    input=[
        {
            "role": "user",
            "content": "Say 'double bubble bath' ten times fast.",
        },
    ],
    stream=True,
)

for event in stream:
    print(event)

文件上传：

# 1、还可以先上传一个pdf文件，然后使用该文件的引用调用下一个函数。
# 2、或者直接将pdf以base64等方式直接一次调用进行传递。

异步调用：

from openai import OpenAI
from time import sleep

client = OpenAI()

resp = client.responses.create(
    model="o3",
    input="Write a very long novel about otters in space.",
    background=True,
)

while resp.status in {"queued", "in_progress"}:
    print(f"Current status: {resp.status}")
    sleep(2)
    resp = client.responses.retrieve(resp.id)

print(f"Final status: {resp.status}\nOutput:\n{resp.output_text}")

OneAPI

OneAPI项目是将其他的模型接口转换为OpenAPI的格式。

![[how-to-call-llm-model 2025-06-02 00.03.28.excalidraw]] ![[Pasted_image_20250602001226.png]]

OneAPI代码地址：one-api github仓库 支持的模型也很丰富，如：

    OpenAI ChatGPT 系列模型（支持 Azure OpenAI API）
    Anthropic Claude 系列模型 (支持 AWS Claude)
    Google PaLM2/Gemini 系列模型
    Mistral 系列模型
    字节跳动豆包大模型（火山引擎）
    百度文心一言系列模型
    阿里通义千问系列模型
    讯飞星火认知大模型
    智谱 ChatGLM 系列模型
    360 智脑
    腾讯混元大模型
    Moonshot AI
    百川大模型
    MINIMAX
    Groq
    Ollama
    零一万物
    阶跃星辰
    Coze
    Cohere
    DeepSeek
    Cloudflare Workers AI
    DeepL
    together.ai
    novita.ai
    硅基流动 SiliconCloud
    xAI

AI Proxy

聚合各模型服务提供商的。

SiliconCloud

一个以提供开源模型调用为主的平台。

PPIO 派欧云

一个将 AI 开发、部署和使用全流程简化为可视化操作的平台。