把 Ollama 自带的 OpenAI 兼容端点直接拿来接入 Claude Code、RAG 服务或者自研应用，总会遇到各种“不够像原版”的坑：参数缺失、工具调用对不上、上下文控制不够细……Ollama2OpenAI 就是为了解决这些痛点而来，用一层轻量网关把本地模型彻底转换成 OpenAI / Anthropic 服务器。
为什么需要它
- 渠道差异大：原生 Ollama OpenAI 端点对参数和接口的兼容度有限，稍微复杂一点的 SDK 就会报错。
- 集成成本高：不同产品要换不同的 API Key、模型名和默认参数，维护一堆配置既费时又容易出错。
- 缺少可视化管理：多用户共用时没有统一后台，只能靠手工统计和脚本调参。
解决思路
- 全面兼容请求：补齐 OpenAI 与 Anthropic 中常见参数，保持 JSON 结构一致，让现有 SDK“零改造”接入。
- 标准化高级能力：原生支持 think 内容、工具调用（Function Call / Tool Use），在 Claude Code、Agent Framework 中即插即用。
- 可视化控制台：内建管理面板，集中管理多套 API Key、监控调用量、统一维护模型别名和默认预设。
核心特性
- 高度参数兼容，解决“同名不同意”的请求差异。
- 支持 OpenAI 与 Anthropic 的思维链输出、工具调用等高级交互。
- 管理面板可配置模型替代名称、预设多种模型参数（API请求不写则用面板预配置的，写了则用API请求中的）、分配和替换 API Key。
- 适配自建服务、Agent、IDE 插件等多种使用场景。
快速开始
- 克隆仓库并配置 .env（也提供 .env.example）
- docker-compose 或本地 Node.js 启动服务
- 在后台创建想要暴露的模型、参数、密钥
- 直接使用 OpenAI / Anthropic 官方 SDK 指向新的网关地址即可
立即体验
仓库地址：https://github.com/MotorBottle/Ollama2OpenAI
Ollama是一个基于Llama.cpp的框架，其并行性能其实比较弱，但优点在于开箱即用并且相比vllm/sglang，对异构GPU、尤其是老架构GPU支持较好，同时也支持更长的上下文（同等硬件配置下），在一些场景还是存在一些优势的。如果你正在把Ollama本地模型塞进云端生态，却为兼容问题抓狂，欢迎尝试 Ollama2OpenAI —— 让 Ollama 真正兼容通用的 API 格式。
