Skip to content

Latest commit

 

History

History
112 lines (93 loc) · 2.8 KB

readme.md

File metadata and controls

112 lines (93 loc) · 2.8 KB
Raw

项目简介

img

逆向Pieces-OS GRPC流并转换为标准OpenAI接口的项目

所有模型均由 Pieces-OS 提供

本项目基于GPLV3协议开源

如果帮助到了你，能否给一个Star呢？

DEMO站

https://pieces.nekomoon.cc

一键部署

Deploy on Vercel

请注意下列环境变量！私人使用请添加API_KEY！

todo

  • 流式实现
  • Serverless部署
  • Docker支持
  • 静态Proto JS

项目结构

api
    protos
        GPTInferenceService.proto # GPT的GRPC定义
        VertexInferenceService.proto # 其余几乎所有模型的GRPC定义
    index.js Node.js的项目文件，即开即用
cloud_model.json 云端模型的配置文件，请提取unique中的模型使用

测试可用模型

Claude 系列

  • claude-3-5-sonnet@20240620
  • claude-3-haiku@20240307
  • claude-3-sonnet@20240229
  • claude-3-opus@20240229

GPT 系列

  • gpt-3.5-turbo
  • gpt-4
  • gpt-4-turbo
  • gpt-4o-mini
  • gpt-4o

Gemini 系列

  • gemini-1.5-flash
  • gemini-1.5-pro

其他

  • chat-bison
  • codechat-bison

手动部署

安装 package.json 中定义的依赖库后，执行 node index.js 启动程序

测试命令

获取模型
curl --request GET 'http://127.0.0.1:8787/v1/models' \
  --header 'Content-Type: application/json'

请求
curl --request POST 'http://127.0.0.1:8787/v1/chat/completions' \
  --header 'Content-Type: application/json' \
  --data '{
    "messages": [
      {
        "role": "user",
        "content": "你好！"
      }
    ],
    "model": "gpt-4o",
    "stream": true
  }'

环境变量

API_PREFIX

  • 描述: API 请求的前缀路径。
  • 默认值: '/'
  • 获取方式: process.env.API_PREFIX || '/'

API_KEY

  • 描述: API 请求的密钥。
  • 默认值: 空字符串 ''
  • 获取方式: process.env.API_KEY || ''

MAX_RETRY_COUNT

  • 描述: 最大重试次数。
  • 默认值: 3
  • 获取方式: process.env.MAX_RETRY_COUNT || 3

RETRY_DELAY

  • 描述: 重试延迟时间，单位为毫秒。
  • 默认值: 5000（5秒）
  • 获取方式: process.env.RETRY_DELAY || 5000

PORT

  • 描述: 服务监听的端口。
  • 默认值: 8787
  • 获取方式: process.env.PORT || 8787

COMMON_PROTO

  • 描述: 通用 gRPC 服务的 proto 文件路径。
  • 默认值: './VertexInferenceService.proto'

GPT_PROTO

  • 描述: GPT 推理 gRPC 服务的 proto 文件路径。
  • 默认值: './GPTInferenceService.proto'