算力舱手册

Appearance

BGE-M3 嵌入模型 ​

BGE-M3 是算力舱内置的向量嵌入服务，适合语义检索、RAG 召回、文本相似度等场景。

服务信息 ​

  • 服务地址：
  • Embeddings 地址：
  • 默认模型名：bge-m3
  • 镜像：registry.lazycat.cloud/x/lzc-aipod-bge-m3:a7d1e2b

单独部署使用 ​

  1. 将下面内容保存到一个 docker-compose.yml 文件中
yml
services:
  bgem3vllm:
    image: registry.lazycat.cloud/x/lzc-aipod-bge-m3:a7d1e2b
    ports:
      - 8000:8000
    environment:
      - LANGUAGE=en_US:en
      - LANG=en_US.UTF-8
      - LC_ALL=en_US.UTF-8
      - VLLM_CONFIGURE_LOGGING=0
      - VLLM_DO_NOT_TRACK=1
      - VLLM_NO_USAGE_STATS=1
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
      interval: 10s
      timeout: 30s
      retries: 100
      start_period: 360s
  1. 在当前目录运行 docker-compose up -d 启动
  2. 启动后可通过 http://127.0.0.1:8000/v1/embeddings 调用

调用示例 ​

bash
curl http://127.0.0.1:8000/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"model":"bge-m3","input":"算力舱文档检索测试"}'