BAIZE AI RESOURCE

文本向量模型推理服务

Text-embeddings-inference

Text Embeddings Inference 是用于部署开源文本向量与序列分类模型的推理工具。它将模型能力作为服务提供，帮助需要处理文本的开发者获取文本向量，或在选用相应模型时完成分类任务，而不必为每个模型单独搭建推理服务。

获取资源
Text-embeddings-inference

资源介绍

Text Embeddings Inference（TEI）面向需要在应用中使用开源文本模型的开发者和团队。它可以将受支持的文本向量模型部署为推理服务，让应用通过接口提交文本并获取向量结果；也支持部署序列分类模型。项目列出了 BERT、Nomic、GTE、Qwen 等模型系列，选型时仍需确认具体模型是否受支持。TEI 提供 Docker 部署方式，也说明了在 Apple Silicon Mac 上本地运行的方式。它适合已有模型选择、希望持续向应用提供文本推理能力的用户，而不是无需配置即可使用的在线聊天工具。

应用能力

文本向量提取

部署受支持的文本向量模型后，可通过服务请求获取文本向量，供需要文本表示的应用使用。

序列分类模型服务

除向量模型外，也可部署序列分类模型，为相应的文本分类需求提供推理服务。

多模型系列支持

支持 BERT、Nomic、GTE、Qwen 等模型系列，便于根据任务需求选择相应的开源模型。

请求动态批处理

支持按 token 动态批处理，在服务接收多个请求时组织推理批次。

资源配置

应用版本

v1.9.4

运行环境

DockermacOS

安装方式

Docker部署包管理器安装

依赖环境

Docker

安装与使用

  1. 选择 TEI 支持的文本向量模型或序列分类模型。

  2. 按运行设备选择相应的部署方式并启动服务；项目提供 Docker 部署方式，也说明了 Apple Silicon Mac 的本地安装方式。

  3. 服务启动后，通过其 API 提交文本请求，获取所选模型返回的向量或分类结果。

使用案例

为应用提供文本向量

使用场景开发者需要让应用获取用户输入文本的向量表示。

选择受支持的向量模型并启动 TEI 服务，应用向服务提交文本，取得模型生成的向量结果。

部署文本分类模型

使用场景团队已有需要使用的序列分类模型，希望通过服务调用。

将受支持的序列分类模型部署到 TEI，由应用提交文本并接收模型的分类推理结果。

包含内容

text-embeddings-inference-source.zip
README-中文安装说明.md
LICENSE-Apache-2.0.txt
SHA256.txt

常见问题

TEI 只能运行文本向量模型吗？
不是。TEI 也支持部署序列分类模型；可用功能取决于所选择的模型类型。
可以在 Apple Silicon Mac 上本地运行吗？
可以。项目明确提供 Mac 本地执行的 Metal 支持，并列有 Apple Silicon 的 Homebrew 本地安装方式。
是否支持 Qwen 系列的文本向量模型？
支持。项目列出了 Qwen2 和 Qwen3 模型系列，并给出了 Qwen/Qwen3-Embedding-0.6B 等受支持模型示例。
可以用 Docker 部署吗？
可以。项目提供 Docker 部署方式，并针对不同运行设备提供相应的容器构建文件。