自定义推理流程
可用 Python 定义模型加载、请求处理和输出逻辑，让多个模型或处理步骤按业务需要协同工作。
BAIZE AI RESOURCE
自定义 AI 推理服务工具
LitServe
LitServe 是用于构建 AI 推理服务的 Python 工具。开发者可自行定义模型加载、请求处理和输出方式，将模型、智能体或 RAG 流程提供为可调用的接口，减少为自定义推理流程搭建服务的工作。
资源介绍
LitServe 面向需要把 AI 能力提供给其他应用调用的开发者，而不是可直接聊天的成品应用。使用者通过 Python 定义模型如何加载、请求如何处理以及结果如何返回，再启动服务，对外提供推理接口。它适合单模型推理，也适合需要组合多个模型、智能体或 RAG 流程的场景；当请求需要批处理或结果需要逐步返回时，也可按需求设置。README 给出了在本地运行并通过 HTTP 请求测试接口的方式，也说明服务可以自行托管或部署到 Lightning AI。对于不适合套用固定模型服务流程的项目，它让开发者保留对推理过程的控制。
应用能力
批处理与流式输出
提供请求批处理和流式输出能力，可用于集中处理请求或逐步返回生成结果。
构建多类 AI 服务
可用于提供模型推理接口，以及智能体、RAG 系统和多模型流程所需的服务。
灵活运行位置
服务可在本地运行、自行托管，也可部署到 Lightning AI，便于按使用场景选择运行位置。
资源配置
应用版本
v0.2.19
运行环境
其他
安装方式
包管理器安装命令安装
依赖环境
Python
安装与使用
准备 Python 3.10 或更高版本，使用 pip install litserve 安装。
创建 Python 文件，继承 LitAPI，定义模型初始化和请求预测逻辑。
将 LitAPI 实例交给 LitServer 并运行服务；README 示例使用 8000 端口。
向服务的 /predict 接口发送 HTTP POST 请求，获取推理结果。
使用案例
组合多个模型的推理接口
使用场景开发者希望一次请求经过多个模型或处理步骤。
在 LitAPI 中定义各步骤及结果组合逻辑，启动 LitServer 后，让调用方通过 /predict 提交输入并接收输出。
新闻摘要智能体
使用场景开发者需要把网页内容交给语言模型处理，并通过接口返回结果。
README 示例在 LitAPI 中获取网页文本，调用 OpenAI API 生成回答，再由 LitServer 将结果作为接口响应返回。此示例需要另行配置所调用的 OpenAI API。
包含内容
release-0-litserve-0.2.19.tar.gz
README-中文安装说明.md
LICENSE-Apache-2.0.txt
SHA256.txt
常见问题
LitServe 需要什么 Python 版本？
项目配置要求 Python 3.10 或更高版本。
如何安装 LitServe？
README 提供的安装命令是 pip install litserve。
示例服务如何接收推理请求？
README 中的示例在 8000 端口启动 LitServer，调用方可向 http://127.0.0.1:8000/predict 发送包含输入数据的 HTTP POST 请求。
LitServe 必须部署到 Lightning AI 吗？
不必。README 给出了本地运行和自行托管的方式，同时提供部署到 Lightning AI 的选择。
相关资源
