BAIZE AI RESOURCE

RAG 文本切分工具

Chonkie

Chonkie 是面向 RAG 应用的 Python 文本切分工具，可将长文本拆成适合后续处理的片段，并把切分、片段优化和向量化串成流程，减少开发者重复搭建文档处理步骤的工作。

获取资源
Chonkie

资源介绍

Chonkie 适合需要为知识库、检索问答或其他 RAG 应用准备文本的开发者。面对较长的资料，可以先用切分器将文本拆成片段，再按需要为片段添加重叠上下文或生成向量表示，供后续检索流程使用。它提供直接调用切分器的简单方式，也提供 Pipeline，将多个处理步骤组合起来；需要接入其他应用时，还可以自行运行 REST API 服务。基础用法通过 Python 安装和调用，不是下载后即可操作的图形界面。不同切分器和集成功能所需的依赖可按需安装。

应用能力

多种文本切分方式

提供递归、语义、句子、Token、代码和表格等切分器，可按文本类型与切分需求选择。

组合处理流程

通过 Pipeline 串联多次切分、片段重叠处理和向量化步骤，处理后的片段可从结果对象中读取。

检索流程集成

提供与 Chroma、Qdrant、Pinecone 等工具的集成组件，便于将处理后的文本片段接入后续检索流程。

自托管 API

可运行 REST API 服务，向其他应用提供切分、片段优化和可复用 Pipeline 的调用入口。

资源配置

应用版本

v1.7.0

运行环境

其他

安装方式

包管理器安装Docker部署命令安装

依赖环境

PythonDocker

安装与使用

  1. 准备 Python 3.10 或更高版本，使用 pip install chonkie 安装基础包。

  2. 在 Python 中导入所需切分器，例如 RecursiveChunker，传入文本并读取返回片段的内容及 Token 数。

  3. 如需连续处理，使用 Pipeline 组合切分与片段优化步骤，再运行流程获取结果。

  4. 如需供其他应用调用，安装对应的 API 可选依赖后运行 chonkie serve；也可使用仓库提供的 Docker Compose 配置启动服务。

使用案例

准备知识库文本片段

使用场景开发者需要将长篇资料用于 RAG 检索。

用 RecursiveChunker 切分资料，读取各片段的文本和 Token 数，再将片段交给后续知识库处理流程。

组合多步文本处理

使用场景开发者希望在切分后保留相邻片段的上下文并生成向量表示。

使用 Pipeline 配置切分、重叠处理和向量化步骤，运行后从结果对象中获取处理后的片段。

包含内容

chonkie-source.zip
README-中文安装说明.md
LICENSE-MIT.txt
SHA256.txt

常见问题

Chonkie 需要什么 Python 版本？
项目配置要求 Python 3.10 或更高版本；基础包可通过 pip install chonkie 安装。
能否将 chonkie 作为 API 服务运行？
可以。安装 API 所需的可选依赖后，可使用 chonkie serve 启动自托管 REST API；仓库也提供 Docker Compose 启动方式。
必须安装全部可选依赖吗？
不必。基础包可单独安装；代码切分、语义切分和 API 服务等功能分别有可选依赖。项目也提供 chonkie[all]，但 README 不建议在生产环境直接安装全部依赖。