生成训练样本
通过模型生成指令与回答等合成数据，用于准备语言模型的训练数据集。
BAIZE AI RESOURCE
AI 训练数据生成工具
Distilabel
Distilabel 是用于构建 AI 训练数据集的 Python 工具。它将数据生成、处理和模型反馈组织成可运行的流程，帮助开发者制作指令回答、偏好等数据集，并在数据准备过程中评估和筛选结果。
资源介绍
Distilabel 面向需要为语言模型准备数据的开发者和数据团队。它不是直接打开就能使用的聊天应用，而是一个通过 Python 编写数据处理流程的工具：用户选择输入数据与模型，将生成、处理和评估任务连接起来，再运行流程获得数据集。它可用于生成指令与回答、制作偏好数据，也可借助 AI 反馈判断和筛选数据，减少为模型训练反复手工整理样本的工作。项目提供预设的指令回答流程，也允许按任务自定义流程；模型既可来自远程服务，也可在本地运行。对于较大的数据处理任务，流程还支持缓存、恢复以及按需扩展的分布式执行。
应用能力
添加 AI 反馈
在数据流程中使用模型评估生成结果，支持制作偏好数据或筛选已有数据。
自定义数据流程
将数据加载、转换和模型任务组合成流程，按目标数据集调整处理步骤。
复用与扩展流程
流程支持缓存和恢复；处理大规模数据时，可选装 Ray 相关依赖进行分布式执行。
分享生成的数据集
生成的 Distiset 可推送至 Hugging Face Hub，供他人使用或作为后续流程的输入。
资源配置
应用版本
1.5.3
运行环境
其他
安装方式
包管理器安装命令安装
依赖环境
PythonOllama
安装与使用
准备 Python 3.9 或更高版本的环境。
使用 pip install distilabel --upgrade 安装；所选模型或功能需要额外依赖时，再安装对应扩展。
选择预设的 InstructionResponsePipeline，或在 Python 中定义包含数据输入与模型任务的自定义流程。
运行流程获取数据集；需要分享时，可将生成的 Distiset 推送至 Hugging Face Hub。
使用案例
制作指令回答数据
使用场景开发者需要为语言模型准备监督微调样本
运行预设的指令回答生成流程，得到包含指令和回答的数据集。
构建偏好数据集
使用场景数据团队需要比较模型回答并整理偏好样本
将数据生成和模型评价任务组合成流程，根据评价结果整理用于后续模型训练的偏好数据。
包含内容
distilabel-source.zip
README-中文安装说明.md
LICENSE-Apache-2.0.txt
THIRD-PARTY-NOTICES.md
SHA256.txt
常见问题
Distilabel 需要什么 Python 版本？
项目要求 Python 3.9 或更高版本；安装文档说明的支持范围截至 Python 3.12。
使用 OpenAI 或 Hugging Face 推理端点时，需要安装什么？
这两类模型集成分别提供 openai 和 hf-inference-endpoints 可选依赖；基础安装命令为 pip install distilabel --upgrade，使用对应集成时还需安装相应扩展。
生成的数据集可以分享到 Hugging Face Hub 吗？
可以。快速入门示例在运行自定义流程后，使用 Distiset 的 push_to_hub 方法将数据集推送至 Hugging Face Hub。
大规模数据流程可以分布式运行吗？
可以。项目文档说明流程支持分布式执行，并提供 ray 可选依赖用于扩展和分布式运行。
相关资源
