聊天记录预处理
将支持的聊天记录整理为后续模型训练所需的数据,衔接数据准备与微调流程。
BAIZE AI RESOURCE
WeClone
WeClone 是利用聊天记录创建 AI 数字分身的系统。它将聊天数据整理、隐私信息过滤、模型微调和部署串成一套流程,帮助有训练环境的用户制作带有个人聊天风格的对话模型。

WeClone 面向希望用自己的聊天记录制作 AI 数字分身、且具备模型训练环境的用户。项目提供从聊天数据准备、预处理到模型微调和部署的流程,目标是让对话模型呈现个人的聊天风格。目前明确支持以 Telegram 导出的文字和图片聊天记录作为数据源,也支持图片数据参与微调。处理聊天记录时可以过滤隐私信息,并在本地完成微调与部署。使用者需要自行准备聊天数据、模型和运行环境;最终效果会受所选模型及聊天数据的数量、质量影响,不宜把生成的回复视为对原本聊天者的准确复现。
将支持的聊天记录整理为后续模型训练所需的数据,衔接数据准备与微调流程。
利用聊天记录微调大语言模型,使其回复更接近训练数据中的聊天风格;支持图片数据参与微调。
在处理聊天数据时过滤隐私信息,减少敏感内容直接进入训练数据的风险。
训练完成后可将数字分身部署到 Telegram、Discord 或 Slack 中使用。
使用场景有模型训练环境的用户希望用自己的 Telegram 聊天记录创建对话模型。
导出文字聊天记录,完成预处理和隐私信息过滤后微调模型,再测试模型生成的回复是否符合预期。
使用场景用户的 Telegram 聊天记录中包含希望用于训练的照片。
导出包含照片的 JSON 聊天记录,采用多模态配置进行微调,让图片数据也参与数字分身训练。