BAIZE AI RESOURCE

视频理解辅助 Skill

Claude-real-video

Claude-real-video 是帮助 AI 助手理解视频的 Skill。它从视频链接或本地文件提取关键画面和语音文字,让原本无法直接读取视频的助手也能结合画面与讲述内容,回答问题或生成摘要。

Claude-real-video

资源介绍

Claude-real-video 适合需要让 AI 助手分析视频内容的用户,例如整理讲座要点、了解演示过程,或针对片段提问。用户提供视频链接或本地文件后,配套的 crv 工具会按画面变化选取关键帧、去除相近画面,并在安装语音识别组件后生成转录文字。Skill 指引 Agent 先读取结果清单和文字,再按顺序查看关键帧;需要细节时,也可以打开单张画面。它提供九宫格画面、指定时间范围和跳过转录等选项,便于按问题控制处理范围。视频处理在本机进行;如果用户将提取结果交给云端 AI,相关画面和文字会发送给该服务。

Skill 能力

按场景提取关键画面

依据画面变化选帧并去除相近画面,帮助 AI 查看视频中的不同场景,而不必逐帧读取。

生成语音转录

安装 Whisper 可选组件后,可将视频语音转成文字,供 AI 结合画面理解讲述内容。

九宫格查看关键帧

使用 --grid 将连续关键帧排成九宫格,减少需要逐张打开的图片数量。

聚焦指定片段

使用 --from 和 --to 指定视频时间范围,只处理相关片段;输出时间仍对应原视频。

本地预览分析结果

使用 --viewer 生成 viewer.html,可在本地查看视频、关键帧和转录文字。

资源配置

适用平台

Claude CodeCodexCursorGemini CLI通用 AgentClaude

支持模型

模型无关GeminiGPT / OpenAIClaude

调用方式

Agent调用命令调用手动调用

安装与调用

  1. 准备 Python 3.10 或更高版本及 ffmpeg;需要语音转录时,安装 claude-real-video 的 whisper 可选组件。

  2. 将 Skill 安装到所用的 Agent 环境;也可单独使用 crv 命令处理视频。

  3. 向 Agent 提供视频链接或本地文件,并说明想了解的问题。Agent 可运行 crv 提取画面和转录文字;需要集中查看画面时可添加 --grid。

  4. 让 Agent 读取输出目录中的 MANIFEST.txt、转录文字和关键帧,再根据这些材料回答问题。

使用案例

整理讲座内容

使用场景学生拿到一段讲座录像,希望了解主要内容并追问某个观点。

提供视频文件和问题后,Agent 结合关键画面与语音转录整理摘要,并可依据转录中的时间信息定位讲述片段。

分析长视频中的演示片段

使用场景团队只需了解会议录像中间的一段屏幕演示。

指定 --from 和 --to 的时间范围处理相关片段,让 Agent 查看该段的画面与讲述内容,无需分析整场会议。

包含内容

claude-real-video-source.zip
README-中文安装说明.md
LICENSE-MIT.txt
SHA256.txt

常见问题

Claude-real-video 可以处理哪些视频来源?
Crv 接受视频链接或本地文件路径;Skill 可在用户提供这两类来源并提出视频问题时使用。
为什么输出中没有语音转录?
语音转文字需要安装 whisper 可选组件,例如使用 pip install "claude-real-video[whisper]";仅安装基础包不会自动安装该组件。
可以只分析视频中的一段吗?
可以。通过 --from 和 --to 指定起止时间,工具只处理该范围,报告的时间仍是原视频中的时间。
处理视频时会上传原视频吗?
视频分析和结果生成在本机运行,工具不会上传原视频;如果随后把提取的画面或转录文字发送给云端 AI,这些材料会交给对应服务。