音乐Live中字制作全流程：ffmpeg、faster-whisper与Aegisub实战指南

把一场日文音乐 Live Clip 做成带中文字幕的成品视频，到底需要哪些步骤？很多人第一反应是：翻译歌词、对时间轴、压字幕，三步搞定。真正动手之后才会发现，从拿到原始视频素材到发布成品，中间隔着一整条链路——音频提取、语音识别、人工校对、歌词润色、字体封装、软字幕或硬字幕压制。任何一环出错，最终成品都会出现字幕对不上人声、时间轴整体偏移、字体发虚、中文乱码这类问题。

本文就以 DAZBEE 在 YouTube Music Weekend 12.0 上演唱的「晚安, Lucy」（おやすみ、ルーシー）与「Othello」（奥赛罗）Special Live Clip 为案例对象，完整梳理一套可以在个人电脑上跑通的音乐视频中字制作流程。文章会涉及 ffmpeg、faster-whisper、Aegisub、ASS 字幕格式等工具，既有可直接复制的命令和代码，也有歌词翻译与排版时的实用经验。

如果你是第一次做中字视频的爱好者，可以按章节顺序跟着操作；如果你已经做过几期字幕作品，可以直接跳到第 7 节的常见问题排查和第 8 节的工程化建议。

1. 背景与核心概念

1.1 DAZBEE 是谁，为什么这首歌值得做中字

DAZBEE 是一位以细腻嗓音和强情感表达出名的日本虚拟歌手 / 音乐创作者。她的演唱风格偏轻柔、贴近耳语，尤其擅长在安静的编曲中传递情绪，代表作中经常能看到听众用“像在耳边轻轻说话”来形容。这次在 YouTube Music Weekend 12.0 上演唱的两首歌，恰好代表了两种不同的情绪面向。

• 「晚安, Lucy」（おやすみ、ルーシー）：从标题就能感受到是一首偏摇篮曲气质的作品，整体氛围温暖又带一点孤独感，适合深夜安静聆听。
• 「Othello」（奥赛罗）：灵感明显来自莎士比亚同名悲剧，主题围绕嫉妒、猜疑、爱与毁灭展开，演唱表现力更强，情绪起伏比「晚安, Lucy」更明显。

需要说明的是，以上是基于公开资料和听众普遍反馈的概括。做中字时，这种背景了解非常重要——歌词翻译不能只看字面，还要看歌曲表达的情绪。同一句日文，放在摇篮曲里和放在戏剧性强烈的歌曲里，中文措辞完全不同。

1.2 Special Live Clip 与“中字”是什么

Special Live Clip 是线上音乐活动期间发布的特别演唱影像，通常不是正式 MV，而是现场感更强、机位更简单、更接近“一次完整演唱”的记录。和官方 MV 相比，这类素材往往更考验字幕人员的时间轴功底，因为没有剪辑节奏可以参考，只有真实演唱的呼吸和停顿。

“中字”是中文二创社区的习惯说法，指为外语视频添加中文字幕。音乐视频的中字和普通剧集字幕有两个明显区别。

第一，歌词必须按乐句切分。普通对话字幕按发言人切，歌词字幕按旋律和气口切。如果一句日文歌词跨了三个小节，你却一行全放上去，观众阅读压力很大，跟唱体验也不好。

第二，翻译要兼顾“意思”和“情绪”。直译往往能准确表达意思，但会失去歌曲的韵律感；意译过度又容易脱离原意。做中字的人经常在这两者之间反复取舍，这也是为什么中字视频需要人工校对，而不是完全依赖机器翻译。

1.3 中字制作涉及哪些技术

一套完整的音乐中字流程，涉及以下技术点：

• 音频处理：从视频中分离出高质量音轨，并转换成语音识别友好的采样率。
• 语音识别：用 ASR（自动语音识别）工具把日语人声转成带时间戳的文本。
• 字幕制作：在 Aegisub 中校对时间轴、断句，并编写 ASS 字幕样式。
• 翻译润色：人工完成日译中，并对齐乐句。
• 视频封装：把字幕以软字幕（外挂）或硬字幕（烧录）方式合成到视频中。

第 2 节先把全流程拆开，然后从第 3 节开始逐步落地。

2. 全流程设计与工具选型

2.1 一条可以复用的六步流程

我做中字时习惯把流程固定为六步，每步有明确产出物，方便中途停下来，也方便复查：

1. 素材准备：获取原始 Live Clip 视频文件。
2. 音频提取：用 ffmpeg 把音轨导出为 16kHz 单声道 WAV。
3. 语音识别：用 faster-whisper 得到日文歌词文本和每句的时间戳。
4. 人工校准：把 ASR 结果和实际演唱逐句比对，修正错字、断句和边界时间。
5. 翻译与打轴：在 Aegisub 中完成日译中、样式设置、双语排版。
6. 压制与封装：根据用途选择软字幕封装或硬字幕烧录，并进行成品检查。

这套流程的好处是，每步失败都可以单独重跑，不会因为识别结果不理想而推倒重来。

2.2 工具清单与分工

选择 faster-whisper 而不是原版 OpenAI Whisper，主要原因是它在 CPU 上的推理速度更快，内存占用更低。对于一首 3 到 5 分钟的歌曲，个人电脑完全能跑。

3. 环境准备与版本说明

版本需要根据你的项目实际情况调整。本文示例以常见环境为例，重点演示配置思路，建议使用最新稳定版工具。

3.1 安装 ffmpeg

ffmpeg 是音频处理、压制、封装的核心工具。不同操作系统安装方式如下：

bash复制# Windows（使用 winget）
winget install Gyan.FFmpeg

# macOS
brew install ffmpeg

# Ubuntu / Debian
sudo apt update && sudo apt install -y ffmpeg

安装完成后，在终端执行下面命令验证：

bash复制ffmpeg -version

如果能看到版本信息，说明安装成功。Windows 用户如果 winget 安装失败，也可以从 ffmpeg 官网下载静态编译版本，解压后把 bin 目录加入系统 PATH。

3.2 准备 Python 环境与 faster-whisper

建议使用 Python 3.9 以上版本，并使用虚拟环境，避免污染系统 Python。

bash复制python -m venv venv

# Windows
venv\Scripts\activate

# macOS / Linux
source venv/bin/activate

pip install faster-whisper

faster-whisper 依赖 CTranslate2，首次运行时会自动加载指定模型，所以需要保证网络能正常访问模型下载地址。如果你之前已经下载过 Whisper 模型，会直接复用缓存，速度会快很多。

3.3 安装 Aegisub 和中文字体

Aegisub 是字幕界使用最广泛的 ASS 字幕编辑器，可以从其官网下载安装包。打开软件后，建议先把默认界面语言切换为中文，方便后续操作。

字体方面，推荐安装思源黑体（Source Han Sans CN）或 Noto Sans CJK SC。这两款字体覆盖的中文字符集完整，压制时不容易出现缺字。本文后面的 ASS 样式示例会使用“思源黑体 CN Medium”，如果你本地字体名称不同，请以系统里显示的字体名为准。

4. 实战：从 Live 音轨到日文文本

4.1 用 ffmpeg 提取干净音轨

Whisper 对音频采样率有推荐值，通常 16kHz 单声道就能获得不错的效果。下面这条命令把视频中的音轨提取成 WAV：

bash复制ffmpeg -i "dazbee_live_clip.mkv" -vn -acodec pcm_s16le -ar 16000 -ac 1 audio.wav

参数说明：

• -vn：不处理视频流，只保留音频。
• -acodec pcm_s16le：输出无损 PCM 编码，采样位深 16 位。
• -ar 16000：采样率设置为 16000Hz，符合 Whisper 的期望输入。
• -ac 1：强制转成单声道，减少背景声干扰。

执行完后，你会得到一个 audio.wav 文件。建议听一遍，确认没有明显的音轨缺失或底噪爆炸。

4.2 使用 faster-whisper 识别日语

新建一个 Python 脚本文件 transcribe.py，代码如下：

python复制# 文件路径：项目根目录/transcribe.py
from faster_whisper import WhisperModel

def format_timestamp(seconds: float) -> str:
    milliseconds = int((seconds - int(seconds)) * 1000)
    hours, remainder = divmod(int(seconds), 3600)
    minutes, secs = divmod(remainder, 60)
    return f"{hours:02d}:{minutes:02d}:{secs:02d},{milliseconds:03d}"

model = WhisperModel("small", device="cpu", compute_type="int8")

segments, info = model.transcribe(
    "audio.wav",
    language="ja",
    vad_filter=True,
    beam_size=5,
)

srt_lines = []
for i, segment in enumerate(segments, start=1):
    start = format_timestamp(segment.start)
    end = format_timestamp(segment.end)
    text = segment.text.strip()
    srt_lines.append(f"{i}\n{start} --> {end}\n{text}\n")

with open("lyrics.srt", "w", encoding="utf-8") as f:
    f.write("\n".join(srt_lines))

print("SRT 文件已生成，共", len(srt_lines), "条")

这段代码做了三件事：

1. 加载 small 模型。对于日语歌词识别，small 是速度和准确率的折中；如果识别结果错字太多，可以换成 medium 或 large-v3，代价是耗时更长。
2. 调用 model.transcribe 传入音频文件，指定语言为日语 ja，并开启 vad_filter 过滤静音片段，减少纯音乐段落被误识别成文本的情况。
3. 把识别结果写成标准 SRT 字幕文件，每个片段包含序号、起止时间和文本。

运行脚本：

bash复制python transcribe.py

正常情况下，终端会输出类似“SRT 文件已生成，共 XX 条”的提示。用文本编辑器打开 lyrics.srt，就能看到带时间戳的日文歌词。

4.3 识别结果的常见缺陷与处理

ASR 在音乐场景下不是万能的。我第一次跑这首歌时，遇到三个典型问题。

第一，歌词重复。Whisper 有时会把同一句歌词识别两遍，尤其是歌曲进入副歌循环时。原因是背景人声和和声干扰了模型判断。处理方式是在校对阶段删除重复条目，或者把 condition_on_previous_text 设置为 False，减少上一句文本对下一句的影响。

第二，语气词和哼唱被识别成奇怪汉字。像“あー”“うー”这类无实义的发声，模型可能强行给出汉字。遇到这种情况，建议直接手动改成准确的语气词，或者留空。

第三，时间轴边界正好压在音符上。Whisper 给出的时间戳以语音内容为准，不是以乐句起伏为准。中字需求中，字幕最好出现在音符开始前一点，所以必须进 Aegisub 手动微调。

5. 翻译与打轴实战

5.1 歌词翻译的基本原则

歌词翻译不是逐字对应，而是要“在中文里找回日文的情绪”。具体到 DAZBEE 这两首歌，可以参考下面几个原则。

第一，先理解再翻译。翻译「Othello」时，要先知道奥赛罗是莎士比亚笔下的悲剧人物，歌曲里的嫉妒、猜疑、毁灭都不是表面情绪，而是层层递进的。翻译用词要能体现这种递进感，不能从头到尾一个语气。

第二，句子长度要控制。中文字幕一行建议不超过 16 到 20 个汉字。日文歌词往往一句话很长，中文如果照搬意思，一行会放不下，所以要合理断句，必要时把一个长句拆成两条字幕。

第三，保留关键词的稳定译法。像“Lucy”这种名字，全片最好统一译成“露西”或保留英文“Lucy”，不要一会儿“露西”一会儿“卢西”。可以在项目里建一个小术语表，把歌名、人名、反复出现的词固定下来。

「晚安, Lucy」这个标题本身就是一个典型例子：官方中文标题通常写作「晚安, Lucy」，所以正文里涉及歌名时，应保持这个写法，不要翻译成“睡吧，露西”。

5.2 ASS 字幕格式讲解

ASS 是 Aegisub 和绝大多数压制工具都支持的高级字幕格式。相比 SRT，ASS 能定义字体、字号、颜色、描边、阴影和特效。下面是一个最小可用的 ASS 文件结构：

ass复制[Script Info]
ScriptType: v4.00+
PlayResX: 1920
PlayResY: 1080

[V4+ Styles]
Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding
Style: Default,思源黑体 CN Medium,72,&H00FFFFFF,&H000000FF,&H00111111,&H96000000,-1,0,0,0,100,100,0,0,1,3,2,2,80,40,40,1

[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:12.50,0:00:15.80,Default,,0,0,0,,おやすみ、ルーシー
Dialogue: 0,0:00:12.50,0:00:15.80,Default,,0,0,0,,晚安，Lucy

几个关键字段说明：

• PlayResX 和 PlayResY：字幕画布分辨率，建议和视频一致。本文按 1920×1080 示例。
• Fontname：字体名必须是系统里实际存在的字体名，写错会导致压制时字体失效。
• Fontsize：字号。1080p 视频中，歌词字幕 60 到 80 比较合适，具体看画面留白。
• PrimaryColour 和 OutlineColour：主色与描边色。颜色格式是 &HAABBGGRR，注意是 BGR 顺序。
• Alignment：对齐方式，2 表示底部居中，8 表示顶部居中。
• Dialogue 行的事件格式中，Layer、Style、Text 是最常用的部分。

上面示例里，同一时间轴放了日文原文和中文翻译两行，这是双语字幕常见的排版方式。实际上，建议日文放上排偏左或居中，中文放下排，避免两行互相遮挡。

5.3 在 Aegisub 中精调时间轴

打开 Aegisub，依次执行以下操作：

1. 视频菜单里打开原始视频文件。
2. 音频菜单里打开 audio.wav。
3. 文件菜单里导入第 4 节生成的 lyrics.srt，Aegisub 会自动把它转换成 ASS 事件行。
4. 播放音频波形，检查每条字幕的开始时间和结束时间是否贴合演唱气口。
5. 对时间轴整体偏移时，选中所有字幕行，使用“时间”菜单的“平移”功能，输入偏移毫秒数调整。
6. 完成时间轴校准后，另存为 lyrics_zh.ass，继续编辑翻译文本和样式。

这里特别提醒：Aegisub 的音频波形显示非常直观，打轴时可以反复试听。不要只盯着时间数字手动改，那样效率低且容易出错。先用波形定位，再微调边界，准确率高很多。

6. 压制与封装实战

字幕制作完成后，需要把字幕合成到视频里。这一步有两种做法：软字幕和硬字幕。

6.1 软字幕封装（推荐）

软字幕把字幕作为独立流封装进 MKV，视频画质无损，字幕还可以随时关闭或切换。命令如下：

bash复制ffmpeg -i "dazbee_live_clip.mkv" -i "lyrics_zh.ass" \
       -map 0:v -map 0:a -map 1:0 \
       -c:v copy -c:a copy -c:s ass \
       -metadata:s:s:0 language=chi \
       "dazbee_live_clip_CN.mkv"

参数说明：

• -map 0:v -map 0:a -map 1:0：分别映射原视频、原音频和字幕文件。
• -c:v copy -c:a copy：视频和音频流直接复制，不重新编码，速度快且无画质损失。
• -c:s ass：字幕流使用 ASS 编码。
• -metadata:s:s:0 language=chi：把字幕语言标记为中文，播放器可以自动识别。

软字幕适合自己收藏、多语言切换、以及后续想要修改字幕的场景。缺点是如果分享给没有安装解码器的朋友，播放器可能不显示字幕。

6.2 硬字幕烧录

硬字幕把字幕像素直接画进画面，任何播放器都能看到，但无法关闭。压制时需要用 libass 滤镜：

bash复制ffmpeg -i "dazbee_live_clip.mkv" \
       -vf "ass=lyrics_zh.ass:fontsdir=./fonts" \
       -c:v libx264 -crf 18 -preset slow \
       -c:a copy \
       "dazbee_live_clip_CN.mp4"

参数说明：

• ass=lyrics_zh.ass：加载 ASS 字幕，滤镜会根据脚本里定义的时间轴渲染字幕。
• fontsdir=./fonts：指定字体目录。若系统已安装对应字体，可省略。
• -crf 18：CRF 值越小画质越好，18 是相对保守的高画质选择。
• -preset slow：压制速度更慢，但同码率下画质更好。

如果你手上的 ffmpeg 提示 No such filter: 'ass'，说明编译版本没有包含 libass，需要换一个完整版 ffmpeg，或者改用软字幕方案。

6.3 发布前检查

压制完成后，用播放器检查以下几点。

• 字幕是否在预期时间出现。
• 中文是否缺字，尤其要注意生僻字和日文汉字。
• 两行字幕是否互相遮挡。
• 音画是否同步。
• 视频文件名和字幕语言标记是否正常。

我个人的习惯是，发布前把视频开静音看一遍画面，再闭眼看一遍音频，最后正常播放一遍。三轮检查基本能覆盖大部分问题。

7. 常见问题与排查思路

下面把中字制作中最常见的问题整理成一张表，方便快速定位。

7.1 识别质量差，如何系统性提升

如果频繁出现识别错误，不要只换一个参数就重跑，应该按下面顺序排查：

1. 检查音频质量：确认提取出的 audio.wav 是 16kHz 单声道，且没有严重削波。
2. 换模型大小：small 不行就 medium，medium 不行就 large-v3。模型越大效果越好，但耗时越长。
3. 控制推理参数：beam_size=5 是常用值，遇到重复文本时试试调低到 3，或者设置 temperature=0.0 减少随机性。
4. 分段识别：如果整首歌曲太长，可以先用 ffmpeg 按段落切割音频，逐段识别，再合并。

7.2 时间轴怎么判断是否准确

判断时间轴准确有两个标准：第一，字幕文字比对应演唱早 100 到 300 毫秒出现，这样观众不会觉得字幕“追着声音跑”；第二，结束时间不能在下句歌开始之后，否则两行字幕会重叠。

在 Aegisub 里，可以开启“显示字幕预览”和伴随音频播放，边听边看时间轴。没有绝对准确的打轴，只有让多数观众觉得舒服的节奏。

8. 最佳实践与工程建议

8.1 建立规范的项目目录

中字项目建议使用下面这种目录结构，方便管理源文件和中间产物：

code复制dazbee_othello_sub/
├── source/
│   ├── dazbee_live_clip.mkv
│   └── audio.wav
├── asr/
│   ├── lyrics.srt
│   └── lyrics_ja.txt
├── translation/
│   ├── lyrics_zh.ass
│   └── check_list.md
├── fonts/
│   └── SourceHanSansCN-Medium.otf
└── output/
    └── dazbee_live_clip_CN.mkv

目录规则很朴素：source 只放原始素材，asr 放机器识别的原始结果，translation 放人工编辑后的字幕，output 放成品。这样做的好处是，任何环节出错都能快速定位文件，而不会在一堆“最终版”“最终版2”里找不到对应版本。

8.2 给字幕命名时避免版本混乱

文件名上的工作，会直接影响协作效率。推荐格式为“日期_歌曲名_语言_版本”，例如：

code复制20250105_dazbee_othello_CN_v1.ass
20250105_dazbee_othello_CN_v1_final.ass

重要原则是：每次修改都生成新版本文件，不要在旧文件上覆盖保存。特别是发给别人校对时，版本号能省掉大量沟通成本。

8.3 翻译质量控制与二次校对

歌词翻译是整条链路里最主观、最容易被低估的环节。即使你日语水平不错，也建议遵守以下流程：

1. 第一遍直译，把原文意思完整理解。
2. 第二遍意译，根据乐句和情绪调整中文节奏。
3. 第三遍朗读中文，看是不是顺口、是不是能跟上旋律。
4. 有条件的话，找第二位日语不错的朋友做一次对照检查。

如果自己无法完成翻译，可以先用大语言模型辅助获取初稿，但务必人工核对。机器翻译在歌词这种文学性较强的文本上，经常出现过度直译或完全丢失语气的问题。

8.4 版权与发布注意事项

做中字视频时，务必尊重原作者的版权。

• 个人学习、交流用途的字幕制作，属于常见的二创行为，但不应声称对原始视频拥有版权。
• 发布成品时，标明原唱者 DAZBEE、音乐活动名称和译者信息，能降低误解风险。
• 不要对原始视频进行恶意修改或用于商业用途。
• 如果版权方明确表示禁止转载或二次创作，请遵守相关要求，不要强行发布。

字幕翻译本身是二次创作行为，保留对原作者的尊重，才是这个圈子能持续运转的前提。

8.5 自动化与批量化的进阶方向

当个人中字项目越来越多，可以考虑把这些步骤脚本化。比如写一个 Shell 或 Python 脚本，把“提取音频 → 识别 → 生成 SRT”串起来。脚本化之后，你只需要提供视频文件，就能在几分钟内得到带时间戳的初稿。

bash复制# 一个简单的脚本化示例流程
ffmpeg -i "$1" -vn -acodec pcm_s16le -ar 16000 -ac 1 audio.wav
python transcribe.py audio.wav lyrics.srt

进阶的话，还可以研究 Whisper 的 word_timestamps 参数，逐词对齐时间戳，利用 ASS 标签实现卡拉 OK 逐字变色效果。那是把中字质量再提升一个档次的方向，但起步阶段，先把基础时间轴做准更重要。

9. 总结与下一步

这篇文章围绕 DAZBEE「晚安, Lucy」「Othello」Special Live Clip 的案例，完整走了一遍音乐视频中字制作流程：从 ffmpeg 提取音轨，到 faster-whisper 做日语识别，再到 Aegisub 精调时间轴与翻译文本，最后通过软字幕或硬字幕方式输出成品。同时整理了识别质量差、时间轴偏移、字体失效、乱码等高频问题的排查方法。

日常做中字时，最值得优先关注的三个风险点是：ASR 结果是否被音乐背景干扰、翻译是否保留歌曲情绪、字幕样式在目标播放器中是否正常渲染。这三个点做到位，成品质量基本就有保障。

接下来如果想继续深入，可以按这个顺序学习：先掌握 Aegisub 的快捷键和波形打轴技巧，再学习 ASS 的高级样式标签，然后尝试用逐词时间戳做卡拉 OK 特效，最后可以研究多语种字幕封装方案。建议不要只看教程，直接拿一首你喜欢的 Live Clip 完整跑一遍流程，遇到问题再对照本文排查。实践过一次之后，你会发现中字制作不再是零散工具的拼凑，而是一条可以稳定复用的生产线。