小众片、VR片没字幕？本地AI方案，自己动手丰衣足食

zhihuizhiguang4 · 发表于 6 天前

本帖最后由 zhihuizhiguang4 于 2025-6-12 11:24 编辑

想必各位多多少少总有一些喜欢的小众片子，却苦于没有字幕，只能走马观花，囫囵吞枣的拖进度条，作为vr党，今天分享一个离线ai(也可用在线api)转录字幕，并通过本地ai模型翻译为中文的操作方法，由于涉及到环境部署，代码微调等方面，各位量力而行，建议配合ai食用，附上几个翻译后的字幕，可以看看效果
首先，方案使用的项目如下：SakuraLLM/SakuraLLM: 适配轻小说/Galgame的日中翻译大模型，FunAudioLLM/SenseVoice: Multilingual Voice Understanding ModelFunAudioLLM/SenseVoice：多语言语音理解模型，NEKOparapa/AiNiee: 一款专注于Ai翻译的工具，一键自动翻译RPG SLG游戏，Epub TXT小说，Srt Vtt Lrc字幕，Word MD文档等等复杂长文本。
主要优势，akura这个模型，轻小说/galgame，各位看描述也知道，翻译出来的台词还是比较应景的，再有就是本地部署的模型，能避免违禁词的问题和网络问题，整个流程下来耗时还算ok，我一般一次跑七八十个视频，整个流程能gpu加速，加速不了的也做了cpu多线程处理
其中，sakura和ainiee有图形化界面，操作比较简单，且都是国人的项目，这里不展开细讲，有问题可以问。
主要讲Sensevoice部署和调整，以及具体操作流程和大致性能需求。部署涉及到简单的命令行操作，下面我按步骤讲。注意，该ai model内部代码我有些更改，以适应需求，代码文件我也会加上附件

硬件要求：固态硬盘，nv显卡

1.1Python安装
我的版本为3.11.9
下载 Python |Python.org

1.2 pip 镜像设置
pip config set global.index-urlhttps://mirrors.aliyun.com/pypi/simple

2 代码下载
github直链点击下载
https://github.com/FunAudioLLM/SenseVoice/archive/refs/heads/main.zip

3 创建激活虚拟环境
命令行进入项目文件夹
Python -m venv .venv
.venv\Scripts\activate

4 依赖安装
pip install -r requirements.txt
去官网安装ffmpeg，记得配置环境变量
更新nv驱动

5 模型下载
modelscope download --modeliic/SenseVoiceSmall --local_dir model/iic/SenseVoiceSmall

modelscope download --modeliic/speech_fsmn_vad_zh-cn-16k-common-pytorch --local_dirmodel/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch

6 启动web界面
python webui.py

此时，如果一切正常，将会在命令行显示一个网址，ctrl 加左键进入，界面没有问题就ok。
不过当前部署的模型只有简单的转录功能，也就是上传音频文件后整体转录出文字。

现在打开附件里的zip包，五个文件两个文件夹，直接解压到项目目录下。其中toSrt.bat是用来启动模型的，用记事本打开，把“cd /d"C:\GGGGame\SenseVoice-main"”这个路径改成你实际的项目文件夹的路径。这个文件相当于快捷方式。

下面是整体流程
当剩下两个项目部署完成后，点击toSrt.bat，稍等一会，进入网页端，输入视频存放的路径，例如D:\迅雷云盘
点击开始，等待片刻后，日语字幕会生成在项目目录下的sub文件夹中，这个时间取决于你的cpu，显卡和硬盘，注意不要使用机械硬盘，涉及到视频转换音频，文件读取量比较大。
现在启动sakura模型，图形化界面是Sakura_Launcher_GUI，当然也可以用命令行部署。再点击AiNiee.exe也启动起来。
在AiNiee的接口管理先测试下sakura，然后项目设置api接口选sakura，接着输入路径选SenseVoice-main下的sub，输出地址建议搞个固定的文件夹，详细设置也都选上，现在点击开始，稍等片刻，中文字幕就生成完成了，这个时间主要取决于显卡，字幕文件名与原影片相同，直接全选移动到视频文件夹，播放器就能自动加载字幕。

随手找了3部片子，IPX-811，ipz771，MIDV-990，以我的配置（9800x3d，5080），整个流程跑下来，从打开工具到输出全部中文字幕，用时10分28秒，一部片子3分钟到4分钟

如下图所示，可以看到，SakuraLLM的翻译质量对于轻小说、Galgame这类文本非常出色，用在日本片也相当合适，比很多通用翻译引擎效果好得多。
好了，教程到此结束。大家如果在部署中遇到任何问题，欢迎在评论区留言讨论。
PS：顺便求一下AJVR-248资源，电驴磁力迅雷百度皆可，多谢

字幕预览

字幕预览.zip (79.96 KB)

SenseVoice-main.zip (19.96 KB)

bear124 · 发表于 6 天前

这就是专业

zhihuizhiguang4 · 发表于 6 天前

求一下AJVR-248资源

tkgg88 · 发表于 6 天前

专业人干专业事大佬牛

int123 · 发表于 6 天前

[email protected]_8K.mp4 (5.66 GB)
[email protected]_8K.mp4 (3.33 GB)

[email protected] (6.2 GB)
[email protected] (4.38 GB)

试试迅雷云盘

sanmu3008 · 发表于 6 天前

这个看上去好专业哦，能有个更通俗的讲解安装流程就好了！

caodouniwan · 发表于 6 天前

太帅了奥！！！！

nomint · 发表于 6 天前

我试了下那个VideoCaptioner也还可以，一键安装，不用配置什么环境，得到字幕再随便用chatgpt之类的翻译成中文，质量还OK