AI 翻唱前奏:歌曲人声分离教程(UVR5 与 SAMI)
AI摘要
MiaoYin

本篇是「AI 歌曲翻唱(So-VITS-SVC)」系列教程的一篇,整合包基于 So-VITS-SVC 4.1,适合想用自己声音训练 AI 翻唱模型的同学。说明:本站不提供整合包与现成翻唱模型的下载,但提供 AI 音色模型的定制训练服务。教程内容按原项目文档整理,已去除无关信息。

SAMI 分离人声

除了传统的 UVR5 工作流,你还可以试试来自字节跳动火山引擎的 SAMI 技术分离人声。在人声伴奏分离方面 SAMI 可能有比 UVR5 更好的效果;且可以通过 WebUI 请求远程服务器,无需本地硬件推理。以下是 UVR5 和 SAMI 分离效果的对比:

UVR5 – Kim_Vocal_1:

Kim_Vocal.wav

SAMI:

SAMI.wav

⚠️ SAMI 可以平替 UVR5 的人声伴奏分离过程,但后续的去和声、去混响需要自己继续处理。

使用方法

创建应用

  1. 前往火山引擎控制台,注册账号并完成实名认证
  2. 前往 SAMI 服务列表,在 API 能力列表中找到“音源分离”,启用该服务

@@IMG:https://cdn.nlark.com/yuque/0/2023/png/36055527/1693023121902-492cbfb0-9fd2-4d69-a1a7-e23d553a18b0.png@@

  1. 在左侧的“应用管理”中,创建一个新的应用,并勾选“音源分离”接入 API 能力

@@IMG:https://cdn.nlark.com/yuque/0/2023/png/36055527/1693023306120-41d18835-f75a-45d1-ba9f-5ac23d8140f1.png@@

  1. 此时你会获得一个 APPKEY, 将其妥善保存好,不要泄露

@@IMG:https://cdn.nlark.com/yuque/0/2023/png/36055527/1693023431070-96275f32-7e1f-42ec-ac17-b0ef358a2a2b.png@@

创建 API 访问密钥

  1. 回到火山引擎控制台,点击右上角的头像 —— API 访问密钥,创建一个新的密钥

@@IMG:https://cdn.nlark.com/yuque/0/2023/png/36055527/1693023587844-b681a0d3-df34-4313-bf11-68a97950b41e.png@@

  1. 此时会生成一个Access Key和一个Secret Key,妥善保存这一密钥,不要泄露

通过密钥调用 SAMI 服务

在 WebUI 中集成了 SAMI 服务接口,在创建完 SAMI 应用和密钥后即可调用服务。

⚠️ ⚠ 每个火山引擎账号拥有 100 分钟的免费调用额度, 超过 100 分钟额度后将开始产生费用 ,请参考 SAMI 文档 了解价格明细。

  1. 打开 WebUI —— 小工具/实验室功能 —— 歌曲人声分离
  2. 上传待分离的音频(最好不要超过 10 分钟和 50 MB),选择使用的分离模型:
  3. a2track_vocal 用于提取人声;2track_acc 用于提取除人声之外的伴奏
  4. bbs_4track_vocal 也可以用于提取人声;bs_4track_acc 也可以用于提取伴奏,区别于 a,这两个模型会对除了音乐和人声之外的部分做适当降噪,效果比 a 更好。
  5. 输入刚才获取的 Access Key, Secret Key 和 APPKEY,然后点击开始分离
  6. 如果本机启用了梯子,且转换过程中出现连接错误(目标计算机积极拒绝),尝试启用 WebUI 中的代理选项并正确输入代理端口(默认为 7890)

提取人声最佳实践

提取人声的顺序流程是分离伴奏——去除和声——去除混响和回声。下面将从这三步一步一步提供给你当前的最佳实践。

分离伴奏

分离伴奏可以从以下四个方法任选其一:

  1. 使用火山引擎 SAMI 技术(参考本文档教程)
  2. (苹果用户专享)使用 Ripple 分离人声
  3. 剪映专业版+录屏(直接导出要开VIP,录屏可以白嫖,而且没有音质损失)
  4. 使用 UVR5 – MDX23C-InstVoc HQ 模型

其中前三个使用的是字节跳动的闭源技术内核,因此可能需要收费。第四个方法是目前最强的开源分离模型,但效果可能没有前三个好。

去除和声

  1. 使用 UVR5 的去除和声模型(以下三个任选其一)
  2. aUVR-BVE-4B_SN-44100-1 (Instrumental Only)
  3. b5_HP_Karaoke-UVR (Vocals Only) (比6激进,有可能会扣过头)
  4. c 6_HP_Karaoke-UVR (Vocals Only)(没有5激进)
  5. Hit’n’Mix RipX 手动扣出主人声(非必要别用,费时费力)

去除混响和回声

  1. 使用 UVR5 的去混响模型(以下三个任选其一)
  2. aUVR-De-Echo-Normal选No Echo Only(轻度混响)
  3. bUVR-De-Echo-Aggressive选No Echo Only(重度混响)
  4. cUVR-De-Echo-Dereverb选No Echo Only(遇到鸟之诗这种变态的混响可以用)

使用 UVR5 需要确保 UVR 版本在 5.6.0 以上,如果UVR里面没上述模型,点小扳手,去 Download Center 里面下载模型(请自备科学上网,否则会下载失败)

说明:本站不提供文中所述整合包及现成翻唱模型的下载;如果你想要训练属于自己的音色模型(变声 / 翻唱均可),本站提供模型定制训练服务,可先查阅本站训练相关教程,或在会员群内咨询下单。

AI 翻唱系列教程导航

© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容