电脑基础 · 2023年4月19日

基于SadTalker的AI主播,Stable Diffusion也可用

基于之前的AI主播的的学习基础 基于Wav2Lip的AI主播 和 基于Wav2Lip+GFPGAN的高清版AI主播,这次尝试一下VideoRetalking生成效果。

总体来说,面部处理效果要好于Wav2Lip,而且速度相对于Wav2Lip+GFPGAN也提升很多,也支持自由旋转角度,但是如果不修改源码的情况下,视频的部分截取稍微有点问题。

这个训练图片还好,如果是做视频的话还是比较吃GPU资源的 16G显存是个起步配置。

文章目录

  • 准备工作
  • 环境配置
    • 创建虚拟环境
    • 激活虚拟环境
    • pip安装匹配版本
  • 模型预测对口型
    • 必要的数据准备
    • 图片、视频预测
    • 参数说明
    • 有趣的操作
  • Stable Diffusion 使用方法

准备工作