AI·Joe 更新完有一段时间了,运行还算不错。考虑到后期,应该是增强功能和升级之类。前段时间大伟兄对数字人直播很是着迷,一番交流下,想想,升级到数字人也是不错的方案。
初步测试了几个开源的方案,数字人实现一般是两种方案:一是实时生成视频,音频,再合成;二是使用虚拟引擎,直接用音频控制。其中Fay数字人方案挻不错的,集成了很多时髦的方案。
Fay数字人长这样
上面是Fay采用虚拟引擎的数字人方案: 用音频与用户交流,再用音频控制数字人的嘴型与表情。目前来看,还是比较早期,还有蛮多的细节要做。这里面的细节也挺多的,Ai驱动这块倒不算难,毕竟有过开发AI·Joe的经历,就是虚拟引擎(Unreal Engineer)挺麻烦的,对电脑要求也高,测试时也是很卡,麻烦的一逼!
市面上heygen、闪剪这些数字人方案都还不错,向它们也学习了一些设计思路。下一步是使用较简洁和便利的方法来实现本地数字人的生成和视频,进一步再到直播。大家有好的方案和建议也请不吝赐教。