全球首个 2D 真人级、AIGC 实时渲染数字人模型开源了!DUIX 是硅基智能打造的数字人智能交互平台。
开源项目提供了详细的开放文档,方便你轻松开发出定制化的虚拟人应用。借助这个开源项目,开发者能够在 Android 或者 iOS 上一键部署数字人,为你的用户提供即时的虚拟人互动体验。
硅基数字人SDK是完全开源的,底层推理引擎以及上层的商业化应用逻辑都开放了源代码。你可以深入了解其工作原理,并进行进一步的优化和创新。
开源地址:https://github.com/GuijiAI/duix.ai
01
开源数字人多强?
这个开源的SDK不仅提供了直观的效果展示,还支持用户进行二次开发,核心功能有:
① 数字人形象模板:提供了 14 个数字人模板,你可以前往开源项目的地址下载和使用这些数字人模型。硅基数字人还会不定期更新本地模型包,以便下载和使用最新的模型
② 部署成本低:支持低成本快速部署在 iOS、安卓或者大屏上。并且在平板、车载系统上也能流畅运行。
③ 画面流畅:支持 50 帧/秒的流畅画面,视频生成效率超过 1:0.5、满足直播等一些对实时性要求很高的场景
④ 真实模拟:数字人行业顶级的真实度,能够精准的模拟动作、说话的唇形、微表情
⑤ 可以搭建的场景:AI伴侣、直播带货、数字人短视频生成、批量数字人口播视频内容生成,用于抖音/视频号等平台的营销推广、品牌IP、内容制作。
图片素材来源于硅基智能官方公众号推文
02
看看效果?
这里是一个数字人的真实 Demo,能够对对话的人的话有比较合理的理解和反馈。有一个问题就是你说完话,数字人大概需要反应 3~4 s 才有反馈。但是随着端侧模型的性能优化,这个问题很快可能就会被解决。
03
如何部署使用?
安卓 SDK 集成教程
该开源项目提供了详细的使用部署教程,可以移步该项目的地址去查看,我直接把重要的部分贴在了下方。
iOS 部署方式
SDK 提供了多种回调方法,包括数字人渲染报错回调、音频播放结束回调、音频播放进度回调等。
动作相关的还支持随机动作、开始动作、结束动作等。建议前往开源项目去查看详细文档。
NSString *basePath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"gj_dh_res"]; NSString *digitalPath =[NSString stringWithFormat:@"%@/%@",[[NSBundle mainBundle] bundlePath],@"lixin_a_540s"];//初始化NSInteger result= [[GJLDigitalManager manager] initBaseModel:basePath digitalModel:digitalPath showView:weakSelf.showView];if(result==1){ //开始 [[GJLDigitalManager manager] toStart:^(BOOL isSuccess, NSString *errorMsg) { if(!isSuccess) { [SVProgressHUD showInfoWithStatus:errorMsg]; } }];}
04
谁开源的?
看了一下开源该项目的开发者,是叫做硅基智能的 AI 公司。我之前还经常刷到他们的短视频。这个公司已成功克隆 50 万数字人,实现 AIGC 产品在十多个行业的商业化应用。
为了降低技术门槛,为个人开发者和企业提供参与数字人的创新的机会,硅基智能公开数字人技术的核心代码。
开源地址:https://github.com/GuijiAI/duix.ai
算是为推动数字人技术的快速发展和普及出一份力!respect 🫡
推荐阅读
1. GitHub 上有什么好玩的项目?
2. 推荐 5 个本周很火的 GitHub 项目
3. 推荐 5 个近期火火火的 GitHub 项目
4. 推荐 5 个令人惊艳的 GitHub 项目