MNN TaoAvatar 是阿里巴巴基于 MNN 框架打造的一款本地运行、完全离线的手机端 3D 数字人应用。它将大 语言 模型(LLM)、语音识别(ASR)、语音合成(TTS)、声音驱动表情 动作 (A2BS)、神经渲染(NNR)等模块融合到 Android 手机上,无需联网即可实现多模态互动 。
“TaoAvatar” 技术论文介绍了其在 AR 环境 下,通过 3D 高斯渲染(3D Gaussian Splatting)生成逼真全身数字人,并针对移动设备做了轻 量化 优化。采用教师–学生(teacher‑student)蒸馏策略,将高质量、复杂的 StyleUnet 非刚性变形 信息 “烘焙”进轻量 MLP 网络 ,并结合 blend‑shape 补偿细节,从而实现移动端实时渲染(可达 90 FPS)。该方案在 Apple Vision Pro 等高级 AR 设备上的表现也十分出色 。
运行流畅需满足以下硬件要求:
低配置设备可能出现卡顿、断音或部分功能受限 。
安装流程简单:
MNN TaoAvatar 是一款兼顾隐私、高交互和轻量部署的本地离线 3D 数字人,不仅技术前沿亟具亮点,也适合移动端实际应用。无论是 社交 互动、AR 体验,还是虚拟主播/教育等领域,都有极大的潜在价值。
GitHub地址:https://github.com/alibaba/MNN/tree/master/apps/Android/Mnn3dAvatar
阿里开源MNN TaoAvatar:手机本地运行的3D智能数字人来了,MNN TaoAvatar 是阿里巴巴基于 MNN 框架打造的一款本地运行、完全离线的手机端 3D 数字人应用。它将大语言模型(LLM)、语音识别(ASR)、语音合成(TTS)、声音驱动表情动作(A2BS)、神经渲染(NNR)等模块融合到 Android 手机上,无需联网即可实现多模态互动 。
评论列表
发表评论