为构建能够理解、翻译语音和手语的智能数字大脑 , “冬奥手语播报数字人”系统以超大规模预训练模型为核心技术 , 通过语义蒸馏及手语翻译快编模型 , 实现新闻播报语音蒸馏成语义高度接近的手语文字 , 并翻译成符合手语习惯的语序 。 最终 , 手语数字脑可以通过计算机模仿听障人士的大脑 , 进行手语播报驱动 。
此外 , 要让数字人展现出高精度、高自然度的人物形象和手语动作姿态 , 也是一件难事 。
为此 , 研发团队自主搭建了多模态肢体动作、表情、手指同步采集系统 。 通过采集多模态动作捕捉数据 , 运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染 , 实现对文本内容的手语播报 。
其中 , 通过肌肉绑定技术驱动实现面部采集 , 结合业内领先的语音识别及高清视频合成等技术 , 呈现给听障人群亲切自然的冬奥手语播报服务 。
文章图片
“冬奥手语播报数字人” 。 项目研发方供图
与“虚拟AI主播”有何不同?
新亮相的“冬奥手语播报数字人”与常见的“AI虚拟主播”有何不同?
中科院计算机所所务委员、泛在中心主任陈益强向澎湃新闻采访人员表示 , “虚拟主播”与“冬奥手语播报数字人” , 身上都用到了虚拟人相关的技术 , 都追求形象的流畅性 。
【本文转自:澎湃新闻“运动员要从一个近50米高的斜坡上下滑|收录词汇语句总规模超10万,虚拟主播变身冬奥手语播报员】双方最大的区别在于:一般而言 , AI主播动作比较自然即可;手语播报数字人则需要通过手势动作来实现表意的准确性和可懂度 。
另外 , 传统的AI模型主要是进行语音播报 , 基本不存在可懂度的问题;但AI手语人存在手语打得是否可懂的问题 , 它需要用丰富的、夸张的表情来提高手语的可懂度 。
张鹏表示 , 手语播报数字人的应用场景广泛 , 可以为新闻媒体提供全流程智能化的数字人手语生成服务 , 也可将声音广播内容转化为手语 , 以便听障人士可及时获取冬奥会赛事相关信息 。
此外 , 推广手语播报数字人可加速国家通用手语推广落地 , 推动国家通用手语标准普及 , 为残疾人平等参与社会生活创造无障碍环境 。
- 本文转自:上观“冰雪之约”进行时。|在闵行这里,含“机器人”量有点高
- 本文转自:36氪游戏是严肃的|当医疗遇上游戏,数字疗法还能更有趣
- 本文转自:文汇客户端热量不仅会扩散|神秘“第二声”首次破译!温度远去了,你“听”到了吗
- 本文转自:上观编者按人工智能作为上海重点发展的三大先导产业之一|【AI上海范】康复机器人各就各位 社区上岗
- 本文转自:文汇报2022北京冬奥会|开幕式上五环如何被“雕刻”?听障人士如何同步看冬奥?中外记者在中关村科技创新高地找到答案
- 本文转自:新闻110连办三届吸引了国内外17593支队伍52933名选手报名参赛累计提交...|百万奖金!这项全国瞩目的比赛即将开赛
- 本文转自:天目新闻“我喜欢的每一刻都是好时光。|旗舰店关闭、线下品类减少……好时被曝撤出中国 经销商称仍遗留合同纠纷
- 本文转自:广州日报杨春宝长年奋战在科研攻关一线。|广州成就了我的追“芯”梦
- 本文转自:畅驾佛山细心的你有无发现|「自在畅行」广场舞、下棋聊天两不误?这个惠民“黑科技”你注意到了吗?
- 本文转自:新福建作为数字中国建设峰会的有机组成部分由数字中国建设峰会组委会主办的2022...|启动报名!福州这项大赛就等你来