播报|硬核科技为冬奥观赛体验创下多个第一( 二 )


播报|硬核科技为冬奥观赛体验创下多个第一
文章插图

“冬奥手语播报数字人”在电视节目投入应用。“智能大脑”以超大规模预训练模型为核心技术,通过语义蒸馏及手语翻译快编模型,实现新闻播报语音蒸馏成语义高度接近的手语文字,并翻译成符合手语习惯的语序。
通俗点比喻,新闻主持人一分钟可读200字,但是手语传达不了这么多,这个时候,数字播报人像做“阅读理解”,将200个字提炼成50个词汇或者短语,再将50个词用听障人士熟悉可懂的语法、语序打出来,传递关键要义。
与传统的AI模型相比,中科院计算所所务委员陈益强表示,研发团队自主搭建了多模态肢体动作、表情、手指同步采集系统,实现了高自然度手语动作姿态生成,“数字播报人在拟人化方面更胜一筹,表情更丰富,口型更清晰。”
陈益强介绍,该采集系统通过肌肉绑定技术驱动实现面部采集,结合业内领先的语音识别及高清视频合成等技术,呈现给听障人群亲切自然的冬奥手语播报服务。
【 播报|硬核科技为冬奥观赛体验创下多个第一】来源:中国青年报客户端