人士|教AI主播“说”手语他们让更多人“听见”冬奥

新华社天津2月18日电（采访人员白佳丽、宋瑞）对听障人士来说，激烈的赛事往往只能被看见，却无法被听见。而今年的北京冬奥会上，不少听障人士发现，赛事新闻中出现了一名面容清秀的冬奥新闻AI主播，“她”精准的手语手势让听障人士与健听人（听力健全人的简称）一样，可以同步感受冰雪运动的魅力。
“用技术跨越声音的障碍，让听障人士‘听见’冬奥。”天津理工大学聋人工学院副院长、冬奥新闻AI主播的手语数据库支持团队负责人袁甜甜说。

文章插图

海报制作：方金洋
用6年时间搭一座“沟通的桥”
袁甜甜身上，有股坚持到底的韧劲。
她带领团队用6年时间，为听障人士搭建了一座与健听人无障碍沟通的“桥梁”。并在北京冬奥会上，迈出了落地应用的“第一步”。
“我们研发了一套系统，叫作‘复杂场景下中国手语实时翻译系统’，这套系统能将输入的手语动作和表情经由计算机视觉技术识别后翻译成文字或语音。为此，我们共收集了20多万条语料。”袁甜甜说。
谈到做这件事的初衷，袁甜甜表示是为了与听障学生更好地交流。

文章插图

【人士|教AI主播“说”手语他们让更多人“听见”冬奥】天津理工大学聋人工学院学生通过手机App为手语识别系统进行数据采集。新华社采访人员孙凡越摄
“我16年前来到学院当老师，与听障学生接触的过程中，发现他们最渴望也最惧怕的就是与健听人交流。因为有网络专业背景，于是我决心通过技术改变这种现状。”袁甜甜说。
从一个人摸索，到仅有一名听障学生加入，再到成立无障碍智能科技研发团队。如今，这支由健听人与听障人士组成的“特殊”技术团队，核心成员达50多人，其中不少是“00后”听障学生。
随着团队的发展壮大，技术难关也被层层攻破。“目前，我们实现了在光线充足且稳定的室内，系统对手语的识别率最高达95%，部分场景下可以实现‘同步翻译’。”袁甜甜自豪地补充，“只要在摄像头前打出手语，显示屏上就会出现语意连贯的文字翻译。现在已经可以用于教育、法律咨询、餐饮、交通多个场景。”
让听障人士“听见”冬奥
2021年11月，袁甜甜接到一个紧急任务——教冬奥新闻AI主播“说”手语。
“人工智能深度学习的过程，就像教小孩子学说话，每一个词、每一个手语动作都需要重复‘学习’才能实现精准无误。”袁甜甜与同伴们开始一一攻克难题。
第一时间参与其中的聋人工学院教师闵笛对这一过程深有体会。“一个字‘难’。”他说。
首先摆在面前的，就是“冷门”的冬奥词汇，以及专业新闻语言，怎么才能转换为大多数听障人士能看懂的手语？
团队成员先把整理出的新词形成一定的手语打法，再让手语专家一一判定听障人士能否看懂。遇到难用手语表示的词汇时，还需多番讨论。“每个词至少要经历这样两个来回，就这样我们共新增了1000多个专业词汇的手语打法。”闵笛说。
有了过去20多万条语料做基础，又增加了新的专业词汇，本以为工作已接近完成。但很快大家发现，手语语序与普通人说话语序并不相同，即便把这些词汇通通“灌输”给AI主播，也无法打出连贯的、听障人士能够理解的语句。
“我们通过多年积累的技术经验，让AI主播逐步掌握从普通人语言到手语的流畅直译，并不断调试AI主播手语速度，让听障人士能够更清晰地理解。”闵笛说。

人士|教AI主播“说”手语 他们让更多人“听见”冬奥

人士|教AI主播“说”手语他们让更多人“听见”冬奥