中科院|让AI学会“哦买尬，买它！”，清北中科院争角逐顶会Workshop竞赛( 二 )

强调多模态等信息(主播讲解语音、商品标题)，对精确识别视觉相似讲解商品的重要性

也就是说，这届AI模型考验的不止是某几种商品的识别准确率，而是AI对直播中商品的“整体理解能力”。
除了看清楚商品以外，AI还需要知道这是哪种类别的商品，并尽可能收集视频中的各种信息，包括语音信息等，来确认自己看到的是哪一种商品。
同时，由于这次更注重长尾商品类别的识别，因为各类别数据集的大小不一样，评估方式自然也要有所变化。
这里采用了Macro F1的评估标准，计算方法如下：

文章插图

比赛也需要通过预赛、半决赛和决赛三场比赛，从最初的提交结果中依次筛选出20支和10支队伍，进行最终的测试集测试，并进行复现。
最终，来自中科院计算所的「mcg」从587支队伍中脱颖而出，取得了0.69的高分，超过baseline 0.22，排名TOP 3的三支队伍评估分数也均超过0.6。

文章插图

而在第一届淘宝直播商品识别大赛中，同样也是来自中科院和吉林大学的队伍夺得冠军。
这场比赛的目的，是希望能推动电商直播场景中多模态商品检索识别的研究、以及AI技术在实际应用场景中的落地。
当然，除了这一场比赛之外，在ACM MM 2021的Workshop中，还有不少收获。
共收录5篇论文一方面，在论文征集部分，这次Workshop一共接收了5篇论文，包括两篇long paper，三篇short paper：

文章插图

此外，还有不少AI领域的教授也在这次Workshop上做了演讲，其中就包括新加坡国立大学计算机学院的KITHCT讲座教授Tat-Seng Chua、北京航空航天大学的刘偲副教授、悉尼科技大学青年研究员朱霖潮、淘系技术高级算法专家陈志文。

文章插图

除此之外，来自中科院、北大、中南大学、清华、华中科技大学的五位同学也在这场Workshop上进行了口头报告，分享了他们的参赛方案和成果。
对于这次Workshop的目的，阿里巴巴淘系技术资深算法专家李晓波表示：
这次Workshop通过提供真实的多模态商品识别的应用场景、数据，希望能够促进更多学术和工业的结合，激发更多创新研究和技术落地。
对这个场景感兴趣的小伙伴，可以在下方地址中获取开源数据集~
淘宝直播多媒体商品识别数据集：

https://tianchi.aliyun.com/competition/entrance/531893/information参考链接：

https://tianchi.aliyun.com/competition/entrance/531893/introduction— 完 —
量子位 QbitAI · 头条号签约