零售|34页PPT全解CVPOS自助收银及商品识别算法工程落地方法( 四 ) ai|兴富资本|文华财经|中信建投

文章插图

上图是一个分类模型下的backbone的性能比较，开始可以通过这张表选择一个性价比较高的模型进行候选实验。由上图可以看到在ResNet50左右区间，性价比最高，所以可以考虑在这附近选用一些backbone。
下一种是目标检测的模型选择，把Anchor-Free和Anchor的一步或两步模型都做了验证，是在自建的数据集上进行的测试，发现在backbone上性能会低一点，YOLOv3的性价比较高，是否用YOLOv3，还是要根据当前的真实环境和验证实验而定。
商品识别算法工程落地步骤和应用实践
–需求分析
下面进入商品识别落地的经验介绍，首先介绍下它的基本的需求。第一，它是一个自助的设备，自助完成完成订单并结算；第二，它的准确性的要求很高，结算是不能够有误的；第三，顾客要容易学习，使用方便。根据这三点基本的需求，我们确定产品的模式，是通过摄像机拍摄所有待识别的商品，利用CV进行检测，完成生成账单并结算。
根据场景需求，要考虑它的结构以及外观是否可以完全辅助我们的算法。第一点是结算台的区域设计，这关系到整个产品的大小，以及一次性检测商品的容量，根据我们所服务的便利店以及餐饮的模式，平均每人每单商品的数量大概是在4件左右，结算台的大小是按照这种标准去设计的，大概五六件商品，而且在摆放的过程中是留有充足的空间，不会挤在一起，从而去降低物品遮挡的可能性。对于我们应用场景，大小已经适合了，若面积更大，可一次性识别东西更多，根据购物习惯，更容易造成堆叠。
第二点是摄像头的选型，因为摄像头的位置是固定的，我们推荐是选择一个定焦的摄像头，因为变焦的摄像头很难去固定环境，这影响数据的稳定。另外要尽量用一些宽动态的模组消除对强光的影响。下一个选择是用2D还是3D的摄像头，3D有一个距离的信息，对于不在同一个面的物品，它的分割效果是可以的，但是也不能完全解决遮挡的问题，若被完全遮挡，3D也是搞不定的。从综合成本上考虑，最终选择2D摄像头。
第三点是摄像头该如何布置？首先，多个摄像头可以提高在遮挡情况下的准确率，但是通过融合两个摄像头的结果来看，提升的效果并不多，因为系统不知道应该相信哪个摄像头多一点。这里用到一个集成算法的思路，但这种思路，最好是用在异构的算法或异构的数据信号上，也就是这些算法或信号具备的能力完全不同，这样效果会更明显一些。所以，还是先用一个摄像头进行设计。
对于角度问题，如果商品的特征集中在顶部，可直接采用一个垂直向下的角度，而且这种角度，遮挡的可能基本消除。但在便利店的场景中，需要识别很多瓶子类的商品，它的特征集中在侧面，就须架起一定的角度。以我们的经验，大概是用到70-80度的角度，既能够看到侧面，又不会增加太多的前后遮挡。
–模型需求
下面进入模型选择的问题，选择模型首先要制定一个客观的指标，一般用常规的mAP、召回率、准确率，要客观的去评价待测的模型，帮助快速筛选出候选的模型，模型的选择可以遵循以下四个提示：
第一，预训练模型是否能够搞定，如果能搞定，就不需要再做多余的训练，其他的业务或场景是可以参考的，但显然在CVPOS上面是不可以的，我们需要更多的业务数据；第二，不能忽视传统的方法；第三，是要用多模型的组合，还是用一个端到端的模型；第四，是模型是否容易训练和部署。
第二到第四点其实是在做一种选择，我们是要选择一个端到端的模式，还是用多种方法组合的模式，端到端在研究领域上比较受欢迎，但是在工程上，端到端并不顺利，因为它的耦合性太强，兼顾到的功能会比较多，所以训练起来有点困难。但是在工程上追求的是灵活，所以很多时候问题是需要分开处理。比如可以将整个目标检测模型分成检测和分类两个模型，由于平常在工程上出问题，可能只会出现在其中一个模型上面，我们去优化去改进，就只需要关心那个模型就可以。这样可以大大简便后续的一些维护工作。所以，我们的模型是要用一个双模型的方式，即目标检测模型+分类或商品检索的模型，双模型组合。