机器人|除草机器人机器视觉关键技术综述与基准（1）( 四 ) 机器视觉|算法|摄像机|重器

3.2 杂草检测和识别技术
世界上有5万多种杂草，其中数十种严重危害农作物。杂草的种类因地而异。通常，视觉除草机器人不关心杂草的类型。研究人员经常将杂草检测问题转化为二元或多重分类问题。传统的ML和DL技术通常被用作杂草检测的主要方法。
基于ML的杂草检测过程可分为四个步骤：预处理、分割、特征提取和分类，如图6所示。与视觉导航类似，图像分割通过有效的分割方法提取目标区域，然后生成掩模以去除原始图像中的背景并获得农作物或杂草的目标图像。不同植物的形状、颜色和空间位置之间的图像特征存在显著差异。通过这些特征可以区分杂草和作物。用于区分杂草和作物的视觉特征可分为生物形态、光谱特征、视觉纹理和空间背景。由于农田环境的复杂性，基于单一特征的杂草识别存在精度低、可靠性和稳定性差的问题。为了提高杂草识别的鲁棒性，基于多特征融合的方法受到了越来越多的关注。

图6 基于ML的杂草检测过程。
基于ML的杂草检测的最后一步是从提取的特征中形成特征集，用于训练分类器。经过训练的分类器可以根据作物和杂草的特征对其进行分类。根据现有参考文献，用于杂草识别的分类器有SVM（Ahmed等人， 2012年）、K-means（Tang等人， 2017年）、ANN（Sabzi等人， 2018年）、随机森林（Lottes等人， 2017）、贝叶斯分类器（García-Santillán和Pajares ， 2018年）， AdaBoost（Ahmad等人， 2018）等。
传统ML技术需要相当多的专业知识才能从原始数据构建特征提取器。相反， DL包括特征提取网络，该网络不手动提取杂草识别和检测的特征。基于DL的杂草检测方法可分为图像分类方法、目标检测方法、语义分割方法和实例分割方法。基于图像的分类是一种在线方法，它在单个植物级别对输入图像进行分类，检测图像中包含的植物种类，并区分杂草和作物。对象检测方法生成一系列边界框以框出输入图像中包含的对象，并提供其对为框对象选择的类别的置信度。语义分割等同于在像素级区分不同的对象。基于语义分割的杂草检测通常将输入图像中的每个像素标记为作物、杂草或背景。实例分割不需要标记每个像素；它只需要找到感兴趣对象的边缘，类似于对象检测。不同之处在于，输出不再是边界框，而是对象的遮罩。
DL方法通常需要许多数据样本。在训练网络模型之前，研究人员通常通过数据增强技术来增强样本，以避免小样本数据训练导致的模型过度拟合。常用的数据增强方法包括旋转、平移、镜像、大小变换、亮度变换、去噪、图像均衡和图像合成。例如， Gao等人（2020年）使用了77幅包含单个对象的原始图像，并通过数据增强获得了2271幅合成图像，这大大扩展了现有数据集，避免了模型过度拟合的风险。
与基于ML的方法相比，基于DL的杂草检测算法通常更稳健，更容易实现端到端检测。因此，基于DL的方法可能会逐渐取代基于ML的方法，成为未来杂草检测的主要研究方向。需要注意的是，两者都需要足够的图像来训练具有良好泛化能力的模型，但缺乏大型数据集是该行业的一个主要问题。此外，现有的杂草检测算法在准确性和速度方面仍然不足。因此，未来的杂草检测仍面临许多挑战。
来源：Key technologies of machine vision for weeding robots: A review and benchmark Computers and Electronics in Agriculture doi.org/10.1016/j.compag.2022.106880
参考文献：Visual features based boosted classification of weeds for real-time selective herbicide sprayer systems Comput. Ind. 98 (2018) pp. 23-33