本文提出了一种基于机器学习的双层香蕉分级图像处理系统。支持向量机是根据提取的由颜色和纹理特征组成的特征向量对香蕉进行第一层分类，接着YOLOv3对香蕉进行分类，进一步定位果皮上的缺陷区域，判断输入的是中熟类还是成熟类。第一层的精度达到了98.5%，第二层的精度达到了85.7%。总体准确率为96.4%。
摘要
今天介绍一篇来自加拿大圭尔夫大学的Lili Zhu and Petros Spachos等人于2020年7月发表的一篇论文。本文提出了一种基于机器学习的双层香蕉分级图像处理系统。支持向量机是根据提取的由颜色和纹理特征组成的特征向量对香蕉进行第一层分类，接着YOLOv3对香蕉进行分类，进一步定位果皮上的缺陷区域，判断输入的是中熟类还是成熟类。第一层的精度达到了98.5%，第二层的精度达到了85.7%。总体准确率为96.4%。
1. 介绍
为了满足食品加工行业日益提高的要求和标准，食品和农产品的质量检验工作是繁重而劳动密集型的。经过多年的快速发展，机器视觉系统已经渗透到人们生活的各个方面。机器视觉系统可以通过多种陆基和机载方法获取图像数据，并可以完成多种类型的任务，如质量安全检测、农产品分级、外来物检测、作物监测。在食品加工过程中，机器视觉系统可以收集食品的大小、重量、形状、质地、颜色等一系列参数，甚至许多人眼无法观察到的细节，来监控和操作食品加工过程。这样可以避免工人因大量重复劳动而产生的疲劳和错误。
香蕉是最重要的热带水果之一，香蕉的成熟过程非常快，大量过熟的香蕉无法进入市场。因此，研究人员对开发自动监测系统来帮助香蕉管理很感兴趣。在本研究中，提出了一种实现香蕉分级和缺陷检测的双层系统。系统由第一层分类器支持向量机和第二层分类器YOLOv3组成。包含提取的颜色和纹理信息的特征向量作为第一层分类器的输入，第一层分类器的输出连接到第二层分类器。该网络可同时提供香蕉成熟度等级分类和果皮缺陷区域检测，为进一步实现物联网系统打下坚实基础。通过与其他三种常用系统的比较，表明该系统具有较高的精度。
2. 数据集和方法
2.1 数据集
在本研究中，我们拍摄了150张不同成熟度的香蕉照片，并将它们分为三组，分别是未成熟、成熟和过度成熟(每组50张)。成熟类有两个子类，半成熟类和完全成熟类。未成熟组的香蕉仍然是绿色的果皮，而成熟和过度成熟组的香蕉果皮呈黄色，并且有不同程度的棕色斑点。然而，150个样本对于机器学习方法来说并不令人满意，因为它容易导致过拟合。因此，我们采用了数据增强技术，来扩大数据集。旋转、翻转、移位等传统的数据增强方法被广泛应用于机器学习训练。我们还使用Cycle GAN生成缺陷香蕉的图像。
图1显示了原始未成熟香蕉图像与生成的成熟香蕉图像的对比。使用Cycle GAN模型生成了150张新的成熟香蕉图像。数据扩增后的总数据集如表1所示。
Fig.1 Cycle GAN基于未成熟香蕉图像生成5张成熟香蕉图像
Table 1 经过数据扩充后的总数据集
2.2 方法
提出的香蕉分级系统包括数据增强、图像分割、特征提取和分类。图2显示了系统的流程图。
Fig.2 提出的香蕉分级系统的流程图
1）图像分割：在本工作中，为了更接近实际，图像采集是在自然光下进行的，因此背景亮度和阴影不一致，很难找到合适的阈值和完整准确的边缘来分割目标。因此，使用K均值聚类算法来处理这个任务。K均值聚类算法采用距离作为相似性的评价指标。将所有数据分配到最近的聚类中心，使每个点与其对应的聚类中心之间的距离平方和最小化。在应用k均值之前，采用秩滤波和对数变换来降低噪声，提高图像对比度。图3显示了样本分割结果。
Fig.3 图像分割步骤的样本输入(上)，隐藏(中)和输出(下)
2）特征提取:对于图像，每一幅图像都有自己的特征，可以区别于其他类型的图像。这些特征将以数值或向量的形式被提取出来，以便计算机能够识别图像。常见的图像特征有颜色特征、纹理特征、形状特征。
a）颜色特征:在本工作中，由于未成熟、成熟和过成熟的香蕉具有明显的颜色特征，不需要考虑颜色空间分布，因此颜色特征是训练分类器所提取的成分之一。因此，本文提出的数据集的颜色特征是在HSV颜色空间中提取的。
由于三组香蕉的颜色特征，将HTML颜色代码与不同香蕉皮的自然颜色进行类比，得到相应的H、S、V值范围。表2说明了H和V的取值范围是不同的，这是对香蕉进行分类的两个输入特征。
Table 2 两组香蕉HSV颜色空间中的H、S、V值的范围
b）纹理特征:纹理是物体表面的另一种自然特征。它描述了图像像素与图像区域之间的灰度空间的分布，不会因光照的不同而发生变化。纹理特征也是一个全局特征。与颜色特征不同，纹理特征不是基于像素的特征，它们需要在包含多个像素的区域进行统计计算。
从图4可以看出，在不同成熟度的香蕉中，局部二值模式（LBP）算子可以提取出不同的纹理特征。
Fig.4 (左)分割图像;(中间)灰度图像;(右) 局部二值模式算子提取的纹理特征
3）分类：分类任务分为两个步骤。第一步是将提取的特征输入支持向量机，以分类未成熟、成熟和过度成熟的香蕉组。香蕉皮上的棕色斑点在这里不会被检测到，因为对于过度成熟的香蕉，棕色颜色应该包括在什么标准没有一致性。连接的棕色区域造成多个不规则区域的检测，将导致不准确的结果。此外，由于香蕉皮主要是棕色的，所以过熟的香蕉不需要检测棕色斑点。因此，香蕉将被分为基本组。下一步是将支持向量机输出的成熟水果图像输入到YOLOv3迁移学习模型中，检测棕色斑点，并根据棕色区域的数量将香蕉分为中熟和成熟两组。当YOLOv3模型检测到3个或更少的缺陷区域时，该样品将被视为中熟样品。另外，一个成熟的样本是由模型发现的缺陷区域是否超过三个来决定的。
4）方法评价:采用统计学中常用的评价方法准确性、灵敏度/召回率和精度对第一层分类结果进行评价。如：
为了进一步评估YOLOv3模型的性能，应用平均准确率(mean Average Precision), 交并比（Intersection over Union）和召回法来评估目标的预测位置。评估方法的定义如图6。
Fig.6 评价方法的定义
3. 实验结果与讨论
实验在Ubuntu 18.04.4 LTS系统上进行，使用intel coremi7-8700k CPU @3.70GHz×12处理器，32G内存，GeForce GTX 1080 Ti/PCIe/SSE2图形。
在第一分类层，使用520幅图像训练SVM分类器，使用130幅图像进行测试。将H值、V值和LBP特征组成输入特征向量A=[H V LBP]后，将所有训练图像中的A送入SVM分类器进行训练。表3为第一层分类器测试结果的混淆矩阵。由混淆矩阵可知，SVM分类器的总体预测准确率达到了98.5%(g=0.005,C=1000)。
Table 3 第一层分类器的混淆矩阵
对于第2层，“labelling”手动标记成熟组的图像中有缺陷的区域，48张被预测为成熟的图像输入到第二个预测器。图7显示了每个类的一个地面真实数据样本。
Fig.7 中熟类和成熟类的样本真实数据和预测样本
经过100,000次训练，测试结果的平均准确率为0.8137，平均交并比为76.34%，测试结果的平均查全率和准确率分别为91.32%和74.93%。预测测试图像的平均处理时间为0.051秒。高查全率和低准确度的原因是该模型检测到一些没有标注数据的数据点。根据检测区域的结果，检测区域的数量来确定该样本属于哪个子类。当检测到的区域超过5个时，这只香蕉就被归为成熟香蕉。交并比结果表明预测区域与真实值有一定程度的偏差，但这并不影响预测区域的数量。因此，表四所示的基于预测区域数量的混淆矩阵仍然有效。
Table 4 第二层分类器的混淆矩阵
4. 结论
本文提出了一种新的双层分类器来根据香蕉的成熟程度进行分级。由于原始图像中存在冗余信息，会降低分类精度，因此形成了由基本颜色和纹理信息组成的特征向量。实验结果表明，提取的特征向量辅助支持向量机分类器的准确率达到98.5%。然后YOLOv3系统检测成熟香蕉的缺陷区域，并将其分为中熟组和成熟组。该系统完成了香蕉成熟度分级任务，同时也解决了检测和输出香蕉小缺陷区域的困难。
参考文献
Zhu, Lili; Spachos, Petros Food Grading System Using Support Vector Machine and YOLOv3 Methods. 2020 IEEE SYMPOSIUM ON COMPUTERS AND COMMUNICATIONS (ISCC), 2020, 164, 106088.
原创文章，作者：FoodAI01，如若转载，请注明出处：https://www.drugfoodai.com/yolov3.html
注意：本站原创指的是原创编译，并不主张对所介绍的工作的版权，如有侵权，请联系删除！
微信扫一扫 
支付宝扫一扫 相关推荐
-
FOOD CHEM|海南大学云永欢课题组：高光谱成像技术结合数据融合的罗非鱼鱼片新鲜度快速检测研究
该文研究了两种波段范围的高光谱成像系统（可见-近红外光谱（Vis-NIR）和近红外光谱（NIR））在冷藏期间测定罗非鱼鱼片中挥发性盐基氮（TVB-N）含量的潜力。利用Vis-NIR和NIR数据，建立了高光谱图像中罗非鱼鱼片平均光谱与其TVB-N含量之间的校正模型，并采用数据融合和多种变量选择方法对模型进行优化。最后，采用优化的模型来实现罗非鱼鱼片中TVB-N含量的可视化分布。结果表明，高光谱成像技术结合数据融合和变量选择等化学计量学方法在罗非鱼鱼片新鲜度无损评价分析中具有可行性。
-
基于单词嵌入的烹饪食谱无监督调整方法
今天介绍一篇由Andrea Morales-Garzon等人于2021年2月在IEEE Access上发表的文章。本文提出了一种新的无监督食谱调整方法，用于根据用户偏好调整食谱成分。为了学习食物表征和关系，创建并应用一个特定领域的单词嵌入模型。将一个单词嵌入模型与一个基于模糊的文档距离相结合，以找到适应任务中最相似的成分。作者根据营养偏好、适应类似的成分和素食以及纯素饮食限制，进行了三种不同的食谱调整。结果证实了使用特定领域语义模型来处理食谱适应任务的潜力。
-
重磅干货：食品科学数据库资源汇总（国外篇第二部分）
书接上期，我们分享了一系列国内的食品数据库资源和一部分国外食品专业数据库。这些数据库主要对食品添加剂的安全、食品成分、食品营养和食品酶等方面进行了数据分析与平台搭建。下面继续介绍几篇相关的食品数据库文章。
-
人工神经网络在食品加工研究中的文献调查
人工神经网络(ANN)在各个应用领域的使用水平日益提高，因其能够解决许多应用领域中的复杂问题而广受欢迎。今天给大家介绍一篇由Janmenjoy Nayak等人发表在Computer Science Review上的一篇综述，该文详细分析了人工神经网络在食品加工中的应用进展。
-
天津工业大学卞希慧课题组：变分模态分解加权多尺度支持向量回归用于植物油和中药掺伪的光谱定量分析
天津工业大学化学工程与技术学院的复杂体系智能分析与计算实验室采用紫外可见光谱和近红外光谱结合基于变分模态分解的集成建模方法实现了掺伪植物油和中药的定量分析。相关研究成果在2022年8月1日以题为“Variational Mode Decomposition Weighted Multiscale Support Vector Regression for Spectral Determination of Rapeseed Oil and Rhizoma Alpiniae Offcinarum Adulterants”发表在国际学术期刊Biosensors（IF=5.743）上。
-
食品的分子注释——走向个性化饮食和精准健康
今天给大家介绍一篇由Junai Gan等人近期发表在Trends in Food Science & Technology上的文章。文章提出了一种对食品进行分子注释的框架，让人们对食物的分子特性如何影响个人饮食行为和健康有更好的了解，使个人和护理人员能够针对目标的健康管理做出明智的饮食决策。
-
智能食品加工：从人工神经网络到深度学习的旅程(二)
在第一部分的介绍当中，大家已经对智能食品加工中的人工神经网络的类型有了相对全面的了解。今天给大家带来题为《智能食品加工：从人工神经网络到深度学习的旅程》综述的第二部分介绍：基于人工神经网络（ANN）的智能食品加工。
-
Food Control|基于改良内聚稳定同位素比值的燕窝真实性鉴别与定量
该文针对食用燕窝（EBN）中稳定同位素比值(δ13C、δ15N、δ18O、δ2H)的高离散性，建立了一种既能定性和又能定量的方法来检测掺入唾液酸、蛋清和食用胶的掺假EBN。通过建立数据处理公式来提高样品同位素比值的内聚性，利用该公式建立欧式距离方程。通过计算欧氏距离建立判别式，预测准确率在95.80% ~ 99.97%之间。此外，建立了3个方程对EBN中掺假物质的含量进行定量分析，相对标准偏差在1.34% ~ 6.31%(n = 6)之间。应用所建立的方法，测得12个实样中有2个样品分别掺入了3.9%的唾液酸和2.9%的蛋清。
-
机器学习揭示食品-药品和辅料-药品相互作用
今天介绍一篇由麻省理工David H. Koch整合癌症研究所、MIT-IBM Watson AI实验室、机械工程学院和哈佛医学院附属布莱根妇女医院数据，于2020年3月发表在Cell Reports上的一篇实验型文章。文章应用了机器学习的方法对GRAS和IIG化合物的未知生物活性进行了研究。研究发现维生素A棕榈酸酯和松香酸分别是P-糖蛋白和UGT2B7的抑制剂，并通过一系列的实验进行了验证确认。他们的模型可以预测常见食用化学物质的生物学效应，并对食品-药品和辅料-药品相互作用以及功能性药物制剂的开发产生了新的影响。
-
拉曼光谱结合机器学习对食用油的评价
今天介绍一篇来自罗马尼亚国家同位素和分子技术研究与发展研究所的Camelia Berghian-Grosan和Dana Alina Magdas于2020年5月21日在Talanta发表的文章。该文章是基于拉曼光谱结合机器学习算法建立食用油快速检测方法，不仅实现了掺假的定性检测，而且对掺假量也进行了初步估计。
