基于比色条形码组合和深度卷积神经网络的便携式食品新鲜度预测平台

今天介绍一篇来自江南大学，于2020年底发表在Advanced Materials上的一篇论文。该研究将可交叉反应的比色条形码组合和深度卷积神经网络（DCNN）结合在一起，形成了一个用于监控肉类新鲜度的系统，总体准确性为98.5％。

摘要 ABSTRACT

今天介绍一篇来自江南大学，于2020年底发表在Advanced Materials上的一篇论文。该研究将可交叉反应的比色条形码组合和深度卷积神经网络（DCNN）结合在一起，形成了一个用于监控肉类新鲜度的系统，总体准确性为98.5％。

1. 介绍

尽管只有数百种嗅觉受体，哺乳动物的嗅觉系统可以准确地区分万亿种气味。这些受体对一系列气味分子都具有亲和力。一个气味分子能以不同的亲和力结合到不同的受体上，并同时激活多个受体，形成一个复杂的气味指纹，并由中枢神经系统（CNS）进行分析（Fig. 1a）。嗅觉受体组合与CNS模式识别的这种组合使得嗅觉系统能非常有效地辨别气味。模仿嗅觉系统以进行准确、便携和实时的人工气味筛查需要两个至关重要且不可分割的组成部分：交叉反应感应和指纹模式识别。虽然比色传感器（opto-noses，电子鼻）具有很高的可交叉反应性，并且在室温下表现良好，但它们会产生非线性多维数据集，无法使用主成分分析（PCA），线性判别分析（LDA）或层次聚类分析（HCA）等统计方法准确地提取和分析。需要一个既具有强大的交叉反应传感器阵列又具有能够从非线性数据集中提取信息并准确预测指纹图案的数据分析方法的系统。此研究中，将比色条形码组合与深度卷积神经网络（DCNN）集成在一起，以形成同时提供气味指纹和智能指纹识别的系统（Fig. 1b）。

Fig. 1 人体嗅觉系统的工作原理及基于比色条形码组合和DCNN的系统。a）在人类的嗅觉系统中，肉中的挥发性胺会激活嗅觉细胞的几种气味结合蛋白（左）并通过嗅觉神经纤维（中间）引发传递到大脑中枢的电化学电位。大脑利用先验知识分析动作电位模式，并将其识别为不同级别的肉类新鲜度（右）。b）在系统中，来自肉类的挥发性胺与条形码相互作用，并根据色变原理引发颜色变化。捕捉显示条形码组合的比色条形码图像，并通过智能手机APP无线上传到云中。训练后的DCNN，可以30秒内在智能手机上显示肉类的新鲜度。

2. 材料和方法

比色条为在聚二甲基硅氧烷（PDMS）（一种化学惰性、防潮和透明的基材）上形成的气敏条形码，为多孔纳米复合材料，由含染料的壳聚糖纳米颗粒（CNP-Dye）嵌入CA基质（CNP-Dye / CA）构成（Fig. 2a）。通过测量暴露于甲胺（MA）前后条形码的RGB值的欧氏距离（ED）来定量描述条形码响应。暴露于较高浓度的MA会增加ED值，表明MA激活了发色团并且条形码充当了气味传感器。经过测试，该试纸对通常从腐烂肉中检测到的多种气体的响应，包括氨气（NH₃），MA，三甲胺（TMA），腐胺（PUT）和尸胺（CAD）。条形的彩色组合，代表这5种胺的气体指纹。

Fig. 2 比色条形码带的制备和表征。a）CNP-Dye / CA的制备。根据离子凝胶法，使用三聚磷酸钠（TPP，绿星）将染料（橙星）与壳聚糖（蓝线）交联。将CNP-Dye嵌入醋酸纤维素（CA）基质上以形成CNP-Dye / CA。插图：CNP-Dye的化学结构示例。染料是四碘酚砜酞（TET）。壳聚糖带正电荷的质子化胺基（-NH₃ ⁺，蓝）和带负电荷的去质子化的羟基（-O^–，红）之间的强大分子内作用力可防止染料泄漏。b）PDMS上条形码图案的示意图。荫罩后，氧气等离子体处理（30％，2 min），在PDMS上形成亲水图案，并滴涂CNP-Dye / CA溶液（1 µL）形成20条比色条形码。每条使用不同的CNP-Dye / CA溶剂。条形码尺寸为1×0.6mm，相邻条之间的间隙为1mm。c）CNP-Dye / CA的电子显微镜扫描图像显示该复合物是高度多孔的。插图显示CNP固定在CA纤维的表面。d）不同膜的染料渗漏测试表明，CNP-TET和CNP-TET / CA膜的染料渗漏可忽略不计。将膜浸泡在水中不同的时间，并在435 nm测量上清液的吸光度。误差棒是三个独立实验的标准偏差。e）浸泡在水中84小时的CA / TET和CNP-TET / CA（1：4）膜的照片。染料从CA / TET渗漏，但没有从CNP-TET / CA膜渗漏。f）暴露于20 ppm甲胺（MA）气体中的不同比色条的感测表现。通过测量暴露于MA前后条形码的RGB值的ED来描述条的反应。选择了最佳感测材料CNP-dye / CA（1：4）进行条形码制备。误差棒是三个独立实验的标准偏差。

3 结果

使用传统的ED值，PCA和HCA方法处理数据。计算暴露于胺气前后,条形码每个比色条的R，G和B的ED值。结果表明，比色条形码的ED值定量描述了气体的浓度。在Fig. 3b中，ED值在20 ppm以下有重叠，而在20 ppm以上则彼此分开。暴露于20 ppm气体前后，每种气体均显示出独特的ED值（n = 8，* p <0.001），表明NH₃，MA，TMA，PUT和CAD在20 ppm时具有特定的气体指纹（Fig. 3c）。原因是这五种胺气体中不同的化学环境和氨基（-NH₂）基团的数量会在条形码中引起不同的颜色组合。

进一步使用PCA和HCA来评估从比色条形码中获得的50×60（5种胺气体×10浓度×60 RGB值）维矩阵。PCA评分图和HCA聚类树都直观地显示出，基于交叉反应比色传感器组合的条形码可以有效地区分，MA，TMA，CAD和PUT。这些结果表明，可以使用比色条形码来监测发酵食品中的肉类新鲜度和其他微生物代谢过程。

Fig. 3 使用比色条形码和传统统计方法区分五种胺类气体。a）暴露于NH₃，MA，TMA，CAD和PUT的条形码的扫描图像（Canon scanner，LBP7010C，600 dpi）显示不同的气体有不同的条形组合。条形码颜色随气体浓度从0.20 ppm增加到100.0 ppm而变化。b）暴露于更高浓度的胺气后，不同条形码中R，G和B值的ED增加。误差棒来自八个独立实验的标准偏差。c）NH₃，MA，TMA，CAD和PUT的ED值分布在20 ppm（n = 8）的箱线图显示，在20 ppm时可以清楚地区分这五种胺气体。***表示p <0.001（t检验）。d）通过层次聚类分析产生的聚类树显示，在20和100 ppm之间可以将5种胺气体区分。

为了准确地预测肉类的新鲜度，使用DCNN来处理和识别复杂的多维气味指纹数据。DCNN体系结构是具有多个非线性激活函数的端到端（end-to-end）网络，适用于非线性多维数据分析。将比色条形码面向包装粘贴在广泛使用的透明聚氯乙烯（PVC）肉类包装膜，25°C存放三种肉类（鸡肉，鱼和牛肉）。使用智能手机相机在不同时间间隔拍摄条形码图像。基于确定肉品新鲜度的国际标准Conway dish法测量肉类的总挥发性碱性氮（TVB-N）值，将这些图像分为新鲜，较少新鲜和变质。由于不同类型和来源的肉的TVB-N阈值存在差异，建议对特定肉的TVB-N值进行详细调查，以确保准确分类。

Fig. 4 比色条形码与DCNN集成在一起，可作为一个简单、可移植的平台，用于实时监控肉类新鲜度。a）DCNN用于条形码识别。数据集包含3475张用于训练和686张用于模型测试的图像（左）。基于ResNet 101主干网络的DCNN用于食品新鲜度分类（右）。DCNN体系结构具有输入、多卷积（conv.）、完全连接（FC）和输出层。当条形码图像输入网络时，将给出测试样品的预测新鲜度类别。b）DCNN的训练精度随着迭代次数的增加而增加。训练损失代表预测结果与实际结果之间的差异。c）根据ED计算和DCNN训练对鸡肉、鱼类和牛肉新鲜度的检测准确率进行比较。DCNN的整体准确率（98.5％）比ED（61.7％）高。d）686个显示DCNN的测试图像的混淆矩阵将图像准确地分为三个新鲜度类别，十张图片被错误分类。e）智能手机界面，显示在扫描条形码后肉的状态为新鲜（左），较不新鲜（中）或变质（右）。

共获得了4161张肉类图像和三种肉类的条形码，形成了DCNN评估肉类新鲜度的数据集。使用ResNet 101主干网络设计了一个三级图像分类网络。这个经过训练的卷积神经网络从图像中提取条形码的特征，并将条形码分类为新鲜度的三类之一。随着迭代次数增加，训练损失(Training Loss)接近0，且训练精度(Training Accuracy)提高（Fig. 4b）。使用686张测试图像来评估DCNN对条形码图像进行分类的准确性。当条形码图像输入到分类网络时，将给出肉类最可能属于的新鲜度类别。使用DCNN分类达到了98.5％的总体准确性。在实际制冷情况下（4°C，鱼肉）也获得了92.0％的总体预测准确性。

使用ED值参考曲线预测肉新鲜度的总体准确率为61.7％，远低于DCNN分类（98.5％）。其中，新鲜类和较新鲜类的准确率最差，表明使用ED值很难将新鲜类与较新鲜类区分开。较低的预测准确性和辨别效率是因为ED值受照片拍摄条件（例如角度，变焦和照明）的影响。而DCNN中的模型训练过程排除了大多数这些影响。此外，由于条形码的RGB值不随目标分析物的浓度线性变化，在这种情况下使用非线性DCNN方法进行数据处理更为合适。

为了使整个筛选过程自动化，将DCNN集成到了智能手机应用程序（APP）NTUFoodCheck中。该APP可以下载到任何智能手机或便携式设备上，可供消费者和食品供应商使用，以实时筛选和/或监控肉类的新鲜度。通过将域自适应嵌入到深度学习中，可以解决由相机设置引起的与条形码图像差异有关的问题。如果没有可用的相机，用户还可以根据参考图片大致区分不同的新鲜度阶段。

4 结论

与以前的食品监控研究相比，条形码系统与食品供应链具有良好的兼容性。一方面，比色条形码具有灵活性和可编辑的大小，可以与许多包装材料和技术完全集成。另一方面，比色条形码识别可以在短时间内（30 s）进行而无需笨重的布线，这与快餐供应链兼容。此外，该系统在实际应用场景中通过在商用PVC膜中使用肉类包装而不是仅在实验中使用生物胺感测进行了测试。通过DCNN技术获得的令人满意的准确性（98.5％）表明该系统与食品供应链整合的可行性。此外，通过利用具有不同气体响应能力的材料，系统可以识别其他挥发性风味成分，例如乙烯，醛，多酚和硫化物，这可以为食品质量控制或物种识别提供平台。

总之，通过将可交叉反应的比色条形码与DCNN结合在一起，构建了一个简单的平台，可通过智能手机APP界面快速，无损地实时监控肉类的新鲜度。像哺乳动物的嗅觉系统一样，可交叉反应的比色条形码可检测到腐烂的肉类释放出的气体并形成气味指纹。使用DCNN来识别该指纹，从而可以将肉类快速分类为新鲜，较新鲜或变质，总预测准确性为98.5％。该准确度比常用的ED分析（整体准确度61.7％）高得多。与TVB-N测量（当前用于测量肉类新鲜度的标准）不同，该系统是无损，自动化的，并且可以进行实时监控。由于比色条形码可轻松批量生产且组件可生物降解且无毒，因此可在食品行业和公众中广泛使用。它为消费者和食品供应链中的所有利益相关者提供了一种监控和/或筛选食品新鲜度并建立公众信心的方法。

参考文献

• Guo, L., Wang, T., Wu, Z., Wang, J., Wang, M., Cui, Z., Ji, S., Cai, J., Xu, C., Chen, X., Portable Food‐Freshness Prediction Platform Based on Colorimetric Barcode Combinatorics and Deep Convolutional Neural Networks. Adv. Mater. 2020, 32, 2004805. 

关注我们