本次介绍的是来自加拿大麦吉尔（McGill）大学电气与计算机工程系，于2019年9月发表在arXiv.org上的文章。文中，作者介绍了一个可利用智能手机内置摄像头，仅使用手机有限的计算资源就可识别餐食中多个食物种类及其营养信息的移动应用程序——FoodTracker。该程序将深度卷积神经网络与YOLOv2结合，实现多对象同时识别和定位，得到的mAP接近80%，同时神经网络结构小巧且计算成本低廉。
本次介绍的是来自加拿大麦吉尔（McGill）大学电气与计算机工程系，于2019年9月发表在arXiv.org上的文章。文中，作者介绍了一个可利用智能手机内置摄像头，仅使用手机有限的计算资源就可识别餐食中多个食物种类及其营养信息的移动应用程序——FoodTracker。该程序将深度卷积神经网络与YOLOv2结合，实现多对象同时识别和定位，得到的mAP接近80%，同时神经网络结构小巧且计算成本低廉。
1 介绍
人们越来越关注身体健康，每日的饮食质量是其中重要的一环，因此记录个人饮食并分析营养信息是迫切需要解决的问题。为了避免手动录入饮食记录的繁琐，应用计算机视觉技术来识别食物，实现自动化记录是理想的解决方案。然而当前的成果都仅能在实验室条件下识别少数特定数据库中的单个食物对象，无法进行实际应用。
作者基于MobileNet构建了深度卷积神经网络（DCNN）模型，并采用YOLOv2来同时生成边框和分类标签。还使用TensorFlow Java API将深度学习模型装配到移动应用程序中，实时对图像进行推论并提供营养信息。
2 背景
2.1 深度可分离卷积
MobileNet基于利用深度可分离卷积来构建轻型深度神经网络的简化架构。深度可分离卷积块将标准卷积分解为深度卷积和1×1点卷积。通过将标准卷积分为两步过程实现了参数数目和计算成本的大幅降低。MobileNet使用3×3过滤的深度可分离卷积，计算量比标准卷积少8到9倍，而准确性仅略有降低。
3 食物检测
3.1 数据扩充
数据扩充可以防止神经网络过度拟合，且手机在获取实时图像时会有光照、背景等多种干扰因素。因此对图像进行模糊、水平翻转、色偏等操作扩充数据库。虽然训练时间因此增加了5-6倍，但得到的模型更稳健，且过拟合程度更低，有利于后续的实时图像处理。
3.2 YOLOv2
通过MobileNet中的13个深度可分离卷积块将输入分辨率从（224，224）减小到（7，7），再添加了一个卷积层，以重塑输出大小以与YOLO输出层兼容。
将每个输入图像划分为（S，S）网格，并用预测每个单元格中的框数目N，框模型为[bx，by，tw，th]，每个框都有框置信度（tw, th是通过聚类算法生成的N个先验框的偏移量）。
利用 k-means 聚类算法寻找先验框（框的尺寸），且使用交并比（IoU）来进行评价。更多的预测框能得到更高的平均IoU，模型的复杂性也会增加，从而导致更高的计算成本，而性能却几乎没有增长。试验发现k=5时，在平均IoU与模型复杂性之间取得了很好的平衡，在图2（b）中表明了5倍k-means产生的先验框。
3.3 DCNN架构
将深度卷积和点积卷积视为单独的层，得到的 MobileNet-YOLO架构共有30层，总共350万个参数。总体方案如图1所示，其中有两个示例输入结果。训练的输入分辨率为（224，224）。
对两个数据库：UECFood100和UECFood256进行了模型评估，并验证了约1万张食物图像，实现了令人满意的食物检测性能。UECFood100的mAP为76.36％，UECFood256的mAP为75.05％（在验证集上IoU = 0.5），因此模型非常适合用于移动设备。
4 移动应用程序
对于每个推测，输出并选择置信度高于0.4的边界框，按bx，by定位框，并根据生成的具有预测偏移tw，th的先验框进行调整。此外，通过检查是否有重叠面积超过30％的预测框来执行非极大抑制以消除重复框。
营养分析功能类似于NutriVision，使用全球最大的营养数据库之一Nutritionix来分析营养成分。与手动录入不同，作者根据经过训练的DCNN模型的输出来调用Nutritionix API，并在用户界面上返回一个提供食品营养成分的信息，如图4所示。
应用程序中有两种模式，如图3的左侧和右侧所示。一种是实时模式，用于快速推断每帧的摄像机输入并显示检测结果，包括边框，类别标签和框置信度得分。第二种是本地模式，用户可以从本地相册中选择图像进行营养分析以及食物检测。
FoodTracker不依靠任何远程服务器进行计算，检测过程仅在移动设备中进行。使用Android 9.0系统的Google Pixel 2和具有Android 8.0系统的OnePlus 5进行实时模式和本地模式的测试，每幅图像的平均时钟时间（Wall Clock time）为75ms，平均CPU时间为15ms，几乎没有延迟。
5 讨论与展望
由于智能手机的广泛普及和可用性，移动应用程序开发是最有前途的领域之一。 另一方面，移动设备的计算资源的限制使得难以应用深度学习技术。现有利用计算机视觉进行的食品检测和营养分析极少能在移动设备上开放使用。作者针对这些问题进行了研究，但仍有许多问题待解决。未来将从体积估计的角度开发模型，并在考虑计算资源限制的情况下研究如何更好地将深度学习应用于移动设备。
参考文献：
- Sun J, Radecka K, Zilic Z. FoodTracker: A Real-time Food Detection Mobile Application by Deep Convolutional Neural Networks[J]. arXiv preprint arXiv:1909.05994, 2019.
原创文章，作者：ifyoung，如若转载，请注明出处：https://www.drugfoodai.com/foodtracker.html
注意：本站原创指的是原创编译，并不主张对所介绍的工作的版权，如有侵权，请联系删除！
微信扫一扫 
支付宝扫一扫 相关推荐
-
HyperFoods：基于机器学习智能绘制食物中抗癌分子的图谱
今天给大家介绍一篇由Kirill Veselkov、Guadalupe Gonzalez等人合作，于前段时间发表在Scientific report的一篇文章。文章中作者介绍了一个独特的基于网络的机器学习平台HyperFoods，以识别推定的基于食物的抗癌分子。
-
人工神经网络在食品加工研究中的文献调查
人工神经网络(ANN)在各个应用领域的使用水平日益提高，因其能够解决许多应用领域中的复杂问题而广受欢迎。今天给大家介绍一篇由Janmenjoy Nayak等人发表在Computer Science Review上的一篇综述，该文详细分析了人工神经网络在食品加工中的应用进展。
-
基于数据和结构的组合建模方法筛选数据库中潜在甜味分子
今天给大家介绍一篇由Anukrati Goel等人合作的，于前段时间发表在Food Chemistry的一篇文章，文章中作者介绍了一种基于计算机驱动的方法，可以从大型天然化合物数据库中筛选出潜在的新型甜味剂。
-
重磅干货：食品科学数据库资源汇总（国外篇第二部分）
书接上期，我们分享了一系列国内的食品数据库资源和一部分国外食品专业数据库。这些数据库主要对食品添加剂的安全、食品成分、食品营养和食品酶等方面进行了数据分析与平台搭建。下面继续介绍几篇相关的食品数据库文章。
-
系统综述(2013-2020年)：分析技术结合化学计量学鉴别食用油地理来源
过去十年，随着消费者对来自世界各地的食品有了更多的认识，全球高质量的进口食品市场急剧增长。许多国家要求食品贴上原产地标签，以保护消费者对食品真实特征和原产地的需求。本文介绍了利用各种分析工具结合多元分析对油品地理来源的验证所作的努力。对流行的分析工具进行了讨论，并指出了强调地理认证研究趋势和用于传播的首选期刊的科学计量评估。
-
人体对食物的餐后反应与精准营养的潜力
今天介绍一篇由Sarah E. Berry等人前段时间发布于nature medicine的一篇文章。文中对英国（n=1002）和美国（n=100）的年轻健康成年人进行餐后代谢反应评估，并开发机器学习模型来预测人体内的甘油三酸酯（r=0.47）和血糖（r=0.77）对食物摄入的反应，这项技术有助于制定个性化的饮食策略。
-
FoodAI：基于深度学习的食品图像识别与记录系统
今天给大家介绍一篇由新加坡管理大学信息系统学院生活分析研究中心(LARC) 和Salesforce亚洲研究院合作，于前段时间在ACM SIGKDD知识发现和数据挖掘会议上汇报的一篇会议文章。文章中作者提出了一种智能食物记录系统:FoodAI，使食物记录变得便捷，帮助人们实现智能消费和健康的生活方式。
-
FOOD CONTROL|长江大学谷惠文/尹小丽: 基于二维指纹图谱和化学计量学的茶叶产地识别及标志物筛选
该研究首次提出运用高效液相色谱-二极管阵列检测器采集样本的二维指纹图谱(2D HPLC-DAD)用于中国绿茶的原产地识别。通过多元曲线分辨-交替最小二乘算法(MCR-ALS)盲分辨提取了绿茶样本的62种化学成分，并对其进行不同尺度化(UV和Par)下的主成分分析(PCA)和正交偏最小二乘-判别分析(OPLS-DA)。结果表明，浙江、山东两产地茶叶样本具有明显的聚类趋势。最终筛选出17个特征成分可作为区分浙江茶和山东茶的化学标志物，识别准确率达92.86%。
-
顶刊综述|李培武院士团队唐晓倩：生物毒素（真菌毒素、海洋毒素和细菌性食物毒素）生物传感器的发展趋势：原理、应用和前景
今天介绍一篇于2023年8月发表在Trends in Analytical Chemistry（IF=13.1）上的一篇综述性文章。该综述简要介绍了生物毒素（真菌毒素、海洋毒素和细菌性食物毒素）的流行、毒理学特征和分类。同时，总结了近年来针对生物毒素的高灵敏度生物传感器的重要技术进展并介绍了这些方法不同的传感模式。最后，基于生物传感器面临的各种挑战，为改进食品安全技术提供了重要见解。中国农科院油料所唐晓倩副研究员为第一作者，硕士研究生左家思为共同一作。中国农科院李培武院士和张奇研究员以及浙江大学平建峰教授为通讯作者。
-
重磅干货：食品科学数据库资源汇总（国外篇第一部分）
近期国外也有一些食品专业数据库发表。这些数据库主要对食品添加剂的安全、食品成分、食品营养和食品酶等方面进行了数据分析与平台搭建。下面介绍几篇相关的食品数据库文章。
