今天给大家介绍一篇由Kalliopi V. Dalakleidi等人，于2021年7月8日发表在Advances in Nutrition（IF=11.567）的一篇综述性文章。该综述描述了用于饮食评估的计算机视觉方法的最新进展，并介绍了基于图像的食物识别系统 (IBFRS) 在专业饮食实践中的最新应用。
今天给大家介绍一篇由Kalliopi V. Dalakleidi等人，于2021年7月8日发表在Advances in Nutrition（IF=11.567）的一篇综述性文章。该综述描述了用于饮食评估的计算机视觉方法的最新进展，并介绍了基于图像的食物识别系统 (IBFRS) 在专业饮食实践中的最新应用。
1、介绍
不健康均衡的饮食可能会影响我们的健康并导致慢性和危及生命的疾病。为了确保健康均衡的饮食，人们需要保持手工记录或回忆每天的膳食。为了改进饮食摄入量监测，已经提出了几种基于手势识别、咀嚼和吞咽识别以及基于相机的保存方法。
为了最大限度地实现食品记录保存过程的自动化，建议使用计算机视觉和机器学习方法。将用户移动设备的摄像头与计算机视觉方法相结合的饮食评估系统。
图1.系统评价中包含的基于图像的食物识别系统的出版物的搜索策略
图2.用于膳食评估的基于图像的食物识别系统架构
2、基于图像的食物识别系统
2.1图像描述
最初，用户用他们的移动设备的相机描绘要消费的膳食。移动设备的摄像头会影响食物识别任务的结果，包括镜头、硬件和软件。为了获得更好的识别性能，用户可能必须在照片中包括已知尺寸的参考对象，可能会要求用户绘制食物的边界框等。
2.2分割
用户膳食中卡路里含量的准确评估主要取决于明确定义的食物区域。已经实现了几种用于食品识别的分割方法（图3），图3A是用户餐盘的初始图像，图3B-M分别是基于手动、分层、显著性感知、阈值、聚类、Sobel 算子、颜色/纹理、热聚类、区域、CNN的图像分割。当然，食物图像的分割也有许多挑战。比如缺乏广泛接受的评估指标以及不同的成分混合在一起，无法进行光学分割等问题。
图3.基于图像的食物识别系统中用于食物分割任务的分割方法总结
2.3 特征提取
与正确分类不同食物类别相关的挑战还在于描述各个食物区域的特征/描述符。采用两种主要方法，手工制作的描述符或从 CNN提取的描述符。
手工制作的特征可以进一步分为颜色、质地、大小和形状特征。最常用于特征提取的 CNN是AlexNet、GoogLeNet和 ResNet。
2.4 降维
减少提取的特征向量的维数可以提高膳食摄入监测系统中食物图像的分类结果。使用Bag-Of-Features (BOF) 模型可以极大地提高食品识别任务的分类准确性。当然，也可以采用Fisher Vector或其后代方法、正交匹配追踪 (OMP) 实现降维。
2.5 分类
食物图像的分类很大程度上取决于所使用的描述符。此外，分类器的超参数值影响最终结果。为了获得良好的分类性能，除了考虑一些浅层分类器，用于食品图像分类，还为分类构建了CNN集合（表1）。在许多PAFD中，CNN的表现优于其他浅层分类器。
表1.食物识别系统中用于食物识别任务的分类方法总结
2.6 体积、卡路里和营养素评估
体积、卡路里和营养素估计是 IBFRS 中较少涉及的阶段。在此步骤中影响其实现出色性能的挑战是缺乏适当的注释数据集以及难以从二维图像中获取深度信息。
3、评价指标
IBFRS用于膳食评估的性能是通过几个指标来评估的，例如准确度 (Acc)、精确度(Pr)、召回率(Re)、平均精度(MAP)、F-measure和平均绝对百分比误差( MAPE) 。
4、使用公开可用数据集作为输入的食物识别系统
表2包含使用手工特征和在 PAFD 上测试的浅层分类器的系统。在使用公共数据集作为 IBFRS 饮食评估输入的59项研究中，多数研究使用CNN
表 2. 基于手工特征和食品数据集上的浅层分类器食品识别系统列表
5、支持饮食专业实践的基于图像的食物识别系统
在过去十年中，已开发出超过10,000款用于体重管理和饮食监测的手机应用程序。
IBFRS 的一个最重要应用领域是饮食监测，在医院环境中用于测量患者的食物摄入量，从而明确患者的营养需求是否得到充分满足。运动营养师还使用与饮食相关的移动应用程序来支持运动员获得更好的健康和运动表现。
6、讨论
饮食监测系统可以帮助专家和个人了解人们的饮食习惯和行为，从而改善人们的身体状况，同时降低患饮食相关疾病的风险。
为了优化这些自动化系统的性能，需要公开合适的食品数据集，包括与代谢疾病人群饮食相关的食品数据集。改进当前饮食监测系统的第一步是考虑食物图像之外的其他信息，例如用户的饮食历史、饮食目标、健康/疾病，包括药物摄取、过敏和每种食物的摄取时间等膳食信息，从而个性化饮食监控应用程序。
在下一代移动设备中嵌入更多传感器，可以在体积估计方面改进现有的饮食监测应用。
7、结论
本综述概述了用于降低与饮食相关的慢性病风险的饮食监测系统。饮食监测系统可以分为以下几个阶段：图像描绘、分割、特征提取、降维、分类、体积和卡路里评估。为了优化系统性能，需要构建适当的 PAFD。从评估指标可以看出，食物识别系统已经发展，并且通过使用 CNN 可以提高分割、特征提取和分类性能。
参考文献
Kalliopi V Dalakleidi, Marina Papadelli, Ioannis Kapolos, Konstantinos Papadimitriou, Applying Image-Based Food Recognition Systems On Dietary Assessment: a Systematic Review, Advances in Nutrition, 2022, nmac078, https://doi.org/10.1093/advances/nmac078
微信号｜FoodAI
原创文章，作者：ifyoung，如若转载，请注明出处：https://www.drugfoodai.com/img-nutrition.html
微信扫一扫 
支付宝扫一扫 相关推荐
-
TRENDS FOOD SCI TECH|光谱技术结合深度学习方法在食品品质检测中的应用
浙江大学生物系统工程与食品科学学院应义斌教授课题组在食品顶级期刊《Trends in Food Science & Technology》发表综述《Food and agro-product quality evaluation based on spectroscopy and deep learning: A review》。该文讨论了传统化学计量学方法在提高模型性能、处理复杂结构的光谱噪声以及全局回归、局部回归和模型传递上的一些局限性。
-
重磅干货：食品科学数据库资源汇总（国外篇第一部分）
近期国外也有一些食品专业数据库发表。这些数据库主要对食品添加剂的安全、食品成分、食品营养和食品酶等方面进行了数据分析与平台搭建。下面介绍几篇相关的食品数据库文章。
-
中国农业大学周欣团队基于宏基因组学和机器学习的蜂蜜产品溯源
今天介绍一篇来自中国农业大学昆虫学系周欣教授课题组于2022年3月发表在Food Chemistry上的文章。该文为了查询蜂蜜的地理来源，收集蜂蜜样本产生的宏基因组数据，应用机器学习方法来推断蜂蜜的地理来源。
-
浙江农科院袁玉伟产地溯源团队：基于稳定同位素和元素剖面的中国和伊朗藏红花地理起源研究
近日，农产品质量安全危害因子与风险防控国家重点实验室的聂晶和袁玉伟等人对藏红花中的元素含量（%C和%N）和稳定同位素（δ13C、δ2H、δ18O和δ15N）进行分析检测，并结合化学计量学的溯源方法，成功区分了伊朗和中国的藏红花，并对中国国内主要产区进行了分类
-
FOOD CONTROL|长江大学谷惠文/尹小丽: 基于二维指纹图谱和化学计量学的茶叶产地识别及标志物筛选
该研究首次提出运用高效液相色谱-二极管阵列检测器采集样本的二维指纹图谱(2D HPLC-DAD)用于中国绿茶的原产地识别。通过多元曲线分辨-交替最小二乘算法(MCR-ALS)盲分辨提取了绿茶样本的62种化学成分，并对其进行不同尺度化(UV和Par)下的主成分分析(PCA)和正交偏最小二乘-判别分析(OPLS-DA)。结果表明，浙江、山东两产地茶叶样本具有明显的聚类趋势。最终筛选出17个特征成分可作为区分浙江茶和山东茶的化学标志物，识别准确率达92.86%。
-
通过概念和机器学习生成的基于食物喜好的饮食质量指标（DQI）解释青壮年心脏代谢风险因素的差异
今天介绍一篇康涅狄格大学（UConn）与哈特福特医院（Hartford）合作，于2020年2月发表在Nutrients上的一篇研究性论文。文章中基于喜好调查（包括食物项和非食物项）提出了一个新的饮食评价指标——DQI（饮食质量指标），可评估每种食物类别对心脏代谢风险的相对重要性，并用于估计饮食摄入量、评估饮食-疾病关系和预测患病风险。
-
食品设计：基于机器学习和机制的混合建模方法
当前，食品设计是通过不断试错并由品尝小组做出感官评价完成的。为了加快新食品的开发速度，提出了一种混合机器学习和机制建模的方法。用由所需食品过往数据训练的机器学习模型进行感官评价预测。该方法基于启发法、数据库等，首先确定候选食品组分和加工中的关键操作条件。与这些组分和加工条件（设计变量）有关的像颜色、松脆度和风味这样的食品特性都用到机制模型。通过改变设计变量来优化所需的食品特性，从而获得最高感官评分。使用遗传算法解决此灰箱优化问题，将设计约束（所需食品特性）处理为罚函数。提供了一个巧克力曲奇饼干的示例以说明混合建模结构的适用性和解决方案策略。
-
FOOD CHEM|海南大学云永欢课题组：高光谱成像技术结合数据融合的罗非鱼鱼片新鲜度快速检测研究
该文研究了两种波段范围的高光谱成像系统（可见-近红外光谱（Vis-NIR）和近红外光谱（NIR））在冷藏期间测定罗非鱼鱼片中挥发性盐基氮（TVB-N）含量的潜力。利用Vis-NIR和NIR数据，建立了高光谱图像中罗非鱼鱼片平均光谱与其TVB-N含量之间的校正模型，并采用数据融合和多种变量选择方法对模型进行优化。最后，采用优化的模型来实现罗非鱼鱼片中TVB-N含量的可视化分布。结果表明，高光谱成像技术结合数据融合和变量选择等化学计量学方法在罗非鱼鱼片新鲜度无损评价分析中具有可行性。
-
Food Control|基于改良内聚稳定同位素比值的燕窝真实性鉴别与定量
该文针对食用燕窝（EBN）中稳定同位素比值(δ13C、δ15N、δ18O、δ2H)的高离散性，建立了一种既能定性和又能定量的方法来检测掺入唾液酸、蛋清和食用胶的掺假EBN。通过建立数据处理公式来提高样品同位素比值的内聚性，利用该公式建立欧式距离方程。通过计算欧氏距离建立判别式，预测准确率在95.80% ~ 99.97%之间。此外，建立了3个方程对EBN中掺假物质的含量进行定量分析，相对标准偏差在1.34% ~ 6.31%(n = 6)之间。应用所建立的方法，测得12个实样中有2个样品分别掺入了3.9%的唾液酸和2.9%的蛋清。
-
基于单词嵌入的烹饪食谱无监督调整方法
今天介绍一篇由Andrea Morales-Garzon等人于2021年2月在IEEE Access上发表的文章。本文提出了一种新的无监督食谱调整方法，用于根据用户偏好调整食谱成分。为了学习食物表征和关系，创建并应用一个特定领域的单词嵌入模型。将一个单词嵌入模型与一个基于模糊的文档距离相结合，以找到适应任务中最相似的成分。作者根据营养偏好、适应类似的成分和素食以及纯素饮食限制，进行了三种不同的食谱调整。结果证实了使用特定领域语义模型来处理食谱适应任务的潜力。
