今天给大家介绍一篇由Kalliopi V. Dalakleidi等人,于2021年7月8日发表在Advances in Nutrition(IF=11.567)的一篇综述性文章。该综述描述了用于饮食评估的计算机视觉方法的最新进展,并介绍了基于图像的食物识别系统 (IBFRS) 在专业饮食实践中的最新应用。
今天给大家介绍一篇由Kalliopi V. Dalakleidi等人,于2021年7月8日发表在Advances in Nutrition(IF=11.567)的一篇综述性文章。该综述描述了用于饮食评估的计算机视觉方法的最新进展,并介绍了基于图像的食物识别系统 (IBFRS) 在专业饮食实践中的最新应用。
1、介绍
不健康均衡的饮食可能会影响我们的健康并导致慢性和危及生命的疾病。为了确保健康均衡的饮食,人们需要保持手工记录或回忆每天的膳食。为了改进饮食摄入量监测,已经提出了几种基于手势识别、咀嚼和吞咽识别以及基于相机的保存方法。
为了最大限度地实现食品记录保存过程的自动化,建议使用计算机视觉和机器学习方法。将用户移动设备的摄像头与计算机视觉方法相结合的饮食评估系统。
图1.系统评价中包含的基于图像的食物识别系统的出版物的搜索策略
图2.用于膳食评估的基于图像的食物识别系统架构
2、基于图像的食物识别系统
2.1图像描述
最初,用户用他们的移动设备的相机描绘要消费的膳食。移动设备的摄像头会影响食物识别任务的结果,包括镜头、硬件和软件。为了获得更好的识别性能,用户可能必须在照片中包括已知尺寸的参考对象,可能会要求用户绘制食物的边界框等。
2.2分割
用户膳食中卡路里含量的准确评估主要取决于明确定义的食物区域。已经实现了几种用于食品识别的分割方法(图3),图3A是用户餐盘的初始图像,图3B-M分别是基于手动、分层、显著性感知、阈值、聚类、Sobel 算子、颜色/纹理、热聚类、区域、CNN的图像分割。当然,食物图像的分割也有许多挑战。比如缺乏广泛接受的评估指标以及不同的成分混合在一起,无法进行光学分割等问题。
图3.基于图像的食物识别系统中用于食物分割任务的分割方法总结
2.3 特征提取
与正确分类不同食物类别相关的挑战还在于描述各个食物区域的特征/描述符。采用两种主要方法,手工制作的描述符或从 CNN提取的描述符。
手工制作的特征可以进一步分为颜色、质地、大小和形状特征。最常用于特征提取的 CNN是AlexNet、GoogLeNet和 ResNet。
2.4 降维
减少提取的特征向量的维数可以提高膳食摄入监测系统中食物图像的分类结果。使用Bag-Of-Features (BOF) 模型可以极大地提高食品识别任务的分类准确性。当然,也可以采用Fisher Vector或其后代方法、正交匹配追踪 (OMP) 实现降维。
2.5 分类
食物图像的分类很大程度上取决于所使用的描述符。此外,分类器的超参数值影响最终结果。为了获得良好的分类性能,除了考虑一些浅层分类器,用于食品图像分类,还为分类构建了CNN集合(表1)。在许多PAFD中,CNN的表现优于其他浅层分类器。
表1.食物识别系统中用于食物识别任务的分类方法总结
2.6 体积、卡路里和营养素评估
体积、卡路里和营养素估计是 IBFRS 中较少涉及的阶段。在此步骤中影响其实现出色性能的挑战是缺乏适当的注释数据集以及难以从二维图像中获取深度信息。
3、评价指标
IBFRS用于膳食评估的性能是通过几个指标来评估的,例如准确度 (Acc)、精确度(Pr)、召回率(Re)、平均精度(MAP)、F-measure和平均绝对百分比误差( MAPE) 。
4、使用公开可用数据集作为输入的食物识别系统
表2包含使用手工特征和在 PAFD 上测试的浅层分类器的系统。在使用公共数据集作为 IBFRS 饮食评估输入的59项研究中,多数研究使用CNN
表 2. 基于手工特征和食品数据集上的浅层分类器食品识别系统列表
5、支持饮食专业实践的基于图像的食物识别系统
在过去十年中,已开发出超过10,000款用于体重管理和饮食监测的手机应用程序。
IBFRS 的一个最重要应用领域是饮食监测,在医院环境中用于测量患者的食物摄入量,从而明确患者的营养需求是否得到充分满足。运动营养师还使用与饮食相关的移动应用程序来支持运动员获得更好的健康和运动表现。
6、讨论
饮食监测系统可以帮助专家和个人了解人们的饮食习惯和行为,从而改善人们的身体状况,同时降低患饮食相关疾病的风险。
为了优化这些自动化系统的性能,需要公开合适的食品数据集,包括与代谢疾病人群饮食相关的食品数据集。改进当前饮食监测系统的第一步是考虑食物图像之外的其他信息,例如用户的饮食历史、饮食目标、健康/疾病,包括药物摄取、过敏和每种食物的摄取时间等膳食信息,从而个性化饮食监控应用程序。
在下一代移动设备中嵌入更多传感器,可以在体积估计方面改进现有的饮食监测应用。
7、结论
本综述概述了用于降低与饮食相关的慢性病风险的饮食监测系统。饮食监测系统可以分为以下几个阶段:图像描绘、分割、特征提取、降维、分类、体积和卡路里评估。为了优化系统性能,需要构建适当的 PAFD。从评估指标可以看出,食物识别系统已经发展,并且通过使用 CNN 可以提高分割、特征提取和分类性能。
参考文献
Kalliopi V Dalakleidi, Marina Papadelli, Ioannis Kapolos, Konstantinos Papadimitriou, Applying Image-Based Food Recognition Systems On Dietary Assessment: a Systematic Review, Advances in Nutrition, 2022, nmac078, https://doi.org/10.1093/advances/nmac078
微信号|FoodAI
原创文章,作者:ifyoung,如若转载,请注明出处:https://www.drugfoodai.com/img-nutrition.html