CN108140328A - 利用食物图像识别来用于营养分析的***和方法 - Google Patents

利用食物图像识别来用于营养分析的***和方法 Download PDF

Info

Publication number
CN108140328A
CN108140328A CN201680052285.0A CN201680052285A CN108140328A CN 108140328 A CN108140328 A CN 108140328A CN 201680052285 A CN201680052285 A CN 201680052285A CN 108140328 A CN108140328 A CN 108140328A
Authority
CN
China
Prior art keywords
food
image
identification device
food item
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680052285.0A
Other languages
English (en)
Inventor
卡奥纳博·安东尼·奥尔蒂斯
多明戈·梅里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fitley Co
Original Assignee
Fitley Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fitley Co filed Critical Fitley Co
Publication of CN108140328A publication Critical patent/CN108140328A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G19/00—Table service
    • A47G19/02—Plates, dishes or the like
    • A47G19/025—Plates, dishes or the like with means for amusing or giving information to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D25/00—Details of other kinds or types of rigid or semi-rigid containers
    • B65D25/02—Internal fittings
    • B65D25/04—Partitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Nutrition Science (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种用于确定食物项目的营养价值的***和方法。该***和方法利用食物容器作为模型来调整存在于保留有该食物项目的食物容器的即时图像中的各种类型的失真。可将该即时图像可以与食物容器的模型图像进行比较以校正任何的失真。食物容器包括具有预定颜色的边界。该预定颜色的边界可用于调整即时图像的颜色配置，从而提高食物确认的准确性。

Description

利用食物图像识别来用于营养分析的***和方法
相关申请的交叉引用
本申请要求2015年9月9日递交的US专利申请14/848,992的权益。
技术领域
总体来讲，本发明所述的主题涉及饮食管理和营养分析。更具体地，本发明涉及基于食物和食物容器的图像的用于食物识别的计算机视觉技术。
背景技术
营养分析中准确重量信息的缺乏以及食物识别的不准确性会导致低效的饮食管理。目前，存在捕获食物图像来进行营养价值分析的一些手持应用和计算机视觉***。由于常规食物识别方法中存在的许多变化因素，诸如预限定容器、光照、焦距的缺乏，营养分析的准确性非常低。这些现有图像识别技术在评估准确营养数据时表现不佳的原因之一很大程度上归因于它们不能仅从食物的单一图像来获知食物的体积、密度和/或重量。在图像中没有预限定容器的情况下，难以测量体积、密度和重量。由于没有用于参比所需的固定且预限定的容器，故此目前还没有方案能够提供食物项目(food item)的准确确认和重量信息。此外，目前没有方案能够从固定且预限定的容器的组合中来提供准确的确认和重量信息，其中该固定且预限定的容器具有负载传感器来传递食物项目的确切重量。
近来，许多研究表明饮食不良和健康状况之间存在明显的相关性。诸如暴饮暴食、饮食不足和/或食用劣质食物等不良饮食与某些医学病症，如糖尿病、癌症、心脏疾病、高血压、慢性肾病、肥胖等有关。对于试图控制食物消耗品质和习惯的消费者和患者而言，通常难以确认他们正在消耗什么类型的食物以及如何改善他们的饮食习惯和健康状况。对于消费者而言，在每次备餐时都必须满足他们规定的营养需求或饮食方案是麻烦的。
因此，需要一种准确识别正在被消耗食物的类型和食物重量的***和方法，以便于了解每餐中消耗的营养和卡路里。此外，还需要一种能够确认每餐中被消耗的食物的准确的计算机视觉技术***和方法。
发明内容
在一些情况下，本申请的主题可涉及与具体问题相互关联的产品、替代方案，和/或单一***或物品的多种不同用途。
在一个方面中，提供了一种利用经由网络与数据库通信的食物识别装置来确定食物项目的营养价值的***。所述***可包括食物容器、重量传感器、图像捕获装置和食物识别装置。所述食物容器可由在其内的一个或多个分区来构成。所述一个或多个分区可由分隔物勾勒的边界和所述食物容器所形成的***来界定。所述边界可具有与所述食物容器的其它表面不同的预定颜色。此外，食物容器可容纳食物项目并保留该食物项目。
重量传感器可放置在所述食物容器内，且定位成测量由所述一个或多个分区中的每个分区所容纳的食物项目的重量。所述图像捕获装置可捕获所述食物容器的图像。所述食物识别装置可与所述重量传感器和所述图像捕获装置通信。
所述食物识别装置可从所述图像捕获装置获得所述食物容器的图像。所述食物识别装置可进一步通过将图像中的边界与存储在所述数据库中的食物容器参比图像中的边界对齐来校正所述图像的取向。此外，所述食物识别装置可基于所述边界的预定颜色来调整所述图像的颜色。通过所述食物识别装置，基于所述边界可分割所述图像以分离所述一个或多个分区中的每个分区。最后，食物识别装置可通过比较每个分割图像与存储在所述数据库中的食物参比分割图像来确认所述食物项目的类型。本发明提供了经由网络处于食物容器、食物识别装置和/或服务器上的数据库。
在另一方面，提供了使用利用食物识别装置的***的方法。该***经由网络可与数据库通信，并且确定食物项目的营养价值。所述方法可包括以下步骤。
所述方法可开始于由图像捕获装置捕获食物容器的图像。食物容器可具有一个或多个分区，其中，所述一个或多个分区由分隔物勾勒的边界和所述食物容器所形成的***壁来界定。所述边界可具有与所述食物容器的其它表面不同的预定颜色。此外，所述食物容器可容纳食物项目并保留该食物项目。
所述方法接下来可利用食物识别装置从所述图像捕获装置获得食物容器的图像。该图像捕获装置可与食物识别装置通信。所述食物识别装置可进一步从重量传感器获得食物项目的重量，其中，重量传感器可定位成测量由所述一个或多个分区中的每个分区所容纳的食物项目的重量。所述重量传感器可与所述食物识别装置通信。
所述食物识别装置可进一步通过将图像中的边界与存储在所述数据库中的食物容器参比图像中的边界对齐来校正所述图像的取向。所述方法可进一步包括基于所述边界的预定颜色来调整所述图像的颜色，以及基于所述边界来分割所述图像以分离所述一个或多个分区中的每个分区。最后，所述食物识别装置可通过将每个分割图像与存储在所述数据库中的食物参比分割图像进行比较来确认所述食物项目的类型。
附图说明
图1提供了食物识别装置和食物容器在使用中的的示例性实施方式。
图2提供了用于食物图像分离的计算机视觉技术方法的示例性实施方式。
图3提供了用于确定食物项目营养价值的***的示例性实施方式。
图4提供了本发明的计算机视觉技术的示例性实施方式的流程图。
图5提供了图像矫正过程的流程图。
图6A提供了食物项目分离过程的示例性实施方式。
图6B提供了食物项目分离过程的另一示例性实施方式。
图7A提供了食物项目确认过程的示例性实施方式。
图7B提供了食物项目确认过程的另一示例性实施方式。
图8提供了可用于参比以矫正即时图像的预定结构特性的示意图。
图9提供了由食物识别装置作为独立装置来确定食物项目营养价值的***的示例性实施方式。
具体实施方式
以下结合附图进行的详细描述旨在作为本发明当前优选的实施方式的描述，而并不代表可以构成和/或利用本发明的唯一形式。结合所示实施方式，该描述阐述了构成和运行本发明的功能和步骤顺序。
在涉及说明书时，对具体细节进行阐述以便于提供对所公开的实施例的充分理解。在其它情况下，为避免本发明冗余，并未详细地描述公知的方法、程序、组件和材料。
应当理解的是，如果在本文中元件或部件与另一元件或部件描述为“在……上(on)”、抵靠(against)”、“与……通信(in communication with)”、“连接至”、“附接至”或者“耦合到”时，则该元件或部件可直接在另一元件或部件上，与另一元件或部件抵靠、通信、连接、附接或者耦合，或者两者之间可存在中间元件或部件。当使用术语“和/或”时，包括相关列出项目中的任一个或一个或多个的所有组合，如果提供的话。
本文中所使用的专业术语仅用于描述具体实施方式的目的，而不旨在限制。如本文所使用的，除非上下文另外明确指出，否则单数形式“一(a)”、“一(an)”和“该(the)”也旨在包括复数形式。应当进一步理解的是，当在本说明书中使用时，术语“包括(include)”和/或“包括(including)”表示所描述的特征、整数、步骤、操作、元件和/或组件的存在，但是并不排除未明确陈述的一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组的存在或添加。
各种操作可以以有助于理解实施方式的方式依次描述多个离散的操作；但是，所描述的次序不应当构成暗示这些操作依赖于这些次序。
在本文中所使用的空间相对术语，诸如“之下(under)”、“在……之下(beneath)”、“下方(below)”、“低于(lower)”、“上方(above)”、“之上(upper)”、“近端(proximal)”、“远端(distal)”等用于便于描述和/或说明一个元件或特征与另一元件或特征的关系，如在各个图中所示。然而，应当理解的是，除了在附图中所描绘的取向之外，空间相对术语旨在涵盖在使用或操作中装置的不同取向。例如，如果附图中的装置翻转，则描述为其它元件或特征下方或在其它元件或特征之下的元件可取向为其它元件或特征的“上方”。因此，相对空间术语诸如“下方”可涵盖上方和下方的取向。该装置可以以其它取向(旋转90度或者处于其它取向)，并且本文中所使用空间相对叙述语可相应地解释。类似地，在适用的情况下，相对空间术语“近端”和“远端”也可互换。这种描述仅用于有助于讨论而不用于限制所公开的实施方式的应用。
本文中所使用的术语第一、第二、第三等用于描述各个元件、组件、区域、部件和/或部分。应当理解的是，这些元件、组件、区域、部件和/或部分并不受这些术语的限制。这些术语仅用于区别一个元件、组件、区域、部件和/或部分与另一元件、组件、区域、部件和/或部分。因此，在不背离本文教导的情况下，下文讨论的第一元件、组件、区域、部件和/或部分可被称为第二元件、组件、区域、部件和/或部分。
本发明的一些实施方式可在计算机***上实施，该计算机***通常包括：用于处理信息和指令的一个或多个处理器；用于存储信息和指令的RAM；用于存储静态信息和指令的ROM；数据库，诸如磁盘或光盘的用于存储信息和指令的硬盘驱动器；在处理器上执行的作为软件单元的模块；可选的用于为计算机用户显示屏幕信息的用户输出装置，诸如显示屏设备(例如监视器)；以及可选的用户输入装置。
如本领域技术人员将理解的，本文的实施例可至少部分地呈现为其中储存有计算机可用程序代码的任何有形的表达介质中的计算机程序产品。例如，下文参照方法、装置(***)和计算机程序产品的流程图和/或框图和计算机程序产品描述的一些实施方式可以通过计算机程序指令来实现。计算机程序指令可存储在计算机可读介质中，该计算机可读介质可指导计算机或其它可编程数据处理设备以特定的方式发挥功能，从而存储在计算机可读介质中的指令构成实施流程图和/或框图中限定的功能/动作/步骤的包括指令和过程的工业产品(article of manufacture)。这些计算机程序指令可提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以形成装置，从而经由计算机的处理器或其它可编程数据处理设备执行的指令创建用于实施在流程图和/或框图的一个或多个框中限定的功能/动作的方式。
在下文的描述中，参考了所附附图，其中所述附图示出了实施本发明的实施方式。然而，应当理解的是，在不背离本发明的新颖性和范围的情况下，本领域技术人员可进行其他结构和功能性改动。
通常来讲，本发明涉及一种基于食物识别方法来确定食物项目营养价值的***。本发明利用预限定的食物容器作为模型参比与放置在食物容器中的用于食物项目重量测量的重量传感器的结合。可捕获其中容纳由食物的食物容器的图像。该图像包括预限定的食物容器，其提供了与预限定值，诸如颜色、形状、取向、尺寸、光泽等的参比。可使该图像变换以匹配源自于参比食物容器的预限定的参比值，从而校正透视失真、颜色饱和度、光照、尺寸和取向。容器的分隔物可用于分割该容器的分区，从而独立地鉴别由食物容器的每个分区保留的每个食物项目。预限定的参比食物容器通过提供由参比食物容器的预限定参比值推导的食物项目的准确图像数据来改善了食物确认的准确性。
本发明的食物识别方法涉及计算机视觉技术。本发明的食物容器可具有某种可确认的结构和/或视觉特性，其在处理其内放置有含食物项目的食物容器图像时可提供作为参比。食物容器可具有结构特性和视觉特性，诸如分隔物、分区、边界、颜色和图案。通过使食物容器用作模型参比，食物图像的处理可被精简以提供对食物类型更准确的确认。涉及食物容器的计算机视觉技术方法可包括基于模型食物容器的已知结构特性和/或视觉特性的图像矫正、图像分割和食物确认步骤。
基于食物识别方法的用于确定食物项目营养价值的***可包括彼此通信、一起工作以进行***不同功能的一个或多个计算机或计算机化元件。在此所设想的本发明可进一步包括非暂时性计算机可读介质，其配置为指示计算机或多个计算机执行本***和方法的步骤和功能，如本文所述。在一些实施方式中，一个或多个计算机或者一个或多个处理器之间的通信可支持多种加密/解密方法以及多种类型数据的机制。
该***可包括设置在一个或多个计算装置中的彼此联网通信的计算机化用户界面。在此所设想的计算机化用户界面的计算机和多个计算机可包括存储器、处理器以及输入/输出***。在一些实施方式中，计算机可进一步包括联网连接和/或显示屏。这些计算机化元件可在网络中一起工作以向计算机化用户界面提供功能。该计算机化用户界面可为本领域中已知的能够允许用户输入数据且接收反馈的任何类型的计算机化界面。该计算机化用户界面可进一步提供由本文所设想的***执行的输出。
本文所设想的数据库和数据可为采用任何协议(UDP、TCP等)上的任何连接类型(串行、以太网等)的形式，包括但不限于XML、JSON、CSV、二进制。
本文所设想的计算机或计算装置包括但不限于虚拟***、云***/远程***、台式计算机、便携计算机、平板电脑、手持式计算机、智能手机和其它蜂窝电话，及类似的具有互联网功能的移动设备，数码相机，配置用于特定执行本发明中所提出的方法的定制计算装置等。
本文中所设想的网络可包括例如以下项中的一种或多种，互联网(Internet)、广域网(WAN)、局域网(LAN)、模拟或数字有线和无限电话网络(例如PSTN、综合业务数字网络(ISDN)、蜂窝网络和数字用户线路(xDSL))、无线电、电视、电报、卫星和/或用于传输数据的其它传递或隧道机制。网络可包括多个网络或子网，网络或子网中的每个可包括例如有线或无线数据通路。网络可包括电路交换语音网络、分组交换数据网络或者能够传输电子通信的任何其它网络。实例包括但不限于：基于互联网协议(IP)的图片传输协议(PTP)、基于蓝牙的IP、基于WiFi的IP以及基于IP网络的PTP(PTP/IP)。
本文所设想的重量传感器可以以各种方式测量食物项目的重量，其可包括但不限于，电阻应变仪、力敏电阻器、光电重量传感器、液压重量传感器、气动重量传感器等。
本文中所设想的图像捕获装置可包括但不限于：各种类型的照相机，诸如DSLR、非SLR数字照相机(例如，但不限于紧凑型数码相机和SLR类型的桥式数字照相机(也称为高级数码相机)和SLR类型可更换镜头数码相机)以及录像机(例如，但不限于摄像机、模拟相机和IP相机等；能够提供任何持续时间的视频的装置，诸如DVR；具有照相机的便携计算装置，诸如平板电脑、便携式计算机、智能手机)等。
本文所设想的图像文件可为能够被计算机或计算装置解读的任何数字图像格式。本文所设想的图像文件的实例包括但不限于JPEG、GIF、TIFF、PNG、Bitmap、RAW、PNM、WEBP等。
提供用于确定食物项目营养价值的***和方法。该***可包括食物容器、重量传感器、图像捕获装置、数据库和食物识别装置。***的组件在联网的***环境中可彼此通信。该食物容器可包括一个或多个处理器和存储器并能够与***的组件电子通信。***的这些组件中的每个可进一步装配各种类型的收发器和/或其它通信装置，以彼此接收和发送数据。
食物容器可形成一个或多个分区，其中，该一个或多个分区中的每个分区接收和/或保留待被用户消耗的食物项目。该一个或多个分区可通过食物容器的一个或多个分区勾勒的边界来界定。该一个或多个分区可由所述食物容器所形成的***和分隔物来划分。该一个或多个分区可被重新定位以调整该一个或多个分区中每个分区的配置和/或尺寸。
该食物容器可具有预定的结构特性，从而在食物确认和营养价值确定的过程中，可使用预定结构特性作为结构模型/参比。下文的描述将进一步讨论食物容器的结构特性的利用。
在一个实施方式中，食物容器可具有通过边界限定的一个或多个分区的预定布置。该一个或多个分区可以特定的方法布置和设计以提供为结构模型。因此，一个或多个分区的布置以及他们设计可进一步用在食物识别和计算机视觉技术中。例如，食物容器可为在其中形成有三个分区的板状物。三个分区中的每个可具有不同的尺寸并且形状上可以以它们的尺寸顺序顺时针方向布置。该已知的布置取向可用在本文所述的计算机视觉技术和食物识别方法中。
在另一实施方式中，食物容器可进一步分配有预定的结构特性，诸如形状、取向、设计、尺寸、规模、重量等。食物容器的这些以及其它结构特性对于本领域普通技术人员都将是显而易见的。
在又一实施方式中，食物容器的预定结构特性可包括视觉特性，例如颜色。食物容器可具有一种或多种颜色，界定该一个或多个分区以及食物容器的其它表面。食物容器的主体和分隔物可具有预定的颜色。在一些实施方式中，边界可具有勾勒该食物容器的一个或多个分区的可辨别的预定颜色。该预定颜色可分配颜色值，诸如RGB(红绿蓝)值。边界的预定颜色可不同于食物容器的其它表面，从而边界与一个或多个分区的周围表面轮廓分明或明显。边界的预定颜色可清楚地勾勒并限定一个或多个分区，从而边界不与食物容器的其它表面发生轮廓混合。由此，在食物容器的图像中可被清楚地看到勾勒食物容器的***壁和分隔物的边界。
在一些实施方式中，边界可用各种线条图案(例如，虚线、点线等)，或者用其它视觉上不同的图案来勾勒。与边界的预定颜色相似，这些线条图案清楚地区别边界和食物容器的其它表面。
在一些实施方式中，边界可具有与食物容器的其它表面相似和/或相同的颜色。边界可以是待用作参比的预定结构特性之一。食物容器的预定结构特性可包括边界的位置、尺寸、取向、形状等的任意组合。
食物项目可为任何的形式，包括但不限于液体、固体、粉末、气体等。
食物容器可包括多个重量传感器。该多个重量传感器中的每个可分别定位成测量由食物容器构成的一个或多个分区的每个分区保留且容纳的食物项目的重量。该多个重量传感器经由网络可与一个或多个处理器(诸如食物识别装)置电通信。根据本发明，通过多个重量传感器中的每个重量传感器测量的重量可被传输至食物识别装置的一个或多个处理器以用于进一步评估和处理食物项目。
在一些实施方式中，食物容器可包括单个重量传感器，测量放置在一个或多个分区中的食物项目的重量。可通过该单一重量传感器累计地称重由一个或多个分区中的每个分区保留的食物项目。类似地，该食物容器可包括单一分区和单一重量传感器以测量由该单一分区保留的食物项目的重量。
在一些实施方式中，随着重新布置多个分区的配置，可重新定位多个重量传感器。
在一些实施方式中，可组合由多个重量传感器测量的重量以确定由一个或多个分区保留的食物项目的总重量。
该一个或多个分区中的每个分区可以是模块化的。在一些实施方式中，食物容器可包括基底以及可拆卸地组装的一个或多个分区。该一个或多个分区中的每个分区可拆卸地装配至该基底。在该实施方式中，该一个或多个分区中的每个分区可独立地设计成各种形状并且设计为可互换的。该一个或多个分区可为可拆卸地装配至该基底的单一单元。该单元可包括各种数量的分区、设计和形状。基底可包括重量传感器以及本文所述的食物容器的任何其它部件。
在一些实施方式中，用于确定食物项目的营养价值的***中的食物容器可为微波安全的和/或洗碗机安全的。在一些实施方式中，可包括重量传感器和食物容器的任何其它电子组件的基底可从一个或多个分区中拆除。一个或多个分区的模块化特性可用于使食物容器用在微波炉和/或洗碗机中。该一个或多个分区则可用在微波炉和/或洗碗机中。
该***可进一步包括图像捕获装置，用于拍摄含食物项目的食物容器的图像。由图像捕获装置拍摄的图像可通过食物识别装置来分析以确认由一个或多个分区所保留的食物项目的类型。由图像捕获装置所得到的图像可被传送到食物识别装置的一个或多个处理器以确定由一个或多个分区所保留的食物项目的类型。
在一些实施方式中，图像捕获装置可以包括硬件和安装的软件的独立且专用的装置来实施，其中，硬件密切匹配与软件的需要和/或功能。
在一些实施方式中，图像捕获装置可安装在食物识别装置上或与食物识别装置集成。可能存在多个图像捕获装置，该多个图像捕获装置的每个定位成拍摄放置在一个或多个分区的每个食物项目的图像。
用于确定食物项目的营养价值的***可进一步包括表面传感器。表面传感器可定位成分析由一个或多个分区保留的食物项目的组成。表面传感器可以以各种方式确认食物项目的组成。举例来讲，表面传感器可为表面等离子体共振(Surface Plasmon Resonance，SPR)。SPR可确认食物项目的类型、食物项目的准备状态以及食物项目的任何额外的烹饪成分。作为另外的实例，表面传感器可为能够检测食物项目表面的农药、过敏原、化学组合物、病原体等的光谱仪。该光谱仪通过分析光谱可确认食物项目的类型、准备状态以及额外的烹饪成分。基于食物项目的组成，一个或多个处理器可确认食物项目的类型、准备状态以及额外的烹饪成分。在一些实施方式中，表面传感器可安装在食物识别装置上或与食物识别装置集成。
在另一实施方式中，***可进一步包括检测食物项目温度的温度测量装置。食物项目的类型和/或准备状态可基于通过温度测量装置确认的温度来确定。在一些实施方式中，食物项目的温度可通过热传感器来检测。
根据由图像捕获装置拍摄的内含食物项目的食物容器的图像以及食物容器的预定结构特性，食物识别装置可确认放置在食物容器的一个或多个分区中的食物项目的类型。食物识别装置可包括一个或多个处理器和存储器。此外，食物识别装置经由网络可与数据库通信。食物识别装置可包括本领域、相关领域各种用于通信装置和用户计算装置中现有的或后续开发的一个或多个处理器和各种类型的存储器和存储装置。
如本文所述，用于确定食物项目营养价值的***可以实现为服务器。该服务器可以以各种计算装置，包括例如通用计算设备、多个联网服务器(布置在集群中，或者作为服务器群)、大型机等来实施。服务器可安装、集成或可操作地与食物识别装置相关联，其可配置为确定食物的营养价值。服务器可在其数据库中存储各种数据。
在一个实施方式中，食物识别装置可以以包括硬件和安装的软件的独立且专用的装置来实现，其中，硬件密切匹配与软件的需要和/或功能。
在另一实施方式中，食物识别装置可安装在配置用于在***的组件中建立网络的网络设备上或与配置用于在***的组件中建立网络的网络设备集成。一个或多个食物识别装置和网络设备可能够运行或提供接口以协助食物容器、重量传感器、图像捕获装置和食物识别装置中软件指令和数据的交换。在一些实施方式中，网络设备可预先配置或动态配置为包括集成有其它装置的食物识别装置。
在又一实施方式中，食物识别装置可安装在服务器上或与服务器集成。例如，食物识别装置可以与和***的网络连接的服务器或其它计算设备集成。服务器可包括能够将服务器引入到网络设备的模块，从而使网络设备能够作为服务调用食物识别装置。网络设备的实例包括但不限于DSL调制解调器、无线接入点、路由器、基站和具有预定计算能力和足以执行食物识别装置的存储能力的网关。
在另一实施方式中，食物识别装置可安装于一个或多个装置，诸如图像捕获装置上或与该一个或多个装置集成。食物识别装置可为装配有能够提供食物识别装置功能的图像捕获装置的各种任意计算装置。例如，在***中可执行集成有照相机的智能手机或平板来发挥本文公开的图像捕获装置和食物识别装置的功能。
在另一实施方式中，食物识别装置可以与任何数目的装置以分散方式集成，如集成或安装在图像捕获装置、食物容器和食物识别装置上。
食物识别装置可在硬件或者硬件和软件的恰当组合中来执行。在一些实施方式中，食物识别装置可为包括执行用于分析数据的机器可读程序指令的处理器的硬件装置，并且上述处理器与食物容器和图像捕获装置交互。“硬件”可包括分离组件、集成电路、专用集成电路、现场可编程门阵列、数字信号处理器或其它合适硬件的组合。“软件”可包括一个或多个对象、代理、线程、代码行、子例程、独立软件应用、两行或更多行代码或者运行在一个或多个软件应用或一个或多个处理器的其它合适的软件结构。处理器可包括例如，微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令的操纵信号的任意装置。除了其它能力之外，处理器可配置为在与食物识别装置相关的存储器中获取并执行计算机可读指令，以执行诸如信号编码、数据处理输入/输出处理、功率控制和/或其它功能的任务。食物识别装置可包括作为处理器上执行的软件单元的模块。
在一些实施方式中，食物识别装置可包括全部或部分的单独工作的软件应用程序或者与一个或多个硬件资源结合工作的软件应用程序。这样的软件应用程序可通过不同硬件平台上处理器来执行，或者在虚拟环境中来模拟。食物识别装置的各个方面可利用已知的相关技术或后续开发的现成软件。其它实施方式可包括与移动交换中心、网络网关***、互联网接入节点、应用服务器、IMS核心、服务节点或一些其它通信***(包括它们的组合)集成或通信的食物识别装置。在一些实施方式中，食物识别装置可与可穿戴装置集成或以可穿戴装置来实施，上述可穿戴装置包括但不限于时尚配件(例如，腕带、戒指、手表等)、实用装置(手持接力棒、笔、雨伞、手表等)、身体衣服或它们的任意组合。
食物识别装置可包括一种或多种已知的相关技术或后续开发界面，包括软件界面(例如，应用程序编程界面，用户图像界面等)；硬件接口(例如，电缆连接器、键盘、读卡器、条形码读取器、生物测量扫描仪、麦克风、照相机、交互式显示器等)；或者上述两者。
本文所述的***和方法可确定放置在食物容器中的食物项目的营养价值。为了开始确定食物项目的营养价值的方法，食物识别装置可进一步采用计算机视觉技术以识别由图像捕获装置拍摄的食物容器的图像。实质上，用于确定食物项目的营养价值的方法包括图形采集、图像矫正、图像分割、食品确认以及营养价值确定。
食物识别装置经由网络获得来自图像捕获装置的含食物项目的食物容器的图像(下文称为即时图像)。此外，食物识别装置可获得由包括在食物容器中的重量传感器测量的食物项目的重量。从而，通过食物识别装置确认即时图像及其重量。
与食物识别装置通信的数据库可存储关于食物容器的预定结构特性和视觉特性(例如，颜色)的信息。此外，数据库可存储食物容器参比图像作为模型以与从图形捕获装置得到即时图像进行比较。用户可利用图像捕获装置拍摄由一个或多个分区来内含食物项目的食物容器的图像。食物容器参比图像可为没有任何图形失真或颜色失真的食物容器的图像。在一些实施方式中，食物容器参比图像可由俯视来获取，从而提供二维图像。
食物容器的即时图像可与食物容器参比图像进行比较，以矫正即时图像。当用户利用各种可用的图像捕获装置捕获食物容器的图像时，图像可包括图像失真或颜色失真。食物容器的预定结构特性和视觉特性可与即时图像的结构和视觉特性进行比较。
在一个实施方式中，可以将即时图像的一个或多个分区的布置与食物容器参比图像进行比较，以校正由图像捕获装置拍摄的即时图像中食物容器的取向。在一些实施方式中，食物容器参比图像可直接与即时图像逐像素地进行比较以确认任何图像失真。已知食物容器的预定结构特性，如果存在的即时图像的图像失真则可以调整。在一些实施方式中，分隔物的边界可用于校正食物容器的即时图像的取向。图像的边界可与食物容器参比图像的边界进行比较以确认由图像捕获装置拍摄的食物容器的即时图像中存在的任何图像失真(取向失真)。例如，可以以一定的顺序布置一个或多个分区。根据从食物容器参比图像已知的一个或多个分区的取向，可旋转食物容器的即时图像，从而调整该即时图像的取向。食物容器的分隔物、***壁和边界可用于校正即时图像中食物容器取向中的这种失真。
在一些实施方式中，食物容器可印有标记以标示食物容器的正确取向。该标记可印在食物容器的预定位置处，从而可参照该标记的预定位置来调整即时图像的取向。该标记可为任何符号、字母等。该标记还可具有预定颜色以有助于即时图像的颜色调整。标记的预定颜色可用作参比以调整即时图像的颜色配置。在优选的实施方式中，食物容器的边界可用作本文所述的标记。
通过食物识别装置提供的方法可进一步包括：将食物容器的即时图像校正为规范视图。规范试图可通过食物容器参比图像来设定。为了确认放置在一个或多个分区中的食物项目的类型，可能需要校正即时图像中的图像失真。图像失真的实例可包括但不限于，缩放失真、旋转失真、投影失真和桶形失真。通过采用变换来补偿图像失真可得到规范视图。该变换可为几何变换。
在一个实施方式中，变换可通过将即时图像中食物容器的尺寸和形状与食物容器参比图像的尺寸和形状进行比较来确认。可通过由即时图像确认的边界和由食物容器参比图像确认的边界之间来进行该比较。如此，可通过将即时图像的食物容器和食物容器参比图像的食物容器边界进行比较来确认该变换。该比较也可在即时图像中食物容器的任何结构特性与食物容器的预定结构特性之间来进行。举例而言，可比较图像的分辨率。类似地，图像的分辨率可转换为实际尺寸，诸如通过确定像素-毫米的转换。作为另一实例，两个图像(即时图像和食物容器参比图像)的尺寸可能由于在图像捕获瞬间图像捕获单元与食物容器之间距离的变化而不同。可参照食物容器参比图像中食物容器的尺寸来调整即时图像的尺寸。类似地，通过由食物容器参比图像来确认食物容器的预定尺寸可调整各种类型的图像捕获装置和所得图像之间不同的焦距。
在另一实施方式中，可通过鉴定食物容器上的至少两个标记来确认该变换。食物容器可具有印在食物容器表面上可用作参比点的标记、图案等。在食物容器的即时图像中可确认标记的二维坐标。标记可分配有预定的二维坐标，从而即时图像中标记的二维坐标可与预定二维坐标进行比较以确认变换。可通过确认即时图像与食物容器参比图像之间两个标记的位置中的差异来调整即时图像。可通过在二维空间内调整即时图像补偿该差异。例如，可根据x轴，y轴，两个标记之间的距离，两个标记之间的角度等来进行该调整。类似地，可比较即时图像中标记的位置与食物容器参比图像中标记的位置以确认能够校正任何图像失真的变换。一经比较，如果即时图像有任何的失真，则可通过使即时图像的两个标记与食物容器参比图像中的两个标记匹配来进行调整。
在又一实施方式中，食物容器可印有单一标记。可利用该单一标记的取向来确定任何的三维旋转失真，也即笛卡尔坐标系中的俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)。数据库可包括提供作为模型的没有任何三维失真的标记图像。类似地，食物容器参比图像的边界可用作无三维失真的模型。可将食物容器参比图像和即时图像的边界进行比较以确定任认的三维失真(三个轴中任一个的旋转)。如果确认了任意的三维失真，则可计算变换以补偿这种失真。在该实施方式中，变换可表示在三维笛卡尔坐标系中沿x-y-z轴角度中的三维失真以及由于图像捕获装置与食物容器之间距离变化而导致的即时图像尺寸的失真。该变换可应用至即时图像以去除任何的三维失真。
可基于食物容器的预定颜色来调整食物容器的即时图像的颜色配置。在一个实施方式中，可将具有分配的RGB值的边界的预定颜色与即时图像中边界的颜色进行比较。如果确定了任何的差异，则可调整图像的颜色配置。颜色配置可包括颜色饱和度、光线变化、对比度、亮度等。即时图像的颜色配置可与边界的预定颜色的分配的RGB值相匹配。
在另一实施方式中，通过调整由图像捕获装置拍摄的即时图像的颜色配置，可以以相似的方式利用食物容器的其它表面的预定颜色来校正任何的颜色失真。与利用边界的预定颜色的上述实施方式相似，食物容器的其它表面可分配有预定颜色的RGB值，其可用作参比以调整即时图像的颜色配置来匹配食物容器参比图像的颜色配置。
在又一实施方式中，可以以相似的方式利用印在食物容器上的标记的预定颜色来调整由图像捕获装置拍摄的即时图像的颜色配置。
可基于一个或多个分区来分割内含食物项目的食物容器的即时图像。可利用食物容器的边界来分离食物容器的一个或多个分区中的每个分区。此外，即时图像中的食物项目可通过食物容器来分离。
可消除即时图像中的背景。即时图像可包括内含食物项目的食物容器以及表示食物容器周围环境的背景。例如，即时图像可包括食物容器和食物容器放置其上的桌子。在一些实施方式中，通过分析食物容器和背景之间的颜色差异来消除即时图像中的背景。通过逐像素地分析即时图像可确认颜色差异。在该实施方式中，可利用食物容器的预定颜色来确定属于食物容器的像素和属于背景的像素。在一些实施方式中，基于边界可消除即时图像中的背景。边界的颜色可不同于背景，使得边界与即时图像中的背景形成轮廓分明地对比图或明显不同。如此，通过消除即时图像中表示背景的部分，例如即时图像中边界外的部分来消除即时图像中的背景。
在一些实施方式中，基于边界的预定结构特性可消除即时图像中的背景。边界可为用作参比的预定结构特性之一。食物容器的预定结构特性可包括边界的位置、尺寸、取向、形状等的任何组合。边界的预定结构特性可用于确定即时图像中边界的位置和轮廓，从而去除即时图像中边界外的部分。
在一些实施方式中，通过将食物容器参比图像与食物容器的即时图像的边界对齐来进行即时图像的分割。在去除了图像失真的情况下，可对齐两个图像(即时图像和食物容器参比图像)以分割出一个或多个分区。在一些实施方式中，可对齐食物容器的***壁勾勒出的边界以共同地分割一个或多个分区。在一些实施方式中，可对齐分隔物勾勒出的边界以独立地分割一个或多个分区。包括食物容器的***壁勾勒的边界的样板(template)图像可存储在数据库中。类似地，包括分隔物勾勒的边界的样板图像可通过数据库来存储。这两种样板可选择性地、独立地和/或共同地与即时图像对齐以分割并分离一个或多个分区。
可分析即时图像的食物容器内的颜色(例如，逐像素地)以确定并分离食物容器的即时图像内的食物项目。在一些实施方式中，可分析即时图像中分割的一个或多个分区中的每个分区以确定并分离该一个或多个分区中每个分区内的食物项目。可分析一个或多个分区中每个分区的颜色(例如，逐像素地)以分离即时图像内的食物容器内的食物项目。可消除即时图像中不表示食物项目的像素，从而进一步分离该分割的一个或多个分区以得到只有食物项目的图像。类似地，在一些实施方式中，可确定并分离即时图像内的食物项目，而无需进行上述分割过程。
在一个实施方式中，食物识别装置可收集来自经矫正且分割的即时图像的食物项目特征的信息以确认食物项目的类型。食物项目的特征可包括视觉元素，诸如体积、纹理、颜色、光谱、形状等。食物项目的特征还可包括非视觉元素，诸如温度、化学组成等。基于从食物项目的即时图像接收到的信息，食物识别装置可确认由一个或多个分区中的每个分区所保留的食物项目的类型。在一些实施方式中，可将由即时图像确定的食物项目的特征与数据库进行比较以确定所匹配的食物类型。数据库可存储表示相应食物项目的预期特征。数据库可存储各种类型的食物项目以及它们的特征。食物识别装置可与数据库通信，其中，各种类型的食物项目可链接至从该各种类型的食物项目所预期的相应特征。举例来讲，可使视觉特征，诸如草莓的颜色、形状和纹理与即时图像的食物项目的视觉特征匹配以确认即时图像中的食物项目为草莓。在该实施例中，草莓的视觉特征(诸如红色、三角形以及多孔)可表示食物项目的类型。
从各种类型食物项目中的每种食物项目所预期的相应特征可存储在数据库中。该数据库可通过机器学习过程来建立。各种食物项目的特征可通过从模型食物项目的图像采集相应特征来收集。可测试模型食物项目以及它们相应的特征来验证对于每种模型的食物项目是否已经收集了足够的相应特征，以基于该食物项目的特征来识别食物项目的类型。当用户每次利用本文公开的食物容器来由***确定食物项目的类型时，数据库进一步更新。在一些实施方式中，在任意开始使用该***之前，可收集从各种食物项目中每种食物项目所预期的相应特征并呈现给数据库。
在另一实施方式中，从即时图像的食物项目预期的特征可与数据库中存储的食物参比分割图像的食物项目所提取的特征进行比较。数据库可包括食物参比分割图像，其为没有任何上述颜色失真、结构失真和/或视觉失真的食物项目图像(模型食物项目)。可以从每种食物类型的食物参比分割图像来提取特征，并且存储在数据库中以用于参比，来确认即时图像中的食物项目类型。
在又一实施方式中，食物识别装置可与数据库通信，其中数据库存储食物项目的图像用作参比(例如，食物参比分割图像)，其可与即时图像进行比较以确定食物项目的类型。例如，可逐像素地比较即时图像和数据库中食物项目图像以确定即时图像中食物项目的类型。可分析即时图像与数据库中食物项目的图像之间的相似度以确定匹配度。在分析两个图像之间的相似度时可使用阈值，从而当相似度高于阈值时，则食物识别装置可确认它们为匹配。
食物项目可为多种成分的混合物。在该实施方式中，通过独立地确认食物项目的多种成分中的每种成分以及共同地确定食物项目中的所有特征来确定食物项目的类型。食物识别装置可与存储链接食物项目匹配类型的各种成分信息的数据库相通信。举例而言，面食盘(pasta dish)通常包括多种成分。通过分析包括各种成分的面食盘的图像，一个或多个处理器可确定出食物容器保留的食物项目为由即时图像确定的各种成分制成的面食盘，例如肉丸和意大利面(spaghetti)。
在一些实施方式中，如上所述可由各种计算机视觉技术来确认额外的烹饪成分。基于食物项目的提取特征，食物识别装置可确认的额外的烹饪成分，诸如油和调味料。额外的烹饪成分的特征和/或图像可由数据库来存储。例如，食物容器可容纳面食盘作为食物项目，其可装饰有荷兰芹。食物识别装置可确认食物项目为面食盘，此外可以将装饰的荷兰芹确认为额外的烹饪成分。确认额外的烹饪成分的特征可能对于特定食物类过敏的那些人是至关重要的。
在又一实施方式中，可进一步处理通过食物识别装置得到的信息以确认食物项目的准备状态。一经烹饪，食物项目的成分会改变其体积、纹理、光谱、化学组成、颜色、形状、温度等。基于即时图像和/或提取自食物项目的特征，可确定食物项目的准备状态。举例而言，当食物项目被烹饪时，食物项目的颜色会发生变化。通过从即时图像识别食物项目的颜色，可确认食物项目的准备状态。表示各种食物项目的准备状态的特征和/或图像可存储在数据库中。
根据从食物容器的即时图像识别的食物项目类型以及通过重量传感器测量的食物项目重量，食物识别装置可确定放置在食物容器的一个或多个分区中的食物项目的营养价值。
在一个实施方式中，数据库可存储营养价值转化信息，该营养价值转换信息可表示每单位重量的各种类型食物项目的营养价值。如此，基于即时图像中食物项目的重量和类型，可确定食物项目的营养价值。营养价值可包括但不限于，卡路里、维生素、钠含量、脂肪含量、碳水化合物等。
在另一实施方式中，食物项目可为多种成分的混合物。在该实施方式中，食物项目的营养价值可基于各种成分的重量和类型来共同或分别地确定。在一些实施方式中，食物识别装置可与存储各种类型混合食物项目的营养价值的数据库通信。一旦识别了由多种成分的混合物制成的食物项目的类型，则可基于混合食物项目的类型和重量来确定营养价值。
在一些实施方式中，可独立地确认多种成分混合物中的成分以确定食物项目的营养价值。
在一些实施方式中，可确认多种成分混合物中成分的分布比率(spatial ratio)，以确定混合食物项目的营养价值。分布比率表示在混合食物项目中多种成分中每种的组成。数据库可存储分布比率-类型的信息，其中各种类型的混合食物项目可分配有预定的分布比率。一旦识别了这种混合食物项目的类型，则可利用分布比率-类型信息来找到成分的分布比率，随后确定每种成分的营养价值。在一些实施方式中，混合食物项目的分布比率可通过分析即时图像来确认。混合食物项目的成分可通过分析即时图像来独立地识别。例如，可逐像素地分析即时图像的分离食物以确定混合食物项目中成分间的分布比率。
食物识别装置可进一步确定放置在一个或多个分区中的食物项目的体积。基于即时图像中食物项目的类型和重量，可估算体积。数据库可存储类型-密度信息，其蕴含各种食物类型的密度。在已知重量和已知密度的情况下，可推导出食物项目的体积。基于食物项目的推导体积及其类型，可确定食物项目的营养价值。在一些实施方式中，食物项目的体积可能近似于食物项目的表面积(例如，食物项目占据即时图像的像素数)。在一些实施方式中，食物项目的体积可基于在不同角度拍摄的同一食物容器的两个或更多个即时图像来确认。体积可基于两个或更多个即时图像通过食物项目的三维体积的三角测量来近似。
食物识别装置可进一步与计算机化用户界面通信以供用户交互并控制食物识别装置、***以及其组件的运行。计算机化用户界面可显示源自***组件的任意输入和输出。通过食物识别装置的一个或多个处理器处理的数据可通过计算机化用户界面来显示。
在一个实施方式中，计算机化用户界面通过显示器可指示食物项目的重量。可显示通过重量传感器测量的重量。
在另一实施方式中，计算机化用户界面可显示基于由即时图像的食物图像得到的信息通过食物识别装置确定的食物项目的类型。
在又一实施方式中，计算机化用户界面可显示基于由即时图像的食物项目图像得到信息由食物识别装置确定的食物项目的准备状态。
在又一实施方式中，计算机化用户界面可显示食物项目的营养价值。食物识别装置基于由重量传感器和即时图像得到的信息可确定食物项目的营养价值。基于食物识别装置确认的准备状态，通过食物识别装置可进一步确定营养价值。
计算机化用户界面可配置为接收来自用户的输入。计算机化用户界面可接收来自用户关于它们饮食需求的输入，诸如健康状况、食物过敏信息等。接收自用户的输入可进一步与食物识别装置通信以进一步评估和监控食物项目的营养价值和用户的饮食习惯。饮食习惯可包括用户消耗食物项目的速度；用户消耗某一类食物项目的频率；用户每次摄入或在用食期间消耗的食物项目的量等。可监控饮食习惯以确认任何的饮食模式和行为。基于用户输入，食物识别装置可提供适用于用户的推荐膳食计划。用户输入可为任何形式，包括但不限于，文本输入、语音输入等。可基于用户的医疗状况来修改推荐膳食计划，该医疗状况可由通过食物识别装置从用户处接收或者接收自与该食物识别装置通信的外部装置。
用户可通过计算机化用户界面提供关于消耗的任何食物项目的信息，而无需使用食物容器。利用计算机化用户界面，用户可手动地输入卡路里或任何其它营养信息。
现参照图1，图1示出了食物识别装置和食物容器在使用中的示例性实施方式。在该实施方式100中，图像捕获装置可与食物识别装置101集成在一起。食物识别装置101可放置为拍摄内含三种不同类型食物项目105、106和107的食物容器109的图像(即时图像)。食物容器109可具有在其内形成的三个分区102、103和104。三个分区102、103和104可通过食物容器109的***壁和分隔物108划分。分隔物108和食物容器的***可由预定的颜色来勾勒。在该实施方式中，食物识别装置101可为智能手机或其它相似类型的便携式计算装置，其可包括一个或多个处理器以及存储器以执行本文所述的食物识别方法。
图2示出了用于食物图像分离的计算机视觉方法的示例性实施方式。在该实施方式200中，该方法可从图像采集201开始。在该图像采集201步骤中，通过食物识别装置可获得由图像捕获装置捕获的食物容器的即时图像209。数据库可存储食物容器参比图像206。食物容器参比图像206中可没有背景。数据库可进一步包括食物容器参比图像206中的食物容器的***壁207的轮廓。***壁207的轮廓也可被称为第一样板207，其可限定食物容器的最外边缘。此外，数据库可包括第二样板208，勾勒食物容器的三个分区的边界。
在图像矫正(rectification)步骤202中，可将食物容器参比图像206与即时图像209进行比较以矫正即时图像209。经矫正的即时图像210是图像矫正步骤202的结果，其不包括图像失真。在该实施方式中，对即时图像209的取向进行矫正以使一个或多个分区的布置与食物容器参比图像206的布置匹配。在此可利用边界和/或食物容器的预定颜色来调整即时图像209的颜色配置。在基于***的图像分割步骤203中，通过使第一样板207与经矫正的即时图像210对齐可消除即时图像的背景。图像211表示没有背景的经矫正的即时图像210。
背景一经移除，则可使第二样板208与图像211(没有任何背景)对齐以进行基于分隔物的图像分割步骤204。第二样板208提供了食物容器的分隔物的轮廓。如此，可为分割出即时图像209的三个分区中的各个分区212。食物图像分离步骤205中，一旦如图所示分割出了这三个分区212，则通过消除食物容器213的其它表面来分离即时图像209的食物项目。这可基于食物容器的其它表面的预定颜色通过消除分割图像212的像素来完成。
图3示出了用于确定食物项目营养价值的***的示例性实施方式。该***可包括装配有多个重量传感器301的食物容器109。该多个重量传感器中的每个可分别放置以测量由食物容器109的一个或多个分区所保留的食物项目的重量。该***可进一步包括食物识别装置101。在该实施方式中，该食物识别装置101被示为包括在其上安装有图像捕获装置302的集成装置。该图像识别装置可进一步包括处理器303和计算机化用户界面304。食物识别装置101经由网络305可与数据库306通信。
图4提供了本发明的计算机视觉技术的示例性实施方式的流程图。在401中，通过食物识别装置获得由图像识别装置捕获的图像(即时图像)。在步骤402中，食物识别装置基于食物容器参比图像可矫正即时图像。在步骤403中，经矫正的即时图像可进一步基于边界而被分割。在步骤404中，可分离即时图像中的食物项目，并且鉴定其类型。在已知食物项目的类型以及食物项目的重量下，在步骤405中，则可确定由食物容器所保留的食物项目的营养价值。
图5提供了根据本发明的图像矫正过程的流程图。为了开始图像矫正过程，在501中，可确认即时图像。在502中，可将即时图像与食物容器参比图像进行比较，以确认即时图像中可能存在的任何图像失真。在503中，基于即时图像与食物容器参比图像之间的比较，通过食物识别装置可确定变换。在步骤504中，可将变换应用至即时图像，随后在505中即时图像可得以矫正。
图6A和图6B描述了本发明的食物项目分离过程的示例性实施方式。食物项目分离过程可通过食物识别装置来进行。在图6A中，该过程开始于601分析即时图像中的颜色信息。在602中，从即时图像来确认食物容器和背景之间的颜色差异。在603中，基于即时图像中确认出的食物容器和背景之间的颜色差异，可去除即时图像中的背景。在步骤604中，基于食物容器的其它表面的预定颜色确定在背景已去除的即时图像中的食物项目。最后，在605中，通过去除即时图像中表示的其它表面，来分离即时图像中的食物项目。
在图6B中，在606中，可通过食物识别装置确认即时图像内的边界。边界可包括第一样板和第二样板，其分别表示食物容器的***壁和分隔物。基于第一样板，在607中可去除背景。这可通过使第一样板与即时图像对齐来完成。在步骤608中，可基于第二样板分割即时图像中的食物容器的一个或多个分区。一旦分割，在609中，则可去除即时图像中的其它表面，从而在610中分离即时图像内中食物项目。
图7A和图7B在流程图中示出了食物确认过程的示例性实施方式。图7A描述了食物确认过程，其中，将即时图像中食物项目的特征与数据库中存储的相应各个类型的食物项目的预期特征进行比较。数据库可存储多种类型的食物项目，每种都链接有对应各种类型食物项目中的各种特征。在步骤701和705中，食物识别装置可得到即时图像的分离食物项目。在图7A中，在702中，可提取分离食物项目的特征，并且在703中将它们与预期特征进行比较。在图7B中，在706中，可将即时图像的分离食物项目与存储在数据库中的食物参比分割图像进行比较。食物参比分割图像可为表示各种类型食物项目的模型食物项目图像。可将分离食物项目和模型食物项目的图像进行比较以确定两者之间的相似度，以确认分离食物项目是否与模型食物图像(食物参比分割图像)紧密匹配。步骤706可进一步涉及从模型食物图像提取特征，所提取的特征可与从即时图像直接提取的特征进行比较。在优选的实施方式中，特征可包括食物项目的纹理和颜色。在步骤704和707中，确认即时图像中食物项目的类型。
图8示出了预定结构特性的示意图，该预定结构特性可用于参比以矫正即时图像。可将即时图像809与食物容器的预定结构特性801进行比较以用于图像矫正810。预定结构特性801可包括颜色802(边界、食物容器的其它表面和/或任何其它部分的颜色)、取向803、分辨率804、尺寸805、形状806、规模807和像素808。取向803可用于参比以调整即时图像中可能存在的旋转失真。分辨率804、尺寸805、形状806和规模807可用于参比以调整即时图像中可能存在的仿射变换、比例失真和/或投影失真。像素808可用于参比以调整即时图像的尺寸，其中，像素可转换为测量单位，诸如毫米。最后，颜色802可用于参比以调整即时图像的颜色配置。食物容器的这些和任何其它预定结构特征可单独地或者共同地用于矫正即时图像。
图9提供了用于确定食物项目营养价值的***的示例性实施方式，其中，食物识别装置以独立装置来实施。该***可包括食物识别装置101、食物容器109、图像捕获装置302和数据库306，其中，***的组件经由网络305可与其它组件通信。食物识别装置101包括显示器901、处理器303和用户输入装置902。食物识别装置101可进一步包括在处理器303上执行的各种模块。各种模块可包括数据聚集模块903、图像矫正模块904、图像分割模块906、食物确认模块907和营养价值确定模块905。数据聚集模块903可负责获得来自于数据传感器的重量以及来自于图像捕获装置302的即时图像。图形矫正模块904可进行根据本发明的矫正即时图像的过程和方法。图像分割模块906可提供如本文所述的用于分割即时图像的过程和方法。食物确认模块907可负责分离即时图形内的食物项目，并确认食物项目的类型。最后，营养价值确定模块905可进行根据本发明的确定食物项目的营养价值的过程和方法。
尽管在在优选或具体实施方式以实例的方式示出了本发明的几个变型，但是显而易见的是，在本发明的精神和范围内或者本发明的发明理念内，可开发进一步的实施方式。然而，应当清楚理解的是，这种修改和使用是在本发明的精神和范围内，并且是涵盖性的而并不限于以下权利要求所示。
本领域技术人员将容易知晓的是，在本发明的教导下，可进行多种改动、应用和修改。

Claims (29)

1.一种利用与数据库通信的食物识别装置来确定食物项目的营养价值的***，所述***包括：
具有一个或多个分区的食物容器，所述一个或多个分区由分隔物勾勒的边界和所述食物容器形成的***来界定，其中，所述食物容器容纳所述食物项目；
图像捕获装置，所述图像捕获装置捕获所述食物容器的图像；以及
所述食物识别装置具有处理器和存储器，与所述图像捕获装置通信，并且配置为：
从所述图像捕获装置获得所述食物容器的图像；以及
通过使图像中的边界与存储在所述数据库中的食物容器参比图像中的边界对齐来校正所述图像的取向。
2.根据权利要求1所述的***，进一步包括重量传感器，所述重量传感器放置在所述食物容器内，定位成测量由所述一个或多个分区中的每个分区所容纳的食物项目的重量。
3.根据权利要求2所述的***，其中，所述食物识别装置进一步配置为：
基于所述边界分割所述图像以分离所述一个或多个分区中的每个分区；以及
通过将每个分割的图像与存储在所述数据库中的食物参比分割图像进行比较来确认所述食物项目的类型。
4.根据权利要求3所述的***，其中，确认所述食物项目的类型的步骤包括：将来自所述图像的所述食物项目的特征与所述食物参比分割图像的特征进行比较，所述特征包括表明所述食物项目的类型的颜色和纹理。
5.根据权利要求3所述的***，其中，所述食物识别装置进一步配置为基于所述食物项目的重量和类型，确定所述食物项目的营养价值。
6.根据权利要求1所述的***，其中，所述食物识别装置进一步配置为将所述图像校正为规范视图，所述规范视图通过应用变换来补偿所述图像的图像失真来获得，所述图像失真来通过比较所述图像与所述食物容器参比图像来确认。
7.根据权利要求6所述的***，其中，所述变换通过以下来确定：
在所述食物容器的图像中确认至少两个标记；
确定所述至少两个标记中每一个相对于所述食物容器参比图像的二维坐标；以及
通过比较所述图像与所述食物容器参比图像之间的二维坐标来确定所述变换以补偿所述图像中的图像失真。
8.根据权利要求1所述的***，其中，所述食物识别装置进一步配置为：基于所述食物容器的至少一部分的预定颜色调整所述图像的颜色，所述预定颜色存储在所述数据库中。
9.根据权利要求1所述的***，其中，所述食物识别装置进一步配置为：通过比较所述图像的尺寸与存储在所述数据库中的所述食物容器参比图像的尺寸来调整所述图像的尺寸，所述图像的尺寸基于所述图像的分辨率来确认。
10.根据权利要求1所述的***，其中，所述食物识别装置进一步配置为：
基于所述食物容器的边界，去除所述图像中的背景；以及
基于所述食物容器的其它表面与所述食物项目之间的颜色差异来分离在所述图像内的所述食物项目。
11.根据权利要求10所述的***，其中，分离所述食物项目的步骤包括逐像素地分析所述图像以消除所述图像中不代表所述食物项目的像素。
12.根据权利要求10所述的***，其中，所述食物识别装置进一步配置为通过确认所述图像中所述食物项目的表面积来估算所述食物项目的体积，所述表面积基于所述图像内所述食物项目占据的像素数目来确认。
13.根据权利要求1所述的***，其中，所述食物识别装置进一步配置为确定所述食物项目的体积，所述体积基于以不同角度捕获的食物容器的两个或更多个图像来确定。
14.根据权利要求1所述的***，其中，所述食物识别装置进一步配置为基于所述图像中所述食物项目的成分之间的分布比率来确定所述食物项目的类型，所述分布比率基于以下项中的至少一种来确认：
所述数据库存储的分布比率-类型；以及
独立地鉴别所述食物项目中的每种成分以及它们的组成。
15.根据权利要求1所述的***，其中，所述食物识别装置进一步配置为确定所述食物项目的体积，所述体积通过由存储在所述数据库中的类型-密度列表确认的所述食物项目的密度和所述食物项目的重量来确定。
16.一种使用***的方法，所述***利用与数据库通信的食物识别装置并且用于确定食物项目的营养价值，所述方法包括：
利用图像捕获装置捕获食物容器的图像，其中，所述食物容器具有一个或多个分区，所述一个或多个分区由分隔物勾勒的边界和所述食物容器形成的***来界定，其中，所述食物容器容纳所述食物项目；
利用食物识别装置从所述图像捕获装置获得所述食物容器的图像，所述图像捕获装置与所述食物识别装置通信；以及
利用所述食物识别装置，通过使图像中的边界与存储在所述数据库中的食物容器参比图像中的边界对齐来校正所述图像的取向。
17.根据权利要求16所述的方法，进一步包括以下步骤：
利用所述食物识别装置由重量传感器获得所述食物项目的重量，所述重量传感器定位成测量由所述一个或多个分区中的每个分区所容纳的食物项目的重量，其中，所述重量传感器与所述食物识别装置通信。
18.根据权利要求17所述的方法，进一步包括以下步骤：
利用所述食物识别装置，基于所述边界分割所述图像以分离所述一个或多个分区中的每个分区；以及
利用所述食物识别装置，通过将每个分割的图像与存储在所述数据库中的食物参比分割图像进行比较来确认所述食物项目的类型。
19.根据权利要求18所述的方法，其中，确认所述食物项目的类型的步骤包括：将来自所述图像的所述食物项目的特征与所述食物参比分割图像的特征进行比较，所述特征包括表明所述食物项目的类型的颜色和纹理。
20.根据权利要求18所述的方法，进一步包括：基于所述食物项目的重量和类型，利用所述食物识别装置确定所述食物项目的营养价值的步骤。
21.根据权利要求16所述的方法，其中，校正所述图像的取向的步骤包括：将所述图像校正为规范视图，其中，所述规范视图通过应用变换来补偿所述图像的图像失真来获得，所述图像失真来通过比较所述图像与所述食物容器参比图像来确认。
22.根据权利要求21所述的方法，其中，所述变换通过以下来确定：
在所述食物容器的图像中确认至少两个标记；
确定所述至少两个标记中每一个相对于所述食物容器参比图像的二维坐标；以及
通过比较所述图像与所述食物容器参比图像之间的二维坐标来确定所述变换以补偿所述图像中的图像失真。
23.根据权利要求16所述的方法，其中，校正所述图像的取向的步骤包括通过比较所述图像的尺寸与存储在所述数据库中的所述食物容器参比图像的尺寸来调整所述图像的尺寸，所述图像的尺寸基于所述图像的分辨率来确认。
24.根据权利要求16所述的方法，进一步包括：利用所述食物识别装置基于所述食物容器的至少一部分的预定颜色调整所述图像的颜色的步骤，所述预定颜色存储在所述数据库中。
25.根据权利要求16所述的方法，进一步包括以下步骤：
基于所述食物容器的边界，利用所述食物识别装置去除所述图像中的背景；以及
基于所述食物容器的其它表面与所述食物项目之间的颜色差异，利用所述食物识别装置来分离所述图像内的所述食物项目。
26.根据权利要求25所述的方法，进一步包括：利用所述食物识别装置通过确认所述图像中所述食物项目的表面积来估算所述食物项目的体积的步骤，所述表面积基于所述图像内所述食物项目占据的像素数目来确认。
27.根据权利要求16所述的方法，进一步包括：利用所述食物识别装置，确定所述食物项目的体积的步骤，所述体积以不同角度捕获的食物容器的两个或更多个图像来确定。
28.根据权利要求16所述的方法，进一步包括：利用所述食物识别装置，基于所述图像中所述食物项目的成分之间的分布比率来确定所述食物项目的类型的步骤，所述分布比率基于以下项中的至少一种来确认：
所述数据库存储的分布比率-类型；以及
独立地鉴别所述食物项目中的每种成分以及它们的组成。
29.根据权利要求16所述的方法，进一步包括：利用所述食物识别装置，确定所述食物项目的体积的步骤，所述体积通过由存储在所述数据库中的类型-密度列表确认的所述食物项目的密度和所述食物项目的重量来确定。
CN201680052285.0A 2015-09-09 2016-05-16 利用食物图像识别来用于营养分析的***和方法 Pending CN108140328A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/848,992 2015-09-09
US14/848,992 US9349297B1 (en) 2015-09-09 2015-09-09 System and method for nutrition analysis using food image recognition
PCT/US2016/032717 WO2017044161A1 (en) 2015-09-09 2016-05-16 System and method for nutrition analysis using food image recognition

Publications (1)

Publication Number Publication Date
CN108140328A true CN108140328A (zh) 2018-06-08

Family

ID=55969763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680052285.0A Pending CN108140328A (zh) 2015-09-09 2016-05-16 利用食物图像识别来用于营养分析的***和方法

Country Status (7)

Country Link
US (2) US9349297B1 (zh)
EP (1) EP3347889A1 (zh)
JP (1) JP2018528545A (zh)
CN (1) CN108140328A (zh)
AU (1) AU2016320586A1 (zh)
HK (1) HK1257551A1 (zh)
WO (1) WO2017044161A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598678A (zh) * 2019-10-11 2019-12-20 广东美的厨房电器制造有限公司 烹饪设备的控制方法、控制装置、烹饪设备及存储介质
CN112831982A (zh) * 2019-11-22 2021-05-25 重庆海尔洗衣机有限公司 衣物颜色识别的处理方法、装置、设备及存储介质
CN112970026A (zh) * 2018-11-20 2021-06-15 华为技术有限公司 一种估算物体参数的方法以及电子设备
CN113168899A (zh) * 2018-11-23 2021-07-23 赛诺菲 具有相机的医疗装置
CN113324928A (zh) * 2021-05-11 2021-08-31 中国农业科学院农产品加工研究所 一种基于图谱数据智能化无损检测菜肴食品营养含量方法
CN114359299A (zh) * 2022-03-18 2022-04-15 天津九安医疗电子股份有限公司 一种饮食分割方法及慢病患者的饮食营养管理方法
US11622651B2 (en) 2017-09-29 2023-04-11 Samsung Electronics Co., Ltd. Automatic cooking device and method

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754542B2 (en) 2012-06-14 2023-09-12 Medibotics Llc System for nutritional monitoring and management
SG2013069893A (en) * 2013-09-13 2015-04-29 Jcs Echigo Pte Ltd Material handling system and method
US11055563B2 (en) * 2013-10-24 2021-07-06 Panasonic Intellectual Property Management Co., Ltd. Heating cooker, cooking system, arithmetic device, and cooking support method
US9734426B2 (en) * 2014-09-03 2017-08-15 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
US9959628B2 (en) * 2014-11-21 2018-05-01 Christopher M. MUTTI Imaging system for object recognition and assessment
US9349297B1 (en) * 2015-09-09 2016-05-24 Fitly Inc. System and method for nutrition analysis using food image recognition
USD801122S1 (en) * 2016-01-25 2017-10-31 L'atelier Brands Inc. Plate
EP3449400B1 (en) 2016-04-28 2020-09-02 Koninklijke Philips N.V. A food monitoring system
JP6910792B2 (ja) * 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
DE102016225833A1 (de) * 2016-12-21 2018-06-21 Henkel Ag & Co. Kgaa Verfahren zur Dosierung von Reinigungsmitteln
USD845789S1 (en) 2017-03-02 2019-04-16 Sargento Foods Inc. Tray
EP3379475A1 (en) * 2017-03-23 2018-09-26 Panasonic Intellectual Property Management Co., Ltd. Information presentation apparatus and information presentation method
USD850214S1 (en) 2017-03-24 2019-06-04 Sargento Foods Inc. Tray
US10664716B2 (en) 2017-07-19 2020-05-26 Vispek Inc. Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence
EP3459399A1 (en) * 2017-09-26 2019-03-27 Koninklijke Philips N.V. Assisting a person to consume food
KR102027275B1 (ko) 2017-11-14 2019-10-01 김대훈 급식관리 시스템 및 이의 운영방법
US10528793B2 (en) 2017-12-22 2020-01-07 International Business Machines Corporation Automatic identification of food substance
JP7077506B2 (ja) * 2017-12-30 2022-05-31 美的集団股▲フン▼有限公司 食材識別に基づく食品の調理方法及びシステム
US11048939B2 (en) 2018-09-07 2021-06-29 International Business Machines Corporation Health trends identification
JP2020060407A (ja) * 2018-10-09 2020-04-16 三井金属計測機工株式会社 学習機能を有する加工食品検査装置及び加工食品検査方法並びに加工食品検査プログラム
KR102471775B1 (ko) * 2019-04-30 2022-11-28 주식회사 누비랩 음식량 측정 방법, 장치, 서버 및 프로그램
KR102488997B1 (ko) * 2019-04-29 2023-01-16 주식회사 누비랩 휴대용 장치를 이용한 음식량 측정 방법, 서버 및 프로그램
KR102487925B1 (ko) * 2019-04-30 2023-01-12 주식회사 누비랩 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램
EP3964793A4 (en) * 2019-04-29 2023-01-04 Nuvi Labs Co., Ltd. METHOD, DEVICE AND PROGRAM FOR MEASURING FOODS
EP3772738A1 (en) 2019-08-08 2021-02-10 Koninklijke Philips N.V. An apparatus and method for providing dietary recommendation
CN110514280A (zh) * 2019-08-29 2019-11-29 德阳市旌阳区中医院 一种智能饮食管理设备
KR20210053052A (ko) * 2019-11-01 2021-05-11 엘지전자 주식회사 컬러 복원방법 및 장치
US11804293B2 (en) * 2020-05-21 2023-10-31 Annie Mafotsing Soh Rapid wearable data-driven bioelectronics device and platform for food freshness monitoring
US11526555B2 (en) 2020-06-02 2022-12-13 Kpn Innovations, Llc. Method and system for determining user taste changes using a plurality of biological extraction data
FR3112011B1 (fr) 2020-06-24 2022-09-02 Kikleo Système et procédé de caractérisation de la nature et de la quantité d’aliments contenus dans un ou plusieurs récipients
EP3929931A1 (en) * 2020-06-26 2021-12-29 Koninklijke Philips N.V. Dish nutritional value estimation
US11620765B2 (en) * 2020-07-02 2023-04-04 Unity Technologies Sf Automatic detection of a calibration object for modifying image parameters
EP4000521A1 (en) * 2020-11-13 2022-05-25 University Of Fribourg Technique for controlling a human machine interface
CN113409917A (zh) * 2021-06-18 2021-09-17 深圳市狂风生命科技有限公司 一种测量、记录和分析人体食物摄取的装置及方法
US20230145313A1 (en) * 2021-11-09 2023-05-11 Skoopin Inc. Method and system for foodservice with instant feedback
US20230391488A1 (en) * 2022-06-07 2023-12-07 Front Row Labs LLC d/b/a LifeChef Meal packaging system
EP4290436A1 (de) * 2022-06-10 2023-12-13 LSG Lufthansa Service Holding AG Verfahren und system zur identifikation von überportionierung von lebensmitteln
EP4361951A1 (en) * 2022-10-24 2024-05-01 Electrolux Appliances Aktiebolag Area calculation of food items using image segmentation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866391A (zh) * 2009-04-15 2010-10-20 东芝泰格有限公司 营养成分显示装置、移动车及营养成分显示方法
CN102113038A (zh) * 2008-05-28 2011-06-29 卡夫食品环球品牌有限责任公司 鉴别饮食选项的方法和装置
US20120135383A1 (en) * 2010-11-29 2012-05-31 Electronics And Telecommunications Research Institute Meal plate for guiding correct eating habits and adjusting amount of meal
CN102565056A (zh) * 2010-11-26 2012-07-11 泰尔茂株式会社 便携终端、卡路里推定方法及卡路里推定程序
US20130113933A1 (en) * 2008-09-05 2013-05-09 Purdue Research Foundation Dietary Assessment System and Method
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993021597A1 (en) * 1992-04-13 1993-10-28 Meat Research Corporation Image analysis for meat
US5818953A (en) * 1996-04-17 1998-10-06 Lamb-Weston, Inc. Optical characterization method
US5815198A (en) * 1996-05-31 1998-09-29 Vachtsevanos; George J. Method and apparatus for analyzing an image to detect and identify defects
US6457250B1 (en) 1999-10-01 2002-10-01 The Pillsbury Company Apparatus for measuring conformance of manufactured food product
JP3846844B2 (ja) * 2000-03-14 2006-11-15 株式会社東芝 身体装着型生活支援装置
US20030076983A1 (en) * 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
IL137759A (en) * 2000-08-08 2007-07-16 Eddie Karnieli Method for monitoring food intake
AU2001288902A1 (en) * 2000-09-07 2002-03-22 Healthetech, Inc. Portable computing apparatus particularly useful in a weight management program
US6621573B2 (en) * 2001-02-27 2003-09-16 Emhart Glass, S.A. Glass container inspection machine
US7903838B2 (en) * 2004-01-30 2011-03-08 Evolution Robotics, Inc. Vision-enabled household appliances
US20070030339A1 (en) * 2005-02-18 2007-02-08 Nathaniel Findlay Method, system and software for monitoring compliance
KR20070005808A (ko) * 2005-07-06 2007-01-10 삼성전자주식회사 바코드를 이용하는 조리 장치와 조리 시스템 및 조리 제어방법
CA2656074C (en) * 2006-07-19 2018-02-20 Cross Technology Solutions Ab Mobile apparatus, method and system for processing blood sugar affecting factors
WO2008089184A2 (en) * 2007-01-15 2008-07-24 Deka Products Limited Partnership Device and method for food management
WO2008103827A1 (en) * 2007-02-22 2008-08-28 Welldoc Communications, Inc. System and method for providing treatment recommendations based on models
US7860277B2 (en) * 2007-04-10 2010-12-28 Bizerba Gmbh & Co. Kg Food product checking system and method for identifying and grading food products
US20080306924A1 (en) * 2007-06-05 2008-12-11 Paolini Michael A Mobile telephone object lookup and identification
WO2008157622A1 (en) * 2007-06-18 2008-12-24 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, apparatus and system for food intake and physical activity assessment
US8284248B2 (en) * 2009-08-25 2012-10-09 Frito-Lay North America, Inc. Method for real time detection of defects in a food product
WO2010025290A2 (en) * 2008-08-29 2010-03-04 Weight Watchers International, Inc. Processes and systems based on metabolic conversion efficiency
US8439683B2 (en) * 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
KR20100087551A (ko) * 2009-01-28 2010-08-05 한국과학기술연구원 사용자의 행동 분류에 따른 칼로리 균형 계산 장치
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US20100249530A1 (en) * 2009-03-24 2010-09-30 Medtronic Minimed, Inc. Bolus Estimator with Image Capture Device
WO2010120358A2 (en) * 2009-04-13 2010-10-21 Nintendo Co., Ltd. In-store wireless shopping network using hand-held devices
US8345930B2 (en) * 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
JP2011221637A (ja) * 2010-04-06 2011-11-04 Sony Corp 情報処理装置、情報出力方法及びプログラム
JP2012014678A (ja) * 2010-05-31 2012-01-19 Univ Of Tokyo 情報処理装置
KR20120039102A (ko) * 2010-10-15 2012-04-25 엘지전자 주식회사 식이관리장치 및 식이관리방법
US8625889B2 (en) * 2010-12-30 2014-01-07 Samsung Electronics Co., Ltd. System for food recognition method using portable devices having digital cameras
TWI604391B (zh) * 2010-12-30 2017-11-01 萬國商業機器公司 自動化的飲食規劃方法與行動裝置
WO2012094569A2 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US9165398B2 (en) 2011-02-25 2015-10-20 Lg Electronics Inc. Analysis of food items captured in digital images
US20120229624A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Real-time image analysis for providing health related information
US20130004923A1 (en) * 2011-06-10 2013-01-03 Aliphcom Nutrition management method and apparatus for a wellness application using data from a data-capable band
JP2013025728A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2013054541A (ja) * 2011-09-05 2013-03-21 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness
US8761922B2 (en) * 2011-10-10 2014-06-24 Jonathan P Dekar Method and apparatus for monitoring food consumption by an individual
US20140315162A1 (en) * 2011-12-09 2014-10-23 Joel Ehrenkranz System and methods for monitoring food consumption
US20160232811A9 (en) * 2012-06-14 2016-08-11 Robert A. Connor Eyewear System for Monitoring and Modifying Nutritional Intake
US8761519B2 (en) * 2012-09-14 2014-06-24 Cyberlink Corp. System and method for selecting an object boundary in an image
JP6024515B2 (ja) 2013-02-28 2016-11-16 ソニー株式会社 情報処理装置および記憶媒体
EP3017423A1 (en) 2013-07-02 2016-05-11 Roche Diagnostics GmbH Estimation of food volume and carbs
US9349297B1 (en) * 2015-09-09 2016-05-24 Fitly Inc. System and method for nutrition analysis using food image recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113038A (zh) * 2008-05-28 2011-06-29 卡夫食品环球品牌有限责任公司 鉴别饮食选项的方法和装置
US20130113933A1 (en) * 2008-09-05 2013-05-09 Purdue Research Foundation Dietary Assessment System and Method
CN101866391A (zh) * 2009-04-15 2010-10-20 东芝泰格有限公司 营养成分显示装置、移动车及营养成分显示方法
CN102565056A (zh) * 2010-11-26 2012-07-11 泰尔茂株式会社 便携终端、卡路里推定方法及卡路里推定程序
US20120135383A1 (en) * 2010-11-29 2012-05-31 Electronics And Telecommunications Research Institute Meal plate for guiding correct eating habits and adjusting amount of meal
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622651B2 (en) 2017-09-29 2023-04-11 Samsung Electronics Co., Ltd. Automatic cooking device and method
CN112970026A (zh) * 2018-11-20 2021-06-15 华为技术有限公司 一种估算物体参数的方法以及电子设备
CN112970026B (zh) * 2018-11-20 2024-02-02 华为技术有限公司 一种估算物体参数的方法以及电子设备
CN113168899A (zh) * 2018-11-23 2021-07-23 赛诺菲 具有相机的医疗装置
CN110598678A (zh) * 2019-10-11 2019-12-20 广东美的厨房电器制造有限公司 烹饪设备的控制方法、控制装置、烹饪设备及存储介质
CN112831982A (zh) * 2019-11-22 2021-05-25 重庆海尔洗衣机有限公司 衣物颜色识别的处理方法、装置、设备及存储介质
CN113324928A (zh) * 2021-05-11 2021-08-31 中国农业科学院农产品加工研究所 一种基于图谱数据智能化无损检测菜肴食品营养含量方法
CN113324928B (zh) * 2021-05-11 2022-07-01 中国农业科学院农产品加工研究所 一种基于图谱数据智能化无损检测菜肴食品营养含量方法
CN114359299A (zh) * 2022-03-18 2022-04-15 天津九安医疗电子股份有限公司 一种饮食分割方法及慢病患者的饮食营养管理方法
CN114359299B (zh) * 2022-03-18 2022-09-30 天津九安医疗电子股份有限公司 一种饮食分割方法及慢病患者的饮食营养管理方法

Also Published As

Publication number Publication date
WO2017044161A1 (en) 2017-03-16
EP3347889A1 (en) 2018-07-18
JP2018528545A (ja) 2018-09-27
US20170069225A1 (en) 2017-03-09
US9349297B1 (en) 2016-05-24
AU2016320586A1 (en) 2018-04-26
US9892656B2 (en) 2018-02-13
HK1257551A1 (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN108140328A (zh) 利用食物图像识别来用于营养分析的***和方法
US10971031B2 (en) Apparatus and method for identifying food nutritional values
US9364106B1 (en) Apparatus and method for identifying, measuring and analyzing food nutritional values and consumer eating behaviors
US10210646B2 (en) System and method to capture and process body measurements
Boushey et al. New mobile methods for dietary assessment: review of image-assisted and image-based dietary assessment methods
CN104949617B (zh) 用于对象包装的对象三维尺寸估测***及方法
CN107238427A (zh) 智能营养秤***及提供膳食建议的方法
US20140340479A1 (en) System and method to capture and process body measurements
WO2013114638A1 (ja) 画像処理システム、画像処理装置、画像処理方法、プログラム、及び情報記憶媒体
KR102243452B1 (ko) 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법
CN107851183A (zh) 用于提供食谱的***和方法
WO2020162262A1 (ja) 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
JPWO2019182108A1 (ja) 色対応情報生成システム、プログラム及び色対応情報生成方法
CN108830154A (zh) 一种基于双目摄像头的食物营养成分检测方法及***
JP6468590B2 (ja) 健康管理装置、および健康管理プログラム
CN106773051B (zh) 展示ar标识物虚拟营养信息的增强现实装置及其方法
CN106855392B (zh) 煎烤条件分析***与方法
JP4989240B2 (ja) 食事管理支援システム
KR20200080801A (ko) 인공지능을 이용한 장병 배식 방법 및 시스템
TW201227592A (en) Method for food and drink management with interactive image identifying technology
WO2018008686A1 (ja) 食事の栄養成分を管理する管理システム
JP4496624B2 (ja) 食事管理支援システム及び食事管理支援方法
CN109859810A (zh) 一种基于智能设备的膳食调查辅助工具及其实现方法
JP2007102824A (ja) 食事管理支援システム
Elfert et al. Towards an Ambient Survey of Consumption Quantities to Support the Nutrition Counseling Process for People affected by the Geriatric Frailty Syndrome

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination