CN111684368B - 基于成分识别的食物制备方法和*** - Google Patents

Abstract

一种食物制备***和方法，包括：在食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得食物支承平台的一个或多个图像；对第一食物进行成分识别，包括：在总体分类器中对相应图像的特征张量进行分类，以识别与第一食物对应的一个或多个第一级食物成分类别；以及在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中，对相应图像的特征张量进行分类，以识别对应于第一食物的对应的第二级食物成分类别，其中，第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及根据已经执行的成分识别，调整一个或多个加热单元以加热第一食物。

Description

基于成分识别的食物制备方法和***

相关申请的交叉引用

本申请要求保护于2017年12月30日提交的美国专利申请No.62/612,426的优先权，其全部公开内容通过引入并入本文。

技术领域

本公开涉及家用电器领域，尤其涉及一种基于成分识别的食物制备方法和***。

背景技术

传统的电食物制备***，例如微波炉、炉灶、吐司烤箱、电饭锅、烤炉和蒸锅等，都依赖于对于烹饪温度和烹饪持续时间规格的手动输入。这些传统***要求用户拥有关于如何在不损害食物安全性要求的情况下将菜肴的不同食物成分加热和烹饪至正确的熟度水平的大量知识和经验。某些较新型的电食物制备***使得用户能够从一些预设食物选项中进行选择，并根据用户的选择调整烹饪时间和功率水平。但是，针对用户可能希望烹饪的各种各样的食物，这种预设选择菜单太有限或者太广泛而难以确定。

随着人们对改善健康和生活方式的兴趣日益浓厚，人们食用的食物的质量和营养价值对他们来说变得越来越重要。智能设备上的某些应用提供了食物成分及其相应营养信息的数据库。但是，这样的应用通常要求用户输入食物成分的名称和每种成分的数量，以便提供相应的营养价值。该过程繁琐且效率低，严重限制了此类应用的实用性。

一些研究人员建议使用人工智能和深度学习技术来根据菜肴图像自动识别食物成分。但是，由于食物成分可以在菜肴中呈现的形式差异很大，并且捕获图像图像的条件不同的情况下，识别结果非常差。此外，食物成分的数量成千图像的条件不同，因此识别结果非常差。此外，食物成分的数量成百上千，一道菜肴可能包含数十种成分，这使得自动识别模型非常庞大且计算量大，并且难以在纯学术研究环境之外进行部署。而且，这些***很难按比例放大，因为每次需要向模型中添加新成分时，都必须更改参数的数量以及必须重复对模型的训练。

由于这些原因，需要能够以适度的资源消耗提供一致的食物成分识别，可扩展并且可以调整食物制备控制和/或提供营养推荐的更好的食物制备***。

发明内容

如在背景技术中所讨论的，传统的食物制备***在基于自动成分识别来自动控制食物制备方面提供有限的能力。传统的食物成分识别不准确，需要大量的计算资源，并且不容易扩展。本文公开的方法和***以多种方式解决了传统方法和***的这些缺点。

例如，在将食物放入食物制备***中时，原位拍摄用于成分识别的图像。食物制备***的基础图像有助于有效消除背景，仅保留食物的相关图像信息。另外，给定已经放置食物的食物制备***的已知尺寸，图像中食物成分的尺寸和比例也是已知的。原位图像获取消除了传统***中的以下问题：图像获取是在各种各样的条件下进行的，使图像处理变得困难，并且更容易产生错误的识别结果。其他原位图像获取技术也用于进一步提高图像一致性和图像的保真度。

另外，用于成分识别的图像处理分两个阶段进行，即总体分类阶段和详细分类阶段。总体分类阶段将菜肴的食物成分分为粗略类别，例如肉类、蔬菜、谷物等。而详细分类阶段将已识别出类别的食物成分分类为更具体的成分标签，例如肉类下的鱼、鸡肉、牛肉等。食物成分的粗略类别基于食物制备***的特定使用设置来确定。例如，在烹饪模式下使用微波炉时，使用未加工食物成分类别，例如肉、蔬菜、谷物等；而在再加热模式下使用微波炉时，则使用烹饪方式类别，例如炒菜、烤菜、烤肉、比萨、汤等。通过首先选择粗略类别，由于分类过程更加集中，因此减少了计算模型的尺寸，减少了计算量，并且提高了识别准确度。另外，由于当添加成分时，仅需要更新受影响的粗略类别的详细分类模型，识别***具有更高的可扩展性。在一些实施例中，通过图像处理仅识别出前n个(例如3个)食物成分，从而进一步降低了计算复杂度、处理时间和存储器使用量。

如本文所公开，食物制备***包括：食物支承平台，该食物支承平台被配置为支承食物；照相机，该照相机具有指向食物支承平台的视场；一个或多个加热单元，所述一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热；以及食物制备控制单元，该食物制备控制单元用于控制照相机和一个或多个加热单元，食物制备控制单元包括存储指令的存储器和一个或多个处理器，指令在被一个或多个处理器执行时使处理器执行操作，该操作包括：在食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得食物支承平台的一个或多个图像；基于食物支承平台的一个或多个图像对第一食物进行成分识别，包括：在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类，以识别与第一食物对应的一个或多个第一级食物成分类别；在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中，对相应图像的特征张量进行分类，以识别与第一食物对应的第二级食物成分类别，其中，所述第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及根据已经执行的成分识别，调整一个或多个加热单元以加热第一食物。

如本文所公开，在一些实施例中，一种控制食物制备的方法包括：在食物制备***处执行操作，该食物制备***包括：食物支承平台，该食物支承平台被配置为支承食物；照相机，该照相机具有指向食物支承平台的视场；一个或多个加热单元，一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热；以及食物制备控制单元，用于控制照相机和一个或多个加热单元，食物制备控制单元包括存储器和一个或多个处理器，所述操作包括：在食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得食物支承平台的一个或多个图像；基于食物支承平台的一个或多个图像对第一食物进行成分识别，包括：在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类，以识别与第一食物对应的一个或多个第一级食物成分类别；以及在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中，对相应图像的特征张量进行分类，以识别与第一食物对应的第二级食物成分类别，其中，第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及根据已经执行的成分识别，调整一个或多个加热单元以加热第一食物。

在一些实施例中，***包括执行本文描述的任一方法的处理器和存储器。根据一些实施例，电子设备包括一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起本文描述的任一方法的操作的性能的指令。根据一些实施例，一种非暂时性计算机可读存储介质存储有指令，这些指令在由电子设备执行时使该设备执行或引起执行本文描述的任一方法的操作的性能。根据一些实施例，一种电子设备包括：用于捕获图像的装置，用于加热食物的装置，以及用于执行或引起执行本文描述的任一方法的操作的性能的装置。

根据下面的描述，本申请的各种优点是明显的。

附图说明

以下将结合附图，通过对优选实施例的详细描述来更清楚地理解所公开技术的前述特征和优点以及其附加特征和优点。

为了更清楚地描述本公开技术的实施例中或现有技术中的技术方案，以下简要介绍描述实施例或现有技术所需的附图。显然，以下描述中的附图仅示出了本公开技术的一些实施例，并且本领域普通技术人员仍可以在不付出创造性劳动的情况下从这些附图中得出其他附图。

图1是根据一些实施例的食物制备***的框图。

图2示出了根据一些实施例的许多示例性食物制备***。

图3示出了根据一些实施例的食物制备***的图像获取和图像预处理。

图4A至图4C是根据一些实施例的食物成分识别的框图。

图5是根据一些实施例的利用成分识别的食物制备方法的流程图。

图6是根据一些实施例的食物制备***的框图。

贯穿附图的多个视图，相似的附图标记指代对应的部分。

具体实施方式

现在将详细参考实施例，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节以提供对本文提出的主题的详尽理解。但是，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践该主题。在其他情况下，没有详细描述公知的方法、过程、组件和电路，以免不必要地使实施例的各方面不清楚。

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本申请实施例的一部分而不是全部。基于本申请的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都落入本申请的保护范围。

图1是根据一些实施例的食物制备***102的框图。食物制备***包括用于加热食物的***，该食物包括烹饪未加工的食物或重新加热之前烹饪过的食物。食物制备***的示例包括微波炉、火炉、吐司烤箱、对流烤箱、电炊具、烤盘等。食物制备***102包括能够通过各种方式加热食物的加热***，各种方式为例如传导方式、对流方式、辐射方式、传导方式等。可以通过安装在食物制备***上并耦接至加热装置的各种控制装置(例如，旋钮、按钮或应用程序)来控制耗散到食物上的热量或功率、热量耗散到食物上的速率、耗散到食物上的热量的分布和/或热耗散的持续时间。在一些实施例中，控件可由用户手动调节。

如图1所示，在一些实施例中，食物制备***包括原位图像获取***104。原位图像获取***包括一个或多个静止图像照相机或视频照相机，所述一个或多个静止图像照相机或视频照相机安装在食物制备***内部或附近的位置处，使得照相机的视场涵盖将食物放入其中并烹饪的隔室内部。例如，可以选择性地将照相机安装在智能烤箱的内部顶壁中，该照相机具有可以看到烤箱架顶部的视场。可选地，将另一个照相机安装在烤箱内部的顶侧边缘，该照相机具有从烤箱架上方的侧面可以看到烤箱架的视场。在一些实施例中，将照相机安装在在其中烹饪食物的隔室的外部，并通过透明窗口(例如，隔热窗口)指向食物的位置。在一些实施例中，将照相机放置在隔室的外部或在其上放置食物的平台的上方。原位图像获取***包括数据存储***，该数据存储***用于存储食物烹饪隔室的尺寸、食物烹饪隔室内参考标记的尺寸、照相机与食物烹饪隔室中的各种参考标记之间的距离，使得由照相机拍摄的图像可以用于准确地确定图像中食物的大小和形状。因此，该原位图像获取***104消除了传统图像获取***的以下问题：传统图像获取***需要用户特别注意在图像内或使用图像放置参考标记，而无益于图像内的项的尺寸、位置和方向信息。

在一些实施例中，原位图像获取***104包括图像捕获触发***。例如，在一些实施例中，当图像捕获触发***检测到在照相机的视场中已经发生变化时，触发图像捕获。例如，当烤箱门打开时，烤箱中的照明条件将变化，并且响应于烤箱门的打开将触发图像捕获。在一些实施例中，当食物开始出现在照相机的视场中时，触发图像捕获。在一些实施例中，当完全放入食物并且关闭烤箱门时，触发图像捕获。例如，图像捕获***响应于检测到烤箱门的打开而启动操作，并且实际上响应于检测到烤箱门的关闭而触发对图像的捕获。在一些实施例中，捕获一系列图像，使得捕获食物在沿着其到达最终放置位置的路径的各个预定位置处的图像。利用食物的不同尺寸和视角的图像，可以帮助提高图像分析的准确性。例如，当烤箱门打开并且食物被部分放入时捕获第一图像，因此该图像仅包括食物的部分。随着将食物进一步放入烤箱，会捕获到另外的图像，这些图像包括食物的越来越大的部分，直到将食物放置在烤箱架上并关闭烤箱门时拍摄最终图像为止。在一些实施例中，图像捕获触发***还指示照相机在打开烤箱门紧之前捕获并存储烤箱架的图像，作为烤箱内部的基础图像。在一些实施例中，响应于用户的输入，例如在用户已经将食物放入食物烹饪隔室之后，手动触发图像捕获。手动触发更容易实现，而且操作不那么复杂，并且允许用户有目的地捕获最能反映食物特性的图像以进行成分识别。

在一些实施例中，食物制备***102包括图像处理***106。图像处理***106获得由原位图像获取***捕获的图像，并基于在放入食物之前捕获的基础图像对图像进行预处理，以从图像中去除背景。基础图像捕获了食物制备***的食物烹饪隔室中的食物支承平台的确切条件，并为包含食物的图像提供了出色的过滤器以消除背景。

在一些实施例中，原位图像获取***可选地包括用于多个灯的控件，所述多个灯位于食物支承平台周围的不同位置(例如，炊具的底部、烤箱架的顶部、微波炉内部的板等)，并且可以通过打开和关闭不同的灯并且在不同的光照条件下捕获图像来增强图像中食物的形状和质地。例如，松饼的形状不同于披萨的形状，肉酱的质地不同于土豆泥的质地。图像中的附加信息将进一步帮助区分食物及其成分。

在一些实施例中，食物制备***包括成分识别***108。在去除背景之后，成分识别***108对食物的图像进行处理以产生食物特征张量。根据成分识别***的要求可选地生成特征张量。对于基于规则的成分识别***，特征张量包括基于规则的成分识别***的各种参数的值。参数可选地包括颜色含量、饱和度、图像特征的尺寸、图像特征的形状、食物的整体形状等。在一些实施例中，成分识别***使用从大量标记图像或未标记的图像中学习出的机器学习模型来识别输入图像中捕获的食物的成分。对于这样的***，基于机器学习模型的要求准备特征张量。通过将图像输入到机器学习模型中来执行特征提取，并通过机器学习模型来进行分类。在一些实施例中，机器学习模型是深度神经网络模型，该深度神经网络模型通过大量隐藏层来处理图像。在一些实施例中，使用组合的混合***用于成分识别。

在一些实施例中，食物制备***102包括成分数据集成***110。成分数据集成***110检索所识别成分的营养数据，并对图像中捕获的食物生成营养评估。在一些实施例中，成分数据集成***110对已识别出的成分的食谱进行检索，并且基于食谱的要求可选地向用户提供烹饪指令或者自动调整烹饪时间和加热功率。在一些实施例中，成分数据集成***110检索包括已识别出的成分的多个食谱，并且基于不同食谱的营养信息的比较向用户提供推荐。

在一些实施例中，成分识别***108仅识别图像中捕获的食物中的前n个主要成分，并且成分数据集成***110检索包含已识别出的主要成分的食谱，并将食谱中的附加成分识别为食物中的其他成分。在一些实施例中，使用食谱中的附加成分以验证成分识别***的结果。例如，如果成分识别***产生成分的四种粗略类别作为食物的可能成分，则仅对前三种成分进行进一步处理，以在食物包含的这前三个成分类别中识别食物成分的具体子类别。第四个类别留下，未指定到可与其他三个类别相比的具体水平。利用食谱中的信息，如果食谱中的附加成分包括来自第四类别的成分，则无需使用成分识别模型就可以进一步指定第四类别，从而节省数据处理时间并提高识别准确度。在一些实施例中，还基于食谱来确定各种成分的数量信息。例如，使用从图像中识别出的主要成分的数量作为基础以确定无法从图像中直接识别的其他成分(例如，油、霜、香料、粉末、磨碎形式或无法识别的形式的成分等)，并基于通过图像分析识别的成分和根据检索到的食谱识别的附加成分来提供总体营养信息。

在一些实施例中，食物制备***102包括控制调整/推荐***112。控制调整/推荐***112检索针对已识别的成分和/或已检索的食谱的烹饪指令，以确定用于烹饪或再加热食物的最佳温度和加热功率。在一些实施例中，食物制备***102自动调节食物制备***102的加热参数。在一些实施例中，食物制备***102向用户提供烹饪控制调整建议，并让用户使用食物制备***102上的物理旋钮和按钮来手动调整烹饪参数。在一些实施例中，控制调整/推荐***112可选地基于用户的营养和口味偏好提供关于如何根据一种食谱与另一种食谱烹饪食物的推荐。

在一些实施例中，食物制备***在食物的烹饪或再加热期间继续捕获食物的图像，对食物成分的熟度和外观进行分级，并基于食物的当前外观自动调整烹饪温度和烹饪时间。在一些实施例中，在食物的图像指示食物已经被烹饪到恰当的熟度并且应从烹饪隔室中移除时，控制调整/推荐***112产生警报。

在一些实施例中，食物制备***102包括到用户的输入/输出(I/O)接口114，该到用户的I/O接口114可选地包括显示器、扬声器、键盘、触摸屏、语音输入输出接口等。到用户的I/O接口114用于向用户提供推荐、警报和营养信息，以及接收来自用户的控制指令。

在一些实施例中，食物制备***102包括到外部服务的I/O接口118。外部服务包括：用于食谱、成分识别模型的数据库服务；用于在服务器上进行成分识别的训练语料库等。

在一些实施例中，食物制备***102包括食物制备控件，该食物制备控件调整加热单元的功率输出、烹饪方法、烹饪温度、热分布、烹饪时间等。烹饪制备控件118包括对手动调整和控制调整/推荐***112的控制均响应的按钮、旋钮、触摸屏等。

在一些实施例中，食物制备***120包括食物制备结构，例如在底部具有加热线圈的烹饪容器、感应烹饪表面、具有食物支承表面(例如烤箱架)的烹饪箱。在一些实施例中，食物制备结构120中也包括转动和搅动机构，例如搅拌器、旋转搅拌机、风扇等，以转动或旋转食物，并在食物周围重新分配热量或加热单元。

在一些实施例中，食物制备***102还包括先前捕获的食物的图像或来自其他类似食物制备***的图像的图像数据库122。在一些实施例中，食物制备***102包括成分数据库，该成分数据库包括类别、子类别、特征、营养数据、烹饪方法、各种食物成分的图像和完成的菜肴。在一些实施例中，食物制备***102还包括通过成分可搜索的食谱数据库，并且包括针对不同食谱中的不同成分的数量信息。在一些实施例中，食物制备***102还包括营养数据库，该营养数据库包括针对不同食谱和成分的营养信息，以及不同的食谱和成分与用户的相关性(例如，过敏、药物用途等)。食物制备***102的其他组件基于食物制备***102的实际使用和用户反馈从数据库中检索信息，并且还在附加信息内更新数据库。

仅出于说明目的提供以上示例。下面相对于其他附图和图示阐述各个组件的功能的更多细节。可以理解，本文所述的一个或多个组件可以独立于其他组件使用。例如，在一些实施例中，成分识别***和成分数据集成***可以与原位图像获取***和图像处理***分开实现，并且可以用于基于先前从另一食物制备***捕获的图像来识别成分。

图2示出了根据一些实施例的许多示例性食物制备***。

如图2所示，吐司烤箱202、微波炉204、电转烤肉烤箱206和电灶台208各自包括相应的照相机(例如照相机210、212、230和232)，该照相机指向所讨论的食物制备***的食物支承表面(例如，吐司烤箱202中的烤箱架、微波炉204中的微波旋转板、电转烤肉烤箱206中的旋转杆、电灶台208中的烹饪表面)。照相机位置被选择为位于食物制备***(例如，吐司烤箱202、微波炉204、电转烤肉烤箱206)的烹饪隔室的内部，或者位于(例如，如在电灶台208的炉灶面234中的)食物支承表面的正上方。可以包括显示器(例如，显示器218和224)作为输出接口，以向用户提供关于在食物制备***内部被烹饪或加热的食物的信息和推荐。使用控件220、222、226、228和236来调整食物制备***的烹饪参数。

图3示出了根据一些实施例的食物制备***中的图像获取和图像预处理。如图3(a)所示，烤箱中的食物支承表面的基础图像302是在将食物放入到烤箱中之前在打开烤箱门紧之前捕获的或响应于烤箱门的打开而立即捕获的。该图像包括示出了烤箱壁的部分308和示出了烤箱架的部分310。该图像还包括示出了比萨饼石的部分312。在将食物(例如，比萨)放入并平放在比萨饼石上之后，从食物支承表面捕获的图像304包括图像302中的所有组件以及示出比萨的图像部分320。当将基础图像302用作过滤器以过滤掉图像304的背景时，获得了食物(例如，比萨)的原始图像306，该原始图像306具有干净的白色背景和示出食物的部分322。基于这些干净图像(如图3(c)所示)的成分识别比在随机条件下捕获的图像具有更高的识别保真度。在没有在基本相同的条件下捕获到适当的基础图像的情况下的背景去除效果不佳，并且可能产生使识别结果偏差的伪影。通过原位图像捕获和背景过滤，基于图像的成分识别效果更好。

图3(t-1至t-3)示出了在将食物(例如，比萨238)放入食物制备***(例如烤箱202)中并放置在食物支承表面(例如，烤箱架242上的披萨饼石240)上的同时由照相机210在不同时间点捕获的一系列图像。不同的图像显示从不同的距离和视角看的食物，并提供有关食物的质地、形状和颜色的附加信息以进行成分识别。在一些实施例中，使用相同的基础图像对图像进行过滤，并且将获得食物本身的部分图像。在一些实施例中，部分图像也用于成分识别。在一些实施例中，从部分图像中提取尺寸、形状数据，并将尺寸、形状数据与完整食物的图像信息结合使用以确定成分和成分数量。

图4A至图4C是根据一些实施例的食物成分识别的框图。

在图4A中，示出了成分识别***108的整体架构。成分识别***108的输入是在将食物放置在食物支承表面上时(以及可选地当将食物放入食物烹饪隔室到达食物支承表面之前时)在食物制备***的食物支承表面上捕获的图像。在一些实施例中，输入图像是去除了背景的已过滤图像。在一些实施例中，输入还包括通过其他传感器和输入接口获得的附加信息，例如光谱信息、形状、大小、重量信息等。在一些实施例中，用户选择的烹饪方法也在成分识别中用作一种输入。在一些实施例中，食物制备***的操作模式用作成分识别的输入。例如，当食物制备***以生食烹饪模式而不是再加热模式操作时，使用不同的粗略分类和识别方法。输入感测阶段402包括图像捕获、图像预处理、从外部数据库或内部数据库检索的辅助信息、从到用户的I/O接口接收的输入等。在特征提取阶段404中，产生特征张量(例如，特征向量v1、v2、......、vn的有序集合)。特征张量包括不同类型输入的特征向量，例如颜色直方图、形状特征、图像分割数据、权重数据、图像特征向量等。特征张量是基于分类方法的，该分类方法随后被用于对输入数据进行分类，并生成针对不同成分的概率分布。接下来，在总体分类阶段406中，将特征张量用作总体分类器中的输入，以确定食物中成分的总体成分类别。一旦确定了食物中成分的总体成分类别，就执行详细分类阶段408。在详细分类阶段，使用与识别的排序靠前的粗略成分类别对应的详细分类器以进一步确定构成食物的详细成分类别或成分。

图4B示出了针对食物的不同成分的分类器由多层分类器组成，将食物成分分类为多个第一级食物类别，例如水果、肉、蔬菜等的根级分类器412。在一些实施例中，根据所使用的烹饪方法(例如，在食物制备***的再加热模式下)，可以使用一组不同的第一级类别，例如烘焙食物、汤、翻炒、色拉、油炸食物、烧烤等，可以用作第一级食物成分类别，而不是原始成分的实际成分类别。每个第一级食物成分类别对应一个详细的第一级成分分类器。例如，在第一级分类器中，水果分类器414能够使用特征张量或输入特征张量的子部分来进一步对在食物中已经识别出的水果成分进行分类。肉分类器416能够使用特征张量或输入特征张量的子部分进一步对在食物中已经识别出的肉成分进行分类。蔬菜分类器418能够使用特征张量或特征张量的子部分进一步对在食物中已经识别出的蔬菜成分进行分类。换句话说，将分类器组织成树状结构，较小的分类器专注于仅对一类成分而不是所有类别的成分的分类。这样，计算的复杂度更小，并且不必在食物的分类中使用全部分类器，而仅触发最相关和最可能的分类器。而且，也可以减小特征张量的维度，因为与食物中不存在的成分相关的特征不需要被包括在特征张量中作为所选子级别分类器的输入。如图4B所示，一旦使用根级分类器412将食物分类为包括肉类项，则将特征张量输入到与肉类别416对应的第一级分类器420。使用与肉类别对应的第一级分类器420，成分识别***识别出食物包括两个第二级食物类别中的成分，即鱼肉类别422和牲畜肉类别424。

图4C示出了第二级食物成分类别中的每个类别还具有各自的第二级分类器，该第二级分类器可以采用输入特征张量或输入特征张量的一部分，并确定存在于食物中的一个或多个第三级成分类别或成分。如图4C所示，当将输入特征张量或输入特征张量的一部分输入426到详细分类器，例如，在详细分类阶段428中的鱼肉分类器430和牲畜肉分类器432时，鱼肉分类器430产生包括诸如鲑鱼436、鲈鱼438等的各种类型的鱼肉的食物的概率；牲畜肉分类器432生成包括诸如猪肉440、牛里脊肉442、鸡肉444等的各种牲畜肉的食物的概率。从而完成了对主要成分类别的成分识别。

可以通过基于规则的方法或基于学习的方法来实现食物识别方法和***。就基于学习的方法而言，本文提出了一种标记和存储方法。除标记方法之外，还通过分支架构实现树状结构识别***，如图4A至图4C所示。

对于标记方法，为了标记数据，在一些实施例中，生成成分类别列表，并且每个类别在成分类别列表中具有唯一的索引号。仅将前n个主要成分类别标记为输入特征向量。可以根据用户输入来确定数量n，使得在一个输入向量中会有n个参数。每个参数具有大小上限，该大小上限由成分类别列表确定。例如，如果预定义的成分类别列表中有255种成分类别，则每个参数有8位。如果仅标记了前三个主要成分，则每个标记会具有三个参数，因此向量的整体大小为24位。与用长度与所有成分类别的数量相同的矢量来标记食物相比，这将节省用于存储这类标记的计算机资源。

在一些实施例中，对于识别***，首先建立模型，该模型包含图4A所示的三个部分。第一部分是特征提取模型404，该特征提取模型404可以从图像中提取基本视觉特征。第二部分是总体分类器406，该总体分类器406可以将特征张量分类为一些总体类别。最后一部分是成分识别分支线或详细分类器，该成分识别分支线或详细分类器将识别食物中所含的成分的种类。详细分类器的识别过程会基于总体分类器的结果。

在一些实施例中，可以将输入视为具有混合信息类型的张量，可以使用不同类型的传感器，例如，彩色照相机、深度传感器、质谱仪和手动输入等来获得混合信息类型。

在一些实施例中，可以以基于规则的方法或基于学习的方法来实现特征提取组件，这意味着可以使用不同的特征。当输入由RGB照相机捕获时，提取组件会提取LBP、SIFT、颜色直方图、或者甚至深度学习网络特征图作为将用作后续分类器的输入的输出张量。

对于总体分类器，总体分类器加载由特征提取组件提取的张量并输出总体识别结果。总体识别意味着仅将输入张量分类为一个或多个总体类别。例如，苹果成分将被分类为水果，猪肉成分将被分类为肉。一些带有混合成分的菜肴将被分类为肉菜菜肴。对于一些复杂情况，总体分类器中会包括不止一个分类器来构建树模型，每个分类器上方都具有不同的总体杆。树模型的目的是随着特征张量从树模型的根部流向分支，逐步将图像从较高的总体类别识别为一些较低的具体类别。例如，如图4B所示，具有煎三文鱼的图像将首先被分类为肉。然后，图像将被传送到肉类别的相应分支中，并由下一阶段的分类器分类为鱼肉。此方法将在准确性和速度上增强***的性能。总体类别具有不同的分支链，每个链是相对于其他链的独立分类器。总体分类器的主要目的是获得用于下一阶段识别的总体信息。

对于详细分类阶段，其将识别食物中包含的具体成分。详细分类器也是多分类器结构。每个分类器都是独立的单元，并且仅可以识别一种类型的成分。换句话说，详细分类器可以识别食物中是否包含成分。当图像中包含成分时，单元将输出表征高概率的高分。单元的数量将由相应类别中成分的种类来确定。

可以通过包括诸如SVM、深度学习网络等的传统算法的不同方法来实现总体分类器和详细分类器中的所有分类单元。

对于整个识别***，当没有总体分类器将图像分类为特定的总体类别时，特征张量将被传输到每个详细分类器单元中，这非常耗时。为了提高整个***的速度，引入了树模型，使用总体分类器将任意输入识别为总体类别，然后将特征张量传输到基于总体类别的一些选定单元。例如，由于第二组件的输出显示菜肴图片中仅包含蔬菜的可能性很高，因此特征张量将仅被传输到其目的是对菜肴中包含的确切蔬菜进行分类的这些详细分类器单元，而跳过用于对肉类进行分类的单元。

在传统的“用于烹饪食谱检索的基于深度的成分识别”方法中，一种菜肴标记方法是为每种食物赋予一个零向量，并且向量的长度与成分列表数量相等，这意味着可以识别的成分的数量与向量中参数的数量相同。如果食物包含一种成分，则相应位置的矢量参数将设置为一，其他参数将设置为零。但是，这种标记方法与本文提出的方法相比需要更多的存储空间。全世界有成千上万种成分，传统方法在现实世界中将是棘手的。在本文提出的方法中，标记所需的存储空间取决于食物中包含的前n种主要成分的类别，并且更易于管理。

传统地，多任务网络将具有用于识别食物类别和用于识别成分的单独模型。但是在本文提出的方法中，每种类型的成分都有一个独立的分支线以预测该成分是否包含在食物中。因此，当前公开的***将更加灵活地向***中添加新种类的成分，而无需重建整个***和重新训练整个网络。

图5是根据一些实施例的利用成分识别的食物制备方法500的流程图。该方法在食物制备***(例如102)处执行，该食物制备***包括：食物支承平台(例如烤箱架、微波炉旋转板、电转烤肉箱的旋转叉、炉灶的表面等)，该食物支承平台被配置为支承食物(例如，披萨、炒菜等)；具有指向食物支承平台的视场的照相机(例如照相机210、212等)；一个或多个加热单元(例如，食物制备结构120)，一个或多个加热单元被配置为对放置在食物支承平台上的食物进行加热；以及用于控制照相机和一个或多个加热单元的食物制备控制单元(例如，控制调整推荐***112和食物制备控件118)，该食物制备控制单元包括一个或多个处理器和存储器。该方法包括：在食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得食物支承平台的一个或多个图像(502)；基于食物支承平台的一个或多个图像对第一食物进行成分识别(504)，包括：在总体分类器中对一个或多个图像中的相应图像的特征张量进行分类，以识别与第一食物对应的一个或多个第一级食物成分类别；在与一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中，对相应图像的特征张量进行分类，以识别对应于第一食物的对应第二级食物成分类别，其中，第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及根据已经执行的成分识别，调整所述一个或多个加热单元以加热所述第一食物(506)。

在一些实施例中，食物制备***监测照相机的视场中的内容，并且在监测期间检测照相机的视场中的变化，其中，触发照相机的图像捕获以获得食物支承平台的一个或多个图像包括响应于检测到照相机的视场中的变化而在一段时间内捕获一系列图像。

在一些实施例中，在基于食物支承平台的一个或多个图像对第一食物进行成分识别之前，食物制备***使用在将第一食物放置在食物支承平台上之前捕获的基础图像对食物支承平台的一个或多个图像中的每个相应图像进行过滤。

在一些实施例中，食物制备***在总体分类器中对一个或多个图像的相应图像的特征张量进行分类，以通过以下方式来识别与第一食物对应的一个或多个第一级食物成分类别：基于与已针对第一食物识别的一个或多个第一级食物成分类别中的每个类别相对应的各个食物量对一个或多个第一级食物成分类别进行排序；并且从一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别，以使用与预定数量的第一级食物成分类别中的每个类别相对应的各个详细分类器来进行分类。

在一些实施例中，食物制备***识别第一食物食谱，该第一食物食谱包括针对预定数量的第一级食物成分类别而识别的各个第二级食物成分类别；并且食物制备***基于第一食物食谱确定第一食物的附加成分，其中附加成分不在针对预定数量的第一级食物成分类别识别出的各个第二级食物成分类别中。

在一些实施例中，食物制备***基于针对预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于第一食物食谱识别的附加成分，确定第一食物的营养信息。

在一些实施例中，食物制备***识别第二食物食谱，该第二食物食谱包括针对预定数量的第一级食物成分类别而识别的各个第二级食物成分类别；食物制备***比较第一食物食谱和第二食物食谱的营养信息；食物制备***基于第一食物食谱和第二食物食谱的营养信息的比较，提供用于调整烹饪方法的推荐。

该方法和食物制备***的其他细节在本公开的其他部分中描述，并且为了简洁起见在此不再重复。应当理解，描述图5中的操作的特定顺序仅是示例性的，并不旨在指示所描述的顺序是可以执行操作的唯一顺序。本领域普通技术人员将认识到重新排序本文描述的操作的各种方式。另外，应当注意，关于本文描述的其他方法和/或过程的本文描述的其他过程的细节也可以类似的方式应用于上述方法500。

图6是根据一些实施例的食物制备***102的框图。食物制备***102包括一个或多个处理单元(CPU)602、一个或多个网络接口604、存储器606以及用于互连这些组件(有时称为芯片组)的一个或多个通信总线608。食物制备***102还包括用户接口610。用户接口610包括使得能够呈现媒体内容的一个或多个输出设备612，所述一个或多个输出设备612包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口610还包括包含便于用户输入的用户接口组件的一个或多个输入设备614，例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕获相机或其他输入按钮或控件。在一些实施例中，食物制备***102还包括传感器，该传感器感测食物制备***102的操作环境信息。传感器包括但不限于一个或多个热传感器、光传感器、一个或多个照相机、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，电皮肤电阻传感器、脉搏血氧仪等)、重量传感器、光谱仪和其他传感器。而且，食物制备***102包括食物制备操作单元626(例如，基于电、感应、气体、辐射等的加热装置)。存储器606包括非易失性存储器，例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备、或者一个或多个其他非易失性固态存储设备。可选地，存储器606包括远离一个或多个处理单元602的一个或多个存储设备。存储器606、或替代地存储器606内的非易失性存储器包括非易失性计算机可读存储介质。在一些实现方式中，存储器606或存储器606的非暂时性计算机可读存储介质存储以下程序、模块和数据结构、或者以下项的子集或超集：

操作***616，其包括用于处理各种基本***服务和用于执行硬件相关任务的过程；

网络通信模块618，其用于通过一个或多个网络接口604(有线或无线)连接到外部服务；

呈现模块620，其用于实现对信息的呈现；

输入处理模块622，其用于检测来自一个或多个输入设备614中的一个输入设备的一个或多个用户输入或交互，并解译检测到的输入或交互；

食物制备控制单元624，其控制食物制备***102，包括但不限于：用于控制一个或多个照相机和其他传感器的成像控制单元；图像处理***、成分识别***、成分数据集成***、控制调整和推荐***；以及用于执行本文阐述的其他功能的其他模块。

以上识别元素中的每个元素可以存储在一个或多个之前提到的存储设备中，并且对应于用于执行上述功能的一组指令。以上识别模块或程序(即，指令集)不需要实现为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各种子集可以在各种实现方式中被组合或以其他方式重新布置。在一些实现方式中，可选地，存储器606存储以上识别的模块和数据结构的子集。此外，可选地，存储器606存储以上未描述的附加模块和数据结构。

尽管以上描述了特定实施例，但是将理解，其并不旨在将本申请限制为这些特定实施例。相反，本申请包括在所附权利要求书的精神和范围内的替代、修改和等同物。阐述了许多具体细节以便提供对本文提出的主题的详尽理解。但是，对于本领域的普通技术人员而言，显然可以在没有这些具体细节的情况下实践本主题。在其他情况下，没有详细描述公知的方法、过程、组件和电路，以免不必要地使实施例的各方面不清楚。

Claims (17)

1.一种食物制备***，包括：

食物支承平台，所述食物支承平台被配置为支承食物；

照相机，所述照相机具有指向所述食物支承平台的视场；

一个或多个加热单元，所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热；以及

食物制备控制单元，所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元，所述食物制备控制单元包括一个或多个处理器和存储指令的存储器，所述指令当由所述一个或多个处理器执行时使所述处理器执行操作，所述操作包括：

在所述食物支承平台支承第一食物的同时，触发所述照相机的图像捕获以获得所述食物支承平台的一个或多个图像；

基于所述食物支承平台的所述一个或多个图像，对所述第一食物进行成分识别，包括：

在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别；以及

在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对所述相应图像的特征张量进行分类，以识别对应于所述第一食物的对应的第二级食物成分类别，其中，所述第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及

根据已经执行的成分识别，调整所述一个或多个加热单元以加热所述第一食物；其中，

所述总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别包括：

基于各个食物量对所述一个或多个第一级食物成分类别进行排序，所述各个食物量对应于已针对所述第一食物识别的所述一个或多个第一级食物成分类别中的每个第一级食物成分类别；以及

从所述一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别，以使用与所述预定数量的第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器来执行分类。

2.根据权利要求1所述的食物制备***，其中，所述操作包括：

监测所述照相机的视场中的内容；以及

在所述监测期间检测所述照相机的视场中的变化，其中，触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括：响应于检测到所述照相机的视场中的变化而在一段时间内捕获一系列图像。

3.根据权利要求2所述的食物制备***，其中，所述操作包括：

在基于所述食物支承平台的所述一个或多个图像对所述第一食物进行成分识别之前，使用在将所述第一食物放置在所述食物支承平台上之前捕获的基础图像来对所述食物支承平台的所述一个或多个图像中的每个相应图像进行过滤。

4.根据权利要求1所述的食物制备***，其中，所述操作还包括：

识别第一食物食谱，所述第一食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别；以及

基于所述第一食物食谱确定所述第一食物的附加成分，其中，所述附加成分不在针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别中。

5.根据权利要求4所述的食物制备***，其中，所述操作还包括：

基于针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于所述第一食物食谱识别的所述附加成分，确定所述第一食物的营养信息。

6.根据权利要求4所述的食物制备***，其中，所述操作还包括：

识别第二食物食谱，所述第二食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别；

比较所述第一食物食谱和所述第二食物食谱的营养信息；以及

根据对所述第一食物食谱和所述第二食物食谱的营养信息的比较，提供用于调整烹饪方法的推荐。

7.一种用于控制食物制备的方法，包括：

在食物制备***处执行操作，所述食物制备***包括：食物支承平台，所述食物支承平台被配置为支承食物；具有指向所述食物支承平台的视场的照相机；一个或多个加热单元，所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热；以及食物制备控制单元，所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元，所述食物制备控制单元包括存储器和一个或多个处理器，所述操作包括：

在所述食物支承平台支承第一食物的同时，触发所述照相机的图像捕获以获得所述食物支承平台的一个或多个图像；

基于所述食物支承平台的所述一个或多个图像，对所述第一食物进行成分识别，包括：

在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别；以及

在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对相应图像的特征张量进行分类，以识别与所述第一食物对应的第二级食物成分类别，其中，所述第二级食物成分类别是每个第一级食物成分类别的子类别；以及

根据已经执行的成分识别，调整所述一个或多个加热单元以加热所述第一食物；其中，

所述总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别包括：

基于各个食物量对所述一个或多个第一级食物成分类别进行排序，所述各个食物量对应于已针对所述第一食物识别的所述一个或多个第一级食物成分类别中的每个第一级食物成分类别；以及

从所述一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别，以使用与所述预定数量的第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器来执行分类。

8.根据权利要求7所述的方法，包括：

监测所述照相机的视场中的内容；以及

在所述监测期间检测所述照相机的视场中的变化，其中，触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括响应于检测到所述照相机的视场中的变化而在一段时间内捕获一系列图像。

9.根据权利要求8所述的方法，包括：

在基于所述食物支承平台的所述一个或多个图像对所述第一食物进行成分识别之前，使用在将所述第一食物放置在所述食物支承平台上之前捕获的基础图像对所述食物支承平台的所述一个或多个图像中的每个相应图像进行过滤。

10.根据权利要求7所述的方法，包括：

识别第一食物食谱，所述第一食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别；以及

基于所述第一食物食谱确定所述第一食物的附加成分，其中，所述附加成分不在针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别中。

11.根据权利要求10所述的方法，包括：

基于针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于所述第一食物食谱识别的所述附加成分，确定所述第一食物的营养信息。

12.根据权利要求10所述的方法，包括：

识别第二食物食谱，所述第二食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别；

比较所述第一食物食谱和所述第二食物食谱的营养信息；以及

基于对所述第一食物食谱和所述第二食物食谱的营养信息的比较，提供用于调整烹饪方法的推荐。

13.一种非暂时性计算机可读存储介质，其中：

所述计算机可读存储介质存储指令，所述指令在被食物制备***的一个或多个处理器执行时，使所述食物制备***执行操作，

所述食物制备***包括：

食物支承平台，所述食物支承平台被配置为支承食物；

照相机，所述照相机具有指向所述食物支承平台的视场；

一个或多个加热单元，所述一个或多个加热单元被配置为对放置在所述食物支承平台上的食物进行加热；以及

食物制备控制单元，所述食物制备控制单元用于控制所述照相机和所述一个或多个加热单元；以及

所述操作包括：

在所述食物支承平台支承第一食物的同时，触发照相机的图像捕获以获得所述食物支承平台的一个或多个图像；

基于所述食物支承平台的所述一个或多个图像，对所述第一食物进行成分识别，包括：

在总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别；以及

在与所述一个或多个第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器中对相应图像的特征张量进行分类，以识别对应于所述第一食物的对应的第二级食物成分类别，其中，所述第二级食物成分类别是所述每个第一级食物成分类别的子类别；以及

根据已经执行的成分识别，调整所述一个或多个加热单元以加热所述第一食物；其中，

所述总体分类器中对所述一个或多个图像中的相应图像的特征张量进行分类，以识别与所述第一食物对应的一个或多个第一级食物成分类别包括：

基于各个食物量对所述一个或多个第一级食物成分类别进行排序，所述各个食物量对应于已针对所述第一食物识别的所述一个或多个第一级食物成分类别中的每个第一级食物成分类别；以及

从所述一个或多个第一级食物成分类别中选择预定数量的第一级食物成分类别，以使用与所述预定数量的第一级食物成分类别中的每个第一级食物成分类别对应的各个详细分类器来执行分类。

14.根据权利要求13所述的计算机可读存储介质，其中，所述操作包括：

监测所述照相机的视场中的内容；以及

在所述监测期间检测所述照相机的视场中的变化，其中，触发所述照相机的图像捕获以获得所述食物支承平台的所述一个或多个图像包括：响应于检测到所述照相机的视场中的变化而在一段时间内捕获一系列图像。

15.根据权利要求14所述的计算机可读存储介质，其中，所述操作包括：

在基于所述食物支承平台的所述一个或多个图像对所述第一食物进行成分识别之前，使用在将所述第一食物放置在所述食物支承平台上之前捕获的基础图像对所述食物支承平台的所述一个或多个图像中的每个相应图像进行过滤。

16.根据权利要求13所述的计算机可读存储介质，其中，所述操作还包括：

识别第一食物食谱，所述第一食物食谱包括针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别；以及

基于所述第一食物食谱确定所述第一食物的附加成分，其中，所述附加成分不在针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别中。

17.根据权利要求16所述的计算机可读存储介质，其中，所述操作还包括：

基于针对所述预定数量的第一级食物成分类别识别的各个第二级食物成分类别和基于所述第一食物食谱识别的所述附加成分，确定所述第一食物的营养信息。

Images