CN110598678A - 烹饪设备的控制方法、控制装置、烹饪设备及存储介质 - Google Patents

烹饪设备的控制方法、控制装置、烹饪设备及存储介质 Download PDF

Info

Publication number
CN110598678A
CN110598678A CN201910963365.7A CN201910963365A CN110598678A CN 110598678 A CN110598678 A CN 110598678A CN 201910963365 A CN201910963365 A CN 201910963365A CN 110598678 A CN110598678 A CN 110598678A
Authority
CN
China
Prior art keywords
container
image
food
cooking
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910963365.7A
Other languages
English (en)
Inventor
胡子坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Guangdong Midea Kitchen Appliances Manufacturing Co Ltd
Original Assignee
Midea Group Co Ltd
Guangdong Midea Kitchen Appliances Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd, Guangdong Midea Kitchen Appliances Manufacturing Co Ltd filed Critical Midea Group Co Ltd
Priority to CN201910963365.7A priority Critical patent/CN110598678A/zh
Publication of CN110598678A publication Critical patent/CN110598678A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01GWEIGHING
    • G01G15/00Arrangements for check-weighing of materials dispensed into removable containers
    • G01G15/02Arrangements for check-weighing of materials dispensed into removable containers with provision for adding or removing a make-up quantity of material to obtain the desired net weight
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提出了一种烹饪设备的控制方法、控制装置、烹饪设备及存储介质。其中,烹饪设备的控制方法包括:获取烹饪设备的烹饪腔内的图像;识别图像,获取烹饪腔内的容器的体积和容器的材质。本发明的技术方案针对烹饪设备内的容器进行图像识别,能够自动有效地提取出容器的特征,提高容器识别的可靠性和准确率。

Description

烹饪设备的控制方法、控制装置、烹饪设备及存储介质
技术领域
本发明涉及烹饪设备技术领域,具体而言,涉及一种烹饪设备的控制方法、控制装置、烹饪设备及存储介质。
背景技术
相关技术中图像识别方案大部分是基于深度学习训练的模型,通过大数据训练得出所识别的物体,针对的都是一个较大且具体的模型。其存在以下缺点:(1)由于针对的都是较大模型,所以算法复杂,需要在线联网处理,交互时间长;(2)由于针对的都是具体模型,所以需要针对特定的区域环境,利用其它识别模型来识别烹饪设备内容器时可靠性和准确率都会有影响。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此,本发明的一个方面在于提出了一种烹饪设备的控制方法。
本发明的另一个方面在于提出了一种烹饪设备的控制装置。
本发明的再一个方面在于提出了一种烹饪设备。
本发明的又一个方面在于提出了一种计算机可读存储介质。
有鉴于此,根据本发明的一个方面,提出了一种烹饪设备的控制方法,包括:获取烹饪设备的烹饪腔内的图像;识别图像,获取烹饪腔内的容器的体积和容器的材质。
本发明提供了烹饪设备的控制方法,烹饪设备的烹饪腔内放置有容器,获取烹饪设备烹饪腔内的图像,该图像中显示有容器,对该图像进行识别进而得到容器的体积和容器的材质。本发明的技术方案针对烹饪设备内的容器进行图像识别,能够自动有效地提取出容器的特征,提高容器识别的可靠性和准确率。
根据本发明的上述烹饪设备的控制方法,还可以具有以下技术特征:
在上述技术方案中,还包括:获取容器和容器内盛装的食物的总重量;根据容器的材质获取容器的密度,以及利用容器的密度和容器的体积计算容器的重量;根据总重量和容器的重量计算食物的重量。
在该技术方案中,通过提取出的容器的特征获取容器重量,进而根据测量到的容器与食物的总重量计算出食物的重量,更加有利于单独获取食物的真实重量,进一步提高智能识别食物真实重量的精度。
在上述任一技术方案中,识别图像,获取烹饪腔内的容器的体积和容器的材质的步骤,具体包括:利用已存储的空烹饪腔图像对图像进行背景过滤;识别图像,得到容器的中心点、容器的半径和容器的颜色;获取容器的高度;根据容器的中心点、容器的半径计算容器的面积,以及根据容器的面积和容器的高度计算容器的体积;根据容器的颜色和已存储的容器使用信息确定容器的材质。
在该技术方案中,预先保存空烹饪腔图像,利用图片相减算法将图像中的背景与容器进行分离,有效地将背景过滤。对去掉背景后的图像进行识别,获取容器的中心点、容器的半径和容器的颜色,再获取容器的高度,根据容器的中心点、容器的半径和容器的高度计算出容器的体积。根据容器的颜色和已存储的容器使用信息确定容器的材质,已存储的容器使用信息是用户使用习惯信息,通过将两个信息结合提高获取容器材质的精确度。
需要说明的是,容器高度可以通过预存历史高度数据得到,也可以通过设置在烹饪腔侧壁上的图像采集装置采集到的图像获取。
在上述任一技术方案中,在识别图像,得到容器的中心点、容器的半径和容器的颜色的步骤之后,还包括:对图像中容器内盛装的食物进行间隙填充处理;识别间隙填充处理后的图像,得到食物的中心点和食物的半径;根据食物的中心点和食物的半径计算食物轮廓信息;根据食物轮廓信息,将食物的图像从图像中剔除。
在该技术方案中,若容器内盛装有食物,去掉背景后的图像中则显示容器和食物,进一步地对该图像中的食物进行去除。首先对食物进行预处理,填充空隙,考虑到食物的形状各不相同,有切片或切条的,摆放也各异,食物之间可能有空隙,在提取食物的时候会造成影响,必须先对图像进行腐蚀处理,利用腐蚀算法将食物之间的间隙进行填充。然后,识别出背景特征点和前景特征点,根据容器的中心点和容器的半径将容器边缘识别出来,容器边缘即是背景特征点,识别图像得到食物的中心点和食物的半径,根据食物的中心点和食物的半径计算食物轮廓信息,食物轮廓信息即为前景特征点。最后,利用OneCut算法抠图,去掉食物,获得仅剩容器的图像,通过识别仅剩容器的图像对容器的中心点、容器的半径和容器的颜色进行再次验证,提高识别的精确性。
在上述任一技术方案中,在识别图像,得到容器的中心点、容器的半径和容器的颜色的步骤之前,还包括:对图像中的容器进行修正。
在该技术方案中,对图像中的容器进行修正,例如,通过容器边缘附近的图片颜色对容器边缘进行修正,或者利用容器的大致形状对容器边缘进行修正,进一步获取准确的容器的信息。
在上述任一技术方案中,在识别图像,获取烹饪腔内的容器的体积和容器的材质的步骤之前,还包括:对图像进行去噪点处理以及去灯光干扰处理。
在该技术方案中,在有灯光的环境下,先利用白平衡算法对图像处理,减少灯光误差所带来的影响;再利用高斯滤波算法对图像处理,减少摄像头电路引入的图像噪点。
根据本发明的另一个方面,提出了一种烹饪设备的控制装置,包括存储器和处理器,存储器中存储有计算机程序,处理器用于执行计算机程序时实现:获取烹饪设备的烹饪腔内的图像;识别图像,获取烹饪腔内的容器的体积和容器的材质。
本发明提供了烹饪设备的控制装置,烹饪设备的烹饪腔内放置有容器,处理器获取烹饪设备烹饪腔内的图像,该图像中显示有容器,对该图像进行识别进而得到容器的体积和容器的材质。本发明的技术方案针对烹饪设备内的容器进行图像识别,能够自动有效地提取出容器的特征,提高容器识别的可靠性和准确率。
根据本发明的上述烹饪设备的控制装置,还可以具有以下技术特征:
在上述技术方案中,处理器用于执行计算机程序时还实现:获取容器和容器内盛装的食物的总重量;根据容器的材质获取容器的密度,以及利用容器的密度和容器的体积计算容器的重量;根据总重量和容器的重量计算食物的重量。
在该技术方案中,通过提取出的容器的特征获取容器重量,进而根据测量到的容器与食物的总重量计算出食物的重量,更加有利于单独获取食物的真实重量,进一步提高智能识别食物真实重量的精度。
在上述任一技术方案中,处理器识别图像,获取烹饪腔内的容器的体积和容器的材质,具体包括:利用已存储的空烹饪腔图像对图像进行背景过滤;识别图像,得到容器的中心点、容器的半径和容器的颜色;获取容器的高度;根据容器的中心点、容器的半径计算容器的面积,以及根据容器的面积和容器的高度计算容器的体积;根据容器的颜色和已存储的容器使用信息确定容器的材质。
在该技术方案中,预先保存空烹饪腔图像,利用图片相减算法将图像中的背景与容器进行分离,有效地将背景过滤。对去掉背景后的图像进行识别,获取容器的中心点、容器的半径和容器的颜色,再获取容器的高度,根据容器的中心点、容器的半径和容器的高度计算出容器的体积。根据容器的颜色和已存储的容器使用信息确定容器的材质,已存储的容器使用信息是用户使用习惯信息,通过将两个信息结合提高获取容器材质的精确度。
需要说明的是,容器高度可以通过预存历史高度数据得到,也可以通过设置在烹饪腔侧壁上的图像采集装置采集到的图像获取。
在上述任一技术方案中,处理器用于执行计算机程序时还实现:对图像中容器内盛装的食物进行间隙填充处理;识别间隙填充处理后的图像,得到食物的中心点和食物的半径;根据食物的中心点和食物的半径计算食物轮廓信息;根据食物轮廓信息,将食物的图像从图像中剔除。
在该技术方案中,若容器内盛装有食物,去掉背景后的图像中则显示容器和食物,进一步地对该图像中的食物进行去除。首先对食物进行预处理,填充空隙,考虑到食物的形状各不相同,有切片或切条的,摆放也各异,食物之间可能有空隙,在提取食物的时候会造成影响,必须先对图像进行腐蚀处理,利用腐蚀算法将食物之间的间隙进行填充。然后,识别出背景特征点和前景特征点,根据容器的中心点和容器的半径将容器边缘识别出来,容器边缘即是背景特征点,识别图像得到食物的中心点和食物的半径,根据食物的中心点和食物的半径计算食物轮廓信息,食物轮廓信息即为前景特征点。最后,利用OneCut算法抠图,去掉食物,获得仅剩容器的图像,通过识别仅剩容器的图像对容器的中心点、容器的半径和容器的颜色进行再次验证,提高识别的精确性。
在上述任一技术方案中,处理器用于执行计算机程序时还实现:对图像中的容器进行修正。
在该技术方案中,对图像中的容器进行修正,例如,通过容器边缘附近的图片颜色对容器边缘进行修正,或者利用容器的大致形状对容器边缘进行修正,进一步获取准确的容器的信息。
在上述任一技术方案中,处理器用于执行计算机程序时还实现:对图像进行去噪点处理以及去灯光干扰处理。
在该技术方案中,在有灯光的环境下,先利用白平衡算法对图像处理,减少灯光误差所带来的影响;再利用高斯滤波算法对图像处理,减少摄像头电路引入的图像噪点。
根据本发明的再一个方面,提出了一种烹饪设备,包括:图像采集装置,图像采集装置被配置为采集烹饪腔内的图像;以及如上述任一技术方案的烹饪设备的控制装置,烹饪设备的控制装置与图像采集装置相连接。
本发明提供的烹饪设备,烹饪腔内设置有图像采集装置和如上述任一技术方案的烹饪设备的控制装置,因此,能够实现上述任一技术方案的烹饪设备的控制装置的全部有益的技术效果,不再赘述。
在上述技术方案中,还包括:重量测量装置,重量测量装置被配置为测量容器和食物的总重量。
在该技术方案中,通过提取出的容器的特征获取容器重量,进而根据测量到的容器与食物的总重量计算出食物的重量,更加有利于单独获取食物的真实重量,进一步提高智能识别食物真实重量的精度。
根据本发明的又一个方面,提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一技术方案的烹饪设备的控制方法的步骤。
本发明提供的计算机可读存储介质,计算机程序被处理器执行时实现如上述任一技术方案的烹饪设备的控制方法的步骤,因此该计算机可读存储介质包括上述任一技术方案的烹饪设备的控制方法的全部有益效果。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示出了本发明的第一个实施例的烹饪设备容器的识别方法的流程示意图;
图2示出了本发明的第二个实施例的烹饪设备容器的识别方法的流程示意图;
图3示出了本发明的第三个实施例的烹饪设备容器的识别方法的流程示意图;
图4示出了本发明的第四个实施例的烹饪设备容器的识别方法的流程示意图;
图5示出了本发明的第五个实施例的烹饪设备容器的识别方法的流程示意图;
图6示出了本发明的第六个实施例的烹饪设备容器的识别方法的流程示意图;
图7示出了本发明的一个实施例的烹饪设备的控制装置的示意框图;
图8示出了本发明的一个实施例的烹饪设备的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例,提出一种烹饪设备的控制方法,通过以下实施例进行详细说明。
实施例一,图1示出了本发明的第一个实施例的烹饪设备的控制方法的流程示意图。其中,该方法包括:
步骤102,获取烹饪设备的烹饪腔内的图像;
步骤104,识别图像,获取烹饪腔内的容器的体积和容器的材质。
本发明提供了烹饪设备的控制方法,烹饪设备的烹饪腔内放置有容器,获取烹饪设备烹饪腔内的图像,该图像中显示有容器,对该图像进行识别进而得到容器的体积和容器的材质。本发明的技术方案针对烹饪设备内的容器进行图像识别,能够自动有效地提取出容器的特征,提高容器识别的可靠性和准确率。
步骤104,识别图像,获取烹饪腔内的容器的体积和容器的材质的步骤,具体包括:利用已存储的空烹饪腔图像对图像进行背景过滤;识别图像,得到容器的中心点、容器的半径和容器的颜色;获取容器的高度;根据容器的中心点、容器的半径计算容器的面积,以及根据容器的面积和容器的高度计算容器的体积;根据容器的颜色和已存储的容器使用信息确定容器的材质。
在该实施例中,预先保存空烹饪腔图像,利用图片相减算法将图像中的背景与容器进行分离,有效地将背景过滤。对去掉背景后的图像进行识别,获取容器的中心点、容器的半径和容器的颜色,再获取容器的高度,根据容器的中心点、容器的半径和容器的高度计算出容器的体积。根据容器的颜色和已存储的容器使用信息确定容器的材质,已存储的容器使用信息是用户使用习惯信息,通过将两个信息结合提高获取容器材质的精确度。
需要说明的是,容器高度可以通过预存历史高度数据得到,也可以通过设置在烹饪腔侧壁上的图像采集装置采集到的图像获取。
实施例二,图2示出了本发明的第二个实施例的烹饪设备的控制方法的流程示意图。其中,该方法包括:
步骤202,获取烹饪设备的烹饪腔内的图像;
步骤204,识别图像,获取烹饪腔内的容器的体积和容器的材质;
步骤206,获取容器和容器内盛装的食物的总重量;
步骤208,根据容器的材质获取容器的密度,以及利用容器的密度和容器的体积计算容器的重量;
步骤210,根据总重量和容器的重量计算食物的重量。
在该实施例中,通过提取出的容器的特征获取容器重量,进而根据测量到的容器与食物的总重量计算出食物的重量,更加有利于单独获取食物的真实重量,进一步提高智能识别食物真实重量的精度。
实施例三,图3示出了本发明的第三个实施例的烹饪设备的控制方法的流程示意图。其中,该方法包括:
步骤302,获取烹饪设备的烹饪腔内的图像;
步骤304,利用已存储的空烹饪腔图像对图像进行背景过滤;
步骤306,对图像中的容器进行修正。例如,通过容器边缘附近的图片颜色对容器边缘进行修正,或者利用容器的大致形状对容器边缘进行修正,进一步获取准确的容器的信息;
步骤308,识别图像,得到容器的中心点、容器的半径和容器的颜色;获取容器的高度;根据容器的中心点、容器的半径计算容器的面积,以及根据容器的面积和容器的高度计算容器的体积;根据容器的颜色和已存储的容器使用信息确定容器的材质。
需要说明的是,在步骤308后还可以包括:获取容器和容器内盛装的食物的总重量;根据容器的材质获取容器的密度,以及利用容器的密度和容器的体积计算容器的重量;根据总重量和容器的重量计算食物的重量。
实施例四,图4示出了本发明的第四个实施例的烹饪设备的控制方法的流程示意图。其中,该方法包括:
步骤402,获取烹饪设备的烹饪腔内的图像;
步骤404,对图像进行去噪点处理以及去灯光干扰处理。在有灯光的环境下,先利用白平衡算法对图像处理,减少灯光误差所带来的影响;再利用高斯滤波算法对图像处理,减少摄像头电路引入的图像噪点;
步骤406,利用已存储的空烹饪腔图像对图像进行背景过滤;
步骤408,对图像中的容器进行修正。例如,通过容器边缘附近的图片颜色对容器边缘进行修正,或者利用容器的大致形状对容器边缘进行修正,进一步获取准确的容器的信息;
步骤410,识别图像,得到容器的中心点、容器的半径和容器的颜色;获取容器的高度;根据容器的中心点、容器的半径计算容器的面积,以及根据容器的面积和容器的高度计算容器的体积;根据容器的颜色和已存储的容器使用信息确定容器的材质。
需要说明的是,在步骤410后还可以包括:获取容器和容器内盛装的食物的总重量;根据容器的材质获取容器的密度,以及利用容器的密度和容器的体积计算容器的重量;根据总重量和容器的重量计算食物的重量。
实施例五,图5示出了本发明的第五个实施例的烹饪设备的控制方法的流程示意图。其中,该方法包括:
步骤502,获取烹饪设备的烹饪腔内的图像;
步骤504,对图像进行去噪点处理以及去灯光干扰处理。在有灯光的环境下,先利用白平衡算法对图像处理,减少灯光误差所带来的影响;再利用高斯滤波算法对图像处理,减少摄像头电路引入的图像噪点;
步骤506,利用已存储的空烹饪腔图像对图像进行背景过滤;
步骤508,对图像中的容器进行修正。例如,通过容器边缘附近的图片颜色对容器边缘进行修正,或者利用容器的大致形状对容器边缘进行修正,进一步获取准确的容器的信息;
步骤510,识别图像,得到容器的中心点、容器的半径;
步骤512,对图像中容器内盛装的食物进行间隙填充处理;识别间隙填充处理后的图像,得到食物的中心点和食物的半径;根据食物的中心点和食物的半径计算食物轮廓信息;根据食物轮廓信息、容器的中心点和容器的半径,将食物的图像从图像中剔除;
步骤514,识别图像重新获取中心点、容器的半径以及获取容器的颜色;
步骤516,获取容器的高度;根据容器的中心点、容器的半径计算容器的面积,以及根据容器的面积和容器的高度计算容器的体积;根据容器的颜色和已存储的容器使用信息确定容器的材质。
在该实施例中,若容器内盛装有食物,去掉背景后的图像中则显示容器和食物,进一步地对该图像中的食物进行去除。首先对食物进行预处理,填充空隙,考虑到食物的形状各不相同,有切片或切条的,摆放也各异,食物之间可能有空隙,在提取食物的时候会造成影响,必须先对图像进行腐蚀处理,利用腐蚀算法将食物之间的间隙进行填充。然后,识别出背景特征点和前景特征点,根据容器的中心点和容器的半径将容器边缘识别出来,容器边缘即是背景特征点,识别图像得到食物的中心点和食物的半径,根据食物的中心点和食物的半径计算食物轮廓信息,食物轮廓信息即为前景特征点。最后,利用OneCut算法抠图,去掉食物,获得仅剩容器的图像,通过识别仅剩容器的图像对容器的中心点、容器的半径和容器的颜色进行再次验证,提高识别的精确性。
需要说明的是,在步骤516后还可以包括:获取容器和容器内盛装的食物的总重量;根据容器的材质获取容器的密度,以及利用容器的密度和容器的体积计算容器的重量;根据总重量和容器的重量计算食物的重量。
实施例六,提出了一种烹饪设备容器的识别方法,实现在烹饪设备内部提取容器特征,包括但不限于形状,大小,颜色,材质。可供后续使用,例如,提取出容器特征,获取容器重量,再配合重量感应器获取容器和食物的总重量,进而对食物重量进行修正,可以提高重量识别精度。以下对该实施例涉及到的图像处理算法进行介绍:
(1)背景过滤算法,预先采集一张没放食物的腔体图片,再利用像素相减算法,对图片所有像素进行处理,过滤掉背景,得出容器和食物。
(2)容器识别算法,基于OneCut算法,但是传统的OneCut算法,需要通过人工交互,给出图像的前景点和背景特征点,在此基础上实现抠图,提取目标物,由于需要人工介入交互,实用性不高。本实施例在OneCut抠图算法的基础上,结合腔体特征,用户使用习惯等因素,不需要人工干预,自动算出图像的前景特征点和背景特征点,从而能自动有效地提取容器轮廓。
(3)高斯滤波算法,高斯滤波是一种线性平滑滤波,对目标图像进行信号的平滑处理,减少摄像头电路引入的图像噪点,提高去背景的准确度。
(4)腐蚀算法,腐蚀是一种消除边界点使边界向内部收缩的过程,用来消除小且无意义的物体。由于食物形状不一,有切片的或切条的,摆放也各异,摆在容器上时会有空隙,通过腐蚀算法预处理,可以有效填充空隙,进一步提高提取前景特征点的准确率。
(5)白平衡算法,白平衡是一种对图像色温进行调整校准的算法,能准确还原图片色温。由于烹饪设备的烹饪腔内的灯光环境会存在误差,并随着灯管的消耗可能会导致颜色的差异,所以需要利用白平衡算法降低由于背景灯光因素引起的图像失真的影响。
(6)容器边缘修正算法,通过容器识别算法初步估算出容器边缘后,对边缘附近的图像信息进行相似性判断,对边缘进行进一步修正,完成整个容器边缘提取过程。
利用上述所描述的图像处理算法,将算法有机组合和修正,对在特定环境下(如微波炉腔体内)的图像进行自动分割,去掉环境背景和食物,从而实现提取容器图像。
图6示出了本发明的第六个实施例的烹饪设备容器的识别方法的流程示意图。其中,该方法包括:
步骤602,预先保存空腔体图片。由于腔体环境是固定的,所以可以对腔体环境特征进行提前处理。首先启动微波炉,在有灯光的环境下,先利用白平衡算法处理,减少灯光误差所带来的影响;再利用高斯滤波算法,减少摄像头电路引入的图像噪点,随后拍下空腔体的照片。
步骤604,获取装有食物的腔体图片。腔体放入盛有食物的盘子后获取图片。
步骤606,高斯滤波去噪点。利用高斯滤波算法处理图片,减少图像噪点。
步骤608,白平衡去灯光干扰。利用白平衡算法处理图片,减少灯光对图像的干扰。
步骤610,利用像素相减算法将背景和装有食物的盘子分离。利用像素相减法将腔体的环境进行过滤,通过该步骤,可以有效地将背景过滤,分离出只剩盘子和食物的图像。
步骤612,对食物进行预处理,填充空隙。考虑到食物的形状各不相同,有切片的或切条的,摆放也各异,食物之间可能有空隙,在提取食物的时候会造成影响,必须先对图像进行腐蚀处理,利用腐蚀算法,将食物之间的间隙进行填充。
步骤614,识别出ONECUT算法所需要的背景特征点。填充后,考虑到现在常用的盘子主要是椭圆形,食物摆放位置习惯主要是放在盘子中间。结合上述用户习惯,先假定盘子形状为椭圆形,通过算法,计算出盘子中心,并利用椭圆计算公式,可以算出盘子的长半径和短半径,这样就可以将盘子边缘识别出来,盘子边缘即是OneCut算法所要输入的背景特征点。
步骤616,识别出ONECUT算法所需要的前景特征点。考虑到用户习惯是将食物放在盘子中间,利用该习惯,结合盘子圆心,给出一个合理的半径值,即可以识别出前景特征点。
步骤618,OneCut算法裁剪出盘子。利用OneCut算抠图,去掉食物裁剪出盘子。
步骤620,边缘修正。利用盘子边缘的图片信息,对盘子的边缘进行匹配修正,进一步获取准确盘子的边缘信息。
步骤622,获取盘子特征。通过边缘信息和盘子中心点进行盘子的面积计算,并设定盘子的合适高度,即可计算出盘子体积。可根据历史数据设定盘子的合适高度,也可以通过安装在腔体侧边的摄像头拍摄图像获取盘子高度。利用盘子颜色,结合用户使用习惯,可以推断出盘子材质。
实施例七,将摄像头模组安装在微波炉内(该安装位置需要减少图片阴影,与微波炉灯管安装在同一水平面可以有效减少阴影面积),摄像头模组与关门通过软件控制联动,微波炉关门即拍摄图片。
出厂设置:微波炉在出厂前上电,利用软件控制摄像头模组对空腔体内进行拍照,经过白平衡算法和高斯算法预处理后,保存空腔体图片到摄像头模组,完成出厂设置。
用户使用:设备通电后,摄像头模组启动;用户将装有食物的盘子放入烹饪设备,关上门,摄像头模组自动拍照。拍照后,结合烹饪设备容器的识别方法,提取出盘子形状和材质。根据盘子形状和材质,推算出盘子重量,结合重量传感器测量到的盘子和食物的总重量,得出食物重量。
本发明第二方面的实施例,提出了一种烹饪设备的控制装置,图7示出了本发明的一个实施例的烹饪设备的控制装置700的示意框图。其中,该烹饪设备的控制装置700包括:
存储器702和处理器704,存储器702中存储有计算机程序,处理器704用于执行计算机程序时实现:获取烹饪设备的烹饪腔内的图像;识别图像,获取烹饪腔内的容器的体积和容器的材质。
本发明提供了烹饪设备的控制装置700,烹饪设备的烹饪腔内放置有容器,处理器704获取烹饪设备烹饪腔内的图像,该图像中显示有容器,对该图像进行识别进而得到容器的体积和容器的材质。本发明的技术方案针对烹饪设备内的容器进行图像识别,能够自动有效地提取出容器的特征,提高容器识别的可靠性和准确率。
在上述实施例中,处理器704用于执行计算机程序时还实现:获取容器和容器内盛装的食物的总重量;根据容器的材质获取容器的密度,以及利用容器的密度和容器的体积计算容器的重量;根据总重量和容器的重量计算食物的重量。
在该实施例中,通过提取出的容器的特征获取容器重量,进而根据测量到的容器与食物的总重量计算出食物的重量,更加有利于单独获取食物的真实重量,进一步提高智能识别食物真实重量的精度。
在上述任一实施例中,处理器704识别图像,获取烹饪腔内的容器的体积和容器的材质,具体包括:利用已存储的空烹饪腔图像对图像进行背景过滤;识别图像,得到容器的中心点、容器的半径和容器的颜色;获取容器的高度;根据容器的中心点、容器的半径计算容器的面积,以及根据容器的面积和容器的高度计算容器的体积;根据容器的颜色和已存储的容器使用信息确定容器的材质。
在该实施例中,预先保存空烹饪腔图像,利用图片相减算法将图像中的背景与容器进行分离,有效地将背景过滤。对去掉背景后的图像进行识别,获取容器的中心点、容器的半径和容器的颜色,再获取容器的高度,根据容器的中心点、容器的半径和容器的高度计算出容器的体积。根据容器的颜色和已存储的容器使用信息确定容器的材质,已存储的容器使用信息是用户使用习惯信息,通过将两个信息结合提高获取容器材质的精确度。
需要说明的是,容器高度可以通过预存历史高度数据得到,也可以通过设置在烹饪腔侧壁上的图像采集装置采集到的图像获取。
在上述任一实施例中,处理器704用于执行计算机程序时还实现:对图像中容器内盛装的食物进行间隙填充处理;识别间隙填充处理后的图像,得到食物的中心点和食物的半径;根据食物的中心点和食物的半径计算食物轮廓信息;根据食物轮廓信息,将食物的图像从图像中剔除。
在该实施例中,若容器内盛装有食物,去掉背景后的图像中则显示容器和食物,进一步地对该图像中的食物进行去除。首先对食物进行预处理,填充空隙,考虑到食物的形状各不相同,有切片或切条的,摆放也各异,食物之间可能有空隙,在提取食物的时候会造成影响,必须先对图像进行腐蚀处理,利用腐蚀算法将食物之间的间隙进行填充。然后,识别出背景特征点和前景特征点,根据容器的中心点和容器的半径将容器边缘识别出来,容器边缘即是背景特征点,识别图像得到食物的中心点和食物的半径,根据食物的中心点和食物的半径计算食物轮廓信息,食物轮廓信息即为前景特征点。最后,利用OneCut算法抠图,去掉食物,获得仅剩容器的图像,通过识别仅剩容器的图像对容器的中心点、容器的半径和容器的颜色进行再次验证,提高识别的精确性。
在上述任一实施例中,处理器704用于执行计算机程序时还实现:对图像中的容器进行修正。
在该实施例中,对图像中的容器进行修正,例如,通过容器边缘附近的图片颜色对容器边缘进行修正,或者利用容器的大致形状对容器边缘进行修正,进一步获取准确的容器的信息。
在上述任一实施例中,处理器704用于执行计算机程序时还实现:对图像进行去噪点处理以及去灯光干扰处理。
在该实施例中,在有灯光的环境下,先利用白平衡算法对图像处理,减少灯光误差所带来的影响;再利用高斯滤波算法对图像处理,减少摄像头电路引入的图像噪点。
本发明第三方面的实施例,提出了一种烹饪设备,图8示出了本发明的一个实施例的烹饪设备800的示意框图。其中,该烹饪设备800包括:
图像采集装置802,图像采集装置802被配置为采集烹饪腔内的图像;以及如上述任一实施例的烹饪设备的控制装置700,烹饪设备的控制装置700与图像采集装置802相连接。
本发明提供的烹饪设备800,烹饪腔内设置有图像采集装置802和如上述任一实施例的烹饪设备的控制装置700,因此,能够实现上述任一实施例的烹饪设备的控制装置700的全部有益的技术效果,不再赘述。
在上述实施例中,还包括:重量测量装置804,重量测量装置804被配置为测量容器和食物的总重量。
在该实施例中,通过提取出的容器的特征获取容器重量,进而根据测量到的容器与食物的总重量计算出食物的重量,更加有利于单独获取食物的真实重量,进一步提高智能识别食物真实重量的精度。
本发明第四方面的实施例,提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一实施例的烹饪设备的控制方法的步骤。
本发明提供的计算机可读存储介质,计算机程序被处理器执行时实现如上述任一实施例的烹饪设备的控制方法的步骤,因此该计算机可读存储介质包括上述任一实施例的烹饪设备的控制方法的全部有益效果。
在本说明书的描述中,术语“第一”、“第二”仅用于描述的目的,而不能理解为指示或暗示相对重要性,除非另有明确的规定和限定;术语“连接”、“安装”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种烹饪设备的控制方法,其特征在于,包括:
获取所述烹饪设备的烹饪腔内的图像;
识别所述图像,获取所述烹饪腔内的容器的体积和所述容器的材质。
2.根据权利要求1所述的烹饪设备的控制方法,其特征在于,还包括:
获取所述容器和所述容器内盛装的食物的总重量;
根据所述容器的材质获取所述容器的密度,以及利用所述容器的密度和所述容器的体积计算所述容器的重量;
根据所述总重量和所述容器的重量计算所述食物的重量。
3.根据权利要求1所述的烹饪设备的控制方法,其特征在于,识别所述图像,获取所述烹饪腔内的容器的体积和所述容器的材质的步骤,具体包括:
利用已存储的空烹饪腔图像对所述图像进行背景过滤;
识别所述图像,得到所述容器的中心点、所述容器的半径和所述容器的颜色;
获取所述容器的高度;
根据所述容器的中心点、所述容器的半径计算所述容器的面积,以及根据所述容器的面积和所述容器的高度计算所述容器的体积;
根据所述容器的颜色和已存储的容器使用信息确定所述容器的材质。
4.根据权利要求3所述的烹饪设备的控制方法,其特征在于,在识别所述图像,得到所述容器的中心点、所述容器的半径和所述容器的颜色的步骤之后,还包括:
对所述图像中所述容器内盛装的食物进行间隙填充处理;
识别所述间隙填充处理后的所述图像,得到所述食物的中心点和所述食物的半径;
根据所述食物的中心点和所述食物的半径计算食物轮廓信息;
根据所述食物轮廓信息,将所述食物的图像从所述图像中剔除。
5.根据权利要求3所述的烹饪设备的控制方法,其特征在于,在识别所述图像,得到所述容器的中心点、所述容器的半径和所述容器的颜色的步骤之前,还包括:
对所述图像中的所述容器进行修正。
6.根据权利要求1至4中任一项所述的烹饪设备的控制方法,其特征在于,在识别所述图像,获取所述烹饪腔内的容器的体积和所述容器的材质的步骤之前,还包括:
对所述图像进行去噪点处理以及去灯光干扰处理。
7.一种烹饪设备的控制装置,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序时实现:
获取所述烹饪设备的烹饪腔内的图像;
识别所述图像,获取所述烹饪腔内的容器的体积和所述容器的材质。
8.根据权利要求7所述的烹饪设备的控制装置,其特征在于,所述处理器用于执行所述计算机程序时还实现:
获取所述容器和所述容器内盛装的食物的总重量;
根据所述容器的材质获取所述容器的密度,以及利用所述容器的密度和所述容器的体积计算所述容器的重量;
根据所述总重量和所述容器的重量计算所述食物的重量。
9.根据权利要求7所述的烹饪设备的控制装置,其特征在于,所述处理器识别所述图像,获取所述烹饪腔内的容器的体积和所述容器的材质,具体包括:
利用已存储的空烹饪腔图像对所述图像进行背景过滤;
识别所述图像,得到所述容器的中心点、所述容器的半径和所述容器的颜色;
获取所述容器的高度;
根据所述容器的中心点、所述容器的半径计算所述容器的面积,以及根据所述容器的面积和所述容器的高度计算所述容器的体积;
根据所述容器的颜色和已存储的容器使用信息确定所述容器的材质。
10.根据权利要求9所述的烹饪设备的控制装置,其特征在于,所述处理器用于执行所述计算机程序时还实现:
对所述图像中所述容器内盛装的食物进行间隙填充处理;
识别所述间隙填充处理后的所述图像,得到所述食物的中心点和所述食物的半径;
根据所述食物的中心点和所述食物的半径计算食物轮廓信息;
根据所述食物轮廓信息,将所述食物的图像从所述图像中剔除。
11.根据权利要求9所述的烹饪设备的控制装置,其特征在于,所述处理器用于执行所述计算机程序时还实现:
对所述图像中的所述容器进行修正。
12.根据权利要求7至11中任一项所述的烹饪设备的控制装置,其特征在于,所述处理器用于执行所述计算机程序时还实现:
对所述图像进行去噪点处理以及去灯光干扰处理。
13.一种烹饪设备,其特征在于,包括:
图像采集装置,所述图像采集装置被配置为采集所述烹饪腔内的图像;以及
如权利要求7至12中任一项所述的烹饪设备的控制装置,所述烹饪设备的控制装置与所述图像采集装置相连接。
14.根据权利要求13所述的烹饪设备,其特征在于,还包括:
重量测量装置,所述重量测量装置被配置为测量容器和食物的总重量。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的烹饪设备的控制方法的步骤。
CN201910963365.7A 2019-10-11 2019-10-11 烹饪设备的控制方法、控制装置、烹饪设备及存储介质 Pending CN110598678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910963365.7A CN110598678A (zh) 2019-10-11 2019-10-11 烹饪设备的控制方法、控制装置、烹饪设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910963365.7A CN110598678A (zh) 2019-10-11 2019-10-11 烹饪设备的控制方法、控制装置、烹饪设备及存储介质

Publications (1)

Publication Number Publication Date
CN110598678A true CN110598678A (zh) 2019-12-20

Family

ID=68866457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910963365.7A Pending CN110598678A (zh) 2019-10-11 2019-10-11 烹饪设备的控制方法、控制装置、烹饪设备及存储介质

Country Status (1)

Country Link
CN (1) CN110598678A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113349645A (zh) * 2020-03-05 2021-09-07 佛山市云米电器科技有限公司 烤箱内部物品图像的获取方法、烤箱、烤箱***、烘烤设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013188298A (ja) * 2012-03-13 2013-09-26 Asahi Kasei Home Products Kk 電子レンジ調理用蓋材
CN103347111A (zh) * 2013-07-27 2013-10-09 青岛歌尔声学科技有限公司 具有尺寸和重量估测功能的智能移动电子设备
US20140220196A1 (en) * 2013-02-06 2014-08-07 Restaurant Technology, Inc. Temperature Controlled Cooking Device, Control System, and Method
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN106372198A (zh) * 2016-08-31 2017-02-01 乐视控股(北京)有限公司 一种基于图像识别技术的数据提取方法及其移动终端
CN107944391A (zh) * 2017-11-24 2018-04-20 广东美的厨房电器制造有限公司 一种食物重量的确定方法、装置及存储介质
CN108140328A (zh) * 2015-09-09 2018-06-08 菲特利公司 利用食物图像识别来用于营养分析的***和方法
CN108171722A (zh) * 2017-12-26 2018-06-15 广东美的厨房电器制造有限公司 图像提取方法、装置和烹饪器具
CN109753977A (zh) * 2017-11-01 2019-05-14 菜鸟智能物流控股有限公司 物品尺寸信息的测量方法、终端、服务器及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013188298A (ja) * 2012-03-13 2013-09-26 Asahi Kasei Home Products Kk 電子レンジ調理用蓋材
US20140220196A1 (en) * 2013-02-06 2014-08-07 Restaurant Technology, Inc. Temperature Controlled Cooking Device, Control System, and Method
CN103347111A (zh) * 2013-07-27 2013-10-09 青岛歌尔声学科技有限公司 具有尺寸和重量估测功能的智能移动电子设备
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN108140328A (zh) * 2015-09-09 2018-06-08 菲特利公司 利用食物图像识别来用于营养分析的***和方法
CN106372198A (zh) * 2016-08-31 2017-02-01 乐视控股(北京)有限公司 一种基于图像识别技术的数据提取方法及其移动终端
CN109753977A (zh) * 2017-11-01 2019-05-14 菜鸟智能物流控股有限公司 物品尺寸信息的测量方法、终端、服务器及***
CN107944391A (zh) * 2017-11-24 2018-04-20 广东美的厨房电器制造有限公司 一种食物重量的确定方法、装置及存储介质
CN108171722A (zh) * 2017-12-26 2018-06-15 广东美的厨房电器制造有限公司 图像提取方法、装置和烹饪器具

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113349645A (zh) * 2020-03-05 2021-09-07 佛山市云米电器科技有限公司 烤箱内部物品图像的获取方法、烤箱、烤箱***、烘烤设备及存储介质

Similar Documents

Publication Publication Date Title
EP3132380B1 (en) Method for estimating a quantity of a blood component in a fluid canister
CN106030653B (zh) 用于生成高动态范围图像的图像处理***和图像处理方法
CN110378946B (zh) 深度图处理方法、装置以及电子设备
CN108229475B (zh) 车辆跟踪方法、***、计算机设备及可读存储介质
US8483480B2 (en) Method and system for factoring an illumination image
CN110400338B (zh) 深度图处理方法、装置和电子设备
CN107231521B (zh) 一种仪表读数识别用相机自动定位方法
CN109658447B (zh) 基于边缘细节保持的夜间图像去雾方法
US9396411B2 (en) Method and system for generating intrinsic images using a single reflectance technique
CN111161295B (zh) 一种菜品图像背景剥离方法
CN108171722B (zh) 图像提取方法、装置和烹饪器具
CN109084350A (zh) 一种具滤光功能视觉检测模块的油烟机及油烟浓度检测方法
CN111340749A (zh) 图像质量的检测方法、装置、设备及存储介质
CN112784640A (zh) 一种菜谱制作方法、装置及炒菜机
CN108805144A (zh) 基于形态学矫正的弹孔识别方法及***、报靶设备
CN114332079A (zh) 基于图像处理的塑料餐盒裂缝检测方法、装置及介质
CN110598678A (zh) 烹饪设备的控制方法、控制装置、烹饪设备及存储介质
CN109028230A (zh) 具手势控制视觉检测功能的炉具及油烟浓度检测方法
CN115211578A (zh) 烘烤控制方法、装置、烘烤设备和存储介质
CN113518182A (zh) 一种基于树莓派的黄瓜表型特征测量方法
JP6833483B2 (ja) 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置
CN116645418A (zh) 基于2d和3d相机的屏幕按钮检测方法、装置及其相关介质
CN109028225A (zh) 一种带固定式视觉检测***的油烟机及油烟浓度检测方法
CN105323647B (zh) 电视观看环境的光线强度的检测方法和装置与智能电视
CN209229817U (zh) 一种带防震式视觉检测模块的油烟机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination