CN110762943B - 物品的展示方法、装置以及家电设备 - Google Patents
物品的展示方法、装置以及家电设备 Download PDFInfo
- Publication number
- CN110762943B CN110762943B CN201810834839.3A CN201810834839A CN110762943B CN 110762943 B CN110762943 B CN 110762943B CN 201810834839 A CN201810834839 A CN 201810834839A CN 110762943 B CN110762943 B CN 110762943B
- Authority
- CN
- China
- Prior art keywords
- article
- image
- item
- model
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000003550 marker Substances 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 6
- 235000013305 food Nutrition 0.000 abstract description 19
- 241000220223 Fragaria Species 0.000 description 64
- 235000016623 Fragaria vesca Nutrition 0.000 description 60
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 60
- 244000061456 Solanum tuberosum Species 0.000 description 26
- 235000002595 Solanum tuberosum Nutrition 0.000 description 26
- 235000013372 meat Nutrition 0.000 description 25
- 239000000463 material Substances 0.000 description 9
- 235000009754 Vitis X bourquina Nutrition 0.000 description 5
- 235000012333 Vitis X labruscana Nutrition 0.000 description 5
- 240000006365 Vitis vinifera Species 0.000 description 5
- 235000014787 Vitis vinifera Nutrition 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 235000021012 strawberries Nutrition 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005406 washing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000012027 fruit salads Nutrition 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
- F25D29/003—Arrangement or mounting of control or safety devices for movable devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2500/00—Problems to be solved
- F25D2500/06—Stock management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明公开了一种物品的展示方法、装置以及家电设备。其中，该方法包括：获取设备的容纳空间中的物品图像；将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像；展示物品和/或物品的组成部分。本申请解决了随着冰箱内储存的食物的增多，用户容易忘记冰箱内储存的具体的位置，不方便用户查找的技术问题。
Description
技术领域
本发明涉及图像识别领域，具体而言，涉及一种物品的展示方法、装置以及家电设备。
背景技术
随着用户生活水平的提高，冰箱的应用越来越普及，用户在使用冰箱的过程中，在冰箱内存储各种类型的食材和食物，而且用户使用食材和食物时，经常会忘记冰箱内存储的物品的新鲜程度，造成了食物或食材的浪费；其次，随着冰箱内存储的食材和食物的增多，用户容易忘记食材和食物的具***置与具体数量，用户寻找所需食物或食材的时间较长，浪费了用户的时间。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种物品的展示方法、装置以及家电设备，以至少解决随着冰箱内储存的食物的增多，用户容易忘记冰箱内储存的具体的位置，不方便用户查找的技术问题。
根据本发明实施例的一个方面，提供了一种物品的展示方法，包括：获取设备的容纳空间中的物品图像；将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像；展示物品和/或物品的组成部分。
可选地，第一模型通过以下方式进行训练：将样本物品图像采用第一标记进行标记，得到第一标记图像；将样本物品图像进行拆分，得到多个子图像；对多个子图像中的物品采用第二标记进行标记，得到多个第二标记图像；利用第一标记图像和多个第二标记图像对第一模型进行训练。
可选地，第一模型包括多个区域模型；将物品图像输入至第一模型进行分析之前，方法还包括：将物品图像进行拆分，得到多个子图像；将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，包括：将多个子图像分别输入对应的区域模型进行分析，得到容纳空间中物品信息所对应物品的组成部分，其中，区域模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示所述物品的组成部分的标记以及样本物品图像；依据得到的物品的组成部分确定物品信息。
可选地，将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分之后，确定物品信息所对应物品在容纳空间中的位置信息；展示位置信息。
可选地，确定物品信息所对应物品在容纳空间中的位置信息，包括：将物品图像输入至第二模型进行分析，得到物品信息所对应物品在容纳空间中的位置信息，其中，第二模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本图像中的物品所在位置的标记，以及样本图像。
可选地，确定物品信息所对应物品在容纳空间中的位置信息之后，包括：将位置信息发送至移动终端。
可选地，在得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分之后，方法还包括：获取物品信息放入容纳空间的放置时间；确定放置时间与当前时间之间的时长；比较时长与物品信息对应的阈值；在时长大于阈值时，生成提示信息。
可选地，物品信息对应的阈值通过以下方式确定：确定物品信息的各个组成部分所对应的阈值；将各个组成部分所对应的阈值中的最小值作为物品信息对应的阈值。
根据本发明实施例的另一个方面，提供了一种物品的展示装置，包括：采集装置，用于获取设备的容纳空间中的物品图像；处理装置，将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像；展示装置，用于展示物品和/或物品的组成部分。
根据本发明实施例的另一个方面，提供了一种家电设备，包括：图像采集装置，用于获取设备的容纳空间中的物品图像；处理器，用于将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像；显示屏，用于展示物品和/或物品的组成部分。
根据本发明实施例的再一个方面，提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以上的物品的展示方法。
根据本发明实施例的再一个方面，提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行以上的物品的展示方法。
在本发明实施例中，通过获取设备的容纳空间中的物品图像；将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像；并展示物品和/或物品的组成部分。实现了对设备的容纳空间中的物品图像的识别以及物品位置的显示，进而解决了随着冰箱内储存的食物的增多，用户容易忘记冰箱内储存的具体的位置，不方便用户查找的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本申请实施例的另一种家电设备的结构示意图；
图2是根据本申请实施例的一种物品的展示方法的流程示意图；
图3是根据本申请实施例的一种物品的展示装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本申请实施例的一种家电设备的结构示意图。如图1所示，该家电设备包括：图像采集装置12、处理器14以及显示屏16，其中：
图像采集装置12，用于获取设备的容纳空间中的物品图像。
在一个可选的实施例中，设备可以为冰箱或洗衣机等。若设备为冰箱时，可在冰箱内设置多个摄像头，对冰箱内的画面进行拍摄，获取容纳空间，即冰箱内的物品的图像；物品可以为食材、水果、蛋糕等。图像采集装置12可以为在冰箱内设置的多个摄像头，并且，可对每个摄像头进行标记，例如将用于采集冰箱第1层的物品图像的摄像头标记为摄像头1，将用于采集冰箱第2层的物品图像的摄像头标记为摄像头2。
处理器14，用于将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像。
在一个可选的实施例中，当样本物品图像为草莓蛋糕的图像时，则该样本图像对应的数据中包括：用于指示草莓蛋糕的第一标记、用于分别指示草莓和蛋糕的第二标记，以及用于指示样本图像自身的标记。
第一模型通过以下方式进行训练：将样本物品图像采用第一标记进行标记，得到第一标记图像；将样本物品图像进行拆分，得到多个子图像；对多个子图像中的物品采用第二标记进行标记，得到多个第二标记图像。
在一个可选的实施例中，若样本物品图像为草莓蛋糕的图像，则将该草莓蛋糕标记为“草莓蛋糕”，得到第一标记图像。
将该草莓蛋糕图像拆分为多个子图像，即草莓的图像与蛋糕的图像。并将草莓的图像标记为“草莓”，将蛋糕的图像标记为“蛋糕”，标记为“草莓”的图像与标记为“蛋糕”的图像都为第二标记图像。
利用第一标记图像与第二标记图像对第一模型进行训练。
在一个可选的实施例中，第一模型通过以下方式进行训练：将样本物品图像采用第一标记进行标记，得到第一标记图像；将样本物品图像进行拆分，得到多个子图像；对多个子图像中的物品采用第二标记进行标记，得到多个第二标记图像。
在一个可选的实施例中，若样本物品图像为一盘土豆红烧肉的图像，则将该土豆红烧肉标记为“一盘土豆红烧肉”，得到第一标记图像。
将该土豆红烧肉图像拆分为多个子图像，即土豆块的图像与肉块的图像。并将土豆块的图像标记为“土豆块”，将肉块的图像标记为“肉块”，将盘子标记为“盘子”，标记为“土豆块”的图像、标记为“肉块”的图像以及标记为“盘子”的图像都为第二标记图像。
利用第一标记图像与第二标记图像对第一模型进行训练。
显示屏16，用于展示物品和/或物品的组成部分。
显示屏16可设置在冰箱的壳体外部。
如图2所示，本申请的一个实施例提供的物品展示方法至少包括步骤S202-S206：
步骤S202，获取设备的容纳空间中的物品图像。
在一个可选的实施例中，设备可以为冰箱或洗衣机等。若设备为冰箱时，可在冰箱内设置多个摄像头，对冰箱内的画面进行拍摄，获取容纳空间，即冰箱内的物品的图像；物品可以为食材、水果、蛋糕等。
步骤S204，将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分。
其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像；
在一个可选的实施例中，当样本物品图像为草莓蛋糕的图像时，则该样本图像对应的数据中包括：用于指示草莓蛋糕的第一标记、用于分别指示草莓和蛋糕的第二标记，以及用于指示样本图像自身的标记。
第一模型通过以下方式进行训练：将样本物品图像采用第一标记进行标记，得到第一标记图像；将样本物品图像进行拆分，得到多个子图像；对多个子图像中的物品采用第二标记进行标记，得到多个第二标记图像。
在一个可选的实施例中，若样本物品图像为草莓蛋糕的图像，则将该草莓蛋糕标记为“草莓蛋糕”，得到第一标记图像。
将该草莓蛋糕图像拆分为多个子图像，即草莓的图像与蛋糕的图像。并将草莓的图像标记为“草莓”，将蛋糕的图像标记为“蛋糕”，标记为“草莓”的图像与标记为“蛋糕”的图像都为第二标记图像。
利用第一标记图像与第二标记图像对第一模型进行训练。
在一个可选的实施例中，第一模型通过以下方式进行训练：将样本物品图像采用第一标记进行标记，得到第一标记图像；将样本物品图像进行拆分，得到多个子图像；对多个子图像中的物品采用第二标记进行标记，得到多个第二标记图像。
在一个可选的实施例中，若样本物品图像为一盘土豆红烧肉的图像，则将该盘土豆红烧肉标记为“一盘土豆红烧肉”，得到第一标记图像。
将该土豆红烧肉图像拆分为多个子图像，即土豆块的图像与肉块的图像。并将土豆块的图像标记为“土豆块”，将肉块的图像标记为“肉块”，将盘子标记为“盘子”，标记为“土豆块”的图像、标记为“肉块”的图像以及标记为“盘子”的图像都为第二标记图像。
利用第一标记图像与第二标记图像对第一模型进行训练。
在另一个可选的实施例中，将物品图像输入至第一模型进行分析之前，方法还包括：将物品图像进行拆分，得到多个子图像。其中，各个子图像可以为物品图像中物品的各个组成部分。
例如：冰箱内设备的摄像头拍摄到一副草莓蛋糕的图像，可将该草莓蛋糕的图像拆分为草莓图像和蛋糕图像。
将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，可以为将多个子图像分别输入对应的区域模型进行分析，得到容纳空间中物品信息所对应物品的组成部分。
第一模型包括多个区域模型，不同的区域模型可提前预设，可根据用于识别不同大小和/或不同形状的物品进行预设。例如：区域模型1用于识别类似草莓、葡萄大小的物品，区域模型2用于识别类似盘子大小的物品。其中，草莓、葡萄、盘子为物品的组成部分，例如草莓是草莓蛋糕的组成部分，葡萄是水果沙拉的组成部分，盘子是一盘土豆红烧肉的组成部分。
例如：当冰箱内的摄像头获取到一副图像之后，可根据相关算法对图像进行处理，从而获取到图像中包含的不同物品的边缘信息，根据不同物品的边缘信息，拆分为子图像，获取到草莓蛋糕图像之后，根据草莓蛋糕照片中草莓的边缘信息，以及蛋糕的边缘信息将草莓蛋糕图像拆分为子图像1(包含草莓的边缘信息的图像)与子图像2(包含蛋糕的边缘信息的图像)。其中，拆分规则也可以根据第一模型包括的各个区域模型所能识别物品的不同的大小和/或形状设定。例如：若区域模型中有可以识别葡萄串的区域模型，则不用将水果盘中的每一颗葡萄都拆分为独立的子图像，可将葡萄串整体作为一副独立的子图像。
当将获取到的物品图像拆分为多个子图像之后，分别将各个子图像输入对应的区域模型中进行识别，从而根据各个区域模型的识别结果，确定各个子图像的内容，即确定容纳空间中物品信息对应物品的组成部分。例如，获取到草莓蛋糕的图像之后，将拆分出的草莓的图像输入至上述的区域模型1，将拆分出的蛋糕的图像输入至上述的区域模型2。从而得到容纳空间中物品信息所对应物品的组成部分，例如：区域模型1和区域模型2分别输出“草莓”与“蛋糕”；依据得到的物品的组成部分确定物品信息，即根据“草莓”与“蛋糕”确定冰箱内容纳的该物品信息为“草莓蛋糕”。
其中，区域模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示物品的组成部分的标记以及样本物品图像。
在一个可选的实施例中，在获取设备的容纳空间中的物品图像之前，可以通过冰箱内安装的扫描设备对该物品进行三维扫描，通过物体的体积对物品进行预识别，或者通过对拍摄到的物品的颜色进行预识别。预识别过程可以对上述区域模型进行筛选，提高了物品识别的效率。
将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分之后，还可以确定物品信息所对应物品在容纳空间中的位置信息；展示位置信息，这样，可以方便用户快速查找到相应的物品。
在本申请的一些实施例中，可以通过以下方式确定物品信息所对应物品在容纳空间中的位置信息，但不限于此：将物品图像输入至第二模型进行分析，得到物品信息所对应物品在容纳空间中的位置信息，其中，第二模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本图像中的物品所在位置的标记，以及样本图像。其中，样本图像中的物品所在的位置可以为样本图像中的物品具***于整个冰箱中的第几层，或已知层的左侧或右侧或里侧或外侧。例如，样本图像中的其中一副图像为番茄位于冰箱第二层左侧，另一幅为土豆位于冰箱第三层的右侧。
另外，在一个可选的实施例中，可在冰箱内设置多个摄像头，对每个摄像头进行标记，例如将用于采集冰箱第一层的物品图像的摄像头标记为摄像头1，将用于采集冰箱第二层的物品图像的摄像头标记为摄像头2。根据拍摄物品图像的摄像头的标号确定物品图像拍摄的物品图像位于冰箱中的哪一层。
确定物品信息所对应物品在容纳空间中的位置信息之后，将位置信息发送至移动终端。
另外，在得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分之后，获取物品信息放入容纳空间的放置时间；确定放置时间与当前时间之间的时长；比较时长与物品信息对应的阈值；在时长大于阈值时，生成提示信息。物品信息对应的阈值通过以下方式确定：确定物品信息的各个组成部分所对应的阈值；将各个组成部分所对应的阈值中的最小值作为物品信息对应的阈值。
在一个可选的实施例中，当得到容纳空间中所容纳的物品信息为“草莓蛋糕”，该物品信息所对应物品的组成部分为“草莓”与“蛋糕”。当该草莓蛋糕放入冰箱时，冰箱自身的存储器记录草莓蛋糕放入冰箱的放置时间为2018年7月1日上午10点。其中，若草莓的保质期为3天，蛋糕的保质期为2.5天，则确定草莓蛋糕的保质期为2.5天。为避免草莓蛋糕过期，可将草莓蛋糕对应的阈值设置为2天，即48小时，冰箱在得到容纳空间中所容纳的物品信息为“草莓蛋糕”，以及该物品信息所对应物品的组成部分为“草莓”与“蛋糕”之后，若当前采集物品图像的时间为2018年7月2日10点，草莓蛋糕放置时间与当前时间的时长为24小时，24小时小于48小时，所以不生成提示信息。若当前采集物品图像的时间为2018年7月3日10点半，草莓蛋糕放置时间与当前时间的时长为48.5小时，48.5小时大于48小时，所以生成提示信息。生成提示信息可将该提示信息发送至移动终端，提醒草莓蛋糕快要过期，以使用户及时食用草莓蛋糕。
步骤S206，展示物品和/或物品的组成部分。
具体的，可以通过设置在冰箱壳体外部的显示屏对物品和/或物品的组成部分进行展示。
在本发明实施例中，通过获取设备的容纳空间中的物品图像；将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像；并展示物品和/或物品的组成部分。实现了对设备的容纳空间中的物品图像的识别以及物品位置的显示，进而解决了随着冰箱内储存的食物的增多，用户容易忘记冰箱内储存的具体的位置，不方便用户查找的技术问题。
图3是根据本申请实施例的一种物品的展示装置的结构示意图。如图3所示，该装置包括：采集装置32；处理装置34；展示装置36。其中：
采集装置32，用于获取设备的容纳空间中的物品图像；
在一个可选的实施例中，设备可以为冰箱或洗衣机等。若设备为冰箱时，可在冰箱内设置多个摄像头，对冰箱内的画面进行拍摄，获取容纳空间，即冰箱内的物品的图像；物品可以为食材、水果、蛋糕等。采集装置32可以为在冰箱内设置的多个摄像头，并且，可对每个摄像头进行标记，例如将用于采集冰箱第1层的物品图像的摄像头标记为摄像头1，将用于采集冰箱第2层的物品图像的摄像头标记为摄像头2。
处理装置34，将物品图像输入至第一模型进行分析，得到容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示物品的组成部分的第二标记以及样本物品图像。
在一个可选的实施例中，当样本物品图像为草莓蛋糕的图像时，则该样本图像对应的数据中包括：用于指示草莓蛋糕的第一标记、用于分别指示草莓和蛋糕的第二标记，以及用于指示样本图像自身的标记。
第一模型通过以下方式进行训练：将样本物品图像采用第一标记进行标记，得到第一标记图像；将样本物品图像进行拆分，得到多个子图像；对多个子图像中的物品采用第二标记进行标记，得到多个第二标记图像。
在一个可选的实施例中，若样本物品图像为草莓蛋糕的图像，则将该草莓蛋糕标记为“草莓蛋糕”，得到第一标记图像。
将该草莓蛋糕图像拆分为多个子图像，即草莓的图像与蛋糕的图像。并将草莓的图像标记为“草莓”，将蛋糕的图像标记为“蛋糕”，标记为“草莓”的图像与标记为“蛋糕”的图像都为第二标记图像。
利用第一标记图像与第二标记图像对第一模型进行训练。
在一个可选的实施例中，第一模型通过以下方式进行训练：将样本物品图像采用第一标记进行标记，得到第一标记图像；将样本物品图像进行拆分，得到多个子图像；对多个子图像中的物品采用第二标记进行标记，得到多个第二标记图像。
在一个可选的实施例中，若样本物品图像为一盘土豆红烧肉的图像，则将该土豆红烧肉标记为“一盘土豆红烧肉”，得到第一标记图像。
将该土豆红烧肉图像拆分为多个子图像，即土豆块的图像与肉块的图像。并将土豆块的图像标记为“土豆块”，将肉块的图像标记为“肉块”，将盘子标记为“盘子”，标记为“土豆块”的图像、标记为“肉块”的图像以及标记为“盘子”的图像都为第二标记图像。
利用第一标记图像与第二标记图像对第一模型进行训练。
展示装置36，用于展示物品和/或物品的组成部分。
展示装置36可以为设置在冰箱壳体上的显示器。
根据本发明实施例的再一个方面，提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以上所述的物品的展示方法。
根据本发明实施例的再一个方面，提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行以上所述的物品的展示方法。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种物品的展示方法，其特征在于，包括：
获取设备的容纳空间中的物品图像；
将所述物品图像输入至第一模型进行分析，得到所述容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，所述第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示所述物品的组成部分的第二标记以及所述样本物品图像；
展示所述物品和/或所述物品的组成部分；
所述第一模型包括多个区域模型；将所述物品图像输入至第一模型进行分析之前，所述方法还包括：将所述物品图像进行拆分，得到多个子图像；
将所述物品图像输入至第一模型进行分析，得到所述容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，包括：将所述多个子图像分别输入对应的区域模型进行分析，得到所述容纳空间中所述物品信息所对应物品的组成部分，其中，所述区域模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示所述物品的组成部分的标记以及所述样本物品图像；依据得到的物品的组成部分确定所述物品信息；
所述第一模型通过以下方式进行训练：将所述样本物品图像采用所述第一标记进行标记，得到第一标记图像；将所述样本物品图像进行拆分，得到多个子图像；对所述多个子图像中的物品采用所述第二标记进行标记，得到多个第二标记图像；利用所述第一标记图像和所述多个第二标记图像对所述第一模型进行训练。
2.根据权利要求1所述的方法，其特征在于，将所述物品图像输入至第一模型进行分析，得到所述容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分之后，所述方法还包括：
确定所述物品信息所对应物品在所述容纳空间中的位置信息；
展示所述位置信息。
3.根据权利要求2所述的方法，其特征在于，确定所述物品信息所对应物品在所述容纳空间中的位置信息，包括：
将所述物品图像输入至第二模型进行分析，得到所述物品信息所对应物品在所述容纳空间中的位置信息，其中，所述第二模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本图像中的物品所在位置的标记，以及所述样本图像。
4.根据权利要求2所述的方法，其特征在于，确定所述物品信息所对应物品在所述容纳空间中的位置信息之后，包括：
将所述位置信息发送至移动终端。
5.根据权利要求1所述的方法，其特征在于，在得到所述容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分之后，所述方法还包括：
获取所述物品信息放入所述容纳空间的放置时间；确定所述放置时间与当前时间之间的时长；比较所述时长与所述物品信息对应的阈值；在所述时长大于所述阈值时，生成提示信息。
6.根据权利要求5所述的方法，其特征在于，所述物品信息对应的阈值通过以下方式确定：
确定所述物品信息的各个组成部分所对应的阈值；将各个组成部分所对应的阈值中的最小值作为所述物品信息对应的阈值。
7.一种物品的展示装置，其特征在于，包括：
采集装置，用于获取设备的容纳空间中的物品图像；
处理装置，将所述物品图像输入至第一模型进行分析，得到所述容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，所述第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示所述物品的组成部分的第二标记以及所述样本物品图像；
展示装置，用于展示所述物品和/或所述物品的组成部分；
所述第一模型包括多个区域模型；所述装置还用于在将所述物品图像输入至第一模型进行分析之前，将所述物品图像进行拆分，得到多个子图像；
所述处理装置还用于将所述多个子图像分别输入对应的区域模型进行分析，得到所述容纳空间中所述物品信息所对应物品的组成部分，其中，所述区域模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示所述物品的组成部分的标记以及所述样本物品图像；依据得到的物品的组成部分确定所述物品信息；
所述第一模型通过以下方式进行训练：将所述样本物品图像采用所述第一标记进行标记，得到第一标记图像；将所述样本物品图像进行拆分，得到多个子图像；对所述多个子图像中的物品采用所述第二标记进行标记，得到多个第二标记图像；利用所述第一标记图像和所述多个第二标记图像对所述第一模型进行训练。
8.一种家电设备，其特征在于，包括：
图像采集装置，用于获取设备的容纳空间中的物品图像；
处理器，用于将所述物品图像输入至第一模型进行分析，得到所述容纳空间中所容纳的物品信息以及该物品信息所对应物品的组成部分，其中，所述第一模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示样本物品图像中的物品的第一标记、用于指示所述物品的组成部分的第二标记以及所述样本物品图像；
显示屏，用于展示所述物品和/或所述物品的组成部分；
所述第一模型包括多个区域模型；所述家电设备还用于在将所述物品图像输入至第一模型进行分析之前，将所述物品图像进行拆分，得到多个子图像；
所述处理器还用于将所述多个子图像分别输入对应的区域模型进行分析，得到所述容纳空间中所述物品信息所对应物品的组成部分，其中，所述区域模型为通过多组数据训练得到的，多组数据中的每组数据均包括：用于指示所述物品的组成部分的标记以及所述样本物品图像；依据得到的物品的组成部分确定所述物品信息；
所述第一模型通过以下方式进行训练：将所述样本物品图像采用所述第一标记进行标记，得到第一标记图像；将所述样本物品图像进行拆分，得到多个子图像；对所述多个子图像中的物品采用所述第二标记进行标记，得到多个第二标记图像；利用所述第一标记图像和所述多个第二标记图像对所述第一模型进行训练。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的物品的展示方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的物品的展示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810834839.3A CN110762943B (zh) | 2018-07-26 | 2018-07-26 | 物品的展示方法、装置以及家电设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810834839.3A CN110762943B (zh) | 2018-07-26 | 2018-07-26 | 物品的展示方法、装置以及家电设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110762943A CN110762943A (zh) | 2020-02-07 |
| CN110762943B true CN110762943B (zh) | 2020-11-10 |
Family
ID=69327412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810834839.3A Active CN110762943B (zh) | 2018-07-26 | 2018-07-26 | 物品的展示方法、装置以及家电设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110762943B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111998606B (zh) * | 2020-08-06 | 2022-04-05 | 厦门理工学院 | 一种提升储物柜使用性的信息处理方法和装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104061749B (zh) * | 2013-03-18 | 2017-02-08 | 海尔集团公司 | 一种冰箱内食品存储位置记录方法、装置、终端及冰箱 |
| US9626639B2 (en) * | 2014-09-26 | 2017-04-18 | Shyp, Inc. | Image processing and item transport |
| CN105868797B (zh) * | 2015-01-22 | 2019-09-13 | 清华大学 | 识别景物类型的网络参数训练方法、景物类型识别方法及装置 |
| CN105160332A (zh) * | 2015-09-30 | 2015-12-16 | 刘毅 | 利用高光谱成像技术实现糖尿病食物摄入热量管理的方法 |
| KR102545768B1 (ko) * | 2015-11-11 | 2023-06-21 | 삼성전자주식회사 | 메타 데이터를 처리하기 위한 장치 및 방법 |
| CN105740820B (zh) * | 2016-01-29 | 2020-01-03 | 魏志宇 | 辨别用图片的获取方法和辨别用图片的获取*** |
| US20170284733A1 (en) * | 2016-03-29 | 2017-10-05 | Teco Electric & Machinery Co., Ltd. | Remote food management system |
| US9990135B2 (en) * | 2016-09-23 | 2018-06-05 | Apple Inc. | Providing memory usage analysis by attributing memory allocations to development components |
| CN107133650A (zh) * | 2017-05-10 | 2017-09-05 | 合肥华凌股份有限公司 | 冰箱的食物识别方法、装置及冰箱 |
| CN107293098A (zh) * | 2017-06-20 | 2017-10-24 | 北京京东尚科信息技术有限公司 | 过期提醒的方法、装置、终端和计算机可读介质 |
-
2018
- 2018-07-26 CN CN201810834839.3A patent/CN110762943B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110762943A (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107863138B (zh) | 菜谱生成装置和方法 | |
| US20120179665A1 (en) | Health monitoring system | |
| CN111080493B (zh) | 一种菜品信息识别方法、装置及菜品自助结算*** | |
| CN110969047A (zh) | 识别食材的方法、装置和冰箱 | |
| CN102538379A (zh) | 一种冰箱食品信息管理装置及方法 | |
| CN111895720A (zh) | 智能冰箱的信息交互方法、***及智能冰箱 | |
| CN111584035A (zh) | 一种菜谱的推荐方法及装置和冰箱 | |
| CN110858279A (zh) | 食材识别方法及装置 | |
| CN107918798B (zh) | 食物处理方法及装置 | |
| CN112017754A (zh) | 菜谱推荐方法、装置、吸油烟机及存储介质 | |
| CN110762943B (zh) | 物品的展示方法、装置以及家电设备 | |
| CN112019800A (zh) | 图像分享方法、装置、吸油烟机及存储介质 | |
| CN111323551A (zh) | 食材新鲜度的提示方法、装置及家电设备 | |
| CN112419432A (zh) | 冰箱内食物的控制方法和装置、电子设备和存储介质 | |
| CN113239780A (zh) | 食材的确定方法、装置、电子设备、冰箱及存储介质 | |
| CN109784131B (zh) | 对象检测方法、装置、存储介质及处理器 | |
| CN109636268B (zh) | 一种货品监控***、方法、装置、电子设备和存储设备 | |
| CN111104952A (zh) | 识别食物种类的方法、***及装置、冰箱 | |
| CN112183914B (zh) | 一种菜项的评价方法及装置 | |
| CN211854585U (zh) | 一种具有食物智能识别和定位功能的冰箱 | |
| CN116206296A (zh) | 一种食材录入方法及设备 | |
| CN113566487A (zh) | 食材贮存***、冰箱、食材管理方法以及智能冰箱*** | |
| CN111178274A (zh) | 信息提示方法和装置、计算机可读的存储介质及电子装置 | |
| CN117078278B (zh) | 高原食品制备标签处理方法及设备 | |
| CN116452881B (zh) | 食品营养价值检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |