CN113468910A - 物品管理方法、装置及智能冰箱 - Google Patents
物品管理方法、装置及智能冰箱 Download PDFInfo
- Publication number
- CN113468910A CN113468910A CN202010236472.2A CN202010236472A CN113468910A CN 113468910 A CN113468910 A CN 113468910A CN 202010236472 A CN202010236472 A CN 202010236472A CN 113468910 A CN113468910 A CN 113468910A
- Authority
- CN
- China
- Prior art keywords
- article
- user
- item
- code scanning
- actual type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000009471 action Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 27
- 230000006399 behavior Effects 0.000 description 32
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 239000000463 material Substances 0.000 description 15
- 235000013305 food Nutrition 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000008267 milk Substances 0.000 description 3
- 210000004080 milk Anatomy 0.000 description 3
- 235000013336 milk Nutrition 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本申请提供一种物品管理方法、装置及智能冰箱，该方法包括：采集用户对物品存储设备中的物品管理时的图像序列，所述图像序列的图像中包括用户的手部图像区域；对所述手部图像区域进行目标跟踪，得到所述用户对所述物品的管理行为以及所述用户对所述物品是否执行扫码操作；根据所述用户对所述物品是否执行扫码操作，确定所述物品的实际种类；推送提示信息并更新所述物品存储设备的当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。使得用户管理物品时的操作过程得到极大简化，进而极大提升用户的体验。
Description
技术领域
本申请涉及智能家电技术，尤其涉及一种物品管理方法、装置及智能冰箱。
背景技术
随着智能电器技术的不断发展，出现了智能冰箱。与传统的冰箱相比，智能冰箱利用设置在冰箱上的摄像头、条码扫描模块、语音采集模块、显示屏等部件，帮助用户进行食材存入、食材取出等食材管理过程，以及，向用户提供食材加工方式查询等。
现有技术，智能冰箱上可以设置条码扫码扫描模块，智能冰箱基于冰箱上的条码扫描模块扫描食材的条码进行食材管理。具体的，用户在向智能冰箱存入食材之前，首先通过语音或者界面操作等方式触发智能冰箱的条码扫描模块启动工作，由条码扫描模块扫描出存入的食材的信息并完成食材存入过程。相应的，用户从智能冰箱取出某个食材之前，首先通过语音或者界面操作等方式触发条码扫描模块启动工作，由条码扫描模块扫描出取出的食材的信息并完成食材取出过程。
但是，现有技术的方法会可能导致食材管理的操作过程繁琐，影响用户的使用体验。
发明内容
本申请提供一种物品管理方法、装置及智能冰箱，用于解决现有技术中食材管理过程繁琐影响用户体验的问题。
第一方面，本申请提供一种物品管理方法，包括：
采集用户对物品存储设备中的物品管理时的图像序列，所述图像序列的图像中包括用户的手部图像区域以及物品图像区域；
对所述手部图像区域进行目标跟踪，得到所述用户对所述物品的管理行为以及所述用户对所述物品是否执行扫码操作，所述管理行为包括将所述物品存入所述物品存储设备或从所述物品存储设备取出所述物品；
根据所述用户对所述物品是否执行扫码操作，确定所述物品的实际种类；
推送提示信息并更新所述物品存储设备的当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。
第二方面，本申请提供一种物品管理装置，包括：
处理模块，用于采集用户对物品存储设备中的物品管理时的图像序列，所述图像序列的图像中包括用户的手部图像区域以及物品图像区域；以及，
对所述手部图像区域进行目标跟踪，得到所述用户对所述物品的管理行为以及所述用户对所述物品是否执行扫码操作，所述管理行为包括将所述物品存入所述物品存储设备或从所述物品存储设备取出所述物品；以及，
根据所述用户对所述物品是否执行扫码操作，确定所述物品的实际种类；
推送模块，用于推送提示信息并更新所述物品存储设备的当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。
第三方面，本申请提供一种智能冰箱，包括：
摄像头，所述摄像头位于所述智能冰箱的顶部，所述摄像头用于采集用户对智能冰箱中的物品管理时的图像；条码扫码器，所述条码扫描器位于所述摄像头视野范围内；以及，处理器，所述处理器，用于根据所述摄像头所采集的图像识别用户的物品管理行为以及用户是否执行扫码操作，并根据用户是否执行扫码操作选择基于图像识别方式识别物品的实际种类，和/或，启动所述条码扫码器，以条码识别方式识别物品的实际种类，并推送提示信息以及更新当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。
第四方面，本申请提供一种物品存储设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。
第五方面，本申请提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法。
本申请提供的物品管理方法、装置及智能冰箱，通过采集用户管理物品时的图像并进行目标跟踪，可以自动识别出用户的管理行为以及用户是否执行扫码操作，并根据用户是否执行扫码操作使用相应的方法自动识别出用户管理的物品的实际种类，再向用户推送本次物品管理的信息以及更新当前已存物品集合。在该过程中，用户无需执行任何额外操作，即可完成物品管理并查看物品管理的结果，因此，使得用户管理物品时的操作过程得到极大简化，进而极大提升用户的体验。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例涉及的物品存储设备的一种示例性的正视结构图；
图1b为本申请实施例涉及的物品存储设备的一种示例性的侧视结构图；
图2为本申请实施例提供的物品管理方法的流程示意图；
图3为本申请实施例提供的物品管理方法的流程示意图；
图4为根据操作结果与用户进行交互并更新当前已存物品集合的流程示意图；
图5为存入成功时的界面示例图；
图6为取出失败时的界面示例图；
图7为用户存入物品时使用第一种方式识别物品实际种类的流程示意图；
图8为用户取出物品时使用第一种方式识别物品实际种类的流程示意图；
图9为用户存入物品时使用第二种方式识别物品实际种类的流程示意图；
图10为用户取出物品时使用第二种方式识别物品实际种类的流程示意图；
图11为利用目标跟踪得到管理行为以及用户是否执行扫码操作的过程示意图；
图12a为去子动作的识别示例图；
图12b为回子动作的识别示例图；
图12c为停留子动作的识别示例图；
图13为本申请实施例提供的一种物品管理装置的模块结构图；
图14为本申请实施例提供的一种物品存储设备1400的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例应用于用户使用物品存储设备管理物品的场景，该物品存储设备例如可以是智能冰箱、智能冰柜等，用户管理物品包括用户将物品存入物品存储设备以及用户从物品存储设备中取出物品。本申请实施例中，用户管理物品时，物品存储设备利用安装在物品存储设备上的摄像头采集用户执行存入或取出操作时的图像，并利用本申请实施例的方法，选择基于图像识别方式进行物品管理，和/或，启动物品存储设备上的条码扫描器以条码识别方式进行物品管理。具体包括：在用户存入物品时，将识别到的物品信息推送给用户，并在用户确认之后更新当前已有物品集合；以及，在用户取出物品时，判断取出操作的结果是否成功，并推送相应的提示信息，进而根据用户的响应信息更新当前已有物品集合。
图1a为本申请实施例涉及的物品存储设备的一种示例性的正视结构图，图1b为本申请实施例涉及的物品存储设备的一种示例性的侧视结构图，如图1a和图1b所示，以物品存储设备为智能冰箱为例，智能冰箱的顶部设置摄像头，该摄像头的视野朝下。条码扫描器位于上下冷藏室和变温室之间的箱体上。除此之外，条码扫描器还可以位于智能冰箱的外侧、门体或门体之间等位置。本申请对于条码扫码器的安装位置不作限定，仅需要使得条码扫码器处于摄像头的视野范围内即可。摄像头可以采集用户管理物品时的图像，条码扫描器可以扫描物品上的条码以获取物品的信息。
为便于描述，以下实施例举例说明时，均以物品存储设备为智能冰箱为例进行说明。另外，以下部分实施例中将“物品存储设备”简称为“设备”。
图2为本申请实施例提供的物品管理方法的流程示意图，该方法的执行主体为物品存储设备。如图2所示，该方法包括：
S201、采集用户对物品存储设备中的物品管理时的图像序列，所述图像序列的图像中包括用户的手部图像区域以及物品图像区域。
示例性的，设置在智能冰箱顶部的摄像头可以在用户打开门体后，实时采集用户操作时的多帧图像，该多帧图像组成一图像序列。图像序列中的各帧图像至少包含用户的手部以及用户所拿的物品，从而使得图像中至少包含手部图像区域和物品图像区域。
S202、对上述手部图像区域进行目标跟踪，确定用户对物品的管理行为以及用户对物品是否执行扫码操作，该管理行为包括将物品存入物品存储设备或从物品存储设备取出物品。
可选的，摄像头所采集的图像序列包含了用户在存入或取出物品时手部的移动信息，因此，基于图像序列中各图像的手部图像区域进行目标跟踪，可以获知用户执行的操作为存入或取出，以及，用户是否执行了扫码操作。
其中，对手部图像区域进行目标跟踪的具体执行过程将在下述实施例中详细说明。
S203、根据用户对物品是否执行扫码操作，确定物品的实际种类。
通过对手部图像区域的目标跟踪，物品存储设备可以自动识别出用户是否执行了扫码操作，并基于该信息，使用相应的方式自动识别物品的实际种类。示例性的，如果用户执行了扫码操作，则通过条码识别方式识别出物品的实际种类，如果用户未执行扫码操作，则通过图像识别方式识别出物品的实际种类。
物品的实际种类例如可以包括：品牌、规格、类别等。例如，某物品的实际种类为：品牌A的200ml的牛奶。
值得说明的是，上述步骤S202可以在步骤S203执行前完成，也可以在步骤S203执行后完成。例如，首先通过步骤S202识别出用户执行了扫码操作，此时即可以开始执行步骤S203，同时，步骤S202可以继续执行以识别出用户的管理行为。
S204、推送提示信息并更新物品存储设备的当前已存物品集合，该提示信息用于指示物品的实际种类以及用户的管理行为。
其中，物品存储设备的当前已存物品集合中包括了当前存储在设备内的各种物品，物品存储设备可以根据用户的需要，为用户显示当前已存物品集合中的物品，以使得用户可以随时获知是否需要补充某些物品。
本步骤中，物品存储设备在识别出用户的管理行为以及用户本次管理的物品的种类之后，一方面，可以向用户推送本次的管理行为以及物品的种类，以使得用户获知物品存储设备已经识别了本次操作，另一方面，物品存储设备还根据本次的操作，相应更新当前已存物品集合，以使得当前已存物品集合与设备中实际存储的物品保持一致，即保证当前已存物品集合的准确性。示例性的，当用户向智能冰箱中存入某物品A时，智能冰箱在其显示屏幕上显示“您存入了物品A”这一提示信息，并将物品A的信息增加到当前已存物品集合中，当用户从智能冰箱中取出某物品B时，智能冰箱在其显示屏幕上显示“您取出了物品B”这一提示信息，并将物品B的信息从当前已存物品集合中删除。
本实施例中，物品存储设备通过采集用户管理物品时的图像并进行目标跟踪，可以自动识别出用户的管理行为以及用户是否执行扫码操作，并根据用户是否执行扫码操作使用相应的方法自动识别出用户管理的物品的实际种类，物品存储设备再向用户推送本次物品管理的信息以及更新当前已存物品集合。在该过程中，用户无需执行任何额外操作，即可完成物品管理并查看物品管理的结果，因此，使得用户管理物品时的操作过程得到极大简化，进而极大提升用户的体验。
用户在管理物品时，可以执行扫码操作，也可以不执行扫码操作。如果用户执行了扫码操作，物品存储设备可以利用条码识别方式得到物品的实际种类。如果用户未执行扫码操作，则可以利用图像识别方式得到物品的实际种类。实际实施时可能出现以下两种场景：第一种场景中，用户在存入某物品时执行扫码操作，在取出该物品时未执行扫码操作。第二种场景中，用户在存入某物品时未执行扫码操作，在取出该物品时执行扫码操作。在上述两种场景中，用户在存入和取出物品时物品存储设备使用不同的识别方式，不同的识别方式对同一食材的识别结果可能不同，可能会出现用户取出物品时，物品存储设备在更新当前已存物品集合时出现无法在当前已存物品集合中匹配出所识别的物品类别的问题。考虑到这一问题，作为一种可选的实施方式，物品存储设备在执行上述步骤S204时，在更新当前已存物品集合之前，可以首先判断用户对物品的管理行为的操作结果为操作成功或操作失败。其中，对于用户的存入操作，操作成功是指存入物品时能够成功将物品的信息增加至当前已存物品集合中。对于用户的取出操作，操作成功是指识别的物品的实际类别能够从当前已存物品集合中查找到，操作失败是指识别的物品的实际类别能够从当前已存物品集合中查找到。对于存入操作，只要识别出物品类别，即可以将其加入当前已存物品集合中，因此，可以直接认为存入时的操作结果为操作成功。对于取出操作，可以通过如下的物品联想推理流程，根据物品的实际种类以及当前已存物品集合，判断出操作结果。具体的，如果当前已存物品集合中包括与识别的物品匹配的物品，则确定操作成功。
图3为本申请实施例提供的物品管理方法的流程示意图，如图3所示，联想推理流程包括：
S301、查询当前已存物品集合中是否存在种类与识别出的实际种类相同的物品，若是，则执行步骤303，若否，则执行步骤S302。
示例性的，上述种类相同的物品可以是指品牌、规格、类别均相同。例如，识别的实际种类为品牌A的规格为200ml的牛奶，当前已存物品中存在品牌A的规格为200ml的牛奶这一类别的物品，则判断操作成功，即取出成功。
S302、查询当前已存物品集合中是否存在种类与识别出的实际种类的差异小于预设阈值的物品，若是，则执行步骤S303，若否，则执行步骤S304。
示例性的，预设阈值可以是指品牌、规格、类别中的一项。
已存物品集合中的种类与识别出的实际种类的差异小于预设阈值例如可以为：
(1)品牌相同、规格不同、类别相同。
例如，已存物品集合中存在品牌A的规格为300ml的可乐，识别出的实际种类为品牌A的规格为250ml的可乐，则认为二者差异小于预设阈值，操作成功。
(2)品牌不同、规格相同、类别相同
例如，已存物品集合中存在品牌A的规格为300ml的可乐，识别出的实际种类为品牌A的规格为250ml的可乐，则认为二者差异小于预设阈值，操作成功。
另一示例中，在种类划分上差异较大的物品A和物品B，虽然二者种类差别较大，但由于二者外观相似，因此，也可以认为二者在种类上的差异小于预设阈值，操作成功。
S303、确定操作成功。
S304、确定操作失败。
利用上述过程判断出用户对物品的管理行为的操作结果为操作成功或操作失败后，可以基于操作结果与用户进行交互，并更新当前已存物品集合，从而完成物品管理。
图4为根据操作结果与用户进行交互并更新当前已存物品集合的流程示意图，如图4所示，对于存入和取出时的操作成功的结果，即存入成功和取出成功，可以提示用户确认提示信息，并在用户确认后更新集合。对于取出时的操作失败的结果，即取出失败，可以提示用户纠正物品种类，并在用户纠正后更新集合。
可选的，如果上述操作结果为操作成功，则根据用户对前述的提示信息的确认信息，更新当前已存物品集合。如果上述操作结果为操作失败，则根据用户对提示信息的纠正信息，更新物品的实际种类，并根据物品的实际种类更新当前已存物品。
其中，用户对提示信息的纠正信息，可以是纠正识别的实际种类的信息，也可以是纠正当前已存物品集合中的信息。
一种示例中，用户存入某物品A时执行了扫码操作，设备通过条码识别方式将物品A识别为物品A并增加至已存物品集合中，用户取出物品A时未执行扫码操作，设备通过图像识别方式将物品A识别为物品B，此时，用户可以将识别出的物品B纠正为物品A，设备根据用户纠正后的物品A，从当前已存物品集合中删除物品A。
另一种示例中，用户存入某物品A时未执行扫码操作，设备通过图像识别方式将物品A识别为物品B并增加至已存物品集合中，用户取出物品A时执行扫码操作，设备通过条码识别方式将物品A识别为物品A，此时，用户可以将当前已存物品集合中所记录的物品B纠正为物品A后，从当前已存物品集合中删除物品A。
物品存储设备在与用户交互时，可以通过物品存储设备的界面交互、与物品存储设备绑定的终端设备上的应用程序界面交互、或者语音交互等方式进行。以下以通过物品存储设备的界面交互为例进行说明。
图5为存入成功时的界面示例图，如图5所示，物品存储设备识别出用户存入了物品A，由于是存入，因此，物品存储设备直接判断出操作结果为操作成功，即存入成功，因此，在物品存储设备的屏幕上显示“您存入了物品A，请您确认”的提示信息，用户点击提示信息下方的确定按钮进行确认，物品存储设备即接收到用户的确认信息，进而将物品A增加到当前已存物品集合中。
图6为取出失败时的界面示例图，如图6所示，某物品为物品A，在存入时存入的信息为“物品A”。用户在取出该物品时，物品存储设备识别出用户取出了物品B，当前已存物品集合中不存在物品B，则物品存储设备在物品存储设备的屏幕上显示“您取出的是物品B吗？如果不是，请纠正”的提示信息，用户点击提示信息下方的纠正按钮，物品存储设备的屏幕上显示一输入框，用户在输入框中输入取出的物品的实际类别，即“物品A”这一纠正信息，并点击下方的确认按钮，物品存储设备根据用户输入的纠正信息，从当前已存物品集合中删除物品A。
以下说明上述步骤S203中设备根据用户对物品是否执行扫码操作，确定物品的实际种类的过程。
确定物品的实际种类的方式可以为以下两种方式中的任意一种。
第一种方式中，设备首先根据用户是否执行扫码操作，确定出目标识别方式，该目标识别方式为条码识别方式或图像识别方式。进而，使用该目标识别方式识别物品的实际种类。
该方式根据用户是否执行扫码操作选择相应的一种识别方式进行识别处理，能够节约计算开销。
具体的，如果目标识别方式为图像识别方式，则设备选择图像序列中的一帧图像，对该一帧图像的物品图像区域进行图像识别，得到物品的实际种类。如果目标识别方式为条码识别方式，则使用条码扫描器进行条码识别，并将条码识别的结果作为物品的实际种类。
图7为用户存入物品时使用第一种方式识别物品实际种类的流程示意图，如图7所示，流程包括：
S701、识别出用户的扫码操作。
S702、判断启动条码扫描器是否成功，若是，则执行步骤S703，否则，执行步骤S704。
S703、将扫码标志位置为1。
S704、将扫码标志位置为0。
S705、识别出用户的管理行为为存入。
S706、判断扫码标志位是否为1，若是，则执行步骤S707，否则执行步骤S709。
S707、使用条码识别方式识别存入物品的实际种类。
S708、将扫码标志位置为0。
在得到物品的实际种类后将扫码标志位置为0，以用于下一次的识别过程。
S709、使用图像识别方式识别存入物品的实际种类。
S710、得到存入物品的实际种类。
图8为用户取出物品时使用第一种方式识别物品实际种类的流程示意图，如图8所示，流程包括：
S801、识别出用户的管理行为为取出。
S802、识别出用户的扫码操作。
S803、判断启动条码扫描器是否成功，若是，则执行步骤S804，否则，执行步骤S805。
S804、将扫码标志位置为1。
S805、将扫码标志位置为0。
S806、判断扫码标志位是否为1，若是，则执行步骤S807，否则执行步骤S809。
S807、使用条码识别方式识别取出物品的实际种类。
S808、将扫码标志位置为0。
在得到物品的实际种类后将扫码标志位置为0，以用于下一次的识别过程。
S809、使用图像识别方式识别取出物品的实际种类。
S810、得到取出物品的实际种类。
第二种方式中，设备首先对图像序列中的一帧图像的物品图像区域进行图像识别，得到物品的可选种类，进而，根据用户是否执行扫码操作以及物品的可选种类，确定物品的实际种类。
具体的，如果用户执行了扫码操作，则根据条码识别的结果更新可选种类，并将更新后的可选种类作为物品的实际种类。如果用户未执行扫码操作，则将物品的可选种类作为物品的实际种类。
该方式中，在识别过程开始时首先使用图像识别方式识别出类型，从而可以提升识别的速度，进而提升用户体验。
图9为用户存入物品时使用第二种方式识别物品实际种类的流程示意图，如图9所示，流程包括：
S901、识别出用户的扫码操作。
S902、使用图像识别方式识别存入物品的可选种类。
S903、判断启动条码扫描器是否成功，若是，则执行步骤S904，否则，执行步骤S905。
S904、将扫码标志位置为1。
S905、将扫码标志位置为0。
S906、识别出用户的管理行为为存入。
S907、判断扫码标志位是否为1，若是，则执行步骤S908，否则执行步骤S911。
S908、使用条码识别方式进行识别。
S909、将扫码标志位置为0。
在得到物品的实际种类后将扫码标志位置为0，以用于下一次的识别过程。
S910、使用条码识别的结果更新可选种类，得到实际种类。
S911、将可选种类作为实际种类。
S912、得到存入物品的实际种类。
图10为用户取出物品时使用第二种方式识别物品实际种类的流程示意图，如图10所示，流程包括：
S1001、识别出用户的管理行为为取出。
S1002、使用图像识别方式识别取出物品的可选种类。
S1003、识别出用户的扫码操作。
S1004、判断启动条码扫描器是否成功，若是，则执行步骤S1005，否则，执行步骤S1006。
S1005、将扫码标志位置为1。
S1006、将扫码标志位置为0。
S1007、判断扫码标志位是否为1，若是，则执行步骤S1008，否则执行步骤S1011。
S1008、使用条码识别方式进行识别。
S1009、将扫码标志位置为0。
在得到物品的实际种类后将扫码标志位置为0，以用于下一次的识别过程。
S1010、使用条码识别的结果更新可选种类，得到实际种类。
S1011、将可选种类作为实际种类。
S1012、得到取出物品的实际种类。
在上述两种方式中，使用条码识别方式识别种类时，基于图1a和图1b所示例的条码扫描器，有条码扫描器扫描得出物品的种类。条码扫描器可以为光电耦合器(ChargeCoupled Device，简称CCD)、激光扫描器、光笔扫描器等。其中，CCD扫描器主要采用固定光束(通常是发光二极管的泛光源)照明整个条形码，将条形码符号反射到光敏元件阵列上，经光电转换，辨识出条形码符号。一些CCD扫描器不仅可以识别一维条形码和行排式二维条形码，还可以识别矩阵式二维条形码。激光扫描器是以激光为光源的扫描器。激光扫描器可以远距离扫描且扫描精度较高。光笔扫描器是一种手持接触式条形码识读器，使用时，用户需将光笔接触到条形码表面，当光笔发出的光点从左到右划过条形码时，在“空”部分光线被反射，“条”的部分光线将被吸收。经过光电转换，电信号通过放大、整形后用于译码器。
使用图像识别方式识别种类时，一种方式中，可以使用特征提取器与分类器实现图像的特征提取、分类器学习训练及测试识别。其中，特征提取器可以包括方向梯度直方图(Histogram of Oriented Gradient，简称HOG)、局部二值模式(Local Binary Pattern，简称LBP)、形变部件模型(Deformable Parts Model，简称DPM)等。分类器可以使用支持向量机(Support Vector Machines，简称SVM)、Adaboost、决策树、贝叶斯网络、神经网络等。另一种方式中，可以使用深度学习方法训练和识别，例如使用Fast-CNN、Faster-CNN、YOLO、YOLO 9000等。
以下说明上述步骤S202中对手部图像区域进行目标跟踪得到用户对物品的管理行为以及用户对物品是否执行扫码操作的过程。
具体的，设备对手部图像区域进行目标跟踪，得到手部移动轨迹，并根据手部移动轨迹，得到用户的管理行为以及用户是否执行扫码操作。
图11为利用目标跟踪得到管理行为以及用户是否执行扫码操作的过程示意图，如图11所示，首先，设备首先识别图像中的手部图像区域。其次，对该区域进行目标跟踪，根据手部跟踪的轨迹识别去、回和停留三种子动作。进而，根据去、回子动作可以识别出用户的管理行为，根据停留子动作可以识别出用户是否执行扫码操作。
其中，识别图像中的手部图像区域时，可以检测包含手部以及物品的图像区域。手部区域的检测方法可以为前述的特征提取器与分类器检测的方法，也可以为前述的基于深度学习的方法。
进行目标跟踪时，可以使用卡尔曼滤波、粒子滤波等方法进行手部图像区域的目标跟踪，并根据跟踪轨迹，识别去、回和停留三种子动作。图12a为去子动作的识别示例图，图12b为回子动作的识别示例图，图12c为停留子动作的识别示例图。如图12a所示，当跟踪轨迹为从冰箱门体方向向冰箱箱体方向穿越箱体与门体分界线时，子动作为去，进而得到管理行为为存入。如图12b所示，当跟踪轨迹为从冰箱箱体方向向冰箱门体方向穿越箱体与门体分界线时，子动作为回，进而得到管理行为为取出。如图12c所示，当跟踪轨迹在扫码停留区域内停留的时长超过预设时长时，确定子动作为停留，进而判断出用户执行了扫码操作。
图13为本申请实施例提供的一种物品管理装置的模块结构图，如图13所示，该装置包括：
处理模块1301，用于采集用户对物品存储设备中的物品管理时的图像序列，所述图像序列的图像中包括用户的手部图像区域以及物品图像区域；以及，对所述手部图像区域进行目标跟踪，得到所述用户对所述物品的管理行为以及所述用户对所述物品是否执行扫码操作，所述管理行为包括将所述物品存入所述物品存储设备或从所述物品存储设备取出所述物品；以及，根据所述用户对所述物品是否执行扫码操作，确定所述物品的实际种类。
推送模块1302，用于推送提示信息并更新所述物品存储设备的当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。
作为一种可选的实施方式，处理模块1301具体用于：
根据所述用户是否执行扫码操作，确定目标识别方式，所述目标识别方式包括条码识别方式或图像识别方式；使用所述目标识别方式，识别所述物品的实际种类。
作为一种可选的实施方式，处理模块1301具体用于：
若所述目标识别方式为图像识别方式，则对所述图像序列的一帧图像的所述物品图像区域进行图像识别，得到所述物品的实际种类。
作为一种可选的实施方式，处理模块1301具体用于：
若所述目标识别方式为条码识别方式，则将条码识别的结果作为所述物品的实际种类。
作为一种可选的实施方式，处理模块1301具体用于：
对所述图像序列的一帧图像的所述物品图像区域进行图像识别，得到所述物品的可选种类；根据所述用户是否执行扫码操作以及所述物品的可选种类，确定所述物品的实际种类。
作为一种可选的实施方式，处理模块1301具体用于：
若所述用户执行扫码操作，则根据条码识别的结果更新所述可选种类，并将更新后的可选种类作为所述物品的实际种类。
作为一种可选的实施方式，处理模块1301具体用于：
若所述用户未执行扫码操作，则将所述物品的可选种类作为所述物品的实际种类。
作为一种可选的实施方式，推送模块1302具体用于：
推送所述提示信息；若判断出所述用户对所述物品的管理行为的操作结果为操作成功，则根据所述用户对所述提示信息的确认信息，更新当前已存物品集合。
作为一种可选的实施方式，推送模块1302具体用于：
推送所述提示信息；若判断出所述用户针对所述物品的管理行为的操作结果为操作失败，则根据所述用户对所述提示信息的纠正信息，更新所述物品的实际种类，并根据所述物品的实际种类更新当前已存物品。
作为一种可选的实施方式，处理模块1301还用于：
根据所述物品的实际种类以及当前已存物品集合，判断所述用户针对所述物品的管理行为的操作结果。
作为一种可选的实施方式，处理模块1301具体用于：
若所述管理行为为从所述物品存储设备取出所述物品，并且，所述当前已存物品集合中包括与所述物品匹配的物品，则确定对所述用户针对所述物品的管理行为的操作结果为操作成功。
其中，所述与所述物品匹配的物品包括种类与所述实际种类相同的物品，或者，包括种类与所述实际种类的差异小于预设阈值的物品。
作为一种可选的实施方式，处理模块1301具体用于：
对所述手部图像区域进行目标跟踪，得到手部移动轨迹；根据所述手部移动轨迹，得到所述用户的管理行为以及所述用户是否执行扫码操作。
本申请实施例提供的物品管理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
本申请实施例还提供一种智能冰箱，包括：
摄像头，所述摄像头位于所述智能冰箱的顶部，所述摄像头用于采集用户对智能冰箱中的物品管理时的图像；条码扫码器，所述条码扫描器位于所述摄像头视野范围内；以及，处理器，所述处理器，用于根据所述摄像头所采集的图像识别用户的物品管理行为以及用户是否执行扫码操作，并根据用户是否执行扫码操作选择基于图像识别方式识别物品的实际种类，和/或，启动所述条码扫码器，以条码识别方式识别物品的实际种类，并推送提示信息以及更新当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。
图14为本申请实施例提供的一种物品存储设备1400的结构示意图。如图14所示，该物品存储设备可以包括：处理器141、存储器142、通信接口143、***总线144、摄像头145和条码扫描器146，所述存储器142、所述通信接口143、摄像头145和条码扫描器146通过所述***总线144与所述处理器141连接并完成相互间的通信，所述存储器142用于存储计算机执行指令，所述通信接口143用于和其他设备进行通信，摄像头145用于采集用户管理物品时的图像并发送给处理器141。条码扫描器146用于扫描物品上的条码以获取物品的实际种类并发送给处理器141。所述处理器141执行所述计算机程序时实现如上述图2至图12所示实施例的方案。
该图14中提到的***总线可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述***总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述图2至图12所示实施例的方法。
可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述图2至图12所示实施例的方法。
本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述图2至图12所示实施例的方法。
在本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。
可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。
可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种物品管理方法，其特征在于，包括：
采集用户对物品存储设备中的物品管理时的图像序列，所述图像序列的图像中包括用户的手部图像区域以及物品图像区域；
对所述手部图像区域进行目标跟踪，得到所述用户对所述物品的管理行为以及所述用户对所述物品是否执行扫码操作，所述管理行为包括将所述物品存入所述物品存储设备或从所述物品存储设备取出所述物品；
根据所述用户对所述物品是否执行扫码操作，确定所述物品的实际种类；
推送提示信息并更新所述物品存储设备的当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。
2.根据权利要求1所述的方法，其特征在于，所述根据所述用户对所述物品是否执行扫码操作，确定所述物品的实际种类，包括：
根据所述用户是否执行扫码操作，确定目标识别方式，所述目标识别方式包括条码识别方式或图像识别方式；
使用所述目标识别方式，识别所述物品的实际种类。
3.根据权利要求2所述的方法，其特征在于，所述使用所述目标识别方式，识别所述物品的实际种类，包括：
若所述目标识别方式为图像识别方式，则对所述图像序列的一帧图像的所述物品图像区域进行图像识别，得到所述物品的实际种类；
和/或，
若所述目标识别方式为条码识别方式，则将条码识别的结果作为所述物品的实际种类。
4.根据权利要求1所述的方法，其特征在于，所述根据所述用户对所述物品是否执行扫码操作，确定所述物品的实际种类，包括：
对所述图像序列的一帧图像的所述物品图像区域进行图像识别，得到所述物品的可选种类；
根据所述用户是否执行扫码操作以及所述物品的可选种类，确定所述物品的实际种类。
5.根据权利要求4所述的方法，其特征在于，所述根据所述用户是否执行扫码操作以及所述物品的可选种类，确定所述物品的实际种类，包括：
若所述用户执行扫码操作，则根据条码识别的结果更新所述可选种类，并将更新后的可选种类作为所述物品的实际种类；
和/或，
若所述用户未执行扫码操作，则将所述物品的可选种类作为所述物品的实际种类。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述推送提示信息并更新所述物品存储设备的当前已存物品集合，包括：
推送所述提示信息；
若判断出所述用户对所述物品的管理行为的操作结果为操作成功，则根据所述用户对所述提示信息的确认信息，更新当前已存物品集合；和/或，若判断出所述用户针对所述物品的管理行为的操作结果为操作失败，则根据所述用户对所述提示信息的纠正信息，更新所述物品的实际种类，并根据所述物品的实际种类更新当前已存物品。
7.根据权利要求6所述的方法，其特征在于，所述根据所述用户对所述提示信息的纠正信息，更新所述物品的实际种类之前，还包括：
根据所述物品的实际种类以及当前已存物品集合，判断所述用户针对所述物品的管理行为的操作结果。
8.根据权利要求7所述的方法，其特征在于，所述根据所述物品的实际种类以及当前已存物品集合，判断所述用户针对所述物品的管理行为的操作结果，包括：
若所述管理行为为从所述物品存储设备取出所述物品，并且，所述当前已存物品集合中包括与所述物品匹配的物品，则确定对所述用户针对所述物品的管理行为的操作结果为操作成功；
其中，所述与所述物品匹配的物品包括种类与所述实际种类相同的物品，或者，包括种类与所述实际种类的差异小于预设阈值的物品。
9.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述手部图像区域进行目标跟踪，得到所述用户对所述物品的管理行为以及所述用户对所述物品是否执行扫码操作，包括：
对所述手部图像区域进行目标跟踪，得到手部移动轨迹；
根据所述手部移动轨迹，得到所述用户的管理行为以及所述用户是否执行扫码操作。
10.一种智能冰箱，其特征在于，包括：
摄像头，所述摄像头位于所述智能冰箱的顶部，所述摄像头用于采集用户对智能冰箱中的物品管理时的图像；条码扫码器，所述条码扫描器位于所述摄像头视野范围内；
以及，处理器，所述处理器，用于根据所述摄像头所采集的图像识别用户的物品管理行为以及用户是否执行扫码操作，并根据用户是否执行扫码操作选择基于图像识别方式识别物品的实际种类，和/或，启动所述条码扫码器，以条码识别方式识别物品的实际种类，并推送提示信息以及更新当前已存物品集合，所述提示信息用于指示所述物品的实际种类以及所述用户的管理行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010236472.2A CN113468910A (zh) | 2020-03-30 | 2020-03-30 | 物品管理方法、装置及智能冰箱 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010236472.2A CN113468910A (zh) | 2020-03-30 | 2020-03-30 | 物品管理方法、装置及智能冰箱 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113468910A true CN113468910A (zh) | 2021-10-01 |
Family
ID=77864899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010236472.2A Pending CN113468910A (zh) | 2020-03-30 | 2020-03-30 | 物品管理方法、装置及智能冰箱 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468910A (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000039121A (ko) * | 1998-12-11 | 2000-07-05 | 전주범 | 바코드를 이용한 냉장고에서의 식품 보관 상태 표시 제어 방법 |
| CN102538379A (zh) * | 2011-12-19 | 2012-07-04 | 四川长虹电器股份有限公司 | 一种冰箱食品信息管理装置及方法 |
| CN102741874A (zh) * | 2009-12-13 | 2012-10-17 | 因特伟特公司 | 用于使用移动设备从零售机构购买产品的***和方法 |
| CN203588313U (zh) * | 2013-09-30 | 2014-05-07 | 宁波高新区恒诺科技有限公司 | 一种基于物联网技术的智能超市管理*** |
| CN105184204A (zh) * | 2015-07-10 | 2015-12-23 | 百度在线网络技术（北京）有限公司 | 一种物品识别装置、智能冰箱及用户终端 |
| CN105245828A (zh) * | 2015-09-02 | 2016-01-13 | 北京旷视科技有限公司 | 物品分析方法和设备 |
| CN106204573A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 一种智能冰箱的食品管理方法及*** |
| US20170255899A1 (en) * | 2016-03-02 | 2017-09-07 | Toshiba Tec Kabushiki Kaisha | System and method for managing inventory based on captured images |
| WO2018023445A1 (zh) * | 2016-08-02 | 2018-02-08 | 步晓芳 | 一种食品保质期监控技术的权益显示方法以及冰箱 |
| CN108469148A (zh) * | 2018-05-31 | 2018-08-31 | 上海理工大学 | 智能库存管理的冰箱 |
| CN108507270A (zh) * | 2017-02-24 | 2018-09-07 | 九阳股份有限公司 | 一种冰箱的食材确定方法及食材确定装置 |
| CN208284026U (zh) * | 2018-06-03 | 2018-12-25 | 姚爱军 | 一种升降式智能购物箱 |
| CN109353397A (zh) * | 2018-09-20 | 2019-02-19 | 北京旷视科技有限公司 | 商品管理方法、装置和***及存储介质及购物车 |
| CN110245887A (zh) * | 2019-05-17 | 2019-09-17 | 顺丰科技有限公司 | 一种物品管理方法、***及存储介质 |
| CN110608574A (zh) * | 2019-09-16 | 2019-12-24 | 珠海格力电器股份有限公司 | 一种冰箱及其保鲜控制方法 |
| CN110671881A (zh) * | 2019-09-16 | 2020-01-10 | 珠海格力电器股份有限公司 | 一种冰箱保鲜控制方法和*** |
| CN110671883A (zh) * | 2019-09-16 | 2020-01-10 | 珠海格力电器股份有限公司 | 一种冰箱自动确定食材保鲜期限的控制方法、***和冰箱 |
-
2020
- 2020-03-30 CN CN202010236472.2A patent/CN113468910A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000039121A (ko) * | 1998-12-11 | 2000-07-05 | 전주범 | 바코드를 이용한 냉장고에서의 식품 보관 상태 표시 제어 방법 |
| CN102741874A (zh) * | 2009-12-13 | 2012-10-17 | 因特伟特公司 | 用于使用移动设备从零售机构购买产品的***和方法 |
| CN102538379A (zh) * | 2011-12-19 | 2012-07-04 | 四川长虹电器股份有限公司 | 一种冰箱食品信息管理装置及方法 |
| CN203588313U (zh) * | 2013-09-30 | 2014-05-07 | 宁波高新区恒诺科技有限公司 | 一种基于物联网技术的智能超市管理*** |
| CN105184204A (zh) * | 2015-07-10 | 2015-12-23 | 百度在线网络技术（北京）有限公司 | 一种物品识别装置、智能冰箱及用户终端 |
| CN105245828A (zh) * | 2015-09-02 | 2016-01-13 | 北京旷视科技有限公司 | 物品分析方法和设备 |
| US20170255899A1 (en) * | 2016-03-02 | 2017-09-07 | Toshiba Tec Kabushiki Kaisha | System and method for managing inventory based on captured images |
| CN106204573A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 一种智能冰箱的食品管理方法及*** |
| WO2018023445A1 (zh) * | 2016-08-02 | 2018-02-08 | 步晓芳 | 一种食品保质期监控技术的权益显示方法以及冰箱 |
| CN108507270A (zh) * | 2017-02-24 | 2018-09-07 | 九阳股份有限公司 | 一种冰箱的食材确定方法及食材确定装置 |
| CN108469148A (zh) * | 2018-05-31 | 2018-08-31 | 上海理工大学 | 智能库存管理的冰箱 |
| CN208284026U (zh) * | 2018-06-03 | 2018-12-25 | 姚爱军 | 一种升降式智能购物箱 |
| CN109353397A (zh) * | 2018-09-20 | 2019-02-19 | 北京旷视科技有限公司 | 商品管理方法、装置和***及存储介质及购物车 |
| CN110245887A (zh) * | 2019-05-17 | 2019-09-17 | 顺丰科技有限公司 | 一种物品管理方法、***及存储介质 |
| CN110608574A (zh) * | 2019-09-16 | 2019-12-24 | 珠海格力电器股份有限公司 | 一种冰箱及其保鲜控制方法 |
| CN110671881A (zh) * | 2019-09-16 | 2020-01-10 | 珠海格力电器股份有限公司 | 一种冰箱保鲜控制方法和*** |
| CN110671883A (zh) * | 2019-09-16 | 2020-01-10 | 珠海格力电器股份有限公司 | 一种冰箱自动确定食材保鲜期限的控制方法、***和冰箱 |
Non-Patent Citations (4)
| Title |
|---|
| SHOUMING QIAO; HONGZHEN ZHU; LIJUAN ZHENG; JIANRUI DING: "Intelligent Refrigerator based on Internet of Things", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL SCIENCE AND ENGINEERING (CSE) AND IEEE INTERNATIONAL CONFERENCE ON EMBEDDED AND UBIQUITOUS COMPUTING (EUC), 10 August 2017 (2017-08-10), pages 1 - 4 * |
| 余雷, 杨丽君, 伍艳泽, 余艳萍: "基于条形码技术的物流管理***", 内蒙古科技与经济, no. 15, 25 March 2005 (2005-03-25) * |
| 方波;吕秀凤;程春明;李子胜;王波;: "基于动态拍照的食品图像识别技术研究", 家电科技, no. 04, 15 April 2016 (2016-04-15) * |
| 洪鑫: "基于用户体验的智能冰箱交互设计研究", CNKI优秀硕士学位论文全文库, 31 May 2018 (2018-05-31), pages 1 - 138 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dendorfer et al. | Motchallenge: A benchmark for single-camera multiple target tracking | |
| US11978106B2 (en) | Method and non-transitory, computer-readable storage medium for deep learning model based product matching using multi modal data | |
| US11638490B2 (en) | Method and device for identifying product purchased by user and intelligent shelf system | |
| JP2021515297A (ja) | 自動販売方法および装置、ならびにコンピュータ可読記憶媒体 | |
| JP2023534261A (ja) | ジェスチャの検出及び分析に基づくバーコードスキャン | |
| JP6618395B2 (ja) | 行動価値によって調査対象の位置を予測する装置、プログラム及び方法 | |
| CN104268006A (zh) | 键鼠脚本的回放方法及装置 | |
| WO2021072699A1 (en) | Irregular scan detection for retail systems | |
| WO2020107184A1 (zh) | 一种模型选择方法和终端 | |
| CN112417970A (zh) | 目标对象识别方法、装置和电子*** | |
| CN117115571A (zh) | 一种细粒度智能商品识别方法、装置、设备及介质 | |
| CN113468910A (zh) | 物品管理方法、装置及智能冰箱 | |
| CN112561954A (zh) | 目标对象跟踪轨迹的确定方法和装置、存储介质 | |
| US20230235495A1 (en) | Usage dependent user prompting | |
| CN116129523A (zh) | 动作识别方法、装置、终端及计算机可读存储介质 | |
| EP3989105B1 (en) | Embedded device based detection system | |
| KR102477840B1 (ko) | 사용자 정보를 활용한 상품 정보 검색 장치 및 이를 위한 제어방법 | |
| CN115136216A (zh) | 信息处理***、信息处理装置、信息处理方法 | |
| CN112905875A (zh) | 一种线下交互式的内容推荐方法及***、存储介质 | |
| CN111008210A (zh) | 商品识别方法、装置、编解码器及存储装置 | |
| CN115620402B (zh) | 一种人货交互行为识别方法、***及相关装置 | |
| US20240211920A1 (en) | Storage medium, alert generation method, and information processing apparatus | |
| US20230100172A1 (en) | Item matching and recognition system | |
| US20230316785A1 (en) | System and method for synchronizing 2d camera data for item recognition in images | |
| US20230316786A1 (en) | System and method for synchronizing 2d camera data for item recognition in images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |