CN108389230A - 冰箱容量自动检测方法、***、设备及存储介质 - Google Patents

冰箱容量自动检测方法、***、设备及存储介质 Download PDF

Info

Publication number
CN108389230A
CN108389230A CN201810188121.1A CN201810188121A CN108389230A CN 108389230 A CN108389230 A CN 108389230A CN 201810188121 A CN201810188121 A CN 201810188121A CN 108389230 A CN108389230 A CN 108389230A
Authority
CN
China
Prior art keywords
refrigerator
region
commodity
storage rack
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810188121.1A
Other languages
English (en)
Inventor
亚历克斯别洛伊
陈俊豪
柯岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Expand Intelligent Technology Co Ltd
Original Assignee
Shanghai Expand Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Expand Intelligent Technology Co Ltd filed Critical Shanghai Expand Intelligent Technology Co Ltd
Priority to CN201810188121.1A priority Critical patent/CN108389230A/zh
Publication of CN108389230A publication Critical patent/CN108389230A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明提供了一种冰箱容量自动检测方法、***、设备及存储介质，包括：采集若干张图像，在所述图像上识别出所述图像上的冰箱区域，所述图像上的冰箱包括至少一用于查看商品的透明视窗和至少一摆放所述商品的储物架，所述储物架设置在所述透明视窗内侧；在所述冰箱区域上识别出所述储物架；进而识别所述储物架上每个商品对应的商品区域和待存放商品的存放位区域，根据一所述商品区域的面积计算所述存放位区域的存储空间；累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述冰箱的存储容量。本发明能够实现冰箱存储容量的自动生成，无需人工进行图像的采集，并对图像进行识别计算，节省了人力，提高了冰箱容量的计算效率。

Description

冰箱容量自动检测方法、***、设备及存储介质
技术领域
本发明涉及人工智能，具体地，涉及一种冰箱容量自动检测方法、***、设备及存储介质。
背景技术
商家经常在商场、地铁、火车站等公共场所租赁一些冰箱进行一些商品的售卖。如一些可乐公司在公共场所租赁冰箱进行瓶装或罐装客户的售卖。但是这些冰箱的数量较多，分布极为广泛且这些冰箱一般都有公共场所的管理者进行维护。因此，商家很难安排人力去查看每个冰箱的容量、每个冰箱中商品的布置以及冰箱中商品的布置情况。
随着人工智能技术的发展，尤其是深度学习方法的出现，使图像识别开始具有实用化的价值。因此，可以从人工智能方面，上述技术问题提出一种解决方案。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种冰箱容量自动检测方法、***、设备及存储介质。
根据本发明提供的冰箱容量自动检测方法，包括如下步骤：
步骤S1：采集若干张图像，在所述图像上识别出所述图像上的冰箱区域，所述图像上的冰箱包括至少一用于查看商品的透明视窗和至少一摆放所述商品的储物架，所述储物架设置在所述透明视窗内侧；
步骤S2：在所述冰箱区域上识别出所述储物架；
步骤S3：进而识别所述储物架上每个商品对应的商品区域和待存放商品的存放位区域，根据一所述商品区域的面积计算所述存放位区域的存储空间；
步骤S4：累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述冰箱的存储容量。
优选地，当所述储物架包括多个在竖直方向上依次排列的存放架时，每个所述存放架包括多个沿水平方向上依次排列的存放位，还包括如下步骤：
步骤M1：在所述冰箱区域识别出每个所述存放架；
步骤M2：依次识别每个所述存放架上的每个商品对应的商品区域和待存放商品的存放位区域，进而根据每个所述存放架上的一所述商品区域的面积计算该所述存放架上的所述存放位区域的存储空间；
步骤M3:累加每个所述存放架上的存放位区域的存储空间和每个商品区域的存储空间生成每个所述存放架的存储容量，进而累加每个所述存放架的存储容量生成所述冰箱的存储容量。
优选地，当一所述存放架上没有存放商品时，根据以该存放架为基准的上一存放架的存储容量与下一存放架的存储容量和的平均值确定该存放架的存储容量。
优选地，所述步骤S1包括如下步骤：
步骤S101：获取多张用于冰箱识别的训练图像，利用所述训练图像建立冰箱图像识别模型；
步骤S102：获取所述图像，在所述图像提取若干物体的子图像；
步骤S103：将所述子图像与所述图像识别模型匹配，在所述若干物体的子图像中识别出冰箱的子图像，进而确定冰箱区域。
优选地，所述步骤S1包括如下步骤：
步骤S101：将采集到的所述图像进行去噪处理以过滤杂散点；
步骤S102：将过滤杂散点后的所述图像进行灰度直方图拉伸，以突出冰箱区域；
步骤S103：将所述图像进行二值化处理生成二值化图像，以获取冰箱区域和冰箱区域的位置信息；
步骤S104：进而对所述二值化图像进行特征提取，通过面积、长度及曲率参数筛选出冰箱区域；
步骤S105：最后对提取的冰箱区域通过模版匹配确定所述冰箱区域。
优选地，所述步骤M1包括如下步骤：
步骤M101：获取多组用于存放架识别的训练图像，每组训练图像包括多张具有一相同设定数量的存放架，利用多组所述训练图像建立存放架识别模型；
步骤M102：获取所述图像，将所述图像的冰箱区域与所述存放架识别模型匹配，实现所述图像中存放架区域的识别。
优选地，所述步骤M1包括如下步骤：
步骤M101：对所述图像以多个设定的存放架的数值进行聚类，生成多个彼此分开的像素集；
步骤M102：计算每个所述像素集的中心点与该像素集中每个像素点的距离，以及每个像素集的中心点与相邻所述像素集的每个像素点的距离；
步骤M103：在所述多个设定的存放架的数值中，选择一存放架的目标数值，所述存放架的目标数值使的每个所述像素集的中心点与该像素集中每个像素点的距离最小及每个像素集的中心点与相邻所述像素集的每个像素点的距离最大；
步骤M104：通过所述存放架的目标数值进行聚类识别所述每个所述存放架。
根据本发明提供的冰箱容量自动检测***，用于实现所述的冰箱容量自动检测方法，包括：
图像采集模块，用于采集若干张图像，在所述图像上识别出所述图像上的冰箱区域，所述图像上的冰箱包括至少一用于查看商品的透明视窗和至少一摆放所述商品的储物架，所述储物架设置在所述透明视窗内侧；
储物架识别模块，用于在所述图像上识别出所述储物架；
存储空间计算模块，用于识别所述储物架上每个商品对应的商品区域和待存放商品的存放位区域，根据一所述商品区域的面积计算所述存放位区域的存储空间；
存储容量生成模块，用于累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述冰箱的存储容量。
根据本发明提供的冰箱容量自动检测设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述冰箱容量自动检测方法的步骤。
根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述冰箱容量自动检测方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明能够通过采集到的多种图像，自动识别图像上的冰箱，进而识别储物架上的商品和待存放商品的存放位区域，从而实现冰箱存储容量的自动生成，无需人工进行图像的采集，并对图像进行识别计算，节省了人力，提高了冰箱容量的计算效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中冰箱容量自动检测方法的步骤流程图；
图2为本发明中当储物架中存在存放架的时冰箱容量自动检测方法的步骤流程图；
图3为本发明中第一实施例中识别冰箱的步骤流程图；
图4为本发明中第二实施例中识别冰箱的步骤流程图；
图5为本发明中第一实施例中识别存放架的步骤流程图；
图6为本发明中第二实施例中识别存放架的步骤流程图；
图7为本发明中冰箱容量自动检测***的模块示意图；
图8为本发明中冰箱容量自动检测设备的结构示意图；以及
图9为本本发明中计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
在本实施例中，图1为本发明中冰箱容量自动检测方法的步骤流程图。如图1所示，本发明提供一种冰箱容量自动检测方法，包括如下步骤：
步骤S1：采集若干张图像，在所述图像上识别出所述图像上的冰箱区域，所述图像上的冰箱包括至少一用于查看商品的透明视窗和至少一摆放所述商品的储物架，所述储物架设置在所述透明视窗内侧；
步骤S2：在所述图像上识别出所述储物架；
步骤S3：进而识别所述储物架上每个商品对应的商品区域和待存放商品的存放位区域，根据一所述商品区域的面积计算所述存放位区域的存储空间；
步骤S4：累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述冰箱的存储容量。
在本实施例中，所述图像通过手机、摄像头、装载摄像头的机器人或无人机等拍摄。
图2为本发明中当储物架中存在存放架的时冰箱容量自动检测方法的步骤流程图，如图2所示，当所述储物架包括多个在竖直方向上依次排列的存放架时，每个所述存放架包括多个沿水平方向上依次排列的存放位，还包括如下步骤：
步骤M1：在所述冰箱区域识别出每个所述存放架；
步骤M2：依次识别每个所述存放架上的每个商品对应的商品区域和待存放商品的存放位区域，进而根据每个所述存放架上的一所述商品区域的面积计算该所述存放架上的所述存放位区域的存储空间；
在本实施例中，所述存储空间可以采用存储商品的数量来表示。如当存储空间的数值为3时，表示在该存放架上能够存储三个商品的空间。
步骤M3:累加每个所述存放架上的存放位区域的存储空间和每个商品区域的存储空间生成每个所述存放架的存储容量，进而累加每个所述存放架的存储容量生成所述冰箱的存储容量。
在变形例中，当一所述存放架上没有存放商品时，根据以该存放架为基准的上一存放架的存储容量与下一存放架的存储容量和的平均值确定该存放架的存储容量。在变形例中，冰箱上一存放架上存放商品的体积较小，能够存放的商品数量较多，因此存储容量较大，如为8个，冰箱下一存放架上存放商品的体积较大，能够存放的商品数量较少，因此存储容量较小，如为6个，则可以算出该所述存放架的容量为7个。
图3为本发明中第一实施例中识别冰箱的步骤流程图；如图3所示，所述步骤S1包括如下步骤：
步骤S101：获取多张用于冰箱识别的训练图像，利用所述训练图像建立冰箱图像识别模型；
步骤S102：获取所述图像，在所述图像提取若干物体的子图像；
步骤S103：将所述子图像与所述图像识别模型匹配，在所述若干物体的子图像识别出冰箱的子图像，进而确定冰箱区域。
图4为本发明中第二实施例中识别冰箱的步骤流程图；如图4所示，所述步骤S1包括如下步骤：
步骤S101：将采集到的所述图像进行去噪处理以过滤杂散点；
步骤S102：将过滤杂散点后的所述图像进行灰度直方图拉伸，以突出冰箱区域；
步骤S103：将所述图像进行二值化处理生成二值化图像，以获取冰箱区域和冰箱区域的位置信息；
步骤S104：进而对所述二值化图像进行特征提取，通过面积、长度及曲率参数筛选出冰箱区域；
步骤S105：最后对提取的冰箱区域通过模版匹配确定所述冰箱区域。
在变形例，还可以采用机器学习的方式识别冰箱，具体为，所述步骤S1包括如下步骤：
步骤S101：获取多张用于冰箱识别的训练图像，利用所述训练图像建立冰箱图像识别模型；
步骤S102：获取所述图像，将所述图像与所述图像识别模型匹配，实现所述图像中冰箱区域的识别。
在该实施例中，用于冰箱识别的训练图像为10000张。
在变形例中，还可以采用计算机视觉的方式识别冰箱，具体包括如下步骤S101：获取多张用于冰箱识别的训练图像，利用所述训练图像建立冰箱图像识别模型；
步骤S102：获取所述图像，将所述图像的所有像素按照从左往右，从上到下的顺序，分割成若干个m像素乘以n像素的子图像；
步骤S103：将所述子图像与所述图像识别模型匹配，实现所述图像中冰箱的识别。当然也可以将所述子图像进行模板匹配实现子图像的识别，进而实现图像中冰箱的识别。
在变形例中，还可以采用马尔科夫链蒙特卡洛算法识别冰箱，具体为，所述步骤S1包括如下步骤：
步骤S101：识别所述图像中储物架或存放架上设置的所有商品的外轮廓；
步骤S102：对所述所有商品的外轮廓进行收敛，使得每一次收敛后的所有商品的外轮廓面积小于等于收敛前的所有商品的外轮廓面积；
步骤S103：经过设定次数收敛后，确定所述所有商品的位置；
步骤S104：根据所述所有商品的位置确定所述冰箱区域。
在该实施例中，因为每个冰箱中商品的存放区域是确定，从而当确定了冰箱中商品的位置时，从而能够根据冰箱的设计参数推断出所述冰箱区域。当对所述所有商品的外轮廓进行收敛时采用马尔科夫链蒙特卡洛算法。
图5为本发明中第一实施例中识别存放架的步骤流程图；如图5所示，所述步骤M1包括如下步骤：
步骤M101：获取多组用于存放架识别的训练图像，每组训练图像包括多张具有一相同设定数量的存放架，利用多组所述训练图像建立存放架识别模型；所述存放架识别模型为线性回归模型。
步骤M102：获取所述图像，将所述图像的冰箱区域与所述存放架识别模型匹配，实现所述图像中存放架区域的识别。
图6为本发明中第二实施例中识别存放架的步骤流程图；如图6所示，所述步骤M1包括如下步骤：
步骤M101：对所述图像以多个设定的存放架的数值进行聚类，生成多个彼此分开的像素集；
步骤M102：计算每个所述像素集的中心点与该像素集中每个像素点的距离，以及每个像素集的中心点与相邻所述像素集的每个像素点的距离；
步骤M103：在所述多个设定的存放架的数值中，选择一存放架的目标数值，所述存放架的目标数值使的每个所述像素集的中心点与该像素集中每个像素点的距离最小及每个像素集的中心点与相邻所述像素集的每个像素点的距离最大；
步骤M104：通过所述存放架的目标数值进行聚类识别所述每个所述存放架。所述聚类为现有技术中的聚类算法实现。
当使用本发明提供的冰箱容量自动检测方法时，所述若干张图像为采自一城市中所有超市和商场的冰箱图像，冰箱图像为存储一商家用户的产品，如可乐公司的瓶装或罐装可乐。该商家用户变可以通过本发明的输出结构，了解到每一超市中一冰箱的存储容量，每一超市中所有冰箱的存储容量以及每个一城市中所有超市中冰箱的总容量。本发明中还会依次识别每个所述存放架上的每个商品对应的商品区域和待存放商品的存放位区域，进而根据每个所述存放架上的一所述商品区域的面积计算该所述存放架上的所述存放位区域的存储空间，从而能够算出每个存放架上待存放商品的存放位区域和每个商品对应的商品区域的比值，进而能够判断该存放架上商品是否畅销，如当一超市中放置同一商品的存放架中，待存放商品的存放位区域和每个商品对应的商品区域的比值大于一设定值，如为1，可以判断该商品畅销，商业用户便可以加大对该商品的供应，以提高销售效果。当一超市中放置同一商品的存放架中，在设定的期限内，如三天，待存放商品的存放位区域和每个商品对应的商品区域的比值小于一设定值为，如为0，可以判断该商品滞销，商业用户便可以减少对该商品的供应。
图7是本发明中冰箱容量自动检测***的模块示意图。如图7所示，本发明的实施例中还提供一种冰箱容量自动检测***，用于实现上述的冰箱容量自动检测方法，所述冰箱容量自动检测***100包括：
图像采集模块101，用于采集若干张图像，在所述图像上识别出所述图像上的冰箱区域，所述图像上的冰箱包括至少一用于查看商品的透明视窗和至少一摆放所述商品的储物架，所述储物架设置在所述透明视窗内侧；
储物架识别模块102，用于在所述图像上识别出所述储物架；
存储空间计算模块103，用于识别所述储物架上每个商品对应的商品区域和待存放商品的存放位区域，根据一所述商品区域的面积计算所述存放位区域的存储空间；
存储容量生成模块104，用于累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述冰箱的存储容量。
本发明实施例中还提供一种冰箱容量自动检测设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的冰箱容量自动检测方法的步骤。
如上，该实施例中通过采集到的多种图像，自动识别图像上的冰箱，进而识别储物架上的商品和待存放商品的存放位区域，从而实现冰箱存储容量的自动生成，无需人工进行图像的采集，并对图像进行识别计算，节省了人力，提高了冰箱容量的计算效率。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图8是本发明的冰箱容量自动检测设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的冰箱容量自动检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明能够通过采集到的多种图像，自动识别图像上的冰箱，进而识别储物架上的商品和待存放商品的存放位区域，从而实现冰箱存储容量的自动生成，无需人工进行图像的采集，并对图像进行识别计算，节省了人力，提高了冰箱容量的计算效率。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明能够通过采集到的多种图像，自动识别图像上的冰箱，进而识别储物架上的商品和待存放商品的存放位区域，从而实现冰箱存储容量的自动生成，无需人工进行图像的采集，并对图像进行识别计算，节省了人力，提高了冰箱容量的计算效率。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种冰箱容量自动检测方法，其特征在于，包括如下步骤：
步骤S1：采集若干张图像，在所述图像上识别出所述图像上的冰箱区域，所述图像上的冰箱包括至少一用于查看商品的透明视窗和至少一摆放所述商品的储物架，所述储物架设置在所述透明视窗内侧；
步骤S2：在所述冰箱区域上识别出所述储物架；
步骤S3：进而识别所述储物架上每个商品对应的商品区域和待存放商品的存放位区域，根据一所述商品区域的面积计算所述存放位区域的存储空间；
步骤S4：累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述冰箱的存储容量。
2.根据权利要求1所述的冰箱容量自动检测方法，其特征在于，当所述储物架包括多个在竖直方向上依次排列的存放架时，每个所述存放架包括多个沿水平方向上依次排列的存放位，还包括如下步骤：
步骤M1：在所述冰箱区域识别出每个所述存放架；
步骤M2：依次识别每个所述存放架上的每个商品对应的商品区域和待存放商品的存放位区域，进而根据每个所述存放架上的一所述商品区域的面积计算该所述存放架上的所述存放位区域的存储空间；
步骤M3:累加每个所述存放架上的存放位区域的存储空间和每个商品区域的存储空间生成每个所述存放架的存储容量，进而累加每个所述存放架的存储容量生成所述冰箱的存储容量。
3.根据权利要求2所述的冰箱容量自动检测方法，其特征在于，当一所述存放架上没有存放商品时，根据以该存放架为基准的上一存放架的存储容量与下一存放架的存储容量和的平均值确定该存放架的存储容量。
4.根据权利要求1所述的冰箱容量自动检测方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：获取多张用于冰箱识别的训练图像，利用所述训练图像建立冰箱图像识别模型；
步骤S102：获取所述图像，在所述图像提取若干物体的子图像；
步骤S103：将所述子图像与所述图像识别模型匹配，在所述若干物体的子图像中识别出冰箱的子图像，进而确定冰箱区域。
5.根据权利要求1所述的冰箱容量自动检测方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：将采集到的所述图像进行去噪处理以过滤杂散点；
步骤S102：将过滤杂散点后的所述图像进行灰度直方图拉伸，以突出冰箱区域；
步骤S103：将所述图像进行二值化处理生成二值化图像，以获取冰箱区域和冰箱区域的位置信息；
步骤S104：进而对所述二值化图像进行特征提取，通过面积、长度及曲率参数筛选出冰箱区域；
步骤S105：最后对提取的冰箱区域通过模版匹配确定所述冰箱区域。
6.根据权利要求2所述的冰箱容量自动检测方法，其特征在于，所述步骤M1包括如下步骤：
步骤M101：获取多组用于存放架识别的训练图像，每组训练图像包括多张具有一相同设定数量的存放架，利用多组所述训练图像建立存放架识别模型；
步骤M102：获取所述图像，将所述图像的冰箱区域与所述存放架识别模型匹配，实现所述图像中存放架区域的识别。
7.根据权利要求2所述的冰箱容量自动检测方法，其特征在于，所述步骤M1包括如下步骤：
步骤M101：对所述图像以多个设定的存放架的数值进行聚类，生成多个彼此分开的像素集；
步骤M102：计算每个所述像素集的中心点与该像素集中每个像素点的距离，以及每个像素集的中心点与相邻所述像素集的每个像素点的距离；
步骤M103：在所述多个设定的存放架的数值中，选择一存放架的目标数值，所述存放架的目标数值使的每个所述像素集的中心点与该像素集中每个像素点的距离最小及每个像素集的中心点与相邻所述像素集的每个像素点的距离最大；
步骤M104：通过所述存放架的目标数值进行聚类识别所述每个所述存放架。
8.一种冰箱容量自动检测***，用于实现权利要求1至7中任一项所述的冰箱容量自动检测方法，其特征在于，包括：
图像采集模块，用于采集若干张图像，在所述图像上识别出所述图像上的冰箱区域，所述图像上的冰箱包括至少一用于查看商品的透明视窗和至少一摆放所述商品的储物架，所述储物架设置在所述透明视窗内侧；
储物架识别模块，用于在所述图像上识别出所述储物架；
存储空间计算模块，用于识别所述储物架上每个商品对应的商品区域和待存放商品的存放位区域，根据一所述商品区域的面积计算所述存放位区域的存储空间；
存储容量生成模块，用于累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述冰箱的存储容量。
9.一种冰箱容量自动检测设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述冰箱容量自动检测方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述冰箱容量自动检测方法的步骤。
CN201810188121.1A 2018-03-07 2018-03-07 冰箱容量自动检测方法、***、设备及存储介质 Pending CN108389230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810188121.1A CN108389230A (zh) 2018-03-07 2018-03-07 冰箱容量自动检测方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810188121.1A CN108389230A (zh) 2018-03-07 2018-03-07 冰箱容量自动检测方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN108389230A true CN108389230A (zh) 2018-08-10

Family

ID=63066848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810188121.1A Pending CN108389230A (zh) 2018-03-07 2018-03-07 冰箱容量自动检测方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108389230A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712324A (zh) * 2018-12-28 2019-05-03 广东便捷神科技股份有限公司 一种自动售货机图像识别方法、售货方法及自动售货设备
CN109784172A (zh) * 2018-12-14 2019-05-21 上海扩博智能技术有限公司 商场中地堆商品占地面积估算方法、***、设备及介质
CN110781780A (zh) * 2019-10-11 2020-02-11 浙江大华技术股份有限公司 空置检测方法及相关装置
CN111310729A (zh) * 2020-03-16 2020-06-19 南京掌控网络科技有限公司 基于图像识别技术获取冰箱纯净度的方法及资产管理***
CN112113558A (zh) * 2020-08-27 2020-12-22 上海扩博智能技术有限公司 无人机偏航角误差测算方法、***、设备和存储介质
WO2023125469A1 (zh) * 2021-12-28 2023-07-06 海尔智家股份有限公司 空余容量检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
US8706293B2 (en) * 2011-11-29 2014-04-22 Cereson Co., Ltd. Vending machine with automated detection of product position
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN107463945A (zh) * 2017-07-12 2017-12-12 浙江大学 一种基于深度匹配网络的商品种类识别方法
CN107578052A (zh) * 2017-09-15 2018-01-12 北京京东尚科信息技术有限公司 货品处理方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809601A (zh) * 2007-08-31 2010-08-18 埃森哲环球服务有限公司 基于图像处理的货架图提取
US8706293B2 (en) * 2011-11-29 2014-04-22 Cereson Co., Ltd. Vending machine with automated detection of product position
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN107463945A (zh) * 2017-07-12 2017-12-12 浙江大学 一种基于深度匹配网络的商品种类识别方法
CN107578052A (zh) * 2017-09-15 2018-01-12 北京京东尚科信息技术有限公司 货品处理方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于丽颖: "图像识别方法技术分析与应用", 《第24届全国煤矿自动化与信息化学术会议暨第6届中国煤矿信息化与自动化高层论坛论文集》 *
翁和王: "关于人工智能中的图像识别技术的研究", 《信息通信》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784172A (zh) * 2018-12-14 2019-05-21 上海扩博智能技术有限公司 商场中地堆商品占地面积估算方法、***、设备及介质
CN109712324A (zh) * 2018-12-28 2019-05-03 广东便捷神科技股份有限公司 一种自动售货机图像识别方法、售货方法及自动售货设备
CN109712324B (zh) * 2018-12-28 2020-12-18 广东便捷神科技股份有限公司 一种自动售货机图像识别方法、售货方法及自动售货设备
CN110781780A (zh) * 2019-10-11 2020-02-11 浙江大华技术股份有限公司 空置检测方法及相关装置
CN111310729A (zh) * 2020-03-16 2020-06-19 南京掌控网络科技有限公司 基于图像识别技术获取冰箱纯净度的方法及资产管理***
CN112113558A (zh) * 2020-08-27 2020-12-22 上海扩博智能技术有限公司 无人机偏航角误差测算方法、***、设备和存储介质
WO2023125469A1 (zh) * 2021-12-28 2023-07-06 海尔智家股份有限公司 空余容量检测装置

Similar Documents

Publication Publication Date Title
CN108389230A (zh) 冰箱容量自动检测方法、***、设备及存储介质
CN108734162B (zh) 商品图像中目标识别方法、***、设备及存储介质
CN108416403B (zh) 商品与标签的自动关联方法、***、设备及存储介质
CN108647553B (zh) 模型训练用图像的快速扩充方法、***、设备及存储介质
CN107992820B (zh) 基于双目视觉的货柜自助售货方法
CN109726759B (zh) 无人售货方法、装置、***、电子设备及计算机可读介质
CN109886169B (zh) 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN109784172A (zh) 商场中地堆商品占地面积估算方法、***、设备及介质
CN109902636A (zh) 商品识别模型训练方法、***、设备及存储介质
CN109190919A (zh) 零售关键业绩指标生成方法、***、设备及存储介质
CN109242060A (zh) 新上架产品快速查找方法、***、设备及存储介质
CN110516628A (zh) 货架空缺位置商品信息获取方法、***、设备及存储介质
CN111881894A (zh) 采集货柜商品售卖信息的方法、***、设备和存储介质
CN109978833A (zh) 图像质量自动检测方法、***、设备及存储介质
US20190034787A1 (en) Relative position encoding based networks for action recognition
CN112307864A (zh) 用于确定目标对象的方法、装置、人机交互***
CN111223099B (zh) 违禁品检测方法、一种计算设备及存储介质
CN113378958A (zh) 自动标注方法、装置、设备、存储介质及计算机程序产品
CN113706227A (zh) 一种货架商品推荐方法及装置
CN116415794A (zh) 基于ar眼镜的出入库方法及智能仓储***
CN109948736A (zh) 商品识别模型主动训练方法、***、设备及存储介质
CN111126264A (zh) 图像处理方法、装置、设备及存储介质
CN113674049A (zh) 基于图片搜索的商品在架位置识别方法、***和存储介质
CN111428743A (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111353577B (zh) 基于多任务的级联组合模型的优化方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180810

RJ01 Rejection of invention patent application after publication