CN111080701A - 智能柜物体检测方法、装置、服务器及存储介质 - Google Patents
智能柜物体检测方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN111080701A CN111080701A CN201911289221.4A CN201911289221A CN111080701A CN 111080701 A CN111080701 A CN 111080701A CN 201911289221 A CN201911289221 A CN 201911289221A CN 111080701 A CN111080701 A CN 111080701A
- Authority
- CN
- China
- Prior art keywords
- target object
- pixel points
- axis coordinate
- confirming
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims description 19
- 238000012790 confirmation Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003708 edge detection Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种智能柜物体检测方法、装置、服务器及存储介质，包括：识别目标物图像中的目标物轮廓区域；确认所述目标物轮廓区域内的所有像素点的空间坐标；根据所述所有像素点的空间坐标确认目标物参考高度值区间；根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。本发明的技术方案解决了判断目标物是否超出所指定的托盘区域问题，达到了降低物体超边检测的成本仍旧能够精确断目标物是否超出所指定的托盘区域问题效果。
Description
技术领域
本发明实施例涉及智能柜物体检测技术，尤其涉及一种智能柜物体检测方法、装置、服务器及存储介质。
背景技术
一般常见检测物件是否超出指定范围区域的方法可以从硬件方面来实现，例如使用红外线传感器，安装在区域边界，在物件超出边界的情况下，红外线被物件遮蔽，接收器收不到讯号时，表示该物件已超出指定范围区域，或者使用激光测距仪，初始化设定没有物件的距离分布，在有物件超过边界时，藉由距离分布的变化，达成检测物件是否超出指定范围区域的功能。红外线的检测范围是一条线，激光测距的检测范围是一个面，若要完整覆盖区域边界的检测范围，需要多个感测器，成本较高，且逻辑判断较复杂。
发明内容
本发明提供一种智能柜物体检测方法、装置、服务器及存储介质，以实现降低物体超边检测的成本仍旧能够精确判断目标物是否超出所指定的托盘区域。
第一方面，本发明实施例提供了一种智能柜物体检测方法，包括：
识别目标物图像中的目标物轮廓区域；
确认所述目标物轮廓区域内的所有像素点的空间坐标；
根据所述所有像素点的空间坐标确认目标物参考高度值区间；
根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；
根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
可选的，所述识别目标物图像中的目标物轮廓区域包括：
采用深度相机采集所述目标物图像；
将所述目标物图像输入深度学习模型以识别所述目标物轮廓区域。
可选的，所述空间坐标包括X轴坐标值，Y轴坐标值和Z轴坐标值，所述根据所述所有像素点的空间坐标确认目标物参考高度值区间包括：
将所述所有像素点的Z轴坐标值转化为高度值；
统计所述高度值对应的所述像素点的数量；
按照所述像素点的数量由大至小的规则对所述高度值进行排序以获得目标范围靠前位置内的目标高度值；
根据所述目标高度值确认所述目标物参考高度值区间。
可选的，所述根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点包括：
将所述高度值大于所述目标物参考高度值区间的像素点确认为真实像素点。
可选的，所述根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界边包括：
判断所述真实像素点的X轴坐标值和/或Y轴坐标值是否在目标范围内；
若所述真实像素点的X轴坐标值和/或Y轴坐标值在目标范围内，则所述目标物未超出托盘边界；
若所述真实像素点的X轴坐标值和/或Y轴坐标值不在目标范围内，则所述目标物超出托盘边界。
第二方面，本发明实施例提供了一种智能柜物体检测装置，包括：
轮廓识别模块，用于识别目标物图像中的目标物轮廓区域；
空间坐标获取模块，用于确认所述目标物轮廓区域内的所有像素点的空间坐标；
参考高度值确认模块，用于根据所述所有像素点的空间坐标确认目标物参考高度值区间；
真实像素点确认模块，用于根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；
超边确认模块，用于根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
可选的，所述轮廓识别模块还包括：
图像采集单元，用于采用深度相机采集所述目标物图像；
轮廓识别单元，用于将所述目标物图像输入深度学习模型以识别所述目标物轮廓区域。
可选的，所述空间坐标包括X轴坐标值，Y轴坐标值和Z轴坐标值，所述参考高度值确认模块还包括：
高度值转化单元，用于将所述所有像素点的Z轴坐标值转化为高度值；
统计单元，用于统计所述高度值对应的像素点的数量；
排序单元，用于按照所述像素点的数量由大至小的规则对所述高度值进行排序以获得靠前位置内的目标高度值；
参考高度值确认单元，用于根据所述目标高度值确认所述目标物参考高度值区间。
可选的，所述真实像素点确认模块具体用于：
将所述高度值大于所述目标物参考高度值区间的像素点确认为真实像素点。
可选的，所述超边确认模块包括：
判断单元，用于判断所述真实像素点的X轴坐标值和/或Y轴坐标值是否在目标范围内；
未超边确认单元，用于若所述真实像素点的X轴坐标值和/或Y轴坐标值在目标范围内，则所述目标物未超出托盘边界；
超边确认单元，用于若所述真实像素点的X轴坐标值和/或Y轴坐标值不在目标范围内，则所述目标物超出托盘边界。
第三方面，本发明实施例提供了一种服务器，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的服务器的巡检方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述的智能柜物体检测方法。
本发明的技术方案，通过确认所述目标物轮廓区域内的所有像素点的空间坐标；根据所述所有像素点的空间坐标确认目标物参考高度值区间；根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界，解决了判断目标物是否超出所指定的托盘区域问题，达到了降低物体超边检测的成本仍旧能够精确断目标物是否超出所指定的托盘区域问题效果。
附图说明
下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明实施例的上述及其他特征和优点，附图中：
图1是本发明实施例一中的智能柜物体检测方法的流程图；
图2是本发明实施例一中的智能柜物体检测方法的流程图；
图3是本发明实施例二中的智能柜物体检测方法的流程图；
图4是本发明实施例二中的智能柜物体检测方法的流程图；
图5是本发明实施例三中的智能柜物体检测装置的示意图；
图6是本发明实施例三中的智能柜物体检测装置的示意图；
图7是本发明实施例三中的智能柜物体检测装置的示意图；
图8是本发明实施例三中的智能柜物体检测装置的示意图；
图9是本发明实施例四中的服务器的示意图。
具体实施方式
面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对发明的限定。另外还需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的智能柜物体检测方法的流程图，具体包括如下步骤：
步骤110、识别目标物图像中的目标物轮廓区域。
本实施例中，目标物一般为包裹，目标物图像为深度图像。
参见图2，识别目标物图像中的目标物轮廓区域包括步骤111和步骤112。
步骤111、采用深度相机采集所述目标物图像；
本步骤中，目标物的图像可以是一张也可以是多张，当目标物的图像可为一张时，深度相机的位置优选在目标物的上方。其中目标物图像包括目标物(包裹)和盛放目标物的托盘。本实施例中，采用深度相机的成本较低。
步骤112、将所述目标物图像输入深度学习模型以识别所述目标物轮廓区域。
本步骤中，采用深度学习模型识别出目标物轮廓区域。
步骤120、确认所述目标物轮廓区域内的所有像素点的空间坐标；
本实施例中，通过目标物轮廓区域内深度图像确认所有像素点的空间坐标(x,y,z)，其中，空间坐标可以由深度相机的内部参数和外部参数共同确定。
步骤130、根据所述所有像素点的空间坐标确认目标物参考高度值区间。
本步骤中，由于深度图像的每一个像素点代表的是在深度感应器的视野中，该特定的(x,y)坐标处物体到离摄像头平面最近的物体到该平面的距离，根据摄像头平面最近的物体到该平面的距离可以确认Z轴坐标值。当深度相机的摄像头位于目标物的上方时，Z轴坐标值越小表示该像素点离摄像头越近，表示该像素点为目标物中高度值较高的点。可以根据预设规则筛选出能够表示目标物高度值的Z轴坐标值范围，再通过Z轴坐标值的范围推算出出目标物参考高度值区间。
步骤140、根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；
本步骤中，根据空间坐标可以推算出目标物轮廓区域内每个像素点的高度值，以目标物参考高度值区间为标准筛选目标物轮廓区域内每个像素点的高度值，将满足目标物参考高度值区间的筛选标准的像素点作为目标物轮廓区域内的真实像素点。
步骤150、根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
本步骤中，由于在智能柜中，托盘的大小、位置、深度相机的位置通常都是固定的，因此，托盘的边界范围也是固定的，可以预先设置托盘的边界X轴坐标值阈值范围和Y轴坐标值阈值范围。将筛选出来的真实像素点的空间坐标中的X轴坐标值和Y轴坐标值与预设的X轴坐标值阈值范围和Y轴坐标值阈值范围进行比较，若X轴坐标值超出X轴坐标值阈值范围和/或Y轴坐标值超出Y轴坐标值阈值范围，则表明目标物超出托盘边界。其中，X轴坐标值阈值范围和Y轴坐标值阈值范围表示托盘的边界范围。
在其他实施例中，还可以是通过先识别目标物图像中的托盘边界，再进一步获取目标物图像中的托盘边界的坐标。再根据托盘的边界的坐标判断目标物是否超出了托盘的边界范围。具体的，获取托盘的边界的方法包括：
步骤一：设定目标物图像中的托盘四个边界角点像素，相连得到四条线，作为托盘边界，其中托盘边界分别包括：上边界、下边界、左边界和右边界。
步骤二：根据深度相机的参数货物托盘边界的像素点的坐标(x,y,z)。
步骤三：根据上边界的空间坐标计算上边界的Y轴坐标值的平均值，纪录为托盘边界最小Y轴坐标值。
步骤四：根据下边界的空间坐标计算下边界的Y轴坐标值的平均值，纪录为托盘边界最大Y轴坐标值。
步骤五：根据左边界的空间坐标计算左边界的X轴坐标值的平均值，纪录为托盘边界最小X轴坐标值。
步骤六：根据右边界的空间坐标计算右边界的X轴坐标值的平均值，纪录为托盘边界最大X轴坐标值。
本实施例的技术方案，通过确认所述目标物轮廓区域内的所有像素点的空间坐标；根据所述所有像素点的空间坐标确认目标物参考高度值区间；根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界，解决了判断目标物是否超出所指定的托盘区域问题，达到了降低物体超边检测的成本仍旧能够精确断目标物是否超出所指定的托盘区域问题效果。
实施例二
图3为本发明实施例二提供的智能柜物体检测方法的流程图，具体包括如下步骤：
步骤210、识别目标物图像中的目标物轮廓区域。
本实施例中，目标物一般为包裹，其中目标物图像为深度相机拍摄的深度图像。
步骤220、确认所述目标物轮廓区域内的所有像素点的空间坐标。
本实施例中，通过目标物轮廓区域内深度图像确认所有像素点的空间坐标(x,y,z)。
步骤230、根据所述所有像素点的空间坐标确认目标物参考高度值区间。
本实施例中，所述空间坐标包括X轴坐标值，Y轴坐标值和Z轴坐标值，一并参见图4，所述根据所述所有像素点的空间坐标确认目标物参考高度值区间还包括步骤231到步骤234：
步骤231、将所述所有像素点的Z轴坐标值转化为高度值。
本步骤中，由于深度图像的每一个像素点代表的是在深度感应器的视野中，特定的(x,y)坐标处物体到离摄像头平面最近的物体到该平面的距离，深度相机可以根据摄像头平面最近的物体到该平面的距离可以确认Z轴坐标值。因此也可以根据Z轴坐标值反推像素点的高度值。
步骤232、统计所述高度值对应的像素点的数量。
本步骤中，先将目标物轮廓区域内的所有像素点的Z轴坐标值以递增排序，保留Z轴坐标值排序在前段的像素点，再统计排序在前段的像素点的各高度值的数量。在检测托盘上的目标物时，目标物通常都高于托盘，如果检测到过低的高度值，则表明此像素点很有可能为托盘的像素点，是在图像识别的时候发生的误判，因此需要排除较低高度值的像素点以减小误差。
步骤233、按照所述像素点的数量由大至小的规则对所述高度值进行排序以获得靠前位置内的目标高度值。
本步骤中，按照数量由大至小的规则对所述高度值进行排序后，将数量排在前n名的高度值作为目标高度值。在检测时，目选择数量排在前n名的高度值作为目标高度值可以进一步减小空间坐标在测量时的误差，示例性的，某一个像素点的高度值很高，但是只有这一个像素点的高度值过高，则表明，当前像素点的空间坐标再测量时就已经出现了误差，应该排除此像素点。
步骤234、根据所述目标高度值确认所述目标物参考高度值区间。
本步骤中，根据质心坐标公式估算出物件整体的平均高度值，将围绕物件整体的平均高度值在一定范围波动的值作为目标物参考高度值区间，示例性的，将估算出的物件整体的平均高度值减10毫米到平均高度值加10毫米的区间作为目标物参考高度值区间。
步骤240、根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点。
本步骤中，根据空间坐标可以推算出目标物轮廓区域内每个像素点的高度值，以目标物参考高度值区间为标准对筛选目标物轮廓区域内每个像素点的高度值，将满足目标物参考高度值区间的筛选标准的像素点作为目标物轮廓区域内的真实像素点。具体的，根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点包括：将所述高度值大于所述目标物参考高度值区间的像素点确认为真实像素点。
步骤250、根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
本步骤中，判断所述目标物是否超出托盘边界的标准包括：判断所述真实像素点的X轴坐标值和/或Y轴坐标值是否在目标范围内；若所述真实像素点的X轴坐标值和/或Y轴坐标值在目标范围内，则所述目标物未超出托盘边界；若所述真实像素点的X轴坐标值和/或Y轴坐标值不在目标范围内，则所述目标物超出托盘边界。
本实施例的技术方案，通过统计所述高度值对应的所述像素点的数量；按照所述像素点的数量由大至小的规则对所述高度值进行排序以获得目标范围靠前位置内的目标高度值；再根据所述目标高度值确认所述目标物参考高度值区间，根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。解决了判断目标物是否超出所指定的托盘区域问题，一方面达到了降低物体超边检测的成本仍旧能够精确断目标物是否超出所指定的托盘区域问题效果；另一方面还减小了测量空间坐标和图像识别中的误差。
实施例三
本发明实施例所提供的智能柜物体检测装置可执行本发明任意实施例所提供的智能柜物体检测方法，具备执行方法相应的功能模块和有益效果。
智能柜物体检测装置3，参见图5，包括：
轮廓识别模块31，用于识别目标物图像中的目标物轮廓区域。
本实施例中，参见图6，所述轮廓识别模块31还包括：图像采集单元311，用于采用深度相机采集所述目标物图像；轮廓识别单元312，用于将所述目标物图像输入深度学习模型以识别所述目标物轮廓区域。
空间坐标获取模块32，用于确认所述目标物轮廓区域内的所有像素点的空间坐标。
参考高度值确认模块33，用于根据所述所有像素点的空间坐标确认目标物参考高度值区间。
真实像素点确认模块34，用于根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点。
超边确认模块35，用于根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
替代实施例中，参见图7，所述空间坐标包括X轴坐标值，Y轴坐标值和Z轴坐标值，所述参考高度值确认模块33还包括：
高度值转化单元331，用于将所述所有像素点的Z轴坐标值转化为高度值；
统计单元332，用于统计所述高度值对应的像素点的数量；
排序单元333，用于按照所述像素点的数量由大至小的规则对所述高度值进行排序以获得靠前位置内的目标高度值；
参考高度值确认单元334，用于根据所述目标高度值确认所述目标物参考高度值区间。
替代实施例中，所述真实像素点确认模块具体用于：
将所述高度值大于所述目标物参考高度值区间的像素点确认为真实像素点。
替代实施例中，参见图8，所述超边确认模块35包括：
判断单元351，用于判断所述真实像素点的X轴坐标值和/或Y轴坐标值是否在目标范围内；
未超边确认单元352，用于若所述真实像素点的X轴坐标值和/或Y轴坐标值在目标范围内，则所述目标物未超出托盘边界；
超边确认单元353，用于若所述真实像素点的X轴坐标值和/或Y轴坐标值不在目标范围内，则所述目标物超出托盘边界。
本发明实施例所提供的智能柜物体检测装置可执行本发明任意实施例所提供的智能柜物体检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图9为本发明实施例四提供的一种服务器的结构示意图，如图9所示，该服务器包括处理器41、存储器42；服务器中处理器41的数量可以是一个或多个，图9中以一个处理器41为例；服务器中的处理器41、存储器42可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的服务器的巡检方法对应的程序指令/模块(例如，轮廓识别模块、空间坐标获取模块、参考高度值确认模块和真实像素点确认模块)。处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的智能柜物体检测方法。
存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种智能柜物体检测方法，该方法包括：
识别目标物图像中的目标物轮廓区域；
确认所述目标物轮廓区域内的所有像素点的空间坐标；
根据所述所有像素点的空间坐标确认目标物参考高度值区间；
根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；
根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的智能柜物体检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种智能柜物体检测方法，其特征在于，包括：
识别目标物图像中的目标物轮廓区域；
确认所述目标物轮廓区域内的所有像素点的空间坐标；
根据所述所有像素点的空间坐标确认目标物参考高度值区间；
根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；
根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
2.根据权利要求1所述的智能柜物体检测方法，其特征在于，所述识别目标物图像中的目标物轮廓区域包括：
采用深度相机采集所述目标物图像；
将所述目标物图像输入深度学习模型以识别所述目标物轮廓区域。
3.根据权利要求1所述的智能柜物体检测方法，其特征在于，所述空间坐标包括X轴坐标值，Y轴坐标值和Z轴坐标值，所述根据所述所有像素点的空间坐标确认目标物参考高度值区间包括：
将所述所有像素点的Z轴坐标值转化为高度值；
统计所述高度值对应的像素点的数量；
按照所述像素点的数量由大至小的规则对所述高度值进行排序以获得靠前位置内的目标高度值；
根据所述目标高度值确认所述目标物参考高度值区间。
4.根据权利要求3所述的智能柜物体检测方法，其特征在于，所述根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点包括：
将所述高度值大于所述目标物参考高度值区间的像素点确认为真实像素点。
5.根据权利要求4所述的智能柜物体检测方法，其特征在于，所述根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界边包括：
判断所述真实像素点的X轴坐标值和/或Y轴坐标值是否在目标范围内；
若所述真实像素点的X轴坐标值和/或Y轴坐标值在目标范围内，则所述目标物未超出托盘边界；
若所述真实像素点的X轴坐标值和/或Y轴坐标值不在目标范围内，则所述目标物超出托盘边界。
6.一种智能柜物体检测装置，其特征在于，包括：
轮廓识别模块，用于识别目标物图像中的目标物轮廓区域；
空间坐标获取模块，用于确认所述目标物轮廓区域内的所有像素点的空间坐标；
参考高度值确认模块，用于根据所述所有像素点的空间坐标确认目标物参考高度值区间；
真实像素点确认模块，用于根据所述目标物参考高度值区间确认所述目标物轮廓区域内的真实像素点；
超边确认模块，用于根据所述真实像素点的空间坐标判断所述目标物是否超出托盘边界。
7.根据权利要求6所述的智能柜物体检测装置，其特征在于，所述轮廓识别模块还包括：
图像采集单元，用于采用深度相机采集所述目标物图像；
轮廓识别单元，用于将所述目标物图像输入深度学习模型以识别所述目标物轮廓区域。
8.根据权利要求6所述的智能柜物体检测装置，其特征在于，所述空间坐标包括X轴坐标值，Y轴坐标值和Z轴坐标值，所述参考高度值确认模块还包括：
高度值转化单元，用于将所述所有像素点的Z轴坐标值转化为高度值；
统计单元，用于统计所述高度值对应的像素点的数量；
排序单元，用于按照所述像素点的数量由大至小的规则对所述高度值进行排序以获得靠前位置内的目标高度值；
参考高度值确认单元，用于根据所述目标高度值确认所述目标物参考高度值区间。
9.根据权利要求8所述的智能柜物体检测装置，其特征在于，所述真实像素点确认模块具体用于：
将所述高度值大于所述目标物参考高度值区间的像素点确认为真实像素点。
10.根据权利要求9所述的智能柜物体检测装置，其特征在于，所述超边确认模块包括：
判断单元，用于判断所述真实像素点的X轴坐标值和/或Y轴坐标值是否在目标范围内；
未超边确认单元，用于若所述真实像素点的X轴坐标值和/或Y轴坐标值在目标范围内，则所述目标物未超出托盘边界；
超边确认单元，用于若所述真实像素点的X轴坐标值和/或Y轴坐标值不在目标范围内，则所述目标物超出托盘边界。
11.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的服务器的巡检方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的智能柜物体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911289221.4A CN111080701A (zh) | 2019-12-13 | 2019-12-13 | 智能柜物体检测方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911289221.4A CN111080701A (zh) | 2019-12-13 | 2019-12-13 | 智能柜物体检测方法、装置、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111080701A true CN111080701A (zh) | 2020-04-28 |
Family
ID=70314612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911289221.4A Pending CN111080701A (zh) | 2019-12-13 | 2019-12-13 | 智能柜物体检测方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080701A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488112A (zh) * | 2021-02-04 | 2021-03-12 | 深兰人工智能芯片研究院（江苏）有限公司 | 目标对象识别方法、装置、电子设备及存储介质 |
| CN116197888A (zh) * | 2021-11-28 | 2023-06-02 | 梅卡曼德（北京）机器人科技有限公司 | 物品位置确定方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170011519A1 (en) * | 2014-02-14 | 2017-01-12 | Sony Interactive Entertainment Inc. | Information processor and information processing method |
| CN108961250A (zh) * | 2018-07-20 | 2018-12-07 | 中国科学院深圳先进技术研究院 | 一种目标物统计方法、装置、终端以及存储介质 |
| CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
-
2019
- 2019-12-13 CN CN201911289221.4A patent/CN111080701A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170011519A1 (en) * | 2014-02-14 | 2017-01-12 | Sony Interactive Entertainment Inc. | Information processor and information processing method |
| CN108961250A (zh) * | 2018-07-20 | 2018-12-07 | 中国科学院深圳先进技术研究院 | 一种目标物统计方法、装置、终端以及存储介质 |
| CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488112A (zh) * | 2021-02-04 | 2021-03-12 | 深兰人工智能芯片研究院（江苏）有限公司 | 目标对象识别方法、装置、电子设备及存储介质 |
| CN112488112B (zh) * | 2021-02-04 | 2021-11-09 | 深兰人工智能芯片研究院（江苏）有限公司 | 目标对象识别方法、装置、电子设备及存储介质 |
| CN116197888A (zh) * | 2021-11-28 | 2023-06-02 | 梅卡曼德（北京）机器人科技有限公司 | 物品位置确定方法、装置、电子设备和存储介质 |
| CN116197888B (zh) * | 2021-11-28 | 2023-12-19 | 梅卡曼德（北京）机器人科技有限公司 | 物品位置确定方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107388960A (zh) | 一种确定物体体积的方法及装置 | |
| CN111844019B (zh) | 一种机器抓取位置确定方法、设备、电子设备和存储介质 | |
| US9576363B2 (en) | Object picking system, object detecting device, object detecting method | |
| CN110672007A (zh) | 一种基于机器视觉的工件表面质量检测方法及*** | |
| CN110443212B (zh) | 用于目标检测的正样本获取方法、装置、设备及存储介质 | |
| EP3330921A1 (en) | Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method | |
| CN110533654A (zh) | 零部件的异常检测方法及装置 | |
| CN109086734A (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
| CN111080701A (zh) | 智能柜物体检测方法、装置、服务器及存储介质 | |
| CN109190639A (zh) | 一种车辆颜色识别方法、装置及*** | |
| CN115035181A (zh) | 容积使用率的监控方法、装置和计算机可读存储介质 | |
| CN114155557B (zh) | 定位方法、装置、机器人及计算机可读存储介质 | |
| EP4207068A1 (en) | Target object detection method and apparatus, and electronic device, storage medium and program | |
| CN114332622A (zh) | 一种基于机器视觉的标签检测方法 | |
| CN117671637A (zh) | 物体点云重叠识别方法、装置、设备、机器人和存储介质 | |
| CN108957384B (zh) | 一种周转箱及电能计量设备方向判别方法与装置 | |
| CN111336938A (zh) | 一种机器人及其物体距离检测方法和装置 | |
| CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及*** | |
| CN115861443A (zh) | 一种多相机内参标定方法、装置、电子设备及存储介质 | |
| CN113635299A (zh) | 一种机械臂的校正方法、终端设备及存储介质 | |
| JP2020086899A (ja) | オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム | |
| CN110532840A (zh) | 一种方形物体的形变识别方法、装置及设备 | |
| CN117726239B (zh) | 工程质量验收实测实量方法及*** | |
| CN111586299B (zh) | 一种图像处理方法和相关设备 | |
| CN113221891B (zh) | 掌静脉图像的识别角度的调整方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200428 |
|
| RJ01 | Rejection of invention patent application after publication |