CN111666935A - 物品中心定位方法、装置以及物流***和存储介质 - Google Patents

物品中心定位方法、装置以及物流***和存储介质 Download PDF

Info

Publication number
CN111666935A
CN111666935A CN201910167736.0A CN201910167736A CN111666935A CN 111666935 A CN111666935 A CN 111666935A CN 201910167736 A CN201910167736 A CN 201910167736A CN 111666935 A CN111666935 A CN 111666935A
Authority
CN
China
Prior art keywords
dimensional
point cloud
image
target object
fitting surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910167736.0A
Other languages
English (en)
Other versions
CN111666935B (zh
Inventor
刘伟峰
万保成
曹凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910167736.0A priority Critical patent/CN111666935B/zh
Publication of CN111666935A publication Critical patent/CN111666935A/zh
Application granted granted Critical
Publication of CN111666935B publication Critical patent/CN111666935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供了一种物品中心定位方法、装置以及物流***和存储介质，涉及物流技术领域，其中方法包括：基于二维摄像装置和三维摄像装置之间的标定矩阵和三维点云图像获得与二维图像相对应的点云图；根据点云图生成目标物品的拟合表面；根据目标物品在二维图像中的二维中心位置信息、标定矩阵和目标物品的拟合表面获得目标物品的三维中心位置信息以及姿态信息。本公开的物品中心定位方法、装置以及物流***和存储介质，解决了因点云空洞而造成的中心位置定位不准的问题，利用二维图像中确定目标的准确性较高的优点，能够精确地识别物品的中心位置和姿态，可以提高拣选物品的成功率，并能够提高工作效率和安全性。

Description

物品中心定位方法、装置以及物流***和存储介质
技术领域
本公开涉及物流技术领域，尤其涉及一种物品中心定位方法、装置以及物流***和存储介质。
背景技术
物流***中的机器人执行物品的拣选任务，机器人在视觉辅助的基础上，根据拣选任务从周转箱内按要求把相应数量的商品取出，并放入指定位置，在此过程中需要精确地识别商品的中心位置和姿态，以便机器人能够准确抓取商品。目前，采用的多种识别商品的中心位置和姿态的技术均存在不足，获得的商品的中心位置和姿态不准确，降低了机器人的拣选成功率。
发明内容
有鉴于此，本发明要解决的一个技术问题是提供一种物品中心定位方法、装置以及物流***和存储介质。
根据本公开的一个方面，提供一种物品中心定位方法，包括：分别获得二维摄像装置和三维摄像装置采集的与目标物品相对应的二维图像和三维点云图像；基于所述二维摄像装置和所述三维摄像装置之间的标定矩阵和所述三维点云图像获得与所述二维图像相对应的点云图；根据所述点云图生成所述目标物品的拟合表面；根据所述目标物品在所述二维图像中的二维中心位置信息、所述标定矩阵和所述目标物品的拟合表面获得所述目标物品的三维中心位置信息以及姿态信息。
可选地，所述基于所述二维摄像装置和所述三维摄像装置之间的标定矩阵和所述三维点云图像获得与所述二维图像相对应的点云图包括：获取与所述目标物品相对应的二维模板图像；将所述二维模板图像与所述二维图像进行匹配，在所述二维图像中获得所述目标物品的图像区域；基于所述标定矩阵对所述三维点云图像进行处理，用以获得与所述图像区域相对应的图像区域点云图。
可选地，所述基于所述标定矩阵对所述三维点云图像进行处理包括：基于所述标定矩阵对所述三维点云图像中的每个点云数据进行坐标转换处理，获得每个点云数据在所述二维图像中对应的二维坐标数据；建立所述点云数据与所述二维坐标数据的对应关系；基于所述对应关系获得所述图像区域中每个像素的二维坐标数据对应的图像区域点云数据；基于所述图像区域点云数据生成所述图像区域点云图。
可选地，所述对于所述点云图进行拟合处理、生成目标物品的拟合表面包括：基于预设的平面拟合算法对所述图像区域点云图中的点云数据进行空间平面拟合处理，获得与所述图像区域点云图相对应的目标物品的拟合表面。
可选地，在所述图像区域中获得所述目标物品的中心点二维坐标。
可选地，所述根据所述二维中心位置信息、所述标定矩阵和所述目标物品的拟合表面获得所述目标物品的三维中心位置信息以及姿态信息包括：根据所述标定矩阵、所述中心点二维坐标和所述目标物品的拟合表面计算出与所述中心点二维坐标对应的中心点三维坐标；根据所述目标物品的拟合表面获得与所述中心点三维坐标相对应的目标物品姿态角信息。
可选地，所述中心点三维坐标为
Figure BDA0001986877160000021
其中，M33表示M矩阵前3列组成的矩阵；-M；4表示M矩阵第4列组成的列矢量；所述中心点二维坐标为(U,V)，所述标定矩阵为P34，所述目标物品的拟合表面为A*x+B*y+C*z+D＝0；
所述M矩阵为
Figure BDA0001986877160000031
根据本公开的另一方面，提供一种物品中心定位装置，包括：图像获取模块，用于分别获得二维摄像装置和三维摄像装置采集的与目标物品相对应的二维图像和三维点云图像；点云图生成模块，用于基于所述二维摄像装置和所述三维摄像装置之间的标定矩阵和所述三维点云图像获得与所述二维图像相对应的点云图；拟合表面生成模块，用于根据所述点云图生成所述目标物品的拟合表面；位置和姿态获得模块，用于根据所述目标物品在所述二维图像中的二维中心位置信息、所述标定矩阵和所述目标物品的拟合表面获得所述目标物品的三维中心位置信息以及姿态信息。
可选地，所述点云图生成模块，包括：模板获取单元，用于获取与所述目标物品相对应的二维模板图像；区域确定单元，用于将所述二维模板图像与所述二维图像进行匹配，在所述二维图像中获得所述目标物品的图像区域；点云处理单元，用于基于所述标定矩阵对所述三维点云图像进行处理，用以获得与所述图像区域相对应的图像区域点云图。
可选地，所述点云处理单元，具体用于基于所述标定矩阵对所述三维点云图像中的每个点云数据进行坐标转换处理，获得每个点云数据在所述二维图像中对应的二维坐标数据；建立所述点云数据与所述二维坐标数据的对应关系；基于所述对应关系获得所述图像区域中每个像素的二维坐标数据对应的图像区域点云数据；基于所述图像区域点云数据生成所述图像区域点云图。
可选地，所述拟合表面生成模块，用于基于预设的平面拟合算法对所述图像区域点云图中的点云数据进行空间平面拟合处理，获得与所述图像区域点云图相对应的目标物品的拟合表面。
可选地，所述位置和姿态获得模块，包括：二维位置获得单元，用于在所述图像区域中获得所述目标物品的中心点二维坐标。
可选地，所述位置和姿态获得模块，还包括：三维位置计算单元，用于根据所述标定矩阵、所述中心点二维坐标和所述目标物品的拟合表面计算出与所述中心点二维坐标对应的中心点三维坐标；姿态信息获得单元，用于根据所述目标物品的拟合表面获得与所述中心点三维坐标相对应的目标物品姿态角信息。
根据本公开的又一方面，提供一种物品中心定位装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。
根据本公开的又一方面，提供一种物流***，包括：机器人、如上所述的物品中心定位装置；所述物品中心定位装置将目标物品的三维中心位置信息以及姿态信息发送给所述机器人。
根据本公开的再一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。
本公开的物品中心定位方法、装置以及物流***和存储介质，根据标定矩阵和三维点云图像获得与二维图像相对应的点云图，根据点云图生成目标物品的拟合表面，根据二维图像中的二维中心位置信息、标定矩阵和拟合表面获得三维中心位置信息以及姿态信息；解决了因点云空洞而造成的中心位置定位不准的问题，利用二维图像中确定目标的准确性较高的优点，能够精确地识别物品的中心位置和姿态，可以提高拣选物品的成功率，并能够提高工作效率和安全性。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开的物品中心定位方法的一个实施例的流程示意图；
图2为根据本公开的物品中心定位方法的一个实施例的拣选作业场景示意图；
图3为根据本公开的物品中心定位方法的另一个实施例的流程示意图；
图4为根据本公开的物品中心定位装置的一个实施例中的模块示意图；
图5为根据本公开的物品中心定位装置的一个实施例中的点云图生成模块的模块示意图；
图6为根据本公开的物品中心定位装置的一个实施例中的位置和姿态获得模块的模块示意图；
图7为根据本公开的物品中心定位装置的另一个实施例的模块示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。下面结合各个图和实施例对本公开的技术方案进行多方面的描述。
目前，物品通常采用方形包装盒，周转箱内一般密集排放着多个相同种类的物品的包装盒，识别物品(物品的包装盒)的中心位置和姿态的方法为：建立物品的3D模型，通过在场景点云上匹配物品的3D模型，进而计算出拣选目标物品的中心位置和姿态。
上述识别物品的中心位置和姿态的方法存在不足：通过点云模型匹配的方法会明显受点云质量的干扰；例如，目前3D相机普遍分辨率不高，测量精度偏低，较难分辨物体间的缝隙，并且，许多物品的包装材质易反光，在反光的位置容易造成点云上存在空洞(无效数据)，影响目标匹配精度。
本发明提出一种物品中心定位方法，以提高机器人端拾器的拣选成功率。
图1为根据本公开的物品中心定位方法的一个实施例的流程示意图，如图1所示，物品中心定位方法包括步骤101－104。
步骤101，分别获得二维摄像装置和三维摄像装置采集的与目标物品相对应的二维图像和三维点云图像。
二维摄像装置可以为2D相机等，三维摄像装置可以为3D相机等。目标物品可以为多种商品的包装箱等，二维图像和三维点云图像可以为包含有目标物品的场景图像。
步骤102，基于二维摄像装置和三维摄像装置之间的标定矩阵和三维点云图像获得与二维图像相对应的点云图。
二维摄像装置和三维摄像装置之间的标定矩阵可以有多种。例如，二维摄像装置和三维摄像装置之间的标定矩阵可以为矩阵P34，矩阵P34蕴含三维摄像装置坐标系与二维摄像装置坐标系之间的旋转和平移关系，以及二维摄像装置的内部参数。利用标定矩阵P34乘上三维摄像装置得到的点云坐标即可得到该点对应到二维摄像装置采集的二维图像上的坐标。
步骤103，根据点云图生成目标物品的拟合表面。可以采用现有的多种方法进行目标物品的表面拟合，生成的目标物品的拟合表面可以为平面、曲面等。
步骤104，根据目标物品在二维图像中的二维中心位置信息、标定矩阵和目标物品的拟合表面获得目标物品的三维中心位置信息以及姿态信息。
图2为根据本公开的物品中心定位方法的一个实施例的拣选作业场景示意图，如图2所示：物流***下发拣选任务后，把周转箱调至物流***的拣选工位，机器人根据视觉***识别的目标位置和姿态抓取商品。视觉***包含一个2D相机与一个3D相机。2D相机的分辨率高，有利于同种类物品密排情形的分割；3D相机拍摄的点云用于目标拣选位置及姿态的计算。
在一个实施例中，基于标定矩阵和三维点云图像获得与二维图像相对应的点云图可以有多种方法。例如，获取与目标物品相对应的二维模板图像，二维模板图像可以为包含有目标物品的矩形图像等。将二维模板图像与二维图像进行匹配，在二维图像中获得目标物品的图像区域，图像区域可以为与二维模板图像相对应的包含有目标物品的矩形框区域等。基于标定矩阵对三维点云图像进行处理，用以获得与图像区域相对应的图像区域点云图。
模板匹配是一种模式识别方法，确定某一特定对象物的图案位于图像的什么地方，进而识别对象物。二维模板图像是一副与目标物品相对应的二维图像，模板匹配是指在二维摄像装置采集的二维图像中基于二维模板图像搜寻目标物品。在二维摄像装置采集的二维图像中匹配获得的目标物品的图像区域同二维图像模板具有相同的尺寸、方向和图像元素。可以采用现有的多种算法进行图像匹配处理，
基于标定矩阵对三维点云图像中的每个点云数据进行坐标转换处理，获得每个点云数据在二维图像中对应的二维坐标数据，建立点云数据与二维坐标数据的对应关系。获得图像区域中的像素，基于对应关系获得图像区域中每个像素的二维坐标数据对应的图像区域点云数据，基于图像区域点云数据生成图像区域点云图。
基于预设的平面拟合算法对图像区域点云图中的三维点云数据进行空间平面拟合处理，获得与图像区域点云图相对应的目标物品的拟合表面，拟合表面可以为平面、曲面等。平面拟合算法可以为现有的多种平面拟合算法，例如为随机采样一致算法等。
在一个实施例中，在图像区域中获得目标物品的中心点二维坐标，根据标定矩阵、中心点二维坐标和目标物品的拟合表面计算出与中心点二维坐标对应的中心点三维坐标，根据目标物品的拟合表面获得与中心点三维坐标相对应的目标物品姿态角信息。如果拟合表面为平面，则拟合表面的姿态角信息为目标物品姿态角信息；如果拟合表面为曲面，在拟合表面上确定中心点三维坐标对应的位置，获得此位置的姿态角信息为目标物品姿态角信息。目标物品姿态角信息可以为欧拉角，欧拉角可以由章动角θ、进动角ψ和自转角
Figure BDA0001986877160000071
组成。
图3为根据本公开的物品中心定位方法的另一个实施例的流程示意图，如图3所示：
步骤301，启动2D相机与3D相机拍照，获得场景2D图像和场景3D点云。场景2D图像和场景3D点云中都包含有目标物品，目标物品可以为商品的包装箱等。
步骤302，使用目标物品的2D模板与场景2D图像进行匹配处理，在场景2D图像中获得包含有目标物品的矩形框。
例如，根据目标物品的2D模板，在场景2D图像上匹配出机器人待拣选的目标物品。例如，可以在场景2D图像中得到包含有目标物品的矩形框，矩形框由4个点的坐标表征，[(u0,v0),(u1,v1),(u2,v2),(u3,v3)]。
步骤303，根据场景2D图像上的矩形框、场景3D点云获取目标物品的有效点云。
例如，根据2D相机采集的场景2D图像、3D相机采集的场景3D点云以及3D相机与2D相机之间的标定矩阵P34(3行4列矩阵)，获取目标物品的有效点云。
设3D相机所拍摄的场景3D点云中的一点V＝[x,y,z]T对应于2D相机采集的场景2D图像中的坐标为w＝[u,v]T，则w的具体计算如下：
Figure BDA0001986877160000081
Figure BDA0001986877160000082
根据公式(1-1)和(1-2)可以计算出3D相机所拍摄的场景3D点云中的每一个有效点云在场景2D图像中的二维坐标，可以建立一幅与包含有目标物品的矩形框尺寸一致的点云图(没有相对应的有效点云的位置填成无效数据)。
步骤304，根据有效点云生成拟合平面A*x+B*y+C*z+D＝0，并计算出目标物品的姿态欧拉角(α,β,γ)。
例如，在步骤302中，可识别出在场景2D图像中获得包含有目标物品的矩形框，在步骤303中，建立一幅与在场景2D图像中的包含有目标物品的矩形框尺寸一致的点云图，因此可获得目标物品的有效点云。
使用有效点云，利用随机采样一致算法(RANSAC算法)即可拟合出目标物品(物品的包装箱表面)的拟合平面方程A*x+B*y+C*z+D＝0，进而能够计算出拣选该目标物品的姿态，由欧拉角(α,β,γ)表征。
步骤305，根据目标物品在场景2D图像中的矩形框中心(U,V)以及通过目标物品的有效点云拟合出的平面，计算出目标物品的抓取中心位置(x,y,z)。
例如，在场景2D图像中获得包含有目标物品的矩形框[(u0,v0),(u1,v1),(u2,v2),(u3,v3)]，计算出目标物品在场景2D图像中的中心点(U,V)。可以采用多种方法在场景2D图像中获得目标物品的中心点。例如，目标物品的中心点为包含有目标物品的矩形框的几何中心等。依据3D相机与2D相机的标定矩阵P34与拟合平面方程A*x+B*y+C*z+D＝0，可算出目标物品的中心位置。具体计算过程如下：
参考(1-1)、(1-2)式可把(1-2)式改写如下：
Figure BDA0001986877160000091
拟合平面方程A*x+B*y+C*z+D＝0可写成下列形式：
Figure BDA0001986877160000092
场景2D图像和场景3D点云满足如下方程：
Figure BDA0001986877160000101
方程(1-5)的解可写成
Figure BDA0001986877160000102
参考(1-3)式，把(1-3)式带入(1-5)式得到：
Figure BDA0001986877160000103
合并(1-4)与(1-6)式得到：
Figure BDA0001986877160000104
把目标物品的中心点(U,V)带入(1-7)式，并记矩阵：
Figure BDA0001986877160000105
则由(1-7)式可解出目标物品的中心位置如下计算：
Figure BDA0001986877160000106
公式(1-9)式中的M33表示M矩阵前3列组成的矩阵；-M；4表示M矩阵第4列组成的列矢量。由公式(1-9)得到目标物品的中心位置[x,y,z]，由拟合平面方程A*x+B*y+C*z+D＝0可以计算出目标物品的姿态(α,β,γ)。
步骤305，将获得的目标物品的中心位置及姿态(x,y,z,α,β,γ)发送给机器人，由机器人执行拣选操作。
在从二维图像中的坐标(u,v)推断其对应的3D点(x,y,z)时，会产生多解，所有的解组成一条射线，从而无法由二维图像上确定的目标物品的中心直接确定其拣选位置。通过利用目标物品的有效点云拟合出目标物品的拟合表面方程，可以确定唯一的空间位置；根据目标物品在二维图像中的二维中心位置信息、标定矩阵和目标物品的拟合表面获得目标物品的三维中心位置信息以及姿态信息，解决了因点云空洞(无效数据)造成的中心位置定位不准的问题。
在一个实施例中，如图4所示，本公开提供一种物品中心定位装置40，包括：图像获取模块41、点云图生成模块42、拟合表面生成模块43和位置和姿态获得模块44。
图像获取模块41分别获得二维摄像装置和三维摄像装置采集的与目标物品相对应的二维图像和三维点云图像。点云图生成模块42基于二维摄像装置和三维摄像装置之间的标定矩阵和三维点云图像获得与二维图像相对应的点云图。拟合表面生成模块43根据点云图生成目标物品的拟合表面。位置和姿态获得模块44根据目标物品在二维图像中的二维中心位置信息、标定矩阵和目标物品的拟合表面获得目标物品的三维中心位置信息以及姿态信息。
在一个实施例中，如图5所示，点云图生成模块42包括：模板获取单元421、区域确定单元422和点云处理单元423。模板获取单元421获取与目标物品相对应的二维模板图像。区域确定单元422将二维模板图像与二维图像进行匹配，在二维图像中获得目标物品的图像区域。点云处理单元423基于标定矩阵对三维点云图像进行处理，用以获得与图像区域相对应的图像区域点云图。
点云处理单元423基于标定矩阵对三维点云图像中的每个点云数据进行坐标转换处理，获得每个点云数据在二维图像中对应的二维坐标数据，建立点云数据与二维坐标数据的对应关系。点云处理单元423基于对应关系获得图像区域中每个像素的二维坐标数据对应的图像区域点云数据，基于图像区域点云数据生成图像区域点云图。拟合表面生成模块43基于预设的平面拟合算法对图像区域点云图中的点云数据进行空间平面拟合处理，获得与图像区域点云图相对应的目标物品的拟合表面。
在一个实施例中，如图6所示，位置和姿态获得模块44包括：二维位置获得单元441、三维位置计算单元442和姿态信息获得单元423。二维位置获得单元441在图像区域中获得目标物品的中心点二维坐标。三维位置计算单元442根据标定矩阵、中心点二维坐标和目标物品的拟合表面计算出与中心点二维坐标对应的中心点三维坐标。姿态信息获得单元443根据目标物品的拟合表面获得与中心点三维坐标相对应的目标物品姿态角信息。
例如，中心点三维坐标为
Figure BDA0001986877160000121
其中，M33表示M矩阵前3列组成的矩阵；-M；4表示M矩阵第4列组成的列矢量；中心点二维坐标为(U,V)，标定矩阵为P34，目标物品的拟合表面为A*x+B*y+C*z+D＝0；
M矩阵为
Figure BDA0001986877160000122
在一个实施例中，图7为根据本公开的物品中心定位装置的另一个实施例的模块示意图。如图7所示，该装置可包括存储器71、处理器72、通信接口73以及总线74。存储器71用于存储指令，处理器72耦合到存储器71，处理器72被配置为基于存储器71存储的指令执行实现上述的物品中心定位方法。
存储器71可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器71也可以是存储器阵列。存储器71还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器72可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本公开的物品中心定位方法的一个或多个集成电路。
在一个实施例中，本公开提供一种物流***，包括：机器人、如上任一实施例中的物品中心定位装置，物品中心定位装置将目标物品的三维中心位置信息以及姿态信息发送给机器人。
在一个实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的物品中心定位方法。
上述实施例中的物品中心定位方法、装置以及物流***和存储介质，根据标定矩阵和三维点云图像获得与二维图像相对应的点云图，根据点云图生成目标物品的拟合表面，根据二维图像中的二维中心位置信息、标定矩阵和拟合表面获得三维中心位置信息以及姿态信息；解决了因点云空洞而造成的中心位置定位不准的问题，利用二维图像中确定目标的准确性较高的优点，能够精确地识别物品的中心位置和姿态，可以提高拣选物品的成功率，并能够提高工作效率和安全性。
可能以许多方式来实现本公开的方法和***。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和***。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种物品中心定位方法，包括：
分别获得二维摄像装置和三维摄像装置采集的与目标物品相对应的二维图像和三维点云图像；
基于所述二维摄像装置和所述三维摄像装置之间的标定矩阵和所述三维点云图像获得与所述二维图像相对应的点云图；
根据所述点云图生成所述目标物品的拟合表面；
根据所述目标物品在所述二维图像中的二维中心位置信息、所述标定矩阵和所述目标物品的拟合表面获得所述目标物品的三维中心位置信息以及姿态信息。
2.如权利要求1所述的方法，所述基于所述二维摄像装置和所述三维摄像装置之间的标定矩阵和所述三维点云图像获得与所述二维图像相对应的点云图包括：
获取与所述目标物品相对应的二维模板图像；
将所述二维模板图像与所述二维图像进行匹配，在所述二维图像中获得所述目标物品的图像区域；
基于所述标定矩阵对所述三维点云图像进行处理，用以获得与所述图像区域相对应的图像区域点云图。
3.如权利要求2所述的方法，所述基于所述标定矩阵对所述三维点云图像进行处理包括：
基于所述标定矩阵对所述三维点云图像中的每个点云数据进行坐标转换处理，获得每个点云数据在所述二维图像中对应的二维坐标数据；
建立所述点云数据与所述二维坐标数据的对应关系；
基于所述对应关系获得所述图像区域中每个像素的二维坐标数据对应的图像区域点云数据；
基于所述图像区域点云数据生成所述图像区域点云图。
4.如权利要求3所述的方法，所述对于所述点云图进行拟合处理、生成目标物品的拟合表面包括：
基于预设的平面拟合算法对所述图像区域点云图中的点云数据进行空间平面拟合处理，获得与所述图像区域点云图相对应的目标物品的拟合表面。
5.如权利要求4所述的方法，还包括：
在所述图像区域中获得所述目标物品的中心点二维坐标。
6.如权利要求5所述的方法，所述根据所述二维中心位置信息、所述标定矩阵和所述目标物品的拟合表面获得所述目标物品的三维中心位置信息以及姿态信息包括：
根据所述标定矩阵、所述中心点二维坐标和所述目标物品的拟合表面计算出与所述中心点二维坐标对应的中心点三维坐标；
根据所述目标物品的拟合表面获得与所述中心点三维坐标相对应的目标物品姿态角信息。
7.如权利要求6所述的方法，其中，
所述中心点三维坐标为
Figure FDA0001986877150000021
其中，M33表示M矩阵前3列组成的矩阵；-M；4表示M矩阵第4列组成的列矢量；所述中心点二维坐标为(U，V)，所述标定矩阵为P34，所述目标物品的拟合表面为A*x+B*y+C*z+D＝0；
所述M矩阵为
Figure FDA0001986877150000022
8.一种物品中心定位装置，包括：
图像获取模块，用于分别获得二维摄像装置和三维摄像装置采集的与目标物品相对应的二维图像和三维点云图像；
点云图生成模块，用于基于所述二维摄像装置和所述三维摄像装置之间的标定矩阵和所述三维点云图像获得与所述二维图像相对应的点云图；
拟合表面生成模块，用于根据所述点云图生成所述目标物品的拟合表面；
位置和姿态获得模块，用于根据所述目标物品在所述二维图像中的二维中心位置信息、所述标定矩阵和所述目标物品的拟合表面获得所述目标物品的三维中心位置信息以及姿态信息。
9.一种物品中心定位装置，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的方法。
10.一种物流***，包括：
机器人、如权利要求8至9任一项所述的物品中心定位装置；所述物品中心定位装置将目标物品的三维中心位置信息以及姿态信息发送给所述机器人。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如权利要求1至7中任一项所述的方法。
CN201910167736.0A 2019-03-06 2019-03-06 物品中心定位方法、装置以及物流***和存储介质 Active CN111666935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910167736.0A CN111666935B (zh) 2019-03-06 2019-03-06 物品中心定位方法、装置以及物流***和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910167736.0A CN111666935B (zh) 2019-03-06 2019-03-06 物品中心定位方法、装置以及物流***和存储介质

Publications (2)

Publication Number Publication Date
CN111666935A true CN111666935A (zh) 2020-09-15
CN111666935B CN111666935B (zh) 2024-05-24

Family

ID=72382190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910167736.0A Active CN111666935B (zh) 2019-03-06 2019-03-06 物品中心定位方法、装置以及物流***和存储介质

Country Status (1)

Country Link
CN (1) CN111666935B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344108A (zh) * 2021-06-25 2021-09-03 视比特(长沙)机器人科技有限公司 一种商品识别与姿态估计方法及装置
CN115526896A (zh) * 2021-07-19 2022-12-27 中核利华消防工程有限公司 一种火灾防控的方法、装置、电子设备及可读存储介质
CN116109781A (zh) * 2023-04-12 2023-05-12 深圳市其域创新科技有限公司 一种三维重建方法及***

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168378A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Calibration and registration of camera arrays using a single circular grid optical target
US20140285486A1 (en) * 2013-03-20 2014-09-25 Siemens Product Lifecycle Management Software Inc. Image-based 3d panorama
CN105139416A (zh) * 2015-10-10 2015-12-09 北京微尘嘉业科技有限公司 一种基于图像信息和深度信息的物体识别方法
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
US20170150118A1 (en) * 2015-11-24 2017-05-25 Dell Products, Lp Method and Apparatus for Gross-Level User and Input Detection Using Similar or Dissimilar Camera Pair
CN106909875A (zh) * 2016-09-12 2017-06-30 湖南拓视觉信息技术有限公司 人脸脸型分类方法和***
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
WO2018065757A1 (en) * 2016-10-05 2018-04-12 Queen Mary University Of London Proximity sensor and corresponding distance measuring method
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
JP2018119833A (ja) * 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
GB201813197D0 (en) * 2018-08-13 2018-09-26 Imperial Innovations Ltd Mapping object instances using video data
CN108648230A (zh) * 2018-05-14 2018-10-12 南京阿凡达机器人科技有限公司 一种包裹尺寸测量方法、***、储存介质及移动终端
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物***姿实时检测方法
US20190022863A1 (en) * 2017-07-20 2019-01-24 Tata Consultancy Services Limited Systems and methods for detecting grasp poses for handling target objects

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168378A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Calibration and registration of camera arrays using a single circular grid optical target
US20140285486A1 (en) * 2013-03-20 2014-09-25 Siemens Product Lifecycle Management Software Inc. Image-based 3d panorama
CN105139416A (zh) * 2015-10-10 2015-12-09 北京微尘嘉业科技有限公司 一种基于图像信息和深度信息的物体识别方法
US20170150118A1 (en) * 2015-11-24 2017-05-25 Dell Products, Lp Method and Apparatus for Gross-Level User and Input Detection Using Similar or Dissimilar Camera Pair
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN106909875A (zh) * 2016-09-12 2017-06-30 湖南拓视觉信息技术有限公司 人脸脸型分类方法和***
WO2018065757A1 (en) * 2016-10-05 2018-04-12 Queen Mary University Of London Proximity sensor and corresponding distance measuring method
JP2018119833A (ja) * 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
US20190022863A1 (en) * 2017-07-20 2019-01-24 Tata Consultancy Services Limited Systems and methods for detecting grasp poses for handling target objects
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN108648230A (zh) * 2018-05-14 2018-10-12 南京阿凡达机器人科技有限公司 一种包裹尺寸测量方法、***、储存介质及移动终端
GB201813197D0 (en) * 2018-08-13 2018-09-26 Imperial Innovations Ltd Mapping object instances using video data
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物***姿实时检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FANGCHAO HU等: ""A combined clustering and image mapping based point cloud segmentation for 3D object detection"", 《 2018 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
GRZEGORZ GABARA等: ""Accuracy Study of Close Range 3D Object Reconstruction based on Point Clouds "", 《 2017 BALTIC GEODETIC CONGRESS (BGC GEOMATICS)》 *
THUN CHITMAITREDEJSAKUL等: ""Multiple objects monitoring based on 3D information from multiple cameras"", 《 2014 INTERNATIONAL ELECTRICAL ENGINEERING CONGRESS (IEECON)》 *
TSUNETAKE KANATANI等: ""Detection of 3D points on moving objects from point cloud data for 3D modeling of outdoor environments"", 《2013 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
杨扬: ""基于机器视觉的服务机器人智能抓取研究"", 《中国博士学位论文全文数据库信息科技辑》 *
鄢武: ""基于ROS和点云库的室内三维物体识别与姿态估计"", 《中国硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344108A (zh) * 2021-06-25 2021-09-03 视比特(长沙)机器人科技有限公司 一种商品识别与姿态估计方法及装置
CN115526896A (zh) * 2021-07-19 2022-12-27 中核利华消防工程有限公司 一种火灾防控的方法、装置、电子设备及可读存储介质
CN116109781A (zh) * 2023-04-12 2023-05-12 深圳市其域创新科技有限公司 一种三维重建方法及***
CN116109781B (zh) * 2023-04-12 2023-06-23 深圳市其域创新科技有限公司 一种三维重建方法及***

Also Published As

Publication number Publication date
CN111666935B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
CN110893617B (zh) 障碍物检测方法、装置及存储装置
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取***及方法
CN108629843B (zh) 一种实现增强现实的方法及设备
CN108038886B (zh) 双目摄像***标定方法、装置及其汽车
JP5297403B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体
CN110176032B (zh) 一种三维重建方法及装置
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
CN111673735A (zh) 一种基于单目视觉定位的机械臂控制方法及装置
CN111666935B (zh) 物品中心定位方法、装置以及物流***和存储介质
CN102289803A (zh) 图像处理设备、图像处理方法及程序
CN111340869B (zh) 快递包裹表面平整度识别方法、装置、设备及存储介质
JP2011174879A (ja) 位置姿勢推定装置及びその方法
EP3633606B1 (en) Information processing device, information processing method, and program
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN111958604A (zh) 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法
CN104976950B (zh) 物件空间信息量测装置与方法及取像路径的计算方法
CN112509036B (zh) 位姿估计网络训练及定位方法、装置、设备、存储介质
CN114862973B (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
CN111105467B (zh) 一种图像标定方法、装置及电子设备
JP6040264B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2014053018A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP7298687B2 (ja) 物体認識装置及び物体認識方法
CN111915666A (zh) 基于移动终端的体积测量方法及装置
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210304

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

Effective date of registration: 20210304

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant