CN112614191A - 基于双目深度相机的装卸位置检测方法、装置和*** - Google Patents
基于双目深度相机的装卸位置检测方法、装置和*** Download PDFInfo
- Publication number
- CN112614191A CN112614191A CN202011485438.5A CN202011485438A CN112614191A CN 112614191 A CN112614191 A CN 112614191A CN 202011485438 A CN202011485438 A CN 202011485438A CN 112614191 A CN112614191 A CN 112614191A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- detected
- loading
- error
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000013136 deep learning model Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 14
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于双目深度相机的装卸位置检测方法,属于位置检测技术领域,包括如下步骤:采集装卸区域内待检测物的图像和深度;基于双目深度相机的畸变参数,对所述图像进行去畸变处理;利用训练好的深度学***、工作效率和安全性。
Description
技术领域
本发明涉及无人行车装卸位置检测技术领域,尤其涉及基于双目深度相机的装卸位置检测方法、装置和***。
背景技术
随着自动化技术的日益发展,现代工业对行车的高效性、安全性提出了越来越高的需求。行车已从单一的搬运工具逐步演变成自动化柔性化生产中的重要组成部分。全自动行车将成为现代生产制造执行管理***中必需的执行构件,其利用先进的计算机控制技术,根据接收到的上层网络作业指令进行对物料的检测、行车各机构的精确定位完成卸料、上料、移库等作业,实现物料的全自动存储及装卸。其中,物料经由无人行车或者框架车入库、出库时,通过全自动无人行车实现对其自动、精确、高效的装车和卸车成为整个全自动无人行车***研究的核心之一。
目前,国内外对于行车的装卸区域的货物检测方法的主要有如下方案:
(1)半自动方式。无人行车在装卸物料区域时,由装卸区域的操作人员,利用遥控器控制行车来完成货物的装卸。在这种情况下,无人行车作业的自动化水平较低,人为干预的因素较多,降低了无人行车作业的安全性和作业效率;
(2)固定位置的全自动模式。所有入库、出库的无人行车的垛位位置固定以及无人行车上物料位置固定,在这种情况下,无人行车可以精确地获得物料以及垛位的位置,从而实现自动走行、装卸物料。在该模式下,由于对无人行车的要求过高,在实际生产作业中可行性较低;
(3)相对位置的全自动模式。无人行车出库时,司机通过手动控制激光扫描装置定位无人行车上的物料或垛位位置;无人行车入库时,激光扫描装置自动定位无人行车上的物料或垛位位置。从而无人行车可以获得物料以及垛位的位置,从而实现自动走行、装卸物料。在该模式下,无人行车司机需要肉眼观察落在无人行车上的可见红光线,当无人行车的车架高于司机的观察范围时,司机需要借助辅助平台才能观察到扫描线,这就给该模式的实施带来了不便;同时可见红光线对人眼的危害较大。另外,由于激光扫描装置价格比较昂贵,大大增加了无人行车作业的成本。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种基于双目深度相机的装卸位置检测方法、装置和***,能够提高装卸位置检测的自动化水平、工作效率和安全性,并且操作简便,有助于减少作业成本。
为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种基于双目深度相机的装卸位置检测方法,包括如下步骤:
采集装卸区域内待检测物的图像和深度;
基于双目深度相机的畸变参数,对所述图像进行去畸变处理;
利用训练好的深度学习模型识别经去畸变处理后的图像,获取所述待检测物的中心点像素坐标;
根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标,计算所述待检测物的空间三维坐标;
根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项,构建待检测物的坐标误差模型;
根据所述坐标误差模型获得经误差纠正的空间三维坐标。
进一步的,对所述图像进行去畸变处理的方法包括如下步骤:
利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理。
进一步的,训练深度学习模型的方法包括如下步骤:
利用标注工具对经去畸变处理的图像进行待检测物标注,构建包含待检测物的边缘和范围的训练集;
利用深度学习模型和物体检测算法对构建的训练集进行训练,获得模型收敛的深度学习模型。
进一步的,所述待检测物包括无人行车和货物,获取所述待检测物的中心点像素坐标的方法包括如下步骤:
利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像,获取无人行车区域像素坐标集和货物区域像素坐标集;
对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值,计算获得无人行车和货物的中心像素坐标。
进一步的,计算所述待检测物的空间三维坐标的方法包括如下步骤:
根据相机成像模型求得待检测物的四维归一化坐标,然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标;其中,
所述相机成像模型表示如下:
Zp=K[R|t]P
其中,p为中心像素坐标,K为相机内参数,R,t为相机外参数,P为四维归一化坐标[X,Y,Z,1]T,(X,Y,Z)为空间三维坐标。
进一步的,构建待检测物的坐标误差模型的方法包括如下步骤:
测量得到待检测物的真实空间三维坐标;
根据真实空间三维坐标和计算得到的空间三维坐标,计算获得坐标误差值;
根据影响坐标精度的误差项,建立坐标误差值和误差项之间的坐标误差模型关系;
根据多组所述坐标误差值,计算确定坐标误差模型中参数。
进一步的,还包括对双目深度相机进行相机标定,具体方法包括如下步骤:
制作黑白标定板;
采集一定数量的标定板图像;
利用经筛选去除后的标定板图像和张氏相机标定法对双目深度相机进行相机标定;
根据所述相机标定获取双目深度相机的内参数和外参数以及畸变参数。
第二方面,本发明提供了一种装卸位置检测装置,包括双目深度相机,包括如下模块:
数据采集模块,用于采集装卸区域内的待检测物的图像和深度;
畸变处理模块,用于基于双目深度相机的畸变参数,对所述图像进行去畸变处理;
中心坐标模块,用于利用训练好的深度学习模型识别经去畸变处理后的图像,获取所述待检测物的中心点像素坐标;
计算坐标模块,用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标,计算所述待检测物的空间三维坐标;
误差模型模块,用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项,构建待检测物的坐标误差模型;
误差纠正模块,用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。
第三方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
第四方面,本发明提供了一种装卸位置检测***,包括第二方面中所述的装卸位置检测装置;
所述***利用所述装卸位置检测装置对装卸区域内的待检测物进行位置检测。
与现有技术相比,本发明所达到的有益效果:
本发明的基于双目深度相机的装卸位置检测方法、装置和***,能够实时获取待检测物无人行车和货物等的位置数据,提高了无人行车和货物在装卸区域内作业自动化水平和工作效率;避免了人为因素较大干扰,可靠性高;同时解决了现有技术中采用可见红外光带来的安全性问题;能够适应多种应用场合,降低了制造和应用成本。
附图说明
图1是本发明实施例提供的一种基于双目深度相机的装卸位置检测方法的流程图;
图2是本发明实施例提供的一种基于双目深度相机的装卸位置检测方法中无人行车和货物中心像素坐标的示意图;
图3是本发明实施例提供的一种装卸位置检测装置的结构框图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
实施例一:
如图1所示,本发明提供了一种基于双目深度相机的装卸位置检测方法,包括如下步骤:
步骤1:采集装卸区域内待检测物的图像和深度,所述待检测物包括无人行车和货物;
步骤2:基于双目深度相机的畸变参数,对所述图像进行去畸变处理;
步骤3:利用训练好的深度学习模型识别经去畸变处理后的图像,获取所述待检测物的中心点像素坐标;
步骤4:根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标,计算所述待检测物的空间三维坐标;
步骤5:根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项,构建待检测物的坐标误差模型;
步骤6:根据所述坐标误差模型获得经误差纠正的空间三维坐标。
为了更好地进行位置检测作业,可以提前单独获取所采用双目深度相机的内参数、外参数和畸变参数,也可以对内参数、外参数和畸变参数进行现场测量确定。在本实施例中,基于双目深度相机的装卸位置检测方法在步骤1或步骤2之前还包括对双目深度相机进行相机标定,具体方法包括如下步骤:
制作黑白标定板;
采集一定数量的标定板图像,去除不能用于相机标定的标定板图像;
利用经筛选去除后符合条件的标定板图像和张氏相机标定法对双目深度相机进行相机标定;
利用最小二乘法和非线性优化方法来最小化标定板图像中的特征点的重投影误差,计算得到相机的内参数和外参数,以及畸变参数,以方便用于对待检测物图像去进行去畸变处理和计算物体空间三维坐标。
其中,相机标定的具体实现方式有两种,一种是利用matlab中集成的相机标定工具进行相机标定;另一种是利用视觉opencv库中的一些相关函数进行相机标定。
待相机标定获得内参数、外参数和畸变参数后,将双目深度相机安置于无人行车装卸区域的正上方,便于对整个装卸区域获取相关图像。
如图1所示,本发明装卸位置检测方法中利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理,相机畸变模型具体如下:
xcorrected=x(1+k1r2+k2r4+k3r3)+2p1xy+p2(r2+2x2)
ycorrected=y(1+k1r2+k2r4+k3r3)+2p2xy+p1(r2+2y2)
式中,k1、k2、k3、p1、p2为均为畸变系数,均可由相机标定得到,利用批量采集装卸区域的包含无人行车和货物的图像,在采集的同时利用相机的畸变系数并调用视觉opencv中的函数对图像进行去畸变处理,进而获得大量无畸变的无人行车和货物图像。
如图2所示,在步骤2中对去畸变处理后的无人行车的图像和货物的图像,利用标注工具进行无人行车和货物的位置标注,确定无人行车和货物的边缘和范围,可以得到无人行车区域像素坐标集Car(Xmin,Ymin,Xmax,Ymax)和货物区域像素坐标集Goods(Xmin,Ymin,Xmax,Ymax),然后构建训练集;
利用深度学习框架Tensorflow和物体检测算法YOLOV3,根据误差模型e=e1-e2对训练集进行训练,其中,e2=k*input+b,e为误差,e1为期望输出,e2为模型输出,input为模型输入,这里模型输入为上述步骤2中的训练集中的图片。在训练过程中,当模型参数k,b都趋于稳定,且误差e比较小且保持稳定时,可以判定模型收敛,结束训练,从而获得模型收敛的深度学习模型,用于获取无人行车区域像素坐标集和货物区域像素坐标集。
在步骤3中,利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像,获取无人行车区域像素坐标集Car(Xmin,Ymin,Xmax,Ymax)和货物区域像素坐标集Goods(Xmin,Ymin,Xmax,Ymax)。
对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值,计算获得无人行车的中心像素坐标和货物的中心像素坐标,即计算出无人行车的中心像素坐标Car(X,Y)和货物的中心像素坐标Goods(X,Y),如图2所示。
同时,根据无人行车的区域像素坐标集可以知道无人行车停靠位置,进而可以判断无人行车停靠位置是否合格。
在本实施例的步骤4中,根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标,计算待检测物无人行车和货物的空间三维坐标的方法包括如下步骤:
根据相机成像模型求得待检测物的四维归一化坐标,然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标;
其中,相机成像模型表示如下:
Zp=K[R|t]P
其中,p为中心像素坐标,K为相机内参数,R,t为相机外参数,P为四维归一化坐标[X,Y,Z,1]T,(X,Y,Z)为空间三维坐标,其中Z高度距离(深度)可以通过双目深度相机直接获得。
在本实施例的步骤5中,根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项,构建待检测物的坐标误差模型,具体操作如下:
测量得到待检测物真实的空间三维坐标P1,与计算得到的待检测物空间三维坐标P2进行对比,计算得到坐标误差值e;
根据实际环境考虑整个过程中存在的误差项,待检测物与相机的垂直距离H,利用数学建模,建立坐标误差值e和误差项之间的坐标误差模型关系;e=P1-P2 e=aP1+bH2+c。
其中,H为上述步骤4中的深度Z,已经得到,然后,根据多组真实的空间三维坐标P1和计算得到的待检测物空间三维坐标P2计算出的坐标误差值e来确定坐标误差模型中的参数a、b和c。
最后,利用确定参数的坐标误差模型获得经误差纠正的空间三维坐标,达到缩小检测误差的目的,使位置检测结果误差达到可接受的精度范围。
在本实施例中,将实时获的经误差纠正的货物空间三维坐标发送给无人行车***,无人行车在实时获取自身经误差纠正的空间三维坐标的指引下,对货物的装卸进行相应作业,以达到提高装卸作业自动化水平、提高作业效率的目的。
实施例二:
如图3所示,本发明实施例提供了一种装卸位置检测装置,包括安装于装卸区域上方的双目深度相机,该装置包括如下模块:
数据采集模块,用于采集装卸区域内的待检测物的图像和深度;
畸变处理模块,用于基于双目深度相机的畸变参数,对所述图像进行去畸变处理;
中心坐标模块,用于利用训练好的深度学习模型识别经去畸变处理后的图像,获取所述待检测物的中心点像素坐标;
计算坐标模块,用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标,计算所述待检测物的空间三维坐标;
误差模型模块,用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项,构建待检测物的坐标误差模型;
误差纠正模块,用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。
实施例三:
本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现实施例一中所述方法的步骤。
实施例四:
本发明实施例提供了一种装卸位置检测***,该***包括实施例二中所述的装卸位置检测装置;
其中,***利用装卸位置检测装置对装卸区域内的待检测物进行位置检测。
综上,本发明的基于双目深度相机的装卸位置检测方法、装置和***,能够实时获取待检测物无人行车和货物等的位置数据,提高了无人行车和货物在装卸区域内作业自动化水平和工作效率;避免了人为因素较大干扰,可靠性高;同时解决了现有技术中采用可见红外光带来的安全性问题;能够适应多种应用场合,且所用设备材料简单易得,降低了制造和应用成本。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.基于双目深度相机的装卸位置检测方法,其特征在于,包括如下步骤:
采集装卸区域内待检测物的图像和深度;
基于双目深度相机的畸变参数,对所述图像进行去畸变处理;
利用训练好的深度学习模型识别经去畸变处理后的图像,获取所述待检测物的中心点像素坐标;
根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标,计算所述待检测物的空间三维坐标;
根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项,构建待检测物的坐标误差模型;
根据所述坐标误差模型获得经误差纠正的空间三维坐标。
2.根据权利要求1所述的基于双目深度相机的装卸位置检测方法,其特征在于,对所述图像进行去畸变处理的方法包括如下步骤:
利用双目深度相机的畸变系数并调用视觉opencv库中的函数对采集的图像进行去畸变处理。
3.根据权利要求2所述的基于双目深度相机的装卸位置检测方法,其特征在于,训练深度学习模型的方法包括如下步骤:
利用标注工具对经去畸变处理的图像进行待检测物标注,构建包含待检测物的边缘和范围的训练集;
利用深度学习模型和物体检测算法对构建的训练集进行训练,获得模型收敛的深度学习模型。
4.根据权利要求1所述的基于双目深度相机的装卸位置检测方法,其特征在于,所述待检测物包括无人行车和货物,获取所述待检测物的中心点像素坐标的方法包括如下步骤:
利用训练好的深度学习模型实时识别装卸区域中的无人行车图像和货物图像,获取无人行车区域像素坐标集和货物区域像素坐标集;
对获取的无人行车区域像素坐标集和货物区域像素坐标集分别取中值,计算获得无人行车和货物的中心像素坐标。
5.根据权利要求1所述的基于双目深度相机的装卸位置检测方法,其特征在于,计算所述待检测物的空间三维坐标的方法包括如下步骤:
根据相机成像模型求得待检测物的四维归一化坐标,然后对求得的四维归一化坐标进行去除归一化处理得到待检测物的空间三维坐标;其中,
所述相机成像模型表示如下:
Zp=K[R|t]P
其中,p为中心像素坐标,K为相机内参数,R,t为相机外参数,P为四维归一化坐标[X,Y,Z,1]T,(X,Y,Z)为空间三维坐标。
6.根据权利要求1所述的基于双目深度相机的装卸位置检测方法,其特征在于,构建待检测物的坐标误差模型的方法包括如下步骤:
测量得到待检测物的真实空间三维坐标;
根据真实空间三维坐标和计算得到的空间三维坐标,计算获得坐标误差值;
根据影响坐标精度的误差项,建立坐标误差值和误差项之间的坐标误差模型关系;
根据多组所述坐标误差值,计算确定坐标误差模型中参数。
7.根据权利要求1所述的基于双目深度相机的装卸位置检测方法,其特征在于,还包括对双目深度相机进行相机标定,具体方法包括如下步骤:
制作黑白标定板;
采集一定数量的标定板图像;
利用经筛选去除后的标定板图像和张氏相机标定法对双目深度相机进行相机标定;
根据所述相机标定获取双目深度相机的内参数和外参数以及畸变参数。
8.一种装卸位置检测装置,包括双目深度相机,其特征在于,包括如下模块:
数据采集模块,用于采集装卸区域内的待检测物的图像和深度;
畸变处理模块,用于基于双目深度相机的畸变参数,对所述图像进行去畸变处理;
中心坐标模块,用于利用训练好的深度学习模型识别经去畸变处理后的图像,获取所述待检测物的中心点像素坐标;
计算坐标模块,用于根据所述畸变参数、采集的所述深度和获取的所述中心点像素坐标,计算所述待检测物的空间三维坐标;
误差模型模块,用于根据待检测物的真实空间三维坐标、计算得到的空间三维坐标和影响坐标精度的误差项,构建待检测物的坐标误差模型;
误差纠正模块,用于根据所述坐标误差模型获得经误差纠正的空间三维坐标。
9.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。
10.一种装卸位置检测***,其特征在于,包括权利要求8所述的装卸位置检测装置;
所述***利用所述装卸位置检测装置对装卸区域内的待检测物进行位置检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011485438.5A CN112614191B (zh) | 2020-12-16 | 2020-12-16 | 基于双目深度相机的装卸位置检测方法、装置和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011485438.5A CN112614191B (zh) | 2020-12-16 | 2020-12-16 | 基于双目深度相机的装卸位置检测方法、装置和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112614191A true CN112614191A (zh) | 2021-04-06 |
CN112614191B CN112614191B (zh) | 2024-05-24 |
Family
ID=75239696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011485438.5A Active CN112614191B (zh) | 2020-12-16 | 2020-12-16 | 基于双目深度相机的装卸位置检测方法、装置和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112614191B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953418A (zh) * | 2023-02-01 | 2023-04-11 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07294242A (ja) * | 1994-04-21 | 1995-11-10 | Polyplastics Co | 三次元測定機及び三次元形状測定法 |
CN104574415A (zh) * | 2015-01-26 | 2015-04-29 | 南京邮电大学 | 一种基于单摄像机的目标空间定位方法 |
US20150213649A1 (en) * | 2012-07-27 | 2015-07-30 | Nec Solutions Innovators, Ltd. | Three-dimensional environment sharing system and three-dimensional environment sharing method |
CN105469405A (zh) * | 2015-11-26 | 2016-04-06 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
US20180196126A1 (en) * | 2017-01-10 | 2018-07-12 | Beijing Aerospace Institute For Metrology And Measurement Technology | Method for correcting measuring errors of long-distance scanning laser radar |
CN108340211A (zh) * | 2018-01-12 | 2018-07-31 | 大连理工大学 | 基于单目视觉的数控机床轮廓误差三维测量方法 |
CN108389157A (zh) * | 2018-01-11 | 2018-08-10 | 江苏四点灵机器人有限公司 | 一种三维全景图像快速拼接方法 |
CN109035320A (zh) * | 2018-08-12 | 2018-12-18 | 浙江农林大学 | 基于单目视觉的深度提取方法 |
CN109795830A (zh) * | 2019-03-04 | 2019-05-24 | 北京旷视科技有限公司 | 自动定位物流托盘的方法及装置 |
CN110296691A (zh) * | 2019-06-28 | 2019-10-01 | 上海大学 | 融合imu标定的双目立体视觉测量方法与*** |
CN111062990A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种面向水下机器人目标抓取的双目视觉定位方法 |
CN111563415A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 一种基于双目视觉的三维目标检测***及方法 |
-
2020
- 2020-12-16 CN CN202011485438.5A patent/CN112614191B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07294242A (ja) * | 1994-04-21 | 1995-11-10 | Polyplastics Co | 三次元測定機及び三次元形状測定法 |
US20150213649A1 (en) * | 2012-07-27 | 2015-07-30 | Nec Solutions Innovators, Ltd. | Three-dimensional environment sharing system and three-dimensional environment sharing method |
CN104574415A (zh) * | 2015-01-26 | 2015-04-29 | 南京邮电大学 | 一种基于单摄像机的目标空间定位方法 |
CN105469405A (zh) * | 2015-11-26 | 2016-04-06 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
US20180196126A1 (en) * | 2017-01-10 | 2018-07-12 | Beijing Aerospace Institute For Metrology And Measurement Technology | Method for correcting measuring errors of long-distance scanning laser radar |
CN108389157A (zh) * | 2018-01-11 | 2018-08-10 | 江苏四点灵机器人有限公司 | 一种三维全景图像快速拼接方法 |
CN108340211A (zh) * | 2018-01-12 | 2018-07-31 | 大连理工大学 | 基于单目视觉的数控机床轮廓误差三维测量方法 |
CN109035320A (zh) * | 2018-08-12 | 2018-12-18 | 浙江农林大学 | 基于单目视觉的深度提取方法 |
CN109795830A (zh) * | 2019-03-04 | 2019-05-24 | 北京旷视科技有限公司 | 自动定位物流托盘的方法及装置 |
CN110296691A (zh) * | 2019-06-28 | 2019-10-01 | 上海大学 | 融合imu标定的双目立体视觉测量方法与*** |
CN111062990A (zh) * | 2019-12-13 | 2020-04-24 | 哈尔滨工程大学 | 一种面向水下机器人目标抓取的双目视觉定位方法 |
CN111563415A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 一种基于双目视觉的三维目标检测***及方法 |
Non-Patent Citations (6)
Title |
---|
HAO, QIANG等: "A Novel Three-Dimensional Coordinate Positioning Algorithm Based on Factor Graph", 《ACCESS》, vol. 8, 28 October 2020 (2020-10-28), pages 207167, XP011822203, DOI: 10.1109/ACCESS.2020.3034425 * |
LIU, Z.等: "Calibration of the Relative Orientation between Multiple Depth Cameras Based on a Three-Dimensional Target", 《SENSORS》, vol. 19, no. 13, 8 July 2019 (2019-07-08), pages 1 - 14 * |
王亚超: "基于机器视觉的机器人路径规划研究", 《中国优秀硕士学位论文全文数据库:信息科技辑》, no. 1, 15 January 2020 (2020-01-15), pages 1 - 79 * |
王欣: "基于快速SSD深度学习算法的机器人抓取***研究", 《中国优秀硕士学位论文全文数据库:信息科技辑》, no. 10, 15 October 2018 (2018-10-15), pages 1 - 84 * |
辛乐: "三目视觉坐标测量***的设计与实现", 《中国优秀硕士学位论文全文数据库:信息科技辑》, no. 1, 15 January 2019 (2019-01-15), pages 1 - 86 * |
韩鑫: "基于改进SSD算法的机器人零件识别与抓取研究", 《中国优秀硕士学位论文全文数据库:工程科技Ⅱ辑》, no. 8, 15 August 2020 (2020-08-15), pages 1 - 84 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953418A (zh) * | 2023-02-01 | 2023-04-11 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
CN115953418B (zh) * | 2023-02-01 | 2023-11-07 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112614191B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112304954B (zh) | 一种基于线激光扫描及机器视觉的零件表面缺陷检测方法 | |
CN110827361B (zh) | 基于全局标定架的相机组标定方法及装置 | |
CN111704035B (zh) | 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法 | |
CN112157642B (zh) | 一种用于配电室的无人巡检机器人 | |
CN112902874A (zh) | 图像采集装置及方法、图像处理方法及装置、图像处理*** | |
CN111498525A (zh) | 一种自动装车定位***和方法 | |
CN115880296B (zh) | 基于机器视觉的预制构件质量检测方法及装置 | |
CN112614191B (zh) | 基于双目深度相机的装卸位置检测方法、装置和*** | |
CN107643049B (zh) | 基于单目结构光的地磅上车辆位置检测***及方法 | |
CN113985830A (zh) | 密封钉的上料控制方法、装置、电子设备及存储介质 | |
CN113743206B (zh) | 矿车装料控制方法、装置、***及计算机可读介质 | |
CN113610929A (zh) | 一种相机与多线激光的联合标定方法 | |
CN115880372A (zh) | 自动化起重机的外集卡定位相机统一标定方法及*** | |
CN104268884B (zh) | 一种基于车联网的车道偏离预警的标定***和方法 | |
CN114199127B (zh) | 基于机器视觉的汽车零件尺寸检测***及方法 | |
KR20230108774A (ko) | 레이저 거리 측정기 및 스테레오 카메라를 이용하여 이차전지용 전극의 결함을 검출하기 위한 비젼 검사 시스템 | |
CN111805533B (zh) | 用于工件下料的装置、基于视觉定位的工件下料的方法 | |
CN210924614U (zh) | 一种基于机器视觉的电芯正负极识别设备 | |
CN117434568A (zh) | 一种基于遥感卫星的智能定位*** | |
CN110543612A (zh) | 一种基于单目视觉测量的集卡定位方法 | |
CN115909216A (zh) | 一种基于激光雷达和单目相机的货船舱口检测方法及*** | |
CN114897981A (zh) | 一种基于视觉检测的吊具位姿识别方法 | |
CN114923410A (zh) | 一种纵梁孔位在线检测方法及装置 | |
CN213325730U (zh) | 一种自动装车定位*** | |
CN204649642U (zh) | 一种检测平面缺陷的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |