CN103366169A - 一种工程机械臂架多点状态识别方法、设备及*** - Google Patents

一种工程机械臂架多点状态识别方法、设备及*** Download PDF

Info

Publication number
CN103366169A
CN103366169A CN2013103057191A CN201310305719A CN103366169A CN 103366169 A CN103366169 A CN 103366169A CN 2013103057191 A CN2013103057191 A CN 2013103057191A CN 201310305719 A CN201310305719 A CN 201310305719A CN 103366169 A CN103366169 A CN 103366169A
Authority
CN
China
Prior art keywords
coordinate
pixel coordinate
unique point
scale
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013103057191A
Other languages
English (en)
Inventor
邝昊
张田
曹雷焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Heavy Industry Science and Technology Co Ltd
Original Assignee
Zoomlion Heavy Industry Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Heavy Industry Science and Technology Co Ltd filed Critical Zoomlion Heavy Industry Science and Technology Co Ltd
Priority to CN2013103057191A priority Critical patent/CN103366169A/zh
Publication of CN103366169A publication Critical patent/CN103366169A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种工程机械臂架多点状态识别方法、设备及***。该方法包括获取工程机械臂架的图像,所述工程机械臂架的至少一个臂节上设置有长度已知的标尺物;在所述图像中建立坐标系,并得到位于所述标尺物端点的第一像素坐标和第二像素坐标;根据所述第一像素坐标、所述第二像素坐标以及所述标尺物的长度计算单个像素与长度之间的比例系数;获得特征点的像素坐标,将所述比例系数与所述特征点的像素坐标相乘得到所述特征点的坐标。本发明采用机器视觉的方式进行现场测试,避免传统的接触式传感器测试中传感器安装困难,计算过程中经过多节臂架传递换算后误差大的缺点,有助于分析各特征点之间的传递性及整体性等性能。

Description

一种工程机械臂架多点状态识别方法、设备及***
技术领域
本发明涉及图像识别领域,具体地,涉及一种工程机械臂架多点状态识别方法、设备及***。
背景技术
对于工程机械而言,其臂架的状态对于测试过程中检测臂架的变形具有重要的意义。在现场测试的过程中,由于工程机械臂架一般具有相当的高度,占据相当的空间,实时通过对臂架本身的状态(例如特征点的坐标,特征点是臂节连接处的节点)进行测量相对困难,因为测试设备安装在工程机械臂架上实施起来比较复杂,并且测试设备还要承受工程机械本身在工作中所带来的振动等等,也可能对测试设备本身造成损害。为了克服这种障碍,现有技术出现了通过图像处理技术来对臂架状态进行识别,但还是要借助位移传感器和倾角传感器来进行测量,也无法对多点状态进行识别,而仅能识别单点状态。
发明内容
本发明的目的是提供一种工程机械臂架多点状态识别方法、设备及***,以便于对工程机械臂架进行现场测试。
为了实现上述目的,本发明提供了一种工程机械臂架多点状态识别方法,该方法包括:获取工程机械臂架的图像,所述工程机械臂架的至少一个臂节上设置有长度已知的标尺物;在所述图像中建立坐标系,并得到位于所述标尺物端点的第一像素坐标和第二像素坐标;根据所述第一像素坐标、所述第二像素坐标以及所述标尺物的长度计算单个像素与长度之间的比例系数;获得特征点的像素坐标,将所述比例系数与所述特征点的像素坐标相乘得到所述特征点的坐标。
相应地,本发明提供了一种工程机械臂架多点状态识别设备,该设备包括:图像获取装置,用于获取工程机械臂架的图像,所述工程机械臂架的至少一个臂节上设置有长度已知的标尺物;标尺物端点像素坐标计算装置,用于在所述图像中建立坐标系,并得到位于所述标尺物端点的第一像素坐标和第二像素坐标;比例系数计算装置,用于根据所述第一像素坐标、所述第二像素坐标以及所述标尺物的长度计算单个像素与长度之间的比例系数;特征点坐标计算装置,用于获得特征点的像素坐标,将所述比例系数与所述特征点的像素坐标相乘得到所述特征点的坐标。
相应地,本发明提供了一种工程机械臂架多点状态识别***,该***包括:图像拍摄设备以及所述的设备;所述图像拍摄设备用于拍摄工程机械臂架的图像并将所述图像发送至所述的设备;所述的设备还包括接收装置,用于接收所述图像拍摄设备发送的所述图像。
本发明采用机器视觉的方式进行现场测试,避免传统的接触式传感器测试中传感器安装困难,计算过程中经过多节臂架传递换算后误差大的缺点,并且能够同时对多个特征点进行基于机器视觉的图像分析,可得到多个特征点之间的相互同步对应关系,有助于分析各特征点之间的传递性及整体性等性能。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1是本发明提供的工程机械臂架与相机之间位置关系示意图
图2是本发明提供的工程机械臂架多点状态识别流程示意图;
图3是本发明提供的像素坐标计算示意图;
图4是本发明提供程机械臂架多点状态识别设备示意图。
附图标记说明
1    底架              2    特征点A
3    标尺物            4    特征点B
5    臂架              6    特征点C
7    特征点D           8    广角镜头
9    单相机            10   三脚架
11   计算机            12   双相机
401  图像获取装置      403  标尺物端点像素坐标计算装置
405  比例系数计算装置  407  特征点坐标计算装置
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
为了便于对工程机械臂架进行现场测试,并且避免安装一些传感器之类的检测设备,本发明通过图像处理技术来跟踪特征点(可以为相邻臂节之间的节点,但并不限于此),从而可以得到特征点的状态。特征点可以设置多个,为了便于通过图像处理来识别,可以在特征点上覆盖一些标识物,例如彩带,发光条等等。
为了在图像处理的过程中找到参照物,本发明需要臂节上设置长度已知的标尺物,一般可以采用长条形发光带。由于标尺物的长度已知,可以根据各像素点之间呈线性关系计算出其他特征点的坐标,从而可以得到特征点的状态,并绘制出运动轨迹,为将来的传递性及整体性分析提供依据。
图像可以通过相机获得。图1示出了相机与工程机械臂架之间关系的示意图。工程机械臂架上设置了若干特征点,例如特征点A2、特征点B4、特征点C6、特征点D7,这里所选择的特征点都是臂节相邻处的节点,这样选择节点可以有利于分析工程机械臂架的传递性和整体性。标尺物3设置在臂节上,可以设置一个标尺物3,也可以设置多个标尺物3。本领域技术人员应当明了标尺物3的位置应当便于相机将其拍到。臂架5的支撑点在底架1,靠驱动力发生垂直或回转运动。可以使用单相机9或者双相机12来拍摄图像,单相机9和双相机12具有广角镜头8,可以使用三角架10来支撑,以便拍到臂架全景。一般情况下,如果测试臂架5平面运动时的性能,使用单相机8就可以了,而在测试臂架空间运动时的性能时,需要使用双相机12,因为双相机12所拍图像可以用来确定特征点的三维坐标,而单相机9仅能确定二维坐标。
单相机9或双相机12拍摄到图像后,可以通过其与计算机11的通信将所拍图像发送到计算机,本发明的处理方法或设备可以在计算机中实现。
图2示出了本发明提供的一种工程机械臂架多点状态识别方法,该方法包括:获取工程机械臂架的图像,所述工程机械臂架的至少一个臂节上设置有长度已知的标尺物(步骤201);在所述图像中建立坐标系,并得到位于所述标尺物端点的第一像素坐标和第二像素坐标(步骤203);根据所述第一像素坐标、所述第二像素坐标以及所述标尺物的长度计算单个像素与长度之间的比例系数(步骤205);获得特征点的像素坐标,将所述比例系数与所述特征点的像素坐标相乘得到所述特征点的坐标(步骤207)。如图3所示,其示出了测试臂架在垂直运动时性能所建立的坐标系,该坐标系可以是平面直角坐标系。在步骤203中,可以通过图像识别标尺物3来得到标尺物两端的像素坐标。步骤205中,可以通过标尺物3两个端点的像素坐标(x1,y1),(x2,y2)得到两个端点的距离
Figure BDA00003540218400051
假设标尺物3的长度为a,则单个像素与长度之间的比例系数相应地,在使用双相机测试空间运动的性能时,可以通过建立空间直角坐标系来计算该比例系数,也是通过标尺物3两端点的空间直角坐标来计算出像素之间的距离,然后通过标尺物3的长度与该距离的比值得到该比例系数。步骤207中,在得到比例系数k之后,可以通过该比例系数计算特征点的坐标,该坐标是对应于欧几里得平面或空间坐标。例如在一幅图像中,特征点B4的像素坐标是(x3,y3),则其对应的坐标应为(kx3,ky3)。在发生垂直运动后,在另一幅图像中,特征点B4的像素坐标为(x4,y4),则其对应的坐标(kx4,ky4)。可以将多个图像中某个特征点所有的坐标记录下来,从而可以绘制出该特征点的运动轨迹,以便分析臂架的传递性和整体性。
所述图像由单相机或双相机拍摄,所述标尺物和所述特征点在所述单相机或双相机的视野内。。如上所述,在臂架做平面运动时,可以通过单相机拍摄图像,并相应地建立平面坐标系,从而可以绘制出特征点的运动轨迹;在臂架做空间运动时,可以通过双相机来拍摄图像,并相应地建立空间直角坐标系,从而可以绘制出特征点的运动轨迹。标尺物和特征点(可以是所有的特征点,也可以是一部分特征点)位于单相机或双相机视野内,有助于拍摄到的图像中包含特征点和标尺物,从而可以利用本发明所提供的方案来识别特征点的状态。
在远距离测试中,标尺物还可以使用具有已知长度的LED灯光和反光锡纸,而特征点外周可以覆盖有LED灯光和反光锡纸,以便于通过图像处理技术识别出其像素坐标。
相应地,本发明提供了一种工程机械臂架多点状态识别设备,如图4所示,该设备包括:图像获取装置401,用于获取工程机械臂架的图像,所述工程机械臂架的至少一个臂节上设置有长度已知的标尺物;标尺物端点像素坐标计算装置403,用于在所述图像中建立坐标系,并得到位于所述标尺物端点的第一像素坐标和第二像素坐标;比例系数计算装置405,用于根据所述第一像素坐标、所述第二像素坐标以及所述标尺物的长度计算单个像素与长度之间的比例系数;407特征点坐标计算装置,用于获得特征点的像素坐标,将所述比例系数与所述特征点的像素坐标相乘得到所述特征点的坐标。该设备可以通过软件在计算机中实现,但需要说明的是,本发明可以通过选用电子元器件来通过硬件的方式实现。由于各装置所实现的功能与方法步骤相对应,在此不再赘述。
此外,本发明还提供了一种工程机械臂架多点状态识别***,该***包括图像拍摄设备以及所述的设备;所述图像拍摄设备用于拍摄工程机械臂架的图像并将所述图像发送至所述的设备;所述的设备还包括接收装置,用于接收所述图像拍摄设备发送的所述图像。
所述图像拍摄设备可以是工业相机,也可以是摄像机或数码相机。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。

Claims (13)

1.一种工程机械臂架多点状态识别方法,其特征在于,该方法包括:
获取工程机械臂架的图像,所述工程机械臂架的至少一个臂节上设置有长度已知的标尺物;
在所述图像中建立坐标系,并得到位于所述标尺物端点的第一像素坐标和第二像素坐标;
根据所述第一像素坐标、所述第二像素坐标以及所述标尺物的长度计算单个像素与长度之间的比例系数;
获得特征点的像素坐标,将所述比例系数与所述特征点的像素坐标相乘得到所述特征点的坐标。
2.根据权利要求1所述的方法,其特征在于,所述坐标系为平面直角坐标系或空间直角坐标系。
3.根据权利要求1所述的方法,其特征在于,所述图像由单相机或双相机拍摄,所述标尺物和所述特征点在所述单相机或双相机的视野内。
4.根据权利要求1-3中任意一项所述的方法,其特征在于,所述比例系数为所述标尺物的长度与所述第一像素坐标和所述第二像素坐标之间距离的比值。
5.根据权利要求1-3中任意一项所述的方法,其特征在于,该方法还包括:根据所述特征点的坐标绘制特征点的运动轨迹。
6.根据权利要求1-3中任意一项所述的方法,其特征在于,所述特征点上覆盖有标识物以便于识别特征点的像素坐标。
7.一种工程机械臂架多点状态识别设备,其特征在于,该设备包括:
图像获取装置,用于获取工程机械臂架的图像,所述工程机械臂架的至少一个臂节上设置有长度已知的标尺物;
标尺物端点像素坐标计算装置,用于在所述图像中建立坐标系,并得到位于所述标尺物端点的第一像素坐标和第二像素坐标;
比例系数计算装置,用于根据所述第一像素坐标、所述第二像素坐标以及所述标尺物的长度计算单个像素与长度之间的比例系数;
特征点坐标计算装置,用于获得特征点的像素坐标,将所述比例系数与所述特征点的像素坐标相乘得到所述特征点的坐标。
8.根据权利要求7所述的设备,其特征在于,所述坐标系为平面直角坐标系或空间直角坐标系。
9.根据权利要求7所述的设备,其特征在于,所述图像由单相机或双相机拍摄,所述标尺物和所述特征点在所述单相机或双相机的视野内。
10.根据权利要求7-9中任意一项所述的设备,其特征在于,所述比例系数为所述标尺物的长度与所述第一像素坐标和所述第二像素坐标之间距离的比值。
11.根据权利要求7-9任意一项所述的设备,其特征在于,该设备还包括轨迹绘制装置,用于根据所述特征点的坐标绘制特征点的运动轨迹。
12.根据权利要求7-9中任意一项所述的设备,其特征在于,所述特征点上覆盖有标识物以便于识别特征点的像素坐标。
13.一种工程机械臂架多点状态识别***,其特征在于,该***包括:
图像拍摄设备以及权利要求7-12任意一项所述的设备;
所述图像拍摄设备用于拍摄工程机械臂架的图像并将所述图像发送至所述的设备;
所述的设备还包括接收装置,用于接收所述图像拍摄设备发送的所述图像。
CN2013103057191A 2013-07-19 2013-07-19 一种工程机械臂架多点状态识别方法、设备及*** Pending CN103366169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013103057191A CN103366169A (zh) 2013-07-19 2013-07-19 一种工程机械臂架多点状态识别方法、设备及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013103057191A CN103366169A (zh) 2013-07-19 2013-07-19 一种工程机械臂架多点状态识别方法、设备及***

Publications (1)

Publication Number Publication Date
CN103366169A true CN103366169A (zh) 2013-10-23

Family

ID=49367473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013103057191A Pending CN103366169A (zh) 2013-07-19 2013-07-19 一种工程机械臂架多点状态识别方法、设备及***

Country Status (1)

Country Link
CN (1) CN103366169A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103676965A (zh) * 2013-12-12 2014-03-26 中联重科股份有限公司 一种工程机械的臂架控制方法、装置、***及工程机械
CN104240264A (zh) * 2014-08-29 2014-12-24 青岛海信电器股份有限公司 一种运动物体的高度检测方法和装置
CN106104197A (zh) * 2014-05-26 2016-11-09 Kyb株式会社 工程机械的工作状态检测***及工程机械
CN111402337A (zh) * 2020-04-03 2020-07-10 中联重科股份有限公司 工程机械臂架类设备的姿态识别方法、装置及该工程机械
CN112033373A (zh) * 2020-08-21 2020-12-04 苏州巨能图像检测技术有限公司 一种龙门架吊具的姿态检测方法
CN113271410A (zh) * 2021-04-14 2021-08-17 中联重科股份有限公司 用于确定工程机械的支腿开度的方法、处理器及装置
CN113280805A (zh) * 2021-04-14 2021-08-20 中联重科股份有限公司 用于识别臂架姿态的方法、处理器、装置及工程机械
CN114923410A (zh) * 2022-05-09 2022-08-19 一汽解放汽车有限公司 一种纵梁孔位在线检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087003A (ja) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd 画像処理プログラム、装置および方法
CN101289156A (zh) * 2008-05-30 2008-10-22 浙江工业大学 基于全方位视觉传感器的智能集装箱吊具
CN101520895A (zh) * 2009-02-24 2009-09-02 上海大学 标尺图像中像素位移与实际位移的自动转换方法
CN201952114U (zh) * 2010-09-27 2011-08-31 成都西部泰力起重机有限公司 一种带有机器视觉、定位***的智能起重机
CN102589461A (zh) * 2012-01-17 2012-07-18 华中科技大学 一种基于图像的积雪深度测量方法
CN102855629A (zh) * 2012-08-21 2013-01-02 西华大学 一种目标对象定位方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087003A (ja) * 2005-09-21 2007-04-05 Fuji Xerox Co Ltd 画像処理プログラム、装置および方法
CN101289156A (zh) * 2008-05-30 2008-10-22 浙江工业大学 基于全方位视觉传感器的智能集装箱吊具
CN101520895A (zh) * 2009-02-24 2009-09-02 上海大学 标尺图像中像素位移与实际位移的自动转换方法
CN201952114U (zh) * 2010-09-27 2011-08-31 成都西部泰力起重机有限公司 一种带有机器视觉、定位***的智能起重机
CN102589461A (zh) * 2012-01-17 2012-07-18 华中科技大学 一种基于图像的积雪深度测量方法
CN102855629A (zh) * 2012-08-21 2013-01-02 西华大学 一种目标对象定位方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103676965A (zh) * 2013-12-12 2014-03-26 中联重科股份有限公司 一种工程机械的臂架控制方法、装置、***及工程机械
CN103676965B (zh) * 2013-12-12 2016-03-30 中联重科股份有限公司 一种工程机械的臂架控制方法、装置、***及工程机械
CN106104197A (zh) * 2014-05-26 2016-11-09 Kyb株式会社 工程机械的工作状态检测***及工程机械
CN104240264A (zh) * 2014-08-29 2014-12-24 青岛海信电器股份有限公司 一种运动物体的高度检测方法和装置
CN104240264B (zh) * 2014-08-29 2017-06-30 青岛海信电器股份有限公司 一种运动物体的高度检测方法和装置
CN111402337A (zh) * 2020-04-03 2020-07-10 中联重科股份有限公司 工程机械臂架类设备的姿态识别方法、装置及该工程机械
CN112033373A (zh) * 2020-08-21 2020-12-04 苏州巨能图像检测技术有限公司 一种龙门架吊具的姿态检测方法
CN113271410A (zh) * 2021-04-14 2021-08-17 中联重科股份有限公司 用于确定工程机械的支腿开度的方法、处理器及装置
CN113280805A (zh) * 2021-04-14 2021-08-20 中联重科股份有限公司 用于识别臂架姿态的方法、处理器、装置及工程机械
CN114923410A (zh) * 2022-05-09 2022-08-19 一汽解放汽车有限公司 一种纵梁孔位在线检测方法及装置
CN114923410B (zh) * 2022-05-09 2024-05-14 一汽解放汽车有限公司 一种纵梁孔位在线检测方法及装置

Similar Documents

Publication Publication Date Title
CN103366169A (zh) 一种工程机械臂架多点状态识别方法、设备及***
Yoon et al. Structural displacement measurement using an unmanned aerial system
JP6061205B2 (ja) 構造物変位の常時監視方法及びその装置
KR102198352B1 (ko) Tiled Display에서 3D 영상을 보정하는 방법 및 장치
US20130271579A1 (en) Mobile Stereo Device: Stereo Imaging, Measurement and 3D Scene Reconstruction with Mobile Devices such as Tablet Computers and Smart Phones
US20160034746A1 (en) Control system, robot system, and control method
KR101309443B1 (ko) 모션 캡처를 이용한 구조물 모니터링 장치 및 방법
CN101859439A (zh) 一种用于人机交互的运动追踪装置及其追踪方法
CN202075794U (zh) 一种无人机航摄立体成像处理设备
US10506151B2 (en) Information acquisition apparatus
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN102589523A (zh) 远距离监测建筑物位移的方法和所用装备
JP2016057063A (ja) 測定対象物の非接触検知方法及びその装置
CN104079916A (zh) 一种全景三维视觉传感器及使用方法
Chen et al. Color and depth data fusion using an RGB‐D sensor for inexpensive and contactless dynamic displacement‐field measurement
JPH11118425A (ja) キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法
CN102798456A (zh) 一种工程机械臂架***工作幅度的测量方法、装置及***
JP2017129508A (ja) 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム
CN107300413A (zh) 基于条纹投影的远程低频振动测量方法
TW201322179A (zh) 街景建立系統及街景建立方法
CN202093311U (zh) 4目摄像机阵列***
CN102854200B (zh) 一种阵列基板检测设备
WO2018167971A1 (ja) 画像処理装置、制御方法及び制御プログラム
JP2018038087A5 (zh)
CN104482873A (zh) 临近空间气球变形测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20131023