CN106323167B - 一种基于图像识别的智能扫描在线测量***和测量方法 - Google Patents

一种基于图像识别的智能扫描在线测量***和测量方法 Download PDF

Info

Publication number
CN106323167B
CN106323167B CN201610704368.5A CN201610704368A CN106323167B CN 106323167 B CN106323167 B CN 106323167B CN 201610704368 A CN201610704368 A CN 201610704368A CN 106323167 B CN106323167 B CN 106323167B
Authority
CN
China
Prior art keywords
measurement
scanning
robot
ccd camera
ecu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610704368.5A
Other languages
English (en)
Other versions
CN106323167A (zh
Inventor
金隼
刘顺
屈原
衡德正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610704368.5A priority Critical patent/CN106323167B/zh
Publication of CN106323167A publication Critical patent/CN106323167A/zh
Application granted granted Critical
Publication of CN106323167B publication Critical patent/CN106323167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像识别的智能扫描在线测量***,涉及工业自动化领域,包括图像识别定位模块、六自由度机器人激光扫描测量模块、测量控制模块,其中图像识别定位模块包括CCD相机触发开关、CCD相机、CCD相机支架、CCD相机电子控制单元ECU;测量控制模块包括中央处理器、测量***控制器、测量机器人位姿ECU、测量头ECU;六自由度机器人激光扫描测量模块包括六自由度测量机器臂、测量机器人位姿传感器、测量机器人关节电机、激光扫描测量头、测量触发开关。本发明还公开了基于图像识别的智能扫描在线测量方法,包括建立智能扫描策略数据库;图像识别并进行初始定位;自适应地扫描测量;扫描测量过程中的精确二次定位;扫描测量过程中的扫描策略更新。

Description

一种基于图像识别的智能扫描在线测量***和测量方法
技术领域
本发明涉及扫描式在线测量方法,特别指一种基于图像识别的智能扫描在线测量***和测量方法。
背景技术
随着新型传感器的不断出现,非接触测量理论的不断完善,使得采用非接触测量技术实现自由曲面的在线测量成为可能。与传统的样板测量技术、CMM技术相比,非接触激光扫描检测技术具有无接触、检测速度快、数据量大等优点,在逆向工程、质量检测、虚拟现实等领域具有很大优势,被广泛地运用于生产和生活中。
随着工业4.0和互联网+等概念的提出,大批量定制化(OEM)生产正在颠覆千篇一律的同质产品,工厂也变得越来越少人化、无人化、自动化和智能化。并且自动化水平和生产效率的提高直接表现为生产线节拍的提高,快节拍下如何实现产品的质量检测将会是今后一段时间的关键问题。
当前汽车行业以及零部件厂商针对产品的质量管理主要采用检具和CMM抽样检测的方法,或者采用在线检测机器人夹持激光测头,针对关键点进行在线打点测量,并辅以CMM定时抽检的方式进行质量管理。采用检具和CMM抽样检测的方法针对每个待测件均需要制作专用的检具,不仅增加了质量管理的成本,而且检测效率低,无法实现在线检测;在线检测机器人关键点在线检测方式,只能完成某些关键点的检测,无法满足产品全面的质量管理要求,尤其是对零部件生产来说,针对小零件关键点检测无法全面的反映零件状况,同时由于引入机器人测量以及专用CMM测量***极大地提高了生产成本,因而极大地限制了机器人在线检测在零部件生产中的应用。
因此,本领域的技术人员致力于开发一种基于图像识别的智能扫描在线测量***和测量方法,实现针对多品种、快节拍、大批量个性化定制的零部件自动化生产的在线检测。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是如何针对多品种、快节拍、大批量个性化定制的零部件自动化生产的在线检测,实现基于零件特征和测量要求的自适应激光扫描测量,简化测量设备,提高测量效率和全面性。
为实现上述目的,本发明提供了一种基于图像识别的智能扫描在线测量***,包括图像识别定位模块、六自由度机器人激光扫描测量模块、测量控制模块,其中所述图像识别定位模块包括CCD相机触发开关、CCD相机、CCD相机支架、CCD相机电子控制单元ECU;所述测量控制模块包括中央处理器、测量***控制器、测量机器人位姿ECU、测量头ECU;所述六自由度机器人激光扫描测量模块包括六自由度测量机器臂、测量机器人位姿传感器、测量机器人关节电机、激光扫描测量头、测量触发开关。
进一步地,所述CCD相机触发开关位于生产线上,位于生产线旁边的所述CCD相机支架将所述CCD相机支撑于生产线上方。
进一步地,所述测量***控制器将所述测量机器人位姿ECU和所述测量头ECU采集的位姿数据和测量数据发送给所述中央处理器,同时将所述中央处理器的控制命令发送给所述测量机器人位姿ECU和所述测量头ECU。
进一步地,所述测量触发开关位于生产线测量工位处,所述激光扫描头位于所述六自由度测量机器臂的末端,所述测量机器人关节电机和所述测量机器人位姿传感器位于六自由度测量机器臂的各关节处。
本发明还提供了一种基于图像识别的智能扫描在线测量方法,包括以下步骤:
步骤1、建立智能扫描策略数据库;
步骤2、图像识别并进行初始定位;
步骤3、自适应地扫描测量;
步骤4、扫描测量过程中的精确二次定位;
步骤5、扫描测量过程中的扫描策略更新。
进一步地,在步骤1中,还包括
步骤1.1、将生产线上在线生产的所有品种的零件三维模型导入中央处理器;
步骤1.2、中央处理器根据各个待测零件的三维模型的模型特征和测量要求将待测零件的三维模型转换为网格化区域型的目标测量点云;
步骤1.3、依据目标测量点云制定出符合模型特征和测量要求的自适应扫描策略。
进一步地,在步骤2中,还包括
步骤2.1、当零件焊接完成后向测量工位移动的过程中,经过CCD相机触发开关时,CCD相机触发开关被触发向CCD相机发送CCD相机触发信号,进而控制CCD相机对零件进行拍摄;
步骤2.2、CCD相机将获得的零件的立体零件图像传给CCD相机ECU,CCD相机ECU经过处理,将立体的零件图像转换为带坐标位置的零件三维数字信号并传给中央处理器;
步骤2.3、中央处理器根据零件三维数字信号的特征识别出对应零件并与导入的相应零件三维模型对应,并识别出该零件三维模型定位要素对应的坐标信息,实现图像识别功能;
步骤2.4、中央处理器将由图像信息获得的零件三维数字信号对应的定位要素坐标信息,结合测量机器人初始坐标位置,以及零件到达测量位置处的初始坐标,得到测量机器人针对待测零件的测量坐标;
步骤2.5、将零件三维数字信号对应的定位要素坐标信息与目标测量点云中对应要素坐标信息进行最优拟合,从而实现图像初始定位功能,将机器人扫描测量坐标与模型目标测量点云坐标一致化,为后续自适应扫描提供扫描的参考基准。
进一步地,在步骤3中,还包括
步骤3.1、当装载零件的随行平台到达测量工位时,位于测量工位处的测量触发开关将被触发,向测量***控制器发出测量触发信号,测量***控制器收到测量触发信号后启动测量程序;
步骤3.2、测量***控制器根据中央处理器发出的自适应扫描策略以及测量机器人位姿ECU发来的机器人位姿反馈信号生成机器人位姿控制信号传给测量机器人位姿ECU,测量机器人位姿ECU根据机器人位姿控制信号以及测量机器人位姿传感器所测的位姿信号生成机器人关节电机控制信号,从而控制测量机器人关节电机的位姿,使激光扫描头到达扫描位置;
步骤3.3、当激光扫描头到达扫描位置时,测量***控制器将收到来自测量机器人位姿ECU发来的机器人位姿反馈信号,测量***控制器发出扫描控制信号至测量头ECU,由测量头ECU生成扫描信号,从而控制激光扫描头完成扫描;
步骤3.4、测量头ECU将来自激光扫描头的激光信号转换为位置数字信号传给测量***控制器,测量***控制器根据位置数字信号以及机器人位姿反馈信号生成测量点云数据传回中央处理器;
步骤3.5、中央处理器将测量点云数据与待测工件的三维模型转换的目标测量点云一起实时地将测量结果呈现出来。
进一步地,在步骤4中,还包括
步骤4.1、当测量***控制器收到测量触发开关发出的测量触发信号后启动测量程序,测量***控制器先控制测量***完成零件三维模型对应的定位要素扫描,中央处理器收到初始定位要素的扫描测量点云数据后,将初始定位要素的扫描测量点云数据与目标测量点云中对应要素坐标信息进行二次拟合;
步骤4.2、将机器人扫描测量坐标与模型目标测量点云坐标精确对准,为后续自适应扫描提供扫描的精确参考基准。
进一步地,在步骤5中,还包括
步骤5.1、中央处理器收到测量点云数据后,结合待测零件的三维模型以及目标测量点云,计算出新的待测目标测量点云,制定出新的自适应扫描策略传给测量***控制器;
步骤5.2、测量***控制器依据新的自适应扫描策略进行测量从而实现扫描策略随扫描过程的动态调整,直至完成待测零件的测量;
步骤5.3、测量机器人返回初始位置。
本发明所述的基于图像识别的智能扫描式在线测量***,如图1所示,包括图像识别定位模块、六自由度机器人激光扫描测量模块、测量控制模块,还包括焊装生产线、位于焊装生产线上的随行平台、位于随行平台上的随行夹具托盘、随行夹具托盘上的夹具、以及夹具上的零件,其中图像识别定位模块由CCD相机触发开关、CCD相机、CCD相机支架、CCD相机电子控制单元(ECU)组成,CCD相机触发开关位于生产线上,位于生产线旁边的CCD相机支架将CCD相机支撑于生产线上方;六自由度机器人激光扫描测量模块由六自由度测量机器臂、测量机器人位姿传感器、测量机器人关节电机、激光扫描测量头、测量触发开关,测量触发开关位于生产线测量工位处,激光扫描头位于六自由度测量机器臂的末端,测量机器人关节电机和测量机器人位姿传感器位于六自由度测量机器臂的各关节处;测量控制模块由中央处理器、测量***控制器、测量机器人位姿ECU、测量头ECU组成。
本发明所述的基于图像识别的智能扫描式在线测量***智能扫描检测控制方法:
1)建立智能扫描策略数据库,过程为:首先将生产线上在线生产的所有品种的零件三维模型导入中央处理器,中央处理器根据各个待测零件的三维模型的模型特征和测量要求将待测零件的三维模型转换为网格化区域型的目标测量点云,进而依据目标测量点云制定出符合模型特征和测量要求的自适应扫描策略。
2)图像识别并进行初始定位,过程为:当零件焊接完成后向测量工位移动的过程中,经过CCD相机触发开关时,CCD相机触发开关被触发向CCD相机发送CCD相机触发信号,进而控制CCD相机对零件进行拍摄,随后CCD相机将获得的零件的立体零件图像传给CCD相机ECU,CCD相机ECU经过处理,将立体的零件图像转换为带坐标位置的零件三维数字信号并传给中央处理器,中央处理器根据带坐标位置的零件三维数字信号、零件三维模型,首先根据零件三维数字信号的特征识别出对应零件并与导入的相应零件三维模型对应,并识别出该零件三维模型定位要素对应的坐标信息,实现图像识别功能;然后将由图像信息获得的零件三维数字信号对应的定位要素坐标信息,结合测量机器人初始坐标位置,以及零件到达测量位置处的初始坐标,得到测量机器人针对待测零件的测量坐标;最后再将零件三维数字信号对应的定位要素坐标信息与目标测量点云中对应要素坐标信息进行最优拟合,从而实现图像初始定位功能,将机器人扫描测量坐标与模型目标测量点云坐标一致化,为后续自适应扫描提供扫描的参考基准。
3)自适应地扫描测量,过程为:当装载零件的随行平台到达测量工位时,位于测量工位处的测量触发开关将被触发,向测量***控制器发出测量触发信号,测量***控制器收到测量触发信号后启动测量程序,测量***控制器根据中央处理器发出的自适应扫描策略以及测量机器人位姿ECU发来的机器人位姿反馈信号生成机器人位姿控制信号传给测量机器人位姿ECU,测量机器人位姿ECU根据机器人位姿控制信号以及测量机器人位姿传感器所测的位姿信号生成机器人关节电机控制信号,从而控制测量机器人关节电机的位姿,使激光扫描头到达扫描位置;当激光扫描头到达扫描位置时,测量***控制器将收到来自测量机器人位姿ECU发来的机器人位姿反馈信号,于是测量***控制器发出扫描控制信号至测量头ECU,由测量头ECU生成扫描信号,从而控制激光扫描头完成扫描;测量头ECU将来自激光扫描头的激光信号转换为位置数字信号传给测量***控制器,测量***控制器根据位置数字信号以及机器人位姿反馈信号生成测量点云数据传回中央处理器,中央处理器将测量点云数据与待测工件的三维模型转换的目标测量点云一起呈现,从而实时地将测量结果呈现出来,实现对待测工件的自适应扫描。
4)扫描测量过程中的精确二次定位过程为:测量开始时,当测量***控制器收到测量触发开关发出的测量触发信号后启动测量程序,测量***控制器先控制测量***完成零件三维模型对应的定位要素扫描,中央处理器收到初始定位要素的扫描测量点云数据后,将初始定位要素的扫描测量点云数据与目标测量点云中对应要素坐标信息进行二次拟合,从而实现激光扫描二次精准定位功能,将机器人扫描测量坐标与模型目标测量点云坐标精确对准,从而为后续自适应扫描提供扫描的精确参考基准。
5)扫描测量过程中的扫描策略更新过程为:中央处理器收到测量点云数据后,结合待测零件的三维模型以及目标测量点云,计算出新的待测目标测量点云,制定出新的自适应扫描策略传给测量***控制器,测量***控制器依据新的自适应扫描策略进行测量,从而实现扫描策略随扫描过程的动态调整,直至完成待测零件的测量,随后测量机器人返回初始位置。
本发明的有益效果如下:
1、本发明采用六自由度测量机器人在线完成零部件焊装生产的测量,不仅可以实现自动快速的扫描测量,提高检测效率,同时由于扫描测量在线完成,不需要制作专门的检具固定被测工件进行线下测量,极大地扩展了扫描测量的适用范围,减少了测量的资源消耗。
2、本发明采用基于图像处理的识别和初始定位功能,测量前将测量基准与目标点云进行坐标对齐,可以实现测量过程中的分析比较,可以依据目标点云直接在线制定测量策略,并动态的跟踪测量;采用图像识别使测量***可以适应多品种焊接生产线多品种焊接零件的检测测量。
3、本发明依据待测工件三维模型的模型特征和测量要求将待测工件的三维模型转换为网格化区域型的目标测量点云,并通过基于图像处理的初始定位与激光扫描的二次精准定位,实现目标测量点云坐标与测量点云坐标的配准,可制定出符合待测工件模型特征和测量要求的最优扫描策略,并在测量过程中实时的实现测量调整,实现对待测工件的三维自适应扫描测量,使测量更加贴合测量对象和测量要求。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1为本发明的一个较佳实施例的结构示意图;
图2为本发明的一个较佳实施例的方法流程图;
图中:1为CCD相机触发开关,2为CCD相机,3为CCD相机支架,4为六自由度测量机器臂,5为测量机器人位姿传感器,6为测量机器人关节电机,7为激光扫描测量头,8为随行平台,9为随行夹具托盘,10为夹具,11为零件,12为焊装生产线,13为CCD相机电子控制单元(ECU),14为中央处理器,15为测量***控制器,16为测量机器人位姿ECU,17为测量头ECU,18为CCD相机触发信号,19为零件图像,20为零件三维数字信号,21为零件三维模型,22为测量触发信号,23为自适应扫描策略,24为测量点云数据,25为机器人位姿控制信号,26为机器人位姿反馈信号,17为机器人关节电机控制信号,28为机器人关节电机反馈信号,29为位姿信号,30为扫描控制信号,31为位置数字信号,32为扫描信号,33为激光信号,34为测量触发开关。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
如图1所示,本发明所述的基于图像识别的智能扫描式在线测量***,包括图像识别定位模块、六自由度机器人激光扫描测量模块、测量控制模块,还包括焊装生产线12、位于焊装生产线12上的随行平台8、位于随行平台8上的随行夹具托盘9、随行夹具托盘9上的夹具10、以及夹具10上的零件11,其中图像识别定位模块由CCD相机触发开关1、CCD相机2、CCD相机支架3、CCD相机电子控制单元(ECU)13组成,CCD相机触发开关1位于生产线上,位于生产线旁边的CCD相机支架3将CCD相机2支撑于生产线上方;六自由度机器人激光扫描测量模块由六自由度测量机器臂4、测量机器人位姿传感器5、测量机器人关节电机6、激光扫描测量头7、测量触发开关34,测量触发开关34位于生产线测量工位处,激光扫描头7位于六自由度测量机器臂1的末端,测量机器人关节电机6和测量机器人位姿传感器7位于六自由度测量机器臂1的各关节处;测量控制模块由中央处理器14、测量***控制器15、测量机器人位姿ECU16、测量头ECU17组成。
如图2所示,本发明所述的基于图像识别的智能扫描式在线测量***智能扫描检测控制方法:
1)建立智能扫描策略数据库,过程为:首先将生产线上在线生产的所有品种的零件三维模型21导入中央处理器14,中央处理器14根据各个待测零件的三维模型21的模型特征和测量要求将待测零件的三维模型21转换为网格化区域型的目标测量点云,进而依据目标测量点云制定出符合模型特征和测量要求的自适应扫描策略23;
2)图像识别并进行初始定位,过程为:当零件11焊接完成后向测量工位移动的过程中,经过CCD相机触发开关1时,CCD相机触发开关1被触发向CCD相机2发送CCD相机触发信号18,进而控制CCD相机2对零件11进行拍摄,随后CCD相机2将获得的零件11的立体零件图像19传给CCD相机ECU13,CCD相机ECU13经过处理,将立体的零件图像19转换为带坐标位置的零件三维数字信号20并传给中央处理器14,中央处理器14根据带坐标位置的零件三维数字信号20、零件三维模型21,首先根据零件三维数字信号20的特征识别出对应零件并与导入的相应零件三维模型21对应,并识别出该零件三维模型21定位要素对应的坐标信息,实现图像识别功能;然后将由图像信息获得的零件三维数字信号20对应的定位要素坐标信息,结合测量机器人初始坐标位置,以及零件11到达测量位置处的初始坐标,得到测量机器人针对待测零件11的测量坐标;最后再将零件三维数字信号20对应的定位要素坐标信息与目标测量点云中对应要素坐标信息进行最优拟合,从而实现图像初始定位功能,将机器人扫描测量坐标与模型目标测量点云坐标一致化,从而为后续自适应扫描提供扫描的初始参考基准。
3)自适应地扫描测量,过程为:当装载零件11的随行平台到达测量工位时,位于测量工位处的测量触发开关34将被触发,向测量***控制器15发出测量触发信号22,测量***控制器15收到测量触发信号22后启动测量程序,测量***控制器15根据中央处理器14发出的自适应扫描策略23以及测量机器人位姿ECU16发来的机器人位姿反馈信号26生成机器人位姿控制信号25传给测量机器人位姿ECU16,测量机器人位姿ECU16根据机器人位姿控制信号25以及测量机器人位姿传感器5所测的位姿信号29生成机器人关节电机控制信号27,从而控制测量机器人关节电机6的位姿,使激光扫描头7到达扫描位置;当激光扫描头7到达扫描位置时,测量***控制器15将收到来自测量机器人位姿ECU16发来的机器人位姿反馈信号26,于是测量***控制器15发出扫描控制信号30至测量头ECU17,由测量头ECU17生成扫描信号32,从而控制激光扫描头7实施扫描;测量头ECU17将来自激光扫描头7的激光信号33转换为位置数字信号31传给测量***控制器15,测量***控制器15根据位置数字信号31以及机器人位姿反馈信号26生成测量点云数据24传回中央处理器14,中央处理器14将测量点云数据24与待测工件的三维模型20转换的目标测量点云一起呈现,从而实时地将测量结果呈现出来,实现对待测工件的自适应扫描。
4)扫描测量过程中的精确二次定位过程为:测量开始时,当测量***控制器15收到测量触发开关34发出的测量触发信号22后启动测量程序,测量***控制器15先控制测量***完成零件三维模型21对应的定位要素扫描,中央处理器14收到初始定位要素的扫描测量点云数据24后,将初始定位要素的扫描测量点云数据24与目标测量点云中对应要素坐标信息进行二次拟合,从而实现激光扫描二次精准定位功能,将机器人扫描测量坐标与模型目标测量点云坐标精确对准,从而为后续自适应扫描提供扫描的精确参考基准。
5)扫描测量过程中的扫描策略更新过程为:中央处理器14收到测量点云数据24后,结合待测零件11的三维模型21以及目标测量点云,计算出新的待测目标测量点云,制定出新的自适应扫描策略23传给测量***控制器15,测量***控制器15依据新的自适应扫描策略23进行测量,从而实现扫描策略23随扫描过程的动态调整,直至完成待测零件11的测量,随后测量机器人返回初始位置。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种基于图像识别的智能扫描在线测量***,其特征在于,包括图像识别定位模块、六自由度机器人激光扫描测量模块、测量控制模块,其中所述图像识别定位模块包括CCD相机触发开关、CCD相机、CCD相机支架、CCD相机电子控制单元ECU;所述测量控制模块包括中央处理器、测量***控制器、测量机器人位姿ECU、测量头ECU;所述六自由度机器人激光扫描测量模块包括六自由度测量机器臂、测量机器人位姿传感器、测量机器人关节电机、激光扫描测量头、测量触发开关;
所述测量触发开关位于生产线测量工位处,所述激光扫描头位于所述六自由度测量机器臂的末端,所述测量机器人关节电机和所述测量机器人位姿传感器位于六自由度测量机器臂的各关节处;
所述在线测量***采用一种基于图像识别的智能扫描在线测量方法,包括以下步骤:
步骤1、建立智能扫描策略数据库;
步骤2、图像识别并进行初始定位;
步骤3、自适应地扫描测量;
步骤4、扫描测量过程中的精确二次定位;
步骤5、扫描测量过程中的扫描策略更新;
在步骤2中,还包括:
步骤2.1、当零件焊接完成后向测量工位移动的过程中,经过CCD相机触发开关时,CCD相机触发开关被触发向CCD相机发送CCD相机触发信号,进而控制CCD相机对零件进行拍摄;
步骤2.2、CCD相机将获得的零件的立体零件图像传给CCD相机ECU,CCD相机ECU经过处理,将立体的零件图像转换为带坐标位置的零件三维数字信号并传给中央处理器;
步骤2.3、中央处理器根据零件三维数字信号的特征识别出对应零件并与导入的相应零件三维模型对应,并识别出该零件三维模型定位要素对应的坐标信息,实现图像识别功能;
步骤2.4、中央处理器将由图像信息获得的零件三维数字信号对应的定位要素坐标信息,结合测量机器人初始坐标位置,以及零件到达测量位置处的初始坐标,得到测量机器人针对待测零件的测量坐标;
步骤2.5、将零件三维数字信号对应的定位要素坐标信息与目标测量点云中对应要素坐标信息进行最优拟合,从而实现图像初始定位功能,将机器人扫描测量坐标与模型目标测量点云坐标一致化,为后续自适应扫描提供扫描的参考基准。
2.如权利要求1所述的基于图像识别的智能扫描在线测量***,其特征在于,所述CCD相机触发开关位于生产线上,位于生产线旁边的所述CCD相机支架将所述CCD相机支撑于生产线上方。
3.如权利要求1所述的基于图像识别的智能扫描在线测量***,其特征在于,所述测量***控制器将所述测量机器人位姿ECU和所述测量头ECU采集的位姿数据和测量数据发送给所述中央处理器,同时将所述中央处理器的控制命令发送给所述测量机器人位姿ECU和所述测量头ECU。
4.如权利要求1所述的基于图像识别的智能扫描在线测量***,其特征在于,在所述基于图像识别的智能扫描在线测量方法的步骤1中,还包括
步骤1.1、将生产线上在线生产的所有品种的零件三维模型导入中央处理器;
步骤1.2、中央处理器根据各个待测零件的三维模型的模型特征和测量要求将待测零件的三维模型转换为网格化区域型的目标测量点云;
步骤1.3、依据目标测量点云制定出符合模型特征和测量要求的自适应扫描策略。
5.如权利要求1所述的基于图像识别的智能扫描在线测量***,其特征在于,在所述基于图像识别的智能扫描在线测量方法的步骤3中,还包括
步骤3.1、当装载零件的随行平台到达测量工位时,位于测量工位处的测量触发开关将被触发,向测量***控制器发出测量触发信号,测量***控制器收到测量触发信号后启动测量程序;
步骤3.2、测量***控制器根据中央处理器发出的自适应扫描策略以及测量机器人位姿ECU发来的机器人位姿反馈信号生成机器人位姿控制信号传给测量机器人位姿ECU,测量机器人位姿ECU根据机器人位姿控制信号以及测量机器人位姿传感器所测的位姿信号生成机器人关节电机控制信号,从而控制测量机器人关节电机的位姿,使激光扫描头到达扫描位置;
步骤3.3、当激光扫描头到达扫描位置时,测量***控制器将收到来自测量机器人位姿ECU发来的机器人位姿反馈信号,测量***控制器发出扫描控制信号至测量头ECU,由测量头ECU生成扫描信号,从而控制激光扫描头完成扫描;
步骤3.4、测量头ECU将来自激光扫描头的激光信号转换为位置数字信号传给测量***控制器,测量***控制器根据位置数字信号以及机器人位姿反馈信号生成测量点云数据传回中央处理器;
步骤3.5、中央处理器将测量点云数据与待测工件的三维模型转换的目标测量点云一起实时地将测量结果呈现出来。
6.如权利要求1所述的基于图像识别的智能扫描在线测量***,其特征在于,在所述基于图像识别的智能扫描在线测量方法的步骤4中,还包括
步骤4.1、当测量***控制器收到测量触发开关发出的测量触发信号后启动测量程序,测量***控制器先控制测量***完成零件三维模型对应的定位要素扫描,中央处理器收到初始定位要素的扫描测量点云数据后,将初始定位要素的扫描测量点云数据与目标测量点云中对应要素坐标信息进行二次拟合;
步骤4.2、将机器人扫描测量坐标与模型目标测量点云坐标精确对准,为后续自适应扫描提供扫描的精确参考基准。
7.如权利要求1所述的基于图像识别的智能扫描在线测量***,其特征在于,在所述基于图像识别的智能扫描在线测量方法的步骤5中,还包括
步骤5.1、中央处理器收到测量点云数据后,结合待测零件的三维模型以及目标测量点云,计算出新的待测目标测量点云,制定出新的自适应扫描策略传给测量***控制器;
步骤5.2、测量***控制器依据新的自适应扫描策略进行测量从而实现扫描策略随扫描过程的动态调整,直至完成待测零件的测量;
步骤5.3、测量机器人返回初始位置。
CN201610704368.5A 2016-08-22 2016-08-22 一种基于图像识别的智能扫描在线测量***和测量方法 Active CN106323167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610704368.5A CN106323167B (zh) 2016-08-22 2016-08-22 一种基于图像识别的智能扫描在线测量***和测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610704368.5A CN106323167B (zh) 2016-08-22 2016-08-22 一种基于图像识别的智能扫描在线测量***和测量方法

Publications (2)

Publication Number Publication Date
CN106323167A CN106323167A (zh) 2017-01-11
CN106323167B true CN106323167B (zh) 2019-06-07

Family

ID=57741858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610704368.5A Active CN106323167B (zh) 2016-08-22 2016-08-22 一种基于图像识别的智能扫描在线测量***和测量方法

Country Status (1)

Country Link
CN (1) CN106323167B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821027B (zh) * 2022-11-17 2023-11-01 英業達股份有限公司 元件匹配和報告方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767517B (zh) * 2017-01-18 2019-03-01 重庆市计量质量检测研究院 一种自由曲面内三维缝隙形貌自动采集方法及采集装置
CN106705847B (zh) * 2017-01-18 2019-04-05 重庆市计量质量检测研究院 一种自由曲面内缝隙几何尺寸测量方法及装置
CN107144236A (zh) * 2017-05-25 2017-09-08 西安交通大学苏州研究院 一种机器人自动扫描仪及扫描方法
CN107598775A (zh) * 2017-07-27 2018-01-19 芜湖微云机器人有限公司 一种通过激光进行检测并多轴机器人打磨的方法
CN107270833A (zh) * 2017-08-09 2017-10-20 武汉智诺维科技有限公司 一种复杂曲面零件三维测量***及方法
CN107576503A (zh) * 2017-09-01 2018-01-12 西北工业大学 航空发动机高精度装配质量检测机器人***
CN108362223B (zh) * 2017-11-24 2020-10-27 广东康云多维视觉智能科技有限公司 一种便携式3d扫描仪、扫描***和扫描方法
CN109839075A (zh) * 2017-11-29 2019-06-04 沈阳新松机器人自动化股份有限公司 一种机器人自动测量***及测量方法
CN108274092B (zh) * 2017-12-12 2020-08-21 北京石油化工学院 基于三维视觉与模型匹配的坡口自动切割***及切割方法
CN108274302B (zh) * 2017-12-25 2020-11-10 重庆近江智信汽车零部件有限公司 一种智能制管机
CN108489361A (zh) * 2018-03-02 2018-09-04 昆山艾尔发计量科技有限公司 一种带孔工件的通止检测***
CN110006361B (zh) * 2019-03-12 2021-08-03 精诚工科汽车***有限公司 基于工业机器人的零件自动化检测方法及***
CN110207619B (zh) * 2019-04-10 2022-01-07 北京航星机器制造有限公司 基于全方位移动平台搭载协作机械臂的测量***及方法
CN110174346A (zh) * 2019-05-06 2019-08-27 江苏耀群工业技术有限公司 自对准滤网扫描方法及装置
CN110244653B (zh) * 2019-06-13 2020-10-09 深圳市腾浩科技有限公司 工件的加工轨迹规划方法
CN111397507B (zh) * 2019-12-30 2021-10-01 宁波大正工业机器人技术有限公司 一种盘类件激光校准方法
CN113379905A (zh) * 2021-07-16 2021-09-10 秦皇岛信能能源设备有限公司 一种轮毂产线用3d视觉智能识别及控制***
CN113959352B (zh) * 2021-10-19 2022-09-09 上海交通大学 一种柔性点位方向标识***及方法
CN115717868B (zh) * 2022-10-08 2023-11-07 北京航天计量测试技术研究所 一种实时在线的三维自动化扫描测量***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044505A (zh) * 2004-07-23 2007-09-26 3形状股份有限公司 自适应三维扫描
CN101236660A (zh) * 2008-03-06 2008-08-06 张利群 三维扫描仪及其三维模型重构方法
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
CN202523112U (zh) * 2012-04-09 2012-11-07 北京拓博尔机器人科技有限公司 一种机器人激光扫描重建三维模型***
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104344795A (zh) * 2013-07-24 2015-02-11 鸿富锦精密工业(深圳)有限公司 点云剖面量测***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044505A (zh) * 2004-07-23 2007-09-26 3形状股份有限公司 自适应三维扫描
CN101236660A (zh) * 2008-03-06 2008-08-06 张利群 三维扫描仪及其三维模型重构方法
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
CN202523112U (zh) * 2012-04-09 2012-11-07 北京拓博尔机器人科技有限公司 一种机器人激光扫描重建三维模型***
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821027B (zh) * 2022-11-17 2023-11-01 英業達股份有限公司 元件匹配和報告方法

Also Published As

Publication number Publication date
CN106323167A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106323167B (zh) 一种基于图像识别的智能扫描在线测量***和测量方法
CN106091931B (zh) 一种基于三维模型的自适应扫描测量***及其控制方法
CN110524581A (zh) 一种柔性焊接机器人***及其焊接方法
CN108109174A (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和***
CN111595949B (zh) 一种自适应不规则表面的激光超声成像检测***及检测方法
CN107678307A (zh) 半实物仿真测试方法、装置及***
CN110421562A (zh) 基于四目立体视觉的机械臂标定***和标定方法
CN106600681A (zh) 一种有障碍物曲面的打磨方法
US20190193268A1 (en) Robotic arm processing system and method, and non-transitory computer-readable storage medium therefor
CN104002602B (zh) 具有加工精度纠正功能的激光活化设备和激光活化方法
CN102840825B (zh) 一种质点定位***及方法
CN108480101A (zh) 一种视觉检测工件识别的喷涂控制方法和装置
CN115290001A (zh) 一种产品测试方法及***
CN114289934B (zh) 一种基于三维视觉的大型结构件自动化焊接***及方法
CN205748263U (zh) 人工智能钣金件生产***的在线检测单元
CN106903663A (zh) 一种回转壳体内装零件的定位标记方法、装置及***
CN114295728A (zh) 一种针对复杂曲面工件内部缺陷超声波三维层析成像方法
CN110196231A (zh) 一种增材制件的激光超声离线检测装置及方法
CN108235769A (zh) 一种人脸识别设备的性能测试方法及测试装置
CN109848989A (zh) 一种基于红宝石探针的机器人执行末端自动标定及检测方法
CN108845663A (zh) 设计施工***
CN113850280A (zh) 一种智能飞机零件喷码标识方法、装置、存储介质及设备
CN107272664B (zh) 适用于光电跟踪***的精跟踪控制算法验证***及方法
CN105866752A (zh) 基于微处理器的雷达目标航迹模拟器及验证测试***
CN117006972A (zh) 物体检测方法、装置、设备、三维扫描***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant