CN107505324B - 基于双目协同激光的3d扫描装置及扫描方法 - Google Patents

基于双目协同激光的3d扫描装置及扫描方法 Download PDF

Info

Publication number
CN107505324B
CN107505324B CN201710681112.1A CN201710681112A CN107505324B CN 107505324 B CN107505324 B CN 107505324B CN 201710681112 A CN201710681112 A CN 201710681112A CN 107505324 B CN107505324 B CN 107505324B
Authority
CN
China
Prior art keywords
camera
image
images
laser
cutting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710681112.1A
Other languages
English (en)
Other versions
CN107505324A (zh
Inventor
李�杰
Original Assignee
李�杰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 李�杰 filed Critical 李�杰
Priority to CN201710681112.1A priority Critical patent/CN107505324B/zh
Publication of CN107505324A publication Critical patent/CN107505324A/zh
Application granted granted Critical
Publication of CN107505324B publication Critical patent/CN107505324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于双目协同激光的3D扫描装置及扫描方法，本发明涉及3D扫描装置及扫描方法。本发明的目的是为了解决现有点云扫描方案方案结构复杂、繁琐；生成的点云精度低，难以满足工业生产的需求的问题。基于双目协同激光的3D扫描装置包括：双目相机、步进电机、激光器、电机控制器；所述双目相机包括左摄像头、右摄像头和双目连接固定件；左摄像头与右摄像头通过双目连接固定件连接；步进电机上设置激光器，步进电机与电机控制器通过连接件连接；电机控制器控制步进电机移动，步进电机带动激光器移动，激光器将激光发射至扫描物体后，双目相机对扫描物体进行拍照。本发明用于3D扫描领域。

Description

基于双目协同激光的3D扫描装置及扫描方法
技术领域
本发明涉及3D扫描装置及扫描方法。
背景技术
3D点云数据是工件智能识别、抓取、缺陷检测的基础，质量良好的3D点云数据可以加快识别速度，适用更多需求。
当前常见的点云扫描方案主要有三种，一种为单相机配合激光线平动扫描，一种为使用标定后的双目(多目)结构拍摄扫描物体照片，之后对照片进行处理生成点云数据。第三种为面阵结构光方案，使用相机配合投影仪组建类似双目的***结构，投影、拍摄得到对应的点云数据。
单相机配合激光器方案生成的点云精度较高，但扫描速度，且在扫描过程中需要使用编码器根据整体结构运动的位置发射信号，控制相机拍摄照片。然后对照片进行处理，在计算的过程中，相机与扫描物体的相对位置发生变化，需使用相应算法转换每一帧数据的计算位置。整体来说，此方案精度高，但结构复杂、繁琐。
双目(多目)方案使用双目直接拍摄扫描物体相片，处理左右图像得到对应的特征点对，根据标定的参数与特征点对的视差直接计算特征点的3D位置，并对其他位置进行计算填充。此方案的优点为扫描速度快、计算速度快，且计算坐标统一，使用过程相对简单。但由于在图像中选取特征点对时，存在误匹配，导致双目方案生成的点云精度低，难以满足工业生产的需求。
结构光方案本质是双目方案的一个变种，使用投影仪投影指定编码的结构光，同时使用相机拍摄对应的结构光的照片。之后对所有照片根据投射的图片进行解码运算，照片上每个像素点都存在一组独特的编码。相当于人工为双目相机添加了对应的特征点对，固此方案拥有双目方案的所有优点，且计算精度较高。但投影的结构光为对外界光源敏感，对扫描物体本身的结构反光敏感，扫描时存在阴影遮挡，生成的点云精度低的问题。如果扫描物体为一些金属工件堆叠而成，扫描效果将大打折扣。
发明内容
本发明的目的是为了解决现有点云扫描方案方案结构复杂、繁琐；生成的点云精度低，难以满足工业生产的需求的问题，而提出基于双目协同激光的3D扫描装置及扫描方法。
基于双目协同激光的3D扫描装置包括：双目相机、步进电机、激光器、电机控制器；
所述双目相机包括左摄像头、右摄像头和双目连接固定件；
左摄像头与右摄像头通过双目连接固定件连接；
步进电机上设置激光器，步进电机与电机控制器通过连接件连接；
电机控制器控制步进电机移动，步进电机带动激光器移动，激光器将激光发射至扫描物体后，双目相机对扫描物体进行拍照。
基于双目协同激光的3D扫描方法具体过程为：
步骤一、电机控制器控制步进电机移动，步进电机带动激光器旋转，激光器将激光发射至扫描物体；
步骤二、对当前的双目相机进行标定，标定后获取双目相机中左右相机各自的内参矩阵、畸变矩阵，及双目校准矩阵、相对位置矩阵；
步骤三、调节双目相机的光圈大小、曝光时间，使左右相机图像达到仅能看到激光线；
步骤四、使用步骤二中得到的校准矩阵对步骤三中仅能看到激光线的左右相机图像进行校准，对校准后的图像进行裁剪，即在左右相机获取的扫描物体图像中截取相同位置、相同尺寸的矩形有效图像，得到左右相机裁剪图像；
步骤五、将左右相机裁剪图像经灰度转换变为灰度图像，分别计算左右相机对应的灰度图像中每一行像素点值，每一行像素点值最大点的位置即为每一行亮度最高的位置的均值，根据均值得到左右相机各自激光线在图像中的平均位置，以平均位置为中心，在左、右相机图像各裁剪指定长度的图像，得到左右相机裁剪图像的激光线的中心点位置；
步骤六、对步骤五获取的左右相机裁剪图像的激光线的中心点位置的行号进行一一对应，即左相机裁剪图像中第一行像素的X轴位置与右相机裁剪图像中第一行像素的X轴位置对应，左相机裁剪图像中第二行的X轴位置与右相机裁剪图像中第二行的X轴位置对应，直至左相机裁剪图像中第N行的X轴位置与右相机裁剪图像中第N行的X轴位置对应，使用对应点位置差、对应点行号、标定的左右相机各自的内参矩阵，计算每对对应点相对左相机坐标系的三维坐标；
N为左右相机裁剪图像的总行数，取值为正整数；
对应点位置差为右相机X轴位置值减左相机X轴位置值；
原点为左相机光心，Y轴方向为双目相机图像视域向上方向，X轴为双目相机图像视域向右方向，Z轴垂直于XY平面；
步骤七、创建3D坐标点容器，将步骤六中计算得到的每对对应点相对左相机坐标系的三维坐标都放入3D坐标点容器中；
步骤八、重复执行步骤四～步骤六，将得到的每对对应点相对左相机坐标系的三维坐标都放入步骤七创建的容器中；直至将扫描物体全部扫描完，得到完整点云。
本发明的有益效果为：
本发明使用激光线进行辅助对应点定位，激光线从指定位置开始扫描，同时双目相机开始拍照，处理图像中的激光线条在左右相机中的中心点位置，使用双目测距获取激光线条对应的一条由3D点构成的线。激光线持续运动扫描，相机亦持续拍照，重复上述处理过程，最终可得多条线构成的3D点云模型。相机位置固定，所有帧的坐标系相同，无拼合误差，帧数据与帧数据间不存在依赖关系，减少单帧数据误差累加的最终模型误差。本发明对相机帧率与电机转速依赖性不强，亦可处理跳帧情况。生成点云坐标系相对于双目相机中左相机光心位置。
本发明以双目测距为主，双目测距可以精确的测量双目图像中的指定点距离相机的距离，使左右相机中的对称点获取简单，虽然需配合激光器使用，但双目位置可相对固定，所以无需使用编码器进行信号传入，对扫描过程中拍摄帧激光线位置无要求，结构简单。使用高强激光进行投射，对外界光源有较好的抗干扰性，生成的点云精度高，满足满足工业生产的需求。列如若用户觉得当前扫描过程过慢，可为结构添加辅助激光器获取另一条激光线或者使用棱镜将当前激光线分为两条；可提升50％的扫描速度。
使用MV-GE132GM-T工业相机*2(分辨率1280*1024，帧率92FPS)，采用硬件电路板将同一触发信号一份为二，传递至两个相机，保证相机采集图像的同步。对于扫描一个30*30cm的料箱来说，扫描时间约为5s，扫描精度约为x:0.6mm，y:0.3mm，z:0.15mm，若工业生产中需更快的扫描速度，可为结构安装辅助激光器，扫描时间变为2.5s～3s。
附图说明
图1为本发明基于双目协同激光的3D扫描装置正视图；
图2为本发明基于双目协同激光的3D扫描装置侧视图；
图3a为本发明激光线定位原理1图；
图3b为本发明激光线定位原理2图；
图4为本发明扫描***正视图；
图5为本发明扫描***侧视图；
图6为本发明开始扫描时，激光线位置示意图；
图7为本发明结束扫描时，激光线位置示意图。
具体实施方式
具体实施方式一：结合图1、图2说明本实施方式，本实施方式的基于双目协同激光的3D扫描装置包括：双目相机1、步进电机2、激光器3、电机控制器4；
所述双目相机1包括左摄像头1-1、右摄像头1-2和双目连接固定件1-3；
左摄像头1-1与右摄像头1-2通过双目连接固定件1-3连接；
步进电机2上设置激光器3；
电机控制器4与步进电机2信号连接，控制步进电机2移动；步进电机2带动激光器3移动，激光器3将激光发射至扫描物体5后，双目相机1对扫描物体5进行拍照。
双目相机：主要测量工具，用于三维坐标测量。
激光线发生器：用于发射激光线，辅助定位。
步进电机：用于转动激光线发生器，使激光线可匀速扫过模型表面。
仪器支架：用于搭建试验扫描机械环境，真实环境可忽略。
连接件：用于连接相机、电机、激光线的机械连接部分。
具体实施方式二：结合图4、图5说明本实施方式，本实施方式的基于双目协同激光的3D扫描方法具体过程为：
步骤一、扫描程序PtCreator使用C++语言开发，使用OPENCV库，运行平台为windows；
扫描程序主要由五部分组成，串口部分、相机SDK、运算部分、人机交互部分。
串口部分，主要负责与电机控制器通信，控制步进电机的行进、停止、复位等操作，主要操作代码如下：
Figure BDA0001375493390000041
Figure BDA0001375493390000051
相机SDK主要负责与相机通信，设置相机图像尺寸、相机曝光时间、获取相机图像的操作。主要操纵代码如下：
Figure BDA0001375493390000052
Figure BDA0001375493390000061
标定部分主要功能为标定双目相机，获取左右相机的内参与相机间的相对位置，并保存标定数据至本地，以供计算模块使用。主要操作代码如下：
计算部分主要负责处理图像，将左右图像中的激光线位置转换成3D点坐标，主要操作代码如下所示：
Figure BDA0001375493390000062
Figure BDA0001375493390000071
Figure BDA0001375493390000081
Figure BDA0001375493390000091
人机交互部分主要功能为接收用户输入，并调用相应代码完成对应工作，如用户点击开始扫描按钮，程序控制电机开始转动，同时控制相机获取图像，控制计算部分计算点云。
电机控制器4控制步进电机2移动，步进电机2带动激光器3旋转，激光器3将激光发射至扫描物体；
调节双目相机1结构中左右相机的光圈与焦距，配合使用相应的相机图像查看软件(具体使用软件由相机型号决定，一般工业相机都配套对应的图像浏览软件，如本实验用相机使用的浏览软件为“MindVision演示程序”)实时观察左右相机扫描物体图像，当扫描物体图像清晰，亮度达到与人眼中的物体亮度一致时，为合适的亮度与焦距；
就是人能够看清图像，不会因光圈过大导致某些图像位置发白，也不会因为光圈过小导致某些位置看不清即可；
步骤二、
开启扫描程序PtCreator(依赖于本专利原理编写的试验软件),使用扫描程序PtCreator中的标定功能，
对当前的双目相机1进行标定(双目标定方法使用开源的OPENCV库中的双目标定模块，使用要求的黑白格标定板进行标定)，标定后获取双目相机1中左右相机各自的内参矩阵、畸变矩阵，及双目校准矩阵、相对位置矩阵；
步骤三、调节双目相机的光圈大小(手动物理调节)、曝光时间(相机配套程序调节或使用扫描程序PtCreator中的相机操控模块调节)，使左右相机图像尽量达到仅能看到激光线，其他都是黑色的状态；若使用的相机无调节光圈的物理功能，亦无对应的SDK，本步骤省略。
步骤四、使用步骤二中得到的校准矩阵对步骤三中仅能看到激光线的左右相机图像进行校准，对校准后的图像进行裁剪，即在左右相机获取的扫描物体图像中截取相同位置、相同尺寸的矩形有效图像，得到左右相机裁剪图像；
(校准后的左右相机图像四边会出现黑色不规则边缘，这些黑色由于相机畸变及左右相机安装的误差产生，对接下来的计算会产生干扰，这些图像称之为非有效图像，其余部分称之为有效图像，注意为了保持裁剪过程中左右图像位置、大小的一致性，某些有效图像亦有可能被裁剪)
步骤五、将左右相机裁剪图像经灰度转换变为灰度图像，分别计算左右相机对应的灰度图像中每一行像素点值，每一行像素点值最大点的位置即为每一行亮度最高的位置的均值，根据均值得到左右相机各自激光线在图像中的平均位置，以平均位置为中心，在左、右相机图像各裁剪指定长度的图像，得到左右相机裁剪图像的激光线的中心点位置；
相机图像被加载至电脑内存后，经过灰度转换变为灰度图像，所谓灰度图像图像中无彩色的存在，也就是普通人理解的黑白相片，灰度图中每个像素点的值为每个点对应的亮度值，以数值形式存在，数值取值范围0～255。
固计算亮度最高的位置只需比较图像中每行像素点亮度值，得到最大亮度值所在的点的位置。
每一行存在一个值，或者多个值，然后用灰度中心法在计算亮度最高点对应的具***置。
每一行有一个值，有多少行就存在多少值，将这些值全部保存，就得到了一条激光线对应的中心位置。
步骤六、对步骤五获取的左右相机裁剪图像的激光线的中心点位置的行号进行一一对应，即左相机裁剪图像中第一行像素的X轴位置与右相机裁剪图像中第一行像素的X轴位置对应，左相机裁剪图像中第二行的X轴位置与右相机裁剪图像中第二行的X轴位置对应，直至左相机裁剪图像中第N行的X轴位置与右相机裁剪图像中第N行的X轴位置对应(图像有多少行即存在多少对对应点)，使用对应点位置差、对应点行号、标定的左右相机各自的内参矩阵，计算每对对应点相对左相机坐标系的三维坐标；双目测距具体原理为：
f为相机焦距、T为双目光心间距、Xl、Xr为空间中点在左右相机中的成像距离(已校准)，Z即为所求的距离；
其中双目标定可获得f，T，相机畸变系数。处理图像可获得Xl、Xr。
综上所述，点距离测量准确度，取决于对应点的选取，在本发明中，使用激光线辅助定位法，选取对应的点；
本发明使用的方式为基于双目测距的基本原理的OPENCV类库，使用位置差、行号、逆投影矩阵(即相对位置矩阵)，可直接计算出对应点的三维坐标，具体过程可参考程序介绍中“3D点坐标计算”部分；
N为左右相机裁剪图像的总行数，取值为正整数；
对应点位置差为右相机X轴位置值减左相机X轴位置值；
原点为左相机光心，Y轴方向为双目相机图像视域向上方向，X轴为双目相机图像视域向右方向，Z轴垂直于XY平面，指向背离相机的方向；
步骤七、创建3D坐标点容器(空的数组)，将步骤六中计算得到的每对对应点相对左相机坐标系的三维坐标(3D坐标点)都放入3D坐标点容器中(共图像高度个坐标点)。
所谓容器就是一个装数据的地方，假设我们处理每帧数据得到100个点，共扫描100帧，一共可得10000个点，但是这10000个点是零散的，不好管理。我们可以先创建一个可以装10000个点的空的数组，然后将每次得到100个点放入到这个数组中，在进行转、存的时候就会比较方便；
步骤八、重复执行步骤四～步骤六，将得到的每对对应点相对左相机坐标系的三维坐标(3D坐标点)都放入步骤七创建的容器中；直至将扫描物体全部扫描完，得到完整点云。
电机运动到终止位置(由扫描范围确定，扫描到边缘即可结束扫描)；
具体的扫描过程由用户控制，但是整体的扫描过程需满足一定要求，如本方案中的双激光线扫描，在开始扫描时，两条激光线的位置应是一条在左，一条在中，左侧的激光线应处于扫描物体的左侧；如图6、图7；
当结束扫描时，左侧的激光线应运动到中间位置(注意此位置应处于开始扫描时，右侧激光线的右方)，而右侧激光线出于扫描物体的右侧。
这样才能保证完成的扫描物体，得到的点云才是完整点云。
根据3D坐标点容器内的点的个数与点的位置，创建.pcd格式的文件，将所有点的数据写入创建的.pcd格式的文件中保存；
使用第三方软件(CloudCompare)打开保存的.pcd格式的文件，查看生成的3D点云质量、验证扫描效果。
对应点求取原理
对应点在成像平面上以二维点的形式存在，本文获取对应的方式为先横向后纵向，横向使用対极平面，纵向使用激光线辅助定位。
横向対极平面原理：使用OPENCV提供的对极几何功能，使用效果为：校正图像后左右相机图像的行一一对准。
纵向激光线辅助原理图如图3a、图3b：
使用灰度光带法定位激光线中心线位置，左右相机中对应行的激光线中心即为每行的对应点。设置激光线从左到右扫描即可得到扫描区域的3D点云模型。
距离像面越近的点，它在左右相机中的视差越大，距离像面越远的点，它在左右相机中的视差越小。
具体实施方式三：本实施方式与具体实施方式二不同的是：所述步骤二中内参矩阵是一个记录双目相机内参的3*3的矩阵，矩阵中包括双目相机X、Y方向上的焦距，光心在双目相机拍摄的图像中的位置；
畸变矩阵是一个记录双目相机畸变的1*5的矩阵，记录了双目相机径向畸变、切向畸变等参数；
双目校准矩阵是左右相机图像经过各自的校准矩阵校准后，双目相机图像在水平方向上高度一致，即同一拍摄物体在左右相机的图像中，高度位置一致；
双目校准矩阵准确的说为六个矩阵，分别为左相机校准矩阵、左相机本征矩阵、右相机校准矩阵、右相机本征矩阵，这四个矩阵直接标定得到，而左相机校准+左相机本征可计算得出左相机映射矩阵、右相机同理，映射矩阵是与图像等大小的、可将图像位置点映射到新的位置的矩阵，我们最终使用的就是左右映射的两个矩阵，只不过这两个矩阵较大(图像为2048*2048的话，矩阵也会这么大)，而相对来说校准矩阵与本征矩阵就小很多(校准矩阵3*3，本征矩阵3*4)，固保存的是前四个矩阵，使用的时候通过计算得到后两个矩阵，校准图像使用后两个矩阵,故在原理部分可忽略前面的四个矩阵，认为是中间计算变量即可。
由于双目相机的安装误差，相同一个点在左右相机图像中的位置高度是不同的，经过校准矩阵校准后，相同位置的点在左右相机图像中高度就一致了，同时校准矩阵还会将左右相机图像的畸变也一同校准。
相对位置矩阵为右相机坐标系相对于左相机坐标系的空间位置变换矩阵；
其它步骤及参数与具体实施方式二相同。
具体实施方式四：本实施方式与具体实施方式二或三不同的是：所述所述步骤五中将左右相机裁剪图像经灰度转换变为灰度图像，分别计算左右相机对应的灰度图像中每一行像素点值，每一行像素点值最大点的位置即为每一行亮度最高的位置的均值，根据均值得到左右相机各自激光线在图像中的平均位置，以平均位置为中心，在左、右相机图像各裁剪指定长度的图像，得到左右相机裁剪图像的激光线的中心点位置；
一条激光照射在物体表面，虽然看起来是一条线，但放大后可以发现亮度时按照高斯分布的，最亮的位置可能达到2～5像素，前文写的位置为均值，后文是用灰度重心法计算的值；
每个图像只有一个截取位置(仅处理X方向，因为Y方向在进行图像校准的时候会自动对齐)，文章里面的Cl代表左图像截取位置，Cr代表右图像截取位置。对应点的数据为左图像激光位置+Cl,右图像激光位置+Cr。若左右图像的对应点中存在一个或二个点的横坐标值为0，则此点抛弃；
具体过程为：
1)、将左右相机裁剪图像经灰度转换变为灰度图像；
2)、计算左右相机各自对应的灰度图像中第一行像素点值，像素点值最大点的位置即为第一行亮度最高的位置的均值，即为第一行激光线的位置；
若存在M个最大点则计算M个最大点位置的最大跨度，最大跨度即第M个最大点X轴位置与第一个最大点X轴位置的差；
若最大跨度小于限值(用户指定，与激光线宽度相关，一般指定值为8～10)，像素点值最大点的位置为(第M个最大点X轴位置+第一个最大点X轴位置)/2，即为第一行激光线的位置；
若最大跨度大于等于限值，将最大跨度位置舍弃，设置为0，即为第一行激光线的位置；
M取值为正整数；
限值取值为8～10；
假设存在多个最大值，第一个X位置为100，第二个为104，第三个为150，第四个为152，则最大跨度为152-100＝52，大于限值，则此处位置置0；若一个X位置为100，第二个为101，第三个为102，无其他最大值，则最大跨度＝102-100＝2，小于限值，则最大值位置＝(100+102)/2＝101。
当前处理的是单幅图像，左右图像都分别按此处理。
3)、若左右相机各自对应的灰度图像行数为N，对左右相机对应的灰度图像中每一行重复执行2)，计算得到N个激光线的位置，将这个N个激光线的位置组合成一个一维矩阵P，则P＝{P0,P1,P2...Pn},Pn表示第N行激光线的位置；
对一维矩阵P进行中值滤波，过滤掉0值，然后对剩余的位置取均值，得到左、右相机各自激光线在图像中的平均位置Pf；
4)、以左、右相机各自激光线在图像中的平均位置Pf为中心，在左、右相机图像各裁剪指定长度(具体长度与图像整体宽度有关，一般去图像整体宽度的二十分之一)的图像，若Pf距图像最左边距离小于指定长度，裁剪起始位置右移(图像视域向右方向)，则当前裁剪起始位置为0；
若Pf距图像最右边距离小于指定长度，裁剪位置左移(图像视域向左方向)，则当前裁剪起始位置为源图像宽度-裁剪宽度；
若Pf位于图像中间，则当前裁剪起始位置为Pf-裁剪指定长度/2；
记录左图像裁剪的起始位置Cl；右图像裁剪的起始位置Cr；
5)、因激光线在图像中的亮度呈高斯分布(公知)，本处对4)得到的裁剪图像使用灰度中心法(公知，亦可用灰度重心法，计算结果相差不多)计算得到左右相机裁剪图像的激光线精准的位置(上文计算的位置仅为了裁剪图像，属于粗略计算，而本处计算的位置精度可达到亚像素级)；
将得到的左相机裁剪图像的激光线位置加上对应裁剪起始位置Cl，得到左相机裁剪图像的激光线的中心点位置；
左右图像都需进行此计算，则对于n行的对应左右图像，我们可以得到n对对应点，对应点在左右相机裁剪图像中的分布为：{PTl0(Pl0,0),PTr0(Pr0,0)},{PTl1(Pl1,1),PTr1(Pr1,1)}...{PTln(Pln,n),PTrn(Prn,n)}，
PTl0为左侧0点，PTr0为右侧0点，Pl0为PTl0的横坐标，0为PTl0的纵坐标，(Pl0,0)为PTl0的坐标，(Pr0,0)为PTr0的坐标，Pr0为PTr0的横坐标，0为PTr0的纵坐标；
PTl1为左侧1点，PTr1为右侧1点，Pl1为PTl1的横坐标，1为PTl1的纵坐标，(Pl1,1)为PTl1的坐标，(Pr1,1)为PTr1的坐标，Pr0为PTr1的横坐标，0为PTr1的纵坐标；
PTln为左侧n点，PTrn为左侧m点，Pln为PTln的横坐标，n为PTln的纵坐标，(Pln,n)为PTln的坐标，(Prn,n)为PTrn的坐标，Pr0为PTrn的横坐标，n为PTrn的纵坐标；
注意此处计算的X坐标是相对于源图像的；
将得到的右相机裁剪图像的激光线位置加上对应裁剪起始位置Cr，得到右相机裁剪图像的激光线的中心点位置；
若左右相机裁剪图像的激光线的中心点位置中存在一个或二个点的X轴坐标值为0，则此激光线的中心点抛弃。
其它步骤及参数与具体实施方式二或三相同。
具体实施方式五：本实施方式与具体实施方式二至四之一不同的是：所述步骤五中所述指定宽度由图像大小决定，可设置为左右相机裁剪图像大小的十分之一；
其它步骤及参数与具体实施方式二至四之一相同。
具体实施方式六：本实施方式与具体实施方式二至五之一不同的是：所述激光线的中心点位置为相对于源图像位置，而非截取后图像位置，截取图像仅为了加快图像处理速度；
源图像为步骤四中未裁剪的左右相机图像。
其它步骤及参数与具体实施方式二至五之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
本实施例基于双目协同激光的3D扫描装置及方法具体是按照以下步骤制备的：
使用MV-GE132GM-T工业相机*2(分辨率1280*1024，帧率92FPS)，采用硬件电路板将同一触发信号一份为二，传递至两个相机，保证相机采集图像的同步。对于扫描一个30*30cm的料箱来说，扫描时间约为5s，扫描精度约为x:0.6mm，y:0.3mm，z:0.15mm，若工业生产中需更快的扫描速度，可为结构安装辅助激光器，扫描时间变为2.5s～3s。若需要更高精度，可更换更高分辨率、更高帧率的相机。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.基于双目协同激光的3D扫描方法，其特征在于：基于双目协同激光的3D扫描方法具体过程为：
步骤一、电机控制器(4)控制步进电机(2)移动，步进电机(2)带动激光器(3)旋转，激光器(3)将激光发射至扫描物体；
步骤二、对当前的双目相机(1)进行标定，标定后获取双目相机(1)中左右相机各自的内参矩阵、畸变矩阵，及双目校准矩阵、相对位置矩阵；
步骤三、调节双目相机(1)的光圈大小、曝光时间，使左右相机图像达到仅能看到激光线；
步骤四、使用步骤二中得到的校准矩阵对步骤三中仅能看到激光线的左右相机图像进行校准，对校准后的图像进行裁剪，即在左右相机获取的扫描物体图像中截取相同位置、相同尺寸的矩形有效图像，得到左右相机裁剪图像；
步骤五、将左右相机裁剪图像经灰度转换变为灰度图像，分别计算左右相机对应的灰度图像中每一行像素点值，每一行像素点值最大点的位置即为每一行亮度最高的位置的均值，根据均值得到左右相机各自激光线在图像中的平均位置，以平均位置为中心，在左、右相机图像各裁剪指定宽度的图像，得到左右相机裁剪图像的激光线的中心点位置；
步骤六、对步骤五获取的左右相机裁剪图像的激光线的中心点位置的行号进行一一对应，即左相机裁剪图像中第一行像素的X轴位置与右相机裁剪图像中第一行像素的X轴位置对应，左相机裁剪图像中第二行的X轴位置与右相机裁剪图像中第二行的X轴位置对应，直至左相机裁剪图像中第N行的X轴位置与右相机裁剪图像中第N行的X轴位置对应，使用对应点位置差、对应点行号、标定的左右相机各自的内参矩阵，计算每对对应点相对左相机坐标系的三维坐标；
N为左右相机裁剪图像的总行数，取值为正整数；
对应点位置差为右相机X轴位置值减左相机X轴位置值；
原点为左相机光心，Y轴方向为双目相机图像视域向上方向，X轴为双目相机图像视域向右方向，Z轴垂直于XY平面；
步骤七、创建3D坐标点容器，将步骤六中计算得到的每对对应点相对左相机坐标系的三维坐标都放入3D坐标点容器中；
步骤八、重复执行步骤四～步骤六，将得到的每对对应点相对左相机坐标系的三维坐标都放入步骤七创建的容器中；直至将扫描物体全部扫描完，得到完整点云；
所述步骤二中内参矩阵是一个记录双目相机内参的3*3的矩阵，矩阵中包括双目相机(1)X轴、Y轴方向上的焦距，光心在双目相机拍摄的图像中的位置；
畸变矩阵是一个记录双目相机畸变的1*5的矩阵，记录了双目相机径向畸变、切向畸变参数；
相对位置矩阵为右相机坐标系相对于左相机坐标系的空间位置变换矩阵；
所述步骤五中将左右相机裁剪图像经灰度转换变为灰度图像，分别计算左右相机对应的灰度图像中每一行像素点值，每一行像素点值最大点的位置即为每一行亮度最高的位置的均值，根据均值得到左右相机各自激光线在图像中的平均位置，以平均位置为中心，在左、右相机图像各裁剪指定宽度的图像，得到左右相机裁剪图像的激光线的中心点位置；具体过程为：
1)、将左右相机裁剪图像经灰度转换变为灰度图像；
2)、计算左右相机各自对应的灰度图像中第一行像素点值，像素点值最大点的位置即为第一行亮度最高的位置的均值，即为第一行激光线的位置；
若存在M个最大点则计算M个最大点位置的最大跨度，最大跨度即第M个最大点X轴位置与第一个最大点X轴位置的差；
若最大跨度小于限值，像素点值最大点的位置为(第M个最大点X轴位置+第一个最大点X轴位置)/2，即为第一行激光线的位置；
若最大跨度大于等于限值，将最大跨度位置舍弃，设置为0，即为第一行激光线的位置；
M取值为正整数；
限值取值为8～10；
3)、若左右相机各自对应的灰度图像行数为N，对左右相机对应的灰度图像中每一行重复执行2)，计算得到N个激光线的位置，将这个N个激光线的位置组合成一个一维矩阵P，则P＝{P0,P1,P2...Pn},Pn表示第N行激光线的位置；
对一维矩阵P进行中值滤波，过滤掉0值，然后对剩余的位置取均值，得到左、右相机各自激光线在图像中的平均位置Pf；
4)、以左、右相机各自激光线在图像中的平均位置Pf为中心，在左、右相机图像各裁剪指定宽度的图像，若Pf距图像最左边距离小于指定宽度，裁剪起始位置右移，则当前裁剪起始位置为0，得到裁剪图像；
若Pf距图像最右边距离小于指定宽度，裁剪位置左移，则当前裁剪起始位置为源图像宽度-裁剪宽度，得到裁剪图像；
若Pf位于图像中间，则当前裁剪起始位置为Pf-裁剪指定宽度/2，得到裁剪图像；
记录左图像裁剪的起始位置Cl；右图像裁剪的起始位置Cr；
5)、对4)得到的裁剪图像使用灰度中心法计算得到左右相机裁剪图像的激光线位置；
将得到的左相机裁剪图像的激光线位置加上对应裁剪起始位置Cl，得到左相机裁剪图像的激光线的中心点位置；
将得到的右相机裁剪图像的激光线位置加上对应裁剪起始位置Cr，得到右相机裁剪图像的激光线的中心点位置；
若左右相机裁剪图像的激光线的中心点位置中存在一个或二个点的X轴坐标值为0，则此激光线的中心点抛弃。
2.根据权利要求1所述基于双目协同激光的3D扫描方法，其特征在于：所述步骤五中指定宽度设置为左右相机裁剪图像大小的十分之一。
3.根据权利要求2所述基于双目协同激光的3D扫描方法，其特征在于：步骤五中所述激光线的中心点位置为相对于源图像的位置；
源图像为步骤四中未裁剪的左右相机图像。
CN201710681112.1A 2017-08-10 2017-08-10 基于双目协同激光的3d扫描装置及扫描方法 Active CN107505324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710681112.1A CN107505324B (zh) 2017-08-10 2017-08-10 基于双目协同激光的3d扫描装置及扫描方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710681112.1A CN107505324B (zh) 2017-08-10 2017-08-10 基于双目协同激光的3d扫描装置及扫描方法

Publications (2)

Publication Number Publication Date
CN107505324A CN107505324A (zh) 2017-12-22
CN107505324B true CN107505324B (zh) 2020-06-16

Family

ID=60690689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710681112.1A Active CN107505324B (zh) 2017-08-10 2017-08-10 基于双目协同激光的3d扫描装置及扫描方法

Country Status (1)

Country Link
CN (1) CN107505324B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108534708B (zh) * 2018-03-30 2020-04-24 深圳积木易搭科技技术有限公司 一种双目三维扫描仪组件及扫描方法
CN109590231A (zh) * 2018-12-19 2019-04-09 上海易持自动***有限公司 一种非规则形状物料图像测量检控装置及方法
CN111452036B (zh) * 2019-03-19 2023-08-04 北京伟景智能科技有限公司 一种基于线激光双目立体视觉的工件抓取方法
CN111738971B (zh) * 2019-03-19 2024-02-27 北京伟景智能科技有限公司 一种基于线激光双目立体视觉的电路板立体扫描检测方法
US10565737B1 (en) 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system
CN112304951A (zh) * 2019-08-01 2021-02-02 唐山英莱科技有限公司 一种双目单线光路对高反光焊缝的视觉检测装置及方法
CN110631543B (zh) * 2019-09-17 2024-06-14 中国地质大学（武汉） 置于地表浅层的圆弧滑动面滑坡深部变形监测装置与方法
CN110595391B (zh) * 2019-09-26 2024-06-18 桂林电子科技大学 一种十字线结构光双目视觉扫描装置
CN111479053B (zh) * 2020-03-25 2021-07-16 清华大学 扫描光场多色显微成像的软件控制***及方法
CN112285125A (zh) * 2020-11-11 2021-01-29 安徽锦希自动化科技有限公司 一种用于采集太阳能面板上积灰程度的检测装置
CN112770046B (zh) * 2020-12-21 2022-04-01 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN113048908B (zh) * 2021-03-08 2022-04-26 中国海洋大学 一种基于激光扫描的海底地貌探测图像生成***
CN114111574B (zh) * 2021-11-23 2024-01-09 西安理工大学 高温红热目标双目线激光视觉三维测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294443A (ja) * 1994-04-25 1995-11-10 Central Japan Railway Co 道床肩部のバラスト状態検査装置
WO1999001988A1 (en) * 1997-07-02 1999-01-14 Ericsson, Inc. Three-dimensional imaging and display system
CN102012217A (zh) * 2010-10-19 2011-04-13 南京大学 一种基于双目视觉的大形貌物体三维几何外形测量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103940369A (zh) * 2014-04-09 2014-07-23 大连理工大学 多激光协同扫描形貌快速视觉测量方法
CN104390584B (zh) * 2014-05-22 2018-04-06 北京中天荣泰科技发展有限公司 双目视觉激光标定测量装置及测量方法
CN105157602A (zh) * 2015-07-13 2015-12-16 西北农林科技大学 基于机器视觉的远程三维扫描***及方法
CN105300316B (zh) * 2015-09-22 2017-10-13 大连理工大学 基于灰度重心法的光条中心快速提取方法
CN105698699B (zh) * 2016-01-26 2017-12-19 大连理工大学 一种基于时间转轴约束的双目视觉测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294443A (ja) * 1994-04-25 1995-11-10 Central Japan Railway Co 道床肩部のバラスト状態検査装置
WO1999001988A1 (en) * 1997-07-02 1999-01-14 Ericsson, Inc. Three-dimensional imaging and display system
CN102012217A (zh) * 2010-10-19 2011-04-13 南京大学 一种基于双目视觉的大形貌物体三维几何外形测量方法

Also Published As

Publication number Publication date
CN107505324A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107505324B (zh) 基于双目协同激光的3d扫描装置及扫描方法
US8743349B2 (en) Apparatus and method to correct image
US10237532B2 (en) Scan colorization with an uncalibrated camera
CN109405765A (zh) 一种基于散斑结构光的高精度深度计算方法及***
US20150279016A1 (en) Image processing method and apparatus for calibrating depth of depth sensor
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及***
CN107869954B (zh) 一种双目视觉体积重量测量***及其实现方法
JP2003130621A (ja) ３次元形状計測方法およびその装置
CN105306922B (zh) 一种深度相机参考图的获取方法和装置
CN207766424U (zh) 一种拍摄装置及成像设备
CN113034612B (zh) 一种标定装置、方法及深度相机
CN111637834B (zh) 一种三维数据测量装置及方法
CN110868582B (zh) 具有校正功能的图像获取***
CN108332660B (zh) 机器人三维扫描***和扫描方法
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN108340405B (zh) 一种机器人三维扫描***及方法
CN107564051B (zh) 一种深度信息采集方法及***
CN113298886A (zh) 一种投影仪的标定方法
KR20240023209A (ko) 컴퓨터로 생성된 가상 기준 물체를 구비한 머신 비전 시스템
JP2007508557A (ja) 三次元物体を走査するための装置
KR102160340B1 (ko) 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치
CN114782632A (zh) 一种图像重建方法、装置及设备
JP2007315777A (ja) 三次元形状計測システム
KR102080506B1 (ko) 광학 3d 스캐너
Huang et al. Line laser based researches on a three-dimensional measuring system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Jie

Inventor before: Wang Xing

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20180321

Address after: 150000 Nantong street, Nangang District, Harbin, Heilongjiang Province, No. 145-11

Applicant after: Li Jie

Address before: 150000 Harbin City, Heilongjiang 150000

Applicant before: Wang Xing

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant