CN110231023B - 一种智能视觉采样方法、***及装置 - Google Patents
一种智能视觉采样方法、***及装置 Download PDFInfo
- Publication number
- CN110231023B CN110231023B CN201910353497.8A CN201910353497A CN110231023B CN 110231023 B CN110231023 B CN 110231023B CN 201910353497 A CN201910353497 A CN 201910353497A CN 110231023 B CN110231023 B CN 110231023B
- Authority
- CN
- China
- Prior art keywords
- sampling
- camera
- laser
- pixel coordinate
- shot image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 232
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 56
- 238000010276 construction Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000009435 building construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000001993 wax Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/02—Means for marking measuring points
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及测量领域,尤其涉及一种智能视觉采样方法、***及装置。通过摄像头初始位置建立参考坐标系,摄像头位于采样位置拍摄得到拍摄图像,在拍摄图像中选择采样点,根据采样点位于摄像头初始位置时激光光斑的位置对应的偏离角和距离作为参考坐标系下的坐标值,完成所有采样点的信息采样工作,最终输出包含所有采样点信息的空间三维模型,通过该空间三维模型,能够快速获取勘察数据,实现精确、高效的工程验收工作。
Description
技术领域
本发明涉及测量领域,尤其涉及一种智能视觉采样方法、***及装置。
背景技术
工程建设按照施工设计图纸进行,施工验收根据施工图纸进行工程勘察,防止施工单位偷工减料。工程勘察通常使用全站仪,依靠人工操作,控制水平与垂直制动螺旋,进行角度调整,在调整过程中通过目镜观察,直至十字丝对准目标点,完成单个目标点的采样。操作全程需要人工参与,全站仪属于精密仪器,螺旋的调整过程需要集中精力,当需要连续完成多个目标点的采样时,整个采样过程费时、费力,人工难以精确、高效地完成。
发明内容
本发明所要解决的技术问题是:提供一种利用摄像机代替人眼对目标进行识别、跟踪和测量的智能视觉采样方法、***及装置,能够自动化精确、高效地完成采样。
为了解决上述技术问题,本发明采用的第一技术方案为:
一种智能视觉采样方法,包括以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
S2、摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
本发明采用的第二技术方案为:
一种智能视觉采样***,包括一个或多个处理器及存储器,所述存储器存储有程序,该程序被处理器执行时实现以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
S2、摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
本发明采用的第三技术方案为:
一种智能视觉采样装置,包括摄像头、激光测距仪、云台、角度编码器以及处理器;所述激光测距仪设置在摄像头上且激光测距仪的激光的光斑位于摄像头的拍摄画面内;所述摄像头和角度编码器分别安装在云台上且能够随云台全角度转动,所述摄像头、激光测距仪和角度编码器分别与处理器电连接。
本发明的有益效果在于:
本发明提供的一种智能视觉采样方法、***及装置,通过摄像头初始位置建立参考坐标系,摄像头位于采样位置拍摄得到拍摄图像,在拍摄图像中选择采样点,根据采样点位于摄像头初始位置时激光光斑的位置对应的偏离角和距离作为参考坐标系下的坐标值,完成所有采样点的信息采样工作,最终输出包含所有采样点信息的空间三维模型,通过该空间三维模型,能够快速获取勘察数据,实现精确、高效的工程验收工作。
附图说明
图1为本发明的智能视觉采样方法的步骤流程图;
图2为本发明的智能视觉采样***的结构示意图;
图3为本发明的拍摄图像上的坐标系示意图;
标号说明:
1、处理器;2、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
请参照图1,本发明提供的一种智能视觉采样方法,包括以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
S2、摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
从上述描述可知,本发明的有益效果在于:
本发明提供的一种智能视觉采样方法,通过摄像头初始位置建立参考坐标系,摄像头位于采样位置拍摄得到拍摄图像,在拍摄图像中选择采样点,根据采样点位于摄像头初始位置时激光光斑的位置对应的偏离角和距离作为参考坐标系下的坐标值,完成所有采样点的信息采样工作,最终输出包含所有采样点信息的空间三维模型,通过该空间三维模型,能够快速获取勘察数据,实现精确、高效的工程验收工作。
进一步的,步骤S2具体为:
将摄像头上的激光的光斑投射在多个结构相同且分别与激光的发射源之间距离不同的靶标上,得到位于不同距离的靶标上对应的像素坐标数据;
根据位于不同距离的靶标上对应的像素坐标数据拟合出激光的光斑在不同距离下的图像运动轨迹模型;
摄像头位于采样位置拍摄得到拍摄图像,将激光测量到光斑的距离代入所述图像运动轨迹模型,计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值。
由上述描述可知,通过上述方法,能够通过激光的测距数据(即为激光测量到光斑的距离)转化成在拍摄图像上像素坐标值,便于后续获取勘察数据。
进一步的,步骤S3具体为:
接收到采样信息,根据所述采样信息提取预设图像数据库中对应的采样物图像;
在所述拍摄图像中识别出所述采样物图像,得到对应的第二像素坐标值。
由上述描述可知,通过上述方法,能够实现自动识别,提升测量效率。
参阅图2,本发明提供的一种智能视觉采样***,包括一个或多个处理器1及存储器2,所述存储器2存储有程序,该程序被处理器1执行时实现以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
S2、摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
从上述描述可知,本发明的有益效果在于:
本发明提供的一种智能视觉采样***,通过摄像头初始位置建立参考坐标系,摄像头位于采样位置拍摄得到拍摄图像,在拍摄图像中选择采样点,根据采样点位于摄像头初始位置时激光光斑的位置对应的偏离角和距离作为参考坐标系下的坐标值,完成所有采样点的信息采样工作,最终输出包含所有采样点信息的空间三维模型,通过该空间三维模型,能够快速获取勘察数据,实现精确、高效的工程验收工作。
进一步的,该程序被处理器执行时进一步实现以下步骤:
将摄像头上的激光的光斑投射在多个结构相同且分别与激光的发射源之间距离不同的靶标上,得到位于不同距离的靶标上对应的像素坐标数据;
根据位于不同距离的靶标上对应的像素坐标数据拟合出激光的光斑在不同距离下的图像运动轨迹模型;
摄像头位于采样位置拍摄得到拍摄图像,将激光测量到光斑的距离代入所述图像运动轨迹模型,计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值。
由上述描述可知,能够通过激光的测距数据(即为激光测量到光斑的距离)转化成在拍摄图像上像素坐标值,便于后续获取勘察数据。
进一步的,该程序被处理器执行时进一步实现以下步骤:
接收到采样信息,根据所述采样信息提取预设图像数据库中对应的采样物图像;
在所述拍摄图像中识别出所述采样物图像,得到对应的第二像素坐标值。
由上述描述可知,能够实现自动识别,提升测量效率。
本发明还提供一种智能视觉采样装置,包括摄像头、激光测距仪、云台、角度编码器以及处理器;所述激光测距仪设置在摄像头上且激光测距仪的激光的光斑位于摄像头的拍摄画面内;所述摄像头和角度编码器分别安装在云台上且能够随云台全角度转动,所述摄像头、激光测距仪和角度编码器分别与处理器电连接。
从上述描述可知,本发明的有益效果在于:
本发明提供的一种智能视觉采样装置,通过摄像头初始位置建立参考坐标系,摄像头位于采样位置拍摄得到拍摄图像,在拍摄图像中选择采样点,根据采样点位于摄像头初始位置时激光光斑的位置对应的偏离角和距离作为参考坐标系下的坐标值,完成所有采样点的信息采样工作,最终输出包含所有采样点信息的空间三维模型,通过该空间三维模型,能够快速获取勘察数据,实现精确、高效的工程验收工作。
进一步的,还包括存储器,所述存储器与处理器电连接。
请参照图1和图3,本发明的实施例一为:
本发明提供的一种智能视觉采样方法,包括以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
在本实施例中,所述云台处于设定的水平和垂直零方位时,作为所述摄像头的初始位置,所述摄像头的初始位置(即为云台处于初始位置)时,以激光的光束为Zw轴,建立空间参考坐标系XwYwZw。
S2、转动摄像头,使摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
需要说明的是,摄像头的初始位置(即为云台的水平与垂直角为零方位时),是一个固定的位置,此位置下建立参考坐标系。而摄像头的采样位置,是指摄像头转到任意想对目标进行采样的位置,如转到建筑左上角采样位置拍摄图像,得到左上角图像中目标采样点在摄像头初始位置参考坐标系下的坐标;再转到右上角采样位置拍摄图像,得到右上角图像中目标采样点在摄像头初始位置参考坐标系下的坐标。就可以把任意采样位置的图像目标采样点都统一到摄像头初始位置所建立的同一参考坐标系下。
例如,在摄像头的初始位置设定后,将摄像头转向A位置,作为摄像头采样位置拍摄图像,经过一系列步骤,得到该A图像中目标采样点在摄像头初始位置下的三维坐标;再将摄像头转向B位置,作为摄像头采样位置拍摄图像,经过一系列步骤,得到该B图像中目标采样点在摄像头初始位置下的三维坐标;这样A、B图像间的目标采样点就关联了起来。
其中,上述步骤S2具体为:
将摄像头上的激光的光斑投射在多个结构相同且分别与激光的发射源之间距离不同的靶标上,得到位于不同距离的靶标上对应的像素坐标数据;
根据位于不同距离的靶标上对应的像素坐标数据拟合出激光的光斑在不同距离下的图像运动轨迹模型;
摄像头位于采样位置拍摄得到拍摄图像,将激光测量到光斑的距离代入所述图像运动轨迹模型,计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值。
在本实施例中,激光测距仪得到光斑距离,由所述光斑距离计算光斑的像素坐标,遍历所述采样点的像素坐标列表,计算所述光斑像素坐标与所述采样点像素坐标的水平与竖直像素坐标的差值列表;通过所述摄像头的视场角转化所述像素坐标差列表为所述角度差列表;转动云台使所述光斑的像素坐标与所述采样点像素坐标重合,由所述激光测距仪得到所述采样点的距离,由角度编码器得到所述采样点的偏离角,由所述距离与所述偏离角得到采样点信息列表;
其中所述光斑的像素坐标的计算方法为:首先,在实验室通过把所述激光测距仪的光斑打在不同距离的靶标上,所述靶标由反光度好、底色辨识度高的材料制作而成,结合RGB及圆心特征识别提取技术,得到不同距离下光斑在所述摄像头成像中的像素坐标数据,并由这些像素坐标数据拟合出光斑在不同距离下的图像运动轨迹模型;把所述光斑距离代入所述运动轨迹模型,就能够计算出所述光斑在所述拍摄图像下的光斑像素坐标;
所述摄像头的视场角,包括水平视场角和垂直视场角,所述水平视场角是指所述摄像头能看到的空间水平角度范围,所述垂直视场角是指所述摄像头能看到的空间垂直角度范围;
所述角度差,包括水平角度差和垂直角度差,所述水平角度差=水平像素坐标差/图像的列数*水平视场角,所述垂直角度差=水平像素坐标差/图像的列数*水平视场角;
所述偏离角,包括水平偏离角和垂直偏离角,当所述云台处于所述采样位置时,由所述角度编码器得到所述采样位置基于所述云台初始位置的所述水平偏离角和所述垂直偏离角。
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;或者从采样库中选择采样点。
其中,上述步骤S3具体为:
接收到采样信息,根据所述采样信息提取预设图像数据库中对应的采样物图像;在所述拍摄图像中识别出所述采样物图像,得到对应的第二像素坐标值。
在本实施例中,如图3,以拍摄图像左上角为原点,以像素为单位的坐标系u-v,像素的横坐标u与纵坐标v分别是拍摄图像的列数与行数;
所述采样库是包含很多不同采样目标的集合;所述采样目标是在工程验收中需要进行验收的工程项目样图与名称,如房屋建筑施工中的预制桩、柱箍等工程项目;当所述采样目标被选择后,会在所述图像中自动定位所述采样目标的所述采样点,无需人工选择所述采样点;
在所述拍摄图像中自动定位所述采样目标的所述采样点,是指,事先由各个工程中的所述摄像头拍摄含有需要工程验收的预制桩、柱箍等工程项目图像,构成大量数据样本图像;由人工对所述数据样本图像进行标注,所述标注是指在所述数据样本图像上把预制桩、柱箍等所述工程项目区域框出,得到所述项目区域在所述数据样本图像上的坐标,并对所述项目区域按照所述工程项目进行命名,得到{数据样本图像,坐标|命名}的注解标签,根据所述数据样本图像的规模及所述工程项目的种类数,搭建带分割掩膜的区域卷积神经网络人工智能深度学习模型,把所述注解标签注入所述模型进行训练,通过不断地调整所述模型的超参数并观察拟合与预测误差,直到预测误差下降到合理阈值以下,停止训练,得到优秀参数模型;当所述采样库中的所述采样目标被选择后,把所述图像所述优秀参数模型,得到所述采样目标在所述图像中的区域坐标,自动得到所述采样点。
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
其中,Dn是所述采样点距离,α是所述采样点垂直偏离角,β是所述采样点水平偏离角,R(Xw,α)为绕Xw轴旋转α度的变换矩阵形式表示,R(Yw,β)为绕Yw轴旋转β度的变换矩阵形式表示。
由上述采样点坐标列表,建立所有所述采样点的空间三维模型;
p=(a+b+c)/2;
通过上述方式,能够快速获取勘察数据,实现精确、高效的工程验收工作。
请参照图2,本发明的实施例二为:
本发明提供的一种智能视觉采样***,包括一个或多个处理器1及存储器2,所述存储器2存储有程序,该程序被处理器1执行时实现以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
S2、摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
进一步的,该程序被处理器执行时进一步实现以下步骤:
将摄像头上的激光的光斑投射在多个结构相同且分别与激光的发射源之间距离不同的靶标上,得到位于不同距离的靶标上对应的像素坐标数据;
根据位于不同距离的靶标上对应的像素坐标数据拟合出激光的光斑在不同距离下的图像运动轨迹模型;
摄像头位于采样位置拍摄得到拍摄图像,将激光测量到光斑的距离代入所述图像运动轨迹模型,计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值。
进一步的,该程序被处理器执行时进一步实现以下步骤:
接收到采样信息,根据所述采样信息提取预设图像数据库中对应的采样物图像;
在所述拍摄图像中识别出所述采样物图像,得到对应的第二像素坐标值。
本发明的实施例三为:
本发明提供一种智能视觉采样装置,包括摄像头、激光测距仪、云台、角度编码器以及处理器;所述激光测距仪设置在摄像头上且激光测距仪的激光的光斑位于摄像头的拍摄画面内;所述摄像头和角度编码器分别安装在云台上且能够随云台全角度转动,所述摄像头、激光测距仪和角度编码器分别与处理器电连接。
所述处理器被配置为记录摄像头的初始位置,并建立参考坐标系;控制摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;根据第一像素坐标值与第二像素坐标值之间的差值,通过云台转动,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,多次选择其他采样点,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
进一步的,还包括存储器,所述存储器与处理器电连接。所述存储器用于存储图像数据库,图像数据库(采样库)包含很多不同采样目标的集合;所述采样目标是在工程验收中需要进行验收的工程项目样图与名称,如房屋建筑施工中的预制桩、柱箍等工程项目;当所述采样目标被选择后,会在所述图像中自动定位所述采样目标的所述采样点,无需人工选择所述采样点;在所述拍摄图像中自动定位所述采样目标的所述采样点,是指,事先由各个工程中的所述摄像头拍摄含有需要工程验收的预制桩、柱箍等工程项目图像,构成大量数据样本图像;由人工对所述数据样本图像进行标注,所述标注是指在所述数据样本图像上把预制桩、柱箍等所述工程项目区域框出,得到所述项目区域在所述数据样本图像上的坐标,并对所述项目区域按照所述工程项目进行命名,得到{数据样本图像,坐标|命名}的注解标签,根据所述数据样本图像的规模及所述工程项目的种类数,搭建带分割掩膜的区域卷积神经网络人工智能深度学习模型,把所述注解标签注入所述模型进行训练,通过不断地调整所述模型的超参数并观察拟合与预测误差,直到预测误差下降到合理阈值以下,停止训练,得到优秀参数模型;当所述采样库中的所述采样目标被选择后,把所述图像所述优秀参数模型,得到所述采样目标在所述图像中的区域坐标,自动得到所述采样点。
综上所述,本发明提供的一种智能视觉采样方法、***及装置,通过摄像头初始位置建立参考坐标系,摄像头位于采样位置拍摄得到拍摄图像,在拍摄图像中选择采样点,根据采样点位于摄像头初始位置时激光光斑的位置对应的偏离角和距离作为参考坐标系下的坐标值,完成所有采样点的信息采样工作,最终输出包含所有采样点信息的空间三维模型,通过该空间三维模型,能够快速获取勘察数据,实现精确、高效的工程验收工作。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种智能视觉采样方法,其特征在于,包括以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
S2、摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
2.根据权利要求1所述的智能视觉采样方法,其特征在于,步骤S2具体为:
将摄像头上的激光的光斑投射在多个结构相同且分别与激光的发射源之间距离不同的靶标上,得到位于不同距离的靶标上对应的像素坐标数据;
根据位于不同距离的靶标上对应的像素坐标数据拟合出激光的光斑在不同距离下的图像运动轨迹模型;
摄像头位于采样位置拍摄得到拍摄图像,将激光测量到光斑的距离代入所述图像运动轨迹模型,计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值。
3.根据权利要求1所述的智能视觉采样方法,其特征在于,步骤S3具体为:
接收到采样信息,根据所述采样信息提取预设图像数据库中对应的采样物图像;
在所述拍摄图像中识别出所述采样物图像,得到对应的第二像素坐标值。
4.一种智能视觉采样***,其特征在于,包括一个或多个处理器及存储器,所述存储器存储有程序,该程序被处理器执行时实现以下步骤:
S1、记录摄像头的初始位置,并建立参考坐标系;所述摄像头上设有激光的发射源且激光的光斑位于摄像头的拍摄画面内;
S2、摄像头位于采样位置拍摄得到拍摄图像,根据激光测量到光斑的距离计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值;
S3、接收到所述拍摄图像中一采样点,得到所述采样点对应的第二像素坐标值;
S4、根据第一像素坐标值与第二像素坐标值之间的差值,调节摄像头的拍摄角度,使得所述采样点与所述第一像素坐标值对应的光斑重合,获取摄像头的当前位置;
S5、根据摄像头的当前位置和记录的摄像头的初始位置相比较,得到所述采样点对应的偏离角,并获取当前位置激光测量到的所述采样点的距离;
S6、以所述采样点对应的偏离角和距离作为参考坐标系下的坐标值,重复执行步骤S3-S5,直至接收到所述拍摄图像上的所有采样点后,根据所有采样点建立对应的空间三维模型。
5.根据权利要求4所述智能视觉采样***,其特征在于,该程序被处理器执行时进一步实现以下步骤:
将摄像头上的激光的光斑投射在多个结构相同且分别与激光的发射源之间距离不同的靶标上,得到位于不同距离的靶标上对应的像素坐标数据;
根据位于不同距离的靶标上对应的像素坐标数据拟合出激光的光斑在不同距离下的图像运动轨迹模型;
摄像头位于采样位置拍摄得到拍摄图像,将激光测量到光斑的距离代入所述图像运动轨迹模型,计算得到激光的光斑位于所述拍摄图像上的第一像素坐标值。
6.根据权利要求4所述智能视觉采样***,其特征在于,该程序被处理器执行时进一步实现以下步骤:
接收到采样信息,根据所述采样信息提取预设图像数据库中对应的采样物图像;
在所述拍摄图像中识别出所述采样物图像,得到对应的第二像素坐标值。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010080608.5A CN111076712B (zh) | 2019-04-29 | 2019-04-29 | 一种空间三维模型的自动建立方法、***及装置 |
CN201910353497.8A CN110231023B (zh) | 2019-04-29 | 2019-04-29 | 一种智能视觉采样方法、***及装置 |
CN202010080606.6A CN111256669A (zh) | 2019-04-29 | 2019-04-29 | 一种自动化采样装置 |
PCT/CN2019/101688 WO2020220522A1 (zh) | 2019-04-29 | 2019-08-21 | 一种智能视觉采样方法、***及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910353497.8A CN110231023B (zh) | 2019-04-29 | 2019-04-29 | 一种智能视觉采样方法、***及装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010080606.6A Division CN111256669A (zh) | 2019-04-29 | 2019-04-29 | 一种自动化采样装置 |
CN202010080608.5A Division CN111076712B (zh) | 2019-04-29 | 2019-04-29 | 一种空间三维模型的自动建立方法、***及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110231023A CN110231023A (zh) | 2019-09-13 |
CN110231023B true CN110231023B (zh) | 2020-02-21 |
Family
ID=67860934
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010080606.6A Pending CN111256669A (zh) | 2019-04-29 | 2019-04-29 | 一种自动化采样装置 |
CN202010080608.5A Active CN111076712B (zh) | 2019-04-29 | 2019-04-29 | 一种空间三维模型的自动建立方法、***及装置 |
CN201910353497.8A Active CN110231023B (zh) | 2019-04-29 | 2019-04-29 | 一种智能视觉采样方法、***及装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010080606.6A Pending CN111256669A (zh) | 2019-04-29 | 2019-04-29 | 一种自动化采样装置 |
CN202010080608.5A Active CN111076712B (zh) | 2019-04-29 | 2019-04-29 | 一种空间三维模型的自动建立方法、***及装置 |
Country Status (2)
Country | Link |
---|---|
CN (3) | CN111256669A (zh) |
WO (1) | WO2020220522A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111414508B (zh) * | 2020-03-17 | 2022-09-13 | 金钱猫科技股份有限公司 | 一种在设计模型中搜索并实现可视化的方法及终端 |
CN111614903B (zh) * | 2020-05-28 | 2021-08-10 | 西安航空学院 | 一种图像拍摄去光斑的方法 |
CN112288810B (zh) * | 2020-10-29 | 2023-04-07 | 铜陵有色金属集团股份有限公司 | 采样定位方法、装置、***及计算机存储介质 |
CN112866579B (zh) * | 2021-02-08 | 2022-07-01 | 上海巡智科技有限公司 | 数据采集方法、装置及可读存储介质 |
CN113050113B (zh) * | 2021-03-10 | 2023-08-01 | 广州南方卫星导航仪器有限公司 | 一种激光点定位方法和装置 |
CN113552054A (zh) * | 2021-07-16 | 2021-10-26 | 苏州苏试试验集团股份有限公司 | 一种环境试验箱自动定位的控制装置及其控制方法 |
CN113693636B (zh) * | 2021-08-30 | 2023-11-24 | 南方科技大学 | 采样方法、采样***及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005127992A (ja) * | 2003-09-30 | 2005-05-19 | Tokyo Univ Of Agriculture | レーザー距離計による移動***置計測装置及び計測方法 |
JP5019478B2 (ja) * | 2008-09-26 | 2012-09-05 | 独立行政法人日本原子力研究開発機構 | マーカ自動登録方法及びシステム |
CN102445183B (zh) * | 2011-10-09 | 2013-12-18 | 福建汇川数码技术科技有限公司 | 基于激光与摄像机平行实现的远程测距***测距激光点的定位方法 |
CN103047969B (zh) * | 2012-12-07 | 2016-03-16 | 北京百度网讯科技有限公司 | 通过移动终端生成三维图像的方法及移动终端 |
CN203148438U (zh) * | 2013-03-08 | 2013-08-21 | 武汉海达数云技术有限公司 | 一种一体化移动三维测量装置 |
CN103557796B (zh) * | 2013-11-19 | 2016-06-08 | 天津工业大学 | 基于激光测距和计算机视觉的三维定位***及定位方法 |
CN103557821A (zh) * | 2013-11-21 | 2014-02-05 | 福建汇川数码技术科技有限公司 | 在非整平、对中、量高状态下实现三维空间测量方法 |
CN104613948A (zh) * | 2015-02-03 | 2015-05-13 | 北京航空航天大学 | 一种多角度可调激光打点装置 |
AU2015101099A6 (en) * | 2015-08-10 | 2016-03-10 | Wisetech Global Limited | Volumetric estimation methods, devices, & systems |
CN105486289B (zh) * | 2016-01-31 | 2018-03-23 | 山东科技大学 | 一种激光摄影测量***及相机标定方法 |
CN106152971B (zh) * | 2016-07-28 | 2018-07-17 | 南京航空航天大学 | 机器视觉辅助下的激光三维扫描标示方法 |
CN106073895B (zh) * | 2016-08-12 | 2019-01-04 | 杭州三坛医疗科技有限公司 | 无创式实时手术定位3d导航设备 |
CN106249427B (zh) * | 2016-08-31 | 2018-11-20 | 河北汉光重工有限责任公司 | 一种基于激光成像的光轴调整方法 |
CN108827260B (zh) * | 2017-05-18 | 2019-05-28 | 金钱猫科技股份有限公司 | 通过画面定位的基于坐标变换的测量方法、***及装置 |
CN108844457B (zh) * | 2017-05-18 | 2019-05-28 | 金钱猫科技股份有限公司 | 一种精确图像测量方法及*** |
CN108050928B (zh) * | 2017-09-05 | 2024-03-12 | 东莞中子科学中心 | 一种视觉测量仪以及一种视觉测量方法 |
CN107909029A (zh) * | 2017-11-14 | 2018-04-13 | 福州瑞芯微电子股份有限公司 | 一种真实场景虚拟化采集方法和电路 |
CN109307477B (zh) * | 2018-12-04 | 2020-10-13 | 福建汇川物联网技术科技股份有限公司 | 位移测量***及方法 |
-
2019
- 2019-04-29 CN CN202010080606.6A patent/CN111256669A/zh active Pending
- 2019-04-29 CN CN202010080608.5A patent/CN111076712B/zh active Active
- 2019-04-29 CN CN201910353497.8A patent/CN110231023B/zh active Active
- 2019-08-21 WO PCT/CN2019/101688 patent/WO2020220522A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN111256669A (zh) | 2020-06-09 |
WO2020220522A1 (zh) | 2020-11-05 |
CN111076712B (zh) | 2021-08-31 |
CN110231023A (zh) | 2019-09-13 |
CN111076712A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110231023B (zh) | 一种智能视觉采样方法、***及装置 | |
US9965870B2 (en) | Camera calibration method using a calibration target | |
Biskup et al. | A stereo imaging system for measuring structural parameters of plant canopies | |
Herráez et al. | 3D modeling by means of videogrammetry and laser scanners for reverse engineering | |
CN105069743B (zh) | 探测器拼接实时图像配准的方法 | |
CN102834691B (zh) | 测绘方法 | |
US20140132729A1 (en) | Method and apparatus for camera-based 3d flaw tracking system | |
CN105627948A (zh) | 一种大型复杂曲面测量***及其应用 | |
Moussa | Integration of digital photogrammetry and terrestrial laser scanning for cultural heritage data recording | |
CN109900274B (zh) | 一种图像匹配方法及*** | |
CN112818990B (zh) | 目标检测框的生成方法、图像数据自动标注方法及*** | |
CN114838668B (zh) | 一种隧道位移监测方法及*** | |
Borrmann et al. | Robotic mapping of cultural heritage sites | |
CN111611989A (zh) | 一种基于自主机器人的多目标精准定位识别方法 | |
CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
CN112529948A (zh) | 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 | |
CN108596117B (zh) | 一种基于二维激光测距仪阵列的场景监控方法 | |
CN112257537B (zh) | 一种智能多点三维信息采集设备 | |
CN114820924A (zh) | 一种基于bim和视频监控的博物馆参观分析的方法及*** | |
Barrile et al. | 3D modeling with photogrammetry by UAVs and model quality verification | |
CN205352322U (zh) | 一种大型复杂曲面测量*** | |
WO2022078439A1 (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
CN114923665A (zh) | 波浪三维高度场的图像重构方法及图像重构试验*** | |
CN112381190B (zh) | 一种基于手机图像识别的索力测试方法 | |
Wagner¹ et al. | Monitoring concepts using image assisted total stations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |