CN113920197A - 一种激光雷达辅助摄像机自动调焦聚焦的方法 - Google Patents

一种激光雷达辅助摄像机自动调焦聚焦的方法 Download PDF

Info

Publication number
CN113920197A
CN113920197A CN202111207244.3A CN202111207244A CN113920197A CN 113920197 A CN113920197 A CN 113920197A CN 202111207244 A CN202111207244 A CN 202111207244A CN 113920197 A CN113920197 A CN 113920197A
Authority
CN
China
Prior art keywords
camera
image
target
laser radar
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111207244.3A
Other languages
English (en)
Inventor
高发钦
高明
马辰
王建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202111207244.3A priority Critical patent/CN113920197A/zh
Publication of CN113920197A publication Critical patent/CN113920197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种激光雷达辅助摄像机自动调焦聚焦的方法，首先标定出摄像机的内参数，激光雷达和摄像机的外参数；然后采集初始图像，使用图像识别的方法找到图像中目标的初始区域，计算出云台转动角度，使得摄像机光轴对准目标；在云台转动过程中，根据激光雷达和摄像机联合标定的参数，在激光雷达点云中找到目标区域，确定目标的三维坐标，根据摄像机光学成像模型，计算出焦距值和聚焦值；等到云台转动完成，让摄像机执行计算出来的焦距值和聚焦值，采集图像。此时得到的图像，目标在图像中居中，成像大小合适且成像清晰。计算结果准确，减少人工参与，智能便捷，对图像采集具有很强的实用价值。

Description

一种激光雷达辅助摄像机自动调焦聚焦的方法
技术领域
本发明涉及图像调焦聚焦领域，具体涉及一种激光雷达辅助摄像机自动调焦聚焦的方法。
背景技术
智能巡检机器人在执行巡检任务时，往往使用可以转动的云台搭载摄像机采集现场图像，使用深度学习等图像识别算法进行人脸识别、车辆识别、火情识别等监控任务。图像识别准确的前提是采集到目标清晰的图像，并且目标在图像中有合适的位置和尺寸。根据摄像机的成像模型可知，焦距影响了成像大小；物距、像距(聚焦值)和焦距三者满足透镜成像公式时，就会聚焦清晰。因此需要云台转动合适的角度对准目标，并且调整摄像机合适的聚焦值和像距值，就能采集到合适的图像。现有的监控图像采集方案，有的是人工在后台根据图像采集的情况，不断调整云台转动角度、焦距和聚焦值，但是这样太耗费人力，精度差。有的焦距调整方案是让巡检机器人每次到达指定位置，采用固定的云台转动角度、焦距和聚焦值，但是巡检机器人运动有位置误差，而且这种方式只能在指定位置采集图像，不够灵活。有的聚焦方法使用自动聚焦，采用图像清晰度评价函数估计图像的清晰度，然后调整聚焦值使图像的清晰度达到最大值，但是这种方式的最终结果是整个图像看起来最清晰，目标区域可能模糊。
发明内容
本发明为了克服以上技术的不足，提供了一种目标在图像中居中，成像大小合适且成像清晰的激光雷达辅助摄像机自动调焦聚焦的方法。
本发明克服其技术问题所采用的技术方案是：
一种激光雷达辅助摄像机自动调焦聚焦的方法，其特征在于，包括：
a)在室外巡检机器人上，安装激光雷达和带有摄像机的云台；
b)对摄像机进行标定，得到内参数矩阵
Figure BDA0003307340170000011
其中
Figure BDA0003307340170000012
表示摄像机在平面坐标系中x方向上以像素为单位的焦距长度，
Figure BDA0003307340170000021
表示摄像机在平面坐标系中y方向上以像素为单位的焦距长度，f为摄像机焦距，dx为摄像机CCD传感器中每个成像单元的长度，dy为摄像机CCD传感器中每个成像单元的宽度，u0为光心在图像上的像素横坐标，v0为光心在图像上的像素纵坐标；
c)对激光雷达和摄像机进行联合标定，得到两者之间的外参数；
d)采集初始图像，使用深度学习的图像识别方法在图像中找到目标所在区域；
e)计算云台转动角度，使摄像机光轴对准目标，使目标所在区域在图像中居中；
f)激光雷达测量目标距离，调整焦距，使目标所在区域在图像中达到设定尺寸；
g)调整聚焦值，使目标在图像中清晰；
h)根据步骤f)中计算得到的焦距值和步骤g)中的聚焦值进行采集图像。
进一步的，步骤b)找那个通过张正友标定法对摄像机进行标定。
进一步的，步骤e)中通过公式
Figure BDA0003307340170000022
计算得到云台水平方向转动角度
Figure BDA0003307340170000023
通过公式
Figure BDA0003307340170000024
计算得到云台垂直方向转动角度
Figure BDA0003307340170000025
式中u为目标所在区域中心点在图像中的横坐标，v为目标所在区域中心点在图像中的纵坐标。
进一步的，步骤f)通过设定目标所在区域尺寸除以当前目标所在区域尺寸计算得到目标区域扩大的倍数，即为聚焦变化的倍数，其中设定目标所在区域尺寸为图像尺寸的4/5。
进一步的，步骤g)中通过公式
Figure BDA0003307340170000026
计算得到聚焦值m，式中n为激光雷达已经获取目标到摄像机的距离。
本发明的有益效果是：首先标定出摄像机的内参数，激光雷达和摄像机的外参数；然后采集初始图像，使用图像识别的方法找到图像中目标的初始区域，计算出云台转动角度，使得摄像机光轴对准目标；在云台转动过程中，根据激光雷达和摄像机联合标定的参数，在激光雷达点云中找到目标区域，确定目标的三维坐标，根据摄像机光学成像模型，计算出焦距值和聚焦值；等到云台转动完成，让摄像机执行计算出来的焦距值和聚焦值，采集图像。此时得到的图像，目标在图像中居中，成像大小合适且成像清晰。计算结果准确，减少人工参与，智能便捷，对图像采集具有很强的实用价值。
附图说明
图1为本发明的方法流程图
图2为本发明的智能巡检机器人的结构图。
具体实施方式
下面结合附图1、附图2对本发明做进一步说明。
一种激光雷达辅助摄像机自动调焦聚焦的方法，其特征在于，包括：
a)在室外巡检机器人上，安装激光雷达和带有摄像机的云台。
b)对摄像机进行标定，得到内参数矩阵
Figure BDA0003307340170000031
其中
Figure BDA0003307340170000032
表示摄像机在平面坐标系中x方向上以像素为单位的焦距长度，
Figure BDA0003307340170000033
表示摄像机在平面坐标系中y方向上以像素为单位的焦距长度，f为摄像机焦距，dx为摄像机CCD传感器中每个成像单元的长度，dy为摄像机CCD传感器中每个成像单元的宽度，u0为光心在图像上的像素横坐标，v0为光心在图像上的像素纵坐标。
c)对激光雷达和摄像机进行联合标定，得到两者之间的外参数。
d)采集初始图像，使用深度学习的图像识别方法在图像中找到目标所在区域。此时目标区域在图像中可能不居中，尺寸过小，也可能聚焦不清晰。
e)计算云台转动角度，使摄像机光轴对准目标，使目标所在区域在图像中居中。
f)激光雷达测量目标距离，调整焦距，使目标所在区域在图像中达到设定尺寸。
g)调整聚焦值，使目标在图像中清晰。
h)根据步骤f)中计算得到的焦距值和步骤g)中的聚焦值进行采集图像。此时得到的图像目标居中，尺寸适中且成像清晰。
首先标定出摄像机的内参数，激光雷达和摄像机的外参数；然后采集初始图像，使用图像识别的方法找到图像中目标的初始区域，计算出云台转动角度，使得摄像机光轴对准目标；在云台转动过程中，根据激光雷达和摄像机联合标定的参数，在激光雷达点云中找到目标区域，确定目标的三维坐标，根据摄像机光学成像模型，计算出焦距值和聚焦值；等到云台转动完成，让摄像机执行计算出来的焦距值和聚焦值，采集图像。此时得到的图像，目标在图像中居中，成像大小合适且成像清晰。计算结果准确，减少人工参与，智能便捷，对图像采集具有很强的实用价值。
进一步的，步骤b)找那个通过张正友标定法对摄像机进行标定。
进一步的，步骤e)中通过公式
Figure BDA0003307340170000041
计算得到云台水平方向转动角度
Figure BDA0003307340170000042
通过公式
Figure BDA0003307340170000043
计算得到云台垂直方向转动角度
Figure BDA0003307340170000045
式中u为目标所在区域中心点在图像中的横坐标，v为目标所在区域中心点在图像中的纵坐标。
进一步的，步骤f)通过设定目标所在区域尺寸除以当前目标所在区域尺寸计算得到目标区域扩大的倍数，即为聚焦变化的倍数，其中设定目标所在区域尺寸为图像尺寸的4/5。读取当前的焦距值，乘以焦距变化的倍数，就是要设定的焦距值f。
进一步的，步骤g)中通过公式
Figure BDA0003307340170000044
计算得到聚焦值m，式中n为激光雷达已经获取目标到摄像机的距离。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种激光雷达辅助摄像机自动调焦聚焦的方法，其特征在于，包括：
a)在室外巡检机器人上，安装激光雷达和带有摄像机的云台；
b)对摄像机进行标定，得到内参数矩阵
Figure FDA0003307340160000011
其中
Figure FDA0003307340160000012
表示摄像机在平面坐标系中x方向上以像素为单位的焦距长度，
Figure FDA0003307340160000013
表示摄像机在平面坐标系中y方向上以像素为单位的焦距长度，f为摄像机焦距，dx为摄像机CCD传感器中每个成像单元的长度，dy为摄像机CCD传感器中每个成像单元的宽度，u0为光心在图像上的像素横坐标，v0为光心在图像上的像素纵坐标；
c)对激光雷达和摄像机进行联合标定，得到两者之间的外参数；
d)采集初始图像，使用深度学习的图像识别方法在图像中找到目标所在区域；
e)计算云台转动角度，使摄像机光轴对准目标，使目标所在区域在图像中居中；
f)激光雷达测量目标距离，调整焦距，使目标所在区域在图像中达到设定尺寸；
g)调整聚焦值，使目标在图像中清晰；
h)根据步骤f)中计算得到的焦距值和步骤g)中的聚焦值进行采集图像。
2.根据权利要求1所述的激光雷达辅助摄像机自动调焦聚焦的方法，其特征在于：步骤b)找那个通过张正友标定法对摄像机进行标定。
3.根据权利要求1所述的激光雷达辅助摄像机自动调焦聚焦的方法，其特征在于：步骤e)中通过公式
Figure FDA0003307340160000014
计算得到云台水平方向转动角度
Figure FDA0003307340160000015
通过公式
Figure FDA0003307340160000016
计算得到云台垂直方向转动角度
Figure FDA0003307340160000017
式中u为目标所在区域中心点在图像中的横坐标，v为目标所在区域中心点在图像中的纵坐标。
4.根据权利要求1所述的激光雷达辅助摄像机自动调焦聚焦的方法，其特征在于：步骤f)通过设定目标所在区域尺寸除以当前目标所在区域尺寸计算得到目标区域扩大的倍数，即为聚焦变化的倍数，其中设定目标所在区域尺寸为图像尺寸的4/5。
5.根据权利要求1所述的激光雷达辅助摄像机自动调焦聚焦的方法，其特征在于：步骤g)中通过公式
Figure FDA0003307340160000021
计算得到聚焦值m，式中n为激光雷达已经获取目标到摄像机的距离。
CN202111207244.3A 2021-10-18 2021-10-18 一种激光雷达辅助摄像机自动调焦聚焦的方法 Pending CN113920197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111207244.3A CN113920197A (zh) 2021-10-18 2021-10-18 一种激光雷达辅助摄像机自动调焦聚焦的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111207244.3A CN113920197A (zh) 2021-10-18 2021-10-18 一种激光雷达辅助摄像机自动调焦聚焦的方法

Publications (1)

Publication Number Publication Date
CN113920197A true CN113920197A (zh) 2022-01-11

Family

ID=79240861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111207244.3A Pending CN113920197A (zh) 2021-10-18 2021-10-18 一种激光雷达辅助摄像机自动调焦聚焦的方法

Country Status (1)

Country Link
CN (1) CN113920197A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的***和方法
CN112396664A (zh) * 2020-11-24 2021-02-23 华南理工大学 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN113205604A (zh) * 2021-05-17 2021-08-03 南昌智能新能源汽车研究院 一种基于摄像机和激光雷达的可行区域检测方法
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的***和方法
CN112396664A (zh) * 2020-11-24 2021-02-23 华南理工大学 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN113205604A (zh) * 2021-05-17 2021-08-03 南昌智能新能源汽车研究院 一种基于摄像机和激光雷达的可行区域检测方法
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及***

Similar Documents

Publication Publication Date Title
EP3389268B1 (en) Depth information acquisition method and apparatus, and image collection device
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
US8098984B2 (en) Focus detecting apparatus and an imaging apparatus
CN105118055A (zh) 摄影机定位修正标定方法及***
CN112949478A (zh) 基于云台相机的目标检测方法
WO2022037633A1 (zh) 双目摄像头的标定及图像矫正方法、装置、存储介质、终端、智能设备
CN106482640A (zh) 一种一体机芯光轴校正的装置和方法
CN111288967A (zh) 一种基于机器视觉的远距离高精度位移检测方法
CN112541953B (zh) 一种基于雷达信号和视频同步坐标映射的车辆检测方法
CN110779491A (zh) 一种水平面上目标测距的方法、装置、设备及存储介质
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
CN109191527B (zh) 一种基于最小化距离偏差的对位方法及装置
CN105953741B (zh) 一种钢结构局部几何变形的测量***和方法
CN110736447B (zh) 一种集成式图像采集设备竖直方向水平位置检校方法
CN108805940B (zh) 一种变倍相机在变倍过程中跟踪定位的方法
CN111595302A (zh) 一种双面阵ccd辅助三线阵ccd位姿光学测量及校准方法
CN110595374B (zh) 基于传递像机的大型结构件实时形变监测方法
CN107784633B (zh) 适用于平面测量的无人机航拍图像校准方法
CN113920197A (zh) 一种激光雷达辅助摄像机自动调焦聚焦的方法
US7999851B2 (en) Optical alignment of cameras with extended depth of field
CN116957943B (zh) 一种基于图像融合的显微镜拼接校准方法
CN113421300B (zh) 确定鱼眼相机图像中物体实际位置的方法及装置
CN114111578B (zh) 一种大口径元件的位姿自动确定方法
CN113805304B (zh) 一种用于线阵相机的自动调焦***及方法
CN113873153B (zh) 一种摄像机拍摄调节方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination