CN114241063A - 一种基于深度霍夫变换的多传感器外参在线标定方法 - Google Patents
一种基于深度霍夫变换的多传感器外参在线标定方法 Download PDFInfo
- Publication number
- CN114241063A CN114241063A CN202210161552.5A CN202210161552A CN114241063A CN 114241063 A CN114241063 A CN 114241063A CN 202210161552 A CN202210161552 A CN 202210161552A CN 114241063 A CN114241063 A CN 114241063A
- Authority
- CN
- China
- Prior art keywords
- camera
- depth
- line
- image
- calibration method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及相机标定技术领域，尤其涉及一种基于深度霍夫变换的多传感器外参在线标定方法，包括如下步骤：首先对相机的内参进行标定；对深度相机进行深度矫正，当做针孔模型标定得到内参；对投影后的图像进行线特征检测；同样对2D相机的图像进行线检测，获得2D相机的带有语义的线特征信息；利用刚体变换得到深度值在相机坐标系下的位置；通过迭代方程使2D相机和深度相机的投影残差下降，迭代的终止条件是变化量小于阈值。本发明首次提出应用视觉检测技术对无标定物场景相机外参的在线标定的方法，可以保证***在运行过程中对其进行自动标定，有效提升***可靠，减少人工工作量，节省人工成本。
Description
技术领域
本发明涉及相机标定技术领域，尤其涉及一种基于深度霍夫变换的多传感器外参在线标定方法。
背景技术
在现有的相机标定技术中，都是通过预先设定的外参进行工作。又或者通过增加标定物来进行在线标定。在图像测量过程中以及机器视觉应用中，需提前知道相机之间的外参关系，标定结果的精度及方法的稳定性直接影响相机工作产生结果的准确性。而***在长时间的运行后，由于震动，温度等原因会导致外参逐渐失效。而通过增加标定物的方法会导致标定效率低，又或者碰到无法增加标定物的情况。因此，本发明要解决的技术问题是：克服实际使用过程中，因非***因素产生的外参漂移，外参失效等问题，提升***的稳定性。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于深度霍夫变换的多传感器外参在线标定方法，首次提出应用视觉检测技术对无标定物场景相机外参的在线标定的方法，可以保证***在运行过程中对其进行自动标定，有效提升***可靠，减少人工工作量，节省人工成本，解决了实际使用过程中，因非***因素产生的外参漂移，外参失效问题。
本发明提供如下技术方案：一种基于深度霍夫变换的多传感器外参在线标定方法，包括如下步骤：
步骤一：首先通过张正友标定法对相机的内参进行标定；
步骤二：对深度相机进行深度矫正，当做针孔模型标定得到内参；
步骤三：将深度相机获得的点云投影到图像平面，然后对投影后的图像进行线特征检测；
步骤四：同样对2D相机的图像进行线检测，获得2D相机的带有语义的线特征信息；
步骤五：检测出来的深度线特征和2D相机的线特征匹配，利用刚体变换得到深度值在相机坐标系下的位置；
步骤六：利用相机针孔模型，对于每一个深度值通过当前的估计外参投影到相机平面；
步骤七：通过迭代方程使2D相机和深度相机的投影残差下降，迭代的终止条件是变化量小于阈值。
优选的，所述步骤三中采用DeepHoughTransform提取图像中带语义的线特征信息。
优选的，所述步骤三中将深度相机获得的点云投影到图像平面，然后对投影后的图像进行线特征检测，并把线与线的交点当做候选点。
优选的，所述步骤四中同样对2D相机的图像进行线检测，获得2D相机的带有语义的线特征信息，并把线与线的交点当做候选点。
优选的，所述步骤六中利用相机针孔模型，对于每一个特征点通过当前的估计外参投影到相机平面。
本发明提供了一种基于深度霍夫变换的多传感器外参在线标定方法，首次提出应用视觉检测技术对无标定物场景相机外参的在线标定的方法，可以保证***在运行过程中对其进行自动标定，有效提升***可靠，减少人工工作量，节省人工成本。在常规的在线标定方法过程中，普遍采用标准参照物目标，但是存在某一些不能设置参照物的工作场景，本发明利用深度霍夫变换和传统标定方法相结合。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
有别于现有的视觉标定技术，仅需保证在多个相机中存在共同视野。本发明提出一种基于深度霍夫变换（Deep Hough Transform）的多传感器相对外参在线标定方法。本发明利用图像检测技术，检测图像或红外图或深度图或点云中的线特征，最小化重投影得到准确外参。即可获得相机或传感器的相对外参既外参标定。现以2D相机和深度相机标定进行举例。
实施例一：本发明提供如下技术解决方案：
步骤一：首先通过张正友标定法对相机的内参进行标定。
步骤二：对深度相机进行深度矫正，当做针孔模型标定得到内参。
步骤三：将深度相机获得的点云投影到图像平面，然后对投影后的图像进行线特征检测，本发明采用DeepHoughTransform提取图像中带语义的线特征信息。
步骤四：同样对2D相机的图像进行线检测，获得2D相机的带有语义的线特征信息。
步骤五：检测出来的深度线特征和2D相机的线特征匹配，利用刚体变换可以得到深度值在相机坐标系下的位置。
步骤六：利用相机针孔模型，对于每一个深度值通过当前的估计外参（不准确）投影到相机平面。
步骤七：通过迭代方程使2D相机和深度相机的投影残差下降，迭代的终止条件是变化量小于阈值。
本发明利用图像检测技术，检测图像或红外图或深度图或点云中的线特征，再将线与线的交点，最小化重投影得到准确外参。获得相机或传感器的相对外参既外参标定。现以2D相机和深度相机标定进行举例。
实施例二：本发明提供如下技术解决方案：
步骤一：首先通过张正友标定法对相机的内参进行标定。
步骤二：对深度相机进行深度矫正，当做针孔模型标定得到内参。
步骤三：将深度相机获得的点云投影到图像平面，然后对投影后的图像进行线特征检测，本发明采用DeepHoughTransform提取图像中带语义的线特征信息，并把线与线的交点当做候选点。
步骤四：同样对2D相机的图像进行线检测，获得2D相机的带有语义的线特征信息，并把线与线的交点当做候选点。
步骤五：利用相机针孔模型，对于每一个特征点通过当前的估计外参（不准确）投影到相机平面。
步骤六：通过迭代方程使2D相机和深度相机的投影残差下降，迭代的终止条件是变化量小于阈值。
本发明中，首次提出应用视觉检测技术对无标定物场景相机外参的在线标定的方法，可以保证***在运行过程中对其进行自动标定，有效提升***可靠，减少人工工作量，节省人工成本。在常规的在线标定方法过程中，普遍采用标准参照物目标，但是存在某一些不能设置参照物的工作场景，本发明利用深度霍夫变换和传统标定方法相结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于深度霍夫变换的多传感器外参在线标定方法，其特征在于：包括如下步骤：
步骤一：首先通过张正友标定法对相机的内参进行标定；
步骤二：对深度相机进行深度矫正，当做针孔模型标定得到内参；
步骤三：将深度相机获得的点云投影到图像平面，然后对投影后的图像进行线特征检测；
步骤四：同样对2D相机的图像进行线检测，获得2D相机的带有语义的线特征信息；
步骤五：检测出来的深度线特征和2D相机的线特征匹配，利用刚体变换得到深度值在相机坐标系下的位置；
步骤六：利用相机针孔模型，对于每一个深度值通过当前的估计外参投影到相机平面；
步骤七：通过迭代方程使2D相机和深度相机的投影残差下降，迭代的终止条件是变化量小于阈值。
2.根据权利要求1所述的一种基于深度霍夫变换的多传感器外参在线标定方法，其特征在于：所述步骤三中采用DeepHoughTransform提取图像中带语义的线特征信息。
3.根据权利要求1所述的一种基于深度霍夫变换的多传感器外参在线标定方法，其特征在于：所述步骤三中将深度相机获得的点云投影到图像平面，然后对投影后的图像进行线特征检测，并把线与线的交点当做候选点。
4.根据权利要求3所述的一种基于深度霍夫变换的多传感器外参在线标定方法，其特征在于：所述步骤四中同样对2D相机的图像进行线检测，获得2D相机的带有语义的线特征信息，并把线与线的交点当做候选点。
5.根据权利要求4所述的一种基于深度霍夫变换的多传感器外参在线标定方法，其特征在于：所述步骤六中利用相机针孔模型，对于每一个特征点通过当前的估计外参投影到相机平面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210161552.5A CN114241063A (zh) | 2022-02-22 | 2022-02-22 | 一种基于深度霍夫变换的多传感器外参在线标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210161552.5A CN114241063A (zh) | 2022-02-22 | 2022-02-22 | 一种基于深度霍夫变换的多传感器外参在线标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114241063A true CN114241063A (zh) | 2022-03-25 |
Family
ID=80747727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210161552.5A Pending CN114241063A (zh) | 2022-02-22 | 2022-02-22 | 一种基于深度霍夫变换的多传感器外参在线标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241063A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802126A (zh) * | 2021-02-26 | 2021-05-14 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、计算机设备和存储介质 |
| CN112991372A (zh) * | 2021-04-21 | 2021-06-18 | 聚时科技(江苏)有限公司 | 一种基于多边形匹配的2d-3d相机外参标定方法 |
| CN113446933A (zh) * | 2021-05-19 | 2021-09-28 | 浙江大华技术股份有限公司 | 用于多三维传感器的外参标定方法、装置和*** |
-
2022
- 2022-02-22 CN CN202210161552.5A patent/CN114241063A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802126A (zh) * | 2021-02-26 | 2021-05-14 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、计算机设备和存储介质 |
| CN112991372A (zh) * | 2021-04-21 | 2021-06-18 | 聚时科技(江苏)有限公司 | 一种基于多边形匹配的2d-3d相机外参标定方法 |
| CN113446933A (zh) * | 2021-05-19 | 2021-09-28 | 浙江大华技术股份有限公司 | 用于多三维传感器的外参标定方法、装置和*** |
Non-Patent Citations (1)
| Title |
|---|
| 3Ｄ视觉工坊: "《顶刊TPAMI 2021！南开大学提出深度霍夫变换：语义线检测新方法》", 《HTTPS://BLOG.CSDN.NET/YONG_QI2015/ARTICLE/DETAILS/120232145，第1-10》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101582165B (zh) | 基于灰度图像与空间深度数据的摄像机阵列标定算法 | |
| KR102085228B1 (ko) | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 | |
| CN111784778B (zh) | 基于线性求解非线性优化的双目相机外参标定方法和*** | |
| US8520067B2 (en) | Method for calibrating a measuring system | |
| KR102054455B1 (ko) | 이종 센서 간의 캘리브레이션 장치 및 방법 | |
| CN110672007A (zh) | 一种基于机器视觉的工件表面质量检测方法及*** | |
| CN104457577A (zh) | 面向机器视觉的无接触式工件定位与测量方法 | |
| US20140168423A1 (en) | Monitoring device, monitoring system and monitoring method | |
| CN112017248B (zh) | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 | |
| CN107504917B (zh) | 一种三维尺寸测量方法及装置 | |
| US11120545B2 (en) | Method for measuring hole provided in workpiece | |
| Yamazoe et al. | Easy depth sensor calibration | |
| CN111798507A (zh) | 一种输电线安全距离测量方法、计算机设备和存储介质 | |
| Zhang et al. | Slat-calib: Extrinsic calibration between a sparse 3d lidar and a limited-fov low-resolution thermal camera | |
| CN116310678A (zh) | 固态激光雷达与热成像视觉融合的火源识别及定位方法 | |
| CN110992463A (zh) | 一种基于三目视觉的输电导线弧垂的三维重建方法及*** | |
| CN115690469A (zh) | 一种双目图像匹配方法、装置、设备和存储介质 | |
| CN114241063A (zh) | 一种基于深度霍夫变换的多传感器外参在线标定方法 | |
| CN115930879A (zh) | 工件的轮廓检测装置、方法、服务器及存储介质 | |
| US20240085448A1 (en) | Speed measurement method and apparatus based on multiple cameras | |
| CN110322508A (zh) | 一种基于计算机视觉的辅助定位方法 | |
| US20210385425A1 (en) | Method and device for calibrating binocular camera | |
| Su et al. | Fast detection method of checkerboard corners based on the combination of template matching and Harris Operator | |
| CN113066133A (zh) | 一种基于路面标识几何特征的车载摄像头在线自标定方法 | |
| CN112509062B (zh) | 一种标定板、标定***及标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220325 |