CN108010089B - 一种基于双目可运动摄像机的高分辨率图像获取方法 - Google Patents
一种基于双目可运动摄像机的高分辨率图像获取方法 Download PDFInfo
- Publication number
- CN108010089B CN108010089B CN201711402076.7A CN201711402076A CN108010089B CN 108010089 B CN108010089 B CN 108010089B CN 201711402076 A CN201711402076 A CN 201711402076A CN 108010089 B CN108010089 B CN 108010089B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- target area
- parameter
- cam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003068 static effect Effects 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 6
- 101100165918 Caenorhabditis elegans cam-1 gene Proteins 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000003993 interaction Effects 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于双目可运动摄像机视觉***的静态目标高分辨率图像获取方法。本发明基于传统立体视觉理论的拓展。本发明通过双目可运动摄像机捕获图像的立体校正结果和视差图，建立目标在两个摄像机坐标系之间的坐标关联，从而确定摄像机的水平和垂直旋转角度；通过离线建立目标区域大小和变焦倍数之间的对应关系，以及在线估计视差可靠度确定摄像机的变焦倍数。本发明可以实现任一摄像机选定视场内目标后，另一个摄像机以高分辨率使该目标处于图像的中心位置，可以应用于交通、安防、人机交互等领域，具有广泛的应用前景和重要的实用价值。
Description
技术领域
本发明涉及一种基于双目可运动摄像机的高分辨率图像获取方法。
背景技术
随着相机制作工艺的完善、机械控制精度的提高以及生产成本的降低，可运动摄像机越来越多的应用于智能监控领域，并且逐渐取代传统的静止相机。可运动摄像机可看作一个内外参数均可变化的静止相机，这些参数包括水平转动(pan)、竖直转动(tilt)以及焦距变化(zoom)，通过调整这些控制参数，可运动摄像机不但可以改变焦距，从而获得同一目标或区域的不同分辨率信息，并且可以改变监控视角，从而获得场景中不同目标或区域的监控信息。从视觉仿生的角度，可运动摄像机的图像采集方式与人眼的转动机制是一致的，人类一般是有目的的对场景进行观察，当场景提供的信息无法满足要求时，人眼会转动一定的角度，聚焦直至获得目标清晰的图像；从数学的角度，图像采集的主动性能够优化视觉模型的推导，并使很多传统视觉中欠定的问题变得适定，或使传统视觉中的非线性问题线性化。综合上述分析可以看出，智能监控***的发展趋势之一就是使用可运动摄像机。
另一方面，单目可运动摄像机在监控中也存在一定的缺陷：首先是视角单一，当遮挡现象发生的时候，可能出现视觉盲区，从而无法获取盲区内的信息；其次是在没有场景先验知识的情况下，无法获取深度信息，经典的立体视觉需要两个相机，通过视差大小来估计目标的深度；最后是使用单个可运动摄像机往往存在监控视场和目标分辨率之间的矛盾，导致无法同时获取目标运动的全景信息和高分辨率信息。因此，智能监控技术的另一个趋势就是采用两个可运动摄像机。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，利用两个SONY EVI D70P相机构建了双目可运动摄像机视觉***，并通过引入深度信息，提出了一种基于双目可运动摄像机视觉***的静态目标高分辨率图像获取方法。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明提供一种基于双目可运动摄像机的高分辨率图像获取方法，其包括以下步骤：将两个可运动摄像机表示为Cam-1和Cam-2，设两个可运动摄像机的当前参数为(p1,t1,z1)和(p2,t2,z2)，其对应的观测图像分别为I1和I2，并假定Cam-1图像I1中确定的静态目标区域为
估计主动相机Cam-2参数(p'2,t'2,z'2)，使得静态目标区域
以高分辨率处于Cam-2图像I2的中心位置；
(p'2,t'2,z'2)的具体计算过程如下：
(1)利用基于特征点匹配的摄像机标定方法对两个可运动摄像机进行标定，即获得两个摄像机的主点坐标(u0,v0)，以及焦距z随zoom参数的变化关系f(z)；
(2)利用球面立体校正算法对两幅图像I1和I2进行立体校正，设校正后的图像分别为I1r和I2r，此时可获得图像I1和I1r，以及I2和I2r对应像素点之间的关系，即
其中，[x1,y1,1]T、[x2,y2,1]T为立体校正前图像I1和I2上的像素点；[x1r,y1r,1]T、[x2r,y2r,1]T为立体校正后图像I1r和I2r上的像素点；
(3)获取多组目标区域大小和zoom参数的对应关系，并以表格的形式存储；
(4)计算图像I1中静态目标区域
的中心位置c1，并根据步骤(2)获得的I1和I1r像素之间的对应关系，获得c1在图像I1r中的对应位置c1r，即
(5)利用动态规划立体匹配算法计算校正后图像I1r和I2r的视差图，记d为I1r和I2r在点c1r的估计视差值，则可得到c1r在图像I2r中的对应点，即
c2r＝c1r+[d,0]T
(6)根据步骤(2)获得的I2r和I2像素之间的对应关系，计算c2r在图像I2的对应位置c2，即
(7)设c2＝[u,v]，则利用步骤(1)获得的摄像机主点坐标(u0,v0)，以及焦距z随zoom参数的变化关系f(z)，可计算得到pan参数p'2和tilt参数t'2，即
(8)对于zoom参数z’2，其一般由静态目标区域
的大小决定；本专利根据当前目标区域
的大小，首先利用步骤(3)获得的表格，通过查表得到zoom参数的初值z0；然后引入视差可靠度rd∈[0,1]，rd可由目标区域
中各像素视差估计值的方差确定，即
其中，
表示静态目标区域
在坐标(i,j)处估计视差的方差，λ为将视差可靠度rd控制在0至1范围内的参数；上式表明，方差越小，表明视差估计的越准确，可靠度rd也将越大，最终的zoom参数z’2可通过初值z0和可靠度rd共同决定，即
z'2＝z0(0.7+0.3rd)
也就是说，当视差估计准确度较低时，给定一个较小的zoom参数，以保证静态目标区域
处于Cam-2图像I2的可见视场内，否则，给定一个较大的zoom参数。
本发明基于传统立体视觉理论的拓展，从计算机立体视觉的角度，深度定义为场景中某一空间点到两摄像机基线的距离。深度信息获取的方法主要有两种：一种是基于物理传感器的方法，例如超声测距、激光测距等，这些方法的测深精度较高，但其成本也相对较大，并且深度值不能和摄像机采集图像的每个像素对应；另一种是基于经典的立体视觉的方法，即结合摄像机成像原理和计算几何，找到同一目标对应像素在两幅图像中的相对位置关系，进而推断出目标的深度。在视觉监控以及其他视觉相关的应用中，一般还是选择基于经典的立体视觉的方法。
具体实施方式
以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
一种基于双目可运动摄像机的高分辨率图像获取方法，其包括以下步骤：将两个可运动摄像机表示为Cam-1和Cam-2，设两个可运动摄像机的当前参数为(p1,t1,z1)和(p2,t2,z2)，其对应的观测图像分别为I1和I2，并假定Cam-1图像I1中确定的静态目标区域为
估计主动相机Cam-2参数(p’2,t’2,z’2)，使得静态目标区域
以高分辨率处于Cam-2图像I2的中心位置；
(p'2,t'2,z'2)的具体计算过程如下：
(1)利用基于特征点匹配的摄像机标定方法对两个可运动摄像机进行标定，即获得两个摄像机的主点坐标(u0,v0)，以及焦距z随zoom参数的变化关系f(z)；
(2)利用球面立体校正算法对两幅图像I1和I2进行立体校正，设校正后的图像分别为I1r和I2r，此时可获得图像I1和I1r，以及I2和I2r对应像素点之间的关系，即
其中，[x1,y1,1]T、[x2,y2,1]T为立体校正前图像I1和I2上的像素点；[x1r,y1r,1]T、[x2r,y2r,1]T为立体校正后图像I1r和I2r上的像素点；
(3)获取多组目标区域大小和zoom参数的对应关系，并以表格的形式存储；
(4)计算图像I1中静态目标区域
的中心位置c1，并根据步骤(2)获得的I1和I1r像素之间的对应关系，获得c1在图像I1r中的对应位置c1r，即
(5)利用动态规划立体匹配算法计算校正后图像I1r和I2r的视差图，记d为I1r和I2r在点c1r的估计视差值，则可得到c1r在图像I2r中的对应点，即
c2r＝c1r+[d,0]T
(6)根据步骤(2)获得的I2r和I2像素之间的对应关系，计算c2r在图像I2的对应位置c2，即
(7)设c2＝[u,v]，则利用步骤(1)获得的摄像机主点坐标(u0,v0)，以及焦距z随zoom参数的变化关系f(z)，可计算得到pan参数p'2和tilt参数t'2，即
(8)对于zoom参数z’2，其一般由静态目标区域
的大小决定；本专利根据当前目标区域
的大小，首先利用步骤(3)获得的表格，通过查表得到zoom参数的初值z0；然后引入视差可靠度rd∈[0,1]，rd可由目标区域
中各像素视差估计值的方差确定，即
其中，
表示静态目标区域
在坐标(i,j)处估计视差的方差，λ为将视差可靠度rd控制在0至1范围内的参数；上式表明，方差越小，表明视差估计的越准确，可靠度rd也将越大，最终的zoom参数z’2可通过初值z0和可靠度rd共同决定，即
z'2＝z0(0.7+0.3rd)
也就是说，当视差估计准确度较低时，给定一个较小的zoom参数，以保证静态目标区域
处于Cam-2图像I2的可见视场内，否则，给定一个较大的zoom参数。
本发明基于传统立体视觉理论的拓展，从计算机立体视觉的角度，深度定义为场景中某一空间点到两摄像机基线的距离。深度信息获取的方法主要有两种：一种是基于物理传感器的方法，例如超声测距、激光测距等，这些方法的测深精度较高，但其成本也相对较大，并且深度值不能和摄像机采集图像的每个像素对应；另一种是基于经典的立体视觉的方法，即结合摄像机成像原理和计算几何，找到同一目标对应像素在两幅图像中的相对位置关系，进而推断出目标的深度。在视觉监控以及其他视觉相关的应用中，一般还是选择基于经典的立体视觉的方法。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于双目可运动摄像机的高分辨率图像获取方法，其特征在于，包括以下步骤：将两个可运动摄像机表示为Cam-1和Cam-2，设两个可运动摄像机的当前参数为(p1,t1,z1)和(p2,t2,z2)，其对应的观测图像分别为I1和I2，并假定Cam-1图像I1中确定的静态目标区域为
估计主动相机Cam-2参数(p'2,t'2,z'2)，使得静态目标区域
以高分辨率处于Cam-2图像I2的中心位置；
(p'2,t'2,z'2)的具体计算过程如下：
(1)利用基于特征点匹配的摄像机标定方法对两个可运动摄像机进行标定，即获得两个摄像机的主点坐标(u0,v0)，以及焦距z随zoom参数的变化关系f(z)；
(2)利用球面立体校正算法对两幅图像I1和I2进行立体校正，设校正后的图像分别为I1r和I2r，此时可获得图像I1和I1r，以及I2和I2r对应像素点之间的关系，即
其中，[x1,y1,1]T、[x2,y2,1]T为立体校正前图像I1和I2上的像素点；[x1r,y1r,1]T、[x2r,y2r,1]T为立体校正后图像I1r和I2r上的像素点；
(3)获取多组目标区域大小和zoom参数的对应关系，并以表格的形式存储；
(4)计算图像I1中静态目标区域
的中心位置c1，并根据步骤(2)获得的I1和I1r像素之间的对应关系，获得c1在图像I1r中的对应位置c1r，即
(5)利用动态规划立体匹配算法计算校正后图像I1r和I2r的视差图，记d为I1r和I2r在点c1r的估计视差值，则可得到c1r在图像I2r中的对应点，即
c2r＝c1r+[d,0]T
(6)根据步骤(2)获得的I2r和I2像素之间的对应关系，计算c2r在图像I2的对应位置c2，即
(7)设c2＝[u,v]，则利用步骤(1)获得的摄像机主点坐标(u0,v0)，以及焦距z随zoom参数的变化关系f(z)，可计算得到pan参数p'2和tilt参数t'2，即
(8)对于zoom参数z′2，其由静态目标区域
的大小决定；根据当前目标区域
的大小，首先利用步骤(3)获得的表格，通过查表得到zoom参数的初值z0；然后引入视差可靠度rd∈[0,1]，rd可由目标区域
中各像素视差估计值的方差确定，即
其中，
表示静态目标区域
在坐标(i,j)处估计视差的方差，λ为将视差可靠度rd控制在0至1范围内的参数；上式表明，方差越小，表明视差估计的越准确，可靠度rd也将越大，最终的zoom参数z′2可通过初值z0和可靠度rd共同决定，即
z'2＝z0(0.7+0.3rd)，
当视差估计准确度较低时，给定一个较小的zoom参数，以保证静态目标区域
处于Cam-2图像I2的可见视场内，否则，给定一个较大的zoom参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711402076.7A CN108010089B (zh) | 2017-12-22 | 2017-12-22 | 一种基于双目可运动摄像机的高分辨率图像获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711402076.7A CN108010089B (zh) | 2017-12-22 | 2017-12-22 | 一种基于双目可运动摄像机的高分辨率图像获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108010089A CN108010089A (zh) | 2018-05-08 |
| CN108010089B true CN108010089B (zh) | 2021-09-07 |
Family
ID=62060540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711402076.7A Expired - Fee Related CN108010089B (zh) | 2017-12-22 | 2017-12-22 | 一种基于双目可运动摄像机的高分辨率图像获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108010089B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991306B (zh) * | 2019-11-27 | 2024-03-08 | 北京理工大学 | 自适应的宽视场高分辨率智能传感方法和*** |
| CN114095644B (zh) * | 2020-08-24 | 2023-08-04 | 武汉Tcl集团工业研究院有限公司 | 一种图像校正的方法和计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024350A (zh) * | 2012-11-13 | 2013-04-03 | 清华大学 | 一种双目ptz视觉***的主从跟踪方法及应用该方法的*** |
| CN106600645A (zh) * | 2016-11-24 | 2017-04-26 | 大连理工大学 | 一种摄像机空间立体标定快速提取方法 |
| CN107103626A (zh) * | 2017-02-17 | 2017-08-29 | 杭州电子科技大学 | 一种基于智能手机的场景重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
-
2017
- 2017-12-22 CN CN201711402076.7A patent/CN108010089B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024350A (zh) * | 2012-11-13 | 2013-04-03 | 清华大学 | 一种双目ptz视觉***的主从跟踪方法及应用该方法的*** |
| CN106600645A (zh) * | 2016-11-24 | 2017-04-26 | 大连理工大学 | 一种摄像机空间立体标定快速提取方法 |
| CN107103626A (zh) * | 2017-02-17 | 2017-08-29 | 杭州电子科技大学 | 一种基于智能手机的场景重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Moving Shadow Detection Based on Multi-feature Fusion;Hua Wang et al.;《2016 8th International Conference on Intelligent Human-Machine Systems and Cybermetics(IHMSC)》;20161215;全文 * |
| 双目协同多分辨率主动跟踪方法;崔智高 等.;《红外与激光工程》;20131231;第42卷(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108010089A (zh) | 2018-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977997B (zh) | 一种结合激光雷达三维点云数据的相机自标定方法 | |
| US10271036B2 (en) | Systems and methods for incorporating two dimensional images captured by a moving studio camera with actively controlled optics into a virtual three dimensional coordinate system | |
| US8593524B2 (en) | Calibrating a camera system | |
| CN109348119B (zh) | 一种全景监控*** | |
| WO2019114617A1 (zh) | 快速抓拍的方法、装置及*** | |
| US6847392B1 (en) | Three-dimensional structure estimation apparatus | |
| US20130242059A1 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| EP2728374A1 (de) | Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras | |
| WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、*** | |
| KR20140090775A (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
| JP4865065B1 (ja) | ステレオ撮像装置の制御システム | |
| KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| Patel et al. | Distance measurement system using binocular stereo vision approach | |
| CN108010089B (zh) | 一种基于双目可运动摄像机的高分辨率图像获取方法 | |
| CN113048888A (zh) | 基于双目视觉的远距离三维位移测量方法及*** | |
| KR101745493B1 (ko) | 깊이 지도 생성 장치 및 방법 | |
| CN113487683A (zh) | 一种基于三目视觉的目标跟踪*** | |
| CN113534737A (zh) | 一种基于多目视觉的ptz球机控制参数获取*** | |
| BR112021008558A2 (pt) | aparelho, método de estimativa de disparidade, e produto de programa de computador | |
| KR100399047B1 (ko) | 교차축 입체 카메라의 주시각 제어 장치 및 그 방법 | |
| CN109990756B (zh) | 一种双目测距方法及*** | |
| JP6734994B2 (ja) | ステレオ計測装置及びシステム | |
| JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| CN110068308B (zh) | 一种基于多目相机的测距方法及测距*** | |
| CN108535252A (zh) | 一种双目立体视觉食物识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210907 |