CN110503690B - 一种高光谱视频采集***的双路相机对齐方法 - Google Patents

一种高光谱视频采集***的双路相机对齐方法 Download PDF

Info

Publication number
CN110503690B
CN110503690B CN201810467963.0A CN201810467963A CN110503690B CN 110503690 B CN110503690 B CN 110503690B CN 201810467963 A CN201810467963 A CN 201810467963A CN 110503690 B CN110503690 B CN 110503690B
Authority
CN
China
Prior art keywords
camera
rgb
gray
mask
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810467963.0A
Other languages
English (en)
Other versions
CN110503690A (zh
Inventor
郭慧
黄尔齐
陈林森
曹汛
岳涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201810467963.0A priority Critical patent/CN110503690B/zh
Publication of CN110503690A publication Critical patent/CN110503690A/zh
Application granted granted Critical
Publication of CN110503690B publication Critical patent/CN110503690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高光谱视频采集***的双路相机对齐方法。步骤为：(1)调节RGB相机和灰度相机的参数；(2)用屏幕映射法调整RGB相机和灰度相机视场大小；(3)采集用荧光灯照射下白板的光谱信息，确认掩膜孔数量及坐标位置；(4)给定触发信号，让双路相机同时扫描固定的屏幕区域并拍摄存储每一帧扫描图片；(5)分别计算掩膜孔x、y坐标范围内每一帧图片像素值累积和的最大值，找到恰好扫描到掩膜孔的两张RGB图片，并合成为一张带有十字交叉像图片，计算十字交叉点坐标；(6)确认RGB相机掩膜孔数量和坐标；(7)分析图片中掩膜孔位置的畸变情况，矫正计算得出混合相机匹配参数。本发明可以提高光谱图像的光谱分辨率。

Description

一种高光谱视频采集***的双路相机对齐方法
技术领域
本发明涉及计算机视觉和图像处理领域，特别涉及到一种高光谱视频采集***的混合相机对齐方法。
背景技术
高光谱视频采集***(如CN105651384A)主要通过阿米西棱镜和稀疏掩膜分别对场景的光谱信息和空间信息进行调制和复用，把同一场景下高空间分辨率图像和高光谱分辨率图像通过双边滤波算法融合，最终得到一张高空间分辨率和高光谱分辨率的光谱响应图片。
理想的高光谱图像应该能正确地反映物体在确定波长范围内的强度分布，但高光谱相机在使用过程中由于受到自身因素和各种环境因素的影响，获得的光谱图像必定存在畸变，不仅造成无法将获得的光谱信息与真实目标对应起来，还无法计算出正确的光谱信息，从而得到的是不精确的波长强度分布。为了正确有效地利用光谱图像进行科学研究，光谱图像的畸变标定与矫正计算是其必须解决的问题。
另外由于技术的限制，灰度图像空间分辨率一般不高，通常要与高分辨率的彩色图像传播计算，让它们的信息互补，使得融合后图像同时具备灰度图像的高光谱分辨率和彩色图像的高空间分辨率，获得对目标更客观、更本质的认识，而图像对齐是光谱图像融合的基本环节，只有经过对齐后的图像才能进行有效的融合计算，因此开展光谱图像和彩色图像对齐的研究也十分必要。
高光谱采集***的混合相机分别指成像***中的RGB相机和GRAY相机。利用***前置的分光装置，混合相机分别通过两束相同的光线：一束通过稀疏掩膜板采样再经过阿米西棱镜色散，最后灰度相机对不同的光谱响应进行积分采集，得到高光谱分辨率的灰度图像，另一束通过RGB相机直接采集得到高空间分辨率的图像。但是高光谱图像和高空间分辨率图像在空间位置上并不是完全对齐，灰度相机和RGB相机对于拍摄场景中一些目标的边缘仍有偏差。这些偏差的原因一部分是光路结构***的差异，一部分是由于混合相机镜头畸变没有对齐。
相机的成像过程实质上是坐标系的转换。首先空间中的点由“世界坐标系”转换到“相机坐标系”，然后再将其投影到成像平面(图像物理坐标系)，最后再将成像平面上的数据转换到图像像素坐标系。但是由于透镜制造精度以及组装工艺的偏差会引入畸变，导致原始图像的失真。对于高光谱视频采集***，分析光路可知：灰度相机的掩膜孔位置和RGB相机掩膜孔标定位置可能存在偏差，混合相机没有完全对齐。
光谱成像技术是新兴的科学和工程应用工具，集成了光学、精密机械、电子学等学科。计算矫正后的光谱图像能更精确地反映目标的本质存在，有效提高在军事应用、航天航空遥感、宇宙与天文探测、物质分析与分类、工业检测、农业、生物医学、环境与灾害监测、信息安全、大气探测等领域的实际应用与科学研究，成为在光学探测技术中一个强大的工具。
发明内容
针对上述现有技术中存在的缺陷，为了提高光谱图像的光谱分辨率，本发明的目的是提供一种高光谱视频采集***的双路相机对齐方法。
为了实现上述发明目的，本发明方法采用的技术方案如下：
一种高光谱视频采集***的双路相机对齐方法，包括如下步骤：
(1)分别调节RGB相机和灰度相机的增益、曝光值和帧率参数，使得灰度相机和RGB相机后续可以清晰同步地拍摄扫描图片；
(2)利用屏幕映射法，在屏幕上显示一个固定的区域来调整RGB相机和灰度相机的视场大小；
(3)采集用荧光灯照射下的白板的光谱信息，标定位于灰度相机前面的掩膜孔的数量以及坐标位置；
(4)给定一个触发信号，让RGB相机和灰度相机同时扫描屏幕的扫描区域并存储每一帧扫描图片；
(5)分别计算每一个掩膜孔的x和y坐标范围内每一帧扫描图片像素值累积和的最大值，即为恰好扫描过掩膜孔最亮的水平扫描线和垂直扫描线，将带有这两条扫描线的RGB图相加合成为一张带有十字交叉像的图片，最后计算十字交叉点坐标；
(6)将所述掩膜孔的位置映射到RGB相机上，利用RGB相机标定所述掩膜孔的数量和坐标；
(7)分析步骤(5)获得的图片中掩膜孔位置的畸变情况，矫正计算得出RGB相机和灰度GRAY相机的所有匹配参数。
进一步地，所述步骤(2)中，屏幕映射法是在屏幕上显示一个长方形框图区域，每个长方形框图中包括一个可调整位置的十字线；分别调整RGB相机的视场和灰度相机的视场，确保两个相机视场等于或稍小于较小的长方形框，并且确保RGB视场要包含于灰度相机视场。
进一步地，所述步骤(3)中，荧光灯的波峰位置即为掩膜孔的位置，通过记录白板光谱信息中第一行第一列荧光灯波峰的坐标和相邻波峰的距离，递归计算出掩膜孔的数量和坐标。
进一步地，所述步骤(5)中，通过对合成的带有十字交叉像的图片进行膨胀和霍夫变换，检测到两条直线并得到对应方程，最后解方程求出十字交叉交点坐标。
进一步地，所述步骤(7)中，利用步骤(3)标定的掩膜孔坐标和步骤(6)标定的掩膜孔坐标得到一个映射关系，用映射变换矩阵对步骤(6)中得到的RGB相机掩膜孔坐标进行矫正分析。
本发明的基于棱镜-掩膜式高光谱采集***混合相机对齐方法可以适当克服镜头畸变影响，能够弥补传统迭代算法计算得出的RGB掩膜孔坐标位置误差。通过扫描机制高精度地找出掩膜孔RGB坐标和数量；再经过仿射变换可以进一步矫正误差点，提高混合相机对齐的准确率，进一步确保后续高光谱分辨率图像与高空间分辨率图像传播计算。
附图说明
图1是本发明混合相机对齐方法的流程图；
图2是本发明实例中实现方法的硬件结构图；
图3是本发明实例中屏幕投影示意图；
图4是本发明实例中屏幕映射设定的扫描区域；
图5是本发明实例中通过白板光谱信息计算的掩膜孔数量和坐标位置；
图6是本发明实例中RGB相机扫描到掩膜孔时合成的十字架图；
图7是本发明实例中RGB相机标定的掩膜孔数量和坐标位置。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。
如图1和2所示，本发明一种高光谱视频采集***的双路相机对齐方法，包括如下步骤：
(1)分别调节RGB相机和灰度相机的增益、曝光值、和帧率参数，用于灰度相机和彩色相机后续可以清晰同步地拍摄扫描图片。RGB相机各项参数和灰度相机各项参数调节原则是必须保证信噪比较高。帧率调低确保曝光时间增长，通过的光通量就变大；适当的调低增益可以降低噪声成分。
(2)用屏幕映射法在屏幕上显示一个固定的区域来调整RGB相机和灰度相机的视场大小。屏幕映射法是在屏幕上显示一个长方形框图区域，每个长方形框图中包含一个可调整位置的十字线。分别调整RGB相机的视场和灰度相机的视场，确保两个相机视场等于或稍小于较小的长方形框，并且确保RGB视场要包含于灰度相机视场。如图3为具体屏幕映射的示意图。将移动端绘制的长方形区域映射到显示屏上，最终人眼可在显示屏上观测到由电脑绘制的图案，此时两个相机的视场是同时对准显示屏的。利用OPENGL库绘制直线，在屏幕上显示由四条直线相交的两个长方形框图，为了确认中心点使得RGB相机和灰度相机视场可以校准中心，长方形框中包含一个可调整位置的十字线。分别调整RGB相机的视场和灰度相机的视场，确保两个相机视场等于或稍小于较小的长方形框并且RGB视场要包含于灰度相机视场，这样可以确保电脑扫过的线通过映射到显示屏上，同时显示屏的扫描线也投影到RGB相机和灰度相机视场中。
(3)采集用荧光灯照射下的白板的光谱信息，确认掩膜孔数量以及坐标位置，掩膜放置在灰度相机的前方。荧光灯的波峰位置即为掩膜孔的位置。通过记录白板光谱信息中第一行第一列荧光灯波峰的坐标和相邻波峰的距离，递归计算出掩膜孔数量和坐标。
(4)给定一个触发信号，让RGB相机和灰度相机同时扫描屏幕的扫描区域并存储每一帧扫描图片。
(5)分别计算每一个掩膜孔x和y坐标范围内每一帧扫描图片像素值累积和的最大值，即是恰好扫描过掩膜孔最亮的水平扫描线和垂直扫描线，将带有这两条扫描线的RGB图相加即可得到一张带有十字交叉像的图片，最后通过对合成带有十字交叉的图像进行膨胀和霍夫变换，检测到两条直线并得到对应方程，最后解方程求出十字交叉点坐标。
(6)扫描线先通过掩膜对空间进行下采样调制，再经过阿米希棱镜进行棱镜色散到Gray相机。同时扫描线经过光路转换器，通过对光线的复用可以将灰度相机光路上的掩膜孔位置映射到RGB相机上，最终可以通过计算十字交叉点坐标确认RGB相机的掩膜孔数量和坐标；
(7)分析合成图片中掩膜孔位置的畸变情况，利用灰度相机标定的掩膜孔坐标和扫描得到的RGB相机标定的掩膜孔坐标得到一个映射关系，用映射变换矩阵对扫描得到的RGB相机掩膜孔坐标进行矫正分析，计算得出RGB相机和灰度GRAY相机的所有匹配参数。
实施例
本实例中RGB相机和GRAY相机对4K显示屏进行屏幕扫描和视场校订，如图4；
在OpenGL中，世界坐标系是以屏幕中心为原点(0，0)，且是始终不变的。窗口范围按单位恰好是(-1,-1)到(1,1)，即屏幕左下角坐标为(-1，-1)，右上角坐标为(1,1)。4k显示屏的分辨率为3840*2160，所以单位扫描频率分别为：
垂直扫描频率：Vf＝2/2160＝0.000926KHZ；
水平扫描频率：Hf＝2/3840＝0.000521KHZ；
在本实例中用白板光谱信息计算的掩膜孔数量N＝3840。如图3；
荧光灯波峰为546.5nm，通过第一个荧光灯波峰的笛卡尔坐标以及相邻波峰的步长可以递归运算出掩膜孔的总量；
打开Flycapture软件，分别调节RGB相机和灰度相机参数：
RGB相机：Shutter＝254.925ms，Gain＝35.496dB，Framerate＝1fps；
Gray相机：Shutter＝717.381ms，Gain＝16.798dB，Framerate＝1fps；
相机离显示屏距离d＝1.8m，焦距f＝31mm。
给定触发信号，RGB相机和Gray相机同时拍摄扫描图片并保存每一帧图片，扫描图片保存格式统一命名为_r.bmp和_g.bmp。扫描顺序为：先水平扫描屏幕再垂直扫描屏幕。
计算每一张扫描图片中每一个掩膜孔X、Y坐标范围内像素值累加和的最大值。其中xi、yi分别代表掩膜孔的横纵坐标；p(xi)、p(yi)分别代表掩膜孔横纵坐标像素值强度；m、n分别代表X、Y坐标范围；Sx、Sy分别代表累加和：
Figure BDA0001662508190000051
Figure BDA0001662508190000052
将最大值的扫描图片
Figure BDA0001662508190000053
叠加为一张带有十字交叉像的图片。其中
Figure BDA0001662508190000054
分别代表X坐标范围内像素累加和最大值的图片和Y坐标范围内像素累加和最大值的图片；Rimg代表最终合成的图片。如图6：
Figure BDA0001662508190000055
对Rimg中带有十字交叉像的图像进行膨胀，即把图像和一个Sobel算子S卷积得到两条直线。其中Eimg代表最终得到的两条直线：
Figure BDA0001662508190000056
用霍夫变换提取出两条直线的直线方程：每个像素坐标点p(x,y)被转换到(r,theta)的曲线点面上，将图像从笛卡尔坐标***转换到极坐标霍夫空间。两条直线方程求出的交点P(x0,y0)就是RGB相机掩膜孔的笛卡尔坐标，如图7。
利用GRAY相机掩膜孔标定坐标和RGB相机掩膜孔标定坐标映射出一个3*3的变换矩阵H。其中h11、h12、h13、h21、h22、h23、h31、h32、h33分别代表由Gray相机掩膜孔坐标映射到RGB相机掩膜孔坐标的几何位置关系：
Figure BDA0001662508190000061
最终通过仿射变换对RGB相机掩膜孔标定进行矫正。其中x1、y1分别代表校正后的掩膜孔坐标；x2、y2分别代表计算交叉点得到的掩膜孔坐标：
Figure BDA0001662508190000062

Claims (5)

1.一种高光谱视频采集***的双路相机对齐方法，其特征在于，包括如下步骤：
（1）分别调节RGB相机和灰度相机的增益、曝光值和帧率参数，使得灰度相机和RGB相机后续清晰同步地拍摄扫描图片；
（2）利用屏幕映射法，在屏幕上显示一个固定的区域来调整RGB相机和灰度相机的视场大小；
（3）采集用荧光灯照射下的白板的光谱信息，标定位于灰度相机前面的掩膜孔的数量以及坐标位置；
（4）给定一个触发信号，让RGB相机和灰度相机同时扫描屏幕的扫描区域并存储每一帧扫描图片；
（5）分别计算每一个掩膜孔的x和y坐标范围内每一帧扫描图片像素值累积和的最大值，即为恰好扫描过掩膜孔最亮的水平扫描线和垂直扫描线，将带有这两条扫描线的RGB图相加合成为一张带有十字交叉像的图片，最后计算十字交叉点坐标；
（6）将所述掩膜孔的位置映射到RGB相机上，利用RGB相机标定所述掩膜孔的数量和坐标；
（7）分析步骤（5）获得的图片中掩膜孔位置的畸变情况，矫正计算得出RGB相机和灰度GRAY相机的所有匹配参数。
2.根据权利要求 1 所述的一种高光谱视频采集***的双路相机对齐方法，其特征在于，所述步骤（2）中，屏幕映射法是在屏幕上显示一个长方形框图区域，每个长方形框图中包括一个可调整位置的十字线；分别调整RGB相机的视场和灰度相机的视场，确保两个相机视场等于或稍小于较小的长方形框，并且确保RGB视场要包含于灰度相机视场。
3.根据权利要求 1 所述的一种高光谱视频采集***的双路相机对齐方法，其特征在于，所述步骤（3）中，荧光灯的波峰位置即为掩膜孔的位置，通过记录白板光谱信息中第一行第一列荧光灯波峰的坐标和相邻波峰的距离，递归计算出掩膜孔的数量和坐标。
4.根据权利要求 1 所述的一种高光谱视频采集***的双路相机对齐方法，其特征在于，所述步骤（5）中，通过对合成的带有十字交叉像的图片进行膨胀和霍夫变换，检测到两条直线并得到对应方程，最后解方程求出十字交叉交点坐标。
5.根据权利要求 1 所述的一种高光谱视频采集***的双路相机对齐方法，其特征在于，所述步骤（7）中，利用步骤（3）标定的掩膜孔坐标和步骤（6）标定的掩膜孔坐标得到一个映射关系，用映射变换矩阵对步骤（6）中得到的RGB相机掩膜孔坐标进行矫正分析。
CN201810467963.0A 2018-05-16 2018-05-16 一种高光谱视频采集***的双路相机对齐方法 Active CN110503690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810467963.0A CN110503690B (zh) 2018-05-16 2018-05-16 一种高光谱视频采集***的双路相机对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810467963.0A CN110503690B (zh) 2018-05-16 2018-05-16 一种高光谱视频采集***的双路相机对齐方法

Publications (2)

Publication Number Publication Date
CN110503690A CN110503690A (zh) 2019-11-26
CN110503690B true CN110503690B (zh) 2023-03-07

Family

ID=68585130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810467963.0A Active CN110503690B (zh) 2018-05-16 2018-05-16 一种高光谱视频采集***的双路相机对齐方法

Country Status (1)

Country Link
CN (1) CN110503690B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111007020B (zh) * 2019-12-23 2021-10-08 武汉呵尔医疗科技发展有限公司 双帧四光谱成像方法及应用
CN111612851B (zh) * 2020-05-20 2023-04-07 阿波罗智联(北京)科技有限公司 用于标定相机的方法、装置、设备以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
CN103487145B (zh) * 2013-09-25 2015-04-15 清华大学 多光谱采集***的标定方法及***
CN105338326B (zh) * 2015-11-26 2019-01-01 南京大学 一种嵌入式高空间高光谱分辨率视频采集***

Also Published As

Publication number Publication date
CN110503690A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
WO2022100242A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN101136192B (zh) 用于显示几何和色彩的自动校准和校正的***和方法
US7252387B2 (en) System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment
US20030169918A1 (en) Stereoscopic image characteristics examination system
CN106504290B (zh) 一种高精度的摄像机动态标定方法
WO2001047285A1 (en) Method and apparatus for calibrating projector-camera system
CN106887023A (zh) 用于双目摄像机标定的标定板及其标定方法和标定***
TWI484283B (zh) 影像計算量測方法、影像計算量測裝置及影像檢查裝置
CN102722870B (zh) 彩色光电***中的图像的几何和亮度畸变校正方法
CN110503690B (zh) 一种高光谱视频采集***的双路相机对齐方法
CN106162157A (zh) 鱼眼摄像头的空间频率响应的测试方法
CN112161586A (zh) 一种基于编码棋盘格的线结构光视觉传感器标定方法
CN107977998B (zh) 一种基于多视角采样的光场校正拼接装置及方法
KR101926258B1 (ko) Avm 시스템의 자동 캘리브레이션 방법
CN110060625B (zh) 一种led显示屏采集渐晕补偿方法
CN111272101A (zh) 一种四维高光谱深度成像***
CN113554709A (zh) 一种基于偏振信息的相机-投影仪***标定方法
CN106546196B (zh) 一种光轴实时校准方法及***
CN113298886A (zh) 一种投影仪的标定方法
US11837139B2 (en) Method for collection and correction of display unit
CN111857623A (zh) 校准设备、校准***和显示设备校准方法
CN113920145B (zh) 一种投影***投射图像质量评价计算方法
CN211205210U (zh) 四维高光谱深度成像***
CN112036401B (zh) 一种基于车牌图像属性标定的车牌识别一体机评测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant