CN108876755B - 一种改进的灰度图像的彩色背景的构建方法 - Google Patents

一种改进的灰度图像的彩色背景的构建方法 Download PDF

Info

Publication number
CN108876755B
CN108876755B CN201810684604.0A CN201810684604A CN108876755B CN 108876755 B CN108876755 B CN 108876755B CN 201810684604 A CN201810684604 A CN 201810684604A CN 108876755 B CN108876755 B CN 108876755B
Authority
CN
China
Prior art keywords
image
scene
gray
panoramic
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810684604.0A
Other languages
English (en)
Other versions
CN108876755A (zh
Inventor
熊木地
李景润
崔婷婷
乔梦霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201810684604.0A priority Critical patent/CN108876755B/zh
Publication of CN108876755A publication Critical patent/CN108876755A/zh
Application granted granted Critical
Publication of CN108876755B publication Critical patent/CN108876755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种改进的灰度图像的彩色背景的构建方法，通过图像拼接技术获得全景图和灰度场景图。再通过像素级比例缩放将灰度场景图缩放到和全景图相同位置处一样大小，进而完成模板匹配；接着对灰度场景图中的可移动物体进行图像修复处理来获得灰度场景图中可移动物体的掩膜。最后通过基于小波变换的图像融合技术将灰度图像中可移动物体的掩膜和彩色背景图像结合，最终获得包含灰度场景图中可移动物体的彩色背景图像。本发明独创性的考虑到灰度场景图本身所蕴含的可移动物体信息，并将其中可以作为背景的可移动物体提取出来放到模板匹配获得的彩色背景图中。本发明采用基于小波变换的图像融合技术，使得融合的效果可以满足在工作中使用。

Description

一种改进的灰度图像的彩色背景的构建方法
技术领域
本发明涉及图像处理技术，特别是一种改进的灰度图像的彩色背景的构建方法。
背景技术
日新月异的计算机技术和葫芦岛项目的迫切需要，需要能够在夜雾天等一系列恶劣天下能够使用红外LED摄像仪对目标场景进行拍摄，但是又想要获得该场景在白天下的彩色背景信息，这样就可以在视频监控等领域获得相比于红外视频更多的信息。
申请人之前提出了一种灰度目标图像的彩色背景的构建方法(申请号CN201810661892.8)，该方法通过红外摄像仪拍摄多幅彩色场景图像；通过图像拼接技术获得固定区域的全景图；然后采用红外摄像仪获取该全景信息中某一部分的灰度场景图；接着对全景图和灰度场景图中某一相同物体进行像素级比例缩放，使得灰度场景图的大小缩放到和全景图对应位置处相同大小。最后通过模板匹配从全景图中获得和灰度场景图相同位置的彩色背景图像。该方法的优势极大，因为它避免了伪彩色处理对图像原色产生的巨大误差，并且准确提供了图像中该位置处白天时的场景信息。
但是这种给灰度图像进行彩色背景构建的方法最大的局限在于，只能够根据之前获得的全景图来提供背景信息，无法考虑到灰度图本身所带来的改变，比如当夜雾天况下获得的灰度场景图中包含了可移动物体，如汽车，并且该物体是作为当时一段时间内的背景物体存在，而人们只通过模板匹配不能把该背景物体作为背景目标融入到彩色背景图像中去，而且人们也不希望仅仅是将物体识别获得的矩形框内容作为背景粘贴到彩色背景图像中，而是希望沿着可移动物体的轮廓把可移动物体完完全全的扣除下来再融合到背景图中。
发明内容
为了解决现有技术存在的上述问题，本发明要提出一种既能够获得红外灰度场景图在白天时的彩色背景信息，又能够将灰度场景图中的可移动物体作为背景加入到彩色背景图像中、使得最终彩色背景图像的信息更加完整的改进的灰度图像的彩色背景的构建方法。
为了实现上述目的，本发明的技术方案如下：一种改进的灰度图像的彩色背景的构建方法，包括以下步骤：
A、全景图像采集
通过红外摄像仪对固定区域拍摄多幅彩色场景图像，使其范围覆盖到所需要的全部场景信息；
B、图像拼接
在获得多幅彩色场景图像之后，通过采用尺度不变特征转换方法即SIFT方法，利用多幅彩色场景图像相同区域特征点匹配融合的算法，将所述的多幅彩色场景图像融合到一幅全景图当中；然后通过随机抽样一致方法即CV_RANSAC消除错误匹配点；
C、灰度场景图获取
利用红外摄像仪在全景范围内变焦后进行拍摄，使得拍摄的灰度场景图能够完全存在于之前获得的全景图当中，效果相当于将全景图中的某一部分进行放大；
D、像素级比例缩放
通过采用获取图像任意点的像素点坐标的方法，分别计算全景图和灰度场景图相同物体的像素差，该相同物体是不易在拼接的时候发生畸变、而且全景图和灰度场景图都必须包含的物体。因为在不同焦距拍摄同一物体的情况下，该物体宽高比是不变的，所以这里取物体高度的像素差。通过获得像素差进行灰度场景图的比例缩放，使得其大小和全景图相同位置的大小一致，其基本公式如下：
M*N＝(M1*M2)*(h1/h2)
其中，模板图像的大小为M*N，灰度场景图的大小为M1*M2，全景图栏杆高度的像素个数为h1，红外场景图栏杆高度的像素个数为h2；
E、模板匹配
通过对全景图和灰度场景图进行模板匹配，选择全景图为输入图像，灰度场景图为模板图像。其基本思路是，模板是一幅已知的小图像，模板匹配就是在一幅大图像中搜寻目标，已知该图像中有要找的目标，且该目标同模板有相同的尺寸、方向和物体，通过归一化的序贯相似性检测算法即SSAD法在图像中找到目标，确定其坐标位置，最后通过比较模板图和被模板图覆盖的搜索图的那块区域之间的相似性，完成模板匹配过程；
F、车辆掩膜获取
通过图像修复技术对输入的灰度场景图进行破坏，即用鼠标画出的粗白条进行破坏，沿着灰度场景图中的可移动物体的轮廓进行涂抹，最后获得该物体的掩膜图像，该方法只是用到了图像修复的前两个步骤并且它们的代码都压缩到一起，为了简洁方便，直接使用图像修复技术的代码，并且保存掩膜图像；
G、基于小波变换的图像融合方法
通过基于小波变换的图像融合技术，将从灰度场景图中获得的可移动物体的掩膜图像和模板匹配获得的彩色背景图像进行融合，使得最后获得的彩色背景图像中包括灰度场景图中的可移动物体，最终的效果为在彩色背景图像颜色信息没有太大变化的情况下，于灰度场景图相同区域处，有清晰的可移动物体存在。融合过程包括如下步骤：
G1、图像预处理：图像预处理包括待融合图像配准和对图像的重采样；所述的待融合图像配准就是在变换空间中寻找一种特定的、最优的变换模型，确定配准参数，使得来自同一目标区域、在相同时间或不同时间、不同视角、由相同或不同传感器获取的两幅或多幅图像数据在相同坐标系下进行空间位置的最佳叠合、以保证小波系数在位置上的一一对应，使配准精度达到亚像素级。所述的对图像的重采样是当获得配准参数估计后，将待配准图像坐标做相应的几何变换，使之和参考图像处于同一坐标系下。由于变换以后的坐标不一定为整数，因此需要对变换后的图像进行重新插值处理，以保证待融合的图像具有相同的图像尺寸，保证分解后的小波系数是位置上一一对应的。
G2、小波系数处理：进行小波变换后将原始图像数据按不同频带和分辨率分解成子带图像，每一层小波系数分解成4个子带：垂直和水平方向低频的子带LL即低频近似图像、水平方向低频和垂直方向高频的子带LH即高频垂直方向图像、垂直方向低频和水平方向高频的子带HL即高频水平方向图像、垂直和水平方向高频的子带HH、即高频对角线方向图像。在图像融合的应用中，只需要对待融合图像的高频系数进行融合操作处理，低频系数则是根据具体需求选取一幅待处理图像中的系数LL；
G3、图像融合：设待融合图像记为X、Y，融合后的图像记为Z。它们的小波系数分别为Dx、DY和Dz，Ax和AY为待融合图像的高频小波系数，p(m,n,k,l)表示对应位置的小波系数，m、n分别表示p对应的空间位置，k表示小波变换级数，l表示小波变换的频带数。融合后图像Z的MSD系数的加权和公式如下：
DZ(p)＝ωX(p)DX(p)+ωY(p)DY(p)
融合后图像Z的MSD系数的绝对值较大者公式如下：
Ai(p)＝max(AX(p),AY(p))
其中i的取值为X或Y。
G4、基于滑窗内像素的融合：设MXY(p)描述以p为中心像素的邻域内p对X、Y的匹配程度，其基本公式如下：
Figure BDA0001711407160000041
其中，s、t分别是相对于m、n上的位置偏差，S、T分别表示s、t取得最大整数范围，ω(s,t)是p位置处在(m+s，n+t)时的权重；当MXY(p)小于某个阈值α，则ωX＝0，ωY＝1；否则，权重分别用如下公式计算：
Figure BDA0001711407160000042
MXY表示两图像X、Y在某区域的匹配程度，该区域的范围由中心像素及其邻域决定。
ωY＝1-ωX
结束。
与现有技术相比，本次发明的优点如下：
1、本发明以现有技术为基础，独创性的考虑到灰度场景图本身所蕴含的可移动物体信息，并将其中可以作为背景的可移动物体提取出来放到模板匹配获得的彩色背景图中。
2、本发明采用基于小波变换的图像融合技术，在像素级上对彩色背景图和灰度场景图中可移动物体掩膜进行融合，使得融合的效果可以满足在工作中使用。
3、本发明的SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。SIFT方法获得的特征点数量也是相当多，因此也大大提高了精度。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图对本发明进行进一步地说明。如图1所示，一种改进的灰度图像的彩色背景的构建方法，通过红外摄像仪，图像拼接技术，获得全景图和灰度场景图。再通过像素级比例缩放将灰度场景图缩放到和全景图相同位置处一样大小，进而完成模板匹配；接着对灰度场景图中的可移动物体进行图像修复处理来获得灰度场景图中可移动物体的掩膜。最后通过基于小波变换的图像融合技术将灰度图像中可移动物体的掩膜和彩色背景图像结合，最终获得包含灰度场景图中可移动物体的彩色背景图像。
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种改进的灰度图像的彩色背景的构建方法，其特征在于：包括以下步骤：
A、全景图像采集
通过红外摄像仪对固定区域拍摄多幅彩色场景图像，使其范围覆盖到所需要的全部场景信息；
B、图像拼接
在获得多幅彩色场景图像之后，通过采用尺度不变特征转换方法即SIFT方法，利用多幅彩色场景图像相同区域特征点匹配融合的算法，将所述的多幅彩色场景图像融合到一幅全景图当中；然后通过随机抽样一致方法即CV_RANSAC消除错误匹配点；
C、灰度场景图获取
利用红外摄像仪在全景范围内变焦后进行拍摄，使得拍摄的灰度场景图能够完全存在于之前获得的全景图当中，效果相当于将全景图中的某一部分进行放大；
D、像素级比例缩放
通过采用获取图像任意点的像素点坐标的方法，分别计算全景图和灰度场景图相同物体的像素差，该相同物体是不易在拼接的时候发生畸变、而且全景图和灰度场景图都必须包含的物体；因为在不同焦距拍摄同一物体的情况下，该物体宽高比是不变的，所以这里取物体高度的像素差；通过获得像素差进行灰度场景图的比例缩放，使得其大小和全景图相同位置的大小一致，其基本公式如下：
M*N＝(M1*M2)*(h1/h2)
其中，模板图像的大小为M*N，灰度场景图的大小为M1*M2，全景图栏杆高度的像素个数为h1，红外场景图栏杆高度的像素个数为h2；
E、模板匹配
通过对全景图和灰度场景图进行模板匹配，选择全景图为输入图像，灰度场景图为模板图像；其基本思路是，模板是一幅已知的小图像，模板匹配就是在一幅大图像中搜寻目标，已知该图像中有要找的目标，且该目标同模板有相同的尺寸、方向和物体，通过归一化的序贯相似性检测算法即SSAD法在图像中找到目标，确定其坐标位置，最后通过比较模板图和被模板图覆盖的搜索图的那块区域之间的相似性，完成模板匹配过程；
F、车辆掩膜获取
通过图像修复技术对输入的灰度场景图进行破坏，即用鼠标画出的粗白条进行破坏，沿着灰度场景图中的可移动物体的轮廓进行涂抹，最后获得该物体的掩膜图像，该方法只是用到了图像修复的前两个步骤并且它们的代码都压缩到一起，为了简洁方便，直接使用图像修复技术的代码，并且保存掩膜图像；
G、基于小波变换的图像融合方法
通过基于小波变换的图像融合技术，将从灰度场景图中获得的可移动物体的掩膜图像和模板匹配获得的彩色背景图像进行融合，使得最后获得的彩色背景图像中包括灰度场景图中的可移动物体，最终的效果为在彩色背景图像颜色信息没有太大变化的情况下，于灰度场景图相同区域处，有清晰的可移动物体存在；融合过程包括如下步骤：
G1、图像预处理：图像预处理包括待融合图像配准和对图像的重采样；所述的待融合图像配准就是在变换空间中寻找一种特定的、最优的变换模型，确定配准参数，使得来自同一目标区域、在相同时间或不同时间、不同视角、由相同或不同传感器获取的两幅或多幅图像数据在相同坐标系下进行空间位置的最佳叠合、以保证小波系数在位置上的一一对应，使配准精度达到亚像素级；所述的对图像的重采样是当获得配准参数估计后，将待配准图像坐标做相应的几何变换，使之和参考图像处于同一坐标系下；由于变换以后的坐标不一定为整数，因此需要对变换后的图像进行重新插值处理，以保证待融合的图像具有相同的图像尺寸，保证分解后的小波系数是位置上一一对应的；
G2、小波系数处理：进行小波变换后将原始图像数据按不同频带和分辨率分解成子带图像，每一层小波系数分解成4个子带：垂直和水平方向低频的子带LL即低频近似图像、垂直方向高频和水平方向低频的子带LH即高频垂直方向图像、垂直方向低频和水平方向高频的子带HL即高频水平方向图像、垂直和水平方向高频的子带HH即高频对角线方向图像；在图像融合的应用中，只需要对待融合图像的高频系数进行融合操作处理，低频系数则是根据具体需求选取一幅待处理图像中的系数LL；
G3、图像融合：设待融合图像记为X、Y，融合后的图像记为Z；它们的小波系数分别为Dx、DY和Dz，Ax和AY为待融合图像的高频小波系数，p(m,n,k,l)表示对应位置的小波系数，m、n分别表示p对应的空间位置，k表示小波变换级数，l表示小波变换的频带数；融合后图像Z的MSD系数的加权和公式如下：
DZ(p)＝ωX(p)DX(p)+ωY(p)DY(p)
融合后图像Z的MSD系数的绝对值较大者公式如下：
Ai(p)＝max(AX(p),AY(p))
其中i的取值为X或Y；
G4、基于滑窗内像素的融合：设MXY(p)描述以p为中心像素的邻域内p对X、Y的匹配程度，其基本公式如下：
Figure FDA0003072182120000031
其中，s、t分别是相对于m、n上的位置偏差，S、T分别表示s、t取得最大整数范围，ω(s,t)是p位置处在(m+s，n+t)时的权重；当MXY(p)小于某个阈值α，则ωX＝0，ωY＝1；否则，权重分别用如下公式计算：
Figure FDA0003072182120000032
MXY表示两图像X、Y在某区域的匹配程度，该区域的范围由中心像素及其邻域决定；
ωY＝1-ωX
结束。
CN201810684604.0A 2018-06-28 2018-06-28 一种改进的灰度图像的彩色背景的构建方法 Active CN108876755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810684604.0A CN108876755B (zh) 2018-06-28 2018-06-28 一种改进的灰度图像的彩色背景的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810684604.0A CN108876755B (zh) 2018-06-28 2018-06-28 一种改进的灰度图像的彩色背景的构建方法

Publications (2)

Publication Number Publication Date
CN108876755A CN108876755A (zh) 2018-11-23
CN108876755B true CN108876755B (zh) 2021-09-28

Family

ID=64295416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810684604.0A Active CN108876755B (zh) 2018-06-28 2018-06-28 一种改进的灰度图像的彩色背景的构建方法

Country Status (1)

Country Link
CN (1) CN108876755B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614974B (zh) * 2020-04-07 2021-11-30 上海推乐信息技术服务有限公司 一种视频图像修复方法和***
CN112037134B (zh) * 2020-09-10 2023-04-21 中国空气动力研究与发展中心计算空气动力研究所 一种背景同质处理的图像拼接方法、存储介质及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005262A (ko) * 2008-07-07 2010-01-15 연세대학교 산학협력단 숨은그림찾기 이미지 제작 방법 및 시스템
CN103020941A (zh) * 2012-12-28 2013-04-03 昆山市工业技术研究院有限责任公司 基于全景拼接的旋转摄像头背景建立法及运动物体检测法
CN107147877A (zh) * 2017-06-01 2017-09-08 大连海事大学 固定区域夜雾天况全天候彩***成像***及其构建方法
KR20170116685A (ko) * 2016-04-12 2017-10-20 (주)지니트 멀티 레이어 기반 크로마키 합성 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005262A (ko) * 2008-07-07 2010-01-15 연세대학교 산학협력단 숨은그림찾기 이미지 제작 방법 및 시스템
CN103020941A (zh) * 2012-12-28 2013-04-03 昆山市工业技术研究院有限责任公司 基于全景拼接的旋转摄像头背景建立法及运动物体检测法
KR20170116685A (ko) * 2016-04-12 2017-10-20 (주)지니트 멀티 레이어 기반 크로마키 합성 시스템 및 방법
CN107147877A (zh) * 2017-06-01 2017-09-08 大连海事大学 固定区域夜雾天况全天候彩***成像***及其构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Effective Σ-Δ Background Estimation for Video Background Generation;Fan-Chei Cheng et al;《2008 IEEE Asia-Pacific Services Computing Conference》;20090210;1315-1321 *
一种夜雾天况彩***构建方法;刘丽娜等;《光学学报》;20171231;第37卷(第12期);1-8 *
固定区域夜雾天彩***监控关键技术研究;王旋;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20160715;第2016年卷(第7期);全文 *

Also Published As

Publication number Publication date
CN108876755A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108876723B (zh) 一种灰度目标图像的彩色背景的构建方法
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN110009561B (zh) 一种监控视频目标映射到三维地理场景模型的方法及***
CN111080724A (zh) 一种红外和可见光的融合方法
US9142021B1 (en) Aligning ground based images and aerial imagery
CN109523551B (zh) 一种获取机器人行走姿态的方法及***
US20090167866A1 (en) Methods and systems for image processing in a multiview video system
CN110503620B (zh) 一种基于傅立叶频谱提取的图像融合方法
CN108961286B (zh) 一种顾及建筑物三维及边缘形状特征的无人机影像分割方法
CN107818303B (zh) 无人机油气管线影像自动对比分析方法、***及软件存储器
CN106228548A (zh) 一种屏幕裂痕的检测方法及装置
CN107220957B (zh) 一种利用滚动导向滤波的遥感图像融合方法
CN110263716B (zh) 一种基于街景图像的遥感影像超分辨率土地覆被制图方法
CN109472752B (zh) 基于航拍图像的多曝光融合***
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
Saur et al. Change detection in UAV video mosaics combining a feature based approach and extended image differencing
CN108876755B (zh) 一种改进的灰度图像的彩色背景的构建方法
CN114265427A (zh) 一种基于红外图像匹配的巡检无人机辅助导航***及方法
CN103428408A (zh) 一种适用于帧间的图像稳像方法
Zhu et al. Super-resolving commercial satellite imagery using realistic training data
CN107886101A (zh) 一种基于rgb‑d的场景三维特征点高效提取方法
Wang et al. Panoramic image mosaic based on SURF algorithm using OpenCV
CN112598709B (zh) 一种基于视频流的行人运动速度智能感知方法
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
CN110111368B (zh) 一种基于人体姿态识别的相似移动目标的检测跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant