CN113228104B - 热图像和可见图像对的自动共配准 - Google Patents

热图像和可见图像对的自动共配准 Download PDF

Info

Publication number
CN113228104B
CN113228104B CN201980086421.1A CN201980086421A CN113228104B CN 113228104 B CN113228104 B CN 113228104B CN 201980086421 A CN201980086421 A CN 201980086421A CN 113228104 B CN113228104 B CN 113228104B
Authority
CN
China
Prior art keywords
image
pair
loss function
deformation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980086421.1A
Other languages
English (en)
Other versions
CN113228104A (zh
Inventor
E·桑切斯-蒙格
A·弗伊
迈克尔·肯特
彼得·麦瑟利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taili Diane Ferrier Business Systems
Original Assignee
Taili Diane Ferrier Business Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taili Diane Ferrier Business Systems filed Critical Taili Diane Ferrier Business Systems
Publication of CN113228104A publication Critical patent/CN113228104A/zh
Application granted granted Critical
Publication of CN113228104B publication Critical patent/CN113228104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

图像对共配准***和方法，包括：接收多模态图像对；定义参数变形模型；定义当所述图像对对齐时被最小化的损失函数；和执行多尺度搜索，以确定使损失函数最小化的变形参数。优化的变形参数定义图像对的对齐。该图像对可以包括可见光谱图像和红外图像。该方法还包括：调整可见光谱图像的大小，以匹配红外图像；应用至少一个透镜畸变校正模型；和对所述图像对中的每个图像的动态范围进行归一化。多尺度搜索还可以包括：将所述图像对的大小调整为当前处理尺度；将自适应直方图均衡化应用于所述图像对以生成均衡图像；对均衡图像应用高斯模糊；和优化变形参数。

Description

热图像和可见图像对的自动共配准
相关申请的交叉引用
本申请要求2018年11月6日提交且题为“热图像和可见图像对的自动共配准(AUTOMATIC CO-REGISTRATION OF THERMAL AND VISIBLE IMAGE PAIRS)”的美国临时专利申请第62/756,519号的优先权和权益，通过引用将该专利申请的全部内容并入本文。
技术领域
本公开的一个或多个实施例总体上涉及成像***，并且更具体地，例如，涉及用于配准两个或更多个图像的***和方法。
背景技术
在图像处理领域中，一直需要高效且可靠的方式来分析由成像设备捕获的图像。一些***包括多个图像传感器和/或相机，以捕获一个或多个视场的图像(例如，场景的图像)。捕获场景的多个图像允许对可用于提高分析和检测***的准确性的多组图像数据进行分析。在一般方法中，***利用一对立体相机或传感器来捕获具有相同特性的图像对，然后可以通过识别一个图像中与另一图像中的点相对应的点来将该图像对对齐和/或拼接在一起。然而，图像对之间的不同图像捕获参数(例如，相机位置、捕获时间、例如红外和可见传感器的传感器类型)可能使图像配准具有挑战性。此外，实时处理***需要高效的图像配准处理。鉴于前述内容，在本领域中持续需要既高效又准确的改进的图像配准***和方法。
发明内容
提供了用于多模态图像(包括红外图像和可见图像对)的图像配准的各种***和方法。本发明的范围由权利要求书限定，该权利要求书通过引用结合到本部分中。通过考虑以下对一个或多个实施例的详细描述，将向本领域技术人员提供对本发明实施例的更完整理解，以及实现本发明实施例的附加优点。将对将首先简要描述的附图进行参考。
附图说明
图1示出了根据本公开的各种实施例的示例图像对共配准过程。
图2示出了根据本公开的各种实施例的示例多尺度图像对共配准过程。
图3示出了根据本公开的各种实施例的示例成像***。
图4示出了根据本公开的实施例的示例主机图像配准***。
通过参考下面的详细描述，将最好地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同元件。
具体实施方式
本公开提供了用于跨模态图像配准的改进的***和方法，其非常适合于一系列可见图像和红外图像对的配准。本文公开的***和方法可以在捕获场景的两个或更多个图像的任何多模态图像捕获***中实现，包括无人飞行器***、视频监视***和其他图像捕获***。
参考图1，将根据本公开的各种实施例描述示例图像对共配准过程100。在各种实施例中，图像捕获***同时捕获场景的两个图像——一个在可见光谱中，一个在红外光谱中。在步骤110处，通过图像对共配准过程接收图像，并且在步骤120中，对图像进行预处理，以使图像符合用于本文公开的优化过程。使用包括在步骤130中定义参数变形模型的过程使红外图像变形以与可见图像对齐；在步骤140中定义在将两个图像对齐时被最小化的损失函数；和在步骤150中对参数空间执行搜索以找到最小化损失函数的变形参数。
参考步骤130，在一些实施例中，通过以使图像对中的另一图像的相同位置中的像素与场景中的相同对象对应的方式使图像对中的图像之一(例如，红外图像)变形来对齐图像对。应当注意，在不知道场景的三维结构的情况下，在许多实际实施方式中可能无法创建两个图像的完美对齐(例如，由于视差和三维透视)，并且对于许多图像对仅找到近似。还应注意，较简单的模型允许较少地适应复杂的场景(例如，具有视差和复杂的透视)，但是提供了对最佳参数的更快和更容易的搜索。本文公开的各种实施例的一个目标是实现简单的变形模型，该模型为实际应用提供改进的适应性。本公开包括使用具有4个自由度(平移、旋转、缩放)的相似性变换的变形模型，其允许快速搜索，同时提供针对例如无人飞行***的应用对准大多数场景内容的灵活性。
如本公开中所使用的，图像参数变形被表示为其中，/>被创建为由p＝[δx，δy，s，φ]定义的缩放(变焦(zoom))、旋转和平移的合成，其中，s是控制图像的缩放的缩放因子，φ控制图像的旋转角度，并且δx和δy分别控制图像在水平和垂直方向上的平移(以像素为单位)。过程对参数p给定的输入图像执行相似性变换。在一些实施例中，可以使用例如2D仿射变换(具有6个自由度)或2D投影变换(具有8个自由度)以及允许对某种程度的透视变化进行补偿的变换的更复杂的平移，代价是更高的计算复杂性。
参考步骤140，现在将描述损失函数的实施例。给定图像对，z和y，通过使损失函数被最小化的方式使图像对中的图像之一(y)变形来进行对齐或配准。如本文所用，z表示可见光谱中的图像，而y表示红外光谱中的图像。可以通过比较两个图像的方向梯度来创建损失函数，使得对于每个像素位置(i，j)，该过程减去、平方并累加像素的3×3邻域中的8个方向梯度的大小：
其中，表示由θ＝0°，45°，…，315°定义的方向上的方向梯度。然后，将用于优化变形参数/>的损失函数定义为所有像素上等式(1)的累加：
其中，是对图像y使用的参数变形模型，并且/>是对变形参数/>的惩罚项。等式(2)中的参数α控制损失惩罚的强度。通过最小化等式(2)找到使z和y对齐的最佳变形：
现在将描述损失函数惩罚项的实施例。等式(3)中的优化对参数空间使用了惩罚项，该惩罚项被设计为将变形参数保持在某些合理值内(例如，用户可以针对每种特定情况定义的值)：
其中，pmin，分别是参数/>的最小和最大界限。在一个实施例中，通过定义最大绝对平移δmax(以像素为单位)、最大缩放因子smax、最小缩放因子smin和最大绝对旋转Φmax(以度为单位)，由用户针对每个特定使用场景(例如，相机对设置)控制参数p的界限：
pmin＝[-δmax，-δmax，smin，-Φmax]
pmax＝[δmax，δmax，smax，Φmax]
在另一实施例中，定义了更一般的情况，包括最小平移(δmin)、最大平移(δmax)、最小旋转(Φmin)和最大旋转(Φmax)。然后，pmin和pmax将被定义为如下：
pmin＝[δmin，δmin，smin，Φmin]
pmax＝[δmax，δmax，smax，Φmax]
参考步骤150，现在将描述用于参数优化的实施例。给定参数变形模型(步骤130)和损失函数(步骤140)，可以借助于Nelder-Mead搜索或用于找到等式(3)的最小值的其他合适的数值方法来找到使等式(3)最小化的参数。
可以以多尺度方法执行参数优化，从而提供从粗到细的变形参数估计。现在将参考图2描述多尺度图像对准算法200的实施例。在步骤202处，接收包括可见图像(vis_frame)和红外图像(ir_frame)的图像对。将理解的是，尽管参考可见图像和红外图像对描述了图像对准算法，但是可以使用与本公开的教导一致的其他图像类型。
然后，对输入图像对进行预处理，以使图像适应于本文所述的优化过程中。预处理算法将两个图像z和y(可视图像/帧和红外图像/帧)作为输入。在步骤204中，对图像进行处理以补偿两个图像中的透镜畸变。在一个实施例中，透镜畸变函数在已知的图像捕获设备中准确地建模了光学部件对捕获的图像的影响。在其他实施例中，可以在透镜特性未知的情况下使用通用的透镜畸变函数。通常，可见光谱中的图像将比红外图像具有更高的分辨率。因此，在步骤206中，将大小调整为红外图像的大小。在一些实施例中，在该步骤中，可见图像被转换为灰度。在其他实施例中，可以在该步骤中调整红外图像的大小以适应***要求或约束。接下来，在步骤208中，将两个图像均归一化为相同的动态范围(例如，[0，1])。
然后，对归一化的图像执行多尺度搜索过程210。在多尺度搜索过程210期间，在步骤212中将输入图像大小调整为当前处理尺度。在每个阶段中，在步骤214中通过自适应直方图均衡过程(例如，对比度受限直方图均衡)来均衡图像。对于每个多尺度阶段，在步骤216中通过高斯模糊过程来平滑图像。
在应用每个图像的预处理之后，可以执行参数优化。参数优化过程220包括对变形参数阵列p的优化，找到使等式(3)的损失函数最佳地最小化的p的值。为了便于p的优化，使用了从粗到细的多尺度搜索。在各种实施例中，可以由用户或***设计者根据图像传感器对的分辨率来定义搜索。在操作中，优化过程以多尺度的方式工作，其中，首先在较低的尺度中找到Popt(变形参数)，然后在较细的尺度上进行细化。
在各种实施例中，对准***可以通过以下参数中的一个或多个来配置：
Popt：变形参数p＝[δx，δy，s，φ]。恒等变换Popt＝[0 0 1 0]可以作为第一估计给出。
dampCoeff：Popt的衰减系数。它在视频的连续帧中强制执行对齐的相似性。如果以可能的不同对齐处理独立的图像，则可以使用dampCoeff＝0。
max_offset(δmax)：变形中对于平移所允许的最大绝对值(以像素为单位)。该参数的值根据图像的分辨率和所使用的相机设置而有很大的不同。使用图像对中的图像之间期望的以像素为单位的最大偏移。例如，对于120×160像素的分辨率，建议最大偏差为±10像素，因此max_offset＝10。在各种实施例中，还可以定义min_offset(δmin)。
max_zoom(smax)：变形中允许的最大允许缩放因子。例如max_zoom＝1.1
min_zoom(smin)：变形中允许的最小允许缩放因子，例如min_zoom＝0.9。
max_rot(φmax)：变形中允许的最大旋转绝对值(以度为单位)，例如max_rot＝5将允许图像之间的最大相对旋转为±5°。在各种实施例中，还可以定义min_rot(φmin)。
alpha(α)：等式(2)中惩罚项的强度，默认情况下alpha＝100。使用alpha＝0用于禁用惩罚，从而禁用参数界限。
现在将参考图3和图4描述共配准***和方法的示例实施方式。在各种实施例中，用于对一系列热图像和可见图像对进行共配准的***包括图像捕获设备，例如可操作为同时捕获红外和可见图像的相机；以及可操作为接收图像对的流并执行本文公开的共配准过程的主机***。在一个实施例中，主机***包括多个模板，可以选择该多个模板，以允许将共配准过程调整为与各种图像捕获***一起使用。
参考图3，现在将描述与共配准主机***一起使用的图像捕获***300的实施例。图像捕获***300包括至少两种传感器类型，其产生具有不同图像捕获特性的图像。在各种实施例中，(i)传感器可以捕获相同视场或不同视场中的图像，(ii)传感器可以以相同帧率或不同帧率捕获图像，(iii)传感器可以捕获具有相同或不同的分辨率的图像，并且(iv)传感器可以包含在同一相机外壳中，或者可以包含在单独的机壳或设备中。可以根据本公开的精神和范围来实现其他配置，以产生具有不同图像捕获模态的图像对。
在一些实施方式中，图像捕获设备是可以捕获和处理可见图像和红外图像的多光谱成像***的一部分。在各种应用中，期望将捕获的图像对一个在另一个上地对准。例如，可以对多个图像执行对象检测，并且组合结果以实现更准确的对象检测。在一些实施例中，本文公开的***和方法被配置为自动对准图像对。
在各种实施例中，图像捕获***300可以在无人飞行***(UAS)中实现，无人飞行***包括可操作为在飞行期间捕获可见和红外图像的无人飞行器(UAV)或无人机。UAS可以包括独立***，该独立***包括主机***和/或分布式***，其可以包括云或其他网络服务器***上的图像处理和图像共配准。在各种实施例中，在UAV从任务返回之后，将图像传输到主机***以进行对准和分析。在一些实施例中，可能需要使用2D和/或3D图像配准技术将在UAS任务期间捕获的红外图像和可见图像组合成单个数据集。单个任务可以包括在长达30分钟的时间段期间捕获的100个图像。在这段时间期间，图像捕获部件的环境状况可能会发生变化，即使场景本身未发生变化，这也可能导致图像捕获以不同的信号水平感测的场景的相同特征。本文公开的图像共配准过程可用于对准可见和红外图像对(或使用不同模态捕获的其他图像对)以用于进一步的图像处理。
图像捕获***300可以是用于例如捕获和处理图像以检测、分类和/或计数出现在视场中的对象、对地形和物理结构进行绘图和/或执行其他图像捕获和处理功能的成像***。如图所示，图像捕获***300可以用于对视场中的场景370进行成像。图像捕获***300包括处理部件310、存储器部件320、图像捕获部件330、光学部件332(例如，一个或多个透镜，被配置为通过相机部件301中的孔334接收电磁辐射并将电磁辐射传递至图像捕获部件330)、图像捕获接口部件336、可选显示部件340、控制部件350、通信部件352和其他感测部件。
在各种实施例中，图像捕获***300可以被实现为成像设备，例如相机部件301，以捕获例如相机部件301的视场中的场景370的图像帧。在一些实施例中，相机部件301可以包括容纳在保护性外壳中的图像捕获部件330、光学部件332和图像捕获接口部件336。图像捕获***300可以表示适于对场景370成像并提供相关图像数据的任何类型的相机***。图像捕获***300可以在各种类型的固定位置和环境处或者在便携式设备或载具(例如，有人和/或无人驾驶陆基载具、船只、飞机、航天器或其他载具)中实现有相机部件301。
处理部件310可以包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑器件(例如，被配置为执行处理操作的可编程逻辑器件)、数字信号处理(DSP)设备、用于存储可执行指令(例如，软件、固件或其他指令)的一个或多个存储器、图形处理单元和/或执行指令以执行本文描述的各种操作中的任一个的处理设备和/或存储器的任何其他适当组合。处理部件310适于与部件320、330、340和350连接并通信，以执行本文描述的方法和处理步骤。处理部件310还可以适于执行本文所述的图像处理(图像处理部件380)和/或图像对共配准(图像对共配准部件382)。在各种实施例中，处理部件310还可以适于通过图像处理部件380来对由图像捕获部件330捕获的图像中的对象进行检测和分类。
应当理解，处理操作和/或指令可以被集成在软件和/或硬件中，作为处理部件310、或者可以被存储在存储器部件320中的代码(例如，软件或配置数据)的一部分。本文公开的处理操作和/或指令的实施例可以由机器可读介质以非暂时性方式(例如，存储器，硬盘驱动器，紧凑式盘，数字视频盘或闪存)存储，以由一个或多个计算机(例如，基于逻辑或基于处理器的***)执行，从而执行本文公开的各种方法。
在一个实施例中，存储器部件320包括一个或多个存储器设备(例如，一个或多个存储器)以存储数据和信息。该一个或多个存储器设备可以包括各种类型的存储器，包括易失性和非易失性存储器设备，例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存或其他类型的存储器。在一个实施例中，处理部件310适于执行存储在存储器部件320和/或机器可读介质中的软件，以按照本文描述的方式执行各种方法、过程和操作。
在一个实施例中，图像捕获部件330包括两个或更多个传感器，用于捕获表示场景370的图像的图像信号。在一个实施例中，图像捕获部件330的传感器提供用于使用多种模态(例如，MOD1和MOD2)将场景370的捕获的红外图像信号表示(例如，转换)为数字数据(例如，通过模数转换器，其被包括作为传感器的一部分或与传感器分离作为图像捕获***300的一部分)。在一些实施例中，图像捕获部件330包括以阵列或其他方式实现在基板上的红外传感器(例如，红外检测器)。例如，在一个实施例中，红外传感器可以被实现为焦平面阵列(FPA)。红外传感器可以被配置为检测来自目标场景的红外辐射(例如，红外能量)，可以根据需要包括例如中波红外波段(MWIR)、长波红外波段(LWIR)和/或其他热成像波段。红外传感器可以被实现为例如微测辐射热计或其他类型的热成像红外传感器，其以任何期望的阵列图案布置以提供多个像素。在一些实施例中，图像捕获部件330还包括可见光谱传感器，其被配置为检测来自目标场景的可见光谱辐射。
处理部件310可以适于从图像捕获部件330接收图像信号，处理图像信号(例如，以提供经处理的图像数据)，将图像信号或图像数据存储在存储部件320中，和/或从存储器部件320中检索存储的图像信号。在各个方面，如本文所述，处理部件310可被远程定位，并且处理部件310可适于通过与图像捕获接口部件336的有线或无线通信从图像捕获部件330远程地接收图像信号。
显示部件340可以包括图像显示设备(例如，液晶显示器(LCD))或各种其他类型的通常已知的视频显示器或监视器。在各种实施例中，控制部件350可以包括用户输入和/或接口设备，例如键盘、控制面板单元、图形用户界面或其他用户输入/输出。控制部件350可以适于被集成为显示部件340的一部分，以既用作用户输入设备又用作显示设备，例如，适于接收来自触摸显示屏的不同部分的用户的输入信号的触屏设备。
处理部件310可以适于与图像捕获接口部件336通信(例如，通过从图像捕获部件330接收数据和信息)。图像捕获接口部件336可以被配置为从图像捕获部件330接收图像信号(例如，图像帧)，并且直接地或通过一个或多个有线或无线通信部件(例如，由连接337表示)以通信部件352的方式将图像信号传送至处理部件310。在各种实施例中，相机部件301和处理部件310可以彼此接近或远离地定位。
在一个实施例中，通信部件352可以被实现为适于与网络通信的网络接口部件，并且可以包括一个或多个有线或无线通信部件。在各种实施例中，网络354可以被实现为单个网络或多个网络的组合，并且可以包括有线或无线网络、包括无线局域网、广域网、互联网、云网络服务和/或其他适当类型的通信网络。图像捕获***300可以被配置为与一个或多个计算设备、服务器和/或一个或多个数据库一起操作，并且可以与其他部件组合。在一些实施例中，图像捕获***300可以通过网络354(例如，互联网或云)将图像对发送到服务器***，例如主机配准***356，以进行本文公开的远程图像对共配准和处理。
参考图4，现在将描述主机图像配准***400的各种实施例。主机图像配准***400可以在一个或多个服务器上执行，该一个或多个服务器例如是应用服务器，其执行数据处理和/或用于生成、存储、分类和检索图像的其他软件执行操作。在一些实施例中，主机图像配准***400的部件可以分布在例如通信网络422的通信网络上。通信网络422可以包括例如无线局域网的一个或多个局域网；例如互联网的广域网；和适于促进本文描述的部件之间的通信的其他有线或无线通信路径。主机图像配准***400包括通信部件414，其可操作为促进通过通信网络422与一个或多个图像捕获***420的通信。
在各种实施例中，主机图像配准***400可以操作为通用图像配准***，例如基于云的图像配准***，或者可以被配置为在专用***中操作，该专用***例如是视频监视***，其存储从多个图像捕获设备实时捕获的视频和图像，并使用数据库402对对象进行识别和分类。主机图像配准***400可以被配置为从一个或多个图像捕获***420接收一个或多个图像对(例如，从视频监控***的红外相机捕获的图像和对应的可见光图像)，并处理关联的共配准请求。
如图所示，主机图像配准***400包括一个或多个处理器404，其执行主机图像配准***400的数据处理和/或其他软件执行操作。处理器404可以包括逻辑器件、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或主机图像配准***400可以用于执行适当的指令的其他设备，该指令例如存储在存储器406中的软件指令，包括图像对共配准部件410和/或其他应用。存储器406可以在存储可执行指令、数据和信息(包括图像数据、视频数据、音频数据和网络信息)的一个或多个存储器设备(例如，存储器部件)中实现。在各种实施例中，主机图像配准***400可以被配置为与各种网络设备(例如，图像捕获***420、台式计算机或网络服务器、移动计算设备(例如移动电话、平板计算机、膝上型计算机)或具有用于与主机图像配准***400连接的通信电路(例如，无线通信电路或有线通信电路)的其他计算设备)接口连接。
通信部件414可以包括用于使用各种通信协议与其他设备进行通信的电路。在各种实施例中，通信部件414可以被配置为通过用于有线通信目的的有线通信链路(例如，通过网络路由器、交换机、集线器或其他网络设备)进行通信。例如，有线链路可以用电力线电缆、同轴电缆、光纤电缆或支持对应的有线网络技术的其他适当的电缆或电线来实现。通信部件414可以进一步被配置为通过有线通信部件与有线网络和/或设备接口连接，该有线通信部件例如以太网接口、电力线调制解调器、数字用户线(DSL)调制解调器、公共交换电话网(PSTN)调制解调器、电缆调制解调器和/或用于有线通信的其他适当部件。通信部件414还可以支持专有的有线通信协议和接口。
在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本公开提供的各种实施例。另外，在适用的情况下，在不脱离本公开的精神的情况下，本文阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，本文阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。
可以将根据本公开的软件，例如非暂时性指令，程序代码和/或数据，存储在一个或多个非暂时性机器可读介质上。还预期可以使用联网的和/或不联网的一个或多个通用或专用计算机和/或计算机***来实现本文中识别的软件。在适用的情况下，可以更改本文描述的各个步骤的顺序、将该各个步骤组合为复合步骤和/或分为子步骤以提供本文描述的功能。
上述实施例说明但不限制本发明。还应该理解，根据本发明的原理，可以进行多种修改和变化。因此，本发明的范围仅由所附权利要求书限定。

Claims (20)

1.一种图像对共配准方法，所述方法包括：
接收图像对；
定义参数变形模型，所述参数变形模型为一组变形参数的每一个提供图像变形；
至少部分地基于经处理的图像对中每一个的至少一个方向梯度，来定义损失函数，所述经处理的图像对通过包括应用所述参数变形模型的过程从接收的图像对获得，其中，所述损失函数是当所述图像对对齐时被最小化的损失函数；和
执行多尺度搜索，以确定使所述损失函数最小化的最佳变形参数；
其中，所述最佳变形参数定义所述图像对的对齐。
2.根据权利要求1所述的方法，其中，所述图像对包括可见光谱图像和红外图像。
3.根据权利要求2所述的方法，还包括：调整所述可见光谱图像的大小，以匹配所述红外图像；
其中，至少部分地基于在多个像素的每个像素处比较经处理的图像对的方向梯度，来定义所述损失函数。
4.根据权利要求1所述的方法，还包括：将至少一个透镜畸变校正模型应用于所述图像对中的每个图像。
5.根据权利要求1所述的方法，还包括：归一化所述图像对中的每个图像的动态范围；
其中，至少部分地基于在多个像素的每个像素处的多个方向的每个方向上比较经处理的图像对的方向梯度，来定义所述损失函数。
6.根据权利要求1所述的方法，其中，所述多尺度搜索还包括：将所述图像对的大小调整为所述多尺度搜索的当前处理尺度。
7.根据权利要求6所述的方法，其中，所述多尺度搜索还包括：在将所述图像对的大小调整为所述多尺度搜索的当前处理尺度后，将自适应直方图均衡应用于所述图像对以生成均衡图像。
8.根据权利要求7所述的方法，其中，所述多尺度搜索还包括：将高斯模糊应用于所述均衡图像。
9.根据权利要求1所述的方法，其中，至少部分地基于在多个像素的每个像素处的多个方向的每个方向上确定经处理的图像对的方向梯度的绝对值之间的差的平方和，来定义所述损失函数。
10.根据权利要求1所述的方法，其中，通过p＝[δx,δy,s,φ]定义每个变形参数p，其中，s是控制图像缩放的缩放因子，φ控制图像旋转角度，并且δx和δy分别控制图像在水平和垂直方向上以像素为单位的平移；并且
对于每个变形参数，至少部分地基于变形参数的惩罚项，来定义损耗函数。
11.一种图像对共配准***，所述***包括：
处理器；和
本地存储器，所述本地存储器能操作为存储多个机器可读指令，所述多个机器可读指令在由处理器执行时能操作为使***执行以下的步骤：
接收图像对；
定义参数变形模型，所述参数变形模型为一组变形参数的每一个提供图像变形；
至少部分地基于经处理的图像对中每一个的至少一个方向梯度，来定义损失函数，所述经处理的图像对通过包括应用所述参数变形模型的过程从接收的图像对获得，其中，所述损失函数是当所述图像对对齐时被最小化的损失函数；和
执行多尺度搜索，以确定使所述损失函数最小化的最佳变形参数；并且
其中，所述最佳变形参数定义所述图像对的对齐。
12.根据权利要求11所述的***，其中，所述图像对包括可见光谱图像和红外图像；并且其中，该***还包括多个图像捕获部件，该多个图像捕获部件包括能操作为捕获所述可见光谱图像的可见光谱传感器和能操作为捕获所述红外图像的红外传感器。
13.根据权利要求12所述的***，还包括光学部件，所述光学部件被布置成将场景的图像传递到所述图像捕获部件；并且其中，所述多个机器可读指令在由所述处理器执行时还能操作为使所述***执行包括将至少一个透镜畸变校正模型应用于所述图像对中的每个图像的步骤，所述透镜畸变校正模型包括所述光学部件的模型。
14.根据权利要求11所述的***，其中：
至少部分地基于在多个方向的每个方向上比较经处理的图像对的方向梯度，来定义所述损失函数；以及
所述多个机器可读指令在由所述处理器执行时还能操作为使所述***执行以下的步骤：归一化所述图像对中的每个图像的动态范围。
15.根据权利要求11所述的***，其中：
至少部分地基于在多个像素的每个像素处比较经处理的图像对的方向梯度，来定义所述损失函数；以及
所述多个机器可读指令在由所述处理器执行时还能操作为使所述***执行以下的步骤：
将所述图像对的大小调整为多尺度搜索的当前处理尺度。
16.根据权利要求15所述的***，其中，所述多尺度搜索还包括：在将所述图像对的大小调整为所述多尺度搜索的对应处理尺度后，将自适应直方图均衡应用于所述图像对，以生成均衡图像。
17.根据权利要求16所述的***，其中，所述多尺度搜索还包括：将高斯模糊应用于所述均衡图像。
18.根据权利要求11所述的***，其中，至少部分地基于在多个像素的每个像素处的多个方向的每个方向上确定经处理的图像对的方向梯度的绝对值之间的差的平方和，来定义所述损失函数。
19.根据权利要求11所述的***，其中，通过p＝[δx,δy,s,φ]定义每个变形参数p，其中，s是控制图像缩放的缩放因子，φ控制图像旋转角度，并且δx和δy分别控制图像在水平和垂直方向上以像素为单位的平移；并且
对于每个变形参数，至少部分地基于变形参数的惩罚项，来定义损耗函数。
20.一种包括根据权利要求11所述的***的无人飞行***。
CN201980086421.1A 2018-11-06 2019-11-05 热图像和可见图像对的自动共配准 Active CN113228104B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862756519P 2018-11-06 2018-11-06
US62/756519 2018-11-06
PCT/US2019/059936 WO2020097128A1 (en) 2018-11-06 2019-11-05 Automatic co-registration of thermal and visible image pairs

Publications (2)

Publication Number Publication Date
CN113228104A CN113228104A (zh) 2021-08-06
CN113228104B true CN113228104B (zh) 2024-06-14

Family

ID=68655775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086421.1A Active CN113228104B (zh) 2018-11-06 2019-11-05 热图像和可见图像对的自动共配准

Country Status (4)

Country Link
US (1) US11869204B2 (zh)
EP (1) EP3877951A1 (zh)
CN (1) CN113228104B (zh)
WO (1) WO2020097128A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191965B (zh) * 2021-04-14 2022-08-09 浙江大华技术股份有限公司 图像降噪方法、设备及计算机存储介质
CN115035515A (zh) * 2022-06-15 2022-09-09 电子科技大学 一种馕识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US7177486B2 (en) * 2002-04-08 2007-02-13 Rensselaer Polytechnic Institute Dual bootstrap iterative closest point method and algorithm for image registration
US7756358B2 (en) 2004-11-30 2010-07-13 Hewlett-Packard Development Company, L.P. System and method of aligning images
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
JP5679978B2 (ja) 2010-03-19 2015-03-04 パナソニックＩｐマネジメント株式会社 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
US8532402B2 (en) * 2011-06-22 2013-09-10 The Boeing Company Image registration
CN102298779B (zh) * 2011-08-16 2013-08-21 淮安盈科伟力科技有限公司 全景辅助泊车***的图像配准方法
CN102567979B (zh) * 2012-01-20 2014-02-05 南京航空航天大学 车载红外夜视***及其多源图像融合方法
US9897792B2 (en) * 2012-11-30 2018-02-20 L&T Technology Services Limited Method and system for extended depth of field calculation for microscopic images
WO2014100787A1 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
CN103714548B (zh) * 2013-12-27 2017-01-11 西安电子科技大学 基于视觉注意的红外图像与可见光图像配准方法
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
US10013764B2 (en) * 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
CN104134208B (zh) * 2014-07-17 2017-04-05 北京航空航天大学 利用几何结构特征从粗到精的红外与可见光图像配准方法
US9576356B2 (en) * 2015-05-08 2017-02-21 Siemens Healthcare Gmbh Region clustering forest for analyzing medical imaging data
CN211825673U (zh) * 2015-12-07 2020-10-30 菲力尔***公司 成像装置
US10194089B2 (en) * 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
CN107480772B (zh) * 2017-08-08 2020-08-11 浙江大学 一种基于深度学习的车牌超分辨率处理方法及***
US10362296B2 (en) * 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
CN107862707A (zh) * 2017-11-06 2018-03-30 深圳市唯特视科技有限公司 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法
CN108171787A (zh) * 2017-12-18 2018-06-15 桂林电子科技大学 一种基于orb特征检测的三维重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219462B1 (en) * 1997-05-09 2001-04-17 Sarnoff Corporation Method and apparatus for performing global image alignment using any local match measure

Also Published As

Publication number Publication date
CN113228104A (zh) 2021-08-06
EP3877951A1 (en) 2021-09-15
US20210272300A1 (en) 2021-09-02
US11869204B2 (en) 2024-01-09
WO2020097128A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
US10013764B2 (en) Local adaptive histogram equalization
CN109167924B (zh) 基于混合相机的视频成像方法、***、设备及存储介质
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
US9142021B1 (en) Aligning ground based images and aerial imagery
US20160196653A1 (en) Systems and methods for dynamic registration of multimodal images
US10375378B2 (en) Dual camera system for real-time depth map generation
CN110660088A (zh) 一种图像处理的方法和设备
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
US11869204B2 (en) Automatic co-registration of thermal and visible image pairs
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及***
US20210279897A1 (en) Response normalization for overlapped multi-image applications
CN105554354A (zh) 一种高清摄像头
Parmehr et al. Automatic parameter selection for intensity-based registration of imagery to LiDAR data
TW201523516A (zh) 移動攝影機之畫面穩定方法
US11875544B2 (en) Annotation of infrared images for machine learning using beamsplitter-based camera system and methods
US9992398B2 (en) Optical sighting
Dornaika et al. Image registration for foveated panoramic sensing
Ahn et al. Research of panoramic image generation using IoT device with camera for cloud computing environment
Rajendran et al. A pixel-based color transfer system to recolor nighttime imagery
US11669992B2 (en) Data processing
Ly et al. Automatic color correction: region-based approach and performance evaluation using full reference metrics
US20240161232A1 (en) Flexible Multi-Camera Focal Plane: A Light-Field Dynamic Homography
WO2022253043A1 (zh) 人脸深度图像的面部变形补偿方法、成像装置和存储介质
Gama et al. Unsupervised calibration of RGB-NIR capture pairs utilizing dense multimodal image correspondences
Tektonidis et al. Evaluation of a logarithmic HDR sensor for an image-based navigation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: U.S.A.

Address after: California, USA

Applicant after: Taili Diane Ferrier business systems

Address before: California, USA

Applicant before: Flier business systems

Country or region before: U.S.A.

GR01 Patent grant
GR01 Patent grant