CN103250407A - 用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 - Google Patents
用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 Download PDFInfo
- Publication number
- CN103250407A CN103250407A CN2011800580980A CN201180058098A CN103250407A CN 103250407 A CN103250407 A CN 103250407A CN 2011800580980 A CN2011800580980 A CN 2011800580980A CN 201180058098 A CN201180058098 A CN 201180058098A CN 103250407 A CN103250407 A CN 103250407A
- Authority
- CN
- China
- Prior art keywords
- visible light
- image
- light image
- point spread
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 69
- 230000003595 spectral effect Effects 0.000 title claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000004907 flux Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims 1
- 238000001931 thermography Methods 0.000 abstract 2
- 230000006870 function Effects 0.000 description 61
- 238000005457 optimization Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明涉及一种热图像照相机（1），其中设定：在该热图像照相机（1）随机移动期间拍摄红外图像（4）的红外图像数据流（5）并且将这些红外图像（4）组合为更高分辨率的红外图像（9）。
Description
技术领域
本发明涉及一种用于提供非可见光图像的方法和相应的照相机和相应的测量设备。
背景技术
作为这样的用于在非可见光谱范围内拍摄的照相机的示例已知有热图像照相机。
在已知的热图像照相机中经常期望的是，改善可用现有的探测器单元获得的分辨率。
一种原则上改善可获得的分辨率的可能性是，提高探测器单元的像素数。然而，这在结构上是复杂的并且以不期望的方式提高热图像照相机的制造成本。
此外也已知紫外照相机、兆赫照相机、μ波照相机以及其他用于在非可见光谱范围内拍摄非可见光图像的照相机，其具有类似的问题。
发明内容
因此，作为本发明的基础的任务在于，以其他方式改善在热图像照相机中或在其他用于在非可见光谱范围内拍摄非可见光图像的照相机中可获得的分辨率。
按照本发明，为了解决该任务，在开始提到的方法中设定：在用于在非可见光谱范围内拍摄非可见光图像的照相机随机移动期间和/或之前和之后，拍摄具有拍摄图像分辨率的非可见光图像的非可见光图像数据流，并且通过组合所拍摄的非可见光图像而制成具有输出图像分辨率的所提供的SR图像，其中所述输出图像分辨率高于所述拍摄图像分辨率。由此按照本发明的方法提供具有相对于各个非可见光图像提高的图像分辨率的SR图像。该经加工的图像在此可以包含探测器的所有测量值或所述测量值的子集。
非可见光图像是指测量值的一维、二维、三维或多维数组，其例如给出测量值的空间关系或空间时间关系。对于本发明特别有利的是，所述非可见光图像是测量值的二维数组。
在此，照相机例如可以用于在红外、紫外、兆赫和/或μ波光谱范围内拍摄非可见光图像。
所述随机移动可以以多样的方式产生。例如，该照相机可以手持式操作，从而所述随机移动通过手的不由自主的移动而产生。
也可以设定，将所述照相机安装在车辆上。在这种情况下，所述随机移动可以由移动的带有所述照相机的车辆的移动产生。
所述随机移动也可以由其他方式产生。
图像数据流的概念一般表示图像的累积或顺序，这些图像不必一定存在于连续的数据流中。
一种优越的应用情况在于，照相机构造用于在红外光谱范围内拍摄，并且因此该照相机是热图像照相机。在这种情况下，非可见光图像作为以红外图像数据流形式的红外图像存在。那么按照本发明，在用于提供具有提高的分辨率的红外图像的方法中设定：在优选手持式的热图像照相机随机移动期间和/或之前和之后，或者在移动的、带有热图像照相机且将其随身携带的车辆随机移动期间和/或之前和之后，拍摄具有拍摄图像分辨率的红外图像的红外图像数据流，并且通过组合拍摄的红外图像而制成具有输出图像分辨率的所提供的SR红外图像，其中所述输出图像分辨率高于所述拍摄图像分辨率。因此本发明利用如下认知：通过在热图像照相机移动期间或所述移动之前和之后以红外图像数据流的形式拍摄多个红外图像而准备好用于再处理的红外图像，这些红外图像相互间略微不同并且因此允许在一个组合中通过热图像照相机的探测器单元的像素降低对图像分辨率的限制。为了制成图像数据流，可以使在当今的热图像照相机中经常已经存在的功能用于拍摄图像序列。为制成更高分辨率的SR红外图像所需的拍摄时间间隔相对于单次拍摄仅仅略微提高，这是因为少量的红外图像的组合已经显示了令人满意的结果。简单地说，通过热图像照相机的探测器单元的随机移动，在红外图像数据流的单个红外图像的拍摄之间错开一段距离，该距离小于探测器单元的像素间距。
所利用的移动是随机的，亦即移动方向和移动距离对于方法的实施是未知的。在此一种典型的应用情况是一种手持式的（热图像）照相机，其基于手不由自主的移动而不断地进行随机移动。
另一种应用情况是这样的（热图像）照相机，即其在交通工具中、例如在陆上交通工具如客车、货车、两轮车、链轮车等中、在空中交通工具和/或在水上交通工具中用作用于支持驾驶员的夜视装置。本发明在这些情况下利用的是，刚性地安装在车辆上的（热图像）照相机自身在交通工具移动期间经受随机的不由自主的移动，该移动可以用于按照本发明的方法。因此本发明的SR（红外）图像可以作为改善的夜视图像提供。
可以设定，为了组合所拍摄的非可见光图像，优化能量选择，其中所述能量函数基于试验性地组合为所述SR图像的非可见光图像进行分析。能量函数的使用提供一种简单可操作的规范，其可在执行所述优化和整个方法中在计算单元中应用并可进一步处理。借助于该评估规范可以如下改变试验性地制成的SR图像，即实现一个优化的规范，例如最大或最小。代替优化也可以力求一种状态，在该状态下能量函数仅仅还略微地、例如在预定的阈值内改变。
可以设定，在组合所拍摄的非可见光图像之前，为每个非可见光图像求得一个变换，通过所述变换使所述非可见光图像相互间或者关于基准进行配准、特别是进行亚像素精度地配准。由此已经明显地限制了所拍摄的非可见光图像的可能的组合的数量，由此可以这样减小为了实施所述优化所需的计算能力、特别是存储需求和/或计算时间，使得所述方法也可以基于在当今的热图像照相机中已经存在的计算单元实施。
为了评估试验性地制成的SR图像和/或为了制成SR图像可以设定，在组合所拍摄的非可见光图像之前，为每个非可见光图像配设一个选自点扩散函数的准备好的测试集的点扩散函数，其中所述测试集的点扩散函数模拟热图像照相机对于不同的拍摄方向和/或不同的拍摄地点的光学成像特性。所述测试集可以由不同的点扩散函数和/或通过点扩散函数的不同的参数值构成。在此，本发明在数学描述光学成像过程时利用点扩散函数的本身已知的应用。优选地，为非可见光图像数据流的每个非可见光图像配设这样的点扩散函数，即其最佳地描述在相应的非可见光图像的拍摄时间点由热图像照相机占据的拍摄地点。因此可以使用在配准时计算的移动，以便移动所述点扩散函数，使得其刚好将移动的非可见光图像填入到SR图像的网格中。
在此，在拍摄时间点实际的拍摄地点或拍摄方向不需要是已知的，而是可以将这样的点扩散函数配设给每个拍摄的非可见光图像，即该点扩散函数对应于在配准时相应求得的变换。在此使用对于实施按照本发明的方法需要的、在求得的变换的参数中包含的、关于在相应的非可见光图像的拍摄时间点的拍摄地点或拍摄方向的信息。
如果在测试集中准备好描述不同相对图像移动的点扩散函数，那么产生用于描述可用的变换的、对于多个应用足够的较小的参数空间。因此，节省资源地执行按照本发明的方法是可能的。特别是，盲反卷积是不需要的。
在这种情况下可以通过所配设的图像移动将点扩散函数参数化。在此所述图像移动可以是平移和/或旋转和/或拉伸和压缩。如果在测试集中准备好可以通过纯平移相互转变的点扩散函数，那么产生特别小的参数空间。如果二维点扩散函数是对称的和/或可分的，亦即可表示为两个一维函数的积，那么产生在计算技术上的极大简化。特别有利的是，所述点扩散函数通过delta函数定义。在此可以以简单的方式将delta函数的中心位置用于描述相对图像移动。
为了优化可以设定，所述能量函数评估所拍摄的非可见光图像与用相应地也就是对于每个非可见光图像选择的点扩散函数描绘的、试验性的SR图像的偏差。优选地，通过减法和求绝对值计算该偏差。通过这种方式可以实现，当SR图像尽可能小地偏离以非可见光图像数据流拍摄的场景时，能量函数采用一个优化的值。在数学上这如下实现，即用于选择的点扩散函数的优化的SR图像最佳地给出实际在非可见光图像数据流中拍摄的非可见光图像。
作为优化所述能量函数的开始点，所述输出图像分辨率的测试像素矩阵可以用所述非可见光图像的图像值根据相应求得的变换和/或相应配设的点扩散函数填充并且用作试验性地制成的SR图像。通过这种方式可以对于多数应用情况实现，所述开始点已经位于最优附近，由此又可以节省计算资源。
作为用于配准的基准，可以从所述非可见光图像数据流中选择一个非可见光图像作为非可见光基准图像。
如果需要连续地、即持续地实施所述方法，那么可以设定，所述方法以一个在连续的非可见光图像数据流内随之移动的非可见光基准图像实施。在此有利的是，非可见光图像的通过热图像照相机的随机移动引起的图像移动关于基准不会太大。在限制对于按照本发明的方法需要的存储区域之前，可以设定，所述方法以在连续的非可见光图像数据流内随之移动的选择的非可见光图像连续地实施。一旦在时间位于后面的拍摄的非可见光图像对于高分辨率的SR图像的当前计算不再需要，那么因此将在时间位于后面的拍摄的非可见光图像摒弃。如果所述SR图像的输出图像分辨率是所述非可见光图像的图像分辨率的SRF倍，那么在按照本发明的方法步骤中选择并且分析至少或者正好SRF 2+1个非可见光图像。对于多种情况，SRF 2个非可见光图像或甚至SRF个非可见光图像既已足够。
可以设定，在优化所述能量函数期间改变所述SR图像，例如通过梯度法来改变。
备选地或附加地可以设定，在优化所述能量函数期间改变配设给所述非可见光图像的点扩散函数，例如通过移动相应的点扩散函数的中心来改变。
附加地可以节省计算资源的是，对于每个非可见光图像所述亚像素精度的配准在两步法中求得，其中在第一方法步骤中求得一个粗配准并且在第二方法步骤中借助于光通量求得所述亚像素精度的配准。所述粗配准产生非可见光图像相互间以大约探测器单元的像素间距的精度的配准，并且所述粗配准可以例如借助于相位相关方法或通过其他方式求得。通过分为两个方法步骤可以限制用于亚像素精度的配准的计算成本。
有利地，逐像素地求得所述亚像素精度的配准。在此可以设定，在相应的非可见光图像中对与预定的阈值相比在更大程度上偏离相应求得的配准、特别是偏离方向的平均值和移动的绝对值的像素值进行屏蔽。通过这种方式可以阻止，拍摄光学器件的所谓的异常值或成像错误不必要地给优化方法造成负担或者甚至导致错误的结果。
为了在数学上给出成像过程、特别是在分析能量函数时可以设定，在以选择的点扩散函数描绘所述SR图像时，计算相应的SR图像与相应的点扩散函数的卷积。
为了解决所述任务，按照本发明的方法应该应用在一种热图像照相机中，其具有：用于生成非可见光图像的非可见光图像数据流的探测器单元、用于处理所述非可见光图像数据流的图像处理单元以及用于输出所提供的SR图像设立的输出单元，其中，所述图像处理单元例如通过对计算单元进行编程而用于实施按照本发明的方法，并且其中，所述拍摄图像分辨率由所述探测器单元给定，并且所述输出图像分辨率大于所述拍摄图像分辨率。可以设定，所述输出图像分辨率通过输出单元、例如输出单元的技术可能性预定。该输出单元因此提供这样的分辨率，其允许所提供的SR图像或其一部分的输出。
该输出可以例如通过数据接口或通过显示器实现。
为了解决所述任务，按照本发明的方法也可以应用在一种测量设备中，其包括用于在非可见光谱范围内拍摄非可见光图像的照相机、特别是热图像照相机，其中所述照相机包括：用于生成非可见光图像的非可见光图像数据流的探测器单元、用于处理所述非可见光图像数据流的图像处理单元以及用于输出所提供的SR图像的输出单元，并且此外其特征在于，所述图像处理单元用于实施按照本发明的方法，其中所述拍摄图像分辨率由所述探测器单元预定，并且所述输出图像分辨率大于所述拍摄图像分辨率。所述图像处理单元在此可以集成到所述照相机中或者与其分开地构成。所述图像处理单元可以在所述照相机的操作时间期间或者继其之后***作。
附图说明
现在根据实施例详细描述本发明，但是本发明并不限于该实施例。其他实施例通过权利要求的单个或多个特征相互间的和/或与该实施例的单个或多个特征的组合产生。
为了简化，在阐明的实施例中假定，所述照相机作为热图像照相机存在。在其他实施例中，也可以使用用于在其他非可见光谱范围内拍摄的照相机，例如用于在紫外、兆赫和/或μ波光谱范围内拍摄图像的照相机。
在实施例的描述中，为了阐明本发明，将非可见光图像称为红外图像，将非可见光图像数据流称为红外图像数据流，将用于在非可见光谱范围内拍摄的照相机称为热图像照相机，将探测器单元称为红外探测器单元，并且将SR图像称为SR红外图像。
附图示出：
图1 按照本发明的热图像照相机的从前方观看的斜视图；
图2 按照图1的热图像照相机的从后方观看的斜视图；
图3 按照本发明的方法的流程图；以及
图4 按照本发明的方法的原理示意图。
具体实施方式
在图1和图2中示出的整体以1表示的热图像照相机具有以本身已知的方式设置和构造在红外光学器件2后方的红外探测器单元3。
红外探测器单元3用于连续地以红外图像数据流5的形式拍摄红外图像4，所述红外图像在图4中示意地示出。为了阐明红外图像4的像素，通过棋盘图案代替相应的图像内容。
热图像照相机1构成为手持式装置，并且为了手持式操作而设有把手6，在该把手中可拆卸地设置蓄能器7以操作热图像照相机1。
热图像照相机还具有构成为显示器的输出单元8，其用于给出在图4中示意地示出的、具有相对于红外图像4提高的输出图像分辨率的SR红外图像9。该较高的输出图像分辨率通过棋盘图案的较多数量的方格表明。
在热图像照相机1的内部，不进一步明显可见的图像处理单元10以计算单元的形式实现，其用于实施随后根据图4和图5描述的按照本发明的方法。
在热图像照相机1随机移动期间或至少之前和之后，用红外探测器单元3拍摄一个场景的红外图像的红外图像数据流5。红外图像4具有通过红外探测器单元的像素间距11给定的拍摄图像分辨率。
在配准方法13的第一方法步骤12中，使红外图像数据流5的选择用于计算SR红外图像9的红外图像4参照红外图像数据流5的选择作为红外基准图像14的第一红外图像4被粗配准。在所述的实施例中，这通过相位相关方法实现，然而在其他实施例中所述粗配准也可以通过其他方式计算。
在配准方法13的第二方法步骤15中，计算红外图像4相互间以及关于红外基准图像14的亚像素精度的配准，其方式是以本身已知的方式逐像素地求得在各红外图像4之间的光通量。
因此结果是，对于每个红外图像4存在变换的参数集，通过所述变换可以使红外图像4相互间以及关于红外基准图像14进行亚像素精度地配准。在此，亚像素精度意味着比通过像素间距11预定的值精细的配准。所述变换在数学上描述红外图像的变化，该变化可以通过拍摄条件的改变而引起，特别是变换、旋转、拉伸和压缩。
在图像处理单元10的存储器中准备好点扩散函数17的测试集16。
点扩散函数17在数学上描述用于使热图像照相机1的光路不同地定向的红外光学器件2的和/或红外探测器单元3的光学成像特性。
因此可以以类似的方式为不同的点扩散函数17配设所述变换的参数。
根据该本身已知的数学描述，对于代表所述场景的二维函数，借助于红外探测器单元3拍摄的红外图像4通过该函数与表征实际拍摄条件的点扩散函数17的卷积产生。
在图4中为了简化，可使用的点扩散函数17作为一维的delta函数给出，其中实际应用的二维点扩散函数17作为两个一维的delta函数的积生成。这些delta函数通过其中心18的位置（亦即其数学承载子）表征。因此中心18的不同位置对应于不同的图像移动。因此，点扩散函数17可以通过平移相互转变。
通过可分地表示作为两个delta函数的积的点扩散函数17，点扩散函数是自动对称的。在其他实施例中使用其他的同样对称的但不可分的函数。对于可分的点扩散函数17，作为附加的优点可以简化地计算二维卷积积分。该计算优选借助于快速傅里叶变换（FFT）实现。通过简化点扩散函数，甚至可以在位置空间中执行该计算。
在根据图3的按照本发明的方法中，现在，在配设步骤19中，为红外图像数据流5的每个红外图像4配设选自测试集16的属于在配准方法13中计算出的变换的点扩散函数17。
借助于当前已有的信息和数据，现在可以实施按照本发明的将红外图像数据流5的红外图像4组合20为SR红外图像9。
对此首先，具有SR红外图像9的输出图像分辨率的测试像素矩阵用红外图像4的图像值24填充，使得由红外图像4填充的像素的像素位置至少接近地给出所涉及的红外图像4相对于红外基准图像14的图像移动。
该经填充的测试像素矩阵形成优化方法21的开始点，在该优化方法中计算优化的SR红外图像9。在优化方法21中在循环22中改变SR红外图像9，并且在分析步骤23中对于每个循环过程分析一个能量函数。对于能量函数的分析，将当前在循环22中为每个红外图像4提供的SR红外图像9与所配设的点扩散函数17进行卷积并且与红外图像4进行比较。通过这种方式求得：哪个红外图像对于试验性地在循环22中制成的SR红外图像9已经在配准方法13中确定的拍摄条件下产生。该未经证明的红外图像与实际拍摄的红外图像4的偏差随后通过减法和求绝对值进行评估并且对于红外图像4在能量函数中进行求和。
所述能量函数可以具有另外的项，这些项在光学成像中模拟附加的影响，例如噪声和/或红外光学器件2的或探测器单元3的影像错误。
例如可以使用根据作者为J.Flusser等的“向超分辨率和多通道盲反褶积的统一逼近（A Unified Approach to Superresolution andMultichannel Blind Deconvolution）”（IEEE TRANSACTIONS ONIMAGE PROCESSING，第16卷，第9期，2007年9月，第2322页至2332页）的能量函数。借助于在此提出的简化的方法，SR红外图像和点扩散函数的变型是不需要的，两者之一既已足够。
一旦优化方法21已经求得优化的SR红外图像9，则将其在热图像照相机1的输出单元8上输出并示出。
按照本发明的方法进一步连续地进行，其中红外图像数据流5的各个选择用于计算SR红外图像9的红外图像4从在红外图像数据流5的时间过程中随之移动的窗户中选择。
因此，通过连续地实施按照本发明的方法，在输出单元8上同样准备好具有提高的分辨率的SR红外图像9的图像数据流。在热图像照相机1中设定：在热图像照相机1随机移动期间，拍摄红外图像4的红外图像数据流5，并且将该红外图像4组合为较高分辨率的SR红外图像9。
Claims (15)
1.一种用于提供具有提高的分辨率的非可见光图像（4）的方法，其特征在于，在优选手持式的用于在非可见光谱范围内例如在红外、紫外、兆赫和/或μ波光谱范围内拍摄非可见光图像（4）的照相机随机移动期间和/或之前和之后，或者在移动的、带有用于在非可见光谱范围内例如在红外、紫外、兆赫和/或μ波光谱范围内拍摄非可见光图像的照相机的车辆随机移动期间和/或之前和之后，拍摄具有拍摄图像分辨率的非可见光图像（4）的非可见光图像数据流（5），并且通过组合（20）所拍摄的非可见光图像（4）制成所提供的具有输出图像分辨率的SR图像（9），其中所述输出图像分辨率高于所述拍摄图像分辨率。
2.如权利要求1所述的方法，其特征在于，为了组合（20）所拍摄的非可见光图像（4），优化能量函数，其中所述能量函数基于试验性地组合为SR图像（9）的非可见光图像（4）进行分析。
3.如权利要求1或2所述的方法，其特征在于，在组合（20）所拍摄的非可见光图像（4）之前，对于每个非可见光图像（4）求得一个变换，通过所述变换使非可见光图像（4）相互间或者关于基准（14）进行亚像素精度地配准。
4.如权利要求1至3之一所述的方法，其特征在于，在组合（20）所拍摄的非可见光图像（4）之前，为每个非可见光图像（4）配设一个选自点扩散函数（17）的准备好的测试集（16）的点扩散函数（17），其中所述测试集（16）的点扩散函数（17）模拟照相机（1）对于不同的拍摄方向和/或不同的拍摄地点的光学成像特性，特别是其中为每个所拍摄的非可见光图像（4）配设与相应求得的变换对应的点扩散函数（17）。
5.如权利要求1至4之一所述的方法，其特征在于，在测试集（16）中准备好这样的点扩散函数（17），即通过该点扩散函数描述不同的相对图像移动，和/或在测试集（16）中准备好这样的点扩散函数（17），即该点扩散函数能够通过平移相互转变，和/或在测试集（16）中准备好这样的点扩散函数（17），即该点扩散函数是对称的和/或可分的，特别是该点扩散函数通过delta函数定义。
6.如权利要求1至5之一所述的方法，其特征在于，所述能量函数评估所拍摄的非可见光图像（4）与用相应选择的点扩散函数（17）描绘的试验性地制成的SR图像（9）的偏差。
7.如权利要求1至6之一所述的方法，其特征在于，作为优化（21）所述能量函数的开始点，所述输出图像分辨率的测试像素矩阵用所述非可见光图像（4）的图像值根据相应求得的变换和/或相应配设的点扩散函数（17）填充并且用作试验性地制成的SR图像（9）。
8.如权利要求1至7之一所述的方法，其特征在于，从所述非可见光图像数据流（5）中选择一个非可见光图像（4）作为非可见光基准图像，和/或该方法以一个在连续的非可见光图像数据流（5）内随之移动的非可见光基准图像（14）和/或以在连续的非可见光图像数据流（5）内随之移动的选择的非可见光图像（4）连续实施。
9.如权利要求1至8之一所述的方法，其特征在于，所述SR图像（9）的输出图像分辨率是所述非可见光图像（4）的图像分辨率的SRF倍，并且待选择的非可见光图像（4）的预定的数量至少等于SRF或至少等于SRF 2或至少等于SRF 2+1。
10.如权利要求1至9之一所述的方法，其特征在于，在优化（21）所述能量函数期间改变所述SR图像（9），和/或在优化（21）所述能量函数期间改变配设给所述非可见光图像（4）的点扩散函数（17），特别是通过移动相应的点扩散函数（17）的中心（18）来改变。
11.如权利要求1至10之一所述的方法，其特征在于，对于每个非可见光图像（4）所述亚像素精度的配准在两步法（13）中求得，其中在第一方法步骤（12）中特别是借助于相位相关方法求得粗配准，和/或其中在第二方法步骤（15）中借助于光通量求得所述亚像素精度的配准。
12.如权利要求1至11之一所述的方法，其特征在于，逐像素地求得所述亚像素精度的配准，和/或在相应的非可见光图像（4）中屏蔽与预定的阈值相比更大程度上偏离相应求得的配准的像素值。
13.如权利要求1至12之一所述的方法，其特征在于，在以选择的点扩散函数（17）描绘所述SR图像（9）时计算相应的SR图像（9）与相应的点扩散函数（17）的卷积。
14.一种用于在非可见光谱范围内拍摄非可见光图像（4）的照相机，特别是热图像照相机（1），具有：用于生成非可见光图像（4）的非可见光图像数据流（5）的探测器单元（3）、用于处理所述非可见光图像数据流（5）的图像处理单元（10）以及用于输出所提供的SR图像的输出单元（9），其特征在于，所述图像处理单元（10）用于实施根据上述权利要求之一所述的方法，其中拍摄图像分辨率由所述探测器单元（3）预定，并且输出图像分辨率大于拍摄图像分辨率。
15.一种测量设备，包括用于在非可见光谱范围内拍摄非可见光图像（4）的照相机、特别是热图像照相机（1），其中所述照相机具有：用于生成非可见光图像（4）的非可见光图像数据流（5）的探测器单元（3）、用于处理所述非可见光图像数据流（5）的图像处理单元（10）以及用于输出所提供的SR图像的输出单元（9），其特征在于，所述图像处理单元（10）用于实施根据权利要求1至13之一所述的方法，其中拍摄图像分辨率由所述探测器单元（3）预定，并且输出图像分辨率大于拍摄图像分辨率。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102010053458.7 | 2010-12-03 | ||
| DE102010053458.7A DE102010053458B4 (de) | 2010-12-03 | 2010-12-03 | Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera |
| PCT/EP2011/002717 WO2012072151A1 (de) | 2010-12-03 | 2011-06-01 | Verfahren zur aufbereitung von bildern in nicht-sichtbaren spektralbereichen und korrespondierende kamera und messanordnung |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103250407A true CN103250407A (zh) | 2013-08-14 |
| CN103250407B CN103250407B (zh) | 2016-09-28 |
Family
ID=44310104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180058098.0A Active CN103250407B (zh) | 2010-12-03 | 2011-06-01 | 用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9386238B2 (zh) |
| JP (1) | JP5822937B2 (zh) |
| CN (1) | CN103250407B (zh) |
| DE (1) | DE102010053458B4 (zh) |
| RU (1) | RU2570506C2 (zh) |
| WO (1) | WO2012072151A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107431791A (zh) * | 2015-03-31 | 2017-12-01 | 株式会社尼康 | 拍摄装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10965889B2 (en) * | 2011-06-20 | 2021-03-30 | Fluke Corporation | Thermal imager that analyzes temperature measurement calculation accuracy |
| US9282259B2 (en) | 2012-12-10 | 2016-03-08 | Fluke Corporation | Camera and method for thermal image noise reduction using post processing techniques |
| USD781860S1 (en) * | 2015-07-21 | 2017-03-21 | Symbol Technologies, Llc | Mobile computer device |
| USD807374S1 (en) * | 2015-07-21 | 2018-01-09 | Symbol Technologies, Llc | Bezel component for a mobile computer device |
| DE102016219391A1 (de) * | 2016-10-06 | 2018-04-12 | Robert Bosch Gmbh | Verfahren zu einer Rauschoptimierung einer Kamera, insbesondere einer handgehaltenen Wärmebildkamera |
| USD844005S1 (en) * | 2016-12-23 | 2019-03-26 | Novadaq Technologies ULC | Device for illumination and imaging of a target |
| RU2684749C1 (ru) * | 2018-05-22 | 2019-04-12 | Акционерное общество "Государственный Рязанский приборный завод" | Способ совмещения цифровых изображений различных спектральных диапазонов |
| USD918210S1 (en) | 2019-04-04 | 2021-05-04 | Zebra Technologies Corporation | Data capture device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006140885A (ja) * | 2004-11-15 | 2006-06-01 | Olympus Corp | 撮像装置と撮像システムおよび画像の撮影方法 |
| CN1863272A (zh) * | 2006-02-14 | 2006-11-15 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
| JP2009126445A (ja) * | 2007-11-27 | 2009-06-11 | Kyowa Sangyo Kk | 車両用サンバイザ |
| WO2009126445A1 (en) * | 2008-04-11 | 2009-10-15 | Drs Sensors & Targeting Systems, Inc. | Enhancing short wave infrared images using super resolution and local area processing techniques |
| WO2009151903A2 (en) * | 2008-05-20 | 2009-12-17 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with hetergeneous imagers |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7142723B2 (en) * | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
| JP3832455B2 (ja) * | 2003-07-31 | 2006-10-11 | 日産自動車株式会社 | 車輌周囲表示装置 |
| US7505607B2 (en) * | 2004-12-17 | 2009-03-17 | Xerox Corporation | Identifying objects tracked in images using active device |
| US7340162B2 (en) * | 2005-02-23 | 2008-03-04 | Flir Systems, Inc. | Infrared camera systems and methods |
| JP2009059132A (ja) | 2007-08-31 | 2009-03-19 | Daihatsu Motor Co Ltd | 物体認識装置 |
| US8655614B2 (en) * | 2007-11-30 | 2014-02-18 | The Boeing Company | Position only fit, POF, algorithm for blur spot target tracking and discrimination |
-
2010
- 2010-12-03 DE DE102010053458.7A patent/DE102010053458B4/de active Active
-
2011
- 2011-06-01 US US13/991,235 patent/US9386238B2/en active Active
- 2011-06-01 JP JP2013541222A patent/JP5822937B2/ja active Active
- 2011-06-01 RU RU2013126732/07A patent/RU2570506C2/ru active
- 2011-06-01 WO PCT/EP2011/002717 patent/WO2012072151A1/de active Application Filing
- 2011-06-01 CN CN201180058098.0A patent/CN103250407B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006140885A (ja) * | 2004-11-15 | 2006-06-01 | Olympus Corp | 撮像装置と撮像システムおよび画像の撮影方法 |
| CN1863272A (zh) * | 2006-02-14 | 2006-11-15 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
| JP2009126445A (ja) * | 2007-11-27 | 2009-06-11 | Kyowa Sangyo Kk | 車両用サンバイザ |
| WO2009126445A1 (en) * | 2008-04-11 | 2009-10-15 | Drs Sensors & Targeting Systems, Inc. | Enhancing short wave infrared images using super resolution and local area processing techniques |
| WO2009151903A2 (en) * | 2008-05-20 | 2009-12-17 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with hetergeneous imagers |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107431791A (zh) * | 2015-03-31 | 2017-12-01 | 株式会社尼康 | 拍摄装置 |
| CN107431791B (zh) * | 2015-03-31 | 2019-08-13 | 株式会社尼康 | 拍摄装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2013126732A (ru) | 2015-01-10 |
| RU2570506C2 (ru) | 2015-12-10 |
| JP2014505389A (ja) | 2014-02-27 |
| CN103250407B (zh) | 2016-09-28 |
| JP5822937B2 (ja) | 2015-11-25 |
| US9386238B2 (en) | 2016-07-05 |
| WO2012072151A1 (de) | 2012-06-07 |
| US20130321638A1 (en) | 2013-12-05 |
| DE102010053458B4 (de) | 2023-06-22 |
| DE102010053458A1 (de) | 2012-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103250407A (zh) | 用于在非可见光谱范围内提供图像的方法和相应的照相机和测量设备 | |
| US20210311230A1 (en) | Single-sensor hyperspectral imaging device | |
| US20210133920A1 (en) | Method and apparatus for restoring image | |
| Bao et al. | Instereo2k: a large real dataset for stereo matching in indoor scenes | |
| CN103428500B (zh) | 一种超分辨率大视场红外成像方法 | |
| CN107749070B (zh) | 深度信息的获取方法和获取装置、手势识别设备 | |
| CN114549731A (zh) | 视角图像的生成方法、装置、电子设备及存储介质 | |
| CN110660088A (zh) | 一种图像处理的方法和设备 | |
| EP3135033B1 (en) | Structured stereo | |
| US20180198970A1 (en) | High dynamic range imaging using camera arrays | |
| CN106600687B (zh) | 一种多方向火焰发射层析*** | |
| CN105427253B (zh) | 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 | |
| EP2400461A1 (en) | Image processing system, image processing method, and image processing program | |
| CN104412298B (zh) | 用于变换图像的方法和设备 | |
| US9495611B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN109661815A (zh) | 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 | |
| CN104574338A (zh) | 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法 | |
| CN108711186A (zh) | 目标物体制图的方法与装置、身份识别装置和电子设备 | |
| Gaidhani | Super-resolution | |
| KR102502026B1 (ko) | 피부 촬영 사진을 이용한 피부 유형 분석 시스템 및 그 방법 | |
| Liu et al. | 3D face reconstruction with mobile phone cameras for rare disease diagnosis | |
| JP2016519343A (ja) | 他の画像からの情報の関数に基づく汎関数を利用する目的画像の生成 | |
| US20220405972A1 (en) | An imaging sensor, an image processing device and an image processing method | |
| WO2022250760A1 (en) | Systems and methods for power efficient image acquisition using single photon avalanche diodes (spads) | |
| CN115239815A (zh) | 一种相机标定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Stratmann Martin Dr Inventor after: Jane FRISO - Evers - senna Inventor after: Schmieder Matthias Inventor after: Flusser Jan Pro Inventor after: ThirskRobecq F Inventor before: Stratmann Martin Dr Inventor before: Evers-Senne Jan-Friso Dr Inventor before: Schmieder Matthias Inventor before: Flusser Jan Pro Inventor before: ThirskRobecq F |
|
| COR | Change of bibliographic data | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 1 (79853), lentsky, West Germany. Patentee after: Limited Partnership On shares Address before: Germany Lenzkirch Patentee before: Testo AG |