CN110651301A - 用于自动为夜视图像着色的方法和*** - Google Patents
用于自动为夜视图像着色的方法和*** Download PDFInfo
- Publication number
- CN110651301A CN110651301A CN201780091101.6A CN201780091101A CN110651301A CN 110651301 A CN110651301 A CN 110651301A CN 201780091101 A CN201780091101 A CN 201780091101A CN 110651301 A CN110651301 A CN 110651301A
- Authority
- CN
- China
- Prior art keywords
- image
- night vision
- nir
- images
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004297 night vision Effects 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000004040 coloring Methods 0.000 title description 6
- 230000006870 function Effects 0.000 claims description 119
- 238000012549 training Methods 0.000 claims description 109
- 238000012545 processing Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000005286 illumination Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 235000019557 luminance Nutrition 0.000 description 68
- 238000009826 distribution Methods 0.000 description 20
- 230000005855 radiation Effects 0.000 description 18
- 230000003044 adaptive effect Effects 0.000 description 17
- 238000007781 pre-processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 208000006992 Color Vision Defects Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000007794 irritation Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000001613 Gambling Diseases 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- SVPXDRXYRYOSEX-UHFFFAOYSA-N bentoquatam Chemical compound O.O=[Si]=O.O=[Al]O[Al]=O SVPXDRXYRYOSEX-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 201000000757 red-green color blindness Diseases 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了用于根据第一夜视图像(NIRIn)生成第一彩色图像(405)的方法以及***。首先，通过使用预测函数(fPred)，基于该第一夜视图像(NIRIn)的辉度值(LNIR_In)确定(S403)预测的色度值(CVIS_Rec)。然后，通过将该第一夜视图像(NIRIn)的辉度值(LNIR_In)与该预测的色度值(CVIS_Rec)进行组合(S404)，生成第一彩色图像(405)。
Description
技术领域
本申请针对用于自动为夜视图像着色的方法和***。
背景技术
夜视***可以用在多种环境中，诸如驾驶员辅助***、野生生物观察、军事应用、安全和监控***或图片或电影应用(例如，安装在智能电话或其它移动相机中)。夜视图像捕获物体的不可见辐射，并且常常是使用有源不可见辐射源拍摄的，该不可见辐射然后被相应的物体反射。
因为在夜间或在弱光条件下，光不存在或处于最低限度，所以夜视图像在外观上是单色的。夜视图像的优点是，基于通过使用例如红外、超声或雷达来捕获能量分布或距离分布(与距离定律有关)，夜视图像可以在没有可见光的情况下拍摄。但是，因为缺少色彩信息，并且由于夜视图像一般而言与日间同一场景的灰度图像不太对应，所以人类用户难以理解、识别和/或区分相关物体，这降低了基于夜视图像的或者通过夜视图像增强的成像***的接受度。
文献中已经有几种方法利用色彩人工地增强夜视图像，以突出相关特征并增加人类用户的接受度。这些方法基于不同的色彩空间模型，诸如RGB色彩空间或Lab色彩空间。此外，利用经着色的场景，物体识别和自然外观可以改善观察者的视觉性能。
RGB色彩空间基于加性(additive)***，其中添加红色光、绿色光和蓝色光以便再现各种各样的色彩。RGB色彩空间是依靠设备的，即，不同设备基于在相应的设备中使用的色彩元素来不同地检测或再现给定的RGB值。色彩管理方案可以被用于跨不同输入和输出RGB设备(诸如彩色TV、相机、图像扫描仪、计算机和电话显示器)对色彩的外观进行匹配，该色彩管理方案提供考虑到不同RGB设备的特点的转换算法。
在RGB色彩空间中，彩色图像到灰度图像的转换不是唯一的，因为每个色彩通道都有助于图像的辉度(luminance)或亮度(brightness)。为了将RGB图像转换成灰度图像，计算色彩通道的加权和，其中可以选择权重，以简单地将不同色彩通道的亮度进行平均。可替代地，取决于个体图像或应用，可以使用有利于一个色彩通道的不同权重。
Lab色彩空间在数学上在三个维度中描述所有可感知的色彩，三个维度中，“L”为辉度，并且“a”和“b”为两个色度维度，代表色彩对立(color-opponent)绿-红和蓝-黄。与RGB色彩空间相反，Lab色彩空间与设备无关，因为色彩被定义为与这些色彩的创建性质或在其上显示这些色彩的设备无关。
理论上，Lab色彩空间是三维实数空间，因此其包含无限数量的色彩。但是，实际上，空间通常被映射到三维整数空间以得到与设备无关的数字表示，使得Lab空间对于实际应用是不连续的。使用Lab色彩空间，可以在将两个色度(或色彩)通道设置为零时通过仅使用辉度维度来直接推断出彩色图像的灰度版本。
但是，如上所述，夜视图像不同于日间图像的灰度版本。虽然日光图像的灰度图像(实质上)基于对原始彩色图像的辉度的人类感知来显示灰度值，但是在没有或几乎没有可见光的情况下可以基于红外、近红外、超声、雷达、LiDAR等捕获的夜视图像实质上显示了勾勒形状的能量分布和/或距离分布，然而该夜视图像的辉度通常与日间期间对辉度的人类感知不一致。
为了增加夜视***的接受度和安全性，文献中已经提出了人工地使单色夜视图像或灰度夜视图像着色的若干方法。
US 8836793 B1和EP 1496689 A1各自公开了用于将(弱光)彩色图像与单色红外图像进行组合以便提供通过融合不同输入通道而获得的加强的图像的***，其中加强的图像突出了彩色图像中的一些红外信息。
但是，这些***是针对通过交通工具的前灯利用可见人工照明的驾驶员辅助***，并且当光非常弱或完全不存在时不适合于提供彩色图像。此外，若干相机或成像传感器有助于捕获不同的色彩通道和夜视通道，这增加了***的复杂性和成本。此外，在恶劣天气(诸如雨、雾或雪)期间，性能(特别是彩色相机的性能)会降低。
用于使单色图像着色的其它方法基于机器学习算法和设备，诸如人工神经网络，以及特别是卷积神经网络。
一般而言，机器学习算法具有以下优点：可以从数据的大型集合中自动提取对于人类观察者来说太复杂的信息。在监督机器学习算法中，训练数据是以输入样本连同其对应的目标样本一起的形式提供的，并且机器学习训练方法的目标是确定能够以高准确度根据输入样本再现对应的目标样本的函数。所确定的函数然后被用于对以前看不见的输入值预测目标值。机器学习函数通常通过调节自适应模型或函数的参数来确定，以便通过使用交叉验证或类似概念来最小化预定的损失函数。
卷积神经网络特别适合于处理包含若干实质上独立的物体的图像，因为卷积神经网络允许进行局部空间特征分析和预测。这是通过使用具有不同分辨率的多层感受域来实现的，这些感受域提供输入数据的部分重叠的平铺(tiling)。卷积神经网络的大多数层仅局部连接，因此在降低计算成本的同时加强了局部图案(pattern)。对于图像数据，局部分析使得卷积神经网络相对于输入图像的平移操作是不变的。
图1示意性地示出卷积神经网络的主要组成部分，其中使用卷积层103的多个特征图104来分析输入图像101的子区域102、102'。每个特征图104被训练为检测特定的图案，其中每个特征图的权重是固定的，从而可以在输入图像中的不同位置处检测相同的图案。因此，在输入图像101上应用特征图104作为过滤器以便检测特定的局部图案等同于将相应的权重与输入图像进行卷积。然后，随后的子采样层105用于降低空间分辨率从而导致具有降低的分辨率的图像子区域106，并且可以又被用作具有不同特征图的另一个卷积层的输入。
Zhang等人的“Colorful Image Colorization”，arXiv：1603.08511v5，描述了一种用于通过使用卷积神经网络来确定灰度图像的貌似合理的着色的方法。通过将每个图像的灰度值用作输入样本以及将对应的色彩值用作对应的目标样本，根据全色(RGB或Lab空间)图像获得训练集合。
Zhang等人获得的结果在很大程度上依赖于图像的训练集合中的多对灰度图像和彩色图像之间的完美的像素到像素对应，并且依赖于原始图像的仅仅两个色彩维度(即，色度)需要被貌似合理地重建的事实，因为输入图像的灰度已经与最终的预测输出的辉度对应。
Limmer&Lensch在arXiv：1604.02245v3中的“Infrared Colorization UsingDeep Convolutional Neural Networks”中讨论了根据红外图像确定RGB色彩空间图像。根据这种方法，使用多芯片CCD NIR/RGB相机捕获训练样本，该多芯片CCD NIR/RGB相机同时拍摄RGB图像和NIR图像二者，从而确保两个图像的完美的像素到像素配准(registration)。在这些图像对上训练卷积神经网络(CNN)，并且然后使用经训练的CNN根据输入NIR图像同时预测目标RGB图像的所有三个色彩通道。结果相当模糊，并且使用大量的后期处理，以加强和锐化原始输出。
为了增加用户接受度并将人类注意力引导到图像的相关物体上，经着色的图像的清晰度非常重要。而且，特别是在处理视频流时，着色必须实时发生，并且优选地局部发生，从而因此无法使用大型数据库或者复杂且耗时的前期处理或后期处理。
发明内容
因此，本发明的目的是提供一种方法，该方法允许一种用于确定夜视图像的清晰彩色版本的在计算方面高效的方式。
该目的通过独立权利要求的方法和***来实现；进一步的优选实施例在从属权利要求中描述。
根据本申请，用于根据第一夜视图像(其也可以被称为输入夜视图像)生成第一彩色图像的方法包括以下步骤：基于该第一夜视图像的辉度值来确定预测的色度值，以及通过将该第一夜视图像的辉度值和预测的色度值进行组合来生成该第一彩色图像(其也被称为输出彩色图像)。预测的色度值是通过使用预测函数来预测的。
贯穿本申请，术语“第一夜视图像”和“第一彩色图像”主要用于分别指代输入夜视图像和输出彩色图像。术语“第一”被用于将在预测过程中使用的图像与在训练过程中使用的图像对区分开，如下面详细描述的。
优选地，该第一夜视图像可以使用能够检测基于例如红外、近红外(NIR)、雷达、LiDAR、超声等的不可见辐射的传感器或相机来捕获。可以使用有源不可见辐射或照明源，其发射辐射，该辐射然后被处于传感器前面或附近的物体反射。所捕获的数据可以基于能量分布或距离分布(使用飞行时间方法)。当使用红外辐射时，可以使用范围在900nm和2500nm之间的近红外(NIR)，并且特别是短波红外(SWIR)。SWIR具有不被水吸收的优点，因此允许在恶劣的天气条件下捕获更准确的红外图像。为了可视化夜视图像，需要将这些夜视图像转换为可见光谱，以便生成可见的单色图像。所使用的传感器可以取决于相应的传感器的分辨率在逐像素的基础上捕获能量，从而产生所捕获的感兴趣的区域的能量分布。
术语“夜视图像”在本申请中用于指代例如使用夜视技术(即，在夜间或一般而言在弱光条件下或当可见光完全或几乎完全不存在时可以用于捕获图像的技术)捕获的图像。因此，如贯穿本申请使用的术语“夜视图像”还可以包括使用夜视技术在日间或使用可见的人工光捕获的图像。因此，术语“夜视图像”可以指代使用红外辐射、弱光辐射、人工信号的高级解释、超声、雷达、LiDRA等捕获的图像。使用能量分布或距离分布来捕获夜视图像，并且使用与分别使用的捕获技术对应的预处理将这些夜视图像转换成可以由人类观察者解释的单色图像或灰度图像。
该方法具有如下有利效果：所生成的第一彩色图像保留该第一夜视图像的清晰度，因为仅预测了色度，但是保持了来自该第一夜视图像的辉度。基于Lab色彩空间或区分亮度通道和色彩通道的另一个色彩空间，通过对于数字图像的每个组成部分(诸如点、像素等)将所述组成部分的辉度(或亮度)值与相应的色度(或色彩)值进行组合，将该第一夜视图像的辉度与预测的色度值进行组合。因此，该第一彩色图像允许改善人类用户的注意力控制，由于该第一彩色图像的清晰度和色彩，人类用户可以更快地识别物体，从而增加了安全性。
此外，这种方法在计算方面是高效的，因为预测函数可以快速地(实时地)基于该第一夜视图像的辉度值确定预测的色度值，并且将该第一夜视图像的辉度值与该预测的色度值进行组合仅需要不同的色彩方案维度的叠加。此外，所得到的第一彩色图像是清晰的，并且不需要为了使图像清晰而进行在计算方面昂贵的后期处理。
夜视图像的辉度值通常不同于在日间期间拍摄的对应的彩色图像的辉度值。因此，第一彩色图像一般会看起来与在日间拍摄的彩色图像不同。但是，该第一彩色图像同时提供从夜视图像的辉度值获得的清晰边缘和从预测的色度值获得的色彩信息。清晰度和适度准确的色彩信息二者对于人类用户的注意力控制都是至关重要的。模糊的图像会使得用户变得注意力不集中和疲倦，而单色图像使得用户难以区分相关特征。
预测函数可以是预定的预测函数或预测算法，其可以从用于提供这样的预测函数的实体(诸如远程服务器或订阅服务)获得，其中可能的是取决于图像的(假设的)内容或取决于与图像相关联的元数据(诸如一天中的时间或地点)提供多个预测函数。可替代地，上述方法可以包括确定将夜视图像的辉度值映射到预测的色度值的预测函数的附加步骤，其中该预测的色度值类似于与夜视图像对应的彩色图像的色度值，从而允许根据特定的应用场景的夜视图像的性质来确定定制的预测函数。
如果夜视图像和彩色图像示出实质上相同或非常相似的风景，则它们可以例如被认为是“对应的”。例如，如果它们是同时拍摄的，或者如果它们是从相同或相似位置拍摄的，或者如果它们示出相同的物体。
而且，在表示预测的色度值的值之间的统计相似度的意义上，可以理解所述色度值与对应的彩色图像的色度值之间的“相似度”。例如，可以通过损失函数来测量相似度，该损失函数计算两个数据集合之间的不准确性的测度。然后可以以使得损失函数最小化的方式通过调节预测函数的参数来优化相似度。常用的损失函数是平均绝对误差、均方差或负对数似然。
在下文中，短语“对应的彩色图像的预测的色度值”将用作与“预测的色度值，其中该预测的色度值类似于对应的彩色图像的色度值”同义。
可选地，确定用于将夜视图像的辉度值映射到对应的彩色图像的预测的色度值的预测函数的步骤可以包括以下步骤：获得若干对训练图像，以及通过在多对训练图像上使用相应的机器学习方法训练自适应模型(或自适应函数)来确定预测函数。
该若干对训练图像(优选地至少1000对或至少10000对训练图像)可以各自包括夜视图像和彩色图像，其中夜视图像和彩色图像描绘了重叠的和/或大体上同样的感兴趣的区域。为了获得更好的结果，优选地利用超过100000对进行训练。可以通过以若干种方式(诸如在垂直/水平方向上镜像、扭曲或平移图像)改变一对图像来人工地增加训练样本的数量。
描绘重叠的和/或大体上同样的感兴趣的区域的图片实质上意味着夜视图像和对应的彩色图像示出相同的风景。例如，可以同时和/或从相同或几乎相同的位置拍摄这两个对应的图像。这两个对应的图像之间的差异是可能的，但是应当仅仅是很小的，即，所描绘的风景和/或物体的大部分应当是同样的。每对训练图像的夜视图像和彩色图像之间的更大的图像相似度增加了预测函数的准确性。
优选地，通过使用机器学习方法训练自适应模型(即，诸如神经网络、卷积神经网络之类的自适应模型，或特别适合于图像处理和图像预测的另一自适应机器学习模型)来确定预测函数。取决于要预测的数据的复杂性，并且还取决于期望的质量，可以在训练过程中要么预选要么优化CNN的多个隐藏层。在若干对训练图像当中，将夜视图像(特别是根据单色夜视图像确定的辉度值)用作输入图像，而将对应的彩色图像的色度值用作目标图像。
在机器学习的背景中，函数的“训练”是指以使得预定的损失函数优化的方式来对自适应模型的参数进行调节。在当前情况下(或一般而言在回归的情况下)，损失函数基于预测的色度值与“地面真实(ground truth)”彩色图像的实际色度值之间的差异或不相似度。
在使用分别选择的机器学***移操作来对准图像。
如果相机的位置不是精确地已知的和/或未同时拍摄一个训练对的两个图像，那么会有帮助的是执行更复杂的操作以便对准一个训练对的两个图像。可以考虑可能的畸变(诸如由用于分别拍摄夜视图像和对应的彩色图像的两个相机的光轴的略有不同的角度造成的视差畸变)来确定这种对准。当将夜视图像与彩色图像进行对准时，该对准可以基于将该彩色图像的辉度与该夜视图像的辉度进行对准。虽然两种类型的图像的辉度值不同，但是某些特征(诸如图像的相邻像素之间的梯度)可以示出可用于使图像对准的相似度。因此，可以在两个对应的图像中识别这两个图像的典型点(诸如像素或像素组)，并且然后可以基于所述典型点来确定平移操作。对准的图像然后被裁切，以丢弃每个图像中在另一个图像中没有对应部分的部分。
图像的对准还可以基于使特定的损失函数最小化，该损失函数提供了两个图像的相似度的测度，或者分别提供两个图像的不相似度的测度。也有可能的是基于这样的不相似度或损失函数对图像的训练对进行过滤，从而如果训练对不能足够好地对准，则导致丢弃这些训练对。
所得到的经裁切和对准的图像对描绘了对准的并且大体上同样的感兴趣的区域。然后可以基于经裁切和对准的训练对来执行自适应机器学习模型的训练，从而增加经训练的预测函数的准确性。
作为在裁切和对准图像之后的可选步骤，可以生成所谓的缝合(stitched)的输入图像，该缝合的输入图像是通过将夜视图像的辉度值与彩色图像的色度值进行组合而获得的。所述缝合的图像不包含彩色图像的原始辉度值，因此使得图像的亮度看起来与原始彩色图像不同。但是，由于色彩值取自彩色图像，因此缝合的图像仍以高清晰度和准确度示出原始彩色图像的特征，从而突出了所描绘的风景的彩色特征，而亮度(或辉度)取自夜视图像，从而提供缝合的图像的清晰且准确的边缘。
在将捕获的夜视图像和彩色图像用于训练自适应机器学习模型之前，可以可选地对这些图像执行某种预处理。特别地，相机的感测输出数据可以被变换为Lab色彩空间图像数据。特别地，捕获能量分布和/或距离分布的夜视图像被变换为可见单色图像。此外，图像可以被标准化。标准化可以包括图像的缩放、像素值(诸如辉度值)的根据图像的均值或中位数的调整、对图像的根据预选参数的分割等。
如果输入彩色图像在RGB色彩空间中，那么在训练自适应模型之前，以及可能地还在裁切、对准和/或缝合相应的对应图像之前，可能需要将这些图像转换到Lab色彩空间。Lab色彩空间与设备无关，而RGB色彩空间不是与设备无关。因此，Lab色彩空间和RGB色彩空间之间的转换一般而言是依靠设备的。
优选地，预测函数被训练为基于第一夜视图像的辉度值来预测所预测的色度值，而不考虑除用于确定预测函数的训练图像的色彩和/或色度值以外的色彩和/或色度值。
特别地，当通过使用预测函数基于第一夜视图像的辉度值确定预测的色度值时，不考虑关于该第一夜视图像被捕获的时间点的近期捕获的色度或色彩信息。因此，优选地，仅在预测函数的训练阶段期间将色度值用作目标值。因此，预测函数优选地不使用色彩和/或色度信息作为输入参数。用作预测函数的输入的唯一成像数据是辉度和/或灰度或其它单色成像数据。
因此，预测函数优选地不使用在训练阶段之后获取的色度值。如果预测函数被重新训练或调整(adapt)，那么色度值优选地仅在预测函数的重新训练或调整期间使用，而不在随后的预测(即，经训练和/或调整的预测函数的应用)期间使用。
除了第一夜视图像的辉度值之外，预测函数还可以接收附加的输入信息，诸如元数据信息，该元数据信息提供关于例如一天中的时间、当前天气等的环境信息。有可能的是，预测函数取决于此类元数据信息针对该第一夜视图像的辉度值确定稍微不同的输出。
作为特殊情况，还有可能的是，预测函数仅基于该第一夜视图像的辉度值来确定预测的色度值。在这种情况下，除了该第一夜视图像的(可选地经预处理的)辉度值之外，没有附加数据被用作预测函数的输入。
在确定预测的色度值时不考虑近期的色彩信息允许在夜间或在没有人工可见光的其它黑暗条件下使用该方法，从而减少了对人类的刺激。而且，在某些应用场景(诸如监控应用)中，期望的是在避免被其他人检测到时使用所描述的方法。因此，避免使用可见光至关重要。
但是，如果夜视图像是基于红外或近红外技术的，那么可能期望的是使用有源的红外照明(即，具有不可见光的照明)源，以便提高夜视图像的质量。有源辐射也可以与其它夜视***一起使用，所述其它夜视***可以基于雷达、LiDAR、超声等。一般而言，因为周围物体反射辐射，所以使用有源不可见辐射或照明提高了捕获的图像的质量。
如果基于距离分布而不是基于能量分布(诸如红外)捕获夜视图像，那么会有帮助的是首先将距离分布转换成能量分布(单色图像)。例如，LiDAR数据可以使用飞行时间方法来收集。为了获得感兴趣的区域的可以用作用于图像重建的输入的能量分布，能量可以归一化(normalized)，并且通过使用预定的距离网格从数据中实质上去除距离来确定能量分布。
其它基于LiDAR的***(例如SPiM、SPAD)可用于通过使用反射的能量的“计数”直接生成能量分布图像，该反射的能量的“计数”然后与所传输的辐射的已知量相结合用于确定所述能量分布图像。距离可以可选地从所述能量分布图像中提取。
当捕获训练图像时，至少彩色图像需要利用可见光捕获。因此，用于捕获多对训练图像的一个选项是在日光条件下同时捕获夜视图像和彩色图像，例如使用彼此相邻定位的夜视相机和“常规”彩色相机，其中这两个相机具有平行的光轴。优选地，这两个相机之间的距离小，诸如在1cm至10cm之间，优选地在5cm以下。因此，以这种方式捕获的夜视图像和对应的彩色图像包含大体上同样的感兴趣的区域。
可替代地，可以使用多芯片相机同时捕获训练对的夜视图像和彩色图像，该多芯片相机可以使用同一相机镜头同时捕获例如红外图像和彩色图像。可替代地，如果两个不同的相机被用于捕获夜视图像和相应的对应彩色图像，如果两个相机的光轴不平行或者如果两个相机之间的距离较大，那么更复杂的对准和/或裁切过程会是有帮助的，如上面所讨论的。
还有可能的是，以使得两个图像由同一相机拍摄但使用所述相机的不同过滤器的方式，在日间期间捕获训练对的夜视图像和对应的彩色图像。优选地，为了最小化训练对的夜视图像与彩色图像之间的差异，训练对的两个相应图像是一个紧接着另一个(例如，在几秒钟内，优选地在小于一秒内，例如在几毫秒内)拍摄的。这种获得训练对的方式特别有助于将夜视图像的着色集成到现有的相机***(诸如使用相机的监控***)中，该相机可以取决于过滤器或设置而被用于捕获要么彩色图像(通常在日间期间使用)要么夜视图像(诸如红外图像，通常在夜间使用)。
可替代地，有可能的是分开拍摄训练图像对的夜视图像和对应的彩色图像，即，夜视图像在夜里或在黑暗条件下(可选地使用人工不可见的辐射)拍摄，并且对应的彩色图像在日间拍摄，其中该夜视图像和对应的彩色图像描绘了大体上相同的感兴趣的区域。例如，固定相机(诸如安全相机或监控相机)可以用于在日间和在夜间拍摄图像。固定相机可以是固定安装的相机，所以，在没有可观的精力、力气或适当的工具的情况下，这些固定相机无法移动到另一个地点。在本申请的含义内，固定相机可以被配置为以预定义的方式使用例如相机的预定义铰接部分在一点处旋转、放大和缩小或移动镜头。训练图像对然后可以使用无监督学习技术或半监督学习技术来确定，例如通过计算日间图像的辉度和夜视图像的辉度之间的相似度测度。如果相似度超过给定阈值，那么这对图像可以用作一对训练图像。可替代地，训练图像对可以基于形状来确定，这些形状要么可以是预定的，要么是基于相似度测度确定的。还有可能的是使用单个夜视图像或子图像的若干相似的子图像作为单个夜视图像或子图像的目标值。将在夜间捕获的夜视图像与在日间拍摄的彩色图像的目标图像结合作为机器学习训练方法的输入值进一步提高了准确性，因为夜视图像的某些特征在日间看起来与在夜间相比有所不同。例如，在日间拍摄的夜视图像中的天空会显得明亮，而在夜间拍摄的夜视图像中的天空会显得黑暗。
预测函数的基于若干对训练图像的训练可以优选地离线(即，在位于与用于捕获多对训练图像的相机的地点不同的地点的服务器上)发生。因此，有可能的是预测函数的训练可以完全在预测阶段之前发生。例如，一个或多个预测函数可以在实现所描述的方法的***内提供，或者不同的预测函数可供客户购买。
作为另一个优选的选项，当获得新的多对训练图像时，可以调整预测函数。预测函数的所述调整可以离线或在线地发生，并且可以例如是订阅服务(诸如基于云的服务或其它空中服务)的一部分，该订阅服务周期性地向客户提供一个或多个更新的预测函数。例如，有可能的是，基于到目前为止获得的图像的所有训练对，周期性地重新训练整个预测函数。通过这样做，可以提高预测函数的准确性。可替代地，特别是如果训练图像随时间改变，那么还有可能的是周期性地重新训练预测函数，但是仅考虑最近期捕获的训练图像对。例如，可以给出时间阈值，在该时间阈值后丢弃先前获得的多对训练图像。基于新的和/或近期的训练数据来调整预测函数具有增加预测函数的准确性的优点。还有可能的是基于例如无线网络技术或移动网络技术使用空中接口几乎连续地更新预测函数。
取决于预测函数所基于的特定自适应模型，训练方法可以涉及基于典型形状和/或阴影(shading)的特征识别，并且基于第一夜视图像的辉度值的对预测的色度值的随后确定可以基于所述特征。在不提供关于训练图像内的特定特征的地面真实值的意义上，特征的所述识别优选地是无监督的。
特别地，当使用卷积神经网络时，确定输入图像的平铺，并且使用经训练的特征图或预测图来识别各个特征。特征图实质上是权重的集合，并且仅当输入图像的相应的图块(tile)的加权和超过给定阈值时，这些特征图才可以通过激活相应的过滤函数而充当一种过滤器。在夜视输入图像中识别诸如汽车、人、树、交通标志、一般路边标志、不同的交通工具类别、动物等之类的特征会是有益的，因为特征常常具有特定的相关联的色彩方案。在训练阶段期间，每个特征图的权重被调整和/或优化。然后，所述权重可以在预测函数内使用，其中所述权重可以被称为预测图。因此，在预测函数内使用特征识别可以帮助增加预测的色度值的准确性。在未预定义图像的特征的情况下，所述特征优选地是由训练算法针对预测函数独立地推断的。卷积神经网络可以例如接收多个要识别的特征作为输入参数。使用例如网格搜索和交叉验证，要由卷积神经网络识别的所述多个特征的优化然后可以在训练阶段内实现，以最小化给定的损失函数。
可替代地或附加地，还有可能的是在预处理步骤期间基于典型形状和结构来识别某些物体。用于物体识别的所述预处理步骤可以基于已知的或预定的特点(诸如交通标志的几何形状)来执行。预处理步骤的已知的或预定的特征图可以在预测函数内被用作预测图，以便识别相应的物体。
例如通过使作为夜视视频流的帧而获得的各个图像着色，所描述的***和方法可以用于使夜视视频流着色。所捕获的夜视视频流以及所显示的彩***流的帧速率可以取决于相机的快门速度或取决于应用场景，并且其范围可以在针对几乎没有移动的场景的每秒几(例如，2-3)帧和针对其中可能预期大量移动的应用场景(诸如以高速驾驶)的每秒数十帧之间。
除了所描述的方法之外，本申请还针对一种用于根据第一夜视图像自动生成第一彩色图像的***。该***包括至少一个相机，该至少一个相机被配置为捕获该第一夜视图像。该***还包括处理单元，该处理单元被配置为通过使用预测函数来针对该第一夜视图像的辉度值确定预测的色度值，并且被配置为通过将该第一夜视图像的辉度值与预测的色度值进行组合或“缝合”来生成第一彩色图像。预测函数是优选地预定的映射，该映射将夜视图像的辉度值映射到对应的彩色图像的色度值。该***还包括用于向用户显示该第一彩色图像的显示器。
该***具有***的复杂度低的有利效果，因为仅需要捕获夜视图像。而且，预测函数提供对该第一夜视图像的快速且容易(实时)的着色。如果实时着色是不可能的，那么，可替代地，通过在该第一夜视图像的相应的物体或子图像上叠加预测的色度值，经着色的子图像或物体可以被相继地添加到原始的第一夜视图像。这样，逐步着色是可能的，这减少了处理需求，从而提高了着色方法的效率。
优选地，***的组成部分位于一个地点内，即，一处房产、一栋建筑物、一辆交通工具等内。可替代地，还有可能的是处理单元和/或显示器相对于相机位于远处，从而提供夜视图像或夜视视频流的远程的经着色的视图。
预测函数可以是经训练的预测函数，其基于自适应模型并且使用机器学习方法来训练，如关于上述方法所描述的。
该***可以可选地包含多于一个夜视相机，使得该第一夜视图像是使用若干相机优选地同时捕获的若干图像的经组合的图像。
该***可可选地包括用于例如在日间捕获彩色图像的至少一个相机。有可能的是，该用于捕获夜视图像的至少一个相机通过使用不同的过滤器或设置也可以捕获彩色图像。优选地，***所包括的相机被配置为捕获描绘重叠的或大体上同样的感兴趣的区域的多对图像，其中每对包括夜视图像和优选地在日光下或使用可见照明拍摄的彩色图像。然后，可以将由相机捕获的该多对图像传输到处理单元。
此外，处理单元可以可选地被配置为获得若干对训练图像，每对训练图像包括夜视图像和对应的彩色图像，其中该夜视图像和该彩色图像描绘重叠的或大体上同样的感兴趣的区域。多对训练图像可以例如从***的至少一个相机或从另一个图像源(诸如视频流、数据库或互联网)获得。该多对训练图像可以可选地由处理单元进行预处理，以便裁切并对准每个图像对，如上面关于方法所详细讨论的。可替代地，由处理单元接收的该若干对训练图像可以已经是经预处理的训练对，并且/或者图像的训练对可能不需要附加的预处理步骤。处理单元还可以被配置为通过使用机器学习方法训练自适应模型来确定预测函数，如在上面关于所描述的方法详细讨论的，以根据夜视图像的辉度确定彩色图像的色度值。
预测函数的训练可以可替代地由第二处理单元执行，该第二处理单元可以位于与第一处理单元相同的地点，或者该第二处理单元可以远程位于另一个地点。
可选地，该***所包括的至少一个相机还用于捕获多对训练图像，或者至少用于捕获多对训练图像的夜视图像(在这种情况下，另一个相机可用于捕获对应的彩色图像)。这具有训练图像类似于该第一夜视图像的优点，增加了预测的色度值的准确性。可替代地，不同的相机可用于捕获训练图像。这具有以下优点：训练可以独立于用于基于第一夜视图像的辉度值确定预测的色度值的***而发生。
此外，第一夜视图像可以是红外图像，并且***可以包括用于不可见照明的至少一个有源辐射源(诸如红外照明源)，从而提高该第一夜视图像的质量。若干对训练图像的夜视图像也可以使用有源辐射源或可替代地另一个有源辐射源来捕获。
可选地，以及如相对于所描述的方法详细讨论的，处理单元还可以被配置为：当获得新的多对训练图像时，例如通过使用至少一个相机捕获新的多对训练图像，或者通过从远程服务器或其它处理单元接收新的多对训练图像，调整预测函数。
此外，本描述针对在驾驶员辅助***内使用所描述的***。在这种情况下，至少一个相机可以是非固定相机，其被配置为当在夜间或在弱光条件下驾驶时在交通工具的前方、后方或侧面捕获第一夜视图像。非固定相机是在不拆卸相机的情况下可以移动到不同地点的相机。因此，固定安装在交通工具内的相机可以被视为非固定相机，因为相机可以随交通工具一起移动。即使当交通工具停在路边时，安装在交通工具内的相机仍被认为是非固定相机。然后优选地安装在交通工具内的处理单元被配置为对夜视图像进行预处理，并且基于夜视图像的辉度值以及通过使用在该处理单元内实现的预测函数来确定与该第一夜视图像对应的预测的色度值。
在这种情况下，处理单元还被配置为通过将该第一夜视图像的辉度值与预测的色度值进行组合或“缝合”来确定该第一彩色图像，并在交通工具内的显示器上显示所得到的该第一彩色图像。该显示器可以是例如集成在窗户之一(诸如挡风玻璃)中的显示器，或者该显示器甚至可以代替挡风玻璃或窗户，从而提供交通工具的周围的更好的可视化。可替代地，显示器可以是位于汽车内的显示器，并且其例如代替镜子之一。取决于所使用的夜视***的种类，只有不可见照明源会是有帮助的，从而减少对人类或野生生物的刺激并增加整体安全性。
可替代地，所描述的***可以在安全或监控***内使用。在这种情况下，至少一个相机可以是固定相机，其被用于捕获例如要监视的财产或地点的第一夜视图像。固定相机可以例如安装在道路的一侧，以捕获经过的交通工具的图像或视频流。由路边相机捕获的图像然后可以被传输到经过的汽车，或者可以用于训练目的。可选地，所捕获的第一夜视图像然后由处理单元进行预处理，并且该处理单元被配置为基于所捕获的第一夜视图像的辉度值来确定预测的色度值。
许多安全***已经能够捕获夜视图像或视频流，诸如红外图像或视频流，并且能够在显示器上显示所述夜视图像或视频流。因此，容易地有可能的是向现有的监控***添加被配置为基于夜视图像的辉度值来预测色度值的处理单元，在仅需对***进行小的、便宜的改变的情况下，从而增加显示的图像的质量，所述显示的图像根据输入夜视图像或视频流的辉度值以及分别预测的色度值进行组合。
参考该方法描述的实施例和优选实施方式细节也可以关于所描述的***来应用，反之亦然。
附图说明
在下文中，参考附图描述本申请的优选实施例，其中
图1示意性地示出了卷积神经网络；
图2示出了所描述的***的实施例的概念图；
图3示出了两个图像以及它们相应的经裁切和对准的子图像；
图4示出了用于训练卷积神经网络以及用于使用卷积神经网络来预测色度值的所描述的方法的实施例的工作流程；
图5示出了根据所描述的方法的预处理方法的详细控制流程图；以及
图6示出了根据所描述的方法的预测方法的详细控制流程图。
具体实施方式
在背景技术部分已经讨论过的图1示出了根据现有技术的卷积神经网络的示意图。如上所述，使用与卷积层103相关联的特征图104来扫描输入图像101的子区域102、102'。特征图104被训练并用作过滤器，以便检测输入图像101中的局部图案。卷积层103的输出随后由子采样层105进行子采样，以便降低空间分辨率。
图2示出了用于独立于当前光条件而显示经着色的图像的***。为了实现这一目的，提供了NIR相机201-1以及彩色相机201-2，并将NIR相机201-1以及彩色相机201-2连接到处理器203。处理器203被配置为从两个相机中的任一个接收图像，以确定要显示哪个图像，在必要时处理接收到的图像以及在显示器204上显示输出图像。处理器还连接到收发器202，经由收发器202可以发送或接收附加的数据或信息。发送器/接收器还可以被用于将数据传送到服务器，并可以建立分散的数据处理。此外，利用上传的图像，DNN的在线训练是可能的。当将上传的和在线的经着色的NIR图像传输回***时，将增加的经训练的模型传输到处理单元(203)是可能的。
可替代地，图2中所示的***也可以使用单个相机201-1来实现，该相机被配置为捕获夜视图像和彩色图像二者。在这种情况下，可以省略第二相机201-2。要么单个相机201-1可以是同时捕获夜视(诸如红外)图像和彩色图像的多芯片相机，要么单个相机201-1可以在其光学通道内使用不同的过滤器来捕获夜视图像或彩色图像。
在日光条件下(如通过分析所捕获的图像的亮度或可替代地通过单独的附加的亮度传感器所确定的)，彩色相机201-2有源，并且由彩色相机捕获的图像或相应的视频流在显示器中示出。
如果没有足够的光来捕获彩色图像，那么开启红外辐射器204以便利用不可见光来照射周围环境。然后，NIR相机201-1捕获NIR图像。处理器203从NIR相机201接收这些图像，并基于处理器或相关联的存储器中存储的预测函数来确定NIR图像的色度值，并通过将预测的色度值与接收到的NIR图像的辉度值进行组合来生成经着色的输出图像。然后经着色的输出图像显示在显示器204上。
与上面参考图2描述的***相似或同样的设置也可以用于捕获多对训练图像。在这种情况下，优选地在日光条件下，彩色相机201-2和NIR相机201-1同时捕获图像。然后，这些图像对由处理器203接收，处理器203被配置为训练卷积神经网络，以根据捕获的夜视图像的辉度值来预测捕获的彩色图像的色度值。所确定的预测函数可以经由收发器202被传输到其它处理器或在线服务。
该***可以例如被应用在驾驶员辅助***内，用于数字化一个或多个后视镜。在这种情况下，相机201-1和202-2二者都安装在汽车的后部。取决于当前的光条件，要么代替后视镜的数字显示器示出由彩色相机201-2捕获的彩色图像，要么该数字显示器示出人工彩色图像，该人工彩色图像通过将由NIR相机201-1捕获的NIR图像的辉度与由处理器使用预先训练的预测函数确定的预测的色度值进行组合而生成。
在数字后视镜的情况下，还有可能跟踪显示器的人类观察者的位置并相应地调整所显示的内容。在白天期间以及在夜间期间所显示的内容还可以利用附加信息(诸如路线信息或物体标记)来增强。
在替代实施例中，以上关于汽车的后视镜描述的***还可以在移动设备(诸如汽车、军用交通工具、飞机或船)中被应用以增强或代替挡风玻璃或其它窗户。特别地，用不可见的辐射发射器代替交通工具的发光***(诸如前灯)是可能的，该不可见的辐射发射器利用不可见光来照射周围环境并且使得能够捕获高质量夜视图像。然后，可以通过将(如由预先配置的预测函数所确定的)预测的色度值添加到单色NIR图像来对这些夜视图像重新着色。特别地，挡风玻璃或相应的窗户可以是半透明的，或者可以在透明和不透明之间切换。在半透明显示器的情况下，可以将预测的色度投影到显示器上，以便增强周围环境的自然视图。
如图2中所示的***还可以用在可穿戴设备中，诸如用于头盔、眼镜或双筒望远镜的数字***。在这种情况下，NIR相机位于显示器附近，以使确保所显示的图像的逼真的光轴。NIR相机捕获NIR图像，这些NIR图像被实时地转发到小型处理器，要么该小型处理器可以包括在可穿戴设备中，要么该小型处理器利用有线或者以无线方式连接到可穿戴设备。处理器基于接收到的NIR图像确定色度值，并将这些色度值显示在相应的显示器上。显示器可以是透明或半透明的显示器，关于图片的辉度的色度值被投影到该显示器上以突出物体，同时仍然允许用户通过可穿戴设备观看实际的周围环境。可穿戴设备可以可选地包括附加的辐射器，用于提高捕获的图像的质量。
根据本申请中描述的***的实施例，在夜间拍摄的数字图像可以被增强和/或重新着色。使用NIR相机在黑暗条件下拍摄的图像可以要么立即要么稍后被传送到处理器，其中通过预测NIR图像的色度值以及将预测的色度值与NIR图像的辉度值进行组合来确定NIR图像的经着色的版本。然后可以将经着色的图像打印、显示、与朋友共享或上传到网站。例如使用启用夜视的智能电话、平板电脑或数码相机拍摄的视频流稍后可以被重新着色，从而提高在夜间捕获的图像或视频的质量。可以使用有源辐射源以便提供不可见的照明。可替代地，可以在没有人工的不可见照明源的情况下捕获图像或视频。例如，夜视图像也可以在日间期间捕获，并且稍后可以利用同时捕获的彩色信息来重新着色和/或增强，从而为处理图像数据提供附加的选项。
夜视***也频繁地用在安全和/或监控应用中。在监控应用中，常常期望的是最小化或消除可见光，以避免被其他人检测到。但是，在没有可见光的情况下捕获的夜视图像是单色的，因此使得人类安全工作人员对移动物体的检测变得困难且累人。如果显示经着色的图像，那么可以大大提高安全工作人员的生产率，从而允许更容易检测到人或异物。如以上关于图2所描述的，安全***可以类似地使用NIR相机以及彩色相机，其中处理器选择性地确定是显示彩色相机的图像还是显示NIR图像的(如以上所述通过使用预先训练的预测函数所获得的)重新着色的版本。
现有的安全***常常已经配备有彩色相机以及夜视(或NIR)相机。在一些安全***中，使用能够基于过滤器或设置捕获要么彩色图像要么NIR图像的单个相机。监控***中还例行地已经提供有显示器。因此，有可能的是简单地将处理器添加到现有监控***，其中，如本申请中所描述的，处理器被配置为处理NIR图像，从而提供对现有监控***的简单且经济高效的改进。
对于私人安全应用(诸如私人财产或儿童的游戏室的监控)，也有可能的是使用简单的附加组件对捕获的夜视图像着色，该附加组件要么本地安装在私人计算机上，要么通过基于web的服务。然后可以将最终图像显示在用户的移动设备(诸如智能电话或平板电脑)上，或者显示在固定安装的监视器上。因此，用户可以更容易地检测危险情况，并在必要时向警察或安全工作人员发出警报。可选地，可以基于到当前在所述相机的视野内的物体的距离来调整安全相机的焦点。
图3-图6示出了与训练和预测过程相关的实施例，该训练和预测过程在关于图2讨论的处理器或计算机内实现。
为了确定用于基于夜视图像的辉度值来确定预测的色度值的预测函数，如关于前述实施例所讨论的，需要收集多对(一方面)NIR图像和(另一方面)对应的彩色图像的训练数据集合。这可以通过使用NIR相机以及彩色相机来进行，它们恰好彼此相邻放置并同时捕获相同设置的图像。两个相机具有平行的光轴并且优选地放置为隔开小于5cm。为了捕获训练图像，有可能的是使用两个同样的彩色相机，这两个相机各自配备有对应的过滤器以阻挡要么NIR分量要么可视分量，使得一个相机有效地捕获NIR图像，而另一个相机有效地捕获彩色图像。
图3示意性地示出了由如上所述的相机***同时捕获的NIR图像301和彩色图像302。因为相机定位为仅相距几厘米，所以捕获的图像301和302的内容仅略有不同。特别地，两个图像具有重叠的感兴趣的区域，即，NIR图像301的子图像303包含与彩色图像302的子图像304相同的内容。当然，虽然NIR子图像303是单色的并且彩色子图像304具有全色，但是两个物体仍然示出相同的物体，并且因此可以用作训练样本以训练预测函数。为了基于训练图像的集合使用机器学习方法来成功地训练自适应模型，收集大量(即，10000个，优选地100000个或更多个)图像对是有帮助的。理想情况下，训练图像应当全部示出特定于应用的内容。例如，如果应用针对驾驶员辅助***，那么训练图像应当是道路和交通工具的图像。对于更广泛的应用，可以确定若干预测函数，这些预测函数中的每一个都适用于某个子应用。然后可以基于附加数据(诸如元数据或传感器数据)或基于对输入图像的简单分析来选择相关的预测函数。
在图4中示意性地概述了预测函数的训练和随后应用，图4示出通过基于图像对的训练集合使用机器学习方法来训练S41机器学习模型或自适应模型的过程以及通过使用预测函数来确定S42夜视输入图像LNIR_In的经着色的版本的过程。
当训练预测函数fPred时，首先预处理S401若干对图像，每对图像包括夜视(在这种情况下为近红外的)图像NIR和彩色图像VIS。预处理涉及诸如对每个相应的图像对进行裁切和对准以及从每个图像中提取相关数据之类的步骤。特别地，给定一对NIR图像和彩色图像VIS，提取NIR图像的辉度LNIR，并且提取彩色图像VIS的色度CVIS。彩色图像的辉度未在进一步的训练方法中使用，并且可以被丢弃。
然后使用相应的机器学习方法来训练预选的自适应模型(诸如卷积神经网络)，以确定S402数据集上的预测函数fPred，其中NIR图像的辉度值LNIR用作输入值，而彩色图像VIS的色度值CVIS用作目标值。
在已确定了预测函数fPred之后，将所述预测函数加载到与处理器相关联的存储器中，在该处理器上执行针对新输入的夜视图像(以前看不见的夜视图像)的预测的色度值的确定。
当捕获新的夜视图像NIRIn时，首先确定这个图像的辉度LNIR_In。然后，可能在其它操作当中考虑预测函数fPred来确定S403预测的色度值CVIS_Rec。然后，组合S404重建的预测的色度值CVIS_Rec和输入图像的辉度值LNIR_In，以便生成输出图像405。所述输出图像保留了原始输入图像NIRIn的清晰度，同时添加了逼真的色彩，以用于特征的改善的可见性和人类观察者的更好的注意力控制。
图5示出了在确定预测函数之前预处理S401多对夜视图像NIR和彩色图像VIS的更详细的控制流程。对于每对对应的图像NIR和VIS，首先识别S501在两个图像中的对应点，以便确定平移操作，这对于对准该对对应的图像是有帮助的。在已确定平移操作之后，裁切和对准S502图像，以便生成两个图像的同样的或几乎同样的感兴趣的区域，从而确保两个图像的良好的像素到像素对应。因为直接根据输入夜视图像的辉度取得输出图像的辉度，所以保留了夜视图像的清晰度。因此，可以容忍每对训练图像中的两个图像之间的微小偏差，并且因为预测集中于图像的特征，所以训练对的两个图像之间的完美的像素到像素对应不是必要的。使用滚动快门，例如有可能的是补偿给定的训练图像对的彩色图像和夜视图像之间的数百个像素(例如多达250px)的偏差。
然后对经裁切和对准的图像NIRAC和VISAC进行进一步处理，以便提取每个图像的相关数据。特别地，提取S503-1经裁切和对准的夜视图像NIRAC的辉度LNIR，以及提取S503-2经裁切和对准的彩色图像VISAC的色度CVIS。
如上面关于图4所讨论的，然后进一步使用所得到的该对图像数据LNIR和CVIS。
图6详细示出了如何基于夜视图像的辉度值确定S403预测的色度值。
夜视图像的辉度值LNIR_In首先被用于从预测函数f1 Pred、f2 Pred、f3 Pred和f4 Pred的选择中选择S601一个或多个适合的预定的预测函数，这些预测函数f1 Pred、f2 Pred、f3 Pred和f4 Pred在与处理器相关联的本地存储器中可用。已经在专门选择的训练集合上训练了每个预测函数，这使得所述预测函数适合于基于类似于输入训练集合的输入图像来执行预测。例如，一个预测函数可以适合于好天气下的预测，而另一个则适合于恶劣天气状况。而且，当选择S601一个或多个适合的预测函数时，可以考虑剩余可见光或从中提取了辉度值LNIR_In的夜视输入图像所处于的一天中的时间。然后，通过使用输入图像的网格或平铺或相应的辉度来扫描(S602-1、S602-2)输入图像的辉度值以便检测对于预测函数已知的物体，所选择的预测函数f1 Pred、f2 Pred中的每一个针对输入辉度值确定色度值。如果检测到已知物体(例如，基于底层卷积神经网络的权重和过滤器函数)，那么基于相应的物体的已知色度值来指派色度。如果未检测到物体，那么可考虑附近的像素或物体，基于对色彩值进行平均来指派色度值。有可能的是，基于预处理算法将输入夜视图像进行分割，并且可以将不同的预测函数用于不同的子图像，并且然后将所得到的预测结果进行组合。例如，一个预测函数可以用于对整个输入夜视图像重新着色，而另一个预测函数用于减少眩光(glare)，第三个预测函数用于突出路边标志或特别重要的其它特征，而又另一个预测函数用于调整色度值以解决色盲，诸如人类用户的红绿色盲。
因为每个预测函数略有不同，所以确定的色度值C1 VIS和C2 VIS可以略有不同。然后通过对由不同预测值确定的色度值执行融合S603来确定输出色度CVIS_Rec。融合可以特别地针对每个像素或物体将所确定的色度值C1 VIS和C2 VIS的色度进行叠加或平均。可替代地，为了在输出色度CVIS_Rec中生成更多鲜艳的色彩，可以使每个所选择的预测函数的值或所确定的色度值最大化。可以适应性地重新训练存储在与处理器相关联的存储器中的每个预测函数。优选地，离线并且周期性地或者每当已经收集到足够数量的新训练图像对时，执行训练。在重新训练之后，经重新训练的预测函数然后经由收发器202传输到处理器。
Claims (15)
1.一种用于根据第一夜视图像(NIRIn)生成第一彩色图像(405)的方法，所述方法包括
-通过使用预测函数(fPred)，基于所述第一夜视图像(NIRIn)的辉度值(LNIR_In)，确定(S403)预测的色度值(CVIS_Rec)；
-通过将所述第一夜视图像(NIRIn)的所述辉度值(LNIR_In)与所述预测的色度值(CVIS_Rec)进行组合(S404)，生成所述第一彩色图像(405)。
2.如权利要求1所述的方法，还包括确定(S41)将夜视图像的辉度值映射到预测的色度值(CVIS_Rec)的所述预测函数(fPred)的步骤，其中所述预测的色度值(CVIS_Rec)类似于与所述夜视图像对应的彩色图像的色度值。
3.如权利要求2所述的方法，其中确定(S41)将夜视图像的辉度值映射到对应的彩色图像的所述预测的色度值(CVIS_Rec)的所述预测函数(fPred)包括：
-获得若干对训练图像，每对包括夜视图像(NIR)和彩色图像(VIS)，其中所述夜视图像(NIR)和所述彩色图像(VIS)描绘重叠的和/或大体上同样的感兴趣的区域(303，304)；
-通过在训练图像上训练机器学习模型，确定(S41)所述预测函数(fPred)，以根据所述夜视图像(NIR)的辉度(LNIR)预测所述彩色图像(VIS)的色度(CVIS)。
4.如前述权利要求中任一项所述的方法，其中所述预测函数(fPred)在不考虑除了用于确定所述预测函数(fPred)的训练图像的色彩和/或色度值之外的捕获的色彩和/或色度值的情况下，基于所述第一夜视图像(NIRIn)的所述辉度值(LNIR_In)确定所述预测的色度值(CVIS_Rec)。
5.如权利要求1至4中任一项所述的方法，其中若干对训练图像中的所述第一夜视图像(NIRIn)和/或所述夜视图像(NIR)是在使用有源红外照明源时获得的红外或近红外图像。
6.如权利要求3至5中任一项所述的方法，其中，通过使用日光或人工光同时捕获包含大体上同样的感兴趣的区域的夜视图像和彩色图像，获得每对训练图像。
7.如权利要求3至6中任一项所述的方法，还包括当获得新的多对训练图像时调整所述预测函数(fPred)的步骤。
8.如权利要求3至7中任一项所述的方法，其中用于确定所述预测函数(fPred)的机器学习方法基于神经网络，优选地基于卷积神经网络。
9.如权利要求3至8中任一项所述的方法，其中在考虑到特征图(104)的情况下，训练所述预测函数(fPred)包括基于多对训练图像的典型形状和阴影来识别所述特征图(104)，并且其中所述预测的色度值(CVIS_Rec)由所述预测函数(fPred)基于所述第一夜视图像(NIRIn)确定。
10.一种用于根据第一夜视图像(NIRIn)自动生成第一彩色图像(405)的***，所述***包括：
-至少一个相机(201-1，201-2)，被配置为捕获所述第一夜视图像(NIRIn)；
-处理单元(203)，被配置为通过使用将夜视图像的辉度值映射到对应的彩色图像的色度值的预测函数(fPred)来针对所述第一夜视图像(NIRIn)的辉度值(LNIR_In)确定预测的色度值(CVIS_Rec)；并且被配置为通过将所述第一夜视图像(NIRIn)的所述辉度值(LNIR_In)与所述预测的色度值(CVIS_Rec)进行组合来生成所述第一彩色图像(405)；
-显示器(204)，用于向用户显示所述第一彩色图像(405)。
11.如权利要求10所述的***，其中
-所述***还包括另一个处理单元，所述另一个处理单元被配置为(i)获得若干对训练图像，每对包括夜视图像和对应的彩色图像，其中所述夜视图像和所述彩色图像描绘重叠的和/或大体上同样的感兴趣的区域；(ii)通过训练机器学习方法，
确定所述预测函数(fPred)，以根据所述夜视图像的辉度预测所述彩色图像的色度。
12.如权利要求11所述的***，其中，所述至少一个相机是红外相机，并且所述***还包括：
-至少一个红外照明源，其中所述至少一个相机(S201-1，S201-2)被配置为在红外照明源有源时捕获红外图像或近红外图像。
13.如权利要求11至12所述的***，其中
-所述另一个处理单元还被配置为当获得新的多对训练图像时调整所述预测函数(fPred)。
14.如权利要求10至13所述的***在安全或监控***内的使用，其中相机(201-1，201-2)是固定相机。
15.如权利要求10至13所述的***在驾驶员辅助***内的使用，其中相机(201-2，201-2)是非固定相机。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2017/062607 WO2018215066A1 (en) | 2017-05-24 | 2017-05-24 | Method and system for automatically colorizing night-vision images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110651301A true CN110651301A (zh) | 2020-01-03 |
Family
ID=59055177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780091101.6A Pending CN110651301A (zh) | 2017-05-24 | 2017-05-24 | 用于自动为夜视图像着色的方法和*** |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US20200167972A1 (zh) |
| EP (1) | EP3631761B1 (zh) |
| CN (1) | CN110651301A (zh) |
| DE (1) | DE112017007579T5 (zh) |
| WO (1) | WO2018215066A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553953A (zh) * | 2020-04-23 | 2020-08-18 | 国科天成（北京）科技有限公司 | 夜视仪伪彩标定***和方法 |
| CN112738392A (zh) * | 2020-12-24 | 2021-04-30 | 上海哔哩哔哩科技有限公司 | 图像转换方法及*** |
| CN113920455A (zh) * | 2021-08-31 | 2022-01-11 | 暨南大学 | 一种基于深度神经网络的夜间视频着色方法 |
| CN116433508A (zh) * | 2023-03-16 | 2023-07-14 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
| US12007549B1 (en) * | 2022-03-14 | 2024-06-11 | Fyotech Llc | Passive color night vision |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11100350B2 (en) * | 2018-02-19 | 2021-08-24 | Avigilon Corporation | Method and system for object classification using visible and invisible light images |
| WO2020049567A1 (en) * | 2018-09-06 | 2020-03-12 | Carmel Haifa University Economic Corporation Ltd. | Model-free physics-based reconstruction of images acquired in scattering media |
| EP3666622A1 (en) * | 2018-12-14 | 2020-06-17 | Bilberry SAS | System and method for railway weeding |
| EP3667555A1 (en) * | 2018-12-14 | 2020-06-17 | Bilberry SAS | A weeding system and method for use in agriculture |
| US10999606B2 (en) * | 2019-01-08 | 2021-05-04 | Intel Corporation | Method and system of neural network loop filtering for video coding |
| CN109949353A (zh) * | 2019-03-25 | 2019-06-28 | 北京理工大学 | 一种低照度图像自然感彩色化方法 |
| US11462032B2 (en) * | 2019-09-23 | 2022-10-04 | Proscia Inc. | Stain normalization for automated whole-slide image classification |
| CN110827375B (zh) * | 2019-10-31 | 2023-05-30 | 湖北大学 | 一种基于微光图像的红外图像真彩着色方法及*** |
| US20230059499A1 (en) * | 2020-02-13 | 2023-02-23 | Nec Corporation | Image processing system, image processing method, and non-transitory computer readable medium |
| US12034900B2 (en) * | 2020-02-13 | 2024-07-09 | Nec Corporation | Image processing system, image processing method, and non-transitory computer readable medium for generating a colorized image |
| CN115152201A (zh) * | 2020-02-26 | 2022-10-04 | 华为技术有限公司 | 用于从图像中去除大气遮挡物的方法和装置 |
| CN111709903B (zh) * | 2020-05-26 | 2022-08-19 | 中国科学院长春光学精密机械与物理研究所 | 一种红外与可见光图像融合方法 |
| US20220091266A1 (en) * | 2020-09-18 | 2022-03-24 | Denso International America, Inc. | Systems and methods for enhancing outputs of a lidar |
| EP4200674A4 (en) | 2020-09-23 | 2024-03-20 | Proscia Inc. | CRITICAL COMPONENT DETECTION USING DEEP LEARNING AND DEEP ATTENTION |
| WO2022089535A1 (en) * | 2020-10-28 | 2022-05-05 | Creative Semiconductor Ltd. | Deep learning-based wireless camera system with color night vision |
| FR3119671B1 (fr) | 2021-02-10 | 2023-12-08 | Bertin Technologies Sa | Système et procédé d’observation |
| CN113065633B (zh) * | 2021-02-26 | 2024-07-09 | 华为技术有限公司 | 一种模型训练方法及其相关联设备 |
| CN113298177B (zh) * | 2021-06-11 | 2023-04-28 | 华南理工大学 | 夜间图像着色方法、装置、介质和设备 |
| DE102021123275B3 (de) | 2021-09-08 | 2023-01-26 | Cariad Se | Verfahren und Prozessorschaltung zum Bereitstellen von Farbbilddaten, durch welche zumindest ein Objekt in einer vorbestimmten Umgebung farbig dargestellt ist, sowie Kraftfahrzeug mit der Prozessorschaltung |
| CN113902640B (zh) * | 2021-10-09 | 2024-06-14 | 天津大学 | 一种基于半监督域转换神经网络的图像去雾***及其方法 |
| JP7420441B2 (ja) * | 2022-05-13 | 2024-01-23 | Ｎｅｃプラットフォームズ株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
| CN102306295A (zh) * | 2011-05-31 | 2012-01-04 | 东华大学 | 一种基于单波段红外图像的自然彩色夜视实现方法 |
| CN102692600A (zh) * | 2012-06-15 | 2012-09-26 | 东华大学 | 基于机器视觉的继电器触头电寿命快速评估方法及装置 |
| CN103592374A (zh) * | 2013-11-18 | 2014-02-19 | 国家电网公司 | 一种基于d-s证据理论的变压器油色谱数据预测方法 |
| CN103985055A (zh) * | 2014-05-30 | 2014-08-13 | 西安交通大学 | 一种基于网络分析和多模型融合的股市投资决策方法 |
| CN105550687A (zh) * | 2015-12-02 | 2016-05-04 | 西安电子科技大学 | 一种基于isa模型的rgb-d图像的多通道融合特征提取方法 |
| CN105590305A (zh) * | 2016-03-04 | 2016-05-18 | 温健阳 | 基于红外与微光图像融合技术的彩色夜视*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2857463B1 (fr) | 2003-07-11 | 2005-09-02 | Valeo Vision | Systeme de vision nocturne a infrarouge, en couleur. |
| US8836793B1 (en) | 2010-08-13 | 2014-09-16 | Opto-Knowledge Systems, Inc. | True color night vision (TCNV) fusion |
| CN106488201B (zh) * | 2015-08-28 | 2020-05-01 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和*** |
-
2017
- 2017-05-24 DE DE112017007579.3T patent/DE112017007579T5/de not_active Withdrawn
- 2017-05-24 CN CN201780091101.6A patent/CN110651301A/zh active Pending
- 2017-05-24 US US16/614,938 patent/US20200167972A1/en not_active Abandoned
- 2017-05-24 EP EP17729800.7A patent/EP3631761B1/en active Active
- 2017-05-24 WO PCT/EP2017/062607 patent/WO2018215066A1/en active Application Filing
-
2021
- 2021-03-10 US US17/197,853 patent/US20210217212A1/en not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102306295A (zh) * | 2011-05-31 | 2012-01-04 | 东华大学 | 一种基于单波段红外图像的自然彩色夜视实现方法 |
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
| CN102692600A (zh) * | 2012-06-15 | 2012-09-26 | 东华大学 | 基于机器视觉的继电器触头电寿命快速评估方法及装置 |
| CN103592374A (zh) * | 2013-11-18 | 2014-02-19 | 国家电网公司 | 一种基于d-s证据理论的变压器油色谱数据预测方法 |
| CN103985055A (zh) * | 2014-05-30 | 2014-08-13 | 西安交通大学 | 一种基于网络分析和多模型融合的股市投资决策方法 |
| CN105550687A (zh) * | 2015-12-02 | 2016-05-04 | 西安电子科技大学 | 一种基于isa模型的rgb-d图像的多通道融合特征提取方法 |
| CN105590305A (zh) * | 2016-03-04 | 2016-05-18 | 温健阳 | 基于红外与微光图像融合技术的彩色夜视*** |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553953A (zh) * | 2020-04-23 | 2020-08-18 | 国科天成（北京）科技有限公司 | 夜视仪伪彩标定***和方法 |
| CN111553953B (zh) * | 2020-04-23 | 2020-12-11 | 国科天成（北京）科技有限公司 | 夜视仪伪彩标定***和方法 |
| CN112738392A (zh) * | 2020-12-24 | 2021-04-30 | 上海哔哩哔哩科技有限公司 | 图像转换方法及*** |
| CN113920455A (zh) * | 2021-08-31 | 2022-01-11 | 暨南大学 | 一种基于深度神经网络的夜间视频着色方法 |
| US12007549B1 (en) * | 2022-03-14 | 2024-06-11 | Fyotech Llc | Passive color night vision |
| CN116433508A (zh) * | 2023-03-16 | 2023-07-14 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
| CN116433508B (zh) * | 2023-03-16 | 2023-10-27 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3631761B1 (en) | 2020-07-08 |
| WO2018215066A1 (en) | 2018-11-29 |
| US20200167972A1 (en) | 2020-05-28 |
| US20210217212A1 (en) | 2021-07-15 |
| EP3631761A1 (en) | 2020-04-08 |
| DE112017007579T5 (de) | 2020-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210217212A1 (en) | Method and system for automatically colorizing night-vision images | |
| CN108460734B (zh) | 车辆驾驶员辅助模块进行图像呈现的***和方法 | |
| US10744936B1 (en) | Using camera data to automatically change the tint of transparent materials | |
| US9846927B2 (en) | Systems and methods for haziness detection | |
| JP4970516B2 (ja) | 周囲確認支援装置 | |
| US11715180B1 (en) | Emirror adaptable stitching | |
| US20170372444A1 (en) | Image processing device, image processing method, program, and system | |
| US11970156B1 (en) | Parking assistance using a stereo camera and an added light source | |
| CN109409186B (zh) | 用于对象检测和通知的驾驶员辅助***和方法 | |
| IT201900012813A1 (it) | Switchable display during parking maneuvers | |
| US11380111B2 (en) | Image colorization for vehicular camera images | |
| CN111462128A (zh) | 一种基于多模态光谱图像的像素级图像分割***及方法 | |
| US12007783B2 (en) | Methods and systems for navigating autonomous and semi-autonomous vehicles | |
| CN111161160B (zh) | 一种雾天障碍物检测方法、装置、电子设备和存储介质 | |
| US11455710B2 (en) | Device and method of object detection | |
| JP2022522375A (ja) | 画像収集制御方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム | |
| Dawdi et al. | Locating victims in hot environments using combined thermal and optical imaging | |
| CN113298177A (zh) | 夜间图像着色方法、装置、介质和设备 | |
| CN109495694B (zh) | 一种基于rgb-d的环境感知方法及装置 | |
| CN107623831A (zh) | 一种昼夜全彩楼宇可视电话成像装置 | |
| US20160321509A1 (en) | Image processing device, warning device and method for processing image | |
| CN112740264A (zh) | 用于处理红外图像的设计 | |
| CN115272781A (zh) | 车辆图像的评价方法及其设备 | |
| CN114241220A (zh) | 一种无人机地物检测方法 | |
| DE102022119263A1 (de) | Verbesserte beleuchtungsinvariante bildgebung |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |