CN112241668A - 图像处理方法、装置及设备 - Google Patents

图像处理方法、装置及设备 Download PDF

Info

Publication number
CN112241668A
CN112241668A CN201910651711.8A CN201910651711A CN112241668A CN 112241668 A CN112241668 A CN 112241668A CN 201910651711 A CN201910651711 A CN 201910651711A CN 112241668 A CN112241668 A CN 112241668A
Authority
CN
China
Prior art keywords
image
data format
target area
processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910651711.8A
Other languages
English (en)
Other versions
CN112241668B (zh
Inventor
肖飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910651711.8A priority Critical patent/CN112241668B/zh
Publication of CN112241668A publication Critical patent/CN112241668A/zh
Application granted granted Critical
Publication of CN112241668B publication Critical patent/CN112241668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法、装置及设备，获取第一数据格式的可见光图像和第一数据格式的红外图像，由于两种图像是对同一区域内以不同成像手段获得的不同图像进行配准处理后的图像，则以第一数据格式的可见光图像和/或红外图像为依据，检测出目标对象的位置信息，从第一数据格式的融合图像中截取与位置信息对应的第一数据格式目标区域图像，从而获得精度高的原始数据，并将第一数据格式目标区域图像转换成第二数据格式目标区域图像，以进行目标对象识别过程，通过对第一数据格式目标区域图像进行处理，可以避免为了兼顾全局而导致的局部信息损失，从而能提高后续目标对象识别的准确率。

Description

图像处理方法、装置及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及图像处理方法、装置及设备。
背景技术
随着社会的不断进步，视频监控***的应用范围越来越广泛，智能监控作为视频监控技术的一个研究热点，目标检测作为智能监控的一环节，有着非常重要的意义。摄像模块将采集的原始数据处理成适于显示/传输的图像，并将处理后的图像数据传输至处理模块，由处理模块利用处理后的图像数据进行目标检测，摄像模块和处理模块可以在同一个设备中，也可以不在同一个设备中。其中，可以将原始数据的格式称为第一数据格式，将处理后的图像数据的格式称为第二数据格式，例如，RGB格式、YUV格式。申请人发现，在将第一数据格式的原始数据处理成第二数据格式的图像数据时，会将第一数据格式的原始数据进行噪声去除、坏点去除、白平衡校正、自动曝光等处理，可能由于不当处理造成目标对象所在区域存在较大的损失，使用已损失信息的目标区域图像提取特征也会降低识别准确性。
发明内容
为克服相关技术中存在的问题，本发明提供了图像处理方法、装置及设备。
根据本发明实施例的第一方面，提供一种图像处理方法，所述方法包括：
获取的第一数据格式的可见光图像和第一数据格式的红外图像；
依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息；
从第一数据格式的融合图像中截取与所述位置信息对应的第一数据格式目标区域图像，所述第一数据格式的融合图像由第一数据格式的可见光图像和红外图像融合处理获得；
将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像；
其中，第一数据格式是图像传感器采集的原始数据的格式，第二数据格式是适于显示或传输的图像数据的图像格式。
根据本发明实施例的第二方面，提供一种目标识别方法，所述方法包括：
获取第一方面提供的所述图像处理方法获得的第二数据格式目标区域图像；
从所述第二数据格式目标区域图像中提取目标对象的目标特征向量；
将所提取的目标特征向量与已注册的标准特征向量进行比对，根据比对结果识别所述第二数据格式目标区域图像中的目标对象。
根据本发明实施例的第三方面，提供一种图像处理装置，所述装置包括：
图像获取模块，用于获取的第一数据格式的可见光图像和第一数据格式的红外图像；
位置确定模块，用于依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息；
图像截取模块，用于从第一数据格式的融合图像中截取与所述位置信息对应的第一数据格式目标区域图像，所述第一数据格式的融合图像由第一数据格式的可见光图像和红外图像融合处理获得；
图像处理模块，用于将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像；
其中，第一数据格式是图像传感器采集的原始数据的格式，第二数据格式是适于显示或传输的图像数据的图像格式。
根据本发明实施例的第四方面，提供一种目标识别装置，所述装置包括：
图像获得模块，用于从第三方面提供的图像处理模块中获得的第二数据格式目标区域图像；
向量提取模块，用于从所述第二数据格式目标区域图像中提取目标对象的目标特征向量；
目标识别模块，用于将所提取的目标特征向量与已注册的标准特征向量进行比对，根据比对结果识别所述第二数据格式目标区域图像中的目标对象。
根据本发明实施例的第五方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述任一项所述图像处理方法/目标识别方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例提获取第一数据格式的可见光图像和第一数据格式的红外图像，由于两种图像是对同一区域内以不同成像手段获得的不同图像进行配准处理后的图像，因此，以第一数据格式的可见光图像和/或红外图像为依据，检测出目标对象的位置信息，从第一数据格式的融合图像中截取与位置信息对应的第一数据格式目标区域图像，从而获得精度高的原始数据，并将第一数据格式目标区域图像处理成第二数据格式目标区域图像，以进行目标对象识别过程，通过对第一数据格式目标区域图像进行处理，可以避免为了兼顾全局而导致的局部信息损失，从而能提高后续目标对象识别的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入发明中并构成本发明的一部分，示出了符合本发明的实施例，并与发明一起用于解释本发明的原理。
图1是本发明根据一示例性实施例示出的一种图像处理方法的流程图。
图2是本发明根据一示例性实施例示出的一种图像处理装置的框图。
图3是本发明根据一示例性实施例示出的一种信息融合网络模型的网络结构示意图。
图4A是本发明根据一示例性实施例示出的一种图像处理装置进行图像处理的示意图。
图4B是本发明根据一示例性实施例示出的另一种图像处理装置进行图像处理的示意图。
图5A是本发明根据一示例性实施例示出的一种位置确定模块的处理流程图。
图5B是本发明根据一示例性实施例示出的一种色彩插值前后对比示意图。
图5C是本发明根据一示例性实施例示出的一种位置检测模型的网络结构示意图。
图5D是本发明根据一示例性实施例示出的另一种位置确定模块的处理流程图。
图6A是本发明根据一示例性实施例示出的一种图像处理模块的处理流程示意图。
图6B是本发明根据一示例性实施例示出的一种图像增强网络模型的网络结构示意图。
图6C是本发明根据一示例性实施例示出的另一种图像增强网络模型的网络结构示意图。
图6D是本发明根据一示例性实施例示出的一种色彩特征提取示意图。
图6E是本发明根据一示例性实施例示出的另一种色彩特征提取示意图。
图6F是本发明根据一示例性实施例示出的另一种图像增强网络模型的网络结构示意图。
图7是本发明根据一示例性实施例示出的一种目标识别方法的流程图。
图8是本发明图像处理/目标识别装置所在计算机设备的一种硬件结构图。
图9是本发明根据一示例性实施例示出的一种目标识别装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
关于第一数据格式和第二数据格式，第一数据格式是指图像传感器将捕捉到的光源信号转化为数字信号的原始数据格式，该原始数据为包含来自一个或多个光谱波段的感应数据。该原始数据可以包括对波长范围是380nm～780nm、和/或780nm～2500nm的光谱波段的光信号采样所得的感应数据。例如，可以是RGB传感器感光得到的RAW图像信号。第一数据格式的图像为成像设备将采集到的光源信号转换为数字信号的数据。具体的，成像设备采集图像的原理一般为：采集光源信号，将采集到的光源信号转换为模拟信号，将模拟信号转换为数字信号，将数字信号输入到处理芯片进行处理(该处理可以包括位宽裁剪、图像处理和编解码处理等)，得到第二数据格式的数据，将第二数据格式的数据传输给显示设备进行显示或其他设备进行处理。例如，第二数据格式可以是RGB格式、YUV格式等。第一数据格式为将采集到的光源信息转换为数字信号时的图像，该图像未经过处理芯片进行处理，位宽高，相比于经过位宽裁剪、图像处理和编解码处理的第二数据格式的图像，包含丰富的图像信息。
摄像模块可以将采集的第一数据格式的原始数据处理成第二数据格式的图像数据，并将第二数据格式的图像数据传输至处理模块，由处理模块利用第二数据格式的图像数据进行目标检测。申请人发现，在将第一数据格式的原始数据处理成第二数据格式的图像数据过程中，会将第一数据格式的原始数据进行噪声去除、坏点去除、白平衡校正、自动曝光等处理，然而，在对图像中目标对象进行识别的场景中，针对整幅图像的处理，在保证图像整体质量的同时难以兼顾目标对象所在区域的图像质量，可能由于不当处理造成目标对象所在区域存在较大的损失，使用已损失信息的目标区域图像提取特征也会降低识别准确性。
鉴于此，本发明实施例提供一种图像处理方案，先获取第一数据格式的可见光图像和第一数据格式的红外图像，由于两种图像是对同一区域内以不同成像手段获得的不同图像进行配准处理后的图像，因此，可以以第一数据格式的可见光图像和/或红外图像为依据，检测出目标对象的位置信息，从第一数据格式的融合图像中截取与位置信息对应的第一数据格式目标区域图像，从而获得精度高的原始数据，并将第一数据格式目标区域图像处理成第二数据格式目标区域图像，以进行目标对象识别过程，通过对第一数据格式目标区域图像进行处理，可以避免为了兼顾全局而导致的局部信息损失，从而能提高后续目标对象识别的准确率。
接下来结合附图对本发明实施例进行示例说明。
如图1所示，是本发明根据一示例性实施例示出的一种图像处理方法的流程图，所述方法包括：
在步骤102中，获取的第一数据格式的可见光图像和第一数据格式的红外图像；
在步骤104中，依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息；
在步骤106中，从第一数据格式的融合图像中截取与所述位置信息对应的第一数据格式目标区域图像，所述第一数据格式的融合图像由第一数据格式的可见光图像和红外图像融合处理获得；
在步骤108中，将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像。
其中，第一数据格式是图像传感器采集的原始数据的格式，第二数据格式是适于显示或传输的图像数据的图像格式。
本实施例提供的图像处理方法可以通过软件执行，也可以通过软件和硬件相结合或者硬件执行的方式实现，所涉及的硬件可以由两个或多个物理实体构成，也可以由一个物理实体构成。
相应的，与图像处理方法的实施例相对应，本发明还提供了图像处理装置的实施例，为了节约篇幅，还结合图像处理装置进行示例说明。如图2所示，是本发明根据一示例性实施例示出的一种图像处理装置的框图，所述装置包括：
图像获取模块22，用于获取的第一数据格式的可见光图像和第一数据格式的红外图像；
位置确定模块24，用于依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息；
图像截取模块26，用于从第一数据格式的融合图像中截取与所述位置信息对应的第一数据格式目标区域图像，所述第一数据格式的融合图像由第一数据格式的可见光图像和红外图像融合处理获得；
图像处理模块28，用于将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像；
其中，第一数据格式是图像传感器采集的原始数据的格式，第二数据格式是适于显示或传输的图像数据的图像格式。
在一个示例中，在能从摄像设备中获取到第一数据格式的数据的情况下，本实施例方法可以应用于与摄像设备连接的处理设备中，处理设备从摄像设备中获取第一数据格式的可见光图像和第一数据格式的红外图像。该实施例适合能从摄像设备中获取到第一数据格式的可见光图像和第一数据格式的红外图像的场景。
然而，实际应用中第一数据格式的原始数据往往被摄像设备处理，摄像设备输出的是第二数据格式的图像，为此，在另一个实施例中，所述图像处理方法应用于摄像设备中，直接从摄像设备的图像传感器中获取第一数据格式的可见光图像和第一数据格式的红外图像。示例的，摄像装置可以包括至少两个图像传感器，其中一个图像传感器用于采集可见光图像，另一个图像传感器用于采集红外图像。例如，可见光图像可以由可见光图像传感器采集获得，红外图像可以由可见光图像传感器或红外图像传感器采集获得。在另一个示例中，摄像装置可以包括一个图像传感器，通过调节图像传感器来实现既可以采集可见光图像，又可以采集红外图像。例如，通过曝光控制实现既可以采集可见光图像，又可以采集红外图像。
第一数据格式的可见光图像可以是来自图像传感器的第一采样信号，第一数据格式的红外图像可以是来自图像传感器的第一采样信号和/或第二采样信号。第一采样可以是指对波长范围380nm-780nm的光谱采样，第二采样可以是指对波长范围780nm-2500nm的光谱采样。
可见光图像和红外图像可能存在像素点没对齐等问题，例如，两个图像传感器，可能由于分辨率不一样，或者装配时存在位置偏差等原因，导致采集到的可见光图像和红外图像存在像素点没对齐等问题。若不进行配准，在融合处理时则可能出现由于位置偏差引起的错位、重影等问题，因此，可以将采集的可见光图像和红外图像进行位置配置，从而能有效避免融合处理时由于图像位置偏差引起的错误、重影等问题。步骤102获取的第一数据格式的可见光图像和第一数据格式的红外图像，可以是配准处理后的第一数据格式的可见光图像和第一数据格式的红外图像。配准(registration)，通常指同一区域以不同成像手段所获得的不同图像图形的地理坐标的匹配，可以包括几何纠正、投影变换、同一比例尺等处理。关于如何配准第一数据格式的可见光图像和第一数据格式的红外图像，可以参考相关技术，在此不做限制。
在获得第一数据格式的可见光图像和第一数据格式的红外图像后，可以以第一数据格式的可见光图像和/或红外图像作为依据，检测出目标对象的位置信息。目标对象可以是图像传感器拍摄区域内用户感兴趣的对象，例如，目标对象包括但不限于人脸、车牌、行人、车辆等对象。位置信息可以直接从第一数据格式的可见光图像中检测获得，也可以从第一数据格式或第二数据格式的红外图像中检测获得的，还可以从由可见光图像和红外图像获得的第一数据格式或第二数据格式的融合图像中检测获得。
关于第一数据格式的融合图像，可以由第一数据格式的可见光图像和红外图像融合处理获得。示例的，可以是第一数据格式的可见光图像和第一数据格式的红外图像按对应权重进行通道叠加，从而获得融合图像。例如，红外图像可能是单通道图像，而可见光图像为RGB三通道图像，则将红外图像转换为RGB三通道图像，然后按权重将红外图像和可见光图像的相应通道进行加权求和，获得融合图像。又如，某些场景中，红外图像和可见光图像均是RGB三通道图像，可以按权重将红外图像和可见光图像的相应通道进行加权求和，获得融合图像。
在一个实施例中，可以采用固定权重对第一数据格式的可见光图像和第一数据格式的红外图像进行加权，获得第一数据格式的融合图像。例如，固定权重可以是0.5。以红外图像为红外图像为例，则可以采用以下公式进行图像融合：
fusraw＝0.5×visraw+0.5×irraw
其中，visraw表示第一数据格式的可见光图像，irraw表示第一数据格式的红外图像，fusraw表示信息融合后的第一数据格式的融合图像。
然而，不同场景下可见光图像和红外图像质量不同，直接以固定权重进行图像融合，获得的融合图像效果有限，鉴于此，在另一个实施例中，可以根据采集第一数据格式的可见光图像的图像传感器的增益等级，确定第一数据格式的可见光图像和第一数据格式的红外图像的权重。示例的，所述第一数据格式的融合图像的确定过程可以包括：
获取采集第一数据格式的可见光图像的图像传感器的增益等级；其中，增益等级是曝光补偿的一个因素；
根据所述增益等级确定第一数据格式的可见光图像和第一数据格式的红外图像进行融合时的权重；增益等级与第一数据格式的红外图像的权重呈正相关关系；
按所确定的权重将第一数据格式的可见光图像和红外图像进行融合处理，获得所述第一数据格式的融合图像。
其中，增益等级与第一数据格式的红外图像的权重呈正相关关系，则，增益等级越高，信息融合时第一数据格式的红外图像所占的比例越大，相应的，第一数据格式的可见光图像所占的比例越小；反之，该增益等级越低，信息融合时第一数据格式的红外图像所占的比例越小，相应的，第一数据格式的可见光图像所占的比例越大。
增益等级可以用于衡量当前拍摄环境光线的照度，照度越低，光线越暗，传感器的增益等级会越高，可见光图像质量往往越差。增益等级的获取时机，可以是图像传感器采集第一数据格式的可见光图像时，从而能反应出采集到的可见光图像的质量。
该实施例以采集可见光图像的图像传感器的增益等级作为确定权重的因子，可以结合图像传感器的增益情况，来判断可见光图像和红外图像的质量，在可见光图像质量较差时将红外图像的权重配置的较大，可以获得质量更好的融合图像。
在一个例子中，可以将增益等级转换到一个固定的取值范围[n,m]内，例如，为了简化运算量，取值范围可以是[1,100]，则可以采用以下公式确定融合图像：
fusraw＝((100-g)×visraw+g×irraw)/100
其中，visraw表示第一数据格式的可见光图像，irraw表示第一数据格式的红外图像，g将增益等级映射到取值范围[0,100]后的值，增益等级可以是采集第一数据格式的可见光图像的图像传感器的增益等级，fusraw表示信息融合后的第一数据格式的融合图像。
该实施例将增益等级转换到一个固定的取值范围内，可以简化运算量。
在另一个实施例中，还可以采用卷积神经网络对第一数据格式的可见光图像和第一数据格式的红外图像进行融合处理。示例的，可以采用卷积神经网络对第一数据格式的红外图像进行特征提取，以及对第一数据格式的可见光图像进行特征提取，并利用融合层合并所提取特征，从而获得第一数据格式的融合图像。如图3所示，是本发明根据一示例性实施例示出的一种信息融合网络模型的网络结构示意图。在该示意图中，信息融合网络模型可以是预先训练好的用于进行图像融合的卷积神经网络。Fus为融合层，将第一数据格式的可见光图像以及第一数据格式的红外图像输入信息融合网络。示例的，第一数据格式的可见光图像以及第一数据格式的红外图像分别经过一次Conv(卷积层)、Relu(激活层)、BN(Batch Normalization，规范化)层处理。示例的，卷积层中可以采用大小为5×5的卷积核，卷积核个数(特征图数、深度)为128，Fus层将两路各128个特征图连接为一个深度为256的特征图，然后进行后续处理，可以得到第一数据格式的融合图像。
在一个示例中，从第一数据格式的红外图像中提取的特征中可以包括亮度信息，从第一数据格式的可见光图像中提取的特征可以包括色彩信息。示例的，所述第一数据格式的融合图像的确定过程可以包括：
利用预训练获得的图像融合网络模型提取第一数据格式的可见光图像的色彩信息，以及提取第一数据格式的红外图像的亮度信息，至少将所述色彩信息和亮度信息进行合成，获得第一数据格式的融合图像。
该实施例通过卷积神经网络中的融合层，最大化的对可见光图像的色彩信息、及红外图像的亮度信息进行合成，提升图像融合效果。
应当理解的是，还可以采用其他方式进行图像融合，在此不一一赘述。
关于位置信息，可以采用位置检测算法检测获得，位置检测算法可以包括目标检测算法，甚至还可以包括目标跟踪算法、抓拍控制算法等。
在一个实施例中，目标对象的位置信息可以从第一数据格式的红外图像中检测获得，则所述依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息，包括：从第一数据格式的红外图像中检测出目标对象的位置信息。
该实施例可以通过预设的位置检测算法获取第一数据格式的红外图像中目标对象的位置信息。红外图像不受限于光照强度，可以采集低照度场景下的图像，因此，从第一数据格式的红外图像中检测出目标对象的位置信息，可以获得准确率较高的位置信息。
结合执行主体对该实施例进行示例说明。如图4A所示，是本发明根据一示例性实施例示出的一种图像处理装置进行图像处理的示意图。图像处理装置可以包括图像融合模块41、位置确定模块42、图像截取模块43以及图像处理模块44。该实施例可以将第一数据格式的红外图像和第一数据格式的可见光图像输入图像融合模块41。通过图像融合模块41进行融合处理后，获得第一数据格式的融合图像。位置确定模块42从第一数据格式的红外图像中检测出目标对象的位置信息。图像截取模块43从第一数据格式的融合图像中截取与位置信息对应的第一数据格式目标区域图像，图像处理模块44将所述第一数据格式目标区域图像处理成第二数据格式目标区域图像。在一个实施例中，所述图像处理装置设于摄像设备中。
在另一个实施例中，目标对象的位置信息可以从第二数据格式的红外图像中检测获得。相应的，所述依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息，包括：将第一数据格式的红外图像进行图像处理以获得第二数据格式的红外图像，从第二数据格式的红外图像中检测出目标对象的位置信息。该实施例从第二数据格式的红外图像中检测出目标对象的位置信息，可以提高位置信息的准确性。
在另一个实施例中，目标对象的位置信息可以从第一数据格式的融合图像中检测获得。相应的，所述依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息，包括：将第一数据格式的可见光图像和红外图像进行融合处理，获得第一数据格式的融合图像；从第一数据格式的融合图像中检测出目标对象的位置信息。
在另一个实施例中，目标对象的位置信息可以从第二数据格式的融合图像中检测获得。相应的，所述依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息，包括：将第一数据格式的可见光图像和红外图像进行融合处理，获得第一数据格式的融合图像；将第一数据格式的融合图像进行图像处理以获得第二数据格式的融合图像；从第二数据格式的融合图像中检测出目标对象的位置信息。
其中，图像处理可以是基础的图像优化处理，也可以是增强图像处理。
结合执行主体对该实施例进行示例说明。如图4B所示，是本发明根据一示例性实施例示出的另一种图像处理装置进行图像处理的示意图。图像处理装置可以包括图像融合模块45、位置确定模块46、图像截取模块47以及图像处理模块48。该实施例可以将第一数据格式的红外图像和第一数据格式的可见光图像输入图像融合模块45。通过图像融合模块45进行融合处理后，获得第一数据格式的融合图像。位置确定模块46将第一数据格式的融合图像处理成第二数据格式的融合图像，并从第二数据格式的融合图像中检测出目标对象的位置信息。图像截取模块47从第一数据格式的融合图像中截取与位置信息对应的第一数据格式目标区域图像，图像处理模块48将所述第一数据格式目标区域图像处理成第二数据格式目标区域图像。优选的，所述图像处理装置设于摄像设备中。
具体采用何种方式确定位置信息可以根据具体应用场景配置，例如，在夜间拍摄时，可以从第一数据格式或第二数据格式的红外图像中检测出目标对象的位置信息，从而提高位置信息的准确性。在光线较好的场景中(如白天)，可以从第一数据格式的融合图像或第二数据格式的融合图像中检测获得目标对象的位置信息。
以下以从第二数据格式的融合图像中识别目标对象的位置信息为例进行示例说明。
在一个例子中，可以对第一数据格式的融合图像进行预处理，获得第二数据格式的融合图像，从第二数据格式的融合图像中识别目标对象的位置信息。结合执行主体进行示例说明，目标对象的位置信息的检测过程可以由位置确定模块来实现。相应的，位置确定模块可以包括预处理子模块和目标检测子模块。例如，预处理子模块可以执行白平衡校正、色彩差值、曲线映射等处理，从而获得第二数据格式的图像(如，可以是融合图像/红外图像)。目标检测子模块可以从第二数据格式的图像中检测出目标对象的位置信息。如图5A所示，是本发明根据一示例性实施例示出的一种位置确定模块的处理流程图。该示意图是在图4B的基础上，对位置确定模块46进行示例说明。位置确定模块46可以包括预处理子模块461和目标检测子模块462。预处理子模块461可以对第一数据格式的融合图像执行预处理操作。目标检测子模块462可以从预处理子模块461处理获得的第二数据格式的融合图像中检测出目标对象的位置信息。
接下来以融合图像为例对各种预处理操作和位置检测操作进行示例说明，可以理解的是，也可以是对第一数据格式的红外图像进行预处理处理，对第二数据格式的红外图像进行位置检测，相关技术相同，在此不一一赘述。
白平衡校正可以是为了去除图像成像由于环境光照影响而造成的图像偏色，以还原图像原有的色彩信息，可以由增益系数Rgain、Ggain、Bgain来调整对应的R、G、B分量：
R'＝R*Rgain
G'＝G*Ggain
B'＝B*Bgain
其中，R、G、B是第一数据格式的融合图像IMGin的红、绿、蓝色彩分量，R′、G′、B′是白平衡校正后图像IMGawb的色彩分量。
色彩插值可以是将单通道图像转为RGB三通道图像，这里以最邻近插值法为例进行介绍，对单通道图像IMGawb直接用最邻近的色彩像素填补相应色彩缺失的像素点，使每个像素点都含有RGB三种色彩分量，如图5B所示，示意出一种色彩插值前后对比示意图。应当理解的是，图中不同颜色分别代表R、G、B三种色彩分量，插值后的图像即为IMGcfa。
曲线映射可以是为了增强图像的亮度与对比度，例如，可以采用gamma曲线映射，即根据Gamma表对图像进行线性映射，将色彩插值后的图像处理成第二数据格式的融合图像。
IMGgamma(i，j)＝Gamma(IMGcfa(i，j))
目标对象的位置信息可以采用目标检测、目标跟踪、抓拍控制等方法来确定。示例的，可以采用卷积神经网络来确定目标对象的位置信息。在一个实施例中，可以预先训练一个能进行目标对象位置检测的卷积神经网络模型，简称位置检测模型。如图5C所示，是本发明根据一示例性实施例示出的一种位置检测模型的网络结构示意图。在该实施例中，可以将第二数据格式的融合图像输入位置检测模型，获得目标对象的位置信息。位置检测模型的网络结构可以包括卷积层Conv、激活层Relu、池化层Pooling、全连接层Full Connect、以及BBR层等。边框回归BBR可以是为了寻找一种关系使得全连接层输出的窗口P经过映射得到一个跟真实窗口G更接近的窗口G′。回归的实现可以是对窗口P进行平移或者尺度缩放变换。假设全连接层输出的窗口P的坐标为(x1，x2，y1，y2)，则经变换后的窗后坐标(x3，x4，y3，y4)。
若变换为平移变换，平移尺度为(Δx，Δy)，平移前后的坐标关系可以为：
x3＝x1+Δx
x4＝x2+Δx
y3＝y1+Δy
y4＝y2+Δy
若变换为缩放变换，X、Y方向的缩放尺度分别为dx、dy，变换前后的坐标关系为：
x4-x3＝(x2-x1)*dx
y4-y3＝(y2-y1)*dy
在该实施例中，先对第一数据格式的融合图像进行预处理获得第二数据格式的融合图像，再利用卷积神经网络从第二数据格式的融合图像中检测出目标对象的位置信息。
在另一个实施例中，还可以对检测到的目标对象的位置信息进行筛选。例如，利用目标检测算法检测到目标位置信息后还可以进行目标跟踪处理以及抓拍控制处理，通过目标跟踪算法和抓拍控制算法从目标检测获得的多个位置信息中筛选出评分较高的目标图像对应的位置信息。筛选出目标对象的位置信息后，不仅存储的信息量少，还能简化后续图像截取、图像转换等处理。目标跟踪算法可以是TLD算法等，用于确定目标对象的跟踪轨迹。抓拍控制算法可以是对目标对象跟踪过程的每帧目标图像进行评分，输出评分较高或最高的目标图像对应的位置信息。如图5D所示，是本发明根据一示例性实施例示出的另一种位置确定模块的处理流程图。在该示例中，位置确定模块还可以包括目标跟踪子模块和抓拍控制子模块。具体的跟踪算法和抓拍控制算法可以参考相关技术，在此不做限制。
在获得目标对象的位置信息后，可以从第一数据格式的融合图像中截取与所述位置信息对应的第一数据格式目标区域图像。目标区域图像是主要内容为目标对象的图像。以人脸检测为例，可以截取人脸图像；以车辆检测为例，可以截取车辆图像。图像截取的方式有很多种，以下以一种进行示例说明。假设目标对象的位置信息为[x，y，h，w]，其中x、y为检测框的起始点坐标，h、w为检测框的高与宽，第一数据格式的融合图像用fusraw来表示，则抠取的第一数据格式目标区域图像fus_traw为：
fus_traw＝fusraw(y+1：y+h，x+1：x+w)
应当理解的是，还可以采用其他方式截图目标区域图像，在此不一一赘述。
本实施例从第一数据格式的融合图像中截取与位置信息对应的第一数据格式目标区域图像，其相比于位宽剪裁过的第二数据格式的数据，第一数据格式的数据不仅位宽高，还不受图像处理、编解码等对原始信息的影响，而且融合图像包含不同光谱波段响应更加丰富的信息量，更有利于提升图像增强处理的效果，提升输出目标图像的质量，以便后续显示和/或识别。
在获得第一数据格式目标区域图像后，可以将第一数据格式目标区域图像处理成第二数据格式目标区域图像。为了提高图像质量，可以对第一数据格式目标区域图像进行图像质量增强处理，从而将其转化为高质量的第二数据格式目标区域图像，以供后续显示和/或智能识别。可以理解的是，处理图像质量增强处理外，基于对第二数据格式的需求，还可以包括其他处理，以获得第二数据格式目标区域图像。例如，在第二数据格式目标区域图像与第一数据格式目标区域图像的比特位不同时，处理操作还可以包括比特位转换等处理。针对其他处理，在此不一一赘述。
在一个实施例中，第二数据格式目标区域图像基于图像增强网络模型对第一数据格式目标区域图像至少进行图像质量增强处理获得，所述图像增强网络模型是预训练的至少用于进行图像质量增强的卷积神经网络模型。图像质量增强处理可以包括：去马赛克、去噪、去模糊、去雾、分辨率提升、亮度调整、色彩还原、对比度增强、动态范围增强、清晰度增强等一种或多种属性调整。
在一个实施例中，所述将第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像，可以包括：将第一数据格式目标区域图像进行校正处理，并利用图像增强网络模型对校正处理后的数据进行图像质量增强处理，获得第二数据格式目标区域图像，所述校正处理包括但不限于：黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正中的一种或多种。
其中，所述图像增强网络模型的训练过程可以包括：使用卷积神经网络训练将校正处理后的第一数据格式的训练样本处理成第二数据格式的目标图像，将训练后的神经网络确定为所述图像增强网络模型。
在一个例子中，校正处理过程可以由校正处理子模块来实现，图像增强处理可以由图像增强子模块实现。如图6A所示，是本发明根据一示例性实施例示出的一种图像处理模块的处理流程示意图。图像处理模块28包括校正处理子模块281和图像增强子模块282。
其中，校准处理可以包括传感器校正。例如，黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正等中的一个或多个。
关于校准处理，可以是如下所述的任何一个或者多个处理：
关于传感器校正处理，传感器在生产过程中，由于工艺限制会存在某些物理缺陷，导致传感器成像时可能会出现黑电平、坏点、固定模式噪声、G1/G2绿通道失衡等问题。本实施例中的传感器校准处理可对上述一个或多个成像问题进行校正，使得校正后的第一数据格式图像能消除不同传感器生产工艺的成像问题。通过传感器校准，可以消除设备相关性，让后续增强网络模型适应不同型号传感器。
关于黑电平校正，可以是：out＝in–blackVal，其中out为黑电平校正结果，in为输入图像，blackVal为传感器的黑电平值，不同型号的传感器具有不同大小的黑电平值。
关于坏点校正，可以采用中值滤波进行坏点校准。
关于固定模式噪声校正，可以人工标定出固定模式噪声位置，对该位置像素点采用周围像素点插值的值代替噪声像素。
关于绿通道失衡校正，可以采用G通道均值滤波进行绿通道失衡校正。
白平衡校正是为了去除图像成像由于环境光照影响而造成的图像偏色，以还原图像原有的色彩信息。
如图6B所示，是本发明根据一示例性实施例示出的一种图像增强网络模型的网络结构示意图。图像增强网络模型可以包括卷积层、激活层等网络层。应当理解的是，图6B的网络结构只是为了方便理解给出的示例，实际网络结构可以根据需求配置。图像增强网络模型可以预先训练，在此不做限制。
本实施例在进行卷积神经网络处理前，对第一数据格式目标区域图像进行校正处理，提升卷积神经网络对成像设备、光照环境等因素的适应性。
在另一个实施例中，所述将第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像，可以包括：利用具有色彩提取层的图像增强网络模型对第一数据格式目标区域图像进行图像质量增强处理，获得第二数据格式目标区域图像；所述色彩提取层用于提取图像中的色彩特征。示例的，可以直接利用图像增强网络模型对第一数据格式目标区域图像进行图像质量增强处理，也可以将第一数据格式目标区域图像进行校正处理，并利用具有色彩提取层的图像增强网络模型对校正处理后的数据进行图像质量增强处理。
其中，所述图像增强网络模型的训练过程可以包括：使用具有色彩提取层的卷积神经网络训练将校正处理后的第一数据格式的训练样本处理为第二数据格式的目标图像，将训练后的神经网络确定为所述图像增强网络模型；所述色彩提取层用于提取图像中的色彩特征。
在该实施例中，通过卷积神经网络中的色彩提取层，提升所第一数据格式目标区域图像的色彩信息量。
如图6C所示，是本发明根据一示例性实施例示出的另一种图像增强网络模型的网络结构示意图。图像增强网络模型不仅包括卷积层、激活层、全连接层等网络层，还包括用于提取图像中色彩特征的色彩提取层。图6C的网络结构只是为了方便理解给出的示例，实际网络结构可以根据需求配置。
Color Extract为色彩提取层，其网络层结构可以满足：卷积滤波处理步长为输入数据中色彩排列模式最小单元的倍数，以不破坏输入数据色彩空间信息。进一步的，卷积核大小为偶数。
在一个例子中，所述色彩提取层采用4个固定的用于进行颜色分离的卷积核w1、w2、w3、w4，滤波步长stride＝2。如图6D所示，是本发明根据一示例性实施例示出的一种色彩特征提取示意图。采用固定的4个滤波核w1、w2、w3、w4，并以滤波步长2进行滑动，获得色彩特征。
在另一个例子中，所述色彩提取层也可以采用N个用于进行色彩特征提取的卷积核、且卷积核大小为偶数，卷积核中的参数在卷积神经网络训练完成后获得，所述滤波步长为输入数据中色彩排列模式最小单元的倍数。
示例的，色彩提取层的卷积核可以采用N个4×4大小的滤波核：w1、w2....wN N≥1(N≥1)，滤波步长stride可以是2。
Figure BDA0002135446690000201
滤波核w1、w2....wN的参数在整个卷积神经网络训练完成后得到。经上述色彩层处理后，可以输出如图6E所示的N通道色彩特征。
在另一个实施例中，所述将第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像，可以包括：使用图像增强网络模型评估第一数据格式目标区域图像的退化程度，以及利用所述退化程度对第一数据格式目标区域图像进行复原处理，由复原处理后的数据获得第二数据格式的目标图像；退化程度包括噪声程度、模糊程度以及雾霾程度中的一种或多种。
相应的，所述图像增强网络模型的训练过程可以包括：使用卷积神经网络训练评估第一数据格式的训练样本的退化程度，以及利用退化程度辅助训练样本进行复原处理，由复原处理后的数据获得第二数据格式的目标图像，将训练后的神经网络确定为所述图像增强网络模型；退化程度包括噪声程度、模糊程度以及雾霾程度中的一种或多种。
进一步的，为了提高网络模型的适应能力，图像增强网络模型可以包括退化程度估计子网络模型和图像复原子网络模型，退化程度估计子网络模型用于评估第一数据格式目标区域图像的退化程度，图像复原子网络模型利用所述退化程度对第一数据格式目标区域图像进行复原处理，由复原处理后的数据获得第二数据格式的目标图像。如图6F所示，是本发明根据一示例性实施例示出的一种图像增强网络模型的网络结构示意图。第一数据格式目标区域图像经过退化程度估计子网络后，可以输出图像的噪声程度、和/或模糊程度、和/或雾霾程度，然后将退化程度估计结果和第一数据格式目标区域图像共同输入给图像复原子网络，由退化程度估计结果辅助图像进行去噪、和/或去模糊、和/或去雾等复原处理，完成对输入第一数据格式目标区域融合图像的质量增强，并将其转化为高质量的第二数据格式目标区域图像。
本实施例通过卷积神经网络中的退化程度估计子网络，计算目标区域图像的噪声程度、和/或模糊程度、和/或雾霾程度，提升卷积神经网络对不同情况下输入目标区域图像的适应性。
以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述。
上述任何实施例获得的第二数据格式目标区域图像可以有多种应用。例如，可以直接显示第二数据格式目标区域图像，又如，可以利用第二数据格式目标区域图像进行目标对象识别。
以下以其中一种应用进行示例说明。
如图7所示，是本发明根据一示例性实施例示出的一种目标识别方法的流程图，所述方法包括：
在步骤702中，获取第二数据格式目标区域图像；所述第二数据格式目标区域图像可以采样上述任一项所述图像处理方法获得。
在步骤704中，从所述第二数据格式目标区域图像中提取目标对象的目标特征向量；
在步骤706中，将所提取的目标特征向量与已注册的标准特征向量进行比对，根据比对结果识别所述第二数据格式目标区域图像中的目标对象。
本实施例中，由于获得高质量的第二数据格式目标区域图像，因此，可以提高目标识别准确率。
图像处理方法和目标识别方法可以由同一个设备实现，也可以由不同设备实现。由同一个设备实现时，目标识别也可以认为是图像处理中的一部分，为此，所述图像处理方法还包括：从所述第二数据格式目标区域图像中提取目标对象的目标特征向量；将所提取的目标特征向量与已注册的标准特征向量进行比对，根据比对结果识别所述第二数据格式目标区域图像中的目标对象。在一个实施例中，图像处理方法和目标识别方法均应用于摄像设备中。在图像处理方法应用于摄像设备的示例中，摄像设备既可以生成第二数据格式目标区域图像，又可以识别第二数据格式目标区域图像中的目标对象。
在另一个示例中，目标对象的识别可以由服务器来实现。所述图像处理方法还包括：将所述第二数据格式目标区域图像发送至服务器，以供服务器识别所述第二数据格式目标区域图像中的目标对象。如，由服务器执行目标识别方法。通过服务器来识别目标对象，可以减轻摄像设备的处理压力。
与前述图像处理/目标识别方法的实施例相对应，本发明还提供了图像处理/目标识别装置及其所应用的电子设备的实施例。
本发明图像处理/目标识别装置的实施例可以应用在计算机设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，是本发明图像处理/目标识别装置所在计算机设备的一种硬件结构图，除了图8所示的处理器810、网络接口820、内存830、以及非易失性存储器840之外，实施例中图像处理/目标识别装置831所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
针对图像处理装置，在一个可选的实施例中，位置确定模块24具体用于：
从第一数据格式的红外图像中检测出目标对象的位置信息；或，
将第一数据格式的红外图像进行图像处理以获得第二数据格式的红外图像，从第二数据格式的红外图像中检测出目标对象的位置信息；或
将第一数据格式的可见光图像和红外图像进行融合处理，获得第一数据格式的融合图像；从第一数据格式的融合图像中检测出目标对象的位置信息；或，
将第一数据格式的可见光图像和红外图像进行融合处理，获得第一数据格式的融合图像；将第一数据格式的融合图像至少进行图像处理以获得第二数据格式的融合图像；从第二数据格式的融合图像中检测出目标对象的位置信息。
在一个可选的实施例中，第二数据格式目标区域图像基于图像增强网络模型对第一数据格式目标区域图像至少进行图像质量增强处理获得，所述图像增强网络模型是预训练的至少用于进行图像质量增强的卷积神经网络模型。
在一个可选的实施例中，图像处理模块28具体用于：将第一数据格式目标区域图像进行校正处理，并利用图像增强网络模型对校正处理后的数据进行图像质量增强处理，获得第二数据格式目标区域图像，所述校正处理包括：黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正中的一种或多种。
在一个可选的实施例中，图像处理模块28具体用于：利用具有色彩提取层的图像增强网络模型对第一数据格式目标区域图像进行图像质量增强处理，获得第二数据格式目标区域图像；所述色彩提取层用于提取图像中的色彩特征。
可选的，所述色彩提取层采用4个固定的用于进行颜色分离的卷积核w1、w2、w3、w4；或，所述色彩提取层采用N个用于进行色彩特征提取的卷积核、且卷积核大小为偶数，卷积核中的参数在卷积神经网络训练完成后获得；所述滤波步长为输入数据中色彩排列模式最小单元的倍数。
在一个可选的实施例中，图像处理模块28具体用于：使用图像增强网络模型评估第一数据格式目标区域图像的退化程度，以及利用所述退化程度对第一数据格式目标区域图像进行复原处理，由复原处理后的数据获得第二数据格式的目标图像；退化程度包括噪声程度、模糊程度以及雾霾程度中的一种或多种。
可选的，所述图像增强网络模型包括退化程度估计子网络模型和图像复原子网络模型，退化程度估计子网络模型用于评估第一数据格式目标区域图像的退化程度，图像复原子网络模型利用所述退化程度对第一数据格式目标区域图像进行复原处理，由复原处理后的数据获得第二数据格式的目标图像。
在一个可选的实施例中，图像处理装置还包括图像融合模块(图2未示出)，用于：
获取采集第一数据格式的可见光图像的图像传感器的增益等级；其中，增益等级是曝光补偿的一个因素；
根据所述增益等级确定第一数据格式的可见光图像和第一数据格式的红外图像进行融合时的权重；增益等级与第一数据格式的红外图像的权重呈正相关关系；
按所确定的权重将第一数据格式的可见光图像和红外图像进行融合处理，获得所述第一数据格式的融合图像。
在一个可选的实施例中，图像处理装置还包括对象识别模块(图2未示出)，用于：从所述第二数据格式目标区域图像中提取目标对象的目标特征向量；将所提取的目标特征向量与已注册的标准特征向量进行比对，根据比对结果识别所述第二数据格式目标区域图像中的目标对象。
在一个可选的实施例中，图像处理装置还包括信息传输模块(图2未示出)，用于：将所述第二数据格式目标区域图像发送至服务器，以供服务器识别所述第二数据格式目标区域图像中的目标对象。
如图9所示，是本发明根据一示例性实施例示出的一种目标识别装置的框图，所述装置包括：
图像获得模块92，用于从上述任一项图像处理装置的图像处理模块中获得的第二数据格式目标区域图像；
向量提取模块94，用于从所述第二数据格式目标区域图像中提取目标对象的目标特征向量；
目标识别模块96，用于将所提取的目标特征向量与已注册的标准特征向量进行比对，根据比对结果识别所述第二数据格式目标区域图像中的目标对象。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述任一项所述目标识别方法/图像处理方法。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
相应的，本发明实施例还提供一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令被处理器执行时实现上述任一项所述目标识别方法/图像处理方法。
本发明实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑发明及实践这里申请的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取的第一数据格式的可见光图像和第一数据格式的红外图像；
依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息；
从第一数据格式的融合图像中截取与所述位置信息对应的第一数据格式目标区域图像，所述第一数据格式的融合图像由第一数据格式的可见光图像和红外图像融合处理获得；
将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像；
其中，第一数据格式是图像传感器采集的原始数据的格式，第二数据格式是适于显示或传输的图像数据的图像格式。
2.根据权利要求1所述的方法，其特征在于，所述依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息，包括：
从第一数据格式的红外图像中检测出目标对象的位置信息；或，
将第一数据格式的红外图像进行图像处理以获得第二数据格式的红外图像，从第二数据格式的红外图像中检测出目标对象的位置信息；或
将第一数据格式的可见光图像和红外图像进行融合处理，获得第一数据格式的融合图像；从第一数据格式的融合图像中检测出目标对象的位置信息；或，
将第一数据格式的可见光图像和红外图像进行融合处理，获得第一数据格式的融合图像；将第一数据格式的融合图像进行图像处理以获得第二数据格式的融合图像；从第二数据格式的融合图像中检测出目标对象的位置信息。
3.根据权利要求1所述的方法，其特征在于，第二数据格式目标区域图像基于图像增强网络模型对第一数据格式目标区域图像至少进行图像质量增强处理获得，所述图像增强网络模型是预训练的至少用于进行图像质量增强的卷积神经网络模型。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像，包括：
将第一数据格式目标区域图像进行校正处理，并利用图像增强网络模型对校正处理后的数据进行图像质量增强处理，获得第二数据格式目标区域图像，所述校正处理包括：黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正中的一种或多种。
5.根据权利要求3所述的方法，其特征在于，所述将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像，包括：
利用具有色彩提取层的图像增强网络模型对第一数据格式目标区域图像进行图像质量增强处理，获得第二数据格式目标区域图像；所述色彩提取层用于提取图像中的色彩特征。
6.根据权利要求5所述的方法，其特征在于，所述色彩提取层采用4个固定的用于进行颜色分离的卷积核w1、w2、w3、w4；或，所述色彩提取层采用N个用于进行色彩特征提取的卷积核、且卷积核大小为偶数，卷积核中的参数在卷积神经网络训练完成后获得；所述滤波步长为输入数据中色彩排列模式最小单元的倍数。
7.根据权利要求3所述的方法，其特征在于，所述将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像，包括：
使用图像增强网络模型评估第一数据格式目标区域图像的退化程度，以及利用所述退化程度对第一数据格式目标区域图像进行复原处理，由复原处理后的数据获得第二数据格式的目标图像；退化程度包括噪声程度、模糊程度以及雾霾程度中的一种或多种。
8.根据权利要求7所述的方法，其特征在于，所述图像增强网络模型包括退化程度估计子网络模型和图像复原子网络模型，退化程度估计子网络模型用于评估第一数据格式目标区域图像的退化程度，图像复原子网络模型利用所述退化程度对第一数据格式目标区域图像进行复原处理，由复原处理后的数据获得第二数据格式的目标图像。
9.根据权利要求1所述的方法，其特征在于，所述第一数据格式的融合图像的确定过程包括：
获取采集第一数据格式的可见光图像的图像传感器的增益等级；其中，增益等级是曝光补偿的一个因素；
根据所述增益等级确定第一数据格式的可见光图像和第一数据格式的红外图像进行融合时的权重；增益等级与第一数据格式的红外图像的权重呈正相关关系；
按所确定的权重将第一数据格式的可见光图像和红外图像进行融合处理，获得所述第一数据格式的融合图像。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述图像处理方法应用于摄像设备。
11.根据权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：
从所述第二数据格式目标区域图像中提取目标对象的目标特征向量；将所提取的目标特征向量与已注册的标准特征向量进行比对，根据比对结果识别所述第二数据格式目标区域图像中的目标对象；
或，
将所述第二数据格式目标区域图像发送至服务器，以供服务器识别所述第二数据格式目标区域图像中的目标对象。
12.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取的第一数据格式的可见光图像和第一数据格式的红外图像；
位置确定模块，用于依据所述第一数据格式的可见光图像和/或红外图像检测出目标对象的位置信息；
图像截取模块，用于从第一数据格式的融合图像中截取与所述位置信息对应的第一数据格式目标区域图像，所述第一数据格式的融合图像由第一数据格式的可见光图像和红外图像融合处理获得；
图像处理模块，用于将所述第一数据格式目标区域图像至少进行增强处理以获得第二数据格式目标区域图像；
其中，第一数据格式是图像传感器采集的原始数据的格式，第二数据格式是适于显示或传输的图像数据的图像格式。
13.一种摄像设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至11中任一项所述方法。
CN201910651711.8A 2019-07-18 2019-07-18 图像处理方法、装置及设备 Active CN112241668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910651711.8A CN112241668B (zh) 2019-07-18 2019-07-18 图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910651711.8A CN112241668B (zh) 2019-07-18 2019-07-18 图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112241668A true CN112241668A (zh) 2021-01-19
CN112241668B CN112241668B (zh) 2024-06-28

Family

ID=74167932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910651711.8A Active CN112241668B (zh) 2019-07-18 2019-07-18 图像处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112241668B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240602A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像去雾方法及装置、计算机可读介质和电子设备
CN113344200A (zh) * 2021-06-17 2021-09-03 阿波罗智联(北京)科技有限公司 用于训练可分离卷积网络的方法、路侧设备及云控平台
CN113537210A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 温度检测方法、装置、***、计算机设备和存储介质
CN114299316A (zh) * 2021-12-27 2022-04-08 浙江蓝卓工业互联网信息技术有限公司 一种图像目标区域的去重方法及装置

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040880A1 (en) * 2001-08-15 2003-02-27 Raytheon Company Combining signal images in accordance with signal-to-noise ratios
JP2009237986A (ja) * 2008-03-27 2009-10-15 Nec Corp 道路状況把握システムおよび道路状況把握方法
CN102186020A (zh) * 2010-01-13 2011-09-14 株式会社尼康 图像处理装置、图像处理方法
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
US20120218139A1 (en) * 2011-02-28 2012-08-30 Kabushiki Kaisha Toshiba Correlation filter for target suppression, weight calculation method, weight calculation device, adaptive array antenna, and radar device
CN104463821A (zh) * 2014-11-28 2015-03-25 中国航空无线电电子研究所 一种红外图像与可见光图像的融合方法
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及***
US20160093034A1 (en) * 2014-04-07 2016-03-31 Steven D. BECK Contrast Based Image Fusion
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN107203770A (zh) * 2017-05-27 2017-09-26 上海航天控制技术研究所 一种光学捷联导引头图像跟踪方法
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
CN107977924A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种基于双传感器成像的图像处理方法、***
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
CN108419062A (zh) * 2017-02-10 2018-08-17 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN108694709A (zh) * 2017-04-12 2018-10-23 深圳市朗驰欣创科技股份有限公司 一种图像融合方法及装置
CN108710910A (zh) * 2018-05-18 2018-10-26 中国科学院光电研究院 一种基于卷积神经网络的目标识别方法及***
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN109255774A (zh) * 2018-09-28 2019-01-22 中国科学院长春光学精密机械与物理研究所 一种图像融合方法、装置及其设备
CN109308702A (zh) * 2018-09-14 2019-02-05 南京理工技术转移中心有限公司 一种目标实时识别定位方法
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像***、方法及介质
CN109618099A (zh) * 2019-01-10 2019-04-12 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
US20190213723A1 (en) * 2016-09-19 2019-07-11 Hangzhou Hikvision Digital Technology Co., Ltd. [CN/CN] Light-splitting combined image collection device

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040880A1 (en) * 2001-08-15 2003-02-27 Raytheon Company Combining signal images in accordance with signal-to-noise ratios
JP2009237986A (ja) * 2008-03-27 2009-10-15 Nec Corp 道路状況把握システムおよび道路状況把握方法
CN102186020A (zh) * 2010-01-13 2011-09-14 株式会社尼康 图像处理装置、图像处理方法
US20120218139A1 (en) * 2011-02-28 2012-08-30 Kabushiki Kaisha Toshiba Correlation filter for target suppression, weight calculation method, weight calculation device, adaptive array antenna, and radar device
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
US20160093034A1 (en) * 2014-04-07 2016-03-31 Steven D. BECK Contrast Based Image Fusion
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及***
CN104463821A (zh) * 2014-11-28 2015-03-25 中国航空无线电电子研究所 一种红外图像与可见光图像的融合方法
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
US20190213723A1 (en) * 2016-09-19 2019-07-11 Hangzhou Hikvision Digital Technology Co., Ltd. [CN/CN] Light-splitting combined image collection device
CN107977924A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种基于双传感器成像的图像处理方法、***
CN108419062A (zh) * 2017-02-10 2018-08-17 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN108694709A (zh) * 2017-04-12 2018-10-23 深圳市朗驰欣创科技股份有限公司 一种图像融合方法及装置
CN107203770A (zh) * 2017-05-27 2017-09-26 上海航天控制技术研究所 一种光学捷联导引头图像跟踪方法
CN107369134A (zh) * 2017-06-12 2017-11-21 上海斐讯数据通信技术有限公司 一种模糊图像的图像复原方法
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN108710910A (zh) * 2018-05-18 2018-10-26 中国科学院光电研究院 一种基于卷积神经网络的目标识别方法及***
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像***、方法及介质
CN109308702A (zh) * 2018-09-14 2019-02-05 南京理工技术转移中心有限公司 一种目标实时识别定位方法
CN109255774A (zh) * 2018-09-28 2019-01-22 中国科学院长春光学精密机械与物理研究所 一种图像融合方法、装置及其设备
CN109376667A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 目标检测方法、装置及电子设备
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN109618099A (zh) * 2019-01-10 2019-04-12 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置
CN109801250A (zh) * 2019-01-10 2019-05-24 云南大学 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王烈;罗文;陈俊鸿;秦伟萌;: "自适应PCNN与信息提取的红外与可见光图像融合", 计算机工程与应用, no. 04, 28 February 2017 (2017-02-28) *
马亚男;李思原;: "基于视觉显著性的立体图像质量评价算法", 工业控制计算机, no. 10, 25 October 2018 (2018-10-25) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240602A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像去雾方法及装置、计算机可读介质和电子设备
CN113537210A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 温度检测方法、装置、***、计算机设备和存储介质
CN113344200A (zh) * 2021-06-17 2021-09-03 阿波罗智联(北京)科技有限公司 用于训练可分离卷积网络的方法、路侧设备及云控平台
CN113344200B (zh) * 2021-06-17 2024-05-28 阿波罗智联(北京)科技有限公司 用于训练可分离卷积网络的方法、路侧设备及云控平台
CN114299316A (zh) * 2021-12-27 2022-04-08 浙江蓝卓工业互联网信息技术有限公司 一种图像目标区域的去重方法及装置

Also Published As

Publication number Publication date
CN112241668B (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
CN112241668B (zh) 图像处理方法、装置及设备
US11546576B2 (en) Systems and methods for dynamic calibration of array cameras
EP3158532B1 (en) Local adaptive histogram equalization
CN104683767B (zh) 透雾图像生成方法及装置
JP6639113B2 (ja) 画像認識装置、画像認識方法及びプログラム
EP1528797B1 (en) Image processing apparatus, image-taking system and image processing method
KR101695252B1 (ko) 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
CN106454079B (zh) 图像处理方法及装置和相机
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP7024736B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP4036851B1 (en) Method and image-processing device for evaluating an alignment of stitched images
CN114979500B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN110555805B (zh) 图像处理的方法、装置、设备及存储介质
CN110555877B (zh) 一种图像处理方法、装置及设备、可读介质
EP4139840A2 (en) Joint objects image signal processing in temporal domain
CN107920205B (zh) 图像处理方法、装置、存储介质和电子设备
CN112241935B (zh) 图像处理方法、装置及设备、存储介质
CN112241669B (zh) 目标识别方法、装置、***及设备、存储介质
CN112241936B (zh) 图像处理方法、装置及设备、存储介质
CN114782502A (zh) 一种多光谱多传感器协同处理方法及装置、存储介质
CN112241670B (zh) 图像处理方法及装置
EP4080865A1 (en) Method and image-processing device for detecting foreign objects on a transparent protective cover of a video camera
CN116033278A (zh) 一种面向单色-彩色双相机的低照度图像预处理方法
CN116724564A (zh) 图像传感器、图像数据获取方法、成像设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant