CN110555877B - 一种图像处理方法、装置及设备、可读介质 - Google Patents

一种图像处理方法、装置及设备、可读介质 Download PDF

Info

Publication number
CN110555877B
CN110555877B CN201810571964.XA CN201810571964A CN110555877B CN 110555877 B CN110555877 B CN 110555877B CN 201810571964 A CN201810571964 A CN 201810571964A CN 110555877 B CN110555877 B CN 110555877B
Authority
CN
China
Prior art keywords
data
image
image data
target
data format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810571964.XA
Other languages
English (en)
Other versions
CN110555877A (zh
Inventor
徐跃书
肖飞
范蒙
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810571964.XA priority Critical patent/CN110555877B/zh
Priority to PCT/CN2019/089249 priority patent/WO2019228450A1/zh
Publication of CN110555877A publication Critical patent/CN110555877A/zh
Application granted granted Critical
Publication of CN110555877B publication Critical patent/CN110555877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理方法、装置及设备、可读介质，该图像处理方法包括从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；从所述第一图像数据中截取所述位置信息对应的目标数据；将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。可提升检测目标的图像质量。

Description

一种图像处理方法、装置及设备、可读介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备、可读介质。
背景技术
目标检测技术主要目的是从单帧图片或视频中检测并定位特定的目标。目前，目标检测技术已广泛应用于社会中的各个领域，例如：物流中货物搬运的文字检测，道路交通中对违章车辆的检测，商场、车站对客流的检测和客流量的统计等等。
目前的目标检测算法主要应用已经经过ISP处理后的低位宽图像，在检测到感兴趣的目标后，从图像中抠取相应的目标图像，以作显示或者后续的识别等处理。在这种检测技术的***中，最终获取的小目标图像的质量一般差距较大，有些图像质量较优，但是很多时候可能存在模糊、亮度不足、对比度不足等质量较差的情况。
中国专利局公开的公开号为CN104463103A的专利申请文件中，提出了一种图像处理方法及装置，当检测目标是文字时，对目标图像中文字进行清晰化处理，方案的主要流程如下：首先对图像中的感兴趣目标进行检测，检测目标使用预设的分类器进行分类，当分类结果为文字时，对文字进行清晰化处理。
现有的ISP处理算法由于设计的缺陷，以及每个处理模块损失的叠加，最后会在一定程度上损失图像原有信息，而该专利申请的技术方案在后续对文字处理时的信息已经是经过ISP算法处理后的数据格式图像，此时信息有可能丢失较为严重，后续无法再修复；且只针对文字进行处理，而文字一般是人们关注对象的极小一部分，当检测到人们关注的其它目标如人脸、车辆、建筑等时，该专利并不进行后续的处理以提高关键目标的质量；整体来说，当前方案较为局限，无法全面提升检测到目标的图像质量。
发明内容
有鉴于此，本发明提供一种图像处理方法、装置及设备、可读介质，可提升检测目标的图像质量。
本发明第一方面提供一种图像处理方法，包括：
从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；
从所述第一图像数据中截取所述位置信息对应的目标数据；
将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。
根据本发明的一个实施例，所述从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息包括：
将所述第一图像数据转换为可进行目标检测的第二图像数据；
在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。
根据本发明的一个实施例，所述在第二图像数据中检测出指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息包括：
将所述第二图像数据输入至已训练的第一神经网络；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出；
将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息。
根据本发明的一个实施例，所述将所述第一图像数据转换为可进行目标检测的第二图像数据，包括：
采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。
根据本发明的一个实施例，所述从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息包括：
将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据,以及检测指定目标在第二图像数据中的位置信息；
将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。
根据本发明的一个实施例，所述将目标数据的数据格式从所述第一数据格式转换为第二数据格式包括：
将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。
根据本发明的一个实施例，所述将目标数据的数据格式从所述第一数据格式转换为第二数据格式包括：
对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述ISP处理至少包括色彩插值。
根据本发明的一个实施例，所述ISP处理还包括以下处理中的至少一种：白平衡校正、曲线映射。
本发明第二方面提供一种图像处理装置，包括：
第一处理模块，用于从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；
第二处理模块，用于从所述第一图像数据中截取所述位置信息对应的目标数据；
第三处理模块，用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。
根据本发明的一个实施例，所述第一处理模块包括第一处理单元和第二处理单元；
所述第一处理单元，用于将所述第一图像数据转换为可进行目标检测的第二图像数据；
所述第二处理单元，用于在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。
根据本发明的一个实施例，所述第二处理单元，具体用于：
将所述第二图像数据输入至已训练的第一神经网络，以及将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出。
根据本发明的一个实施例，所述第一处理单元，具体用于：
采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。
根据本发明的一个实施例，所述第一处理模块包括第三处理单元；
所述第三处理单元，用于将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息；将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。
根据本发明的一个实施例，所述第三处理模块包括第四处理单元；
所述第四处理单元，用于将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。
根据本发明的一个实施例，所述第三处理模块包括第五处理单元；
所述第五处理单元，用于对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，至少包括色彩插值。
本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中任意一项所述的图像处理方法。
本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的图像处理方法。
相比于现有技术，本发明实施例具有以下有益效果：
本发明实施例利用采集得到的第一数据格式的第一图像数据，进行指定目标的检测而获取其位置信息，再利用第一数据格式的第一图像数据截取所得位置信息对应的目标数据，该目标数据由于是从第一图像数据中截取的，因而未发生图像格式或质量的改变，再利用该目标数据进行格式转换而将其转换至适于显示和/或传输的数据格式，相比于现有对已经经过图像处理的图像在检测后进行后处理的方式而言，提升了所检测目标的图像质量。
附图说明
图1为本发明一示例性实施例的图像处理方法的流程示意图；
图2为本发明一示例性实施例的图像处理装置的结构框图；
图3为本发明提供的第一处理模块的一个实施例的结构框图；
图4为本发明提供的将第一图像数据转换为第二图像数据的一个实施例的流程示意图；
图5为本发明提供的色彩插值的一个实施例的示意图；
图6为本发明提供的第一神经网络的一个实施例的结构框图；
图7为本发明提供的第一神经网络的另一个实施例的结构框图；
图8为本发明提供的第一处理模块的另一个实施例的结构框图；
图9为本发明提供的第二神经网络的一个实施例的结构框图；
图10为本发明提供的第二神经网络的另一个实施例的结构框图；
图11为本发明提供的进行灰度化处理的一个实施例的示意图；
图12为本发明提供的图像处理装置的一个实施例的结构框图；
图13为本发明提供的第三神经网络的一个实施例的结构框图；
图14为本发明提供的图像处理装置的另一个实施例的结构框图；
图15为本发明提供的将目标数据的数据格式从第一数据格式转换为第二数据格式的ISP处理的一个实施例的结构框图；
图16为本发明一示例性实施例的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：
ISP(Image Signal Processor)：即图像处理，主要作用是对前端成像设备的图像传感器采集的图像信号进行处理，主要功能有坏点校正、黑电平校正、白平衡校正、色彩插值、伽马校正、色彩校正、锐化、去噪等功能，具体可根据实际应用选择其中的一种或几种。
深度学习：深度学习的概念源于人工神经网络的研究，是一种使用较深的神经网络来模拟人脑分析学习、并建立对应数据表征的方法。
神经网络(Neural Network)：神经网络是是一种模拟大脑信息处理过程抽象而出的网络技术，主要由神经元构成；它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现，它可以包括卷积层(Convolutional Layer)和池化层(Pooling Layer)等。
下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。
在一个实施例中，参看图1，示出了本发明实施例的一种图像处理方法，该方法可以包括以下步骤：
S1：从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；
S2：从所述第一图像数据中截取所述位置信息对应的目标数据；
S3：将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。
在本发明实施例中，图像处理方法可以应用在图像设备上，图像设备可以是摄像机等具有成像功能的设备，或者是可进行图像后处理的设备等，具体不限。第一数据格式的第一图像数据可以是本设备自身采集得到的图像数据，也可以是本设备从其他设备获取的其他设备所采集的图像数据，具体不限。
图像设备采集的图像数据格式为第一数据格式。第一数据格式是图像设备采集的原始图像格式，可包含一个或多个光谱波段的数据，例如可以包括对波长范围是380nm～780nm的光谱采样信号和/或对波长范围是780nm～2500nm的光谱采样信号。通常来说，第一数据格式的图像直接用于显示或传输会存在一定的困难。
在步骤S1中，从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息。
第一图像数据中包含有指定目标，该指定目标是被期望进行ISP处理，以提高该指定目标的图像质量的对象。由于在第一图像数据检测并定位指定目标，是会对第一图像数据本身进行处理的，因而在检测指定目标后，则不再是采集时的原图。
指定目标在第一图像数据中的位置信息，可以包括：指定目标的特征点在第一图像数据中的坐标、及指定目标图像区域的大小；或者，指定目标图像区域的起始点和终点的坐标等等，具体并不限定，只要是能够定位指定目标在第一图像数据中的位置即可。
接着执行步骤S2，从所述第一图像数据中截取所述位置信息对应的目标数据。
步骤S2中的第一图像数据是采集的第一数据格式的第一图像数据，也即是设备采集时的原始图像，并非是为了获取目标对象的位置信息而对第一图像数据经过处理后的图像数据，不存在丢失图像信息的问题。也就是说，步骤S1和步骤S2中所利用的第一图像数据是同一数据源，可以是同一第一图像数据，也可以是在相同场景下采集的不同第一图像数据，例如可以是前后两帧图像数据，只要指定目标在两帧图像数据中不发生运动或其他变化即可。当然，优选来说，步骤S1和步骤S2中是选用同一第一图像数据，该第一图像数据可以存储在图像设备中，在需要利用时可调取。
由于位置信息是从第一图像数据中检测获取的，因而位置信息在第一图像数据中对应的图像区域便是指定目标。可定位到第一图像数据中位置信息指向的区域进行图像截取，得到指定目标对应的目标数据。由于目标数据是从第一图像数据中截取的，因而其数据格式仍然是第一数据格式，与第一图像数据的数据格式是相同的。
接着执行步骤S3，将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。
步骤S3中，是对第一数据格式的目标数据进行图像处理，将其数据格式转换为第二数据格式，第二数据格式是适于目标数据进行显示和/或传输的一种数据格式，当然，第一数据格式和第二数据格式都是图像格式。当然，图像处理的过程可以不仅仅进行数据格式转换，还可以包括其他的图像处理，提高目标数据的图像质量。
本发明实施例利用采集得到的第一数据格式的第一图像数据，进行指定目标的检测而获取其位置信息，再利用第一数据格式的第一图像数据截取所得位置信息对应的目标数据，该目标数据由于是从第一图像数据中截取的，因而未发生图像格式或质量的改变，再利用该目标数据进行格式转换而将其转换至适于显示和/或传输的数据格式，相比于现有对已经经过图像处理的图像在检测后进行后处理的方式而言，提升了所检测目标的图像质量。
步骤S1是位置信息获取的步骤，可通过检测感兴趣的指定目标，并在检测到指定目标后进行定位，得到定位完成的位置信息，指定目标的类型不限，例如是文字、人物、车辆、车牌和建筑等等，形状、大小同样是不限的。可以先进行一些预处理将输入的第一数据格式的第一图像数据进行转化，转化为常用的可进行目标检测的数据，再进行目标检测，也可以直接对第一数据格式的第一图像数据进行目标检测，输出目标位置信息，具体实现方式不限。
在一个实施例中，上述方法流程可由图像处理装置100执行，如图2所示，图像处理装置100主要包含3个模块：第一处理模块101，第二处理模块102和第三处理模块103。第一处理模块101用于执行上述步骤S1，第二处理模块102用于执行上述步骤S2，第三处理模块103用于执行上述步骤S3。
如图2，第一处理模块101以图像采集设备获得的第一数据格式的第一图像数据为输入，对其中感兴趣的目标或者对象进行检测，并输出检测到目标的位置信息；第二处理模块102是联合第一处理模块101输出的感兴趣目标的位置信息和原始输入的第一数据格式的第一图像数据作为输入，从原始的第一数据格式的第一图像数据中获取感兴趣目标对应的第一数据格式的目标数据；第三处理模块103是以第二处理模块102输出的目标对应的第一数据格式的目标数据为输入，进行自适应ISP处理，得到质量较高的第二数据格式的目标数据。
在一个实施例中，如图3所示，第一处理模块101包括第一处理单元1011和第二处理单元1012，可由第一处理单元1011执行步骤S101，可由第二处理单元1012执行步骤S102，以实现上述步骤S1。上述步骤S1具体包括以下步骤：
S101：将所述第一图像数据转换为可进行目标检测的第二图像数据；
S102：在所述第二图像数据中检测出指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。
由于需要检测出指定目标，而第一图像数据是无法用来直接检测出指定目标的，因而在步骤S101中，先将第一图像数据转换为可用来进行目标检测的第二图像数据，使得第二图像数据可以用来检测出指定目标。具体转换的方式不限，只要能够将第一图像数据转换为能检测目标的第二图像数据即可。
此第二图像数据由于经过转换，数据格式可能已不再是第一数据格式，若再利用其进行后处理来检测提取目标，图像质量是无法保证的。因而本实施例中并非利用第二图像数据来提取指定目标，而是利用了该第二图像数据来检测出指定目标的位置信息。
步骤S101之后执行步骤S102，在所述第二图像数据中检测出指定目标的位置信息，对第二图像数据中的指定目标进行目标识别定位，便可确定指定目标在第二图像数据中的位置信息，指定目标在第一图像数据和第二图像数据中的位置关系一般不发生变化，当然也不排除第一图像数据和第二图像数据之间发生缩放或者指定目标的平移等，但是这些缩放和平移都是处理过程中可确定的，因而得知指定目标在第二图像数据中的位置信息就可得知指定目标在第一图像数据中的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。
进一步的，将所述第一图像数据转换为可进行目标检测的第二图像数据的方式可以包括至少对第一图像数据进行色彩插值处理。在此基础上，例如还可以进行以下处理的至少一种：黑电平校正、白平衡校正、对比度增强和位宽压缩，当然具体也不限于此。
在一种可能的实施方式中，第一处理单元1011可以通过执行步骤S1011至步骤S1015来实现上述步骤S101。参看图4，S1011至步骤S1015具体为：
S1011：黑电平校正；
S1012：白平衡校正；
S1013：色彩插值；
S1014：对比度增强；
S1015：位宽压缩。
可以理解，将第一图像数据转换到第二图像数据的方式也不限于上述步骤S1011～S1015，且处理顺序也不限，例如，将第一图像数据转换到第二图像数据也可以仅进行色彩插值处理，只要得到的第二图像数据能够进行目标检测即可。
步骤S1011中，假设第一数据格式的第一图像数据记为imgR，黑电平校正是为了去除第一数据格式的第一图像数据中黑电平的影响，输出imgRblc：
imgRblc＝imgR-Vblc
其中，Vblc是黑电平值。
步骤S1012中，白平衡校正是为了去除图像成像由于环境光照影响而造成的图像偏色，以还原图像原有的色彩信息，可由两个系数Rgain、Bgain来控制对应的R1分量和B1分量的调整：
R1′＝R1*Rgain
B1′＝B1*Bgain
其中，R1、B1是黑电平校正处理后的图像数据的红色、蓝色通道色彩分量，R1′、B1′是白平衡校正模块输输出图像的红色、蓝色通道色彩分量，输出图像记为imgRwb。
步骤S1013中，色彩插值所针对的数据是白平衡校正处理后的数据，色彩插值可采用最邻近插值法实现，将单通道第一数据格式的第一图像数据扩展成多通道数据。针对Bayer格式的第一数据格式的第一图像数据，直接用最邻近的色彩像素填补相应色彩缺失的像素点，使每个像素点都含有RGB三种色彩分量，具体插值过程如图5所示，R11将其邻近的三个色彩像素填补为R11，具体将哪几个邻近的进行填补可以进行设置，其他色彩像素也是同理，在此不再赘述，插值后的图像记为imgC。
步骤S1014中，对比度增强所针对的数据是色彩插值后的数据，对比度增强是为了增强插值后图像的对比度，可以使用Gamma曲线进行线性映射，假设Gamma曲线的映射函数为f()，映射后的图像记为imgCgm：
imgCgm(i,j)＝f(imgC(i,j))，(i,j)为像素点的坐标。
步骤S1015中，位宽压缩所针对的数据是对比度增强后的数据，位宽压缩是将对比度增强后得到的高位宽数据imgCgm进行压缩，可压缩到第二数据格式对应的位宽，例如可以直接采用线性压缩，压缩后的图像记为imgClb：
imgClb(i,j)＝imgCgm(i,j)/M
其中，M即为第一数据格式压缩到第二数据格式对应的压缩比例。
在一种可能的实施方式中，第二处理单元1012可以通过执行步骤S1021至步骤1022来实现上述步骤S102。
S1021：将所述第二图像数据输入至已训练的第一神经网络；所述第一神经网络用于至少通过卷积层、池化层、全连接层和边框回归层实现定位；
S1022：将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息。
步骤S1021中，第一神经网络是已经训练好的网络，将第二图像数据输入该第一神经网络，便可实现指定目标在第二图像数据中的定位，相应获得指定目标的位置信息。
其中，第一神经网络可以集成在第二处理单元1012中作为第一处理模块101的一部分，也可以设置在第一处理模块101外部，可由第二处理单元1012来调度。
参看图6，所述第一神经网络200可以包括至少一层用于执行卷积的卷积层201、至少一层用于执行下采样的池化层202、至少一层用于执行特征综合的全连接层203和至少一层用于执行坐标变换的边框回归层204。
作为第一神经网络的一个实施例，参看图7，第一神经网络200可以包括依次连接的卷积层205、卷积层206、池化层207…卷积层208、池化层209、全连接层210、边框回归层211，输入第二图像数据，输出位置信息，该位置信息作为指定目标在第一图像数据中的位置信息。第一神经网络每层所执行的功能已经在上面进行了描述，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。可以理解，图7示出的第一神经网络仅是一个示例，具体并不限于此，例如可以减少或增加卷积层、和/或池化层、和/或其他层。
下面介绍一下第一神经网络中的各层的具体功能，但不应以此为限。
卷积层(Conv)执行的是卷积操作，还可以带有一个激活函数ReLU，可以对卷积结果进行激活操作，因此对于一个卷积层的操作可以用以下公式表示：
YCi(I)＝g(Wi*YCi-1(I)+Bi)
其中，YCi(I)为第i个卷积层的输出，YCi-1(I)为第i个卷积层的输入，*表示卷积操作，Wi和Bi分别为第i个卷积层的卷积滤波器的权重系数和偏移系数，g()表示激活函数，当激活函数为ReLU时，g(x)＝max(0,x)，x即YCi(I)。
池化层(Pool)是一种特殊的下采样层，即对卷积得到的特征图进行缩小，缩小窗的大小例如为N×N，当使用最大池化时，即对N×N窗求取最大值作为最新图像对应点的值，具体公式如下：
YPj(I)＝maxpool(YPj-1(I))
其中，YPj-1(I)为第j个池化层的输入，YPj(I)为第j个池化层的输出。
全连接层(FC)可以看成是滤波窗口为1×1的卷积层，全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来，具体实现和卷积滤波类似，表达式例如可以如下：
Figure BDA0001681282510000141
其中，FkI(I)为第k个全连接层的输入，YFk(I)为第k个全连接层的输出，R、C为FkI(I)的宽高，Wij和Bij分别为全连接层的连接权重系数和偏置系数，g()表示激活函数，I即为(i,j)。
边框回归层(BBR)是为了寻找一种关系使得全连接层输出的窗口P经过映射得到一个跟真实窗口G更接近的窗口G′；回归的实现一般是对窗口P进行坐标变换，例如包括平移变换和/或尺度缩放变换；假设全连接层输出的窗口P的坐标为(x1,x2,y1,y2)，则经变换后的窗后坐标(x3,x4,y3,y4)；
若变换为平移变换，平移尺度为(Δx,Δy)，平移前后的坐标关系为：
x3＝x1+Δx
x4＝x2+Δx
y3＝y1+Δy
y4＝y2+Δy
若尺度变换为缩放变换，X、Y方向的缩放尺度分别为dx、dy，变换前后的坐标关系为：
x4-x3＝(x2-x1)*dx
y4-y3＝(y2-y1)*dy。
在步骤S1022中，根据第一神经网络输出的结果确定所述指定目标在第一图像数据中的位置信息，可将第一神经网络的输出结果直接作为指定目标在第一图像数据中的位置信息，或者也可将输出结果用指定目标在第一图像数据和第二图像数据的位置变化关系进行转换得到指定目标在第一图像数据中的位置信息。
对于第一神经网络的训练，可以通过获取第二图像数据样本和对应的位置信息样本作为训练样本集，将第二图像数据样本作为输入，将对应的位置信息样本作为输出，对第一神经网络的训练模型进行训练。关于第二图像数据样本和对应的位置信息样本的获取，可以通过可识别检测目标的图像处理方式来对第二图像数据样本进行处理得到对应的位置信息样本。
在另一个实施例中，参看图8，第一处理模块101包括第三处理单元1013，可由第三处理单元1013执行步骤S111和步骤S112，以实现上述步骤S1。步骤S111和步骤S112具体为：
S111：将所述第一图像数据输入至已训练的第二神经网络；第二神经网络至少通过灰度化层、卷积层、池化层、全连接层和边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息；
S112：将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。
其中，第二神经网络可以集成在第三处理单元1013中作为第一处理模块101的一部分，也可以设置在第一处理模块101外部，可由第三处理单元1013来调度。
参看图9，所述第二神经网络300包括至少一层用于执行灰度处理的灰度化层301、一层用于执行卷积的卷积层302、一层用于执行下采样的池化层303、一层用于执行特征综合的全连接层304和一层用于执行坐标变换的边框回归层305，完全通过第二神经网络来实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息，而不用进行其他ISP处理，当然，根据不同的需求，当然可以在第二神经网络处理的基础上，进行一定的信息处理，具体不限。
作为第二神经网络的一个实施例，参看图10，第二神经网络300可以包括灰度化层306、卷积层307、卷积层308、池化层309……卷积层310、池化层311、全连接层312和边框回归层313，直接向第二神经网络输入第一图像数据，第二神经网络的各层结构进行应用处理后输出位置信息，该位置信息作为指定目标在第一图像数据中的位置信息。第一神经网络每层所执行的功能已经在上面进行了描述，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。可以理解，图10示出的第二神经网络300仅是一个示例，具体并不限于此，例如可以减少或增加卷积层、和/或、池化层、和/或其他层。
第二神经网络中的灰度化层是将多通道的第一数据格式信息转化为单通道的灰度信息，可以通过对当前像素点周围表征不同色彩的分量分别进行加权即可。参看图11，通过灰度化层的处理，将不同色彩的分量RGB进行加权后均转换为了单通道的灰度信息Y，例如，对于Y22来说，计算公式如下：Y22＝(B22+(G12+G32+G21+G23)/4+(R11+R13+R31+R33)/4)/3
其他分量也可以是同理，在此便不再赘述。
第二神经网络中的卷积层、池化层、全连接层和边框回归层所执行的功能与第一神经网络中的相应层可相同，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。
对于第二神经网络的训练，可以通过获取第一图像数据样本和对应的位置信息样本作为训练样本集，将第一图像数据样本作为输入，将对应的位置信息样本作为输出，对第二神经网络的训练模型进行训练。关于第一图像数据样本和对应的位置信息样本的获取，可以先将第一图像数据样本进行目标可检测化的图像处理，再通过可识别检测目标的图像处理方式来检测目标，以得到对应的位置信息样本。
步骤S2中，可以直接根据步骤S1中得到的指定目标在第一图像数据的位置信息，到原始输入的第一数据格式的第一图像数据中的对应位置进行数据截取，截取的数据作为对应目标的第一数据格式的目标数据。
在一个实施例中，假设步骤S1中得到的指定目标在第一图像数据的位置信息为[x1,x2,y1,y2]，其中x1、y1为起始位置信息，x2、y2为结束位置信息，当整幅图像对应的第一数据格式的第一图像数据用imgR来表示时,则指定目标的第一数据格式的目标数据imgT为：
imgT＝imgR(x1:x2,y1:y2)。
步骤S3中，针对步骤S2中得到的指定目标对应的第一数据格式的目标数据进行处理，以将指定目标的目标数据从第一数据格式转化为第二数据格式。步骤S3事实上是针对小目标的图像处理，可以通过非神经网络实现的ISP处理实现，也可以通过神经网络来实现。
在一个实施例中，如图12所示，第三处理模块103包括第四处理单元1031，可由第四处理单元1031执行以下步骤，以实现上述步骤S3。
将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。
其中，第三神经网络可以集成在第四处理单元1031中作为第三处理模块103的一部分，也可以设置在第三处理模块103外部，可由第四处理单元1031来调度。
所述第三神经网络可以包括至少一层用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。当然，第三神经网络的层结构不限于此，例如还可以包括至少一层用于执行激活的ReLu层，或者还可以包括其他层。具体的层数也不限。
基于第三神经网络来实现图像处理，减少了传统图像处理在每个处理步骤中分别处理所可能引起的误差传播。
下面对第三神经网络的各层执行的操作进行具体描述，但不应以此为限。
第三神经网络的卷积层，假设每个卷积层的输入为FCi，卷积层的输出为FCi+1，则有：
FCi+1＝g(wik*FCi+bik)
wik、bik为当前卷积层中第k个卷积的参数，g(x)是一种线性加权函数,即对每个卷积层的卷积输出进行线性加权。当然，第三神经网络的卷积层与第一神经网络的卷积层都是执行的卷积操作，因而功能类似，相关描述也可以参看关于第一神经网络的卷积层的内容。
第三神经网络的ReLu层，假设每个ReLu层的输入为FRi，ReLu层的输入为FRi+1，则有：
FRi+1＝max(FRi,0)，即选择0和FRi的最大者。
作为第三神经网络的一个实施例中，参看图13，第三神经网络400可以包括依次连接的卷积层401、卷积层402、ReLu层403、卷积层404、卷积层405，输入是第一数据格式的目标数据，输出是第二数据格式的目标数据。第三神经网络每层所执行的功能已经在上面进行了描述，每层可有适应性的变化，例如不同卷积层的卷积核可有所不同，在此便不再赘述。可以理解，图13示出的第三神经网络仅是一个示例，具体并不限于此，例如可以减少或增加卷积层、和/或、池化层、和/或其他层。
对于第三神经网络的训练，为了预先优化深度神经网络，可以使用大量第一数据格式的目标数据样本和对应理想的第二数据格式的目标数据样本构成样本，对第三神经网络训练过程中使用的网络参数进行不断训练，直至当输入第一数据格式的目标数据时，能够输出理想的第二数据格式的目标数据，此时输出网络参数，以供第三神经网络实际测试、使用。
对第三神经网络进行训练的训练流程可以包括以下步骤：
S311：收集训练样本：收集感兴趣目标对应的第一数据格式信息和对应的理想第二数据格式信息。假设已获得n个训练样本对{(x1,y1)，(x2,y2),…,(xn,yn)}，其中，xi表示输入的第一数据格式信息，yi表示对应的理想第二数据格式信息。
S312：设计第三神经网络的结构；网络训练使用的网络结构和测试时为同一网络结构；
S313：初始化训练参数；对第三神经网络的结构的网络参数进行初始化，可采取随机值初始化、固定值初始化等；设置训练相关参数，如学习率、迭代次数等；
S314：前向传播；基于当前网络参数，采用训练样本xi在第三神经网络上进行前向传播，获得第三神经网络的输出F(xi)，计算损失函数Loss：
Loss＝(F(xi)-yi)2；
S315：后向传播：利用后向传播，调整第三神经网络的网络参数；
S316：反复迭代：重复迭代步骤S314和S315，直至网络收敛，输出此时的网络参数。
当然，第三神经网络的训练过程并不局限于此，当然还可以是其他训练方式，只要能够使得训练后的第三神经网络可以实现输入第一数据格式的目标数据可以得到对应的第二数据格式的目标数据即可。
在另一个实施例中，如图14所示，第三处理模块103包括第五处理单元1032，可由第五处理单元1032对所述目标数据执行ISP处理，将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，ISP处理至少包括色彩插值，以实现上述步骤S3。
进一步的，所述ISP处理还包括以下处理中的至少一种：白平衡校正、曲线映射，可以进一步提高图像质量。
仅利用第一数据格式的目标数据来实现ISP处理中参数的计算，可提高处理参数的准确性，进而提升目标数据处理后的图像质量。
作为对所述目标数据执行ISP处理的一个实施例中，参看图15，所述ISP处理可以依次包括以下步骤：
S301：白平衡校正；输入为第一数据格式的目标数据；
S302：色彩插值；
S303：曲线映射；输出为第二数据格式的目标数据。
可以理解，实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式的ISP处理也不局限于此，例如可以仅进行色彩插值，或者可以包括其他的ISP处理方式。
下面对白平衡校正、色彩插值、曲线映射这些ISP处理进行更具体的描述，但不应以此为限。
白平衡校正是为了去除图像成像由于环境光照影响而造成的图像偏色，以还原图像原有的色彩信息，一般由两个系数R-gain、B-gain来控制对应的R分量和B分量的调整。
R2′＝R2*R-gain
B2′＝B2*B-gain
其中，R2、B2是白平衡校正的输入图像的红色、蓝色通道色彩分量，R2'、B2'是白平衡校正的输出图像的红色、蓝色通道色彩分量；相对于全图的白平衡校正而言，此处R-gain、B-gain只需要对感兴趣目标的R、B、G通道色彩分量进行统计和计算；
在计算R-gain、B-gain时，需要先统计R、G、B通道每个色彩分量的均值Ravg、Gavg和Bavg，则有：
Figure BDA0001681282510000201
色彩插值是指将白平衡校正后的第一数据格式的目标数据由单通道格式扩展成每个通道表征一个色彩分量的多通道数据格式；可以采用最邻近插值法实现，将单通道第一数据格式的目标数据扩展成多通道的目标数据。例如针对Bayer格式的第一数据格式的图像数据，可直接用最邻近的色彩像素填补相应色彩缺失的像素点，使每个像素点都含有RGB三种色彩分量，具体插值过程与前述图4对应的实施例可以相同或类似，在此不再赘述。
曲线映射是指将图像数据按照人眼的视觉特性将图像数据进行亮度和对比度调整，常用不同参数的Gamma曲线进行映射，假设Gamma曲线的映射函数为g，映射后的图像记为imggm，映射前图像记为img，则有：
imggm(i,j)＝g(img(i,j))。
下面对本发明实施例的图像处理装置进行描述，但不应以此为限。
在一个实施例中，参看图2，一种图像处理装置100可以包括：
第一处理模块101，用于从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；
第二处理模块102，用于从所述第一图像数据中截取所述位置信息对应的目标数据；
第三处理模块103，用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式适于所述目标数据显示和/或传输。
在本发明实施例中，图像处理装置100可以应用在图像设备上，图像设备可以是摄像机等具有成像功能的设备，或者是可进行图像后处理的设备等，具体不限。第一数据格式的第一图像数据可以是本设备自身采集得到的图像数据，也可以是本设备从其他设备获取的，由该其他设备所采集的图像数据，具体不限。
在一个实施例中，参看图3，所述第一处理模块101包括第一处理单元1011和第二处理单元1012；
所述第一处理单元1011，用于将所述第一图像数据转换为可进行目标检测的第二图像数据；
所述第二处理单元1012，用于在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。
在一个实施例中，所述第二处理单元1012，具体用于：
将所述第二图像数据输入至已训练的第一神经网络，以及将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出。
在一个实施例中，所述第一处理单元1011，具体用于：
采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。
在一个实施例中，参看图8，所述第一处理模块101包括第三处理单元1013；
所述第三处理单元1013，用于将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息；将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。
在一个实施例中，参看图12，所述第三处理模块103包括第四处理单元1031；
所述第四处理单元1031，用于将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。
在一个实施例中，参看图14，所述第三处理模块103包括第五处理单元1032；
所述第五处理单元1032，用于对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，至少包括色彩插值。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中任意一项所述的图像处理方法。
本发明图像处理装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图16所示，图16是本发明根据一示例性实施例示出的图像处理装置100所在电子设备的一种硬件结构图，除了图7所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，使得图像设备实现如前述实施例中任意一项所述的图像处理方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (17)

1.一种图像处理方法，其特征在于，包括：
从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；所述第一数据格式是不可显示为图像的数据格式；
从所述第一图像数据中截取所述位置信息对应的目标数据；
将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式是可显示为图像的数据格式，所述第二数据格式适于所述目标数据显示和/或传输。
2.如权利要求1所述的图像处理方法，其特征在于，所述从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息包括：
将所述第一图像数据转换为可进行目标检测的第二图像数据；
在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。
3.如权利要求2所述的图像处理方法，其特征在于，所述在第二图像数据中检测出指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息包括：
将所述第二图像数据输入至已训练的第一神经网络；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出；
将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息。
4.如权利要求2所述的图像处理方法，其特征在于，所述将所述第一图像数据转换为可进行目标检测的第二图像数据，包括：
采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。
5.如权利要求1所述的图像处理方法，其特征在于，所述从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息包括：
将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据,以及检测指定目标在第二图像数据中的位置信息；
将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。
6.如权利要求1至5中任一项所述的图像处理方法，其特征在于，所述将目标数据的数据格式从所述第一数据格式转换为第二数据格式包括：
将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。
7.如权利要求1至5中任一项所述的图像处理方法，其特征在于，所述将目标数据的数据格式从所述第一数据格式转换为第二数据格式包括：
对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述ISP处理至少包括色彩插值。
8.如权利要求7所述的图像处理方法，其特征在于，所述ISP处理还包括以下处理中的至少一种：白平衡校正、曲线映射。
9.一种图像处理装置，其特征在于，包括：
第一处理模块，用于从采集的第一数据格式的第一图像数据中获取指定目标在所述第一图像数据中的位置信息；所述第一数据格式是不可显示为图像的数据格式；
第二处理模块，用于从所述第一图像数据中截取所述位置信息对应的目标数据；
第三处理模块，用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，所述第二数据格式是可显示为图像的数据格式，所述第二数据格式适于所述目标数据显示和/或传输。
10.如权利要求9所述的图像处理装置，其特征在于，所述第一处理模块包括第一处理单元和第二处理单元；
所述第一处理单元，用于将所述第一图像数据转换为可进行目标检测的第二图像数据；
所述第二处理单元，用于在所述第二图像数据中检测出所述指定目标的位置信息，将检测出的位置信息确定为所述指定目标在所述第一图像数据中的位置信息。
11.如权利要求10所述的图像处理装置，其特征在于，所述第二处理单元，具体用于：
将所述第二图像数据输入至已训练的第一神经网络，以及将所述第一神经网络输出的结果确定为所述指定目标在第一图像数据中的位置信息；所述第一神经网络至少通过用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述指定目标的位置信息的定位和输出。
12.如权利要求10所述的图像处理装置，其特征在于，所述第一处理单元，具体用于：
采用黑电平校正、白平衡校正、色彩插值、对比度增强和位宽压缩中的至少一种图像处理方式，实现将所述第一图像数据转换为可进行目标检测的第二图像数据。
13.如权利要求9所述的图像处理装置，其特征在于，所述第一处理模块包括第三处理单元；
所述第三处理单元，用于将所述第一图像数据输入至已训练的第二神经网络；所述第二神经网络至少通过用于执行灰度处理的灰度化层、用于执行卷积的卷积层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现将所述第一图像数据转换为可进行目标检测的第二图像数据、以及检测指定目标在第二图像数据中的位置信息；将所述第二神经网络输出的结果确定为所述指定目标在所述第一图像数据中的位置信息。
14.如权利要求9所述的图像处理装置，其特征在于，所述第三处理模块包括第四处理单元；
所述第四处理单元，用于将所述目标数据输入至已训练的第三神经网络；所述第三神经网络至少通过用于执行卷积的卷积层实现将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式。
15.如权利要求9所述的图像处理装置，其特征在于，所述第三处理模块包括第五处理单元；
所述第五处理单元，用于对所述目标数据执行ISP处理；其中，所述ISP处理用于将所述目标数据的数据格式从所述第一数据格式转换为第二数据格式，至少包括色彩插值。
16.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-8中任意一项所述的图像处理方法。
17.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-8中任意一项所述的图像处理方法。
CN201810571964.XA 2018-05-31 2018-05-31 一种图像处理方法、装置及设备、可读介质 Active CN110555877B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810571964.XA CN110555877B (zh) 2018-05-31 2018-05-31 一种图像处理方法、装置及设备、可读介质
PCT/CN2019/089249 WO2019228450A1 (zh) 2018-05-31 2019-05-30 一种图像处理方法、装置及设备、可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810571964.XA CN110555877B (zh) 2018-05-31 2018-05-31 一种图像处理方法、装置及设备、可读介质

Publications (2)

Publication Number Publication Date
CN110555877A CN110555877A (zh) 2019-12-10
CN110555877B true CN110555877B (zh) 2022-05-31

Family

ID=68698712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810571964.XA Active CN110555877B (zh) 2018-05-31 2018-05-31 一种图像处理方法、装置及设备、可读介质

Country Status (2)

Country Link
CN (1) CN110555877B (zh)
WO (1) WO2019228450A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111110272B (zh) * 2019-12-31 2022-12-23 深圳开立生物医疗科技股份有限公司 超声图像测量信息显示方法、装置、设备及可读存储介质
RU2764395C1 (ru) 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN113077516B (zh) * 2021-04-28 2024-02-23 深圳市人工智能与机器人研究院 一种位姿确定方法及相关设备
CN115977496B (zh) * 2023-02-24 2024-07-19 重庆长安汽车股份有限公司 一种车门控制方法、***、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873781B (zh) * 2014-03-27 2017-03-29 成都动力视讯科技股份有限公司 一种宽动态摄像机实现方法及装置
US9852492B2 (en) * 2015-09-18 2017-12-26 Yahoo Holdings, Inc. Face detection
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
CN106529446A (zh) * 2016-10-27 2017-03-22 桂林电子科技大学 基于多分块深层卷积神经网络的车型识别方法和***
CN107301383B (zh) * 2017-06-07 2020-11-24 华南理工大学 一种基于Fast R-CNN的路面交通标志识别方法
CN107895378A (zh) * 2017-10-12 2018-04-10 西安天和防务技术股份有限公司 目标检测方法和装置、存储介质、电子设备
CN107808139B (zh) * 2017-11-01 2021-08-06 电子科技大学 一种基于深度学习的实时监控威胁分析方法及***
CN107886074B (zh) * 2017-11-13 2020-05-19 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测***
CN107871126A (zh) * 2017-11-22 2018-04-03 西安翔迅科技有限责任公司 基于深层神经网络的车型识别方法和***
CN108009524B (zh) * 2017-12-25 2021-07-09 西北工业大学 一种基于全卷积网络的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Moving object segmentation using motion orientation histogram in adaptively partitioned blocks for consumer surveillance system;Seungwon Lee，and etc;《2012 IEEE International Conference on Consumer Electronics (ICCE)》;20120301;第197-198页 *

Also Published As

Publication number Publication date
WO2019228450A1 (zh) 2019-12-05
CN110555877A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN115442515B (zh) 图像处理方法和设备
CN110555877B (zh) 一种图像处理方法、装置及设备、可读介质
US20200234414A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
JP4460839B2 (ja) デジタル画像鮮鋭化装置
US9870600B2 (en) Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、***和介质
CN112966635B (zh) 面向低分辨率时序遥感影像的运动舰船检测方法及装置
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测***
US20240007600A1 (en) Spatially Varying Reduction of Haze in Images
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN111784624A (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN112288031A (zh) 交通信号灯检测方法、装置、电子设备和存储介质
CN113409355A (zh) 一种基于fpga的运动目标识别***及方法
CN112241982A (zh) 一种图像处理方法、装置及机器可读存储介质
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN117409244A (zh) 一种SCKConv多尺度特征融合增强的低照度小目标检测方法
CN111881924A (zh) 结合光照不变性与短曝光光照增强的暗光车照识别方法
CN112241670B (zh) 图像处理方法及装置
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及***
CN112241936B (zh) 图像处理方法、装置及设备、存储介质
CN114742907A (zh) 图像增强方法、装置、电子设备和计算机可读存储介质
CN114463379A (zh) 一种视频关键点的动态捕捉方法及装置
CN112241669B (zh) 目标识别方法、装置、***及设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant