CN112528944A - 一种图像识别方法、装置、电子设备及存储介质 - Google Patents

一种图像识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112528944A
CN112528944A CN202011544194.3A CN202011544194A CN112528944A CN 112528944 A CN112528944 A CN 112528944A CN 202011544194 A CN202011544194 A CN 202011544194A CN 112528944 A CN112528944 A CN 112528944A
Authority
CN
China
Prior art keywords
image
target
pixel
preset
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011544194.3A
Other languages
English (en)
Inventor
邝宏武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Haikang Auto Software Co ltd
Original Assignee
Hangzhou Haikang Auto Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haikang Auto Software Co ltd filed Critical Hangzhou Haikang Auto Software Co ltd
Priority to CN202011544194.3A priority Critical patent/CN112528944A/zh
Publication of CN112528944A publication Critical patent/CN112528944A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供的一种图像识别方法、装置、电子设备及存储介质，可以获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；对至少两组单次曝光图像信息进行叠加；基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。无需宽动态融合之后在进行识别，避免了宽动态融合过程中部分细节的丢失，导致的识别的准确度不够高的问题，从而可以提高图像识别的准确度。

Description

一种图像识别方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像识别方法、装置、电子设备及存储介质。
背景技术
目前，图像识别已经有着广泛的应用，例如，在自动驾驶技术领域，通过对实时获取的图像进行识别，可以识别出路口的交通标识，从而采取相应转向、制动等措施。而在进行图像识别时，为了获取高光照区域和低光照区域的细节特征，会先通过宽动态融合，将长曝光的长帧图像和短曝光的短帧图像进行融合，再根据融合得到图像进行图像识别。
然而，在图像中光照不均匀的情况下，将长曝光和短曝光的图像进行宽动态融合时，由于图像中各目标自身的差异，宽动态融合后得到的宽动态融合图像中仍有部分目标的曝光过度或曝光不足，导致宽动态融合图像中部分细节的丢失，使得基于宽动态融合图像进行图像识别时，识别的准确度不够高。
发明内容
本发明实施例的目的在于提供一种图像识别方法、装置、电子设备及存储介质，用以提高图像识别的准确度。具体技术方案如下：
在本发明实施的第一方面，提供了一种图像识别方法，包括：
获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；
对至少两组单次曝光图像信息进行叠加；
基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
可选的，对至少两组单次曝光图像信息进行叠加，包括：
对至少两组单次曝光图像信息中的各组单次曝光图像信息图像分别进行特征提取，得到至少两组单次曝光图像信息中的各组单次曝光图像信息的各图像通道的数据；
将各图像通道的数据中同一图像通道的数据进行叠加。
可选的，基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，包括：
检测叠加后的图像中，是否包含红绿灯灯框图像；
在检测到红绿灯灯框图像后，对红绿灯灯框图像进行红绿灯的颜色和形状进行识别。
可选的，基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，包括：
基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图。
可选的，在基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图之后，上述方法还包括：
基于掩模图，判断叠加后的图像中多个目标对象中是否包含交通标识；
若叠加后的图像中包含交通标识，则基于掩模图中交通标识的位置，对叠加后的图像中对应位置的图像进行图像识别。
可选的，上述方法还包括：
根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重；
基于各个像素点结合像素类型信息的权重，对至少两组单次曝光图像信息进行宽动态融合。
可选的，根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重，包括：
根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，通过预设公式：
Figure BDA0002855468590000031
计算各个像素点结合像素类型信息的权重，其中，Wci(x,y)是目标坐标为(x,y)处的像素点结合像素类型信息的权重，Ici(x,y)是第i幅图像中第c类目标坐标为(x,y)处的像素值，μc(x,y)是掩模图中第c类目标类别的预设像素值，σc是掩模图中各个目标类别的预设像素值的方差。
可选的，基于各个像素点结合像素类型信息的权重，对至少两组单次曝光图像信息进行宽动态融合，包括：
基于各个像素点结合像素类型信息的权重，通过公式：
IWDR＝∑iIi(x,y)*Wci(x,y)/∑iWci(x,y)，
计算得到所述宽动态融合图像中各像素点的像素值，其中，Ii(x,y)表示至少两组单次曝光图像信息中第i幅图像中坐标为(x,y)处的像素值，IWDR是宽动态融合图像中坐标为(x,y)处的像素点的像素值。
在本发明实施的第二方面，提供了一种图像识别装置，包括：
图像获取模块，用于获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；
图像叠加模块，用于对至少两组单次曝光图像信息进行叠加；
目标识别模块，用于基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
可选的，图像叠加模块，包括：
数据获取子模块，用于对至少两组单次曝光图像信息中的各组单次曝光图像信息图像分别进行特征提取，得到至少两组单次曝光图像信息中的各组单次曝光图像信息的各图像通道的数据；
数据叠加子模块，用于将各图像通道的数据中同一图像通道的数据进行叠加。
可选的，目标识别模块，包括：
灯框检测子模块，用于检测叠加后的图像中，是否包含红绿灯灯框图像；
颜色识别子模块，用于在检测到红绿灯灯框图像后，对红绿灯灯框图像进行红绿灯的颜色和形状进行识别。
可选的，目标识别模块，包括：
语义分割子模块，用于基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图。
可选的，上述装置还包括：
交通标示判断模块，用于基于掩模图，判断叠加后的图像中多个目标对象中是否包含交通标识；
交通标示识别模块，用于若叠加后的图像中包含交通标识，则基于掩模图中交通标识的位置，对叠加后的图像中对应位置的图像进行图像识别。
可选的，上述装置还包括：
权重计算模块，用于根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重；
宽动态融合模块，用于基于各个像素点结合像素类型信息的权重，对至少两组单次曝光图像信息进行宽动态融合。
可选的，权重计算模块，具体用于根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，通过预设公式：
Figure BDA0002855468590000041
计算各个像素点结合像素类型信息的权重，其中，Wci(x,y)是目标坐标为(x,y)处的像素点结合像素类型信息的权重，Ici(x,y)是第i幅图像中第c类目标坐标为(x,y)处的像素值，μc(x,y)是掩模图中第c类目标类别的预设像素值，σc是掩模图中各个目标类别的预设像素值的方差。
可选的，宽动态融合模块，具体用于基于各个像素点结合像素类型信息的权重，通过公式：
IWDR＝∑iIi(x,y)*Wci(x,y)/∑iWci(x,y)，
计算得到所述宽动态融合图像中各像素点的像素值，其中，Ii(x,y)表示至少两组单次曝光图像信息中第i幅图像中坐标为(x,y)处的像素值，IWDR是宽动态融合图像中坐标为(x,y)处的像素点的像素值。
在本发明实施的第三方面，提供了一种电子设备，包括处理器、存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，实现上述任一图像识别方法。
在本发明实施的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一图像识别方法。
本发明实施例有益效果：
本发明实施例提供的一种图像识别方法、装置、电子设备及存储介质，可以获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；对至少两组单次曝光图像信息进行叠加；基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
从上述图像识别的过程来看，获取一帧时间内的至少两组单次曝光图像信息之后，对至少两组单次曝光图像信息进行叠加；基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，而无需宽动态融合之后在进行识别，避免了宽动态融合过程中部分细节的丢失，导致的识别的准确度不够高的问题，从而可以提高图像识别的准确度。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的图像识别方法的第一种流程示意图；
图2为本申请实施例提供的图像识别方法的第二种流程示意图；
图3为本申请实施例提供的红绿灯检测的一种实例图；
图4为本申请实施例提供的图像识别的一种实例图；
图5为本申请实施例提供的图像识别方法的第三种流程示意图；
图6为本申请实施例提供的图像识别方法的第四种流程示意图；
图7为本申请实施例中车内的计算机***进行图像识别一种实例图；
图8为本申请实施例提供的图像识别装置的一种结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高图像识别的准确度，本申请实施例提供了一种图像识别方法。
本申请的一个实施例中，上述方法包括：
获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；
对至少两组单次曝光图像信息进行叠加；
基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
应用本申请实施例提供的图像识别方法，获取一帧时间内的至少两组单次曝光图像信息之后，对至少两组单次曝光图像信息进行叠加；基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，而无需宽动态融合之后在进行识别，避免了宽动态融合过程中部分细节的丢失，导致的识别的准确度不够高的问题，从而可以提高图像识别的准确度。
下面通过具体实施例对本申请实施例提供的图像识别方法进行详细说明。
本申请实施例中，所谓的图像识别可以指：通过同一摄像机针对同一场景拍摄的至少两组单次曝光图像信息后，其中，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息，对所拍摄的至少两组单次曝光图像信息中的目标进行识别。举例而言：
在车辆行驶过程中，车内的计算机***可以通过与之连接的摄像头可以获取车辆周围的图像，通过对图像进行分析判断是否存在障碍物等，从而根据分析结果对驾驶员的驾驶状态进行干预或对无人驾驶车辆进行控制，例如，采取紧急制动措施或避障措施等。在车内的计算机***通过与之连接的摄像头获取车辆周围的图像时，为了提高所获取的图像的效果，通过获取一帧时间内的至少两组单次曝光图像信息，对至少两组单次曝光图像信息进行叠加，基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，以判断是否存在障碍物等。
具体的，参见图1，图1为本申请实施例提供的图像识别方法的第一种流程示意图，包括：
步骤S11，获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息。
上述至少两组单次曝光图像信息可以是同一摄像机针对同一场景拍摄的。在实际使用过程中上述至少两组单次曝光图像信息可以是通过单帧二次曝光技术或通过多帧成像技术得到至少两组单次曝光图像信息，例如，当得到两组单次曝光图像信息时，该两组单次曝光图像信息可以是通过单帧二次曝光技术分别得到的长帧图像和短帧图像。
在本申请实施例中，上述图像识别方法可以通过智能终端来执行，具体的该智能终端可以是车辆的车内的计算机***或电脑、服务器等。
步骤S12，对至少两组单次曝光图像信息进行叠加。
对至少两组单次曝光图像信息进行叠加可以通过通道叠加的方式进行叠加。可选的，对至少两组单次曝光图像信息进行叠加，包括：对至少两组单次曝光图像信息中的各组单次曝光图像信息图像分别进行特征提取，得到至少两组单次曝光图像信息中的各组单次曝光图像信息的各图像通道的数据；将各图像通道的数据中同一图像通道的数据进行叠加。
其中，对至少两组单次曝光图像信息中的各组单次曝光图像信息图像分别进行特征提取，可以采用卷积神经网络实现，该卷积神经网络的训练过程可以采用监督的方式完成。例如，通过将大量包括人工标记的图片输入待训练的卷积神经网络中，通过待训练的卷积神经网络对该大量图片进行特征提取，得到各图像通道的数据，并进行叠加，得到叠加后的图像。然后通过将叠加后的图像与人工标记对比，计算该待训练的卷积神经网络的误差，根据得到的误差对该待训练的卷积神经网络进行权值的修正，并重新进行训练，直至计算得到的误差小于预设的误差阈值，得到训练好的卷积神经网络。
步骤S13，基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
其中，预设场景中会出现的对象类别可以为根据应用场景所设定的类别，例如，当应用于车内的计算机***对车辆行驶过程中多拍摄的图像进行识别时，可以包括道路、道路标线、移动障碍物、交通标志、其他共5类。
对叠加后的图像进行目标对象的识别，可以是通过对叠加后的图像进行语义分割，得到叠加后的图像中多个目标对象和多个目标对象的目标类别。例如，检测图像中的是否存在预设的对象类别的目标时，通过对各目标进行类别的识别，并将识别到的类别与预设的对象类别进行对比，从而确定检测图像中的是否存在预设的对象类别的目标。
其中，基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，可以判断图像是否存在车辆或行人等，从而根据识别结果判断是否对车辆的行驶状态进行干预或控制。
应用本申请实施例提供的图像识别方法，获取一帧时间内的至少两组单次曝光图像信息之后，对至少两组单次曝光图像信息进行叠加；基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，而无需宽动态融合之后在进行识别，避免了宽动态融合过程中部分细节的丢失，导致的识别的准确度不够高的问题，从而可以提高图像识别的准确度。
在有的实施例中为了进一步提高红绿灯识别的准确度，在基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别时，还包括对叠加后的图像进行红绿灯的颜色和形状进行识别，参见图2，图2为本申请实施例提供的图像识别方法的第二种流程示意图，包括：
步骤S11，获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息。
具体的，获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息，可以参见对应图1中的步骤S11
本步骤具体的实现方式可以与图1中的步骤S11相同，具体的可以参见图1，此处不再赘述。
步骤S12，对至少两组单次曝光图像信息进行叠加。
本步骤具体的实现方式可以与图1中的步骤S12相同，具体的可以参见图1，此处不再赘述。
步骤S131，检测叠加后的图像中，是否包含红绿灯灯框图像。
其中，检测叠加后的图像中，是否包含红绿灯灯框图像，可以参见图3，图3为本申请实施例提供的红绿灯检测的一种实例图，如图3所示，当获取长帧图像和短帧图像后可以选择进行特征提取，然后通过通道叠加等方式进行特征图像的融合得到融合图像，也可以对长帧图像和短帧图像直接进行图像融合，然后通过对融合后的图像进行红路灯灯框的检查得到融合后的图像中的红绿灯灯框的图像，再对红绿灯的颜色和形状进行识别，得到红绿灯当前状态识别结果。通过预设的神经网络模型进行检测时，该神经网络模型可以是YOLO模型(You Only Live Once，一种对象检测算法)。例如，通过将上述当前融合图像输入预先训练好的YOLO模型，判断当前融合图像中是否包含红绿灯灯框图像，以及包含红绿灯灯框图像在当前融合图像中的位置。其中YOLO模型的训练方法与上述特征提取模型的训练方法类似，此处不再赘述。
步骤S132，在检测到红绿灯灯框图像后，对红绿灯灯框图像进行红绿灯的颜色和形状进行识别。
其中，在检测到红绿灯灯框图像后，对红绿灯灯框图像进行红绿灯的颜色和形状进行识别，可以是通过检测叠加后的图像中，是否包含红绿灯灯框图像，当叠加后的图像中包含红绿灯灯框图像时，截取红绿灯灯框图像。并根据截取的红绿灯灯框图像对红绿灯的颜色和形状进行识别，得到红绿灯当前状态识别结果。其中，该识别结果可以包括红灯、绿灯、黄灯。当摄像机为无人驾驶车辆中的摄像机时，通过该识别结果，无人驾驶车辆可以采取制动等操作。
其中，对红绿灯的颜色和形状进行识别，可以通过预先训练好的红绿灯识别模型，该红绿灯识别模型的训练方法与特征提取模型的训练方法类似，此处不再赘述。
可见，通过检测叠加后的图像中，是否包含红绿灯灯框图像，在检测到红绿灯灯框图像后，对红绿灯灯框图像进行红绿灯的颜色和形状进行识别。可以得到红绿灯当前状态识别结果，从而根据识别结果采取制动等操作，从而保证行驶过程中的安全性。
在实际使用过程中，还可以基于叠加后的图像，确定红绿灯灯框相对摄像机的位置；保存红绿灯状态识别结果以及红绿灯灯框相对摄像机的位置。
通过基于叠加后的图像，确定红绿灯灯框相对摄像机的位置；保存红绿灯状态识别结果以及红绿灯灯框相对摄像机的位置，可以便于根据保存的红绿灯灯框相对摄像机的位置对红绿灯的状态进行检测，提高红绿灯检测的效率。例如，当对红绿灯的颜色和形状进行识别，得到红绿灯当前状态识别结果为红灯时，可以继续获取下一时刻的融合图像，并根据保存的红绿灯灯框相对摄像机的位置直接对红绿灯的颜色和形状进行识别，得到红绿灯当前状态识别结果，而无需进行红绿灯灯框的检测。并且，通过基于叠加后的图像，确定红绿灯灯框相对摄像机的位置；保存红绿灯状态识别结果以及红绿灯灯框相对摄像机的位置，可以便于车内的计算机***根据红绿灯的检查结果进行干预或控制，例如，当检测得到红绿灯灯框相对摄像机的位置大于某一阈值时，可以判定，车辆距离红绿灯路口较远，可以继续行驶，当小于某一阈值时，可以判定车辆距离红绿灯路口较近，应提前采取制动措施等。
可选的，步骤S13基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，包括：步骤S133，基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图。
其中，上述掩模图为图像识别过程中生成的用于对图中各个目标进行识别的图像，图中针对不同的目标可以通过标注框标注目标的边界，并且不同种类的目标可以使用不同颜色进行标注。例如，对车辆使用绿色标注，行人使用红色进行标注。
其中，上述基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图，可以参见图4，图4为本申请实施例提供的图像识别的一种实例图，通过预设Encode(编码)-Decode(解码)的卷积神经网络模型实现。如图4所示，当获取长帧图像和短帧图像后可以选择进行特征提取，然后通过通道叠加等方式进行特征图像的融合，得到融合图像，也可以对长帧图像和短帧图像直接进行图像融合，然后通过对融合后的图像进行编码和解码进行语义分割生成掩模图。通过编码过程可以对当前融合图像进行特征提取，通过解码过程可以根据特征图逐层恢复与输入图像分辨率一致的分割图。基于预设的对象类别，对当前融合图像进行语义分割可以通过编码过程实现，根据多个目标对象和多个目标类别，生成当前融合图像对应的掩模图，可以通过解码过程实现。其中，上述Encode-Decode的卷积神经网络模型可以采用卷积神经网络实现，该Encode-Decode的卷积神经网络模型的训练过程可以采用监督的方式完成。例如，通过将大量包括人工标记的图片输入待训练的卷积神经网络模型中，通过所述待训练的卷积神经网络模型对该大量图片进行语义分割并输出掩模图，然后通过将输出结果与人工标记对比，计算该待训练的卷积神经网络模型的误差，根据得到的误差对该待训练的卷积神经网络模型进行权值的修订，并重新进行训练，直至计算得到的误差小于预设的误差阈值，得到训练好的卷积神经网络模型。
在有的实施例中为了进一步提高交通标示识别的准确度，在基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图之后，还包括基于掩模图进行交通标示的识别，参见图5，图5为本申请实施例提供的图像识别方法的第三种流程示意图，包括：
步骤S11，获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息。
本步骤具体的实现方式可以与图1中的步骤S11相同，具体的可以参见图1，此处不再赘述。
步骤S12，对至少两组单次曝光图像信息进行叠加。
本步骤具体的实现方式可以与图1中的步骤S12相同，具体的可以参见图1，此处不再赘述。
步骤S133，基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图。
本步骤具体的实现方式可以与上述实施例相同，具体的可以参见上述实施例相同，此处不再赘述。
步骤S14，基于掩模图，判断叠加后的图像中多个目标对象中是否包含交通标识。
其中，本申请中的交通标识图像可以是道路指示牌的图像，例如禁止左转、禁止鸣笛、限速80km/h等，也可以是用于指示通行情况的显示屏所播放的信息，例如，前方事故请绕道等。本申请对此不进行限定。
基于掩模图，判断叠加后的图像中多个目标对象中是否包含交通标识，可以是当生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图时，目标类别包括交通标示对应的类别，通过生成掩模图过程中识别得到的交通标示对应的类别判断当前融合特征图像中多个目标对象中是否包含交通标识。例如，当根据多个目标对象和多个目标类别，生成当前融合特征图像对应的掩模图时，针对每一类目标类别标记为一种颜色，如交通标示为红色，在判断当前融合特征图像中多个目标对象中是否包含交通标识时，只需根据交通标示的检查结果即可，或判断掩模图中是否包括标记为红色的目标即可。
步骤S15，若叠加后的图像中包含交通标识，则基于掩模图中交通标识的位置，对叠加后的图像中对应位置的图像进行图像识别。
其中，基于掩模图中交通标识的位置，对叠加后的图像中对应位置的图像进行图像识别，可以是当生成掩模图时，根据多个目标对象和多个目标类别，生成当前融合图像对应的掩模图，可以包括识别出多个目标对象、多个目标类别和各个目标对象的位置，并根据各个目标对象的目标类别和位置，将各个目标对象根据目标种类标记为同一种颜色，得到掩模图。然后，基于掩模图中交通标识的位置，通过掩模图与叠加后的图像进行比对，确定交通标识在叠加后的图像中的位置，并对叠加后的图像中对应位置的图像进行图像识别。例如，通过预先训练好的交通标示识别模型对叠加后的图像中对应位置的图像进行图像识别。其中，该预先训练好的交通标示识别模型的训练过程与特征提取模型类似，可以参见特征提取模型的训练过程。交通标识识别结果，可以包括禁止左转、禁止鸣笛、限速80km/h等。
应用本申请实施例提供的方法，基于掩模图，判断叠加后的图像中多个目标对象中是否包含交通标识，若叠加后的图像中包含交通标识，则基于掩模图中交通标识的位置，对叠加后的图像中对应位置的图像进行图像识别。可以对所获取的图像中的交通标示进行识别得到识别结果，从而车内的计算机***可以根据识别结果对车辆进行控制或干预。
在有的实施例中为了进一步提高所获取的图像质量，在基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图之后，还包括对至少两组单次曝光图像信息进行宽动态融合，参见图6，图6为本申请实施例提供的图像识别方法的第四种流程示意图，包括：
步骤S11，获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息。
本步骤具体的实现方式可以与图1中的步骤S11相同，具体的可以参见图1，此处不再赘述。
步骤S12，对至少两组单次曝光图像信息进行叠加。
本步骤具体的实现方式可以与图1中的步骤S12相同，具体的可以参见图1，此处不再赘述。
步骤S133，基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图。
本步骤具体的实现方式可以与上述实施例相同，具体的可以参见上述实施例相同，此处不再赘述。
步骤S16，根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重。
其中，根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重，可以对各个目标类别设定不同的预设像素值，并根据各个目标类别的预设像素值计算各个像素点结合像素类型信息的权重。
可选的，根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重，包括：
根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，通过预设公式：
Figure BDA0002855468590000141
计算各个像素点结合像素类型信息的权重，其中，Wci(x,y)是目标坐标为(x,y)处的像素点结合像素类型信息的权重，Ici(x,y)是第i幅图像中第c类目标坐标为(x,y)处的像素值，μc(x,y)是掩模图中第c类目标类别的预设像素值，σc是掩模图中各个目标类别的预设像素值的方差。
步骤S17，基于各个像素点结合像素类型信息的权重，对至少两组单次曝光图像信息进行宽动态融合。
可选的，基于各个像素点结合像素类型信息的权重，对至少两组单次曝光图像信息进行宽动态融合，包括：
基于各个像素点结合像素类型信息的权重，通过公式：
IWDR＝∑iIi(x,y)*Wci(x,y)/∑iWci(x,y)，
计算得到宽动态融合图像中各像素点的像素值，其中，Ii(x,y)表示至少两组单次曝光图像信息中第i幅图像中坐标为(x,y)处的像素值，IWDR是宽动态融合图像中坐标为(x,y)处的像素点的像素值。
应用本申请实施例提供的图像识别方法，根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重，基于各个像素点结合像素类型信息的权重，对至少两组单次曝光图像信息进行宽动态融合。从而可以各个像素点结合像素类型信息的权重，对长帧图像和短帧图像进行宽动态融合，得到宽动态融合图像，提高获取的图像的质量。
参见图7，图7为本申请实施例中车内的计算机***进行图像识别一种实例图，包括：
当本申请的图像识别方法应用于无人驾驶车辆的车内的计算机***时，可以通过与该车内计算机***相连接的车辆上的摄像头进行车辆周围环境图像的采集。
通过无人驾驶车辆上的摄像头针对同一场景可以采集多张长帧图像和短帧图像，对于采集到的长帧图像和短帧图像可以选择进行特征提取，然后通过通道叠加等方式进行特征图像的融合得到融合图像，得到融合后的图像，也可以对长帧图像和短帧图像直接进行图像融合，得到融合后的图像。
通过融合后的图像，无人驾驶车辆内的计算机***可以进行红绿灯的识别。可以通过预先训练好的网络模型进行红绿灯灯框的检查，如通过预先训练好的YOLO检测网络模型进行红绿灯灯框的检查。判断是否存在红绿灯灯框，当存在红绿灯灯框时可以直接获取该融合后的图像种的红绿灯灯框图像。然后通过预先训练好的红绿灯识别模型进行红绿灯灯框图像中红绿灯的颜色和形状的识别，得到识别结果。所述识别结果可以包括：红灯、绿灯、黄灯。根据该识别结果无人驾驶车辆可以判断是否进行制动或继续行驶。
基于融合后的图像，无人驾驶车辆内的计算机***还可以进行交通标示的识别。对融合后的图像通过编码和解码模型进行语义分割生成标识当前融合图像中多个目标对象和多个目标对象的目标类别的掩模图，例如，通过预先训练好的Encode-Decode的卷积神经网络模型进行语义分割，生成标识当前融合图像中多个目标对象和多个目标对象的目标类别的掩模图。其中，在进行语义分割时，通过基于预设的对象类别对所述当前融合图像进行语义分割，预设的对象类别可以包括交通标示。然后根据交通标示的位置获取融合后的图像中对应交通标示的图像，在通过预先训练好的交通标示识别模型对交通标示的图像进行识别，得到识别结果。其中，该识别结果可以包括：禁止左转、禁止鸣笛、限速80km/h等。无人驾驶车辆内的计算机***可以根据交通标示的识别结果对车辆的行驶状态进行控制，例如，当识别结果为限速80km/h时，可以与当前车辆的车速进行对比，当车速超过80km/h时，采取减速措施。
基于融合后的图像和掩模图，无人驾驶车辆内的计算机***还可以进行宽动态融合，得到宽动态融合图像。根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重，基于各个像素点结合像素类型信息的权重对长帧图像和短帧图像进行宽动态融合，得到宽动态融合图像，通过该宽动态融合图像能获得图像暗处的细节，而图像的明亮处又不过于饱和。无人驾驶车辆内的计算机***根据该宽动态融合图像可以进行车辆行驶状态的记录，或通过流媒体后视镜等进行显示，供车内人员进行观看。
参见图8，图8为本申请实施例提供的图像识别装置的一种结构示意图，包括：
图像获取模块801，用于获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；
图像叠加模块802，用于对至少两组单次曝光图像信息进行叠加；
目标识别模块803，用于基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
可选的，图像叠加模块802，包括：
数据获取子模块，用于对至少两组单次曝光图像信息中的各组单次曝光图像信息图像分别进行特征提取，得到至少两组单次曝光图像信息中的各组单次曝光图像信息的各图像通道的数据；
数据叠加子模块，用于将各图像通道的数据中同一图像通道的数据进行叠加。
可选的，目标识别模块803，包括：
灯框检测子模块，用于检测叠加后的图像中，是否包含红绿灯灯框图像；
颜色识别子模块，用于在检测到红绿灯灯框图像后，对红绿灯灯框图像进行红绿灯的颜色和形状进行识别。
可选的，目标识别模块803，包括：
语义分割子模块，用于基于预设场景中会出现的对象类别，对叠加后的图像进行语义分割，生成标识叠加后的图像中多个目标对象和多个目标对象的目标类别的掩模图。
可选的，上述装置还包括：
交通标示判断模块，用于基于掩模图，判断叠加后的图像中多个目标对象中是否包含交通标识；
交通标示识别模块，用于若叠加后的图像中包含交通标识，则基于掩模图中交通标识的位置，对叠加后的图像中对应位置的图像进行图像识别。
可选的，上述装置还包括：
权重计算模块，用于根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重；
宽动态融合模块，用于基于各个像素点结合像素类型信息的权重，对至少两组单次曝光图像信息进行宽动态融合。
可选的，权重计算模块，具体用于根据掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，通过预设公式：
Figure BDA0002855468590000181
计算各个像素点结合像素类型信息的权重，其中，Wci(x,y)是目标坐标为(x,y)处的像素点结合像素类型信息的权重，Ici(x,y)是第i幅图像中第c类目标坐标为(x,y)处的像素值，μc(x,y)是掩模图中第c类目标类别的预设像素值，σc是掩模图中各个目标类别的预设像素值的方差。
可选的，宽动态融合模块，具体用于基于各个像素点结合像素类型信息的权重，通过公式：
IWDR＝∑iIi(x,y)*Wci(x,y)/∑iWci(x,y)，
计算得到宽动态融合图像中各像素点的像素值；其中，Ii(x,y)表示至少两组单次曝光图像信息中第i幅图像中坐标为(x,y)处的像素值，IWDR是宽动态融合图像中坐标为(x,y)处的像素点的像素值。
应用本申请实施例提供的图像识别方法，获取一帧时间内的至少两组单次曝光图像信息之后，对至少两组单次曝光图像信息进行叠加；基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，而无需宽动态融合之后在进行识别，避免了宽动态融合过程中部分细节的丢失，导致的识别的准确度不够高的问题，从而可以提高图像识别的准确度。
参见图9，本发明实施例还提供了一种电子设备，包括处理,901、存储器902；
存储器902，用于存放计算机程序；
处理器901，用于执行存储器上所存放的程序时，实现如下步骤：
获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；
对至少两组单次曝光图像信息进行叠加；
基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
可选的，处理器901执行存储器902上所存放的程序时，还可以实现上述任一图像识别方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像识别方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (17)

1.一种图像识别方法，其特征在于，包括：
获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；
对所述至少两组单次曝光图像信息进行叠加；
基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
2.根据权利要求1所述的方法，其特征在于，所述对所述至少两组单次曝光图像信息进行叠加，包括：
对所述至少两组单次曝光图像信息中的各组单次曝光图像信息图像分别进行特征提取，得到所述至少两组单次曝光图像信息中的各组单次曝光图像信息的各图像通道的数据；
将所述各图像通道的数据中同一图像通道的数据进行叠加。
3.根据权利要求1所述的方法，其特征在于，所述基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，包括：
检测所述叠加后的图像中，是否包含红绿灯灯框图像；
在检测到红绿灯灯框图像后，对所述红绿灯灯框图像进行红绿灯的颜色和形状进行识别。
4.根据权利要求1所述的方法，其特征在于，所述基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别，包括：
基于预设场景中会出现的对象类别，对所述叠加后的图像进行语义分割，生成标识所述叠加后的图像中多个目标对象和所述多个目标对象的目标类别的掩模图。
5.根据权利要求4所述的方法，其特征在于，在所述基于预设场景中会出现的对象类别，对所述叠加后的图像进行语义分割，生成标识所述叠加后的图像中多个目标对象和所述多个目标对象的目标类别的掩模图之后，所述方法还包括：
基于所述掩模图，判断所述叠加后的图像中多个目标对象中是否包含交通标识；
若所述叠加后的图像中包含交通标识，则基于所述掩模图中交通标识的位置，对所述叠加后的图像中对应位置的图像进行图像识别。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重；
基于所述各个像素点结合像素类型信息的权重，对所述至少两组单次曝光图像信息进行宽动态融合。
7.根据权利要求6所述的方法，其特征在于，所述根据所述掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重，包括：
根据所述掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，通过预设公式：
Figure FDA0002855468580000021
计算各个像素点结合像素类型信息的权重，其中，所述Wci(x，y)是目标坐标为(x，y)处的像素点结合像素类型信息的权重，所述Ici(x，y)是第i幅图像中第c类目标坐标为(x，y)处的像素值，所述μc(x，y)是掩模图中第c类目标类别的预设像素值，所述σc是掩模图中各个目标类别的预设像素值的方差。
8.根据权利要求7所述的方法，其特征在于，所述基于所述各个像素点结合像素类型信息的权重，对所述至少两组单次曝光图像信息进行宽动态融合，包括：
基于所述各个像素点结合像素类型信息的权重，通过公式：
IWDR＝∑iIi(x，y)*Wci(x，y)/∑iWci(x，y)，
计算得到所述宽动态融合图像中各像素点的像素值，其中，所述Ii(x，y)表示至少两组单次曝光图像信息中第i幅图像中坐标为(x，y)处的像素值，所述IWDR是宽动态融合图像中坐标为(x，y)处的像素点的像素值。
9.一种图像识别装置，其特征在于，包括：
图像获取模块，用于获取一帧时间内的至少两组单次曝光图像信息，每组单次曝光图像信息为一次曝光过程中所获取到的图像信息；
图像叠加模块，用于对所述至少两组单次曝光图像信息进行叠加；
目标识别模块，用于基于预设场景中会出现的对象类别，对叠加后的图像进行目标对象的识别。
10.根据权利要求9所述的装置，其特征在于，所述图像叠加模块，包括：
数据获取子模块，用于对所述至少两组单次曝光图像信息中的各组单次曝光图像信息图像分别进行特征提取，得到所述至少两组单次曝光图像信息中的各组单次曝光图像信息的各图像通道的数据；
数据叠加子模块，用于将所述各图像通道的数据中同一图像通道的数据进行叠加。
11.根据权利要求9所述的装置，其特征在于，所述目标识别模块，包括：
灯框检测子模块，用于检测所述叠加后的图像中，是否包含红绿灯灯框图像；
颜色识别子模块，用于在检测到红绿灯灯框图像后，对所述红绿灯灯框图像进行红绿灯的颜色和形状进行识别。
12.根据权利要求9所述的装置，其特征在于，所述目标识别模块，包括：
语义分割子模块，用于基于预设场景中会出现的对象类别，对所述叠加后的图像进行语义分割，生成标识所述叠加后的图像中多个目标对象和所述多个目标对象的目标类别的掩模图。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
交通标示判断模块，用于基于所述掩模图，判断所述叠加后的图像中多个目标对象中是否包含交通标识；
交通标示识别模块，用于若所述叠加后的图像中包含交通标识，则基于所述掩模图中交通标识的位置，对所述叠加后的图像中对应位置的图像进行图像识别。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
权重计算模块，用于根据所述掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，计算各个像素点结合像素类型信息的权重；
宽动态融合模块，用于基于所述各个像素点结合像素类型信息的权重，对所述至少两组单次曝光图像信息进行宽动态融合。
15.根据权利要求14所述的装置，其特征在于，
所述权重计算模块，具体用于根据所述掩模图中多个目标对象的目标类别、预设的各个目标类别的掩模图预设像素值，通过预设公式：
Figure FDA0002855468580000041
计算各个像素点结合像素类型信息的权重，其中，所述Wci(x，y)是目标坐标为(x，y)处的像素点结合像素类型信息的权重，所述Ici(x，y)是第i幅图像中第c类目标坐标为(x，y)处的像素值，所述μc(x，y)是掩模图中第c类目标类别的预设像素值，所述σc是掩模图中各个目标类别的预设像素值的方差。
16.根据权利要求15所述的装置，其特征在于，
所述宽动态融合模块，具体用于基于所述各个像素点结合像素类型信息的权重，通过公式：
IWDR＝∑iIi(x，y)*Wci(x，y)/∑iWci(x，y)，
计算得到所述宽动态融合图像中各像素点的像素值，其中，所述Ii(x，y)表示至少两组单次曝光图像信息中第i幅图像中坐标为(x，y)处的像素值，所述IWDR是宽动态融合图像中坐标为(x，y)处的像素点的像素值。
17.一种电子设备，其特征在于，包括处理器、存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
CN202011544194.3A 2020-12-23 2020-12-23 一种图像识别方法、装置、电子设备及存储介质 Pending CN112528944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011544194.3A CN112528944A (zh) 2020-12-23 2020-12-23 一种图像识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011544194.3A CN112528944A (zh) 2020-12-23 2020-12-23 一种图像识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112528944A true CN112528944A (zh) 2021-03-19

Family

ID=74976066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011544194.3A Pending CN112528944A (zh) 2020-12-23 2020-12-23 一种图像识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112528944A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255609A (zh) * 2021-07-02 2021-08-13 智道网联科技(北京)有限公司 基于神经网络模型的交通标识识别方法及装置
WO2023126736A1 (en) * 2021-12-30 2023-07-06 Mobileye Vision Technologies Ltd. Image position dependent blur control within hdr blending scheme

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像***和图像生成方法
CN103973990A (zh) * 2014-05-05 2014-08-06 浙江宇视科技有限公司 宽动态融合方法及装置
CN104182968A (zh) * 2014-08-05 2014-12-03 西北工业大学 宽基线多阵列光学探测***模糊动目标分割方法
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
US20180302543A1 (en) * 2017-04-18 2018-10-18 Qualcomm Incorporated Hdr/wdr image time stamps for sensor fusion
CN109035181A (zh) * 2017-06-08 2018-12-18 泰邦泰平科技（北京）有限公司 一种基于图像平均亮度的宽动态范围图像处理方法
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质
CN110351489A (zh) * 2018-04-04 2019-10-18 展讯通信(天津)有限公司 生成hdr图像的方法、装置和移动终端
CN110516610A (zh) * 2019-08-28 2019-11-29 上海眼控科技股份有限公司 一种用于道路特征提取的方法及设备
CN110619593A (zh) * 2019-07-30 2019-12-27 西安电子科技大学 一种基于动态场景的双曝光视频成像***
CN110728620A (zh) * 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
WO2020078269A1 (zh) * 2018-10-16 2020-04-23 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、终端及存储介质
CN111127358A (zh) * 2019-12-19 2020-05-08 苏州科达科技股份有限公司 图像处理方法、装置及存储介质
CN111246052A (zh) * 2020-01-21 2020-06-05 浙江大华技术股份有限公司 宽动态调整方法及装置、存储介质、电子装置
CN111368845A (zh) * 2020-03-16 2020-07-03 河南工业大学 基于深度学习的特征字典构建及图像分割方法
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
CN111886625A (zh) * 2019-05-13 2020-11-03 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像***和图像生成方法
CN103973990A (zh) * 2014-05-05 2014-08-06 浙江宇视科技有限公司 宽动态融合方法及装置
CN104182968A (zh) * 2014-08-05 2014-12-03 西北工业大学 宽基线多阵列光学探测***模糊动目标分割方法
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
US20180302543A1 (en) * 2017-04-18 2018-10-18 Qualcomm Incorporated Hdr/wdr image time stamps for sensor fusion
CN109035181A (zh) * 2017-06-08 2018-12-18 泰邦泰平科技（北京）有限公司 一种基于图像平均亮度的宽动态范围图像处理方法
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质
CN107730481A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种交通信号灯图像处理方法及交通信号灯图像处理装置
CN110351489A (zh) * 2018-04-04 2019-10-18 展讯通信(天津)有限公司 生成hdr图像的方法、装置和移动终端
WO2020078269A1 (zh) * 2018-10-16 2020-04-23 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、终端及存储介质
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
CN111886625A (zh) * 2019-05-13 2020-11-03 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
CN110619593A (zh) * 2019-07-30 2019-12-27 西安电子科技大学 一种基于动态场景的双曝光视频成像***
CN110516610A (zh) * 2019-08-28 2019-11-29 上海眼控科技股份有限公司 一种用于道路特征提取的方法及设备
CN110728620A (zh) * 2019-09-30 2020-01-24 北京市商汤科技开发有限公司 一种图像处理方法、装置和电子设备
CN111127358A (zh) * 2019-12-19 2020-05-08 苏州科达科技股份有限公司 图像处理方法、装置及存储介质
CN111246052A (zh) * 2020-01-21 2020-06-05 浙江大华技术股份有限公司 宽动态调整方法及装置、存储介质、电子装置
CN111368845A (zh) * 2020-03-16 2020-07-03 河南工业大学 基于深度学习的特征字典构建及图像分割方法
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JONATHAN LONG等: "Fully Convolutional Networks for Semantic Segmentation", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2015 (2015-12-31), pages 3431 - 3440 *
K. RAM PRABHAKAR等: "DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs", 《ARXIV》, 23 December 2017 (2017-12-23), pages 1 - 9 *
九点澡堂子: "Kernels（similarity）核函数", pages 1, Retrieved from the Internet <URL:《https://blog.csdn.net/weixin_38278334/article/details/82289378》> *
叶年进: "基于深度学习的HDR成像方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 07, 15 July 2020 (2020-07-15), pages 138 - 917 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255609A (zh) * 2021-07-02 2021-08-13 智道网联科技(北京)有限公司 基于神经网络模型的交通标识识别方法及装置
CN113255609B (zh) * 2021-07-02 2021-10-29 智道网联科技(北京)有限公司 基于神经网络模型的交通标识识别方法及装置
WO2023126736A1 (en) * 2021-12-30 2023-07-06 Mobileye Vision Technologies Ltd. Image position dependent blur control within hdr blending scheme

Similar Documents

Publication Publication Date Title
CN109284674B (zh) 一种确定车道线的方法及装置
US11380104B2 (en) Method and device for detecting illegal parking, and electronic device
WO2019223586A1 (zh) 车位使用状况的检测方法、装置、电子设备及存储介质
US20130336581A1 (en) Multi-cue object detection and analysis
CN110689724B (zh) 一种基于深度学习的机动车斑马线礼让行人自动审核方法
WO2016145626A1 (zh) 交通异常检测方法、装置以及图像监控***
JP6700373B2 (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
WO2020007589A1 (en) Training a deep convolutional neural network for individual routes
CN112528944A (zh) 一种图像识别方法、装置、电子设备及存储介质
US20210295058A1 (en) Apparatus, method, and computer program for identifying state of object, and controller
CN111539268A (zh) 车辆行驶中的路况预警方法、装置和电子设备
CN112200044A (zh) 异常行为检测方法、装置及电子设备
CN114419552A (zh) 基于目标检测的违章车辆追踪方法及***
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
Špoljar et al. Lane detection and lane departure warning using front view camera in vehicle
CN114040094A (zh) 一种基于云台相机的预置位调节方法和设备
CN111724607B (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
CN114141022A (zh) 应急车道占用行为检测方法、装置、电子设备及存储介质
CN114693722B (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN115762153A (zh) 倒车检测方法及装置
CN115249407B (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN112784817B (zh) 车辆所在车道检测方法、装置、设备及存储介质
Merugu et al. Multi lane detection, curve fitting and lane type classification
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination