CN112270232A - 对车辆周围的弱势交通参与者进行分类的方法和装置 - Google Patents

对车辆周围的弱势交通参与者进行分类的方法和装置 Download PDF

Info

Publication number
CN112270232A
CN112270232A CN202011121248.5A CN202011121248A CN112270232A CN 112270232 A CN112270232 A CN 112270232A CN 202011121248 A CN202011121248 A CN 202011121248A CN 112270232 A CN112270232 A CN 112270232A
Authority
CN
China
Prior art keywords
image
neural network
sub
vehicle
vulnerable traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011121248.5A
Other languages
English (en)
Inventor
郭子杰
支蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to CN202011121248.5A priority Critical patent/CN112270232A/zh
Publication of CN112270232A publication Critical patent/CN112270232A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种对车辆周围的弱势交通参与者进行分类的方法和装置。所述方法包括获取车辆周围的环境图像；从环境图像中分割出至少一个子图像，其中，所述至少一个子图像中的每个子图像包括单个弱势交通参与者，其中，弱势交通参与者表示暴露于车辆周围环境中的人；通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类，根据分类结果确定所有弱势交通参与者的职业类型。通过根据本发明的对车辆周围的弱势交通参与者进行分类的方法和装置，能够通过车辆周围的环境图像，来确定车辆周围的弱势交通参与者的职业类型，从而能够为驾驶员驾驶、自动驾驶、智能驾驶和/或辅助驾驶等提供更精确的关于弱势交通参与者的信息。

Description

对车辆周围的弱势交通参与者进行分类的方法和装置
技术领域
本发明涉及图像处理领域，特别地，涉及一种对车辆周围的弱势交通参与者进行分类的方法和装置。
背景技术
随着车辆越来越多以及自动驾驶、智能驾驶、辅助驾驶等功能的普及，在车辆的行驶过程中，车辆周围的环境信息对于车辆的驾驶过程至关重要。在环境信息中，关于车辆周围环境中的人的信息是影响驾驶员驾驶、自动驾驶、智能驾驶、辅助驾驶等的重要信息。
通常，通过如下方式获取车辆周围环境中的人的信息：在车辆的行驶过程中，获取车辆周围环境的图像，然后通过对该图像中的人进行分类，来确定该图像中的人是否属于特定类型的人、例如是否属于相对于位于车辆内部的人来说更容易被道路上的交通工具误伤的人。
然而，以上获取车辆周围环境中的人的信息、即对图像中的人进行分类的方式，仅将图像中的人划分为特定类型的人和非特定类型的人两种类型。在这样的分类方式下，驾驶员需要进一步判断，才能确定如何进一步控制车辆；并且在自动驾驶、智能驾驶等情况下，这样的分类方式可能会导致车辆由于无法获知关于该属于特定类型的人的准确信息，而无法准确地确定进一步控制车辆的方式进而导致交通拥堵甚至交通事故等。
因此，现有的对车辆周围环境中的人进行分类的方式不能满足驾驶需求。
发明内容
本发明的目的在于提供一种对车辆周围的弱势交通参与者进行分类的方法和装置。
根据本发明的一方面，提供了一种对车辆周围的弱势交通参与者进行分类的方法，所述方法包括：获取车辆周围的环境图像；从环境图像中分割出至少一个子图像，其中，所述至少一个子图像中的每个子图像包括单个弱势交通参与者，其中，弱势交通参与者表示暴露于车辆周围环境中的人；通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类；根据分类结果确定所有弱势交通参与者的职业类型。
可选地，通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类的步骤包括：针对作为所述神经网络的输入数据的所述至少一个子图像中的每个子图像：通过所述神经网络的像素信息提取层，获取所述子图像的像素信息；通过所述神经网络的特征提取层，根据获取的像素信息提取所述子图像的特征；通过所述神经网络的分类层，根据提取的特征确定作为分类结果的输出数据，其中，所述神经网络的输出数据表示所述子图像中的弱势交通参与者被分类为所述神经网络进行分类的所有职业类型中的每个职业类型的概率，其中，根据分类结果确定所有弱势交通参与者的职业类型的步骤包括：将输出数据中具有最高概率的职业类型确定为所述弱势交通参与者的职业类型。
可选地，获取所述子图像的像素信息的步骤包括：根据特征提取层的分辨率，对所述子图像的分辨率进行调整，以获得调整子图像；获取所述调整子图像的每个颜色通道的像素值向量；对获取的所有像素值向量中的每个元素进行归一化，以获得作为像素信息的与所有像素值向量分别对应的归一化向量，其中，所述神经网络的特征提取层根据获得的归一化向量通过卷积函数，提取以特征向量表示的所述子图像的特征，其中，所述神经网络的分类层根据提取的特征向量和分类层的权重向量，来确定输出数据。
可选地，通过如下方式训练所述神经网络：将训练数据作为输入数据输入到预定神经网络，其中，所述训练数据包括训练图像和对应的标记职业类型，所述训练图像为包括单个弱势交通参与者的图像；获取所述预定神经网络的输出数据，其中，所述预定神经网络的输出数据表示所述预定神经网络确定的训练图像中的弱势交通参与者被分类为所有职业类型中的每个职业类型的概率；通过损失函数确定所述预定神经网络的输出数据与标记职业类型之间的差异，以调整所述预定神经网络的特征提取层的卷积核以及分类层的权重向量；使用下一训练数据和已调整卷积核和权重向量的所述预定神经网络，重复以上步骤，直到满足预定停止条件为止，其中，所述预定停止条件根据以下项中的至少一项来确定：所述预定神经网络进行分类的准确率、所述预定神经网络进行分类的召回率、训练图像中的弱势交通参与者是否被遮挡以及训练次数。
可选地，分类层为softmax分类器层，其中，通过以下等式表示输出数据：
A＝softmax(Z)＝softmax(WTX+b)
其中，A为表示输出数据的向量，其中，A中的各个元素表示相应弱势交通参与者被分类为相应元素位置对应的职业类型的概率，W为权重向量，X为与相应特征向量的对应的向量，b为预定偏移向量，Z为表示WTX+b的向量，Z与A的维数相同，其中，通过如下等式计算A中的第j个元素Aj，
Figure BDA0002731294440000031
其中，Zj表示向量Z中的第j个元素，j≤m，m表示所有职业类型的数量，j和m均为自然数。
可选地，所述损失函数为通过如下等式表示的交叉熵损失函数：
Figure BDA0002731294440000032
其中，lossCE为表示所述差异的交叉熵损失函数的输出量，
Figure BDA0002731294440000033
表示与Aj对应的标记职业类型中的相应值。
可选地，通过如下等式表示所述卷积函数：
Figure BDA0002731294440000034
H(h，k)为作为卷积函数的输出的h×k维的特征向量，f(p，q)为p×q维的卷积核，I为表示像素信息的h×k维的归一化向量，其中，h、k、p、q均为自然数，并且p＜h，q＜k。
根据本发明的另一方面，提供了一种对车辆周围的弱势交通参与者进行分类的装置，所述装置包括：图像获取单元，其被配置为能够获取车辆周围的环境图像；图像分割单元，其被配置为能够从环境图像中分割出至少一个子图像，其中，所述至少一个子图像中的每个子图像包括单个弱势交通参与者；分类单元，其被配置为能够通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类；类型确定单元，其被配置为能够根据分类结果确定所有弱势交通参与者的职业类型。
根据本发明的另一方面，提供了一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在被处理器执行时，使得处理器实施根据本发明的对车辆周围的弱势交通参与者进行分类的方法。
根据本发明的另一方面，提供了一种对车辆周围的弱势交通参与者进行分类的***，所述***包括：处理器；存储器，存储有计算机程序，所述计算机程序在被处理器执行时，使得处理器实施根据本发明的对车辆周围的弱势交通参与者进行分类的方法。
通过根据本发明的对车辆周围的弱势交通参与者进行分类的方法和装置，能够通过车辆周围的环境图像，来确定车辆周围的弱势交通参与者的职业类型，从而能够为驾驶员驾驶、自动驾驶、智能驾驶和/或辅助驾驶等提供更精确的关于弱势交通参与者的信息。
附图说明
通过以下结合附图所作的详细描述，将更全面地理解本发明的前述和其他方面，附图包括：
图1示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的方法的流程图。
图2示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的方法中对每个子图像中的弱势交通参与者进行分类的步骤的流程图。
图3示出了根据本发明的一个示例性实施例的训练神经网络的示意图。
图4示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的示意图。
图5示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的装置的框图。
具体实施方式
下面，将参看附图更为详细地描述本发明的一些示例性实施例，以便更好地理解本发明的基本思想和优点。
图1示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的方法的流程图。
参照图1，在步骤S1，获取车辆周围的环境图像。
这里，所述环境图像可以是通过车辆上的图像获取装置、例如相机捕获的车辆周围环境的图像，该图像可以是从车辆的任何方位捕获的图像或者可以是从多个方位捕获的图像的合成图像。
在步骤S2，从环境图像中分割出至少一个子图像，其中，所述至少一个子图像中的每个子图像包括单个弱势交通参与者，其中，弱势交通参与者表示暴露于车辆周围环境中的人。
这里，可通过在获取的环境图像中划分包括单个弱势交通参与者的各个边界框，从而根据划分的边界框从环境图像中分割出至少一个子图像。
应该理解，以上分割子图像的方式仅是示例，可根据实际需求使用任意能够从环境图像中分割出包括单个人(弱势交通参与者)的子图像的图像分割方式。
这里，弱势交通参与者所表示的暴露于车辆周围环境中的人可以是未在车辆内的任何人，例如，可以是步行、骑行、位于轮椅中、位于婴儿车中和/或停留在原地的人等。
在步骤S3，通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类。
这里，该预先训练的神经网络可以为针对弱势交通参与者的职业类型分类而训练的神经网络。该预先训练的神经网络可分类多种职业类型。例如，多种职业类型可主要针对在户外作业的职业类型，例如，警察、门卫、环卫工人、道路施工者、建筑工人等，此外，还可将除这些职业类型之外的弱势交通参与者共同划分为其他职业类型。
例如，在步骤S3中，可将每个子图像作为输入数据输入到该预先训练的神经网络，该预先训练的神经网络可确定每个子图像中的每个弱势交通参与者与各个职业类型对应的概率。例如，在上述示例的情况下，可确定弱势交通参与者与警察、门卫、环卫工人、道路施工者、建筑工人和其他职业类型中的每个职业类型对应的概率。
应该理解，上述职业类型仅是示例，可根据实际需求使用任意职业类型。
在步骤S4，根据分类结果确定所有弱势交通参与者的职业类型。
例如，可根据在步骤S3中确定的弱势交通参与者与各个职业类型对应的概率，来确定弱势交通参与者的职业类型。例如，当在步骤S3中确定弱势交通参与者与警察职业类型对应的概率最高时，可在步骤S4中将弱势交通参与者的职业类型确定为警察；当在步骤S3中确定弱势交通参与者与其他职业类型对应的概率最高时，可在步骤S4中将弱势交通参与者的职业类型确定为其他职业类型等。
图2示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的方法中对每个子图像中的弱势交通参与者进行分类的步骤的流程图。
作为示例，在图1的步骤S3中，可针对作为所述神经网络的输入数据的所述至少一个子图像中的每个子图像，执行图2中的步骤S31至S34。
参照图2，在步骤S31，可通过所述神经网络的像素信息提取层，获取所述子图像的像素信息。
这里，为了获取适应于神经网络的像素信息，作为示例，步骤S31可包括：根据特征提取层的分辨率，对所述子图像的分辨率进行调整，以获得调整子图像；获取所述调整子图像的每个颜色通道的像素值向量；对获取的所有像素值向量中的每个元素进行归一化，以获得作为像素信息的与所有像素值向量分别对应的归一化向量。
这里，为了使得输入到神经网络的子图像适应神经网络的特征提取层的分辨率，可首先将该子图像的分辨率调整为与神经网络的特征提取层的分辨率相同。之后，可获取分辨率调整后的子图像的每个颜色通道(例如，R/G/B通道或其他颜色通道)的像素值向量，该像素值向量可以为二维向量，该二维向量中的每个元素可以为分辨率调整后的子图像中相应位置的像素的颜色值(或者能够表示像素信息的任意其他值，例如灰度值等)。然后，为了便于处理，可对每个像素值向量中的每个元素进行归一化，以使归一化的二维向量的每个元素的大小保持在[-1，1]的范围内。例如，可通过如下等式对原二维向量(像素值向量)的每个元素值进行归一化：Xnorm＝(X/2n-1)-1，其中，x为像素值向量中的原像素值，xnorm为归一化的像素值，像素值向量中的原像素值的取值范围为[0，2n-1]。
在步骤S32，可通过所述神经网络的特征提取层，根据获取的像素信息提取所述子图像的特征。
这里，神经网络的特征提取层可以是任意形式的特征提取层，即，该神经网络的特征提取层可以是能够提取图像特征的任意形式的特征提取器。
例如，神经网络的特征提取层可以是卷积层。作为示例，在步骤S31获得作为像素信息的归一化向量之后，在步骤S32，所述神经网络的特征提取层可根据获得的归一化向量通过卷积函数，提取以特征向量表示的所述子图像的特征。
作为示例，可通过如下等式表示所述卷积函数：
Figure BDA0002731294440000071
H(h，k)为作为卷积函数的输出的h×k维的特征向量，f(p，q)为p×q维的卷积核，I为表示像素信息的h×k维的归一化向量，其中，h、k、p、q均为自然数，并且p＜h，q＜k。
应该理解，以上的特征提取层仅是示例，可根据实际需求使用任意形式的能够提取图像特征的特征提取层。
在步骤S33，可通过所述神经网络的分类层，根据提取的特征确定作为分类结果的输出数据，其中，所述神经网络的输出数据可表示所述子图像中的弱势交通参与者被分类为所述神经网络进行分类的所有职业类型中的每个职业类型的概率。
作为示例，在步骤S31获得作为像素信息的归一化向量并且在步骤S32获取以特征向量表示的特征之后，在步骤S33，神经网络的分类层可根据提取的特征向量和分类层的权重向量，来确定输出数据。
这里，可使用任意形式的能够根据特征向量进行分类的分类层，作为示例，分类层可以为softmax分类器层，其中，可通过以下等式表示输出数据(训练后的神经网络的输出数据或训练过程中的神经网络的输出数据)：
A＝softmax(Z)＝softmax(WTX+b)
其中，A为表示输出数据的向量，其中，A中的各个元素表示相应弱势交通参与者被分类为相应元素位置对应的职业类型的概率，W为权重向量，X为与相应特征向量的对应的向量，b为预定偏移向量，Z为表示WTX+b的向量，Z与A的维数相同，其中，通过如下等式计算A中的第j个元素Aj，
Figure BDA0002731294440000081
其中，Zj表示向量Z中的第j个元素，j≤m，m表示所有职业类型的数量，j和m均为自然数。
在图2的情况下，作为示例，图1中的步骤S4可步骤包括：将输出数A据中具有最高概率的职业类型确定为所述弱势交通参与者的职业类型。
应该理解，神经网络的像素信息提取层、特征提取层和分类层可分别包括至少一个子层。
图3示出了根据本发明的一个示例性实施例的训练神经网络的示意图。
参照图3，为了获取用于训练神经网络的训练图像，可通过使车辆在多种交通环境、多种天气环境、多种地理位置下行驶，以在行驶过程中采集尽可能多样的车辆周围的环境图像(图3左上侧的实地采集)。例如，可以在车辆的行驶过程中，以固定频率来采集车辆周围的环境图像，或者可根据车速以变化的时间间隔来采集车辆周围的环境图像。
这里，多种交通环境可包括城市拥堵环境、郊区环境、高速环境等。多种天气条件可包括正常天气条件(例如，晴朗或存在较小的风、雨、雪和/或雾的天气条件)和恶劣天气条件(例如，存在较大风、雨、雪和/或雾的天气条件)。多种地理位置可包括不同经纬度的多个城市。
在采集到图像之后，参照图3中上侧的虚线框，可对图像进行分割，以从采集的环境图像中分割出均包括单个弱势交通参与者的至少一个子图像。然后，可对分割的子图像添加标签、即添加标记职业类型。
之后，参照图3右上侧的虚线框，可将分割出的至少一个子图像及其相应的标记职业类型作为训练数据输入到预定神经网络，通过训练设备对神经网络进行训练。
参照图3下侧虚线框，在训练的过程中，可将训练图像输入到神经网络，然后通过神经网络的像素信息提取层提取训练图像的像素信息(由于在训练过程中无需调试像素信息提取层，因此图3中未示出)，之后通过神经网络的特征提取层(为便于理解，图3以特征提取器来示出)和分类层(为便于理解，图3以分类器来示出)来输出训练图像的分类结果。
之后，可根据分类层(图3中的分类器)的输出数据(即，分类结果)与相应的标记职业类型之间的差异来调试神经网络的特征提取层和分类层，直到神经网络的分类结果达到可接受的范围、即达到预定停止标准为止。
以上参照图3示出了训练神经网络的示意性过程，具体地讲，作为示例，可通过如下方式训练所述神经网络：
首先，可将训练数据作为输入数据输入到预定神经网络，其中，所述训练数据包括训练图像和对应的标记职业类型，所述训练图像为包括单个弱势交通参与者的图像。
例如，训练图像可以是图3中示出的分割的子图像。
之后，可获取所述预定神经网络的输出数据，其中，所述预定神经网络的输出数据可表示所述预定神经网络确定的训练图像中的弱势交通参与者被分类为所有职业类型中的每个职业类型的概率。
然后，可通过损失函数确定所述预定神经网络的输出数据与标记职业类型之间的差异，以调整所述预定神经网络的特征提取层的卷积核以及分类层的权重向量。
在神经网络的分类层为softmax分类器层的情况下，作为示例，所述损失函数可以为通过如下等式表示的交叉熵损失函数：
Figure BDA0002731294440000091
其中，lossCE为表示所述差异的交叉熵损失函数的输出量，
Figure BDA0002731294440000092
表示与Aj对应的标记职业类型中的相应值。
接下来，在调整卷积核和权重向量之后，可使用下一训练数据和已调整卷积核和权重向量的所述预定神经网络，重复以上步骤，直到满足预定停止条件为止。
作为示例，所述预定停止条件可根据以下项中的至少一项来确定：所述预定神经网络进行分类的准确率、所述预定神经网络进行分类的召回率、训练图像中的弱势交通参与者是否被遮挡以及训练次数。
作为一个示例，可通过如下等式根据所述预定神经网络进行分类的准确率、所述预定神经网络进行分类的召回率来确定所述预定停止条件。
Figure BDA0002731294440000101
这里，F1为用于判断是否满足预定停止条件的指标，Precision为所述预定神经网络进行分类的准确率，Recall为所述预定神经网络进行分类的召回率。例如，当F1达到预定阈值时，可停止对神经网络的训练。这里，可使用任意现有方式获取上述准确率和召回率。此外，还可通过多次计算的F1的平均值而非单次计算的F1来确定是否满足预定停止条件。
此外，还可通过结合以上F1与其他条件来确定所述预定停止条件。
作为另一示例，可结合F1和训练图像中的弱势交通参与者是否被遮挡来确定是否需要停止神经网络的训练。在确定F1未达到预定阈值时，可确定导致F1未达到该预定阈值的训练图像中的弱势交通参与者是否被遮挡，如果其中弱势交通参与者被遮挡的训练图像较多，则可排除这些图像来重新计算F1，或者调整F1的阈值，从而基于重新计算和/或调整阈值的F1来确定是否应停止神经网络的训练。
作为另一个示例，可结合F1和训练次数来确定是否需要停止神经网络的训练。例如，当训练次数达到预定次数上限，而F1仍未达到预定阈值时，可说明该神经网络的训练已经达到极限，可能不适用于此分类，此时，可停止对该神经网络的训练，并调试或更换神经网络，来重新训练。
应该理解，以上确定用于停止神经网络的训练的停止条件仅是示例，可根据实际使用需求来确定不同的停止条件。
图4示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的示意图。
参照图4，在如参照图3所述训练神经网络之后，可在车辆的行驶过程中采集车辆周围的环境图像(图4中的实地采集)。例如，可以以固定频率或者根据车速以变化的时间间隔来采集车辆周围的环境图像。此时，采集的图像可以为完整图片。
为了从完整图片中分割出包括单个弱势交通参与者的图像部分(子图像)，在采集环境图像之后，可通过预定的处理单元、例如图4中示出的智能交通驾驶***在完整图片上划分包括单个弱势交通参与者的边界框，从而根据边界框从完整图片上分割出均包括单个弱势交通参与者的至少一个子图像、即图4中示出的分割图片。
之后，分割图片、即子图像可作为输入数据被输入到参照图3所述训练好的神经网络中。然后，神经网络的像素信息提取层可提取输入的子图像的像素信息(图4未示出)，神经网络的特征提取层(图4以特征提取器来示出)可根据像素信息提取所述子图像的特征，分类层可(图4以分类器来示出)根据提取的特征输出作为分类结果的输出数据。
通过上述方式，可精确地对输入的图像(上述子图像)中的弱势交通参与者进行分类，从而获得图像中的弱势交通参与者被分类为各个职业类型的概率，以便于根据神经网络的分类结果来确定该弱势交通参与者的具体职业类型，而确定出的具体职业类型能够为驾驶过程提供用于执行下一步操作的更精准的信息。
例如，在自动驾驶、智能驾驶等过程中，在根据本发明的对车辆周围的弱势交通参与者进行分类的方法确定的职业类型为警察的情况下，车辆的相关处理单元(例如，智能驾驶***)可进一步确定警察的手势，从而根据其手势来执行相应的转向、停车等操作。
通过根据本发明的对车辆周围的弱势交通参与者进行分类的方法，能够通过车辆周围的环境图像，来确定车辆周围的弱势交通参与者的职业类型，从而能够为驾驶员驾驶、自动驾驶、智能驾驶和/或辅助驾驶等提供更精确的关于弱势交通参与者的信息。
图5示出了根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的装置的框图。
参照图5，根据本发明的一个示例性实施例的对车辆周围的弱势交通参与者进行分类的装置包括：图像获取单元1、图像分割单元2、分类单元3和类型确定单元4。
图像获取单元1被配置为能够获取车辆周围的环境图像。
图像分割单元2被配置为能够从环境图像中分割出至少一个子图像，其中，所述至少一个子图像中的每个子图像包括单个弱势交通参与者。
分类单元3被配置为能够通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类。
类型确定单元4被配置为能够根据分类结果确定所有弱势交通参与者的职业类型。
这里，已经参照以上图1至图4对环境图像的获取和分割、弱势交通参与者的分类以及职业类型的确定进行了详细描述，这里不再赘述。
通过根据本发明的对车辆周围的弱势交通参与者进行分类的装置，能够通过车辆周围的环境图像，来确定车辆周围的弱势交通参与者的职业类型，从而能够为驾驶员驾驶、自动驾驶、智能驾驶和/或辅助驾驶等提供更精确的关于弱势交通参与者的信息。
根据本发明的示例性实施例还提供一种对车辆周围的弱势交通参与者进行分类的***。所述对车辆周围的弱势交通参与者进行分类的***包括处理器和存储器。存储器被配置为能够存储计算机程序。所述计算机程序在被处理器执行时，使得处理器实施根据本发明的对车辆周围的弱势交通参与者进行分类的方法。
根据本发明的示例性实施例还提供一种存储有计算机程序的计算机可读记录介质，其中，所述计算机程序在被处理器执行时，使得处理器实施根据本发明的对车辆周围的弱势交通参与者进行分类的方法。该计算机可读记录介质是可存储由计算机***读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机***，从而计算机可读代码以分布式存储和执行。此外，完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员在本发明的范围之内解释。
此外，根据本发明的示例性实施例的上述装置和设备中的各个单元可被实现为硬件组件或软件模块。此外，本领域技术人员可根据限定的各个单元所执行的处理，通过例如使用现场可编程门阵列(FPGA)、专用集成电路(ASIC)或处理器来实现各个单元。
尽管这里参考特定实施例说明和描述了本发明，但是本发明并不限于所示的细节。而是，可以在本发明的范围内对这些细节进行各种修改。
附图标记列表
S1 获取车辆周围的环境图像
S2 从环境图像中分割出至少一个子图像
S3 通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类
S4 根据分类结果确定所有弱势交通参与者的职业类型
S31 通过所述神经网络的像素信息提取层，获取子图像的像素信息
S32 通过所述神经网络的特征提取层，根据获取的像素信息提取所述子图像的特征
S33 通过所述神经网络的分类层，根据提取的特征确定作为分类结果的输出数据
1 图像获取单元
2 图像分割单元
3 分类单元
4 类型确定单元

Claims (10)

1.一种对车辆周围的弱势交通参与者进行分类的方法，所述方法包括：
获取车辆周围的环境图像；
从环境图像中分割出至少一个子图像，其中，所述至少一个子图像中的每个子图像包括单个弱势交通参与者，其中，弱势交通参与者表示暴露于车辆周围环境中的人；
通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类；
根据分类结果确定所有弱势交通参与者的职业类型。
2.根据权利要求1所述的方法，其中，通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类的步骤包括：
针对作为所述神经网络的输入数据的所述至少一个子图像中的每个子图像：
通过所述神经网络的像素信息提取层，获取所述子图像的像素信息；
通过所述神经网络的特征提取层，根据获取的像素信息提取所述子图像的特征；
通过所述神经网络的分类层，根据提取的特征确定作为分类结果的输出数据，其中，所述神经网络的输出数据表示所述子图像中的弱势交通参与者属于所述神经网络进行分类的所有职业类型中的每个职业类型的概率，
其中，根据分类结果确定所有弱势交通参与者的职业类型的步骤包括：
将输出数据中具有最高概率的职业类型确定为所述弱势交通参与者的职业类型。
3.根据权利要求2所述的方法，其中，获取所述子图像的像素信息的步骤包括：
根据特征提取层的分辨率，对所述子图像的分辨率进行调整，以获得调整子图像；
获取所述调整子图像的每个颜色通道的像素值向量；
对获取的所有像素值向量中的每个元素进行归一化，以获得作为像素信息的与所有像素值向量分别对应的归一化向量，
其中，所述神经网络的特征提取层根据获得的归一化向量通过卷积函数，提取以特征向量表示的所述子图像的特征，
其中，所述神经网络的分类层根据提取的特征向量和分类层的权重向量，来确定输出数据。
4.根据权利要求3所述的方法，其中，通过如下方式训练所述神经网络：
将训练数据作为输入数据输入到预定神经网络，其中，所述训练数据包括训练图像和对应的标记职业类型，所述训练图像为包括单个弱势交通参与者的图像；
获取所述预定神经网络的输出数据，其中，所述预定神经网络的输出数据表示所述预定神经网络确定的训练图像中的弱势交通参与者被分类为所有职业类型中的每个职业类型的概率；
通过损失函数确定所述预定神经网络的输出数据与标记职业类型之间的差异，以调整所述预定神经网络的特征提取层的卷积核以及分类层的权重向量；
使用下一训练数据和已调整卷积核和权重向量的所述预定神经网络，重复以上步骤，直到满足预定停止条件为止，
其中，所述预定停止条件根据以下项中的至少一项来确定：所述预定神经网络进行分类的准确率、所述预定神经网络进行分类的召回率、训练图像中的弱势交通参与者是否被遮挡以及训练次数。
5.根据权利要求4所述的方法，其中，分类层为softmax分类器层，其中，通过以下等式表示输出数据：
A＝softmax(Z)＝softmax(WTX+b)
其中，A为表示输出数据的向量，其中，A中的各个元素表示相应弱势交通参与者被分类为相应元素位置对应的职业类型的概率，W为权重向量，X为与相应特征向量的对应的向量，b为预定偏移向量，Z为表示WTX+b的向量，Z与A的维数相同，其中，通过如下等式计算A中的第j个元素Aj，
Figure FDA0002731294430000031
其中，Zj表示向量Z中的第j个元素，j≤m，m表示所有职业类型的数量，j和m均为自然数。
6.根据权利要求5所述的方法，其中，所述损失函数为通过如下等式表示的交叉熵损失函数：
Figure FDA0002731294430000032
其中，lossCE为表示所述差异的交叉熵损失函数的输出量，
Figure FDA0002731294430000033
表示与Aj对应的标记职业类型中的相应值。
7.根据权利要求3至6中的任一项所述的方法，其中，通过如下等式表示所述卷积函数：
H(h，k)＝(f*I)(h，k)＝∑h∑kf(p，q)I(h-p，k-q)
H(h，k)为作为卷积函数的输出的h×k维的特征向量，f(p，q)为p×q维的卷积核，I为表示像素信息的h×k维的归一化向量，其中，h、k、p、q均为自然数，并且p＜h，q＜k。
8.一种对车辆周围的弱势交通参与者进行分类的装置，所述装置包括：
图像获取单元，其被配置为能够获取车辆周围的环境图像；
图像分割单元，其被配置为能够从环境图像中分割出至少一个子图像，其中，所述至少一个子图像中的每个子图像包括单个弱势交通参与者；
分类单元，其被配置为能够通过预先训练的神经网络对所述至少一个子图像中的所有弱势交通参与者进行分类；
类型确定单元，其被配置为能够根据分类结果确定所有弱势交通参与者的职业类型。
9.一种存储有计算机程序的计算机可读记录介质，其中，所述计算机程序在被处理器执行时，使得处理器实施权利要求1至7中的任一项所述的方法。
10.一种对车辆周围的弱势交通参与者进行分类的***，所述***包括：
处理器；
存储器，存储有计算机程序，所述计算机程序在被处理器执行时，使得处理器实施权利要求1至7中的任一项所述的方法。
CN202011121248.5A 2020-10-19 2020-10-19 对车辆周围的弱势交通参与者进行分类的方法和装置 Pending CN112270232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011121248.5A CN112270232A (zh) 2020-10-19 2020-10-19 对车辆周围的弱势交通参与者进行分类的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011121248.5A CN112270232A (zh) 2020-10-19 2020-10-19 对车辆周围的弱势交通参与者进行分类的方法和装置

Publications (1)

Publication Number Publication Date
CN112270232A true CN112270232A (zh) 2021-01-26

Family

ID=74338744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011121248.5A Pending CN112270232A (zh) 2020-10-19 2020-10-19 对车辆周围的弱势交通参与者进行分类的方法和装置

Country Status (1)

Country Link
CN (1) CN112270232A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115148025A (zh) * 2022-06-28 2022-10-04 重庆长安汽车股份有限公司 一种交通目标轨迹预测方法及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115148025A (zh) * 2022-06-28 2022-10-04 重庆长安汽车股份有限公司 一种交通目标轨迹预测方法及可读存储介质
CN115148025B (zh) * 2022-06-28 2023-10-20 重庆长安汽车股份有限公司 一种交通目标轨迹预测方法及可读存储介质

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN112347933A (zh) 一种基于视频流的交通场景理解方法及装置
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN106919939B (zh) 一种交通标识牌跟踪识别方法及***
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
Zang et al. Traffic lane detection using fully convolutional neural network
CN111767854B (zh) 一种结合场景文本语义信息的slam回环检测方法
CN117152513A (zh) 一种面向夜间场景的车辆边界定位方法
CN117218622A (zh) 路况检测方法、电子设备及存储介质
CN114419603A (zh) 一种自动驾驶车辆控制方法、***和自动驾驶车辆
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN112270232A (zh) 对车辆周围的弱势交通参与者进行分类的方法和装置
CN117593685A (zh) 真值数据的构建方法和装置、存储介质
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
CN111179610B (zh) 一种交通信号设备的控制方法及装置
CN112288702A (zh) 一种基于车联网的道路图像检测方法
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN114550094A (zh) 一种三轮车流量统计和载人判断的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination