CN111797659A - 辅助驾驶方法、装置、存储介质及电子设备 - Google Patents

辅助驾驶方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111797659A
CN111797659A CN201910282449.4A CN201910282449A CN111797659A CN 111797659 A CN111797659 A CN 111797659A CN 201910282449 A CN201910282449 A CN 201910282449A CN 111797659 A CN111797659 A CN 111797659A
Authority
CN
China
Prior art keywords
image
algorithm
probability value
pixel matrix
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910282449.4A
Other languages
English (en)
Inventor
陈仲铭
何明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910282449.4A priority Critical patent/CN111797659A/zh
Publication of CN111797659A publication Critical patent/CN111797659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种辅助驾驶方法、装置、存储介质及电子设备，辅助驾驶方法包括：获取拍摄的图像，以及所述图像中至少两个限定框预测信息；获取每一个所述限定框预测信息对应的像素矩阵；根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值；当所述目标概率值大于概率阈值时，确定所述图像中包括前车图像，并根据所述图像得到前车位置信息；根据获取的当前速度和所述前车位置信息得到前车速度和前车距离，并根据所述前车速度和所述前车距离确定跟随策略。可以提高前车识别的准确度。

Description

辅助驾驶方法、装置、存储介质及电子设备
技术领域
本申请涉及电子技术领域，特别涉及一种辅助驾驶方法、装置、存储介质及电子设备。
背景技术
随着电子技术的发展，诸如智能手机等电子设备的智能化程度越来越高。例如，用户可以利用电子设备实现导航功能。在一些相关技术中，有些电子设备还可以进行前车识别，并通过前车识别的结果提供跟随策略。但是，相关技术中的电子设备对前车识别不准确。
发明内容
本申请实施例提供一种辅助驾驶方法、装置、存储介质及电子设备，能够提高前车识别的准确度。
第一方面，本申请实施例提供一种辅助驾驶方法，其包括：
获取拍摄的图像，以及所述图像中包括前车的至少两个限定框预测信息；
获取每一个所述限定框预测信息对应的像素矩阵；
根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值；
当所述目标概率值大于概率阈值时，确定所述图像中包括前车图像，并根据所述图像得到前车位置信息；
根据获取的当前速度和所述前车位置信息得到前车速度和前车距离，并根据所述前车速度和所述前车距离确定跟随策略。
第二方面，本申请实施例还提供了一种辅助驾驶装置，其包括：
限定框预测信息获取模块，用于获取拍摄的图像，以及所述图像中包括前车的至少两个限定框预测信息；
像素矩阵获取模块，用于获取每一个所述限定框预测信息对应的像素矩阵；
目标概率获取模块，用于根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值；
前车位置信息获取模块，用于当所述目标概率值大于概率阈值时，确定所述图像中包括前车图像，并根据所述图像得到前车位置信息；
确定模块，用于根据获取的当前速度和所述前车位置信息得到前车速度和前车距离，并根据所述前车速度和所述前车距离确定跟随策略。
第三方面，本申请实施例还提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述辅助驾驶方法的步骤。
第四方面，本申请实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述辅助驾驶方法的步骤。
本申请实施例提供的辅助驾驶方法、装置、存储介质及电子设备，其先获取包括至少两个限定框预测信息；然后获取每一个所述限定框预测信息对应的像素矩阵；接着根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值；当所述目标概率值大于概率阈值时，确定所述图像中包括前车图像，并根据所述图像得到前车位置信息；根据获取的当前速度和所述前车位置信息得到前车速度和前车距离，并根据所述前车速度和所述前车距离确定跟随策略。可以提高前车识别的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的辅助驾驶方法的应用场景示意图。
图2为本申请实施例提供的辅助驾驶方法的流程示意图。
图3为本申请实施例提供的辅助驾驶方法的另一应用场景示意图。
图4为本申请实施例提供的辅助驾驶装置的结构示意图。
图5为本申请实施例提供的电子设备的第一种结构示意图。
图6为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
请参阅图1，图1为本申请实施例提供的辅助驾驶方法的应用场景示意图。辅助驾驶方法应用于电子设备。电子设备可以是智能手机、平板电脑、游戏设备、增强现实(Augmented Reality，AR)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。电子设备中设置有全景感知架构。全景感知架构为电子设备中用于实现辅助驾驶方法的硬件和软件的集成。其中，全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
信息感知层用于获取电子设备自身的信息和/或外部环境中的信息。信息感知层可以包括多个传感器。例如，信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
其中，距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器，可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
数据处理层用于对信息感知层获取到的数据进行处理。例如，数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
其中，数据清理是指对信息感知层获取到的大量数据进行清理，以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度，以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等，以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下，最大限度的精简数据量。
特征抽取层用于对数据处理层处理后的数据进行特征抽取，以提取数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
其中，特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤，以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起，以构建一种更加高效、更加准确的特征提取方法，用于提取特征。
情景建模层用于根据特征抽取层提取到的特征来构建模型，所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如，情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如，智能服务层可以为用户提供基础应用服务，可以为电子设备进行***智能优化，还可以为用户提供个性化智能服务。
此外，全景感知架构中还可以包括多种算法，每一种算法都可以用于对数据进行分析处理，多种算法可以构成算法库。例如，算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
本申请实施例提供一种辅助驾驶方法，辅助驾驶方法可以应用于电子设备中。电子设备可以是智能手机、平板电脑、游戏设备、增强现实(Augmented Reality，AR)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如手表、眼镜、头盔、电子手链、电子项链、电子衣物等设备。
请参阅图2，图2为本申请实施例提供的辅助驾驶方法的流程示意图。其中，辅助驾驶方法包括以下步骤：
101，获取拍摄的图像，以及图像中至少两个限定框预测信息。
在一些实施例中，可以通过摄像头实时拍摄获取图像，摄像头可以透过用户车辆前面的挡风玻璃拍摄获取图像。摄像头可以固定在挡风玻璃上，也可以放置在车辆前面。如，摄像头放置一个固定在车辆内的底座上，该底座可以固定在驾驶室内某个位置。
其中，摄像头可以为车载摄像头，也可以为可拆卸的摄像头。可拆卸的摄像头可以为单独的摄像头，单独的摄像头可以直接与车载***连接。可拆卸的摄像头可以为导航仪、智能手机等电子设备的一部分。在此以摄像头为可拆卸摄像头为例进行说明，诸如智能手机。
电子设备获取拍摄的图像后，获取图像中的至少两个限定框预测信息，每一个限定框预测信息为可能包括前车图像的限定框信息。示例性的，可以采用限定框算法(bounding box)得到至少两个限定框预测信息。
在一些实施例中，获取限定框预测信息的限定框算法需要提前训练(计算)，具体的，限定框算法用于从车载摄像头获取得到的图像中，利用限定框算法可以获取图像中的车辆位置在图像中bounding box预测信息。具体而言，对于从车载摄像头检测出来的图像，使用预定义的限定框算法，直接获得图像中对应的bounding box位置作为下一步骤的输入。
其中，限定框算法生成方式可以为，从摄像头采集到的带有前车的图像中(例如可以采用约30000多图像)，人工地标记其前车位置的bounding box位置信息(即对应车辆在图像中的坐标信息[x,y,w,h]，其中x,y为车辆所在左上角位置坐标，w,h为车辆位置的右下角距离左上角坐标的长和宽的偏移像素值)，对bounding box信息使用聚类算法(如kmeans)或分类算法(如knn)等算法，获得大概200多个bounding box位置信息。上述获得的bounding box位置信息集中表现了摄像头采集到的图像中前车的最有可能出现的200多个位置信息。
102，获取每一个限定框预测信息对应的像素矩阵。
每一个限定框预测信息包括一个边框信息，边框信息内所有的像素信息形成一个像素矩阵。从而，根据至少两个限定框预测信息得到至少两个像素矩阵。
103，根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值。
电子设备从每个像素矩阵中根据预设特征算法提取图像特征，然后将提取到的图像特征全部输入预测算法中，预测算法根据输入的信息得到目标概率值。
其中，预设特征算法可以是方向梯度直方图特征算法(Histogram of OrientedGradient,HOG)、HAAR特征算法、主成分分析算法(Principal Component Analysis，PCA)等。预测算法可以为支持向量机算法(Support Vector Machine,SVM)、神经网络算法等。
在一些实施例中，电子设备根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值具体包括：
预设特征算法包括第一特征算法和第二特征算法，根据第一特征算法从图像提取第一图像特征，根据第二特征算法从图像提取第二图像特征；
预测算法包括第一预测算法和第二预测算法，将第一特征输入第一预测算法得到第一概率值，将第二特征输入第二预测算法得到第二概率值；
将第一概率值和第二概率值融合，得到目标概率值。
在一些实施例中，电子设备根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值具体包括：
电子设备根据方向梯度直方图特征算法(Histogram of Oriented Gradient,HOG)获取像素矩阵的第一子图像特征，根据HAAR算法获取像素矩阵的第二子图像特征；
将第一子图像特征和第二子图像特征合并得到第一图像特征；
根据主成分分析算法(Principal Component Analysis，PCA)从像素矩阵中提取第二图像特征；
将第一图像特征输入支持向量机算法(Support Vector Machine,SVM)得到第一概率值；
将第二图像特征输入神经网络算法得到第二概率值；
将第一概率值和第二概率值融合，得到目标概率值。
具体的，对101步骤获得的bounding box位置信息提取图像中对应的位置像素信息，单独存储为张量
Figure BDA0002022116870000071
其中Ai表示但一个bounding box对应的像素矩阵。
对张量A中每一个像素矩阵使用方向梯度直方图算子，计算其特征，得到第一子图像特征AHOG。
对张量A中每一个像素矩阵使用HAAR算子，计算其特征，得到第二子图像特征AHAAR。
对第一子图像特征AHOG和第二子图像特征AHAAR进行合并，具体可以使用矩阵叠加的方式，得到新的特征向量第一图像特征ACOMB。
对张量A中每一个像素矩阵使用主成分分析算法，提取其像素通道的主成分，作为第二图像特征APCA。
将第一图像特征输入支持向量机算法得到第一概率值。具体的，利用支持向量机算法的SVM车辆分类器得到是否为前车的第一概率值Psvm。
将第二图像特征输入神经网络算法得到第二概率值。具体的，利用神经网络算法的神经网络分类器得到是否为前车的第二概率值Pdnn。
需要说明的是，支持向量机算法和神经网络算法在训练阶段，车辆屁股图像在单独训练的过程使用单张车辆屁股图(只包括车屁股后轮胎和轮胎与车辆中间的阴影部分，不包括其余背景)，另外需要加入均衡的改装车、摩托车、电瓶车、货车、水泥车、卡车等不同形状和特殊车辆的样本。
在一些实施例中，由于一个分类器不能完全代表其准确性，因此使用多分类器能够提升车辆识别的精度，因此赋予第一概率值权重w1，赋予第二概率值乘权重w2，通过其输出分类得分乘以权重，并相加确定最终是否属于前车图像(R＝w1×Psvm+w2×Pdnn)。例如，权重w1可以为0.6，权重w2可以为0.4，当然权重w1和权重w2也可以为其他值。
在一些实施例中，根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值具体包括：
根据方向梯度直方图特征算法获取像素矩阵的图像特征，或根据HAAR算法获取像素矩阵的图像特征；
将图像特征输入支持向量机算法得到目标概率值。
在一些实施例中，根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值具体包括：
根据方向梯度直方图特征算法获取像素矩阵的第一子图像特征，根据HAAR算法获取像素矩阵的第二子图像特征；
将第一子图像特征和第二子图像特征进行矩阵叠加，得到图像特征；
将图像特征输入支持向量机算法得到目标概率值。
在一些实施例中，根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值具体包括：
根据主成分分析算法从像素矩阵中提取图像特征；
将图像特征输入神经网络算法得到目标概率值。
104，当目标概率值大于概率阈值时，确定图像中包括前车图像，并根据图像得到前车位置信息。
当目标概率值大于概率阈值时，确定图像中包括前车图像，如目标概率值为0.8，概率阈值为0.7，则认为拍摄获取他中包括汽车图像。然后，根据图像可以得到前车位置信息。例如，利用坐标转换算法使用提前标定好的标定距离信息获得仿射变换矩阵，对限定框预测信息的坐标位置乘以仿射变换矩阵，获得真实世界坐标距离终端设备所在车辆的偏移位置，确定前车的实际坐标距离信息。
在一些实施例中，根据图像得到前车位置信息包括：
将每一个限定框预测信息和对应的目标概率值关联；
根据非极大值抑制算法得到目标限定框预测信息，并根据目标限定框信息确定前车位置信息。
利用bounding box信息及其对应的前车判别结果目标概率值，对得到的前车位置信息使用非极大值抑制算法(Non-Maximum Suppression，NMS)得到最终的车辆位置信息。
105，根据获取的当前速度和前车位置信息得到前车速度和前车距离，并根据前车速度和前车距离确定跟随策略。
可以直接通过车辆的控制***得到当前速度。也可以获取电子设备的全景感知信息。具体的，可以根据电子设备的加速度计、GPS定位信息、角速度计等确定车辆的移动信息(包括车辆的当前速度等)，然后根据车辆的移动信息和之前获取的前车位置信息判断前车速度和前车距离，前车距离为前车和摄像头所在车辆的距离。根据得到的前车速度和前车距离确定跟随策略。例如，当前车速度在80千米/小时以上，前车距离大于安全距离时，可以控制汽车自动跟随或提示用户完全跟随。当前车速度在60千米/小时以上，前车距离大于安全距离时，可以控制汽车跟随且伺机超车或建议用户超车。其中，自动超车或超车提醒还可以根据其他摄像头获取其他车道信息进行。例如，其他摄像头获取左侧车道在安全距离内没有车辆(如前后300米都没有车辆)，则触发自动超车或超车提醒。
本实施例可以利用电子设备如智能手机的后置摄像头检测到的前车信息，以及根据速度传感器、加速度传感器、GPS信息或者汽车中控***得到当前车速，根据当前车速和检测到的前车信息进行控制驾驶员所驾驶汽车的速度，进行合理确定前车跟随状态。能够对不同车系、不同车型进行检测，包括改装后的车辆、摩托车、电瓶车、货车、水泥车、卡车等；能够有效地避免大量使用深度学习技术等检测耗时长；另外能够方便进行调节和移动，实施方式便利。
请参阅图3，图3为本申请实施例提供的辅助驾驶方法的另一应用场景示意图。其中，辅助驾驶方法具体包括：首先利用电子设备的摄像头获取图像。然后利用限定框算法(bounding box)对图像进行处理，得到多个限定框预测信息(如200个)，每个限定框预测信息对应一个像素矩阵。接着根据方向梯度直方图特征算法(Histogram of OrientedGradient,HOG)获取每个像素矩阵的第一子图像特征，根据HAAR算法获取每个像素矩阵的第二子图像特征，将第一子图像特征和第二子图像特征合并得到第一图像特征；根据主成分分析算法(Principal Component Analysis，PCA)从像素矩阵中提取第二图像特征；再然后将第一图像特征和第二图像特征输入到判别模块。判别模块中包括SVM分类器和神经网络分类器。将第一图像特征输入利用支持向量机算法(Support Vector Machine,SVM)的SVM分类器，输出是否为前车的第一概率P_svm(前车/非前车)。将第二图像特征输入利用神经网络算法的神经网络分类器，输出是否为前车的第二概率P_dnn(前车/非前车)。其中，判别模型利用车辆屁股图像在单独训练的过程使用单张车辆屁股图(只包括车屁股后轮胎和轮胎与车辆中间的阴影部分，不包括其余背景)，另外需要加入均衡的改装车、摩托车、电瓶车、货车、水泥车、卡车等不同形状和特殊车辆的样本。由于但一个分类器不能完全代表其准确性，因此使用多分类器能够提升车辆识别的精度，因此赋予第一概率P_svm以w_1的权重和第二概率P_dnn以w_2的权重，通过其输出分类得分乘以权重，并相加得到目标概率R，用以确定最终是否属于前车图像(R＝w_1×P_svm+w_2×P_dnn)。
将目标概率R输入车辆位置信息模块，车辆位置信息模块利用bounding box及其对应的前车判别结果目标概率R，对得到的前车位置信息使用非极大值抑制算法(Non-Maximum Suppression，NMS)得到最终的车辆位置信息。
将车辆位置信息输入坐标变换模块，坐标转换模块使用提前标定好的标定距离信息获得仿射变换矩阵，对bounding box的坐标位置乘以仿射变换矩阵，获得真实世界坐标距离终端设备所在车辆的偏移位置，确定前车的实际坐标距离信息。
在一些实施例中，电子设备利用全景感知架构，获得当前车速和移动距离，从而推断前车的移动距离和速度。具体而言，其可以根据加速度传感器、GPS定位信息、角速度计确定电子设备(即车辆)的移动信息，从而判断前车的移动距离和速度。最后根据对前车的移动距离和速度信息确定跟随策略，并根据跟随策略反馈给车辆的中央控制***，用以对前车进行跟随控制，或者将跟随策略通知给用户(如语音播放、视频展示等)。
示例性的，电子设备利用全景感知架构的信息感知层获取用户的电子设备的信息(如包括电子设备运行信息、用户行为信息、各个传感器获取的信息、电子设备状态信息、电子设备显示内容信息、电子设备传下载信息等)，然后通过数据处理层对电子设备的信息进行处理(如无效数据删除、重复数据删除等)，接着再通过特征抽取层从数据处理层处理后的信息中提取出需要的信息(如图像传感器获取的图像信息)，情景建模层获取目标信息中至少两个限定框预测信息，然后获取每一个限定框预测信息对应的像素矩阵，接着根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值，当所述目标概率值大于概率阈值时，确定所述图像中包括前车图像，并根据所述图像得到前车位置信息。最后智能服务层根据获取的当前速度和所述前车位置信息得到前车速度和前车距离，并根据所述前车速度和所述前车距离确定跟随策略。请参阅图4，图4为本申请实施例提供的辅助驾驶装置的结构示意图。辅助驾驶装置包括限定框预测信息获取模块301、像素矩阵获取模块302、目标概率获取模块303、前车位置信息获取模块304和确定模块305。
限定框预测信息获取模块301，用于获取拍摄的图像，以及图像中包括前车的至少两个限定框预测信息。
像素矩阵获取模块302，用于获取每一个限定框预测信息对应的像素矩阵。
目标概率获取模块303，用于根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值。
前车位置信息获取模块304，用于当目标概率值大于概率阈值时，确定图像中包括前车图像，并根据图像得到前车位置信息。
确定模块305，用于根据获取的当前速度和前车位置信息得到前车速度和前车距离，并根据前车速度和前车距离确定跟随策略。
在一些实施例中，目标概率获取模块303，还用于预设特征算法包括第一特征算法和第二特征算法，根据第一特征算法从图像提取第一图像特征，根据第二特征算法从图像提取第二图像特征；预测算法包括第一预测算法和第二预测算法，将第一特征输入第一预测算法得到第一概率值，将第二特征输入第二预测算法得到第二概率值；将第一概率值和第二概率值融合，得到目标概率值。
在一些实施例中，目标概率获取模块303，还用于根据方向梯度直方图特征算法获取像素矩阵的第一子图像特征，根据HAAR算法获取像素矩阵的第二子图像特征；将第一子图像特征和第二子图像特征合并得到第一图像特征；根据主成分分析算法从像素矩阵中提取第二图像特征；将第一图像特征输入支持向量机算法得到第一概率值；将第二图像特征输入神经网络算法得到第二概率值；将第一概率值和第二概率值融合，得到目标概率值。
在一些实施例中，目标概率获取模块303，还用于根据方向梯度直方图特征算法获取像素矩阵的图像特征，或根据HAAR算法获取像素矩阵的图像特征；将图像特征输入支持向量机算法得到目标概率值。
在一些实施例中，目标概率获取模块303，还用于根据方向梯度直方图特征算法获取像素矩阵的第一子图像特征，根据HAAR算法获取像素矩阵的第二子图像特征；将第一子图像特征和第二子图像特征进行矩阵叠加，得到图像特征；将图像特征输入支持向量机算法得到目标概率值；
在一些实施例中，目标概率获取模块303，还用于根据主成分分析算法从像素矩阵中提取图像特征；将图像特征输入神经网络算法得到目标概率值。
在一些实施例中，前车位置信息获取模块304，还用于将每一个限定框预测信息和对应的目标概率值关联；根据非极大值抑制算法得到目标限定框预测信息，并根据目标限定框信息确定前车位置信息。
请参阅图5，图5为本申请实施例提供的电子设备的第一种结构示意图。其中，电子设备600包括处理器601和存储器602。处理器601与存储器602电性连接。
处理器601是电子设备600的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器602内的计算机程序，以及调用存储在存储器602内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备600中的处理器601会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器602中，并由处理器601来运行存储在存储器602中的计算机程序，从而实现各种功能：
获取拍摄的图像，以及图像中至少两个限定框预测信息；
获取每一个限定框预测信息对应的像素矩阵；
根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值；
当目标概率值大于概率阈值时，确定图像中包括前车图像，并根据图像得到前车位置信息；
根据获取的当前速度和前车位置信息得到前车速度和前车距离，并根据前车速度和前车距离确定跟随策略。
在一些实施例中，在根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值时，处理器601执行以下步骤：
预设特征算法包括第一特征算法和第二特征算法，根据第一特征算法从图像提取第一图像特征，根据第二特征算法从图像提取第二图像特征；
预测算法包括第一预测算法和第二预测算法，将第一特征输入第一预测算法得到第一概率值，将第二特征输入第二预测算法得到第二概率值；
将第一概率值和第二概率值融合，得到目标概率值。
在一些实施例中，在根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值时，处理器601执行以下步骤：
在一些实施例中，在根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值时，处理器601执行以下步骤：
根据方向梯度直方图特征算法获取像素矩阵的第一子图像特征，根据HAAR算法获取像素矩阵的第二子图像特征；
将第一子图像特征和第二子图像特征合并得到第一图像特征；
根据主成分分析算法从像素矩阵中提取第二图像特征；
将第一图像特征输入支持向量机算法得到第一概率值；
将第二图像特征输入神经网络算法得到第二概率值；
将第一概率值和第二概率值融合，得到目标概率值。
在一些实施例中，在根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值时，处理器601执行以下步骤：
根据方向梯度直方图特征算法获取像素矩阵的图像特征，或根据HAAR算法获取像素矩阵的图像特征；
将图像特征输入支持向量机算法得到目标概率值。
在一些实施例中，在根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值时，处理器601执行以下步骤：
根据方向梯度直方图特征算法获取像素矩阵的第一子图像特征，根据HAAR算法获取像素矩阵的第二子图像特征；
将第一子图像特征和第二子图像特征进行矩阵叠加，得到图像特征；
将图像特征输入支持向量机算法得到目标概率值。
在一些实施例中，在根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值时，处理器601执行以下步骤：
根据主成分分析算法从像素矩阵中提取图像特征；
将图像特征输入神经网络算法得到目标概率值。
在一些实施例中，在根据图像得到前车位置信息时，处理器601执行以下步骤：
将每一个限定框预测信息和对应的目标概率值关联；
根据非极大值抑制算法得到目标限定框预测信息，并根据目标限定框信息确定前车位置信息。
在一些实施例中，请参阅图6，图6为本申请实施例提供的电子设备的第二种结构示意图。
其中，电子设备600还包括：显示屏603、控制电路604、输入单元605、传感器606以及电源607。其中，处理器601分别与显示屏603、控制电路604、输入单元605、传感器606以及电源607电性连接。
显示屏603可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路604与显示屏603电性连接，用于控制显示屏603显示信息。
输入单元605可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元605可以包括指纹识别模组。
传感器606用于采集电子设备自身的信息或者用户的信息或者外部环境信息。例如，传感器606可以包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
电源607用于给电子设备600的各个部件供电。在一些实施例中，电源607可以通过电源管理***与处理器601逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图6中未示出，电子设备600还可以包括摄像头、蓝牙模块等，在此不再赘述。
由上可知，本申请实施例提供了一种电子设备，电子设备中的处理器执行以下步骤：获取拍摄的图像，以及图像中至少两个限定框预测信息；获取每一个限定框预测信息对应的像素矩阵；根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值；当目标概率值大于概率阈值时，确定图像中包括前车图像，并根据图像得到前车位置信息；根据获取的当前速度和前车位置信息得到前车速度和前车距离，并根据前车速度和前车距离确定跟随策略。
本申请实施例还提供一种存储介质，存储介质中存储有计算机程序，当计算机程序在计算机上运行时，计算机执行上述任一实施例所述的辅助驾驶方法。
例如，在一些实施例中，当所述计算机程序在计算机上运行时，所述计算机执行以下步骤：
获取拍摄的图像，以及图像中至少两个限定框预测信息；
获取每一个限定框预测信息对应的像素矩阵；
根据预设特征算法从像素矩阵中提取图像特征，并将图像特征输入预测算法得到目标概率值；
当目标概率值大于概率阈值时，确定图像中包括前车图像，并根据图像得到前车位置信息；
根据获取的当前速度和前车位置信息得到前车速度和前车距离，并根据前车速度和前车距离确定跟随策略。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上对本申请实施例所提供的辅助驾驶方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种辅助驾驶方法，其特征在于，包括：
获取拍摄的图像，以及所述图像中至少两个限定框预测信息；
获取每一个所述限定框预测信息对应的像素矩阵；
根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值；
当所述目标概率值大于概率阈值时，确定所述图像中包括前车图像，并根据所述图像得到前车位置信息；
根据获取的当前速度和所述前车位置信息得到前车速度和前车距离，并根据所述前车速度和所述前车距离确定跟随策略。
2.根据权利要求1所述的辅助驾驶方法，其特征在于，所述根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值包括：
所述预设特征算法包括第一特征算法和第二特征算法，根据所述第一特征算法从所述图像提取第一图像特征，根据所述第二特征算法从所述图像提取第二图像特征；
所述预测算法包括第一预测算法和第二预测算法，将所述第一特征输入所述第一预测算法得到第一概率值，将所述第二特征输入所述第二预测算法得到第二概率值；
将所述第一概率值和所述第二概率值融合，得到目标概率值。
3.根据权利要求2所述的辅助驾驶方法，其特征在于，所述根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值包括：
根据方向梯度直方图特征算法获取所述像素矩阵的第一子图像特征，根据HAAR算法获取所述像素矩阵的第二子图像特征；
将所述第一子图像特征和所述第二子图像特征合并得到第一图像特征；
根据主成分分析算法从所述像素矩阵中提取第二图像特征；
将所述第一图像特征输入支持向量机算法得到第一概率值；
将所述第二图像特征输入神经网络算法得到第二概率值；
将所述第一概率值和所述第二概率值融合，得到目标概率值。
4.根据权利要求1所述的辅助驾驶方法，其特征在于，所述根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值包括：
根据方向梯度直方图特征算法获取所述像素矩阵的图像特征，或根据HAAR算法获取所述像素矩阵的图像特征；
将所述图像特征输入支持向量机算法得到目标概率值。
5.根据权利要求1所述的辅助驾驶方法，其特征在于，所述根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值包括：
根据方向梯度直方图特征算法获取所述像素矩阵的第一子图像特征，根据HAAR算法获取所述像素矩阵的第二子图像特征；
将所述第一子图像特征和所述第二子图像特征进行矩阵叠加，得到图像特征；
将所述图像特征输入支持向量机算法得到目标概率值。
6.根据权利要求1所述的辅助驾驶方法，其特征在于，所述根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值包括：
根据主成分分析算法从所述像素矩阵中提取图像特征；
将所述图像特征输入神经网络算法得到目标概率值。
7.根据权利要求1所述的辅助驾驶方法，其特征在于，所述根据所述图像得到前车位置信息包括：
将每一个限定框预测信息和对应的目标概率值关联；
根据非极大值抑制算法得到目标限定框预测信息，并根据所述目标限定框信息确定前车位置信息。
8.一种辅助驾驶装置，其特征在于，包括：
限定框预测信息获取模块，用于获取拍摄的图像，以及所述图像中包括前车的至少两个限定框预测信息；
像素矩阵获取模块，用于获取每一个所述限定框预测信息对应的像素矩阵；
目标概率获取模块，用于根据预设特征算法从所述像素矩阵中提取图像特征，并将所述图像特征输入预测算法得到目标概率值；
前车位置信息获取模块，用于当所述目标概率值大于概率阈值时，确定所述图像中包括前车图像，并根据所述图像得到前车位置信息；
确定模块，用于根据获取的当前速度和所述前车位置信息得到前车速度和前车距离，并根据所述前车速度和所述前车距离确定跟随策略。
9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的辅助驾驶方法。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求如权利要求1至7任一项所述的辅助驾驶方法。
CN201910282449.4A 2019-04-09 2019-04-09 辅助驾驶方法、装置、存储介质及电子设备 Pending CN111797659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910282449.4A CN111797659A (zh) 2019-04-09 2019-04-09 辅助驾驶方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910282449.4A CN111797659A (zh) 2019-04-09 2019-04-09 辅助驾驶方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN111797659A true CN111797659A (zh) 2020-10-20

Family

ID=72805365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910282449.4A Pending CN111797659A (zh) 2019-04-09 2019-04-09 辅助驾驶方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111797659A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113433339A (zh) * 2021-06-17 2021-09-24 武汉唯理科技有限公司 一种基于双摄像机的测速方法、***、计算机设备及可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203267A (zh) * 2016-06-28 2016-12-07 成都之达科技有限公司 基于机器视觉的车辆防碰撞方法
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶***
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及***
CN108248508A (zh) * 2016-12-29 2018-07-06 乐视汽车（北京）有限公司 驾驶安全显示方法、***、介质和电子设备
CN109284757A (zh) * 2018-08-31 2019-01-29 湖南星汉数智科技有限公司 一种车牌识别方法、装置、计算机装置及计算机可读存储介质
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及***
CN109409288A (zh) * 2018-10-25 2019-03-01 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203267A (zh) * 2016-06-28 2016-12-07 成都之达科技有限公司 基于机器视觉的车辆防碰撞方法
CN107563256A (zh) * 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶***
CN108248508A (zh) * 2016-12-29 2018-07-06 乐视汽车（北京）有限公司 驾驶安全显示方法、***、介质和电子设备
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及***
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及***
CN109284757A (zh) * 2018-08-31 2019-01-29 湖南星汉数智科技有限公司 一种车牌识别方法、装置、计算机装置及计算机可读存储介质
CN109409288A (zh) * 2018-10-25 2019-03-01 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROSS GIRSHICK 等，: "Rich feature hierarchies for accurate object detection and semantic segmentation", ARXIV, 31 October 2014 (2014-10-31), pages 1 - 21 *
孟柯;吴超仲;陈志军;吕能超;邓超;刘钢;: "人车碰撞风险识别及智能车辆控制***", 交通信息与安全, no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113433339A (zh) * 2021-06-17 2021-09-24 武汉唯理科技有限公司 一种基于双摄像机的测速方法、***、计算机设备及可读介质
CN113433339B (zh) * 2021-06-17 2023-09-08 武汉唯理科技有限公司 一种基于双摄像机的测速方法、***、计算机设备及可读介质

Similar Documents

Publication Publication Date Title
US10417816B2 (en) System and method for digital environment reconstruction
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN111797657A (zh) 车辆周边障碍检测方法、装置、存储介质及电子设备
Gu et al. Intelligent driving data recorder in smartphone using deep neural network-based speedometer and scene understanding
CN113591872A (zh) 一种数据处理***、物体检测方法及其装置
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN111798521B (zh) 标定方法、装置、存储介质及电子设备
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
CN111553247A (zh) 一种基于改进骨干网络的视频结构化***、方法及介质
CN111797302A (zh) 模型处理方法、装置、存储介质及电子设备
CN111797659A (zh) 辅助驾驶方法、装置、存储介质及电子设备
CN116823884A (zh) 多目标跟踪方法、***、计算机设备及存储介质
CN112818979A (zh) 文本识别方法、装置、设备及存储介质
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN111796663B (zh) 场景识别模型更新方法、装置、存储介质及电子设备
CN111797656B (zh) 人脸关键点检测方法、装置、存储介质及电子设备
CN111797658A (zh) 车道线识别方法、装置、存储介质及电子设备
CN111797869A (zh) 模型训练方法、装置、存储介质及电子设备
US20220245829A1 (en) Movement status learning apparatus, movement status recognition apparatus, model learning method, movement status recognition method and program
CN111797868B (zh) 场景识别模型建模方法、装置、存储介质及电子设备
CN111797875B (zh) 场景建模方法、装置、存储介质及电子设备
CN113705279B (zh) 目标对象的位置识别的方法及装置
CN110031654B (zh) 姿势鉴别方法及记录介质
CN111797868A (zh) 场景识别模型建模方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination