CN115424187B - 多角度相机协同重要性排名约束的辅助驾驶方法 - Google Patents

多角度相机协同重要性排名约束的辅助驾驶方法 Download PDF

Info

Publication number
CN115424187B
CN115424187B CN202211381250.5A CN202211381250A CN115424187B CN 115424187 B CN115424187 B CN 115424187B CN 202211381250 A CN202211381250 A CN 202211381250A CN 115424187 B CN115424187 B CN 115424187B
Authority
CN
China
Prior art keywords
constraint
information
representing
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211381250.5A
Other languages
English (en)
Other versions
CN115424187A (zh
Inventor
刘寒松
王永
王国强
刘瑞
董玉超
李贤超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202211381250.5A priority Critical patent/CN115424187B/zh
Publication of CN115424187A publication Critical patent/CN115424187A/zh
Application granted granted Critical
Publication of CN115424187B publication Critical patent/CN115424187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于辅助驾驶技术领域，尤其涉及一种多角度相机协同重要性排名约束的辅助驾驶方法，通过多角度相机拍摄的视频内容，充分利用物体级关系约束，输出物体级重要性排名，能够将周围环境中存在的人、车辆等进行重要性排名，从而依据重要性程度排名的提醒驾驶员注意，实现辅助驾驶的智能化，不仅能够实现单一车辆的驾驶辅助，同时能够实现智能化监控，而且本发明提出的重要性排名技术能用于智慧工厂中安全生产，针对智慧工厂中重要的事件提醒工人注意。

Description

多角度相机协同重要性排名约束的辅助驾驶方法
技术领域
本发明属于辅助驾驶技术领域，尤其涉及一种多角度相机协同重要性排名约束的辅助驾驶方法。
背景技术
目前，车辆智能化正在进入快速发展的新阶段，自动化驾驶技术正在快速发展，但是，自动化驾驶仍然存在诸多问题，首当其冲的是目前自动驾驶技术还处于不成熟的阶段，尤其是正在运行阶段的车辆，主要集中于辅助驾驶阶段，即使是采用最新的自动驾驶***，在驾驶过程中仍然需要人为的从中进行干预才能实现安全驾驶，并不能实现真正意义上的完全自动驾驶。与此同时，目前的自动驾驶***并没有形成行业规范，没有相应的法律作为支撑。
随着深度学***逐步得到了大范围的应用。如果在驾驶辅助***中引入深度学习技术将非常有助于驾驶员驾驶车辆过程中安全行驶，然而，驾驶辅助***往往基于摄像头显示，并没有完全的将车辆的摄像头充分利用，同时，摄像头之间往往是独立的个体，并没有实现摄像头之间的协同学习，在驾驶员驾驶过程中存在的事物，不能实现按照重要性进行警告。
发明内容
为解决上述问题，本发明设计提供一种新的多角度相机协同重要性排名约束的辅助驾驶方法，用于驾驶员驾驶过程中重要事件排名和预警，从而提醒驾驶员注意周围环境存在的事物，增强驾驶员安全驾驶过程中的安全性。
为了实现上述目的，本发明实现辅助驾驶的具体过程为：
（1）构建视频数据集：收集车辆行驶过程中产生的道路监控视频数据，并挑选质量比较高的视频数据构建视屏数据集，并采用框标注的方式将每个物体标注类别；
（2）多角度相机协同约束特征提取：将不同相机的视频数据输入特征提取网络对物体进行多角度相机协同约束特征提取，得到物体的多尺度特征信息；
（3）多角度相机协同约束物体检测：将步骤（2）得到的多尺度特征输入运动信息感知模块，运动信息感知模块感知到运动信息后，将运动信息转化为物体检测特征，采用相机间像素级关系约束计算相似度的基础上，引入图关系建模，通过引入的图关系将相似性约束以邻接矩阵的方式记忆下来，从而保证相机间相似性约束能够在其内部循环约束；
（4）基于位置信息的特征编码：在步骤（3）得到的特征中通过添加位置信息的方式将准确的定位信息引入到特征维度，得到基于位置信息编码的像素级关系约束；
（5）基于物体级特征关系建模：将相邻帧间物体级约束关系进行建模，通过对比当前物体在不同帧之间的差异将当前物体加权，得到物体级帧间关系约束；
（6）基于图关系迭代的多角度物体级排名：在步骤（5）的基础上引入基于类别信息约束的物体间特征约束，通过计算物体之间的特征之间的相似度，判定当前物体与周围物体之间的关系；
（7）多角度相机协同重要性排名结果输出：采用将物体间类别关系约束与当前多尺度特征相结合的方式将当前物体级重要性排名结果输出；
（8）网络训练：先将车辆行驶过程中的多角度拍摄的视频转化为单帧信息，整个数据集包含100段车辆行驶过程中的视频段，网络训练时，先将车辆行驶过程中的物体检测出来，然后将检测的结果映射为物体级特征信息，并结合类别信息输出最终的物体级重要性排名，训练完成后将精度最高的模型输出到本地文件；
（9）网络测试：在网络的测试阶段，先将多角度拍摄的视频裁剪为图片后输入网络中，再加载网络精度最高的模型，并初始化网络参数，输出重要性排名结果，实现多角度相机协同重要性排名约束的辅助驾驶。
作为本发明的进一步技术方案，步骤（1）所述质量比较高的判定标准为：场景中存在多种类型的事物且场景变化大场景中的车辆和行人处于不断变化过程中。
作为本发明的进一步技术方案，步骤（2）提取特征的过程为：
Figure 170425DEST_PATH_IMAGE001
Figure 383100DEST_PATH_IMAGE002
其中，
Figure 650134DEST_PATH_IMAGE003
代表第index个摄像机，
Figure 176930DEST_PATH_IMAGE004
代表ResNet网络，
Figure 911055DEST_PATH_IMAGE005
代表第index个摄像机产生的多尺度特征，3,4,5代表ResNet网络第3,4,5个ResBlock输出 的特征层；
Figure 232315DEST_PATH_IMAGE006
代表将输出的特征在通道上叠加；
Figure 48961DEST_PATH_IMAGE007
代表卷积操作，将输出的特征降低维 度，从而使得特征语义性更强；
Figure 520394DEST_PATH_IMAGE008
代表第index个摄像头产生的多尺度特 征聚合。
作为本发明的进一步技术方案，步骤（3）所述运动信息感知模块感知的运动信息为：
Figure 43779DEST_PATH_IMAGE009
Figure 332678DEST_PATH_IMAGE010
；
将运动信息转化为物体检测特征的过程为：
Figure 574304DEST_PATH_IMAGE011
Figure 239640DEST_PATH_IMAGE012
其中，
Figure 617532DEST_PATH_IMAGE013
代表第index个摄像头的多尺度时空特征，
Figure 673737DEST_PATH_IMAGE014
代表3D卷积组成的Blocks，包含3DConv、BN和Relu，
Figure 199396DEST_PATH_IMAGE015
代表网络的输出，
Figure 606107DEST_PATH_IMAGE016
表示***边界框，
Figure 431981DEST_PATH_IMAGE017
表示类别信息，
Figure 265944DEST_PATH_IMAGE018
表示***边界框形成的掩膜；
Figure 482162DEST_PATH_IMAGE019
代表 Add、norm以及forward层组成的Block。
作为本发明的进一步技术方案，步骤（4）的具体过程为：
Figure 489301DEST_PATH_IMAGE020
Figure 841785DEST_PATH_IMAGE021
其中，
Figure 646318DEST_PATH_IMAGE022
代表将***边界框和类别信息以及掩膜信息与特征 进行映射，从而得到基于proposal的特征信息
Figure 84252DEST_PATH_IMAGE023
；
Figure 895082DEST_PATH_IMAGE024
代表在特征生成 的过程中引入位置信息；
Figure 102073DEST_PATH_IMAGE025
代表当前物体所处的位置进行编码。
作为本发明的进一步技术方案，步骤（5）的具体过程为：
Figure 543418DEST_PATH_IMAGE026
Figure 796545DEST_PATH_IMAGE027
Figure 817591DEST_PATH_IMAGE028
Figure 209913DEST_PATH_IMAGE029
其中，
Figure 353319DEST_PATH_IMAGE030
表示在包含空间位置特征信息中引入时序信息，
Figure 500266DEST_PATH_IMAGE031
代表 将特征进行拆分并加权；
Figure 652899DEST_PATH_IMAGE032
进行帧间加权后的proposal特征；
Figure 834482DEST_PATH_IMAGE033
代表自 注意力机制，
Figure 414368DEST_PATH_IMAGE034
代表sigmoid函数。
作为本发明的进一步技术方案，步骤（6）得到的当前物体与周围物体之间的关系为：
Figure 314190DEST_PATH_IMAGE035
其中，
Figure 70181DEST_PATH_IMAGE036
代表输出的类别信息，
Figure 168587DEST_PATH_IMAGE037
代表对类别信息进行统计，采用统计条 件概率的方式计算排名，即计算该类别在整个数据集中出现的概率，出现的次数越多，证明 该物体的重要性跟高；
Figure 857058DEST_PATH_IMAGE038
代表将类别信息转化为图关系建模的邻接矩阵；
Figure 40914DEST_PATH_IMAGE039
代表将类别数据进行编码，从而能够输入到网络中；
Figure 145137DEST_PATH_IMAGE040
代表计算特征间关系约束；
Figure 301311DEST_PATH_IMAGE041
代 表softmax函数。
作为本发明的进一步技术方案，步骤（7）输出的重要性排名结果为：
Figure 488579DEST_PATH_IMAGE042
其中
Figure 97415DEST_PATH_IMAGE043
代表全局池化层。
与现有技术相比，本发明解决了目前多摄像头只能提供多角度的展示，并不能实现协同智能化推荐和提醒的问题，能够将周围环境中存在的人、车辆等进行重要性排名，从而依据重要性程度排名的提醒驾驶员注意，实现辅助驾驶的智能化，不仅能够实现单一车辆的驾驶辅助，同时能够实现智能化监控，而且本发明提出的重要性排名技术能用于智慧工厂中安全生产，针对智慧工厂中重要的事件提醒工人注意。
附图说明
图1为本发明实现多角度相机协同重要性排名约束的辅助驾驶的流程框图。
图2为本发明提实现多角度相机协同重要性排名约束的辅助驾驶的网络框架示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
实施例：
本实施例采用图1所示的流程和图2所示的网络实现多角度相机协同重要性排名约束的辅助驾驶系，具体实施包括如下步骤：
（1）构建多角度相机协同重要性排名约束的辅助驾驶***视频数据集
为构建多角度相机协同重要性排名约束的辅助驾驶数据集，通过将车辆行驶过程中产生的道路监控视频数据，并挑选质量比较高的作为训练数据，其中质量比较高的判定标准为：场景足够复杂，即场景中存在多种类型的事物，如车辆，行人等；场景变化大，即场景中的车辆和行人处于不断变化过程中；结合上述收集的数据，采用框标注的方式将每个物体标注类别，为了收集不同类别物体的重要性，本实施例采用眼动仪的方式标注，即，标注人员在观看驾驶视频的过程中，收集标注人员的眼动数据，在收集完成之后，对数据进行汇总，从而判定当前物体的重要性排名；
（2）多角度相机协同约束特征提取
目前辅助驾驶往往基于单一摄像头，或者多个单一摄像头，没有形成联合的摄像头***，因此，造成车辆无法同时感知周围环境并根据周围环境及时做出驾驶调整，而多台摄像机之间存在非常紧密的联系，如果能够充分挖掘摄像头之间的协同关系，从而辅助驾驶员驾驶将对保证驾驶员安全具有非常重要的意义，同时车辆行驶过程中，物体的多尺度信息同样非常重要，因为不同大小的物体具有不同的尺度，如果在检测过程中能够引入多尺度信息将非常与助于检测到车辆行驶过程中的物体，本实施例提取多尺度特征的过程为：
Figure 129962DEST_PATH_IMAGE001
Figure 140643DEST_PATH_IMAGE002
其中，
Figure 275042DEST_PATH_IMAGE003
代表第index个摄像机，
Figure 433491DEST_PATH_IMAGE004
代表ResNet网络，
Figure 207412DEST_PATH_IMAGE005
代表第index个摄像机产生的多尺度特征，3,4,5代表ResNet网络第3,4,5个ResBlock输出 的特征层；
Figure 541441DEST_PATH_IMAGE006
代表将输出的特征在通道上叠加；
Figure 8195DEST_PATH_IMAGE007
代表卷积操作，将输出的特征降低维 度，从而使得特征语义性更强；
Figure 326044DEST_PATH_IMAGE008
代表第index个摄像头产生的多尺度特 征聚合；
（3）多角度相机协同约束物体检测
为检测车辆行驶过程中的物体，本实施例采用运动信息感知的方式检测物体，由 于大多数物体处于运动的过程中，在网络的设计方面引入了运动信息感知模块
Figure 965972DEST_PATH_IMAGE014
，运动信息感知模块
Figure 951246DEST_PATH_IMAGE014
感知到运动信息后，需要将运动信息转化为 物体检测特征，为充分挖掘特征之间的相似性约束，采用相机间像素级关系约束计算相似 度的基础上，引入图关系建模，引入的图关系能够将相似性约束以邻接矩阵的方式记忆下 来，从而保证相机间相似性约束能够在其内部循环约束，具体为：
Figure 388568DEST_PATH_IMAGE009
Figure 193713DEST_PATH_IMAGE010
；
Figure 965229DEST_PATH_IMAGE011
Figure 867326DEST_PATH_IMAGE012
其中，
Figure 551248DEST_PATH_IMAGE013
代表第index个摄像头的多尺度时空特征，
Figure 109268DEST_PATH_IMAGE014
代表3D卷积组成的Blocks，包含3DConv、BN和Relu，
Figure 825420DEST_PATH_IMAGE015
代表网络的输出，
Figure 785286DEST_PATH_IMAGE016
表示***边界框，
Figure 423465DEST_PATH_IMAGE017
表示类别信息，
Figure 203203DEST_PATH_IMAGE018
表示***边界框形成的掩膜；
Figure 723046DEST_PATH_IMAGE019
代表 Add、norm以及forward层组成的Block；
（4）基于位置信息的特征编码
虽然步骤（3）能够极大的约束相机间相似性关系约束，但是，其关系约束为基于语义级别的相似性约束，在计算相似度的过程中，将会丢失位置信息，为弥补位置信息丢失造成的检测误差，采用在特征中添加位置信息的方式，来保证能够将准确的定位信息引入到特征维度，具体为：
Figure 599735DEST_PATH_IMAGE020
Figure 218935DEST_PATH_IMAGE021
其中，
Figure 548285DEST_PATH_IMAGE022
代表将***边界框和类别信息以及掩膜信息与特征 进行映射，从而得到基于proposal的特征信息
Figure 78011DEST_PATH_IMAGE023
；
Figure 746890DEST_PATH_IMAGE024
代表在特征生成 的过程中引入位置信息；
Figure 864887DEST_PATH_IMAGE044
代表当前物体所处的位置进行编码；
（5）基于物体级特征关系建模
通过步骤（4）得到基于位置信息编码的像素级关系约束后，接下来需要将相邻帧间物体级约束关系进行建模，与步骤3）像素级关系约束不同，物体级帧间关系约束仅仅为局部区域的帧间像素约束，其仅仅需要对比当前物体在不同帧之间的差异，从而将当前物体加权：
Figure 619217DEST_PATH_IMAGE026
Figure 480862DEST_PATH_IMAGE027
Figure 4248DEST_PATH_IMAGE028
Figure 27567DEST_PATH_IMAGE029
其中，
Figure 597089DEST_PATH_IMAGE045
表示在包含空间位置特征信息中引入时序信息，
Figure 937459DEST_PATH_IMAGE031
代表 将特征进行拆分并加权；
Figure 377668DEST_PATH_IMAGE032
进行帧间加权后的proposal特征；
Figure 40730DEST_PATH_IMAGE033
代表自 注意力机制，
Figure 504072DEST_PATH_IMAGE034
代表sigmoid函数；
（6）基于图关系迭代的多角度物体级排名
通过步骤（5）方式建模的关系为物体级帧间关系约束，而重要性排名为物体间约束关系建模，因此，在建模中引入基于类别信息约束的物体间特征约束，通过计算物体之间的特征之间的相似度，判定当前物体与周围物体之间的关系：
Figure 848466DEST_PATH_IMAGE035
其中，
Figure 205498DEST_PATH_IMAGE036
代表输出的类别信息，
Figure 977145DEST_PATH_IMAGE037
代表对类别信息进行统计，采用统计条 件概率的方式计算排名，即计算该类别在整个数据集中出现的概率，出现的次数越多，证明 该物体的重要性跟高；
Figure 52417DEST_PATH_IMAGE038
代表将类别信息转化为图关系建模的邻接矩阵；
Figure 934923DEST_PATH_IMAGE039
代表将类别数据进行编码，从而能够输入到网络中；
Figure 742866DEST_PATH_IMAGE040
代表计算特征间关系约束；
Figure 747731DEST_PATH_IMAGE041
代 表softmax函数；
（7）多角度相机协同重要性排名结果输出
为生成多相机物体间重要性排名，采用将物体间类别关系约束与当前多尺度特征相结合的方式将当前物体级重要性排名结果输出：
Figure 513562DEST_PATH_IMAGE042
其中，
Figure 199758DEST_PATH_IMAGE046
代表最终输出的重要性排名结果，
Figure 531383DEST_PATH_IMAGE043
代表全局池化层；
（8）网络训练
首先，将车辆行驶过程中的多角度拍摄的视频转化为单帧信息，在转化的过程中，采用每间隔5帧取一帧的方式加快处理速度，同时，其标注信息也同样采用间隔标注的方式加快标注速度，整个数据集包含100段车辆行驶过程中的视频段，网络的训练过程为首先将车辆行驶过程中的物体检测出来，然后将检测的结果映射为物体级特征信息，并结合类别信息输出最终的物体级重要性排名，训练完成后将精度最高的模型输出到本地文件；
（9）网络测试
在网络的测试阶段，首先将多角度拍摄的视频裁剪为图片，并将图片输入到本专利的多角度相机协同重要性排名约束网络中，然后加载网络精度最高的模型，并初始化网络参数，网络输出重要性排名结果，从而依据重要性排名的结果对驾驶员的驾驶过程进行重要性预警，从而辅助驾驶员安全驾驶。
本文中未详细描述的网络结构、算法均为本领域通用技术。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，具体过程为：
（1）构建视频数据集：收集车辆行驶过程中产生的道路监控视频数据，并挑选质量比较高的视频数据构建视频数据集，并采用框标注的方式将每个物体标注类别；质量比较高的判定标准为：场景中存在多种类型的事物且场景变化大场景中的车辆和行人处于不断变化过程中；
（2）多角度相机协同约束特征提取：将不同相机的视频数据输入特征提取网络对物体进行多角度相机协同约束特征提取，得到物体的多尺度特征信息；
（3）多角度相机协同约束物体检测：将步骤（2）得到的多尺度特征输入运动信息感知模块，运动信息感知模块感知到运动信息后，将运动信息转化为物体检测特征，采用相机间像素级关系约束计算相似度的基础上，引入图关系建模，通过引入的图关系将相似性约束以邻接矩阵的方式记忆下来，从而保证相机间相似性约束能够在其内部循环约束；
（4）基于位置信息的特征编码：在步骤（3）得到的特征中通过添加位置信息的方式将准确的定位信息引入到特征维度，得到基于位置信息编码的像素级关系约束；
（5）基于物体级特征关系建模：将相邻帧间物体级约束关系进行建模，通过对比当前物体在不同帧之间的差异将当前物体加权，得到物体级帧间关系约束；
（6）基于图关系迭代的多角度物体级排名：在步骤（5）的基础上引入基于类别信息约束的物体间特征约束，通过计算物体之间的特征之间的相似度，判定当前物体与周围物体之间的关系；
（7）多角度相机协同重要性排名结果输出：采用将物体间类别关系约束与当前多尺度特征相结合的方式将当前物体级重要性排名结果输出；
（8）网络训练：先将车辆行驶过程中的多角度拍摄的视频转化为单帧信息，整个数据集包含100段车辆行驶过程中的视频段，网络训练时，先将车辆行驶过程中的物体检测出来，然后将检测的结果映射为物体级特征信息，并结合类别信息输出最终的物体级重要性排名，训练完成后将精度最高的模型输出到本地文件；
（9）网络测试：在网络的测试阶段，先将多角度拍摄的视频裁剪为图片后输入网络中，再加载网络精度最高的模型，并初始化网络参数，输出重要性排名结果，实现多角度相机协同重要性排名约束的辅助驾驶。
2.根据权利要求1所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（2）提取特征的过程为：
Figure 119946DEST_PATH_IMAGE001
Figure 974769DEST_PATH_IMAGE002
其中，
Figure 705571DEST_PATH_IMAGE003
代表第index个摄像机，
Figure 38464DEST_PATH_IMAGE004
代表ResNet网络，
Figure 39787DEST_PATH_IMAGE005
代表第 index个摄像机产生的多尺度特征，3,4,5代表ResNet网络第3,4,5个ResBlock输出的特征 层；
Figure 799932DEST_PATH_IMAGE006
代表将输出的特征在通道上叠加；
Figure 755381DEST_PATH_IMAGE007
代表卷积操作，将输出的特征降低维度，从 而使得特征语义性更强；
Figure 891964DEST_PATH_IMAGE008
代表第index个摄像头产生的多尺度特征聚 合。
3.根据权利要求2所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（3）所述运动信息感知模块感知的运动信息为：
Figure 747794DEST_PATH_IMAGE009
Figure 678841DEST_PATH_IMAGE010
；
将运动信息转化为物体检测特征的过程为：
Figure 124515DEST_PATH_IMAGE011
Figure 189423DEST_PATH_IMAGE012
其中，
Figure 916071DEST_PATH_IMAGE013
代表第index个摄像头的多尺度时空特征，
Figure 299910DEST_PATH_IMAGE014
代表 3D卷积组成的Blocks，包含3DConv、BN和Relu，
Figure 479219DEST_PATH_IMAGE015
代表网络的输出，
Figure 941293DEST_PATH_IMAGE016
表示***边界框，
Figure 522447DEST_PATH_IMAGE017
表示类别信息，
Figure 543099DEST_PATH_IMAGE018
表示***边界框形成的掩膜；
Figure 209704DEST_PATH_IMAGE019
代表Add、 norm以及forward层组成的Block。
4.根据权利要求3所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（4）的具体过程为：
Figure 741048DEST_PATH_IMAGE020
Figure 911129DEST_PATH_IMAGE021
其中，
Figure 636771DEST_PATH_IMAGE022
代表将***边界框和类别信息以及掩膜信息与特征进行 映射，从而得到基于proposal的特征信息
Figure 525093DEST_PATH_IMAGE023
；
Figure 594549DEST_PATH_IMAGE024
代表在特征生成的过 程中引入位置信息；
Figure 884716DEST_PATH_IMAGE025
代表当前物体所处的位置进行编码。
5.根据权利要求4所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（5）的具体过程为：
Figure 241311DEST_PATH_IMAGE026
Figure 616929DEST_PATH_IMAGE027
Figure 224497DEST_PATH_IMAGE028
Figure DEST_PATH_IMAGE030A
其中，
Figure 260848DEST_PATH_IMAGE031
表示在包含空间位置特征信息中引入时序信息，
Figure 826827DEST_PATH_IMAGE032
代表将特 征进行拆分并加权；
Figure 689741DEST_PATH_IMAGE033
进行帧间加权后的proposal特征；
Figure 599535DEST_PATH_IMAGE034
代表自注意 力机制，
Figure 598715DEST_PATH_IMAGE035
代表sigmoid函数。
6.根据权利要求5所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（6）得到的当前物体与周围物体之间的关系为：
Figure 210962DEST_PATH_IMAGE036
其中，
Figure 420226DEST_PATH_IMAGE037
代表输出的类别信息，
Figure 277586DEST_PATH_IMAGE038
代表对类别信息进行统计，采用统计条件概 率的方式计算排名，即计算该类别在整个数据集中出现的概率，出现的次数越多，证明该物 体的重要性跟高；
Figure 646120DEST_PATH_IMAGE039
代表将类别信息转化为图关系建模的邻接矩阵；
Figure 773476DEST_PATH_IMAGE040
代表 将类别数据进行编码，从而能够输入到网络中；
Figure 470036DEST_PATH_IMAGE041
代表计算特征间关系约束；
Figure 727492DEST_PATH_IMAGE042
代表 softmax函数。
7.根据权利要求6所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（7）输出的重要性排名结果为：
Figure 357056DEST_PATH_IMAGE043
其中
Figure DEST_PATH_IMAGE044
代表全局池化层。
CN202211381250.5A 2022-11-07 2022-11-07 多角度相机协同重要性排名约束的辅助驾驶方法 Active CN115424187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211381250.5A CN115424187B (zh) 2022-11-07 2022-11-07 多角度相机协同重要性排名约束的辅助驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211381250.5A CN115424187B (zh) 2022-11-07 2022-11-07 多角度相机协同重要性排名约束的辅助驾驶方法

Publications (2)

Publication Number Publication Date
CN115424187A CN115424187A (zh) 2022-12-02
CN115424187B true CN115424187B (zh) 2023-03-24

Family

ID=84208265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211381250.5A Active CN115424187B (zh) 2022-11-07 2022-11-07 多角度相机协同重要性排名约束的辅助驾驶方法

Country Status (1)

Country Link
CN (1) CN115424187B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758270A (zh) * 2022-03-22 2022-07-15 同济大学 一种基于深度学习的跟随车驾驶辅助***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383252B (zh) * 2018-12-29 2023-03-24 曜科智能科技（上海）有限公司 多相机目标追踪方法、***、装置及存储介质
CN110414340A (zh) * 2019-06-21 2019-11-05 武汉四创自动控制技术有限责任公司 一种船闸监控***中的船舶识别方法
US20210201145A1 (en) * 2019-12-31 2021-07-01 Nvidia Corporation Three-dimensional intersection structure prediction for autonomous driving applications
US20220188695A1 (en) * 2020-12-16 2022-06-16 Argo AI, LLC Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758270A (zh) * 2022-03-22 2022-07-15 同济大学 一种基于深度学习的跟随车驾驶辅助***

Also Published As

Publication number Publication date
CN115424187A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
Guizilini et al. Semantically-guided representation learning for self-supervised monocular depth
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN110688905A (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN110781850A (zh) 道路识别的语义分割***和方法、计算机存储介质
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、***及设备
CN116229452B (zh) 一种基于改进的多尺度特征融合的点云三维目标检测方法
CN112861619A (zh) 模型的训练方法、车道线检测方法、设备及装置
CN112651423A (zh) 一种智能视觉***
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
Liu et al. Self-supervised monocular depth estimation with self-reference distillation and disparity offset refinement
CN113312973A (zh) 一种手势识别关键点特征提取方法及***
He et al. Learning scene dynamics from point cloud sequences
CN110751076A (zh) 车辆检测方法
CN115410162A (zh) 一种复杂城市道路环境下的多目标检测与跟踪算法
CN113313031A (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN116310916A (zh) 一种高分辨率遥感城市图像语义分割方法及***
CN113361528B (zh) 一种多尺度目标检测方法及***
CN114037684A (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN115424187B (zh) 多角度相机协同重要性排名约束的辅助驾驶方法
CN117079237A (zh) 一种自监督的单目车距检测方法
CN116934820A (zh) 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及***
CN113191944B (zh) 一种多通道图像内容特征融合风格迁移方法及***
CN115410055A (zh) 一种基于深度学习的行人入侵检测***及方法
CN116958876B (zh) 一种基于多光谱双目立体视觉的视频异常行为检测方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant