CN111860425B - 一种深度多模态跨层交叉融合方法、终端设备及存储介质 - Google Patents
一种深度多模态跨层交叉融合方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111860425B CN111860425B CN202010752038.XA CN202010752038A CN111860425B CN 111860425 B CN111860425 B CN 111860425B CN 202010752038 A CN202010752038 A CN 202010752038A CN 111860425 B CN111860425 B CN 111860425B
- Authority
- CN
- China
- Prior art keywords
- layer
- fusion
- feature
- rgb
- lidar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 180
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000003709 image segmentation Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种深度多模态跨层交叉融合方法、终端设备及存储介质,所述方法包括:获取包含车道线的RGB图像和点云数据,并进行预处理;将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型,输出图像分割结果;所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。本发明的方法将当前模态的当前层的特征与另一模态的后续所有层特征进行融合,既能将相似的或者相近的特征进行融合,也能将不相似的或者不相近的特征进行融合,对特征进行充分全面的融合;所有融合连接通过一个可学习的参数进行控制,使得融合更加灵活和智能,不用预设和固定融合方式;能够提高图像分割的准确度。
Description
技术领域
本发明属于无人驾驶技术领域,具体涉及一种深度多模态跨层交叉融合方法、终端设备及存储介质。
背景技术
近年来,无人驾驶技术发展迅速,汽车依赖于多种传感器对周围环境进行感知,这就涉及到多传感器数据的融合,也即多模态融合。多模态数据的融合能够为汽车提供更加精确可靠的信息,提高驾驶的安全性以及鲁棒性。
由于在全天候全场景下单模态数据的有效性获取很难保证,导致基于单模态数据的自动驾驶算法稳定可靠运行面临很大挑战。而无人驾驶对安全性要求高,基于多模态数据融合的自动驾驶技术能够将不同类型传感器的优势互补,被广泛应用于自动驾驶领域。当前,国内外对多模态数据的融合方法有了一定的研究,主要分为前融合、中间融合、后融合以及交叉融合四种融合方式。但这几种方式都存在一定的问题,前融合直接将多个模态原始数据进行融合,没有考虑不同模态数据所处特征表示空间的差异性。中间融合将多个模态数据在中间某一个特征层次上进行融合,而融合的特征未必在一个特征表示空间上。后融合直接在决策层进行融合,即直接融合多个模态的最终结果,没有考虑各个层次特征之间交互融合。交叉融合则是对前、中、后多种融合方式的结合,但是在对应层次融合的特征还是不能保证在同一特征空间。不同模态数据间具有差异性、互补性是融合存在的意义,多模态数据融合对于最终感知结果的影响分为融合增强和融合抑制两种,但是应该在两个不同模态数据特征差异大还是小的时候进行融合会产生融合增强效果目前没有成熟的理论解释和支撑,同时对多模态数据如何进行融合以及融合时机的选择一直也未得到明确的解决。
发明内容
本发明的目的在于克服上述技术缺陷,提供了一种深度多模态跨层交叉融合方法,该融合方式更加灵活,充分考虑到了融合的特征是否在一个特征表示空间上,将特征的融合转化为神经网络参数的学习,让网络自己学习融合方式,使已有的前融合、中间融合、后融合以及交叉融合可以看作是跨层交叉融合的特例。
为实现上述目的,本发明的实施例1提供了一种深度多模态跨层交叉融合方法,所述方法包括:
获取包含车道线的RGB图像和点云数据,并进行预处理;
将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型,输出图像分割结果;所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。
作为上述方法的一种改进,所述RGB图像通过安装在行驶车辆上的前向单目相机或前向单目摄像头获得;该RGB图像包括行驶车辆的行车方向正前方和路面上方的路面图像信息;所述点云数据通过安装在行驶车辆上激光雷达获得,该点云包含行驶车辆的行车方向正前方和路面上方的路面点云信息,其视角范围可通过处理与相机图像对齐;RGB图像和点云数据是同步采集的。
作为上述方法的一种改进,所述语义分割模型为由点云分支和图像分支组成的SkipCrossNet模型,该模型划分为三个融合单元:
第一融合单元,用于对点云数据和RGB图像进行交叉融合;
第二融合单元,用于进行点云Encoder阶段的特征与图像Encoder阶段的特征融合;和
第三融合单元,用于进行点云Decoder阶段的特征与图像Decoder阶段的特征融合。
作为上述方法的一种改进,所述第一融合单元的具体实现过程为:
图像对点云的融合为:
Lidarf=R0*RGB+Lidar
其中,Lidar为获取的点云数据,RGB为获取的RGB图像,Lidarf为融合之后的点云数据,R0为融合参数;
点云对图像的融合为:
RGBf=L0*Lidar+RGB
其中,RGBf为融合之后的图像,L0为融合参数;
将Lidarf和RGBf输出至第二融合单元。
作为上述方法的一种改进,所述第二融合单元包括N个融合阶段;第一融合阶段的输入为:第一融合子单元输出的Lidarf和RGBf;第i融合阶段的输入为第i-1融合阶段的输出;第N融合阶段的输出为第三融合单元的输入;每个融合阶段的融合次数预先设定;
当一个融合阶段的融合次数为M时,该融合阶段的具体实现过程为:
对于点云分支,将Lidar Block的第一层特征与RGB Block的第一层特征进行融合:
Lidar_LE_Feature2=S11*RGB_LE_feature1+Lidar_LE_feature1
其中,Lidar_LE_Feature2表示Lidar Block的第二层特征,Lidar_LD_feature1表示Lidar Block的第一层特征,即输入该融合阶段的点云特征;RGB_LD_feature1表示RGBBlock的第一层特征,即输入该融合阶段的图像特征,S11表示RGB Block的第一层特征与Lidar Block的第一层特征的融合参数;
当2≤m≤M-1时,将Lidar Block的第m层特征与RGB Block的前m层所有特征进行融合,得到Lidar Block的第m+1层特征Lidar_LE_Featurem:
其中,RGB_LE_Featurek表示RGB Block的第k层特征,Sk,m表示RGB Block的第k层特征与Lidar Block的第m层特征的融合参数;Lidar_LE_Featurem表示Lidar Block的第m层特征;
对于图像分支,将RGB Block的第一层特征与Lidar Block的第一层特征进行融合:
RGB_LE_Feature2=T11*Lidar_LE_feature1+RGB_LE_feature1
其中,RGB_LE_Feature2表示RGB Block的第二层特征,T11表示Lidar Block的第一层特征与RGB Block的第一层特征的融合参数;
当2≤m≤M-1时,将RGB Block的第m层特征与Lidar Block的前m层所有特征进行融合,得到RGB Block的第m+1层特征RGB_LE_Featurem:
其中,Lidar_LE_Featurek表示Lidar Block的第k层特征,Tk,m表示Lidar Block的第k层特征与RGB Block的第m层特征的融合参数;RGB_LE_Featurem表示RGB Block的第m层特征;
该融合阶段的输出为Lidar_LE_FeatureM和RGB_LE_FearureM。
作为上述方法的一种改进,所述第三融合单元的具体实现过程为:
将点云Decoder阶段的第一层特征与图像Decoder阶段的第一层特征进行融合:
Lidar_LD_Feature2=R1*RGB_LD_feature1+Lidar_LD_feature1
其中,Lidar_LD_Feature2表示点云Decoder阶段的第二层特征,RGB_LD_feature1表示图像Decoder阶段的第一层特征,即第二融合单元输出的图像特征,Lidar_LD_feature1表示点云Decoder阶段的第一层特征,即第二融合单元输出的点云特征,R1表示图像Decoder阶段的第一层特征与点云Decoder阶段的第一层特征的融合参数;
将图像Decoder阶段的第一层特征与点云Decoder阶段的第一层特征进行融合:
RGB_LD_Feature2=L1*Lidar_LD_feature1+RGB_LD_feature1
其中,RGB_LD1_Featuref表示图像Decoder阶段的第二层特征;L1表示点云Decoder阶段的第一层特征与图形Decoder阶段的第一层特征的融合参数;
当2≤i≤N-1时,将点云Decoder阶段的第i层特征与图像Decoder阶段的第i层特征进行融合:
Lidar_LD_Featurei+1=Ri*RGB_LD_featurei+Lidar_LD_featurei
其中,Lidar_LD_Featurei+1表示点云Decoder阶段的第i+1层特征,RGB_LD_featurei表示图像Decoder阶段的第i层特征,Lidar_LD_featurei表示点云Decoder阶段的第i层特征,Ri表示图像Decoder阶段的第i层特征与点云Decoder阶段的第i层特征的融合参数;
将图像Decoder阶段的第i层特征与点云Decoder阶段的第i层特征进行融合:
RGB_LD_Featurei+1=Li*Lidar_LD_featurei+RGB_LD_featurei
其中,RGB_LD_Featurei+1表示图像Decoder阶段的第i+1层特征;Li表示点云Decoder阶段的第i层特征与图像Decoder阶段的第i层特征的融合参数;
第三融合单元的输出Output为:
Output=LN*Lidar_LD_FeatureN+RNRGB_LD_FeatureN
其中,Lidar_LD_FeatureN表示点云Decoder阶段的第N层特征,RGB_LD_FeatureN示图像Decoder阶段的第N层特征,LN和RN表示点云Decoder阶段第N层的融合参数。
作为上述方法的一种改进,所述方法还包括:建立训练集,对所述语义分割模型进行训练,得到其中的融合参数,融合参数的取值范围均为[0,1]。
本发明的实施例3提供了一种终端设备,包括:包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述的方法。
本发明的实施例4提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述的方法。
本发明的优势在于:
1、本发明的方法将当前模态的当前层的特征与另一模态的后续所有层特征进行融合,既能将相似的或者相近的特征进行融合,也能将不相似的或者不相近的特征进行融合,对特征进行充分全面的融合;所有融合连接通过可学习的参数进行控制,使得融合更加灵活和智能,不用预设和固定融合方式;
2、本发明的方法能够提高图像分割以及其他模式识别任务的准确度。
附图说明
图1为本发明实施例1提供的深度多模态跨层交叉融合方法的流程图;
图2为本发明实施例1提供的深度跨层交叉融合方法的结构图;
图3为本发明实施例1提供的SkipCrossNet模型结构图;
图4为本发明实施例1提供的跨层交叉融合的三个阶段的示意图;
图5为本发明实施例2提供的深度多模态跨层交叉融合***的构成的示意图;
图6为本发明的实施例3提供的终端设备的示意图。
具体实施方式
对本申请技术方案进行清楚、完整地描述。应当理解,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
其次,此处所称的“一个实施例”或“实施例”是指可以包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
如图1所示,本发明的实施例1提出了一种深度多模态跨层交叉融合方法,具体包括步骤:
S101:获取携带有车道线的单目RGB图像和点云数据;
采用安装在行驶车辆上的前向单目相机或前向单目摄像头采集路面图像信息。前向单目相机采集的是行驶车辆的行车方向正前方和路面上方的路面图像信息。即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。
在本示例中,路面图像信息和路面点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后,标定它们的相对位置姿态,同时开始对同一路面开始路面数据信息采集。
为了便于计算,本发明下述实施例中所涉及的点云,均为360°点云中正对车辆前方,即图像所在方向的部分。并且,由于相机和激光雷达已经完成标定,可以确定点云投影到像素平面的转换矩阵,以方便后续点云信息和图像信息的处理。由于点云数据视野一般大于相机图像,因此按相机图像视野范围和数据尺寸对点云投影图像进行裁剪,获得与RGB图像相同尺寸的点云图像数据。
S102:构造语义分割模型,对RGB图像和点云数据实现跨层交叉融合;
跨层交叉融合的跨层指的是点云语义分割分支中的当前层的特征不仅与图像分支的同层特征进行融合(这是前融合、中间融合、后融合以及交叉融合采用的方式),而且与图像分支的后续所有层特征进行融合,并且每一个融合连接都通过一个可学习参数来进行控制;交叉指的是点云分支的特征向图像分支进行融合,同时图像分支的特征也向点云分支进行融合;其中的融合参数为[0,1]之间的浮点数,为0表示不进行融合,否则表示进行融合。
跨层交叉融合在神经网络内进行,点云分支的每层特征与图像的对应层以及后续所有层的特征进行融合,相应地,图像分支的每层特征与点云分支的对应层以及后续所有层的特征进行融合,如图2所示。由于卷积神经网络在提取特征时,自然会形成特征金字塔,特征会逐层变抽象,比较靠近的几层特征会比较相近或者相似,因此在上述基础上,引入了融合阶段(域)的概念,即将整个跨层交叉融合模型划分为多个域,在域内进行跨层交叉融合,因为对于多个模态,一个区域内的特征更加相似或者相近,域的个数以及大小都可以调整,使得跨层交叉融合更灵活和高效,进一步改进了本发明。
语义分割模型可以是任何具有预测功能,或者称为语义分割功能、图像生成功能的神经网络模型,例如全卷积网络(FCN)等。示例性地,作为一种优选方案,考虑选用本发明提出的SkipCrossNet语义分割模型。本文都是基于该模型进行示例说明。如图3所示,SkipCrossNet语义分割模型由点云分支和图像分支组成,其中点云分支和图像分支都由编码器(Encoder)和解码器(Decoder)构成。其中,模型中的融合参数是可训练的参数,取值范围在[0,1]之间,如果为0,表示不需要进行融合,否则进行融合。
具体地,分为三个部分进行说明,如图4所示,分别是输入点云与输入图像的融合,点云Encoder阶段的特征与图像特征的融合,以及点云Decoder阶段的特征与图像Decoder阶段的特征的融合。
第一部分:输入点云与输入图像的融合。
融合采用的是按元素相加,加法不改变特征图的分辨率以及通道数,因此跨层交叉融合不会对网络的参数量几乎没有影响。
示例性地,根据图3,输入点云与图像,图像对点云的融合为:
Lidarf=R0*RGB+Lidar
其中Lidar为所述的点云,RGB为所述的图像,Lidarf为融合之后的点云,R0为融合参数。
点云对图像的融合为:
RGBf=L0*Lidar+RGB
其中,RGBf为融合之后的图像,L0为融合参数。
第二部分:点云Encoder阶段的特征与图像Encoder阶段的特征的融合。
示例性地,根据图3,获取上述融合后的Lidarf和RGBf,进行点云Encoder阶段的特征与图像Encoder阶段的特征融合。
首先,将点云Encoder阶段和图像Encoder阶段分为3个子阶段,如图3,分别是fusion stage 1、fusion stage 2和fusion stage 3,并不限定为3个,可以为多个。为了方便说明,跨层交叉融合在每个子阶段内进行。
示例性地,根据网络结构图3,在fusion stage 1内,Lidar Block包含有两层,RGBBlock包含有两层。下面对fusion stage1内的点云分支与图像分支分别作说明:
1、对于点云分支,Lidar Block的第一层特征与RGB Block的第一层特征进行融合,得到点云分支融合之后的第一层特征:
Lidar_L1_Featuref=R11*RGB_L1_feature+Lidar_L1_Feature
其中Lidar_L1_Featuref表示点云分支融合之后的第一层特征,Lidar_L1_Feature表示Lidar Block的第一层特征,RGB_L1_feature表示RGB Block的第一层特征,R11表示RGB Block的第一层特征与Lidar Block的第一层特征的融合参数。
Lidar Block的第二层特征与RGB Block的第一层特征和第二层特征进行融合,得到点云分支融合之后的第二层特征:
Lidar_L2_Featuref
=R12*RGB_L1_feature+R22*RGB_L2_feature+Lidar_L2_Feature
其中Lidar_L2_Featuref表示点云分支融合之后的第二层特征,RGB_L2_Feature表示RGB Block的第二层特征,Lidar_L2_feature表示Lidar Block的第二层特征,R12表示RGB Block的第一层特征与Lidar Block的第二层特征的融合参数,R22表示RGB Block的第二层特征与Lidar Block的第二层特征的融合参数。
2、对于图像分支,RGB Block的第一层特征与Lidar Block的第一层特征进行融合,得到图像分支融合之后的第一层特征:
RGB_L1_Featuref=L11*Lidar_L1_feature+RGB_L1_Feature
其中RGB_L1_Featuref表示图像分支融合之后的第一层特征,RGB_L1_Feature表示RGB Block的第一层特征,Lidar_L1_feature表示Lidar Block的第一层特征,L11表示Lidar Block的第一层特征与RGB Block的第一层特征的融合参数。
RGB Block的第二层特征与Lidar Block的第一层特征和第二层特征进行融合,得到图像分支融合之后的第二层特征:
RGB_L2_Featuref
=L12*Lidar_L1_feature+L22*Lidar_L2_feature+RGB_L2_Feature
其中RGB_L2_Featuref表示图像分支融合之后的第二层特征,RGB_L2_Feature表示RGB Block的第二层特征,Lidar_L2_feature表示Lidar Block的第二层特征,L12表示Lidar Block的第一层特征与RGB Block的第二层特征的融合参数,L22表示Lidar Block的第二层特征与RGB Block的第二层特征的融合参数。
第三部分:点云Decoder阶段的特征与图像Decoder阶段的特征的融合,最终得到语义分割结果。
如图3所示,点云Decoder阶段和图像Decoder阶段各有三层。下面对点云分支与图像分支分别作说明:
1、对于点云分支
点云Decoder阶段的第一层特征与图像Decoder阶段的第一层特征进行融合:
Lidar_LD1_Featuref=R1*RGB_LD1_feature+Lidar_LD1_feature
其中,Lidar_LD1_Featuref表示点云Decoder阶段融合之后的第一层特征,RGB_LD1_feature表示图像Decoder阶段的第一层特征,Lidar_LD1_feature表示点云Decoder阶段的第一层特征,R1表示图像Decoder阶段的第一层特征与点云Decoder阶段的第一层特征的融合参数。
点云Decoder阶段的第二层特征与图像Decoder阶段的第二层特征进行融合:
Lidar_LD2_Featuref=R2*RGB_LD2_feature+Lidar_LD2_feature
其中,Lidar_LD2_Featuref表示点云Decoder阶段融合之后的第二层特征,RGB_LD2_feature表示图像Decoder阶段的第二层特征,Lidar_LD2_feature表示点云Decoder阶段的第二层特征,R2表示图像Decoder阶段的第二层特征与点云Decoder阶段的第二层特征的融合参数。
2、图像分支
图像Decoder阶段的第一层特征与点云Decoder阶段的第一层特征进行融合:
RGB_LD1_Featuref=L1*Lidar_LD1_feature+RGB_LD1_feature
其中,RGB_LD1_Featuref表示图像Decoder阶段融合之后的第一层特征,Lidar_LD1_feature表示点云Decoder阶段的第一层特征,RGB_LD1_feature表示图像Decoder阶段的第一层特征,L1表示点云Decoder阶段的第一层特征与图形Decoder阶段的第一层特征的融合参数。
图像Decoder阶段的第二层特征RGB_Decoder_L2_Feature与点云Decoder阶段的第二层特征Lidar_Decoder_L2_Feature进行融合:
RGB_LD2_Featuref=L2*Lidar_LD2_feature+RGB_LD2_feature
其中,RGB_LD2_Featuref表示图像Decoder阶段融合之后的第二层特征,Lidar_LD2_feature表示点云Decoder阶段的第二层特征,RGB_LD2_feature表示图像Decoder阶段的第二层特征,L2表示点云Decoder阶段的第二层特征与图像Decoder阶段的第二层特征的融合参数。
对于Decoder阶段的第三层,是整个网络最后一层融合层:
Output=L3*Lidar_LD3_feature+R3RGB_LD3_feature
其中,Output表示第三层的融合输出,Lidar_LD3_feature表示点云Decoder阶段的第三层特征,RGB_LD3_feature表示图像Decoder阶段的第三层特征,L3表示点云Decoder阶段的第三层特征与图像Decoder阶段的第三层特征的融合参数。
Decoder阶段的融合次数与Encoder阶段的fusion stage的个数相同。
神经网络模型可以是经过预训练的,也可以是根据本地数据进行训练的。下面描述神经网络模型的示例性训练流程。
示例性地,对于预处理流程,规定点云的输入尺寸为(512,256,1),规定图像的输入尺寸为(512,256,3)。对点云和图像进行预设的裁剪,以符合网络的输入要求。
本领域技术人员可以理解为神经网络模型的训练过程,本文不对此进行赘述,简单描述如下。
示例性地,基于工具PyTorch实现的神经网络,将样本点云和图像添加到inputs列表中作为输入,设定网络的批处理数量、训练轮次数等需要人工预设的超参数后,开始训练,编码器将计算得到中间层的隐向量,再有解码器解码得到图像,同目标输出作比较,根据损失函数计算出损失值loss以后,在反向传播步骤更新网络参数,从而完成一轮训练。当训练到一定轮次后,损失值将不再下降或在某一个值附近振荡,此时可以停止训练。
示例性地,对于神经网络的损失函数和激活函数,本实施例采用常用的交叉熵作为损失函数,Softmax和ReLu作为激活函数。应当理解,这里也可以替换为其他函数,但可能会对神经网络的性能带来部分影响。
当神经网络完成训练后,可以开始测试新的图像。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
S103:语义分割模型输出图像分割结果,可以用于车道线分割以及道路分割等。
实施例2
如图5所示,本发明的实施例2公开一种深度多模态跨层交叉融合***,该***包括点云采集模块、图像采集模块、跨层交叉融合模块和分割结果输出模块,其中:
点云采集模块,用于采集激光雷达点云数据;
图像采集模块,用于采集车载摄像头拍摄的路面上的RGB图像;
跨层交叉融合模块,用于通过语义分割模型对预处理后的RGB图像和点云数据进行交叉融合;所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合点云数据和RGB图像进行融合处理,包括三个子部分:输入点云与输入图像的融合,点云Encoder阶段的特征与图像Encoder阶段的特征的融合,以及点云Decoder阶段的特征与图像Decoder阶段的特征的融合;
分割结果输出模块,用于输出图像分割结果。
实施例3
如图6所示,本发明的实施例3提供的一种终端设备,包括:至少一个处理器301、存储器302、至少一个网络接口303和用户接口304。各个组件通过总线***305耦合在一起。可理解,总线***305用于实现这些组件之间的连接通信。总线***305除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图中将各种总线都标为总线***305。
其中,用户接口304可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(track ball)、触感板或者触摸屏等。
可以理解,本公开实施例中的存储器302可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器302存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作***3021和应用程序3022。
其中,操作***3021,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序3022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序3022中。
在本公开实施例中,通过调用存储器302存储的程序或指令,具体的,可以是应用程序3022中存储的程序或指令,处理器301用于:
执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器301中,或者由处理器301实现。处理器301可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302,处理器301读取存储器302中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例4
本发明实施例4提供一种非易失性存储介质,用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。本发明可以借助于包括有不同计算步骤的算法来实现,实施例中列举的简单的算法不应被视为对本发明所要求权利的限制。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种深度多模态跨层交叉融合方法,所述方法包括:
获取包含车道线的RGB图像和点云数据,并进行预处理;
将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型,输出图像分割结果;所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合;
所述语义分割模型为由点云分支和图像分支组成的SkipCrossNet模型,该模型划分为三个融合单元:
第一融合单元,用于对点云数据和RGB图像进行交叉融合;
第二融合单元,用于进行点云Encoder阶段的特征与图像Encoder阶段的特征融合;和
第三融合单元,用于进行点云Decoder阶段的特征与图像Decoder阶段的特征融合。
2.根据权利要求1所述的深度多模态跨层交叉融合方法,其特征在于,所述RGB图像通过安装在行驶车辆上的前向单目相机或前向单目摄像头获得;该RGB图像包括行驶车辆的行车方向正前方和路面上方的路面图像信息;所述点云数据通过安装在行驶车辆上激光雷达获得;RGB图像和点云数据是同步采集的。
3.根据权利要求1所述的深度多模态跨层交叉融合方法,其特征在于,所述第一融合单元的具体实现过程为:
图像对点云的融合为:
Lidarf=R0*RGB+Lidar
其中,Lidar为获取的点云数据,RGB为获取的RGB图像,Lidarf为融合之后的点云数据,R0为融合参数;
点云对图像的融合为:
RGBf=L0*Lidar+RGB
其中,RGBf为融合之后的图像,L0为融合参数;
将Lidarf和RGBf输出至第二融合单元。
4.根据权利要求3所述的深度多模态跨层交叉融合方法,其特征在于,所述第二融合单元包括N个融合阶段;第一融合阶段的输入为:第一融合子单元输出的Lidarf和RGBf;第i融合阶段的输入为第i-1融合阶段的输出;第N融合阶段的输出为第三融合单元的输入;每个融合阶段的融合次数预先设定;
当一个融合阶段的融合次数为M时,该融合阶段的具体实现过程为:
对于点云分支,将Lidar Block的第一层特征与RGB Block的第一层特征进行融合:
Lidar_LE_Feature2=S11*RGB_LE_Feature1+Lidar_LE_Feature1
其中,Lidar_LE_Feature2表示Lidar Block的第二层特征,Lidar_LE_Feature1表示Lidar Block的第一层特征,即输入该融合阶段的点云特征;RGB_LE_Feature1表示RGBBlock的第一层特征,即输入该融合阶段的图像特征,S11表示RGB Block的第一层特征与Lidar Block的第一层特征的融合参数;
当2≤m≤M-1时,将Lidar Block的第m层特征与RGB Block的前m层所有特征进行融合,得到Lidar Block的第m+1层特征Lidar_LE_Featurem:
其中,RGB_LE_Featurek表示RGB Block的第k层特征,Sk,m表示RGB Block的第k层特征与Lidar Block的第m层特征的融合参数;Lidar_LE_Featurem表示Lidar Block的第m层特征;
对于图像分支,将RGB Block的第一层特征与Lidar Block的第一层特征进行融合:
RGB_LE_Feature2=T11*Lidar_LE_Feature1+RGB_LE_Feature1
其中,RGB_LE_Feature2表示RGB Block的的第二层特征,T11表示Lidar Block的第一层特征与RGB Block的第一层特征的融合参数;
当2≤m≤M-1时,将RGB Block的第m层特征与Lidar Block的前m层所有特征进行融合,得到RGB Block的第m+1层特征RGB_LE_Featurem:
其中,Lidar_LE_Featurek表示Lidar Block的第k层特征,Tk,m表示Lidar Block的第k层特征与RGB Block的第m层特征的融合参数;RGB_LE_Featurem表示RGB Block的第m层特征;
该融合阶段的输出为Lidar_LE_FeatureM和RGB_LE_FeatureM。
5.根据权利要求4所述的深度多模态跨层交叉融合方法,其特征在于,所述第三融合单元的具体实现过程为:
将点云Decoder阶段的第一层特征与图像Decoder阶段的第一层特征进行融合:
Lidar_LD_Feature2=R1*RGB_LD_feature1+Lidar_LD_Feature1
其中,Lidar_LD_Feature2表示点云Decoder阶段的第二层特征,RGB_LD_Feature1表示图像Decoder阶段的第一层特征,即第二融合单元输出的图像特征,Lidar_LD_Feature1表示点云Decoder阶段的第一层特征,即第二融合单元输出的点云特征,R1表示图像Decoder阶段的第一层特征与点云Decoder阶段的第一层特征的融合参数;
将图像Decoder阶段的第一层特征与点云Decoder阶段的第一层特征进行融合:
RGB_LD_Feature2=L1*Lidar_LD_Feature1+RGB_LD_Feature1
其中,RGB_LD_Feature2表示图像Decoder阶段的第二层特征;L1表示点云Decoder阶段的第一层特征与图形Decoder阶段的第一层特征的融合参数;
当2≤i≤N-1时,将点云Decoder阶段的第i层特征与图像Decoder阶段的第i层特征进行融合:
Lidar_LD_Featurei+1=Ri*RGB_LD_Featurei+Lidar_LD_Featurei
其中,Lidar_LD_Featurei+1表示点云Decoder阶段的第i+1层特征,RGB_LD_Featurei表示图像Decoder阶段的第i层特征,Lidar_LD_Featurei表示点云Decoder阶段的第i层特征,Ri表示图像Decoder阶段的第i层特征与点云Decoder阶段的第i层特征的融合参数;
将图像Decoder阶段的第i层特征与点云Decoder阶段的第i层特征进行融合:
RGB_LD_Featurei+1=Li*Lidar_LD_Featurei+RGB_LD_Featurei
其中,RGB_LD_Featurei+1表示图像Decoder阶段的第i+1层特征;Li表示点云Decoder阶段的第i层特征与图像Decoder阶段的第i层特征的融合参数;
第三融合单元的输出Output为:
Output=LN*Lidar_LD_FeatureN+RN*RGB_LD_FeatureN
其中,Lidar_LD_FeatureN表示点云Decoder阶段的第N层特征,RGB_LD_FeatureN示图像Decoder阶段的第N层特征,LN和RN表示点云Decoder阶段第N层的融合参数。
6.根据权利要求5所述的深度多模态跨层交叉融合方法,其特征在于,所述方法还包括:建立训练集,对所述语义分割模型进行训练,得到其中的融合参数,融合参数的取值范围均为[0,1]。
7.一种终端设备,其特征在于,包括:包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
8.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010752038.XA CN111860425B (zh) | 2020-07-30 | 2020-07-30 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
US17/325,235 US11120276B1 (en) | 2020-07-30 | 2021-05-20 | Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010752038.XA CN111860425B (zh) | 2020-07-30 | 2020-07-30 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860425A CN111860425A (zh) | 2020-10-30 |
CN111860425B true CN111860425B (zh) | 2021-04-09 |
Family
ID=72946573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010752038.XA Active CN111860425B (zh) | 2020-07-30 | 2020-07-30 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11120276B1 (zh) |
CN (1) | CN111860425B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3084631B1 (fr) * | 2018-07-31 | 2021-01-08 | Valeo Schalter & Sensoren Gmbh | Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile |
CN110866526A (zh) * | 2018-08-28 | 2020-03-06 | 北京三星通信技术研究有限公司 | 图像分割方法、电子设备及计算机可读存储介质 |
CN112464773B (zh) * | 2020-11-19 | 2023-06-06 | 浙江吉利控股集团有限公司 | 一种道路类型识别方法、装置及*** |
CN112819833B (zh) * | 2021-02-05 | 2022-07-12 | 四川大学 | 一种大场景点云语义分割方法 |
CN114119671B (zh) * | 2021-12-01 | 2022-09-09 | 清华大学 | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 |
CN114037834B (zh) * | 2021-12-01 | 2022-09-13 | 清华大学 | 一种基于振动信号和rgb图像融合的语义分割方法及装置 |
CN114397638A (zh) * | 2022-01-22 | 2022-04-26 | 深圳市神州云海智能科技有限公司 | 一种激光雷达数据中动态数据的过滤方法及*** |
CN114678105B (zh) * | 2022-03-21 | 2023-10-17 | 南京圣德医疗科技有限公司 | 一种结合人工智能技术自动计算球囊参数的方法 |
CN115035296B (zh) * | 2022-06-15 | 2024-07-12 | 清华大学 | 一种基于鸟瞰投影的飞行汽车3d语义分割方法及*** |
CN115223067B (zh) * | 2022-09-19 | 2022-12-09 | 季华实验室 | 应用于无人机的点云融合方法、装置、设备及存储介质 |
CN115690556B (zh) * | 2022-11-08 | 2023-06-27 | 河北北方学院附属第一医院 | 一种基于多模态影像学特征的图像识别方法及*** |
CN115861601B (zh) * | 2022-12-20 | 2023-12-29 | 清华大学 | 一种多传感器融合感知方法及装置 |
CN116115915B (zh) * | 2023-02-16 | 2023-07-14 | 北京医智影科技有限公司 | 基于多级模态交叉融合网络的剂量验证方法 |
CN118154883A (zh) * | 2024-05-11 | 2024-06-07 | 上海蜜度科技股份有限公司 | 目标语义分割方法、***、存储介质及电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10452959B1 (en) * | 2018-07-20 | 2019-10-22 | Synapse Tehnology Corporation | Multi-perspective detection of objects |
CN110738200A (zh) * | 2019-12-23 | 2020-01-31 | 广州赛特智能科技有限公司 | 车道线3d点云地图构建方法、电子设备及存储介质 |
CN110929696A (zh) * | 2019-12-16 | 2020-03-27 | 中国矿业大学 | 一种基于多模态注意与自适应融合的遥感图像语义分割方法 |
CN111242015A (zh) * | 2020-01-10 | 2020-06-05 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
US20200184718A1 (en) * | 2018-12-05 | 2020-06-11 | Sri International | Multi-modal data fusion for enhanced 3d perception for platforms |
CN111274976A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及*** |
CN111291676A (zh) * | 2020-02-05 | 2020-06-16 | 清华大学 | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 |
CN111339830A (zh) * | 2020-01-20 | 2020-06-26 | 清华大学 | 一种基于多模态数据特征的目标分类方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
US9710714B2 (en) * | 2015-08-03 | 2017-07-18 | Nokia Technologies Oy | Fusion of RGB images and LiDAR data for lane classification |
WO2017132636A1 (en) * | 2016-01-29 | 2017-08-03 | Pointivo, Inc. | Systems and methods for extracting information about objects from scene information |
WO2018165038A1 (en) * | 2017-03-06 | 2018-09-13 | Miso Robotics, Inc. | Augmented reality-enhanced food preparation system and related methods |
EP3616126A4 (en) * | 2017-04-27 | 2020-12-02 | Hewlett-Packard Development Company, L.P. | OBJECT RECOGNITION |
US10614574B2 (en) * | 2017-10-16 | 2020-04-07 | Adobe Inc. | Generating image segmentation data using a multi-branch neural network |
US10824862B2 (en) * | 2017-11-14 | 2020-11-03 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
US11556777B2 (en) * | 2017-11-15 | 2023-01-17 | Uatc, Llc | Continuous convolution and fusion in neural networks |
US10275689B1 (en) * | 2017-12-21 | 2019-04-30 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
US20210118166A1 (en) * | 2019-10-18 | 2021-04-22 | Nvidia Corporation | Pose determination using one or more neural networks |
US10699430B2 (en) * | 2018-10-09 | 2020-06-30 | Industrial Technology Research Institute | Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof |
WO2020097796A1 (en) * | 2018-11-13 | 2020-05-22 | Beijing Didi Infinity Technology And Development Co., Ltd. | Methods and systems for color point cloud generation |
US11494937B2 (en) * | 2018-11-16 | 2022-11-08 | Uatc, Llc | Multi-task multi-sensor fusion for three-dimensional object detection |
US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
US11204417B2 (en) * | 2019-05-08 | 2021-12-21 | GM Global Technology Operations LLC | Selective attention mechanism for improved perception sensor performance in vehicular applications |
US11494930B2 (en) * | 2019-06-17 | 2022-11-08 | SafeAI, Inc. | Techniques for volumetric estimation |
CN110264572B (zh) * | 2019-06-21 | 2021-07-30 | 哈尔滨工业大学 | 一种融合几何特性与力学特性的地形建模方法及*** |
CN110910437B (zh) * | 2019-11-07 | 2021-11-05 | 大连理工大学 | 一种复杂室内场景的深度预测方法 |
-
2020
- 2020-07-30 CN CN202010752038.XA patent/CN111860425B/zh active Active
-
2021
- 2021-05-20 US US17/325,235 patent/US11120276B1/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10452959B1 (en) * | 2018-07-20 | 2019-10-22 | Synapse Tehnology Corporation | Multi-perspective detection of objects |
US20200184718A1 (en) * | 2018-12-05 | 2020-06-11 | Sri International | Multi-modal data fusion for enhanced 3d perception for platforms |
CN110929696A (zh) * | 2019-12-16 | 2020-03-27 | 中国矿业大学 | 一种基于多模态注意与自适应融合的遥感图像语义分割方法 |
CN110738200A (zh) * | 2019-12-23 | 2020-01-31 | 广州赛特智能科技有限公司 | 车道线3d点云地图构建方法、电子设备及存储介质 |
CN111242015A (zh) * | 2020-01-10 | 2020-06-05 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
CN111339830A (zh) * | 2020-01-20 | 2020-06-26 | 清华大学 | 一种基于多模态数据特征的目标分类方法 |
CN111274976A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及*** |
CN111291676A (zh) * | 2020-02-05 | 2020-06-16 | 清华大学 | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 |
Non-Patent Citations (4)
Title |
---|
Semantic segmentation-aided visual odometry for urban autonomous driving;Lifeng An et al;《International Journal of Advanced Robotic Systems》;20170930;第1-11页 * |
Vehicle Detection and Localization using 3D lidar point clous and image semantic segmentation;Rafael Barea et al;《2018 IEEE International Conference on Intelligent Transportation Systems》;20181130;第1-10页 * |
基于深度学习的点云分割方法综述;俞斌等;《计算机工程与应用》;20200131;第38-45页 * |
面向自动驾驶目标检测的深度多模态融合技术;张新钰等;《智能***学报》;20200705;第15卷(第4期);第758-771页 * |
Also Published As
Publication number | Publication date |
---|---|
US11120276B1 (en) | 2021-09-14 |
CN111860425A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860425B (zh) | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 | |
CN112835037B (zh) | 一种基于视觉和毫米波融合的全天候目标检测方法 | |
CN113065590B (zh) | 一种基于注意力机制的视觉与激光雷达多模态数据融合方法 | |
CN107767384B (zh) | 一种基于对抗训练的图像语义分割方法 | |
CN111931929B (zh) | 一种多任务模型的训练方法、装置及存储介质 | |
CN112560972A (zh) | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 | |
CN111507927A (zh) | 在神经网络中统合图像及点云图的方法及装置 | |
Wang et al. | End-to-end self-driving using deep neural networks with multi-auxiliary tasks | |
CN111462129B (zh) | 按网格单元利用加权卷积滤波器的图像分割方法及装置 | |
CN112990050B (zh) | 一种基于轻量级特征金字塔结构的单目3d目标检测方法 | |
WO2021097845A1 (zh) | 一种仿真场景的图像生成方法、电子设备和存储介质 | |
CN114358128A (zh) | 一种训练端到端的自动驾驶策略的方法 | |
CN111357018B (zh) | 使用神经网络的图像分割 | |
CN112307978A (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
CN114663397A (zh) | 可行驶区域的检测方法、装置、设备及存储介质 | |
CN113139696A (zh) | 一种轨迹预测模型构建方法及轨迹预测方法、装置 | |
CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
CN114066899A (zh) | 图像分割模型训练、图像分割方法、装置、设备及介质 | |
KR102260246B1 (ko) | 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 | |
CN116311137A (zh) | 一种基于多表征集成学习的车道线检测方法 | |
Pei et al. | MWNet: Object detection network applicable for different weather conditions | |
CN111091581B (zh) | 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 | |
CN116503517B (zh) | 长文本生成图像的方法及*** | |
CN114581540B (zh) | 场景任务处理方法、装置、设备和计算机可读存储介质 | |
CN118096924B (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |