CN110879958B - 用于检测障碍物的方法和装置 - Google Patents

用于检测障碍物的方法和装置 Download PDF

Info

Publication number
CN110879958B
CN110879958B CN201910809441.9A CN201910809441A CN110879958B CN 110879958 B CN110879958 B CN 110879958B CN 201910809441 A CN201910809441 A CN 201910809441A CN 110879958 B CN110879958 B CN 110879958B
Authority
CN
China
Prior art keywords
feature map
size
learning
test
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910809441.9A
Other languages
English (en)
Other versions
CN110879958A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
呂东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN110879958A publication Critical patent/CN110879958A/zh
Application granted granted Critical
Publication of CN110879958B publication Critical patent/CN110879958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种从训练图像中检测出障碍物的CNN的参数学习方法，其特征在于，包括以下步骤：学习装置(a)获得训练图像，使卷积层从训练图像生成编码特征图；(b)使反卷积层生成解码特征图；(c)将解码特征图按行与列的方向进行划分，而生成具备行和列的栅格各单元时，按列分别将行的特征向信道方向进行级联，生成修正后的特征图；(d)参照修正后的特征图和对应于其的GT图像，生成损失，而其特征在于，GT图像，是对列从对应于其的最下端单元开始按列进行确认时，用来显示近距离障碍物实际所处的GT位置所对应的各行的图像；(e)反向传播损失。

Description

用于检测障碍物的方法和装置
技术领域
本发明涉及从至少一个训练图像中检测出至少一个障碍物的CNN(ConvolutionalNeural Network,卷积神经网络)的参数学习方法，尤其涉及用于从所述训练图像中检测所述障碍物的所述CNN的所述参数学习方法及利用该方法的学习装置、测试方法及测试装置。其中，所述学习方法的特征在于，包括以下步骤：(a)获得所述训练图像，使第1卷积层至第N卷积层从所述训练图像依次各自生成第1编码特征图至第N编码特征图；(b)使第N反卷积层至第1反卷积层基于所述第N编码特征图依次生成第N解码特征图至第1解码特征图；(c)将所述至少一个解码特征图的所述行方向定为第1方向，所述列方向定为第2方向，将所述至少一个解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元时，按所述各自的列分别将各所述行的各特征向信道方向进行级联，生成至少一个修正后的特征图；(d)所述学习装置参照所述修正后的特征图和对应于其的GT(Ground Truth，地面实况)图像生成至少一个损失，而其特征在于，所述GT图像，是对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像；(e)反向传播所述损失，学习所述CNN的所述参数。
背景技术
深度学习是适用于将事物或数据聚类或分类的技术。例如，计算机无法单凭照片区分狗和猫，而人可以轻易区分。为此研发了“机器学习(Machine Learning)”的方法。这是一种将很多数据输入到计算机，并将类似数据进行分类的技术。如果输入与储存的狗照片相似的照片，计算机就会将其分类为狗照片。
有关如何分类数据，已有了很多机器学习算法，如“决策树”或“贝页斯网络”、“支持向量机(Support Vector Machine，SVM)”、“人工神经网络”等为代表。其中，深度学习是人工神经网络的后裔。
深层卷积神经网络(Deep Convolutional Neural Network；Deep CNN)可谓深层学习领域飞速发展的核心。为了解决文字识别问题，早在90年代就已经使用了CNN，而像现在如此广泛应用，得益于最近的研究成果。这样的深度CNN在2012年ImageNet图像分类大赛中战胜了其他竞争者，赢得了冠军。之后，卷积神经网络成为了机器学习(MachineLearning)领域中非常有用的工具。
图1是基于现有CNN的一般性分割的现有流程的简略图。
如图1所示，在现有车道线的检测方法中，学习装置被输入输入图像后，在多个卷积层执行多次卷积运算和ReLU(Rectified Linear Unit,修正线性单元)等非线性运算，生成特征图，并在多个反卷积层中对所述特征图的最后一个图(Map)执行多次反卷积运算及归一化指数(SoftMax)运算，生成分割结果。
另一方面，根据现有的道路分割方法，在所述输入图像中，所有像素都要进行分割，并需要考虑所有像素方能识别出该像素是属于道路的像素，还是不属于道路的像素。此种方法，因为需要对所有像素进行判断，存在运算量大的问题。
另一方面，为了汽车的自主驾驶而进行所述道路分割时，则无需在所述输入图像中对所有物体或车道线上的所有物体进行分割，只针对妨碍自动驾驶的障碍物(obstacle)进行检测即可。
因此，需要提出在输入图像中只检测所述障碍物的新方法。
发明内容
发明所要解决的课题
本发明的目的在于克服所有上述问题。
并且，本发明目的在于提供一种在汽车的自主驾驶中检测障碍物的新方法。
并且，本发明的另一个目的在于提供一种无需识别输入图像中的所有像素，只需少量的运算量便能快速掌握所述障碍物位置的方法。
用于解决课题的技术方案
本发明的一个方式为，一种从至少一个训练图像中检测出至少一个障碍物的CNN的参数学习方法，其特征在于，包括以下步骤：(a)学习装置获得所述训练图像，使第1卷积层至第N卷积层从所述训练图像依次各自生成第1编码特征图至第N编码特征图；(b)所述学习装置，使第N反卷积层至第1反卷积层基于所述第N编码特征图依次生成第N解码特征图至第1解码特征图；(c)将所述至少一个解码特征图的所述行方向定为第1方向，所述列方向定为第2方向，将所述至少一个解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，所述学习装置按所述各列分别将各所述行的各特征按信道方向进行级联，从而生成至少一个修正后的特征图；(d)所述学习装置参照所述修正后的特征图和对应于其的GT图像，生成至少一个损失，特征在于，所述GT图像，是将所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像；以及(e)所述学习装置反向传播所述损失，学习所述CNN的所述参数。
一个实施例，其特征在于，在所述步骤(b)，所述学习装置使对应于所述第N卷积层的所述第N反卷积层将所述第N编码特征图按第1方向增加至规定倍数尺寸，生成所述第N解码特征图。
另一个实施例，其特征在于，所述步骤(c)还包括以下步骤：所述学习装置通过对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认，而生成分割结果，其在推定存在各所述近距离障碍物的所述至少一个解码特征图内，表示各个推定位置，在所述步骤(d)，参照所述分割结果和所述GT图像，生成所述损失。
另一个实施例，其特征在于，在所述步骤(c)，所述学习装置，在所述修正后的特征图的、按所述列分别经过了级联后的信道上，对各所述近距离障碍物各最下端部分的各所述推定位置进行确认，从而生成所述分割结果。
另一个实施例，其特征在于，所述各列在所述第1方向包括至少一个像素，所述各行在所述第2方向包括至少一个像素。
另一个实施例，其特征在于，所述GT图像及所述分割结果，包括有将所述训练图像按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，而所述修正后的特征图包括Nc个信道。
另一个实施例，其特征在于，所述修正后的特征图是，将划分所述解码特征图而产生的各所述行，按所述列分别级联到各信道而生成的。
另一个实施例，其特征在于，所述步骤(c)包括以下步骤：(c1)所述学习装置，利用具备Ci×Wi×Hi尺寸的所述解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1修正后的特征图，而所述Ci是所述解码特征图的信道数，所述Wi是所述解码特征图的列的尺寸，所述Hi是所述解码特征图的行的尺寸；(c2)所述学习装置，至少执行一次将具备CiHi×Wi×1尺寸的所述第1修正后的特征图转换为具备尺寸的所述第1修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述解码特征图的所述列的尺寸；(c3)所述学习装置，利用具备/>尺寸的所述第1修正后的特征图，生成具备Nc×WI×1尺寸的第2修正后的特征图，而所述Nc是为了确定各个所述近距离障碍物在各个所述列上的位置而划分所述训练图像的行的个数；以及(c4)所述学习装置执行SofgMax输出过程，其按所述第2修正后的特征图中所述列分别地归一化(normalizing)Nc个信道，在所述步骤(d)，参照从步骤(c)输出的所述GT图像所对应的各SoftMax输出和所述GT图像，生成所述损失。
另一个实施例，其特征在于，在所述步骤(c4)，在所述信道中确定在按所述列分别具有最大值的各特定信道上存在有各所述障碍物各最下端部分，从而生成所述分割结果，其在所述Nc个行中，按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
另一个实施例，其特征在于，在所述第1至第N卷积层所述卷积层，通过执行卷积、最大池化(max pooling)、ReLU中至少一种运算，缩小所述训练图像或任意特征图的尺寸，从而生成一个缩小的(reduced)特征图，在所述第N至第1反卷积层，则通过执行反卷积和ReLU中至少一种运算，生成输入的特征图的尺寸变大的至少一个扩大的(enlarged)特征图。
本发明提供的另一个方式为，一种从至少一个测试图像中检测出至少一个障碍物的CNN测试方法，其特征在于，包括以下步骤：(a)学习装置，(i)接收训练图像，使第1卷积层至第N卷积层从所述训练图像，依次各自生成第1学习用编码特征图至第N学习用编码特征图，(ii)使第N反卷积层至第1反卷积层从所述第N学习用编码特征图，依次生成第N学习用解码特征图至第1学习用解码特征图，(iii)将所述至少一个学习用解码特征图的所述行方向定为第1方向，所述列方向定为第2方向，并将所述至少一个学习用解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，每个所述各自的列都将各所述行的各特征向信道方向进行级联，生成至少一个学习用修正后的特征图，(iv)参照所述学习用修正后的特征图和对应于其的GT图像，生成至少一个损失，而其特征在于，所述GT图像，是对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像，(v)反向传播所述损失，学习所述CNN参数，并在所述学习装置执行了上述过程的状态下，由测试装置获取至少一个测试图像，使所述第1卷积层至第N卷积层依次从所述测试图像生成第1测试用编码特征图至第N测试用编码特征图；(b)所述测试装置，使至少一个所述反卷积层从所述第N测试用编码特征图生成至少一个测试用解码特征图；(c)所述测试装置，按所述各自的列分别将各所述行各测试用特征向所述信道方向进行级联，生成至少一个测试用修正后的特征图；以及(d)所述测试装置，在所述测试用修正后的特征图的、按所述列分别经过了级联后的信道上，识别各所述障碍物各最下端部分的各推定位置，从而生成分割结果，以此检测所述障碍物。
一个实施例，其特征在于，在所述过程(ii)中，所述学习装置，使对应于所述第N卷积层的所述第N反卷积层，将所述第N学习用编码特征图，按所述第1方向增加至规定倍数的尺寸，从而生成所述第N学习用解码特征图，在所述步骤(b)中，所述测试装置，使所述第N反卷积层，将所述第N测试用编码特征图，按所述第1方向增加至规定倍数的尺寸，从而生成所述第N测试用解码特征图。
另一个实施例，其特征在于，所述GT图像及所述分割结果，包括有将所述训练图像和所述测试图像各自按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，所述学习用修正后的特征图包括Nc个信道，所述测试用修正后的特征图包括Nc个信道。
一个实施例，其特征在于，所述过程(iii)包括以下过程：(iii-1)所述学习装置，利用具备Ci×Wi×Hi尺寸的所述学习用解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1学习用修正后的特征图，而所述Ci是所述学习用解码特征图的信道数，所述Wi是所述学习用解码特征图的列的尺寸，所述Hi是所述学习用解码特征图的行的尺寸；(iii-2)所述学习装置，至少执行一次将具备Ci·Hi×Wi×1尺寸的所述第1学习用修正后的特征图转换为具备尺寸的所述第1学习用修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述学习用解码特征图的所述列的尺寸；(iii-3)所述学习装置，利用具备尺寸的所述第1学习用修正后的特征图，生成具备Nc×WI×1尺寸的第2学习用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述训练图像的行的个数；以及(iii-4)所述学习装置，执行SoftMax输出过程，其按所述第2学习用修正后的特征图的所述列分别将Nc个信道进行归一化(normalizing)，在所述过程(iv)中，参照从所述过程(iii-4)中输出的、对应于所述GT图像的各SoftMax输出和所述GT图像，产生所述损失，所述步骤(c)包括以下步骤：(c1)所述测试装置，利用具备Cj×Wj×Hj尺寸的所述测试用解码特征图，生成具备Cj·Hj×Wj×1尺寸的第1测试用修正后的特征图，而所述Cj是所述测试用解码特征图的信道数，所述Wj是所述测试用解码特征图的列的尺寸，所述Hj是所述测试用解码特征图的行的尺寸；(c2)所述测试装置，至少执行一次将具备Cj·Hj×Wj×1尺寸的所述第1测试用修正后的特征图转换为具备/>尺寸的所述第1测试用修正后的特征图的卷积运算，而所述WJ是所述测试图像的列的尺寸，所述Wj是所述测试用解码特征图的所述列的尺寸；(c3)所述测试装置，利用具备/>尺寸的所述第1测试用修正后的特征图，生成具备Nc×WJ×1尺寸的第2测试用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述测试图像的行的个数；(c4)所述测试装置，执行SoftMax输出过程，其按所述第2测试用修正后的特征图的所述列分别将Nc个信道进行归一化(normalizing)。
另一个实施例，其特征在于，在所述步骤(c4)，确定了在所述信道中按所述列分别具有最大值的各特定信道上存在有各所述障碍物各最下端部分之后，生成所述分割结果，其在所述Nc个行中按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
本发明提供的又另一个方式为，一种从至少一个训练图像中检测出至少一个障碍物的CNN参数的学习用学习装置，其特征在于，所述学习装置包括接收所述训练图像的通讯部；以及执行以下过程的处理器：(i)使第1卷积层至第N卷积层从所述训练图像依次各自生成第1编码特征图至第N编码特征图，(ii)使第N反卷积层至第1反卷积层从所述第N编码特征图依次生成第N解码特征图至第1解码特征映，(iii)将所述至少一个解码特征图的所述行方向定为第1方向，所述列方向定为第2方向，并将所述至少一个解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，按每个所述各列将各所述行的各特征向信道方向进行级联，生成至少一个修正后的特征图，(iv)参照所述修正后的特征图和对应于其的GT图像，生成至少一个损失，其特征在于，所述GT图像，是对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像，(v)反向传播所述损失，学习所述CNN的所述参数。
一个实施例，其特征在于，在所述过程(ii)中，所述处理器，使对应于所述第N卷积层的所述第N反卷积层，将所述第N编码特征图，按所述第1方向增加至规定倍数尺寸，从而生成所述第N解码特征图。
另一个实施例，其特征在于，所述过程(iii)还包括以下过程：通过对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认，从而生成分割结果，其在推定存在各所述近距离障碍物的所述至少一个解码特征图内，表示各个推定位置；在所述过程(iv)，参照所述分割结果和所述GT图像，生成所述损失。
另一个实施例，其特征在于，在所述过程(iii)，所述处理器，在将所述修正后的特征图的、按所述列分别经过了级联后的信道上，对各所述近距离障碍物各最下端部分的各所述推定位置进行确认，从而生成所述分割结果。
另一个实施例，其特征在于，所述各列在所述第1方向包括至少一个像素，所述各行在所述第2方向包括至少一个像素。
另一个实施例，其特征在于，所述GT图像及所述分割结果，包括有将所述训练图像按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，而所述修正后的特征图包括Nc个信道。
另一个实施例，其特征在于，所述修正后的特征图，是将划分所述解码特征图而产生的各所述行，向信道方向，按所述列分别进行级联而生成的。
另一个实施例，其特征在于，所述过程(iii)包括以下过程：(iii-1)利用具备Ci×Wi×Hi尺寸的所述解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1修正后的特征图，而所述Ci是所述解码特征图的信道数，所述Wi是所述解码特征图的列的尺寸，所述Hi是所述解码特征图的行的尺寸；(iii-2)至少执行一次将具备CiHi×Wi×1尺寸的所述第1修正后的特征图转换为具备尺寸的所述第1修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述解码特征图的所述列的尺寸；(iii-3)利用具备尺寸的所述第1修正后的特征图，生成具备Nc×WI×1尺寸的第2修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述训练图像的行的个数；以及(iii-4)执行SoftMax输出过程，其按所述第2修正后的特征图的所述列分别将Nc个信道归一化，在所述过程(iv)中，参照从所述过程(iii-4)中输出的、对应于所述GT图像的各SoftMax输出和所述GT图像，生成所述损失。
另一个实施例，其特征在于，在所述过程(iii-4)，确定了在所述信道中按所述列分别具有最大值的各特定信道上存在有各所述障碍物各最下端部分之后，生成所述分割结果，其在所述Nc个行中按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
另一个实施例，其特征在于，所述第1至所述第N卷积层，通过执行卷积、最大池化(max pooling)、ReLU中至少一种运算，缩小所述训练图像或任意特征图的尺寸，从而生成至少一个缩小的(reduced)特征图，所述第N至第1反卷积层，通过执行反卷积和ReLU中至少一种运算，生成输入的特征图的尺寸变大的至少一个扩大的(enlarged)特征图。
本发明提供的又另一个方式为，一种从至少一个测试图像中检测出至少一个障碍物的CNN测试装置，其特征在于，所述测试装置包括通讯部和处理器，所述通讯部在学习装置执行了以下过程的状态下，获取所述测试图像，所述学习装置，(i)接收训练图像，使第1卷积层至第N卷积层从所述训练图像，依次各自生成第1学习用编码特征图至第N学习用编码特征图(，ii)使第N反卷积层至第1反卷积层从所述第N学习用编码特征图，依次生成第N学习用解码特征图至第1学习用解码特征图，(iii)将所述至少一个学习用解码特征图的所述行方向定为第1方向，所述列方向定为第2方向，并将所述至少一个学习用解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，按每个所述列将各所述行的各特征向信道方向进行级联，生成至少一个学习用修正后的特征图，(iv)参照所述学习用修正后的特征图和对应于其的GT图像，生成至少一个损失，而其特征在于，所述GT图像，是对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，用来显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像，(v)反向传播所述损失，学习所述CNN的参数，所述处理器执行以下过程：(I)获得所述测试图像，使所述第1卷积层至所述第N卷积层从所述测试图像依次生成第1测试用编码特征图至第N测试用编码特征图，(II)使至少一个所述反卷积层从所述从第N测试用编码特征图生成至少一个测试用解码特征图，(III)按所述各列将各所述行的各测试用特征向所述信道方向进行级联，生成至少一个测试用修正后的特征图，(IV)在所述测试用修正后的特征图的、按所述列分别经过了级联后的信道上，确认各所述障碍物各最下端部分的各推定位置，从而生成分割结果，以此检测所述障碍物。
一个实施例，其特征在于，在所述过程(ii)中，所述学习装置，在对应于所述第N卷积层的所述第N反卷积层，将所述第N学习用编码特征图，按所述第1方向增加至规定倍数尺寸，从而生成所述第N学习用解码特征图，在所述过程(II)中，所述处理器，使所述第N反卷积层，将所述第N测试用编码特征图的尺寸，按所述第1方向增加至规定倍数，从而生成所述第N测试用解码特征图。
另一个实施例，其特征在于，所述GT图像及所述分割结果，包括有将所述训练图像和所述测试图像分别按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，所述学习用修正后的特征图包括Nc个信道，所述测试用修正后的特征图包括Nc个信道。
另一个实施例，其特征在于，所述过程(iii)包括以下过程：(iii-1)利用具备Ci×Wi×Hi尺寸的所述学习用解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1学习用修正后的特征图，而所述Ci是所述学习用解码特征图的信道数，所述Wi是所述学习用解码特征图的列的尺寸，所述Hi是所述学习用解码特征图的行的尺寸；(iii-2)至少执行一次将具备Ci·Hi×Wi×1尺寸的所述第1学习用修正后的特征图转换为具备尺寸的所述第1学习用修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述学习用解码特征图的所述列的尺寸；(iii-3)利用具备/>尺寸的所述第1学习用修正后的特征图，生成具备Nc×WI×1尺寸的第2学习用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述训练图像的行的个数；(iii-4)执行SoftMax输出过程，其按所述第2学习用修正后的特征图的所述列分别将Nc个信道进行归一化，在所述过程(iv)中，参照从所述流程(iii-4)输出的、对应于所述GT图像的各SoftMax输出和所述GT图像，生成所述损失，所述过程(III)包括以下过程：(III-1)利用具备Cj×Wj×Hj尺寸的所述测试用解码特征图，生成具备Cj·Hj×Wj×1尺寸的第1测试用修正后的特征图，而所述Cj是所述测试用解码特征图的信道数，所述Wj是所述测试用解码特征图的列的尺寸，所述Hj是所述测试用解码特征图的行的尺寸；(III-2)至少执行一次将具备Cj·Hj×Wj×1尺寸的所述第1测试用修正后的特征图转换为具备/>尺寸的所述第1测试用修正后的特征图的卷积运算，而所述WJ是所述测试图像的列的尺寸，所述Wj是所述测试用解码特征图的所述列的尺寸；(III-3)利用具备/>尺寸的所述第1测试用修正后的特征图，生成具备Nc×WJ×1尺寸的第2测试用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述测试图像的行的个数；(III-4)执行SoftMax输出过程，其按所述第2测试用修正后的特征图的所述列分别将Nc个信道进行归一化(normalizing)。
另一个实施例，其特征在于，在所述过程(III-4)中，确定了在所述信道中按所述列分别具有备最大值的各特定信道上存在有各所述障碍物各最下端部分之后，生成所述分割结果，其在所述Nc个行中按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
发明效果
本发明的有益效果如下：
在将所述输入图像划分为规定间隔而生成的所述栅格的X轴上的所述列中，检测所述障碍物位于何处，决定所述自主驾驶汽车可以行驶的路径；
无需对所述输入图像内所有像素进行识别，也能通过少量的运算量检测出所述障碍物；
能够基于低分辨率特征输出高分辨率信息，运算量变小。
附图说明
图1是基于现有CNN的一般性分割的现有流程的示意图；
图2是本发明提供的障碍物检测用CNN学习方法的流程示意图；
图3是为了说明本发明提供的所述障碍物检测用所述CNN学习方法而示例性地表示关于输入图像的运算过程的示例图；
图4是本发明提供的所述障碍物检测中用到的修正过程的示意图；
图5是本发明提供的所述障碍物检测用所述输入图像及对应于其的GT图像的示例图；
图6是为了说明本发明提供的所述障碍物检测用CNN测试方法而示例性地表示关于所述输入图像的运算过程的图；
图7a是现有的障碍物检测结果的示意图，图7b和图7c是本发明提供的障碍物检测结果的示意图。
具体实施方式
以下所描述的有关本发明的详细说明，是本发明的具体实施例，可参考附图。这些实施例的详细说明，足以让本技术领域的技术人员能够实施本发明。应当理解，本发明的多种实施例各不相同，但相互之间并不需要是排他的。例如，在此记载的与一个实施例有关的具体形状、结构及特性，在不脱离本发明的精神及范围的情况下，可作为其他实施例加以体现。另外，应当理解，每个公开的实施例中的个别构成要素的位置或安排，在不脱离本发明的精神及发明的情况下可以进行分类。因此，后述的详细说明的旨意并不在于限定，而本发明的范围，如能适当说明，仅限定于与其权利要求所主张的内容等同的所有范围和所附权利要求。附图中类似的参照符号，从多种层面上意指相同或类似的功能。
下面，为了让本发明所属的技术领域的普通技术人员容易实施本发明，结合附图详细描述本发明的最佳实施例。
本发明所提出的技术涉及一种算法，其能够通过快速且少量的运算，从高分辨率的图像检测近距离障碍物。本发明技术提供的所述近距离障碍物检测方法，其目的在于，在输入图像中寻找道路与至少一个障碍物之间的分界。为此，当将所述输入图像的行方向定为第1方向，列方向定为第2方向时，将所述第1方向划分为第1间隔，形成多个列，将所述第2方向划分为第2间隔，形成多个行，从而可形成栅格。将各个所述列从对应于其的所述栅格最下端单元开始，按所述第2方向进行确认，以此对推定出各自存在所述近距离障碍物的各个所述列，通过特定行的信息，检测所述近距离障碍物在道路上的位置。并且，本发明通过(i)基于高分辨率信息的多重损失(Multi-loss)学习过程及(ii)仅利用低分辨率特征的测试过程，减少运算量。
图2是本发明提供的所述近距离障碍物检测用CNN的学习方法的流程示意图。图3是为了说明本发明提供的所述障碍物检测用所述CNN的学习方法而提出的关于输入图像的运算过程的示例图。
参考图2和图3，详细说明本发明提供的所述近距离障碍物检测用CNN的所述学习方法。
本发明提供的所述近距离障碍物检测过程，开始于从至少一个输入图像生成编码特征图及解码特征图的步骤(S01)。所述S01步骤中，当其所包含的学习装置接收所述输入图像作为训练图像后，所述学习装置使第1至第N卷积层从所述训练图像依次各自生成第1编码特征图至第N编码特征图。在此，所述第1至第N卷积层包含于所述近距离障碍物检测用所述CNN。并且，所述近距离障碍物检测用所述CNN包含对应于所述第1至第N卷积层的第N至第1反卷积层，而所述学习装置使所述第N至第1反卷积层从所述第N编码特征图依次生成第N解码特征图至第1解码特征图。
例如，如图3所示，所述近距离障碍物检测用所述CNN，可包含所述第1卷积层至第5卷积层(11至15)和第5反卷积层至所述第1反卷积层(16至20)，所述学习装置可接收3ch，640×256尺寸的所述训练图像(100)。此输入图像，被输入到所述第1卷积层(11)，生成8ch，320×128尺寸的所述第1编码特征图(110)；被输入到第2卷积层(12)，生成16ch，160×64尺寸的第2编码特征图(120)；被输入到第3卷积层(13)，生成32ch，80×32尺寸的第3编码特征图(130)；被输入到第4卷积层(14)，生成64ch，40×16尺寸的第4编码特征图(140)，被输入到第5卷积层(15)，生成128ch，20×8尺寸的第5编码特征图(150)。
如此，所述卷积层，通过增加所述输入图像或特征图的信道，减少横向与纵向尺寸，执行生成所述编码特征图的功能。如，所述第2卷积层(12)至所述第5卷积层(15)，将所述输入的特征图的所述信道增加至2倍，将横向与纵向的尺寸各自减少至1/2，以此生成所述编码特征图。
另一方面，所述学习装置使对应于所述第N卷积层的所述第N反卷积层，将所述第N编码特征图的横向尺寸增加至规定倍数，从而生成所述第N解码特征图。例如，如图3所示的实施例，所述学习装置使所述第5反卷积层(16)，从128h，20×8尺寸的所述第5编码特征图(150)生成64ch，40×8尺寸的第5解码特征图(160)。
通常，反卷积层是减少信道数，增加横向与纵向的尺寸，而本发明提供的所述第N反卷积层是减少所述第N编码特征图的信道，增加所述横向尺寸至规定倍数(例如2倍)，而所述特征图的所述纵向尺寸则可不变。其理由如上所述，本发明只要能在所述栅格的所述列中识别出哪一个位置的计分最高即可。即，在本发明中，与现有分割不同，无需确认所有像素，也无需增加所述纵向尺寸。本发明提出的方法具有输入和输出的横向分辨率相同的效果，不存在现有横向分辨率降低的问题。纵向分辨率也高纵然更好，但也会随之产生运算量大的问题。因此，在本发明中，为了通过少量的运算量检测所述近距离障碍物，提出了仅增加所述横向分辨率的方法。为此，如上所述，所述第N反卷积层减少所述第N编码特征图的所述信道数，仅将所述横向尺寸增加至规定倍数(例如2倍)，而所述纵向尺寸则不作改变。
进一步，参考如图3所示的解码过程，所述学习装置，使所述第4反卷积层(17)，从64ch，40×8尺寸的所述第5解码特征图(160)生成32ch，80×16尺寸的所述第4解码特征图(170)；使所述第3反卷积层(18)，从32ch，80×16尺寸的所述第4解码特征图(170)生成16ch，160×32尺寸的所述第3解码特征图(180)；使所述第2反卷积层(19)，从16ch，160×32尺寸的所述第3解码特征图(180)生成8ch，320×64尺寸的所述第2解码特征图(190)；使所述第1反卷积层(20)，从8ch，320×64尺寸的所述第2解码特征图(190)生成4ch，640×128尺寸的所述第1解码特征图(200)。
如此，所述反卷积层将输入的特征图的信道数减少，将所述横向与纵向尺寸增加，以执行生成解码特征图的功能。如，所述第4反卷积层(17)至所述第1反卷积层(20)，将所述信道数减少至1/2，将所述输入的特征图的所述横向与纵向尺寸各自增加至2倍，以此生成所述解码特征图。
另一方面，所述卷积层可执行卷积、最大池化(max pooling)、ReLU中至少一种运算，所述反卷积层可执行反卷积和ReLU中至少一种运算。
进一步，如图2所示，步骤S02中，所述学习装置可利用具备Ci×Wi×Hi尺寸的所述解码特征图，生成具备CiHi×Wi×1尺寸的第1修正后的特征图，此时，所述Ci是所述信道数，所述Wi是所述列尺寸，所述Hi是所述解码特征图的所述行尺寸。
即，在本发明提供的修正(reshaping)过程中，对于所述至少一个解码特征图，将所述第1方向划分为所述第1间隔，将所述第2方向划分为第2间隔，生成具备多个列和多个行的所述栅格的各单元时，所述学习装置按所述列分别将各所述行的各特征向所述信道方向进行级联(concatenating)，从而生成至少一个修正后的特征图。
图4是本发明提供的所述障碍物检测中用到的所述修正过程的示意图。
如图4所示，在所述修正过程中，如用附图符号410表示的特征图所示，解码特征图被分成行后，如用附图符号420表示的特征图所示，按所述列分别将各所述行的各个所述特征向所述信道方向进行级联。从而，(C×W×H)尺寸的特征图转换为((C*H)×W×1)尺寸的特征图。
在图4所示的示例中，所述用附图符号410表示的特征图中，用粗线画出的各个四方形表示的是对应于所述解码特征图第1列的各行的各个特征。假如所述用附图符号410表示的特征图具有8个行，所述用附图符号420表示的特征图将具备增加至所述信道数8倍的信道数和所述用附图符号410表示的特征图高度的1/8的高度。
在图3所示的示例中，64ch，40×8尺寸的所述第5解码特征图(160)通过第1修正过程(reshape 5-1)，转换为64*8ch，40×1尺寸的所述第1修正后的特征图(161)；32ch，80×16尺寸的所述第4解码特征图(170)通过第1修正过程(reshape 4-1)，转换为32*16ch，80×1尺寸的所述第1修正后的特征图(171)；16ch，160×32尺寸的所述第3解码特征图(180)通过第1修正过程(reshape 3-1)，转换为16*32ch，160×1尺寸的所述第1修正后的特征图(181)；8ch，320×64尺寸的所述第2解码特征图(190)通过第1修正过程(reshape 2-1)，转换为8*64ch，320×1尺寸的所述第1修正后的特征图(191)；4ch，640×128尺寸的所述第1解码特征图(200)通过第1修正过程(reshape 1-1)，转换为4*128ch，640×1尺寸的所述第1修正后的特征图(201)。
另外，在图3中，虽然说明了对所有解码特征图执行所述第1修正过程的情况，但无需对所有解码特征图执行修正过程，仅对部分所述解码特征图执行修正过程也可。
之后，在步骤S03中，可执行将具备CiHi×Wi×1尺寸的所述第1修正后的特征图转换为尺寸的所述第1修正后的特征图的所述卷积运算。在此，所述WI是所述训练图像的列尺寸，所述Wi是所述解码特征图的列尺寸。虽然此卷积运算是1×1卷积，其横向、纵向只包括1格，却是以贯穿所有信道的所述栅格内单元为操作数(operand)而进行的运算，是在每个第1修正后的特征图的Nc个各列中，识别出所述近距离障碍物下端线各自位于何处的过程，而所述Nc是将所述输入图像的所述第2方向分割为规定尺寸的个数。因为，通过所述第1修正过程，所述解码特征图的所有所述列方向的信息，已经被统合到能够同时运算的所述信道，因此，可通过所述卷积运算，确认所有所述信道的信息，按各列分别识别所述近距离障碍物的所述下端线各自位于何处。
当然，如所述第5解码特征图(160)的示例所示，没有修正过程而进行8×1卷积运算时，也可以同时进行所述第1修正运算和所述1×1卷积运算。即，假设特定的特征图的高为N，则可使用N×1卷积。但是，通常在硬件上，所述1×1卷积运算是可以快速执行的，但并不常用的8×1内核或N×1内核的计算速度则明显缓慢，因此，将所述修正过程的运算和所述1×1卷积运算分开，效率更高。
如所述1×1卷积运算的结果所示，假设所述输入的特征图的所述列尺寸为Wi，所述原图像的所述列尺寸为WI，则所述输入特征图将被转换为具备尺寸的信道。
在图3所示的示例中，64*8ch，40×1尺寸的所述第5解码特征图的第1修正后的特征图(161)，通过所述1×1卷积运算转换为Nc*16ch，40×1尺寸的第1修正后的特征图(162)；32*16ch，80×1尺寸的所述第4解码特征图的第1修正后的特征图(171)，通过所述1×1卷积运算转换为Nc*8ch，80×1尺寸的第1修正后的特征图(172)；16*32ch，160×1尺寸的所述第3解码特征图的第1修正后的特征图(181)，通过所述1×1卷积运算转换为Nc*4ch，160×1尺寸的第1修正后的特征图(182)；8*64ch，320×1尺寸的所述第2解码特征图的第1修正后的特征图(191)，通过1×1卷积运算转换为Nc*2ch，320×1尺寸的第1修正后的特征图(192)；4*128ch，640×1尺寸的所述第1解码特征图的第1修正后的特征图(201)，通过所述1×1卷积运算转换为Ncch，640×1尺寸的第1修正后的特征图(202)。
再如图2所示，在步骤S04中，尺寸的所述第1修正后的特征图可被修正为具备Nc×WI×1尺寸的第2修正后的特征图。在此，所述Nc个是为了识别各个所述近距离障碍物的各所述下端线位于每个所述列的何处而划分所述输入图像所述第2方向所得到的所述行的个数。
在步骤S05中，对每个所述第2修正后的特征图的所述列，进行将对应于所述Nc个信道的各个值归一化(normalizing)的SoftMax(归一化指数)运算，在步骤S06中，按照所述第2方向对每个所述列从对应于其的最下端单元开始进行确认，以此生成所述输入图像内各所述列的所述分割结果，其在推定存在所述近距离障碍物的各所述特定行上，表示各所述近距离障碍物各所述下端线的各推定位置。
在所述第2修正过程(S04)中，对于所述输出的尺寸的特征图，可以不改变数据而只改变形状，而转换成Nc×WI×1尺寸的形态。并且，所述SoftMax过程(S05)中，在每个列对所述Nc个信道的所述值进行从0至1的值的归一化，并基于所述归一化的值，对各所述列找出对应于其的具有最大值的各特定信道，进而推定各所述近距离障碍物各所述下端线在各所述列上的位置。
从而，通过所述1×1卷积运算(S03)和所述修正运算(S04)可生成如下特征图，即，在各所述列的所述行上的各所述近距离障碍物各所述下端线的各所述推定位置，各自具有各自相对应的最大值，而在各所述列的所述行上的剩余位置、即剩余行具有更小的值。所述SoftMax运算(S05)用于从所述输入图像的各个列找出所述Nc个值中最大值后输出其位置，从而找出所述近距离障碍物的各个所述位置。进而，基于所述归一化的值，如果按所述列分别推定出具有所述信道的值中最大值的各特定信道上存在各所述近距离障碍物各下端线，那么将生成如下的所述分割结果，即所述Nc行中，在各所述列的所述行中各所述近距离障碍物各所述下端线的各推定位置具有对应的最大值，而在各所述列的所述行中剩余位置则具有更小的值。
想要理解此过程，需要理解最终结果(所述SoftMax运算的结果)的形态。所述CNN的所述学习方法有望得到的输出，是从所述输入图像中识别出各所述列的所述Nc个行中具备最大值的各行而作为所述近距离障碍物的位置的。为此，按列分别需要Nc个计分。如果所述输入图像中的所述列的个数(即，所述输入图像的所述宽)为640个(即，640个像素或640个列)，那么需要产生Nc(信道)×640(宽)×1(高)尺寸的计分图(Score Map)而作为输出。
作为所述输出生成Nc(信道)×640(宽)×1(高)尺寸的所述计分图的所述过程如下。例如，通过所述第1修正(reshape 5-1)过程，生成512(64*8)(信道)×40(宽)×1(高)尺寸的所述第5解码特征图的所述第1修正后的特征图(161)时，该第1修正后的特征图的列仅为所述输入图像的列(640个)的1/16，即40个。因此，这种情况下，仅用16次的所述1×1卷积运算而输出16次Nc个计分就可解决。因此，应设计成在图3中自CONV_OUT5产生的所述输出(162)的尺寸为(Nc*16)(信道)×40(宽)×1(高)。而为了将(Nc*16)(信道)×40(宽)×1(高)尺寸的所述计分图转换为Nc(信道)×640(宽)×1(高)尺寸的所述计分图，需要所述第2修正过程(reshape 5-2)。
如图3所示的示例，通过所述1×1卷积的CONV_OUT5，将Nc*16ch，40×1尺寸的所述特征图(162)转换为Ncch，640×1尺寸的所述特征图(163)，通过所述SoftMax运算生成如下的输出(164)，即在640个列各自的所述Nc个行中，按各所述列，所述行的各所述近距离障碍物各所述下端线的每个所述推定位置具有相对应的最大值，并按各所述列，所述行的所述剩余位置具有更小的值。另外，Nc*8ch，80×1尺寸的所述特征图(172)、Nc*4ch，160×1尺寸的所述特征图(182)、Nc*2ch，320×1尺寸的所述特征图(192)、
Ncch，640×1尺寸的所述特征图(202)，分别通过CONV_OUT4至CONV_OUT1的所述1×1卷积运算，分别转换为Ncch，640×1尺寸的所述特征图(173，183，193，203)，并通过所述SoftMax运算生成如下的各输出(174，184，194，204)，即在640个每个列的所述Nc个行中，在各所述近距离障碍物各所述下端线的所述推定位置具有其所在的所述列相对应的最大值，并在所述列的所述行中的剩余位置具有更小的值。
即，所述学习装置，可从所述至少一个解码特征图生成表示各所述推定位置的所述分割结果，并对每个所述列从对应于其的最下端单元开始按所述第2方向(即，渐升)进行确认，以此推定各所述近距离障碍物各所述下端线的各所述推定位置。所述学习装置，在所述修正后的特征图的、按所述列分别经过了级联后的信道上，对各所述近距离障碍物各下端线的各所述推定位置进行识别，从而生成所述分割结果。
进一步参考图2，在步骤S07中，参照所述分割结果和对应于其的至少一个GT图像，可生成至少一个损失，而在步骤S08中，通过反向传播(backpropagation)所述损失，使所述CNN的参数被学习或最优化。
此时，所述GT图像，是当对各所述列从对应于其的最下端单元按所述第2方向(即，渐升)进行确认后时，显示所述近距离障碍物各自实际所处的各GT位置所对应的各列的图像。图5是本发明提供的所述障碍物检测用所述输入图像及对应于其的GT图像的示例图。如图5所示，在所述输入图像中，按各列(将640个像素以所述第1间隔为单位划分而生成的各列或所述640个各像素)分别从所述下端开始向上端进行确认时，指定近距离障碍物为所述近距离障碍物，从而可生成所述GT图像。所述GT图像包括表示所述输入图像中各所述列上，各所述近距离障碍物各所述下端线在所述Nc个行中实际所处的行的信息，所述分割结果包括所述输入图像中各所述列上，各所述近距离障碍物各所述下端线在所述Nc个行中所处位置的推定信息，因此，修正了所述解码特征图而生成的所有所述修正后的特征图(164，174，184，194，204)均具备所述Nc个信道。
所述步骤S07中的所述损失可以是交叉熵损失(Cross-entropy loss)。为了学习或最优化所述CNN的所述参数而反响传播所述损失。图3所示的示例中，由于介由5个解码特征图生成输出，因而产生5个损失，但是也可以参照来自所述5个解码特征图中至少一部分的所述损失和所述输出执行反向传播。尤其是参照从所述第1卷积层(20)输出的所述第1解码特征图而生成的所述损失，虽然利用它是最优选，但并不是必须的。
经过上述过程，在对所述CNN的所述参数进行了学习的情况下，利用了具有所述经过学习的参数的所述CNN的测试装置，可以从作为所述输入图像的至少一个测试图像中检测出近距离障碍物。
图6是为了说明本发明提供的所述障碍物检测用所述CNN测试方法而示例性地表示出关于所述输入图像的运算过程的图。如图6所示，与图3的所述学习装置不同，仅生成一个输出即足够，并且利用所述第5解码特征图便可生成所述输出，因此，可以省略所述第4反卷积层至所述第1反卷积层。作为其他例子，包括所述省略的反卷积层中的一部分也无妨。
具体所述过程与图3中说明的内容相似，因此，如下简要说明图6的所述近距离障碍物检测过程。首先，所述测试装置可接收所述测试图像(100)，使所述第1至第N卷积层(11至15),自所述测试图像(100)依次各自生成测试用第1编码特征图(110，120，130，140，150)。此外，所述测试装置可以使至少一个反卷积层(16)从所述测试用第N编码特征图(150)生成测试用解码特征图(160)。并且，从所述测试用解码特征图(160)，以所述栅格为参照，将按照所述第2方向排列的各所述列所述行的各特征向所述信道方向进行级联，生成测试用修正后的特征图(161)。然后，通过所述1×1卷积运算及追加修正过程，生成变更了信道的测试用特征图(162)和如下的测试用特征图(163)，即该测试用特征图(163)的相应信道调整为了Nc个，相应列的所述横轴个数调整为了所述测试图像的所述横轴个数。并且，所述测试用装置在所述测试用修正后的特征图的、按所述列分别经过了级联后的信道上,对各所述近距离障碍物的各所述下端线在各所述列所述行中的所述推定位置进行识别，从而生成测试用分割结果(164)，以此检测出所述近距离障碍物。
图7a是所述现有的障碍物检测结果的示意图，图7b和图7c是本发明提供的所述障碍物检测结果的示意图。
图7a显示根据所述现有的检测方法检测到所述近距离障碍物的例子,需要考虑所有像素才能识别出所述像素是否属于所述道路的像素，因此，运算量大是不可避免的。但是，根据图7b及图7c中所示的本发明提供的方法，为了推定每个所述近距离障碍物的各所述下端线的位置(粗黑实线标注)，通过从图像的下端到上端确认规定个数(例如Nc个)的所述栅格单元，检测所述近距离障碍物，其结果，可通过较小的运算快速而高分辨率地检测出所述近距离障碍物。
进一步地，所述现有技术由于处理时间的原因，存在所述障碍物检测结果的所述横向分辨率低于所述输入图像的所述分辨率的问题，而在本发明新提出的方法中，所述输入图像和所述输出结果的横向分辨率相同，可解决此问题。
另外，在本发明中,利用多重损失进行学习时使用高分辨率信息，实际测试时，仅从低分辨率特征图即可输出高分辨率结果。从而，可以从所述低分辨率特征图输出高分辨率信息，进而运算量也减少，处理速度也会加快。
本发明技术领域的普通技术人员能够理解，上面说明的图像，例如所述训练图像，所述测试图像及所述输入图像等图像数据的发送和接收，可通过所述学习装置及所述测试装置的通信部实现，用于执行特征图和运算的数据可借由所述学习装置及所述测试装置的处理器(和/或存储器)保存/维持，而卷积运算、反卷积运算、损失值运算过程，可由所述学习装置及所述测试装置的所述处理器执行，但本发明不限于此。
以上说明的本发明提供的实施例，是以通过多种计算机构成要素执行的程序指令的形式体现，从而可载入计算机可读存储介质中。所述计算机可读存储介质可单独或组合包含程序指令、数据文件、数据结构等。记录在所述计算机可读存储介质上的程序指令，可以是为了本发明特别设计和构成的，或者也可以是计算机软件领域的从业者公知使用的。计算机可读存储介质的示例包括硬盘、软盘及磁带等磁媒体，CD-ROM、DVD等光盘，光磁盘(floptical disk)等磁-光介质(magneto-optical media)，以及ROM、RAM、闪存存储器等为了储存程序指令并执行而特别构成的硬件设备。程序指令的示例不仅包括由编译器生成的机器语言代码，还包括可通过解释器由计算机执行的高级语言代码。为执行本发明提供的处理，上述硬件设备可由一个或多个软件模块来运行，反之亦然。
以上用具体构成要素等特定事项和限定的实施例及附图来说明了本发明，但这只是为了帮助对本发明更全面的理解而提供的，本发明并不仅限于上述实施例，在本发明所属的技术领域中拥有一般知识的人，可以基于这些描述进行多样的修改和变换。
因此，本发明的思想不应局限于所述说明的实施例而定，不仅是后述的权利要求范围，与本权利要求范围均等或等价的任何变换都属于本发明的思想范筹。

Claims (24)

1.一种从至少一个训练图像中检测出至少一个障碍物的卷积神经网络CNN的参数学习方法，其特征在于，包括以下步骤：
(a)学习装置获得所述训练图像，使第1卷积层至第N卷积层从所述训练图像依次各自生成第1编码特征图至第N编码特征图；
(b)所述学习装置，使第N反卷积层至第1反卷积层基于所述第N编码特征图依次生成第N解码特征图至第1解码特征图；
(c)将所述至少一个解码特征图的行方向定为第1方向，列方向定为第2方向，将所述至少一个解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，所述学习装置按所述各列分别将各所述行的各特征按信道方向进行级联，从而生成至少一个修正后的特征图；
(d)所述学习装置参照所述修正后的特征图和对应于其的地面实况GT图像，生成至少一个损失，特征在于，所述GT图像，是将所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像；以及
(e)所述学习装置反向传播所述损失，学习所述CNN的所述参数，
所述修正后的特征图是，将划分所述解码特征图而产生的各所述行，按所述列分别级联到各信道而生成的，
所述步骤(c)包括以下步骤：
(c1)所述学习装置，利用具备Ci×Wi×Hi尺寸的所述解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1修正后的特征图，而所述Ci是所述解码特征图的信道数，所述Wi是所述解码特征图的列的尺寸，所述Hi是所述解码特征图的行的尺寸；
(c2)所述学习装置，至少执行一次将具备CiHi×Wi×1尺寸的所述第1修正后的特征图转换为具备尺寸的所述第1修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述解码特征图的所述列的尺寸；
(c3)所述学习装置，利用具备尺寸的所述第1修正后的特征图，生成具备Nc×WI×1尺寸的第2修正后的特征图，而所述Nc是为了确定各个所述近距离障碍物在各个所述列上的位置而划分所述训练图像的行的个数；以及
(c4)所述学习装置执行归一化指数SoftMax输出过程，其按所述第2修正后的特征图中所述列分别地归一化Nc个信道，并对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认，而生成分割结果，其在推定存在各所述近距离障碍物的所述至少一个解码特征图内，表示各个推定位置，
在所述步骤(d)，参照从步骤(c4)输出的所述GT图像所对应的各SoftMax输出和所述GT图像，生成所述损失。
2.根据权利要求1所述的方法，其特征在于，
在所述步骤(b)，所述学习装置使对应于所述第N卷积层的所述第N反卷积层将所述第N编码特征图按第1方向增加至规定倍数尺寸，生成所述第N解码特征图。
3.根据权利要求1所述的方法，其特征在于，
在所述步骤(d)，参照所述分割结果和所述GT图像，生成所述损失。
4.根据权利要求3所述的方法，其特征在于，
在所述步骤(c)，所述学习装置，在所述修正后的特征图的、按所述列分别经过了级联后的信道上，对各所述近距离障碍物各最下端部分的各所述推定位置进行确认，从而生成所述分割结果。
5.根据权利要求1所述的方法，其特征在于，
所述各列在所述第1方向包括至少一个像素，所述各行在所述第2方向包括至少一个像素。
6.根据权利要求3所述的方法，其特征在于，
所述GT图像及所述分割结果，包括有将所述训练图像按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，而所述修正后的特征图包括Nc个信道。
7.根据权利要求1所述的方法，其特征在于，
在所述步骤(c4)，在所述信道中确定在按所述列分别具有最大值的各特定信道上存在有各所述障碍物各最下端部分，从而生成分割结果，其在所述Nc个行中，按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
8.根据权利要求1所述的方法，其特征在于，
在所述第1至第N卷积层所述卷积层，通过执行卷积、最大池化、修正线性单元ReLU中至少一种运算，缩小所述训练图像或任意特征图的尺寸，从而生成一个缩小的特征图，在所述第N至第1反卷积层，则通过执行反卷积和ReLU中至少一种运算，生成输入的特征图的尺寸变大的至少一个扩大的特征图。
9.一种从至少一个测试图像中检测出至少一个障碍物的CNN测试方法，其特征在于，包括以下步骤：
(a)学习装置，(i)接收训练图像，使第1卷积层至第N卷积层从所述训练图像，依次各自生成第1学习用编码特征图至第N学习用编码特征图，(ii)使第N反卷积层至第1反卷积层从所述第N学习用编码特征图，依次生成第N学习用解码特征图至第1学习用解码特征图，(iii)将所述至少一个学习用解码特征图的行方向定为第1方向，列方向定为第2方向，并将所述至少一个学习用解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，每个所述各自的列都将各所述行的各特征向信道方向进行级联，生成至少一个学习用修正后的特征图，(iv)参照所述学习用修正后的特征图和对应于其的GT图像，生成至少一个损失，而其特征在于，所述GT图像，是对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像，(v)反向传播所述损失，学习所述CNN参数，并在所述学习装置执行了上述过程的状态下，由测试装置获取至少一个测试图像，使所述第1卷积层至第N卷积层依次从所述测试图像生成第1测试用编码特征图至第N测试用编码特征图；
(b)所述测试装置，使至少一个所述反卷积层从所述第N测试用编码特征图生成至少一个测试用解码特征图；
(c)所述测试装置，按所述各自的列分别将各所述行各测试用特征向所述信道方向进行级联，生成至少一个测试用修正后的特征图；以及
(d)所述测试装置，在所述测试用修正后的特征图的、按所述列分别经过了级联后的信道上，识别各所述障碍物各最下端部分的各推定位置，从而生成分割结果，以此检测所述障碍物，
所述过程(iii)包括以下过程：
(iii-1)所述学习装置，利用具备Ci×Wi×Hi尺寸的所述学习用解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1学习用修正后的特征图，而所述Ci是所述学习用解码特征图的信道数，所述Wi是所述学习用解码特征图的列的尺寸，所述Hi是所述学习用解码特征图的行的尺寸；
(iii-2)所述学习装置，至少执行一次将具备Ci·Hi×Wi×1尺寸的所述第1学习用修正后的特征图转换为具备尺寸的所述第1学习用修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述学习用解码特征图的所述列的尺寸；
(iii-3)所述学习装置，利用具备尺寸的所述第1学习用修正后的特征图，生成具备Nc×WI×1尺寸的第2学习用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述训练图像的行的个数；以及
(iii-4)所述学习装置，执行SoftMax输出过程，其按所述第2学习用修正后的特征图的所述列分别将Nc个信道进行归一化，
在所述过程(iv)中，
参照从所述过程(iii-4)中输出的、对应于所述GT图像的各SoftMax输出和所述GT图像，产生所述损失，
所述步骤(c)包括以下步骤：
(c1)所述测试装置，利用具备Cj×Wj×Hj尺寸的所述测试用解码特征图，生成具备Cj·Hj×Wj×1尺寸的第1测试用修正后的特征图，而所述Cj是所述测试用解码特征图的信道数，所述Wj是所述测试用解码特征图的列的尺寸，所述Hj是所述测试用解码特征图的行的尺寸；
(c2)所述测试装置，至少执行一次将具备Cj·Hj×Wj×1尺寸的所述第1测试用修正后的特征图转换为具备尺寸的所述第1测试用修正后的特征图的卷积运算，而所述WJ是所述测试图像的列的尺寸，所述Wj是所述测试用解码特征图的所述列的尺寸；
(c3)所述测试装置，利用具备尺寸的所述第1测试用修正后的特征图，生成具备Nc×WJ×1尺寸的第2测试用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述测试图像的行的个数；
(c4)所述测试装置，执行SoftMax输出过程，其按所述第2测试用修正后的特征图的所述列分别将Nc个信道进行归一化。
10.根据权利要求9所述的方法，其特征在于，
在所述过程(ii)中，
所述学习装置，使对应于所述第N卷积层的所述第N反卷积层，将所述第N学习用编码特征图，按所述第1方向增加至规定倍数的尺寸，从而生成所述第N学习用解码特征图，
在所述步骤(b)中，
所述测试装置，使所述第N反卷积层，将所述第N测试用编码特征图，按所述第1方向增加至规定倍数的尺寸，从而生成所述第N测试用解码特征图。
11.根据权利要求9所述的方法，其特征在于，
所述GT图像及所述分割结果，包括有将所述训练图像和所述测试图像各自按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，
所述学习用修正后的特征图包括Nc个信道，所述测试用修正后的特征图包括Nc个信道。
12.根据权利要求9所述的方法，其特征在于，
在所述步骤(c4)，
确定了在所述信道中按所述列分别具有最大值的各特定信道上存在有各所述障碍物各最下端部分之后，生成所述分割结果，其在所述Nc个行中按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
13.一种从至少一个训练图像中检测出至少一个障碍物的CNN参数的学习用学习装置，其特征在于，
所述学习装置包括接收所述训练图像的通讯部；以及执行以下过程的处理器：
(i)使第1卷积层至第N卷积层从所述训练图像依次各自生成第1编码特征图至第N编码特征图，(ii)使第N反卷积层至第1反卷积层从所述第N编码特征图依次生成第N解码特征图至第1解码特征映，(iii)将所述至少一个解码特征图的行方向定为第1方向，列方向定为第2方向，并将所述至少一个解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，按每个所述各列将各所述行的各特征向信道方向进行级联，生成至少一个修正后的特征图，(iv)参照所述修正后的特征图和对应于其的GT图像，生成至少一个损失，其特征在于，所述GT图像，是对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像，(v)反向传播所述损失，学习所述CNN的所述参数，
所述修正后的特征图，是将划分所述解码特征图而产生的各所述行，向信道方向，按所述列分别进行级联而生成的，
所述过程(iii)包括以下过程：
(iii-1)利用具备Ci×Wi×Hi尺寸的所述解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1修正后的特征图，而所述Ci是所述解码特征图的信道数，所述Wi是所述解码特征图的列的尺寸，所述Hi是所述解码特征图的行的尺寸；
(iii-2)至少执行一次将具备CiHi×Wi×1尺寸的所述第1修正后的特征图转换为具备尺寸的所述第1修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述解码特征图的所述列的尺寸；
(iii-3)利用具备尺寸的所述第1修正后的特征图，生成具备Nc×WI×1尺寸的第2修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述训练图像的行的个数；以及
(iii-4)执行SoftMax输出过程，其按所述第2修正后的特征图的所述列分别将Nc个信道归一化，并通过对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认，从而生成分割结果，其在推定存在各所述近距离障碍物的所述至少一个解码特征图内，表示各个推定位置，
在所述过程(iv)中，
参照从所述过程(iii-4)中输出的、对应于所述GT图像的各SoftMax输出和所述GT图像，生成所述损失。
14.根据权利要求13所述的装置，其特征在于，
在所述过程(ii)中，
所述处理器，使对应于所述第N卷积层的所述第N反卷积层，将所述第N编码特征图，按所述第1方向增加至规定倍数尺寸，从而生成所述第N解码特征图。
15.根据权利要求13所述的装置，其特征在于，
在所述过程(iv)，参照所述分割结果和所述GT图像，生成所述损失。
16.根据权利要求15所述的装置，其特征在于，
在所述过程(iii)，所述处理器，在将所述修正后的特征图的、按所述列分别经过了级联后的信道上，对各所述近距离障碍物各最下端部分的各所述推定位置进行确认，从而生成所述分割结果。
17.根据权利要求13所述的装置，其特征在于，
所述各列在所述第1方向包括至少一个像素，所述各行在所述第2方向包括至少一个像素。
18.根据权利要求15所述的装置，其特征在于，
所述GT图像及所述分割结果，包括有将所述训练图像按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，而所述修正后的特征图包括Nc个信道。
19.根据权利要求13所述的装置，其特征在于，
在所述过程(iii-4)，
确定了在所述信道中按所述列分别具有最大值的各特定信道上存在有各所述障碍物各最下端部分之后，生成分割结果，其在所述Nc个行中按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
20.根据权利要求13所述的装置，其特征在于，
所述第1至所述第N卷积层，通过执行卷积、最大池化、ReLU中至少一种运算，缩小所述训练图像或任意特征图的尺寸，从而生成至少一个缩小的特征图，所述第N至第1反卷积层，通过执行反卷积和ReLU中至少一种运算，生成输入的特征图的尺寸变大的至少一个扩大的特征图。
21.一种从至少一个测试图像中检测出至少一个障碍物的CNN测试装置，其特征在于，
所述测试装置包括通讯部和处理器，
所述通讯部在学习装置执行了以下过程的状态下，获取所述测试图像，所述学习装置，(i)接收训练图像，使第1卷积层至第N卷积层从所述训练图像，依次各自生成第1学习用编码特征图至第N学习用编码特征图，(ii)使第N反卷积层至第1反卷积层从所述第N学习用编码特征图，依次生成第N学习用解码特征图至第1学习用解码特征图，(iii)将所述至少一个学习用解码特征图的行方向定为第1方向，列方向定为第2方向，并将所述至少一个学习用解码特征图在所述第1方向划分为第1间隔，在所述第2方向划分为第2间隔，从而生成具备多个行和多个列的栅格各单元后，按每个所述列将各所述行的各特征向信道方向进行级联，生成至少一个学习用修正后的特征图，(iv)参照所述学习用修正后的特征图和对应于其的GT图像，生成至少一个损失，而其特征在于，所述GT图像，是对所述各自的列从对应于其的最下端单元开始按所述第2方向进行确认后，用来显示各近距离障碍物实际所处的各GT位置所对应的各所述行的图像，(v)反向传播所述损失，学习所述CNN的参数，
所述处理器执行以下过程：(I)获得所述测试图像，使所述第1卷积层至所述第N卷积层从所述测试图像依次生成第1测试用编码特征图至第N测试用编码特征图，(II)使至少一个所述反卷积层从所述第N测试用编码特征图生成至少一个测试用解码特征图，(III)按所述各列将各所述行的各测试用特征向所述信道方向进行级联，生成至少一个测试用修正后的特征图，(IV)在所述测试用修正后的特征图的、按所述列分别经过了级联后的信道上，确认各所述障碍物各最下端部分的各推定位置，从而生成分割结果，以此检测所述障碍物，
所述过程(iii)包括以下过程：
(iii-1)利用具备Ci×Wi×Hi尺寸的所述学习用解码特征图，生成具备Ci·Hi×Wi×1尺寸的第1学习用修正后的特征图，而所述Ci是所述学习用解码特征图的信道数，所述Wi是所述学习用解码特征图的列的尺寸，所述Hi是所述学习用解码特征图的行的尺寸；
(iii-2)至少执行一次将具备Ci·Hi×Wi×1尺寸的所述第1学习用修正后的特征图转换为具备尺寸的所述第1学习用修正后的特征图的卷积运算，而所述WI是所述训练图像的列的尺寸，所述Wi是所述学习用解码特征图的所述列的尺寸；
(iii-3)利用具备尺寸的所述第1学习用修正后的特征图，生成具备Nc×WI×1尺寸的第2学习用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述训练图像的行的个数；
(iii-4)执行SoftMax输出过程，其按所述第2学习用修正后的特征图的所述列分别将Nc个信道进行归一化，
在所述过程(iv)中，
参照从所述流程(iii-4)输出的、对应于所述GT图像的各SoftMax输出和所述GT图像，生成所述损失，
所述过程(III)包括以下过程：
(III-1)利用具备Cj×Wj×Hj尺寸的所述测试用解码特征图，生成具备Cj·Hj×Wj×1尺寸的第1测试用修正后的特征图，而所述Cj是所述测试用解码特征图的信道数，所述Wj是所述测试用解码特征图的列的尺寸，所述Hj是所述测试用解码特征图的行的尺寸；
(III-2)至少执行一次将具备Cj·Hj×Wj×1尺寸的所述第1测试用修正后的特征图转换为具备尺寸的所述第1测试用修正后的特征图的卷积运算，而所述WJ是所述测试图像的列的尺寸，所述Wj是所述测试用解码特征图的所述列的尺寸；
(III-3)利用具备尺寸的所述第1测试用修正后的特征图，生成具备Nc×WJ×1尺寸的第2测试用修正后的特征图，而所述Nc是为了确定各个所述障碍物在各个所述列上的位置而划分所述测试图像的行的个数；
(III-4)执行SoftMax输出过程，其按所述第2测试用修正后的特征图的所述列分别将Nc个信道进行归一化。
22.根据权利要求21所述的装置，其特征在于，
在所述过程(ii)中，
所述学习装置，在对应于所述第N卷积层的所述第N反卷积层，将所述第N学习用编码特征图，按所述第1方向增加至规定倍数尺寸，从而生成所述第N学习用解码特征图，
在所述过程(II)中，
所述处理器，使所述第N反卷积层，将所述第N测试用编码特征图的尺寸，按所述第1方向增加至规定倍数，从而生成所述第N测试用解码特征图。
23.根据权利要求21所述的装置，其特征在于，
所述GT图像及所述分割结果，包括有将所述训练图像和所述测试图像分别按所述第2方向划分为Nc个行后，按所述列分别表示各所述障碍物存在于所述行中哪一行的信息，
所述学习用修正后的特征图包括Nc个信道，所述测试用修正后的特征图包括Nc个信道。
24.根据权利要求21所述的装置，其特征在于，
在所述过程(III-4)中，
确定了在所述信道中按所述列分别具有备最大值的各特定信道上存在有各所述障碍物各最下端部分之后，生成所述分割结果，其在所述Nc个行中按所述行分别来看，在各所述最下端部分的所述推定位置分别具有最大值，而在所述行中剩余行的位置则具有更小的值。
CN201910809441.9A 2018-09-05 2019-08-29 用于检测障碍物的方法和装置 Active CN110879958B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/121681 2018-09-05
US16/121,681 US10303980B1 (en) 2018-09-05 2018-09-05 Learning method, learning device for detecting obstacles and testing method, testing device using the same

Publications (2)

Publication Number Publication Date
CN110879958A CN110879958A (zh) 2020-03-13
CN110879958B true CN110879958B (zh) 2023-11-28

Family

ID=66625806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910809441.9A Active CN110879958B (zh) 2018-09-05 2019-08-29 用于检测障碍物的方法和装置

Country Status (5)

Country Link
US (1) US10303980B1 (zh)
EP (1) EP3620957A1 (zh)
JP (1) JP6869559B2 (zh)
KR (1) KR102279361B1 (zh)
CN (1) CN110879958B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11600006B2 (en) * 2018-10-26 2023-03-07 Here Global B.V. Deep neural network architecture for image segmentation
US10922845B2 (en) * 2018-12-21 2021-02-16 Here Global B.V. Apparatus and method for efficiently training feature detectors
US11126890B2 (en) * 2019-04-18 2021-09-21 Adobe Inc. Robust training of large-scale object detectors with a noisy dataset
CN113496117B (zh) * 2020-04-02 2024-03-12 北京庖丁科技有限公司 交叉检查表格中单元格数字内容的方法和电子设备
US12045992B2 (en) * 2020-11-10 2024-07-23 Nec Corporation Multi-domain semantic segmentation with label shifts
KR102507855B1 (ko) * 2021-05-12 2023-03-09 한국외국어대학교 연구산학협력단 고속 연산이 가능한 딥러닝 신경망 장치
CN114092773B (zh) * 2021-10-29 2023-11-21 北京百度网讯科技有限公司 信号处理方法、信号处理装置、电子设备及存储介质
CN115116038B (zh) * 2022-08-30 2023-03-24 北京中科慧眼科技有限公司 基于双目视觉的障碍物识别方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160131848A (ko) * 2015-05-08 2016-11-16 삼성전자주식회사 객체 인식 장치 및 방법
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及***
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
CN108197569A (zh) * 2017-12-29 2018-06-22 驭势科技（北京）有限公司 障碍物识别方法、装置、计算机存储介质和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122934B2 (en) * 2013-12-27 2015-09-01 Automotive Research & Testing Center Object detection method with a rising classifier effect and object detection device with the same
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
US10198624B2 (en) * 2016-02-18 2019-02-05 Pinscreen, Inc. Segmentation-guided real-time facial performance capture
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
KR20180058175A (ko) * 2016-11-23 2018-05-31 건국대학교 산학협력단 Dnn 기반 객체 학습 및 인식 시스템
JP2020510463A (ja) * 2017-01-27 2020-04-09 アーテリーズ インコーポレイテッド 全層畳み込みネットワークを利用する自動化されたセグメンテーション
KR20180063869A (ko) * 2018-02-28 2018-06-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US20190286921A1 (en) * 2018-03-14 2019-09-19 Uber Technologies, Inc. Structured Prediction Crosswalk Generation
KR20200066143A (ko) * 2018-11-30 2020-06-09 한국전자통신연구원 축소 반복 블록을 이용한 뉴럴 네트워크 경량화 방법 및 이를 위한 장치
US11461653B2 (en) * 2019-01-23 2022-10-04 StradVision, Inc. Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160131848A (ko) * 2015-05-08 2016-11-16 삼성전자주식회사 객체 인식 장치 및 방법
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及***
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
CN108197569A (zh) * 2017-12-29 2018-06-22 驭势科技（北京）有限公司 障碍物识别方法、装置、计算机存储介质和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Deconvolution Network for Semantic Segmentation;Hyeonwoo Noh et al.;《2015 IEEE International Conference on Computer Vision》;20160218;1520-1528 *
On-road object detection using deep neural network;Huieun Kim等;《2016 IEEE International Conference on Consumer Electronics-Asia (ICCE-Asia)》;20170105;全文 *

Also Published As

Publication number Publication date
JP2020038663A (ja) 2020-03-12
CN110879958A (zh) 2020-03-13
EP3620957A1 (en) 2020-03-11
KR20200027890A (ko) 2020-03-13
JP6869559B2 (ja) 2021-05-12
KR102279361B1 (ko) 2021-07-21
US10303980B1 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
CN110879958B (zh) 用于检测障碍物的方法和装置
CN111104838B (zh) 基于障碍物的下端线检测roi的方法和装置
CN111104839B (zh) 用于检测客体存在性的方法及装置
KR102326256B1 (ko) 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치
KR102280395B1 (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111105010B (zh) 使用具有不同标签集的多个带标签数据库的方法及装置
JP6360802B2 (ja) ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両
CN111488782B (zh) 利用拉普拉斯金字塔网络检测道路障碍物的方法和装置
US10262214B1 (en) Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US11042734B2 (en) Electronic document segmentation using deep learning
CN111104840B (zh) 基于回归损失的学习及测试的方法及装置
CN110909588B (zh) 基于cnn的用于车道线检测的方法和装置
Hasan et al. Road Damage Detection and Classification using Deep Neural Network

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant