CN111461318B - 利用网格生成器的神经网络运算方法及使用该方法的装置 - Google Patents
利用网格生成器的神经网络运算方法及使用该方法的装置 Download PDFInfo
- Publication number
- CN111461318B CN111461318B CN201911310030.1A CN201911310030A CN111461318B CN 111461318 B CN111461318 B CN 111461318B CN 201911310030 A CN201911310030 A CN 201911310030A CN 111461318 B CN111461318 B CN 111461318B
- Authority
- CN
- China
- Prior art keywords
- test
- neural network
- learning
- sub
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012360 testing method Methods 0.000 claims abstract description 259
- 238000012549 training Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 6
- 238000011144 upstream manufacturing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Neurology (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了利用网格生成器的神经网络运算方法及使用该方法的装置,该方法包括以下步骤:计算装置(a)若获取到测试图像,则使非对象检测器检测位于所述测试图像上的测试用非对象,并获取测试用非对象的位置信息和所述测试用非对象的类别信息;(b)使所述网格生成器参考所述测试用非对象的位置信息来生成区块信息;(c)使神经网络确定测试用参数;(d)使所述神经网络利用各所述测试用参数,将所述神经网络运算应用到所述测试图像中,输出一个以上的神经网络结果。
Description
技术领域
本发明涉及为了根据测试图像内的区域的类别来切换模式以满足自动驾驶汽车4级而利用网格生成器的神经网络运算方法和利用该方法的装置,具体来说,利用所述网格生成器的神经网络运算方法,其特征在于,包括以下步骤:(a)若获取到测试图像,则使非对象(non-object)检测器检测出测试图像中存在的测试用非对象,获取测试用非对象的位置信息和所述测试用非对象的类别信息,所述测试用非对象的位置信息包括与所述测试用非对象在所述测试图像上位于哪个位置相关的信息,所述测试用非对象的类别信息包括与所述测试用非对象的类别相关的信息;(b)使所述网格生成器参考所述测试用非对象的位置信息来生成区块信息,所述区块信息包含与所述测试图像中的多个子区块相关的信息;(c)使神经网络参考学习用参数来确定测试用参数,所述测试用参数用于将所述神经网络运算应用到(i)包含各测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域,所述学习用参数是利用与各学习用非对象相关的信息学习的,与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息;(d)使所述神经网络利用分别与所述子区块中的所述至少一部分对应的各所述测试用参数,将所述神经网络运算应用到所述测试图像中,输出一个以上的神经网络结果。
背景技术
深度卷积神经网络(Deep Convolution Neural Networks;Deep CNN)是深度学习的惊人发展的核心。CNN已经在90年代用于解决文字识别问题,但是近年来广泛用于机器学习(Machine Learning)。例如,CNN在2012年ImageNet图像分类竞赛(ImageNet LargeScale Visual Recognition Challenge)中击败了其他竞争对手并赢得了冠军。从那时起,CNN已成为机器学习领域中非常有用的工具。
CNN还广泛用于自动驾驶领域。在自动驾驶环境中,大多数输入图像具有典型且相似的布置,主要包括输入图像中间的车道和左右两侧的人行道。因此,用于自动驾驶的CNN使用具有如输入图像的构成要素那样的典型布置、例如典型的构成要素的训练图像来学习参数。
然而,上述学习过程具有很大的缺点。即,当输入图像的布置与训练图像的典型布置不同时,CNN运算效率低下。例如,在转弯的情况下,与具有典型布置的训练图像不同,测试图像的中间没有车道,由于CNN的参数针对车道位于图像中间的输入图像进行了优化,因此,使用上述参数无法正确计算测试图像。
发明内容
发明所要解决的课题
本发明的目的在于解决上述问题。
本发明的另一个目的在于,提供一种参考与子区块中的至少一部分的每一个所包含的至少一个以上的测试用非对象相关的类别信息来确定测试用参数的方法,由此输出最优化的神经网络结果。
用于解决课题的手段
为了实现如上所述的本发明的目的并实现后述的本发明的特定效果,本发明的特定构成如下。
根据本发明的一个方式,公开了一种利用网格生成器的神经网络运算方法,其特征在于,包括以下步骤:(a)计算装置若获取到测试图像,则使非对象检测器检测出测试图像中存在的测试用非对象,获取所述测试用非对象的位置信息和所述测试用非对象的类别信息,所述测试用非对象的位置信息包括与所述测试用非对象在所述测试图像上位于哪个位置相关的信息,所述测试用非对象的类别信息包括与所述测试用非对象的类别相关的信息;(b)所述计算装置使所述网格生成器参考所述测试用非对象的位置信息来生成区块信息,所述区块信息包含与所述测试图像中的多个子区块相关的信息;(c)所述计算装置使神经网络参考学习用参数来确定测试用参数,所述测试用参数用于将所述神经网络运算应用到(i)包含各测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域,所述学习用参数是利用与各学习用非对象相关的信息学习的,与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息;以及(d)所述计算装置使所述神经网络利用分别与所述子区块中所述至少一部分对应的各所述测试用参数,将所述神经网络运算应用到所述测试图像中,输出一个以上的神经网络结果。
在一个实施例中,在所述步骤(b)中,所述网格生成器使用动态模板来划分所述测试图像,提供一个以上的边界线被调整的所述动态模板,使得所述测试用非对象中的至少一个被包含在所述动态模板的所述子区块的所述至少一部分的每一个中。
在一个实施例中,所述网格生成器管理与所述动态模板相关的信息,所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分,其中一部分边界线是可调整的。
在一个实施例中,所述动态模板包括行组和一个以上的列组,所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组以及(iii)下行组,至少一个所述测试用非对象分别被包含在由所述行组和所述列组形成的所述子区块中所述至少一部分的每一个中。
在一个实施例中,在所述步骤(a)之前,还包括以下步骤:(a0)所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息,学习所述学习用参数。
在一个实施例中,在所述步骤(a0)中,
所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数,并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储,与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中,在各所述训练图像上,当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时,如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值,则将其选定为所述训练图像。
在一个实施例中,在所述步骤(c)中,(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时,所述计算装置使所述神经网络参考所述学习用参数中的至少一个特定学习用参数,确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数,(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时,所述计算装置使所述神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分,所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域,(ii-2)参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分,所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域,所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
在一个实施例中,在所述步骤(d)中,所述计算装置使所述神经网络使用所述测试用参数,将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上,输出所述神经网络结果。
在一个实施例中,所述测试图像表示道路行驶情况,所述测试用对象是可能出现在道路上的物体,所述神经网络结果用于自动驾驶。
根据本发明的另一方式,公开了一种计算装置,用于利用网格生成器进行神经网络运算,包括:至少一个存储器,用于存储指令;以及至少一个处理器,被构成为执行所述指令,所述指令用于执行以下处理:(I)使非对象检测器检测出测试图像中存在的测试用非对象,获取所述测试用非对象的位置信息和所述测试用非对象的类别信息,所述测试用非对象的位置信息包括与所述测试用非对象在所述测试图像上位于哪个位置相关的信息,所述测试用非对象的类别信息包括与测试用非对象的类别相关的信息;(II)使所述网格生成器参考所述测试用非对象的位置信息来生成区块信息,所述区块信息包含与所述测试图像中的多个子区块相关的信息;(III)使神经网络参考学习用参数来确定测试用参数,所述测试用参数用于将所述神经网络运算应用到(i)包含各测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域,所述学习用参数是利用与各学习用非对象相关的信息学习的,与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息;以及(IV)使所述神经网络利用与所述子区块中所述至少一部分分别对应的各所述测试用参数,将所述神经网络运算应用到所述测试图像,输出一个以上的神经网络结果。
在一个实施例中,在所述处理(II)中,所述网格生成器使用动态模板来划分所述测试图像,提供一个以上的边界线被调整的所述动态模板,使得所述测试用非对象中的至少一个被包含在所述动态模板的所述子区块的所述至少一部分的每一个中。
在一个实施例中,所述网格生成器管理与所述动态模板相关的信息,所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分,其中一部分边界线是可调整的。
在一个实施例中,所述动态模板包括行组和一个以上的列组,所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组以及(iii)下行组,至少一个所述测试用非对象被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分的每一个中。
在一个实施例中,在所述处理(I)之前,还执行以下处理:(0)所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息,学习所述学习用参数。
在一个实施例中,在所述处理(0)中,所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数,并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储,与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分的每一个中。
在一个实施例中,在各所述训练图像上,当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时,如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值,则将其选定为所述训练图像。
在一个实施例中,在所述处理(III)中,(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时,所述处理器使所述神经网络参考所述学习用参数中的至少一个特定学习用参数,确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数,(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时,所述处理器使所述神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分,所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域,(ii-2)参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分,所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域,所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
在一个实施例中,在所述处理(IV)中,所述处理器使所述神经网络使用所述测试用参数,将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上,输出所述神经网络结果。
在一个实施例中,所述测试图像表示道路行驶情况,所述测试用对象是可能出现在道路上的物体,所述神经网络结果用于自动驾驶。
发明效果
根据本发明,提供如下方法:利用与子区块所包含的学习用非对象相关的信息来确定测试用参数,所述与子区块所包含的学习用非对象相关的信息具有与测试用非对象的类别信息相同或相似的类别信息,由此具有能够输出最优化的神经网络结果的效果。
附图说明
本发明的实施例的说明中所用的以下附图仅仅是本发明实施例中的一部分,本领域技术人员在不进行发明操作的情况下,也能够根据这些附图来得出其他附图。
图1是示出用于根据本发明而利用网格生成器执行神经网络运算方法的计算装置的构成的图。
图2是示出用于根据本发明而输出神经网络结果的过程的图。
图3是示出具有用于根据本发明而学习神经网络的学习用参数的典型布置的训练图像的图。
图4A是示出根据本发明而能够有效地适用利用网格生成器的神经网络运算方法的测试图像的图。
图4B是示出根据本发明而通过动态模板生成子区块的测试图像的图。
具体实施方式
后述的针对本发明的详细描述参照附图,该附图是作为例示本发明可实施的特定实施例而图示的。这些实施例被详细说明以使本领域技术人员足以实施本发明。应该理解的是,本发明的各种实施例虽然彼此不同,但并不是相互排斥的。例如,在不脱离本发明的精神和范围内,可以通过其他实施例来实现这里描述的特定形状、结构和特性。另外,应当理解的是,在不脱离本发明的精神和范围的情况下,可以改变每一个公开的实施例中的各个构成要素的位置或配置。因此,以下的详细描述不应被视为具有限制意义,如果适当地描述,则本发明的范围仅由所附权利要求以及与这些权利要求所主张范围的等同的全部范围来限定。附图中相同的附图标记在若干方面中指相同或相似的功能。
另外,在本发明的整个说明书和权利要求书中,词语“包括”及其变形并不旨在排除其他技术特征、附加物等、构成要素等或步骤等。对于本领域技术人员来说,本发明的其他目的、优点和特征的一部分可以从本说明书中得出、其他一部分从本发明的实施中得出。以下示例和附图是以举例说明的方式提供的,并不旨在限制本发明。
本发明中提到的各种图像可以包括与铺砌或未铺砌道路相关的图像,并且在这种情况下,可以包括可能出现在道路环境中的对象(例如,如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物),但并不限于此,并且本发明中提到的各种图像可以是与道路无关的图像(例如,与未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关的图像),在这种情况下,可以象征可能出现在未铺砌道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的对象(例如,如汽车、人、动物、植物、物体、建筑物、飞机或无人机那样的飞行物、其他障碍物),但并不限于此。
以下,为了使本领域技术人员能够容易地实施本发明,参考附图详细描述本发明的优选实施例。
作为参考,在下面的描述中,为了避免混淆,在与学习过程相关的术语中附加了词语“学习用”,在与测试过程相关的术语中附加了词语“测试用”。
图1是示出用于根据本发明而利用网格生成器执行神经网络运算方法的计算装置的构成的图。
参照图1,计算装置100可以包括非对象(non-object)检测器130、网格生成器140以及神经网络150。非对象检测器130、网格生成器140以及神经网络150的各种数据输入/输出处理和计算处理可以分别由通信部110和处理器120执行。然而,在图1中,省略了对通信部110和处理器120之间的连接关系的详细描述。另外,计算装置100还可包括存储器115,存储器115能够存储用于执行后述的处理的计算机可读指令。作为一个示例,处理器、存储器、介质等可以集成到一个处理器中以发挥作用。
如上所述,描述了计算装置100的构成,以下将描述根据本发明而利用网格生成器140导出神经网络结果的过程。
图2是示出用于根据本发明而输出神经网络结果的过程的图。
参照图2,可以看出:若获取到测试图像,以非对象检测器130、网格生成器140和神经网络150的顺序执行处理。可以将测试图像输入到非对象检测器130,并且可以将由非对象检测器130生成的测试用非对象的位置信息和测试图像被输入到网格生成器140。最终,由非对象检测器130生成的测试用非对象的类别信息和由网格生成器140生成的区块信息以及测试图像被输入到神经网络150,该测试用非对象的类别信息包括与测试用非对象的类别相关的信息。此后,神经网络150可以参考测试用参数和测试图像来输出神经网络结果,该测试用参数是参考测试用非对象的类别信息和区块信息来确定的。
具体来说,若通过通信部110获取到表示道路行驶状况的测试图像,则计算装置100使非对象检测器130检测测试图像上存在的测试用非对象,从而获取测试用非对象的位置信息和测试用非对象的类别信息,该测试用非对象的位置信息包括与测试用非对象在测试图像上位于哪个位置相关的信息。
在非对象检测器130获取到测试用非对象的位置信息和测试用非对象的类别信息之后,计算装置100可以使网格生成器140参考测试用非对象的位置信息,将测试图像划分为多个子区块,以生成区块信息,该区块信息包括与测试图像中的子区块相关的信息。在子区块中的一部分中可能一起存在:如汽车(测试用对象)和车道(测试用非对象)这样的测试用对象以及与其对应的测试用非对象。
网格生成器140可以使用动态模板(dynamic template)将测试图像划分为子区块。
具体来说,网格生成器140可以管理与动态模板相关的信息,并且动态模板可以包括(i)第一方向上的至少一个第一边界线和(ii)第二方向行的至少一个第二边界线中的至少一部分,其中的一部分是可调整的。
作为一个示例,第一方向可以是平行于测试图像的水平轴的方向,第二方向可以是平行于测试图像的垂直轴的方向,但不限于此,每个方向可以是倾斜方向,甚至可以是由特定函数来确定的曲线方向。
另外,动态模板可以包括行组和一个以上的列组。作为一个示例,行组具有(i)上行组、(ii)包括列组中的至少一部分的中间行组、以及(iii)下行组。中间行组包括列组中的至少一部分的原因是:通常,重要的对象和非对象大多数位于测试图像的中心。
如上所述,动态模板的构成是预先设定的,当网格生成器140使用动态模板划分测试图像时,可以提供一个以上的边界线被调整的动态模板。作为一个示例,可以提供如下动态模板:子区块的至少一部分中的每一个中包括测试用非对象中的至少一个。区块信息可以包括与被调整后的边界线的位置相关的信息。
若如上所述那样生成区块信息,则计算装置100可以使神经网络150利用与测试非对象相关的类别信息和区块信息来确定测试用参数。
为了描述确定测试用参数的过程,将描述学习神经网络的学习用参数的过程。
在通信部110获取测试图像之前,计算装置100可以使神经网络150使用包含在一个以上的训练图像中的各学习用非对象的信息,学习学习用参数。各训练图像可以包括在道路行驶情况下可能出现的典型布置。为了说明这种典型的布置,参考图3。
图3是示出具有用于根据本发明而学习神经网络的参数的典型布置的训练图像的图。
参照图3,可以看到车道部分位于上述例示的训练图像300的中心,人行道部分位于其左侧和右侧,而天空部分位于上部。用于学习神经网络150的参数的训练图像可以与上述例示的训练图像300相似。
为了描述上述例示的训练图像300的构成,先看一下学习用位置信息和分割区域的术语。
分割区域是指学习用非对象所处的区域,是指分别设置有车道、人行道和天空部分的各区域。学习用位置信息可以包括分割区域的中心坐标。
在这种情况下,在各训练图像上,当将第一分割区域至第k分割区域的位置信息称为第一位置信息至第k位置信息时,如果训练图像中的每一个的第一位置信息的相对偏差至第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值,则可以将其选定为训练图像。
在学习过程中,神经网络150并不是使用每一个训练图像中包括的所有区域来学习学习用参数,而是使用训练图像中包括的第一至第k分割区域中的至少一部分分割区域中的每一个所包含的与各学习用非对象相关的信息来学习学习用参数,并且可以将关于学习用非对象的类别信息与对应于学习用非对象的学习用参数相关联地存储。
例如,可以假设神经网络150使用如图3的所例示的训练图像那样的多个训练图像来学习学习用参数。在这种情况下,第一分割区域310是天空部分,第二分割区域320是左侧的人行道部分,第三分割区域330是车道部分,第四分割区域340是右侧的人行道部分。神经网络150可以使用第一分割区域310来学习与天空部分相对应的学习用参数,并且与天空部分的参数相关联地存储关于天空部分的类别信息。与此类似地,在确定与人行道部分对应的学习用参数中的一部分时,可以使用第二分割区域320和第四分割区域340,并且可以存储人行道部分的类别信息。
如上所述,描述了神经网络150的学习过程,以下将描述确定测试用参数的过程。
若神经网络150的学习过程完成,则可以存储学习用参数和关于与其对应的非对象的类别信息。之后,若通信部110获取到测试图像、并且非对象检测器130和网格生成器140所执行的处理完成,则计算装置100可以使神经网络150参考学习用参数来确定测试用参数,该学习用参数是利用与学习用非对象相关的信息来学习的,该学习用非对象具有与测试用非对象的类别信息相同或相似的类别信息。
测试用参数用于将神经网络运算应用到(i)包含各测试用对象和与其对应的测试用非对象的子区块中的至少一部分或者(ii)位于在子区块中的至少一部分之中的各子区域且各测试用非对象所在的各子区域。如果测试用参数仅适用于子区域,则参考利用追加学习用对象来独立学习的追加学习用参数来确定至少一个追加测试用参数,该追加学习用对象具有与测试用对象的类别信息相同或相似的类别信息,该至少一个追加测试用参数要适用于各测试用对象所在的各区域中。
为了这样的处理,神经网络150可以使用于由非对象检测器130获取的子区块中的至少一部分中的每一个所包含的测试用非对象中的每一个相关的类别信息。
例如,可以假定与车道部分相对应的特定学习用参数和与车道部分相关的类别信息被一起存储的情况。在这种情况下,如果判断为车道位于测试图像中的特定子区块中,则使用与特定子区块相对应的特定学习用参数来确定特定测试用参数。
这样的方法与以往的方法相比有效的原因在于:即使在测试图像中包含的构成要素的相对位置与训练图像中包含的构成要素的位置不同时,也适用适当的测试用参数。
具体来说,将与训练图像中的第一至第k分割区域相对应的第一至第k位置信息中的每一个与测试图像中的第一至第k位置信息中的每一个进行比较,在其偏差之中至少一部分超过第二阈值时,可以更有效地适用本发明,但是不限于此。
图4A是示出根据本发明而能够有效地适用利用网格生成器的神经网络运算方法的测试图像的图。
参照图4A,与图3不同地,可以确认车道部分位于左侧,而人行道部分位于右侧。在这种情况下,由于测试图像中包含的车道部分位置与训练图像中包含的车道部分位置不同,因此,通过以往的方法来生成的神经网络运算的结果并不能被最优化。从而,存在如下缺点:成为测试用参数未被最优化的状态,从而导致较差的结果。但是,如果将本发明的方法应用于这种情况下的测试图像中,则被最优化的参数应用到子区块的至少一部分的每一个中,从而生成最优化的神经网络运算的结果。这可以参照图4B看出。
图4B是示出根据本发明而通过动态模板生成子区块的测试图像的图。
参照图4B,示出了中间行左侧的包含车道部分的子区块520、中间行中心的包含车道部分的子区块530、位于下行的包含车道部分的子区块550、以及位于中间行右侧的包含人行道部分的子区块540。由于该子区块,可以将使用训练图像中所包含的车道部分学习的学习用参数适用到子区块520、530和550中,并且使用训练图像中所包含的人行道部分学习的学习用参数可以适用到子区块540中。
另一方面,还可以参考如下比率来确定测试用参数,该比率为特定测试用对象在包括该特定测试用对象的特定子区块中所占的面积的比率。
具体来说,当特定测试用对象相对于包括该特定测试用对象的特定子区块的面积之比小于预设阈值时,计算装置100使神经网络150参考学习用参数中的至少一个特定学习用参数,确定在将神经网络运算应用到特定子区块时使用的测试用参数中的至少一个特定测试用参数。
相反地,当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比大于或等于预设阈值时,计算装置100使神经网络150参考学习用参数中的特定学习用参数来确定特定测试用参数的第一部分,该特定测试用参数的第一部分用于将神经网络运算应用到在特定子区块中特定测试用非对象所在的子区域,并且参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定特定测试用参数的第二部分,该特定测试用参数的第二部分用于将神经网络运算应用到在特定子区块中特定测试用对象所在的子区域,该追加学习用对象具有与特定测试用对象的类别信息相同或相似的类别信息。
由于学习用参数是参考学习用非对象来学习的,因此,当特定非对象相对于特定子区块的面积所占的比率高时,可以使用学习用参数来有效地确定测试用参数。在相反的情况下,即,当特定非对象相对于特定子区块所占的面积的比率低时,该特定非对象不能被视为代表该特定子区块,因此,使用学习用参数来确定测试用参数并不是有效的。因此,特定测试用参数的第一部分被应用于特定测试用非对象所在的子区域,而特定测试用参数的第二部分被应用于特定测试用对象所在的子区域。
若如上所述那样确定测试用参数,则神经网络运算可以应用于测试图像,该神经网络运算可以是卷积运算和反卷积运算。即,计算装置100可以使神经网络150使用测试用参数,将一次以上的卷积运算和一次以上的反卷积运算应用于测试图像中,输出神经网络运算结果。
根据本发明的方法,为了满足自动驾驶车辆4级可以根据区域的类别来切换模式。
以上描述的根据本发明的实施例可以以程序指令的形式实现,该程序指令可以由各种计算机部件执行,并且可以记录在计算机可读记录介质中。计算机可读记录介质可以单独或组合地包括程序指令、数据文件、数据结构等。记录在计算机可读记录介质上的程序指令可以是为本发明专门设计和配置的程序指令,或者可以是计算机软件领域的技术人员已知并可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质,诸如光磁软盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及ROM、RAM、闪存等的特别构成为存储并执行程序指令的硬件装置。程序指令的示例不仅包括由编译器生成的机器代码,还包括可以由计算机使用解释器等执行的高级语言代码。硬件装置可以配置为作为一个或多个软件模块操作来执行根据本发明的处理,反之亦然。
尽管已经通过诸如具体构成要素等特定部件和有限的实施例和附图来描述了本发明,但这些仅仅是为了更全面地理解本发明而提供的,本发明不限于上述实施例。对于本领域技术人员来说,可以从这些描述中进行各种修改和变更。
因此,本发明的宗旨不应限于上述实施例,并且不仅是后附权利要求,与这些权利要求等同或等价的变形均包含于本发明的宗旨范围内。
Claims (18)
1.一种利用网格生成器的神经网络运算方法,其特征在于,包括以下步骤:
(a)计算装置若获取到测试图像,则使非对象检测器检测出测试图像中存在的测试用非对象,获取所述测试用非对象的位置信息和所述测试用非对象的类别信息,所述测试用非对象的位置信息包括与所述测试用非对象在所述测试图像上位于哪个位置相关的信息,所述测试用非对象的类别信息包括与所述测试用非对象的类别相关的信息;
(b)所述计算装置使所述网格生成器参考所述测试用非对象的位置信息来生成区块信息,所述区块信息包含与所述测试图像中的多个子区块相关的信息;
(c)所述计算装置使神经网络参考学习用参数来确定测试用参数,所述测试用参数用于将所述神经网络运算应用到(i)包含各测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域,所述学习用参数是利用与各学习用非对象相关的信息学习的,与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息;以及
(d)所述计算装置使所述神经网络利用分别与所述子区块中所述至少一部分对应的各所述测试用参数,将所述神经网络运算应用到所述测试图像中,输出一个以上的神经网络结果,
在所述步骤(b)中,
所述网格生成器使用动态模板来划分所述测试图像,提供一个以上的边界线被调整的所述动态模板,使得所述测试用非对象中的至少一个被包含在所述动态模板的所述子区块中的至少一部分。
2.如权利要求1所述的神经网络运算方法,其特征在于,
所述网格生成器管理与所述动态模板相关的信息,所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分,其中一部分边界线是能够调整的。
3.如权利要求1所述的神经网络运算方法,其特征在于,
所述动态模板包括行组和一个以上的列组,所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组以及(iii)下行组,至少一个所述测试用非对象分别被包含在由所述行组和所述列组形成的所述子区块中所述至少一部分。
4.如权利要求1所述的神经网络运算方法,其特征在于,
在所述步骤(a)之前,还包括以下步骤:
(a0)所述计算装置使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息,学习所述学习用参数。
5.如权利要求4所述的神经网络运算方法,其特征在于,
在所述步骤(a0)中,
所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数,并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储,与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分。
6.如权利要求5所述的神经网络运算方法,其特征在于,
在各所述训练图像上,当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时,如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值,则将其选定为所述训练图像。
7.如权利要求1所述的神经网络运算方法,其特征在于,
在所述步骤(c)中,
(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时,所述计算装置使所述神经网络参考所述学习用参数中的至少一个特定学习用参数,确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数,(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时,所述计算装置使所述神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分,所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域,(ii-2)参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分,所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域,所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
8.如权利要求1所述的神经网络运算方法,其特征在于,
在所述步骤(d)中,
所述计算装置使所述神经网络使用所述测试用参数,将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上,输出所述神经网络结果。
9.如权利要求8所述的神经网络运算方法,其特征在于,
所述测试图像表示道路行驶情况,所述测试用对象是出现在道路上的物体,所述神经网络结果用于自动驾驶。
10.一种计算装置,用于利用网格生成器进行神经网络运算,其特征在于,包括:
至少一个存储器,用于存储指令;以及
至少一个处理器,被构成为执行所述指令,所述指令用于执行以下处理:
(I)使非对象检测器检测出测试图像中存在的测试用非对象,获取所述测试用非对象的位置信息和所述测试用非对象的类别信息,所述测试用非对象的位置信息包括与所述测试用非对象在所述测试图像上位于哪个位置相关的信息,所述测试用非对象的类别信息包括与测试用非对象的类别相关的信息;
(II)使所述网格生成器参考所述测试用非对象的位置信息来生成区块信息,所述区块信息包含与所述测试图像中的多个子区块相关的信息;
(III)使神经网络参考学习用参数来确定测试用参数,所述测试用参数用于将所述神经网络运算应用到(i)包含各测试用对象和与其对应的所述测试用非对象的所述子区块中的至少一部分或者(ii)在所述子区块中的所述至少一部分之中各所述测试用非对象所在的各子区域,所述学习用参数是利用与各学习用非对象相关的信息学习的,与各所述学习用非对象相关的信息具有与各所述测试用非对象的所述类别信息相同或相似的类别信息;以及
(IV)使所述神经网络利用与所述子区块中所述至少一部分分别对应的各所述测试用参数,将所述神经网络运算应用到所述测试图像,输出一个以上的神经网络结果,
在所述处理(II)中,
所述网格生成器使用动态模板来划分所述测试图像,提供一个以上的边界线被调整的所述动态模板,使得所述测试用非对象中的至少一个被包含在所述动态模板的所述子区块的所述至少一部分。
11.如权利要求10所述的计算装置,其特征在于,
所述网格生成器管理与所述动态模板相关的信息,所述动态模板包括(i)第一方向上的至少一个第一边界线和(ii)第二方向上的至少一个第二边界线中的至少一部分,其中一部分边界线是能够调整的。
12.如权利要求10所述的计算装置,其特征在于,
所述动态模板包括行组和一个以上的列组,所述行组具有(i)上行组、(ii)包括所述列组中的至少一部分的中间行组以及(iii)下行组,至少一个所述测试用非对象被包含在由所述行组和所述列组形成的所述子区块中的所述至少一部分。
13.如权利要求10所述的计算装置,其特征在于,
在所述处理(I)之前,还执行以下处理:
(0)所述处理器使所述神经网络利用与一个以上的训练图像所包含的各所述学习用非对象相关的信息,学习所述学习用参数。
14.如权利要求13所述的计算装置,其特征在于,
在所述处理(0)中,
所述神经网络使用与各所述学习用非对象相关的信息来学习所述学习用参数,并且将与所述学习用非对象相关的类别信息与对应于所述学习用非对象的学习用参数相关联地进行存储,与各所述学习用非对象相关的信息被包含在包括于所述训练图像中的第一分割区域至第k分割区域的分割区域中的至少一部分。
15.如权利要求14所述的计算装置,其特征在于,
在各所述训练图像上,当将所述第一分割区域至所述第k分割区域的位置信息称为第一位置信息至第k位置信息时,如果所述训练图像的每一个的第一位置信息的相对偏差至所述第k位置信息的相对偏差中的至少一部分的每一个低于或等于预设阈值,则将其选定为所述训练图像。
16.如权利要求10所述的计算装置,其特征在于,
在所述处理(III)中,
(i)当特定测试用对象相对于包括该特定测试用对象的特定子区块所占的面积之比小于预设阈值时,所述处理器使所述神经网络参考所述学习用参数中的至少一个特定学习用参数,确定在将所述神经网络运算应用到所述特定子区块时使用的所述测试用参数中的至少一个特定测试用参数,(ii)当所述特定测试用对象相对于包括所述特定测试用对象的所述特定子区块所占的面积之比大于或等于预设阈值时,所述处理器使所述神经网络(ii-1)参考所述学习用参数中的所述特定学习用参数来确定所述特定测试用参数的第一部分,所述特定测试用参数的第一部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用非对象所在的子区域,(ii-2)参考利用追加学习用对象来独立学习的至少一个追加学习用参数来确定所述特定测试用参数的第二部分,所述特定测试用参数的第二部分用于将所述神经网络运算应用到在所述特定子区块中所述特定测试用对象所在的子区域,所述追加学习用对象具有与所述特定测试用对象的类别信息相同或相似的类别信息。
17.如权利要求10所述的计算装置,其特征在于,
在所述处理(IV)中,
所述处理器使所述神经网络使用所述测试用参数,将一次以上的卷积运算和一次以上的反卷积运算应用到所述测试图像上,输出所述神经网络结果。
18.如权利要求17所述的计算装置,其特征在于,
所述测试图像表示道路行驶情况,所述测试用对象是出现在道路上的物体,所述神经网络结果用于自动驾驶。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/253,996 US10460210B1 (en) | 2019-01-22 | 2019-01-22 | Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles |
US16/253,996 | 2019-01-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111461318A CN111461318A (zh) | 2020-07-28 |
CN111461318B true CN111461318B (zh) | 2023-10-17 |
Family
ID=68314898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911310030.1A Active CN111461318B (zh) | 2019-01-22 | 2019-12-18 | 利用网格生成器的神经网络运算方法及使用该方法的装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10460210B1 (zh) |
EP (1) | EP3686784B1 (zh) |
JP (1) | JP6864891B2 (zh) |
KR (1) | KR102313605B1 (zh) |
CN (1) | CN111461318B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2012124000A1 (ja) * | 2011-03-17 | 2014-07-17 | 日本電気株式会社 | 画像認識システム、画像認識方法および画像認識用プログラム |
US8798314B2 (en) * | 2008-07-14 | 2014-08-05 | National Ict Australia Limited | Detection of vehicles in images of a night time scene |
CN106803071A (zh) * | 2016-12-29 | 2017-06-06 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
CN108182484A (zh) * | 2017-12-04 | 2018-06-19 | 国网吉林省电力有限公司长春供电公司 | 基于网格化技术和bp神经网络的空间负荷预测方法 |
US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
US10019654B1 (en) * | 2017-06-28 | 2018-07-10 | Accenture Global Solutions Limited | Image object recognition |
US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
CN109242136A (zh) * | 2018-07-17 | 2019-01-18 | 广东工业大学 | 一种微电网风电功率混沌遗传-bp神经网络预测方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5640468A (en) * | 1994-04-28 | 1997-06-17 | Hsu; Shin-Yi | Method for identifying objects and features in an image |
US7398259B2 (en) * | 2002-03-12 | 2008-07-08 | Knowmtech, Llc | Training of a physical neural network |
JP4340842B2 (ja) * | 2003-01-31 | 2009-10-07 | 富士ゼロックス株式会社 | 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体 |
US8111923B2 (en) * | 2008-08-14 | 2012-02-07 | Xerox Corporation | System and method for object class localization and semantic class based image segmentation |
WO2012066609A1 (ja) * | 2010-11-19 | 2012-05-24 | 三菱電機株式会社 | 環境推定装置及び車両制御装置 |
US9275308B2 (en) | 2013-05-31 | 2016-03-01 | Google Inc. | Object detection using deep neural networks |
CN104346620B (zh) * | 2013-07-25 | 2017-12-29 | 佳能株式会社 | 对输入图像中的像素分类的方法和装置及图像处理*** |
KR102592076B1 (ko) * | 2015-12-14 | 2023-10-19 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
JP6798854B2 (ja) * | 2016-10-25 | 2020-12-09 | 株式会社パスコ | 目的物個数推定装置、目的物個数推定方法及びプログラム |
US11308350B2 (en) | 2016-11-07 | 2022-04-19 | Qualcomm Incorporated | Deep cross-correlation learning for object tracking |
JP6678605B2 (ja) * | 2017-01-11 | 2020-04-08 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
US10572979B2 (en) * | 2017-04-06 | 2020-02-25 | Pixar | Denoising Monte Carlo renderings using machine learning with importance sampling |
-
2019
- 2019-01-22 US US16/253,996 patent/US10460210B1/en active Active
- 2019-09-27 KR KR1020190119529A patent/KR102313605B1/ko active IP Right Grant
- 2019-12-18 CN CN201911310030.1A patent/CN111461318B/zh active Active
- 2019-12-31 EP EP19220210.9A patent/EP3686784B1/en active Active
-
2020
- 2020-01-09 JP JP2020002045A patent/JP6864891B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8798314B2 (en) * | 2008-07-14 | 2014-08-05 | National Ict Australia Limited | Detection of vehicles in images of a night time scene |
JPWO2012124000A1 (ja) * | 2011-03-17 | 2014-07-17 | 日本電気株式会社 | 画像認識システム、画像認識方法および画像認識用プログラム |
CN106803071A (zh) * | 2016-12-29 | 2017-06-06 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
US10089556B1 (en) * | 2017-06-12 | 2018-10-02 | Konica Minolta Laboratory U.S.A., Inc. | Self-attention deep neural network for action recognition in surveillance videos |
US10019654B1 (en) * | 2017-06-28 | 2018-07-10 | Accenture Global Solutions Limited | Image object recognition |
US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
CN108182484A (zh) * | 2017-12-04 | 2018-06-19 | 国网吉林省电力有限公司长春供电公司 | 基于网格化技术和bp神经网络的空间负荷预测方法 |
CN109242136A (zh) * | 2018-07-17 | 2019-01-18 | 广东工业大学 | 一种微电网风电功率混沌遗传-bp神经网络预测方法 |
Non-Patent Citations (1)
Title |
---|
FARNOUSH ZOHOURIAN等.Superpixel-based Road Segmentation for Real-time Systems using CNN.《VISAPP 2018 - International Conference on Computer Vision Theory and Applications》.2018,第257-265页. * |
Also Published As
Publication number | Publication date |
---|---|
EP3686784B1 (en) | 2024-07-31 |
KR20200091322A (ko) | 2020-07-30 |
US10460210B1 (en) | 2019-10-29 |
EP3686784A1 (en) | 2020-07-29 |
KR102313605B1 (ko) | 2021-10-19 |
CN111461318A (zh) | 2020-07-28 |
JP2020119538A (ja) | 2020-08-06 |
JP6864891B2 (ja) | 2021-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111460879B (zh) | 利用网格生成器的神经网络运算方法及使用该方法的装置 | |
EP3686779B1 (en) | Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same | |
US20220212693A1 (en) | Method and apparatus for trajectory prediction, device and storage medium | |
CN111489368B (zh) | 利用实例分割检测基于cnn的伪3d边界的方法及装置 | |
JP6935946B2 (ja) | セグメンテーションスコアマップ及びクラスタリングマップを利用して自律走行車の走行経路を計画するための車線を検出するポストプロセッシング方法及び装置 | |
US20200252550A1 (en) | Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same | |
CN111507161B (zh) | 利用合并网络进行异质传感器融合的方法和装置 | |
KR102309705B1 (ko) | Cnn 기반 차선 검출을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
JP2020119519A (ja) | 物体の条件に応じてモードを切り換えることができるcnn基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似3dバウンディングボックスを検出する方法及びこれを利用した装置 | |
CN111461318B (zh) | 利用网格生成器的神经网络运算方法及使用该方法的装置 | |
CN111460878B (zh) | 利用网格生成器的神经网络运算方法及使用该方法的装置 | |
US10373004B1 (en) | Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image | |
Dumančić et al. | Steering Angle Prediction Algorithm Performance Comparison in Different Simulators for Autonomous Driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |