KR20210013216A - 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체 - Google Patents
멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체 Download PDFInfo
- Publication number
- KR20210013216A KR20210013216A KR1020207037464A KR20207037464A KR20210013216A KR 20210013216 A KR20210013216 A KR 20210013216A KR 1020207037464 A KR1020207037464 A KR 1020207037464A KR 20207037464 A KR20207037464 A KR 20207037464A KR 20210013216 A KR20210013216 A KR 20210013216A
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- image
- traffic sign
- classification
- candidate region
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 215
- 239000013598 vector Substances 0.000 claims abstract description 173
- 238000000605 extraction Methods 0.000 claims description 183
- 238000013527 convolutional neural network Methods 0.000 claims description 123
- 238000012549 training Methods 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G06K9/00818—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G06K9/6227—
-
- G06K9/6256—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예는 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체를 개시하고, 여기서 멀티 레벨 타겟 분류 방법은, 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하는 단계 - 상기 이미지에는 적어도 하나의 타겟이 포함되고, 상기 각 타겟은 하나의 후보 영역 특징에 대응됨 - ; 상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 주분류 중 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계; 및 상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함한다.
Description
관련 출원의 상호 참조
본 출원은 2018년 9월 6일에 중국 특허청에 제출한, 출원 번호가 CN201811036346.1이고 발명의 명칭이 “멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체”인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 인용되어 본 출원에 결합된다.
본 발명은 컴퓨터 시각 기술에 관한 것으로서, 특히 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체에 관한 것이다.
교통 표지 검출은 자동 운전 분야의 중요한 문제이다. 교통 표지는 현대 도로 시스템에서 중요한 역할을 하고 있으며, 문자 및 그래픽 심볼을 이용하여 차량, 행인에게 지시, 길 안내, 경고, 금지 등 신호를 전달하고, 차량의 주행 및 행인의 출행을 안내한다. 교통 표지의 정확한 검출은 자동 운전 차량의 속도, 방향을 계획할 수 있어, 차량의 안전 주행을 보장한다. 실제 시나리오에 있어서, 도로 교통 표지의 타입는 다양하고, 도로 교통 표지는 사람, 차량 등과 같은 일반 타겟보다 크기가 작다.
본 발명의 실시예는 멀티 레벨 타겟 분류 기술을 제공한다.
본 발명의 실시예의 일 측면에 따르면, 멀티 레벨 타겟 분류 방법을 제공하고, 상기 방법은,
이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하는 단계 - 상기 이미지에는 적어도 하나의 타겟이 포함되고, 각 상기 타겟은 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 주분류 중 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 교통 표지 검출 방법을 제공하고, 상기 방법은,
교통 표지를 포함하는 이미지를 수집하는 단계;
상기 교통 표지를 포함하는 이미지 중 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역 특징을 획득하는 단계 - 상기 각 교통 표지는 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 교통 표지 주분류 중 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 교통 표지가 상기 교통 표지 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 멀티 레벨 타겟 분류 장치를 제공하고, 상기 장치는,
이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하기 위한 후보 영역 획득 유닛 - 상기 이미지에는 적어도 하나의 타겟이 포함되고, 각 상기 타겟은 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 주분류 중 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 확률 벡터 유닛; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 분류 확률을 결정하기 위한 타겟 분류 유닛을 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 교통 표지 검출 장치를 제공하고, 상기 장치는,
교통 표지를 포함하는 이미지를 수집하기 위한 이미지 수집 유닛;
상기 교통 표지를 포함하는 이미지 중 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역 특징을 획득하기 위한 교통 표지 영역 유닛 - 상기 각 교통 표지는 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 교통 표지 주분류 중 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 교통 확률 벡터 유닛; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 교통 표지가 상기 교통 표지 하위 분류에 속하는 분류 확률을 결정하기 위한 교통 표지 분류 유닛을 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 상기 어느 하나에 따른 교통 표지 검출 장치를 포함하는 차량을 제공한다.
본 발명의 실시예의 다른 측면에 따르면, 프로세서를 포함하는 전자 기기를 제공하고, 상기 프로세서는 상기 어느 하나에 따른 멀티 레벨 타겟 분류 장치 또는 상기 어느 하나에 따른 교통 표지 검출 장치를 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는 실행 가능한 명령어를 저장하기 위한 메모리; 및
상기 메모리와 통신하여 상기 실행 가능한 명령어를 실행함으로써 상기 어느 하나에 따른 멀티 레벨 타겟 분류 방법 또는 상기 어느 하나에 따른 교통 표지 검출 방법의 단계를 완료하기 위한 프로세서를 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 저장 매체를 제공하고, 상기 명령어가 실행될 경우 상기 어느 하나에 따른 멀티 레벨 타겟 분류 방법 또는 상기 어느 하나에 따른 교통 표지 검출 방법의 단계를 실행한다.
본 발명의 실시예의 다른 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 상기 기기에서의 프로세서는 상기 어느 하나에 따른 멀티 레벨 타겟 분류 방법 또는 상기 어느 하나에 따른 교통 표지 검출 방법을 구현하기 위한 명령어를 실행한다.
본 발명의 상기 실시예에서 제공한 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체에 기반하여, 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하고; 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 적어도 두 개의 주분류 중 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻으며; 제1 확률 벡터 및 제2 확률 벡터를 통해 타겟이 하위 분류에 속하는 분류 확률을 결정함으로써, 이미지 중 타겟의 분류 정확률을 향상시킨다. 본 발명의 실시예에서 타겟 크기를 한정하지 않고, 비교적 큰 사이즈의 타겟의 분류에 사용될 수 있으며, 비교적 작은 사이즈의 타겟의 분류에 사용될 수도 있다. 본 발명의 실시예가 교통 표지, 신호등 등과 같은 촬영된 이미지에서 사이즈가 비교적 작은 타겟(즉 소형 타겟)의 분류에 적용될 경우, 이미지 중 소형 타겟 분류의 정확성을 효과적으로 향상시킬 수 있다.
명세서의 일부를 구성하는 첨부 도면은 본 발명의 실시예를 설명하고, 또한 본 발명의 원리는 설명과 함께 해석되도록 사용된다.
이하의 상세한 설명에 따르면, 본 발명은 첨부 도면을 참조하여 더욱 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 흐름 예시도이다.
도 2는 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 예 중 분류 네트워크의 구조 예시도이다.
도 3은 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 예 중 특징 추출 네트워크의 구조 예시도이다.
도 4는 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 장치의 구조 예시도이다.
도 5는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 흐름 예시도이다.
도 6a는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 교통 표지 주분류의 예시도이다.
도 6b는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 다른 교통 표지 주분류의 예시도이다.
도 6c는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 또 다른 교통 표지 주분류의 예시도이다.
도 7은 본 발명의 실시예에서 제공한 교통 표지 검출 장치의 구조 예시도이다.
도 8은 본 발명의 실시예를 구현하기 위한 단말 기기 또는 서버에 적용되는 전자 기기의 구조 예시도이다.
이하의 상세한 설명에 따르면, 본 발명은 첨부 도면을 참조하여 더욱 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 흐름 예시도이다.
도 2는 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 예 중 분류 네트워크의 구조 예시도이다.
도 3은 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 예 중 특징 추출 네트워크의 구조 예시도이다.
도 4는 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 장치의 구조 예시도이다.
도 5는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 흐름 예시도이다.
도 6a는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 교통 표지 주분류의 예시도이다.
도 6b는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 다른 교통 표지 주분류의 예시도이다.
도 6c는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 또 다른 교통 표지 주분류의 예시도이다.
도 7은 본 발명의 실시예에서 제공한 교통 표지 검출 장치의 구조 예시도이다.
도 8은 본 발명의 실시예를 구현하기 위한 단말 기기 또는 서버에 적용되는 전자 기기의 구조 예시도이다.
이하, 첨부 도면을 참조하여 본 발명의 다양한 예시적 실시예를 상세히 설명한다. 유의해야 할 것은, 달리 구체적으로 업급되지 않는 한, 이러한 실시예들에서 제시된 구성 요소, 단계의 상대적 배열, 수치 표현 및 값은 본 발명의 범위를 한정하지 않는다.
이와 동시에, 도면에 도시된 각 부분의 크기는 설명의 편의를 위해, 실제 비례 관계에 의해 그려진 것이 아님을 알아야 한다.
적어도 하나의 예시적 실시예에 대한 다음의 설명은 다만 예시적인 것이며, 본 발명 및 그 응용 또는 사용을 한정하려는 것은 아니다.
관련 기술 분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 상기 기술, 방법 및 기기는 적절한 상황에서 본 명세서의 일부로서 고려되어야 한다.
유의해야 할 것은, 다음의 첨부 도면에서 유사한 참조 번호와 문자는 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 이에 대해 추가로 논의될 필요가 없다.
본 발명의 실시예는 컴퓨터 시스템/서버에 적용될 수 있으며, 이는 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작될 수 있다. 컴퓨터 시스템/서버와 함께 사용하기에 적절한 잘 알려진 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드 헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 차량 탑재 기기, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템 및 상기 시스템 중 어느 하나를 포함하는 분산 클라우드 컴퓨팅 기술 환경을 포함하지만 이에 한정되지 않는다.
컴퓨터 시스템/서버는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템 실행 가능한 명령어(예를 들어, 프로그램 모듈)의 일반적인 맥락에서 설명될 수있다. 일반적으로, 프로그램 모듈은 특정 작업을 실행하거나 특정 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 타겟 프로그램, 컴포넌트, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템/서버는, 작업이 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 실행되는 분산 클라우드 컴퓨팅 환경에서 실행될 수 있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.
도 1은 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 흐름 예시도이다. 도 1에 도시된 바와 같이, 상기 실시예 방법은 아래와 같은 단계를 포함한다.
단계 110에 있어서, 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득한다.
여기서, 이미지에는 적어도 하나의 타겟이 포함되고, 각 타겟은 하나의 후보 영역 특징에 대응되며; 이미지에 복수 개의 타겟이 포함될 경우, 복수 개의 타겟 중 각 타겟을 각각 분류하기 위해, 각 타겟을 구분해야 한다.
선택적으로, 타겟을 포함할 수 있는 후보 영역을 획득하고, 적어도 하나의 후보 영역을 크롭하여 획득하며, 후보 영역에 기반하여 상기 후보 영역 특징을 획득하며; 또는 이미지에 대해 특징 추출을 수행하여 이미지 특징을 획득하고, 이미지 추출 후보 영역에 대해, 후보 영역을 이미지 특징에 맵핑하는 것을 통해, 후보 영역 특징을 획득하며, 본 발명의 실시예는 후보 영역 특징을 획득하는 구체적인 방법을 한정하지 않는다.
하나의 선택적인 예에 있어서, 상기 단계 S110은 메모리에 저장된 상응하는 명령어를 호출하는 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 후보 영역 획득 유닛(41)에 의해 실행될 수도 있다.
단계 120에 있어서, 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 적어도 두 개의 주분류 중 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는다.
후보 영역 특징에 각각 기반하여 분류하면, 상기 후보 영역 특징이 주분류에 대한 제1 확률 벡터를 얻을 수 있지만, 각 주분류가 적어도 두 개의 하위 분류를 포함할 수 있으므로, 후보 영역 특징에 대해 하위 분류에 기반한 분류를 수행하여, 하위 분류에 대한 제2 확률 벡터를 획득하며; 타겟은 교통 표지 및 신호등 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다. 예를 들어, 타겟이 교통 표지일 경우, 교통 표지는 복수 개의 주분류(예를 들어 경고 표지, 금지 표지, 지시 표지, 길 안내 표지 등)를 포함하며, 각 주분류에는 또한 복수 개의 하위 분류(예를 들어 경고 표지는 49 가지를 포함하고, 차량, 행인이 위험 지역을 주의하도록 경고하기 위한 것임)가 포함된다.
하나의 선택적인 예에 있어서, 상기 단계 S120은 메모리에 저장된 상응하는 명령어를 호출하는 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 확률 벡터 유닛(42)에 의해 실행될 수도 있다.
단계 130에 있어서, 제1 확률 벡터 및 제2 확률 벡터에 기반하여, 타겟이 하위 분류에 속하는 분류 확률을 결정한다.
타겟의 정확한 분류를 확인하기 위해, 주분류의 분류 결과만 획득하는 것은 부족하고, 주분류의 분류 결과만 획득하면 현재 타겟이 속한 주분류만 결정할 수 있으며, 각 주분류에 또한 적어도 두 개의 하위 분류가 포함되므로, 속하는 하위 분류를 획득하기 위해, 타겟이 속한 주분류에서 계속하여 분류해야 한다.
하나의 선택적인 예에 있어서, 상기 단계 S130은 메모리에 저장된 상응하는 명령어를 호출하는 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 타겟 분류 유닛(43)에 의해 실행될 수도 있다.
본 발명의 상기 실시예에서 제공한 멀티 레벨 타겟 분류 방법에 기반하여, 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하고; 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 적어도 두 개의 주분류 중 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻으며; 제1 확률 벡터 및 제2 확률 벡터를 통해 타겟이 하위 분류에 속하는 분류 확률을 결정함으로써, 이미지 중 타겟의 분류 정확률을 향상시킨다. 본 발명의 실시예에서 타겟 크기를 한정하지 않고, 비교적 큰 사이즈의 타겟의 분류에 사용될 수 있으며, 비교적 작은 사이즈의 타겟의 분류에 사용될 수도 있다. 본 발명의 실시예가 교통 표지, 신호등 등과 같은 촬영된 이미지에서 사이즈가 비교적 작은 타겟(즉 소형 타겟)의 분류에 적용될 경우, 이미지 중 소형 타겟 분류의 정확성을 효과적으로 향상시킬 수 있다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 120은,
적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻는 단계; 및
적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계를 포함할 수 있다.
선택적으로, 제1 분류기 및 제2 분류기는 분류를 구현 가능한 기존의 신경 네트워크를 사용할 수 있고, 여기서 제2 분류기는 제1 분류기 중 각 분류 타입에 대한 분류를 구현하며, 제2 분류기를 통해 대량의 유사한 타겟 이미지에 대한 정확한 분류를 수행할 수 있으며, 예를 들어, 도로 교통 표지이며, 도로 교통 표지는 200여가지가 있으며, 타입 별로 아주 유사하다. 기존의 검출 프레임워크는 이처럼 많은 카테고리를 검출하고 분류할 수 없으며; 본 발명의 실시예는 여러 가지의 도로 교통 표지 분류에 대한 정확률을 향상시킬 수 있다.
선택적으로, 각 주분류 타입은 제2 분류기에 대응되며;
적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계는,
제1 확률 벡터에 기반하여, 후보 영역 특징에 대응되는 주분류 타입을 결정하는 단계; 및
주분류에 대응되는 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 후보 영역 특징이 적어도 두 개의 하위 분류에 대한 제2 확률 벡터를 얻는 단계를 포함한다.
선택적으로, 각 제2 분류기가 주분류 타입에 대응되므로, 후보 영역이 어느 하나의 주분류 타입인 것으로 결정한 후, 어느 제2 분류기에 기반하여 세부 분류를 할지를 결정할 수 있어, 타겟 분류의 난이도를 감소시키며; 상기 후보 영역에 모든 제2 분류기를 입력하여, 모든 제2 분류기에 기반하여 복수 개의 제2 확률 벡터를 얻을 수도 있으며; 타겟의 분류 타입은 제1 확률 벡터 및 제2 확률 벡터를 결합하여 결정된 것이고, 제1 확률 벡터 중 비교적 작은 확률값에 대응되는 제2 확률 벡터의 분류 결과가 감소되며, 제1 확률 벡터 중 비교적 큰 확률값(타겟에 대응되는 주분류 타입)에 대응되는 제2 확률 벡터의 분류 결과가 다른 제2 확률 벡터의 분류 결과에 비해 명확한 장점을 가지므로, 타겟의 하위 분류 타입을 빠르게 결정할 수 있으며, 본 발명에서 제공한 분류 방법은 작은 타겟 검출의 응용에서의 검출 정확도를 향상시킨다.
선택적으로, 주분류에 대응되는 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 후보 영역 특징이 적어도 두 개의 하위 분류에 대한 제2 확률 벡터를 얻기 전, 상기 방법은,
후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 처리된 후보 영역 특징을 주분류에 대응되는 제2 분류기에 입력하는 단계를 더 포함할 수 있다.
도 2는 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 예 중 분류 네트워크의 구조 예시도이다. 도 2에 도시된 바와 같이, 얻은 후보 영역의 타겟을 이용하여 N 개의 주분류를 분류하면, 주분류 타입이 적고, 타입 간 차이가 크므로, 용이하게 분류할 수 있고, 다음, 각 하위 분류의 경우, 컨볼루션 신경 네트워크를 이용하여 분류 특징을 추가로 발견하여, 각 주분류 하의 하위 분류를 세부 분류하며; 이때, 제2 분류기가 상이한 주분류에 대한 상이한 특징을 발견하므로, 하위 분류의 분류 정확률을 향상시킬 수 있고; 컨볼루션 신경 네트워크를 통해 후속 영역 특징을 처리하여, 더 많은 분류 특징을 발견할 수 있음으로써, 하위 분류의 분류 결과가 더욱 정확해지도록 한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 130은,
제1 확률 벡터에 기반하여, 타겟이 주분류에 속하는 제1 분류 확률을 결정하는 단계;
제2 확률 벡터에 기반하여, 타겟이 하위 분류에 속하는 제2 분류 확률을 결정하는 단계; 및
제1 분류 확률 및 제2 분류 확률을 결합하여, 타겟이 주분류에서의 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함할 수 있다.
선택적으로, 제1 분류 확률 및 제2 분류 확률의 곱에 기반하여 타겟이 주분류에서의 하위 분류에 속하는 분류 확률을 결정하고; 예를 들어, 타겟을 N 개의 주분류로 나누고, 각 주분류에 M 개의 하위 분류가 포함된다고 가정하면, i 번째 주분류는 Ni로 기록되고, Ni 번째 주분류의 j 번째 하위 분류는 Nij로 기록되며, 여기서, M 및 N은 1보다 큰 정수이며, i의 값의 범위는 1 내지 N이며, j의 값의 범위는 1 내지 M이며; 계산을 통해 분류 확률 즉 어느 하위 분류에 속하는 확률을 얻는다. 공식 P(i,j)= P(Ni) ×P(Nij), 여기서 P(i,j)는 분류 확률을 나타내고, P(Ni)는 제1 분류 확률을 나타내며, P(Nij)는 제2 분류 확률을 나타낸다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 120을 실행하기 전, 상기 방법은,
샘플 후보 영역 특징에 기반하여 분류 네트워크를 훈련하는 단계를 더 포함할 수 있다.
여기서, 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하고, 제2 분류기의 개수는 제1 분류기의 주분류 타입과 동일하며; 샘플 후보 영역 특징은 태깅된 하위 분류 타입을 구비하거나 태깅된 하위 분류 타입 및 태깅된 주분류 타입을 구비한다.
선택적으로, 분류 네트워크의 구조는 도 2를 참조할 수 있고, 훈련을 통해 획득된 분류 네트워크는 상위 분류 및 하위 분류를 더욱 잘 수행할 수 있으며; 샘플 후보 영역 특징은 하위 분류 타입만 태깅할 수 있으며, 이때, 분류 네트워크에 대한 훈련을 구현하기 위해, 선택적으로, 샘플 후보 영역 특징이 태깅된 하위 분류 타입을 구비하는 것에 응답하여, 태깅된 하위 분류 타입을 클러스터링하는 것을 통해 샘플 후보 영역 특징에 대응되는 태깅된 주분류 타입을 결정한다. 샘플 후보 영역 특징을 클러스터링하는 것을 통해 태깅된 주분류 타입을 획득할 수 있고, 선택 가능한 클러스터링 방법은 샘플 후보 영역 특징 사이의 거리(예를 들어 유클리드 거리 등)를 통해, 클러스터링을 통해 태깅된 하위 분류 타입을 구비한 샘플 후보 영역 특징을 몇 개의 집합으로 통합시킬 수 있으며, 각 집합은 하나의 태깅된 주분류 타입에 대응된다.
태깅된 하위 분류 타입을 클러스터링하는 것을 통해 대응되는 태깅된 주분류 타입은 상기 샘플 후보 특징이 속하는 주분류 타입을 정확하게 표달할 수 있는 동시에, 각각 주분류 및 하위 분류에 대한 태깅 동작을 수행해야 하는 것을 극복하여, 태깅 정확률 및 훈련 효율을 향상시킨다.
선택적으로, 샘플 후보 영역 특징에 기반하여 분류 네트워크를 훈련하는 단계는,
샘플 후보 영역 특징을 제1 분류기에 입력하여, 예측 주분류 타입을 얻는 단계; 예측 주분류 타입 및 태깅된 주분류 타입에 기반하여 제1 분류기의 파라미터를 조정하는 단계;
샘플 후보 영역 특징의 태깅된 주분류 타입에 기반하여, 샘플 후보 영역 특징을 태깅된 주분류 타입에 대응되는 제2 분류기에 입력하여, 예측 하위 분류 타입을 얻는 단계; 및 예측 하위 분류 타입 및 태깅된 하위 분류 타입에 기반하여 제2 분류기의 파라미터를 조정하는 단계를 포함한다.
각각 제1 분류기 및 적어도 두 개의 제2 분류기를 훈련하여, 획득된 분류 네트워크가 타겟에 대해 큰 범위 분류를 수행하도록 하는 동시에, 세부 분류를 구현하도록 하므로, 제1 분류 확률 및 제2 분류 확률의 곱에 기반하여, 상기 타겟의 정확한 하위 분류의 분류 확률을 결정할 수 있다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 110은,
이미지에 기반하여 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득하는 단계;
이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하는 단계; 및
적어도 하나의 후보 영역 및 이미지 특징에 기반하여 이미지에 대응되는 적어도 하나의 후보 영역 특징을 결정하는 단계를 포함할 수 있다.
선택적으로, 영역에 기반한 풀 컨볼루션 신경 네트워크(Region-based Full Convolution neural Network, R-FCN) 네트워크 프레임워크를 통해 후보 영역 특징을 획득하는 것을 구현할 수 있고, 예를 들어, 하나의 분기 네트워크를 통해 후보 영역을 획득하며, 다른 분기 네트워크 이미지에 대응되는 이미지 특징을 획득하며, 후보 영역에 기반하여 관심 영역 풀링(Region of Interests pooling, ROI pooling)을 통해 적어도 하나의 후보 영역 특징을 획득하며, 선택적으로, 적어도 하나의 후보 영역에 기반하여 이미지 특징으로부터 대응되는 위치의 특징을 획득하여, 적어도 하나의 후보 영역에 대응되는 적어도 하나의 후보 영역 특징을 구성할 수 있으며, 각 후보 영역은 하나의 후보 영역 특징에 대응된다.
선택적으로, 이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하는 단계는,
특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계;
특징 추출 네트워크에서의 잔차 네트워크를 통해 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻는 단계; 및
제1 특징 및 차이특징에 기반하여, 이미지에 대응되는 이미지 특징을 획득하는 단계를 포함한다.
선택적으로, 컨볼루션 신경 네트워크에 의해 추출된 제1 특징은 이미지 중 범용 특징이고, 잔차 네트워크에 의해 추출된 구별 특징은 작은 타겟 물체 및 큰 타겟 물체 사이의 차이를 나타낼 수 있으며; 제1 특징 및 구별 특징을 통해 획득된 이미지 특징은 이미지 중 범용 특징을 나타낼 수 있는 기초 상에서 작은 타겟 물체 및 큰 타겟 물체 사이의 차이를 반영할 수 있으므로, 상기 이미지 특징에 기반하여 분류할 경우, 작은 타겟 물체에 대한 분류의 정확성을 향상시킨다.
선택적으로, 제1 특징 및 구별 특징에 대해 비트 단위 가산(add bit by bit)을 수행하여, 이미지에 대응되는 이미지 특징을 획득한다.
실제 시나리오에서, 예를 들어, 도로 교통 표지의 사이즈는 일반 타겟보다 아주 작으므로, 범용 타겟 검출 프레임워크는 교통 표지와 같은 작은 타겟 물체의 검출 문제를 고려하지 않는다. 본 발명의 실시예는 여러 측면으로부터 작은 타겟 물체의 특징 맵 해상도를 향상시킴으로써, 검출 성능을 향상시킨다.
본 실시예는 잔차 네트워크를 통해 제2 타겟 물체 특징 맵 및 제1 타겟 물체 특징 맵 사이의 차이를 학습함으로써, 제2 타겟 물체 특징의 표달력을 향상시킨다. 선택 가능한 예에 있어서, 도 3은 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 방법의 예 중 특징 추출 네트워크의 구조 예시도이다. 도 3에 도시된 바와 같이, 컨볼루션 신경 네트워크를 통해 범용 특징을 추출하고, 잔차 네트워크를 통해 제2 타겟 물체 및 제1 타겟 물체 사이의 구별 특징을 학습하며, 마지막으로 범용 특징 및 구별 특징의 대응되는 위치 특징값을 가산하는 것을 통해 이미지 특징을 획득하여, 잔차 네트워크에 의해 획득된 구별 특징이 오버랩되므로, 검출 성능을 향상시킨다.
선택적으로, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계는,
컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하는 단계; 및
컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 제1 특징을 결정하는 단계를 포함한다.
컨볼루션 신경 네트워크에 있어서, 하위 계층 특징은 비교적 많은 에지 정보 및 위치 정보를 일반적으로 포함하지만, 상위 계층 특징은 비교적 많은 시멘틱 특징을 포함하며, 본 실시예는 하위 계층 특징 및 상위 계층 특징을 융합하는 방식을 통해, 하위 계층 특징을 이용할 뿐만 아니라, 상위 계층 특징도 이용하여, 하위 계층 특징 및 상위 계층 특징을 융합하여, 타겟 특징 맵을 검출하는 표달 능력을 향상하므로, 네트워크가 딥 계층 시멘틱 정보를 이용할 수 있을 뿐만 아니라, 쉘로우 계층 시멘틱 정보도 충분히 발견할 수 있도록 하며, 선택적으로, 융합 방법은, 특징의 비트 단위 가산 등 방법을 포함할 수 있지만 이에 한정되지 않는다.
그러나 비트 단위 가산의 방법은 두 개의 특징 맵의 크기가 동일해야 만 구현할 수 있고, 선택적으로, 융합을 구현하고 제1 특징을 획득하는 단계는,
적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 제1 특징을 결정하는 단계를 포함할 수 있다.
선택적으로, 하위 계층 특징 맵이 통상적으로 비교적 큰 반면, 상위 계층 특징 맵이 통상적으로 비교적 작으므로, 상위 계층 특징 맵 및 하위 계층 특징 맵의 크기를 통일시켜야 할 경우, 하위 계층 특징 맵을 다운 샘플링하는 것을 통해 감소된 특징 맵을 획득할 수 있거나, 상위 계층 특징 맵을 보간하는 것을 통해 증가된 특징 맵을 획득할 수 있으며; 조정된 상위 계층 특징 맵 및 하위 계층 특징 맵에 대해 비트 단위 가산을 수행하여, 제1 특징을 획득한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻기 전, 상기 방법은,
제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계를 더 포함한다.
여기서, 제1 샘플 이미지 중 타겟 물체의 크기는 알려진 것이고, 타겟 물체가 제1 타겟 물체 및 제2 타겟 물체를 포함하며, 제1 타겟 물체의 크기가 제2 타겟 물체의 크기와 상이하면, 선택적으로, 제1 타겟 물체의 크기는 제2 타겟 물체의 크기보다 작다.
특징 추출 네트워크는 제1 타겟 물체 및 제2 타겟 물체에 기반하여 큰 타겟 특징을 모두 획득하고, 판별기는 특징 추출 네트워크에 의해 출력된 큰 타겟 특징이 실제 제1 타겟 물체에 기반하여 획득된 것인지 제2 타겟 물체와 잔차 네트워크를 결합하여 획득된 것인지를 판별하기 위한 것이며, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 과정 중, 판별기의 훈련 타겟은 큰 타겟 특징이 실제 제1 타겟 물체에 기반하여 획득된 것인지 제2 타겟 물체와 잔차 네트워크를 결합하여 획득된 것인지를 정확하게 구별하며, 특징 추출 네트워크의 훈련 목표는 판별기가 큰 타겟 특징이 실제 제1 타겟 물체에 기반하여 획득된 것인지 제2 타겟 물체와 잔차 네트워크를 결합하여 획득된 것인지를 구별할 수 없도록 하는 것이므로, 본 발명의 실시예는 판별기에 의해 얻은 판별 결과에 기반하여 특징 추출 네트워크의 훈련을 구현한다.
선택적으로, 제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계는,
제1 샘플 이미지를 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻는 단계;
판별기를 통해 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하는 단계 - 판별 결과는 제1 샘플 이미지에 제1 타겟 물체의 진실성이 포함되는 것을 나타내기 위한 것임 - ; 및
판별 결과 및 알려진 제1 샘플 이미지 중 타겟 물체의 크기에 기반하여, 판별기 및 특징 추출 네트워크의 파라미터를 교대로 조정하는 단계를 포함한다.
선택적으로, 판별 결과는 2 차원 벡터의 형태를 통해 표달될 수 있고, 상기 2 개의 차원은 제1 샘플 이미지 특징이 참값인지 비참값인지의 확률에 각각 대응되며; 제1 샘플 이미지 중 타겟 물체의 크기가 알려진 것이므로, 특징 추출 네트워크를 획득하기 위해, 판별 결과 및 알려진 타겟 물체의 크기에 기반하여, 판별기 및 특징 추출 네트워크의 파라미터를 교대로 조정한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하는 단계는,
컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하는 단계; 및
컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 이미지 특징을 결정하는 단계를 포함한다.
컨볼루션 신경 네트워크에 있어서, 하위 계층 특징은 비교적 많은 에지 정보 및 위치 정보를 일반적으로 포함하지만, 상위 계층 특징은 비교적 많은 시멘틱 특징을 포함하며, 본 발명의 실시예는 하위 계층 특징 및 상위 계층 특징을 융합하는 방식을 통해, 하위 계층 특징을 이용할 뿐만 아니라, 상위 계층 특징도 이용하여, 하위 계층 특징 및 상위 계층 특징을 융합하여, 타겟 특징 맵을 검출하는 표달 능력을 향상하므로, 네트워크가 딥 계층 시멘틱 정보를 이용할 수 있을 뿐만 아니라, 쉘로우 계층 시멘틱 정보도 충분히 발견할 수 있도록 하며, 선택적으로, 융합 방법은, 특징의 비트 단위 가산 등 방법을 포함할 수 있지만 이에 한정되지 않는다.
그러나 비트 단위 가산의 방법은 두 개의 특징 맵의 크기가 동일해야 만 구현할 수 있고, 선택적으로, 융합을 구현하고 이미지 특징을 획득하는 단계는,
적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 이미지 특징을 결정하는 단계를 포함할 수 있다.
선택적으로, 하위 계층 특징 맵이 통상적으로 비교적 큰 반면, 상위 계층 특징 맵이 통상적으로 비교적 작으므로, 상위 계층 특징 맵 및 하위 계층 특징 맵의 크기를 통일시켜야 할 경우, 하위 계층 특징 맵을 다운 샘플링하는 것을 통해 감소된 특징 맵을 획득할 수 있거나, 상위 계층 특징 맵을 보간하는 것을 통해 증가된 특징 맵을 획득할 수 있으며; 조정된 상위 계층 특징 맵 및 하위 계층 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지 특징을 획득한다.
선택적으로, 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하기 전, 상기 방법은,
제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련하는 단계를 더 포함한다.
여기서, 제2 샘플 이미지는 태깅된 이미지 특징을 포함한다.
더 좋은 이미지 특징을 얻기 위해, 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련한다.
선택적으로, 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련하는 단계는,
제2 샘플 이미지를 컨볼루션 신경 네트워크에 입력하여, 예측 이미지 특징을 얻는 단계; 및
예측 이미지 특징 및 태깅된 이미지 특징에 기반하여, 컨볼루션 신경 네트워크의 파라미터를 조정하는 단계를 포함한다.
상기 훈련 과정은, 일반적인 신경 네트워크 훈련과 유사하게, 역방향 기울기 전파 알고리즘에 기반하여 상기 컨볼루션 신경 네트워크를 훈련한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 110은,
비디오로부터 적어도 하나의 프레임의 이미지를 획득하고, 이미지에 대해 영역 검출을 수행하여, 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 얻는 단계를 포함할 수 있다.
선택적으로, 이미지는 비디오에 기반하여 획득된 것이고, 상기 비디오는 차량 탑재 비디오 또는 다른 촬영 장치에 의해 수집된 비디오일 수 있으며, 비디오에 기반하여 획득된 이미지에 대해 영역 검출을 수행하여, 타겟을 포함할 수 있는 후보 영역을 획득할 수 있다.
선택적으로, 이미지에 기반하여 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득하기 전, 상기 방법은,
비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 적어도 하나의 프레임의 이미지 중 타겟에 대응되는 타겟 키 포인트를 결정하는 단계; 및
타겟 키 포인트를 추적하여, 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 더 포함할 수 있고;
이미지에 기반하여 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득한 후, 상기 방법은,
적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 적어도 하나의 후보 영역을 조정하여, 적어도 하나의 타겟에 대응되는 적어도 하나의 타겟 후보 영역을 획득하는 단계를 더 포함할 수 있다.
영역 검출에 기반하여 얻은 후보 영역은, 연속적인 이미지 간의 미세한 차이 및 임계값의 선택으로 인해 일부 프레임의 누락 검출이 용이하게 발생될 수 있으므로, 정적 타겟의 추적 알고리즘에 기반하여, 비디오에 대한 검출 효과를 향상시킨다.
본 발명의 실시예에 있어서, 타겟 특징 포인트는 꼭지점, 어두운 영역에서의 밝은 점 등과 같은 이미지에서 가장 뚜렷한 점으로 간단하게 이해할 수 있다. 먼저 비디오 이미지에서의 ORB 특징 포인트를 식별한다. ORB 특징 포인트의 정의는, 특징 포인트 주변의 이미지의 그레이 값에 기반한 것이고, 검출할 경우, 후보 특징 포인트 주변의 한 개 원의 픽셀값을 고려하며, 후보 포인트 주변 영역 내에 충분히 많은 픽셀 포인트와 상기 후보 특징 포인트의 그레이 값의 차이가 기설정된 값에 도달하면, 상기 후보 포인트가 하나의 키 특징 포인트인 것으로 간주한다. 예를 들어, 본 실시예를 응용하여 교통 표지를 식별하고, 이때, 키 포인트는 교통 표지 키 포인트이며, 상기 교통 표지 키 포인트로 비디오에서 교통 표지에 대한 정적 추적을 구현할 수 있다.
선택적으로, 타겟 키 포인트를 추적하여, 비디오 중 각 이미지의 키 포인트 영역을 획득하는 단계는,
비디오 중 연속 두 개 프레임의 이미지 중 타겟 키 포인트 사이의 거리를 결정하는 단계;
각 타겟 키 포인트 사이의 거리에 기반하여 비디오에서의 타겟 키 포인트에 대한 추적을 구현하는 단계; 및
비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 포함한다.
본 발명의 실시예에서 타겟 키 포인트에 대한 추적을 구현하기 위해, 연속 두 개 프레임의 이미지 중 동일한 타겟 키 포인트를 결정해야 하고, 즉, 동일한 타겟 키 포인트가 상이한 프레임의 이미지에서의 위치를 결정해야 하며, 본 발명의 실시예는 연속 두 개 프레임의 이미지 중 각 타겟 키 포인트 사이의 거리를 통해 연속 두 개 프레임의 이미지 중 어떤 타겟 키 포인트들이 동일한 타겟 키 포인트인지를 결정함으로써, 추적을 구현하고, 두 개의 프레임의 이미지 중 타겟 키 포인트 사이의 거리는 해밍 거리 등을 포함할 수 있지만 이에 한정되지 않는다.
해밍 거리는 데이터 전송 오류 제어 코드에 사용되고, 해밍 거리는 하나의 개념으로서, 두 개의(동일한 길이) 문자가 상이한 비트 개수에 대응되는 것을 나타내며, 두 개의 문자열에 대해 XOR(exclusive OR) 연산을 수행하고, 통계 결과가 1의 개수이면, 이 개수가 바로 해밍 거리이며, 두 개의 이미지 사이의 해밍 거리는 두 개의 이미지 사이의 상이한 데이터 비트 개수이다. 두 개의 프레임의 이미지 중 각 신호 키 포인트 사이의 해밍 거리에 기반하여 두 개의 이미지 사이의 신호등이 이동한 거리를 알 수 있으므로, 신호 키 포인트에 대한 추적을 구현할 수 있다.
선택적으로, 각 타겟 키 포인트 사이의 거리에 기반하여 비디오에서의 타겟 키 포인트에 대한 추적을 구현하는 단계는,
각 타겟 키 포인트 사이의 거리의 최소값에 기반하여, 연속 두 개 프레임의 이미지 중 동일한 타겟 키 포인트의 위치를 결정하는 단계; 및
동일한 타겟 키 포인트가 연속 두 개 프레임의 이미지에서의 위치에 따라 타겟 키 포인트에 대한 비디오에서의 추적을 구현하는 단계를 포함한다.
선택적으로, 전후 두 개의 프레임 중 이미지 좌표계의 거리가(예를 들어, 해밍 거리) 비교적 작은 특징 포인트(타겟 키 포인트)를 통해 Brute Force 알고리즘만 사용하여 매칭할 것을 설명할 수 있고, 즉 각 쌍의 타겟 키 포인트에 대해 그 특징 포인트의 거리를 계산하며, 거리가 가장 작은 타겟 키 포인트에 기반하여 전후 프레임에서의 ORB 특징 포인트를 매칭하는 것을 구현하고, 정적 특징 포인트 추적을 구현한다. 이와 동시에, 타겟 키 포인트의 이미지 좌표계가 후보 영역 내에 위치하므로, 상기 타겟 키 포인트가 타겟 검출에서의 정적 키 포인트인 것으로 판정한다. 브루트 포스(Brute Force) 알고리즘은, 일반적인 패턴 매칭 알고리즘이고, Brute Force 알고리즘의 사상은 타겟 문자열(S)의 첫 번째 캐릭터와 패턴 문자열(T)의 첫 번째 캐릭터를 매칭시키는 것이며, 동일하면, S의 두 번째 캐릭터와 T의 두 번째 캐릭터를 계속 비교하며; 상이하면, S의 두 번째 캐릭터와 T의 첫 번째 캐릭터를 비교하며, 최종적인 매칭 결과를 얻을 때까지 비교하므로, Brute Force 알고리즘은 무차별 대입 공격 알고리즘(Brute Force algorithm)이다.
선택적으로, 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 적어도 하나의 후보 영역을 조정하여, 적어도 하나의 타겟에 대응되는 적어도 하나의 타겟 후보 영역을 획득하는 단계는,
후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 후보 영역을 타겟에 대응되는 타겟 후보 영역으로 사용하는 단계; 및
후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 키 포인트 영역을 타겟에 대응되는 타겟 후보 영역으로 사용하는 단계를 포함한다.
본 발명의 실시예에 있어서, 키 포인트 추적의 결과를 통해 후속 영역을 조정하고, 선택적으로, 예를 들어 키 포인트 영역 및 후보 영역이 매칭되면, 후보 영역의 위치를 변경시킬 필요가 없으며; 예를 들어 키 포인트 영역 및 후보 영역이 대체적으로 매칭되면, 전후 프레임의 정적 포인트 위치의 오프셋에 따라, 검출 결과의 너비, 높이를 변경하지 않는 전제 하에서, 현재 프레임 검출 박스(대응되는 후보 영역)의 위치를 계산하며; 예를 들어 현재 프레임에 후보 영역이 나타나지 않고, 이전 프레임에 후보 영역이 나타났으면, 키 포인트 영역에 따라 후보 영역 위치가 카메라 범위를 초과하지 않았음을 계산하여, 키 포인트 영역으로 후보 영역을 대체한다.
본 발명의 상기 실시예에서 제공한 멀티 레벨 타겟 분류 방법이 응용될 경우, 이미지 중 물체에 대한 분류에 사용될 수 있고, 상기 물체의 타입 개수는 비교적 많고, 타입이 유사한 작업을 구비하며, 예를 들어, 교통 표지, 동물 분류(먼저 동물을 고양이, 개 등과 같은 상이한 종류로 분류하고, 다음 허스키, 골든 리트리버 등과 같은 상이한 품종으로 세분화함); 장애물 분류(먼저 장애물을 행인, 차량 등과 같은 주분류로 분류하고, 다음 버스, 트럭, 소형 버스 등과 같은 상이한 하위 분류로 세분화함) 등이며, 본 발명은 멀티 레벨 타겟 분류 방법이 응용되는 구체적은 분야를 한정하지 않는다.
본 기술분야의 통상의 기술자는 상기 방법의 실시예를 구현하기 위한 전부 또는 일부 단계가 프로그램 명령어에 관련된 하드웨어를 통해 완료되며, 전술한 프로그램이 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법의 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다.
도 4는 본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 장치의 구조 예시도이다. 상기 실시예의 장치는 본 발명의 상기 각 방법 실시예를 구현하는데 사용될 수 있다. 도 4에 도시된 바와 같이, 상기 실시예의 장치는 아래와 같은 유닛을 포함한다.
후보 영역 획득 유닛(41)은, 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하기 위한 것이다.
여기서, 이미지에는 적어도 하나의 타겟이 포함되고, 각 타겟은 하나의 후보 영역 특징에 대응되며; 이미지에 복수 개의 타겟이 포함될 경우, 복수 개의 타겟 중 각 타겟을 각각 분류하기 위해, 각 타겟을 구분해야 한다.
확률 벡터 유닛(42)은, 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 적어도 두 개의 주분류 중 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 것이다.
타겟 분류 유닛(43)은, 제1 확률 벡터 및 제2 확률 벡터에 기반하여, 타겟이 하위 분류에 속하는 분류 확률을 결정하기 위한 것이다.
타겟의 정확한 분류를 확인하기 위해, 주분류의 분류 결과만 획득하는 것은 부족하고, 주분류의 분류 결과만 획득하면 현재 타겟이 속한 주분류만 결정할 수 있으며, 각 주분류에는 또한 적어도 두 개의 하위 분류가 포함되므로, 속하는 하위 분류를 획득하기 위해, 타겟이 속한 주분류에서 계속하여 분류해야 한다.
본 발명의 상기 실시예에서 제공한 멀티 레벨 타겟 분류 장치에 기반하여, 제1 확률 벡터 및 제2 확률 벡터를 통해 타겟이 하위 분류에 속하는 분류 확률을 결정함으로써, 이미지 중 작은 타겟의 분류 정확률을 향상시킨다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 확률 벡터 유닛(42)은,
적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻기 위한 제1 확률 모듈;
적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 제2 확률 모듈을 포함할 수 있다.
선택적으로, 각 주분류 타입은 제2 분류기에 대응되며;
제2 확률 모듈은, 제1 확률 벡터에 기반하여, 후보 영역 특징에 대응되는 주분류 타입을 결정하고; 주분류에 대응되는 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 후보 영역 특징이 적어도 두 개의 하위 분류에 대한 제2 확률 벡터를 얻기 위한 것이다.
선택적으로, 확률 벡터 유닛은 또한, 후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 처리된 후보 영역 특징을 주분류에 대응되는 제2 분류기에 입력하기 위한 것이다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 타겟 분류 유닛(43)은, 제1 확률 벡터에 기반하여, 타겟이 주분류에 속하는 제1 분류 확률을 결정하고; 제2 확률 벡터에 기반하여, 타겟이 하위 분류에 속하는 제2 분류 확률을 결정하며; 제1 분류 확률 및 제2 분류 확률을 결합하여, 타겟이 주분류에서의 하위 분류에 속하는 분류 확률을 결정하기 위한 것이다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 본 실시예의 장치는,
샘플 후보 영역 특징에 기반하여 분류 네트워크를 훈련하기 위한 네트워크 훈련 유닛을 더 포함할 수 있다.
여기서, 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하고, 제2 분류기의 개수는 제1 분류기의 주분류 타입과 동일하며; 샘플 후보 영역 특징은 태깅된 하위 분류 타입을 구비하거나 태깅된 하위 분류 타입 및 태깅된 주분류 타입을 구비한다.
선택적으로, 샘플 후보 영역 특징이 태깅된 하위 분류 타입을 구비하는 것에 응답하여, 태깅된 하위 분류 타입을 클러스터링하는 것을 통해 샘플 후보 영역 특징에 대응되는 태깅된 주분류 타입을 결정한다.
선택적으로, 네트워크 훈련 유닛은, 샘플 후보 영역 특징을 제1 분류기에 입력하여, 예측 주분류 타입을 얻고; 예측 주분류 타입 및 태깅된 주분류 타입에 기반하여 제1 분류기의 파라미터를 조정하며; 샘플 후보 영역 특징의 태깅된 주분류 타입에 기반하여, 샘플 후보 영역 특징을 태깅된 주분류 타입에 대응되는 제2 분류기에 입력하여, 예측 하위 분류 타입을 얻으며; 예측 하위 분류 타입 및 태깅된 하위 분류 타입에 기반하여 제2 분류기의 파라미터를 조정하기 위한 것이다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 후보 영역 획득 유닛(41)은,
이미지에 기반하여 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득하기 위한 후보 영역 모듈;
이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하기 위한 특징 추출 모듈; 및
적어도 하나의 후보 영역 및 이미지 특징에 기반하여 이미지에 대응되는 적어도 하나의 후보 영역 특징을 결정하기 위한 영역 특징 모듈을 포함할 수 있다.
선택적으로, 후보 영역 모듈은, 적어도 하나의 후보 영역에 기반하여 이미지 특징으로부터 대응되는 위치의 특징을 획득하여, 적어도 하나의 후보 영역에 대응되는 적어도 하나의 후보 영역 특징을 구성하기 위한 것이고, 각 후보 영역은 하나의 후보 영역 특징에 대응된다.
선택적으로, 특징 추출 모듈은, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고; 특징 추출 네트워크에서의 잔차 네트워크를 통해 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻으며; 제1 특징 및 구별 특징에 기반하여, 이미지에 대응되는 이미지 특징을 획득하기 위한 것이다.
선택적으로, 특징 추출 모듈은 제1 특징 및 구별 특징에 기반하여, 이미지에 대응되는 이미지 특징을 획득할 경우, 제1 특징 및 구별 특징에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 이미지 특징을 획득하기 위한 것이다.
선택적으로, 특징 추출 모듈은 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻을 경우, 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하고; 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 제1 특징을 결정하기 위한 것이다.
선택적으로, 특징 추출 모듈은 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 제1 특징을 결정할 경우, 적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 제1 특징을 결정하기 위한 것이다.
선택적으로, 특징 추출 모듈은 또한, 제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행하기 위한 것이고, 제1 샘플 이미지 중 타겟 물체의 크기는 알려진 것이고, 타겟 물체는 제1 타겟 물체 및 제2 타겟 물체를 포함하며, 제1 타겟 물체의 크기는 제2 타겟 물체의 크기와 상이하다.
선택적으로, 특징 추출 모듈은 제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행할 경우, 제1 샘플 이미지를 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻고; 판별기를 통해 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하며 - 판별 결과는 제1 샘플 이미지에 제1 타겟 물체의 진실성이 포함되는 것을 나타내기 위한 것임 - ; 판별 결과 및 알려진 제1 샘플 이미지 중 타겟 물체의 크기에 기반하여, 판별기 및 특징 추출 네트워크의 파라미터를 교대로 조정하기 위한 것이다.
선택적으로, 특징 추출 모듈은, 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하고; 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 이미지 특징을 결정하기 위한 것이다.
선택적으로, 특징 추출 모듈은 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 이미지 특징을 결정할 경우, 적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 이미지 특징을 결정하기 위한 것이다.
선택적으로, 특징 추출 모듈은 또한, 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련하기 위한 것이고, 제2 샘플 이미지는 태깅된 이미지 특징을 포함한다.
선택적으로, 특징 추출 모듈은 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련할 경우, 제2 샘플 이미지를 컨볼루션 신경 네트워크에 입력하여, 예측 이미지 특징을 얻고; 예측 이미지 특징 및 태깅된 이미지 특징에 기반하여, 컨볼루션 신경 네트워크의 파라미터를 조정하기 위한 것이다.
선택적으로, 후보 영역 모듈은, 비디오로부터 적어도 하나의 프레임의 이미지를 획득하고, 이미지에 대해 영역 검출을 수행하여, 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 얻기 위한 것이다.
선택적으로, 후보 영역 획득 유닛은,
비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 적어도 하나의 프레임의 이미지 중 타겟에 대응되는 타겟 키 포인트를 결정하기 위한 키 포인트 모듈;
타겟 키 포인트를 추적하여, 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 키 포인트 추적 모듈; 및
적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 적어도 하나의 후보 영역을 조정하여, 적어도 하나의 타겟에 대응되는 적어도 하나의 타겟 후보 영역을 획득하기 위한 영역 조정 모듈을 더 포함한다.
선택적으로, 키 포인트 추적 모듈은, 비디오 중 연속 두 개 프레임의 이미지 중 각 타겟 키 포인트 사이의 거리를 결정하며; 각 타겟 키 포인트 사이의 거리에 기반하여 비디오에서의 타겟 키 포인트에 대한 추적을 구현하며; 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 것이다.
선택적으로, 키 포인트 추적 모듈은 각 타겟 키 포인트 사이의 거리에 기반하여 비디오에서의 타겟 키 포인트에 대한 추적을 구현할 경우, 각 타겟 키 포인트 사이의 거리의 최소값에 기반하여, 연속 두 개 프레임의 이미지 중 동일한 타겟 키 포인트의 위치를 결정하고; 동일한 타겟 키 포인트가 연속 두 개 프레임의 이미지에서의 위치에 따라 타겟 키 포인트에 대한 비디오에서의 추적을 구현하기 위한 것이다.
선택적으로, 영역 조정 모듈은, 후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 후보 영역을 타겟에 대응되는 타겟 후보 영역으로 사용하고; 후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 키 포인트 영역을 타겟에 대응되는 타겟 후보 영역으로 사용하기 위한 것이다.
본 발명의 실시예에서 제공한 멀티 레벨 타겟 분류 장치의 임의의 실시예의 작업 과정, 설정 방식 및 상응하는 기술적인 효과는, 본 발명의 상기 상응하는 방법의 실시예의 구체적인 설명을 참조할 수 있고, 편폭의 제한으로, 여기서 더이상 반복하여 설명하지 않는다.
도 5는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 흐름 예시도이다. 도 5에 도시된 바와 같이, 상기 실시예 방법은 아래와 같은 단계를 포함한다.
단계 510에 있어서, 교통 표지를 포함하는 이미지를 수집한다.
선택적으로, 본 발명의 실시예에서 제공한 교통 표지 검출 방법은 스마트 운전에 적용될 수 있고, 즉 차량에 설치된 이미지 수집 장치를 통해 교통 표지를 포함하는 이미지를 수집하며, 수집된 이미지의 검출에 기반하여, 교통 표지의 분류 검출을 구현할 수 있음으로써, 스마트 운전을 위한 조건을 마련해준다.
하나의 선택적인 예에 있어서, 상기 단계 S510은 메모리에 저장된 상응하는 명령어를 호출하는 프로세서에 의해 실행될 수 있고, 프로세서에 의해 작동되는 이미지 수집 유닛(71)에 의해 실행될 수도 있다.
단계 520에 있어서, 교통 표지를 포함하는 이미지 중 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역 특징을 획득한다.
여기서, 각 교통 표지는 하나의 후보 영역 특징에 대응되고, 이미지에 복수 개의 교통 표지가 포함될 경우, 각 교통 표지를 각각 분류하기 위해, 각 교통 표지를 각각 구별해야 한다.
선택적으로, 타겟을 포함할 수 있는 후보 영역을 획득하고, 적어도 하나의 후보 영역을 크롭하여 획득하며, 후보 영역에 기반하여 후보 영역 특징을 획득하며; 또는 이미지에 대해 특징 추출을 수행하여 이미지 특징을 획득하고, 이미지 추출 후보 영역에 대해, 후보 영역을 이미지 특징에 맵핑하는 것을 통해, 후보 영역 특징을 획득하며, 본 발명의 실시예는 후보 영역 특징을 획득하는 구체적인 방법을 한정하지 않는다.
하나의 선택적인 예에 있어서, 상기 단계 S520은 메모리에 저장된 상응하는 명령어를 호출하는 프로세서에 의해 실행될 수 있고, 프로세서에 의해 작동되는 교통 표지 영역 유닛(72)에 의해 실행될 수도 있다.
단계 530에 있어서, 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 적어도 두 개의 교통 표지 주분류 중 각 교통 표지 주분류를 분류하여, 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는다.
후보 영역 특징에 각각 기반하여 분류하면, 상기 후보 영역 특징이 교통 표지 주분류에 대한 제1 확률 벡터를 얻을 수 있는 반면, 각 교통 표지 주분류는 적어도 두 개의 교통 표지 하위 분류를 포함하며, 후보 영역 특징에 대해 교통 표지 하위 분류에 기반하여 분류하여, 교통 표지 하위 분류에 대한 제2 확률 벡터를 획득하며; 교통 표지 주분류는, 경고 표지, 금지 표지, 지시 표지, 길 안내 표지, 여행지 표지 및 도로 건설 안전 표지를 포함할 수 있지만 이에 한정되지 않으며, 또한, 각 교통 표지 주분류에는 복수 개의 교통 표지 하위 분류가 포함된다.
하나의 선택적인 예에 있어서, 상기 단계 S530은 메모리에 저장된 상응하는 명령어를 호출하는 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 교통 확률 벡터 유닛(73)에 의해 실행될 수도 있다.
단계 540에 있어서, 제1 확률 벡터 및 제2 확률 벡터에 기반하여, 교통 표지가 교통 표지 하위 분류에 속하는 분류 확률을 결정한다.
교통 표지의 정확한 분류를 확인하기 위해, 교통 표지 주분류의 분류 결과만 획득하는 것으로 부족하고, 교통 표지 주분류의 분류 결과만 획득하는 것은 현재 타겟이 어느 교통 표지 주분류에 속하는지만 결정할 수 있으며, 각 교통 표지 주분류에 적어도 두 개의 교통 표지 하위 분류가 더 포함되므로, 속하는 교통 표지 하위 분류를 획득하기 위해, 교통 표지는 속하는 교통 표지 주분류에서 계속하여 분류되어야 한다.
하나의 선택적인 예에 있어서, 상기 단계 S540은 메모리에 저장된 상응하는 명령어를 호출하는 프로세서에 의해 실행될 수 있고, 프로세서에 의해 작동되는 교통 표지 분류 유닛(74)에 의해 실행될 수도 있다.
본 발명의 상기 실시예에서 제공한 교통 표지 검출 방법에 기반하여, 이미지 중 교통 표지의 분류 정확률을 향상시킨다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 530은,
적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻는 단계; 및
적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 각 교통 표지 주분류를 분류하여, 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계를 포함할 수 있다.
선택적으로, 교통 표지의 카테고리가 비교적 많고, 타입 간이 아주 유사하여, 기존의 검출 프레임워크가 이렇게 많은 카테고리를 동시에 검출하고 분류할 수 없으므로, 본 실시예는 멀티 레벨 분류기를 통해 교통 표지를 분류하여, 비교적 좋은 분류 결과를 달성하며; 여기서, 제1 분류기 및 제2 분류기는 분류를 구현 가능한 기존의 신경 네트워크를 사용할 수 있고, 여기서 제2 분류기는 제1 분류기 중의 각 교통 표지 주분류를 분류하는 것을 구현하며, 제2 분류기를 통해 비교적 비슷한 대량의 교통 표지 분류의 정확률을 향상시킬 수 있다.
선택적으로, 각 교통 표지 주분류 타입은 하나의 제2 분류기에 대응되고;
적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 각 교통 표지 주분류를 분류하여, 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계는,
제1 확률 벡터에 기반하여, 후보 영역 특징에 대응되는 교통 표지 주분류 타입을 결정하는 단계; 및
교통 표지 주분류에 대응되는 제2 분류기에 기반하여 후보 영역 특징을 분류하여, 후보 영역 특징이 적어도 두 개의 교통 표지 하위 분류에 대한 제2 확률 벡터를 얻는 단계를 포함한다.
본 실시예에 있어서, 각 교통 표지 주분류 타입은 하나의 제2 분류기에 대응되고, 하나의 후보 영역이 어느 교통 표지 주분류 타입인 것으로 결정한 후, 어느 제2 분류기에 기반하여 세부 분류를 할지를 결정할 수 있어, 교통 표지 분류의 난이도를 감소시킬 수 있고; 상기 후보 영역을 모든 제2 분류기에 입력하여, 모든 제2 분류기에 기반하여 복수 개의 제2 확률 벡터를 얻을 수도 있으며; 교통 표지의 분류 타입은 제1 확률 벡터 및 제2 확률 벡터를 결합하여 결정된 것이고, 제1 확률 벡터 중 비교적 작은 확률값에 대응되는 제2 확률 벡터의 분류 결과는 감소되며, 제1 확률 벡터 중 비교적 큰 확률값(교통 표지에 대응되는 교통 표지 주분류 타입)에 대응되는 제2 확률 벡터의 분류 결과가 다른 제2 확률 벡터의 분류 결과에 비해 명확한 장점을 가지므로, 교통 표지의 교통 표지 하위 분류 타입을 빠르게 결정할 수 있다.
선택적으로, 교통 표지 주분류에 대응되는 제2 분류기에 기반하여 후보 영역 특징을 분류하여, 후보 영역 특징이 적어도 두 개의 교통 표지 하위 분류에 대한 제2 확률 벡터를 얻기 전, 상기 방법은,
후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 처리된 후보 영역 특징을 교통 표지 주분류에 대응되는 제2 분류기에 입력하는 단계를 더 포함할 수 있다.
교통 표지 주분류에 N 개의 주분류가 포함될 경우, 얻은 후보 영역의 교통 표지를 이용하여 N 개의 주분류를 분류하면, 주분류 타입이 적고, 타입 간 차이가 크므로, 용이하게 분류할 수 있고, 다음, 각 교통 표지 하위 분류의 경우, 컨볼루션 신경 네트워크를 이용하여 분류 특징을 추가로 발견하여, 각 교통 표지 주분류 하의 교통 표지 하위 분류를 세부 분류하며; 이때, 제2 분류기가 상이한 교통 표지 주분류에 대한 상이한 특징을 발견하므로, 교통 표지 하위 분류의 분류 정확률을 향상시킬 수 있고; 컨볼루션 신경 네트워크를 통해 후속 영역 특징을 처리하여, 더 많은 분류 특징을 발견할 수 있음으로써, 교통 표지 하위 분류의 분류 결과가 더욱 정확해지도록 한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 540은,
제1 확률 벡터에 기반하여, 타겟이 교통 표지 주분류에 속하는 제1 분류 확률을 결정하는 단계;
제2 확률 벡터에 기반하여, 타겟이 교통 표지 하위 분류에 속하는 제2 분류 확률을 결정하는 단계; 및
제1 분류 확률 및 제2 분류 확률을 결합하여, 교통 표지가 교통 표지 주분류에서의 교통 표지 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함할 수 있다.
선택적으로, 제1 분류 확률 및 제2 분류 확률의 곱에 기반하여 교통 표지가 교통 표지 주분류에서의 교통 표지 하위 분류에 속하는 분류 확률을 결정한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 530을 실행하기 전, 상기 방법은,
샘플 후보 영역 특징에 기반하여 교통 분류 네트워크를 훈련하는 단계를 더 포함할 수 있다.
선택적으로, 교통 분류 네트워크는 분류 기능을 구현하기 위한 컨볼루션 신경 네트워크 등과 같은 분류 기능을 구현하기 위한 임의의 구조의 딥 신경 네트워크일 수 있고; 예를 들어, 교통 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하며, 제2 분류기의 개수는 제1 분류기의 교통 표지 주분류 타입과 동일하며; 샘플 후보 영역 특징은 태깅된 교통 표지 하위 분류 타입을 구비하거나 태깅된 교통 표지 하위 분류 타입 및 태깅된 교통 표지 주분류 타입을 구비한다.
선택적으로, 교통 분류 네트워크의 구조는 도 2를 참조할 수 있고, 훈련을 통해 획득된 교통 표지 분류 네트워크는 상위 분류 및 하위 분류를 더욱 잘 수행할 수 있으며; 샘플 후보 영역 특징은 교통 표지 하위 분류 타입만 태깅할 수 있으며, 이때, 교통 분류 네트워크에 대한 훈련을 구현하기 위해, 선택적으로, 샘플 후보 영역 특징이 태깅된 교통 표지 하위 분류 타입을 구비하는 것에 응답하여, 태깅된 교통 표지 하위 분류 타입을 클러스터링하는 것을 통해 샘플 후보 영역 특징에 대응되는 태깅된 주분류 타입을 결정한다. 샘플 후보 영역 특징을 클러스터링하는 것을 통해 태깅된 교통 표지 주분류 타입을 획득할 수 있고, 선택 가능한 클러스터링 방법은 상기 멀티 레벨 타겟 분류 방법에서의 실시예를 참조할 수 있으며, 본 실시예는 더이상 반복하여 설명하지 않는다. 본 실시예는 인공적인 태깅 작업을 감소시키고, 태깅 정확률 및 훈련 효율을 향상시킨다.
선택적으로, 샘플 후보 영역 특징에 기반하여 교통 분류 네트워크를 훈련하는 단계는,
샘플 후보 영역 특징을 제1 분류기에 입력하여, 예측 교통 표지 주분류 타입을 얻는 단계; 예측 교통 표지 주분류 타입 및 태깅된 교통 표지 주분류 타입에 기반하여 제1 분류기의 파라미터를 조정하는 단계;
샘플 후보 영역 특징의 태깅된 교통 표지 주분류 타입에 기반하여, 샘플 후보 영역 특징을 태깅된 교통 표지 주분류 타입에 대응되는 제2 분류기에 입력하여, 예측 교통 표지 하위 분류 타입을 얻는 단계; 및 예측 교통 표지 하위 분류 타입 및 태깅된 교통 표지 하위 분류 타입에 기반하여 제2 분류기의 파라미터를 조정하는 단계를 포함한다.
각각 제1 분류기 및 적어도 두 개의 제2 분류기를 훈련하여, 획득된 교통 분류 네트워크가 교통 표지에 대해 큰 범위 분류를 수행하도록 하는 동시에, 세부 분류를 구현하도록 하므로, 제1 분류 확률 및 제2 분류 확률의 곱에 기반하여, 상기 교통 표지의 정확한 하위 분류의 분류 확률을 결정할 수 있다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 520은,
교통 표지를 포함하는 이미지에 기반하여 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득하는 단계;
이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하는 단계; 및
적어도 하나의 후보 영역 및 이미지 특징에 기반하여 교통 표지를 포함하는 이미지에 대응되는 적어도 하나의 후보 영역 특징을 결정하는 단계를 포함할 수 있다.
선택적으로, 영역에 기반한 풀 컨볼루션 신경 네트워크(R-FCN)의 네트워크 프레임워크를 통해 후보 영역 특징을 획득하는 것을 구현할 수 있다.
선택적으로, 이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하는 단계는,
특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계;
특징 추출 네트워크에서의 잔차 네트워크를 통해 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻는 단계; 및
제1 특징 및 상기 구별 특징에 기반하여, 이미지에 대응되는 이미지 특징을 획득하는 단계를 포함한다.
선택적으로, 제1 특징 및 구별 특징을 통해 획득된 이미지 특징은 이미지 중 범용 특징을 나타낼 수 있는 기초 상에서 작은 타겟 물체 및 큰 타겟 물체 사이의 차이를 반영할 수 있으므로, 상기 이미지 특징에 기반하여 분류할 경우, 작은 타겟 물체(본 실시예에서 교통 표지를 가리킴)에 대한 분류의 정확성을 향상시킨다.
선택적으로, 제1 특징 및 차이특징에 기반하여, 이미지에 대응되는 이미지 특징을 획득하는 단계는,
제1 특징 및 구별 특징에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 이미지 특징을 획득하는 단계를 포함한다.
선택적으로, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계는,
컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하는 단계; 및
컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 제1 특징을 결정하는 단계를 포함한다.
본 실시예의 구현 과정 및 유익한 효과는 상기 멀티 레벨 타겟 분류 방법에서의 실시예를 참조할 수 있고, 본 실시예는 더이상 반복하여 설명하지 않는다.
그러나 비트 단위 가산의 방법은 두 개의 특징 맵의 크기가 동일해야 만 구현할 수 있고, 선택적으로, 융합을 구현하여 제1 특징을 획득하는 단계는,
적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 상기 제1 특징을 결정하는 단계를 포함한다.
선택적으로, 하위 계층 특징 맵은 일반적으로 비교적 크지만, 상위 계층 특징 맵이 일반적으로 작으므로, 본 실시예는 하위 계층 특징 맵 또는 상위 계층 특징 맵에 대한 크기 조정을 수행할 수 있으며; 조정된 상위 계층 특징 맵 및 하위 계층 특징 맵에 대해 비트 단위 가산을 수행하여, 제1 특징을 획득할 수 있다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻기 전, 상기 방법은,
제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계를 더 포함한다.
여기서, 제1 샘플 이미지 중 교통 표지의 크기는 알려진 것이고, 교통 표지는 제1 교통 표지 및 제2 교통 표지를 포함하며, 제1 교통 표지의 크기는 제2 교통 표지의 크기와 상이하며, 선택적으로, 제1 교통 표지의 크기는 제2 교통 표지의 크기보다 작다.
본 실시예에서 제공한 적대적 훈련의 과정 및 유익한 효과는 멀티 레벨 타겟 분류 방법 중 대응되는 실시예를 참조할 수 있고, 본 실시예는 더이상 반복하여 설명하지 않는다.
선택적으로, 제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계는,
제1 샘플 이미지를 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻는 단계;
판별기를 통해 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하는 단계 - 상기 판별 결과는 상기 제1 샘플 이미지에 제1 교통 표지가 포함되는 진실성을 나타내기 위한 것임 - ; 및
판별 결과 및 알려진 제1 샘플 이미지 중 교통 표지의 크기에 기반하여, 판별기 및 특징 추출 네트워크의 파라미터를 교대로 조정하는 단계를 포함한다.
선택적으로, 판별 결과는 2 차원 벡터의 형태를 통해 표달될 수 있고, 상기 2 개의 차원은 제1 샘플 이미지 특징이 참값인지 비참값인지의 확률에 각각 대응되며; 제1 샘플 이미지 중 교통 표지의 크기가 알려진 것이므로, 특징 추출 네트워크를 획득하기 위해, 판별 결과 및 알려진 교통 표지의 크기에 기반하여, 판별기 및 특징 추출 네트워크의 파라미터를 교대로 조정한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하는 단계는,
컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하는 단계; 및
컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 이미지 특징을 결정하는 단계를 포함한다.
본 발명의 실시예는 하위 계층 특징 및 상위 계층 특징을 융합하는 방식을 통해, 하위 계층 특징을 이용할 뿐만 아니라, 상위 계층 특징도 이용하여, 하위 계층 특징 및 상위 계층 특징을 융합하여, 타겟 특징 맵을 검출하는 표달 능력을 향상하므로, 네트워크가 딥 계층 시멘틱 정보를 이용할 수 있을 뿐만 아니라, 쉘로우 계층 시멘틱 정보도 충분히 발견할 수 있도록 하며, 선택적으로, 융합 방법은, 특징의 비트 단위 가산 등 방법을 포함할 수 있지만 이에 한정되지 않는다.
선택적으로, 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 이미지 특징을 결정하는 단계는,
적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 이미지 특징을 결정하는 단계를 포함한다.
선택적으로, 본 실시예는 하위 계층 특징 맵 또는 상위 계층 특징 맵에 대한 크기 조정을 수행할 수 있으며; 조정된 상위 계층 특징 맵 및 하위 계층 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지 특징을 획득할 수 있다.
선택적으로, 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하기 전, 상기 방법은,
제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련하는 단계를 더 포함한다.
여기서, 제2 샘플 이미지는 태깅된 이미지 특징을 포함한다.
더 좋은 이미지 특징을 얻기 위해, 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련한다.
선택적으로, 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련하는 단계는,
제2 샘플 이미지를 컨볼루션 신경 네트워크에 입력하여, 예측 이미지 특징을 얻는 단계; 및
예측 이미지 특징 및 태깅된 이미지 특징에 기반하여, 컨볼루션 신경 네트워크의 파라미터를 조정하는 단계를 포함한다.
상기 훈련 과정은, 일반적인 신경 네트워크 훈련과 유사하게, 역방향 기울기 전파 알고리즘에 기반하여 상기 컨볼루션 신경 네트워크를 훈련한다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 단계 520은,
비디오로부터 교통 표지를 포함하는 적어도 하나의 프레임의 이미지를 획득하고, 이미지에 대해 영역 검출을 수행하여, 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 얻는 단계를 포함할 수 있다.
선택적으로, 이미지는 비디오에 기반하여 획득된 것이고, 상기 비디오는 차량 탑재 비디오 또는 차량에 설치된 다른 촬영 장치에 의해 수집된 비디오일 수 있으며, 비디오에 기반하여 획득된 이미지에 대해 영역 검출을 수행하여, 교통 표지를 포함할 수 있는 후보 영역을 획득할 수 있다.
선택적으로, 교통 표지를 포함하는 이미지에 기반하여 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득하기 전, 상기 방법은,
비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 적어도 하나의 프레임의 이미지에서의 교통 표지에 대응되는 교통 표지 키 포인트를 결정하는 단계; 및
교통 표지 키 포인트를 추적하여, 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 더 포함하고;
이미지에 기반하여 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득한 후, 상기 방법은,
적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 적어도 하나의 후보 영역을 조정하여, 적어도 하나의 교통 표지에 대응되는 적어도 하나의 교통 표지 후보 영역을 획득하는 단계를 더 포함한다.
영역 검출에 기반하여 얻은 후보 영역은, 연속적인 이미지 간의 미세한 차이 및 임계값의 선택으로 인해 일부 프레임의 누락 검출이 용이하게 발생될 수 있으므로, 정적 타겟의 추적 알고리즘에 기반하여, 비디오에 대한 검출 효과를 향상시킨다.
본 발명의 실시예에 있어서, 타겟 특징 포인트는 꼭지점, 어두운 영역에서의 밝은 점 등과 같은 이미지에서 가장 뚜렷한 점으로 간단하게 이해할 수 있다.
선택적으로, 교통 표지 키 포인트를 추적하여, 비디오 중 각 이미지의 키 포인트 영역을 획득하는 단계는,
비디오 중 연속 두 개 프레임의 이미지 중 각 교통 표지 키 포인트 사이의 거리를 결정하는 단계;
각 교통 표지 키 포인트 사이의 거리에 기반하여 비디오에서의 교통 표지 키 포인트에 대한 추적을 구현하는 단계; 및
비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 포함한다.
본 발명의 실시예는 타겟 키 포인트를 추적하는 것을 구현하기 위해, 연속 두 개 프레임의 이미지에서의 동일한 타겟 키 포인트를 결정해야 하고, 선택적으로, 교통 표지 키 포인트의 추적은 상기 멀티 레벨 타겟 분류 방법 중 대응되는 실시예를 참조할 수 있으며, 본 실시예에서 더이상 반복적으로 설명하지 않는다.
선택적으로, 각 교통 표지 키 포인트 사이의 거리에 기반하여 비디오에서의 교통 표지 키 포인트에 대한 추적을 구현하는 단계는,
각 교통 표지 키 포인트 사이의 거리의 최소값에 기반하여, 연속 두 개 프레임의 이미지 중 동일한 교통 표지 키 포인트의 위치를 결정하는 단계; 및
동일한 교통 표지 키 포인트가 연속 두 개 프레임의 이미지에서의 위치에 따라 교통 표지 키 포인트에 대한 비디오에서의 추적을 구현하는 단계를 포함한다.
선택적으로, 본 실시예에서 제공한 교통 표지 키 포인트의 추적 과정은 상기 멀티 레벨 타겟 분류 방법 중 대응되는 실시예를 참조할 수 있고, 본 실시예는 더이상 반복하여 설명하지 않는다.
선택적으로, 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 적어도 하나의 후보 영역을 조정하여, 적어도 하나의 교통 표지에 대응되는 적어도 하나의 교통 표지 후보 영역을 획득하는 단계는,
후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 후보 영역을 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하는 단계; 및
후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 키 포인트 영역을 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하는 단계를 포함한다.
본 발명의 실시예에 있어서, 키 포인트 추적의 결과를 통해 후속 영역을 조정할 수 있고, 선택적으로, 본 실시예에서 제공한 교통 표지 후보 영역의 조정은 상기 멀티 레벨 타겟 분류 방법 중 대응되는 실시예를 참조할 수 있고, 본 실시예는 더이상 반복하여 설명하지 않는다.
도 6a는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 교통 표지 주분류의 예시도이다. 도 6a에 도시된 바와 같이, 도면에는 복수 개의 교통 표지가 포함되고, 각 교통 표지는 상이한 교통 표지 하위 분류에 속하지만, 모든 교통 표지는 지시 표지(교통 표지 주분류 중 하나)에 모두 속하며, 예를 들어, 여기서 i10은 교통 표지 지시인 우회전을 도시하고, i12는 교통 표지 지시인 좌회전을 도시하며, i13은 교통 표지 지시인 직진을 도시하며; 교통 표지 주분류는 경고 표지, 금지 표지, 지시 표지, 길 안내 표지, 여행지 표지 및 도로 건설 안전 표지를 포함할 수 있지만 이에 한정되지 않는다. 도 6b는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 다른 교통 표지 주분류의 예시도이다. 도 6b에 도시된 바와 같이, 도면에는 복수 개의 교통 표지가 포함되고, 각 교통 표지는 상이한 교통 표지 하위 분류에 속하지만; 모든 교통 표지는 금지 표지(교통 표지 주분류 중 하나)에 모두 속하며, 예를 들어, p9는 교통 표지 지시인 행인 통행 금지를 도시하고, p19는 교통 표지 지시인 우회전 금지를 도시한다. 도 6c는 본 발명의 실시예에서 제공한 교통 표지 검출 방법의 선택 가능한 예 중 또 다른 교통 표지 주분류의 예시도이다. 도 6c에 도시된 바와 같이, 도면에는 복수 개의 교통 표지가 포함되고, 각 교통 표지는 상이한 교통 표지 하위 분류에 속하지만; 모든 교통 표지는 금지 표지(교통 표지 주분류 중 하나)에 모두 속하며, 예를 들어, w20은 교통 표지 지시인 T 형 교차로를 도시하고; w47은 교통 표지 지시인 전방 도로의 우측이 좁아짐을 도시한다.
본 기술분야의 통상의 기술자는 상기 방법의 실시예를 구현하기 위한 전부 또는 일부 단계가 프로그램 명령어에 관련된 하드웨어를 통해 완료되며, 전술한 프로그램이 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법의 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다.
도 7은 본 발명의 실시예에서 제공한 교통 표지 검출 장치의 구조 예시도이다. 상기 실시예의 장치는 본 발명의 상기 각 교통 표지 검출 방법 실시예를 구현하는데 사용될 수 있다. 도 7에 도시된 바와 같이, 상기 실시예의 장치는,
교통 표지를 포함하는 이미지를 수집하기 위한 이미지 수집 유닛(71);
교통 표지를 포함하는 이미지 중 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역 특징을 획득하기 위한 교통 표지 영역 유닛(72) - 각 교통 표지는 하나의 후보 영역 특징에 대응됨 - ;
적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 적어도 두 개의 교통 표지 주분류 중 각 교통 표지 주분류를 분류하여, 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 교통 확률 벡터 유닛(73); 및
제1 확률 벡터 및 제2 확률 벡터에 기반하여, 교통 표지가 교통 표지 하위 분류에 속하는 분류 확률을 결정하기 위한 교통 표지 분류 유닛(74)을 포함한다.
본 발명의 상기 실시예에서 제공한 교통 표지 검출 장치에 기반하여, 이미지 중 교통 표지의 분류 정확률을 향상시킨다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 교통 확률 벡터 유닛(73)은,
적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻기 위한 제1 확률 모듈;
적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 각 교통 표지 주분류를 분류하여, 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 제2 확률 모듈을 포함한다.
선택적으로, 각 교통 표지 주분류 타입은 하나의 제2 분류기에 대응되고;
제2 확률 모듈은, 제1 확률 벡터에 기반하여, 후보 영역 특징에 대응되는 교통 표지 주분류 타입을 결정하고; 교통 표지 주분류에 대응되는 제2 분류기에 기반하여 후보 영역 특징을 분류하여, 후보 영역 특징이 적어도 두 개의 교통 표지 하위 분류에 대한 제2 확률 벡터를 얻기 위한 것이다.
선택적으로, 교통 확률 벡터 유닛(73)은 또한, 후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 처리된 후보 영역 특징을 교통 표지 주분류에 대응되는 제2 분류기에 입력하기 위한 것이다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 교통 표지 분류 유닛(74)은, 제1 확률 벡터에 기반하여, 타겟이 교통 표지 주분류에 속하는 제1 분류 확률을 결정하고; 제2 확률 벡터에 기반하여, 타겟이 교통 표지 하위 분류에 속하는 제2 분류 확률을 결정하며; 제1 분류 확률 및 제2 분류 확률을 결합하여, 타겟이 교통 표지 주분류에서의 하위 분류에 속하는 분류 확률을 결정하기 위한 것이다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 본 실시예의 장치는,
샘플 후보 영역 특징에 기반하여 교통 분류 네트워크를 훈련하기 위한 교통 네트워크 훈련 유닛을 더 포함할 수 있다.
교통 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하고, 제2 분류기의 개수는 제1 분류기의 교통 표지 주분류 타입과 동일하며; 샘플 후보 영역 특징은 태깅된 교통 표지 하위 분류 타입을 구비하거나 태깅된 교통 표지 하위 분류 타입 및 태깅된 교통 표지 주분류 타입을 구비한다.
선택적으로, 샘플 후보 영역 특징이 태깅된 교통 표지 하위 분류 타입을 구비하는 것에 응답하여, 태깅된 교통 표지 하위 분류 타입을 클러스터링하는 것을 통해 샘플 후보 영역 특징에 대응되는 태깅된 교통 표지 주분류 타입을 결정한다.
선택적으로, 교통 네트워크 훈련 유닛은, 샘플 후보 영역 특징을 제1 분류기에 입력하여, 예측 교통 표지 주분류 타입을 얻고; 예측 교통 표지 주분류 타입 및 태깅된 교통 표지 분류 타입에 기반하여 제1 분류기의 파라미터를 조정하며; 샘플 후보 영역 특징의 태깅된 교통 표지 분류 타입에 기반하여, 샘플 후보 영역 특징을 태깅된 교통 표지 분류 타입에 대응되는 제2 분류기에 입력하여, 예측 교통 표지 하위 분류 타입을 얻으며; 예측 교통 표지 하위 분류 타입 및 태깅된 교통 표지 하위 분류 타입에 기반하여 제2 분류기의 파라미터를 조정하기 위한 것이다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 교통 표지 영역 유닛(72)은,
교통 표지를 포함하는 이미지에 기반하여 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득하기 위한 표지 후보 영역 모듈;
이미지에 대해 특징 추출을 수행하여, 이미지에 대응되는 이미지 특징을 획득하기 위한 이미지 특징 추출 모듈; 및
적어도 하나의 후보 영역 및 이미지 특징에 기반하여 교통 표지를 포함하는 이미지에 대응되는 적어도 하나의 후보 영역 특징을 결정하기 위한 태깅 영역 특징 모듈을 포함한다.
선택적으로, 표지 후보 영역 모듈은, 적어도 하나의 후보 영역에 기반하여 이미지 특징으로부터 대응되는 위치의 특징을 획득하여, 적어도 하나의 후보 영역에 대응되는 적어도 하나의 후보 영역 특징을 구성하기 위한 것이고, 각 후보 영역은 하나의 후보 영역 특징에 대응된다.
선택적으로, 이미지 특징 추출 모듈은, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고; 특징 추출 네트워크에서의 잔차 네트워크를 통해 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻으며; 제1 특징 및 구별 특징에 기반하여, 이미지에 대응되는 이미지 특징을 획득하기 위한 것이다.
선택적으로, 이미지 특징 추출 모듈은 제1 특징 및 구별 특징에 기반하여, 이미지에 대응되는 이미지 특징을 획득할 경우, 제1 특징 및 구별 특징에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 이미지 특징을 획득하기 위한 것이다.
선택적으로, 이미지 특징 추출 모듈은 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻을 경우, 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하고; 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 제1 특징을 결정하기 위한 것이다.
선택적으로, 이미지 특징 추출 모듈은 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 제1 특징을 결정할 경우, 적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 제1 특징을 결정하기 위한 것이다.
선택적으로, 이미지 특징 추출 모듈은 또한, 제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행하기 위한 것이고, 제1 샘플 이미지 중 교통 표지의 크기는 알려진 것이고, 교통 표지는 제1 교통 표지 및 제2 교통 표지를 포함하며, 제1 교통 표지의 크기는 제2 교통 표지의 크기와 상이하다.
선택적으로, 이미지 특징 추출 모듈은 제1 샘플 이미지에 기반하여, 판별기를 결합하여 특징 추출 네트워크에 대한 적대적 훈련을 수행할 경우, 제1 샘플 이미지를 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻고; 판별기를 통해 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하며 - 상기 판별 결과는 상기 제1 샘플 이미지에 제1 교통 표지가 포함되는 진실성을 나타내기 위한 것임 - ; 판별 결과 및 알려진 제1 샘플 이미지 중 교통 표지의 크기에 기반하여, 판별기 및 특징 추출 네트워크의 파라미터를 교대로 조정하기 위한 것이다.
하나 또는 복수 개의 선택 가능한 실시예에 있어서, 이미지 특징 추출 모듈은, 컨볼루션 신경 네트워크를 통해 이미지에 대해 특징 추출을 수행하고; 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 이미지 특징을 결정하기 위한 것이다.
선택적으로, 이미지 특징 추출 모듈은 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 이미지에 대응되는 이미지 특징을 결정할 경우, 적어도 두 개의 특징 맵의 크기가 동일하도록, 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 이미지에 대응되는 이미지 특징을 결정하기 위한 것이다.
선택적으로, 이미지 특징 추출 모듈은 또한, 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련하기 위한 것이고, 제2 샘플 이미지는 태깅된 이미지 특징을 포함한다.
선택적으로, 이미지 특징 추출 모듈은 제2 샘플 이미지에 기반하여 컨볼루션 신경 네트워크를 훈련할 경우, 제2 샘플 이미지를 컨볼루션 신경 네트워크에 입력하여, 예측 이미지 특징을 얻고; 예측 이미지 특징 및 태깅된 이미지 특징에 기반하여, 컨볼루션 신경 네트워크의 파라미터를 조정하기 위한 것이다.
선택적으로, 표지 후보 영역 모듈은, 비디오로부터 교통 표지를 포함하는 적어도 하나의 프레임의 이미지를 획득하고, 이미지에 대해 영역 검출을 수행하여, 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 얻기 위한 것이다.
선택적으로, 교통 표지 영역 유닛은,
비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 적어도 하나의 프레임의 이미지에서의 교통 표지에 대응되는 교통 표지 키 포인트를 결정하기 위한 표지 키 포인트 모듈;
교통 표지 키 포인트를 추적하여, 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 표지 키 포인트 추적 모듈; 및
적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 적어도 하나의 후보 영역을 조정하여, 적어도 하나의 교통 표지에 대응되는 적어도 하나의 교통 표지 후보 영역을 획득하기 위한 표지 영역 조정 모듈을 더 포함한다.
선택적으로, 표지 키 포인트 추적 모듈은, 비디오 중 연속 두 개의 프레임의 이미지 중 각 교통 표지 키 포인트 사이의 거리를 결정하며; 각 교통 표지 키 포인트 사이의 거리에 기반하여 비디오에서의 교통 표지 키 포인트에 대한 추적을 구현하고; 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 것이다.
선택적으로, 표지 키 포인트 추적 모듈은 각 교통 표지 키 포인트 사이의 거리에 기반하여 비디오에서의 교통 표지 키 포인트에 대한 추적을 구현할 경우, 각 교통 표지 키 포인트 사이의 거리의 최소값에 기반하여, 연속 두 개 프레임의 이미지 중 동일한 교통 표지 키 포인트의 위치를 결정하고; 동일한 교통 표지 키 포인트가 연속 두 개 프레임의 이미지에서의 위치에 따라 교통 표지 키 포인트에 대한 비디오에서의 추적을 구현하기 위한 것이다.
선택적으로, 표지 영역 조정 모듈은, 후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 후보 영역을 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하고; 후보 영역과 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 키 포인트 영역을 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하기 위한 것이다.
본 발명의 실시예에 따른 교통 표지 검출 장치의 임의의 실시예의 작업 과정, 설정 방식 및 상응하는 기술적인 효과는, 본 발명의 상기 상응하는 방법의 실시예의 구체적인 설명을 참조할 수 있고, 편폭의 제한으로, 여기서 더이상 반복하여 설명하지 않는다.
본 발명의 실시예의 다른 측면에 따르면, 상기 어느 하나의 실시예의 교통 표지 검출 장치를 포함하는 차량을 제공한다.
본 발명의 실시예의 다른 측면에 따르면, 프로세서를 포함하는 전자 기기를 제공하고, 상기 프로세서는 상기 어느 하나의 실시예에 따른 멀티 레벨 타겟 분류 장치 또는 상기 어느 하나의 실시예에 따른 교통 표지 검출 장치를 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 전자 기기를 제공하고, 실행 가능한 명령어를 저장하기 위한 메모리; 및
메모리와 통신하여 상기 실행 가능한 명령어를 실행함으로써 상기 어느 하나의 실시예에 따른 멀티 레벨 타겟 분류 방법의 단계 또는 상기 어느 하나의 실시예에 따른 교통 표지 검출 방법의 단계를 완료하기 위한 프로세서를 포함한다.
본 발명의 실시예의 다른 측면에 따르면, 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 저장 매체를 제공하고, 상기 명령어가 실행될 경우 상기 어느 하나의 실시예에 따른 멀티 레벨 타겟 분류 방법의 단계 또는 상기 어느 하나의 실시예에 따른 교통 표지 검출 방법의 단계를 실행한다.
본 발명의 실시예는 또한 이동 단말, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 서버와 같은 전자 기기를 제공한다. 아래에 도 8을 참조하면, 본 발명의 실시예에 따른 단말기기 또는 서버를 구현하기에 적합한 전자 기기(800)의 구조 모식도이며, 도 8에 도시된 바와 같이, 전자 기기(800)는 하나 또는 복수 개의 프로세서, 통신부 등을 포함하며, 상기 하나 또는 복수 개의 프로세서는, 예를 들어, 하나 또는 복수 개의 중앙 처리 장치(CPU)(801) 및 하나 또는 복수 개의 전용 프로세서 중 적어도 하나이며, 전용 프로세서는 가속 유닛(813)으로 사용될 수 있으며, 그래픽 처리 장치(Graphic Processing Unit, GPU), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 디지털 신호 프로세서(Digtal Signal Processor, DSP) 및 다른 주문형 집적 회로(Application Specific Integrated Circuit, ASIC) 칩 타입의 전용 프로세서 등을 포함할 수 있지만 한정되지 않으며, 프로세서는 판독 전용 메모리(ROM)(802)에 저장된 실행 가능한 명령어 또는 저장 부분(808)으로부터 랜덤 액세스 메모리(RAM)(803)에 로딩된 실행 가능한 명령어에 따라 다양한 적절한 동작 및 처리를 실행할 수 있다. 통신부(812)는 네트워크 카드를 포함하지만 이에 한정되지 않으며, 상기 네트워크 카드는 인피니밴드(Infiniband, IB) 네트워크 카드를 포함하지만 이에 한정되지 않는다.
프로세서는 실행 가능한 명령어를 실행하기 위해 판독 전용 메모리(802) 및 랜덤 액세스 메모리(803)에서 통신할 수 있고, 버스(804)를 통해 통신부(812)에 연결되며, 통신부(812)를 통해 다른 타겟 기기와 통신함으로써, 본 발명의 실시예에서 제공한 어느 하나의 방법에 대응되는 조작을 완료하며, 예를 들어, 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하고; 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻으며; 제1 확률 벡터 및 제2 확률 벡터에 기반하여, 타겟이 하위 분류에 속하는 분류 확률을 결정한다.
또한, RAM(803)에는 장치의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장될 수 있다. CPU(801), ROM(802) 및 RAM(803)은 통신 버스(804)를 통해 서로 연결된다. RAM(803)이 있는 경우, ROM(802)은 옵션 모듈이다. RAM(803)은 실행 가능한 명령어를 저장하고, 또는 작동될 경우 ROM(802)에 실행 가능한 명령어를 기록하며, 실행 가능한 명령어는 중앙 처리 장치(801)로 하여금 상기 통신 방법에 대응되는 동작을 실행하도록 한다. 입력/출력(I/O) 인터페이스(805)도 버스(804)에 연결된다. 통신부(812)는 통합될 수 있거나, 버스에 연결된 복수 개의 서브 모듈(예를 들어 복수 개의 IB 랜 카드)을 갖도록 구성될 수 있다.
다음의 부재, 즉 키보드, 마우스 등을 포함하는 입력 부분(806); 음극 선관(CRT), 액정 디스플레이(LCD), 스피커 등을 포함하는 출력 부분(807); 하드웨어 등을 포함하는 저장 부분(808); 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스의 통신 인터페이스(809)는 I/O 인터페이스(805)에 연결된다. 통신 부분(809)은 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 드라이버(810)는 필요에 따라 I/O 인터페이스(805)에 연결될 수도 있다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 탈착 가능한 매체(811)는 필요에 따라 탈착 가능한 매체로부터 판독된 컴퓨터 프로그램이 저장부(808)에 설치되도록 필요에 따라 드라이버(810)에 장착된다.
설명해야 할 것은, 도 8에 도시된 아키텍쳐는 다만 선택적인 구현 방식일 뿐, 구체적인 실천 과정에서, 상기 도 8의 구성 요소의 개수 및 유형은 실제 필요에 따라 선택, 감소, 증가 또는 교체되며; 상이한 기능적 구성 요소 설치에서 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수 있으며, 예를 들어 가속 유닛(813) 및 CPU(801)는 분리 설치될 수 있거나 가속 유닛(813)이 CPU(801)에 통합되며, 통신부는 분리 설치될 수 있거나, CPU(801) 또는 가속 유닛(813)에 통합 설치될 수도 있는 등이다. 이들 대안적인 실시 형태는 모두 본 발명에 개시된 보호 범위에 속한다.
특히, 본 발명의 실시예에 따른 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현된다. 예를 들어, 본 발명의 실시예는 기계 판독 가능한 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 발명의 실시예에서 제공하는 방법의 단계를 실행하기 위한 명령어를 포함할 수 있으며, 예를 들어, 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하고; 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 각 주분류를 분류하여, 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻으며; 제1 확률 벡터 및 제2 확률 벡터에 기반하여, 타겟이 하위 분류에 속하는 분류 확률을 결정한다. 이러한 실시예에 있어서, 상기 컴퓨터 프로그램은 통신부(809)를 통해 네트워크로부터 다운로드와 설치될 수 있는 것 및 탈착 가능한 매체(811)로부터 설치될 수 있는 것 중 적어도 하나이다. 본 발명의 방법에서 정의한 상기 기능의 조작은 상기 컴퓨터 프로그램이 중앙 처리 장치(CPU)(801)에 의해 실행될 경우에 실행된다.
본 명세서에서 각 실시예는 모두 점진적으로 설명되며, 각 실시예는 다른 실시예와의 차이점을 중점적으로 설명하며, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조될 수 있다. 시스템 실시예는 방법 실시예에 대체적으로 대응되므로, 설명이 비교적 간단하고, 관련 부분에 대해서는 방법 실시예의 일부 설명을 참조하면 된다.
본 발명의 방법과 장치는 많은 방식으로 구현된다. 예를 들어, 본 발명의 방법과 장치는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 구체적으로 언급되지 않는 한, 상기 방법의 상기 단계의 상기 구체적인 순서는 다만 설명을 위한 것이며, 본 발명의 방법의 단계를 한정하려는 것은 아니다. 또한, 일부 실시예에 있어서, 본 발명은 기록 매체에 기록된 프로그램으로서 구현될 수도 있으며, 이들 프로그램은 본 발명의 방법을 구현하기 위한 기계 판독 가능한 명령어를 포함한다. 따라서, 본 발명은 본 발명에 따른 방법들을 실행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.
본 발명의 설명은 예 및 설명의 목적으로 제공되며, 누락되지 않거나 본 발명을 개시된 형태로 한정하려는 것은 아니다. 많은 수정과 변경이 본 기술분야의 통상의 기술자에게 자명하다. 실시예들은 본 발명의 원리 및 실제 적용을 더 잘 설명하고, 본 기술분야의 통상의 기술자로 하여금 특정 사용에 적용 가능한 다양한 수정들을 갖는 다양한 실시예들을 설계하기 위해 본 발명을 이해하도록 선택되고 설명된다.
Claims (105)
- 멀티 레벨 타겟 분류 방법으로서,
이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하는 단계 - 상기 이미지에는 적어도 하나의 타겟이 포함되고, 각 상기 타겟은 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 주분류 중 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제1항에 있어서,
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 주분류 중 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계는,
상기 적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻는 단계; 및
상기 적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 상기 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제2항에 있어서,
상기 각 주분류 타입은 상기 제2 분류기에 대응되고;
상기 적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 상기 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계는,
상기 제1 확률 벡터에 기반하여, 상기 후보 영역 특징에 대응되는 상기 주분류 타입을 결정하는 단계; 및
상기 주분류에 대응되는 상기 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 상기 후보 영역 특징이 상기 적어도 두 개의 하위 분류에 대한 제2 확률 벡터를 얻는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제3항에 있어서,
상기 주분류에 대응되는 상기 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 상기 후보 영역 특징이 상기 적어도 두 개의 하위 분류에 대한 제2 확률 벡터를 얻기 전, 상기 멀티 레벨 타겟 분류 방법은,
상기 후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 상기 처리된 후보 영역 특징을 상기 주분류에 대응되는 상기 제2 분류기에 입력하는 단계를 더 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 분류 확률을 결정하는 단계는,
상기 제1 확률 벡터에 기반하여, 상기 타겟이 상기 주분류에 속하는 제1 분류 확률을 결정하는 단계;
상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 제2 분류 확률을 결정하는 단계; 및
상기 제1 분류 확률 및 상기 제2 분류 확률을 결합하여, 상기 타겟이 상기 주분류에서의 상기 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 전, 상기 멀티 레벨 타겟 분류 방법은,
샘플 후보 영역 특징에 기반하여 분류 네트워크를 훈련하는 단계 - 상기 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하고, 상기 제2 분류기의 개수는 상기 제1 분류기의 주분류 타입과 동일하며; 상기 샘플 후보 영역 특징은 태깅된 하위 분류 타입을 구비하고, 또는 상기 샘플 후보 영역 특징은 태깅된 하위 분류 타입 및 태깅된 주분류 타입을 구비함 - 를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제6항에 있어서,
상기 샘플 후보 영역 특징이 태깅된 하위 분류 타입을 구비하는 것에 응답하여, 상기 태깅된 하위 분류 타입을 클러스터링하는 것을 통해 상기 샘플 후보 영역 특징에 대응되는 태깅된 주분류 타입을 결정하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제6항 또는 제7항에 있어서,
상기 샘플 후보 영역 특징에 기반하여 분류 네트워크를 훈련하는 단계는,
샘플 후보 영역 특징을 상기 제1 분류기에 입력하여, 예측 주분류 타입을 얻는 단계; 상기 예측 주분류 타입 및 상기 태깅된 주분류 타입에 기반하여 상기 제1 분류기의 파라미터를 조정하는 단계;
상기 샘플 후보 영역 특징의 상기 태깅된 주분류 타입에 기반하여, 상기 샘플 후보 영역 특징을 상기 태깅된 주분류 타입에 대응되는 상기 제2 분류기에 입력하여, 예측 하위 분류 타입을 얻는 단계; 및 상기 예측 하위 분류 타입 및 상기 태깅된 하위 분류 타입에 기반하여 상기 제2 분류기의 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제1항 내지 제8항에 있어서,
상기 이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하는 단계는,
상기 이미지에 기반하여 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득하는 단계;
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계; 및
상기 적어도 하나의 후보 영역 및 상기 이미지 특징에 기반하여 상기 이미지에 대응되는 상기 적어도 하나의 후보 영역 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제9항에 있어서,
상기 적어도 하나의 후보 영역 및 상기 이미지 특징에 기반하여 상기 이미지에 대응되는 상기 적어도 하나의 후보 영역 특징을 결정하는 단계는,
상기 적어도 하나의 후보 영역에 기반하여 상기 이미지 특징으로부터 대응되는 위치의 특징을 획득하여, 상기 적어도 하나의 후보 영역에 대응되는 상기 적어도 하나의 후보 영역 특징을 구성하는 단계 - 상기 각 후보 영역은 하나의 후보 영역 특징에 대응됨 - 를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제9항 또는 제10항에 있어서,
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계는,
특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계;
상기 특징 추출 네트워크에서의 잔차 네트워크를 통해 상기 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻는 단계; 및
상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제11항에 있어서,
상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계는,
상기 제1 특징 및 상기 구별 특징에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제11항 또는 제12항에 있어서,
상기 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계는,
상기 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하는 단계; 및
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 제1 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제13항에 있어서,
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 제1 특징을 결정하는 단계는,
적어도 두 개의 특징 맵의 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵 중 상기 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 상기 제1 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻기 전, 상기 멀티 레벨 타겟 분류 방법은,
제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계 - 제1 샘플 이미지 중 타겟 물체의 크기는 알려진 것이고, 상기 타겟 물체는 제1 타겟 물체 및 제2 타겟 물체를 포함하며, 상기 제1 타겟 물체의 크기는 상기 제2 타겟 물체의 크기와 상이함 - 를 더 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제15항에 있어서,
상기 제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계는,
상기 제1 샘플 이미지를 상기 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻는 단계;
상기 판별기를 통해 상기 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하는 단계 - 상기 판별 결과는 상기 제1 샘플 이미지에 제1 타겟 물체의 진실성이 포함되는 것을 나타내기 위한 것임 - ; 및
상기 판별 결과 및 알려진 상기 제1 샘플 이미지 중 타겟 물체의 크기에 기반하여, 상기 판별기 및 상기 특징 추출 네트워크의 파라미터를 교대로 조정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제9항 또는 제10항에 있어서,
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계는,
컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하는 단계; 및
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제17항에 있어서,
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하는 단계는,
적어도 두 개의 특징 맵의 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제17항 또는 제18항에 있어서,
상기 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하기 전, 상기 멀티 레벨 타겟 분류 방법은,
제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련하는 단계 - 상기 제2 샘플 이미지는 태깅된 이미지 특징을 포함함 - 를 더 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제19항에 있어서,
상기 제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련하는 단계는,
상기 제2 샘플 이미지를 상기 컨볼루션 신경 네트워크에 입력하여, 상기 예측 이미지 특징을 얻는 단계; 및
상기 예측 이미지 특징 및 상기 태깅된 이미지 특징에 기반하여, 상기 컨볼루션 신경 네트워크의 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제9항 내지 제20항 중 어느 한 항에 있어서,
상기 이미지에 기반하여 상기 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득하는 단계는,
비디오로부터 상기 적어도 하나의 프레임의 이미지를 획득하고, 상기 이미지에 대해 영역 검출을 수행하여, 상기 적어도 하나의 타겟에 대응되는 상기 적어도 하나의 후보 영역을 얻는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제21항에 있어서,
상기 이미지에 기반하여 상기 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득하는 단계는,
상기 비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 상기 적어도 하나의 프레임의 이미지 중 상기 타겟에 대응되는 타겟 키 포인트를 결정하는 단계; 및
상기 타겟 키 포인트를 추적하여, 상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 더 포함하고;
상기 이미지에 기반하여 상기 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득한 후, 상기 멀티 레벨 타겟 분류 방법은,
상기 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 상기 적어도 하나의 후보 영역을 조정하여, 상기 적어도 하나의 타겟에 대응되는 적어도 하나의 타겟 후보 영역을 획득하는 단계를 더 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제22항에 있어서,
상기 타겟 키 포인트를 추적하여, 상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계는,
상기 비디오 중 연속 두 개 프레임의 상기 이미지 중 각 상기 타겟 키 포인트 사이의 거리를 결정하는 단계;
각 상기 타겟키 포인트 사이의 거리에 기반하여 상기 비디오에서의 상기 타겟 키 포인트에 대한 추적을 구현하는 단계; 및
상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제22항 또는 제23항에 있어서,
각 상기 타겟 키 포인트 사이의 거리에 기반하여 상기 비디오에서의 상기 타겟 키 포인트에 대한 추적을 구현하는 단계는,
각 상기 타겟 키 포인트 사이의 거리의 최소값에 기반하여, 상기 연속 두 개 프레임의 이미지 중 동일한 타겟 키 포인트의 위치를 결정하는 단계; 및
상기 동일한 타겟 키 포인트가 상기 연속 두 개 프레임의 이미지에서의 위치에 따라 타겟 키 포인트에 대한 상기 비디오에서의 추적을 구현하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 제22항 내지 제24항 중 어느 한 항에 있어서,
상기 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 상기 적어도 하나의 후보 영역을 조정하여, 상기 적어도 하나의 타겟에 대응되는 적어도 하나의 타겟 후보 영역을 획득하는 단계는,
상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 상기 후보 영역을 상기 타겟에 대응되는 타겟 후보 영역으로 사용하는 단계; 및
상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 상기 키 포인트 영역을 상기 타겟에 대응되는 타겟 후보 영역으로 사용하는 단계를 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 방법. - 교통 표지 검출 방법으로서,
교통 표지를 포함하는 이미지를 수집하는 단계;
상기 교통 표지를 포함하는 이미지 중 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역 특징을 획득하는 단계 - 상기 각 교통 표지는 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 교통 표지 주분류 중 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 교통 표지가 상기 교통 표지 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제26항에 있어서,
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 교통 표지 주분류 중 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계는,
상기 적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻는 단계; 및
상기 적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 상기 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제27항에 있어서,
상기 각 교통 표지 주분류 타입은 상기 제2 분류기에 대응되고;
상기 적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 상기 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻는 단계는,
상기 제1 확률 벡터에 기반하여, 상기 후보 영역 특징에 대응되는 상기 교통 표지 주분류 타입을 결정하는 단계; 및
상기 교통 표지 주분류에 대응되는 상기 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 상기 후보 영역 특징이 상기 적어도 두 개의 교통 표지 하위 분류에 대한 제2 확률 벡터를 얻는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제28항에 있어서,
교통 표지 주분류에 대응되는 상기 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 후보 영역 특징이 적어도 두 개의 교통 표지 하위 분류에 대한 제2 확률 벡터를 얻기 전, 상기 교통 표지 검출 방법은,
상기 후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 상기 처리된 후보 영역 특징을 상기 교통 표지 주분류에 대응되는 상기 제2 분류기에 입력하는 단계를 더 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제26항 내지 제29항 중 어느 한 항에 있어서,
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 교통 표지 하위 분류에 속하는 분류 확률을 결정하는 단계는,
상기 제1 확률 벡터에 기반하여, 상기 타겟이 상기 교통 표지 주분류에 속하는 제1 분류 확률을 결정하는 단계;
상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 교통 표지 하위 분류에 속하는 제2 분류 확률을 결정하는 단계; 및
상기 제1 분류 확률 및 상기 제2 분류 확률을 결합하여, 상기 교통 표지가 상기 교통 표지 주분류에서의 상기 교통 표지 하위 분류에 속하는 분류 확률을 결정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제26항 내지 제30항 중 어느 한 항에 있어서,
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 전, 상기 교통 표지 검출 방법은,
샘플 후보 영역 특징에 기반하여 교통 분류 네트워크를 훈련하는 단계 - 상기 교통 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하고, 상기 제2 분류기의 개수는 상기 제1 분류기의 교통 표지 주분류 타입과 동일하며; 상기 샘플 후보 영역 특징은 태깅된 교통 표지 하위 분류 타입을 구비하고 또는 상기 샘플 후보 영역 특징은 태깅된 교통 표지 하위 분류 타입 및 태깅된 교통 표지 주분류 타입을 구비함 - 를 더 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제31항에 있어서,
상기 샘플 후보 영역 특징이 태깅된 교통 표지 하위 분류 타입을 구비하는 것에 응답하여, 상기 태깅된 교통 표지 하위 분류 타입을 클러스터링하는 것을 통해 상기 샘플 후보 영역 특징에 대응되는 태깅된 교통 표지 주분류 타입을 결정하는 것을 특징으로 하는 교통 표지 검출 방법. - 제31항 또는 제32항에 있어서,
상기 샘플 후보 영역 특징에 기반하여 교통 분류 네트워크를 훈련하는 단계는,
샘플 후보 영역 특징을 상기 제1 분류기에 입력하여, 예측 교통 표지 주분류 타입을 얻는 단계; 상기 예측 교통 표지 주분류 타입 및 상기 태깅된 교통 표지 주분류 타입에 기반하여 상기 제1 분류기의 파라미터를 조정하는 단계;
상기 샘플 후보 영역 특징의 상기 태깅된 교통 표지 주분류 타입에 기반하여, 상기 샘플 후보 영역 특징을 상기 태깅된 교통 표지 주분류 타입에 대응되는 상기 제2 분류기에 입력하여, 예측 교통 표지 하위 분류 타입을 얻는 단계; 및 상기 예측 교통 표지 하위 분류 타입 및 상기 태깅된 교통 표지 하위 분류 타입에 기반하여 상기 제2 분류기의 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제26항 내지 제33항 중 어느 한 항에 있어서,
상기 교통 표지를 포함하는 이미지 중 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역 특징을 획득하는 단계는,
상기 교통 표지를 포함하는 이미지에 기반하여 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득하는 단계;
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계; 및
상기 적어도 하나의 후보 영역 및 상기 이미지 특징에 기반하여 상기 교통 표지를 포함하는 이미지에 대응되는 상기 적어도 하나의 후보 영역 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제34항에 있어서,
상기 적어도 하나의 후보 영역 및 상기 이미지 특징에 기반하여 상기 교통 표지를 포함하는 이미지에 대응되는 상기 적어도 하나의 후보 영역 특징을 결정하는 단계는,
상기 적어도 하나의 후보 영역에 기반하여 상기 이미지 특징으로부터 대응되는 위치의 특징을 획득하여, 상기 적어도 하나의 후보 영역에 대응되는 상기 적어도 하나의 후보 영역 특징을 구성하는 단계 - 각 후보 영역은 하나의 후보 영역 특징에 대응됨 - 를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제34항 또는 제35항에 있어서,
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계는,
특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계;
상기 특징 추출 네트워크에서의 잔차 네트워크를 통해 상기 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻는 단계; 및
상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제36항에 있어서,
상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계는,
상기 제1 특징 및 상기 구별 특징에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제36항 또는 제37항에 있어서,
상기 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻는 단계는,
상기 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하는 단계; 및
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 제1 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제38항에 있어서,
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 제1 특징을 결정하는 단계는,
적어도 두 개의 특징 맵의 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 상기 제1 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제36항 내지 제39항 중 어느 한 항에 있어서,
상기 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻기 전, 상기 교통 표지 검출 방법은,
제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계 - 상기 제1 샘플 이미지 중 교통 표지의 크기는 알려진 것이고, 상기 교통 표지는 제1 교통 표지 및 제2 교통 표지를 포함하며, 상기 제1 교통 표지의 크기는 상기 제2 교통 표지의 크기와 상이함 - 를 더 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제40항에 있어서,
상기 제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행하는 단계는,
상기 제1 샘플 이미지를 상기 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻는 단계;
상기 판별기를 통해 상기 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하는 단계 - 상기 판별 결과는 상기 제1 샘플 이미지에 제1 교통 표지가 포함되는 진실성을 나타내기 위한 것임 - ; 및
상기 판별 결과 및 알려진 상기 제1 샘플 이미지 중 교통 표지의 크기에 기반하여, 상기 판별기 및 상기 특징 추출 네트워크의 파라미터를 교대로 조정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제34항 또는 제35항에 있어서,
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하는 단계는,
컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하는 단계; 및
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제42항에 있어서,
상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하는 단계는,
적어도 두 개의 특징 맵 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵에서의 상기 적어도 하나의 특징 맵을 처리하는 단계; 및
크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제42항 또는 제43항에 있어서,
상기 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하기 전, 상기 교통 표지 검출 방법은,
제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련하는 단계 - 상기 제2 샘플 이미지는 태깅된 이미지 특징을 포함함 - 를 더 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제44항에 있어서,
상기 제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련하는 단계는,
상기 제2 샘플 이미지를 상기 컨볼루션 신경 네트워크에 입력하여, 상기 예측 이미지 특징을 얻는 단계; 및
상기 예측 이미지 특징 및 상기 태깅된 이미지 특징에 기반하여, 상기 컨볼루션 신경 네트워크의 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제34항 내지 제45항 중 어느 한 항에 있어서,
상기 교통 표지를 포함하는 이미지에 기반하여 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득하는 단계는,
비디오로부터 상기 교통 표지를 포함하는 적어도 하나의 프레임의 이미지를 획득하고, 상기 이미지에 대해 영역 검출을 수행하여, 상기 적어도 하나의 교통 표지에 대응되는 상기 적어도 하나의 후보 영역을 얻는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제46항에 있어서,
상기 교통 표지를 포함하는 이미지에 기반하여 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득하기 전, 상기 교통 표지 검출 방법은,
상기 비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 표지에 대응되는 교통 표지 키 포인트를 결정하는 단계; 및
상기 교통 표지 키 포인트를 추적하여, 상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 더 포함하고;
상기 이미지에 기반하여 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득한 후, 상기 교통 표지 검출 방법은,
상기 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 상기 적어도 하나의 후보 영역을 조정하여, 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 교통 표지 후보 영역을 획득하는 단계를 더 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제47항에 있어서,
상기 교통 표지 키 포인트를 추적하여, 상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계는,
상기 비디오 중 연속 두 개 프레임의 상기 이미지 중 상기 각 교통 표지 키 포인트 사이의 거리를 결정하는 단계;
상기 각 교통 표지 키 포인트 사이의 거리에 기반하여 상기 비디오에서의 상기 교통 표지 키 포인트에 대한 추적을 구현하는 단계; 및
상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제47항 또는 제48항에 있어서,
상기 각 교통 표지 키 포인트 사이의 거리에 기반하여 상기 비디오에서의 상기 교통 표지 키 포인트에 대한 추적을 구현하는 단계는,
상기 각 교통 표지 키 포인트 사이의 거리의 최소값에 기반하여, 연속 두 개 프레임의 상기 이미지 중 동일한 교통 표지 키 포인트의 위치를 결정하는 단계; 및
상기 동일한 교통 표지 키 포인트가 연속 두 개 프레임의 상기 이미지에서의 위치에 따라 교통 표지 키 포인트에 대한 상기 비디오에서의 추적을 구현하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 제47항 내지 제49항 중 어느 한 항에 있어서,
상기 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 상기 적어도 하나의 후보 영역을 조정하여, 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 교통 표지 후보 영역을 획득하는 단계는,
상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 상기 후보 영역을 상기 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하는 단계; 및
상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 상기 키 포인트 영역을 상기 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하는 단계를 포함하는 것을 특징으로 하는 교통 표지 검출 방법. - 멀티 레벨 타겟 분류 장치로서,
이미지 중 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역 특징을 획득하기 위한 후보 영역 획득 유닛 - 상기 이미지에는 적어도 하나의 타겟이 포함되고, 상기 각 타겟은 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 주분류 중 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 확률 벡터 유닛; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 분류 확률을 결정하기 위한 타겟 분류 유닛을 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제51항에 있어서,
상기 확률 벡터 유닛은,
상기 적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻기 위한 제1 확률 모듈;
상기 적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 상기 각 주분류를 분류하여, 상기 주분류 중 적어도 두 개의 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 제2 확률 모듈을 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제52항에 있어서,
상기 각 주분류 타입은 상기 제2 분류기에 대응되고;
제2 확률 모듈은, 상기 제1 확률 벡터에 기반하여, 상기 후보 영역 특징에 대응되는 상기 주분류 타입을 결정하고; 상기 주분류에 대응되는 상기 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 상기 후보 영역 특징이 상기 적어도 두 개의 하위 분류에 대한 제2 확률 벡터를 얻기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제53항에 있어서,
상기 확률 벡터 유닛은 또한, 상기 후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 상기 처리된 후보 영역 특징을 상기 주분류에 대응되는 상기 제2 분류기에 입력하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제51항 내지 제54항 중 어느 한 항에 있어서,
상기 타겟 분류 유닛은, 상기 제1 확률 벡터에 기반하여, 상기 타겟이 상기 주분류에 속하는 제1 분류 확률을 결정하고; 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 하위 분류에 속하는 제2 분류 확률을 결정하며; 상기 제1 분류 확률 및 상기 제2 분류 확률을 결합하여, 상기 타겟이 상기 주분류에서의 상기 하위 분류에 속하는 분류 확률을 결정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제51항 내지 제55항 중 어느 한 항에 있어서,
상기 멀티 레벨 분류 장치는,
샘플 후보 영역 특징에 기반하여 분류 네트워크를 훈련하기 위한 네트워크 훈련 유닛 - 상기 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하고, 상기 제2 분류기의 개수는 상기 제1 분류기의 주분류 타입과 동일하며; 상기 샘플 후보 영역 특징은 태깅된 하위 분류 타입을 구비하고 또는 상기 샘플 후보 영역 특징은 태깅된 하위 분류 타입 및 태깅된 주분류 타입을 구비함 - 을 더 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제56항에 있어서,
상기 샘플 후보 영역 특징이 태깅된 하위 분류 타입을 구비하는 것에 응답하여, 상기 태깅된 하위 분류 타입을 클러스터링하는 것을 통해 상기 샘플 후보 영역 특징에 대응되는 태깅된 주분류 타입을 결정하는 것을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제56항 또는 제57항에 있어서,
상기 네트워크 훈련 유닛은, 샘플 후보 영역 특징을 상기 제1 분류기에 입력하여, 예측 주분류 타입을 얻고; 상기 예측 주분류 타입 및 상기 태깅된 주분류 타입에 기반하여 상기 제1 분류기의 파라미터를 조정하며; 상기 샘플 후보 영역 특징의 상기 태깅된 주분류 타입에 기반하여, 상기 샘플 후보 영역 특징을 상기 태깅된 주분류 타입에 대응되는 상기 제2 분류기에 입력하여, 예측 하위 분류 타입을 얻으며; 상기 예측 하위 분류 타입 및 상기 태깅된 하위 분류 타입에 기반하여 상기 제2 분류기의 파라미터를 조정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제51항 내지 제58항 중 어느 한 항에 있어서,
상기 후보 영역 획득 유닛은,
상기 이미지에 기반하여 상기 적어도 하나의 타겟에 대응되는 적어도 하나의 후보 영역을 획득하기 위한 후보 영역 모듈;
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하기 위한 특징 추출 모듈; 및
상기 적어도 하나의 후보 영역 및 상기 이미지 특징에 기반하여 상기 이미지에 대응되는 상기 적어도 하나의 후보 영역 특징을 결정하기 위한 영역 특징 모듈을 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제59항에 있어서,
상기 후보 영역 모듈은, 상기 적어도 하나의 후보 영역에 기반하여 상기 이미지 특징으로부터 대응되는 위치의 특징을 획득하여, 상기 적어도 하나의 후보 영역에 대응되는 상기 적어도 하나의 후보 영역 특징을 구성하기 위한 것 - 각 후보 영역은 하나의 후보 영역 특징에 대응됨 - 임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제59항 또는 제60항에 있어서,
상기 특징 추출 모듈은, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고; 상기 특징 추출 네트워크에서의 잔차 네트워크를 통해 상기 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻으며; 상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제61항에 있어서,
상기 특징 추출 모듈은 상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득할 경우, 상기 제1 특징 및 상기 구별 특징에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제61항 또는 제62항에 있어서,
상기 특징 추출 모듈은 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻을 경우, 상기 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하고; 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 제1 특징을 결정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제63항에 있어서,
상기 특징 추출 모듈은 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 제1 특징을 결정할 경우, 적어도 두 개의 특징 맵의 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 제1 특징을 결정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제61항 내지 제64항 중 어느 한 항에 있어서,
상기 특징 추출 모듈은 또한, 제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행하기 위한 것 - 제1 샘플 이미지 중 타겟 물체의 크기는 알려진 것이고, 상기 타겟 물체는 제1 타겟 물체 및 제2 타겟 물체를 포함하며, 상기 제1 타겟 물체의 크기는 상기 제2 타겟 물체의 크기와 상이함 - 임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제65항에 있어서,
상기 특징 추출 모듈은 제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행할 경우, 상기 제1 샘플 이미지를 상기 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻고; 상기 판별기를 통해 상기 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하며 - 상기 판별 결과는 상기 제1 샘플 이미지에 제1 타겟 물체가 포함되는 진실성을 나타내기 위한 것임 - ; 상기 판별 결과 및 알려진 상기 제1 샘플 이미지 중 타겟 물체의 크기에 기반하여, 상기 판별기 및 상기 특징 추출 네트워크의 파라미터를 교대로 조정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제59항 또는 제60항에 있어서,
상기 특징 추출 모듈은, 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하고; 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제67항에 있어서,
상기 특징 추출 모듈은 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정할 경우, 적어도 두 개의 특징 맵의 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 이미지 특징을 결정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제67항 또는 제68항에 있어서,
상기 특징 추출 모듈은 또한, 제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련하기 위한 것 - 상기 제2 샘플 이미지는 태깅된 이미지 특징을 포함함 - 임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제69항에 있어서,
상기 특징 추출 모듈은 제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련할 경우, 상기 제2 샘플 이미지를 상기 컨볼루션 신경 네트워크에 입력하여, 상기 예측 이미지 특징을 얻고; 상기 예측 이미지 특징 및 상기 태깅된 이미지 특징에 기반하여, 상기 컨볼루션 신경 네트워크의 파라미터를 조정하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제59항 내지 제70항 중 어느 한 항에 있어서,
상기 후보 영역 모듈은, 비디오로부터 상기 적어도 하나의 프레임의 이미지를 획득하고, 상기 이미지에 대해 영역 검출을 수행하여, 상기 적어도 하나의 타겟에 대응되는 상기 적어도 하나의 후보 영역을 얻기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제71항에 있어서,
상기 후보 영역 획득 유닛은,
상기 비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 상기 적어도 하나의 프레임의 이미지 중 상기 타겟에 대응되는 타겟 키 포인트를 결정하기 위한 키 포인트 모듈;
상기 타겟 키 포인트를 추적하여, 상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 키 포인트 추적 모듈; 및
상기 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 상기 적어도 하나의 후보 영역을 조정하여, 상기 적어도 하나의 타겟에 대응되는 적어도 하나의 타겟 후보 영역을 획득하기 위한 영역 조정 모듈을 더 포함하는 것을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제72항에 있어서,
상기 키 포인트 추적 모듈은, 상기 비디오 중 연속 두 개 프레임의 이미지 중 각 타겟 키 포인트 사이의 거리를 결정하며; 각 타겟 키 포인트 사이의 거리에 기반하여 상기 비디오에서의 타겟 키 포인트에 대한 추적을 구현하며; 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제72항 또는 제73항에 있어서,
상기 키 포인트 추적 모듈은 각 상기 타겟 키 포인트 사이의 거리에 기반하여 상기 비디오에서의 상기 타겟 키 포인트에 대한 추적을 구현할 경우, 각 상기 타겟 키 포인트 사이의 거리의 최소값에 기반하여, 상기 연속 두 개 프레임의 이미지 중 동일한 타겟 키 포인트의 위치를 결정하고; 상기 동일한 타겟 키 포인트가 상기 연속 두 개 프레임의 이미지에서의 위치에 따라 타겟 키 포인트에 대한 상기 비디오에서의 추적을 구현하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 제72항 내지 제74항 중 어느 한 항에 있어서,
상기 영역 조정 모듈은, 상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 상기 후보 영역을 상기 타겟에 대응되는 타겟 후보 영역으로 사용하고; 상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 상기 키 포인트 영역을 상기 타겟에 대응되는 타겟 후보 영역으로 사용하기 위한 것임을 특징으로 하는 멀티 레벨 타겟 분류 장치. - 교통 표지 검출 장치로서,
교통 표지를 포함하는 이미지를 수집하기 위한 이미지 수집 유닛;
상기 교통 표지를 포함하는 이미지 중 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역 특징을 획득하기 위한 교통 표지 영역 유닛 - 상기 각 교통 표지는 하나의 후보 영역 특징에 대응됨 - ;
상기 적어도 하나의 후보 영역 특징에 기반하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻고, 상기 적어도 두 개의 교통 표지 주분류 중 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 교통 확률 벡터 유닛; 및
상기 제1 확률 벡터 및 상기 제2 확률 벡터에 기반하여, 상기 교통 표지가 상기 교통 표지 하위 분류에 속하는 분류 확률을 결정하기 위한 교통 표지 분류 유닛을 포함하는 것을 특징으로 하는 교통 표지 검출 장치. - 제76항에 있어서,
상기 교통 확률 벡터 유닛은,
상기 적어도 하나의 후보 영역 특징에 기반하여 제1 분류기를 통해 분류하여, 적어도 두 개의 교통 표지 주분류에 대한 적어도 하나의 제1 확률 벡터를 얻기 위한 제1 확률 모듈; 및
상기 적어도 하나의 후보 영역 특징에 기반하여 적어도 두 개의 제2 분류기를 통해 상기 각 교통 표지 주분류를 분류하여, 상기 교통 표지 주분류 중 적어도 두 개의 교통 표지 하위 분류에 대한 적어도 하나의 제2 확률 벡터를 각각 얻기 위한 제2 확률 모듈을 포함하는 것을 특징으로 하는 교통 표지 검출 장치. - 제77항에 있어서,
상기 각 교통 표지 주분류 타입은 상기 제2 분류기에 대응되고;
상기 제2 확률 모듈은, 상기 제1 확률 벡터에 기반하여, 상기 후보 영역 특징에 대응되는 상기 교통 표지 주분류 타입을 결정하고; 상기 교통 표지 주분류에 대응되는 상기 제2 분류기에 기반하여 상기 후보 영역 특징을 분류하여, 상기 후보 영역 특징이 상기 적어도 두 개의 교통 표지 하위 분류에 대한 제2 확률 벡터를 얻기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제78항에 있어서,
상기 교통 확률 벡터 유닛은 또한, 상기 후보 영역 특징을 컨볼루션 신경 네트워크를 통해 처리하고, 상기 처리된 후보 영역 특징을 상기 교통 표지 주분류에 대응되는 제2 분류기에 입력하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제76항 내지 제79항 중 어느 한 항에 있어서,
상기 교통 표지 분류 유닛은, 상기 제1 확률 벡터에 기반하여, 상기 타겟이 상기 교통 표지 주분류에 속하는 제1 분류 확률을 결정하고; 상기 제2 확률 벡터에 기반하여, 상기 타겟이 상기 교통 표지 하위 분류에 속하는 제2 분류 확률을 결정하며; 상기 제1 분류 확률 및 상기 제2 분류 확률을 결합하여, 상기 교통 표지가 상기 교통 표지 주분류에서의 상기 교통 표지 하위 분류에 속하는 분류 확률을 결정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제76항 내지 제80항 중 어느 한 항에 있어서,
상기 교통 표지 검출 장치는,
샘플 후보 영역 특징에 기반하여 교통 분류 네트워크를 훈련하기 위한 교통 네트워크 훈련 유닛 - 상기 교통 분류 네트워크는 하나의 제1 분류기 및 적어도 두 개의 제2 분류기를 포함하고, 상기 제2 분류기의 개수는 상기 제1 분류기의 교통 표지 주분류 타입과 동일하며; 상기 샘플 후보 영역 특징은 태깅된 교통 표지 하위 분류 타입을 구비하고 또는 상기 샘플 후보 영역 특징은 태깅된 교통 표지 하위 분류 타입 및 태깅된 교통 표지 주분류 타입을 구비함 - 을 더 포함하는 것을 특징으로 하는 교통 표지 검출 장치. - 제81항에 있어서,
상기 샘플 후보 영역 특징이 태깅된 교통 표지 하위 분류 타입을 구비하는 것에 응답하여, 상기 태깅된 교통 표지 하위 분류 타입을 클러스터링하는 것을 통해 상기 샘플 후보 영역 특징에 대응되는 태깅된 교통 표지 주분류 타입을 결정하는 것을 특징으로 하는 교통 표지 검출 장치. - 제81항 또는 제82항에 있어서,
상기 교통 네트워크 훈련 유닛은, 샘플 후보 영역 특징을 상기 제1 분류기에 입력하여, 예측 교통 표지 주분류 타입을 얻고; 상기 예측 교통 표지 주분류 타입 및 상기 태깅된 교통 표지 주분류 타입에 기반하여 상기 제1 분류기의 파라미터를 조정하며; 상기 샘플 후보 영역 특징의 상기 태깅된 교통 표지 주분류 타입에 기반하여, 상기 샘플 후보 영역 특징을 상기 태깅된 교통 표지 주분류 타입에 대응되는 상기 제2 분류기에 입력하여, 예측 교통 표지 하위 분류 타입을 얻으며; 상기 예측 교통 표지 하위 분류 타입 및 상기 태깅된 교통 표지 하위 분류 타입에 기반하여 상기 제2 분류기의 파라미터를 조정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제76항 내지 제83항 중 어느 한 항에 있어서,
상기 교통 표지 영역 유닛은,
상기 교통 표지를 포함하는 이미지에 기반하여 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 후보 영역을 획득하기 위한 표지 후보 영역 모듈;
상기 이미지에 대해 특징 추출을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하기 위한 이미지 특징 추출 모듈; 및
상기 적어도 하나의 후보 영역 및 상기 이미지 특징에 기반하여 상기 교통 표지를 포함하는 이미지에 대응되는 상기 적어도 하나의 후보 영역 특징을 결정하기 위한 태깅 영역 특징 모듈을 포함하는 것을 특징으로 하는 교통 표지 검출 장치. - 제84항에 있어서,
상기 표지 후보 영역 모듈은, 상기 적어도 하나의 후보 영역에 기반하여 상기 이미지 특징으로부터 대응되는 위치의 특징을 획득하여, 상기 적어도 하나의 후보 영역에 대응되는 상기 적어도 하나의 후보 영역 특징을 구성하기 위한 것 - 각 후보 영역은 하나의 후보 영역 특징에 대응됨 - 임을 특징으로 하는 교통 표지 검출 장치. - 제84항 또는 제85항에 있어서,
상기 이미지 특징 추출 모듈은, 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻고; 상기 특징 추출 네트워크에서의 잔차 네트워크를 통해 상기 이미지에 대해 구별 특징 추출을 수행하여, 구별 특징을 얻으며; 상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제86항에 있어서,
상기 이미지 특징 추출 모듈은 상기 제1 특징 및 상기 구별 특징에 기반하여, 상기 이미지에 대응되는 이미지 특징을 획득할 경우, 상기 제1 특징 및 상기 구별 특징에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 이미지 특징을 획득하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제86항 또는 제87항에 있어서,
상기 이미지 특징 추출 모듈은 특징 추출 네트워크에서의 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하여, 제1 특징을 얻을 경우, 상기 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하고; 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 제1 특징을 결정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제88항에 있어서,
상기 이미지 특징 추출 모듈은 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 제1 특징을 결정할 경우, 상기 적어도 두 개의 특징 맵의 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵 중 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 제1 특징을 결정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제86항 내지 제89항 중 어느 한 항에 있어서,
상기 이미지 특징 추출 모듈은 또한, 제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행하기 위한 것 - 상기 제1 샘플 이미지 중 교통 표지의 크기는 알려진 것이고, 상기 교통 표지는 제1 교통 표지 및 제2 교통 표지를 포함하며, 상기 제1 교통 표지의 크기는 상기 제2 교통 표지의 크기와 상이함 - 임을 특징으로 하는 교통 표지 검출 장치. - 제90항에 있어서,
상기 이미지 특징 추출 모듈은 제1 샘플 이미지에 기반하여, 판별기를 결합하여 상기 특징 추출 네트워크에 대한 적대적 훈련을 수행할 경우, 상기 제1 샘플 이미지를 상기 특징 추출 네트워크에 입력하여, 제1 샘플 이미지 특징을 얻고; 상기 판별기를 통해 상기 제1 샘플 이미지 특징에 기반하여 판별 결과를 획득하며 - 상기 판별 결과는 상기 제1 샘플 이미지에 제1 교통 표지가 포함되는 진실성을 나타내기 위한 것임 - ; 상기 판별 결과 및 알려진 상기 제1 샘플 이미지 중 교통 표지의 크기에 기반하여, 상기 판별기 및 상기 특징 추출 네트워크의 파라미터를 교대로 조정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제84항 또는 제85항에 있어서,
상기 이미지 특징 추출 모듈은, 컨볼루션 신경 네트워크를 통해 상기 이미지에 대해 특징 추출을 수행하고; 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제92항에 있어서,
상기 이미지 특징 추출 모듈은 상기 컨볼루션 신경 네트워크 중 적어도 두 개의 컨볼루션 계층에 의해 출력된 적어도 두 개의 특징에 기반하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정할 경우, 적어도 두 개의 특징 맵 크기가 동일하도록, 상기 적어도 두 개의 컨볼루션 계층에 의해 출력된 상기 적어도 두 개의 특징 맵에서의 상기 적어도 하나의 특징 맵을 처리하고; 크기가 동일한 상기 적어도 두 개의 특징 맵에 대해 비트 단위 가산을 수행하여, 상기 이미지에 대응되는 상기 이미지 특징을 결정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제92항 또는 제93항에 있어서,
상기 이미지 특징 추출 모듈은 또한, 제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련하기 위한 것 - 상기 제2 샘플 이미지는 태깅된 이미지 특징을 포함함 - 임을 특징으로 하는 교통 표지 검출 장치. - 제94항에 있어서,
상기 이미지 특징 추출 모듈은 제2 샘플 이미지에 기반하여 상기 컨볼루션 신경 네트워크를 훈련할 경우, 상기 제2 샘플 이미지를 상기 컨볼루션 신경 네트워크에 입력하여, 상기 예측 이미지 특징을 얻고; 상기 예측 이미지 특징 및 상기 태깅된 이미지 특징에 기반하여, 상기 컨볼루션 신경 네트워크의 파라미터를 조정하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제84항 내지 제95항 중 어느 한 항에 있어서,
상기 표지 후보 영역 모듈은, 비디오로부터 상기 교통 표지를 포함하는 적어도 하나의 프레임의 이미지를 획득하고, 상기 이미지에 대해 영역 검출을 수행하여, 상기 적어도 하나의 교통 표지에 대응되는 상기 적어도 하나의 후보 영역을 얻기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제96항에 있어서,
상기 교통 표지 영역 유닛은,
상기 비디오 중 적어도 하나의 프레임의 이미지에 대해 키 포인트 식별을 수행하여, 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 표지에 대응되는 교통 표지 키 포인트를 결정하기 위한 표지 키 포인트 모듈;
상기 교통 표지 키 포인트를 추적하여, 상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 표지 키 포인트 추적 모듈; 및
상기 적어도 하나의 프레임의 이미지의 키 포인트 영역에 따라 상기 적어도 하나의 후보 영역을 조정하여, 상기 적어도 하나의 교통 표지에 대응되는 적어도 하나의 교통 표지 후보 영역을 획득하기 위한 표지 영역 조정 모듈을 포함하는 것을 특징으로 하는 교통 표지 검출 장치. - 제97항에 있어서,
상기 표지 키 포인트 추적 모듈은, 상기 비디오 중 연속 두 개 프레임의 상기 이미지 중 상기 각 교통 표지 키 포인트 사이의 거리를 결정하며; 상기 각 교통 표지 키 포인트 사이의 거리에 기반하여 상기 비디오에서의 상기 교통 표지 키 포인트에 대한 추적을 구현하고; 상기 비디오 중 적어도 하나의 프레임의 이미지의 키 포인트 영역을 획득하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제97항 또는 제98항에 있어서,
상기 표지 키 포인트 추적 모듈은 상기 각 교통 표지 키 포인트 사이의 거리에 기반하여 상기 비디오에서의 상기 교통 표지 키 포인트에 대한 추적을 구현할 경우, 상기 각 교통 표지 키 포인트 사이의 거리의 최소값에 기반하여, 연속 두 개 프레임의 상기 이미지 중 동일한 교통 표지 키 포인트의 위치를 결정하고; 상기 동일한 교통 표지 키 포인트가 연속 두 개 프레임의 상기 이미지에서의 위치에 따라 교통 표지 키 포인트에 대한 상기 비디오에서의 추적을 구현하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 제97항 내지 제99항 중 어느 한 항에 있어서,
상기 표지 영역 조정 모듈은, 상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 크거나 같은 것에 응답하여, 상기 후보 영역을 상기 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하고; 상기 후보 영역과 상기 키 포인트 영역의 중첩 비례가 설정된 비례보다 작은 것에 응답하여, 상기 키 포인트 영역을 상기 교통 표지에 대응되는 교통 표지 후보 영역으로 사용하기 위한 것임을 특징으로 하는 교통 표지 검출 장치. - 차량으로서,
제76항 내지 제100항 중 어느 한 항에 따른 교통 표지 검출 장치를 포함하는 것을 특징으로 하는 차량. - 전자 기기로서,
프로세서를 포함하고, 상기 프로세서는 제51항 내지 제75항 중 어느 한 항에 따른 멀티 레벨 타겟 분류 장치 또는 제76항 내지 제100항 중 어느 한 항에 따른 교통 표지 검출 장치를 포함하는 것을 특징으로 하는 전자 기기. - 전자 기기로서,
실행 가능한 명령어를 저장하기 위한 메모리; 및
상기 메모리와 통신하여 상기 실행 가능한 명령어를 실행함으로써 제1항 내지 제25항 중 어느 한 항에 따른 멀티 레벨 타겟 분류 방법의 단계 또는 제26항 내지 제50항 중 어느 한 항에 따른 교통 표지 검출 방법의 단계를 완료하기 위한 프로세서를 포함하는 것을 특징으로 하는 전자 기기. - 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 저장 매체로서,
상기 명령어가 실행될 경우 제1항 내지 제25항 중 어느 한 항에 따른 멀티 레벨 타겟 분류 방법의 단계 또는 제26항 내지 제50항 중 어느 한 항에 따른 교통 표지 검출 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 저장 매체. - 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 판독 가능 코드가 기기에서 작동될 경우, 상기 기기에서의 프로세서는 제1항 내지 제25항 중 어느 한 항에 따른 멀티 레벨 타겟 분류 방법의 명령어 또는 제26항 내지 제50항 중 어느 한 항에 따른 교통 표지 검출 방법의 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811036346.1A CN110879950A (zh) | 2018-09-06 | 2018-09-06 | 多级目标分类及交通标志检测方法和装置、设备、介质 |
| CN201811036346.1 | 2018-09-06 | ||
| PCT/CN2019/098674 WO2020048265A1 (zh) | 2018-09-06 | 2019-07-31 | 多级目标分类及交通标志检测方法和装置、设备、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210013216A true KR20210013216A (ko) | 2021-02-03 |
Family
ID=69722331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207037464A KR20210013216A (ko) | 2018-09-06 | 2019-07-31 | 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210110180A1 (ko) |
| JP (1) | JP2021530048A (ko) |
| KR (1) | KR20210013216A (ko) |
| CN (1) | CN110879950A (ko) |
| SG (1) | SG11202013053PA (ko) |
| WO (1) | WO2020048265A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024101625A1 (ko) * | 2022-11-09 | 2024-05-16 | 주식회사 누비랩 | 계층적 모델을 이용한 객체 식별 방법 및 장치 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11256956B2 (en) * | 2019-12-02 | 2022-02-22 | Qualcomm Incorporated | Multi-stage neural network process for keypoint detection in an image |
| CN112052778B (zh) * | 2020-09-01 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 一种交通标志识别方法以及相关装置 |
| CN112132032B (zh) * | 2020-09-23 | 2024-07-12 | 平安国际智慧城市科技股份有限公司 | 交通标志牌检测方法、装置、电子设备及存储介质 |
| US11776281B2 (en) | 2020-12-22 | 2023-10-03 | Toyota Research Institute, Inc. | Systems and methods for traffic light detection and classification |
| CN112633151B (zh) * | 2020-12-22 | 2024-04-12 | 浙江大华技术股份有限公司 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
| US12014549B2 (en) | 2021-03-04 | 2024-06-18 | Toyota Research Institute, Inc. | Systems and methods for vehicle light signal classification |
| CN113095359B (zh) * | 2021-03-05 | 2023-09-12 | 西安交通大学 | 一种射线图像标记信息检测方法及*** |
| CN113361593B (zh) * | 2021-06-03 | 2023-12-19 | 阿波罗智联(北京)科技有限公司 | 生成图像分类模型的方法、路侧设备及云控平台 |
| CN113516069A (zh) * | 2021-07-08 | 2021-10-19 | 北京华创智芯科技有限公司 | 基于尺寸鲁棒的道路标识实时检测方法及装置 |
| CN113516088B (zh) * | 2021-07-22 | 2024-02-27 | 中移（杭州）信息技术有限公司 | 物体识别方法、装置及计算机可读存储介质 |
| CN113837144B (zh) * | 2021-10-25 | 2022-09-13 | 广州微林软件有限公司 | 一种冰箱的智能化图像数据采集处理方法 |
| US11756288B2 (en) * | 2022-01-05 | 2023-09-12 | Baidu Usa Llc | Image processing method and apparatus, electronic device and storage medium |
| CN115830399B (zh) * | 2022-12-30 | 2023-09-12 | 广州沃芽科技有限公司 | 分类模型训练方法、装置、设备、存储介质和程序产品 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041080B2 (en) * | 2009-03-31 | 2011-10-18 | Mitsubi Electric Research Laboratories, Inc. | Method for recognizing traffic signs |
| CN101814147B (zh) * | 2010-04-12 | 2012-04-25 | 中国科学院自动化研究所 | 一种实现场景图像的分类方法 |
| JP2013529348A (ja) * | 2010-06-10 | 2013-07-18 | タタ コンサルタンシー サービシズ リミテッド | 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法 |
| CN103020623B (zh) * | 2011-09-23 | 2016-04-06 | 株式会社理光 | 交通标志检测方法和交通标志检测设备 |
| CN103824452B (zh) * | 2013-11-22 | 2016-06-22 | 银江股份有限公司 | 一种轻量级的基于全景视觉的违章停车检测装置 |
| CN103955950B (zh) * | 2014-04-21 | 2017-02-08 | 中国科学院半导体研究所 | 一种利用关键点特征匹配的图像跟踪方法 |
| US10387773B2 (en) * | 2014-10-27 | 2019-08-20 | Ebay Inc. | Hierarchical deep convolutional neural network for image classification |
| CN104700099B (zh) * | 2015-03-31 | 2017-08-11 | 百度在线网络技术（北京）有限公司 | 识别交通标志的方法和装置 |
| CN105335710A (zh) * | 2015-10-22 | 2016-02-17 | 合肥工业大学 | 一种基于多级分类器的精细车辆型号识别方法 |
| CN106295568B (zh) * | 2016-08-11 | 2019-10-18 | 上海电力学院 | 基于表情和行为双模态结合的人类自然状态情感识别方法 |
| JP2018026040A (ja) * | 2016-08-12 | 2018-02-15 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
| CN106778585B (zh) * | 2016-12-08 | 2019-04-16 | 腾讯科技（上海）有限公司 | 一种人脸关键点跟踪方法和装置 |
| JP6947508B2 (ja) * | 2017-01-31 | 2021-10-13 | 株式会社日立製作所 | 移動物体検出装置、移動物体検出システム、及び移動物体検出方法 |
| CN108470172B (zh) * | 2017-02-23 | 2021-06-11 | 阿里巴巴集团控股有限公司 | 一种文本信息识别方法及装置 |
| CN106991417A (zh) * | 2017-04-25 | 2017-07-28 | 华南理工大学 | 一种基于模式识别的视觉投影交互***及交互方法 |
| CN107480730A (zh) * | 2017-09-05 | 2017-12-15 | 广州供电局有限公司 | 电力设备识别模型构建方法和***、电力设备的识别方法 |
| CN108229319A (zh) * | 2017-11-29 | 2018-06-29 | 南京大学 | 基于帧间差异与卷积神经网络融合的船舶视频检测方法 |
| CN108171762B (zh) * | 2017-12-27 | 2021-10-12 | 河海大学常州校区 | 一种深度学习的压缩感知同类图像快速重构***与方法 |
| CN108363957A (zh) * | 2018-01-19 | 2018-08-03 | 成都考拉悠然科技有限公司 | 基于级联网络的交通标志检测与识别方法 |
-
2018
- 2018-09-06 CN CN201811036346.1A patent/CN110879950A/zh active Pending
-
2019
- 2019-07-31 WO PCT/CN2019/098674 patent/WO2020048265A1/zh active Application Filing
- 2019-07-31 KR KR1020207037464A patent/KR20210013216A/ko not_active Application Discontinuation
- 2019-07-31 SG SG11202013053PA patent/SG11202013053PA/en unknown
- 2019-07-31 JP JP2020573120A patent/JP2021530048A/ja active Pending
-
2020
- 2020-12-21 US US17/128,629 patent/US20210110180A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024101625A1 (ko) * | 2022-11-09 | 2024-05-16 | 주식회사 누비랩 | 계층적 모델을 이용한 객체 식별 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11202013053PA (en) | 2021-01-28 |
| JP2021530048A (ja) | 2021-11-04 |
| CN110879950A (zh) | 2020-03-13 |
| WO2020048265A1 (zh) | 2020-03-12 |
| US20210110180A1 (en) | 2021-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210013216A (ko) | 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체 | |
| CN111178245B (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| Kim et al. | Extracting vehicle trajectories using unmanned aerial vehicles in congested traffic conditions | |
| Siriborvornratanakul | An automatic road distress visual inspection system using an onboard in‐car camera | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
| CN111898491A (zh) | 一种车辆逆向行驶的识别方法、装置及电子设备 | |
| CN114245912A (zh) | 通过在基于概率信号时间逻辑的约束下求解优化问题来进行感知误差评估和校正的***和方法 | |
| Dewangan et al. | Towards the design of vision-based intelligent vehicle system: methodologies and challenges | |
| CN115147328A (zh) | 三维目标检测方法及装置 | |
| Lin et al. | Improved traffic sign recognition for in-car cameras | |
| Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
| CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
| CN116580230A (zh) | 一种目标检测方法及一种分类模型的训练方法 | |
| Wang et al. | ATG-PVD: ticketing parking violations on a drone | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| Kuppusamy et al. | Traffic Sign Recognition for Autonomous Vehicle Using Optimized YOLOv7 and Convolutional Block Attention Module | |
| Satti et al. | Recognizing the Indian Cautionary Traffic Signs using GAN, Improved Mask R‐CNN, and Grab Cut | |
| Henry et al. | Lane Detection and Distance Estimation Using Computer Vision Techniques | |
| Kaimkhani et al. | UAV with Vision to Recognise Vehicle Number Plates | |
| Hammedi et al. | On reliable awareness system for autonomous river vessels | |
| Kassymkhanova et al. | Majority voting approach and fuzzy logic rules in license plate recognition process | |
| Tousi et al. | A new approach to estimate depth of cars using a monocular image | |
| Vellaidurai et al. | A novel oyolov5 model for vehicle detection and classification in adverse weather conditions | |
| Wang et al. | Holistic Parking Slot Detection with Polygon-Shaped Representations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E601 | Decision to refuse application |