KR102617453B1 - Apparatus and method for recognizing supplementarty traffic signs - Google Patents
Apparatus and method for recognizing supplementarty traffic signs Download PDFInfo
- Publication number
- KR102617453B1 KR102617453B1 KR1020160119197A KR20160119197A KR102617453B1 KR 102617453 B1 KR102617453 B1 KR 102617453B1 KR 1020160119197 A KR1020160119197 A KR 1020160119197A KR 20160119197 A KR20160119197 A KR 20160119197A KR 102617453 B1 KR102617453 B1 KR 102617453B1
- Authority
- KR
- South Korea
- Prior art keywords
- auxiliary
- sign
- interest
- area
- auxiliary sign
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Abstract
본 발명의 일면에 따른 프로세서에서 수행되는 보조 표지판 인식 방법은, 영상에서 주 표지판을 검출하는 단계; 상기 주 표지판의 위치 및 크기를 이용하여 관심 영역을 설정하는 단계; 상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 단계; 및 상기 보조 표지판 후보의 특징을 추출하고 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 단계를 포함하는 것을 특징으로 한다.An auxiliary sign recognition method performed by a processor according to an aspect of the present invention includes the steps of detecting a main sign in an image; Setting an area of interest using the location and size of the main sign; detecting an auxiliary sign candidate of a preset type in the area of interest; and extracting features of the auxiliary sign candidate and recognizing content displayed on the auxiliary sign candidate using a pre-trained learner.
Description
본 발명은 도로상의 교통 표지판 인식에 관한 것으로서, 보다 구체적으로는 교통 표지판 중 보조 표지판을 보다 정확히 인식하기 위한 장치 및 그 방법에 관한 것이다.The present invention relates to the recognition of traffic signs on the road, and more specifically, to an apparatus and method for more accurately recognizing auxiliary signs among traffic signs.
차량의 원활한 주행과 안전운전을 위해 도로에는 차량의 운전자에게 주행에 필요한 정보를 제공하는 교통 표지판이 설치되어 있다.To ensure smooth and safe driving of vehicles, traffic signs are installed on the roads to provide vehicle drivers with information necessary for driving.
일반적으로 교통 표지판은 종류에 따라서 교통정보 표지판, 이정 표지판, 기상정보 현황판, 대기오염 현황판, 교통사고 현황판, 시정 정보판 및 광고판 등이 있다.In general, traffic signs include traffic information signs, route signs, weather information boards, air pollution status boards, traffic accident status boards, municipal administration information boards, and billboards, depending on the type.
최근 시력이 약한 운전자나 고령의 운전자가 증가함에 따라 교통 표지판의 정보를 정확하게 전달해줄 수 있는 안전운전 보조 시스템의 필요성이 증가하고 있고 그에 따라 교통 표지판의 정확한 인식의 필요성에 대한 관심도 높아지고 있다.Recently, as the number of drivers with weak eyesight or elderly drivers increases, the need for a safe driving assistance system that can accurately convey information from traffic signs is increasing, and accordingly, interest in the need for accurate recognition of traffic signs is also increasing.
또한, 최근 지능형 무인 자동차를 개발하기 위해 비전 기반 교통 표지판 인식 시스템의 개발이 함께 요구되고 있으며 이에 따라 교통 표지판 검출 및 인식 모델에 대한 관심이 집중되고 있다.In addition, the development of a vision-based traffic sign recognition system has recently been required to develop intelligent unmanned cars, and accordingly, attention is being focused on traffic sign detection and recognition models.
종래 교통 표지판 인식(TSR: Traffic Sign Recognition)은 일반적으로 입력영상 내에서 주 표지판을 검출하고, 검출한 주 표지판을 인식하여 다음 프레임에서 주 표지판을 검출하는 방법이 사용되어왔다.Conventional traffic sign recognition (TSR) has generally been used to detect main signs within an input image, recognize the detected main signs, and then detect the main sign in the next frame.
주 표지판 인식 외에 보조 표지판에 대한 인식도 연구되어왔으며, 주 표지판 아래 또는 위의 관심 영역(ROI: Region of Interest)에서 허프 라인(Hough Line)을 찾는 방법이나 영상의 전 영역을 탐색하는 윈도우 슬라이딩(Window Sliding)방법, 미리 지정한 위치에서 후보를 검출하는 방법 등 여러 방법으로 보조 표지판을 검출한다.In addition to the recognition of main signs, the recognition of auxiliary signs has also been studied, including methods for finding Hough Lines in the Region of Interest (ROI) below or above the main sign, and window sliding to explore the entire area of the image. Auxiliary signs are detected in several ways, such as the sliding method and the method of detecting candidates at a pre-designated location.
검출한 표지판을 인식하는 단계에서는 템플릿 매칭, 학습기반 분류기를 이용한 방법(Adaboost, SVM 등) 등을 이용하여 인식한다.In the step of recognizing the detected signs, template matching and methods using learning-based classifiers (Adaboost, SVM, etc.) are used to recognize them.
하지만 이러한 종래의 기술은 보조 표지판 인식범위가 글자(Text), 화살표(Arrow), 픽토그램(Pictogram) 등으로 한정되어 있거나 나라별로 한정된 숫자의 클래스를 인식 범위로 하고 있기 때문에 단순한 분류방법에 의해 효율적으로 보조 표지판을 인식하는 데 한계가 있다.However, in these conventional technologies, the recognition range of auxiliary signs is limited to text, arrows, pictograms, etc., or the recognition range is limited to a limited number of classes for each country, so they can be efficiently used by simple classification methods. There are limitations in recognizing auxiliary signs.
본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 보조 표지판의 정형적인 형태를 미리 정해진 모양이나 사전지식 기반으로 인식함으로써 보다 효율적이고 정확하게 보조 표지판을 인식할 수 있는 보조 표지판 인식 장치와 그 방법을 제공하는 것을 그 목적으로 한다.The present invention was conceived in the technical background as described above, and provides an auxiliary sign recognition device and method that can recognize auxiliary signs more efficiently and accurately by recognizing the stereotypical form of the auxiliary sign based on a predetermined shape or prior knowledge. The purpose is to provide.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 프로세서에서 수행되는 보조 표지판 인식 방법은, 영상에서 주 표지판을 검출하는 단계; 상기 주 표지판의 위치 및 크기를 이용하여 관심 영역을 설정하는 단계; 상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 단계; 및 상기 보조 표지판 후보의 특징을 추출하고 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 단계를 포함하는 것을 특징으로 한다.An auxiliary sign recognition method performed by a processor according to an aspect of the present invention to achieve the above-described object includes the steps of detecting a main sign in an image; Setting an area of interest using the location and size of the main sign; detecting an auxiliary sign candidate of a preset type in the area of interest; and extracting features of the auxiliary sign candidate and recognizing content displayed on the auxiliary sign candidate using a pre-trained learner.
본 발명의 다른 일면에 따른 하나이상의 프로세서를 포함하는 보조 표지판 인식 장치는, 차량 주변의 영상을 획득하는 영상 획득부; 상기 획득한 영상에서 주 표지판을 검출하는 주 표지판 검출부; 상기 검출한 주 표지판의 위치 및 크기를 이용하여 관심영역을 설정하고, 상기 관심 영역에서 기설정된 형태의 보조 표지판 후보를 검출하는 보조 표지판 검출부; 및 상기 검출된 보조 표지판 후보의 특징을 추출하고, 상기 특징에 대해 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 보조 표지판 인식부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, an auxiliary sign recognition device including one or more processors includes: an image acquisition unit that acquires images around a vehicle; a main sign detection unit that detects a main sign from the acquired image; an auxiliary sign detection unit that sets an area of interest using the position and size of the detected main sign and detects candidates for auxiliary signs of a preset shape in the area of interest; and an auxiliary sign recognition unit that extracts features of the detected auxiliary sign candidate and recognizes content displayed on the auxiliary sign candidate using a learner that has learned the features in advance.
본 발명에 따르면, 효율적이고 정확한 보조 표지판 인식을 통해 교통 표지판 정보를 운전자에게 제공함으로써 운전자가 보다 편리하고 안전하게 차량을 운전할 수 있도록 하고, 자율 주행 차량이 보다 정확한 경로로 안전하게 주행할 수 있는 정보를 제공하는 효과가 있다.According to the present invention, traffic sign information is provided to drivers through efficient and accurate auxiliary sign recognition, allowing drivers to drive their vehicles more conveniently and safely, and providing information that allows autonomous vehicles to safely drive on more accurate routes. There is an effect.
도 1은 종래 주 표지판 인식장치의 구조도.
도 2는 보조 표지판의 예시도.
도 3은 본 발명의 일실시예에 따른 보조 표지판 인식 방법의 흐름도.
도 4는 본 발명의 일실시예에 따른 보조 표지판 인식 방법에서 관심 영역을 나타내는 도면.
도 5는 본 발명의 일실시예에 따른 보조 표지판 후보 검출 방법의 흐름도.
도 6은 본 발명의 일실시예에 따른 보조표지판 형태에 따른 종류별 분류 표.
도 7은 본 발명의 일실시예에 따른 라인 보팅(Line voting) 방법을 나타내는 도면.
도 8은 본 발명의 일실시예에 따른 사전지식 기반 관심 영역의 구조도.
도 9 내지 12는 본 발명의 일실시예에 따른 보조 표지판 형태에 따라 보조 표지판 내용을 인식하는 방법을 나타내는 흐름도.
도 13은 본 발명의 일실시예에 따라 보조 표지판을 인식하는 과정을 나타내는 예시도.
도 14 내지 16은 본 발명의 일실시예에 따른 사전지식 기반으로 보조 표지판 내용을 인식하는 방법을 나타내는 흐름도.
도 17은 본 발명의 다른 실시예에 따른 보조 표지판 인식 장치의 구조도.
도 18은 본 발명의 또 다른 실시예에 따른 보조 표지판 인식 방법이 수행되는 컴퓨터 시스템의 구조도.1 is a structural diagram of a conventional main sign recognition device.
Figure 2 is an example of an auxiliary sign.
Figure 3 is a flowchart of an auxiliary sign recognition method according to an embodiment of the present invention.
Figure 4 is a diagram showing a region of interest in the auxiliary sign recognition method according to an embodiment of the present invention.
Figure 5 is a flowchart of a method for detecting auxiliary sign candidates according to an embodiment of the present invention.
Figure 6 is a classification table according to the type of auxiliary sign according to an embodiment of the present invention.
Figure 7 is a diagram showing a line voting method according to an embodiment of the present invention.
Figure 8 is a structural diagram of a region of interest based on prior knowledge according to an embodiment of the present invention.
9 to 12 are flowcharts showing a method of recognizing the contents of an auxiliary sign according to the shape of an auxiliary sign according to an embodiment of the present invention.
Figure 13 is an exemplary diagram showing the process of recognizing an auxiliary sign according to an embodiment of the present invention.
14 to 16 are flowcharts showing a method for recognizing the contents of an auxiliary sign based on prior knowledge according to an embodiment of the present invention.
Figure 17 is a structural diagram of an auxiliary sign recognition device according to another embodiment of the present invention.
18 is a structural diagram of a computer system in which an auxiliary sign recognition method is performed according to another embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms. The present embodiments only serve to ensure that the disclosure of the present invention is complete and that common knowledge in the technical field to which the present invention pertains is not limited. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Meanwhile, the terms used in this specification are for describing embodiments and are not intended to limit the present invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” means that a referenced element, step, operation and/or element precludes the presence of one or more other elements, steps, operations and/or elements. or does not rule out addition.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 종래 교통 표지판 인식을 위한 모듈의 주 표지판 인식 방법의 흐름도를 나타낸다.Figure 1 shows a flowchart of a main sign recognition method of a conventional traffic sign recognition module.
주 표지판 검출부는 카메라를 이용하여 획득한 영상에서 주 표지판에 해당하는 영역을 검출하고, 검출한 주 표지판의 내용을 인식하게 된다.The main sign detection unit detects the area corresponding to the main sign in the image acquired using the camera and recognizes the contents of the detected main sign.
인식된 결과를 이용하여 다음 프레임 영상에서 주 표지판에 해당하는 영역을 추적(tracking)하는 것이 가능하고, 추적한 영역에서 검출과 인식을 반복하여 주 표지판 인식을 수행한다.Using the recognized results, it is possible to track the area corresponding to the main sign in the next frame image, and main sign recognition is performed by repeating detection and recognition in the tracked area.
이러한 주 표지판 인식은, 주 표지판의 형태가 일반적으로 원형의 표지판을 사용하기 때문에 인식이 용이한 측면이 있으나, 보조 표지판은 주 표지판과 달리 보조 표지판의 형태가 다양하기 때문에 인식이 어려운 면이 있다.Recognition of these main signs is easy because the main signs are generally circular in shape, but it is difficult to recognize auxiliary signs because the shapes of the auxiliary signs are different from the main signs.
도 2는 이러한 다양한 보조 표지판의 형태를 보여준다.Figure 2 shows the forms of these various auxiliary signs.
형태의 다양성뿐 아니라 내용 면에서도 글자, 화살표, 도형 또는 이들의 결합에 의해 다양한 정보를 전달하고 있다.In addition to the diversity of forms, a variety of information is conveyed in terms of content through letters, arrows, shapes, or a combination of these.
본 발명은 이와 같은 보조 표지판의 다양한 형태에 대한 인식률을 높이기 위한 보조 표지판 인식 장치 및 그 방법을 제공하고자 한다.The present invention seeks to provide an auxiliary sign recognition device and method to increase the recognition rate for various types of auxiliary signs.
도 3은 본 발명의 일실시예에 따른 보조 표지판 인식 방법의 흐름도를 나타낸다.Figure 3 shows a flowchart of an auxiliary sign recognition method according to an embodiment of the present invention.
보조 표지판을 인식하기 위해 우선 주 표지판을 검출한다(S310).To recognize the auxiliary sign, the main sign is first detected (S310).
보조 표지판은 주 표지판의 아래 특정 영역에 위치하고 사각형 형태를 가지는 경우가 대부분이기 때문에 주 표지판을 우선 검출하고 주 표지판과의 상대적 위치에 따라 보조 표지판을 검출하기 위한 관심 영역을 설정하여 관심 영역의 이미지를 추출한다(S320).Since the auxiliary sign is located in a specific area below the main sign and has a rectangular shape in most cases, the main sign is detected first, and an area of interest for detecting the auxiliary sign is set according to the relative position with the main sign to create an image of the area of interest. Extract (S320).
도 4는 관심영역(420)을 설정하여 추출하기 위한 관심영역(420)의 비율을 나타낸다.Figure 4 shows the ratio of the region of
카메라 등을 이용하여 획득한 영상에서 관심 영역(420)의 크기는 영상의 배율이나 차량과 주 표지판(410) 사이의 거리에 따라 달라지므로 이를 일정한 크기로 정규화 하는 과정이 필요하다.Since the size of the area of
이를 위해 도 4에서와 같이 주 표지판(410)을 기준으로 일정 영역을 관심 영역(420)으로 설정하여 이미지를 추출한다.To this end, as shown in FIG. 4, an image is extracted by setting a certain area as the area of
구체적으로는 주 표지판(410)의 가로와 세로의 길이를 각각 w, h라 하면, 관심영역의 가로의 길이는 1.2w 내지 1.6w이고 세로의 길이는 1.4h 내지 1.7h로 설정할 수 있다. 보조 표지판의 검출을 위한 최적의 관심영역은 가로는 1.4w, 세로는 1.53w로 설정하는 것이 바람직하다.Specifically, if the horizontal and vertical lengths of the
이렇게 관심영역을 설정하는 것은 화면 전체를 관심영역으로 하여 보조표지판 검출을 수행하는 경우 보다 높은 성능의 처리장치가 필요하므로 이는 가격상승의 원인이 되고, 실질적으로 보조표지판이 검출되는 영역은 학습에 의해 일정한 영역으로 한정되므로 검출 성능을 더 높일 수 있기 때문이다.Setting the area of interest in this way requires a higher performance processing device when performing auxiliary sign detection with the entire screen as the area of interest, which causes a rise in price, and the area where auxiliary signs are actually detected is determined by learning. This is because detection performance can be further improved because it is limited to a certain area.
주 표지판(410)과 관심영역(420)은 0.09h만큼 세로방향이 겹치게 되고, 주 표지판(410)의 양쪽으로 각가 0.2w만큼 튀어나온 형상의 직사각형 영역이 관심 영역(420)으로 설정된다.The
관심영역이 설정되고 나면 관심영역에서 사각형 형태로 미리 정해진 형태의 보조 표지판을 검출한다(S330).After the area of interest is set, an auxiliary sign of a predetermined square shape is detected in the area of interest (S330).
도 5는 관심 영역에서 사각형 기반 보조 표지판을 검출하는 과정을 보다 상세히 나타낸 흐름도이다.Figure 5 is a flowchart showing in more detail the process of detecting a square-based auxiliary sign in an area of interest.
관심영역에서 사각형 기반 보조 표지판을 검출하기 위해서는 일정한 크기로 관심영역을 정규화(Normalization)한다(S510). 이는 영상 크기에 따라 보조 표지판의 크기가 달라져 검출이 되지 않는 문제점을 미리 방지하기 위함이다.In order to detect a square-based auxiliary sign in the area of interest, the area of interest is normalized to a certain size (S510). This is to prevent the problem of not being detected due to the size of the auxiliary sign changing depending on the image size.
정규화 과정에서는 크기 변환(Resize)외에도 주 표지판이 비스듬히 찍힌 경우 회전변환 등을 통해 주 표지판이 정면에서 찍힌 것과 같은 형태로의 변형도 가능하다.In the normalization process, in addition to size conversion (Resize), if the main sign is taken at an angle, it is possible to transform it into the same form as if the main sign was taken from the front through rotation conversion.
도 6은 보조 표지판의 형태에 따른 보조 표지판의 종류(Type)별 분류표이다.Figure 6 is a classification table for each type of auxiliary sign according to the type of auxiliary sign.
예컨대, 관심영역을 가로44픽셀, 세로48픽셀의 44x48픽셀 크기로 정규화한다면, Type 1의 보조 표지판의 크기는 20x8픽셀, Type 2의 보조 표지판의 크기는 30x16픽셀, Type 3의 보조 표지판의 크기는 32x10픽셀, Type 4의 보조 표지판의 크기는 16x16픽셀의 크기로 정규화된다.For example, if the area of interest is normalized to a size of 44x48 pixels (44 pixels wide and 48 pixels tall), the size of the auxiliary sign of Type 1 is 20x8 pixels, the size of the auxiliary sign of Type 2 is 30x16 pixels, and the size of the auxiliary sign of Type 3 is 20x8 pixels. The size of the 32x10 pixel, Type 4 auxiliary sign is normalized to a size of 16x16 pixels.
Type 1의 보조표지판에는 무게 또는 트레일러 표시가 포함될 수 있다.Type 1 auxiliary signs may include weight or trailer markings.
Type 2의 보조표지판에는 무게, 시간, 거리, 트럭, 트레일러, 트랙터, 우천, 화살표, 구역(Zone) 또는 일반(Generic) 표시가 포함될 수 있다.Type 2 auxiliary signs may include weight, time, distance, truck, trailer, tractor, rain, arrow, zone, or generic markings.
Type 3의 보조표지판에는 트럭, 화살표, 무게, 시간 거리, 구역 또는 일반 표시가 포함될 수 있다.Type 3 auxiliary signs may include trucks, arrows, weights, time distances, zones or general markings.
Type 4의 보조표지판에는 화살표 표시가 포함될 수 있다.Type 4 auxiliary signs may include arrow signs.
관심영역을 정규화한 후 관심영역 내에 나타나는 에지(Edge)를 모두 검출한다(S520).After normalizing the region of interest, all edges that appear within the region of interest are detected (S520).
검출한 에지에 대해서 미리 정해진 사각형의 보조 표지판 형태에 대해 라인 보팅(Line Voting)을 수행한다(S530). Line voting is performed on the detected edge for a predetermined square auxiliary sign shape (S530).
도 7은 검출된 에지들에 대해 라인 보팅을 실시하는 방법을 나타낸다.Figure 7 shows a method of performing line voting on detected edges.
본 실시예에서는 Type 1 내지 Type 4의 네 가지 형태에 대해 각각 라인 보팅을 세로방향 에지와 가로방향 에지에 대해 수행함으로써 관심 영역에 나타난 사각형 형태의 검출이 가능하다.In this embodiment, it is possible to detect the rectangular shape appearing in the area of interest by performing line voting on the vertical and horizontal edges for each of the four shapes of Type 1 to Type 4.
검출한 에지에 대해 미리 정해진 사각형의 보조 표지판 형태의 라인 보팅을 수행하고 나면 보조 표지판 형태에 가까운 에지들이 높은 값이 나타나므로 이들 중 미리 설정해놓은 임계값 이상의 형태들을 보조 표지판 후보로 결정할 수 있고, 따라서 후보로 결정된 형태들은 복수가 될 수 있다.After performing line voting in the form of a predetermined square auxiliary sign on the detected edges, edges close to the auxiliary sign shape appear to have high values, so among these, shapes above the preset threshold can be determined as auxiliary sign candidates. Candidate forms can be plural.
보조 표지판들이 후보로 결정되면, 보조 표지판의 형태들에 대해 각각 학습에 기반하여 보조 표지판을 인식(S360)함으로써 사각형 기반의 보조 표지판 인식이 완료된다.When the auxiliary signs are determined as candidates, the rectangular-based auxiliary sign recognition is completed by recognizing the auxiliary signs based on learning each of the shapes of the auxiliary signs (S360).
이상의 사각형 기반의 미리 결정된 형태의 보조 표지판이 검출되지 않으면 사전지식 기반 보조 표지판을 다시 검출한다(S350).If the above square-based auxiliary sign of the predetermined shape is not detected, the auxiliary sign based on prior knowledge is detected again (S350).
사전지식 기반의 보조 표지판 검출은, 보조 표지판이 사각형 형태의 전형적인 모양이 아닌 경우 사각형 기반 보조 표지판 검출 방법으로 검출되지 않으므로, 보조 표지판이 나타날 수 있는 일정 영역을 미리 지정하여 보조 표지판을 검출하는 방법이다.Auxiliary sign detection based on prior knowledge is a method of detecting auxiliary signs by pre-designating a certain area where auxiliary signs can appear, since if auxiliary signs do not have a typical rectangular shape, they are not detected by the square-based auxiliary sign detection method. .
도 8은 사전지식 기반의 보조 표지판 검출을 위한 영역설정을 하는 모습을 나타낸다.Figure 8 shows area setting for detection of auxiliary signs based on prior knowledge.
사각형 기반 보조 표지판 검출과 달리 일정한 형태가 없거나 주 표지판에 함께 보조 표지판이 표시되는 경우에는, 미리 정해놓은 형태로 라인 보팅을 수행하는 방법 등에 의해 보조 표지판을 검출할 수 없기 때문에 에지 검출이 아니라 미리 정해둔 영역을 보조 표지판 검출을 위해 사용된다.Unlike rectangular-based auxiliary sign detection, if there is no fixed shape or the auxiliary sign is displayed along with the main sign, the auxiliary sign cannot be detected by performing line voting in a predetermined shape, so predetermined rather than edge detection is used. The designated area is used to detect auxiliary signs.
제1 영역(810)은 주 표지판의 상단, 제2 영역(820)은 주 표지판의 바로 밑, 제3 영역(830)은 주 표지판 바로 밑의 정사각형 형태의 영역이 미리 지정되어 있기 때문에 전체 영역에서 보조 표지판 후보 영역이 결정된다.The
이 때 후보 영역의 정규화를 위해 주 표지판의 크기를 일정한 크기로 조절하는 것은 전술한 바와 같다.At this time, the size of the main sign is adjusted to a constant size to normalize the candidate area as described above.
이렇게 제1, 제2 및 제3 영역의 검출이 완료되면 각 영역에 대해 보조 표지판 인식(S360)을 수행하고 보조 표지판 인식 방법을 종료한다.When detection of the first, second, and third areas is completed, auxiliary sign recognition (S360) is performed for each area, and the auxiliary sign recognition method is terminated.
도 9 내지 도 12는 사각형 기반 보조 표지판 검출에 의해 보조 표지판이 검출된 경우, 형태별 보조 표지판 인식 방법의 흐름도를 나타낸다.Figures 9 to 12 show flowcharts of a method for recognizing auxiliary signs by shape when an auxiliary sign is detected by square-based auxiliary sign detection.
각 형태별 보조 표지판을 인식하는 방법으로는 템플릿 매칭이나 학습기반 분류기를 이용한 방법인 Adaboost, SVM 등의 방법이 사용될 수 있다.Methods such as Adaboost and SVM, which are methods using template matching or learning-based classifiers, can be used to recognize auxiliary signs for each type.
도 9는 Type 1형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.Figure 9 is a flowchart of a method for recognizing Type 1 auxiliary signs.
Type 1 형태의 보조 표지판에는 무게표시 또는 트레일러 표시가 표시될 수 있으므로, 전술한 학습기반 인식방법에 의해 트레일러 표시인지(S910), 무게표시인지(S920) 인식한 후 둘 다 인식되지 않으면 배경인 것으로 인식할 수 있다(S930).Type 1 type auxiliary signs may display either a weight mark or a trailer mark, so after recognizing whether it is a trailer mark (S910) or a weight mark (S920) using the learning-based recognition method described above, if neither is recognized, it is considered the background. Can be recognized (S930).
보조 표지판 인식을 마친 후 검증단계(S960)에서는 기존 잘못 분류된 클래스(class)와 올바르게 분류된 클래스들을 이용해 만들어진 리젝터(rejector)로 인식된 결과를 다시 한 번 검증하여 인식이 바르게 됐는지 한번 더 검증하게 된다.After completing the recognition of the auxiliary sign, in the verification step (S960), the recognized results are verified once again with a rejector created using the existing incorrectly classified classes and correctly classified classes to verify once again whether the recognition was correct. do.
도 10은 Type 2 형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.Figure 10 is a flowchart of a method for recognizing Type 2 type auxiliary signs.
Type 2 형태의 보조 표지판에는, 트럭, 트랙터, 트레일러, 트레일러+버스, 우천, 화살표, 무게, 시간, 거리, 구역(Zone) 및 일반(Generic) 표시가 표시될 수 있으므로 이들 각각을 학습에 의해 인식하는 과정을 거친다.Type 2 auxiliary signs can display truck, tractor, trailer, trailer + bus, rain, arrow, weight, time, distance, zone, and generic signs, so each of these can be recognized through learning. go through the process of
우선 보조 표지판이 픽토그램 형태인지 문자(Text)형태인지 판단하고(S1010) 각각의 형태에 따른 인식을 수행한다.First, determine whether the auxiliary sign is in the form of a pictogram or a text (S1010) and perform recognition according to each form.
보조 표지판이 픽토그램 형태인 경우, 표시된 내용이 화살표, 트럭, 트랙터, 트레일러, 트레일러+버스 또는 우천표시인지 인식하게 된다(S1020 내지 S1040).If the auxiliary sign is in the form of a pictogram, it is recognized whether the displayed content is an arrow, truck, tractor, trailer, trailer + bus, or rain sign (S1020 to S1040).
보조 표지판이 픽토그램이 아니라 문자 형태인 경우, 표시된 내용이 무게, 시간, 거리, 구역 또는 일반 표시인지 인식한다(S1050 내지 S1066).If the auxiliary sign is in the form of text rather than a pictogram, it is recognized whether the displayed content is weight, time, distance, area, or general sign (S1050 to S1066).
Type 2 형태의 보조 표지판 인식이 끝나면 전술한 것처럼 검증을 한번 더 거쳐서(S1080) Type 2 형태의 보조 표지판 인식을 마친다.Once recognition of the Type 2 auxiliary sign is completed, verification is performed once more as described above (S1080) to complete recognition of the Type 2 auxiliary sign.
도 11은 Type 3 형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.Figure 11 is a flowchart of a method for recognizing Type 3 type auxiliary signs.
Type 3형태의 보조 표지판에는, 트럭 또는 화살표의 픽토그램 표시와, 무게, 시간, 거리, 구역 또는 일반 표시의 문자 표시가 표시될 수 있다.Type 3 auxiliary signs may display pictograms of trucks or arrows, and textual signs of weight, time, distance, area or general signs.
우선 픽토그램인지 아닌지 인식을 수행하여(S1110), 픽토그램인 경우 화살표인지 아니면 트럭인지 인식을 수행한다(S1120 내지 S1126).First, it is recognized whether it is a pictogram (S1110), and if it is a pictogram, it is recognized whether it is an arrow or a truck (S1120 to S1126).
픽토그램이 아니라 문자인 경우, 무게, 시간, 거리, 구역 또는 일반문자인지 인식을 수행한다(S1130 내지 S1148).If it is a character rather than a pictogram, recognition is performed whether it is weight, time, distance, area, or general character (S1130 to S1148).
인식 결과 픽토그램도 아니고 문자도 아니라고 판단된 경우에 보조 표지판이 아니라 배경인 것으로 인식하게 되고(S1128), 검증을 거친 후(S1150) 보조 표지판 인식을 마친다.If the recognition result determines that it is neither a pictogram nor a text, it is recognized as a background rather than an auxiliary sign (S1128), and after verification (S1150), auxiliary sign recognition is completed.
도 12는 마지막으로 Type 4 형태의 보조 표지판을 인식하기 위한 방법의 흐름도이다.Figure 12 is a flowchart of a method for recognizing a Type 4 auxiliary sign.
Type 4 형태의 보조 표지판에는 화살표만 나타날 수 있기 때문에, 화살표 표시로 인식하지 못하면 배경으로 인식하게 된다.Since only arrows can appear on type 4 auxiliary signs, if they are not recognized as arrow signs, they are recognized as background.
따라서, 화살표인지 판단하여(S1210), 화살표(S1220) 또는 배경(S1230)으로 보조 표지판을 인식하고, 검증(S1240)단계를 거친 후 보조 표지판 인식을 끝마친다.Therefore, it is determined whether it is an arrow (S1210), the auxiliary sign is recognized as an arrow (S1220) or a background (S1230), and after going through the verification (S1240) step, the auxiliary sign recognition is completed.
도 13은 이렇게 네 개의 사각 형태로 보조 표지판을 인식하는 경우 실제 영상에 의해 보조 표지판을 인식하는 모습을 나타낸다.Figure 13 shows how the auxiliary sign is recognized using an actual image when recognizing the auxiliary sign in the form of four squares.
관심 영역을 설정한 후 해당 영역에서 에지를 검출하여 보조 표지판 후보 영역을 검출할 수 있다.After setting the area of interest, the auxiliary sign candidate area can be detected by detecting edges in the area.
도 14 내지 도 16은 사전지식 기반 보조 표지판 검출에 의해 보조 표지판이 검출된 경우, 영역별 보조 표지판 인식 방법의 흐름도를 나타낸다.Figures 14 to 16 show a flowchart of a method for recognizing auxiliary signs by area when an auxiliary sign is detected by prior knowledge-based auxiliary sign detection.
도 14는 주 표지판의 윗부분인 제1 영역에 대해 보조 표지판을 인식하기 위한 흐름도이다.Figure 14 is a flowchart for recognizing an auxiliary sign in the first area, which is the upper part of the main sign.
주 표지판의 윗부분인 제1 영역(810)에는 구역표시가 나타나므로 학습에 의해 구역표시인지 판단하여(S1410), 구역표시로 판단되면 보조 표지판이 구역표시인 것으로 인식하고(S1420), 인식하지 못한 경우에는 배경으로 인식한다(S1430).Since a zone mark appears in the
인식을 마친 후에는 검증을 한번 더 거치는 과정(S1440)은 사각형 기반 보조 표지판 인식 방법과 마찬가지이다.After completing recognition, the verification process (S1440) is the same as the square-based auxiliary sign recognition method.
도 15는 주 표지판의 바로 아래 영역인 제2 영역(820)의 보조 표지판 인식 흐름도이다.Figure 15 is a flowchart of auxiliary sign recognition in the
제2 영역에는 구역, 거리 또는 화살표 표시가 나타날 수 있으므로 세 가지 표시를 차례로 인식하고(S1510 내지 S1532), 인식하지 못하는 경우 배경으로 인식(S1540)한 후 검증과정(S1550)을 거쳐 인식을 마친다.Since a zone, distance, or arrow mark may appear in the second area, the three marks are recognized in sequence (S1510 to S1532). If not recognized, they are recognized as the background (S1540) and recognition is completed through a verification process (S1550).
도 16은 주 표지판 아래 제2 영역보다 다소 넓은 영역의 제3 영역에 대한 보조 표지판 인식 흐름도이다.Figure 16 is a flowchart of auxiliary sign recognition for a third area slightly wider than the second area below the main sign.
제3 영역에는 화살표 또는 우천표시가 나타날 수 있으므로 두 가지 표시를 차례로 인식하고(S1610 내지 S1622), 인식하지 못하는 경우 배경으로 인식(S1630)한 후 검증과정(S1640)을 한번 더 거치고 인식과정을 끝낸다.Since an arrow or rain sign may appear in the third area, the two signs are recognized one by one (S1610 to S1622). If not, the recognition process is performed as the background (S1630) and the verification process (S1640) is completed once more to complete the recognition process. .
이상과 같은 보조 표지판 검출 및 인식방법을 통해 주 표지판에 비해 위치 및 모양이 일정하지 않은 보조 표지판을 좀 더 쉽게 검출할 수 있다.Through the above-described auxiliary sign detection and recognition method, it is possible to more easily detect auxiliary signs whose location and shape are not constant compared to the main sign.
도 17은 보조 표지판 인식이 수행되는 보조 표지판 인식 장치(1700)의 구조도이다.Figure 17 is a structural diagram of an auxiliary
보조 표지판 인식 장치(1700)는 영상 획득부(1710), 주 표지판 검출부(1710), 보조 표지판 검출부(1720) 및 보조 표지판 인식부(1730)를 포함하여 이루어진다.The auxiliary
영상 획득부(1710)는 카메라 등의 장치를 이용하여 차량 주변의 영상을 획득하고, 주 표지판 검출부(1720)는 획득한 영상에서 주 표지판이 있는지 검출한다.The
보조 표지판 검출부(1730)는 주 표지판 검출부(1720)에서 검출한 주 표지판을 기준으로 관심 영역을 설정하고, 설정한 관심 영역에서 에지 검출 및 라인 보팅을 통해 보조 표지판 후보를 검출한다. 관심 영역을 설정하고 정규화 하는 과정과 에지 검출 및 라인 보팅 방법은 전술한 바와 같다.The auxiliary
보조 표지판 검출을 마치면 그 결과를 이용하여 보조 표지판 인식부(1740)는 인식 결과를 출력하는데, 사각형 기반 보조 표지판과 사전지식 기반 보조 표지판에 따라 보조 표지판을 인식하는 과정은 전술한 바와 같다.When detection of the auxiliary sign is completed, the auxiliary
한편, 본 발명의 실시예에 따른 보조 표지판 인식 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 18에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(1821)와, 메모리(1823)와, 사용자 입력 장치(1826)와, 데이터 통신 버스(1822)와, 사용자 출력 장치(1827)와, 저장소(1828)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(1822)를 통해 데이터 통신을 한다.Meanwhile, the auxiliary sign recognition method according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. As shown in FIG. 18, the computer system includes at least one
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(1829)를 더 포함할 수 있다. 상기 프로세서(1821)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(1823) 및/또는 저장소(1828)에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a
상기 메모리(1823) 및 상기 저장소(1828)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(1823)는 ROM(1824) 및 RAM(1825)을 포함할 수 있다.The
따라서, 본 발명의 실시예에 따른 보조 표지판 인식 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 보조 표지판 인식 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인식 방법을 수행할 수 있다.Therefore, the auxiliary sign recognition method according to an embodiment of the present invention can be implemented in a method executable on a computer. When the auxiliary sign recognition method according to an embodiment of the present invention is performed on a computer device, computer-readable instructions may perform the recognition method according to the present invention.
한편, 상술한 본 발명에 따른 보조 표지판 인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the auxiliary sign recognition method according to the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording media storing data that can be deciphered by a computer system. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, and optical data storage devices. Additionally, the computer-readable recording medium can be distributed to a computer system connected through a computer communication network, and stored and executed as a code that can be read in a distributed manner.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.Above, the configuration of the present invention has been described in detail with reference to the accompanying drawings, but this is merely an example, and those skilled in the art will be able to make various modifications and changes within the scope of the technical idea of the present invention. Of course this is possible. Therefore, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be determined by the description of the claims below.
Claims (10)
영상에서 주 표지판을 검출하는 단계;
상기 주 표지판의 위치 및 크기를 이용하여 관심 영역을 설정하는 단계;
상기 관심 영역에서 보조 표지판 후보를 검출하는 단계; 및
상기 보조 표지판 후보의 특징을 추출하고 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 단계;
를 포함하고,
상기 보조 표지판 후보를 검출하는 단계는,
상기 관심 영역에서 라인 보팅을 수행하여 기 설정된 사각형 형태의 보조 표지판 후보를 검출하고,
기 설정된 사각형 형태의 보조 표지판 후보가 검출되지 않는 경우,
상기 영상에서 사전지식을 기반으로 기 설정된 위치 및 형태의 영역을 보조 표지판 후보로 검출하는 것
인 보조 표지판 인식 방법.
In the auxiliary sign recognition method performed by a processor,
Detecting main signs in the image;
Setting an area of interest using the location and size of the main sign;
detecting an auxiliary sign candidate in the area of interest; and
extracting features of the auxiliary sign candidate and recognizing content displayed on the auxiliary sign candidate using a pre-trained learner;
Including,
The step of detecting the auxiliary sign candidate is,
Perform line voting in the area of interest to detect auxiliary sign candidates in a preset square shape,
If the preset square-shaped auxiliary sign candidate is not detected,
Detecting areas of preset positions and shapes in the image as candidates for auxiliary signs based on prior knowledge
How to recognize auxiliary signs.
상기 검출된 주 표지판의 하단부에 위치하고, 상기 검출된 주 표지판의 폭과 높이를 각각 w 및 h라 할 때, 1.2w 내지 1.6w의 가로 사이즈 및 1.4h 내지 1.7h의 세로 사이즈를 가지는 것
인 보조 표지판 인식 방법.
The method of claim 1, wherein the region of interest is
Located at the bottom of the detected main sign, and assuming the width and height of the detected main sign are w and h, respectively, having a horizontal size of 1.2w to 1.6w and a vertical size of 1.4h to 1.7h
How to recognize auxiliary signs.
1.4w의 가로사이즈 및 1.53h의 세로사이즈를 가지고, 상기 주 표지판의 하단부로부터 0.09h 떨어진 상단에 상기 관심 영역의 상단부가 위치하여 0.09h의 중첩영역이 존재하는 것
인 보조 표지판 인식 방법.
The method of claim 2, wherein the region of interest is
It has a horizontal size of 1.4w and a vertical size of 1.53h, and the upper part of the area of interest is located at a distance of 0.09h from the lower part of the main sign, resulting in an overlap area of 0.09h.
How to recognize auxiliary signs.
상기 관심 영역을 정규화 하는 단계;
상기 관심 영역에서 에지(Edge)를 검출하는 단계;
상기 검출된 에지를 따라 기설정된 보조 표지판 형태에 대해 라인 보팅(Line voting)을 수행하는 단계; 및
상기 라인 보팅 수행 결과로 형성된 보팅 맵(Voting map)에 NMS(Non-Maxima Suppression)을 수행하는 단계;를 포함하는 것
인 보조 표지판 인식 방법.
The method of claim 1, wherein the step of detecting the auxiliary sign candidate is
normalizing the region of interest;
detecting an edge in the region of interest;
Performing line voting for a preset auxiliary sign shape along the detected edge; and
Including performing NMS (Non-Maxima Suppression) on the voting map formed as a result of performing the line voting.
How to recognize auxiliary signs.
상기 정규화 하는 단계는, 상기 관심 영역을 가로 44픽셀 및 세로 48픽셀의 크기로 정규화하고,
상기 기설정된 보조 표지판 형태는, 가로 20픽셀, 세로 8픽셀의 제1 형태(Type 1), 가로 30픽셀, 세로 16픽셀의 제2 형태(Type 2), 가로 32픽셀, 세로 10픽셀의 제3 형태(Type 3) 및 가로 16픽셀, 세로 16픽셀의 제4 형태(Type 4)를 포함하는 것
인 보조 표지판 인식 방법.
According to clause 4,
In the normalizing step, the region of interest is normalized to a size of 44 pixels horizontally and 48 pixels vertically,
The preset auxiliary sign forms include a first type (Type 1) of 20 pixels wide and 8 pixels tall, a second type (Type 2) of 30 pixels wide and 16 pixels tall, and a third type of 32 pixels wide and 10 pixels tall. Containing a shape (Type 3) and a fourth shape (Type 4) of 16 pixels wide and 16 pixels tall.
How to recognize auxiliary signs.
상기 각 형태별 보조 표지판의 특징에 따라 미리 학습된 분류기에 의해 상기 보조 표지판의 내용을 인식하는 것
인 보조 표지판 인식 방법.
The method of claim 5, wherein the recognizing step is
Recognizing the contents of the auxiliary sign using a classifier learned in advance according to the characteristics of the auxiliary sign for each type.
How to recognize auxiliary signs.
상기 주 표지판의 상단 영역 및 상기 주 표지판의 바로 밑의 영역을 포함하는 것
인 보조 표지판 인식 방법.
The method of claim 1, wherein the area of the preset position and shape is,
including the area above the main sign and the area immediately below the main sign
How to recognize auxiliary signs.
상기 인식한 내용을 검증하는 단계;를 더 포함하되
상기 검증하는 단계는 상기 인식한 내용이 정확하게 분류된 경우와 잘못 분류된 경우를 이용하여 미리 학습한 결과를 이용하는 것
인 보조 표지판 인식 방법.
The method of claim 1, wherein after the recognizing step,
It further includes; verifying the recognized content;
The verification step uses results learned in advance using cases where the recognized content is correctly classified and cases where it is incorrectly classified.
How to recognize auxiliary signs.
차량 주변의 영상을 획득하는 영상 획득부;
상기 영상에서 주 표지판을 검출하는 주 표지판 검출부;
상기 주 표지판의 위치 및 크기를 이용하여 관심 영역을 설정하고, 상기 관심 영역에서 라인 보팅을 수행하여 기 설정된 사각형 형태의 보조 표지판 후보를 검출하고, 기 설정된 사각형 형태의 보조 표지판 후보가 검출되지 않는 경우, 상기 영상에서 사전지식을 기반으로 기 설정된 위치 및 형태의 영역을 보조 표지판 후보로 검출하는 보조 표지판 검출부; 및
상기 검출된 보조 표지판 후보의 특징을 추출하고, 상기 특징에 대해 미리 학습된 학습기를 이용하여 상기 보조 표지판 후보에 표시된 내용을 인식하는 보조 표지판 인식부;
를 포함하는 보조 표지판 인식 장치.
In the auxiliary sign recognition device including one or more processors,
An image acquisition unit that acquires images around the vehicle;
a main sign detection unit that detects a main sign in the image;
If an area of interest is set using the location and size of the main sign, line voting is performed in the area of interest to detect a preset auxiliary sign candidate in a rectangular shape, and the auxiliary sign candidate in a preset square shape is not detected. , an auxiliary sign detection unit that detects an area of a preset location and shape in the image as an auxiliary sign candidate based on prior knowledge; and
an auxiliary sign recognition unit that extracts features of the detected auxiliary sign candidate and recognizes content displayed on the auxiliary sign candidate using a learner previously trained on the features;
An auxiliary sign recognition device comprising:
상기 관심 영역을 정규화 하고,
상기 관심 영역에서 에지(Edge)를 검출하고,
상기 검출된 에지를 따라 기설정된 보조 표지판 형태에 대해 라인 보팅(Line voting)을 수행하고,
상기 라인 보팅 수행 결과로 형성된 보팅 맵(Voting map)에 NMS(Non-Maxima Suppression)을 수행하여 상기 보조 표지판 후보를 검출하는 것
인 보조 표지판 인식 장치.
The method of claim 9, wherein the auxiliary sign detection unit
Normalize the region of interest,
Detect an edge in the region of interest,
Line voting is performed on the preset auxiliary sign shape along the detected edge,
Detecting the auxiliary sign candidate by performing NMS (Non-Maxima Suppression) on the voting map formed as a result of the line voting.
auxiliary sign recognition device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160119197A KR102617453B1 (en) | 2016-09-19 | 2016-09-19 | Apparatus and method for recognizing supplementarty traffic signs |
| DE102017215138.2A DE102017215138A1 (en) | 2016-09-19 | 2017-08-30 | Method and device for detecting supplementary traffic signs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160119197A KR102617453B1 (en) | 2016-09-19 | 2016-09-19 | Apparatus and method for recognizing supplementarty traffic signs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180031174A KR20180031174A (en) | 2018-03-28 |
| KR102617453B1 true KR102617453B1 (en) | 2023-12-26 |
Family
ID=61302596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160119197A KR102617453B1 (en) | 2016-09-19 | 2016-09-19 | Apparatus and method for recognizing supplementarty traffic signs |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102617453B1 (en) |
| DE (1) | DE102017215138A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10699141B2 (en) * | 2018-06-26 | 2020-06-30 | Waymo Llc | Phrase recognition model for autonomous vehicles |
| KR20200069910A (en) | 2018-12-07 | 2020-06-17 | 이인텔리전스 주식회사 | Method and apparatus for recognizing auxiliary traffic sign among traffic sign |
| TWI745752B (en) | 2019-09-23 | 2021-11-11 | 神達數位股份有限公司 | Method and system for driving assisting and computer program product |
| KR102557837B1 (en) * | 2020-11-24 | 2023-07-21 | 고려대학교 산학협력단 | Object detection system, object detection method using the same, and computer-readable recording medium in which a program for performing the object detection method is recorded |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100121817A (en) * | 2009-05-11 | 2010-11-19 | 호서대학교 산학협력단 | Method for tracking region of eye |
| RU2021114500A (en) | 2014-02-10 | 2021-06-07 | Мерк Патент Гмбх | TARGETED TGFβ INHIBITION |
| KR20160083615A (en) * | 2014-12-31 | 2016-07-12 | (주)베라시스 | Bottom Line Detecting Method of Vehicle in ROI |
| KR101687094B1 (en) * | 2015-01-29 | 2016-12-28 | 주식회사 만도 | Apparatus for recognizing traffic sign and method thereof |
-
2016
- 2016-09-19 KR KR1020160119197A patent/KR102617453B1/en active IP Right Grant
-
2017
- 2017-08-30 DE DE102017215138.2A patent/DE102017215138A1/en active Pending
Non-Patent Citations (4)
| Title |
|---|
| 정석우 외 3명, "심층 컨볼루션 신경망을 이용한 교통 표지판 인식 알고리즘 개발", 한국자동차공학회 춘계학술대회(2016.05.20.) 1부.* |
| 한국 공개특허공보 제10-2010-0121817호(2010.11.19.) 1부.* |
| 한국 공개특허공보 제10-2016-0083615호(2016.07.12.) 1부.* |
| 한국 공개특허공보 제10-2016-0093464호(2016.08.08.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180031174A (en) | 2018-03-28 |
| DE102017215138A1 (en) | 2018-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102617453B1 (en) | Apparatus and method for recognizing supplementarty traffic signs | |
| Fu et al. | A survey of traffic sign recognition | |
| US9633436B2 (en) | Systems and methods for multi-dimensional object detection | |
| Balali et al. | Evaluation of multiclass traffic sign detection and classification methods for US roadway asset inventory management | |
| US20210110180A1 (en) | Method and apparatus for traffic sign detection, electronic device and computer storage medium | |
| Rashid et al. | Automatic parking management system and parking fee collection based on number plate recognition | |
| Kheyrollahi et al. | Automatic real-time road marking recognition using a feature driven approach | |
| KR101596299B1 (en) | Apparatus and Method for recognizing traffic sign board | |
| Seo et al. | Recognition of highway workzones for reliable autonomous driving | |
| Greenhalgh et al. | Detection and Recognition of Painted Road Surface Markings. | |
| Jain et al. | Indian vehicle number-plate recognition using single shot detection and ocr | |
| Lin et al. | Improved traffic sign recognition for in-car cameras | |
| Xu et al. | A machine learning approach to vehicle occupancy detection | |
| KR20160067631A (en) | Method for recognizing vehicle plate | |
| CN116052189A (en) | Text recognition method, system and storage medium | |
| Deng et al. | An integrated forward collision warning system based on monocular vision | |
| Xavier et al. | Automatic detection and recognition of text in traffic sign boards based on word recognizer | |
| Visaria et al. | TSRSY-Traffic Sign Recognition System using Deep Learning | |
| Arief et al. | Traffic signs detection and recognition system using the YOLOv4 algorithm | |
| Chen et al. | Text detection in traffic informatory signs using synthetic data | |
| Lampkins et al. | Multimodal road sign interpretation for autonomous vehicles | |
| Shahbaz et al. | The Evaluation of Cascade Object Detector in Recognizing Different Samples of Road Signs | |
| Morrissett et al. | A review of non-lane road marking detection and recognition | |
| González et al. | Traffic panels detection using visual appearance | |
| Kumar | Text information extraction and analysis for autonomous vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |