KR102252913B1 - System and method of detecting signal light - Google Patents

System and method of detecting signal light Download PDF

Info

Publication number
KR102252913B1
KR102252913B1 KR1020150176898A KR20150176898A KR102252913B1 KR 102252913 B1 KR102252913 B1 KR 102252913B1 KR 1020150176898 A KR1020150176898 A KR 1020150176898A KR 20150176898 A KR20150176898 A KR 20150176898A KR 102252913 B1 KR102252913 B1 KR 102252913B1
Authority
KR
South Korea
Prior art keywords
traffic light
vehicle
pedestrian
image
traffic
Prior art date
Application number
KR1020150176898A
Other languages
Korean (ko)
Other versions
KR20170069551A (en
Inventor
유병용
강인완
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150176898A priority Critical patent/KR102252913B1/en
Publication of KR20170069551A publication Critical patent/KR20170069551A/en
Application granted granted Critical
Publication of KR102252913B1 publication Critical patent/KR102252913B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 주행중인 차량 전방의 영상 중 자동차 신호등, 보행자 신호등을 인식하는 영상 수집부; 및 적어도 하나 이상의 상기 자동차 신호등, 상기 보행자 신호등이 존재하는 도로의 관심영역(Region of interest : ROI)을 저장하는 헤드유닛;을 포함하되, 상기 헤드유닛은 상기 영상 수집부를 통하여 인식되는 상기 자동차 신호등 또는 상기 보행자 신호등의 점등되는 신호에 기초하여, 선택된 하나 이상의 특정 신호를 판단하는 판단부를 포함하는 것을 특징으로 하는, 신호등 인식 시스템을 제공한다.The present invention includes an image collection unit for recognizing a traffic light for a vehicle and a traffic light for a pedestrian among images in front of a vehicle being driven; And a head unit for storing at least one of the vehicle traffic lights and a region of interest (ROI) of a road in which the pedestrian traffic lights exist; wherein the head unit includes the traffic lights of the cars recognized through the image collection unit or It provides a traffic light recognition system, characterized in that it comprises a determination unit for determining at least one selected specific signal on the basis of the signal to be turned on of the pedestrian traffic light.

Description

신호등 인식 시스템 및 그 방법 {System and method of detecting signal light}Traffic light recognition system and method thereof {System and method of detecting signal light}

본 발명은 신호등 인식 시스템 및 그 방법에 관한 것으로서, 주행 중인 차량이 교차로 또는 신호등이 존재하는 도로를 지나칠 때, 신호등을 인식하여 운전자에게 안내하는 신호등 인식 시스템 및 그 방법에 관한 것이다.The present invention relates to a traffic light recognition system and method thereof, and to a traffic light recognition system and method for recognizing a traffic light and guiding a driver when a driving vehicle passes through an intersection or a road where a traffic light exists.

현재 자동차에는 전방, 후방, 측방에 다양한 센서를 장착하여 운전자의 안전 운전을 지원하는 서비스를 개발하고 있다. 즉, 후진할 때 센서를 통해 장애물과의 거리를 소리나 화면으로 표시해 주는 장치, 전방의 차선이나 차량을 인식하여 경보해 주는 장치 등을 통하여 운전자의 안전 운행을 돕고 있다.Currently, automobiles are developing a service that supports drivers' safe driving by installing various sensors in the front, rear, and sides. That is, a device that displays the distance to an obstacle through a sound or a screen through a sensor when reversing, and a device that recognizes and alerts a vehicle in front of a lane or vehicle helps the driver to drive safely.

이러한 부가 서비스 장치를 장착하고서도 차량 주행중 사고가 많이 발생하는 장소로는 교차로가 있으며, 차선 변경시 및 신호등 변경시에도 운전자의 부주의로 인한 사고가 많이 발생한다.Even with such an additional service device installed, there are intersections as a place where accidents occur frequently while driving a vehicle, and accidents due to the carelessness of the driver often occur even when changing lanes and changing traffic lights.

그에 따라, 운전자의 부주의로 인한 사고를 미연에 방지하기 위해 다양한 기술들이 제안되고 있다. 그 중의 하나로, 신호등 변경시에 신호등의 색상을 인식하여 운전자에게 보여주는 기술이 있다. 신호등 변경시에 신호등의 색상을 인식하여 운전자에게 보여주는 기술은 신호등의 색상이 빨강, 노랑, 파랑이라는 정보로부터 색상 정보를 추출하는 알고리즘을 사용하거나, 신호등이 사각형 테두리에 원의 형태를 갖는다는 것을 이용한다.Accordingly, various technologies have been proposed to prevent accidents caused by the driver's carelessness. One of them is a technology that recognizes the color of a traffic light and shows it to the driver when the traffic light is changed. The technology that recognizes the color of a traffic light when changing a traffic light and shows it to the driver uses an algorithm that extracts color information from the information that the color of the traffic light is red, yellow, and blue, or that the traffic light has a circle shape on a square border. .

하지만, 차량이 밀집되는 도심 지역에서는, 주변 차량에 의해 신호등 가림, 카메라 화각의 한계, 원거리 신호등 인식 불가능 등에 의해 신호등을 인식하지 못하는 현상이 빈번하게 발생한다.However, in an urban area where vehicles are concentrated, a phenomenon in which traffic lights are not recognized frequently occurs due to the obstruction of traffic lights by surrounding vehicles, the limit of the camera's angle of view, and the inability to recognize long-distance traffic lights.

따라서, 교차로 또는 신호등이 존재하는 도로에서의 신호등을 인식하기 위한 추가적인 방법이 끊임 없이 요구되고 있다.Therefore, there is a constant demand for additional methods for recognizing traffic lights at intersections or roads where traffic lights exist.

공개특허공보 제10-2007-0074913 (2007. 07. 18.)Unexamined Patent Publication No. 10-2007-0074913 (2007. 07. 18.)

본 발명은 이와 같은 문제점을 해결하기 위한 것으로 보다 상세하게는, 주행 중인 차량 전방의 교차로 또는 신호등이 존재하는 도로를 지나칠 때, 자동차 신호등 또는 보행자 신호등을 인식하여, 교통 신호 정보를 운전자에게 안내하는 것을 제공하는데 그 목적이 있다.The present invention is to solve such a problem, and more particularly, when passing an intersection in front of a vehicle being driven or a road where a traffic light exists, to recognize a vehicle traffic light or a pedestrian traffic light, and to guide the traffic signal information to the driver. It has its purpose to provide.

본 발명은 주행중인 차량 전방의 영상 중 자동차 신호등, 보행자 신호등을 인식하는 영상 수집부; 및 적어도 하나 이상의 상기 자동차 신호등, 상기 보행자 신호등이 존재하는 도로의 관심영역(Region of interest : ROI)을 저장하는 헤드유닛;을 포함하되, 상기 헤드유닛은 상기 영상 수집부를 통하여 인식되는 상기 자동차 신호등 또는 상기 보행자 신호등의 점등되는 신호에 기초하여, 선택된 하나 이상의 특정 신호를 판단하는 판단부를 포함하는 것을 특징으로 하는, 신호등 인식 시스템을 제공한다.The present invention includes an image collection unit for recognizing a traffic light for a vehicle and a traffic light for a pedestrian among images in front of a vehicle being driven; And a head unit for storing at least one of the vehicle traffic lights and a region of interest (ROI) of a road in which the pedestrian traffic lights exist; wherein the head unit includes the traffic lights of the cars recognized through the image collection unit or It provides a traffic light recognition system, characterized in that it comprises a determination unit for determining at least one selected specific signal on the basis of the signal to be turned on of the pedestrian traffic light.

상기 헤드유닛은 GPS기법 또는 위치추정기법으로 생성된 지도 데이터 상에 존재하는 상기 자동차 신호등, 상기 보행자 신호등 정보의 데이터 테이블을 포함할 수 있다.The head unit may include a data table of information about the traffic lights for cars and traffic lights for pedestrians existing on map data generated by a GPS technique or a location estimation technique.

상기 영상 수집부는 상기 차량이 상기 관심영역 내에 도달함에 따라, 상기 차량 전방의 상기 자동차 신호등 또는 상기 보행자 신호등이 촬영된 영상을 상기 판단부로 전송할 수 있다.As the vehicle reaches the region of interest, the image collection unit may transmit an image of the vehicle traffic light or the pedestrian traffic light in front of the vehicle to the determination unit.

상기 판단부는 상기 자동차 신호등의 식별 가능 여부를 판단할 수 있다.The determination unit may determine whether the vehicle traffic light can be identified.

상기 판단부는 상기 자동차 신호등의 식별이 불가한 경우, 상기 보행자 신호등의 점등된 신호를 판별할 수 있다.When it is impossible to identify the vehicle traffic light, the determination unit may determine a lighted signal of the pedestrian traffic light.

상기 판단부는 상기 보행자 신호등의 점등된 신호에 기초하여, 상기 관심영역의 교통 신호를 예측할 수 있다.The determination unit may predict a traffic signal of the region of interest based on the lighted signal of the pedestrian traffic light.

또한, 본 발명은 주행중인 차량이 관심영역에 도달하면, 영상 수집부를 이용하여 주행중인 상기 차량 전방의 영상을 획득하는 단계; 상기 관심영역에 존재하는 자동차 신호등 또는 보행자 신호등을 인식하는 단계; 상기 차량 전방의 상기 자동차 신호등, 상기 보행자 신호등 중 선택된 하나 이상의 특정 신호를 인식 가능한 것을 판단하는 단계; 및 상기 보행자 신호등의 점등된 신호에 기초하여, 상기 차량의 진행 방향에 대한 교통 신호를 예측하는 단계를 포함하는 것을 특징으로 하는, 신호등 인식 방법을 제공한다.In addition, the present invention includes the steps of acquiring an image of the vehicle in front of the driving vehicle by using an image collecting unit when the driving vehicle reaches the region of interest; Recognizing a traffic light for a vehicle or a traffic light for a pedestrian existing in the region of interest; Determining that at least one specific signal selected from among the vehicle traffic lights and the pedestrian traffic lights in front of the vehicle can be recognized; And predicting a traffic signal for a driving direction of the vehicle based on the lighted signal of the pedestrian traffic light.

상기 판단하는 단계는 상기 차량 전방의 상기 자동차 신호등 또는 상기 보행자 신호등이 촬영된 영상을 상기 판단부로 전송하는 단계를 더 포함할 수 있다.The determining may further include transmitting an image of the vehicle traffic light or the pedestrian traffic light in front of the vehicle to the determination unit.

상기 판단하는 단계는 상기 자동차 신호등의 식별 가능 여부를 판단하는 단계를 더 포함할 수 있다.The determining may further include determining whether the vehicle traffic light can be identified.

상기 판단하는 단계는 상기 자동차 신호등의 식별이 불가한 경우, 상기 보행자 신호등의 점등된 신호를 판별하는 단계를 더 포함할 수 있다.The determining step may further include determining a lighted signal of the pedestrian traffic light when the vehicle traffic light cannot be identified.

본 발명에 따른 신호등 인식 시스템 및 그 방법은, 교차로 또는 신호등이 존재하는 도로를 지나칠 때, 자동차 신호등이 인식 불가한 경우, 보행자 신호등을 인식함에 따라 보행자 신호등의 신호의 점등 상태에 기초하여, 운전자에게 교통 신호 정보를 안내하는 효과가 있다.The traffic light recognition system and method according to the present invention, when passing through an intersection or a road with a traffic light, when a vehicle traffic light is not recognized, based on the lighting state of the signal of the pedestrian traffic light according to the recognition of the pedestrian traffic light, to the driver It has the effect of guiding traffic signal information.

도 1은 본 발명에 따른 신호등 인식 시스템의 구성을 개략적으로 나타낸 블럭도이다.
도 2는 본 발명에 따른 신호등 인식 방법의 흐름을 나타낸 흐름도이다.
도 3은 본 발명의 실시예를 나타낸 도면이다.
도 4는 본 발명의 관심영역(Region of interest : ROI)을 나타낸 도면이다.1 is a block diagram schematically showing the configuration of a traffic light recognition system according to the present invention.
2 is a flowchart showing the flow of a traffic light recognition method according to the present invention.
3 is a diagram showing an embodiment of the present invention.
4 is a diagram showing a region of interest (ROI) according to the present invention.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 당해 분야의 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명하기로 한다. 첨부된 도면들에서 구성에 표기된 도면번호는 다른 도면에서도 동일한 구성을 표기할 때에 가능한 한 동일한 도면번호를 사용하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 도면에 제시된 어떤 특징들은 설명의 용이함을 위해 확대 또는 축소 또는 단순화된 것이고, 도면 및 그 구성요소들이 반드시 적절한 비율로 도시되어 있지는 않다. 그러나 당업자라면 이러한 상세 사항들을 쉽게 이해할 것이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. It should be noted that, in the accompanying drawings, the same reference number is used as much as possible when indicating the same configuration in other drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or a known configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, certain features shown in the drawings are enlarged or reduced or simplified for ease of description, and the drawings and their components are not necessarily drawn to scale. However, those skilled in the art will readily understand these details.

도 1은 본 발명에 따른 신호등 인식 시스템의 구성을 개략적으로 나타낸 블럭도이고, 도 2는 본 발명에 따른 신호등 인식 방법의 흐름을 나타낸 흐름도이고, 도 3은 본 발명의 실시예를 나타낸 도면이고, 도 4는 본 발명의 관심영역(Region of interest : ROI)을 나타낸 도면이다.1 is a block diagram schematically showing the configuration of a traffic light recognition system according to the present invention, FIG. 2 is a flow chart showing the flow of a traffic light recognition method according to the present invention, and FIG. 3 is a view showing an embodiment of the present invention, 4 is a diagram showing a region of interest (ROI) according to the present invention.

도 1에 도시된 바와 같이, 상기 신호등 인식 시스템(100)은 영상 수집부(200), 헤드유닛(300)을 포함한다.As shown in FIG. 1, the traffic light recognition system 100 includes an image collection unit 200 and a head unit 300.

상기 헤드유닛(300)은 판단부(310), 저장부(320)을 포함한다.The head unit 300 includes a determination unit 310 and a storage unit 320.

상기 영상 수집부(200)는 차량 전방의 적어도 하나 이상으로 설치되어, 주행중인 차량 전방의 영상을 촬영한다.The image collection unit 200 is installed in at least one in front of the vehicle, and captures an image in front of the driving vehicle.

상기 영상 수집부(200)는 주행중인 차량의 주행차로, 차선, 정지선, 신호등 등이 모두 촬영될 수 있는 각도로 설치됨이 바람직하다.The image collection unit 200 is preferably installed at an angle in which all of the driving lanes, lanes, stop lines, and traffic lights of the vehicle being driven can be photographed.

여기서, 상기 영상 수집부(200)는 본 발명을 설명하기 위해, 교차로 또는 도로의 신호등을 촬영하는 것으로 설명한다.Here, in order to explain the present invention, the image collection unit 200 will be described as photographing a traffic light of an intersection or road.

상기 영상 수집부(200)는 상기 헤드유닛(300)와 유선 또는 무선으로 연결될 수 있으며, 차량 내부에 전방을 바라보도록 블랙박스, AR카메라 등으로 이루어질 수 있다.The image collection unit 200 may be connected to the head unit 300 by wire or wirelessly, and may include a black box or an AR camera so as to face the front inside the vehicle.

따라서, 상기 영상 수집부(200)는 주행중인 차량 전방의 영상 중 자동차 신호등 또는 보행자 신호등을 인식하여, 상기 자동차 신호등 또는 상기 보행자 신호등의 영상 데이터를 획득할 수 있다.Accordingly, the image collection unit 200 may recognize a vehicle traffic light or a pedestrian traffic light among images in front of a vehicle being driven, and obtain image data of the vehicle traffic light or the pedestrian traffic light.

상기 헤드유닛(300)은 GPS(Global Positioning System)기법을 이용하거나, 위치추정기법을 통하여 주행중인 차량의 현재 위치를 탐색할 수 있다.The head unit 300 may search for a current location of a vehicle being driven using a GPS (Global Positioning System) technique or a location estimation technique.

따라서, 상기 헤드유닛(300)은 상기 GPS기법 또는 상기 위치추정기법으로 생성된 지도 데이터 상에 존재하는 상기 자동차 신호등, 상기 보행자 신호등의 데이터 테이블을 상기 저장부(320)에 저장한다.Accordingly, the head unit 300 stores in the storage unit 320 a data table of the vehicle traffic lights and the pedestrian traffic lights existing on the map data generated by the GPS technique or the location estimation technique.

여기서, 상기 데이터 테이블은 도 4를 참조하여, 후술되는 상기 데이터 테이블을 설명하도록 한다.Here, the data table will be described below with reference to FIG. 4.

또한, 상기 헤드유닛(300)은 적어도 하나 이상의 상기 자동차 신호등, 상기 보행자 신호등이 존재하는 도로의 관심영역(Region of interest : ROI)을 상기 저장부(320)에 저장한다.In addition, the head unit 300 stores in the storage unit 320 a region of interest (ROI) of a road in which at least one of the traffic lights for the vehicle and the pedestrian traffic lights exist.

여기서, 상기 헤드유닛(300)은 차량이 상기 관심영역 내에 도달함에 따라, 차량 전방의 상기 자동차 신호등 또는 상기 보행자 신호등이 촬영된 영상을 상기 판단부(310)에 전송한다.Here, as the vehicle reaches the region of interest, the head unit 300 transmits to the determination unit 310 an image of the vehicle traffic light or the pedestrian traffic light in front of the vehicle.

상기 저장부(320)는 복수의 신호등 형상들에 대한 신호등 패턴(예컨대, 사격형상 내부의 원) 및 신호등 색 패턴(예컨대, 빨강, 노랑, 녹색)들을 저장할 수 있다.The storage unit 320 may store a traffic light pattern (eg, a circle inside a shooting shape) and a traffic light color pattern (eg, red, yellow, green) for a plurality of traffic light shapes.

상기 판단부(310)는 상기 자동차 신호등 또는 상기 보행자 신호등의 상기 신호등 패턴, 상기 신호등 색 패턴을 기초하여, 상기 자동차 신호등 또는 상기 보행자 신호등 중 선택된 하나 이상의 특정 신호를 판단한다.The determination unit 310 determines at least one specific signal selected from among the vehicle traffic lights and the pedestrian traffic lights based on the traffic light pattern of the vehicle traffic light or the pedestrian traffic light, and the traffic light color pattern.

따라서, 상기 판단부(310)는 상기 관심영역내의 영상(RGB색상)을 HSI(H(Hue : 색상), S(Saturation : 채도), I(Intensity : 명도))을 변환하고, 빨강, 노랑, 녹색의 HSI범위를 가지고 필터링한 후에 잡음제거를 위해 형태 처리(Morphology processing)를 수행한다.Accordingly, the determination unit 310 converts the image (RGB color) in the region of interest to HSI (H (Hue: color), S (Saturation: saturation), I (Intensity: brightness)), and converts red, yellow, and After filtering with the green HSI range, Morphology processing is performed to remove noise.

그 후, 상기 자동차 신호등 또는 상기 보행자 신호등 인식의 영상 크기를 지정하고, 신호등의 가로/세로비를 이용하여 라벨링(Labelling)을 수행한 후, 사각형 안의 원이 나오는 형태인지를 체크하여, 신호등의 특정 신호를 인식한다.Thereafter, after designating the image size of the recognition of the traffic light of the automobile or the pedestrian traffic light, labeling is performed using the width/height ratio of the traffic light, it is checked whether a circle in the square appears, and the traffic light is specified. Recognize the signal.

그 후, 상기 자동차 신호등 또는 상기 보행자 신호등의 원이 나오는 형태인지를 체크하여, 신호등의 특정 신호를 인식한다.After that, it is checked whether the circle of the traffic light for the vehicle or the traffic light for the pedestrian appears, and a specific signal of the traffic light is recognized.

여기서, 상기 형태 처리는 영상의 기본적인 특징을 유지하면서 형태에 변화를 주는 것을 의미하고, 상기 라벨링은 채워진 영역에 고유한 번호를 매겨주는 방법으로서, 영상합성 등에 윤관을 그린 다음 내부를 특정한 색으로 채울 경우에 이용된다.Here, the shape processing means changing the shape while maintaining the basic characteristics of the image, and the labeling is a method of assigning a unique number to the filled area.After drawing an outline for image composition, etc., the interior is filled with a specific color. Used in case.

또한, 상기 판단부(310)는 상기 영상 수집부(200)를 통하여 획득되는 차량 전방의 영상 데이터를 기반으로 차량 전방의 주변 차량에 의한 신호 가림 또는 카메라 화각의 한계 또는 원거리 신호등에 의해 상기 자동차 신호등의 식별 가능 여부를 판단한다.In addition, the determination unit 310 is based on the image data in front of the vehicle obtained through the image collection unit 200, the signal is obstructed by the surrounding vehicle in front of the vehicle, the limit of the camera angle of view, or the vehicle signal light by a distance signal light. It is determined whether or not can be identified.

따라서, 상기 판단부(310)는 상기 영상 수집부(200)를 통하여 획득되는 차량 전방의 상기 영상 데이터에 상기 자동차 신호등, 상기 보행자 신호등을 포함하는 상기 영상 데이터를 통하여, 상기 자동차 신호등 또는 상기 보행자 신호등을 식별 가능한 것이다.Therefore, the determination unit 310 is the vehicle traffic light or the pedestrian traffic light through the image data including the vehicle traffic light and the pedestrian traffic light in the image data in front of the vehicle acquired through the image collection unit 200 Can be identified.

이에 따라, 상기 판단부(310)는 상기 자동차 신호등의 식별 가능 여부에서, 상기 자동차 신호등의 식별이 불가한 경우, 상기 보행자 신호등의 점등된 신호를 판별한다.Accordingly, the determination unit 310 determines whether or not the vehicle traffic light can be identified, and when the vehicle traffic light cannot be identified, the lighted signal of the pedestrian traffic light is determined.

여기서, 도 3을 참조하여, 상기 보행자 신호등의 점등된 신호를 판별하는 방법을 예를 들면, 상기 헤드유닛(300)은 주행중인 차량의 위치가 교차로 또는 적어도 하나 이상의 자동차 신호등, 보행자 신호등(b)이 존재하는 도로의 상기 관심영역에 도달한 것으로 판단한다.Here, referring to FIG. 3, for example, a method of determining the lighted signal of the pedestrian traffic light is described in the head unit 300 in which the location of the driving vehicle is an intersection or at least one or more vehicle traffic lights, pedestrian traffic lights (b) It is determined that the region of interest of the existing road has been reached.

이에 따라, 상기 영상 수집부(200)는 주행중인 차량 전방의 상기 자동차 신호등 또는 상기 보행자 신호등을 촬영한 영상 데이터(10)를 상기 판단부(310)로 전송한다.Accordingly, the image collection unit 200 transmits the image data 10 photographed of the vehicle traffic light or the pedestrian traffic light in front of the driving vehicle to the determination unit 310.

따라서, 상기 판단부(310)는 상기 영상 데이터(10)에 기초하여, 상기 자동차 신호등이 존재하지 않을 경우, 상기 보행자 신호등(b)을 인식하고, 상기 보행자 신호등(b)의 점등되는 특정 신호를 인식한다.Therefore, the determination unit 310, based on the image data 10, recognizes the pedestrian traffic light (b) when the vehicle traffic light does not exist, and detects a specific signal to be lit on the pedestrian traffic light (b). Recognize.

여기서, 상기 특정 신호는 건넘 표시(녹색), 정지 표시(빨강) 중 선택된 어느 하나의 신호일 수 있다.Here, the specific signal may be any one selected from a crossing indication (green) and a stop indication (red).

이어서, 상기 판단부(310)는 상기 특정 신호를 인식하여, 상기 관심영역의 교통 신호를 예측하는 것이다.Subsequently, the determination unit 310 recognizes the specific signal and predicts the traffic signal of the region of interest.

상기한 구성의 신호등 인식 시스템(100)에 따른 '신호등 인식 방법'을 상세하게 설명한다.A'traffic light recognition method' according to the traffic light recognition system 100 having the above configuration will be described in detail.

도 2에 도시된 바와 같이, 상기 영상 수집부(200)는 주행중인 차량이 상기 관심영역에 도달하면, 주행중인 차량 전방의 영상을 획득하는 단계를 수행한다.(S200)As shown in FIG. 2, when the driving vehicle reaches the region of interest, the image collection unit 200 performs a step of obtaining an image in front of the driving vehicle (S200).

여기서, 상기 영상 수집부(200)는 차량 전방의 상기 자동차 신호등 또는 상기 보행자 신호등이 촬영된 영상을 상기 판단부(310)로 전송하는 단계를 수행한다.(S210)Here, the image collection unit 200 performs a step of transmitting an image of the vehicle traffic light or the pedestrian traffic light in front of the vehicle to the determination unit 310 (S210).

상기 판단부(310)는 상기 영상 수집부(200)를 통하여 획득되는 차량 전방의 상기 자동차 신호등, 상기 보행자 신호등을 포함하는 상기 영상 데이터에 기초하여, 상기 관심영역에 존재하는 상기 자동차 신호등 또는 상기 보행자 신호등을 인식하는 단계를 수행한다.(S220)The determination unit 310 is based on the image data including the vehicle traffic light and the pedestrian traffic light in front of the vehicle obtained through the image collection unit 200, the vehicle traffic light or the pedestrian existing in the region of interest. Performs the step of recognizing the traffic light (S220)

상기 판단부(310)는 상기 자동차 신호등 또는 상기 보행자 신호등 중 선택된 하나 이상의 특정 신호를 인식 가능한 것을 판단하는 단계를 수행한다.(S230)The determination unit 310 performs a step of determining that one or more specific signals selected from among the automobile traffic lights and the pedestrian traffic lights are recognizable (S230).

여기서, 상기 판단부(310)는 상기 자동차 신호등의 식별 가능 여부를 판단하는 단계를 수행한다.(S240)Here, the determination unit 310 performs a step of determining whether the vehicle traffic light can be identified (S240).

따라서, 상기 판단부(310)는 상기 자동차 신호등의 식별이 불가한 경우, 상기 보행자 신호등의 점등된 특정 신호를 판별하는 단계를 수행한다.(S250)Accordingly, the determination unit 310 performs the step of determining the lit specific signal of the pedestrian traffic light when the identification of the vehicle traffic light is impossible. (S250)

여기서, 상기 판단부(310)는 도 3에 도시된 바와 같이, 상기 보행자 신호등의 점등된 특정 신호를 판별할 수 있다.Here, the determination unit 310 may determine the lighted specific signal of the pedestrian traffic light, as shown in FIG. 3.

상기 판단부(310)는 상기 보행자 신호등의 점등된 신호에 기초하여, 차량의 진행 방향에 대한 교통 신호를 예측하는 단계를 수행한다.(S260)The determination unit 310 performs a step of predicting a traffic signal for a driving direction of the vehicle based on the lighted signal of the pedestrian traffic light (S260).

도 4를 참조하여, 상기 관심영역에 대한 상기 데이터 테이블을 상세하게 설명한다.Referring to FIG. 4, the data table for the ROI will be described in detail.

도 4는 본 발명에 따른 관심영역을 나타낸 도면이다.4 is a diagram showing a region of interest according to the present invention.

상기 헤드유닛(300)은 상기 관심영역의 지도 데이터 상에 존재하는 자동차 신호등(a), 보행자 신호등(b)의 정보를 구축하고 있다.The head unit 300 constructs information on a traffic light (a) for a vehicle and a traffic light for pedestrians (b) existing on the map data of the region of interest.

따라서, 상기 헤드유닛(300)은 차량(c)의 진행 방향을 인지하고, 상기 차량(c)의 진행 방향에 따른 상기 자동차 신호등(a) 또는 상기 보행자 신호등(b)의 작동 상황 정보를 포함한다.Accordingly, the head unit 300 recognizes the traveling direction of the vehicle c, and includes information on the operation status of the vehicle traffic light a or the pedestrian traffic light b according to the traveling direction of the vehicle c. .

상기 관심영역에 대한 상기 데이터 테이블은 아래의 표 1과 같이 나타낼 수 있다.The data table for the ROI may be represented as Table 1 below.

차량 위치에 따른 기준 교차로Reference intersection according to vehicle location 자동차 신호등 상태Car traffic light status 보행자 신호등 상태Pedestrian traffic light condition 신호등상태Traffic light condition 진행방향Direction 출발점starting point 도착점Arrival point ①① 직진/좌회전Go straight/turn left 직진Straight ①① ②② ④④ 좌회전turn left ①① ③③ 직진Straight 직진Straight ①① ②② ③③ 직진Straight ②② ①① ②② 직진/좌회전Go straight/turn left 직진Straight ②② ①① ④④ 좌회전turn left ②② ②② 직진Straight 직진Straight ②② ①① ③③ 직진Straight ①① ②② ③③ 직진/좌회전Go straight/turn left 직진Straight ③③ ④④ ①① 좌회전turn left ③③ ②② 직진Straight 직진Straight ③③ ④④ ②② 직진Straight ④④ ③③ ④④ 직진/좌회전Go straight/turn left 직진Straight ④④ ③③ ②② 좌회전turn left ④④ ①① 직진Straight 직진Straight ④④ ③③ ①① 직진Straight ③③ ③③

상기 표 1에 나타낸 바와 같이, 상기 관심영역에 대한 상기 데이터 테이블은 상기 자동차 신호등(a)의 식별이 불가한 경우, 상기 보행자 신호등(b)의 점등된 신호를 판별한다.As shown in Table 1, the data table for the region of interest determines the lighted signal of the pedestrian traffic light (b) when the vehicle traffic light (a) cannot be identified.

예를 들어, 상기 차량(c) 위치에 따른 기준 교차로 중 ③에 상기 차량(c)이 위치하고, 상기 차량(c)가 진행 방향 즉, 출발점(③)과 도착점(④)일 경우, 상기 자동차 신호등(a)의 식별이 불가함에 따라, 상기 보행자 신호등(b)의 점등되는 특정 신호를 감지한다.For example, if the vehicle (c) is located at ③ of the reference intersection according to the location of the vehicle (c), and the vehicle (c) is in the direction of travel, that is, the starting point (③) and the arrival point (④), the vehicle traffic light As identification of (a) is impossible, a specific signal to be lit of the pedestrian traffic light (b) is detected.

따라서, 상기 판단부(310)는 상기 보행자 신호등(b)의 점등되는 특정 신호에 기초하여, 상기 자동차 신호등(a)의 교통 신호를 직진임을 예측할 수 있다.Accordingly, the determination unit 310 may predict that the traffic signal of the vehicle traffic light a is going straight on the basis of the specific signal to be turned on of the pedestrian traffic light b.

이상에서 본 발명의 기술적 사상을 예시하기 위해 구체적인 실시 예로 도시하고 설명하였으나, 본 발명은 상기와 같은 구체적인 실시 예와 동일한 구성 및 작용에만 국한되지 않고, 여러가지 변형이 본 발명의 범위를 벗어나지 않는 한도 내에서 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.Although shown and described above by specific embodiments to illustrate the technical idea of the present invention, the present invention is not limited to the same configuration and operation as the specific embodiments as described above, and various modifications are within the scope of the present invention. Can be carried out in Therefore, such modifications should be regarded as belonging to the scope of the present invention, and the scope of the present invention should be determined by the claims to be described later.

100 : 신호등 인식 시스템 200 : 영상 수집부
300 : 헤드유닛 310 : 판단부
320 : 저장부100: traffic light recognition system 200: image collection unit
300: head unit 310: determination unit
320: storage unit

Claims (10)

주행중인 차량 전방의 영상 중 자동차 신호등, 보행자 신호등의 영상 데이터를 획득하는 영상 수집부; 및
상기 영상 수집부에서 획득한 영상 데이터에 미리 저장한 신호등 패턴 및 신호등 색 패턴을 적용하여 상기 영상 데이터가 자동차 신호등 및 보행자 신호등인가를 구분하고, 상기 자동차 신호등 또는 상기 보행자 신호등의 점등되는 신호에 기초하여, 선택된 하나 이상의 특정 신호를 판단하는 판단부를 포함하며, 적어도 하나 이상의 상기 자동차 신호등, 상기 보행자 신호등이 존재하는 도로의 관심영역(Region of interest: ROI)을 저장하는 헤드유닛;을 포함하고,
상기 보행자 신호등은 상기 주행 중인 차량의 진행차선과 동일한 진행방향의 보행자 신호등 및 상기 주행 중인 차량의 진행방향과 반대 차선의 보행자 신호등을 포함하며,
상기 특정 신호는 건넘 표시 및 정지 표시인 것을 특징으로 하는, 신호등 인식 시스템. An image collection unit that acquires image data of a traffic light for a vehicle and a traffic light for a pedestrian among images in front of the vehicle being driven; And
By applying a traffic light pattern and a traffic light color pattern stored in advance to the image data acquired by the image collection unit, the image data is divided into whether or not the image data is a car traffic light or a pedestrian traffic light, , A head unit including a determination unit for determining one or more selected specific signals, and storing a region of interest (ROI) of a road in which at least one of the vehicle traffic lights and the pedestrian traffic lights exist; and
The pedestrian traffic light includes a pedestrian traffic light in the same direction as the driving lane of the driving vehicle and a pedestrian traffic light in a lane opposite to the driving direction of the driving vehicle,
The specific signal is characterized in that the crossing indication and stop indication, traffic light recognition system. 청구항 1에 있어서,
상기 관심영역은,
GPS기법 또는 위치추정기법으로 생성된 지도 데이터 상에 존재하는 상기 자동차 신호등, 상기 보행자 신호등 정보의 데이터 테이블을 포함하는 것을 특징으로 하는, 신호등 인식 시스템.The method according to claim 1,
The region of interest is,
A traffic light recognition system comprising a data table of information on the traffic lights of the vehicle and the traffic lights of the pedestrians present on the map data generated by the GPS technique or the location estimation technique. 청구항 1에 있어서,
상기 영상 수집부는,
상기 차량이 상기 관심영역 내에 도달함에 따라, 상기 차량 전방의 상기 자동차 신호등 또는 상기 보행자 신호등이 촬영된 영상을 상기 판단부로 전송하는 것을 특징으로 하는, 신호등 인식 시스템.The method according to claim 1,
The image collection unit,
As the vehicle reaches the region of interest, the traffic light recognition system, characterized in that for transmitting an image of the vehicle traffic light or the pedestrian traffic light in front of the vehicle to the determination unit. 청구항 3에 있어서,
상기 판단부는,
상기 자동차 신호등의 식별 가능 여부를 판단하는 것을 특징으로 하는, 신호등 인식 시스템.The method of claim 3,
The determination unit,
Characterized in that determining whether the vehicle traffic light can be identified, traffic light recognition system. 청구항 4에 있어서,
상기 판단부는,
상기 자동차 신호등의 식별이 불가한 경우, 상기 보행자 신호등의 점등된 신호를 판별하는 것을 특징으로 하는, 신호등 인식 시스템.The method of claim 4,
The determination unit,
When it is impossible to identify the vehicle traffic light, characterized in that to determine the lighted signal of the pedestrian traffic light, traffic light recognition system. 청구항 5에 있어서,
상기 판단부는,
상기 보행자 신호등의 점등된 신호에 기초하여, 상기 관심영역의 교통 신호를 예측하는 것을 특징으로 하는, 신호등 인식 시스템.The method of claim 5,
The determination unit,
Based on the lighted signal of the pedestrian traffic light, characterized in that predicting the traffic signal of the region of interest, traffic light recognition system. 주행중인 차량이 관심영역에 도달하면, 영상 수집부를 이용하여 주행중인 상기 차량 전방의 영상을 획득하는 단계;
상기 영상을 획득하는 단계에서 획득한 상기 영상에 미리 저장한 신호등 패턴 및 신호등 색 패턴을 적용하여 상기 영상이 상기 관심영역의 자동차 신호등 및 보행자 신호등인가를 인식하는 단계;
상기 차량 전방의 상기 자동차 신호등, 상기 보행자 신호등 중 선택된 하나 이상의 특정 신호의 인식 가능여부를 판단하는 단계; 및
상기 보행자 신호등의 점등된 신호에 기초하여, 상기 차량의 진행 방향에 대한 교통 신호를 예측하는 단계;를 포함하며,
상기 보행자 신호등은 상기 주행 중인 차량의 진행차선과 동일한 진행방향의 보행자 신호등 및 상기 주행 중인 차량의 진행방향과 반대 차선의 보행자 신호등을 포함하며,
상기 특정 신호는 건넘 표시 및 정지 표시인 것을 특징으로 하는, 신호등 인식 방법. When the driving vehicle reaches the region of interest, acquiring an image in front of the driving vehicle using an image collecting unit;
Recognizing whether the image is an automobile traffic light or a pedestrian traffic light in the region of interest by applying a previously stored traffic light pattern and a traffic light color pattern to the image acquired in the step of obtaining the image;
Determining whether one or more specific signals selected from among the vehicle traffic lights and the pedestrian traffic lights in front of the vehicle can be recognized; And
Predicting a traffic signal for the driving direction of the vehicle based on the lighted signal of the pedestrian traffic light; includes,
The pedestrian traffic light includes a pedestrian traffic light in the same direction as the driving lane of the driving vehicle and a pedestrian traffic light in a lane opposite to the driving direction of the driving vehicle,
The specific signal is characterized in that the crossing display and stop display, traffic light recognition method. 청구항 7에 있어서,
상기 영상을 획득하는 단계는,
상기 차량 전방의 상기 자동차 신호등 또는 상기 보행자 신호등이 촬영된 영상을 판단부로 전송하는 단계;
를 더 포함하는 것을 특징으로 하는, 신호등 인식 방법.The method of claim 7,
The step of obtaining the image,
Transmitting an image of the vehicle traffic light or the pedestrian traffic light in front of the vehicle to a determination unit;
Characterized in that it further comprises a, traffic light recognition method. 청구항 7에 있어서,
상기 판단하는 단계는,
상기 자동차 신호등의 식별 가능 여부를 판단하는 단계;
를 더 포함하는 것을 특징으로 하는, 신호등 인식 방법.The method of claim 7,
The determining step,
Determining whether the vehicle traffic light can be identified;
Characterized in that it further comprises a, traffic light recognition method. 청구항 7에 있어서,
상기 판단하는 단계는,
상기 자동차 신호등의 식별이 불가한 경우, 상기 보행자 신호등의 점등된 신호를 판별하는 단계;
를 더 포함하는 것을 특징으로 하는, 신호등 인식 방법.The method of claim 7,
The determining step,
Determining a lighted signal of the pedestrian traffic light when the vehicle traffic light cannot be identified;
Characterized in that it further comprises a, traffic light recognition method.
KR1020150176898A 2015-12-11 2015-12-11 System and method of detecting signal light KR102252913B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150176898A KR102252913B1 (en) 2015-12-11 2015-12-11 System and method of detecting signal light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150176898A KR102252913B1 (en) 2015-12-11 2015-12-11 System and method of detecting signal light

Publications (2)

Publication Number Publication Date
KR20170069551A KR20170069551A (en) 2017-06-21
KR102252913B1 true KR102252913B1 (en) 2021-05-18

Family

ID=59282142

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150176898A KR102252913B1 (en) 2015-12-11 2015-12-11 System and method of detecting signal light

Country Status (1)

Country Link
KR (1) KR102252913B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030082B1 (en) * 2019-06-03 2019-10-10 부산대학교 산학협력단 Selective Crowdsourcing System for Traffic Signal Estimation and Methods Thereof
KR20220170344A (en) 2021-06-22 2022-12-29 한국전자통신연구원 Apparatus for recognizing traffic light using active camera and method using the same
WO2023167345A1 (en) * 2022-03-03 2023-09-07 이상혁 Autonomous driving system and autonomous driving method capable of responding to traffic signal recognition failure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100389501B1 (en) 2000-05-09 2003-06-27 유창열 control method of traffic signal lamp for protecting
JP4926182B2 (en) * 2006-09-28 2012-05-09 パイオニア株式会社 Signal recognition apparatus, signal recognition method, signal recognition program, and recording medium
KR101259159B1 (en) 2011-11-07 2013-04-30 에스엘 주식회사 Vehicle warning apparatus by recognizing traffic light and method thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010066431A (en) * 1999-12-31 2001-07-11 이계안 Control apparatus and method for safe driving of auto mobile
KR101155270B1 (en) 2006-01-11 2012-06-18 주식회사 현대오토넷 System and method for reporting change of signal lamp using image recognition
KR20090055848A (en) * 2007-11-29 2009-06-03 한국전자통신연구원 Apparatus and method of detecting signal light

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100389501B1 (en) 2000-05-09 2003-06-27 유창열 control method of traffic signal lamp for protecting
JP4926182B2 (en) * 2006-09-28 2012-05-09 パイオニア株式会社 Signal recognition apparatus, signal recognition method, signal recognition program, and recording medium
KR101259159B1 (en) 2011-11-07 2013-04-30 에스엘 주식회사 Vehicle warning apparatus by recognizing traffic light and method thereof

Also Published As

Publication number Publication date
KR20170069551A (en) 2017-06-21

Similar Documents

Publication Publication Date Title
CN111212772B (en) Method and device for determining a driving strategy of a vehicle
CN105185140B (en) A kind of auxiliary driving method and system
US10427588B1 (en) Automatic beam-shaping using an on-car camera system
US11727799B2 (en) Automatically perceiving travel signals
US8600673B2 (en) Driving assistance apparatus
KR101768500B1 (en) Drive assistance apparatus and method for controlling the same
US10650256B2 (en) Automatically perceiving travel signals
US20180299893A1 (en) Automatically perceiving travel signals
CN102371937A (en) Motor vehicle with digital projectors
CN110789450B (en) Vehicle meeting danger alarm prompting method and system and vehicle
KR20120078765A (en) Traffic signallamp system in cross roads using theimage camera
KR102252913B1 (en) System and method of detecting signal light
EP3612424A1 (en) Automatically perceiving travel signals
CN111469763A (en) Parking assist system utilizing parking space occupancy readings
JP2018007077A (en) Imaging device and automobile
JP2012221303A (en) In-vehicle lighting device for driving support and in-vehicle driving support device and driving support system
WO2010050095A1 (en) Headlamp controller
KR102418051B1 (en) Lane traffic situation judgement apparatus, system, and method thereof
JP5274984B2 (en) Driving support system
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
KR20170030816A (en) Smart cruise control apparatus and method with traffic sign detecting function
CN107554422B (en) Automobile safety warning device and automobile safety warning method
KR102004818B1 (en) Device For Warning Driver Of Vehicle Against Danger Of Overtaking
KR101508663B1 (en) Traffic control device using an image sensing device
JP2016517103A (en) Method for activating the driver assistant function when detecting the light of the brake light using the camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant