KR101932200B1 - Apparatus for presenting auxiliary pedestrian sign using image recognition technique, method thereof and computer recordable medium storing program to perform the method - Google Patents
Apparatus for presenting auxiliary pedestrian sign using image recognition technique, method thereof and computer recordable medium storing program to perform the method Download PDFInfo
- Publication number
- KR101932200B1 KR101932200B1 KR1020160147468A KR20160147468A KR101932200B1 KR 101932200 B1 KR101932200 B1 KR 101932200B1 KR 1020160147468 A KR1020160147468 A KR 1020160147468A KR 20160147468 A KR20160147468 A KR 20160147468A KR 101932200 B1 KR101932200 B1 KR 101932200B1
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- signal
- image
- coordinate
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 신호등 및 촬영 범위 내의 인도, 차도 및 횡단보도 영역을 포함하는 상기 신호등 주변 영역을 촬영하는 카메라부와, 상기 카메라부가 촬영한 영상으로부터 보행자 신호 및 보행자 위치를 식별하고, 상기 보행자 신호 및 상기 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호인 보행자 보조 신호를 출력하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 보행자 보조 신호 제공 장치와, 이에 따른 방법 및 기록매체를 제공한다. The present invention relates to a pedestrian assist signal providing apparatus using image recognition, a method therefor, and a computer readable recording medium on which a program for carrying out the method is recorded. The present invention relates to a pedestrian assist signal providing apparatus, A camera section for photographing the area surrounding the traffic lights including the area including the area, a pedestrian signal and a pedestrian position from the image taken by the camera section, and a signal for visually and aurally expressing the position of the pedestrian signal and the pedestrian And a control unit for controlling the pedestrian assistance signal to output the pedestrian assistance signal, and a method and a recording medium therefor.
Description
본 발명은 보행자 보조 신호 제공 기술에 관한 것으로, 보다 상세하게는, 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다. The present invention relates to a pedestrian assist signal providing technique, and more particularly, to a pedestrian assistance signal providing device using image recognition, a method therefor, and a computer readable recording medium on which a program for performing the method is recorded.
2013년 미국 오하이오 주립대학의 잭 나사 교수팀의 연구에 따르면, 2005년부터 2010년까지 5년 새 스마트폰으로 인한 보행자의 부상이 두 배 이상 증가했고, 2010~2015년에는 또 다시 두 배가 늘 것이라고 전망했다. 횡아우스부르크에서는 19살 소년이 스마트폰을 보면서 철길을 건너다가 기차에 치여 중상을 입는 사고가 발생했다. 스마트폰으로 인한 횡단보도 주변의 보행자 안전, 횡단보도 주변의 안전사교 예방을 위한 안전장치 마련이 요구된다. According to a study by Jacks Nguyen's team at Ohio State University in the US in 2013, pedestrian injuries due to new smartphones for five years from 2005 to 2010 have more than doubled and will double again in 2010-2015 "He said. In Auschwitz, a 19-year-old boy was seriously injured by a train crossing a railway station while watching a smartphone. It is required to provide pedestrian safety around pedestrian crossing due to smart phone and safety device for safety social around pedestrian crossing.
본 발명의 목적은 보행자의 안전, 특히, 길거리에서 스마트폰을 사용하는 보행자의 안전을 위한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. An object of the present invention is to provide a pedestrian assist signal providing device for safety of a pedestrian, especially a pedestrian using a smartphone in the street, a method therefor, and a computer readable recording medium on which a program for performing the method is recorded have.
또한, 본 발명의 다른 목적은 기존 신호등에 대한 수정, 교체 등의 작업 없이 설치할 수 있는 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. It is another object of the present invention to provide a pedestrian assist signal providing apparatus which can be installed without modification or replacement of an existing traffic light, a method therefor, and a computer readable recording medium on which a program for performing the method is recorded .
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 보행자 보조 신호 제공 장치는 신호등 및 촬영 범위 내의 인도, 차도 및 횡단보도 영역을 포함하는 상기 신호등 주변 영역을 촬영하는 카메라부와, 상기 카메라부가 촬영한 영상으로부터 보행자 신호 및 보행자 위치를 식별하고, 상기 보행자 신호 및 상기 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호인 보행자 보조 신호를 출력하도록 제어하는 제어부를 포함한다. According to another aspect of the present invention, there is provided an apparatus for providing a signal for a pedestrian, comprising: a camera unit for photographing a signal surrounding the signal light including a signal light and an in-vehicle, And a control unit for identifying the pedestrian signal and the position of the pedestrian from the image photographed by the camera and outputting the pedestrian assist signal as a signal for visually and audibly expressing the position of the pedestrian signal and the pedestrian.
상기 보행자 보조 신호 제공 장치는 영상을 영사하는 프로젝션부를 더 포함하며, 상기 제어부는 상기 보행자의 위치가 상기 횡단보도 혹은 상기 차도인 경우, 보행자가 시각적으로 부각되도록 상기 프로젝션부를 통해 상기 보행자에 대해 영상을 영사하는 것을 특징으로 한다. The pedestrian assistant signal providing apparatus may further include a projection unit for projecting an image, wherein, when the position of the pedestrian is the pedestrian crossing or the roadway, the pedestrian is visually highlighted by the pedestrian through the projection unit And projecting.
상기 제어부는 상기 촬영된 영상에서 상기 보행자의 뒷모습을 식별하고, 상기 식별된 보행자의 뒷모습 영역에 매칭되는 영상을 생성한 후, 상기 프로젝션부를 통해 보행자의 뒷모습 영역에 상기 생성된 영상을 영사하는 것을 특징으로 한다. The control unit identifies the rear view of the pedestrian in the photographed image, generates an image matched to the backward and forward region of the identified pedestrian, and projects the generated image in the backward and forward region of the pedestrian through the projection unit .
상기 제어부는 상기 촬영된 영상에서 상기 보행자의 뒷모습을 식별하고, 상기 프로젝션부를 통해 상기 식별된 보행자의 뒷모습 방향으로부터 보행자 위치의 바닥 영역에 기 설정된 형상 및 크기를 가지는 영상을 영사하는 것을 특징으로 한다. Wherein the control unit identifies the rear view of the pedestrian from the photographed image and projects an image having a predetermined shape and size in a bottom area of the pedestrian position from the backward and forward direction of the identified pedestrian through the projection unit.
상기 제어부는 상기 촬영된 영상에서 보행자의 뒷모습을 식별하고, 상기 프로젝션부를 통해 상기 식별된 보행자의 뒷모습이 위치한 방향으로부터 보행자 위치의 바닥 부분을 포함하면서 상기 횡단보도 혹은 상기 차도를 가로지르는 영역에 영상을 영사하는 것을 특징으로 한다. Wherein the controller identifies the rear view of the pedestrian from the photographed image and displays the image on an area across the pedestrian crossing or the roadway including the bottom part of the position of the pedestrian from the direction in which the rear view of the identified pedestrian is located, And projecting.
상기 보행자 보조 신호 제공 장치는 오디오 신호를 출력하는 오디오처리부를 더 포함하며, 상기 제어부는 상기 보행자 신호 및 상기 보행자의 위치의 조합에 따라 안내, 주의 및 경고 중 어느 하나의 내용을 제공하는 오디오 신호를 상기 오디오처리부를 통해 출력하는 것을 특징으로 한다. The pedestrian auxiliary signal providing apparatus may further include an audio processing unit for outputting an audio signal, and the control unit may generate an audio signal for providing either guidance, attention, or warning according to the combination of the pedestrian signal and the position of the pedestrian And outputs it through the audio processing unit.
상기 보행자 보조 신호 제공 장치는 신호를 송신하는 신호송신부를 더 포함하며, 상기 제어부는 상기 보행자 신호 및 상기 보행자의 위치를 사용자장치가 수신하여 상기 보행자 신호 및 상기 보행자의 위치의 조합에 따라 안내, 주의 및 경고 중 어느 하나의 내용을 제공하는 오디오 신호 혹은 화면 데이터를 출력하도록 상기 보행자 신호 및 상기 보행자의 위치를 상기 신호송신부를 통해 상기 사용자장치로 전송하는 것을 특징으로 한다. Wherein the pedestrian signal and the position of the pedestrian are received by the user device and the guide information and the pedestrian information are provided according to a combination of the pedestrian signal and the position of the pedestrian, And transmits the position of the pedestrian signal and the pedestrian to the user device through the signal transmission unit so as to output an audio signal or screen data providing any one of the contents of the pedestrian signal and the warning.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 신호제공장치의 보행자 보조 신호 제공 방법은 신호등 및 촬영 범위 내의 인도, 차도 및 횡단보도 영역을 포함하는 상기 신호등 주변 영역을 촬영하는 단계와, 상기 카메라부가 촬영한 영상으로부터 보행자 신호 및 보행자 위치를 식별하는 단계와, 상기 보행자 신호 및 상기 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호인 보행자 보조 신호를 출력하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of providing a signal for providing a pedestrian assist signal, comprising the steps of: photographing a signal light surrounding area of the traffic light including a traffic light, Identifying a pedestrian signal and a position of a pedestrian from the image photographed by the camera section, and outputting a pedestrian assist signal as a signal for visually and audibly expressing the position of the pedestrian signal and the pedestrian.
또한, 전술한 본 발명의 바람직한 실시예에 따른 신호제공장치의 보행자 보조 신호 제공 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다. The present invention also provides a computer-readable recording medium on which a program for performing a method of providing a pedestrian assist signal of a signal providing apparatus according to a preferred embodiment of the present invention is recorded.
본 발명에 따르면, 횡단보도 근처를 주행하는 차량의 운전자가 보행자를 명확하게 식별할 수 있도록 하며, 보행자의 사용자 장치, 대표적으로, 스마트폰에 보행자 신호를 포함하는 횡단보도 주변 상황에 대한 정보를 제공함으로써 횡단보도 근처에서 보행자의 안전사고를 예방할 수 있다. According to the present invention, a driver of a vehicle traveling near a pedestrian crossing can clearly identify a pedestrian, and provides information on the pedestrian's user device, typically a pedestrian crossing including a pedestrian signal on a smartphone This can prevent pedestrian safety accidents near the pedestrian crossing.
더욱이, 이러한 본 발명의 실시예에 따른 보행자 보조 신호 제공 장치는 기존 신호등에 대한 수정, 교체 등의 작업 없이 설치할 수 있기 때문에 획기적으로 비용을 절감할 수 있다. Furthermore, since the pedestrian assistance signal providing apparatus according to the embodiment of the present invention can be installed without modification or replacement of existing traffic lights, cost can be drastically reduced.
도 1은 본 발명의 실시예에 따른 보행자 보조 신호 제공 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시예에 따른 신호제공장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 보조표시장치의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 사용자장치의 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다. 1 is a conceptual diagram for explaining a pedestrian assist signal providing system according to an embodiment of the present invention.
2 is a block diagram for explaining a configuration of a signal providing apparatus according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration of an auxiliary display apparatus according to an embodiment of the present invention.
4 is a block diagram illustrating a configuration of a user apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a method of providing a pedestrian assist signal according to an embodiment of the present invention.
6 is a flowchart illustrating a method of providing a pedestrian assist signal according to an embodiment of the present invention.
7 to 9 are views for explaining a method of providing a pedestrian assist signal according to an embodiment of the present invention.
10 is a flowchart illustrating a method of providing a pedestrian assist signal according to an embodiment of the present invention.
11 is a flowchart illustrating a method of providing a pedestrian assist signal according to an embodiment of the present invention.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims should not be construed as limited to ordinary or preliminary meaning, and the inventor may designate his own invention in the best way It should be construed in accordance with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term to describe it. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that, in the drawings, the same components are denoted by the same reference symbols as possible. Further, the detailed description of known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some of the elements in the accompanying drawings are exaggerated, omitted, or schematically shown, and the size of each element does not entirely reflect the actual size.
먼저, 본 발명의 실시예에 따른 보행자 보조 신호 제공 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 보행자 보조 신호 제공 시스템을 설명하기 위한 개념도이다. First, the pedestrian assistance signal providing system according to the embodiment of the present invention will be described. 1 is a conceptual diagram for explaining a pedestrian assist signal providing system according to an embodiment of the present invention.
도 1을 참조하면, 일반적인 도로의 경우, 인도(P)와 인도(P) 사이에 차도(R)가 있으며, 차도(R)를 가로질러 횡단보도(C)가 형성된다. 또한, 횡단보도(C)와 인도(P)가 접하는 인도(P) 상에 한 쌍의 신호등(T: 보행 신호등)이 형성된다. 이러한 한 쌍의 신호등(T)은 횡단보도(C)를 사이에 두고 서로 대각으로 마주보도록 형성된다. Referring to FIG. 1, in the case of a general road, there is a roadway R between the roadway P and the roadway P, and a crosswalk C is formed across the roadway R. In addition, a pair of signal lamps (T: a walking signal) is formed on the sidewalk P to which the crosswalk C and the sidewalk P contact. The pair of signal lights T are formed to face each other with a crosswalk C therebetween.
본 발명의 실시예에 따른 보행자 보조 신호 제공 시스템은 신호등(T)과 유선 혹은 무선 연결 없이 비접촉 방식으로 보행자 신호를 판별한 후, 보행자 신호에 따라 횡단보도 주변의 보행자의 안전사고를 예방하기 위한 각종 신호를 제공하기 위한 것이다. 도 1을 참조하면, 이러한 보행자 보조 신호 제공 시스템은 신호제공장치(100), 보조표시장치(200) 및 사용자장치(300)를 포함한다. 신호제공장치(100)는 신호등(T)과 쌍으로 형성되며, 횡단보도(C) 건너편 신호등(T)을 대향하여 신호등(T)이 설치된 인도(P)의 건너편 인도(P)에 설치된다. 보조표시장치(200)는 횡단보도(C)와 인도(P)가 접하는 부분의 인도(P) 상에 설치된다. 사용자장치(300)는 휴대형 장치이거나, 차량에 설치된 장치가 될 수 있다. 사용자장치(300)가 휴대형 장치인 경우, 대표적으로, 스마트폰을 예시할 수 있으며, 사용자장치(300)가 차량에 설치된 장치인 경우, 대표적으로, 트립(trip) 컴퓨터를 예시할 수 있다. A system for providing a pedestrian assist signal according to an embodiment of the present invention is a system for discriminating a pedestrian signal from a traffic light (T) in a non-contact manner without a wired or wireless connection, Signal. Referring to FIG. 1, such a pedestrian auxiliary signal providing system includes a
신호제공장치(100)는 지속적으로 신호등(T) 및 횡단보도(C) 주변의 영상을 촬영하고, 이러한 영상으로부터 신호등(T)의 보행자 신호를 수집하고, 인도(P), 횡단보도(C) 혹은 차도(R) 상의 보행자를 식별한다. 여기서, 보행자 신호는 보행자의 횡단보도 횡단 가능 여부를 나타내기 위한 신호이며, 적색등, 황색등, 녹색등, 녹색등 점멸, 녹색등 남은 시간 등을 포함할 수 있다. The
본 발명의 실시예에 따른 신호제공장치(100)는 보행자 신호 및 보행자 위치(P, C, R)에 따라 보행자를 보호하기 위한 프로세스를 수행한다. 일 실시예에 따르면, 신호제공장치(100)는 직접, 보행자 혹은 횡단보도 주변의 차량 운전자가 시각적 그리고 청각적으로 보행자의 위치 및 상태를 인식할 수 있도록 하는 영상, 음향, 음성 등을 출력할 수 있다. 다른 실시예에 따르면, 신호제공장치(100)는 보행자가 휴대한 사용자장치(300) 혹은 횡단보도 주변의 차량의 사용자장치(300)가 보행자의 위치 및 상태를 시각적 혹은 청각적인 신호로 출력하도록 사용자장치(300)로 보행자 신호 및 보행자 위치(P, C, R)를 제공할 수 있다. 또 다른 실시예에 따르면, 신호제공장치(100)는 보행자 신호를 보조표시장치(200)에 제공하여, 보행자 신호를 표시하도록 할 수 있다. The
그러면, 보다 상세히, 전술한 신호제공장치(100), 보조표시장치(200) 및 사용자장치(300) 각각에 대해서 설명하기로 한다. 먼저, 본 발명의 실시예에 따른 신호제공장치(100)에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 신호제공장치의 구성을 설명하기 위한 블록도이다. 도 2를 참조하면, 신호제공장치(100)는 신호송신부(110), 카메라부(120), 프로젝션부(130), 오디오처리부(140), 저장부(150) 및 제어부(160)를 포함한다. The
신호송신부(110)는 보조표시장치(200) 및 사용자장치(300)로 신호를 전송하기 위한 것이다. 이러한 신호는 보행자 신호 및 보행자 위치를 포함한다. 일례로, 신호송신부(110)는 NFC(Near Field Communication), 블루투스(Bluetooth), 지그비(ZigBee), IrDA(Infrared Data Association) 등의 통신 방식을 이용하여 보조표시장치(200) 및 사용자장치(300)로 신호를 전송할 수 있다. 다른 예로, 신호송신부(110)는 사용자장치(300)가 차량에 설치된 장치인 경우, 차량간통신네트워크(V2V communication network)을 통해 다른 차량 장치를 경유하여 혹은 차량인프라간통신네트워크(V2I communication network)를 통해 사용자장치(300)로 신호를 전송할 수 있다. The
카메라부(120)는 가시광에 의한 영상 및 적외선에 의한 영상 양자 모두를 촬영하기 위한 것이다. 이러한 카메라부(120)는 도시되지는 않았지만, 적외선 발광 모듈(IR light), 깊이 이미지 센서 및 컬러 이미지 센서를 포함한다. 컬러 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 적외선 발광 모듈은 픽셀 단위로 적외선을 발산한다. 깊이 이미지 센서는 적외선 파장을 감지할 수 있는 물질로 만들어지는 마이크로미터 단위 크기의 화소로 구성되는 초점면 배열체(FPA: Focal Plane Array)이다. 이러한 깊이 이미지 센서는 적외선 발광 모듈이 픽셀 단위로 발산한 적외선을 입력받아, 적외선이 피사체에 반사되어 돌아오는 거리(혹은 깊이로 표현되기도 함)를 측정한다. 이에 따라, 제어부(160)는 본 발명의 실시예에 따른 카메라부(120)를 통해 촬영된 영상의 피사체의 각 픽셀에 대해 3차원 좌표를 도출할 수 있다. 카메라부(120)는 아날로그-디지털 변환기(ADC: Analog to Digital Converter)를 더 포함할 수 있으며, 컬러 및 깊이 이미지 센서 각각에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(160)로 출력할 수 있다. The
프로젝션부(130)는 제어부(160)로부터 제공되는 영상을 영사하기 위한 것이다. 프로젝션부(130)는 광원, 광학계 및 투사 렌즈를 포함한다. 복수의 광원이 영상을 구성하는 광을 출력하면, 광학계는 복수의 광원으로부터 출력된 광의 광축을 일치시켜 하나의 광원에서 빛이 나오는 것처럼 광을 형성한다. 그런 다음, 광학계로부터 출력된 광은 투사 렌즈를 통해 확대되어 영사된다. The
오디오처리부(140)는 제어부(160)의 제어에 따라 제어부(160)로부터 전달된 오디오 데이터를 디코딩하여 오디오 신호를 생성하고, 생성된 오디오 신호를 출력한다. 오디오처리부(140)는 스피커를 포함하며, 오디오 신호를 스피커를 통해 출력한다. The
저장부(150)는 신호제공장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 저장부(150)는 본 발명의 실시예에 따른 보행자 신호를 식별하거나, 보행자를 식별하기 위한 이미지 프로세싱을 수행하는 애플리케이션을 저장할 수 있다. 또한, 저장부(150)는 신호제공장치(100)가 사용하는 영상 데이터, 오디오 데이터 등을 저장한다. 저장부(150)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The
제어부(160)는 신호제공장치(100)의 전반적인 동작 및 신호제공장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(160)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 또한, 제어부(160)는 추가로 이미지 프로세서(Image processor) 혹은 GPU(Graphic Processing Unit)를 더 구비할 수 있다. 이러한 제어부(160)의 동작은 아래에서 더 상세하게 설명될 것이다. The
다음으로, 본 발명의 실시예에 따른 보조표시장치(200)의 구성에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 보조표시장치의 구성을 설명하기 위한 블록도이다. 도 3을 참조하면, 본 발명의 실시예에 따른 보조표시장치(200)는 신호수신모듈(210), 신호처리모듈(220) 및 복수의 발광모듈(230)을 포함한다. Next, the configuration of the
신호수신모듈(210)은 신호제공장치(100)로부터 보행자 신호를 수신하기 위한 것이다. 신호수신모듈(210)은 NFC(Near Field Communication), 블루투스(Bluetooth), 지그비(ZigBee), IrDA(Infrared Data Association) 등의 통신 방식을 이용하여 신호제공장치(100)로부터 신호, 예컨대, 보행자 신호를 수신할 수 있다. 신호수신모듈(210)은 보행자 신호를 수신하면, 신호처리모듈(220)에 제공한다. The
신호처리모듈(220)은 신호수신모듈(210)로부터 보행자 신호를 수신하면, 보행자 신호에 따라 복수의 발광모듈(230) 각각에 대해 출력하는 광의 색, 밝기 및 시간을 제어한다. 이러한 신호처리모듈(220)은 대표적으로, 디지털신호처리기(DSP: Digital Signal Processor)를 예시할 수 있다. Upon receiving the pedestrian signal from the
발광모듈(230)은 신호처리모듈(220)의 제어에 따라 색, 밝기 및 시간을 조절하여 광을 발광한다. 특히, 이러한 발광모듈(230)은 대표적으로, LED(Light-Emitting Diode)를 예시할 수 있다. The
다음으로, 본 발명의 실시예에 따른 사용자장치(300)의 구성에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 사용자장치의 구성을 설명하기 위한 블록도이다. 도 4를 참조하면, 본 발명의 실시예에 따른 사용자장치(300)는 통신부(310), 오디오출력부(320), 표시부(330) 및 프로세스부(340)를 포함한다. Next, the configuration of the
통신부(310)는 통신을 위한 장치이며, 다양한 프로토콜에 따른 무선 통신을 위한 것이다. 특히, 본 발명의 실시예에서 통신부(310)는 신호제공장치(100)의 신호송신부(110)로부터 보행자 신호 및 보행자 위치를 포함하는 신호를 수신한다. 일례로, 통신부(310)는 NFC(Near Field Communication), 블루투스(Bluetooth), 지그비(ZigBee), IrDA(Infrared Data Association) 등의 통신 방식을 이용하여 신호제공장치(100)로부터 신호를 수신할 수 있다. 다른 예로, 통신부(310)는 사용자장치(300)가 차량에 설치된 장치인 경우, 차량간통신네트워크(V2V communication network)을 통해 다른 차량 장치를 경유하여 혹은 차량인프라간통신네트워크(V2I communication network)를 통해 신호제공장치(100)로부터 신호를 수신할 수 있다. The
오디오출력부(320)는 프로세스부(340)의 제어에 따라 프로세스부(340)로부터 전달된 오디오 데이터를 디코딩하여 오디오 신호를 생성하고, 생성된 오디오 신호를 출력한다. 오디오출력부(320)는 스피커를 포함하며, 오디오 신호를 스피커를 통해 출력한다. The
표시부(330)는 사용자장치(300)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(330)는 사용자 장치(100)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 이러한 표시부(110)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. The
프로세스부(340)는 사용자장치(300)의 전반적인 동작 및 사용자장치(300)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 프로세스부(340)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 또한, 프로세스부(340)는 추가로 이미지 프로세서(Image processor) 혹은 GPU(Graphic Processing Unit)를 더 구비할 수 있다. 이러한 프로세스부(340)의 동작은 아래에서 더 상세하게 설명될 것이다. The
또한, 도시되진 않았으나, 본 발명의 실시예에 따른 사용자장치(300)는 다양한 데이터를 저장하기 위한 메모리, 메모리 카드와 같은 외부 저장 매체를 삽입하여 데이터 저장을 가능토록 하는 저장매체 삽입모듈, 외부 디지털 기기와의 데이터 교환을 위한 연결 단자, 충전용 단자 등을 더 포함할 수 있다. 디지털 기기의 컨버전스 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 모듈들과 동등한 수준의 모듈들이 본 발명에 따른 사용자장치(300)에 추가로 더 포함되어 구성될 수 있다는 것은 이 기술 분야의 통상의 지식을 가진 자라면 쉽게 이해할 수 있을 것이다. Also, although not shown, the
그러면, 전술한 장치들(100, 200, 300)이 보행자 보조 신호를 제공하는 방법에 대해서 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다. A method for providing the pedestrian assist signal will now be described in detail with respect to the
도 5를 참조하면, 신호제공장치(100)의 제어부(160)는 S110 단계에서 카메라부(120)를 통해 신호등(T)을 포함하는 신호등(T) 주변 영역을 촬영한다. 여기서, 신호등(T) 주변 영역은 카메라부(120)의 촬영 범위에 속하는 인도(P), 차도(R) 및 횡단보도(C) 영역을 포함한다. 5, the
그런 다음, 제어부(160)는 S120 단계에서 촬영된 영상을 분석하여, S130 단계에서 보행자 신호 및 보행자 위치를 식별한다. 예컨대, 제어부(160)는 촬영된 영상의 신호등(T) 영역의 색 및 휘도를 통해 보행자 신호를 식별할 수 있다. 여기서, 여기서, 보행자 신호는 보행자의 횡단보도 횡단 가능 여부를 나타내기 위한 신호이며, 적색등, 황색등, 녹색등, 녹색등 점멸, 녹색등 남은 시간 등을 포함할 수 있다. 또한, 제어부(160)는 촬영된 영상을 통해 보행자 위치를 식별한다. 즉, 제어부(160)는 보행자가 있는지 여부 그리고 보행자가 있다면, 보행자가 인도(P), 차도(R) 및 횡단보도(C) 중 어디에 있는지 여부를 식별할 수 있다. Then, the
그런 다음, 제어부(160)는 S140 단계에서 앞서 식별된 보행자 신호 및 보행자 위치에 따라 보행자 보조 신호를 제공하는 프로세스를 수행한다. 보행자 보조 신호는 보행자 신호 및 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호이다. 또한, S140 단계의 보행자 보조 신호를 제공하는 프로세스에서 신호제공장치(100)는 직접 보행자 보조 신호를 출력하거나, 본 발명의 실시예에 따른 신호제공장치(100)의 신호송신부(110)의 통신 범위 내의 사용자장치(300) 혹은 보조표시장치(200)가 보행자 보조 신호를 출력하도록 보행자 신호 및 보행자의 위치를 사용자장치(300) 혹은 보조표시장치(200)로 제공할 수 있다. 전술한 도 5의 S110 단계 내지 S140 단계는 지속적으로 반복된다. 즉, 지속적으로 횡단보도 주변을 촬영한 영상을 분석하여 식별된 보행자 신호 및 보행자 위치에 따라 보행자 보조 신호를 제공할 수 있다. Then, in step S140, the
그러면, 이러한 보행자 보조 신호를 제공하는 프로세스에 대해서 보다 상세하게 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다. 도 7 내지 도 9는 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 도면이다. The process of providing such a pedestrian assist signal will now be described in more detail. 6 is a flowchart illustrating a method of providing a pedestrian assist signal according to an embodiment of the present invention. 7 to 9 are views for explaining a method of providing a pedestrian assist signal according to an embodiment of the present invention.
도 6 내지 도 9를 참조로 설명되는 실시예는 보행자가 횡단보도(C) 혹은 차도(R)에 있는 경우에 수행된다. 즉, 전술한 바와 같이, S130 단계에서 제어부(160)가 보행자 위치를 식별한 후, 보행자의 위치가 횡단보도(C) 혹은 차도(R)에 있는 경우, 제어부(160)는 S210 단계에서 보행자가 시각적으로 부각되도록 영상을 영사한다. 본 발명에 따르면 다양한 실시예에 따라 보행자가 부각되도록 영상을 영사할 수 있다. 이러한 도 6의 S130 단계 및 S210 단계는 보행자가 횡단보도(C) 혹은 차도(R)에 위치하는 동안 지속적으로 수행된다. The embodiment described with reference to Figs. 6 to 9 is carried out when the pedestrian is on the crosswalk (C) or on the roadway (R). That is, as described above, if the pedestrian position is on the pedestrian crossing C or on the road R after the
일 실시예에 따르면, 도 7에 도시된 바와 같이, 제어부(160)는 촬영된 영상에서 보행자의 뒷모습을 식별하고, 식별된 보행자의 뒷모습 영역에 매칭되는 영상을 생성한 후, 프로젝션부(130)를 통해 보행자의 뒷모습 영역(M)에 생성된 영상을 영사한다. 보다 상세히 설명하면, 제어부(160)는 카메라부(120)를 통해 촬영된 영상으로부터 보행자 인식 기술(Pedestrian/People detection)을 통해 보행자를 식별한 후, 얼굴 검출(Face detection) 기술을 통해 식별된 보행자의 얼굴이 검출되지 않으면, 보행자의 뒷모습이라고 간주한다. 그런 다음, 제어부(160)는 카메라부(120)를 통해 적외선이 피사체에 반사되어 돌아오는 거리를 측정하여, 보행자의 뒷모습을 이루는 각 픽셀에 대해 3차원 좌표(x, y, z)를 도출한다. 이어서, 제어부(160)는 도출된 3차원 좌표를 이용하여 보행자의 뒷모습(M)을 3차원 모델로 모델링한다. 이어서, 제어부(160)는 3차원 모델에 맞춰 보행자의 뒷모습(M)을 비추는 영상을 생성한 후, 프로젝션부(130)를 통해 보행자의 뒷모습 영역(M)에 생성된 영상을 영사한다. 이에 따라, 보행자의 뒷모습 영역(M)은 스크린과 같은 역할을 수행한다. 7, the
다른 실시예에 따르면, 도 8에 도시된 바와 같이, 제어부(160)는 촬영된 영상에서 보행자의 뒷모습을 식별하고, 프로젝션부(130)를 통해 식별된 보행자의 뒷모습 방향으로부터 보행자 위치의 바닥 영역에 기 설정된 형상 및 크기를 가지는 영상을 영사한다. 보다 상세히 설명하면, 제어부(160)는 카메라부(120)를 통해 촬영된 영상으로부터 보행자 인식 기술(Pedestrian/People detection)을 통해 보행자를 식별한 후, 얼굴 검출(Face detection) 기술을 통해 식별된 보행자의 얼굴이 검출되지 않으면, 보행자의 뒷모습이라고 간주한다. 그런 다음, 제어부(160)는 카메라부(120)를 통해 적외선이 피사체에 반사되어 돌아오는 거리를 측정한 후, 보행자의 뒷모습을 이루는 각 픽셀에 대해 3차원 좌표(x, y, z)를 도출한다. 그런 다음, 제어부(160)는 3차원 좌표(x, y, z)로부터 가장 낮은 높이, 즉, 가장 작은 z값을 가지는 어느 하나의 픽셀(L)을 기준으로 기 설정된 형상 및 크기의 영역을 비추는 영상을 생성한다. 예컨대, 영상은 가장 낮은 높이, 즉, 가장 작은 z값을 가지는 어느 하나의 픽셀(L)을 원점으로 하고, 소정 반지름(r)을 가지는 원 영역을 비추는 영상이 될 수 있다. 그런 다음, 제어부(160)는 프로젝션부(130)를 통해 보행자의 뒷모습 방향으로부터 가장 작은 z값을 가지는 어느 하나의 픽셀(L)의 위치에 맞춰 영상을 영사함으로써, 보행자가 걷고 있는 위치의 바닥 영역에 그 영상을 영사할 수 있다. 8, the
또 다른 실시예에 따르면, 도 9에 도시된 바와 같이, 제어부(160)는 촬영된 영상에서 보행자의 뒷모습을 식별하고, 프로젝션부(130)를 통해 식별된 보행자의 뒷모습이 위치한 방향으로부터 보행자 위치의 바닥 부분을 포함하면서 횡단보도(C) 혹은 차도(R)를 가로지르는 영역에 영상을 영사한다. 즉, 제어부(160)는 보행자의 뒷모습이 위치한 방향으로부터 보행자가 횡단보도(C) 혹은 차도(R)를 횡단하는 경로를 비추는 영상을 영사한다. 9, the
보다 상세히 설명하면, 제어부(160)는 카메라부(120)를 통해 촬영된 영상으로부터 보행자 인식 기술(Pedestrian/people detection)을 통해 보행자를 식별한 후, 얼굴 검출(Face detection) 기술을 통해 식별된 보행자의 얼굴이 검출되지 않으면, 보행자의 뒷모습이라고 간주한다. 그런 다음, 제어부(160)는 카메라부(120)를 통해 적외선이 피사체에 반사되어 돌아오는 거리를 측정한 후, 보행자의 뒷모습을 이루는 각 픽셀에 대해 3차원 좌표(x, y, z)를 도출한다. More specifically, the
이어서, 제어부(160)는 보행자의 뒷모습으로 도출된 3차원 좌표(x, y, z) 중 y 좌표의 값의 최대값 및 최소값을 도출하고, z 좌표의 최소값을 도출한다. 또한, 제어부(160)는 횡단보도(C) 혹은 차도(R) 폭의 시작과 끝(MI, MA)의 x 좌표의 값을 도출한다. 여기서, 횡단보도(C) 혹은 차도(R)의 폭의 시작과 끝(MI, MA)의 x 좌표의 값은 저장부(150)에 미리 저장될 수도 있다. 그런 다음, 제어부(160)는 y 좌표가 앞서 도출된 최대값 및 최소값의 범위 내의 값을 가지며, z 좌표가 앞서 도출된 최소값을 가지며, x 좌표가 횡단보도(C) 혹은 차도(R) 폭의 시작(MI)의 x 좌표의 값과 끝(MA)의 x 좌표의 값의 범위 내에 있는 직사각형 영역을 비추는 영상을 생성한다. 이러한 영상은 한 변이 횡단보도(C) 혹은 차도(R)의 폭과 동일한 MA 내지 MI의 길이와 동일한 길이를 가지며, 다른 한 변은 YL과 YR을 잇는 선분인 직사각형 영역을 비추는 영상이 될 수 있다. 이러한 직사각형의 영상은 보행자가 횡단보도(C) 혹은 차도(R)를 횡단하는 경로를 나타낸다. 한편, 전술한 영상은 y 값의 여분을 을 여분을 두어 영상은 보행자가 횡단보도(C) 혹은 차도(R)를 횡단하는 경로의 폭을 조금 넓힌 영상을 제공할 수도 있다. 즉, 이러한 영상은 한 변이 MA 내지 MI의 길이와 동일한 길이를 가지며, 다른 한 변은 YL과 YR을 잇는 선분에서 여분을 추가하여 WL과 WR을 잇는 선분인 직사각형을 의미한다. Next, the
전술한 바와 같이, 영상을 생성한 후, 제어부(160)는 프로젝션부(130)를 통해 보행자의 뒷모습 방향으로부터 해당 영상을 영사한다. 이로써, 보행자 위치의 바닥면을 포함하면서 횡단보도(C) 혹은 차도(R)를 가로지르는 영상이 영사된다. 이러한 영상은 보행자가 횡단보도(C) 혹은 차도(R)를 횡단하는 경로를 비춘다. As described above, after generating the image, the
일 실시예에 따르면, 전술한 도 6 내지 도 9에서 설명된 영상은 단일 색으로 이루어진 영상이 될 수 있다. 이러한 경우, 단일 색은 시인성이 뛰어난 형광색인 것이 바람직하다. 다른 실시예에 따르면, 전술한 도 6 내지 도 9에서 설명된 영상은 패턴 혹은 움직이는 패턴을 포함하는 영상이 될 수 있다. 이러한 경우, 패턴을 형성하는 어느 한 부분의 색은 시인성이 뛰어난 형광색인 것이 바람직하다. 여기서, 움직이는 패턴은 경찰이 사용하는 경광등, 이발소 등에서 사용되는 삼색등과 같이 시인성을 높이는 효과를 제공한다. According to one embodiment, the image described in FIGS. 6 to 9 may be a single color image. In this case, the single color is preferably a fluorescent color excellent in visibility. According to another embodiment, the image described in Figs. 6 to 9 may be an image including a pattern or a moving pattern. In this case, the color of a part forming the pattern is preferably a fluorescent color excellent in visibility. Here, the moving pattern provides an effect of enhancing the visibility, such as the tricolor used in a beacon, a barber, etc. used by the police.
전술한 바와 같은 본 발명의 실시예에 따르면, 보행자가 횡단보도(C) 혹은 차도(R)에 있는 경우 보행자의 뒤편에서 영상을 영사한다. 이는 보행자의 전면에 영상을 영사할 경우, 보행자는 영사되는 영상으로부터 형성되는 광에 의해 시야에 방해를 받을 수 있으며, 이는 안전사고로 이어질 수도 있다. 따라서 본 발명은 보행자의 뒷모습 여부를 판별한 후, 보행자의 뒤편에서 영상을 영사한다. According to the embodiment of the present invention as described above, when the pedestrian is on the crosswalk (C) or the roadway (R), the image is projected from behind the pedestrian. When projecting the image on the front of the pedestrian, the pedestrian may be interrupted by the light formed from the projected image, which may lead to a safety accident. Therefore, according to the present invention, after determining whether or not the back of the pedestrian is behind, the image is projected from behind the pedestrian.
그리고 본 발명은 도 7에 보인바와 같이, 보행자의 뒷모습에 직접 영상을 영사하거나, 도 8에 보인바와 같이, 보행자에게 핀 조명처럼 영상을 영사하거나, 도 9에 보인 바와 같이, 보행자가 횡단하는 경로를 따라 영상을 영사할 수 있다. 이로써 횡단보도(C) 혹은 차도(R) 주변의 차량 운전자에게 보행자의 위치를 시각적으로 더욱 부각시켜 교통사고를 예방할 수 있다. As shown in Fig. 7, the present invention can be applied to a case in which the image is directly projected on the rear view of the pedestrian, the image is projected like a pin light to the pedestrian as shown in Fig. 8, To project the image. This makes it possible to visually raise the position of the pedestrian to the driver of the vehicle around the crosswalk (C) or the roadway (R), thereby preventing traffic accidents.
다음으로, 보행자 보조 신호를 보조표시장치(200)가 제공하는 실시예에 대해서 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다. Next, an embodiment in which the
전술한 바와 같이, 신호제공장치(100)의 제어부(160)는 S130 단계에서 보행자 신호를 식별한 후, 도 10에 보인 바와 같이, S410 단계에서 신호송신부(110)를 통해 보행자 신호를 전송한다. 이에 따라, 보조표시장치(200)의 신호처리모듈(220)은 신호수신모듈(210)을 통해 보행자 신호를 수신할 수 있다. 그러면, 신호처리모듈(220)은 S420 단계에서 보행자 신호에 따라 복수의 발광모듈(230) 각각에 대해 출력하는 광의 색, 밝기 및 시간을 제어한다. 일례로, 보행자 신호가 녹색등인 경우, 신호처리모듈(220)은 복수의 발광모듈(230)이 녹색 광을 발광하도록 제어한다. 다른 예로, 보행자 신호가 소정 간격을 가지는 녹색등 점멸인 경우, 신호처리모듈(220)은 복수의 발광모듈(230)이 보행자 신호의 발광 간격에 맞춰 녹색 광을 점멸하여 발광하도록 제어한다. 이와 같이, 보조표시장치(200)를 통해 신호등(T)의 보행자 신호와 일치하며 보다 넓은 영역에서 광이 발광하기 때문에 보행자는 더욱 명확하게 현재의 보행자 신호를 인식할 수 있고, 주변의 차량 운전자들 또한 현재 보행자 신호를 인식할 수 있다. As described above, the
다음으로, 신호제공장치(100) 및 사용자장치(300)의 청각적 신호로 보행자 보조 신호를 제공하는 방법에 대해서 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 보행자 보조 신호를 제공하는 방법을 설명하기 위한 흐름도이다. Next, a method of providing the pedestrian assist signal with the audible signals of the
전술한 바와 같이, 신호제공장치(100)의 제어부(160)는 S130 단계에서 보행자 신호 및 보행자 위치를 식별한 후, 도 11에 보인 바와 같이, S510 단계에서 신호송신부(110)를 통해 보행자 신호 및 보행자 위치를 전송할 수 있다. As described above, the
또한, 신호제공장치(100)의 제어부(160)는 S520 단계에서 보행자 신호 및 보행자 위치에 따라 오디오처리부(140)를 통해 오디오 신호를 출력할 수 있다. 예를 들면, 제어부(160)는 다음의 표 1과 같이, 보행자 신호(적색등, 녹색등 점멸, 녹색등) 및 보행자 위치(R, C, P)의 조합에 따라 사용자에게 경고, 주의 혹은 안내하는 내용의 오디오 신호를 출력할 수 있다. The
한편, 사용자장치(300)의 프로세스부(340)는 통신부(310)를 통해 보행자 신호 및 보행자 위치를 수신할 수 있다. 그러면, 프로세스부(340)는 S530 단계에서 보행자 신호 및 보행자 위치에 따라 오디오출력부(320) 및 표시부(330)를 통해 오디오 신호 및 화면 데이터를 출력한다. Meanwhile, the
예를 들면, 프로세스부(340)는 앞서 표 1에서 보인바와 같이, 보행자 신호(적색등, 녹색등 점멸, 녹색등) 및 보행자 위치(R, C, P)의 조합에 따라 오디오출력부(320)를 통해 경고, 주의 혹은 안내하는 내용의 오디오 신호를 출력할 수 있다. 또한, 프로세스부(340)는 앞서 표 1에서 보인바와 같이, 보행자 신호(적색등, 녹색등 점멸, 녹색등) 및 보행자 위치(R, C, P)의 조합에 따라 사용자에게 경고, 주의 혹은 안내하는 내용의 화면 데이터를 표시부(330)를 통해 표시할 수 있다. 이와 같이, 사용자장치(300)는 보행자 신호(적색등, 녹색등 점멸, 녹색등) 및 보행자 위치(R, C, P)의 조합에 따라 오디오 신호 혹은 화면 데이터를 출력한다. For example, as shown in Table 1, the
사용자장치(300)는 보행자가 휴대한 장치이거나, 운전자 본인이 탐승한 차량 내에 설치된 장치이다. 이러한 사용자장치(300)로 보행자 신호 및 보행자 위치를 제공하여, 사용자장치(300)가 보행자 신호 및 보행자 위치의 조합에 따라 경고, 주의 혹은 안내하는 내용의 오디오 신호 혹은 화면 데이터를 출력하기 때문에 보행자 혹은 운전자는 보다 주의하여 해당 오디오 신호 혹은 화면 데이터를 청취하거나 시청할 수 있다. 이에 따라, 신호등(T) 주변에서 발생하는 교통사고를 예방할 수 있다. 예컨대, 사용자장치(300)가 스마트폰이라고 가정할 때, 보행자가 스마트폰의 화면만을 보면서, 주변 상황, 즉, 보행자 신호 및 보행자 자신의 위치를 인지하지 못할 수 있다. 하지만, 본 발명의 실시예에 따라 경고, 주의 혹은 안내하는 내용의 오디오 신호 및 화면 데이터를 제공함으로써, 보행자의 주의를 환기시킬 수 있다. 마찬가지로, 사용자장치(300)가 차량에 설치된 장치인 경우, 차량 내에 오디오 신호 혹은 화면 데이터를 출력하기 때문에 운전자는 해당 정보를 명확하게 시각적 혹은 청각적으로 인식할 수 있다. 이에 따라, 신호등(T) 주변의 교통사고를 예방할 수 있다. The
한편, 앞서 설명된 본 발명의 실시예에 따른 접근 제어 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광 기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the access control method according to the embodiment of the present invention described above can be implemented in a form of a program readable by various computer means and recorded in a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. For example, the recording medium may be a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical medium such as a CD-ROM or a DVD, a magneto-optical medium such as a floppy disk Magneto-optical media, and hardware devices that are specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include machine language such as those produced by a compiler, as well as high-level languages that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit of the invention and the scope of the appended claims.
100: 신호제공장치 110: 신호송신부
120: 카메라부 130: 프로젝션부
140: 오디오처리부 150: 저장부
160: 제어부 200: 보조표시장치
210: 신호수신모듈 220: 신호처리모듈
230: 발광모듈 300: 사용자장치
310: 통신부 320: 오디오출력부
330: 표시부 340: 프로세스부 100: signal providing apparatus 110: signal transmitting section
120: camera part 130: projection part
140: audio processing unit 150:
160: control unit 200: auxiliary display device
210: Signal receiving module 220: Signal processing module
230: light emitting module 300: user device
310: communication unit 320: audio output unit
330: Display section 340: Process section
Claims (9)
영상을 영사하는 프로젝션부;
신호등 및 촬영 범위 내의 인도, 차도 및 횡단보도 영역을 포함하는 상기 신호등 주변 영역을 촬영하는 카메라부; 및
상기 카메라부가 촬영한 영상으로부터 보행자 신호 및 보행자 위치를 식별하고, 상기 보행자 신호 및 상기 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호인 보행자 보조 신호를 출력하도록 제어하되,
상기 카메라부를 통해 촬영된 영상으로부터 보행자를 식별한 후, 얼굴 검출 기술을 통해 상기 식별된 보행자의 얼굴이 검출되지 않으면, 보행자의 뒷모습이라고 간주하고,
상기 카메라부를 통해 적외선이 피사체에 반사되어 돌아오는 거리를 측정하여, 상기 보행자의 뒷모습을 이루는 각 픽셀에 대해 3차원 좌표(x, y, z)를 도출하고,
도출된 3차원 좌표를 이용하여 보행자의 뒷모습을 3차원 모델로 모델링하고, 상기 3차원 모델에 맞춰 보행자의 뒷모습을 비추는 영상을 생성한 후,
상기 프로젝션부를 통해 보행자의 뒷모습 영역에 생성된 영상을 영사하는 제어부;를 포함하는 것을 특징으로 하는 보행자 보조 신호 제공 장치. A pedestrian assistance signal providing apparatus comprising:
A projection unit for projecting an image;
A camera section for photographing the traffic light surrounding area including a traffic light and an inside, a traffic road and a crosswalk area within the photographing range; And
A pedestrian signal and a pedestrian position from the image photographed by the camera unit and outputs a pedestrian assist signal as a signal for visually and audibly expressing the position of the pedestrian signal and the pedestrian,
If the face of the identified pedestrian is not detected through the face detection technology after identifying the pedestrian from the image photographed through the camera unit,
Dimensional coordinate (x, y, z) for each pixel forming the rear view of the pedestrian is measured by measuring a distance that infrared rays are reflected by the subject through the camera unit,
The rear view of the pedestrian is modeled as a three-dimensional model using the derived three-dimensional coordinates, and an image reflecting the backward view of the pedestrian according to the three-
And a control unit for projecting an image generated in a backward and forward region of the pedestrian through the projection unit.
영상을 영사하는 프로젝션부;
신호등 및 촬영 범위 내의 인도, 차도 및 횡단보도 영역을 포함하는 상기 신호등 주변 영역을 촬영하는 카메라부; 및
상기 카메라부가 촬영한 영상으로부터 보행자 신호 및 보행자 위치를 식별하고, 상기 보행자 신호 및 상기 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호인 보행자 보조 신호를 출력하도록 제어하되,
상기 카메라부를 통해 촬영된 영상으로부터 보행자를 식별한 후, 얼굴 검출 기술을 통해 식별된 보행자의 얼굴이 검출되지 않으면, 보행자의 뒷모습이라고 간주하고,
상기 카메라부를 통해 적외선이 피사체에 반사되어 돌아오는 거리를 측정한 후, 상기 보행자의 뒷모습을 이루는 각 픽셀에 대해 3차원 좌표(x, y, z)를 도출하고,
상기 3차원 좌표(x, y, z)에서 가장 작은 z값을 가지는 어느 하나의 픽셀을 기준으로 기 설정된 형상 및 크기의 영역을 비추는 영상을 생성하고,
상기 프로젝션부를 통해 상기 보행자의 뒷모습 방향으로부터 상기 가장 작은 z값을 가지는 어느 하나의 픽셀의 위치에 맞춰 영상을 영사하는 제어부;를 포함하는 것을 특징으로 하는 보행자 보조 신호 제공 장치. A pedestrian assistance signal providing apparatus comprising:
A projection unit for projecting an image;
A camera section for photographing the traffic light surrounding area including a traffic light and an inside, a traffic road and a crosswalk area within the photographing range; And
A pedestrian signal and a pedestrian position from the image photographed by the camera unit and outputs a pedestrian assist signal as a signal for visually and audibly expressing the position of the pedestrian signal and the pedestrian,
If the face of the pedestrian identified by the face detection technology is not detected after identifying the pedestrian from the image photographed through the camera unit,
Dimensional coordinate (x, y, z) for each pixel forming the rear view of the pedestrian after measuring the distance of the infrared ray reflected from the subject through the camera unit,
Generating an image that illuminates an area of a predetermined shape and size based on any one of the pixels having the smallest z value in the three-dimensional coordinates (x, y, z)
And a controller for projecting an image corresponding to a position of any one of the pixels having the smallest z value from the backward and forward direction of the pedestrian through the projection unit.
영상을 영사하는 프로젝션부;
신호등 및 촬영 범위 내의 인도, 차도 및 횡단보도 영역을 포함하는 상기 신호등 주변 영역을 촬영하는 카메라부; 및
상기 카메라부가 촬영한 영상으로부터 보행자 신호 및 보행자 위치를 식별하고, 상기 보행자 신호 및 상기 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호인 보행자 보조 신호를 출력하도록 제어하되,
상기 카메라부를 통해 촬영된 영상으로부터 보행자를 식별한 후, 얼굴 검출 기술을 통해 식별된 보행자의 얼굴이 검출되지 않으면, 보행자의 뒷모습이라고 간주하고,
상기 카메라부를 통해 적외선이 피사체에 반사되어 돌아오는 거리를 측정한 후, 보행자의 뒷모습을 이루는 각 픽셀에 대해 3차원 좌표(x, y, z)를 도출하고,
상기 보행자의 뒷모습으로 도출된 3차원 좌표(x, y, z) 중 y 좌표의 값의 최대값 및 최소값을 도출하고, z 좌표의 최소값을 도출하고, 횡단보도 혹은 차도 폭의 시작과 끝의 x 좌표의 값을 도출하고, 보행자가 횡단보도 혹은 차도를 횡단하는 경로를 나타내도록 y 좌표가 앞서 도출된 최대값 및 최소값의 범위 내의 값을 가지며, z 좌표가 앞서 도출된 최소값을 가지며, x 좌표가 상기 횡단보도 혹은 차도 폭의 시작의 x 좌표의 값과 끝의 x 좌표의 값의 범위 내에 있는 직사각형 영역을 비추는 영상을 생성하고,
상기 프로젝션부를 통해 상기 보행자의 뒷모습 방향으로부터 상기 생성된 영상을 영사하는 제어부;를 포함하는 것을 특징으로 하는 보행자 보조 신호 제공 장치. A pedestrian assistance signal providing apparatus comprising:
A projection unit for projecting an image;
A camera section for photographing the traffic light surrounding area including a traffic light and an inside, a traffic road and a crosswalk area within the photographing range; And
A pedestrian signal and a pedestrian position from the image photographed by the camera unit and outputs a pedestrian assist signal as a signal for visually and audibly expressing the position of the pedestrian signal and the pedestrian,
If the face of the pedestrian identified by the face detection technology is not detected after identifying the pedestrian from the image photographed through the camera unit,
(X, y, z) for each pixel forming the rear view of the pedestrian after deriving the distance that the infrared ray is reflected by the subject through the camera unit,
The maximum value and the minimum value of the y coordinate out of the three-dimensional coordinates (x, y, z) derived from the rear view of the pedestrian are derived and the minimum value of the z coordinate is derived. The value of the coordinate is derived and the value of the y coordinate is within the range of the maximum value and the minimum value derived so far so that the pedestrian represents the path crossing the pedestrian crossing or the roadway and the z coordinate has the derived minimum value, An image is generated that illuminates a rectangular area within a range of the value of the x-coordinate of the start of the pedestrian crossing or the roadway width and the value of the x-coordinate of the end,
And a control unit for projecting the generated image from the backward and forward direction of the pedestrian through the projection unit.
오디오 신호를 출력하는 오디오처리부를 더 포함하며,
상기 제어부는 상기 보행자 신호 및 상기 보행자의 위치의 조합에 따라 안내, 주의 및 경고 중 어느 하나의 내용을 제공하는 오디오 신호를 상기 오디오처리부를 통해 출력하는 것을 특징으로 하는 보행자 보조 신호 제공 장치. 6. The method according to any one of claims 3 to 5,
And an audio processing unit for outputting an audio signal,
Wherein the control unit outputs an audio signal through the audio processing unit to provide any one of guiding, attention, and warning according to the combination of the pedestrian signal and the position of the pedestrian.
신호를 송신하는 신호송신부;를 더 포함하며,
상기 제어부는 상기 보행자 신호 및 상기 보행자의 위치를 사용자장치가 수신하여 상기 보행자 신호 및 상기 보행자의 위치의 조합에 따라 안내, 주의 및 경고 중 어느 하나의 내용을 제공하는 오디오 신호 혹은 화면 데이터를 출력하도록 상기 보행자 신호 및 상기 보행자의 위치를 상기 신호송신부를 통해 상기 사용자장치로 전송하는 것을 특징으로 하는 보행자 보조 신호 제공 장치. 6. The method according to any one of claims 3 to 5,
And a signal transmitter for transmitting a signal,
The control unit receives the pedestrian signal and the position of the pedestrian, and the user device outputs an audio signal or screen data for providing any one of guiding, attention, and warning according to the combination of the pedestrian signal and the position of the pedestrian And the pedestrian signal and the position of the pedestrian are transmitted to the user device through the signal transmission unit.
카메라부를 통해 신호등 및 촬영 범위 내의 인도, 차도 및 횡단보도 영역을 포함하는 상기 신호등 주변 영역을 촬영하는 단계;
상기 카메라부가 촬영한 영상으로부터 보행자 신호 및 보행자 위치를 식별하는 단계; 및
상기 보행자 신호 및 상기 보행자의 위치를 시각적 그리고 청각적으로 표현하기 위한 신호인 보행자 보조 신호를 출력하는 단계;를 포함하며,
상기 보행자 보조 신호를 출력하는 단계는
상기 카메라부를 통해 촬영된 영상으로부터 보행자를 식별한 후, 얼굴 검출 기술을 통해 상기 식별된 보행자의 얼굴이 검출되지 않으면, 보행자의 뒷모습이라고 간주하는 단계;
상기 카메라부를 통해 적외선이 피사체에 반사되어 돌아오는 거리를 측정하여, 상기 보행자의 뒷모습을 이루는 각 픽셀에 대해 3차원 좌표(x, y, z)를 도출하는 단계; 및
상기 도출된 3차원 좌표를 이용하여 보행자의 뒷모습을 3차원 모델로 모델링하고, 상기 3차원 모델에 맞춰 보행자의 뒷모습을 비추는 영상을 생성한 후, 보행자의 뒷모습 영역에 생성된 영상을 영사하거나,
상기 3차원 좌표(x, y, z)에서 가장 작은 z값을 가지는 어느 하나의 픽셀을 기준으로 기 설정된 형상 및 크기의 영역을 비추는 영상을 생성하고, 상기 보행자의 뒷모습 방향으로부터 상기 가장 작은 z값을 가지는 어느 하나의 픽셀의 위치에 맞춰 영상을 영사하거나, 또는
상기 보행자의 뒷모습으로 도출된 3차원 좌표(x, y, z) 중 y 좌표의 값의 최대값 및 최소값을 도출하고, z 좌표의 최소값을 도출하고, 횡단보도 혹은 차도 폭의 시작과 끝의 x 좌표의 값을 도출하고, 보행자가 횡단보도 혹은 차도를 횡단하는 경로를 나타내도록 y 좌표가 앞서 도출된 최대값 및 최소값의 범위 내의 값을 가지며, z 좌표가 앞서 도출된 최소값을 가지며, x 좌표가 상기 횡단보도 혹은 차도 폭의 시작의 x 좌표의 값과 끝의 x 좌표의 값의 범위 내에 있는 직사각형 영역을 비추는 영상을 생성하고, 상기 생성된 영상을 상기 보행자의 뒷모습 방향으로부터 영사하는 단계;를 포함하는 것을 특징으로 하는 보행자 보조 신호 제공 방법. A method for providing a pedestrian assist signal of a signal providing apparatus,
Photographing the traffic light surrounding area including a traffic light and an inside, a traffic road and a crosswalk area within a photographing range through a camera part;
Identifying a pedestrian signal and a position of a pedestrian from the image photographed by the camera unit; And
And outputting a pedestrian assist signal, which is a signal for visually and audibly expressing the pedestrian signal and the position of the pedestrian,
The step of outputting the pedestrian assist signal
A step of recognizing a pedestrian from an image photographed through the camera unit and then regarding the pedestrian as a rear view if a face of the identified pedestrian is not detected through a face detection technique;
Measuring three-dimensional coordinates (x, y, z) for each pixel forming the rearward view of the pedestrian by measuring a distance that infrared rays are reflected by the subject through the camera unit; And
The rear view of the pedestrian is modeled as a three-dimensional model using the derived three-dimensional coordinates, an image reflecting the backward view of the pedestrian is generated in accordance with the three-dimensional model, and the generated image is projected on the backward view area of the pedestrian,
Generating an image that illuminates an area of a predetermined shape and size based on any one of the pixels having the smallest z value in the three-dimensional coordinates (x, y, z) The image is projected in accordance with the position of any one pixel having
The maximum value and the minimum value of the y coordinate out of the three-dimensional coordinates (x, y, z) derived from the rear view of the pedestrian are derived and the minimum value of the z coordinate is derived. The value of the coordinate is derived and the value of the y coordinate is within the range of the maximum value and the minimum value derived so far so that the pedestrian represents the path crossing the pedestrian crossing or the roadway and the z coordinate has the derived minimum value, Generating an image that illuminates a rectangular area within a range of the value of the x-coordinate of the start of the pedestrian crossing or the roadway width and the value of the x-coordinate of the end, and projecting the generated image from the rearward direction of the pedestrian Wherein the pedestrian auxiliary signal is provided to the pedestrian.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160147468A KR101932200B1 (en) | 2016-11-07 | 2016-11-07 | Apparatus for presenting auxiliary pedestrian sign using image recognition technique, method thereof and computer recordable medium storing program to perform the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160147468A KR101932200B1 (en) | 2016-11-07 | 2016-11-07 | Apparatus for presenting auxiliary pedestrian sign using image recognition technique, method thereof and computer recordable medium storing program to perform the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180050892A KR20180050892A (en) | 2018-05-16 |
| KR101932200B1 true KR101932200B1 (en) | 2018-12-28 |
Family
ID=62452190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160147468A KR101932200B1 (en) | 2016-11-07 | 2016-11-07 | Apparatus for presenting auxiliary pedestrian sign using image recognition technique, method thereof and computer recordable medium storing program to perform the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101932200B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102037824B1 (en) * | 2019-01-30 | 2019-11-26 | (주)삼성티엔지 | Apparatus for notifying walk signal using laser beam scanning |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493609A (en) * | 2018-12-11 | 2019-03-19 | 杭州炬视科技有限公司 | A kind of portable device and method for not giving precedence to the candid photograph of pedestrian's automatic identification |
| KR102181222B1 (en) * | 2019-11-26 | 2020-11-20 | 주식회사 천운 | Safety management system for crosswalk pedestrian |
| KR102197259B1 (en) * | 2020-03-10 | 2020-12-31 | 주식회사 필립트론 | Traffic Light Information System |
| KR102330747B1 (en) * | 2021-07-05 | 2021-12-01 | 주식회사 한기술 | Image Projector Based on Artificial Intelligence for Pedestrian Safety and the method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005338114A (en) * | 2004-05-24 | 2005-12-08 | Seiko Epson Corp | Automatic movement type air floating image display device |
| KR100916632B1 (en) * | 2008-10-20 | 2009-09-08 | 군산시 | Traffic safety system on crosswalk for provide the automatic safety information to pedestrians and vehicles using the camera |
| JP2015207129A (en) * | 2014-04-18 | 2015-11-19 | アルパイン株式会社 | Pedestrian alert system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100790860B1 (en) * | 2004-12-14 | 2008-01-03 | 삼성전자주식회사 | Human tracking apparatus and method thereof, and recording media and removing electronic system therefor |
| KR100962309B1 (en) * | 2008-05-14 | 2010-06-10 | 조복희 | Traffic signal lamp assembly for pedestrians crossings |
-
2016
- 2016-11-07 KR KR1020160147468A patent/KR101932200B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005338114A (en) * | 2004-05-24 | 2005-12-08 | Seiko Epson Corp | Automatic movement type air floating image display device |
| KR100916632B1 (en) * | 2008-10-20 | 2009-09-08 | 군산시 | Traffic safety system on crosswalk for provide the automatic safety information to pedestrians and vehicles using the camera |
| JP2015207129A (en) * | 2014-04-18 | 2015-11-19 | アルパイン株式会社 | Pedestrian alert system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102037824B1 (en) * | 2019-01-30 | 2019-11-26 | (주)삼성티엔지 | Apparatus for notifying walk signal using laser beam scanning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180050892A (en) | 2018-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101932200B1 (en) | Apparatus for presenting auxiliary pedestrian sign using image recognition technique, method thereof and computer recordable medium storing program to perform the method | |
| US11619998B2 (en) | Communication between autonomous vehicle and external observers | |
| US11752870B2 (en) | Vehicle | |
| US11247605B2 (en) | Image projection apparatus configured to project an image on a road surface | |
| CN107176161B (en) | Recognition result presentation device, recognition result presentation method, and autonomous moving object | |
| US11074810B2 (en) | Method and device for providing feedback to outside of vehicle, device, and storage medium | |
| JP6814153B2 (en) | Vehicle lighting, vehicle systems and vehicles | |
| CN107176095B (en) | Recognition result presentation device and method, and recognition object presentation device and method | |
| KR101906569B1 (en) | Crosswalk pedestrian safety system | |
| CN110979318B (en) | Lane information acquisition method and device, automatic driving vehicle and storage medium | |
| US20210179289A1 (en) | Aerial vehicle, communication terminal and non-transitory computer-readable medium | |
| KR20120140486A (en) | Apparatus and method for providing guiding service in portable terminal | |
| KR20160065722A (en) | Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium | |
| KR20120079341A (en) | Method, electronic device and recorded medium for updating map data | |
| KR101587010B1 (en) | Light emitting sidewalk control apparatus based internet of things and method thereof | |
| JP6555413B2 (en) | Moving object surrounding display method and moving object surrounding display device | |
| KR101793156B1 (en) | System and method for preventing a vehicle accitdent using traffic lights | |
| KR101373855B1 (en) | Speeding sensins system and traffic enforcement system using number cognition technology | |
| JP5082298B2 (en) | Autonomous mobile device | |
| TWI451990B (en) | System and method for lane localization and markings | |
| CN106109188A (en) | Active hand push guide dolly | |
| JP5210820B2 (en) | Status notification device | |
| KR102162313B1 (en) | System for confirm parking position in parking lot | |
| KR20190071781A (en) | Night vision system for displaying thermal energy information and control method thereof | |
| KR20170129523A (en) | Smart control system for lighting of crosswalk |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant |