KR102560987B1 - 보행자의 움직임과 연관되는 알람 신호를 생성하기 위한 장치 및 방법 - Google Patents

Abstract

알람 생성 장치는, 차량 및 보행자가 다닐 수 있는 영역을 지향하도록 설치된 적어도 하나의 카메라와 통신하도록 구성되는 카메라 인터페이스, 그리고 카메라 인터페이스를 통해 적어도 하나의 카메라로부터 영상을 수신하고, 수신된 영상에 기반하여 알람 신호를 생성하도록 구성되는 알람 생성기를 포함한다. 알람 생성기는 영상에서 감지되는 사람 오브젝트의 연령대를 판별하고, 상기 판별된 연령대에 응답하여: 영상에서 감지되는 차량 오브젝트의 움직임을 추적하여 특정 시간 경과 후 차량 오브젝트가 위치할 제 1 위치를 추정하고, 사람 오브젝트의 움직임을 추적하여 특정 시간 경과 후 사람 오브젝트가 위치할 제 2 위치를 추정하고, 제 1 위치와 제 2 위치 사이의 거리가 임계 거리보다 가까울 때 알람 신호를 생성하도록 구성된다.

Description

보행자의 움직임과 연관되는 알람 신호를 생성하기 위한 장치 및 방법{DEVICE AND METHOD TO GENERATE ALARM SIGNAL ASSOCIATED WITH MOVEMENT OF PEDESTRIAN}

본 발명은 전자 장치에 관한 것으로, 좀 더 구체적으로는 보행자의 움직임과 연관되는 알람 신호를 생성하기 위한 장치 및 방법에 관한 것이다.

생활이 윤택해지고 편리짐에 따라 자동차들의 수가 증가하고 있으며, 이러한 자동차들의 증가에 따라 교통량이 증가하고 있다. 자동차들이 증가할수록 교통 사고의 발생 가능성이 증가할 수 있다.

보행자, 특히 어린이는 어른에 비해 주위 판단력이 낮을 수 있고, 이에 따라 돌발적으로 행동할 수 있으며, 따라서 어른보다 높은 가능성으로 교통 사고를 당할 수 있다. 어린이 교통 사고는 스쿨존, 주택가 골목 등 특정 공간들에서 특히 빈번하게 이루어지고 있고, 이러한 공간들에서는 특히 운전자의 주의 운전이 요구된다. 이에 따라, 스쿨존, 주택가 골목 등 교통 사고의 발생 가능성이 높은 공간들에는 서행을 유도하는 다양한 표지들, 예를 들면 지그재그 황색선, 볼록 거울, 붉은 색과 같은 특정 컬러를 생성하는 발광 장치 등이 설치되어 어린이 교통 사고를 방지하고 있다. 그러나, 이러한 구조물들 혹은 기기들은 해당 공간 내에서 주의 운전이 요구됨을 나타낼 뿐, 주행 시 상황에 적응적인 정보를 나타내지는 못한다는 데에서 한계를 갖는다.

이에 따라, 도로에서 보행자의 안전을 위한 장치들에 대한 개발 또한 활발히 이루어지고 있다. 예를 들면, 횡단보도 인근에 보행자가 존재하는지 여부를 판단하여 보행 안내 신호를 표시하거나 경보를 발생시키는 장치가 제공될 수 있다. 그러나, 이러한 장치들은 보행자, 예를 들면 어린이가 돌발적으로 행동 할 수 있다는 점을 고려할 때 교통 사고를 방지하는 데에 한계를 갖는다.

위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2019-0001265호(2019.01.04)에 개시되어 있다.

본 발명의 실시 예들은 인접한 보행자의 움직임에 적응적인 신호를 제공할 수 있는 장치 및 방법을 제공하기 위한 것이다.

본 발명의 실시 예에 따른 알람 생성 장치는, 차량 및 보행자가 다닐 수 있는 영역을 지향하도록 설치된 적어도 하나의 카메라와 통신하도록 구성되는 카메라 인터페이스; 및 상기 카메라 인터페이스를 통해 상기 적어도 하나의 카메라로부터 영상을 수신하고, 상기 수신된 영상에 기반하여 알람 신호를 생성하도록 구성되는 알람 생성기를 포함하며, 상기 알람 생성기는 상기 영상에서 감지되는 사람 오브젝트의 연령대를 판별하고, 상기 판별된 연령대에 응답하여: 상기 영상에서 감지되는 차량 오브젝트의 움직임을 추적하여 특정 시간 경과 후 상기 차량 오브젝트가 위치할 제 1 위치를 추정하고, 상기 사람 오브젝트의 움직임을 추적하여 상기 특정 시간 경과 후 상기 사람 오브젝트가 위치할 제 2 위치를 추정하고, 상기 제 1 위치와 상기 제 2 위치 사이의 거리가 임계 거리보다 가까울 때 알람 신호를 생성하도록 구성된다.

상기 알람 생성 장치는 상기 차량과 연관되어 설치된 클라이언트 단말기와 통신하도록 구성되는 통신기를 더 포함할 수 있고, 상기 알람 생성기는 상기 알람 신호를 상기 통신기를 통해 상기 클라이언트 단말기에 제공하도록 구성될 수 있다.

상기 알람 생성 장치는 복수의 연령대들에 각각 대응하는 웨이트 값들을 저장하는 저장 매체를 더 포함할 수 있고, 상기 알람 생성기는, 상기 판별된 연령대가 상기 복수의 연령대들 중 어느 하나인 타겟 연령대에 대응할 때 상기 제 1 위치 및 상기 제 2 위치를 추정하고, 상기 웨이트 값들 중 상기 타겟 연령대에 대응하는 웨이트 값에 따라 상기 임계 거리를 조절하도록 구성될 수 있다.

상기 복수의 연령대들이 낮아질수록 상기 웨이트 값들은 높아질 수 있다.

상기 알람 생성기는 칼만 필터를 포함할 수 있고, 상기 알람 생성기는 상기 칼만 필터를 이용하여 상기 제 1 위치 및 상기 제 2 위치를 추정하도록 구성될 수 있다.

상기 알람 생성 장치는 복수의 연령대들에 대응하는 사람 오브젝트들과 연관된 학습 데이터를 저장하도록 구성되는 저장 매체를 더 포함할 수 있으며, 상기 알람 생성기는 상기 학습 데이터에 기반하여 상기 영상에서 감지되는 상기 사람 오브젝트의 상기 연령대를 판별하도록 구성될 수 있다.

본 발명의 다른 일면은 보행자의 움직임과 연관되는 알람 신호를 생성하는 방법에 관한 것이다. 상기 방법은, 차량 및 상기 보행자가 다닐 수 있는 영역을 지향하도록 설치된 적어도 하나의 카메라로부터 영상을 획득하는 단계; 및 상기 획득된 영상에 기반하여 알람 신호를 제공하는 단계를 포함하며, 상기 알람 신호를 제공하는 단계는, 상기 영상에서 감지되는 사람 오브젝트의 연령대를 판별하는 단계; 상기 판별된 연령대에 응답하여, 상기 영상에서 감지되는 차량 오브젝트의 움직임을 추적하여 특정 시간 경과 후 상기 차량 오브젝트가 위치할 제 1 위치를 추정하는 단계; 상기 사람 오브젝트의 움직임을 추적하여 상기 특정 시간 경과 후 상기 사람 오브젝트가 위치할 제 2 위치를 추정하는 단계; 상기 제 1 위치와 상기 제 2 위치 사이의 거리가 임계 거리보다 가까울 때 알람 신호를 생성하는 단계를 포함할 수 있다.

상기 알람 신호를 생성하는 단계는 상기 알람 신호를 브로드캐스트하여 상기 차량과 연관하여 설치된 클라이언트 단말기에 제공하는 단계를 포함할 수 있다.

상기 방법은 복수의 연령대들에 각각 대응하는 웨이트 값들을 저장하는 단계를 더 포함할 수 있으며, 상기 제 1 위치를 추정하는 단계 및 상기 제 2 위치를 추정하는 단계는 상기 판별된 연령대가 상기 복수의 연령대들 중 어느 하나인 타겟 연령대에 대응할 때 수행될 수 있으며, 상기 알람 신호를 제공하는 단계는 상기 웨이트 값들 중 상기 타겟 연령대에 대응하는 웨이트 값에 따라 상기 임계 거리를 조절하는 단계를 더 포함할 수 있다.

상기 복수의 연령대들이 낮아질수록 상기 웨이트 값들은 높아질 수 있다.

상기 제 1 위치를 추정하는 단계는 칼만 필터를 이용하여 상기 차량 오브젝트의 상기 움직임에 따른 상기 제 1 위치를 추정하는 단계를 포함할 수 있고, 상기 제 2 위치를 추정하는 단계는 상기 칼만 필터를 이용하여 상기 사람 오브젝트의 상기 움직임에 따른 상기 제 2 위치를 추정하는 단계를 포함할 수 있다.

상기 방법은 복수의 연령대들에 대응하는 사람 오브젝트들과 연관된 학습 데이터를 저장하는 단계를 더 포함할 수 있고, 상기 사람 오브젝트의 상기 연령대를 판별하는 단계는 상기 학습 데이터에 기반하여 상기 사람 오브젝트의 상기 연령대를 판별하는 단계를 포함할 수 있다.

본 발명의 실시 예들에 따르면, 인접한 보행자의 움직임에 적응적인 신호를 제공할 수 있는 장치 및 방법이 제공된다. 예를 들면, 본 발명의 실시 에에 따른 장치 및 방법은 카메라로부터 획득되는 영상에 기반하여 차량 및 보행자의 움직임을 감지하고, 감지된 움직임들에 따라 알람 신호를 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 차도 인근에 설치된 장치들을 보여주는 블록도이다.
도 2는 도 1의 알람 생성 장치의 실시 예를 보여주는 블록도이다.
도 3은 도 2의 알람 생성기의 실시 예를 보여주는 블록도이다.
도 4는 알람 생성기가 알람 신호를 생성하지 않는 경우의 차량 오브젝트 및 사람 오브젝트의 움직임들을 보여주는 도면이다.
도 5는 알람 생성기가 알람 신호를 생성하는 경우의 차량 오브젝트 및 사람 오브젝트의 움직임들을 보여주는 도면이다.
도 6은 도 2의 저장 매체에 저장된 웨이트 값 데이터 세트를 개념적으로 보여주는 테이블이다.
도 7은 본 발명의 실시 예에 따른 보행자의 움직임과 연관되는 알람 신호를 생성하는 방법을 보여주는 순서도이다.
도 8은 도 7의 S120단계의 실시 예를 보여주는 순서도이다.
도 9는 도 8의 S210단계의 실시 예를 보여주는 순서도이다.
도 10은 도 8의 S250단계에서 사용되는 임계 거리를 조절하는 방법의 실시 예를 보여주는 순서도이다.
도 11은 도 1의 알람 생성 장치를 구현하기 위한 컴퓨터 장치의 실시 예를 보여주는 블록도이다.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.

도 1은 본 발명의 실시 예에 따른 차도 인근에 설치된 장치들을 보여주는 블록도이다.

도 1을 참조하면, 차량들(VH)이 차도를 따라 이동하고 있으며, 보행자(PDST)가 인도에 위치해 있다.

차도 인근에 적어도 하나의 카메라(CMR)가 설치되어 있다. 카메라(CMR)는 차량들(VH)이 다닐 수 있는 차도 및 보행자(PDST)가 다닐 수 있는 인도를 향하도록 설치되어 영상 촬영을 수행하도록 구성된다.

알람 생성 장치(100)는 카메라(CMR)로부터 영상을 수신하고, 수신된 영상에 기반하여 알람 신호를 생성하도록 구성된다. 좀 더 구체적으로, 알람 생성 장치(100)는 영상에 기반하여 차량들(VH)의 움직임들 및 보행자(PDST)의 움직임들을 감지하고, 감지된 움직임들에 따라 알람 신호를 생성할 수 있다.

실시 예들에서, 알람 생성 장치(100)는 그것의 통신 모듈을 통해 알람 신호를 브로드캐스트하며, 차량들(VH)에 설치된 클라이언트 단말기들은 브로드캐스트된 알람 신호를 수신할 수 있다. 이때, 클라이언트 단말기들 각각은 브로드캐스트된 알람 신호를 수신하기에 적합한 통신 장치를 포함할 수 있다. 예를 들면, 통신 장치는 블루투스(Bluetooth) 통신, 와이파이 통신, LTE D2D(Device-to-Device) 통신, RFID(Radio Frequency IDentification) 통신, 마그네틱 보안 전송(Magnetic Secure Transmission) 통신, 지그비(Zigbee) 통신, 적외선(IrDA, infrared Data Association) 통신과 같은 근거리 무선 통신을 통해 알람 신호를 수신할 수 있다. 클라이언트 단말기들은 수신된 알람 신호에 응답하여 경고 메시지를 시각적 및/또는 청각적으로 출력하여 운전자들에게 위험 상황을 알릴 수 있다.

다른 실시 예들에서, 차도 인근에 발광 장치, 디스플레이 장치, 음성 생성 장치 등 운전자들에게 위험 상황을 알릴 수 있는 모듈이 설치되며, 그러한 모듈은 알람 생성 장치(100)로부터의 알람 신호를 수신하여 운전자들에게 시각적 및/또는 청각적으로 위험 상황을 알릴 수 있다.

도 2는 도 1의 알람 생성 장치의 실시 예를 보여주는 블록도이다.

도 2를 참조하면, 알람 생성 장치(100)는 카메라 인터페이스(110), 알람 생성기(120), 통신 인터페이스(130), 통신기(140), 스토리지 인터페이스(150), 및 저장 매체(160)를 포함할 수 있다.

카메라 인터페이스(110)는 알람 생성 장치(100)와 카메라(CMR) 사이의 인터페이스를 제공하며, 따라서 알람 생성기(120)는 카메라 인터페이스(110)를 통해 카메라(CMR)와 연결될 수 있다. 알람 생성기(120)는 카메라(CMR)에 의해 촬영된 영상(VD)을 카메라 인터페이스(110)를 통해 수신할 수 있다.

통신 인터페이스(130)는 알람 생성기(120)와 통신기(140) 사이의 인터페이스를 제공하며, 따라서 알람 생성기(120)는 통신 인터페이스(130)를 통해 통신기(140)와 연결될 수 있다. 예를 들면, 통신기(140)는 차량들(VH, 도 1 참조)에 설치된 클라이언트 단말기들과 같은 외부 장치들과 유선 및/또는 무선으로 통신하도록 구성되며, 알람 생성기(120)는 통신 인터페이스(130)를 거쳐 통신기(140)를 통해 외부 장치들에 데이터 및/또는 신호를 제공할 수 있다.

알람 생성기(120)는 카메라 인터페이스(110)를 통해 카메라(CMR)에 연결되고, 통신 인터페이스(130)를 통해 통신기(140)에 연결된다. 알람 생성기(120)는 카메라(CMR)로부터 영상(VD)을 수신하고, 수신된 영상(VD)에 기반하여 알람 신호(ALM)를 생성하도록 구성된다.

알람 생성기(120)는 영상(VD)에서 사람 오브젝트가 감지될 때 감지된 사람 오브젝트의 연령대를 추정할 수 있다. 추정된 연령대가 타겟 연령대, 예를 들면 20세 이하 혹은 10세 이하일 때, 알람 생성기(120)는 사람 오브젝트, 그리고 영상(VD)에서 감지되는 차량 오브젝트의 움직임들을 추적할 수 있으며, 추적된 움직임들에 따라 알람 신호(ALM)를 생성할 수 있다. 어린이와 같은 특정 연령대(즉, 타겟 연령대)의 사람의 경우 돌발적으로 행동할 가능성이 높음을 고려할 때, 알람 신호(ALM)를 생성함에 따라 관련 교통 사고는 효율적으로 방지될 수 있다.

실시 예들에서, 저장 매체(160)는 타겟 연령대를 포함한 복수의 연령대들에 대응하는 사람 오브젝트들과 연관된 학습 데이터(TD)를 저장할 수 있으며, 알람 생성기(120)는 학습 데이터(TD)에 기반하여 영상(VD)에서 감지되는 사람 오브젝트의 연령대를 추정할 수 있다. 학습 데이터(TD)는 사람 오브젝트들 및 연령대들 사이의 연관성을 학습하는 딥러닝(Deep-Learning)을 수행함으로써 제공될 수 있다. 실시 예들에서, 학습 데이터(TD)는 통신기(140)를 통해 수신되어 저장 매체(160)에 업데이트될 수 있다.

실시 예들에서, 저장 매체(160)는 웨이트 값 데이터 세트(WTDS)를 더 저장할 수 있다. 이와 관련하여는 도 3을 참조하여 상세히 설명된다.

스토리지 인터페이스(150)는 알람 생성기(120)와 저장 매체(160) 사이의 인터페이스를 제공하며, 따라서 알람 생성기(120)는 스토리지 인터페이스(150)를 통해 저장 매체(160)에 액세스할 수 있다. 알람 생성기(120)는 스토리지 인터페이스(150)를 통해 저장 매체(160)에 저장된 학습 데이터(TD)의 적어도 일부 및 웨이트 값 데이터 세트(WTDS)의 적어도 일부를 독출할 수 있다.

저장 매체(160)는 전원이 차단되더라도 저장된 데이터를 유지하는 불휘발성 저장 매체를 포함할 수 있다. 저장 매체(160)는 위 설명된 바와 같이 학습 데이터(TD) 및 웨이트 값 데이터 세트(WTDS)를 저장할 수 있다.

실시 예들에서, 카메라 인터페이스(110), 알람 생성기(120), 통신 인터페이스(130), 및 스토리지 인터페이스(150)는 하드웨어들, 소프트웨어들, 펌웨어들, 및/또는 그들의 조합 중 적어도 하나로 구현될 수 있다.

도 3은 도 2의 알람 생성기의 실시 예를 보여주는 블록도이다.

도 3을 참조하면, 알람 생성기(200)는 오브젝트 추적기(210), 연령대 추정기(220), 이동 벡터 감지기(230), 및 알람 생성기(240)를 포함할 수 있다.

오브젝트 추적기(210)는 영상(VD)으로부터 사람 오브젝트를 감지하도록 구성된다. 실시 예들에서, 오브젝트 추적기(210)는 이 분야에 알려진 다양한 사람 인식(human detection) 알고리즘들 중 적어도 하나를 통해 영상(VD)에서 사람 오브젝트를 감지하고, 감지된 사람 오브젝트를 추적(tracking)할 수 있다. 감지된 사람 오브젝트는 영상(VD)에 촬영된 보행자(PDST, 도 1 참조)에 대응한다.

또한, 오브젝트 추적기(210)는 영상(VD)으로부터 차량 오브젝트를 감지하도록 구성된다. 실시 예들에서, 오브젝트 추적기(210)는 이 분야에 알려진 다양한 차량 감지(Vehicle Detection) 알고리즘들 중 적어도 하나를 통해 영상(VD)에서 차량 오브젝트를 감지하고, 감지된 차량 오브젝트를 추적할 수 있다.

연령대 추정기(220)는 오브젝트 추적기(210)에 의해 감지된 사람 오브젝트의 연령대를 추정할 수 있다. 추정된 연령대가 타겟 연령대, 예를 들면 20세 이하 혹은 10세 이하일 때, 연령대 추정기(220)는 커맨드 신호(CMD)를 생성할 수 있다.

실시 예들에서, 연령대 추정기(220)는 각 연령대의 사람 오브젝트들의 특성들을 학습한 학습 데이터(TD, 도 1 참조)를 이용함으로써 영상(VD) 내 사람 오브젝트의 연령대를 추정하는 알고리즘을 포함할 수 있다. 예를 들면, 학습 데이터(TD)는 각 연령대의 사람 오브젝트들의 스켈레톤 오브젝트들을 학습한 모델링 데이터를 포함할 수 있으며, 연령대 추정기(220)는 영상(VD) 내 사람 오브젝트의 스켈레톤 오브젝트들을 추출하고, 추출된 오브젝트들을 모델링 데이터와 비교 혹은 모델링 데이터에 적용함으로써 연령대를 추정할 수 있다. 예를 들면, 학습 데이터(TD)는 각 연령대의 사람 오브젝트들의 걸음걸이(gait) 혹은 포즈(pose)를 학습한 모델링 데이터를 포함할 수 있으며, 연령대 추정기(220)는 영상(VD) 내 사람 오브젝트의 걸음걸이 혹은 포즈 특성을 추출하고, 추출된 걸음걸이 혹은 포즈 특성을 모델링 데이터와 비교 혹은 모델링 데이터에 적용함으로써 연령대를 추정할 수 있다.

이동 벡터 감지기(230)는 커맨드(CMD)에 응답하여, 오브젝트 추적기(210)에 의해 감지된 사람 오브젝트 및 차량 오브젝트 각각의 움직임을 추적하고, 추적된 움직임에 기초하여 특정 시간 경과 후 사람 오브젝트 및 차량 오브젝트가 위치할 위치들을 추정하도록 구성된다. 예를 들면, 이동 벡터 감지기(230)는 사람 오브젝트 및 차량 오브젝트의 움직임들에 기초하여 3초 경과후, 5초 경과후, 7초 경과후 각각에서 사람 오브젝트 및 차량 오브젝트가 위치할 위치들을 추정할 수 있다.

실시 예들에서, 이동 벡터 감지기(230)는 칼만 필터(Kalman Filter: KF)를 포함하고, 칼만 필터(KF)를 이용하여 특정 시간 경과 후의 사람 오브젝트 및 차량 오브젝트의 위치들을 예측할 수 있다.

알람 생성기(240)는 이동 벡터 감지기(230)에 의해 예측된 사람 오브젝트 및 차량 오브젝트의 위치들이 임계 거리보다 가까울 때 알람 신호(ALM)를 생성할 수 있다. 예를 들면, 특정 시간 경과 후(예를 들면, 3초, 5초) 차량 오브젝트의 위치와 인접한 영역 내에 사람 오브젝트가 위치할 것으로 예측될 때, 알람 생성기(240)는 알람 신호(ALM)를 생성할 수 있다.

도 4는 알람 생성기가 알람 신호를 생성하지 않는 경우의 차량 오브젝트 및 사람 오브젝트의 움직임들을 보여주는 도면이다.

도 3 및 도 4를 참조하면, 영상(VD)으로부터 차량 오브젝트(VOBJ) 및 사람 오브젝트(POBJ)가 감지된다. 이동 벡터 감지기(230)는 차량 오브젝트(VOBJ)의 움직임을 추적하고, 추적된 움직임을 칼만 필터(KF)에 적용함으로써 특정 시간 경과 후 차량 오브젝트(VOBJ)의 위치(P1, 이하 제 1 위치)를 추정할 수 있다. 마찬가지로, 이동 벡터 감지기(230)는 사람 오브젝트(POBJ)의 움직임을 추적하고, 추적된 움직임을 칼만 필터(KF)에 적용함으로써 특정 시간 경과 후 사람 오브젝트(POBJ)의 위치(P2, 이하 제 2 위치)를 추정할 수 있다. 다른 말로, 차량 오브젝트(VOBJ)는 제 1 이동 벡터(MV1)와 같이 움직일 것으로 예측될 수 있으며, 사람 오브젝트(POBJ)는 제 2 이동 벡터(MV2)와 같이 움직일 것으로 예측될 수 있다.

알람 생성기(240)는 제 1 위치(P1) 및 제 2 위치(P2) 사이의 제 1 거리(D1)가 임계 거리(THD)보다 가까운지 여부를 판별하고, 판별 결과에 따라 알람 신호(ALM)를 생성한다. 도 4에서, 사람 오브젝트(POBJ)는 차도(혹은 인도)를 따라 움직이며, 따라서 제 2 위치(P1)는 제 1 위치(P1) 주변의 커버리지(CVRG) 밖에 존재한다. 즉, 제 1 거리(D1)는 임계 거리(THD) 보다 멀다. 이러한 경우, 알람 신호(ALM)는 생성되지 않는다.

도 5는 알람 생성기가 알람 신호를 생성하는 경우의 차량 오브젝트 및 사람 오브젝트의 움직임들을 보여주는 도면이다.

도 3 및 도 5를 참조하면, 이동 벡터 감지기(230)는 특정 시간 경과 후 사람 오브젝트(POBJ)의 위치를 제 2 위치(P2’)로 추정할 수 있다. 도 4에 도시된 사람 오브젝트(POBJ)의 움직임과는 다르게, 사람 오브젝트(POBJ)는 제 2 이동 벡터(MV2’)와 같이 차도를 향해 움직일 것으로 예측될 수 있다. 차량 오브젝트(VOBJ)는 도 4와 동일하게 제 1 이동 벡터(MV1)와 같이 움직일 것으로 예측되어 특정 시간 경과 후 제 1 위치(P1)에 위치할 것으로 추정된다고 가정한다.

제 1 위치(P1) 주변의 커버리지(CVRG) 내에 제 2 위치(P2’)가 존재하며, 이는 교통 사고가 발생될 가능성이 높음을 의미한다. 다른 말로, 제 1 위치(P1) 및 제 2 위치(P2’) 사이의 제 1 거리(D2)는 임계 거리(THD)보다 가깝다. 알람 생성기(240)는 알람 신호(ALM)를 생성할 수 있다.

도 6은 도 2의 저장 매체에 저장된 웨이트 값 데이터 세트를 개념적으로 보여주는 테이블이다.

도 6을 참조하면, 웨이트 값 데이터 세트(WTDS)는 제 1 내지 제 4 연령대들(GRP1~GRP4)에 각각 대응하는 제 1 내지 제 4 웨이트 값들(WT1~WT4)을 포함할 수 있다. 예를 들면, 제 1 연령대(GRP1)는 0~5세를 나타내며, 제 2 연령대(GRP2)는 6~10세를 나타내며, 제 3 연령대(GRP3)는 11~15세를 나타내며, 제 4 연령대(GRP4)는 16~20세를 나타낼 수 있다. 제 1 내지 제 4 연령대들(GRP1~GRP4) 각각은 타겟 연령대일 수 있다.

연령대 추정기(220)는 도 3을 참조하여 설명되 바와 같이 영상(VD) 내의 사람 오브젝트의 연령대를 추정하고, 추정된 연령대가 타겟 연령대, 예를 들면 제 1 내지 제 4 연령대들(GRP1~GRP4) 중 어느 하나에 대응할 때, 커맨드(CMD)를 생성할 수 있다. 또한, 연령대 추정기(220)는 추정된 연령대를 알람 생성기(240)에 제공할 수 있다.

알람 생성기(240)는 연령대 추정기(220)로부터 제공된 연령대(AG)에 대응하는 웨이트 값을 웨이트 값 데이터 세트(WTDS)에서 검색하고, 검색된 웨이트 값에 따라 임계 거리(THD, 도 4 및 도 5 참조)를 조절할 수 있다. 예를 들면, 알람 생성기(240)는 연령대(AG)가 제 1 연령대(GRP1)일 때 제 1 웨이트 값(WT1)에 따라 임계 거리(THD)를 조절할 수 있다. 예를 들면, 알람 생성기(240)는 웨이트 값을 디폴트 값(혹은 거리)에 곱함에 따라 임계 거리(THD)를 설정할 수 있다.

실시 예들에서, 연령대가 낮아질수록 해당 웨이트 값은 높아질 수 있다. 예를 들면, 제 1 내지 제 4 웨이트 값들(WT1~WT4)은 순차적으로 감소하는 값들일 수 있다. 이와 같이, 연령대(AG)가 낮아질수록 임계 거리(THD)는 증가한다. 어린이와 같은 연령대가 낮은 사람일수록 돌발적으로 행동할 가능성이 높다는 점을 고려할 때, 보행자의 연령대에 적응적으로 임계 거리(THD)가 설정됨으로써, 교통 흐름을 원활하게 하면서도 교통 사고의 발생 가능성을 더욱 감소시킬 수 있다. 예를 들면, 연령대(AG)가 높을수록 임계 거리(THD)를 감소시켜 교통 흐름을 원활하게 하고, 연령대(AG)가 낮을수록 임계 거리(THD)를 증가시켜 상대적으로 신속히 알람 신호(ALM)를 생성함으로써 교통 사고의 발생 가능성을 감소시킬 수 있다.

도 7은 본 발명의 실시 예에 따른 보행자의 움직임과 연관되는 알람 신호를 생성하는 방법을 보여주는 순서도이다.

도 7을 참조하면, S110단계에서, 차량 및 보행자가 다닐 수 있는 영역을 향하도록 설치된 적어도 하나의 카메라로부터 영상을 획득한다. 예를 들면, 적어도 하나의 카메라는 차량 및 보행자보다 높은 위치에서 지면을 지향하도록 설치되며, 촬영된 영상을 알람 생성 장치에 제공할 수 있다.

S120단계에서, 획득된 영상을 참조하여 알람 신호를 제공한다. 실시 예들에서, 차량들(VH, 도 1 참조)에 설치된 클라이언트 단말기들은 알람 신호를 수신하고, 그에 응답하여 경고 메시지를 시각적 및/또는 청각적으로 출력하여 운전자들에게 위험 상황을 알릴 수 있다. 실시 예들에서, 차도의 인근에 발광 장치, 디스플레이 장치, 음성 생성 장치 등 운전자들에게 위험 상황을 알릴 수 있는 모듈이 설치되며, 그러한 모듈은 알람 신호에 응답하여 운전자들에게 시각적 및/또는 청각적으로 위험 상황을 알릴 수 있다.

도 8은 도 7의 S120단계의 실시 예를 보여주는 순서도이다. 도 9는 도 8의 S210단계의 실시 예를 보여주는 순서도이다.

도 8을 참조하면, S210단계에서, 카메라에 의해 획득된 영상에서 감지되는 사람 오브젝트의 연령대가 판별된다. 실시 예들에서, 복수의 연령대들에 대응하는 사람 오브젝트들과 연관된 학습 데이터가 데이터베이스(예를 들면, 도 2의 160)에 저장 및/또는 업데이트될 수 있다. 이러한 경우, 도 9를 참조하면, 사람 오브젝트의 연령대는 학습 데이터에 기반하여 판별될 수 있다(S310).

예를 들면, 학습 데이터는 각 연령대의 사람 오브젝트들의 스켈레톤 오브젝트들을 학습한 모델링 데이터를 포함할 수 있으며, 이러한 경우 영상 내 사람 오브젝트의 스켈레톤 오브젝트들이 추출되고, 추출된 오브젝트들이 모델링 데이터와 비교되어 연령대를 추정할 수 있다. 예를 들면, 학습 데이터는 각 연령대의 사람 오브젝트들의 걸음걸이 혹은 포즈를 학습한 모델링 데이터를 포함할 수 있으며, 이려한 경우 영상 내 사람 오브젝트의 걸음걸이 혹은 포즈 특성이 추출되고, 추출된 걸음걸이 혹은 포즈 특성이 모델링 데이터와 비교되어 연령대를 추정할 수 있다. 이 밖에도, 이 분야에 알려진 다양한 알고리즘들 중 적어도 하나를 이용하여 사람 오브젝트의 연령대가 판별될 수 있다.

S220단계에서, 판별된 연령대가 타겟 연령대에 해당하는지 여부가 판별된다. 예를 들면, 판별된 연령대가 도 6의 제 1 내지 제 4 연령대들(GRP1~GRP4) 중 어느 하나에 대응하는지 여부가 판별될 수 있다. 만약 그렇다면, S230단계가 수행된다.

S230단계에서, 영상에서 감지되는 차량 오브젝트의 움직임이 추적되어 특정 시간 경과 후 차량 오브젝트가 위치할 제 1 위치를 추정한다. 실시 예들에서, 차량 오브젝트의 움직임을 칼만 필터에 적용함으로써 특정 시간 경과 후의 차량 오브젝트의 제 1 위치가 추정될 수 있다.

S240단계에서, 사람 오브젝트의 움직임이 추적되어 특정 시간 경과 후 사람 오브젝트가 위치할 제 2 위치를 추정한다. 실시 예들에서, 사람 오브젝트의 움직임을 칼만 필터에 적용함으로써 특정 시간 경과 후의 사람 오브젝트의 제 2 위치가 추정될 수 있다.

S250단계에서, 제 1 위치와 제 2 위치 사이의 거리가 임계 거리보다 가까운지 여부가 판별된다. 만약 그렇다면, S260단계가 수행된다.

S260단계에서, 알람 신호가 생성된다. 실시 예들에서, 무선 신호로서 알람 신호가 브로드캐스트될 수 있으며, 영상의 차량 오브젝트에 대응하는 차량의 단말기는 알람 신호를 수신할 수 있다.

도 10은 도 8의 S250단계에서 사용되는 임계 거리를 조절하는 방법의 실시 예를 보여주는 순서도이다.

도 10을 참조하면, S410단계에서, 복수의 연령대들에 각각 대응하는 웨이트 값들 중 타겟 연령대에 대응하는 웨이트 값에 따라 임계 거리가 조절된다. 타겟 연령대가 감소할수록 웨이트 값이 증가하며, 웨이트 값이 증가할수록 임계 거리가 증가할 수 있다. 이와 같이, 임계 거리(THD)는 보행자의 연령대에 적응적으로 설정될 수 있으며, 이에 따라 교통 흐름을 원활하게 하면서도 교통 사고의 발생 가능성을 더욱 감소시킬 수 있다.

도 11은 도 1의 알람 생성 장치를 구현하기 위한 컴퓨터 장치의 실시 예를 보여주는 블록도이다.

도 11를 참조하면, 컴퓨터 장치(1000)는 버스(1100), 적어도 하나의 프로세서(1200), 시스템 메모리(1300), 스토리지 인터페이스(1400), 통신 인터페이스(1500), 저장 매체(1600), 통신기(1700), 및 카메라 인터페이스(1700)를 포함한다.

버스(1100)는 컴퓨터 장치(1000)의 다양한 구성 요소들에 연결되어 데이터, 신호, 및 정보를 전달한다. 프로세서(1200)는 범용 혹은 전용 프로세서 중 어느 하나일 수 있으며, 컴퓨터 장치(1000)의 제반 동작들을 제어할 수 있다.

프로세서(1200)는 실행될 때 다양한 기능들을 제공하는 프로그램 코드들 및 명령어들을 시스템 메모리(1300)에 로딩하고, 로딩된 프로그램 코드들 및 명령어들을 처리하도록 구성된다. 시스템 메모리(1300)는 프로세서(1200) 혹은 시스템 메모리(1300)에 로딩된 소프트웨어 모듈의 워킹 메모리 및/또는 버퍼 메모리로서 제공될 수 있다. 예를 들면, 알람 생성 모듈(1310)은 학습 데이터(TD, 도 2 참조)의 적어도 일부 및 웨이트 값 데이터 세트(WTDS, 도 2 참조)의 적어도 일부를 저장 매체(1600)로부터 시스템 메모리(1300)에 로드하고, 로드된 데이터를 이용하여 여기에 설명된 알람 생성기(120, 도 2 참조)의 기능들을 수행할 수 있다. 실시 예로서, 시스템 메모리(1300)는 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 및 다른 타입의 컴퓨터에 의해 판독 가능한 매체 중 적어도 하나를 포함할 수 있다.

프로세서(1200)는 프로세서(1200)에 의해 실행될 때 도 2의 알람 생성기(120)의 기능들을 제공하는 알람 생성 모듈(1310)을 시스템 메모리(1300)에 로딩할 수 있다. 그러한 프로그램 코드들 및/또는 명령어들은 프로세서(1200)에 의해 실행되어 도 2의 알람 생성기(120)의 동작들을 수행할 수 있다. 프로그램 코드들 및/또는 명령어들은 별도의 컴퓨터에 의해 판독 가능한 기록 매체인 저장 매체(1600)로부터 시스템 메모리(1300)에 로딩될 수 있다. 또는, 프로그램 코드들 및/또는 명령어들은 컴퓨터 장치(1000)의 외부로부터 통신기(1700)을 통해 시스템 메모리(1300)에 로딩될 수도 있다. 또한, 프로세서(1200)는 프로세서(1200)에 의해 실행될 때 알람 생성 모듈(1310)이 실행되기에 적합한 환경을 제공하는 운영 체제(1320)를 시스템 메모리(1300)에 로딩하고, 로딩된 운영 체제(1320)를 실행할 수 있다. 예를 들면, 운영 체제(1320)는 알람 생성 모듈(1310)이 컴퓨터 장치(1000)의 스토리지 인터페이스(1400), 통신 인터페이스(1500), 및 카메라 인터페이스(1700)와 같은 구성 요소들을 이용할 수 있도록, 그것들과 알람 생성 모듈(1310) 사이를 인터페이싱할 수 있다.

도 11에서, 시스템 메모리(1300)는 프로세서(1200)와 구분된 구성으로 도시되어 있으나, 시스템 메모리(1300)의 적어도 일부는 프로세서(1200)에 포함될 수도 있다.

스토리지 인터페이스(1400)는 저장 매체(1600)에 연결된다. 스토리지 인터페이스(1400)는 버스(1100)에 연결된 프로세서(1200) 및 시스템 메모리(1300)와 같은 구성 요소들과 저장 매체(1600) 사이를 인터페이싱할 수 있다. 통신 인터페이스(1500)는 통신기(1700)에 연결된다. 통신 인터페이스(1500)는 버스(1100)에 연결된 구성 요소들과 통신기(1700) 사이를 인터페이싱할 수 있다. 스토리지 인터페이스(1400) 및 통신 인터페이스(1500)는 각각 도 2의 스토리지 인터페이스(150) 및 통신 인터페이스(130)로서 제공될 수 있다.

저장 매체(1600)는 전원이 차단되더라도 저장된 데이터를 유지하는 다양한 타입들의 불휘발성 저장 매체들, 예를 들면 플래시 메모리(flash memory), 하드 디스크(hard disk) 등을 포함할 수 있다. 저장 매체(1600)는 도 2의 저장 매체(160)의 적어도 일부를 포함할 수 있다.

통신기(1700, 혹은 트랜시버)는 컴퓨터 장치(1000)와 외부의 장치들, 예를 들면 차량들(VH, 도 1 참조)의 클라이언트 단말기들과 신호들을 송수신할 수 있다. 통신기(1700)는 도 2의 통신기(140)로서 제공될 수 있다.

카메라 인터페이스(1700)는 버스(1100)에 연결된 구성 요소들과 카메라(CMR) 사이를 인터페이싱할 수 있다. 카메라 인터페이스(1700)는 도 2의 카메라 인터페이스(110)로서 제공될 수 있다.

실시 예들에서, 스토리지 인터페이스(1400), 통신 인터페이스(1500), 및 카메라 인터페이스(1700)의 적어도 일부는 프로세서(1200)에 통합될 수 있다.

실시 예들에서, 버스(1100), 프로세서(1200), 및 시스템 메모리(1300)는 하나의 보드(1050)에 통합될 수 있다. 예를 들면, 버스(1100), 프로세서(1200), 및 시스템 메모리(1300)는 하나의 반도체 칩에 실장될 수 있다. 실시 예들에서, 하나의 보드(1050)는 스토리지 인터페이스(1400), 통신 인터페이스(1500), 및 카메라 인터페이스(1700)를 더 포함할 수 있다.

비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

CMR: 카메라
100: 알람 생성 장치
110: 카메라 인터페이스
120, 200: 알람 생성기
130: 통신 인터페이스
140: 통신기
150: 스토리지 인터페이스
160: 저장 매체
210: 오브젝트 추적기
220: 연령대 추정기
230: 이동 벡터 감지기
240: 알람 생성기

Claims (12)

1. 차량 및 보행자가 다닐 수 있는 영역을 지향하도록 설치된 적어도 하나의 카메라와 통신하도록 구성되는 카메라 인터페이스;
   상기 카메라 인터페이스를 통해 상기 적어도 하나의 카메라로부터 영상을 수신하고, 상기 수신된 영상에 기반하여 알람 신호를 생성하도록 구성되는 알람 생성기; 및
   복수의 연령대들에 각각 대응하는 웨이트 값들을 저장하는 저장 매체를 포함하며,
   상기 알람 생성기는 상기 영상에서 감지되는 사람 오브젝트의 연령대를 판별하고, 상기 판별된 연령대에 응답하여:
   상기 영상에서 감지되는 차량 오브젝트의 움직임을 추적하여 특정 시간 경과 후 상기 차량 오브젝트가 위치할 제 1 위치를 추정하고,
   상기 사람 오브젝트의 움직임을 추적하여 상기 특정 시간 경과 후 상기 사람 오브젝트가 위치할 제 2 위치를 추정하고,
   추정된 상기 제 1 위치로부터 임계 거리를 반지름으로 하는 커버리지를 설정하되, 상기 커버리지의 면적은 상기 영상에서 감지되는 상기 사람 오브젝트의 연령대에 따라 다르게 설정되며,
   상기 판별된 연령대에 기초하여 추정된 상기 제 2 위치가, 설정된 상기 커버리지 이내에 위치하는지 여부를 판단하고,
   상기 제 1 위치와 상기 제 2 위치 사이의 거리가 상기 임계 거리보다 가까울 때 알람 신호를 생성하도록 구성되는 알람 생성 장치.
2. 제 1 항에 있어서,
   상기 차량과 연관되어 설치된 클라이언트 단말기와 통신하도록 구성되는 통신기를 더 포함하며,
   상기 알람 생성기는 상기 알람 신호를 상기 통신기를 통해 상기 클라이언트 단말기에 제공하도록 구성되는 알람 생성 장치.
3. 제 1 항에 있어서,
   상기 알람 생성기는,
   상기 판별된 연령대가 상기 복수의 연령대들 중 어느 하나인 타겟 연령대에 대응할 때 상기 제 1 위치 및 상기 제 2 위치를 추정하고,
   상기 웨이트 값들 중 상기 타겟 연령대에 대응하는 웨이트 값에 따라 상기 임계 거리를 조절하도록 구성되는 알람 생성 장치.
4. 제 3 항에 있어서,
   상기 복수의 연령대들이 낮아질수록 상기 웨이트 값들은 높아지는 알람 생성 장치.
5. 제 1 항에 있어서,
   상기 알람 생성기는 칼만 필터를 포함하고,
   상기 알람 생성기는 상기 칼만 필터를 이용하여 상기 제 1 위치 및 상기 제 2 위치를 추정하도록 구성되는 알람 생성 장치.
6. 제 1 항에 있어서,
   상기 저장 매체는 상기 복수의 연령대들에 대응하는 사람 오브젝트들과 연관된 학습 데이터를 더 저장하도록 구성되며,
   상기 알람 생성기는 상기 학습 데이터에 기반하여 상기 영상에서 감지되는 상기 사람 오브젝트의 상기 연령대를 판별하도록 구성되는 알람 생성 장치.
7. 저장 매체 및 프로세서를 포함하는 컴퓨터 장치가 보행자의 움직임과 연관되는 알람 신호를 생성하는 방법에 있어서:
   차량 및 상기 보행자가 다닐 수 있는 영역을 지향하도록 설치된 적어도 하나의 카메라로부터 영상을 획득하는 단계; 및
   상기 저장 매체에 저장된 웨이트 값들 및 상기 획득된 영상에 기반하여 알람 신호를 제공하는 단계를 포함하며, 상기 웨이트 값들은 복수의 연령대들에 각각 대응하는 값들이고,
   상기 알람 신호를 제공하는 단계는,
   상기 영상에서 감지되는 사람 오브젝트의 연령대를 판별하는 단계;
   상기 판별된 연령대에 응답하여, 상기 영상에서 감지되는 차량 오브젝트의 움직임을 추적하여 특정 시간 경과 후 상기 차량 오브젝트가 위치할 제 1 위치를 추정하는 단계;
   상기 사람 오브젝트의 움직임을 추적하여 상기 특정 시간 경과 후 상기 사람 오브젝트가 위치할 제 2 위치를 추정하는 단계;
   추정된 상기 제 1 위치로부터 임계 거리를 반지름으로 하는 커버리지를 설정하되, 상기 커버리지의 면적은 상기 영상에서 감지되는 상기 사람 오브젝트의 연령대에 따라 다르게 설정하는 단계;
   상기 판별된 연령대에 기초하여 추정된 상기 제 2 위치가 설정된 상기 커버리지 이내에 위치하는지 여부를 판단하는 단계; 및
   상기 제 1 위치와 상기 제 2 위치 사이의 거리가 임계 거리보다 가까울 때 알람 신호를 생성하는 단계를 포함하는 방법.
8. 제 7 항에 있어서,
   상기 알람 신호를 생성하는 단계는 상기 알람 신호를 브로드캐스트하여 상기 차량과 연관하여 설치된 클라이언트 단말기에 제공하는 단계를 포함하는 방법.
9. 제 7 항에 있어서,
   상기 제 1 위치를 추정하는 단계 및 상기 제 2 위치를 추정하는 단계는 상기 판별된 연령대가 상기 복수의 연령대들 중 어느 하나인 타겟 연령대에 대응할 때 수행되며,
   상기 알람 신호를 제공하는 단계는 상기 웨이트 값들 중 상기 타겟 연령대에 대응하는 웨이트 값에 따라 상기 임계 거리를 조절하는 단계를 더 포함하는 방법.
10. 제 9 항에 있어서,
    상기 복수의 연령대들이 낮아질수록 상기 웨이트 값들은 높아지는 방법.
11. 제 7 항에 있어서,
    상기 제 1 위치를 추정하는 단계는 칼만 필터를 이용하여 상기 차량 오브젝트의 상기 움직임에 따른 상기 제 1 위치를 추정하는 단계를 포함하고,
    상기 제 2 위치를 추정하는 단계는 상기 칼만 필터를 이용하여 상기 사람 오브젝트의 상기 움직임에 따른 상기 제 2 위치를 추정하는 단계를 포함하는 방법.
12. 제 7 항에 있어서,
    상기 복수의 연령대들에 대응하는 사람 오브젝트들과 연관된 학습 데이터를 저장하는 단계를 더 포함하고,
    상기 사람 오브젝트의 상기 연령대를 판별하는 단계는 상기 학습 데이터에 기반하여 상기 사람 오브젝트의 상기 연령대를 판별하는 단계를 포함하는 방법.
    

Images