KR101337554B1 - 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법 - Google Patents

차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR101337554B1
KR101337554B1 KR1020120028347A KR20120028347A KR101337554B1 KR 101337554 B1 KR101337554 B1 KR 101337554B1 KR 1020120028347 A KR1020120028347 A KR 1020120028347A KR 20120028347 A KR20120028347 A KR 20120028347A KR 101337554 B1 KR101337554 B1 KR 101337554B1
Authority
KR
South Korea
Prior art keywords
image
recognition
information
vehicle
face
Prior art date
Application number
KR1020120028347A
Other languages
English (en)
Other versions
KR20130106640A (ko
Inventor
정광훈
Original Assignee
(주) 세인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 세인 filed Critical (주) 세인
Priority to KR1020120028347A priority Critical patent/KR101337554B1/ko
Publication of KR20130106640A publication Critical patent/KR20130106640A/ko
Application granted granted Critical
Publication of KR101337554B1 publication Critical patent/KR101337554B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

차량용 블랙박스에서 주차시 잠복 모드로 전환되어 근접 보행자의 안면을 인식하고, 인식 대상이 존재할 경우 차주에게 문자 메시지를 발송하거나 등록된 관공서에 인식 정보를 전송해주어 수배자 및 실종자를 추적할 수 있도록 한 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치 및 그 방법이 개시된다.
개시된 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치는, 차량의 주행중 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 대상자 정보를 수신하고, 인식 정보를 상기 도로 시설물과 통신을 통해 상기 관공서 서버로 전송하는 통신부와; 주차중 차량에 장착된 카메라를 통해 영상을 획득하는 영상 입력부와; 영상 입력부를 통해 획득한 영상으로부터 이동체를 감지하고, 감지한 이동체의 안면을 검지하여 인식하는 영상 인식부와; 상기 통신부에서 수신한 인식 대상자 정보의 저장을 제어하고, 상기 영상 인식부에서 인식한 결과 정보와 인식 대상자 정보를 비교하여 인식 대상자 존재 여부를 판단하고, 인식 대상자가 존재할 경우 인식 정보의 전송을 제어하는 제어부를 포함한다.

Description

차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법{Apparatus for trace of wanted criminal and missing person using image recognition and method thereof}
본 발명은 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 차량용 블랙박스에서 주차시 잠복 모드로 전환되어 근접 보행자의 안면을 인식하고, 인식 대상이 존재할 경우 차주에게 문자 메시지를 발송하거나 등록된 관공서에 인식 정보를 전송해주어 수배자 및 실종자를 추적할 수 있도록 한 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치 및 그 방법에 관한 것이다.
일반적으로 범죄 수배자를 검거하기 위해서는 해당 지역의 형사들이 수배자 출몰 장소에 실제로 잠복하여 수배자를 확인 및 검거해야하는 불편함이 있으며, 실종자를 찾기 위해서는 주변인들의 제보에 의존하거나 경찰이 직접 탐문 수색을 해야하는 어려움이 있다. 특히, 범죄자와 실종자의 수가 증가하는 현재의 실정에서 이런 방식으로 범죄자와 수배자를 추적하는데 한계가 있다.
따라서 근래에는 차량에 보편적으로 적용된 블랙박스를 이용하여 촬영된 영상을 수집하여 범죄가 발생한 장소나 실종자가 발생한 지역의 영상을 확보하여 범인(수배자)을 검거하거나 실종자를 찾는 데 활용되기도 한다.
차량에 장착된 블랙박스의 카메라를 이용하여 영상을 촬영하고, 이렇게 촬영된 영상을 이용하여 수배자나 실종자를 추적하는 기술이 대한민국특허청 등록특허공보 등록번호 10-1088944호(2011.11.25. 등록)(발명의 명칭: 차량의 촬영 영상을 이용한 범죄예방 및 실종자 추적 시스템)(이하, "종래기술"이라 약칭함)에 개시되어 있다.
개시된 종래기술은 차량의 주행 중이나 주차 중 차량의 일측에 설치된 하나 이상의 카메라를 이용하여 영상을 촬영하고, 촬영된 영상은 클라이언트 서버(블랙박스)를 통해 메인서버로 전송하며, 전송된 영상데이터를 수사기관의 요청이 있을 때는 시간과 장소별로 구분하여 범인을 검거할 수 있는 단서를 수사기관 서버에 제공하여 실종자 수색에 도움을 주며, 차량이나 기타 구조물의 사고 발생시 사고 영상을 촬영하여 사고원인을 규명할 수 있도록 한다.
1. 대한민국특허청 등록특허공보 등록번호 10-1088944호(2011.11.25. 등록)(발명의 명칭: 차량의 촬영 영상을 이용한 범죄예방 및 실종자 추적 시스템)
그러나 상기와 같은 종래 기술은 차량에 장착된 블랙박스에서는 단순히 영상만 획득할 뿐, 영상을 인식 및 판별하는 것은 불가능한 단점이 있다.
또한, 종래기술은 차량에서 획득한 영상을 수사기관 서버에 제공하기 위해서는 차량에서 획득한 영상을 분별하고 가공하는 별도의 장치(예컨대, 메인 서버)가 필요하므로, 차량의 촬영 영상을 이용하기 위해서는 시스템 구성이 복잡하고, 별도의 장치 구현으로 인해 시스템 구현 비용이 많이 소요되는 단점도 있다.
이에 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,
본 발명이 해결하고자 하는 과제는 차량용 블랙박스에서 주차시 잠복 모드로 전환되어 근접 보행자의 안면을 인식하고, 인식 대상이 존재할 경우 차주에게 문자 메시지를 발송하거나 등록된 관공서에 인식 정보를 전송해주어 수배자 및 실종자를 추적할 수 있도록 한 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치 및 그 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 다른 과제는 차량용 블랙박스에서 촬영된 영상을 기반으로 보행자 안면 인식을 통해 수배자 및 실종자를 판별할 수 있어, 담당자(형사, 경찰)가 직접 잠복하거나 탐문하는데 소요되는 인적/시간적/경제적인 낭비를 방지하도록 한 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치 및 그 방법을 제공하는 데 있다.
상기와 같은 과제들을 해결하기 위한 본 발명에 따른 "차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치"는,
차량의 주행중 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 대상자 정보를 수신하고, 인식 정보를 상기 도로 시설물과 통신을 통해 상기 관공서 서버로 전송하는 통신부와;
주차중 차량에 장착된 카메라를 통해 영상을 획득하는 영상 입력부와;
상기 영상 입력부를 통해 획득한 영상으로부터 이동체를 감지하고, 감지한 이동체의 안면을 검지하여 인식하는 영상 인식부와;
상기 통신부에서 수신한 인식 대상자 정보의 저장을 제어하고, 상기 영상 인식부에서 인식한 결과 정보와 인식 대상자 정보를 비교하여 인식 대상자 존재 여부를 판단하고, 인식 대상자가 존재할 경우 인식 정보의 전송을 제어하는 제어부를 포함하는 것을 특징으로 한다.
상기 제어부는 인식 대상자가 존재할 경우 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우 상기 통신부를 통해 인식 정보의 전송을 제어하고, 주차 모드일 경우 문자 메시지 생성을 제어하는 것을 특징으로 한다.
또한, 본 발명에 따른 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치는,
상기 제어부의 제어에 따라 주차 모드에서 인식 대상자가 존재할 경우 인식 정보를 문자 메시지로 생성하여 상기 제어부에 전달하는 문자 메시지 생성부를 더 포함하고,
상기 제어부는 문자 메시지 생성부에서 생성한 문자 메시지를 미리 등록된 차주의 전화번호와 매핑하여 상기 통신부를 통해 차주 단말기로 전송토록 제어하는 것을 특징으로 한다.
상기와 같은 과제들을 해결하기 위한 본 발명에 따른 "차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법"은,
(a) 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우, 통신부를 통해 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 대상자 정보를 수신하고, 수신한 인식 대상자 정보를 기초로 인식 데이터베이스를 갱신하는 단계와;
(b) 상기 차량의 운전 모드가 주차 모드일 경우, 영상 입력부를 통해 영상을 획득하고, 영상 인식부를 통해 획득한 영상으로부터 이동체를 검지하는 단계와;
(c) 상기 영상 인식부에서 이동체가 검지될 경우 검지된 이동체 영상으로부터 안면 특징점을 추출하는 단계와;
(d) 상기 영상 인식부에서 추출한 안면 특징점을 기초로 안면을 검지하는 단계와;
(e) 상기 영상 인식부에서 검지한 안면을 인식하는 단계와;
(f) 제어부에서 인식한 안면 정보와 상기 인식 대상자 정보를 비교하여, 인식 대상자 존재 여부를 판단하고, 인식 대상자가 존재할 경우, 차량의 운전 모드에 따라 인식 정보를 관공서 서버 또는 차주 단말기로 전송하도록 제어하는 단계를 포함하는 것을 특징으로 한다.
상기에서 (b) 단계는,
입력되는 영상으로부터 이동체 영역을 추출하는 방법을 통해 배경과 이동체를 분리하여 이동체를 검지하는 것을 특징으로 한다.
상기에서 (c) 단계는,
(c-1) 상기 (b) 단계에서 분리된 이동체 영역 영상으로부터 저주파 성분을 제거하는 필터링을 통해 직류(DC) 성분을 제거하는 단계와;
(c-2) 직류 성분이 제거된 이동체 영역 영상에서 서브-윈도(sub-window)를 이동시켜 안면을 검지하는 단계와;
(c-3) 검지한 안면 영상에 대해 이산 웨이블렛 1레벨 필터뱅크 분해를 적용하여 안면의 특징을 묘사하는 단계와;
(c-4) 묘사 정보로부터 안면 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
상기에서 (d) 단계는,
상기 (c) 단계에서 추출한 안면 특징점 정보를 기초로 다중 케스케이드(cascade) 구조의 리얼-부스트(real-boost) 알고리즘을 적용하여 안면을 검지하는 것을 특징으로 한다.
상기에서 (e) 단계는,
상기 (d) 단계에서 검지한 안면 검지 영상을 SVM의 다중-클래스(multi-class) 기반 안면 분류를 통해 안면을 인식하는 것을 특징으로 한다.
상기에서 (f) 단계는,
인식 대상자가 존재할 경우 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우, 통신부를 통해 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 정보를 관공서 서버로 전송토록 제어를 하고, 상기 운전 모드가 주차 모드일 경우 문자 메시지 생성부를 통해 생성한 인식 정보 관련 문자 메시지를 상기 통신부를 통해 차주 단말기로 전송토록 제어를 하는 것을 특징으로 한다.
본 발명에 따르면 차량용 블랙박스에서 주차시 잠복 모드로 전환되어 근접 보행자의 안면을 인식하고, 인식 대상이 존재할 경우 차주에게 문자 메시지를 발송하거나 등록된 관공서에 인식 정보를 전송해줌으로써, 수배자의 검거율 향상과 실종자의 발견율 향상을 도모해주는 장점이 있다.
또한, 본 발명에 따르면 차량용 블랙박스에서 촬영된 영상을 기반으로 보행자 안면 인식을 통해 수배자 및 실종자를 판별할 수 있어, 담당자(형사, 경찰)가 직접 잠복하거나 탐문하는데 소요되는 인적/시간적/경제적인 낭비를 방지할 수 있는 장점도 있다.
도 1은 본 발명에 따른 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치의 블록 구성도.
도 2는 본 발명에서 블랙박스와 인프라 통신시설 간의 기본 통신 절차도.
도 3은 본 발명에서 블랙박스와 인프라 통신시설 간의 미수신 대상자 데이터 통신 절차도.
도 4는 본 발명에서 블랙박스와 인프라 통신시설 간의 인식 데이터베이스 동기화 예외 상황 절차도.
도 5는 본 발명에 따른 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법을 보인 흐름도.
도 6은 본 발명에서 안면 특징점 검출을 위한 웨이블렛 필터 뱅크 분해용 서브-윈도 이동 설명도.
도 7은 본 발명에서 2차원 DWT1 레벨 필터 뱅크 분해 및 결과 영상도.
도 8은 본 발명에서 Integral image 생성 예시도.
도 9a는 가로 윤곽 특징점 탐색 윈도, 도 9b는 세로 윤곽 특징점 탐색 윈도, 도 9c는 대각 윤곽 특징점 탐색 윈도 예시도.
도 10a 내지 도 10c는 안면 특징점 정보 추출용 탐색 윈도 적용 예시도.
도 11은 본 발명에 적용된 멀티-뷰 안면 검지용 다중 케스케이드 구성 예시도.
도 12는 본 발명에 적용된 블랙박스의 안면 분류 흐름 예시도.
이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.
<실시 예1>
도 1은 본 발명에 따른 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치의 블록 구성도로서, 영상 입력부(10), 통신부(20), 제어부(30), 영상 저장부(40), 영상 인식부(50), 정보 저장부(60), 문자 메시지 생성부(70) 및 GPS수신기(80)로 구성된다.
영상 입력부(10)는 주차중 차량에 장착된 카메라를 통해 영상을 획득하는 역할을 하는 것으로서, 본 발명에서의 카메라는 차량의 전방 주시 영역, 좌측/우측 주시 영역, 후방 주시 영역에 각각 설치되는 것이 바람직하며, 이렇게 설치되는 카메라에 의해 각각 획득된 영상은 영상 입력부(10)를 통해 집결되어 제어부(30)에 전달된다. 바람직하게 영상 입력부(10)는 4개의 영상 수신 채널을 구비한다.
통신부(20)는 차량의 주행중 관공서 서버와 연계된 도로 시설물(1)과 통신을 하여 인식 대상자 정보를 수신하고, 인식 정보를 상기 도로 시설물(1)과 통신을 통해 상기 관공서 서버로 전송하는 역할을 한다. 여기서 도로 시설물(1)은 도로에 설치되어 차량의 블랙박스와 관공서 서버 간의 데이터를 무선으로 상호 송수신해주는 역할을 하는 것으로서, 통상의 노변 장치(RSE)를 의미한다.
상기에서 인식 정보라 함은 촬영한 영상으로부터 안면 검지와 인식을 하고, 인식된 안면 정보가 인식 대상자 정보에 존재할 경우 생성되는 정보로서, 문자 메시지로 전송되는 인식 정보에는 인식 대상자 정보, 현장 사진 정보를 포함하고, 관공서 서버로 전송되는 인식 정보에는 차량 정보, 인식 대상자 정보, 현장 사진 정보, GPS정보(시간, 위치)를 포함하는 것이 바람직하다.
영상 저장부(40)는 상기 영상 입력부(10)를 통해 획득한 영상을 저장하는 역할을 한다.
영상 인식부(50)는 상기 영상 입력부(10)를 통해 획득한 영상으로부터 이동체를 감지하고, 감지한 이동체의 안면을 검지하여 인식하는 역할을 한다.
제어부(30)는 상기 통신부(20)에서 수신한 인식 대상자 정보의 저장을 제어하고, 상기 영상 인식부(50)에서 인식한 결과 정보와 인식 대상자 정보를 비교하여 인식 대상자 존재 여부를 판단하고, 인식 대상자가 존재할 경우 인식 정보의 전송을 제어하는 역할을 하는 것으로서, 통상의 마이컴, 마이크로프로세서, 중앙처리장치, 컨트롤러와 같은 제어장치로 구현하는 것이 바람직하다.
이러한 제어부(30)는 인식 대상자가 존재할 경우 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우 상기 통신부(20)를 통해 인식 정보의 전송을 제어하고, 주차 모드일 경우 문자 메시지 생성을 제어하게 된다.
정보 저장부(60)는 제어부(30)에 의해 전달되는 인식 대상자 정보를 저장하는 데이터베이스를 의미한다.
문자 메시지 생성부(70)는 상기 제어부(30)의 제어에 따라 주차 모드에서 인식 대상자가 존재할 경우 인식 정보를 문자 메시지로 생성하여 상기 제어부(30)에 전달하는 역할을 한다.
GPS수신기(80)는 GPS위성으로부터 GPS신호를 수신하고, 수신한 GPS신호로부터 시간 및 위치 정보를 추출하여 상기 제어부(30)에 전달하는 역할을 하게 되며, 제어부(30)는 촬영된 영상의 저장시 GPS정보(시간 및 위치 정보)와 영상을 결합하여 저장함으로써, 추후 해당 영상의 촬영 위치 및 시간을 확인할 수 있도록 한다.
이와 같이 구성된 본 발명에 따른 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치는, 제어부(30)에서 차량의 제어장치(예를 들어, MCU, ECU와 같은 장치)와 통신(can)을 통해 운전 모드 판단정보를 수신한다. 여기서 운전 모드 판단정보는 현재 엔진의 가동 상태 정보, 시동 상태 정보, 기어 상태 정보 등의 정보를 포함할 수 있다. 이러한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드와 주차 모드를 판단할 수 있다.
판단 결과 주행 모드일 경우, 통신부(20)를 통해 관공서 서버와 연계된 도로 시설물(1)과 무선 통신을 하여 인식 대상자 정보를 수신하게 되고, 이렇게 수신한 인식 대상자 정보를 데이터베이스인 정보 저장부(60)에 저장하게 된다.
여기서 인식 대상자 정보는 아래의 <표1>에 기재한 바와 같이, 데이터베이스(DB)의 일련번호, 대상자 수, 대상자 유형, 대상자 일련번호, 대상자 유효기간, 안면 인식 특징점 데이터를 포함한다.
DB일련번호 배포 DB 일련번호
대상자 수 DB에 포함된 대상자 수

대상자1 정보

 유형
일련번호
유효기간
안면 인식 특징점 데이터

대상자2 정보

 유형
일련번호
유효기간
안면 인식 특징점 데이터
... ...

대상자 N 정보

 유형
일련번호
유효기간
안면 인식 특징점 데이터
여기서 통신부(20)에서 도로 시설물(Infra 통신시설)과 인식 대상자 정보를 수신하는 절차는 도 2에 도시한 바와 같다.
먼저, 블랙박스(통신부)는 주행중에 infra 통신시설로 현재 저장된 DB의 일련번호를 전송한다. Infra 통신시설은 수신받은 일련번호보다 최신의 DB가 존재하면, 해당 단말기의 DB 변경요청을 DB 비밀번호와 함께 전송하고, 블랙박스는 DB 모드 변경요청과 DB비밀번호가 일치하면 블랙박스의 DB 저장모드를 수정모드로 전환한다. Infra 통신시설은 전송할 DB의 대상자 수를 블랙박스로 전송하고, 블랙박스는 대상자 수 데이터를 수신받았으면 응답 메시지(완료 ACK)를 infra 통신시설로 전송하여 대상자 수 정보 전송절차를 완료한다. 다음으로, Infra통신시설은 각 대상자에 대한 데이터를 블랙박스로 전송하고, 블랙박스는 데이터를 수신받았으면 완료 ACK를 infra 통신시설로 전송하여 각 대상자의 개별데이터 전송을 완료한다. 블랙박스는 infra 통신시설에서 수신받은 대상자 수만큼 모든 데이터를 수신했으면 DB 저장모드를 봉인모드로 전환한다.
한편, 미수신한 대상자가 존재할 경우, 도 3에 도시한 바와 같이, 블랙박스는 infra 통신시설로 해당 대상자N 데이터 전송을 요청하고, infra 통신시설은 미전송된 대상자의 데이터를 전송한다. 블랙박스는 미수신데이터를 모두 수신받았을 경우 완료 ACK를 infra 통신시설로 전송하여 미수신 대상자 데이터 전송을 완료한다.
또한, Infra 통신시설은 도 4에 도시한 바와 같이, 수신받은 블랙박스의 DB일련번호와 배포용 DB의 일련번호가 일치할 경우, 해당 블랙박스의 DB 저장모드 변경요청을 수행하지 않는다.
이러한 과정을 통해 인식 대상자 정보를 수신하여 정보 저장부(60)에 저장하게 되는 것이다.
한편, 차량의 운전 모드가 주차 모드일 경우, 제어부(30)는 잠복모드로 전환을 하고, 영상 입력부(10)를 통해 차량 주변의 영상을 획득하게 된다.
여기서 카메라는 전방용 카메라, 좌측용 카메라, 우측용 카메라 및 후방용 카메라와 같이 차량에 4개를 장착하는 것이 바람직하며, 전방용 카메라는 차량 내부의 룸미러에 전방을 향하여 설치되어 차량의 전방을 촬영한다. 전방용 카메라로 촬영하여 보행자의 안면을 검지할 수 있는 영역은 카메라를 기준으로 전방 2m, 좌우 4.5m 내의 영역으로 한다.
좌측용 카메라는 차량의 좌측 백미러에 설치되어 차량의 좌측 후면을 촬영한다. 좌측용 카메라로 촬영하여 보행자의 안면을 검지할 수 있는 영역은 카메라를 기준으로 좌측 1.5m, 후방 2m 내의 영역으로 한다.
우측용 카메라는 차량의 우측 백미러에 설치되어 차량의 우측 후면을 촬영한다. 우측용 카메라로 촬영하여 보행자의 안면을 검지할 수 있는 영역은 카메라를 기준으로 우측 1.5m, 후방 2m 내의 영역으로 한다.
후방용 카메라는 차량의 후방을 촬영하되, 차량의 후방유리 상단에 차량 후방을 향하여 설치되며, 후방용 카메라로 촬영하여 보행자의 안면을 검지할 수 있는 영역은 카메라를 기준으로 후방 2m, 좌우 4.5m 내의 영역으로 한다.
이렇게 하여 영상 입력부(10)를 통해 획득된 영상은 GPS수신기(80)에서 전달되는 GPS정보(위치 및 시간 정보)와 함께 매핑되어 영상 저장부(40)에 저장된다. 여기서 영상 저장시 GPS 정보를 함께 저장하는 것은 추후 해당 영상의 촬영 위치 및 시간 정보를 기반으로 수배자를 검거하거나 실종자를 찾기 위함이다.
주차 모드에서 영상이 저장되면 영상 인식부(50)는 저장된 영상을 프레임 단위로 추출하고, 해당 프레임 단위의 영상으로부터 이동체를 검지하고, 이동체가 존재하는 영상에 대해서 안면 특징점을 추출하고, 안면 검지를 하여 안면이 검지 되면, 안면 인식을 한다. 여기서 안면 인식에 대한 구체적인 설명은 본 발명의 다른 실시 예인 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법의 설명시 하기로 한다. 영상 인식부(50)에서 인식된 안면 인식 결과 정보는 제어부(30)에 전달되고, 제어부(30)는 전달되는 안면 인식 결과 정보와 정보 저장부(60)에 저장된 인식 대상자의 안면인식 특징점 데이터를 비교하여, 인식 대상자가 존재하는지를 판단하게 된다.
판단 결과 인식 대상자가 존재할 경우, 즉 촬영된 영상의 안면 정보와 저장된 인식 대상자의 안면인식 특징점 데이터가 동일한 경우에는, GPS통신이 가능한지를 확인하여 GPS 통신이 불가능할 경우에는 문자 메시지 생성부(70)를 통해 차주 단말기에 전송할 문자 메시지를 생성하게 한다. 여기서 차주 단말기에 전송되는 문자 메시지에는 인식 대상자의 정보와 현장 사진(캡처 사진) 정보가 포함되는 것이 바람직하다. 수배자 또는 실종자를 찾은 문자 메시지를 수신한 차주는 해당 관공서에 이를 알려 신속하게 후속 조치가 이루어지도록 한다.
또한, 인식 대상자가 존재하고 GPS통신이 가능할 경우에는 현재 차량의 운전 모드를 분석하여, 주차 모드일 경우에는 인식 정보를 저장하고, 다시 안면 인식을 수행하게 되고, 이와는 달리 주행 모드일 경우에는 통신부(20)를 제어하여 도로 시설물(인프라 통신시설)과 통신을 통해 인식 정보를 전송하게 된다. 여기서 인식 정보는 자신의 차량번호, 인식 대상자의 정보, 현장 사진, GPS정보(시간 및 위치 정보)를 포함하는 것이 바람직하다. 따라서 이러한 인식 정보를 수신한 관공서의 담당자는 신속하게 후속조치를 취하여, 수배자를 검거하거나 실종자를 찾게 되는 것이다.
<실시 예2>
도 5는 본 발명에 따른 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법을 보인 흐름도로서, (a) 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우, 통신부를 통해 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 대상자 정보를 수신하고, 수신한 인식 대상자 정보를 기초로 인식 데이터베이스를 갱신하는 단계(S101 ~ S105)와; (b) 상기 차량의 운전 모드가 주차 모드일 경우, 영상 입력부를 통해 영상을 획득하고, 영상 인식부를 통해 획득한 영상으로부터 이동체를 검지하는 단계(S107 ~ S109)와; (c) 상기 영상 인식부에서 이동체가 검지될 경우 검지된 이동체 영상으로부터 안면 특징점을 추출하는 단계(S111 ~ S113)와; (d) 상기 영상 인식부에서 추출한 안면 특징점을 기초로 안면을 검지하는 단계(S115)와; (e) 상기 영상 인식부에서 검지한 안면을 인식하는 단계(S117 ~ S119)와; (f) 제어부에서 인식한 안면 정보와 상기 인식 대상자 정보를 비교하여, 인식 대상자 존재 여부를 판단하고, 인식 대상자가 존재할 경우, 차량의 운전 모드에 따라 인식 정보를 관공서 서버 또는 차주 단말기로 전송하도록 제어하는 단계(S121 ~ S135)로 이루어진다.
이와 같이 이루어지는 본 발명에 따른 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법은, 단계 S101에서 제어부(30)는 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드인지 아니면 주차 모드인지를 판단한다.
판단 결과 주행 모드일 경우에는 단계 S103으로 이동하여 통신부(20)를 통해 관공서 서버와 연계된 도로 시설물(1)과 통신을 하여 인식 대상자 정보를 수신하고, 단계 S105로 이동하여 수신한 인식 대상자 정보를 기초로 정보 저장부(60)에 저장된 인식 데이터베이스를 갱신하게 된다.
한편, 상기 운전 모드 판단결과 주차 모드일 경우, 단계 S107에서 영상 입력부(10)를 통해 영상을 획득하고, 단계 S109로 이동하여 영상 인식부(50)를 통해 획득한 영상으로부터 이동체를 검지하게 된다.
여기서 입력되는 영상으로부터 이동체 영역을 추출하는 방법을 통해 배경과 이동체를 분리하여 이동체를 검지하게 되는 데, 이때 연속 촬영된 영상 내에서 이동하는 물체의 영역을 추출하는 것은 차량의 주변에서 근접 보행하는 사람의 영역을 추출하기 위한 것이다. 본 발명에서 이동체 영역 추출 방법은 연속하는 3개의 에지영상으로부터 각각 이웃하는 영상 사이의 절대값과 그 값 사이의 논리적 곱(AND) 값을 구하여 움직이는 물체만의 에지 영상을 생성하고, 적응적 이진화와 라벨링으로 클러스터링하여 이동체의 영역을 추출한다. 이러한 이동체 영역 추출 방법은 기존 영상 처리 기술 분야에서 널리 알려진 공지의 방법이며, 본 발명에서는 이렇게 알려진 공지의 기술을 그대로 채택하여 사용하므로 이동체 영역 추출에 대한 구체적인 설명은 생략하기로 한다.
다음으로, 단계 S111에서 확인한 바와 같이, 이동체 영역이 추출될 경우에는 단계 S113으로 이동하여 검지된 이동체 영상으로부터 안면 특징점을 추출하게 된다.
여기서 이동체 영역 영상으로부터 안면 특징점을 추출하는 방법을 구체적으로 설명하면 다음과 같다.
먼저, 분리된 이동체 영역 영상으로부터 저주파 성분을 제거하는 필터링을 통해 직류(DC) 성분을 제거한다.
통상, 영상에서의 픽셀 값이 급격하게 변하는 부분을 고주파(high frequency) 성분이 강하다고 하고, 픽셀 값이 일정하거나 완만하게 변하는 부분을 저주파(low frequency) 성분이 강하다고 한다. 영상에서 저주파 성분을 제거하게 되면, 즉 DC성분을 제거하게 되면 픽셀변화가 급격한 부분을 강조하여 표현할 수 있다. 이동체 검지 단계에서 추출된 이동체의 관심영역에 대한 DC성분을 제거하는 방법은 integral image를 생성하여 활용하도록 한다. 이는 일정 크기의 필터가 영상 내에서 이동하여 처리하는 연산의 복잡성을 최대한 줄일 수 있는 장점이 있다. integral image를 생성하여 연산하는 방법은 후술하는 안면 특징 정보 추출과정에서 상세히 설명하기로 한다.
다음으로, 직류 성분이 제거된 이동체 영역 영상에서 서브-윈도(sub-window)를 이동시켜 안면을 검지하게 된다.
안면 검지는 이동체 영역 내에서 이뤄지며, 이동체 내의 안면을 검지하기 위해서는 도 6과 같이 sub-window를 가로×세로 1 픽셀만큼 이동한다. sub-window의 크기는 32*32 픽셀 크기로 제한하였으며, 이동체 영역의 좌측 상단의 원점에서 우측하향으로 sub-window의 이동을 시작하여 안면이 검지되면 특징점 추출과정을 중지하게 되며, 일정한 처리속도를 유지한다. 또한, 이동체 영역의 상단부분에 안면이 존재할 확률이 하단부분보다 상대적으로 높으므로, 이동체 영역의 높이 중간 아래까지 sub-window가 이동할 경우 안면 검지를 중지하고, 다음 이동체를 검지 대상으로 하여 불필요한 연산을 줄인다. 이동체의 전체 영역에서 윈도를 이동하여 검지하는 방법이 처리속도 저하를 야기할 수 있지만, 이 또한 이후에 상술 될 고속 검지 방법으로 해결할 수 있다. 이동한 sub-window에서 안면이 검지되면 이동을 멈추고 다른 이동체 영역에서 sub-window를 이동시켜 안면 검지를 계속 수행한다.
이렇게 하여 안면을 검지하게 되면, 검지한 안면 영상에 대해 이산 웨이블렛 1레벨 필터뱅크 분해를 적용하여 안면의 특징을 묘사하게 된다.
차량에 근접한 보행자는 카메라가 촬영하는 방향과 보행자의 진행방향에 따라 안면의 크기와 방향이 일정하지 않다. 여기서 안면의 크기란 영상에서 존재하는 안면의 절대적 크기를 의미하며, 안면의 방향이란 영상에서 존재하는 안면의 전면/옆면 등의 다양한 각도를 의미한다. 즉, 보행자의 안면은 다양한 크기와 방향으로 촬영되기 때문에 이를 검지하고 인식하는 방법이 필요하다.
이를 위해 본 발명에서는 안면의 특징을 묘사하기 위해서 이산 웨이블렛 1레벨 분해를 수행한다. 여기서 웨이블렛 필터 뱅크 분해란, 다중 해상도의 안면 특징을 묘사하는 방법으로써, 안면 영상을 특정한 주파수대역으로 분해하여 안면의 구성 요소에 대한 주요 스펙트럼 정보로 묘사할 수 있도록 한 것이다. 즉, 웨이블렛 필터 뱅크 분해는 안면 영상의 다중해상도 변환과 주파수공간에서의 특징 묘사를 동시에 수행할 수 있다.
도 7에 도시한 바와 같이, 원본 영상의 종과 횡의 방향으로 각각 2배씩 다운 샘플링하여 웨이블렛 1레벨 필터 뱅크로 변환한 결과, 16*16의 2배로 압축된 vertical/horizontal/diagonal/approximation의 4개의 공간으로 분해된다. 즉, 안면의 특정 주파수 특징을 가로, 세로, 대각, 근사치로 각각 압축하여 획득한 다중해상도의 pyramid공간을 특징으로 묘사하게 된다.
그러나 이산 웨이블렛 필터 뱅크 분해는 본래 그 연산량이 많으며, 1레벨 4개의 공간으로 압축분해된 영상 모두를 사용할 경우에 이후의 안면 특징정보 추출과정에서 똑같이 반복되는 연산처리로 고속의 결과를 보일 수 없는 문제점이 있다. 따라서 본 발명에서는 위의 웨이블렛 필터 뱅크의 1레벨의 LH(Diagonal) 대역만 분해하여 그 연산량을 최소화하도록 한다.
웨이블렛 필터 뱅크의 1레벨 LH대역에는 안면의 대각특성을 압축하여 분해한 주파수만 존재하기 때문에 안면의 특징정보가 부족하지만, 안면의 가로 세로 특징은 이후에 상술하게 될 Viola-Jones 특징점을 통하여 충분히 추출할 수 있다. 즉, 연산량이 많은 웨이블렛 분해 연산은 최소화하여 반드시 필요한 정보만 압축묘사 한 뒤, 이를 상대적으로 연산량이 적은 integral image에서 Viola-Jones 특징점을 추출하여 부족한 특징정보를 수집하면 고속화를 유도할 수 있다. 따라서, 본 발명의 이산 웨이블렛 필터뱅크 1레벨의 LH대역의 주파수만을 분해하여 안면의 특징을 묘사함으로써 효율적인 고속처리가 가능해지게 되는 것이다.
본 발명은 생성된 웨이블렛 1레벨 필터뱅크의 LH(Diagonal) 대역의 영상을 integral image로 변환하여 안면 검지 및 인식에 활용한다. 원본 영상의 좌표값이 (x, y)인 경우, integral image에서의 좌표의 좌상변은 모든 픽셀들의 합으로 표현된다. 즉, integral image를 통해 도 8의 D부분의 넓이를 구한다고 가정을 하면, 4번(A, B, C, D) 영역에서 2번(A, B) 영역을 빼고, 3번(A, C)를 빼고, 1번(A)이 두 번 빠졌으니 다시 더해주면 영역 D 부분의 넓이를 구할 수 있게 되므로, 덧셈과 뺄셈의 연산만으로 영역 D의 넓이를 알아낼 수 있어서 다음의 안면 특징 정보추출 과정에서 탐색 윈도 내의 정보를 고속으로 취할 수 있도록 하였다.
이후 묘사 정보로부터 안면 특징 정보를 추출하게 된다.
본 발명에서 안면 특징 정보를 추출하는 방법은 Viola와 Jones에 의해 제안된 특징점 추출 방법을 변형하여 사용한다. Viola와 Jones방법은 위에서 상술한 integral image를 사용하기 때문에 간단하면서도 연산이 빠른 장점이 있어 영상을 응용한 물체분류 및 인식분야에 빈번히 사용되고 있다.
본 발명에서 안면을 검지하기 위한 특징정보를 탐색하여 추출하기 위해서 도9a 내지 도 9c와 같은 가로/세로/대각의 윤곽 특징점 탐색 윈도를 상기에서 생성된 integral image에 적용하여 탐색한다. 여기서 도 9a는 가로 윤곽 특징점 탐색 윈도, 도 9b는 세로 윤곽 특징점 탐색 윈도, 도 9c는 대각 윤곽 특징점 탐색 윈도를 각각 나타낸다. 4개의 특징점 탐색 윈도를 사용하여 안면을 검지하던 viola-jones방법과는 달리, 본 발명에서는 3개의 특징점 탐색 윈도만을 사용한다. 그 이유는 우선, 24ⅹ24 sub-window에서 4개의 탐색 윈도를 모두 조합하였을 경우 162,336개의 특징점이 추출되지만, 3개의 탐색 윈도를 조합하면 63,936개의 특징점 집합만 추출되어 특징점의 차수가 감소하기 때문이다. 이는 3개의 특징점 탐색 윈도를 사용하여 최소한의 특징 정보 집합을 수집하여 다음 단계에서 수행될 다중Cascade구조의 Real-Boost 분류기 입력으로 사용할 경우 그 연산부하를 줄일 수 있다는 장점이 있다.
Viola-jones가 제안한 안면 검지 방법은 하나의 영상으로만 안면을 검지해야하는 제약을 두었으므로 한번에 많은 수의 특징 정보가 필요했다. 반면에, 본 발명은 연속된 영상에서 이동하는 안면을 실시간으로 검지하여 인식하는 것이 목적이므로, 각각의 모든 이동체 영상에서 높은 검지율을 보이기 위하여 sub-window의 특징정보의 수를 늘려서 그 연산량과 복잡도를 집중시킬 필요가 없다. 다시 말해서, 본 발명의 블랙박스에서 촬영된 안면은 그 방위각을 달리하여 여러 프레임에서 연속적으로 존재하므로 검지할 수 있는 기회는 충분하다. 따라서, 하나의 영상에서 안면 검지에 사용될 특징점의 수를 최소화하여 안면 검지 여부를 신속히 판단하도록 하여 다음 안면 검지 및 인식처리에 지장이 없도록 하였다.
도 10a 내지 도 10c는 안면 특징점 정보 추출용 가로/세로/대각 탐색 윈도의 적용 예시 도를 나타낸 것이다.
이후 단계 S115에서는 전단계에서 추출한 안면 특징점을 기초로 안면을 검지하게 된다. 여기서 안면 검지는 전단계에서 추출한 안면 특징점 정보를 기초로 다중 케스케이드(cascade) 구조의 리얼-부스트(real-boost) 알고리즘을 적용하여 안면을 검지하게 된다.
이전 단계까지는 안면의 특징을 묘사하고 그 특징 정보를 추출하는 과정을 수행하였으며, 이제는 강인하면서 고속의 결과를 얻을 수 있는 다중Cascade 구조의 Real-Boost알고리즘을 적용하여 안면을 검지하는 방법을 상술한다.
Real-Boost를 이용한 분류알고리즘은 Discrete Ada-Boost 분류 알고리즘의 변형이며, 학습과 분류 오류율을 현저히 줄이면서 고속의 결과를 보이는 장점이 있다. Discrete Ada-Boost알고리즘은 분류 오류를 최소화하는데 걸리는 시도가 33,347회인 반면에, Real-boost 분류알고리즘은 268회 만에 분류 오류를 최소화할 수 있어 본 발명에 사용하기에 매우 적합하다.
본 발명의 안면 검지는 "전면 안면 검지", "우향 안면 검지", "좌향 안면 검지"의 카테고리를 분류하는 형태로 구성된다. 즉, 약한 분류기(Weak Classifier) 집합의 수를 점차 증가시키는 cascade로 구성된 stage를 반복 수행하는 Real-boost분류기를 하나의 cascade분류기로 만들고, 전면/우향/좌향의 안면을 각각 순차적으로 분류하는 3개의 카테고리분류기로 순차 결합하여 최종적으로 multi-view에 강인한 안면 분류기를 구현한다.
도 11에 본 발명의 안면 검지로 고안한 Multi-view 안면 검지용 분류기를 도시하였다. 이를 좀 더 구체적으로 설명하면, 첫 번째로, 이전에 추출된 moving Sub-window기반의 웨이블렛 필터 뱅크(LH) 영상에서 특징 탐색 윈도를 통하여 추출된 특징 정보 집합을 "전면 안면" 검지용 Real-boost 분류기에 입력하여 이동체가 전면의 안면인지 아닌지 판별하며, 각각의 Cascade 구성의 Real-boost 분류기에서의 stage에서는 판별에러 허용 문턱치와 weak classifier 집합의 수를 단계별로 증가시키면서 판별을 시도하도록 한다. 첫 번째 전면 안면 검지의 stage에서 거짓으로 판별되면 다음의 "우향 안면" 검지용 Real-boost 분류, 그 다음의 "좌향 안면" Real-boost 분류 단계로 이동하며 분류한다. 각 단계의 첫 번째 stage가 모두 안면을 분류하지 못하면 해당 sub-window에는 안면이 존재하지않는 것으로 최종 판별하고 이동체 영역 내에서 sub-window를 이동시킨다.
도 11과 같이 다중Cascade로 구성하여도 안면 검지의 처리속도에는 전혀 영향을 미치지 않는 이유는 결과적으로 각각의 multi-view안면분류기에 weak classifier의 수가 가장 적은 첫 번째 stage만 하나씩 더 추가되는 구조가 되기 때문에 하나의 분류기와 똑같은 고속의 처리속도를 유도할 수 있다.
본 발명의 안면 검지를 위한 학습은 24ⅹ24 크기의 25,000명의 정면, 우향, 좌향의 75,000개의 영상으로 학습한다. 학습 영상 하나에는 다음의 조건을 따른다.
i. 안면 검지를 위한 학습용 영상 하나에는 하나의 안면만 존재한다.
ii. 안면 검지를 위한 학습용 영상은 안경을 착용한 안면도 포함한다. (렌즈가 도색된 안경은 제외한다.)
iii. 안면 검지를 위한 학습용 영상은 안면의 눈썹, 눈, 코, 입, 귀, 볼이 노출된 영상으로 한다.
iv. 안면 검지를 위한 학습용 영상 중 안경을 착용한 안면 영상은 눈썹과 눈의 일부 가려짐을 허용한다.
v. 안면 검지를 위한 학습용 전면 영상은 양쪽 눈썹영역의 상단부가 앞머리 모발과 가장 가까운 지점을 최상단(안경착용시 양쪽렌즈의 상단부가 앞머리와 가장 가까운 지점), 턱의 끝을 최하단, 양쪽 귀가 포함되지 않는 좌우가 최좌우 영역의 영상으로 한다.
vi. 안면 검지를 위한 학습용 좌/우향 안면 영상의 최상단과 최하단은 전면 영상과 같다.
vii. 안면 검지를 위한 학습용 좌/우향 안면 영상의 최좌우영역은 코끝에서 귀를 포함하지 않으면서 눈썹과 눈을 포함하는 볼 영역까지로 한다.
안면 검지를 위한 학습은 새로운 인식대상이 추가될 때마다 새로 학습하여 갱신하지 않는다. 그 이유는 본 발명에서 제안하는 안면 검지를 위한 하나의 특징점 집합은 모든 안면이 공통으로 보유하고 있는 특징을 수집하기 때문이며, 또한 충분히 많은 수의 학습 영상으로 공통의 특징점을 학습하기 때문에 어떤 안면이 입력되어도 안면인지 아닌지 판단할 수 있기 때문이다.
주지한 과정을 통해 안면 검지를 수행하고, 안면 검지가 완료되면 단계 S117로 이동하여 검지한 안면이 존재하는지를 확인하게 되고, 이 확인 결과 검지한 안면이 존재하는 경우에는 단계 S119로 이동하여 안면을 인식하게 된다.
여기서 검지한 안면 인식은 검지한 안면 검지 영상을 SVM의 다중-클래스(multi-class) 기반 안면 분류를 통해 안면을 인식하게 된다.
SVM multi-class는 여러 이진 분류기의 집합으로써, n개의 클래스를 분류하기 위한 방법이며, 본 발명에서는 도 12에 도시한 바와 같이 클래스 수만큼의 이진 SVM분류기를 이용하여 해당 클래스와 나머지 다른 클래스들을 학습하고 인식하는 로직의 일 대 다의 SVM 분류로 구현하였다.
안면 분류 로직은 간단하다. 수배자와 실종자 각각의 이진 SVM분류기 결과 중에서 최고 점수의 인식결과를 선택하는 방법으로써, 범죄 수배자와 실종자의 인식용 학습 표본 영상이 상대적으로 적은 본 발명에 효과적이다.
각각의 SVM은 2차 다항식 커널과 페널티 C=200이 적용된 비선형 SVM을 사용하였다.
이러한 과정을 통해 안면 인식이 완료되면, 인식된 결과 정보는 제어부에 전달되며, 제어부는 단계 S121에서 인식한 안면 정보와 상기 인식 대상자 정보를 비교하여 인식 대상자 존재 여부를 판단한다. 이 판단 결과 인식 대상자가 존재할 경우에는 단계 S123으로 이동하여 인식된 안면 정보(사진, 결과)를 저장하고, 단계 S125로 이동하여 전송하지 못한 정보가 존재하는지를 확인한다.
상기 확인 결과 전송하지 못한 인식 정보가 존재할 경우, 단계 S127로 이동하여 GPS통신이 가능한지를 확인하여 차주에게 문자로 통보할 것인지 아니면 차량 중에중에 인프란 통신시설을 통해 신고할 것인지를 결정하게 된다.
예컨대, GPS 통신이 가능하여 범죄 수배자, 실종자가 검지된 시각과 위치를 제공할 수 있다면, 단계 S129로 이동하여 현재 차량의 운전 모드를 확인하고, 주차 모드일 경우에는 인식 정보의 전송을 수행하지 않게 되며, 주행 모드일 경우에 한하여 단계 S131에서 인프라 통신시설로 범죄 수배자, 실종자에 대한 인식 정보를 전송한다. 이때 전송되는 인식 정보에는 차량번호, 대상자 유형, 현장사진, GPS정보(시간 및 위치)를 포함하는 것이 바람직하다.
인식 정보를 인프라 통신시설로 전송한 후에는 단계 S133으로 이동하여 인식된 안면 정보를 삭제한다. 이것은 메모리의 용량 한계로 인식된 모든 안면 정보를 보관하는 것이 현실적으로 불가능하기 때문이다.
한편, 상기 단계 S127의 확인 결과 GPS 통신이 불가능할 경우에는 단계 S135로 이동하여 미리 등록된 차주의 전화번호(핸드폰 번호)로 인식 정보 관련 문자 메시지를 전송한다. 여기서 문자 메시지로 전송되는 인식 정보는 "범죄 수배자 또는 실종 발견이라는 문구와 일련번호, 현장의 안면 사진을 포함하는 것이 바람직하다.
이상에서 상술한 바와 같이 본 발명은 영상 인식이 가능한 블랙박스에서 주차시에 주변 영상을 촬영하고 안면 인식 기술을 통해 수배자 및 실종자를 자동으로 탐색하여, 수배자 및 실종자가 발견되면 차주에게 문자 메시지를 보내거나 인프라 통신시설을 통해 연계된 관공서 서버에 이를 신고함으로써, 수배자의 검거율 및 실종자의 발견율을 높일 수 있는 장점이 있다. 이러한 수배자 검거율 및 실종자 발견율은 해당 기능을 구비한 블랙박스의 장착률이 높을수록 더욱 높아진다는 것은 자명하다.
본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10… 영상 입력부
20… 통신부
30… 제어부
40… 영상 저장부
50… 영상 인식부
60… 정보 저장부
70… 문자 메시지 생성부
80… GPS수신기

Claims (9)

  1. 차량의 주행중 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 대상자 정보를 수신하고, 인식 정보를 상기 도로 시설물과 통신을 통해 상기 관공서 서버로 전송하는 통신부와;
    주차중 차량에 장착된 카메라를 통해 영상을 획득하는 영상 입력부와;
    상기 영상 입력부를 통해 획득한 영상으로부터 이동체를 감지하고, 감지한 이동체의 안면을 검지하여 인식하는 영상 인식부와;
    상기 통신부에서 수신한 인식 대상자 정보의 저장을 제어하고, 상기 영상 인식부에서 인식한 결과 정보와 인식 대상자 정보를 비교하여 인식 대상자 존재 여부를 판단하고, 인식 대상자가 존재할 경우 인식 정보의 전송을 제어하는 제어부를 포함하며,
    상기 영상 인식부는,
    상기 획득한 영상으로부터 배경과 이동체를 분리하여 이동체를 검지하고,
    분리된 이동체 영역 영상으로부터의 안면 검지를 통해 안면의 특징을 묘사하여, 묘사 정보로부터 안면 특징 정보를 추출하고,
    추출한 안면 특징점 정보를 기초로 다중 케스케이드(cascade) 구조의 리얼-부스트(real-boost) 알고리즘을 적용하여 안면을 검지하되, 전면 안면 검지와 우향 안면 검지와 좌향 안면 검지로 카테고리를 분류하여 안면을 검지하고,
    검지한 안면 검지 영상을 SVM의 다중-클래스(multi-class) 기반 안면 분류를 통해 안면을 인식하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치.
  2. 청구항 1에 있어서, 상기 제어부는 인식 대상자가 존재할 경우 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우 상기 통신부를 통해 인식 정보의 전송을 제어하고, 주차 모드일 경우 문자 메시지 생성을 제어하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치.
  3. 청구항 1에 있어서,
    상기 제어부의 제어에 따라 주차 모드에서 인식 대상자가 존재할 경우 인식 정보를 문자 메시지로 생성하여 상기 제어부에 전달하는 문자 메시지 생성부를 더 포함하고,
    상기 제어부는 문자 메시지 생성부에서 생성한 문자 메시지를 미리 등록된 차주의 전화번호와 매핑하여 상기 통신부를 통해 차주 단말기로 전송토록 제어하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적장치.
  4. (a) 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우, 통신부를 통해 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 대상자 정보를 수신하고, 수신한 인식 대상자 정보를 기초로 인식 데이터베이스를 갱신하는 단계와;
    (b) 상기 차량의 운전 모드가 주차 모드일 경우, 영상 입력부를 통해 영상을 획득하고, 영상 인식부를 통해 획득한 영상으로부터 이동체를 검지하는 단계와;
    (c) 상기 영상 인식부에서 이동체가 검지될 경우 검지된 이동체 영상으로부터 안면 특징점을 추출하는 단계와;
    (d) 상기 영상 인식부에서 추출한 안면 특징점을 기초로 안면을 검지하는 단계와;
    (e) 상기 영상 인식부에서 검지한 안면을 인식하는 단계와;
    (f) 제어부에서 인식한 안면 정보와 상기 인식 대상자 정보를 비교하여, 인식 대상자 존재 여부를 판단하고, 인식 대상자가 존재할 경우, 차량의 운전 모드에 따라 인식 정보를 관공서 서버 또는 차주 단말기로 전송하도록 제어하는 단계를 포함하며,
    상기 단계 (e)에서 검지한 안면 검지 영상을 SVM의 다중-클래스(multi-class) 기반 안면 분류를 통해 안면을 인식하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법.
  5. 청구항 4에 있어서, 상기 (b) 단계는,
    입력되는 영상으로부터 이동체 영역을 추출하는 방법을 통해 배경과 이동체를 분리하여 이동체를 검지하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법.
  6. 청구항 4에 있어서, 상기 (c) 단계는,
    (c-1) 상기 (b) 단계에서 분리된 이동체 영역 영상으로부터 저주파 성분을 제거하는 필터링을 통해 직류(DC) 성분을 제거하는 단계와;
    (c-2) 직류 성분이 제거된 이동체 영역 영상에서 서브-윈도(sub-window)를 이동시켜 안면을 검지하는 단계와;
    (c-3) 검지한 안면 영상에 대해 이산웨이블렛 1레벨 필터뱅크 분해를 적용하여 안면의 특징을 묘사하는 단계와;
    (c-4) 묘사 정보로부터 안면 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법.
  7. 청구항 4에 있어서, 상기 (d) 단계는,
    상기 (c) 단계에서 추출한 안면 특징점 정보를 기초로 다중 케스케이드(cascade) 구조의 리얼-부스트(real-boost) 알고리즘을 적용하여 안면을 검지하되, 전면 안면 검지와 우향 안면 검지와 좌향 안면 검지로 카테고리를 분류하여 안면을 검지하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법.
  8. 삭제
  9. 청구항 4에 있어서, 상기 (f) 단계는,
    인식 대상자가 존재할 경우 차량의 제어장치와 통신을 통해 획득한 운전 모드 판단정보를 기초로 차량의 운전 모드를 분석하여 주행 모드일 경우, 통신부를 통해 관공서 서버와 연계된 도로 시설물과 통신을 하여 인식 정보를 관공서 서버로 전송토록 제어를 하고, 상기 운전 모드가 주차 모드일 경우 문자 메시지 생성부를 통해 생성한 인식 정보 관련 문자 메시지를 상기 통신부를 통해 차주 단말기로 전송토록 제어를 하는 것을 특징으로 하는 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적방법.


KR1020120028347A 2012-03-20 2012-03-20 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법 KR101337554B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120028347A KR101337554B1 (ko) 2012-03-20 2012-03-20 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120028347A KR101337554B1 (ko) 2012-03-20 2012-03-20 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130106640A KR20130106640A (ko) 2013-09-30
KR101337554B1 true KR101337554B1 (ko) 2013-12-06

Family

ID=49454449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120028347A KR101337554B1 (ko) 2012-03-20 2012-03-20 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101337554B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150081838A (ko) 2014-01-07 2015-07-15 한국전자통신연구원 수배차량 검색 장치 및 그 방법
KR101586228B1 (ko) 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
KR101709521B1 (ko) * 2015-07-30 2017-03-09 주식회사 한글과컴퓨터 무인 스마트카를 이용한 공익서비스 시스템 및 방법
KR102278644B1 (ko) * 2019-06-28 2021-07-16 주식회사 아이서티 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법
CN110717386A (zh) * 2019-08-30 2020-01-21 深圳壹账通智能科技有限公司 涉事对象追踪方法及装置、电子设备和非暂态存储介质
CN114386656A (zh) * 2021-12-01 2022-04-22 浙江大华***工程有限公司 异常人员追踪方法、***、计算机设备和存储介质
KR102651190B1 (ko) * 2023-07-20 2024-03-26 주식회사세오 용의자 추적 방법 및 그를 위한 장치 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100121824A (ko) * 2009-05-11 2010-11-19 (주)에스씨디아이 차량 블랙박스를 이용한 실종자 위치 추적 시스템
KR101057882B1 (ko) * 2011-02-28 2011-08-19 심광호 휴대용 불법단속 및 교통위반단속 시스템
KR101066072B1 (ko) * 2010-06-08 2011-09-20 주식회사 마인드웨어코퍼레이션즈 상시 차량 감시가 가능한 휴대용 통신기기
KR101088944B1 (ko) * 2009-12-03 2011-12-01 심영도 차량의 촬영영상을 이용한 범죄예방 및 실종자 추적 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100121824A (ko) * 2009-05-11 2010-11-19 (주)에스씨디아이 차량 블랙박스를 이용한 실종자 위치 추적 시스템
KR101088944B1 (ko) * 2009-12-03 2011-12-01 심영도 차량의 촬영영상을 이용한 범죄예방 및 실종자 추적 시스템
KR101066072B1 (ko) * 2010-06-08 2011-09-20 주식회사 마인드웨어코퍼레이션즈 상시 차량 감시가 가능한 휴대용 통신기기
KR101057882B1 (ko) * 2011-02-28 2011-08-19 심광호 휴대용 불법단속 및 교통위반단속 시스템

Also Published As

Publication number Publication date
KR20130106640A (ko) 2013-09-30

Similar Documents

Publication Publication Date Title
CN110119676B (zh) 一种基于神经网络的驾驶员疲劳检测方法
KR101337554B1 (ko) 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법
Venkateswari et al. License Plate cognizance by Ocular Character Perception'
CN110298278B (zh) 一种基于人工智能的地下停车库行人车辆监测方法
KR101173853B1 (ko) 다중 객체 인식장치 및 방법
CN105654753A (zh) 一种智能车载安全驾驶辅助方法及***
Li et al. Yawning detection for monitoring driver fatigue based on two cameras
CN108268850B (zh) 一种基于图像的大数据处理方法
CN103434484A (zh) 车载识别认证装置、移动终端、智能车钥控制***及方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN108513110A (zh) 人脸识别监控摄像头
Czyżewski et al. Multi-stage video analysis framework
KR20210062256A (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
CN111950499A (zh) 一种检测车载人员统计信息的方法
Roy Unsupervised sparse, nonnegative, low rank dictionary learning for detection of driver cell phone usage
CN115035564A (zh) 基于巡逻车智能摄像机的人脸识别方法、***及相关组件
KR101350882B1 (ko) 영상 분석 서버
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
Hota et al. On-road vehicle detection by cascaded classifiers
CN111062311B (zh) 一种基于深度级可分离卷积网络的行人手势识别与交互方法
KR101240617B1 (ko) 인식 알고리즘이 이중화된 차량번호 인식 시스템 및 방법
CN109214316B (zh) 周界防护方法及装置
KR101669447B1 (ko) 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법
CN112686076A (zh) 一种图像处理方法、***及计算机可读存储介质
CN105206060A (zh) 一种基于sift特征的车型识别装置及其方法

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171123

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee