KR20200010691A - 이종 카메라를 활용한 인물인식 및 교통통제시스템 - Google Patents

이종 카메라를 활용한 인물인식 및 교통통제시스템 Download PDF

Info

Publication number
KR20200010691A
KR20200010691A KR1020180083543A KR20180083543A KR20200010691A KR 20200010691 A KR20200010691 A KR 20200010691A KR 1020180083543 A KR1020180083543 A KR 1020180083543A KR 20180083543 A KR20180083543 A KR 20180083543A KR 20200010691 A KR20200010691 A KR 20200010691A
Authority
KR
South Korea
Prior art keywords
person
camera
control system
recognition
traffic control
Prior art date
Application number
KR1020180083543A
Other languages
English (en)
Inventor
김지태
김배훈
Original Assignee
주식회사 영국전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 영국전자 filed Critical 주식회사 영국전자
Priority to KR1020180083543A priority Critical patent/KR20200010691A/ko
Publication of KR20200010691A publication Critical patent/KR20200010691A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G06K9/00234—
    • G06K9/00248—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H04N5/2259—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이종 카메라를 활용한 인물인식 및 교통통제시스템에 관한 것으로, 보다 상세하게는 열화상카메라, 고정카메라 및 PTZ(Pan-Tilt-Zoom)카메라를 동시에 연동하여 사용하며, 열화상카메라는 차량 내부에 탑승중인 운전자 등의 체온을 통해 열 영상을 획득하고, 신호등을 기다리는 보행자의 체온을 통해 열 영상을 획득하며, 고정카메라는 감시영역에서의 보행자 또는 운전자 등의 인물을 검출하고, PTZ카메라는 고정카메라에서 인식된 인물의 개인특성을 캐치하고 이를 구분하기 위한 정보를 제공한다. 이로 인해 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 이종 카메라를 활용한 인물인식이 가능하고 이를 이용하여 보행자의 유무 및 동선을 파악하여 신호등을 제어하고 교통을 통제 가능한 시스템을 제공하는 것이다.

Description

이종 카메라를 활용한 인물인식 및 교통통제시스템 {Character recognition and traffic control system using heterogeneous camera}
본 발명은 이종 카메라를 활용한 인물인식 및 교통통제시스템에 관한 것으로, 보다 상세하게는 열화상카메라, 고정카메라 및 PTZ(Pan-Tilt-Zoom)카메라를 동시에 연동하여 사용하며, 열화상카메라는 차량 내부에 탑승중인 운전자 등의 체온을 통해 열 영상을 획득하고, 신호등을 기다리는 보행자의 체온을 통해 열 영상을 획득하며, 고정카메라는 감시영역에서의 보행자 또는 운전자 등의 인물을 검출하고, PTZ카메라는 고정카메라에서 인식된 인물의 개인특성을 캐치하고 이를 구분하기 위한 정보를 제공한다. 이로 인해 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 이종 카메라를 활용한 인물인식이 가능하고 이를 이용하여 보행자의 유무 및 동선을 파악하여 신호등을 제어하고 교통을 통제 가능한 시스템을 제공하는 것이다.
추적촬영 즉, 트래킹레코딩(Tracking Recording)은 고정점을 가지며 일지점에 고정된 하나 이상의 카메라가 움직이는 피사체를 향해 해당 피사체의 이동속도 및 방향에 대응되도록 틸팅되며 해당 피사체를 추적촬영하는 것을 의미한다.
또한 PTZ카메라란, 상하 좌우로 피사체를 따라가며, 확대, 축소 기능을 가진 CCTV 카메라를 말한다. PTZ 돔 네트워크 카메라는 팬/틸트/줌 기능을 통해 넓은 구역을 감시하며 줌인 기능을 통해 상세 이미지를 제공하는 것이 가능하다.
PTZ 돔 카메라는 가드 투어, 투어 레코딩, 오디오, 외부 알람 장치용 입출력 포트, 게이트키퍼(Gatekeeper) 기능, 지능형 비디오 애플리케이션을 위한 AXIS Camera Application Platform, 온도 제어를 포함한 내후성 등의 기능을 지원가능한 모델이 최근 출시되고 있다.
종래 PTZ카메라를 이용하여 인물 등의 추적촬영을 위해서는 적어도 2개 이상의 PTZ카메라를 사용하여다수의 카메라간 상호 촬영대상의 위치를 공유하며 촬영대상의 이동여부 및 경로를 좌표상에 나타내고 상호 카메라간 거리 및 설치높이 등을 고려하여 별도의 연산로직을 통해 촬영대상의 이동여부 및 경로를 추적하며 촬영을 연속할 수 있는 시스템이 존재하였으나, 넓은 감시영역 내부에 다수의 인물 및 정지물체 등이 동시에 존재하는 경우, 각각의 인물 또는 움직이는 물체에 대해 인물여부를 판별하여 이를 트래킹하며 동선을 추적촬영하는 것이 매우 곤란한 문제점이 존재하였다.
또한, 인적이 드문 지역에 설치된 신호등의 경우 또는 차량의 통행이 드문 지역에 설치된 신호등의 경우, 도보인구 또는 통행차량의 수에 비해 신호등의 보행가능신호 또는 차량 주행가능신호가 지나치게 짧은 시간 켜지거나, 불필요하게 길게 켜지는 문제점이 발생하며, 노약자의 경우 신호를 기다리다가 무단횡단을 하다가 사고가 나는 경우가 상당한 문제점이 존재한다.
이와 같은 문제점을 극복하기 위해서, 열화상카메라를 이용하여 차량통행유무와 도보자유무를 판단하고, 넓은 감시공간에 존재하는 인물을 물체와 구별하여 인식하는 기술을 이용가능한 카메라와, 물체와 구별되어 인식된 인물 각각을 객체로 지정하여 이에 대한 위치정보를 PTZ카메라로 전송하여 PTZ카메라를 통해 개별 객체에 대한 디테일한 트래킹촬영이 진행되도록 하는 보다 진보된 이종 카메라를 활용한 인물인식 및 교통통제시스템의 개발이 요구된다.
대한민국 공개특허공보 10-2014-0139914
전술한 문제점을 해결하기 위해 열화상카메라, 고정카메라, 관리서버 및 PTZ카메라를 포함하는 다수개의 카메라를 활용한 주행차량 및 보행자의 유무를 판별하고 인물인식 및 교통통제시스템 구성을 구비하여 감시영역 내의 인물에 대한 효율적인 인식 및 추적이 가능한 다수개의 카메라를 활용한 이종 카메라를 활용한 인물인식 및 교통통제시스템을 제공하는 것이 가능하다.
전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이종 카메라를 활용한 인물인식 및 교통통제시스템은 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역을 촬영하는 열화상카메라 또는 고정카메라, 상기 열화상카메라 또는 고정카메라의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버 및 상기 관리서버로부터 감시영역내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ카메라를 포함하는 이종 카메라를 활용한 인물인식 및 교통통제시스템의 구성으로써 제공되는 것이 가능하다.
상기 열화상카메라 또는 고정카메라는 상기 감시영역내에 다수개가 마련되며, 서로 상이한 방향에서 동일 또는 상이한 감시영역을 촬영하는 것이 가능하고, 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 바람직하다.
또한, 상기 고정카메라는 산출된 인물검출용 데이터를 종합하여 단일 수치 스코어를 생성하는 것이 가능하며, 감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것이 바람직하다 할 것이다.
상기 고정카메라는 검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버로 전송하는 것이 가능하다.
상기 PTZ카메라는 상기 관리서버로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신하는 것이 가능하다.
전술한 시스템구성 외에도, 고정된 위치에 설치되어 소정의 화각을 가지는 열화상카메라 또는 고정카메라를 이용하여 감시영역을 촬영하는 카메라 촬영단계, 상기 열화상카메라 또는 고정카메라의 촬상정보를 관리서버로 송신하는 관리서버 전송단계, 상기 관리서버로부터 감시영역내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계, 상기 열화상카메라 또는 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계 및 상기 유사성 판단단계 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계를 포함하는 이종 카메라를 활용한 인물인식 및 교통통제시스템이 제공되는 것이 가능하다.
상기 카메라 촬영단계는 감시영역 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계, 감시영역내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계 및 상기 인물 얼굴인식단계 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계를 포함할 수 있다.
상기 이동물체 판단단계는 프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단할 수 있다.
상기 인물 얼굴인식단계(S120)는 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출할 수 있다.
상기 PTZ카메라 촬영단계(S300)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310) 및 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320)를 포함하는 것이 가능하다.
열화상카메라, 고정카메라 및 PTZ카메라를 동시에 연동하여 사용하며, 인적이 드문 지역에 설치된 신호등의 경우 또는 차량의 통행이 드문 지역에 설치된 신호등의 경우, 통행차량 및 보행자의 유무를 고려하여 통행신호길이를 실시간으로 제어가능하며, 이를 위해 고정카메라는 감시영역에서의 인물을 고정된 물체와 구별하여 개별객체로써 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 디테일한 정보를 제공할 수 있다.
이와 같은 구체적인 구성특성으로 인해, 열 영상을 분석한 온도데이터, 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능하며, 넓은 감시영역에서 다수의 인물에 대해 효율적으로 인식하고, 다수의 개별 인물에 대해 동시다발적인 정밀추적촬영이 가능함으로써 교통흐름을 원활하게 하는 효과가 존재한다.
도 1은 본 발명의 일 실시예 따른 열화상카메라, 고정카메라와 PTZ카메라가 설치되어 감시영역을 감시하는 감시상태를 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 열화상카메라, 고정카메라와 PTZ카메라 및 관리서버의 구성관계를 도시한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 이종 카메라를 활용한 인물인식 및 교통통제시스템을 도시한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 발사체지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예 따른 열화상카메라 또는 고정카메라와 PTZ카메라가 설치되어 감시영역을 감시하는 감시상태를 도시한 개략도이며. 도 2는 본 발명의 일 실시예에 따른 열화상카메라 또는 고정카메라와 PTZ카메라 및 관리서버의 구성관계를 도시한 개략도이다.
도 1 및 2를 참고하면, 넓은 감시영역에서 다수의 인물에 대해 개별 연계추적이 가능한 시스템을 위한 다수개의 열화상카메라 또는 고정카메라 및 PTZ카메라의 구성을 포함한 전체 시스템을 구성하는 개별구성에 대한 확인이 가능하다.
본 발명은 이종 카메라를 활용한 인물인식 및 교통통제시스템에 관한 것으로, 보다 상세하게는 열화상카메라, 고정카메라 및 PTZ(Pan-Tilt-Zoom)카메라를 동시에 연동하여 사용하며, 열화상카메라는 차량 내부에 탑승중인 운전자 등의 체온을 통해 열 영상을 획득하고, 신호등을 기다리는 보행자의 체온을 통해 열 영상을 획득하며, 고정카메라는 감시영역에서의 보행자 또는 운전자 등의 인물을 검출하고, PTZ카메라는 고정카메라에서 인식된 인물의 개인특성을 캐치하고 이를 구분하기 위한 정보를 제공한다. 이로 인해 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 이종 카메라를 활용한 인물인식이 가능하고 이를 이용하여 보행자의 유무 및 동선을 파악하여 신호등을 제어하고 교통을 통제 가능한 시스템을 제공하는 것이다.
열화상카메라, 고정카메라 및 PTZ카메라를 동시에 연동하여 사용하며, 인적이 드문 지역에 설치된 신호등의 경우 또는 차량의 통행이 드문 지역에 설치된 신호등의 경우, 통행차량 및 보행자의 유무를 고려하여 통행신호길이를 실시간으로 제어가능하며, 이를 위해 고정카메라는 감시영역에서의 인물을 고정된 물체와 구별하여 개별객체로써 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 디테일한 정보를 제공할 수 있다.
이와 같은 구체적인 구성특성으로 인해, 열 영상을 분석한 온도데이터, 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능하며, 넓은 감시영역에서 다수의 인물에 대해 효율적으로 인식하고, 다수의 개별 인물에 대해 동시다발적인 정밀추적촬영이 가능함으로써 교통흐름을 원활하게 하는 효과가 존재한다.
보다 구체적으로 설명하면, 넓은 감시영역(100)에 존재하는 다수의 인물에 대한 추적촬영을 실시하기 위해서는, 우선, 인물을 고정된 물체와 구별하는 것이 필요하고, 구별된 인물에 각각 개별객체로 지정하여 저장하며, 저장된 객체에 따라 별도의 PTZ카메라를 이용한 개별 트래킹레코딩 또는 트래킹촬영이 요구된다 할 것이다.
도 1 및 도 2에서 확인가능한 본 발명의 열화상카메라(150) 또는 고정카메라(200) 구성은 해당 감시영역(100)에서의 사람들을 검출하는데 사용될 수 있으며, PTZ카메라(400)는 검출된 사람 각각의 특성을 디테일하게 서치하여 이를 열화상카메라(150) 또는 고정카메라(200)의 판별정보와 대조하고, 추적하여 촬영하는 역할을 수행할 수 있다.
본 시스템에서는 PTZ카메라(400) 간의 특정 오브젝트(사람 또는 물체)에 대한 일관성 있는 추적내용을 제공하는 것이 가능하며, 인물이 서로간 교차하거나 사물 등에 가릴 경우에도 안정적인 추적이 가능하다.
본 발명의 실시예에 따르면, 특정인물을 구별하기 위한 프로세스로써, 인물(피부) 색상의 세분화, 인물의 모양 전보를 사용하여 특정인물을 구별하고 관리하며 연계추적이 가능할 수 있다.
종래 감시영역 내의 사람 또는 인물들을 추적하는 카메라 촬영시스템에서는 해당 고정카메라 등이 이동객체에 대한 얼굴인식 및 표현인식 등과 같은 명확한 분석을 위한 개별 고해상도 영상을 제공할 수 없으며, 감시영역내에 존재하는 장애물로 인한 폐색에 대해서 대처할 수 없다는 문제점이 존재하였다.
이러한 문제점을 극복하고 감시영역내에서 여러 인물들에 대한 효율적인 추적을 위해서는 열화상카메라(150) 또는 고정카메라(200) 및 PTZ카메라(400)를 동시에 사용하여 추적촬영하는 기법이 요구된다.
구체적으로는, 감시영역내의 인물에 대한 검출을 위해서는 감시영역 내에 존재하는 이동물체(사람 등)에 대한 얼굴형상 및 피부색상 등을 토대로 인물을 검출하는 프로세스를 거치며, 검출된 인물에 대해서는 열화상카메라(150) 또는 고정카메라(200)로부터 획득된 각각의 인물의 위치정보를 관리서버를 통해 전송받은 PTZ카메라(400)가 PTZ카메라(400) 제어구동을 통해 해당 검출 인물에 대한 추적촬영을 실시하여 고해상도의 구별 이미지를 획득하고, 물체 또는 사람간의 중첩과 폐색을 극복하여 해당 검출 인물에 대한 추적촬영을 진행하는 프로세스를 거칠 수 있다.
이를 위해 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역(100)을 촬영하는 열화상카메라(150) 또는 고정카메라(200), 상기 열화상카메라(150) 또는 고정카메라(200)의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버(300) 및 상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ카메라(400)를 포함하는 이종 카메라를 활용한 인물인식 및 교통통제시스템이 제공될 수 있다.
이 경우, 상기 열화상카메라(150) 또는 고정카메라(200)는 상기 감시영역(100)내에 다수개가 마련되며, 서로 동일 또는 상이한 방향에서 동일 또는 상이한 감시영역을 촬영하는 것이 가능하다.
또한, 상기 열화상카메라(150) 또는 고정카메라(200)는 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 가능하다.
상기 열화상카메라(150) 또는 고정카메라(200)는 다수개가 구비될 수 있으며, 각각의 열화상카메라(150) 또는 고정카메라(200)가 대응되는 PTZ카메라 또는 상기 열화상카메라(150) 또는 고정카메라(200)의 갯수보다 많은 양의 PTZ카메라와 연계되어, 상기 열화상카메라(150) 또는 고정카메라(200)의 촬영을 통해 객체로 저장된 인물에 대해 위치좌표 및 인물특성을 전송하여 디테일한 연계추적이 가능하다.
전술한 구성을 통하여 종래 다수개의 PTZ카메라만을 사용하여 각각의 인물에 대한 정보 전체를 서버로 전송하며, 인물여부를 판별하는 과정을 포함함으로써 데이터 전송량 부하가 상당한 문제점을 해결하여, 신속한 데이터 송수신에 따른 신속응답이 가능하고 및 서버 저장 메모리의 용이한 확보가 가능한 특징이 존재한다.
구체적으로, 우선 피부색 세그먼테이션 등을 사용하여 인물들에 대한 초기 얼굴 세트를 얻을 수 있다.
이러한 방법을 사용할 경우, 고정카메라(200)에 촬영되는 인물의 피부색이 정규화된 색 영역에 집중되며, 특정 조명 조건에서 피부색 분포가 다변량 정규 가우스 분포로서 특성화 될 수 있다.
이 경우, 상기 고정카메라(200)의 이미지 픽셀은 빨강(Gr), 초록(Gg) 및 파랑(Gb)과 같이 정의된 정규화 된 색 공간으로 투영될 수 있다.
각각의 정규화 된 색은 정규화 된 공간에 존재하는 픽셀에 투영된 성분을 나타나며, 이는 전체 빨강(Gr), 초록(Gg) 및 파랑(Gb)의 성분을 더한 수치 중 빨강(Gr), 초록(Gg) 및 파랑(Gb)의 해당 색상의 수치비로 표현하는 것이 가능하다.
추가적으로 오프라인으로 획득한 피부 톤 샘플을 처리하여 가우스 모델 매개변수(평균 및 분산)를 얻고, 가우스 피크에 대한 픽셀의 근접성을 기반으로 픽셀을 수락 또는 거부하는데 사용되는 룩업 테이블(LUT)을 생성하는데에 해당 가우시안 분포가 사용될 수 있다.
또한, 메디안 필터링(Median-filtering)기술을 이용함으로써 점 잡음 노이즈가 촬영된 이미지 프레임에서 제거될 수 있다.
상기 메디안 필터링은 경계의 선병성을 유지하면서 임펄스 노이즈를 제거가능한 필터기법이다.
이를 위해 마스크영역내의 이미지에 대하여 화소들을 정렬한 후, 중간값을 취해 저장하는 방식으로 필터링을 진행하게 된다.
해당 노이즈가 제거된 이미지는 평활화(I(x,y))되며, 해당 이미지의 수평투영 및 수직투영을 계산하여 인물의 얼굴 크기, 형태 및 면적 등에 대한 정보를 획득한다.
전술한 방법을 이용하여 획득한 인물의 얼굴 크기, 형태 및 면적 등에 대한 정보를 토대로 인물 얼굴의 크기 및 종횡비에 대한 휴리스틱스(Heuristics)를 사용하여 일지하지 않는 상당수의 얼굴 후보영역을 제거하여 고정물체와 인물간을 명확하게 구분하는 것이 가능하다.
상기 고정카메라(200)는 피부의 색상, 얼굴 면적 및 얼굴 종횡비 속성을 기반으로 하여 촬영프레임간에 인물의 정보등록을 수행하고, 해당 데이터를 결합하여 인물 후보영역이 실제 얼굴일 가능성이 대한 단일 수치 스코어를 생성하는 스코어링 방법을 사용할 수 있다.
해당 단일 수치 스코어가 기 설정된 소정의 임계값보다 클 경우 인물의 얼굴로 인식이 되는 것이 바람직하다.
또한, 상기 고정카메라(200)는 감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것이 가능하며, 검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버(300)로 전송하는 것이 바람직하다.
이 경우, 상기 PTZ카메라(400)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, PTZ카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN(Convolutional Neural Network) 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신할 수 있다.
상기 슬라이딩 윈도우 처리기법은 흐름제어의 방식으로서 전송스테이션이 윈도우 안에 순서화된 PDU(Protocol Data Unit)를 전송하는 것이 가능하다. 이 경우에 윈도우는 동적으로 변화함으로써 PDU를 전송하는 처리기법을 의미할 수 있다.
도 3은 본 발명의 일 실시예에 따른 이종 카메라를 활용한 인물인식 및 교통통제시스템을 도시한 순서도이다.
도 3을 참조하여, 본 발명의 일 실시예에 따른 이종 카메라를 활용한 인물인식 및 교통통제시스템을 설명하도록 한다.
구체적으로, 고정된 위치에 설치되어 소정의 화각을 가지는 열화상카메라(150) 또는 고정카메라(200)를 이용하여 감시영역(100)을 촬영하는 카메라 촬영단계(S100), 상기 열화상카메라(150) 또는 고정카메라(200)의 촬상정보를 관리서버(300)로 송신하는 관리서버 전송단계(S200), 상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계(S300), 상기 열화상카메라(150) 또는 고정카메라(200)의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계(S400) 및 상기 유사성 판단단계(S400) 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계(S500)를 포함하는 이종 카메라를 활용한 인물인식 및 교통통제시스템이 제공될 수 있다.
이 경우, 상기 카메라 촬영단계(S100)는 감시영역(100) 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계(S110), 감시영역(100)내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계(S120) 및 상기 인물 얼굴인식단계(S120) 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계(S130)를 포함할 수 있다.
상기 이동물체 판단단계(S110)는 프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단하는 것이 바람직하며, 상기 인물 얼굴인식단계(S120)는,
감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 바람작하다.
또한, 상기 PTZ카메라 촬영단계(S300)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310) 및 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320)를 포함하는 것이 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 감시영역
150 : 열화상카메라
200 : 고정카메라
300 : 관리서버
400 : PTZ카메라
S100 : 카메라 촬영단계
S110 : 이동물체 판단단계
S120 : 인물 얼굴 인식단계
S130 : 객체번호 부여 및 좌표산출단계
S200 : 관리서버 전송단계
S300 : PTZ카메라 촬영단계
S310 : PTZ카메라 구동단계
S320 : 세부정보 추출 및 필터링단계
S400 : 유사성 판단단계
S500 : 동선정보 저장단계

Claims (14)

  1. 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역(100)을 촬영하는 열화상카메라(150) 또는 고정카메라(200);
    상기 열화상카메라(150) 또는 고정카메라(200)의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버(300); 및
    상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ카메라(400);
    를 포함하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  2. 제1항에 있어서,
    상기 열화상카메라(150) 또는 고정카메라(200)는,
    상기 감시영역(100)내에 다수개가 마련되며, 서로 상이한 방향에서 동일 또는 상이한 감시영역을 촬영하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  3. 제1항에 있어서,
    상기 고정카메라(200)는,
    감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  4. 제1항에 있어서,
    상기 고정카메라(200)는,
    감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  5. 제3항 또는 제4항에 있어서,
    상기 고정카메라(200)는,
    산출된 인물검출용 데이터를 종합하여 단일 수치 스코어를 생성하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  6. 제1항에 있어서,
    상기 고정카메라(200)는,
    감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  7. 제5항에 있어서,
    상기 고정카메라(200)는,
    검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버(300)로 전송하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  8. 제1항에 있어서,
    상기 PTZ카메라(400)는,
    상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, PTZ카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  9. 고정된 위치에 설치되어 소정의 화각을 가지는 열화상카메라(150) 또는 고정카메라(200)를 이용하여 감시영역(100)을 촬영하는 카메라 촬영단계(S100);
    상기 열화상카메라(150) 또는 고정카메라(200)의 촬상정보를 관리서버(300)로 송신하는 관리서버 전송단계(S200);
    상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계(S300);
    상기 열화상카메라 또는 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계(S400); 및
    상기 유사성 판단단계(S400) 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계(S500);
    를 포함하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  10. 제9항에 있어서,
    상기 카메라 촬영단계(S100)는,
    감시영역(100) 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계(S110);
    감시영역(100)내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계(S120); 및
    상기 인물 얼굴인식단계(S120) 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계(S130);
    를 포함하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  11. 제10항에 있어서,
    상기 이동물체 판단단계(S110)는,
    프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  12. 제10항에 있어서,
    상기 인물 얼굴인식단계(S120)는,
    감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  13. 제10항에 있어서,
    상기 인물 얼굴인식단계(S120)는,
    감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
  14. 제9항에 있어서,
    상기 PTZ카메라 촬영단계(S300)는,
    상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310); 및
    슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320);
    를 포함하는 것을 특징으로 하는 이종 카메라를 활용한 인물인식 및 교통통제시스템
KR1020180083543A 2018-07-18 2018-07-18 이종 카메라를 활용한 인물인식 및 교통통제시스템 KR20200010691A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180083543A KR20200010691A (ko) 2018-07-18 2018-07-18 이종 카메라를 활용한 인물인식 및 교통통제시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180083543A KR20200010691A (ko) 2018-07-18 2018-07-18 이종 카메라를 활용한 인물인식 및 교통통제시스템

Publications (1)

Publication Number Publication Date
KR20200010691A true KR20200010691A (ko) 2020-01-31

Family

ID=69369286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180083543A KR20200010691A (ko) 2018-07-18 2018-07-18 이종 카메라를 활용한 인물인식 및 교통통제시스템

Country Status (1)

Country Link
KR (1) KR20200010691A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096391A (zh) * 2021-03-25 2021-07-09 合肥革绿信息科技有限公司 一种基于人脸识别的交通管理***
KR102616782B1 (ko) * 2022-12-07 2023-12-27 한국건설기술연구원 주차 표시 구획 내 보행자 진입 알림 방법 및 이를 이용한 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140139914A (ko) 2013-05-28 2014-12-08 한국남부발전 주식회사 리프팅 장치를 이용한 복합 발전설비의 발전기 로터축 인출방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140139914A (ko) 2013-05-28 2014-12-08 한국남부발전 주식회사 리프팅 장치를 이용한 복합 발전설비의 발전기 로터축 인출방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096391A (zh) * 2021-03-25 2021-07-09 合肥革绿信息科技有限公司 一种基于人脸识别的交通管理***
KR102616782B1 (ko) * 2022-12-07 2023-12-27 한국건설기술연구원 주차 표시 구획 내 보행자 진입 알림 방법 및 이를 이용한 전자 장치

Similar Documents

Publication Publication Date Title
EP3648448B1 (en) Target feature extraction method and device, and application system
KR101808587B1 (ko) 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
EP4105101A1 (en) Monitoring system, monitoring method, and monitoring device for railway train
KR101172747B1 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
KR101793636B1 (ko) 통합 지능형 cctv 영상 처리 시스템
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
EP1553516B1 (en) Pedestrian extracting apparatus
EP2903261B1 (en) Apparatus and method for detecting event from plurality of photographed images
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR101496390B1 (ko) 차량번호인식 시스템
CN108376246A (zh) 一种多人脸识别及跟踪***及方法
KR101492473B1 (ko) 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
CN110633648B (zh) 一种自然行走状态下的人脸识别方法和***
KR100948382B1 (ko) 방범 서비스 방법 및 시스템
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
JP2001005974A (ja) 物体認識方法及び物体認識装置
KR20200010691A (ko) 이종 카메라를 활용한 인물인식 및 교통통제시스템
KR101468117B1 (ko) 지능형 영상 감시 방법 및 그 장치
KR101485512B1 (ko) 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
KR102108391B1 (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
KR101579275B1 (ko) 위험객체 위치추적을 통한 실시간 모니터링을 이용한 방범보안 시스템
JP4574509B2 (ja) システム用カメラ、監視システム及び監視方法
JP2002245560A (ja) 監視システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application