KR102108391B1 - Moving Object Linkage Tracking System and Method Using Multiple Cameras - Google Patents

Moving Object Linkage Tracking System and Method Using Multiple Cameras Download PDF

Info

Publication number
KR102108391B1
KR102108391B1 KR1020180083540A KR20180083540A KR102108391B1 KR 102108391 B1 KR102108391 B1 KR 102108391B1 KR 1020180083540 A KR1020180083540 A KR 1020180083540A KR 20180083540 A KR20180083540 A KR 20180083540A KR 102108391 B1 KR102108391 B1 KR 102108391B1
Authority
KR
South Korea
Prior art keywords
person
camera
moving object
surveillance area
management server
Prior art date
Application number
KR1020180083540A
Other languages
Korean (ko)
Other versions
KR20200010690A (en
Inventor
김지태
김배훈
Original Assignee
주식회사 영국전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 영국전자 filed Critical 주식회사 영국전자
Priority to KR1020180083540A priority Critical patent/KR102108391B1/en
Publication of KR20200010690A publication Critical patent/KR20200010690A/en
Application granted granted Critical
Publication of KR102108391B1 publication Critical patent/KR102108391B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2259—
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것으로, 보다 상세하게는 고정카메라 및 PTZ카메라를 동시에 연동하여 사용하며, 고정카메라는 감시영역에서의 인물을 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 정보를 제공한다. 이로 인해 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능한 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것이다.The present invention relates to a moving object linkage tracking system and method using a plurality of cameras, and more specifically, a fixed camera and a PTZ camera are simultaneously linked and used, and the fixed camera detects a person in the surveillance area, and the PTZ camera Provides information to catch and distinguish personal characteristics of characters. Accordingly, it relates to a moving object link tracking system and method using a plurality of cameras capable of registering and managing a specific person based on color segmentation and shape information of a person's skin, etc., and linking a fixed camera and a PTZ camera.

Description

다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법 {Moving Object Linkage Tracking System and Method Using Multiple Cameras}Moving Object Linkage Tracking System and Method Using Multiple Cameras}

본 발명은 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것으로, 보다 상세하게는 고정카메라 및 PTZ(Pan-Tilt-Zoom)카메라를 동시에 연동하여 사용하며, 고정카메라는 감시영역에서의 인물을 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 정보를 제공한다. 이로 인해 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능한 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것이다.The present invention relates to a moving object linkage tracking system and method using a plurality of cameras, and more specifically, a fixed camera and a PTZ (Pan-Tilt-Zoom) camera are simultaneously linked and used. Detecting a person, the PTZ camera catches the person's personal characteristics and provides information to distinguish them. Accordingly, it relates to a moving object link tracking system and method using a plurality of cameras capable of registering and managing a specific person based on color segmentation and shape information of a person's skin, etc., and linking a fixed camera and a PTZ camera.

추적촬영 즉, 트래킹레코딩(Tracking Recording)은 고정점을 가지며 일지점에 고정된 하나 이상의 카메라가 움직이는 피사체를 향해 해당 피사체의 이동속도 및 방향에 대응되도록 틸팅되며 해당 피사체를 추적촬영하는 것을 의미한다.Tracking recording, that is, tracking recording, means that one or more cameras fixed at one point is tilted toward a moving subject corresponding to the moving speed and direction of the subject, and tracking the subject.

또한 PTZ카메라란, 상하 좌우로 피사체를 따라가며, 확대, 축소 기능을 가진 CCTV 카메라를 말한다. PTZ 돔 네트워크 카메라는 팬/틸트/줌 기능을 통해 넓은 구역을 감시하며 줌인 기능을 통해 상세 이미지를 제공하는 것이 가능하다.In addition, a PTZ camera refers to a CCTV camera that follows the subject up, down, left, and right, and has enlargement and reduction functions. The PTZ dome network camera monitors a large area through the pan / tilt / zoom function, and it is possible to provide detailed images through the zoom-in function.

PTZ 돔 카메라는 가드 투어, 투어 레코딩, 오디오, 외부 알람 장치용 입출력 포트, 게이트키퍼(Gatekeeper) 기능, 지능형 비디오 애플리케이션을 위한 AXIS Camera Application Platform, 온도 제어를 포함한 내후성 등의 기능을 지원가능한 모델이 최근 출시되고 있다.PTZ dome cameras have recently supported models such as guard tour, tour recording, audio, input / output ports for external alarm devices, gatekeeper function, AXIS Camera Application Platform for intelligent video applications, and weatherability including temperature control. Is being released.

종래 PTZ카메라를 이용하여 인물 등의 추적촬영을 위해서는 적어도 2개 이상의 PTZ카메라를 사용하여다수의 카메라간 상호 촬영대상의 위치를 공유하며 촬영대상의 이동여부 및 경로를 좌표상에 나타내고 상호 카메라간 거리 및 설치높이 등을 고려하여 별도의 연산로직을 통해 촬영대상의 이동여부 및 경로를 추적하며 촬영을 연속할 수 있는 시스템이 존재하였으나, 넓은 감시영역 내부에 다수의 인물 및 정지물체 등이 동시에 존재하는 경우, 각각의 인물 또는 움직이는 물체에 대해 인물여부를 판별하여 이를 트래킹하며 동선을 추적촬영하는 것이 매우 곤란한 문제점이 존재하였다.For tracking a person or the like using a conventional PTZ camera, at least two or more PTZ cameras are used to share the locations of the mutual shooting targets among multiple cameras, and indicate whether the moving targets and paths are in coordinates and the distance between the mutual cameras. And a system capable of tracking the movement and path of the shooting object through a separate calculation logic in consideration of the installation height, etc., but there are a number of persons and still objects simultaneously in the wide surveillance area. In the case, there was a problem in that it is very difficult to track whether the person is moving or not by tracking whether it is a person or not for each person or moving object.

이와 같은 문제점을 극복하기 위해서, 넓은 감시공간에 존재하는 인물을 물체와 구별하여 인식하는 기술을 이용가능한 카메라와, 물체와 구별되어 인식된 인물 각각을 객체로 지정하여 이에 대한 위치정보를 PTZ카메라로 전송하여 PTZ카메라를 통해 개별 객체에 대한 디테일한 트래킹촬영이 진행되도록 하는 보다 진보된 이동물체 연계추적시스템 및 방법의 개발이 요구된다.In order to overcome this problem, a camera capable of recognizing a person existing in a wide surveillance space by distinguishing it from an object is available, and each person recognized as being distinguished from an object is designated as an object, and the location information on this is set as a PTZ camera. There is a need to develop a more advanced moving object linkage tracking system and method for transmitting and tracking detailed objects for individual objects through a PTZ camera.

대한민국 공개특허공보 10-2012-0139914Republic of Korea Patent Publication 10-2012-0139914

전술한 문제점을 해결하기 위해 고정카메라, 관리서버 및 PTZ카메라를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적시스템 구성을 구비하여 감시영역 내의 인물에 대한 효율적인 인식 및 추적이 가능한 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법을 제공하는 것이 가능하다.In order to solve the above-mentioned problems, a plurality of cameras capable of efficiently recognizing and tracking persons in the surveillance area are utilized by providing a moving object linkage tracking system configuration using multiple cameras including a fixed camera, a management server, and a PTZ camera. It is possible to provide a system and method for linking a moving object.

전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법은 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역을 촬영하는 고정카메라, 상기 고정카메라의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버 및 상기 관리서버로부터 감시영역내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ 카메라를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적시스템의 구성으로써 제공되는 것이 가능하다.A moving object linkage tracking system and method using a plurality of cameras according to an embodiment of the present invention for solving the above-described problems are fixed cameras installed at fixed positions and photographing a surveillance area with a predetermined angle of view. Receives the imaging information of the camera, receives the location information of the person in the monitoring area from the management server and the management server that processes, stores and transmits the position information of the person in the monitoring area based on the imaging information, receives the position information of the person On the basis of this, it can be provided as a configuration of a moving object linkage tracking system using a plurality of cameras including a PTZ camera that specifically extracts, filters, and transmits specific information of a person by pan tilt and zoom control to a server.

상기 고정카메라는 상기 감시영역내에 다수개가 마련되며, 서로 상이한 방향에서 동일한 감시영역을 촬영하는 것이 가능하고, 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 바람직하다.A plurality of the fixed cameras are provided in the surveillance area, and it is possible to photograph the same surveillance area in different directions, and calculate data for person detection based on the skin color of a person in the surveillance area or for a person in the surveillance area. It is desirable to calculate data for person detection based on face size and aspect ratio.

또한, 상기 고정카메라는 산출된 인물검출용 데이터를 종합하여 단일 수치 스코어를 생성하는 것이 가능하며, 감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것이 바람직하다 할 것이다.In addition, the fixed camera is capable of synthesizing the calculated person detection data to generate a single numerical score, and it would be desirable to calculate the color and pattern data of the clothes being worn on the person in the surveillance area.

상기 고정카메라는 검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버로 전송하는 것이 가능하다.The fixed camera can assign a serial number to the detected person, calculate the location coordinates for the detected person, and transmit it to the management server.

상기 PTZ카메라는 상기 관리서버로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신하는 것이 가능하다.The PTZ camera performs camera driving control using the detected location information for each person received from the management server, extracts detailed information about each detected person through a sliding window processing technique and a CNN learning model. It is possible to send it to the management server.

전술한 시스템구성 외에도, 고정된 위치에 설치되어 소정의 화각을 가지는 고정카메라를 이용하여 감시영역을 촬영하는 고정카메라 촬영단계, 상기 고정카메라의 촬상정보를 관리서버로 송신하는 관리서버 전송단계, 상기 관리서버로부터 감시영역내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계, 상기 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계 및 상기 유사성 판단단계 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적방법이 제공되는 것이 가능하다.In addition to the above-described system configuration, a fixed camera photographing step of photographing a surveillance area using a fixed camera installed at a fixed position and having a predetermined angle of view, a management server transmitting step of transmitting imaging information of the fixed camera to a management server, the The PTZ camera shooting step of receiving the location information of the person in the surveillance area from the management server and taking the person with pan tilt and zoom control based on the location information of the person to specifically extract and filter the specific information, the fixed camera When the similarity is recognized as a result of the similarity determination step and the similarity determination step of comparing the individual characteristics of the person according to the shooting with the individual characteristics of the person according to the shooting of the PTZ camera, if the similarity is recognized, it is determined as the same individual and It utilizes multiple cameras, which includes a moving line information storage step of tracking and storing moving lines. It is possible to be provided in conjunction dongmulche tracking method.

상기 고정카메라 촬영단계는 감시영역 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계, 감시영역내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계 및 상기 인물 얼굴인식단계 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계를 포함할 수 있다.The fixed camera shooting step recognizes a moving person's face based on a moving object determination step of determining a moving object excluding a fixed object in the surveillance area, a skin color for a person in the surveillance area, or a face size and aspect ratio for a person in the surveillance area. As a result of the face recognition step and the face recognition step, when it is recognized as a face for a person, an object number is assigned to each person and an object number is assigned and a coordinate calculation step is performed to calculate a real-time location coordinate. .

상기 이동물체 판단단계는 프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단할 수 있다.In the determining of the moving object, it is possible to determine whether the moving object is in the surveillance area through a frame comparison algorithm.

상기 인물 얼굴인식단계(S120)는 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출할 수 있다.In the face recognition step (S120), data for detecting a person may be calculated based on the skin color of a person in the surveillance area, or data for detecting a person based on the face size and aspect ratio of the person in the surveillance area.

상기 PTZ카메라 촬영단계(S300)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310) 및 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320)를 포함하는 것이 가능하다.The PTZ camera shooting step (S300) uses the detected location information for each person received from the management server 300, and performs a PTZ camera driving step (S310) and a sliding window processing method and CNN learning to perform camera driving control. It is possible to include a detailed information extraction and filtering step (S320) for extracting detailed information about each detected person through the model and filtering the detailed information.

고정카메라 및 PTZ카메라를 동시에 연동하여 사용하며, 고정카메라는 감시영역에서의 인물을 고정된 물체와 구별하여 개별객체로써 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 디테일한 정보를 제공할 수 있다. A fixed camera and a PTZ camera are used in conjunction with each other, and the fixed camera detects a person in the surveillance area as an individual object by distinguishing it from a fixed object, and the PTZ camera captures the personal characteristics of the person and details the information to distinguish them. Can provide.

이와 같은 구체적인 구성특성으로 인해, 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능하며, 넓은 감시영역에서 다수의 인물에 대해 효율적으로 인식하고, 다수의 개별 인물에 대해 동시다발적인 정밀추적촬영이 가능한 효과가 존재한다.Due to such specific configuration characteristics, it is possible to register and manage a specific person based on color segmentation and shape information of person's skin, etc., and link tracking with a fixed camera and a PTZ camera. There is an effect capable of efficiently recognizing and simultaneously photographing multiple individual persons accurately.

도 1은 본 발명의 일 실시예 따른 고정카메라와 PTZ카메라가 설치되어 감시영역을 감시하는 감시상태를 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 고정카메라와 PTZ카메라 및 관리서버의 구성관계를 도시한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적방법을 도시한 순서도이다.1 is a schematic diagram showing a surveillance state in which a fixed camera and a PTZ camera are installed to monitor a surveillance area according to an embodiment of the present invention.
2 is a schematic diagram showing a configuration relationship between a fixed camera, a PTZ camera, and a management server according to an embodiment of the present invention.
3 is a flow chart illustrating a method for tracking a moving object linkage using a plurality of cameras according to an embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 발사체지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. It should be noted that in adding reference numerals to the components of each drawing, the same components have the same reference numerals as possible even though they are displayed on different drawings. In addition, in describing the embodiments of the present invention, when it is determined that the detailed description of the configuration or function of the related projectiles interferes with the understanding of the embodiments of the present invention, the detailed description will be omitted.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the embodiments of the present invention, terms such as first, second, A, B, (a), (b), and the like can be used. These terms are only for distinguishing the component from other components, and the nature, order, or order of the component is not limited by the term. When a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected to or connected to the other component, but another component between each component It should be understood that may be "connected", "coupled" or "connected".

도 1은 본 발명의 일 실시예 따른 고정카메라와 PTZ카메라가 설치되어 감시영역을 감시하는 감시상태를 도시한 개략도이며. 도 2는 본 발명의 일 실시예에 따른 고정카메라와 PTZ카메라 및 관리서버의 구성관계를 도시한 개략도이다.1 is a schematic diagram showing a surveillance state in which a fixed camera and a PTZ camera are installed to monitor a surveillance area according to an embodiment of the present invention. 2 is a schematic diagram showing a configuration relationship between a fixed camera, a PTZ camera, and a management server according to an embodiment of the present invention.

도 1 및 2를 참고하면, 넓은 감시영역에서 다수의 인물에 대해 개별 연계추적이 가능한 시스템을 위한 다수개의 고정카메라 및 PTZ카메라의 구성을 포함한 전체 시스템을 구성하는 개별구성에 대한 확인이 가능하다.1 and 2, it is possible to check individual configurations constituting the entire system, including the configuration of a plurality of fixed cameras and a PTZ camera for a system capable of tracking individual connections for a large number of persons in a wide surveillance area.

보다 구체적으로 설명하면, 넓은 감시영역(100)에 존재하는 다수의 인물에 대한 추적촬영을 실시하기 위해서는, 우선, 인물을 고정된 물체와 구별하는 것이 필요하고, 구별된 인물에 각각 개별객체로 지정하여 저장하며, 저장된 객체에 따라 별도의 PTZ카메라를 이용한 개별 트래킹레코딩 또는 트래킹촬영이 요구된다 할 것이다.In more detail, in order to perform tracking of a plurality of persons existing in the wide surveillance area 100, first, it is necessary to distinguish the person from a fixed object, and each person is designated as a separate object. It will be saved, and individual tracking recording or tracking photography using a separate PTZ camera will be required depending on the stored object.

도 1 및 도 2에서 확인가능한 본 발명의 고정카메라(200) 구성은 해당 감시영역(100)에서의 사람들을 검출하는데 사용될 수 있으며, PTZ카메라(400)는 검출된 사람 각각의 특성을 디테일하게 서치하여 이를 고정카메라의 판별정보와 대조하고, 추적하여 촬영하는 역할을 수행할 수 있다.The fixed camera 200 configuration of the present invention, which can be confirmed in FIGS. 1 and 2, can be used to detect people in the corresponding surveillance area 100, and the PTZ camera 400 searches in detail the characteristics of each detected person. By doing so, it can be compared with the discrimination information of the fixed camera, and it can perform a role of tracking and photographing.

본 시스템에서는 PTZ카메라(400) 간의 특정 오브젝트(사람 또는 물체)에 대한 일관성 있는 추적내용을 제공하는 것이 가능하며, 인물이 서로간 교차하거나 사물 등에 가릴 경우에도 안정적인 추적이 가능하다.In this system, it is possible to provide consistent tracking contents for a specific object (person or object) between the PTZ cameras 400, and stable tracking is possible even when people cross each other or obscure objects.

본 발명의 실시예에 따르면, 특정인물을 구별하기 위한 프로세스로써, 인물(피부) 색상의 세분화, 인물의 모양 전보를 사용하여 특정인물을 구별하고 관리하며 연계추적이 가능할 수 있다.According to an embodiment of the present invention, as a process for distinguishing a specific person, it may be possible to distinguish and manage a specific person by using the segmentation of the color of the person (skin) and the telegram of the person's shape.

종래 감시영역 내의 사람 또는 인물들을 추적하는 고정카메라 촬영시스템에서는 해당 고정카메라가 이동객체에 대한 얼굴인식 및 표현인식 등과 같은 명확한 분석을 위한 개별 고해상도 영상을 제공할 수 없으며, 감시영역내에 존재하는 장애물로 인한 폐색에 대해서 대처할 수 없다는 문제점이 존재하였다.In a fixed camera photographing system that tracks people or people in a conventional surveillance area, the fixed camera cannot provide individual high-resolution images for clear analysis such as face recognition and expression recognition for moving objects, and as an obstacle existing in the surveillance area There was a problem that it could not cope with the occlusion caused.

이러한 문제점을 극복하고 감시영역내에서 여러 인물들에 대한 효율적인 추적을 위해서는 고정카메라(200) 및 PTZ카메라(400)를 동시에 사용하여 추적촬영하는 기법이 요구된다.In order to overcome this problem and to efficiently track multiple people in the surveillance area, a technique for tracking and tracking using the fixed camera 200 and the PTZ camera 400 is required.

구체적으로는, 감시영역내의 인물에 대한 검출을 위해서는 감시영역 내에 존재하는 이동물체(사람 등)에 대한 얼굴형상 및 피부색상 등을 토대로 인물을 검출하는 프로세스를 거치며, 검출된 인물에 대해서는 고정카메라로부터 획득된 각각의 인물의 위치정보를 관리서버를 통해 전송받은 PTZ카메라(400)가 PTZ카메라(400) 제어구동을 통해 해당 검출 인물에 대한 추적촬영을 실시하여 고해상도의 구별 이미지를 획득하고, 물체 또는 사람간의 중첩과 폐색을 극복하여 해당 검출 인물에 대한 추적촬영을 진행하는 프로세스를 거칠 수 있다.Specifically, in order to detect a person in the surveillance area, a process of detecting the person based on the face shape and skin color of a moving object (such as a person) existing in the surveillance area is performed. The PTZ camera 400, which receives the location information of each acquired person through the management server, performs a tracking of the detected person through the control driving of the PTZ camera 400 to obtain a high-resolution distinguished image, and an object or Overcoming overlapping and occlusion between people can be followed by a process of tracking the detected person.

이를 위해 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역(100)을 촬영하는 고정카메라(200), 상기 고정카메라(200)의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버(300) 및 상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ카메라(400)를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적시스템이 제공될 수 있다.To this end, a fixed camera 200 installed at a fixed position and photographing the surveillance area 100 with a predetermined angle of view receives image information of the fixed camera 200, and the position of the person in the surveillance area based on the captured information The management server 300 that processes, stores, and transmits information receives location information of a person in the surveillance area 100 from the management server 300, and performs pan tilt and zoom control based on the person's location information. A moving object linkage tracking system using a plurality of cameras including a PTZ camera 400 that specifically extracts and filters specific information of the data and transmits it to a server may be provided.

이 경우, 상기 고정카메라(200)는 상기 감시영역(100)내에 다수개가 마련되며, 서로 상이한 방향에서 동일한 감시영역을 촬영하는 것이 가능하다.In this case, a plurality of fixed cameras 200 are provided in the surveillance area 100, and it is possible to photograph the same surveillance area from different directions.

또한, 상기 고정카메라(200)는 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 가능하다.In addition, the fixed camera 200 may calculate data for detecting a person based on the skin color of a person in the surveillance area, or calculate data for detecting a person based on the face size and aspect ratio of the person in the surveillance area.

상기 고정카메라는 다수개가 구비될 수 있으며, 각각의 고정카메라가 대응되는 PTZ카메라 또는 상기 고정카메라의 갯수보다 많은 양의 PTZ카메라와 연계되어, 상기 고정카메라의 촬영을 통해 객체로 저장된 인물에 대해 위치좌표 및 인물특성을 전송하여 디테일한 연계추적이 가능하다.A plurality of fixed cameras may be provided, and each fixed camera is linked to a corresponding PTZ camera or a larger number of PTZ cameras than the number of fixed cameras, and is positioned with respect to a person stored as an object through shooting of the fixed camera. Detailed linkage tracking is possible by transmitting coordinates and character characteristics.

전술한 구성을 통하여 종래 다수개의 PTZ카메라만을 사용하여 각각의 인물에 대한 정보 전체를 서버로 전송하며, 인물여부를 판별하는 과정을 포함함으로써 데이터 전송량 부하가 상당한 문제점을 해결하여, 신속한 데이터 송수신에 따른 신속응답이 가능하고 및 서버 저장 메모리의 용이한 확보가 가능한 특징이 존재한다.Through the above-described configuration, the entire information on each person is transmitted to the server using only a plurality of PTZ cameras, and the process of determining whether the person is included solves a significant problem in data transmission load, resulting in rapid data transmission and reception. There are features that enable quick response and easy securing of server storage memory.

구체적으로, 우선 피부색 세그먼테이션 등을 사용하여 인물들에 대한 초기 얼굴 세트를 얻을 수 있다.Specifically, first, an initial face set for characters may be obtained using skin color segmentation.

이러한 방법을 사용할 경우, 고정카메라(200)에 촬영되는 인물의 피부색이 정규화된 색 영역에 집중되며, 특정 조명 조건에서 피부색 분포가 다변량 정규 가우스 분포로서 특성화 될 수 있다.When using this method, the skin color of the person photographed on the fixed camera 200 is concentrated in the normalized color gamut, and the skin color distribution in a specific lighting condition can be characterized as a multivariate normal Gaussian distribution.

이 경우, 상기 고정카메라(200)의 이미지 픽셀은 빨강(Gr), 초록(Gg) 및 파랑(Gb)과 같이 정의된 정규화 된 색 공간으로 투영될 수 있다.In this case, the image pixels of the fixed camera 200 may be projected into a normalized color space defined as red (Gr), green (Gg), and blue (Gb).

각각의 정규화 된 색은 정규화 된 공간에 존재하는 픽셀에 투영된 성분을 나타나며, 이는 전체 빨강(Gr), 초록(Gg) 및 파랑(Gb)의 성분을 더한 수치 중 빨강(Gr), 초록(Gg) 및 파랑(Gb)의 해당 색상의 수치비로 표현하는 것이 가능하다.Each normalized color represents a component projected on a pixel existing in the normalized space, which is the red (Gr), green (Gg) of the total red (Gr), green (Gg), and blue (Gb) components added. ) And blue (Gb) can be expressed by the numerical ratio of the corresponding color.

추가적으로 오프라인으로 획득한 피부 톤 샘플을 처리하여 가우스 모델 매개변수(평균 및 분산)를 얻고, 가우스 피크에 대한 픽셀의 근접성을 기반으로 픽셀을 수락 또는 거부하는데 사용되는 룩업 테이블(LUT)을 생성하는데에 해당 가우시안 분포가 사용될 수 있다.In addition, processing skin tone samples taken offline can be used to obtain Gaussian model parameters (average and variance) and to generate a lookup table (LUT) used to accept or reject pixels based on the proximity of the pixels to the Gaussian peak. The corresponding Gaussian distribution can be used.

또한, 메디안 필터링(Median-filtering)기술을 이용함으로써 점 잡음 노이즈가 촬영된 이미지 프레임에서 제거될 수 있다.In addition, by using a median-filtering technique, point noise noise can be removed from the captured image frame.

상기 메디안 필터링은 경계의 선병성을 유지하면서 임펄스 노이즈를 제거가능한 필터기법이다.The median filtering is a filter technique capable of removing impulse noise while maintaining the virtue of the boundary.

이를 위해 마스크영역내의 이미지에 대하여 화소들을 정렬한 후, 중간값을 취해 저장하는 방식으로 필터링을 진행하게 된다.To this end, after aligning the pixels with respect to the image in the mask area, filtering is performed by taking and storing an intermediate value.

해당 노이즈가 제거된 이미지는 평활화(I(x,y))되며, 해당 이미지의 수평투영 및 수직투영을 계산하여 인물의 얼굴 크기, 형태 및 면적 등에 대한 정보를 획득한다.The image from which the noise is removed is smoothed (I (x, y)), and horizontal and vertical projections of the image are calculated to obtain information about a person's face size, shape, and area.

전술한 방법을 이용하여 획득한 인물의 얼굴 크기, 형태 및 면적 등에 대한 정보를 토대로 인물 얼굴의 크기 및 종횡비에 대한 휴리스틱스(Heuristics)를 사용하여 일지하지 않는 상당수의 얼굴 후보영역을 제거하여 고정물체와 인물간을 명확하게 구분하는 것이 가능하다.Based on information on the face size, shape, and area of a person obtained using the above-described method, a fixed object is removed by removing a large number of face candidate areas that do not work using heuristics on the size and aspect ratio of the person's face. It is possible to clearly distinguish between and characters.

상기 고정카메라(200)는 피부의 색상, 얼굴 면적 및 얼굴 종횡비 속성을 기반으로 하여 촬영프레임간에 인물의 정보등록을 수행하고, 해당 데이터를 결합하여 인물 후보영역이 실제 얼굴일 가능성이 대한 단일 수치 스코어를 생성하는 스코어링 방법을 사용할 수 있다.The fixed camera 200 performs personal information registration between shooting frames based on skin color, face area, and face aspect ratio properties, and combines the data to obtain a single numerical score for the possibility that the person candidate area is an actual face. Scoring method to generate can be used.

해당 단일 수치 스코어가 기 설정된 소정의 임계값보다 클 경우 인물의 얼굴로 인식이 되는 것이 바람직하다.When the single numerical score is larger than a predetermined threshold, it is desirable to recognize the face of a person.

또한, 상기 고정카메라(200)는 감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것이 가능하며, 검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버(300)로 전송하는 것이 바람직하다.In addition, the fixed camera 200 is capable of calculating color and pattern data of clothes being worn on a person in the surveillance area, assigning a serial number to the detected person, and calculating position coordinates for the detected person It is preferable to transmit to the management server 300.

이 경우, 상기 PTZ카메라(400)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, PTZ카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN(Convolutional Neural Network) 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신할 수 있다.In this case, the PTZ camera 400 uses the detected location information for each person received from the management server 300, performs PTZ camera driving control, and learns the sliding window processing technique and CNN (Convolutional Neural Network). Through the model, detailed information on each detected person can be extracted and transmitted to the management server.

상기 슬라이딩 윈도우 처리기법은 흐름제어의 방식으로서 전송스테이션이 윈도우 안에 순서화된 PDU(Protocol Data Unit)를 전송하는 것이 가능하다. 이 경우에 윈도우는 동적으로 변화함으로써 PDU를 전송하는 처리기법을 의미할 수 있다.The sliding window processing method is a method of flow control, and it is possible for a transmission station to transmit an ordered protocol data unit (PDU) in a window. In this case, the window may mean a processing technique for transmitting PDUs by dynamically changing.

도 3은 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적방법을 도시한 순서도이다.3 is a flow chart illustrating a method for tracking a moving object linkage using a plurality of cameras according to an embodiment of the present invention.

도 3 (a) 내지 (c)을 참조하여, 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적방법을 설명하도록 한다.Referring to Figure 3 (a) to (c), it will be described a method for tracking a moving object using a plurality of cameras according to an embodiment of the present invention.

구체적으로, 도 3 (a) 내지 (c)를 토대로 고정된 위치에 설치되어 소정의 화각을 가지는 고정카메라(200)를 이용하여 감시영역(100)을 촬영하는 고정카메라 촬영단계(S100), 상기 고정카메라(200)의 촬상정보를 관리서버(300)로 송신하는 관리서버 전송단계(S200), 상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계(S300), 상기 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계(S400) 및 상기 유사성 판단단계(S400) 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계(S500)를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적방법이 제공될 수 있다.Specifically, a fixed camera photographing step (S100) of photographing a surveillance area 100 using a fixed camera 200 installed at a fixed position based on FIGS. 3 (a) to 3 (c), wherein Management server transmission step (S200) of transmitting the imaging information of the fixed camera 200 to the management server 300, receiving the position information of the person in the surveillance area 100 from the management server 300, the position of the person PTZ camera shooting step (S300), which extracts and filters specific information by shooting a person with pan tilt and zoom control based on the information, and the individual characteristics of the person according to the shooting of the fixed camera and the shooting of the PTZ camera. When the similarity is recognized as a result of the similarity determination step (S400) and the similarity determination step (S400) for determining the similarity by comparing the individual characteristics of the person, it is determined to be the same entity and tracks and stores the movement of the individual entity. A moving object linkage tracking method using a plurality of cameras including an information storage step (S500) may be provided.

이 경우, 상기 고정카메라 촬영단계(S100)는 감시영역(100) 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계(S110), 감시영역(100)내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계(S120) 및 상기 인물 얼굴인식단계(S120) 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계(S130)를 포함할 수 있다.In this case, the fixed camera photographing step (S100) is a moving object determination step (S110) for determining a moving object excluding the fixed object in the monitoring area 100, the skin color of the person in the monitoring area 100 or the monitoring area As a result of the face recognition step (S120) and the face recognition step (S120) for recognizing the face of the person based on the face size and aspect ratio for the person, when recognized as a face for the person, an object number is assigned to each person. Granting, and may include an object number assignment and coordinate calculation step (S130) for calculating the real-time location coordinates.

상기 이동물체 판단단계(S110)는 프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단하는 것이 바람직하며, 상기 인물 얼굴인식단계(S120)는,The moving object determination step (S110) is preferably to determine whether the moving object in the surveillance area through a frame comparison algorithm, the face recognition step (S120),

감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 바람작하다.It is desirable to calculate data for detecting a person based on skin color of a person in the surveillance area, or calculating data for detecting a person based on the face size and aspect ratio of the person in the surveillance area.

또한, 상기 PTZ카메라 촬영단계(S300)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310) 및 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320)를 포함하는 것이 가능하다.In addition, the PTZ camera shooting step (S300) using the detected location information for each person received from the management server 300, the PTZ camera driving step (S310) and the sliding window processing method for performing camera driving control and Through the CNN learning model, it is possible to include detailed information extraction and filtering steps (S320) for extracting detailed information about each detected person and filtering the detailed information.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical spirits within the equivalent range should be interpreted as being included in the scope of the present invention.

100 : 감시영역
200 : 고정카메라
300 : 관리서버
400 : PTZ카메라
S100 : 고정카메라 촬영단계
S110 : 이동물체 판단단계
S120 : 인물 얼굴 인식단계
S130 : 객체번호 부여 및 좌표산출단계
S200 : 관리서버 전송단계
S300 : PTZ카메라 촬영단계
S310 : PTZ카메라 구동단계
S320 : 세부정보 추출 및 필터링단계
S400 : 유사성 판단단계
S500 : 동선정보 저장단계100: monitoring area
200: fixed camera
300: management server
400: PTZ camera
S100: Fixed camera shooting stage
S110: moving object determination step
S120: face recognition step
S130: Object numbering and coordinate calculation step
S200: management server transmission step
S300: PTZ camera shooting stage
S310: PTZ camera driving stage
S320: Detailed information extraction and filtering step
S400: similarity determination step
S500: Copper wire information storage step

Claims (14)

고정된 위치에 설치되어 소정의 화각을 가지고 감시영역(100)을 촬영하는 고정카메라(200);
상기 고정카메라(200)의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버(300); 및
상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 관리서버로 송신하는 PTZ카메라(400)를 포함하고,
상기 고정카메라(200)의 촬상정보에는 인물의 개체특성이 포함되고, 상기 관리서버(300)는 상기 고정카메라(200)의 촬상정보에 포함된 개체특성과 상기 PTZ카메라(400)로부터 수신한 인물의 특정정보에 따른 개체특성을 비교하여 유사성 여부를 판단하고,
유사성이 인정되는 경우, 상기 PTZ 카메라(400)는 해당 개체의 동선을 추적하도록 제어되는 것을 특징으로 하는
다수개의 카메라를 활용한 이동물체 연계추적시스템
A fixed camera 200 installed at a fixed position and photographing the surveillance area 100 with a predetermined angle of view;
A management server (300) that receives imaging information of the fixed camera (200) and processes, stores and transmits location information of persons in the surveillance area based on the imaging information; And
The location information of the person in the surveillance area 100 is received from the management server 300, and pan-tilt and zoom control is performed based on the position information of the person to specifically extract and filter the person's specific information and transmit it to the management server. PTZ camera 400 to include,
The personal information of the person is included in the imaging information of the fixed camera 200, and the management server 300 includes the individual characteristic included in the imaging information of the fixed camera 200 and the person received from the PTZ camera 400. It compares individual characteristics according to specific information to determine similarity,
When similarity is recognized, the PTZ camera 400 is controlled to track the movement of the object.
Mobile object linkage tracking system using multiple cameras
제1항에 있어서,
상기 고정카메라(200)는,
상기 감시영역(100)내에 다수개가 마련되며, 서로 상이한 방향에서 동일한 감시영역을 촬영하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
According to claim 1,
The fixed camera 200,
Multiple objects are provided in the surveillance area 100, and the moving object linkage tracking system using multiple cameras is characterized in that the same surveillance area is photographed from different directions.
제1항에 있어서,
상기 고정카메라(200)는,
감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
According to claim 1,
The fixed camera 200,
A moving object linkage tracking system using multiple cameras, characterized in that data for person detection is calculated based on the skin color of a person in the surveillance area.
제1항에 있어서,
상기 고정카메라(200)는,
감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
According to claim 1,
The fixed camera 200,
A moving object linkage tracking system using multiple cameras, characterized in that data for person detection is calculated based on the face size and aspect ratio of the person in the surveillance area.
제3항 또는 제4항에 있어서,
상기 고정카메라(200)는,
산출된 인물검출용 데이터를 종합하여 단일 수치 스코어를 생성하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
The method of claim 3 or 4,
The fixed camera 200,
A moving object linkage tracking system using multiple cameras, characterized in that a single numerical score is generated by synthesizing the calculated person detection data.
제1항에 있어서,
상기 고정카메라(200)는,
감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
According to claim 1,
The fixed camera 200,
A moving object linkage tracking system using multiple cameras, characterized by calculating the color and pattern data of the clothes being worn on a person in the surveillance area.
제5항에 있어서,
상기 고정카메라(200)는,
검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버(300)로 전송하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
The method of claim 5,
The fixed camera 200,
A moving object linkage tracking system using multiple cameras, characterized in that a serial number is assigned to the detected person, and the position coordinates of the detected person are calculated and transmitted to the management server 300.
제1항에 있어서,
상기 PTZ카메라(400)는,
상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, PTZ카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
According to claim 1,
The PTZ camera 400,
Using the detected location information for each person received from the management server 300, PTZ camera driving control is performed, and detailed information on each detected person is extracted through a sliding window processing technique and a CNN learning model. Moving object linkage tracking system using multiple cameras, characterized in that it is transmitted to the management server
고정된 위치에 설치되어 소정의 화각을 가지는 고정카메라(200)를 이용하여 감시영역(100)을 촬영하는 고정카메라 촬영단계(S100);
상기 고정카메라(200)의 촬상정보를 관리서버(300)로 송신하는 관리서버 전송단계(S200);
상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계(S300);
상기 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계(S400); 및
상기 유사성 판단단계(S400) 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계(S500);
를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적방법
A fixed camera photographing step (S100) of photographing the surveillance area 100 using a fixed camera 200 installed at a fixed position and having a predetermined angle of view;
A management server transmission step of transmitting the imaging information of the fixed camera 200 to the management server 300 (S200);
A PTZ camera that receives location information of a person in the surveillance area 100 from the management server 300, and extracts and filters specific information by shooting a person with pan tilt and zoom control based on the location information of the person Photographing step (S300);
A similarity determination step (S400) of determining the similarity by comparing the individual characteristics of the person according to the shooting of the fixed camera and the individual characteristics of the person according to the shooting of the PTZ camera; And
As a result of the similarity determining step (S400), when similarity is recognized, the moving line information storing step (S500) of determining the same object and tracking and storing the moving line of the corresponding object;
Moving object linkage tracking method using multiple cameras including
제9항에 있어서,
상기 고정카메라 촬영단계(S100)는,
감시영역(100) 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계(S110);
감시영역(100)내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계(S120); 및
상기 인물 얼굴인식단계(S120) 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계(S130);
를 포함하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
The method of claim 9,
The fixed camera shooting step (S100),
A moving object determination step of determining a moving object excluding the fixed object in the monitoring area 100 (S110);
A face recognition step of recognizing the face of the person based on the skin color of the person in the monitoring area 100 or the face size and aspect ratio for the person in the monitoring area (S120); And
As a result of the face recognition step (S120), when it is recognized as a face for a person, an object number is assigned to each person and an object number is assigned and a coordinate calculation step (S130) for calculating a real-time location coordinate;
Moving object linkage tracking method using a plurality of cameras, characterized in that it comprises a
제10항에 있어서,
상기 이동물체 판단단계(S110)는,
프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
The method of claim 10,
The moving object determination step (S110),
A moving object linkage tracking method using multiple cameras, characterized by determining whether a moving object is in the surveillance area through a frame comparison algorithm
제10항에 있어서,
상기 인물 얼굴인식단계(S120)는,
감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
The method of claim 10,
The face recognition step (S120),
A method for tracking and tracking moving objects using multiple cameras, characterized in that data for person detection is calculated based on the skin color of the person in the surveillance area.
제10항에 있어서,
상기 인물 얼굴인식단계(S120)는,
감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
The method of claim 10,
The face recognition step (S120),
A method for tracking and tracking moving objects using multiple cameras, characterized in that data for person detection is calculated based on the face size and aspect ratio of the person in the surveillance area.
제9항에 있어서,
상기 PTZ카메라 촬영단계(S300)는,
상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310); 및
슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320);
를 포함하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법The method of claim 9,
The PTZ camera shooting step (S300),
A PTZ camera driving step of performing camera driving control using the detected location information for each person received from the management server 300 (S310); And
A detail extraction and filtering step of extracting and filtering detailed information about each detected person through a sliding window processing technique and a CNN learning model (S320);
Moving object linkage tracking method using a plurality of cameras, characterized in that it comprises a
KR1020180083540A 2018-07-18 2018-07-18 Moving Object Linkage Tracking System and Method Using Multiple Cameras KR102108391B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180083540A KR102108391B1 (en) 2018-07-18 2018-07-18 Moving Object Linkage Tracking System and Method Using Multiple Cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180083540A KR102108391B1 (en) 2018-07-18 2018-07-18 Moving Object Linkage Tracking System and Method Using Multiple Cameras

Publications (2)

Publication Number Publication Date
KR20200010690A KR20200010690A (en) 2020-01-31
KR102108391B1 true KR102108391B1 (en) 2020-05-12

Family

ID=69369279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180083540A KR102108391B1 (en) 2018-07-18 2018-07-18 Moving Object Linkage Tracking System and Method Using Multiple Cameras

Country Status (1)

Country Link
KR (1) KR102108391B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230015221A (en) 2021-07-22 2023-01-31 주식회사 영국전자 Object tracking device and method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102362695B1 (en) * 2020-07-30 2022-02-14 주식회사 영국전자 PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148915A (en) * 2003-11-12 2005-06-09 Noritsu Koki Co Ltd Proper face discrimination method and apparatus for implementing the method
JP2017076909A (en) * 2015-10-15 2017-04-20 キヤノン株式会社 Image processing device, image processing method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120139914A (en) 2011-06-20 2012-12-28 주식회사 드림정보기술 Auto tracing and recording system
KR20180060335A (en) * 2016-11-28 2018-06-07 주식회사 올로케이션 Remote face recognition method using fixed camera and multiple PTZ cameras
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148915A (en) * 2003-11-12 2005-06-09 Noritsu Koki Co Ltd Proper face discrimination method and apparatus for implementing the method
JP2017076909A (en) * 2015-10-15 2017-04-20 キヤノン株式会社 Image processing device, image processing method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230015221A (en) 2021-07-22 2023-01-31 주식회사 영국전자 Object tracking device and method thereof

Also Published As

Publication number Publication date
KR20200010690A (en) 2020-01-31

Similar Documents

Publication Publication Date Title
EP3648448B1 (en) Target feature extraction method and device, and application system
CN105894702B (en) Intrusion detection alarm system based on multi-camera data fusion and detection method thereof
JP3999561B2 (en) Surveillance system and surveillance camera
JP4378785B2 (en) Image input device with image processing function
KR101248054B1 (en) Object tracking system for tracing path of object and method thereof
KR101530255B1 (en) Cctv system having auto tracking function of moving target
GB2492689A (en) Security camera tracking and monitoring system and method using thermal image coordinates
JP2003324720A5 (en)
KR101307234B1 (en) Parking management system based on object recognition
JP2005348157A (en) Camera system, camera and method for controlling camera
KR100326203B1 (en) Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion
KR20090062881A (en) A moving robot and a moving object detecting method thereof
JP5114924B2 (en) Warning method by security robot system and security robot system
CN102196240B (en) Pick-up device and method for dynamically sensing monitored object by utilizing same
JP4667508B2 (en) Mobile object information detection apparatus, mobile object information detection method, and mobile object information detection program
CN106060470A (en) Video monitoring method and system
KR102108391B1 (en) Moving Object Linkage Tracking System and Method Using Multiple Cameras
KR101002712B1 (en) Intelligent security system
KR20200010691A (en) Character recognition and traffic control system using heterogeneous camera
JP4574509B2 (en) System camera, surveillance system, and surveillance method
JP2002245560A (en) Monitoring system
KR20190072323A (en) Image Monitoring System and Method for Monitoring Image
JP5539565B2 (en) Imaging apparatus and subject tracking method
KR102474697B1 (en) Image Pickup Apparatus and Method for Processing Images
CN102238370A (en) Shooting device and method for acquiring sharp images by utilizing same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right