KR20210100983A - Object tracking system and method for tracking the target existing in the region of interest - Google Patents

Object tracking system and method for tracking the target existing in the region of interest Download PDF

Info

Publication number
KR20210100983A
KR20210100983A KR1020200015035A KR20200015035A KR20210100983A KR 20210100983 A KR20210100983 A KR 20210100983A KR 1020200015035 A KR1020200015035 A KR 1020200015035A KR 20200015035 A KR20200015035 A KR 20200015035A KR 20210100983 A KR20210100983 A KR 20210100983A
Authority
KR
South Korea
Prior art keywords
tracking
tracking target
region
information
interest
Prior art date
Application number
KR1020200015035A
Other languages
Korean (ko)
Inventor
홍두영
Original Assignee
(주)와이즈콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)와이즈콘 filed Critical (주)와이즈콘
Priority to KR1020200015035A priority Critical patent/KR20210100983A/en
Publication of KR20210100983A publication Critical patent/KR20210100983A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Provided is an object tracking system that includes a radar sensor that transmits a signal to detect a tracking target in the region of interest, sets an event zone, and calculates an effective distance of the region of interest when a measurement angle is provided in a range between an initial angle and a final angle set according to the region of interest; a camera part that tracks the movement of the tracking target, and is fixed to a central angle when the tracking target is present in a central region; an information processing part that generates coordinate information according to the location of a tracking target and calculates tracking information obtained by combining the coordinate information and motion information; and a communication part that shares the tracking information.

Description

관심영역에 존재하는 추적대상을 추적하는 객체 추적 시스템 및 방법 {OBJECT TRACKING SYSTEM AND METHOD FOR TRACKING THE TARGET EXISTING IN THE REGION OF INTEREST}OBJECT TRACKING SYSTEM AND METHOD FOR TRACKING THE TARGET EXISTING IN THE REGION OF INTEREST}

본 발명은 관심영역에 존재하는 추적대상을 추적하는 객체 추적 시스템 및 방법에 관한 것으로, 보다 상세하게는, 비가시공간 투시 레이더와 카메라를 이용하여 관심영역에 위치하거나, 또는 관심영역에 접근하는 추적대상을 추적하는 객체 추적 시스템 및 방법에 관한 것이다.The present invention relates to an object tracking system and method for tracking a tracking target existing in a region of interest, and more particularly, to a tracking target located in the region of interest or approaching the region of interest using a non-visual-space see-through radar and a camera. It relates to an object tracking system and method for tracking

최근의 감지시스템은 감지 범위가 넓고, 자연환경 등 여러 가지 제약을 개선하기 위해 CCTV 카메라를 이용한 영상분석 감시시스템이 발전하고 있다.Recent detection systems have a wide detection range, and video analysis and monitoring systems using CCTV cameras are developing in order to improve various constraints such as natural environments.

이에 따라, CCTV는 영상 외에 다른 센서들을 결합시켜 감시시스템을 구현하고 있다. 옥내에서는 인체감지기, 적외선 감지기, 진동감지기 등 다양한 감지기를 적용하여 감지기의 감지 신호 유무를 카메라 영상과 결합하여 감시기능의 정확성을 강화하고 있다.Accordingly, CCTV implements a monitoring system by combining sensors other than images. Indoors, various sensors such as human body detector, infrared detector, and vibration detector are applied, and the presence or absence of the detection signal of the detector is combined with the camera image to enhance the accuracy of the monitoring function.

이러한 영상분석 감시시스템은 카메라에서 획득한 영상의 품질에 따라서 분석결과가 달라진다. 특히, 낮과 밤의 변화에 의한 태양광선의 변화 및 옥외에 산재한 안개, 눈, 비, 바람에 의한 배경 흔들림 등 다양한 악조건이 CCTV에서 획득한 영상의 품질을 저하시킬 수 있다. 이러한 조건으로 인하여, 영상분석 감시시스템은 많은 제약을 지니고 있다.In such an image analysis and surveillance system, the analysis result varies depending on the quality of the image acquired from the camera. In particular, various adverse conditions such as changes in sunlight caused by day and night changes and background shaking caused by fog, snow, rain, and wind scattered outdoors can degrade the quality of images acquired from CCTV. Due to these conditions, the video analysis monitoring system has many limitations.

또한, 종래의 CCTV 카메라 영상분석은 2차원 자료를 기준으로 현재의 영상과 직전의 영상의 차이를 분석하는 방식이므로, 지면으로 움직이는 사람, 이동물체 등의 객체에 대해서는 객체탐지와 객체의 대략적인 크기도 분석될 수 있지만, 지면으로 움직이지 않는 벌레, 새 등의 객체에 대해서는 잘못된 분석결과가 발생하는 문제점이 있다.In addition, since the conventional CCTV camera image analysis is a method of analyzing the difference between the current image and the previous image based on two-dimensional data, object detection and the approximate size of the object for objects such as people and moving objects moving on the ground can also be analyzed, but there is a problem in that an erroneous analysis result occurs for objects such as insects and birds that do not move to the ground.

본 발명이 해결하고자 하는 기술적 과제는 비가시공간 투시 레이더와 카메라를 이용하여 관심영역에 위치하거나, 또는 관심영역에 접근하는 추적대상을 추적하는 객체 추적 시스템 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The technical problem to be solved by the present invention is to provide an object tracking system and method for tracking a tracking target located in or approaching a region of interest using a non-visual-space see-through radar and a camera.

본 발명의 일측면은, 추적대상을 감지하도록 설정되는 관심영역에 신호를 송출하여, 상기 신호를 기초로 상기 관심영역 내부의 추적대상을 감지하여 이벤트 존을 설정하며, 상기 관심영역의 형태에 따라 설정되는 초기각과 최종각 사이 범위에 측정각이 마련되는 경우, 상기 관심영역의 유효거리를 산출하는 레이더 센서; 상기 이벤트 존에 위치하는 추적대상의 움직임을 추적하되, 상기 추적대상이 상기 초기각과 최종각에 따라 설정되는 중심영역 내에 존재하는 경우, 회전 가능한 각도의 중심 각도에 고정되는 카메라부; 상기 추적대상의 위치를 좌표화하여 좌표 정보를 생성하고, 상기 추적대상의 좌표 정보와 상기 카메라부를 통해 수집되는 상기 추적대상의 움직임 정보를 종합한 트래킹 정보를 산출하는 정보 처리부; 및 외부 장치와 유무선 통신을 중계하여 상기 정보 처리부에서 산출되는 트래킹 정보를 공유하는 통신부를 포함할 수 있다.One aspect of the present invention is to transmit a signal to an ROI set to detect a tracking target, detect a tracking target inside the ROI based on the signal to set an event zone, and according to the shape of the ROI a radar sensor for calculating an effective distance of the region of interest when a measurement angle is provided in a range between the set initial angle and the final angle; a camera unit that tracks the movement of a tracking target located in the event zone, and is fixed to a central angle of a rotatable angle when the tracking target exists in a central region set according to the initial and final angles; an information processing unit for generating coordinate information by coordinating the location of the tracking target, and calculating tracking information that combines the coordinate information of the tracking target and the motion information of the tracking target collected through the camera unit; and a communication unit that relays wired/wireless communication with an external device and shares the tracking information calculated by the information processing unit.

또한, 상기 카메라부는, 상기 중심각도에 고정된 상태에서 상기 레이더 센서에 의해 설정되는 중심영역을 촬영 가능한 화각으로 마련될 수 있다.In addition, the camera unit may be provided with an angle of view capable of photographing a central area set by the radar sensor in a state fixed to the central angle.

또한, 상기 카메라부는, 상기 추적대상이 중심영역으로부터 벗어나는 경우, 상기 추적대상의 움직임을 추적하도록 회전할 수 있다.Also, the camera unit may rotate to track the movement of the tracking target when the tracking target deviates from the central region.

또한, 상기 카메라부는, 상기 중심 각도에 고정된 상태에서, 상기 추적대상의 움직임을 추적하도록 회전하는 상태로 전환되는 경우, 상기 추적대상이 촬영되는 영역의 중심부에 위치하도록 회전할 수 있다.In addition, when the camera unit is switched from being fixed at the central angle to a rotating state to track the movement of the tracking target, the camera unit may be rotated so as to be located in the center of the area in which the tracking target is photographed.

또한, 상기 중심영역은, 상기 레이더 센서를 이용하여 측정 가능한 전방 거리와 상기 레이더 센서를 이용하여 측정 가능한 좌측방 거리 및 우측방 거리의 비율에 대한 아크탄젠트를 계산하고, 상기 좌측방 거리에 대한 아크탄젠트 결과와 상기 우측방 거리에 대한 아크탄젠트 결과의 사이 범위를 나타낼 수 있다.In addition, the central region calculates an arc tangent of a ratio of a front distance measurable using the radar sensor and a left distance and a right distance measurable using the radar sensor, and the arc for the left distance A range between the tangent result and the arctangent result for the right-hand distance may be indicated.

또한, 상기 레이더 센서는, 복수개의 이벤트 존이 생성되는 경우, 상기 관심영역 내부에 마련되는 중요 위치를 나타내는 크리티컬 존과 상기 복수개의 이벤트 존의 거리 차이를 각각 계산하고, 상기 크리티컬 존에 가장 가까운 이벤트 존에 대한 정보를 상기 카메라부에 전달할 수 있다.In addition, when a plurality of event zones are generated, the radar sensor calculates a distance difference between a critical zone indicating an important location provided in the region of interest and the plurality of event zones, respectively, and an event closest to the critical zone Information about the zone may be transmitted to the camera unit.

본 발명의 다른 일측면은, 관심영역에 존재하는 추적대상을 추적하는 객체 추적 시스템을 이용한 객체 추적 방법에 있어서, 상기 시스템이 설치된 영역 주변에서 추적대상을 감지할 수 있도록 관심영역을 설정하며, 상기 관심영역의 형태에 따라 설정되는 초기각과 최종각 사이 범위에 측정각이 마련되는 경우, 상기 관심영역의 유효거리를 산출하는 관심영역 설정 단계; 상기 시스템에서 상기 관심영역 내부의 추적대상을 감지하여 이벤트 존을 설정하되, 상기 유효거리와 상기 추적대상의 측정거리를 비교하여, 상기 측정거리가 상기 유효거리 보다 짧은 경우, 상기 이벤트 존을 설정하며, 상기 추적대상의 좌표 정보를 생성하는 추적대상 좌표 정보 산출 단계; 상기 이벤트 존에 위치하는 추적대상의 움직임을 추적하여 움직임 정보를 수집하되, 상기 추적대상이 상기 초기각과 최종각에 따라 설정되는 중심영역 내에 존재하는 경우, 상기 움직임 정보를 생성하는 카메라가 회전 가능한 각도의 중심각도에 고정되는 추적대상 움직임 정보 수집 단계; 상기 추적대상의 좌표 정보와 상기 움직임 정보를 종합하여 트래킹 정보를 산출하는 추적대상 트래킹 정보 산출 단계; 및 상기 트래킹 정보를 외부 장치로 송신하는 트래킹 정보 송신 단계를 포함할 수 있다.Another aspect of the present invention provides an object tracking method using an object tracking system for tracking a tracking target existing in a region of interest, setting a region of interest to detect a tracking target around an area in which the system is installed, a region of interest setting step of calculating an effective distance of the region of interest when the measurement angle is provided in a range between the initial angle and the final angle set according to the shape of the region of interest; The system detects a tracking target inside the region of interest to set an event zone, compares the effective distance with a measurement distance of the tracking target, and sets the event zone when the measurement distance is shorter than the effective distance, , a tracking target coordinate information calculation step of generating coordinate information of the tracking target; The motion information is collected by tracking the motion of the tracking target located in the event zone, and when the tracking target exists in the central region set according to the initial and final angles, the camera generating the motion information is rotatable. a step of collecting tracking target motion information fixed to a central angle of ; tracking information calculating step of calculating tracking information by synthesizing the coordinate information of the tracking target and the motion information; and transmitting the tracking information to an external device.

또한, 상기 카메라는, 상기 중심각도에 고정된 상태에서 상기 레이더 센서에 의해 설정되는 중심영역을 촬영 가능한 화각으로 마련될 수 있다.In addition, the camera may be provided with an angle of view capable of photographing a central area set by the radar sensor while being fixed to the central angle.

또한, 상기 추적대상 움직임 정보 수집 단계는, 상기 추적대상이 중심영역으로부터 벗어나는 경우, 상기 추적대상의 움직임 추적하도록 상기 카메라가 회전할 수 있다.In addition, in the step of collecting motion information of the tracking target, when the tracking target deviates from the central region, the camera may be rotated to track the motion of the tracking target.

또한, 상기 추적대상 움직임 정보 수집 단계는, 상기 카메라가 상기 중심 각도에 고정된 상태에서, 상기 추적대상의 움직임을 추적하도록 회전하는 상태로 전환되는 경우, 상기 추적대상이 촬영되는 영역의 중심부에 위치하도록 회전할 수 있다.In addition, in the step of collecting the tracking target motion information, when the camera is switched to a rotating state to track the motion of the tracking target while the camera is fixed at the central angle, it is located in the center of the area where the tracking target is photographed can be rotated to

또한, 상기 중심영역은, 상기 관심영역에서 나타나는 측정 가능한 전방 거리와 상기 관심영역에서 나타나는 측정 가능한 좌측방 거리 및 우측방 거리의 비율에 대한 아크탄젠트를 계산하고, 상기 좌측방 거리에 대한 아크탄젠트 결과와 상기 우측방 거리에 대한 아크탄젠트 결과의 사이 범위를 나타낼 수 있다.In addition, the central region calculates an arc tangent of a ratio of a measurable forward distance appearing in the region of interest and a measurable left and right distance appearing in the region of interest, and the arc tangent result for the left distance and a range between the arctangent result for the right-hand distance.

또한, 상기 추적대상 좌표 정보 산출 단계는, 복수개의 이벤트 존이 생성되는 경우, 상기 관심영역 내부에 마련되는 중요 위치를 나타내는 크리티컬 존과 상기 복수개의 이벤트 존의 거리 차이를 각각 계산하고, 상기 크리티컬 존에 가장 가까운 이벤트 존에 위치하는 추적대상의 좌표 정보를 생성할 수 있다.In addition, in the step of calculating the tracking target coordinate information, when a plurality of event zones are generated, a distance difference between a critical zone indicating an important position provided inside the region of interest and the plurality of event zones is respectively calculated, and the critical zone It is possible to create coordinate information of the tracking target located in the event zone closest to .

상술한 본 발명의 일측면에 따르면, 관심영역에 존재하는 추적대상을 추적하는 객체 추적 시스템 및 방법을 제공함으로써, 비가시공간 투시 레이더와 카메라를 이용하여 관심영역에 위치하거나, 또는 관심영역에 접근하는 추적대상을 추적할 수 있다.According to one aspect of the present invention described above, by providing an object tracking system and method for tracking a tracking target existing in a region of interest, it is possible to locate in the region of interest or access the region of interest using a non-visual-space see-through radar and a camera. Tracking objects can be tracked.

도 1은 본 발명의 일 실시 예에 따른 객체 추적 시스템의 개략도이다.
도 2는 도 1의 객체 추적 시스템의 상세 구성요소를 나타낸 개략도이다.
도 3은 도 1의 객체 추적 시스템을 이용하여 이벤트 존이 설정된 화면을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 객체 추적 방법의 흐름도이다.
도 5는 본 발명에 따른 관심영역 설정 단계의 흐름도의 일 예이다.
도 6은 본 발명에 따른 추적대상 좌표 정보 산출 단계의 흐름도의 일 예이다.
도 7은 레이더 센서를 통해 설정되는 각 변수를 보충설명하기 위한 도면이다.
도 8은 본 발명에 따른 레이더 센서의 하드웨어 구성도의 일 예를 나타낸다.
도 9는 본 발명에 따른 안테나의 하드웨어 구성도의 일 예를 나타낸다.1 is a schematic diagram of an object tracking system according to an embodiment of the present invention.
FIG. 2 is a schematic diagram illustrating detailed components of the object tracking system of FIG. 1 .
3 shows a screen in which an event zone is set using the object tracking system of FIG. 1 .
4 is a flowchart of an object tracking method according to an embodiment of the present invention.
5 is an example of a flowchart of an ROI setting step according to the present invention.
6 is an example of a flowchart of the step of calculating the tracking target coordinate information according to the present invention.
7 is a diagram for supplementary explanation of each variable set through a radar sensor.
8 shows an example of a hardware configuration diagram of a radar sensor according to the present invention.
9 shows an example of a hardware configuration diagram of an antenna according to the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0023] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be embodied in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

본 발명에 따른 객체 추적 시스템은 은닉하여 접근하는 추적대상의 위치를 감지하고, 이미지 또는 영상 형태의 데이터 기반으로 가시성이 없는 안개 낀 환경, 야간 환경 등에서 이동중인 추적대상의 이동경로를 모션 감지를 통해 추적할 수 있어, 중요시설의 외곽경계나 공간 감시에 활용될 수 있다.The object tracking system according to the present invention detects the location of the tracking target that is approaching hiddenly, and detects the movement path of the tracking target moving in a foggy environment without visibility based on data in the form of an image or video, in a night environment, etc. through motion detection Since it can be tracked, it can be used for monitoring the outer boundary or space of important facilities.

도 1은 본 발명의 일 실시 예에 따른 객체 추적 시스템의 개략도이고, 도 2는 도 1의 객체 추적 시스템의 상세 구성요소를 나타낸 개략도이다.1 is a schematic diagram of an object tracking system according to an embodiment of the present invention, and FIG. 2 is a schematic diagram illustrating detailed components of the object tracking system of FIG. 1 .

도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 시스템(1, 이하 시스템)은 레이더 센서(11), 카메라부(13), 정보 처리부(15) 및 통신부(17)를 포함하고, 출력 장치(19)를 더 포함할 수 있다.1 and 2 , the object tracking system 1 (hereinafter referred to as the system) according to an embodiment of the present invention includes a radar sensor 11 , a camera unit 13 , an information processing unit 15 , and a communication unit 17 . and may further include an output device 19 .

레이더 센서(11)는 중심각이 180도로 형성된 복수의 관심영역을 설정할 수 있다. 레이더 센서(11)는 추적대상을 감지하도록 설정되는 관심영역의 전방위에 신호를 송출할 수 있다. 레이더 센서(11)는 송출된 신호를 기초로 관심영역 내부의 추적대상(9)을 감지할 수 있다. 레이더 센서(11)는 추적대상이 감지된 위치를 이벤트 존으로 설정할 수 있다. 이때, 레이더 센서(11)는 관심영역의 형태에 따라 설정되는 초기각과 최종각 사이 범위에 측정각이 마련되는 경우에, 관심영역의 유효거리를 산출할 수 있다.The radar sensor 11 may set a plurality of ROIs having a central angle of 180 degrees. The radar sensor 11 may transmit a signal to all directions of the region of interest set to detect the tracking target. The radar sensor 11 may detect the tracking target 9 inside the ROI based on the transmitted signal. The radar sensor 11 may set a location where the tracking target is detected as an event zone. In this case, the radar sensor 11 may calculate the effective distance of the ROI when the measurement angle is provided in a range between the initial angle and the final angle set according to the shape of the ROI.

레이더 센서(11)는 제1 안테나(111), 제2 안테나(113), 커버(115) 및 회전 모듈(117)을 포함할 수 있다. 상세하게, 제1 안테나(111)는 관심영역으로 감지 신호를 송신할 수 있다. 제1 안테나(111)는 감지 신호를 송출하는 안테나로, 180도의 중심각을 갖는 부채꼴 형상의 범위로 감지 신호를 송출할 수 있다. 제1 안테나(111)는 감지 신호의 송출시간을 정보 처리부(15)로 전달할 수 있다. 제1 안테나(111)에서 송출되는 감지신호는 초음파, 전자기파 등의 형태로 송출될 수 있으나, 이에 제한되지 않으며 파장을 가진 다양한 신호형태로 송출될 수 있다.The radar sensor 11 may include a first antenna 111 , a second antenna 113 , a cover 115 , and a rotation module 117 . In detail, the first antenna 111 may transmit a detection signal to the ROI. The first antenna 111 is an antenna that transmits a detection signal, and may transmit the detection signal in a sector-shaped range having a central angle of 180 degrees. The first antenna 111 may transmit the transmission time of the detection signal to the information processing unit 15 . The sensing signal transmitted from the first antenna 111 may be transmitted in the form of ultrasonic waves or electromagnetic waves, but is not limited thereto and may be transmitted in various signal types having wavelengths.

제2 안테나(113)는 관심영역에 위치한 추적대상(9)에 의해 반사된 반사 신호를 수신할 수 있다. 제2 안테나(113)는 제1 안테나(111)에서 송출된 감지 신호가 추적대상(9)에 의해 반사되어 돌아오는 반사 신호를 수신할 수 있다. 제2 안테나(113)는 반사 신호의 수신 시간을 정보 처리부(15)로 전달할 수 있다. 이후, 정보 처리부(15)는 제1 안테나(111)에서 송출된 감지 신호의 송출시간과 제2 안테나(113)에서 반사 신호를 수신한 시간을 기초로 추적대상(9)의 좌표 정보를 산출할 수 있다.The second antenna 113 may receive a reflected signal reflected by the tracking target 9 located in the ROI. The second antenna 113 may receive a reflected signal in which the detection signal transmitted from the first antenna 111 is reflected by the tracking target 9 and returned. The second antenna 113 may transmit the reception time of the reflected signal to the information processing unit 15 . Thereafter, the information processing unit 15 calculates coordinate information of the tracking target 9 based on the transmission time of the detection signal transmitted from the first antenna 111 and the reception time of the reflected signal from the second antenna 113 . can

커버(115)는 제1 안테나(111) 및 제2 안테나(113)를 보호할 수 있다. 감지 신호를 송출하는 제1 안테나(111)와 반사 신호를 수신하는 제2 안테나(113)를 외부의 습기, 열기 등과 같은 방해요소로부터 방수, 방진, 방열 등의 기능을 수행하기 위해 커버(115)가 구비될 수 있다. 특히, 커버(115)는 제1 및 제2 안테나(113)의 송수신 성능에 영향을 끼치지 않도록 감지 신호와 반사 신호의 차폐 또는 투과효율의 감소를 유발하지 않는 소재로 제조될 수 있다.The cover 115 may protect the first antenna 111 and the second antenna 113 . The first antenna 111 for transmitting the detection signal and the second antenna 113 for receiving the reflected signal are covered with a cover 115 to perform functions such as waterproofing, dustproofing, and heat dissipation from external factors such as moisture and heat. may be provided. In particular, the cover 115 may be made of a material that does not affect the transmission/reception performance of the first and second antennas 113 and does not shield the sensing signal and the reflected signal or reduce transmission efficiency.

일 예로, 레이더 센서(11)에 하나의 제1 안테나(111)가 포함된 경우, 레이더 센서(11)는 회전 모듈(117)을 포함할 수 있다. 회전 모듈(117)은 레이더 센서(11)의 제1 안테나(111)를 회전시킬 수 있다. 회전 모듈(117)의 구동을 통해 제1 안테나(111)는 전방위에 감지 신호를 송출할 수 있다. 이를 통해, 레이더 센서(11)의 관심영역이 변경될 수 있으며, 관심영역의 변경을 통해 감시영역 내부에 위치한 추적대상의 정확한 위치를 실시간으로 체크할 수 있다.For example, when one first antenna 111 is included in the radar sensor 11 , the radar sensor 11 may include a rotation module 117 . The rotation module 117 may rotate the first antenna 111 of the radar sensor 11 . Through the driving of the rotation module 117, the first antenna 111 may transmit a detection signal in all directions. Through this, the region of interest of the radar sensor 11 can be changed, and the exact position of the tracking target located inside the monitoring region can be checked in real time through the change of the region of interest.

다른 예로, 레이더 센서(11)에 복수의 제1 안테나가 포함될 수 있으며, 복수로 구비된 제1 안테나는 상호 관심영역을 보완하여 레이더 센서(11)가 설치된 위치를 기준으로 전방위를 감지할 수 있다. As another example, a plurality of first antennas may be included in the radar sensor 11 , and the plurality of first antennas may detect omnidirectional detection based on a location where the radar sensor 11 is installed by complementing a mutual interest area. .

한편, 레이더 센서는 기설정된 위치에 복수개 구비될 수 있다. 복수개 설치된 레이더 센서는 제1 안테나와 제2 안테나가 상호 호환될 수 있다. 상세하게, 하나의 레이더 센서에 포함된 제1 안테나에서 송출된 감지 신호가 추적대상에 반사되어 다른 레이더 센서에 포함된 제2 안테나로 수신될 수 있다. 이처럼 복수의 제2 안테나에서 수신된 반사 신호를 기초로, 정보 처리부에서는 추적대상의 좌표 정보를 더욱 정확하게 산출할 수 있다.Meanwhile, a plurality of radar sensors may be provided at preset positions. In the plurality of installed radar sensors, the first antenna and the second antenna may be compatible with each other. In detail, a detection signal transmitted from a first antenna included in one radar sensor may be reflected by a tracking target and received by a second antenna included in another radar sensor. As such, based on the reflected signals received from the plurality of second antennas, the information processing unit may more accurately calculate coordinate information of the tracking target.

또한, 시스템이 설치된 지역이 광범위하여 단일한 레이더 센서로 전 지역의 감시가 제한되는 경우, 시스템은 복수의 레이더 센서를 구비하여 각각의 레이더 센서는 할당된 지역을 관심영역으로 설정할 수 있다. 이 경우, 시스템이 설치된 전 지역을 감시하기 위해 상호 관심영역이 중첩되거나 맞닿은 형태를 유지하도록 레이더 센서가 설치될 수 있다. In addition, when the area in which the system is installed is wide and the monitoring of the entire area is limited by a single radar sensor, the system may include a plurality of radar sensors, and each radar sensor may set an assigned area as a region of interest. In this case, the radar sensor may be installed so that the mutual interest regions overlap or abut in order to monitor the entire area in which the system is installed.

또한, 복수개 설치된 레이더 센서(11)는 상호간 감지 신호가 송출되지 않는 사각지대를 보완할 수 있다. 즉, 레이더 센서가 설치된 고도차이, 센서와 추적대상 사이에 위치한 건물과 같이 감지 신호를 차폐하는 장애물로 인해 감지 신호가 전달되지 않아 사각지대가 형성되는 경우, 다른 위치에 설치된 레이더 센서를 통해 사각지대로 감지 신호를 송출할 수 있다. 이처럼, 시스템이 설치된 지역의 넓이, 지형, 구조물의 유무에 따라 시스템이 설치된 전영역을 감시하고 사각지대를 보완하기 위해 다양한 형태로 레이더 센서가 설치될 수 있다.In addition, a plurality of installed radar sensors 11 can compensate for blind spots in which mutual detection signals are not transmitted. In other words, when a blind spot is formed because the detection signal is not transmitted due to an obstacle blocking the detection signal, such as an altitude difference in which the radar sensor is installed, or a building located between the sensor and the tracking target, the blind spot is detected through the radar sensor installed in another location. to transmit a detection signal. As such, the radar sensor may be installed in various forms to monitor the entire area in which the system is installed and to compensate for the blind spot according to the area where the system is installed, the topography, and the presence or absence of a structure.

한편, 레이더 센서(11)는 관심영역 내부에서 중요 위치를 나타내는 크리티컬 존이 설정될 수 있으며, 이에 따라, 레이더 센서(11)는 복수개의 이벤트 존이 생성되는 경우에, 크리티컬 존과 복수개의 이벤트 존의 거리 차이를 각각 계산할 수 있으며, 레이더 센서(11)는 크리티컬 존에 가장 가까운 이벤트 존에 대한 정보를 카메라부(13)에 전달할 수 있다. 이때, 크리티컬 존은 관심영역 내부의 임의의 영역이 지정될 수 있다.Meanwhile, the radar sensor 11 may set a critical zone indicating an important position within the region of interest. Accordingly, the radar sensor 11 generates a critical zone and a plurality of event zones when a plurality of event zones are generated. may calculate the distance difference between , and the radar sensor 11 may transmit information on the event zone closest to the critical zone to the camera unit 13 . In this case, as the critical zone, an arbitrary region within the region of interest may be designated.

카메라부(13)는 레이더 센서(11)에서 설정된 이벤트 존과 관련된 정보를 수신할 수 있다. 카메라부(13)는 이벤트 존에 위치한 추적대상(9)의 움직임을 추적할 수 있다. 카메라부(13)는 추적대상(9)이 초기각과 최종각에 따라 설정되는 중심영역 내에 존재하는 경우에, 회전 가능한 각도의 중심 각도에 고정될 수 있다. 카메라부(13)는 레이더 센서(11)에서 설정한 이벤트 존의 정보를 수신할 수 있으며, 이벤트 존 내부의 추적대상(9)을 추적할 수 있다.The camera unit 13 may receive information related to an event zone set by the radar sensor 11 . The camera unit 13 may track the movement of the tracking target 9 located in the event zone. The camera unit 13 may be fixed to the central angle of the rotatable angle when the tracking target 9 is present in the central region set according to the initial angle and the final angle. The camera unit 13 may receive information on the event zone set by the radar sensor 11 , and may track the tracking target 9 in the event zone.

카메라부(13)는 음성 추적기(131), 영상 추적기(133) 및 3축 회전 구동기(135)를 포함할 수 있다. 음성 추적기(131)는 이벤트 존 내부에 위치한 추적대상(9)에서 발생된 음성 정보를 수집할 수 있다. 음성 추적기(131)는 추적대상(9)에서 발생되는 소음, 음성 등의 음성 정보를 마이크를 통해 수집할 수 있다. The camera unit 13 may include a voice tracker 131 , an image tracker 133 , and a 3-axis rotation driver 135 . The voice tracker 131 may collect voice information generated from the tracking target 9 located inside the event zone. The voice tracker 131 may collect voice information such as noise and voice generated by the tracking target 9 through a microphone.

영상 추적기(133)는 이벤트 존 내부에 위치한 추적대상(9)의 움직임을 감지하여 영상 정보를 수집할 수 있다. 영상 추적기(133)는 카메라를 포함하며, 추적대상(9)을 상세히 추적하기 위해 카메라 렌즈를 줌인 하거나 줌아웃 할 수 있다. 이처럼, 시스템(1)은 카메라부(13)에 포함된 카메라 렌즈의 줌인/줌아웃 기능을 활용하여 추적대상을 지속적으로 추적하고, 상세한 움직임 정보를 수집할 수 있다. 이같이 음성 추적기(131)와 영상 추적기(133)를 통해 수집된 정보는 정보 처리부(15)로 전달할 수 있다.The image tracker 133 may collect image information by detecting the movement of the tracking target 9 located inside the event zone. The image tracker 133 includes a camera, and may zoom in or zoom out a camera lens to track the tracking target 9 in detail. As such, the system 1 can continuously track the tracking target by utilizing the zoom-in/zoom-out function of the camera lens included in the camera unit 13 and collect detailed motion information. The information collected through the voice tracker 131 and the image tracker 133 as described above may be transmitted to the information processing unit 15 .

3축 회전 구동기(135)는 이벤트 존 내부에 위치한 추적대상(9)을 추적하기 위해 영상 추적기(133)를 회전시킬 수 있다. 3축 회전 구동기(135)는 이동중인 추적대상(9)을 지속적으로 추적하기 위하여 영상 추적기(133)를 회전시킬 수 있다. 3축 회전 구동기(135)는 좌우, 상하, 전후 방향을 기준으로 카메라를 회전시킬 수 있으며, 이를 통해 영상 추적기(133)는 설치된 지점을 중심으로 전방위를 감시할 수 있다.The 3-axis rotation driver 135 may rotate the image tracker 133 to track the tracking target 9 located inside the event zone. The three-axis rotation actuator 135 may rotate the image tracker 133 to continuously track the moving tracking target 9 . The three-axis rotation actuator 135 may rotate the camera based on left, right, up and down, and forward and backward directions, and through this, the image tracker 133 may monitor all directions around the installed point.

한편, 카메라부(13)는 기설정된 위치에 복수개 구비될 수 있다. 복수개 설치된 카메라부는 음성 추적기와 영상 추적기를 통해 수집된 정보가 종합되어 정보 처리부로 전달될 수 있다. 상세하게, 하나의 카메라부의 음성 추적기에서 수집된 음성 정보와 다른 카메라부의 영상 추적기에서 수집된 영상 정보와 종합되어 정보 처리부로 전달될 수 있다. Meanwhile, a plurality of camera units 13 may be provided at preset positions. A plurality of installed camera units may be aggregated information collected through the voice tracker and the image tracker and transmitted to the information processing unit. In detail, the audio information collected by the voice tracker of one camera unit and the image information collected by the image tracker of the other camera unit may be synthesized and transmitted to the information processing unit.

또한, 카메라부(13)는 이벤트 존에 위치한 추적대상의 움직임을 다각도에서 추적할 수 있다. 이처럼, 복수의 영상 추적기에서 촬영된 추적대상의 이미지를 종합하여 추적대상의 형태를 상세히 파악할 수 있다. 이처럼, 추적대상의 상세한 정보를 획득하기 위해 복수의 카메라부는 최적화된 영역을 할당 받을 수 있으며, 각각의 카메라부가 감시하는 영역은 중첩 또는 맞닿은 상태로 형성될 수 있다.Also, the camera unit 13 may track the movement of the tracking target located in the event zone from multiple angles. In this way, it is possible to identify the shape of the tracking target in detail by synthesizing the images of the tracking target captured by the plurality of image trackers. In this way, the plurality of camera units may be allocated an optimized area in order to obtain detailed information of the tracking target, and the areas monitored by each camera unit may be formed in an overlapping or abutting state.

또한, 카메라부(13)는 추적대상(9)이 초기각과 최종각에 따라 설정되는 중심영역 내에 존재하는 경우에, 회전 가능한 각도의 중심 각도에 고정될 수 있으며, 이를 위해, 카메라부(13)는 중심각도에 고정된 상태에서, 레이더 센서(11)에 의해 설정되는 중심영역을 촬영 가능한 화각으로 마련될 수 있다.In addition, the camera unit 13 may be fixed to the central angle of the rotatable angle when the tracking target 9 is present in the central region set according to the initial angle and the final angle, for this purpose, the camera unit 13 In a state fixed to the central angle, the central region set by the radar sensor 11 may be provided as an angle of view capable of photographing.

이때, 중심영역은 레이더 센서(11)를 이용하여 측정 가능한 전방 거리와 레이더 센서를 이용하여 측정 가능한 좌측방 거리 및 우측방 거리의 비율에 대한 아크탄젠트를 계산하고, 좌측방 거리에 대한 아크탄젠트 결과와 우측방 거리에 대한 아크탄젠트 결과의 사이 범위를 나타내는 것일 수 있다.At this time, the central region calculates the arc tangent of the ratio of the front distance measurable using the radar sensor 11 and the left distance and the right distance measurable using the radar sensor, and the arc tangent result for the left distance and may represent the range between the arctangent result for the right-hand distance.

또한, 카메라부(13)는 추적대상(9)이 중심영역으로부터 벗어나는 경우에, 추적대상(9)의 움직임을 추적하도록 좌측 또는 우측으로 회전할 수 있으며, 이때, 카메라부(13)는 중심각도에 고정된 상태에서, 추적대상(9)의 움직임을 추적하도록 회전하는 상태로 전환되는 경우에, 추적대상(9)이 촬영되는 영역의 중심부에 위치하도록 좌측 또는 우측으로 회전할 수 있다. 여기에서, 촬영 영역의 중심부는 카메라부(13)에 의해 촬영되는 영상의 중심점으로부터 상하좌우로 기설정된 픽셀 범위를 나타내는 영역으로 설정될 수 있으며, 촬영 영역의 중심부는 카메라부(13)에 의해 촬영되는 영상의 중심점을 지나는 세로축으로부터 좌우로 기설정된 픽셀 범위를 나타내는 영역으로 설정될 수 있다.In addition, the camera unit 13 may rotate left or right to track the movement of the tracking target 9 when the tracking target 9 deviates from the central region, and at this time, the camera 13 is positioned at a central angle. In the case of switching from the fixed state to the rotating state to track the movement of the tracking target 9, the tracking target 9 may be rotated to the left or right so as to be located in the center of the area to be photographed. Here, the central portion of the photographing area may be set as an area indicating a preset pixel range up, down, left and right from the center point of the image photographed by the camera unit 13 , and the center of the photographing area is photographed by the camera unit 13 . It may be set as an area indicating a preset pixel range left and right from a vertical axis passing through a center point of an image to be used.

한편, 광범위한 지역을 감시하기 위해 복수의 레이더 센서(11)와 카메라부(13)의 설치가 요구되는 시스템(1)에서는 레이더 센서(11), 카메라부(13) 및 정보 처리부(15)가 결합된 일체형 시스템이 제공될 수 있으나, 레이더 센서(11)와 카메라부(13)의 성능에 따른 감시범위에 따라 각 센서가 독립적으로 설치될 수 있다. On the other hand, in the system 1 requiring the installation of a plurality of radar sensors 11 and the camera unit 13 to monitor a wide area, the radar sensor 11, the camera unit 13, and the information processing unit 15 are combined. An integrated system may be provided, but each sensor may be installed independently according to a monitoring range according to the performance of the radar sensor 11 and the camera unit 13 .

이처럼, 각 센서의 성능, 설치된 지역의 넓이, 지형, 구조물의 유무에 따라 제한되는 감시영역의 유무에 따라 시스템이 설치된 전영역을 감시하고 사각지대를 보완하기 위해 다양한 형태로 카메라부가 설치될 수 있다.In this way, the camera unit can be installed in various forms to monitor the entire area where the system is installed and to compensate for blind spots depending on the presence or absence of a monitoring area that is limited depending on the performance of each sensor, the area of the installed area, topography, and the presence or absence of a structure. .

정보 처리부(15)는 감지된 추적대상(9)의 위치를 좌표화할 수 있다. 정보 처리부(15)는 좌표화된 추적대상(9)의 좌표 정보와 카메라부(13)를 통해 수집된 추적대상(9)의 움직임 정보를 종합하여 트래킹 정보를 산출할 수 있다.The information processing unit 15 may coordinate the position of the detected tracking target 9 . The information processing unit 15 may calculate the tracking information by synthesizing the coordinated coordinate information of the tracking target 9 and the motion information of the tracking target 9 collected through the camera unit 13 .

정보 처리부(15)는 추적대상(9)의 속도, 방위각, 이동방향, 높이 및 추적대상(9)과 레이더 센서(11) 간 거리 중 적어도 하나의 정보를 기초로 좌표 정보를 산출할 수 있다. 정보 처리부(15)는 레이더 센서(11)와 카메라부(13)로부터 수신한 정보를 기초로 추적대상(9)과 좌표 정보를 산출할 수 있고, 추적대상(9)에서 발생되는 소리와 움직임을 감지하여 이동방향 및 형태 등을 파악할 수 있다. 특히, 정보 처리부(15)는 관심영역을 배경으로 이동중인 추적대상(9)의 모형, 속도, 이동방향 등을 중첩 표시한 형태로 트래킹 정보를 종합하여 통신부(17) 또는 출력 장치(19)로 전달할 수 있다.The information processing unit 15 may calculate coordinate information based on at least one information among the speed, azimuth, movement direction, height, and distance between the tracking target 9 and the radar sensor 11 of the tracking target 9 . The information processing unit 15 may calculate the tracking target 9 and coordinate information based on the information received from the radar sensor 11 and the camera unit 13 , and detect the sound and motion generated by the tracking target 9 . It can detect movement direction and shape. In particular, the information processing unit 15 synthesizes the tracking information in the form of superimposing the model, speed, movement direction, etc. of the tracking target 9 moving in the background of the region of interest and sends it to the communication unit 17 or the output device 19 . can transmit

통신부(17)는 외부 장치와 유무선 통신을 중계할 수 있다. 통신부(17)는 정보 처리부(15)에서 산출된 트래킹 정보를 시스템(1)내부에서 공유할 수 있으며, 중계된 유무선 통신망을 통해 외부 장치와 트래킹 정보를 송수신할 수 있다. 또한, 통신부(17)를 통해 외부 장치에서 시스템(1)의 관제신호를 수신할 수 있으며, 이를 통해 레이더 센서(11), 카메라부(13)가 조작될 수 있다. The communication unit 17 may relay wired/wireless communication with an external device. The communication unit 17 may share the tracking information calculated by the information processing unit 15 inside the system 1 , and may transmit/receive tracking information to and from an external device through the relayed wired/wireless communication network. In addition, the control signal of the system 1 may be received from an external device through the communication unit 17 , and the radar sensor 11 and the camera unit 13 may be manipulated through this.

출력 장치(19)는 산출된 좌표 정보와 움직임 정보가 종합된 트래킹 정보를 영상 또는 이미지 형태로 출력할 수 있다. 출력 장치(19)는 정보 처리부(15)로부터 전송된 트래킹 정보를 출력하는 모니터, 스크린 등의 장치를 포함할 수 있다.The output device 19 may output tracking information in which the calculated coordinate information and motion information are synthesized in the form of an image or an image. The output device 19 may include a device such as a monitor or a screen that outputs the tracking information transmitted from the information processing unit 15 .

도 3은 도 1의 객체 추적 시스템을 이용하여 이벤트 존이 설정된 화면을 나타낸다.3 shows a screen in which an event zone is set using the object tracking system of FIG. 1 .

도 3을 참조하면, 시스템(1)은 레이더 센서(11)를 기초로 관심영역(Z1)을 설정할 수 있다. 시스템(1)의 출력 장치(19)는 관심영역이 설정된 화면을 출력할 수 있다. 이후, 기설정된 관심영역(Z1)에서 추적대상(9)이 감지되는 경우, 관심영역(Z1) 내부에서 점등, 마킹 등의 방식을 통해 추적대상(9)의 위치가 출력 장치(19)를 통해 출력될 수 있으며, 출력된 위치 주변이 이벤트 존(Z3)으로 설정될 수 있다. Referring to FIG. 3 , the system 1 may set a region of interest Z1 based on the radar sensor 11 . The output device 19 of the system 1 may output a screen in which the region of interest is set. Thereafter, when the tracking target 9 is detected in the preset region of interest Z1, the position of the tracking target 9 is displayed through the output device 19 through lighting, marking, etc., within the region of interest Z1. may be output, and a periphery of the output position may be set as the event zone Z3.

이후, 설정된 이벤트 존(Z3)과 관련된 정보를 카메라부(13)에서 수신할 수 있다. 카메라부(13)는 이벤트 존(Z3)의 좌표, 고도를 참고하여 추적대상(9)의 촬영하고, 촬영된 영상을 출력하여 추적대상(9)의 형태를 파악할 수 있다. Thereafter, information related to the set event zone Z3 may be received from the camera unit 13 . The camera unit 13 may take a picture of the tracking target 9 with reference to the coordinates and altitude of the event zone Z3 , and output the captured image to determine the shape of the tracking target 9 .

또한, 레이더 센서(11)와 카메라부(13)는 이동중인 추적대상(9)의 이동경로를 추적할 수 있다. 상세하게, 관심영역(Z1) 내부에서 감지된 추적대상(9)이 이동하는 경우, 레이더 센서(11)는 변화하는 물체의 좌표 정보를 반영하여 실시간으로 이벤트 존(Z3)을 변경할 수 있으며, 변경된 이벤트 존(Z3)을 카메라부(13)가 지속적으로 감시함으로써 추적대상(9)에 대한 실시간 추적이 이루어질 수 있다. 또한, 레이더 센서(11) 및 카메라부(13)를 통해 수집된 정보는 정보 처리부(15)를 통해 종합되고, 통신부(17)를 통해 외부장치로 송신되어 실시간 스트리밍이 구현될 수 있다. In addition, the radar sensor 11 and the camera unit 13 may track the movement path of the tracking target 9 that is moving. In detail, when the tracking target 9 sensed within the region of interest Z1 moves, the radar sensor 11 may change the event zone Z3 in real time by reflecting the changing coordinate information of the object, and The camera unit 13 continuously monitors the event zone Z3 so that the tracking target 9 can be tracked in real time. In addition, the information collected through the radar sensor 11 and the camera unit 13 is synthesized through the information processing unit 15 and transmitted to an external device through the communication unit 17 to implement real-time streaming.

이처럼, 본 발명의 실시 예에 따른 시스템(1)은 레이더 센서(11)와 카메라부(13)를 통해 수집한 정보를 정보 처리부(15)에서 종합하여 감지된 추적대상의 위치를 좌표화하고 이를 실시간으로 추적할 수 있으며, 통신부(17)를 통해 외부 기기와 트래킹 정보를 송수신하여 모바일 또는 관제소에서 스트리밍을 통한 실시간 원격 추적이 수행될 수 있다.As such, the system 1 according to an embodiment of the present invention coordinates the position of the detected tracking target by integrating the information collected through the radar sensor 11 and the camera unit 13 in the information processing unit 15, and Real-time tracking can be performed, and real-time remote tracking can be performed through streaming in a mobile or control center by transmitting and receiving tracking information to and from an external device through the communication unit 17 .

이하, 본 발명의 실시 예에 따른 객체 추적 방법에 대하여 설명한다. 하기의 설명에서 시스템(1)의 구성 및 특성과 관련되어 중복된 부분은 생략하며, 객체 추적 방법에 관련한 서술을 추가적으로 기재하도록 한다.Hereinafter, an object tracking method according to an embodiment of the present invention will be described. In the following description, overlapping parts related to the configuration and characteristics of the system 1 will be omitted, and descriptions related to the object tracking method will be additionally described.

도 4는 본 발명의 일 실시 예에 따른 객체 추적 방법의 흐름도이다.4 is a flowchart of an object tracking method according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 방법은 객체 추적 시스템을 이용할 수 있고, 관심영역 설정 단계(S1), 추적대상 좌표 정보 산출 단계(S3), 추적대상 움직임 정보 수집 단계(S5), 추적대상 트래킹 정보 산출 단계(S7) 및 트래킹 정보 송신 단계(S9)를 포함하며, 관제 신호 수신 단계를 더 포함할 수 있다. Referring to FIG. 4 , the object tracking method according to an embodiment of the present invention may use an object tracking system, and includes a region of interest setting step (S1), a tracking target coordinate information calculation step (S3), and a tracking target motion information collection step. (S5), including a tracking target tracking information calculation step (S7) and tracking information transmission step (S9), and may further include a control signal receiving step.

관심영역 설정 단계(S1)에서는 시스템이 설치된 영역 주변에서 추적대상(9)을 감지할 수 있도록 관심영역을 설정할 수 있으며, 관심영역 설정 단계(S1)에서는 관심영역의 형태에 따라 설정되는 초기각과 최종각 사이 범위에 측정각이 마련되는 경우, 관심영역의 유효거리를 산출할 수 있다.In the region of interest setting step (S1), the region of interest can be set so that the tracking target 9 can be detected around the region where the system is installed. When the measurement angle is provided in the range between the angles, the effective distance of the ROI may be calculated.

추적대상 좌표 정보 산출 단계(S3)에서는 시스템을 구성하는 레이더 센서가 관심영역 내부의 추적대상을 감지하여 이벤트 존을 설정할 수 있으며, 추적대상 좌표 정보 산출 단계(S3)에서는 시스템을 구성하는 레이더 센서가 유효거리와 추적대상의 측정거리를 비교하여, 측정거리가 유효거리 보다 짧은 경우, 이벤트 존을 설정할 수 있고, 추적대상 좌표 정보 산출 단계(S3)에서는 시스템을 구성하는 정보 처리부가 추적대상의 좌표 정보를 생성할 수 있다.In the tracking target coordinate information calculation step (S3), the radar sensor constituting the system detects the tracking target inside the region of interest to set an event zone, and in the tracking target coordinate information calculation step (S3), the radar sensor constituting the system is By comparing the effective distance and the measurement distance of the tracking target, if the measurement distance is shorter than the effective distance, an event zone can be set, and in the tracking target coordinate information calculation step (S3), the information processing unit constituting the system includes coordinate information of the tracking target can create

추적대상 움직임 정보 수집 단계(S5)에서는 시스템을 구성하는 카메라부가 이벤트 존에 위치하는 추적대상의 움직임을 추적하여 움직임 정보를 수집할 수 있고, 추적대상 움직임 정보 수집 단계(S5)에서는 추적대상이 초기각과 최종각에 따라 설정되는 중심영역 내에 존재하는 경우, 움직임 정보를 생성하는 카메라부가 회전 가능한 각도의 중심각도에 고정될 수 있다.In the tracking target motion information collecting step (S5), the camera unit constituting the system may collect motion information by tracking the motion of the tracking target located in the event zone, and in the tracking target motion information collecting step (S5), the tracking target is initially When present in the central region set according to the angle and the final angle, the camera unit generating motion information may be fixed to the central angle of the rotatable angle.

추적대상 트래킹 정보 산출 단계(S5)에서는 시스템을 구성하는 정보 처리부가 좌표 정보와 움직임 정보를 종합하여 추적대상의 트래킹 정보를 산출할 수 있다. 추적대상 트래킹 정보 산출 단계(S5)에서는 정보 처리부에서 산출된 좌표 정보와 움직임 정보가 종합된 트래킹 정보를 출력 장치를 통해 영상 또는 이미지 형태로 출력할 수 있다.In the tracking target tracking information calculation step (S5), the information processing unit constituting the system may calculate the tracking information of the tracking target by synthesizing the coordinate information and the motion information. In the tracking target tracking information calculation step ( S5 ), the tracking information in which the coordinate information and the motion information calculated by the information processing unit are synthesized may be output in the form of an image or an image through an output device.

트래킹 정보 송신 단계(S7)에서는 시스템의 통신부를 통해 트래킹 정보를 외부 장치로 송신할 수 있다. 외부 장치는 접근권한을 가진 관리자의 휴대폰, 모바일 통신장치, 노트북 및 중앙 서버를 포함할 수 있으며, 중앙 서버를 통해 외부 관제소와 유무선 통신이 중계될 수 있다.In the tracking information transmission step (S7), the tracking information may be transmitted to an external device through the communication unit of the system. The external device may include a mobile phone, a mobile communication device, a laptop computer, and a central server of an administrator with access rights, and wired/wireless communication with an external control center may be relayed through the central server.

관제 신호 수신 단계(S9)에서는 시스템이 외부 장치로부터 시스템의 관제신호를 수신할 수 있다. 관제 신호 수신 단계(S9)는 추적대상에 대한 실시간 감시를 통해, 상황에 알맞은 대처가 시스템에 적용되는 단계로 이해될 수 있다. 예를 들어, 시스템이 감시하고 있는 영역에 미확인 물체가 진입하는 것을 확인하는 경우 경보를 작동하여 영역 내부에 위험을 전파할 수 있다. In the control signal receiving step ( S9 ), the system may receive a control signal of the system from an external device. The control signal receiving step (S9) may be understood as a step in which a response appropriate to the situation is applied to the system through real-time monitoring of the tracking target. For example, if the system sees an unidentified object entering the area it is monitoring, it can trigger an alarm to propagate the danger inside the area.

이하에서는, 시스템 및 시스템을 이용한 객체 추적 방법의 실시 예를 도면과 함께 상술하도록 한다.Hereinafter, an embodiment of a system and an object tracking method using the system will be described in detail with drawings.

<실시 예><Example>

도 5는 본 발명에 따른 관심영역 설정 단계의 흐름도의 일 예이고, 도 6은 본 발명에 따른 추적대상 좌표 정보 산출 단계의 흐름도의 일 예이다.5 is an example of a flowchart of the step of setting a region of interest according to the present invention, and FIG. 6 is an example of a flowchart of the step of calculating the tracking target coordinate information according to the present invention.

도 5를 참조하면, 관심영역 설정 단계(S1)에서는 레이더 센서에 따라 관심영역의 길이, 폭, 초기각 및 최종각을 설정(S11)할 수 있다. 관심영역 설정 단계(S1)에서는 제1 Vertex angle(a1) 및 제2 Vertex angle(a2)를 설정(S12, S13)할 수 있다. 제1 Vertex angle(a1)는 아래의 명령어를 통해 설정할 수 있고,Referring to FIG. 5 , in the ROI setting step S1 , the length, width, initial angle, and final angle of the ROI may be set according to the radar sensor ( S11 ). In the region of interest setting step ( S1 ), the first vertex angle (a1) and the second vertex angle (a2) may be set ( S12 and S13 ). The first vertex angle (a1) can be set through the following command,

a1_angle=atan(length/right length)*180/pi)a1_angle=atan(length/right length)*180/pi)

제2 Vertex angle(a2)는 아래의 명령어를 통해 설정할 수 있다.The second vertex angle (a2) can be set through the following command.

a2_angle=180-atan(length/left width)*180/pi)a2_angle=180-atan(length/left width)*180/pi)

여기서, length는 레이더 센서 전방으로 측정가능한 거리를 의미하고, right length는 레이더 센서의 우측방향으로 측정가능한 거리를 의미하며, left width는 레이더 센서의 좌측방향으로 측정가능한 거리를 의미한다.Here, length means a measurable distance in front of the radar sensor, right length means a measurable distance in the right direction of the radar sensor, and left width means a measurable distance in the left direction of the radar sensor.

이후, 관심영역 설정 단계(S1)에서는 설정된 초기각과 a1을 비교(S14)하여, 초기각이 a1보다 작은 경우 제1 명령을 수행(S140)할 수 있다. 제1 명령의 수행 시, 초기각에 대한 코사인 함수의 반복적 대입을 수행할 수 있다. 이때 수행되는 명령어는 다음과 같다.Thereafter, in the region of interest setting step S1 , the set initial angle is compared with a1 ( S14 ), and when the initial angle is smaller than a1 , the first command may be performed ( S140 ). When the first command is executed, iterative substitution of the cosine function for the initial angle may be performed. The command executed at this time is as follows.

Angle=start angleAngle=start angle

Temp=cos((angle++)*(pi/180))Temp=cos((angle++)*(pi/180))

Lenbuf[i++]= (Right width)/tempLenbuf[i++]= (Right width)/temp

여기서, start angle은 초기각, pi는 원주율, Right width는 레이더 센서의 우측 감지범위를 의미한다.Here, the start angle is the initial angle, pi is the circumference, and the right width is the right detection range of the radar sensor.

한편, 초기각이 a1 이상인 경우에는 측정각이 90도보다 큰지 판단(S15)할 수 있다. 판단 결과에 따라 측정각이 90도보다 작은 경우 제2 명령을 수행(S150)할 수 있다. 제2 명령의 수행 시, 측정각에 대한 코사인 함수의 반복적 대입을 수행할 수 있다. 이때 수행되는 명령어는 다음과 같다.Meanwhile, when the initial angle is greater than or equal to a1, it may be determined whether the measurement angle is greater than 90 degrees (S15). If the measurement angle is smaller than 90 degrees according to the determination result, the second command may be performed ( S150 ). When the second command is executed, iterative substitution of the cosine function for the measurement angle may be performed. The command executed at this time is as follows.

i++i++

temp=cos((90-angle++)*(pi/180))temp=cos((90-angle++)*(pi/180))

lenbuf[i++]==length/templenbuf[i++]==length/temp

여기서, angle은 측정각, pi는 원주율, length는 레이더 센서 전방으로 측정가능한 거리를 의미한다.Here, angle is the measurement angle, pi is the circumference, and length is the measurable distance in front of the radar sensor.

한편, 측정각이 90 이상인 경우에는 측정각과 a2를 비교(S16)할 수 있다. 비교결과에 따라 측정각이 a2보다 작은 경우 제3 명령을 수행(S160)할 수 있다. 제3 명령의 수행 시, 측정각에 대한 코사인 함수의 반복적 대입을 수행할 수 있다. 이때 수행되는 명령어는 다음과 같다.On the other hand, when the measurement angle is 90 or more, the measurement angle and a2 may be compared (S16). When the measurement angle is smaller than a2 according to the comparison result, the third command may be performed ( S160 ). When the third command is executed, iterative substitution of the cosine function for the measurement angle may be performed. The command executed at this time is as follows.

i++i++

temp=cos((angle++-90)*pi/180)temp=cos((angle++-90)*pi/180)

lenbuf[i++]==length/templenbuf[i++]==length/temp

여기서, angle은 측정각, pi는 원주율, length는 레이더 센서 전방으로 측정가능한 거리를 의미한다.Here, angle is the measurement angle, pi is the circumference, and length is the measurable distance in front of the radar sensor.

한편, 측정각이 a2 이상인 경우에는 측정각과 최종각을 비교(S17)할 수 있다. 비교결과에 따라 측정각이 최종각보다 작은 경우 제4 명령을 수행(S170)할 수 있다. 제4 명령의 수행 시, 측정각에 대한 코사인 함수의 반복적 대입을 수행할 수 있다. 이때 수행되는 명령어는 다음과 같다.On the other hand, when the measurement angle is greater than or equal to a2, the measurement angle and the final angle may be compared (S17). If the measurement angle is smaller than the final angle according to the comparison result, the fourth command may be performed ( S170 ). When the fourth command is executed, iterative substitution of the cosine function for the measurement angle may be performed. The command executed at this time is as follows.

i++i++

temp=cos((180-angle++)*pi/180)temp=cos((180-angle++)*pi/180)

lenbuf[i++]==left length/templenbuf[i++]==left length/temp

여기서, angle은 측정각, pi는 원주율, left length는 레이더 센서의 좌측방향으로 측정가능한 거리를 의미한다.Here, angle denotes a measurement angle, pi denotes a circumference, and left length denotes a measurable distance in the left direction of the radar sensor.

한편, 측정각이 최종각 이상인 경우, 관심영역 설정 단계(S1)에서는 유효거리를 산출(S18)할 수 있으며, 산출된 유효거리 정보를 추적대상 좌표 정보 산출 단계(S3)로 전달할 수 있다. 유효거리 산출(S18)시에는 제1 명령 내지 제4 명령의 수행(S140, S150, S160 S170)을 통해 산출된 결과가 종합될 수 있다.On the other hand, when the measurement angle is equal to or greater than the final angle, the effective distance may be calculated ( S18 ) in the region of interest setting step S1 , and the calculated effective distance information may be transmitted to the tracking target coordinate information calculation step S3 . In calculating the effective distance (S18), the results calculated through the execution of the first to fourth commands (S140, S150, S160 and S170) may be synthesized.

도 7은 레이더 센서를 통해 설정되는 각 변수를 보충설명하기 위한 도면이다.7 is a diagram for supplementary explanation of each variable set through a radar sensor.

도 7을 참조하면, 레이더 센서(11)가 측정하는 방향, 각도 및 레이더 센서의 종류에 따라 length가 10 내지 300m의 범위로 설정될 수 있다. 또한, 레이더 센서(11)의 좌/우측방향으로 측정가능한 거리인 Right width(length) 및 left width(length)는 레이더 센서가 설정한 관심영역(Z1)의 형태에 따라 1 내지 30m의 범위로 설정될 수 있다. 또한, 초기각은 레이더 센서(11)의 우측 감지범위에서 시작되어 20 내지 85도의 범위를 가질 수 있으며, 최종각은 레이더 센서의 우측 감지범위로부터 95 내지 180도의 범위를 가질 수 있으나, 초기각 및 최종각은 레이더 센서(11)에서 설정하는 관심영역(Z1)의 형태에 따라 상이하게 설정될 수 있다.Referring to FIG. 7 , the length may be set in the range of 10 to 300 m according to the direction, angle, and type of the radar sensor measured by the radar sensor 11 . In addition, Right width (length) and left width (length), which are distances measurable in the left/right direction of the radar sensor 11, are set in the range of 1 to 30 m according to the shape of the region of interest Z1 set by the radar sensor. can be In addition, the initial angle may have a range of 20 to 85 degrees starting from the right sensing range of the radar sensor 11, and the final angle may have a range of 95 to 180 degrees from the right sensing range of the radar sensor, but the initial angle and The final angle may be set differently depending on the shape of the region of interest Z1 set by the radar sensor 11 .

이처럼, 설정된 조건에 따라 변경되는 각각의 값을 기준으로 관심영역 설정 단계(S1)에서 제1 내지 제4 명령의 수행을 통해 산출된 유효거리 정보가 종합될 수 있으며, 종합된 정보는 추적대상 좌표 정보 산출 단계(S3)로 전달될 수 있다.In this way, the effective distance information calculated through the execution of the first to fourth commands in the ROI setting step (S1) based on each value changed according to the set condition can be synthesized, and the synthesized information is the tracking target coordinates. It may be transmitted to the information calculation step (S3).

*117추적대상 좌표 정보 산출 단계(S3)와 관련된 설명은 도 6을 통해 상술하도록 한다.*117 A description related to the step (S3) of calculating the coordinates of the tracking target will be described in detail with reference to FIG. 6 .

다시 도 6을 참조하면, 추적대상 좌표 정보 산출 단계(S3)는 관심영역 설정 단계(S1)에서 산출된 관심영역의 유효거리를 전달받을 수 있다. 추적대상 좌표 정보 산출 단계(S3)에서는 레이더 센서의 IF(Intermediate Frequency) 채널에서 IF값을 수신(S31)할 수 있다. 이후, 추적대상 좌표 정보 산출 단계(S3)에서는 IF 채널에서 버퍼로 데이터를 샘플링(S32) 할 수 있다. 샘플링 이후 버퍼의 상태가 full인지 판단(S33)하여, 그렇지 않은 경우 최초 IF값 수신을 수행하며, 버퍼의 상태가 full인 경우 고정 소수점 FFT(Fast Fourier Transform)를 계산(S34)할 수 있다. Referring back to FIG. 6 , the tracking target coordinate information calculation step S3 may receive the effective distance of the ROI calculated in the ROI setting step S1 . In the step of calculating the tracking target coordinate information ( S3 ), an IF value may be received ( S31 ) in an IF (Intermediate Frequency) channel of the radar sensor. Thereafter, in the step of calculating the tracking target coordinate information ( S3 ), data may be sampled from the IF channel to the buffer ( S32 ). After sampling, it is determined whether the state of the buffer is full (S33), otherwise, the first IF value is received, and when the state of the buffer is full, a fixed-point Fast Fourier Transform (FFT) can be calculated (S34).

이후, 생성된 스펙트럼을 분석하고 스펙트럼의 피크를 검출(S35)하여, 피크값이 한도를 초과하는지 판단(S36)할 수 있다. 판단 결과 한도를 초과하지 않는 경우에는 고정 소수점 FFT 계산을 재수행 하며, 초과하는 경우에는 초기각, 측정각 및 최종각을 비교(S37)할 수 있다. 비교 결과 측정각이 초기각과 최종각 사이에 범위에 포함되는 경우에는 측정거리와 유효거리를 비교(S38)할 수 있으며, 그렇지 않은 경우에는 새로운 IF값을 수신할 수 있다. 측정거리와 유효거리의 비교 결과, 측정거리가 유효거리 미만인 경우에는 이벤트 존을 설정할 수 있으며 설정된 이벤트 존과 관련된 정보는 추적대상 움직임정보 수집 단계(S5)로 전달될 수 있다. 반면 측정거리가 유효거리 이상인 경우에는 새로운 IF값을 수신할 수 있다.Thereafter, by analyzing the generated spectrum and detecting the peak of the spectrum (S35), it may be determined whether the peak value exceeds the limit (S36). If the determination result does not exceed the limit, the fixed-point FFT calculation is re-performed, and if it exceeds the limit, the initial angle, the measured angle, and the final angle can be compared (S37). As a result of the comparison, if the measurement angle is included in the range between the initial angle and the final angle, the measurement distance and the effective distance may be compared ( S38 ). Otherwise, a new IF value may be received. As a result of comparing the measured distance and the effective distance, when the measured distance is less than the effective distance, an event zone may be set, and information related to the set event zone may be transmitted to the tracking target motion information collection step (S5). On the other hand, if the measurement distance is greater than the effective distance, a new IF value can be received.

도 8 및 도 9는 본 발명에 따른 레이더 센서의 하드웨어 구성도 및 안테나의 하드웨어 구성도의 일 예를 각각 나타낸다.8 and 9 respectively show an example of a hardware configuration diagram of a radar sensor and a hardware configuration diagram of an antenna according to the present invention.

해당 실시 예에서 레이더 센서(11)는 주변 및 추적대상의 감지를 위해 180도로 고정된 제1 안테나를 포함할 수 있으며, 100M 반경 영역 내부의 추적대상을 감지할 수 있으나 이에 제한되지 않는다. 레이더 센서는 관심영역 내부에 위치한 추적대상과 센서 간 이격거리, 방위각, 추적대상의 이동 속도 등을 감지할 수 있다. In this embodiment, the radar sensor 11 may include a first antenna fixed at 180 degrees to detect the surroundings and the tracking target, and may detect the tracking target within a 100M radius area, but is not limited thereto. The radar sensor may detect a separation distance, an azimuth, and a moving speed of the tracking target between the tracking target and the sensor located inside the region of interest.

레이더 센서는 FMCW 거리 측정, 도플러 기반으로 거리, 방향, 속도를 감지할 수 있다. 레이더 센서는 24 GHz ISM 대역을 사용하고, BGT24MTR11 트렌시버 MMIC를 사용하며, MCU의 USB를 통해 신호 처리를 위한 데이터를 수신할 수 있다. 특히, 레이더 센서는 높은 신호 출력 성능을 얻기 위해 외부로 노출된 제1 및 제2 안테나(111, 113)가 방수 및 방진 효과를 갖는 커버로 덮여있어야 하고, 커버의 차폐로 인한 성능저하를 방지하기 위해 커버의 성분이 충분히 고려됨이 바람직하다.The radar sensor can detect distance, direction and speed based on FMCW distance measurement, Doppler. The radar sensor uses the 24 GHz ISM band, uses the BGT24MTR11 transceiver MMIC, and can receive data for signal processing through the MCU's USB. In particular, in order to obtain a high signal output performance of the radar sensor, the first and second antennas 111 and 113 exposed to the outside must be covered with a cover having a waterproof and dustproof effect, and to prevent performance degradation due to the shielding of the cover It is preferable that the components of the cover are sufficiently considered.

한편, 해당 실시 예에서 카메라부는 UHD급 픽셀 센서를 포함할 수 있다. 또한, 카메라부는 셔터 스피드, 밝기 등을 제어할 수 있으며, 카메라부를 통해 감지된 신호의 영상 또는 화질의 최적화를 정보 처리부를 통해 수행할 수 있다. 카메라부의 출력 방식은 LVDS/MIPI 고해상도 및 저 노이즈 영상 송출법을 사용할 수 있고, 출력 포맷은 raw RGB 비 압축 데이터 포맷 출력을 이용할 수 있으나 출력 방식 및 출력 포맷은 이에 제한되지 않는다. 카메라부가 고해상도 센서 모듈로 제작되는 경우 이에 대한 하드웨어의 설계가 추가적으로 이루어질 수 있다. 또한, 카메라부에는 저전력 및 저 노이즈를 위한 전원 회로가 추가될 수 있다.Meanwhile, in the embodiment, the camera unit may include a UHD pixel sensor. In addition, the camera unit may control shutter speed, brightness, etc., and may perform optimization of an image or image quality of a signal detected through the camera unit through the information processing unit. The output method of the camera unit may use the LVDS/MIPI high-resolution and low-noise image transmission method, and the output format may use the raw RGB uncompressed data format output, but the output method and output format are not limited thereto. When the camera unit is manufactured as a high-resolution sensor module, hardware design for this may be additionally made. In addition, a power circuit for low power and low noise may be added to the camera unit.

한편, 본 발명에 실시 예에 따른 객체 추적 시스템은 MMIC 칩을 활성화 하여 IF 값을 수신하고, 외부 전원 공급 장치의 스위처를 800kHz로 동기화한 뒤, 샘플링 속도가 20kHz인 4개의 고이득 채널을 Ping Pong으로 샘플링할 수 있다. 이후 IF1 I/Q 고이득 신호의 고정 소수점 FFT를 계산하고, Ping Pong 버퍼는 FFT 실행 시간과 함께 연속 샘플링을 허용하며, 피크 검출은 생성된 스펙트럼을 분석하여 검출할 수 있다. 피크가 한도를 초과하는 경우에 오브젝트를 감지하는 신호를 발생할 수 있다. 정리하자면, 레이더 센서의 노출부위에 위치한 MICC의 IF 채널에서 버퍼로 데이터를 샘플링하고, 버퍼가 full 상태이면 FFT를 계산하며, FFT의 주파수가 정의된 제한값을 초과하면 오브젝트의 감지신호를 발생시킬 수 있다.On the other hand, the object tracking system according to an embodiment of the present invention activates the MMIC chip to receive the IF value, synchronizes the switcher of the external power supply to 800 kHz, and then ping Pong four high-gain channels with a sampling rate of 20 kHz. can be sampled as After calculating the fixed-point FFT of the IF1 I/Q high-gain signal, the Ping Pong buffer allows continuous sampling along with the FFT execution time, and peak detection can be detected by analyzing the generated spectrum. It can generate a signal that detects an object when the peak exceeds the limit. In summary, data is sampled from the IF channel of the MICC located on the exposed part of the radar sensor to the buffer, and the FFT is calculated when the buffer is full. have.

또한, 본 발명의 실시 예에 따른 객체 추적 시스템은 레이더 센서 및 카메라부에서 수집한 정보를 정보 처리부에서 처리하기 위해, 임베디드 SW 부분으로 실시간성이 있어야 하며, 스캐닝된 좌표 정보를 근거로 카메라부를 구동하여 추적대상을 지속적으로 추적할 수 있다. 특히, 레이더 센서를 통해 감지된 정보를 종합하여 이벤트 존을 설정하고, 이벤트 존 내부를 카메라부를 통해 추적함으로써 추적대상의 실시간 궤적을 추적할 수 있다. 또한, 카메라부 및 레이더 센서를 통한 추적대상의 감지시 외부 장치로 트리거를 전송하여, 모바일이나 관제소 또는 PC를 통한 실시간 모니터링이 이루어질 수 있다.In addition, the object tracking system according to an embodiment of the present invention has real-time performance as an embedded SW part in order to process the information collected by the radar sensor and the camera unit in the information processing unit, and drives the camera unit based on the scanned coordinate information Thus, the tracking target can be continuously tracked. In particular, it is possible to set an event zone by synthesizing information detected by the radar sensor, and track the inside of the event zone through the camera unit to track the real-time trajectory of the tracking target. In addition, by transmitting a trigger to an external device when the tracking target is detected through the camera unit and the radar sensor, real-time monitoring through a mobile device, a control center, or a PC can be performed.

또한, 본 발명의 실시 예에 따른 객체 추적 시스템은 5M, 풀 HD(1080p), HD(720p) 및 D1으로 동영상을 인코딩 할 수 있으며, Max5M 해상도의 JPEG 기능으로 정지 영상을 인코딩할 수 있다. 시스템은 RTSP/RTP 실시간 영상 스트리밍을 통해 외부로 영상을 전송할 수 있다. 시스템은 정보 처리부를 통해 H.264/AVC, MJPEG의 영상 압축 코덱 기능을 제어할 수 있으며, 영상 화질 개선을 위한 ISP 및 영상 개선 처리 기능을 수행할 수 있다. 이때, 인코딩 코덱은 H.264(저/고해상도), MJPEG 코덱 기능을 수행할 수 있다. In addition, the object tracking system according to an embodiment of the present invention can encode a video in 5M, full HD (1080p), HD (720p) and D1, and can encode a still image with a JPEG function of Max5M resolution. The system can transmit video to the outside through RTSP/RTP real-time video streaming. The system can control the video compression codec functions of H.264/AVC and MJPEG through the information processing unit, and can perform ISP and image enhancement processing functions for image quality improvement. In this case, the encoding codec may perform H.264 (low/high resolution) and MJPEG codec functions.

이처럼, 레이더 센서로부터 획득한 정보를 통해 이벤트 존을 설정하기 위해서는 레이더 센서의 데이터를 수신하고 수신한 데이터에 대한 카메라부의 파라메터를 정의해야 하며, 레이더 센서의 좌표 정보와 카메라부의 움직임 정보를 실시간으로 맵핑하여 종합된 트래킹 정보가 산출되어야 하므로, 정보 처리부는 이러한 과정을 수행하기 위한 소프트웨어가 요구될 수 있다.In this way, in order to set the event zone through the information obtained from the radar sensor, it is necessary to receive the data of the radar sensor and define the parameters of the camera unit for the received data, and map the coordinate information of the radar sensor and the movement information of the camera unit in real time. Therefore, since the aggregated tracking information must be calculated, the information processing unit may require software for performing this process.

또한, 관심영역의 설정값에 따라 관심영역에 대한 각도별 유효거리 값을 계산하기 위한 실시간 신호 Matching Engine이 정보 처리부에 포함되어 계산된 유효거리 값을 저장하여 데이터화 할 수 있으며, 이를 레이더 센서 및 카메라부와 지속적으로 공유함으로써 추적대상의 좌표, 영상 및 촬영 시간등을 포함하는 좌표정보를 보정하여, 정확한 추적 자료를 시스템 내부적으로 공유할 수 있다.In addition, a real-time signal matching engine for calculating the effective distance value for each angle of the region of interest according to the setting value of the region of interest is included in the information processing unit, and the calculated effective distance value can be stored and converted into data, which can be converted into data using radar sensors and cameras. By continuously sharing with the department, it is possible to correct the coordinate information including the coordinates of the tracking target, the image, and the shooting time, so that the accurate tracking data can be shared inside the system.

이처럼, 본 발명의 실시 예에 따른 객체 추적 시스템은 종래의 국방분야에서 사용하는 레이더를 민간기술과 융합하여, 해무, 안개와 같이 시야가 확보되지 않은 상황에서 추적대상에 대한 추적이나 영상의 분석을 정밀하게 수행할 수 있다. As such, the object tracking system according to an embodiment of the present invention fuses the radar used in the conventional defense field with civilian technology, and performs tracking or image analysis of a tracking target in a situation where visibility is not secured, such as sea fog or fog. can be done precisely.

또한, 본 발명의 실시 예에 따른 객체 추적 시스템은 감시/경계/재난예방 분야의 제품으로 네트워크에 취약한 지역의 재난/재해 및 사고 예방을 위한 시스템으로 활용될 수 있으며, 이동통신망을 이용한 클라우드형 시스템으로 확장되어 실시간으로 현장의 상황을 협업 관제할 수 있어 대형 사고현장에서 실시간으로 관제하기 위한 시스템으로 활용될 수 있다.In addition, the object tracking system according to an embodiment of the present invention is a product in the field of monitoring/vigilance/disaster prevention and can be used as a system for disaster/disaster and accident prevention in areas vulnerable to networks, and a cloud-type system using a mobile communication network It can be used as a system for real-time control at large accident sites because it can be expanded to a real-time collaborative control of the site situation.

본 발명의 실시 예에 따른 객체 추적 시스템은 변화감지 및 감시/경계/재난예방 분야의 제품으로 사용하고, 네트워크에 취약한 지역의 재난/재해 및 사고 예방을 위한 시스템으로 적용될 수 있으며, 무인비행체, 선박, 특수차량 등의 사고예방의 제품으로도 활용될 수 있는 이점이 있다.The object tracking system according to an embodiment of the present invention is used as a product in the field of change detection and monitoring/vigilance/disaster prevention, and can be applied as a system for disaster/disaster and accident prevention in areas vulnerable to networks, unmanned aerial vehicles, ships It has the advantage that it can be used as a product for preventing accidents such as , special vehicles, etc.

이상에서 대표적인 실시 예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.Although the present invention has been described in detail through representative embodiments above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications are possible within the limits without departing from the scope of the present invention with respect to the above-described embodiments. will be. Therefore, the scope of the present invention should not be limited to the described embodiments and should be defined by all changes or modifications derived from the claims and equivalent concepts as well as the claims to be described later.

본 발명에 따른 객체 추적 시스템 및 이를 이용한 방법은 감시, 경계, 재난예방과 같이 다양한 분야에 적용될 수 있으며, 지능형 자율주행 자동차, 산업 자동화 분야, 국방 산업 등 폭넓은 응용분야에서 활용될 수 있다. 특히, 세계적으로 물체 인식, 비디오 분석, 지능형 영상 감시, 정보 감시 정찰 제품 및 서비스 시장은 2020년 까지 세계 시장의 47% 이상을 차지할 전망이고, 단순한 영상보안이 아닌 지능적인 융합시장으로 빠르게 발전하고 있다. 또한, 국내 레이더-영상 공간인식 기술은 연구개발이 미약한 상태로, 본 발명의 객체 추적 시스템은 미래 산업기술 분야에서 높은 경쟁력을 가질 수 있다. The object tracking system and method using the same according to the present invention can be applied to various fields such as monitoring, alerting, and disaster prevention, and can be utilized in a wide range of applications such as intelligent autonomous vehicles, industrial automation fields, and the defense industry. In particular, the global object recognition, video analysis, intelligent video surveillance, and information surveillance reconnaissance products and services market is expected to account for more than 47% of the global market by 2020, and is rapidly developing into an intelligent convergence market rather than simple video security. . In addition, domestic radar-image spatial recognition technology is in a state of weak research and development, and the object tracking system of the present invention can have high competitiveness in the field of future industrial technology.

본 발명에 따른 객체 추적 시스템은 공간 인식센서, 차량 속도 측정 기술 및 제품, 선박 추돌 방지 기술 및 제품 등에 직접적으로 사용될 수 있다. 상세하게, 공간 인식센서는 본 발명의 3차원 공간과제 시스템의 실시간 공간 인식기술이 응용되어 차량 및 로봇의 무인화 시장에 적용될 수 있다. The object tracking system according to the present invention can be directly used for a spatial recognition sensor, vehicle speed measurement technology and product, ship collision prevention technology and product, and the like. In detail, the space recognition sensor can be applied to the unmanned market of vehicles and robots by applying the real-time space recognition technology of the three-dimensional space task system of the present invention.

또한, 군 보안 시설, 공항, 문화재, 연구소, 통신 시설과 같이 중요 시설을 보호하기 위해 본 발명의 객체 추적 시스템이 사용될 수 있으며, 드론 또는 외부로부터의 무단침입을 감시하고 방지하기 위한 공간 감시 시스템에서 활용될 수 있다. 특히, 이동하는 물체의 속도를 측정하고 영상을 촬영하는 기술은 복수의 센서가 연동되어 추적하고자 하는 물체를 포커싱 함으로써 지속적인 추적이 가능하고, 물체의 상세한 정보를 실시간으로 생성할 수 있는 이점이 있다. 이와 반대로, 이동중 물체의 경로상에 위치한 장애물의 정보를 실시간으로 공유하여 위험 경고 및 경로의 변경을 안내하는 시스템을 구축할 수 있다.In addition, the object tracking system of the present invention can be used to protect important facilities such as military security facilities, airports, cultural assets, research institutes, and communication facilities, and in a space monitoring system for monitoring and preventing unauthorized intrusion from the outside or drones can be utilized. In particular, the technology of measuring the speed of a moving object and taking an image has an advantage in that a plurality of sensors are linked to focus an object to be tracked, thereby enabling continuous tracking and generating detailed information of the object in real time. On the contrary, it is possible to build a system for warning of danger and guiding change of path by sharing information of obstacles located on the path of an object during movement in real time.

1: 객체 추적 시스템.
11: 레이더 센서 111: 제1 안테나
113: 제2 안테나 115: 커버
117: 회전 모듈 13: 카메라부
131: 음성 추적기 133: 영상 추적기
135: 3축 회전 구동기 15: 정보 처리부
17: 통신부 19: 출력 장치
8: 외부 장치 9: 추적대상
Z1: 관심영역 Z3: 이벤트 존1: Object tracking system.
11: radar sensor 111: first antenna
113: second antenna 115: cover
117: rotation module 13: camera unit
131: voice tracker 133: video tracker
135: 3-axis rotation actuator 15: information processing unit
17: communication unit 19: output device
8: External device 9: Tracked target
Z1: region of interest Z3: event zone

Claims (12)

추적대상을 감지하도록 설정되는 관심영역에 신호를 송출하여, 상기 신호를 기초로 상기 관심영역 내부의 추적대상을 감지하여 이벤트 존을 설정하며, 상기 관심영역의 형태에 따라 설정되는 초기각과 최종각 사이 범위에 측정각이 마련되는 경우, 상기 관심영역의 유효거리를 산출하는 레이더 센서;
상기 이벤트 존에 위치하는 추적대상의 움직임을 추적하되, 상기 추적대상이 상기 초기각과 최종각에 따라 설정되는 중심영역 내에 존재하는 경우, 회전 가능한 각도의 중심 각도에 고정되는 카메라부;
상기 추적대상의 위치를 좌표화하여 좌표 정보를 생성하고, 상기 추적대상의 좌표 정보와 상기 카메라부를 통해 수집되는 상기 추적대상의 움직임 정보를 종합한 트래킹 정보를 산출하는 정보 처리부; 및
외부 장치와 유무선 통신을 중계하여 상기 정보 처리부에서 산출되는 트래킹 정보를 공유하는 통신부를 포함하는, 객체 추적 시스템.
A signal is transmitted to a region of interest set to detect a tracking target, and an event zone is set by detecting a tracking target inside the region of interest based on the signal, and between an initial angle and a final angle set according to the shape of the region of interest. a radar sensor for calculating an effective distance of the region of interest when a measurement angle is provided in the range;
a camera unit that tracks the movement of a tracking target located in the event zone, and is fixed to a central angle of a rotatable angle when the tracking target exists in a central region set according to the initial and final angles;
an information processing unit for generating coordinate information by coordinating the location of the tracking target, and calculating tracking information that combines the coordinate information of the tracking target and the motion information of the tracking target collected through the camera unit; and
An object tracking system comprising a communication unit that relays wired/wireless communication with an external device and shares the tracking information calculated by the information processing unit.
 제1항에 있어서, 상기 카메라부는,
상기 중심각도에 고정된 상태에서 상기 레이더 센서에 의해 설정되는 중심영역을 촬영 가능한 화각으로 마련되는, 객체 추적 시스템.
According to claim 1, wherein the camera unit,
An object tracking system that is provided as an angle of view capable of photographing a central region set by the radar sensor in a state fixed to the central angle.
 제1항에 있어서, 상기 카메라부는,
상기 추적대상이 중심영역으로부터 벗어나는 경우, 상기 추적대상의 움직임을 추적하도록 회전하는, 객체 추적 시스템.
According to claim 1, wherein the camera unit,
When the tracking target deviates from the central region, the object tracking system rotates to track the motion of the tracking target.
 제2항에 있어서, 상기 카메라부는,
상기 중심 각도에 고정된 상태에서, 상기 추적대상의 움직임을 추적하도록 회전하는 상태로 전환되는 경우, 상기 추적대상이 촬영되는 영역의 중심부에 위치하도록 회전하는, 객체 추적 시스템.
According to claim 2, wherein the camera unit,
When the state is fixed to the central angle and is switched to a state of rotation to track the movement of the tracking target, the tracking target is rotated to be located in the center of the photographed area.
 제1항에 있어서, 상기 중심영역은,
상기 레이더 센서를 이용하여 측정 가능한 전방 거리와 상기 레이더 센서를 이용하여 측정 가능한 좌측방 거리 및 우측방 거리의 비율에 대한 아크탄젠트를 계산하고, 상기 좌측방 거리에 대한 아크탄젠트 결과와 상기 우측방 거리에 대한 아크탄젠트 결과의 사이 범위를 나타내는, 객체 추적 시스템.
According to claim 1, wherein the central region,
The arc tangent of the ratio of the forward distance measurable using the radar sensor and the left and right distance measurable using the radar sensor is calculated, and the arc tangent result for the left distance and the right distance An object tracking system, representing the range between the arctangent results for .
 제1항에 있어서, 상기 레이더 센서는,
복수개의 이벤트 존이 생성되는 경우, 상기 관심영역 내부에 마련되는 중요 위치를 나타내는 크리티컬 존과 상기 복수개의 이벤트 존의 거리 차이를 각각 계산하고, 상기 크리티컬 존에 가장 가까운 이벤트 존에 대한 정보를 상기 카메라부에 전달하는, 객체 추적 시스템.
According to claim 1, wherein the radar sensor,
When a plurality of event zones are generated, a distance difference between a critical zone indicating an important location provided in the region of interest and the plurality of event zones is calculated, respectively, and information on the event zone closest to the critical zone is provided to the camera Wealth forwarding, object tracking system.
 관심영역에 존재하는 추적대상을 추적하는 객체 추적 시스템을 이용한 객체 추적 방법에 있어서,
상기 시스템이 설치된 영역 주변에서 추적대상을 감지할 수 있도록 관심영역을 설정하며, 상기 관심영역의 형태에 따라 설정되는 초기각과 최종각 사이 범위에 측정각이 마련되는 경우, 상기 관심영역의 유효거리를 산출하는 관심영역 설정 단계;
상기 시스템에서 상기 관심영역 내부의 추적대상을 감지하여 이벤트 존을 설정하되, 상기 유효거리와 상기 추적대상의 측정거리를 비교하여, 상기 측정거리가 상기 유효거리 보다 짧은 경우, 상기 이벤트 존을 설정하며, 상기 추적대상의 좌표 정보를 생성하는 추적대상 좌표 정보 산출 단계;
상기 이벤트 존에 위치하는 추적대상의 움직임을 추적하여 움직임 정보를 수집하되, 상기 추적대상이 상기 초기각과 최종각에 따라 설정되는 중심영역 내에 존재하는 경우, 상기 움직임 정보를 생성하는 카메라가 회전 가능한 각도의 중심각도에 고정되는 추적대상 움직임 정보 수집 단계;
상기 추적대상의 좌표 정보와 상기 움직임 정보를 종합하여 트래킹 정보를 산출하는 추적대상 트래킹 정보 산출 단계; 및
상기 트래킹 정보를 외부 장치로 송신하는 트래킹 정보 송신 단계를 포함하는, 객체 추적 방법.
In the object tracking method using an object tracking system for tracking a tracking target existing in a region of interest,
A region of interest is set to detect a tracking target in the vicinity of the region in which the system is installed, and when a measurement angle is provided in a range between an initial angle and a final angle set according to the shape of the region of interest, the effective distance of the region of interest is determined calculating the region of interest setting step;
The system detects a tracking target inside the region of interest to set an event zone, compares the effective distance with a measurement distance of the tracking target, and sets the event zone when the measurement distance is shorter than the effective distance, , a tracking target coordinate information calculation step of generating coordinate information of the tracking target;
The motion information is collected by tracking the motion of the tracking target located in the event zone, and when the tracking target exists in the central region set according to the initial and final angles, the camera generating the motion information is rotatable. a step of collecting tracking target motion information fixed to a central angle of ;
tracking information calculating step of calculating tracking information by synthesizing the coordinate information of the tracking target and the motion information; and
Including a tracking information transmission step of transmitting the tracking information to an external device, object tracking method.
 제7항에 있어서, 상기 카메라는,
상기 중심각도에 고정된 상태에서 상기 레이더 센서에 의해 설정되는 중심영역을 촬영 가능한 화각으로 마련되는, 객체 추적 방법.
According to claim 7, wherein the camera,
In a state fixed to the central angle, the central area set by the radar sensor is provided as an imageable angle of view, the object tracking method.
 제7항에 있어서, 상기 추적대상 움직임 정보 수집 단계는,
상기 추적대상이 중심영역으로부터 벗어나는 경우, 상기 추적대상의 움직임 추적하도록 상기 카메라가 회전하는, 객체 추적 방법.
The method of claim 7, wherein the step of collecting motion information to be tracked comprises:
When the tracking target deviates from the central region, the camera rotates to track the motion of the tracking target.
 제9항에 있어서, 상기 추적대상 움직임 정보 수집 단계는,
상기 카메라가 상기 중심 각도에 고정된 상태에서, 상기 추적대상의 움직임을 추적하도록 회전하는 상태로 전환되는 경우, 상기 추적대상이 촬영되는 영역의 중심부에 위치하도록 회전하는, 객체 추적 방법.
The method of claim 9, wherein the step of collecting motion information to be tracked comprises:
When the camera is switched from a state fixed to the central angle to a state of rotation to track the movement of the tracking target, the tracking target is rotated to be located in the center of a photographed area.
 제7항에 있어서, 상기 중심영역은,
상기 관심영역에서 나타나는 측정 가능한 전방 거리와 상기 관심영역에서 나타나는 측정 가능한 좌측방 거리 및 우측방 거리의 비율에 대한 아크탄젠트를 계산하고, 상기 좌측방 거리에 대한 아크탄젠트 결과와 상기 우측방 거리에 대한 아크탄젠트 결과의 사이 범위를 나타내는, 객체 추적 방법.
The method of claim 7, wherein the central region,
Calculate the arc tangent of the ratio of the measurable forward distance appearing in the region of interest and the measurable left and right distances appearing in the region of interest, and the arc tangent result for the left distance and the right distance An object tracking method, indicating the range between arctangent results.
 제7항에 있어서, 상기 추적대상 좌표 정보 산출 단계는,
복수개의 이벤트 존이 생성되는 경우, 상기 관심영역 내부에 마련되는 중요 위치를 나타내는 크리티컬 존과 상기 복수개의 이벤트 존의 거리 차이를 각각 계산하고, 상기 크리티컬 존에 가장 가까운 이벤트 존에 위치하는 추적대상의 좌표 정보를 생성하는, 객체 추적 방법.

According to claim 7, wherein the step of calculating the tracking target coordinate information,
When a plurality of event zones are generated, a distance difference between a critical zone indicating an important location provided inside the region of interest and the plurality of event zones is calculated, respectively, and the tracking target located in the event zone closest to the critical zone is determined. An object tracking method that generates coordinate information.
KR1020200015035A 2020-02-07 2020-02-07 Object tracking system and method for tracking the target existing in the region of interest KR20210100983A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200015035A KR20210100983A (en) 2020-02-07 2020-02-07 Object tracking system and method for tracking the target existing in the region of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200015035A KR20210100983A (en) 2020-02-07 2020-02-07 Object tracking system and method for tracking the target existing in the region of interest

Publications (1)

Publication Number Publication Date
KR20210100983A true KR20210100983A (en) 2021-08-18

Family

ID=77464494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200015035A KR20210100983A (en) 2020-02-07 2020-02-07 Object tracking system and method for tracking the target existing in the region of interest

Country Status (1)

Country Link
KR (1) KR20210100983A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230108566A (en) 2022-01-11 2023-07-18 주식회사 아이티엑스에이아이 System for notifying danger of workplace

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230108566A (en) 2022-01-11 2023-07-18 주식회사 아이티엑스에이아이 System for notifying danger of workplace

Similar Documents

Publication Publication Date Title
KR102001594B1 (en) Radar-camera fusion disaster tracking system and method for scanning invisible space
US9215358B2 (en) Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
Collins et al. A system for video surveillance and monitoring
AU2012255691B2 (en) Surveillance system
EP1765014B1 (en) Surveillance camera apparatus and surveillance camera system
Scotti et al. Dual camera intelligent sensor for high definition 360 degrees surveillance
US8416298B2 (en) Method and system to perform optical moving object detection and tracking over a wide area
CN112016483B (en) Relay system, method, device and equipment for target detection
TW201539383A (en) Intrusion detection with motion sensing
Abidi et al. Survey and analysis of multimodal sensor planning and integration for wide area surveillance
Hammer et al. UAV detection, tracking, and classification by sensor fusion of a 360 lidar system and an alignable classification sensor
Sheu et al. Dual-axis rotary platform with UAV image recognition and tracking
CN112804454A (en) Wide area warning system and warning method thereof
CN109785562B (en) Vertical photoelectric ground threat alert system and suspicious target identification method
KR20210100983A (en) Object tracking system and method for tracking the target existing in the region of interest
Kogut et al. Using video sensor networks to command and control unmanned ground vehicles
CN113068000A (en) Method, device, equipment and system for monitoring video target and storage medium
KR102305438B1 (en) System and method for UAV surveillance
US20190065850A1 (en) Optical surveillance system
EP3905116B1 (en) Image processing system for identifying and tracking objects
Thomas et al. Toward sensor modular autonomy for persistent land intelligence surveillance and reconnaissance (ISR)
CN115236654A (en) Multi-band and multi-dimension based all-weather working composite radar equipment
Picus et al. Novel Smart Sensor Technology Platform for Border Crossing Surveillance within FOLDOUT
Hägelen et al. Perimeter surveillance using a combination of radar and optical sensors
WO2005120070A2 (en) Method and system for performing surveillance

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination