KR102441436B1 - System and method for security - Google Patents
System and method for security Download PDFInfo
- Publication number
- KR102441436B1 KR102441436B1 KR1020170082621A KR20170082621A KR102441436B1 KR 102441436 B1 KR102441436 B1 KR 102441436B1 KR 1020170082621 A KR1020170082621 A KR 1020170082621A KR 20170082621 A KR20170082621 A KR 20170082621A KR 102441436 B1 KR102441436 B1 KR 102441436B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- sensor
- event
- security monitoring
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
레이더 센서와 전방향 카메라와 연동한 보안 감시 시스템이 감시하기 위하여, 레이더 센서가 특정 오브젝트를 센싱하여 수집한 위상 별 거리 정보와 전방향 카메라가 특정 오브젝트를 촬영한 영상을 토대로, 레이더 센서와 전방향 카메라를 동기화한다. 임의의 오브젝트에 의한 이벤트를 감지하기 위하여 적어도 하나의 관심 영역을 설정하고, 레이더 센서 및 전방향 카메라가 관심 영역을 지나는 임의의 오브젝트를 센싱하거나 영상을 수집하면, 임의의 오브젝트에 대한 센싱 정보와 영상을 토대로 이벤트 발생을 알린다.In order to be monitored by the security monitoring system interlocked with the radar sensor and the omni-directional camera, the radar sensor and the omnidirectional Synchronize the camera. At least one region of interest is set to detect an event by an arbitrary object, and when a radar sensor and an omnidirectional camera sense an object passing through the region of interest or collect an image, sensing information and image of the arbitrary object Notifies the occurrence of an event based on
Description
본 발명은 보안 감시 시스템 및 이를 이용한 보안 감시 방법에 관한 것이다.The present invention relates to a security monitoring system and a security monitoring method using the same.
최근 범죄의 잦은 발생으로 불안감이 증가됨에 따라, 개인이나 공공 안전에 대한 관심이 증가하고 있다. 이러한 이유로 범죄를 사전에 예방하고 발생된 범죄에 대해 사후 분석 및 해결을 위하여 다양한 형태의 감시 시스템들이 개발, 활용되고 있다.Recently, as anxiety increases due to the frequent occurrence of crime, interest in personal or public safety is increasing. For this reason, various types of monitoring systems have been developed and utilized to prevent crimes in advance and to analyze and solve crimes after they have occurred.
대표적으로 CCTV(Closed Circuit Television)은 광역 카메라를 이용하여 공공 장소나 우범 지역, 출입 통제 구역 등 보안이 요구되는 장소에 설치된다. 그리고 CCTV를 통해 수집한 화면 영상을 관제 센터의 감시 인력이 모니터링 하거나 저장 장치에 녹화한 후 사후 영상을 분석하는 방식 등을 통해 감시를 수행하고 있다.Typically, CCTV (Closed Circuit Television) is installed in places requiring security, such as public places, crime areas, and access control areas using wide-area cameras. In addition, surveillance personnel at the control center monitor the screen images collected through CCTV, or record them in a storage device and then analyze the images afterward.
이 경우, CCTV는 고정된 반경의 지역만을 감시하기 때문에, 설치된 CCTV로 실내를 감시할 경우 많은 카메라들을 실내에 설치하여 감시를 수행해야 한다. 따라서, 카메라 설치에 대한 부담과 비용 절감을 이유로 CCTV가 설치되기 때문에, 사각 지역이 발생하게 된다.In this case, since CCTV monitors only an area with a fixed radius, when monitoring indoors with installed CCTVs, many cameras must be installed indoors to perform monitoring. Therefore, since the CCTV is installed for the reason of the burden and cost reduction of the camera installation, a blind area is generated.
또한, CCTV와 함께 감시 영역에 설치된 센서들을 통해서도 보안 감시를 수행하는 경우가 늘어나고 있다. 이 경우, CCTV가 수집한 영상과 센서들이 수집한 감시 정보가 각각 감시자에게 제공되기 때문에 감시 영상과 센서 정보가 어떠한 관계를 갖는지 파악하기 어려운 문제점이 있다.In addition, the number of cases where security monitoring is performed through sensors installed in the monitoring area together with CCTV is increasing. In this case, there is a problem in that it is difficult to understand the relationship between the surveillance image and the sensor information because the video collected by the CCTV and the monitoring information collected by the sensors are respectively provided to the monitor.
그리고, 영상만을 분석하여 관제를 수행하는 경우, 관심 영역으로 지정한 구역에 설치된 실내등과 같은 구조물에 변화가 발생할 경우, 이를 이벤트가 발생한 것으로 잘못 탐지하는 경우가 빈번하다. 이는 영상 자체는 평면 정보만을 가지기 때문에 영역의 거리와 상관 없이 관심 영역의 변화만을 감지하기 때문이다.In addition, when performing control by analyzing only an image, when a change occurs in a structure such as an indoor light installed in an area designated as an area of interest, it is frequently mistakenly detected as an event. This is because the image itself has only plane information, so only the change of the ROI is detected regardless of the distance of the region.
따라서, 본 발명은 레이더 센서와 전방위 카메라가 동기화된 보안 감시 시스템 및 이를 이용한 보안 감시 방법을 제공한다.Accordingly, the present invention provides a security monitoring system in which a radar sensor and an omnidirectional camera are synchronized and a security monitoring method using the same.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 레이더 센서와 전방향 카메라와 연동한 보안 감시 시스템이 감시하는 방법으로서,As a method of monitoring by a security monitoring system interlocked with a radar sensor and an omnidirectional camera, which is one feature of the present invention for achieving the technical problem of the present invention,
상기 레이더 센서가 특정 오브젝트를 센싱하여 수집한 위상 별 거리 정보와 상기 전방향 카메라가 상기 특정 오브젝트를 촬영한 영상을 토대로, 상기 레이더 센서와 전방향 카메라를 동기화하는 단계, 오브젝트에 의한 이벤트를 감지하기 위하여 적어도 하나의 관심 영역을 설정하는 단계, 그리고Synchronizing the radar sensor and the omnidirectional camera based on distance information for each phase collected by the radar sensor sensing a specific object and an image captured by the omni-directional camera of the specific object; detecting an event caused by an object establishing at least one region of interest for
상기 레이더 센서 및 전방향 카메라가 상기 관심 영역을 지나는 임의의 오브젝트를 센싱하고 영상을 수집하면, 상기 임의의 오브젝트에 대한 센싱 정보와 영상을 수신한 시간 차를 토대로 이벤트 발생을 알리는 단계를 포함한다.and when the radar sensor and the omnidirectional camera sense an arbitrary object passing the ROI and collect an image, notifying the occurrence of an event based on a time difference between the sensing information of the arbitrary object and the reception of the image.
상기 동기화하는 단계는,The synchronizing step is
외부로부터 동기화 요청 신호를 수신하는 단계, 상기 전방향 카메라로부터 전송되는 임의의 위치에서 특정 이벤트를 실행하는 상기 특정 오브젝트에 대한 영상을 분석하고, 상기 특정 오브젝트의 위치를 기준 위치로 설정하는 단계, 상기 특정 오브젝트에 대한 센싱 정보를 상기 레이더 센서로부터 수신하고, 센싱 정보에 포함된 상기 특정 오브젝트의 위상을 기준 위상으로 조정하는 단계, 그리고Receiving a synchronization request signal from the outside, analyzing an image of the specific object executing a specific event at an arbitrary position transmitted from the omni-directional camera, and setting the position of the specific object as a reference position, the receiving sensing information for a specific object from the radar sensor, and adjusting a phase of the specific object included in the sensing information as a reference phase; and
상기 기준 위치에 상기 기준 위상을 매핑하여 상기 전방향 카메라와 레이더 센서를 동기화하는 단계를 포함할 수 있다.It may include synchronizing the omnidirectional camera and the radar sensor by mapping the reference phase to the reference position.
상기 기준 위치로 설정하는 단계는, 상기 기준 위치는 0도로 설정하는 단계, 그리고 상기 전방향 카메라로부터 전송된 영상으로부터 수집한 해상도를 미리 설정한 수로 분할하여, 90도 180도 및 270도를 설정하는 단계를 포함할 수 있다.The step of setting the reference position includes the steps of setting the reference position to 0 degrees, and dividing the resolution collected from the image transmitted from the omni-directional camera into a preset number to set 90
상기 기준 위치로 설정하는 단계 이전에, 상기 레이더 센서로부터 위상 별 거리 정보를 포함하는 배경 데이터를 수집하여 저장하는 단계를 더 포함하고, 상기 배경 데이터는 상기 레이더 센서가 설치된 영역에 움직임이 감지되지 않을 때, 상기 레이더 센서가 설치된 위치로부터 설치 영역 내 벽까지의 위상 별 거리 정보에 해당할 수 있다.The method further comprises collecting and storing background data including distance information for each phase from the radar sensor before the step of setting the reference position, wherein the background data is not detected in the area where the radar sensor is installed. In this case, it may correspond to distance information for each phase from the location where the radar sensor is installed to the wall within the installation area.
상기 이벤트 발생을 알리는 단계는, 상기 전방향 카메라로부터 상기 관심 영역을 지나는 임의의 오브젝트에 대한 영상을 수신하는 단계, 상기 레이더 센서로부터 상기 임의의 오브젝트에 대한 센싱 정보를 수신하는 단계, 상기 영상을 수신한 시점과 상기 센싱 정보를 수신한 시점이, 미리 설정한 시간 내에 발생하는지 확인하는 단계, 그리고 상기 미리 설정한 시간 내에 상기 센싱 정보와 영상을 수신하면, 이벤트가 발생한 것으로 확인하는 단계를 포함할 수 있다.The step of notifying the occurrence of the event may include: receiving an image of an arbitrary object passing the region of interest from the omnidirectional camera; receiving sensing information on the arbitrary object from the radar sensor; receiving the image Checking whether a point in time and a point in time at which the sensing information is received occur within a preset time, and when the sensing information and the image are received within the preset time, confirming that an event has occurred have.
상기 센싱 정보를 수신하는 단계는, 센싱 정보에 포함된 위상별 거리 정보를 확인하는 단계, 상기 확인한 위상별 거리 정보와 상기 배경 데이터로 저장한 위상별 거리 정보를 비교하는 단계, 그리고 임의의 위상에 대하여 저장된 배경 데이터상 거리와 센싱 정보에 포함된 거리가 차이가 있으면, 상기 임의의 오브젝트를 탐지한 것으로 확인하는 단계를 포함할 수 있다.The step of receiving the sensing information includes the steps of checking the distance information for each phase included in the sensing information, comparing the checked distance information for each phase with the distance information for each phase stored as the background data, and in any phase If there is a difference between the distance on the stored background data and the distance included in the sensing information, the method may include confirming that the arbitrary object is detected.
상기 이벤트 발생을 알리는 단계 이후에, 상기 이벤트가 발생한 순서에 따라 상기 오브젝트의 이동 경로를 포함하는 감시 정보를 생성하는 단계를 포함하고, 상기 이동 경로상의 오브젝트는, 상기 레이더 센서가 상기 임의의 오브젝트를 탐지한 센싱 정보의 위상별 거리를 토대로 상기 전방향 카메라가 상기 임의의 오브젝트를 촬영한 영상을 확대 또는 축소하여 제공할 수 있다.After the step of notifying the occurrence of the event, generating monitoring information including a movement path of the object according to the order in which the event occurs, wherein the object on the movement path is determined by the radar sensor to detect the arbitrary object. The omni-directional camera may enlarge or reduce the image captured by the arbitrary object based on the detected distance for each phase of the sensing information.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 레이더 센서와 전방향 카메라와 연동한 보안 감시 시스템으로서,As another feature of the present invention for achieving the technical problem of the present invention, a security monitoring system interlocked with a radar sensor and an omnidirectional camera,
상기 레이더 센서와 통신하여 배경 데이터, 특정 오브젝트로부터 수집한 동기화를 위한 센싱 정보, 그리고 설정된 관심 영역을 지나는 임의의 오브젝트를 센싱한 센싱 정보를 수신하고, 상기 전방향 카메라와 통신하여 상기 특정 오브젝트와 상기 임의의 오브젝트에 대한 영상을 수신하는 통신부, 상기 특정 오브젝트로부터 수집한 동기화를 위한 센싱 정보와 영상을 토대로 상기 레이더 센서와 전방향 카메라를 동기화하고, 상기 배경 데이터, 임의의 오브젝트에 대한 센싱 정보와 영상을 토대로 이벤트 발생을 탐지하여 감시 정보를 생성하는 프로세서, 그리고 상기 레이더 센서로부터 수신한 기준 데이터, 상기 설정한 관심 영역, 그리고 레이더 센서와 전방향 카메라의 동기화 정보를 저장하는 메모리를 포함한다.It communicates with the radar sensor to receive background data, sensing information for synchronization collected from a specific object, and sensing information for sensing an arbitrary object passing a set ROI, and communicates with the omnidirectional camera to communicate with the specific object and the A communication unit that receives an image of an arbitrary object, synchronizes the radar sensor and the omni-directional camera based on sensing information and image for synchronization collected from the specific object, and the background data, sensing information and image of an arbitrary object and a processor for generating monitoring information by detecting the occurrence of an event based on , and a memory for storing reference data received from the radar sensor, the set region of interest, and synchronization information between the radar sensor and the omnidirectional camera.
상기 프로세서는, 상기 레이더 센서와 전방향 카메라에 대한 동기화 요청 신호를 수신하면, 상기 전방향 카메라로부터 전송된 영상을 분석하여, 상기 특정 오브젝트의 위치를 기준 위치로 설정하고, 상기 레이더 센서로부터 수신한 동기화를 위한 센싱 정보를 분석하여, 상기 특정 오브젝트에 대한 위상을 기준 위상으로 설정하며, 상기 기준 위치와 기준 위상을 매핑하여 상기 레이더 센서와 전방향 카메라를 동기화할 수 있다.When the processor receives a synchronization request signal for the radar sensor and the omni-directional camera, the processor analyzes the image transmitted from the omni-directional camera, sets the position of the specific object as a reference position, and receives from the radar sensor. By analyzing sensing information for synchronization, the phase of the specific object is set as a reference phase, and the reference position and the reference phase are mapped to synchronize the radar sensor and the omnidirectional camera.
상기 프로세서는, 상기 임의의 오브젝트가 상기 관심 영역에 위치하여 상기 임의의 오브젝트에 대한 이벤트 발생 시점과 상기 임의의 오브젝트에 대한 영상을 수신한 시점을 비교하여 미리 설정한 시간 내에 발생한 것으로 확인하면, 상기 임의의 오브젝트에 의해 이벤트가 발생한 것으로 알릴 수 있다. If the processor determines that the arbitrary object is located in the region of interest and has occurred within a preset time by comparing an event occurrence time for the arbitrary object and a time at which an image for the arbitrary object is received, the It can be notified that an event has occurred by an arbitrary object.
본 발명에 따르면 전방위 카메라를 통해 수집된 여러 영상들을 분석하기 때문에 사각이 없는 시야각을 확보할 수 있을 뿐만 아니라 저렴한 비용으로 여러 대의 카메라가 감시하는 효과를 얻을 수 있다.According to the present invention, since several images collected through an omnidirectional camera are analyzed, a viewing angle without blind spots can be secured, and the effect of multiple cameras monitoring can be obtained at a low cost.
또한, 레이더 센서와 전방위 카메라의 동기화를 통해, 보다 정확한 보안 감시에 대한 분석이 가능하며, 이벤트 전체의 흐름을 끊김 없이 제공할 수 있다.In addition, through the synchronization of the radar sensor and the omnidirectional camera, more accurate analysis of security monitoring is possible, and the flow of the entire event can be provided without interruption.
도 1은 일반적인 카메라를 이용한 영상 감시 방법에 대한 예시도이다.
도 2는 본 발명의 실시예에 따른 보안 감시 시스템이 적용된 환경의 예시도이다.
도 3은 본 발명의 실시예에 따른 보안 감시 시스템의 구조도이다.
도 4는 본 발명의 실시예에 따른 보안 감시 시스템의 초기 설정 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 보안 감시 시스템이 이벤트를 감지하는 방법에 대한 흐름도이다.
도 6은 본 발명의 실시예에 따른 전방향 카메라와 센서가 동기화된 예시도이다.
도 7은 본 발명의 실시예에 따른 관심 영역이 설정된 예시도이다.
도 8은 본 발명의 실시예에 따른 알림 화면에 대한 예시도이다.
도 9는 본 발명의 실시예에 따른 레이더 센서와 전방향 카메라의 연동에 따라 제공되는 감시 정보에 대한 예시도이다.1 is an exemplary diagram of an image monitoring method using a general camera.
2 is an exemplary diagram of an environment to which a security monitoring system according to an embodiment of the present invention is applied.
3 is a structural diagram of a security monitoring system according to an embodiment of the present invention.
4 is a flowchart of an initial setting method of a security monitoring system according to an embodiment of the present invention.
5 is a flowchart of a method for detecting an event by a security monitoring system according to an embodiment of the present invention.
6 is an exemplary diagram in which an omnidirectional camera and a sensor are synchronized according to an embodiment of the present invention.
7 is an exemplary diagram in which a region of interest is set according to an embodiment of the present invention.
8 is an exemplary diagram of a notification screen according to an embodiment of the present invention.
9 is an exemplary diagram of monitoring information provided according to interworking of a radar sensor and an omnidirectional camera according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 보안 감시 시스템 및 이를 이용한 보안 감시 방법에 대해 설명한다.Hereinafter, a security monitoring system and a security monitoring method using the same according to an embodiment of the present invention will be described with reference to the drawings.
본 발명의 실시예에 대해 설명하기 앞서, 일반적인 영상 감시를 위한 Before describing the embodiment of the present invention, for general video surveillance
도 1은 일반적인 카메라를 이용한 영상 감시 방법에 대한 예시도이다.1 is an exemplary diagram of an image monitoring method using a general camera.
도 1의 (a)는 세 대의 카메라(10-1∼10-3)를 관제가 필요한 임의의 공간에 설치하고, 영상 감시를 위해 설정된 관심 영역(ROI: Region Of Interest)을 나타난 예시도이다. 도 1의 (a)에 나타낸 바와 같이, 종래에는 임의의 공간에 대한 영상 감시를 위해서 이벤트(예를 들어, 침입, 도난 등)가 발생하기 쉬운 영역(예를 들어, 창문, 출입구 등)을 감시하도록 카메라를 설치한다. FIG. 1(a) is an exemplary diagram illustrating a region of interest (ROI) set for video surveillance by installing three cameras 10-1 to 10-3 in an arbitrary space that requires control. As shown in Fig. 1 (a), in the related art, for video monitoring of an arbitrary space, an area (eg, a window, a doorway, etc.) where an event (eg, intrusion, theft, etc.) is likely to occur is monitored. Install the camera to
그리고, 이벤트가 발생하기 쉬운 영역 이외의 공간에서의 이벤트 발생 가능성을 염두하여, 카메라를 설치한 후 관심 영역을 설정한다. 이때, 카메라에 의해 영상 정보가 수집되지 않는 사각 지대가 발생할 수 있다.In addition, the ROI is set after the camera is installed in consideration of the possibility of occurrence of an event in a space other than an area where an event is likely to occur. In this case, a blind spot in which image information is not collected by the camera may occur.
이를 위해, 사각 지대에 대한 감시 또는 이벤트가 발생하기 쉬운 영역의 정확한 감시를 위하여 카메라 이외에 센서를 추가하여 감시한다. 이 경우 감시 시스템은 각 카메라에서 수집한 영상 정보와 센서가 수집한 센싱 정보를 조합하여 알림 영상을 도 1의 (b)에 나타낸 바와 같이 제공한다.To this end, in order to monitor a blind spot or to accurately monitor an area where an event is likely to occur, a sensor is added in addition to the camera for monitoring. In this case, the monitoring system provides a notification image by combining the image information collected by each camera and the sensing information collected by the sensor as shown in FIG. 1(b).
도 1의 (b)에 도시한 바와 같이, 각 카메라(10-1∼10-3)에서 수집한 영상을 수신한 관제 센터에 설치된 관제 서버는 영상 정보와 센싱 정보를 분석하여 분석 정보로 제공한다. 이를 위해, 관심 영역(10-4)을 라인 크로스 형태로 지정하고, 라인 크로스를 넘어가거나 영역 내에 침범할 경우, 관제 서버는 라인 크로스와 센서가 센싱한 정보를 조합하여 알림 영상을 제공한다.As shown in (b) of FIG. 1 , the control server installed in the control center that receives the images collected by each camera 10-1 to 10-3 analyzes the image information and the sensing information and provides it as analysis information. . To this end, the region of interest 10 - 4 is designated in the form of a line cross, and when the line cross is crossed or invaded within the region, the control server provides a notification image by combining the line cross and information sensed by the sensor.
이때, 복수의 카메라(10-1∼10-3)로 영상 정보를 수집하고 별도로 설치된 센서 역시 센싱 정보를 수집하기 때문에, 이벤트가 발생한 순서대로 복수의 영상 정보와 센싱 정보가 각각 제공된다. 따라서, 이벤트에 대해 복수의 정보를 시청하거나 확인해야 하기 때문에 번거로움이 있다.At this time, since image information is collected by a plurality of cameras 10-1 to 10-3 and sensing information is also collected by a separately installed sensor, a plurality of image information and sensing information are provided in the order in which an event occurs. Therefore, it is cumbersome because it is necessary to view or check a plurality of pieces of information about the event.
또한, 복수의 카메라가 설치되기 때문에 설치 비용에 대한 부담이 생기며, 복수의 카메라가 설치된다 하더라도 사각 지대가 발생하여 정확한 감시가 어려운 문제점이 있다. In addition, since a plurality of cameras are installed, an installation cost is burdened, and even if a plurality of cameras are installed, there is a problem in that a blind spot occurs and accurate monitoring is difficult.
따라서, 본 발명의 실시예에서는 360도 전방향 카메라 한 대를 통해 영역을 사각 지대 없이 감시할 수 있다. 뿐만 아니라, 전방향 카메라와 함께 정확한 분석을 위하여 레이더 센서를 이용하여 센싱한 센싱 정보를 함께 제공하므로, 감시 정보를 제공 받는 사용자는 복수의 분석 정보가 아닌 하나의 정보만으로도 감시 정보를 확인할 수 있다.Therefore, in the embodiment of the present invention, the area can be monitored without blind spots through a single 360-degree omnidirectional camera. In addition, since sensing information sensed using a radar sensor is provided for accurate analysis together with an omni-directional camera, a user receiving monitoring information can check monitoring information only with one piece of information instead of a plurality of analysis information.
이와 같이 전방향 카메라와 레이더 센서를 이용하여 감시 영역을 감시하는 보안 감시 시스템(100)이 적용된 환경과 보안 감시 시스템(100)의 구조에 대해 도 2 및 도 3을 참조로 설명한다.As described above, an environment to which the
도 2는 본 발명의 실시예에 따른 보안 감시 시스템이 적용된 환경의 예시도이다.2 is an exemplary diagram of an environment to which a security monitoring system according to an embodiment of the present invention is applied.
도 2에 도시된 바와 같이, 보안 감시 시스템(100)은 하나의 전방향 카메라(200)와 하나의 레이더 센서(300)와 연동한다. 본 발명의 실시예에서는 360도 전방향 카메라(200)와 레이더 센서(300)를 사용하는 것을 예로 하여 설명하나, 카메라와 센서가 반드시 이와 같이 한정되는 것은 아니다. 그리고, 본 발명의 실시예에서는 레이더 센서(300)와 전방향 카메라(200)가 실내의 정 중앙에 설치되는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.As shown in FIG. 2 , the
보안 감시 시스템(100)은 전방향 카메라(200)와 레이더 센서(300)의 동기화를 수행한다. 보안 감시 시스템(100)이 전방향 카메라(200)와 레이더 센서(300)의 동기화를 수행하는 방법에 대해서는 이후 상세히 설명한다.The
그리고, 보안 감시 시스템(100)은 하나의 전방향 카메라(200)가 수집한 영상 정보와 하나의 레이더 센서(300)가 센싱한 센싱 정보를 각각 분석하고, 분석한 영상 분석 정보와 센서 분석 정보를 토대로 클라이언트(400)로 감시 정보를 제공한다. And, the
이상에서 설명한 환경에서, 전방향 카메라(200)와 레이더 센서(300)를 동기화하고, 클라이언트(400)로 영상 정보와 센싱 정보가 융합된 감시 정보를 제공하는 보안 감시 시스템(100)의 구조에 대해 도 3을 참조로 설명한다.About the structure of the
도 3은 본 발명의 실시예에 따른 보안 감시 시스템의 구조도이다.3 is a structural diagram of a security monitoring system according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 보안 감시 시스템(100)은 통신부(110), 프로세서(120) 그리고 메모리(130)를 포함한다.As shown in FIG. 3 , the
통신부(110)는 전방향 카메라(200)와 통신하며, 전방향 카메라(200)가 수집한 영상을 수신한다. 그리고 통신부(110)는 레이더 센서(300)와 통신하며, 레이더 센서(300)가 수집한 배경 데이터와 센싱 데이터를 수신한다. The
여기서, 레이더 센서(300)로부터 전송되는 배경 데이터는, 레이더 센서(300)가 설치된 장소에 아무런 움직임이 없을 때 수집한 센싱 정보를 의미한다. 배경 데이터는 위상별 거리 정보와, 품질 정보를 포함한다. 위상별 거리 정보는 실내에 설치된 레이더 센서(300)를 기준으로 각각의 위상별로 레이더 센서(300)에서 벽까지의 거리 정보를 의미한다. 품질 정보는 레이더 센서(300)의 센싱 정보에 대한 신뢰도로, 본 발명의 실시예에서는 신뢰도를 측정하는 방법에 대한 상세한 설명을 생략한다.Here, the background data transmitted from the radar sensor 300 means sensing information collected when there is no movement in the place where the radar sensor 300 is installed. The background data includes distance information for each phase and quality information. The distance information for each phase means distance information from the radar sensor 300 to the wall for each phase based on the radar sensor 300 installed indoors. The quality information is the reliability of the sensing information of the radar sensor 300 , and a detailed description of a method of measuring the reliability is omitted in the embodiment of the present invention.
또한, 통신부(110)는 레이더 센서(300)로부터 전송되는 동기화 요청 신호도 수신한다. 통신부(110)가 전방향 카메라(200) 및 레이더 센서(300)와 통신하는 방법과 통신 형태는 어느 하나로 한정하지 않는다.Also, the
그리고 통신부(110)는 프로세서(120)가 생성한 이벤트 발생 알림과 감시 정보를 클라이언트(400)에 제공한다. 감시 정보는 이벤트가 발생한 순서와 이벤트가 발생한 위치를 기준으로 레이더 센서(300)와의 거리 정보에 따라 오브젝트가 확대(zoom-in)/축소(zoom-out)되어 제공되는 것을 예로 하여 설명한다. 감시 정보의 형태에 대해서는 이후 설명한다.In addition, the
프로세서(120)는 외부로부터 동기화 요청 신호가 입력되면, 동기화 요청 신호가 입력된 직후 전방향 카메라(200)가 수집한 영상을 수신하여 분석한다. 전방향 카메라(200)가 수집한 영상은 미리 설정된 위치 또는 임의의 위치라도 동일한 위치에서 특정 오브젝트가 반복적으로 수행하는 이벤트를 포함하고 있다. When a synchronization request signal is input from the outside, the
프로세서(120)는 분석한 영상에서 이벤트를 수행하는 오브젝트의 위치를 기준 위치로 설정한다. 그리고 프로세서(120)는 영상에서 수집한 해상도를 4개로 분할하여, 90도, 180도, 270도로 설정한다. The
프로세서(120)는 기준 위치를 설정하면, 레이더 센서(300)가 센싱한 센싱 정보를 수신하여 분석한다. 분석한 센싱 정보를 통해 보안 감시 시스템(100)은 특정 오브젝트가 이벤트를 반복적으로 수행한 위치의 위상을 0도인 기준 위상으로 조정한다. When the reference position is set, the
프로세서(120)는 분석한 영상에서 설정한 기준 위치에 기준 위상이 대응되도록 하여, 전방향 카메라(200)와 레이더 센서(300)를 동기화한다. 본 발명의 실시예에서는 설명의 편의를 위하여 특정 오브젝트(예를 들어, 사람)가 동일한 장소에서 동일한 움직임(예를 들어, 점프 등)을 반복하면, 이를 전방향 카메라(200)가 수집하는 것을 예로 하여 설명한다.The
그리고, 본 발명의 실시예에서는 설명의 편의를 위하여, 동기화 요청 신호가 입력된 직후 전방향 카메라(200)와 레이더 센서(300)가 각각 수집한 영상과 센싱 정보를 '동기화 데이터'라 지칭한다. 또한, 본 발명의 실시예에서는 임의의 오브젝트가 레이더 센서(300)에 구비된 동기화 버튼을 미리 설정한 시간 동안 누르면 동기화 요청 신호가 발생하는 것을 예로 하여 설명한다. In addition, in the embodiment of the present invention, for convenience of explanation, images and sensing information collected by the
프로세서(120)는 전방향 카메라(200)와 레이더 센서(300)를 동기화한 후, 전방향 카메라(200)가 수집한 영상과 레이더 센서(300)가 수집한 센싱 데이터를 분석한다. 그리고 전방향 카메라(200)가 촬영한 영상에서 움직임이 감시된 시점과 레이더 센서(300)가 움직임을 감지한 시점이 미리 설정한 시간 내에 발생하였는지 확인한다. 만약 미리 설정한 시간 내에 두 이벤트가 발생하면, 프로세서(120)는 전방향 카메라(200)가 수집한 영상과 레이더 센서(300)가 수집한 센싱 데이터를 각각 알림 화면으로 생성하여 클라이언트로 제공한다. After synchronizing the
이를 위해, 프로세서(120)는 메모리(130)에 저장되어 있는 레이더 센서(300)에 대한 배경 데이터와 레이더 센서(300)가 수집한 센싱 정보를 비교하여, 이벤트가 발생하였는지 확인한다. 그리고 프로세서(120)는 전방향 카메라(200)가 수집한 영상과 메모리(130)에 저장되어 있는 관심 영역을 토대로, 오브젝트에 의해 이벤트가 발생하였는지 확인한다. 이벤트 발생 여부에 대해 판단하는 방법에 대해서는 이후 상세히 설명한다.To this end, the
프로세서(120)는 클라이언트로 각각 제공된 알림 화면을 이용하여 감시 정보를 생성한다. 프로세서(120)는 감시 정보를 생성할 때, 먼저 영상으로부터 이벤트가 발생한 발생 순서대로 x좌표, y좌표, 그리고 z좌표 각각에 대한 좌표 값을 추출한다. 그리고, 프로세서(120)는 레이더 센서(300)가 감지한 센싱 데이터에서 이벤트가 발생한 순서대로 위상별 거리 정보를 수집한다. 프로세서(120)는 좌표 값과 위상별 거리 정보를 토대로 오브젝트의 영상을 확대하거나 축소하여 감시 정보로 생성한다.The
메모리(130)는 레이더 센서(300)가 수집한 배경 데이터, 전방향 카메라(200)에 의해 촬영되는 영상 중 관심 영역에 대한 설정 정보, 그리고 레이더 센서(300)와 전방향 카메라(200)에 대한 동기화 데이터를 저장, 관리한다. 또한, 메모리(130)는 보안 감시 시스템(100)을 실행하기 위한 소프트웨어를 저장한다.The
이상에서 설명한 보안 감시 시스템(100)이 보안 감시를 위해 전방향 카메라(200)와 레이더 센서(300)를 초기 설정하는 방법에 대해 도 4를 설명한다. 또한, 초기 설정된 전방향 카메라(200)와 레이더 센서(300)가 수집한 영상과 센싱 정보를 통해 이벤트를 감지하는 방법에 대해 도 5를 참조로 설명한다. A method for the
도 4는 본 발명의 실시예에 따른 보안 감시 시스템의 초기 설정 방법에 대한 흐름도이다.4 is a flowchart of an initial setting method of a security monitoring system according to an embodiment of the present invention.
도 4에 도시되 바와 같이, 보안 감시 시스템(100)은 레이더 센서(300)가 대한 배경 데이터를 수집한다(S100). 배경 데이터는 레이더 센서(300)가 설치된 장소 내에 오브젝트에 대한 어떠한 움직임이 없을 때 수집한 센싱 정보를 의미한다. 배경 데이터는 위상별 거리 정보와, 품질 정보를 포함하며, 다음 표 1과 같이 수집된다.As shown in FIG. 4 , the
표 1의 각 필드에 대해 설명하면, 레이더 센서(300)가 설치된 위치를 기준으로, 위상 39.9844도에서 벽까지의 거리는 4381mm가 됨을 알 수 있다. 본 발명의 실시예에서는 실내에 레이더 센서(300)가 설치된 것을 예로 하여 설명하므로, 0도부터 360도까지의 위상을 토대로 수집된 거리 정보를 토대로 선을 연결하면 실내 구조가 나타난다. When each field in Table 1 is described, it can be seen that the distance from the wall to the wall at 39.9844 degrees in phase is 4381 mm based on the position where the radar sensor 300 is installed. In the embodiment of the present invention, since the radar sensor 300 is installed indoors as an example, the indoor structure is shown when lines are connected based on the distance information collected based on the phase from 0 degrees to 360 degrees.
표 1에서 품질 정보는 레이더 센서(300)가 센싱한 센싱 정보에 대한 신뢰도로, 전체 오브젝트 탐지 횟수 중 오탐 횟수에 대한 비율을 토대로 계산된 수치이다. 본 발명의 실시예에서는 레이더 센서(300)에 대한 배경 데이터 중 품질 정보가 레이더 센서(300)의 제조업체에서 계산한 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.In Table 1, the quality information is the reliability of the sensed information sensed by the radar sensor 300, and is a value calculated based on the ratio of the number of false positives among the total number of object detections. In the embodiment of the present invention, although the quality information among the background data for the radar sensor 300 is calculated by the manufacturer of the radar sensor 300 as an example, the description is not necessarily limited thereto.
보안 감시 시스템(100)은 레이더 센서(300)로부터 동기화 요청 신호를 수신한다(S101). 본 발명의 실시예에서는 동기화 요청 신호가 레이더 센서(300)로부터 전송되는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.The
보안 감시 시스템(100)이 동기화 요청 신호를 수신하는 시점에, 임의의 오브젝트는 특정 이벤트를 반복 수행한다. 본 발명의 실시예에서는 사용자가 특정 위치에서 점프를 반복적으로 수행하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.When the
보안 감시 시스템(100)은 전방향 카메라(200)가 특정 이벤트를 반복적으로 실행하고 있는 오브젝트를 촬영한 영상을 수신하여 분석한다. 보안 감시 시스템(100)은 이벤트를 실행하고 있는 오브젝트의 위치를 기준 위치로 설정한다(S102). 기준 위치의 좌표는 (0, 0, 0)이 된다. The
그리고, 보안 감시 시스템(100)은 영상에서 수집한 해상도를 4개로 분할하여, 90도, 180도, 270도로 설정한다. 보안 감시 시스템(100)이 해상도를 분할하는 방법이나, 분할한 화면의 수, 그리고 각도를 설정하는 방법은 여러 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.Then, the
보안 감시 시스템(100)은 레이더 센서(300)가 센싱한 동기화 데이터를 수신하여 분석한다(S103). 분석한 동기화 데이터를 통해 보안 감시 시스템(100)은 오브젝트가 이벤트를 수행한 위치에 대한 위상을 기준 위상으로 조정한다. 그리고 보안 감시 시스템(100)은 S102 단계에서 분석한 영상에서 기준 위치에 S103 단계에서 분석하여 조정한 기준 위상이 대응되도록 동기화한다(S104).The
레이더 센서(300)는 S104 단계를 통해 전방향 카메라(200)와 동기화되면, 오브젝트가 이벤트를 수행한 거리 정보를 확인한다. 레이더 센서(300)가 확인한 거리 정보를 수신한 보안 감시 시스템(100)은 오브젝트가 기준 위상 0도를 기준으로 레이더 센서(300)에서 거리(이하, 설명의 편의를 위하여 '기준 거리'라 지칭함)만큼 떨어진 위치에서 이벤트를 수행하고 있음을 감지할 수 있다. When the radar sensor 300 is synchronized with the
S104 단계까지를 통해 전방향 카메라(200)와 레이더 센서(300)가 동기화된 예에 대하여 도 6을 참조로 먼저 설명한다.An example in which the
도 6은 본 발명의 실시예에 따른 전방향 카메라와 센서가 동기화된 예시도이다.6 is an exemplary diagram in which an omnidirectional camera and a sensor are synchronized according to an embodiment of the present invention.
도 6의 (a)에 도시된 바와 같이, 임의의 오브젝트(500)가 특정 위치에서 점프 이벤트를 수행하면, 전방향 카메라(200)가 오브젝트를 촬영한 영상을 수신한 보안 감시 시스템(100)은 오브젝트(500)의 위치를 기준 위치(600-1)로 세팅한다. 그리고 보안 감시 시스템(100)은 영상에서 수집한 해상도(700)를 4개로 분할하여, 기준 위치(600-1)를 0도로 하여 오른쪽부터 90도(600-2), 180도(600-3), 270도(600-4)로 설정한다. As shown in (a) of FIG. 6, when an
보안 감시 시스템(100)은 레이더 센서(300)가 센싱한 동기화 데이터를 수신, 분석하여, 도 6의 (b)에 나타낸 바와 같이 오브젝트가 이벤트를 수행한 위치에 대한 위상을 0도인 기준 위상(600-5)으로 조정한다. 그리고 도 6의 (a)에 나타낸 기준 위치가 도 6의 (b)에 나타낸 기준 위상에 대응되도록 동기화한다. 이를 통해, 보안 감시 시스템(100)은 기준 위상 0도, 레이더 센서(300)로부터 기준 거리 3m 지점에서 오브젝트에 의해 이벤트가 발생하였음을 확인할 수 있다. The
한편, 도 4를 이어 설명하면, S104 단계를 통해 전방향 카메라(200)와 레이더 센서(300)가 동기화되면, 보안 감시 시스템(100)은 외부로부터 입력되는 영역 설정 정보를 토대로, 관심 영역을 설정한다(S105). 그리고, 관심 영역이 설정되면 전방향 카메라(200)와 레이더 센서(300)의 동기화와 함께 초기 설정을 완료한다(S106). 여기서, S105 단계에서 설정된 관심 영역의 예에 대해 도 7을 참조로 먼저 설명한다.Meanwhile, referring to FIG. 4 , when the
도 7은 본 발명의 실시예에 따른 관심 영역이 설정된 예시도이다.7 is an exemplary diagram in which a region of interest is set according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 외부로부터 영역 설정 정보가 입력되면, 보안 감시 시스템(100)은 관제 화면 상에 설정된 관심 영역을 표시하여 주거나, 영역 내에서 이벤트가 발생하면 이를 보안 감시 시스템(100)을 통해 감시 정보를 수신하는 사용자가 인지할 수 있도록 알려준다. As shown in FIG. 7 , when area setting information is input from the outside, the
도 7에는 위상 0도에서 레이더 센서(300)로부터 3m 떨어진 지점에 이벤트가 발생하면 이를 감지하도록 설정한 것과, 위상 150도 레이더 센서(300)로부터 4m 떨어진 지점에 이벤트가 발생하면 이를 감지하도록 설정한 것을 나타낸 것이다. 그러나, 위상과 거리를 반드시 이와 같이 한정하지 않는다. 그리고, 본 발명의 실시예에서는 외부로부터 영역 설정 정보를 수신하면 보안 감시 시스템(100)이 관심 영역을 설정하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.7 shows that when an event occurs at a
본 발명의 실시예에서는 두 곳이 관심 영역(800-1, 800-2)으로 설정되는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. In the embodiment of the present invention, two locations are set as the ROIs 800 - 1 and 800 - 2 as an example, but the present invention is not limited thereto.
이상의 절차를 통해 전방향 카메라(200)와 레이더 센서(300)가 동기화되고, 초기 설정이 완료된 후, 보안 감시 시스템(100)이 이벤트를 감지하는 방법에 대하여 도 5를 참조로 설명한다.After the
도 5는 본 발명의 실시예에 따른 보안 감시 시스템이 이벤트를 감지하는 방법에 대한 흐름도이다.5 is a flowchart of a method for detecting an event by a security monitoring system according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 보안 감시 시스템(100)은 전방향 카메라(200)와 레이더 센서(300)가 각각 수집한 센싱 정보와 영상을 수신하여 분석한다(S200, S202). 보안 감시 시스템(100)은 레이더 센서(300)로부터 센싱된 센싱 정보를 분석하여 센서에 의해 센싱된 임의의 오브젝트에 의해 위상에 따른 거리에 변화가 있는지 확인한다(S201). 즉, 레이더 센서(300)가 센싱한 센싱 정보를 분석하고, 임의의 위상에 대한 거리 정보가 미리 저장되어 있는 배경 데이터 상의 위상 별 거리 정보와 일치하는지 확인한다.As shown in FIG. 5 , the
만약 위상에 따른 거리에 변화가 없다면, 이벤트가 발생하지 않은 것으로 확인하여 S200 단계의 센싱 정보를 수신하는 단계 이후의 절차를 반복한다. 그러나, 위상에 따른 거리에 변화가 있다면, 해당 위치에 임의의 오브젝트에 의해 이벤트가 발생한 것으로 확인한다. If there is no change in the distance according to the phase, it is confirmed that the event has not occurred, and the procedure after the step of receiving the sensing information of step S200 is repeated. However, if there is a change in the distance according to the phase, it is confirmed that the event is caused by an arbitrary object at the corresponding position.
예를 들어, 배경 데이터에 따르면 위상 30도에 대한 거리가 4m라고 가정한다. 그리고 센싱 정보를 분석한 결과 위상 30도에 대한 거리가 2m로 분석되었다고 가정한다. 그러면, 보안 감시 시스템(100)은 동일한 위상에 따른 거리 값에 변화가 발생한 것으로 확인하고, 위상 30도의 2m 지점에 오브젝트가 있어 센싱 이벤트가 발생한 것으로 확인한다.For example, suppose the distance for phase 30 degrees is 4 m according to the background data. And, as a result of analyzing the sensing information, it is assumed that the distance with respect to a phase of 30 degrees is analyzed as 2m. Then, the
보안 감시 시스템(100)은 S202 단계에서 분석한 영상에 이벤트가 발생하였는지 확인한다(S203). 만약 이벤트가 존재한다면, S201 단계에서 확인한 센싱 이벤트와 S203 단계에서 확인한 영상 이벤트가 미리 설정한 시간 내에 발생하였는지 판단한다(S204). 본 발명의 실시예에서는 영상 이벤트와 센싱 이벤트 사이의 발생 시간 간격을 어느 하나의 시간으로 한정하지 않는다.The
미리 설정한 시간 내에 영상 이벤트와 센싱 이벤트가 발생하지 않았다면, 이는 최종적으로 이벤트가 발생하지 않은 것이라 판단하고 S200과 S202 단계부터 절차를 반복 실행한다. 그러나, 영상 이벤트와 센싱 이벤트가 미리 설정한 시간 내에 발생하면, 보안 감시 시스템(100)은 클라이언트로 이벤트 알림 화면을 송출하여 이벤트가 발생하였음을 알리고(S205), 이와 동시에 감시 정보를 생성하여 제공한다(S206).If the image event and the sensing event do not occur within the preset time, it is finally determined that the event has not occurred and the procedure is repeated from steps S200 and S202. However, when the video event and the sensing event occur within a preset time, the
여기서, S205 단계에서 보안 감시 시스템(100)이 알린 이벤트 알림 화면과 S206 단계에서 생성한 감시 정보는 다음 도 8 및 도 9에 나타낸 바와 같다. 먼저 이벤트 알림 화면에 대해 도 8을 참조로 설명한다.Here, the event notification screen notified by the
도 8은 본 발명의 실시예에 따른 알림 화면에 대한 예시도이다.8 is an exemplary diagram of a notification screen according to an embodiment of the present invention.
도 8의 (a)는 전방향 카메라(200)가 확인한 오브젝트에 의한 이벤트 발생 시, 이벤트가 발생한 순서대로 화면으로 영상 움직임을 제공하는 것을 나타낸 것이다. 그리고 도 8의 (b)는 레이더 센서(300)가 확인한 오브젝트에 의한 이벤트 발생 시, 오브젝트의 이동 정보를 수집하여 제공한 것을 나타낸 예시도이다.FIG. 8A illustrates that, when an event is generated by an object checked by the omni-
도 8의 (a)에 도시된 바와 같이, 오브젝트(500)가 제1 관심 영역(800-1)에서 제2 관심 영역(800-2)으로 이동하면, 보안 감시 시스템(100)은 오브젝트가 이벤트를 발생한 발생 순서대로 제1 관심 영역(800-1)에서 제2 관심 영역(800-2)으로 이동하였음을 영상 이벤트로 제공한다. 이때, 보안 감시 시스템(100)은 오브젝트(500)의 움직임에 따라, 전방향 카메라(200)가 추출한 x, y, z 좌표를 확인한다. As shown in (a) of FIG. 8 , when the
즉, 전방향 카메라(200)는 제1 관심 영역(800-1)에 나타났을 때의 좌표와 제2 관심 영역(800-2)으로 이동하였을 때의 좌표를 각각 산출하고, 보안 감시 시스템(100)은 전방향 카메라(200)가 산출한 좌표를 확인한다. 전방향 카메라(200)가 좌표를 산출하는 방법이나, 보안 감시 시스템(100)이 산출한 좌표를 확인하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.That is, the
그리고 도 8의 (b)에 도시된 바와 같이, 보안 감시 시스템(100)은 레이더 센서(300)로부터 전송되는 센싱 정보를 토대로, 오브젝트(500)가 위상 0도와 3m 거리에서 위상 150도 4m 거리로 이동하였음을 확인할 수 있다. 여기서, 레이더 센서(300)가 오브젝트(500)의 이동 정보는 다음 표 2와 같다.And as shown in (b) of Figure 8, the
표 2의 좌측에 "배경 데이터" 필드에 해당하는 위상, 거리, 품질 정보는 상기 표 1에서 언급한 배경 데이터에 대한 사항이다. 그리고 우측 "센싱 정보" 필드에 해당하는 위상, 거리, 품질 정보는 레이더 센서(300)가 오브젝트(500)의 이동 정보를 확인한 사항이다.The phase, distance, and quality information corresponding to the "background data" field on the left side of Table 2 is for the background data mentioned in Table 1 above. In addition, the phase, distance, and quality information corresponding to the right "sensing information" field is a matter in which the radar sensor 300 confirms the movement information of the
표 2에 나타낸 바와 같이, 최초 배경 데이터를 수집할 때와 비교하여 측정된 센싱 정보에 따르면, 오브젝트(500)가 위상 0.5469도, 599mm 거리에 위치하여 센싱 이벤트가 발생한 것으로 확인한다.As shown in Table 2, according to the sensed information measured compared with the time of collecting the initial background data, it is confirmed that the
보안 감시 시스템(100)은 도 8에 나타낸 알림 화면으로부터 확인한 오브젝트(500)의 움직임에 따라 추출한 좌표와 클라이언트로 제공할 감시 정보를 생성하여 제공한다. 본 발명의 실시예에서는 클라이언트로 제공할 감시 정보를 이벤트를 발생시킨 오브젝트(500)의 이동 방향으로 제공하거나, 전방향 카메라(200)로부터 멀리 떨어져 잘 보이지 않는 오브젝트(500)에 대해서는 레이더 센서(300)의 거리 정보를 토대로 배율을 설정하여 확대된 영상을 제공할 수 있다.The
도 9는 본 발명의 실시예에 따른 레이더 센서와 전방향 카메라의 연동에 따라 제공되는 감시 정보에 대한 예시도이다.9 is an exemplary diagram of monitoring information provided according to interworking of a radar sensor and an omnidirectional camera according to an embodiment of the present invention.
도 9의 (a)에 도시된 바와 같이, 보안 감시 시스템(100)은 레이더 센서(300)가 센싱한 오브젝트와의 거리 정보, 그리고 전방향 카메라(200)가 확인한 좌표 정보를 활용하여, 오브젝트에 대한 이미지를 확대(zoom-in)하거나 축소(zoom-out)하여 감시 정보로 제공한다.As shown in (a) of Figure 9, the
즉, 오브젝트가 레이더 센서(300)를 기준으로 제1 관심 영역(800-1)으로 설정된 위상 0도/3m 떨어진 거리에 진입하면 보안 감시 시스템(100)은 오브젝트의 추적을 시작한다. 그리고, 오브젝트(500)가 제2 관심 영역(800-2)으로 설정된 위상 150도에서 2m 떨어진 위치를 통해 다른 곳으로 이동하면, 제2 관심 영역(800-2)으로 설정한 지점까지 오브젝트를 추적한다.That is, when the object enters a distance of 0 degrees/3 m in phase set as the first region of interest 800 - 1 based on the radar sensor 300 , the
이때, 전방향 카메라(200)가 촬영한 3m 떨어진 오브젝트와 2m 떨어진 오브젝트는 클라이언트(400)가 오브젝트의 정확한 형태를 파악하기 어렵다. 따라서, 도 9의 (b)에 나타낸 바와 같이 오브젝트 추적 구간에서 멀리 떨어져 있는 오브젝트는 영상을 확대하여 제공하고, 전방향 카메라(200)에 가까이 이동하여 클라이언트(400)가 파악하기 쉬운 오브젝트에 대해서는 영상을 확대하지 않고 제공한다.In this case, it is difficult for the
이를 위해, 보안 감시 시스템(100)은 다음 표 3과 같이 레이더 센서의 거리 정보를 토대로 영상 재생 시 줌 배율을 설정하여 확대/축소하여 제공한다.To this end, the
카메라omnidirectional
camera
(0~2160픽셀)coordinate X
(0-2160 pixels)
(0~1440픽셀)Coordinate Y
(0-1440 pixels)
(0~8배 확대)Coordinate Z
(0 to 8 times magnification)
표 3과 도 9의 (a)를 함께 살펴보면, 추적이 시작된 0도 위상의 3m 떨어진 위치의 오브젝트는, 거리 정보에 비례하여 4배 줌으로 영상을 확대하여 클라이언트에게 제공한다. 그리고, 45도 위상의 0.5m 떨어진 클라이언트는 영상을 확대하지 않더라도 클라이언트(400)가 오브젝트를 판별할 수 있으므로 영상 확대 없이 제공한다.Referring to Table 3 and FIG. 9(a) together, an object at a
이와 같이, 레이더 센서(300)가 센싱한 오브젝트의 거리 정보에 따라 전방향 카메라(200)의 x, y, z 좌표를 활용하여 전방향 카메라(200)의 앵글을 자동으로 오브젝트에 향하도록 이동시킨다. 이와 동시에 전방향 카메라(200)의 z 좌표에 해당하는 PTZ를 조절하여 영상을 확대/축소하여 수집할 수도 있다.In this way, the angle of the
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto. is within the scope of the right.
Claims (14)
상기 센서가 특정 오브젝트를 센싱하여 수집한 위상 별 거리 정보와 상기 전방향 카메라가 상기 특정 오브젝트를 촬영한 영상을 토대로, 상기 센서와 전방향 카메라를 동기화하는 단계,
오브젝트에 의한 이벤트를 감지하기 위하여 적어도 하나의 관심 영역을 설정하는 단계, 그리고
상기 센서 및 전방향 카메라가 상기 관심 영역을 지나는 임의의 오브젝트를 센싱하고 영상을 수집하면, 상기 임의의 오브젝트에 대한 센싱 정보와 영상을 수신한 시간 차를 토대로 이벤트 발생을 알리는 단계
를 포함하는 보안 감시 방법.A method for monitoring by a security monitoring system interlocked with a sensor and an omnidirectional camera, the method comprising:
Synchronizing the sensor and the omni-directional camera based on the distance information for each phase collected by the sensor sensing the specific object and the image captured by the omni-directional camera of the specific object;
setting at least one region of interest to detect an event by the object; and
When the sensor and the omni-directional camera sense an arbitrary object passing the ROI and collect an image, notifying the occurrence of an event based on the time difference between the sensing information on the arbitrary object and the reception of the image
A security monitoring method comprising a.
상기 동기화하는 단계는,
외부로부터 동기화 요청 신호를 수신하는 단계,
상기 전방향 카메라로부터 전송되는 임의의 위치에서 특정 이벤트를 실행하는 상기 특정 오브젝트에 대한 영상을 분석하고, 상기 특정 오브젝트의 위치를 기준 위치로 설정하는 단계,
상기 특정 오브젝트에 대한 센싱 정보를 상기 센서로부터 수신하고, 센싱 정보에 포함된 상기 특정 오브젝트의 위상을 기준 위상으로 조정하는 단계, 그리고
상기 기준 위치에 상기 기준 위상을 매핑하여 상기 전방향 카메라와 센서를 동기화하는 단계
를 포함하는 보안 감시 방법.According to claim 1,
The synchronizing step is
Receiving a synchronization request signal from the outside;
analyzing an image of the specific object executing a specific event at an arbitrary position transmitted from the omni-directional camera, and setting the position of the specific object as a reference position;
receiving the sensing information for the specific object from the sensor, and adjusting the phase of the specific object included in the sensing information as a reference phase; and
Synchronizing the omni-directional camera and the sensor by mapping the reference phase to the reference position
A security monitoring method comprising a.
상기 기준 위치로 설정하는 단계는,
상기 기준 위치는 0도로 설정하는 단계, 그리고
상기 전방향 카메라로부터 전송된 영상으로부터 수집한 해상도를 미리 설정한 수로 분할하여, 90도 180도 및 270도를 설정하는 단계
를 포함하는 보안 감시 방법.3. The method of claim 2,
The step of setting the reference position is,
setting the reference position to 0 degrees, and
dividing the resolution collected from the image transmitted from the omni-directional camera into a preset number, and setting 90 degrees 180 degrees and 270 degrees
A security monitoring method comprising a.
상기 이벤트 발생을 알리는 단계는,
상기 전방향 카메라로부터 상기 관심 영역을 지나는 임의의 오브젝트에 대한 영상을 수신하는 단계,
상기 센서로부터 상기 임의의 오브젝트에 대한 센싱 정보를 수신하는 단계,
상기 영상을 수신한 시점과 상기 센싱 정보를 수신한 시점이, 미리 설정한 시간 내에 발생하는지 확인하는 단계, 그리고
상기 미리 설정한 시간 내에 상기 센싱 정보와 영상을 수신하면, 이벤트가 발생한 것으로 확인하는 단계
를 포함하는 보안 감시 방법.3. The method of claim 2,
The step of notifying the occurrence of the event is
Receiving an image of an arbitrary object passing through the ROI from the omni-directional camera;
Receiving sensing information on the arbitrary object from the sensor;
checking whether the time at which the image is received and the time at which the sensing information is received occur within a preset time, and
When the sensing information and the image are received within the preset time, confirming that an event has occurred
A security monitoring method comprising a.
상기 센싱 정보를 수신하는 단계는,
센싱 정보에 포함된 위상별 거리 정보를 확인하는 단계,
상기 확인한 위상별 거리 정보와 배경 데이터에 포함된 위상별 거리 정보를 비교하는 단계, 그리고
임의의 위상에 대하여 저장된 배경 데이터상 거리와 센싱 정보에 포함된 거리가 차이가 있으면, 상기 임의의 오브젝트를 탐지한 것으로 확인하는 단계
를 포함하고
상기 위상별 거리 정보는 상기 센서에서부터 상기 센서가 설치된 설치 영역 내 벽까지의 거리 정보인 보안 감시 방법.6. The method of claim 5,
Receiving the sensing information comprises:
checking the distance information for each phase included in the sensing information;
comparing the identified distance information for each phase with the distance information for each phase included in the background data, and
If there is a difference between the distance on the background data stored for the arbitrary phase and the distance included in the sensing information, confirming that the arbitrary object is detected
includes
The distance information for each phase is distance information from the sensor to a wall in an installation area where the sensor is installed.
상기 이벤트 발생을 알리는 단계 이후에,
상기 이벤트가 발생한 순서에 따라 상기 오브젝트의 이동 경로를 포함하는 감시 정보를 생성하는 단계
를 포함하고,
상기 이동 경로상의 오브젝트는, 상기 센서가 상기 임의의 오브젝트를 탐지한 센싱 정보의 위상별 거리를 토대로 상기 전방향 카메라가 상기 임의의 오브젝트를 촬영한 영상을 확대 또는 축소하여 제공하는 보안 감시 방법.According to claim 1,
After the step of notifying the occurrence of the event,
Generating monitoring information including the movement path of the object according to the order in which the event occurred
including,
The object on the moving path is a security monitoring method in which the omni-directional camera enlarges or reduces an image captured by the arbitrary object based on the distance for each phase of sensing information that the sensor detects the arbitrary object.
상기 센서와 통신하여 배경 데이터, 특정 오브젝트로부터 수집한 동기화를 위한 센싱 정보, 그리고 설정된 관심 영역을 지나는 임의의 오브젝트를 센싱한 센싱 정보를 수신하고, 상기 전방향 카메라와 통신하여 상기 특정 오브젝트와 상기 임의의 오브젝트에 대한 영상을 수신하는 통신부,
상기 특정 오브젝트로부터 수집한 동기화를 위한 센싱 정보와 영상을 토대로 상기 센서와 전방향 카메라를 동기화하고, 상기 배경 데이터, 임의의 오브젝트에 대한 센싱 정보와 영상을 토대로 이벤트 발생을 탐지하여 감시 정보를 생성하는 프로세서, 그리고
상기 센서로부터 수신한 기준 데이터, 상기 설정한 관심 영역, 그리고 센서와 전방향 카메라의 동기화 정보를 저장하는 메모리
를 포함하는 보안 감시 시스템.As a security monitoring system interlocked with a sensor and an omni-directional camera,
It communicates with the sensor to receive background data, sensing information for synchronization collected from a specific object, and sensing information for sensing an arbitrary object passing through a set ROI, and communicates with the omnidirectional camera to communicate with the specific object and the arbitrary A communication unit that receives an image of an object of
The sensor and the omni-directional camera are synchronized based on the sensing information and the image for synchronization collected from the specific object, and the occurrence of an event is detected based on the background data and the sensing information and the image for an arbitrary object to generate monitoring information. processor, and
A memory for storing reference data received from the sensor, the set region of interest, and synchronization information between the sensor and the omnidirectional camera
A security monitoring system comprising a.
상기 프로세서는,
상기 센서와 전방향 카메라에 대한 동기화 요청 신호를 수신하면, 상기 전방향 카메라로부터 전송된 영상을 분석하여, 상기 특정 오브젝트의 위치를 기준 위치로 설정하고,
상기 센서로부터 수신한 동기화를 위한 센싱 정보를 분석하여, 상기 특정 오브젝트에 대한 위상을 기준 위상으로 설정하며,
상기 기준 위치와 기준 위상을 매핑하여 상기 센서와 전방향 카메라를 동기화하는 보안 감시 시스템.9. The method of claim 8,
The processor is
When a synchronization request signal for the sensor and the omni-directional camera is received, the image transmitted from the omni-directional camera is analyzed and the position of the specific object is set as a reference position,
By analyzing the sensing information for synchronization received from the sensor, the phase for the specific object is set as a reference phase,
A security monitoring system for synchronizing the sensor and the omni-directional camera by mapping the reference position and the reference phase.
상기 프로세서는,
상기 특정 오브젝트에 대한 영상으로부터 수집한 해상도를 미리 설정한 수로 분할하여, 상기 기준 위치를 기준으로 90도, 180도 및 270도를 설정하는 보안 감시 시스템.10. The method of claim 9,
The processor is
A security monitoring system for setting 90 degrees, 180 degrees and 270 degrees based on the reference position by dividing the resolution collected from the image for the specific object into a preset number.
상기 프로세서는,
외부로부터 입력되는 영역 설정 정보를 토대로, 관심 영역을 설정하는 보안 감시 시스템.11. The method of claim 10,
The processor is
A security monitoring system that sets an area of interest based on area setting information input from the outside.
상기 프로세서는,
상기 임의의 오브젝트가 상기 관심 영역에 위치하여 상기 임의의 오브젝트에 대한 이벤트 발생 시점과 상기 임의의 오브젝트에 대한 영상을 수신한 시점을 비교하여 미리 설정한 시간 내에 발생한 것으로 확인하면, 상기 임의의 오브젝트에 의해 이벤트가 발생한 것으로 알리는 보안 감시 시스템.12. The method of claim 11,
The processor is
When the arbitrary object is located in the ROI and it is confirmed that the event occurred within a preset time by comparing the time of occurrence of the event for the arbitrary object and the time of receiving the image of the arbitrary object, the object is A security monitoring system that notifies that an event has occurred by
상기 프로세서는,
상기 임의의 오브젝트의 센싱 정보로부터 확인한 거리 정보를 토대로, 상기 영상 속 오브젝트의 영상을 확대하거나 축소하여 감시 정보로 생성하는 보안 감시 시스템.14. The method of claim 13,
The processor is
A security monitoring system for generating monitoring information by enlarging or reducing an image of an object in the image based on distance information confirmed from the sensing information of the arbitrary object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170082621A KR102441436B1 (en) | 2017-06-29 | 2017-06-29 | System and method for security |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170082621A KR102441436B1 (en) | 2017-06-29 | 2017-06-29 | System and method for security |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190002142A KR20190002142A (en) | 2019-01-08 |
KR102441436B1 true KR102441436B1 (en) | 2022-09-07 |
Family
ID=65021124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170082621A KR102441436B1 (en) | 2017-06-29 | 2017-06-29 | System and method for security |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102441436B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112346052A (en) * | 2020-11-04 | 2021-02-09 | 西安宝瑞达电子科技有限责任公司 | Multi-sensor-based horizontal omnidirectional life information non-contact detection system and method |
KR102383966B1 (en) * | 2021-03-02 | 2022-04-08 | 주식회사 에이스티앤비 | Video surveillance system and method for composing, presenting, retrieving and controlling multi-channel video data and sensor data |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200413332Y1 (en) | 2006-01-24 | 2006-04-07 | (주) 하나계전 | Security Monitoring System Using Sensor And Camera |
KR101207462B1 (en) | 2011-05-31 | 2012-12-03 | 전자부품연구원 | System for sensor revision used image information and distant-angle information |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101121153B1 (en) * | 2009-12-08 | 2012-03-19 | (주) 알디텍 | Method and system for synchronizing video signal and sensor signal |
KR101179131B1 (en) * | 2010-07-20 | 2012-09-07 | 허병도 | Monitoring system using synthetic simultaneous monitoring camera with pan/tilt/zoom function |
KR20150137778A (en) * | 2014-05-30 | 2015-12-09 | 양범석 | Omnidirectional camera system using detecting sensor |
-
2017
- 2017-06-29 KR KR1020170082621A patent/KR102441436B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200413332Y1 (en) | 2006-01-24 | 2006-04-07 | (주) 하나계전 | Security Monitoring System Using Sensor And Camera |
KR101207462B1 (en) | 2011-05-31 | 2012-12-03 | 전자부품연구원 | System for sensor revision used image information and distant-angle information |
Also Published As
Publication number | Publication date |
---|---|
KR20190002142A (en) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI580273B (en) | Surveillance system | |
US7385626B2 (en) | Method and system for performing surveillance | |
US20100013917A1 (en) | Method and system for performing surveillance | |
US7106333B1 (en) | Surveillance system | |
EP2274654B1 (en) | Method for controlling an alarm management system | |
KR101248054B1 (en) | Object tracking system for tracing path of object and method thereof | |
US20100141767A1 (en) | Semi-Automatic Relative Calibration Method for Master Slave Camera Control | |
KR20100103109A (en) | Apparatus and method for unmanned surveillance using omni-directional camera and pan/tilt/zoom camera | |
KR102441436B1 (en) | System and method for security | |
JP3852745B2 (en) | Object detection method and object detection apparatus | |
KR102333803B1 (en) | System and method for setting of video surveillance area | |
JP7176868B2 (en) | monitoring device | |
US20230064953A1 (en) | Surveillance device, surveillance system, and surveillance method | |
KR102630275B1 (en) | Multi-camera fire detector | |
US10970982B2 (en) | Video surveillance apparatus and method | |
JP2007243270A (en) | Video image surveillance system and method therefor | |
JP2006211696A (en) | Object detecting method and object detecting system | |
KR102270858B1 (en) | CCTV Camera System for Tracking Object | |
WO2005120070A2 (en) | Method and system for performing surveillance | |
KR20110079953A (en) | Method and apparatus for processing an object surveilance by setting a surveillance area | |
JP4038878B2 (en) | Fire detection device using image processing | |
JP2011197884A (en) | Apparatus and method for detecting fire | |
KR20240002340A (en) | System and method for surveilling video using collaboration of PTZ cameras, and a recording medium recording a computer readable program for executing the method | |
JP2005236724A (en) | Imaging device and motion detection method | |
KR101824806B1 (en) | Method for setting and restoring position of object sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |