KR20080073993A - Method of controlling target and system for providing monitoring service using intelligent robot - Google Patents

Method of controlling target and system for providing monitoring service using intelligent robot Download PDF

Info

Publication number
KR20080073993A
KR20080073993A KR1020070012950A KR20070012950A KR20080073993A KR 20080073993 A KR20080073993 A KR 20080073993A KR 1020070012950 A KR1020070012950 A KR 1020070012950A KR 20070012950 A KR20070012950 A KR 20070012950A KR 20080073993 A KR20080073993 A KR 20080073993A
Authority
KR
South Korea
Prior art keywords
tracking target
control
situation
tracking
robot
Prior art date
Application number
KR1020070012950A
Other languages
Korean (ko)
Other versions
KR101276936B1 (en
Inventor
김현수
심현식
박영희
윤제한
함종규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070012950A priority Critical patent/KR101276936B1/en
Publication of KR20080073993A publication Critical patent/KR20080073993A/en
Application granted granted Critical
Publication of KR101276936B1 publication Critical patent/KR101276936B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

A method for controlling a target and an intelligent robot monitoring service system using the same are provided to perform an intelligent monitoring service by performing a control operation corresponding to a tracking target according to various states. A tracking target is recognized by using at least one or more sensors installed within a predetermined region in a monitoring mode(210). A control region for the recognized tracking target is recognized by using the prestored target information and a process for recognizing a present state of the tracking target is performed(215,220,225,230). A command is outputted to an apparatus for performing a service corresponding to the recognized state when the tracking target enters into the control region(240,245).

Description

추적 대상 통제 방법 및 이를 위한 지능형 로봇 감시 서비스 시스템{Method of controlling target and system for providing monitoring service using intelligent robot}Method of controlling target and system for providing monitoring service using intelligent robot}

도 1은 본 발명의 실시 예에 따른 지능형 로봇 감시 서비스 시스템의 구성도,1 is a block diagram of an intelligent robot monitoring service system according to an embodiment of the present invention,

도 2는 본 발명의 실시 예에 따른 추적 대상에 대한 통제 및 적절한 서비스를 제공하기 위한 제어흐름도.2 is a control flow chart for controlling the tracking target and providing an appropriate service according to an embodiment of the present invention.

본 발명은 감시 시스템에 관한 것으로, 특히 로봇을 이용한 감시 대상을 자동으로 추적하고 그 감시 대상에 대한 통제를 수행하는 추적 대상 통제 방법 및 이를 위한 지능형 감시 서비스 시스템에 관한 것이다. The present invention relates to a monitoring system, and more particularly, to a tracking target control method for automatically tracking a monitoring target using a robot and performing control on the monitoring target, and an intelligent monitoring service system therefor.

오늘날 보안 및 감시 시스템은 복잡하고 빠르게 변화하는 현대 사회에서 인적 혹은 기술적 자원을 보호 또는 감시할 필요성이 증가함에 따라 그 중요성이 나날이 높아져가고 있다. 이러한 감시 시스템의 감시 성능은 그 시스템의 자동화성능 과 시스템으로부터 얻어지는 영상으로 인하여 향상되고 있다. 예를 들어, 관공서 및 기업의 출입자 감시, 금융권의 객장 감시 및 증거물 확보를 위한 영상획득 및 사거리/교차로 등의 교통 통행량 감시 등 사회의 다양한 분야에서 감시 시스템의 활용이 증가되고 있다. Today, security and surveillance systems are becoming increasingly important as the need to protect or monitor human or technical resources in a complex and rapidly changing modern society. Surveillance performance of such a surveillance system is improved due to the automation performance of the system and the images obtained from the system. For example, the use of surveillance systems is increasing in various fields of society, such as monitoring the entrances of public offices and corporations, monitoring the floors of financial institutions, obtaining images to secure evidence, and monitoring traffic traffic such as crossroads and intersections.

최근에는 감시 시스템이 다양한 기술로 구현되고 있는데. 이러한 기술의 일예로 파노라마 영상 시스템이라는 전방향 카메라를 장착한 감시 시스템이 개발되어 사용되고 있다. 이 시스템을 통해 얻어지는 파노라마 영상은 기존 감시 시스템의 좁은 시야의 영상을 보완하는 장점을 가진다. Recently, surveillance systems have been implemented with various technologies. As an example of such technology, a surveillance system equipped with an omnidirectional camera called a panoramic imaging system has been developed and used. The panoramic image obtained through this system has the advantage of complementing the narrow field of view of the existing surveillance system.

이와 같이 종래의 감시 경계 시스템은 카메라를 이용한 감시 시스템으로서, 특정인을 인식하고 추적할 수 있는 기술까지 진보하였지만, 이동로봇의 활용이나 상황 인지 능력의 결합을 통하여 지능적인 무인 감시 및 통제를 수행할 수 있는 수준에 도달하지 못한 상태이다. As such, the conventional surveillance boundary system is a surveillance system using a camera, and has advanced the technology to recognize and track a specific person. However, intelligent unmanned surveillance and control can be performed through the use of a mobile robot or a combination of situational awareness capabilities. You haven't reached that level.

상기한 바와 같이 종래 무인 감시 시스템의 경우 특정 건물 내에 설치된 감시 카메라를 기본으로 사용하고 있다. 하지만 실제 환경에서 여러 대의 감시 카메라가 회전을 하거나 전방향 렌즈를 사용하더라도 사각지대는 존재하기 마련이며, 무인 감시 시스템 사용자가 원하는 영상을 정확히 전달하기는 어렵다. 이러한 단점은 고정적인 환경에 대한 영상에 의하여 제공할 수 있는 서비스를 제한하며, 사용자 추정도 어렵게 한다. 또한 통제의 경우에 있어서 출입구와 같은 물리적 장치를 사용해야만 한다. 따라서, 모든 통제 구역을 규정할 때 출입구의 유무가 기준이 될 수 밖에 없다. 게다가 통제 예외, 허용은 출입 전에 미리 설정되어 있거나 관리자에 의한 허가 및 직접적인 관리가 필수적이다.As described above, the conventional unmanned surveillance system basically uses a surveillance camera installed in a specific building. However, even in a real environment, even if several surveillance cameras rotate or use omnidirectional lenses, blind spots exist, and it is difficult to deliver exactly the images desired by an unmanned surveillance system user. This disadvantage limits the services that can be provided by the image of the fixed environment and makes the user estimation difficult. In addition, in the case of control, physical devices such as doorways must be used. Therefore, the presence or absence of an entrance must be a standard when defining all control areas. In addition, control exceptions, permissions are either pre-set prior to entry or permission and direct management by the administrator.

따라서, 본 발명은 로봇을 이용하여 감시 영역 내의 추적 대상의 움직임을 자동으로 추적하여 그 추적 대상이 처한 상황별로 해당 서비스 또는 통제를 수행하기 위한 추적 대상 통제 방법 및 이를 위한 지능형 로봇 감시 서비스 시스템을 제공한다. Accordingly, the present invention provides a tracking target control method for automatically tracking a movement of a tracking target in a surveillance area using a robot and performing a corresponding service or control for each situation of the tracking target, and an intelligent robot monitoring service system therefor. do.

상술한 바를 달성하기 위한 본 발명은 지능형 감시 시스템에서 추적 대상 통제 방법에 있어서, 감시 모드에서 정해진 영역 내에 설치된 적어도 하나 이상의 센서를 이용하여 추적 대상을 인식하는 과정과, 미리 저장된 추적 대상별 정보를 이용하여 상기 인식된 추적 대상에 대한 통제 구역을 확인한 후 상기 추적 대상이 처한 상황을 인식하는 과정과, 상기 추적 대상이 통제 구역 진입할 경우, 상기 인식된 상황에 대응하는 서비스를 수행하는 기기에 통제 명령을 출력하는 과정을 포함함을 특징으로 한다. According to an aspect of the present invention, a tracking object control method in an intelligent monitoring system includes: recognizing a tracking object using at least one sensor installed in a predetermined area in a monitoring mode, and using pre-stored information for each tracking object. Checking the control zone for the recognized tracking target and recognizing a situation in which the tracking target is located; and when the tracking target enters the control zone, a control command is given to a device that performs a service corresponding to the recognized situation. Characterized in that the output process.

또한, 추적 대상을 통제하기 위한 지능형 로봇 감시 서비스 시스템에 있어서, 정해진 영역 내에 설치되며, 추적 대상을 인식하는데 필요한 영상, 음성 중 적어도 하나 이상의 정보를 입력받는 적어도 하나 이상의 센서와, 상기 추적 대상을 인식하는데 필요한 정보를 입력받으며, 상기 추적 대상의 이동을 제지하는 로봇과, 추적 대상별 신상 정보, 추적 대상별로 통제 구역을 지정한 정보 및 추적 대상이 처한 상황별로 해당 서비스가 제공될 수 있도록 각 상황별 제공 서비스를 추적 대상별로 저장하는 데이터베이스와, 상기 데이터베이스에 저장된 정보를 참조하여 상기 센서 및 로봇 중 적어도 하나를 통해 입력된 정보에서 상기 추적 대상을 인식하는 인식부와, 상기 추적 대상이 인식되면 상기 추적 대상을 추적하여 상기 추적 대상이 처한 상황을 인식하고, 상기 인식된 상황에 대응하는 서비스가 수행되도록 제어하는 상황인지 관리부를 포함함을 특징으로 한다. In addition, in an intelligent robot monitoring service system for controlling a tracking target, at least one sensor installed in a predetermined area and receiving at least one or more information of an image and a voice required to recognize the tracking target, and the tracking target is recognized. Receives necessary information, and provides the robot for restraining the movement of the tracking target, personal information for each tracking target, information for designating a control zone for each tracking target, and the corresponding service for each situation of the tracking target. A database for storing the tracking target based on information stored in the database, a recognition unit for recognizing the tracking target from information input through at least one of the sensor and the robot, and the tracking target when the tracking target is recognized. To track the situation And further characterized in that the situation that the management unit comprises a control such that the service is carried out corresponding to the recognized context.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면의 참조와 함께 상세히 설명한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

본 발명의 주요한 요지는, 로봇을 이용한 상황 인지(Context-Awareness) 시스템에서 추적 대상(target)을 추적하여 추적 대상이 처한 상황에 맞는 감시 기능을 수행한다는데 있다. 이를 위해 본 발명은 로봇이 제공하는 센서 데이터를 통해 입력되는 신호로부터 추적 대상을 인식하고, 그 추적 대상의 움직임을 파악하여 상황에 맞는 서비스를 제공하거나 제지를 수행하게 된다. 이와 같이 본 발명에 따르면, 추적 대상이 처한 상황별로 상황 인지 시스템의 대처 능력이 향상될 수 있을 뿐만 아니라 다양해짐으로써 보다 효과적인 감시 및 통제가 가능해지게 된다. An important aspect of the present invention is to track a target in a context-awareness system using a robot to perform a monitoring function according to a situation in which the target is located. To this end, the present invention recognizes a tracking target from a signal input through sensor data provided by a robot, and grasps the movement of the tracking target to provide a service suitable for a situation or perform restraining. As described above, according to the present invention, not only the ability to cope with the situational awareness system for each situation of the tracking target can be improved, but also the variety becomes more effective to monitor and control.

이하, 본 발명을 설명하기에 앞서, 본 발명에서 이용되는 지능형 로봇 기술에 대하여 간략하게 설명한다. Hereinafter, the intelligent robot technology used in the present invention will be briefly described before explaining the present invention.

지능형 로봇 기술은 인공지능(Artificial Intelligence, AI) 개념의 기술의 발전 경향에 따라 향후 21세기 산업 경쟁력 및 군사 과학 기술을 선도할 차세대 신기술이다. 특히 그 중에서도 감시 경계 시스템은 초저조도 카메라 기술, 영상 인식 기술, 영상 처리 및 저장기술, 음성 인식 기술, 영상 추적 기술 및 시스템 제어기술 등 다양한 기술이 복합적으로 적용되는 시스템이다.Intelligent robot technology is a next-generation new technology that will lead industrial competitiveness and military science technology in the 21st century according to the trend of the development of artificial intelligence (AI) concept. In particular, the surveillance boundary system is a system in which various technologies such as ultra low light camera technology, image recognition technology, image processing and storage technology, voice recognition technology, image tracking technology and system control technology are applied in combination.

하지만, 현재까지 지능형 로봇 기술은 상황인지 능력에 의한 것이 아닌 일률적인 통제나 관리자에 의해 등록된 메뉴얼에 의한 동작 수행이 이루어진다. 따라서, 이러한 단순한 동작에서 벗어나 통제를 위한 공간의 물리적 제약도 벗어날 수 있는 지능형 감시 방법이 필요하다. However, until now, intelligent robot technology is not performed by situational awareness, but by uniform control or manual registration by an administrator. Therefore, there is a need for an intelligent monitoring method that can move away from this simple operation and remove the physical constraints of the space for control.

도 1은 본 발명의 실시 예에 따른 지능형 로봇 감시 서비스 시스템의 구성도이다. 도 1을 참조하면, 지능형 로봇 감시 서비스 시스템(100)은 적어도 하나 이상의 센서부(10), 인식부(Recognizer)(20), 데이터베이스(database)(30), 상황인지 관리부(Context-Awareness Manager)(40), 로봇(50) 및 시스템 컨트롤러(System Controller)(60)를 포함하여 구성된다. 1 is a block diagram of an intelligent robot monitoring service system according to an embodiment of the present invention. Referring to FIG. 1, the intelligent robot monitoring service system 100 includes at least one sensor unit 10, a recognizer 20, a database 30, and a context-awareness manager. 40, a robot 50, and a system controller 60 are configured to be included.

먼저, 센서부(10)는 영상을 입력받기 위한 카메라, 외부로부터 음향 신호를 입력받기 위한 음향 장치, 거리 측정을 위한 센서, 추적 대상에 대한 정보 등 환경 정보를 획득할 수 있는 센서이면 모두 가능하다. 이러한 센서부(10)는 감시 영역 내에 설치될 수 있으며, 물리적 공간의 제약을 극복하기 위해 로봇(50)에도 설치될 수 있다. 그리고 로봇(50)과 감시 영역 내에 설치된 센서부(10)는 지속적으로 환경 정보를 수집하는데, 이는 추적 대상이 처한 상황에 대비할 수 있도록 다양한 정보 를 획득하기 위한 것이다. First, the sensor unit 10 may be any sensor that can obtain environmental information such as a camera for receiving an image, an audio device for receiving an audio signal from the outside, a sensor for measuring a distance, and information about a tracking target. . The sensor unit 10 may be installed in the surveillance area, and may also be installed in the robot 50 to overcome the limitation of physical space. In addition, the robot 50 and the sensor unit 10 installed in the monitoring area continuously collect environmental information, which is to obtain various information to prepare for the situation in which the tracking target is located.

이러한 센서부(10)를 통해 추적 대상이 감지되면, 그 감지 결과는 인식부(20)로 전달된다. 그러면 인식부(20)는 센서부(10)로부터의 감지 결과를 바탕으로 추적 대상을 인식한다. 추적 대상의 인식은 센서부(10)에 의하여 추적 대상의 형상 및 그 움직임을 인식하는 것이 바람직하다. 이러한 인식부(20)는 영상, 음성 인식기를 통칭하며, 데이터베이스(30)에 저장된 정보를 이용하여 추적 대상을 인식한다. 구체적으로, 데이터베이스(30)를 참조하여 인식부(20)는 영상 인식의 경우 추적 대상의 얼굴을 인식하고, 음성 인식의 경우 추적 대상의 음성을 인식하여 추적 대상이 누구인지를 인식한다. 만일 영상 또는 음성 인식을 이용하더라도 추적 대상을 인식할 수 없는 경우 인식부(20)는 일단 추적 대상을 얼굴, 키, 음성의 특성을 이용하여 성별, 연령별로 구분하여 데이터베이스(30)에 임시로 저장해놓는다. When the tracking target is detected through the sensor unit 10, the detection result is transmitted to the recognition unit 20. Then, the recognition unit 20 recognizes the tracking target based on the detection result from the sensor unit 10. The recognition of the tracking target is preferably recognized by the sensor unit 10 to recognize the shape of the tracking target and its movement. The recognition unit 20 collectively recognizes an image and a voice recognizer and recognizes a tracking target by using information stored in the database 30. Specifically, with reference to the database 30, the recognition unit 20 recognizes the face of the tracking target in the case of image recognition, and recognizes the track target by recognizing the voice of the tracking target in the case of voice recognition. If the tracking target cannot be recognized even though the image or the voice recognition is used, the recognition unit 20 temporarily stores the tracking target in the database 30 by dividing the tracking target by gender and age using characteristics of a face, a key, and a voice. Release.

데이터베이스(30)는 관리자에 의해 미리 등록된 추적 대상에 대한 정보를 저장한다. 예를 들어, 감시 영역이 집일 경우 관리자는 가족에 대한 신상 정보가 저장되는 것이며, 감시 영역이 회사일 경우 직원들에 대한 신상 정보가 저장된다. 또한, 관리자는 추적 대상별로 출입을 통제하는 구역을 지정할 수 있으며, 특히 추적 대상이 처한 상황별로 적합한 서비스가 제공될 수 있도록 각 상황별 제공 서비스를 지정해놓을 수 있다. 예를 들어, 추적 대상이 회의실에서 오랫동안 대기해야할 경우를 대비하여 TV 서비스가 제공될 수 있을 것이다. 이외에도 메신저 서비스, 음성 통화 서비스 등 각 상황별 서비스의 지정이 가능함은 물론이다. The database 30 stores information on the tracking target registered in advance by the administrator. For example, if the surveillance area is home, the manager stores personal information about the family. If the surveillance area is a company, personal information about employees is stored. In addition, the administrator can designate a zone to control access for each tracking target, and in particular, a service provided for each situation can be designated so that a suitable service can be provided according to the situation of the tracking target. For example, a TV service may be provided in case the tracking target has to wait in the conference room for a long time. In addition, it is of course possible to specify the service for each situation, such as messenger service, voice call service.

상황인지 관리부(40)는 모든 구성부에 대한 전반적인 제어를 수행하며, 인식 부(20)로부터의 결과를 바탕으로 즉, 영상 추적 정보, 음향 및 음성 정보를 입력받아 각 구성부의 동작을 제어한다. 이러한 상황인지 관리부(40)는 추적 대상이 처한 상황을 데이터베이스(30)를 참조하여 지식 및 추론 등의 과정을 통해 판단하며, 각각의 상황 및 그 결과를 데이터베이스(30)에 업데이트하여 관리하게 된다. 이러한 상황인지의 결과는 상황인지 관리부(40)는 로봇(50)과 서비스 운영부(60)를 제어할 수 있게 된다. The situation awareness manager 40 performs overall control of all components, and receives the image tracking information, sound, and voice information based on the results from the recognition unit 20 and controls the operations of each component. The situation recognition manager 40 determines a situation in which the tracking target is faced through a process such as knowledge and reasoning with reference to the database 30, and updates and manages each situation and the result in the database 30. The result of whether the situation is the situation management unit 40 is able to control the robot 50 and the service operating unit 60.

서비스 운영부(60)는 인식부(20)와 센서부(10)를 통해 로봇(50)이 추적 대상을 추정하는 서비스, TV나 라디오의 재생 또는 로봇이 춤을 추게 하는 등의 엔터테인먼트 서비스, TTS(TextToSpeech) 서비스, 전반적인 로봇 제어 등 관련 서비스를 제공하는데 사용된다. 그리고 시스템 컨트롤러(70)는 로봇(50)이나 TV, 라디오, 에어컨 등 감시 영역 내의 전자기기의 제어를 담당하는 역할을 수행한다. The service operation unit 60 is a service for estimating the tracking target by the robot 50 through the recognition unit 20 and the sensor unit 10, an entertainment service such as playing a TV or radio, or allowing the robot to dance, TTS ( It is used to provide related services such as TextToSpeech) service and overall robot control. The system controller 70 plays a role of controlling the electronic devices in the surveillance area such as the robot 50, the TV, the radio, and the air conditioner.

상기한 바와 같은 구성을 가지는 지능형 로봇 감시 서비스 시스템(100)은 적어도 하나 이상의 센서부(10) 및 일부의 센서가 장착된 로봇(50)으로부터 추적 대상의 영상 및 움직임을 입력받아 추적 대상 및 상황을 인식한다. 만일 서비스를 제공해야할 상황일 경우 지능형 로봇 감시 서비스 시스템(100)은 서비스 운영부(60)를 통해 해당 서비스를 제공하며, 그 서비스 운영부(60)는 로봇(50)이나 서비스 컨트롤러(70)를 이용하여 감시 영역 내의 장치, 전자기기를 제어함으로써 해당 서비스를 제공한다. 이와 달리 통제가 필요한 상황일 경우 지능형 로봇 감시 서비스 시스템(100)은 로봇(50)에 통제 명령을 출력하여, 추적 대상의 행동을 제지하도록 한다. 구체적으로, 추적 대상에 대한 감시를 바탕으로 추적 대상이 통제 구역으로 진 입할 경우 로봇(50)을 이용하여 적절한 제지 행동을 취하게 된다. The intelligent robot monitoring service system 100 having the configuration as described above receives the image and the movement of the tracking target from the robot 50 equipped with at least one sensor unit 10 and some sensors to track the tracking target and the situation. Recognize. If the situation is to provide a service, the intelligent robot monitoring service system 100 provides a corresponding service through the service operation unit 60, the service operation unit 60 using the robot 50 or the service controller 70 The service is provided by controlling devices and electronic devices in the surveillance area. On the other hand, when control is required, the intelligent robot monitoring service system 100 outputs a control command to the robot 50 to restrain the behavior of the tracking target. In detail, when the tracking target enters the control area based on the monitoring of the tracking target, the robot 50 takes an appropriate restraining action.

이러한 상황인지 시스템을 지능형 로봇에 장착한다면 자율적인 이동이 가능할 뿐만 아니라 감시 영역을 확대할 수 있다. 따라서, 지능형 로봇을 사용한다면 지능적인 감시를 하는 것이 가능하게 되어 상황별 적절한 제지 뿐만 아니라 서비스를 제공할 수 있는 것이다. 이와 같이 본 발명에서는 자율 이동이 가능한 로봇을 이용함으로써 기존의 고정형 감시 시스템보다 관리자가 원하는 다양하고 정확한 정보 획득이 가능해지게 된다. 이를 바탕으로 상황인지에 많은 정보를 제공할 수 있으며, 효율적인 추적 대상에 대한 감시가 가능하게 된다. 또한, 본 발명은 상황 인지 능력을 기반으로 하기 때문에 일률적인 통제나 일반적인 관리자에 의하여 등록된 메뉴얼에 의한 정해진 행동에서 벗어나 보다 지능적인 통제가 가능하게 된다. 이렇게 함으로써, 통제를 위한 공간의 물리적 제약에서 벗어날 수 있다. Aware of this situation, if the system is mounted on an intelligent robot, autonomous movement is possible and the surveillance area can be expanded. Therefore, if an intelligent robot is used, intelligent monitoring can be performed, so that the service can be provided as well as appropriate restraint for each situation. Thus, in the present invention, by using a robot capable of autonomous movement it becomes possible to obtain a variety of accurate information desired by the administrator than the conventional fixed monitoring system. Based on this, it can provide a lot of information on situation awareness, and it becomes possible to monitor the efficient tracking target. In addition, since the present invention is based on the situational awareness capability, it becomes possible to have more intelligent control away from uniform control or prescribed behavior by a manual registered by a general administrator. In this way, the physical constraints of the space for control can be freed.

이하, 본 발명에 따른 바람직할 실시 예로서, 지능형 경계 시스템(100)에서 추적 대상에 대한 통제 및 적절한 서비스를 제공하기 위한 제어흐름도인 도 2를 참조한다. 이하, 도 2에서는 추적 대상이 어린 아이이며, 관리자가 부모이며 그 어린 아이에 대한 감시가 집 내부에서 이루어지는 경우를 예로 들어 설명한다.Hereinafter, as an exemplary embodiment according to the present invention, reference is made to FIG. 2, which is a control flowchart for controlling a tracking target and providing an appropriate service in the intelligent perimeter system 100. In the following description, FIG. 2 illustrates a case where a tracking target is a young child, an administrator is a parent, and the monitoring of the young child is performed in the home.

도 2를 참조하면, 지능형 경계 시스템(100)은 관리자에 의해 감시 모드로 진입하면 200단계에서 정해진 영역을 감시한다. 이러한 감시는 센서부(10)가 장착된 로봇(50) 또는 감시 영역 내에 설치된 센서부(10)로부터 입력되는 영상, 음성 등을 통해 이루어진다. 이와 같이 정해진 영역을 감시하는 도중에 지능형 경계 시스템(100)은 205단계에서 추적 대상이 그 영역 내에 진입했는지를 판단한다. 판단 결 과 그 추적 대상이 그 영역 내에 진입한 경우 지능형 경계 시스템(100)은 210단계에서 데이터베이스를 참조하여 추적 대상을 인식한다. 이때, 데이터베이스에는 관리자에 의해 미리 등록된 가족 사항에 대한 정보를 저장하고 있다. Referring to FIG. 2, when the intelligent boundary system 100 enters a monitoring mode by an administrator, the intelligent boundary system 100 monitors an area determined in step 200. Such monitoring is performed through a video, audio, etc. input from the robot 50 on which the sensor unit 10 is mounted or the sensor unit 10 installed in the monitoring area. While monitoring the determined area, the intelligent perimeter system 100 determines whether the tracking target has entered the area in step 205. As a result of determination, when the tracking target enters the area, the intelligent boundary system 100 recognizes the tracking target by referring to the database in step 210. At this time, the database stores information on family matters registered in advance by the administrator.

따라서, 지능형 경계 시스템(100)은 추적 대상의 영상 또는 음성을 데이터베이스를 참조하여 일치하는 대상이 있는지를 판단함으로써 추적 대상에 대한 인식을 수행한다. 이렇게 함으로써, 지능형 경계 시스템(100)은 215단계에서 인식이 성공했는지를 판단한다. 판단 결과 인식이 성공한 경우 즉, 데이터베이스에 일치하는 추적 대상에 대한 정보가 저장되어 있는 경우 지능형 경계 시스템(100)은 220단계로 진행하여 데이터베이스 내의 추적 대상의 정보를 근거로 추적 대상별 통제 구역을 파악한다. Therefore, the intelligent perimeter system 100 performs recognition on the tracking target by determining whether there is a matching target by referring to the database of the video or audio of the tracking target. By doing so, the intelligent perimeter system 100 determines whether the recognition is successful in step 215. If the recognition result is successful, that is, if the information about the tracking target is stored in the database, the intelligent boundary system 100 proceeds to step 220 to determine the control zone for each tracking target based on the information of the tracking target in the database. .

이와 달리 인식이 실패할 경우 즉, 데이터베이스에 일치하는 추적 대상에 대한 정보가 없는 경우 지능형 경계 시스템(100)은 225단계에서 센서부(10)를 통해 입력되는 추적 대상의 키, 음성, 얼굴 등에 대한 정보를 바탕으로 추적 대상의 연령을 파악한다. 이때, 추적 대상의 얼굴 이외에 음성에 대한 정보는 서비스 운영부(60)에서 제공하는 TTS 서비스를 이용하여 추적 대상에게 대화를 유도함으로써 획득할 수 있다. 이렇게 함으로써 연령 이외에도 성별도 구분될 수 있으며, 이렇게 파악된 정보는 데이터베이스에 임시로 저장될 수 있다. 그리고나서 지능형 경계 시스템(100)은 230단계에서 파악된 연령에 대응하는 통제구역을 파악한다. In contrast, when the recognition fails, that is, when there is no information on the matching tracking target in the database, the intelligent boundary system 100 determines the key, voice, face, etc. of the tracking target input through the sensor unit 10 in step 225. Based on the information, determine the age of the subject. In this case, information about the voice other than the face of the tracking target may be obtained by inducing a conversation to the tracking target using the TTS service provided by the service operation unit 60. In this way, gender can be distinguished in addition to age, and the information thus identified can be temporarily stored in a database. The intelligent perimeter system 100 then identifies the control zone corresponding to the age identified in step 230.

이와 같이 추적 대상에 대한 정보를 참조하면서 동시에 지능형 경계 시스템(100)은 235단계로 진행하여 추적 대상에 대한 감시를 수행한다. 이때, 추적 대 상에 대한 감시는 센서부(10)를 이용하여 추적 대상의 이동 경로를 파악함으로써 이루어질 수 있다. As described above, the intelligent perimeter system 100 proceeds to step 235 to monitor the tracking target while referring to the tracking target information. In this case, monitoring of the tracking target may be performed by identifying a moving path of the tracking target using the sensor unit 10.

상기한 바와 같이 추적 대상을 감시하는 도중에 지능형 경계 시스템(100)은 240단계에서 그 추적 대상에 대해 지정된 통제 구역으로 그 추적 대상이 진입하는지를 판단한다. 즉, 통제 구역으로의 진입 여부는 상황인지 관리부(40)의 축적된 지식과 추론 등을 통해 이루어진다. 예를 들어, 어린 아이가 집 내부에서 이동할 경우 지능형 경계 시스템(100)은 센서부(10)를 통해 지속적으로 어린 아이의 움직임을 파악한다. 이때, 그 어린 아이에게 있어 위험 구역인 난간이 있는 베란다 등이 통제 구역일 수 있으며, 이러한 베란다로 들어설 경우 그 어린 아이의 움직임을 통제해야할 필요성이 있다. As described above, while monitoring the tracking target, the intelligent perimeter system 100 determines whether the tracking target enters the control area designated for the tracking target in step 240. That is, whether or not to enter the control area is made through the accumulated knowledge and reasoning of the management unit 40 whether the situation. For example, when a young child moves inside the house, the intelligent boundary system 100 continuously detects the young child's movement through the sensor unit 10. At this time, a veranda with a balustrade, which is a danger zone for the young child, may be a control area. When entering the veranda, there is a need to control the movement of the young child.

따라서, 지능형 경계 시스템(100)은 245단계로 진행하여 관리자에게 현재 상황을 통보한다. 이때, 서비스 운영부(60)에서 제공하는 메신저 서비스를 활용하여 관리자인 부모에게 연락할 수 있다. 이러한 상황을 통보한 후, 지능형 경계 시스템(100)은 250단계로 진행하여 직접적으로 로봇(50)을 제어하여 어린 아이의 통제 구역 진입을 제지할 수 있다. 이때, 통제 구역으로의 진입을 제지하기 위한 예로써, 상황인지 관리부(40)는 현재 상황을 판단하여 어린 아이가 난간으로 이동하는 것을 제지하기 위해 관리자가 제시하는 TV 프로그램 예컨대, 어린 아이가 선호하는 프로그램을 시스템 컨트롤러(60)를 이용하여 재생한다. 동시에 로봇(50)을 어린 아이쪽으로 이동시켜 TTS 서비스를 이용하여 부모의 목소리를 출력함으로써 어린 아이의 관심을 유도할 수도 있다. 또한, 로봇(50)으로 하여금 어린 아이가 난간으로 다가가지 못하게 어린 아이의 경로를 막아서거나 난간 출입문이 열려있는 경우 그 출입문을 닫는 등의 동작을 수행함으로써 상황별 통제가 이루어질 수 있다.Therefore, the intelligent perimeter system 100 proceeds to step 245 to notify the administrator of the current situation. At this time, the parent can be contacted by using the messenger service provided by the service operation unit 60. After notifying the situation, the intelligent boundary system 100 may proceed to step 250 to directly control the robot 50 to restrain the young child from entering the control area. At this time, as an example for restraining the entry into the control area, the situation awareness manager 40 determines the current situation and the TV program presented by the manager for restraining the young child from moving to the railing, for example, the young child prefers. The program is reproduced using the system controller 60. At the same time, the robot 50 may be moved toward the young child, and the child's voice may be induced by outputting the voice of the parent using the TTS service. In addition, by controlling the robot 50 to prevent the child from approaching the railings, or by performing operations such as closing the door when the railing door is open, the situational control can be made.

전술한 도 2에서는 단지 집안에서 어린 아이의 출입이 통제되는 구역에 어린 아이가 진입했을 경우를 예로 들어 설명하였지만, 본 발명의 실시 예는 이에 국한되지 않는다. 본 발명의 다른 실시 예에 따라 통제 구역 내에서 데이터베이스에 등록되지 않은 방문자가 인식되는 경우 관리자에게 통보하고 그 방문자의 통제 구역 진입을 저지하는 경우도 있을 수 있다. 이는 회사에서의 경우, 회사 내로의 등록은 되어 있더라도 특별히 제한하거나 출입에 대한 통제가 필요한 영역으로 진입을 시도하는 방문자에 대한 지능적 감시 서비스를 제공할 수 있다.In FIG. 2 described above, a case in which a small child enters an area where a small child is controlled in the home is described as an example, but embodiments of the present invention are not limited thereto. According to another embodiment of the present invention, if a visitor who is not registered in the database is recognized in the control area, the manager may be notified and the visitor may be prevented from entering the control area. In the case of a company, it may provide an intelligent monitoring service for visitors who attempt to enter a region that requires special restrictions or access control, even if registered in the company.

상기한 바와 같은 본 발명에 따르면, 상황별로 추적 대상에 대한 통제 및 서비스를 적절하게 제공함으로써, 지능형 감시 서비스를 제공하는 것이 가능하게 된다. According to the present invention as described above, it is possible to provide an intelligent monitoring service by appropriately providing the control and service for the tracking target for each situation.

Claims (5)

지능형 로봇 감시 서비스 시스템에서 추적 대상 통제 방법에 있어서, In the method of controlling the tracking object in the intelligent robot monitoring service system, 감시 모드에서 정해진 영역 내에 설치된 적어도 하나 이상의 센서를 이용하여 추적 대상을 인식하는 과정과,Recognizing a target to be tracked using at least one sensor installed in a predetermined area in a monitoring mode; 미리 저장된 추적 대상별 정보를 이용하여 상기 인식된 추적 대상에 대한 통제 구역을 확인한 후 상기 추적 대상이 처한 상황을 인식하는 과정과,Identifying a control area for the recognized tracking target by using information stored for each tracking target in advance and recognizing a situation in which the tracking target is located; 상기 추적 대상이 통제 구역 진입할 경우, 상기 인식된 상황에 대응하는 서비스를 수행하는 기기에 통제 명령을 출력하는 과정을 포함함을 특징으로 하는 지능형 로봇 감시 서비스 시스템에서 추적 대상 통제 방법.And when the tracking target enters the control zone, outputting a control command to a device that performs a service corresponding to the recognized situation. 제 1항에 있어서, 상기 통제 명령을 출력하는 과정은, The process of claim 1, wherein the outputting of the control command comprises: 상기 추적 대상의 이동을 제지하도록 로봇에게 통제를 지시하는 과정임을 특징으로 하는 지능형 로봇 감시 서비스 시스템에서 추적 대상 통제 방법.The control method of the tracking object in the intelligent robot monitoring service system, characterized in that the process of instructing the robot to control the movement of the tracking object. 제 1항에 있어서, 상기 통제 명령을 출력하는 과정은, The process of claim 1, wherein the outputting of the control command comprises: 상기 정해진 영역 내의 전자기기를 제어함으로써 상기 상황에 대응하는 서비스를 제공하는 과정임을 특징으로 하는 지능형 로봇 감시 서비스 시스템에서 추적 대상 통제 방법..And controlling the electronic device within the predetermined area to provide a service corresponding to the situation. 추적 대상을 통제하기 위한 지능형 로봇 감시 서비스 시스템에 있어서, In the intelligent robot monitoring service system for controlling the tracking target, 정해진 영역 내에 설치되며, 추적 대상을 인식하는데 필요한 영상, 음성 중 적어도 하나 이상의 정보를 입력받는 적어도 하나 이상의 센서와,At least one sensor installed in a predetermined area and receiving at least one information of an image and an audio required to recognize a tracking target; 상기 추적 대상을 인식하는데 필요한 정보를 입력받으며, 상기 추적 대상의 이동을 제지하는 로봇과,A robot receiving information necessary for recognizing the tracking target and restraining the movement of the tracking target; 추적 대상별 신상 정보, 추적 대상별로 통제 구역을 지정한 정보 및 추적 대상이 처한 상황별로 해당 서비스가 제공될 수 있도록 각 상황별 제공 서비스를 추적 대상별로 저장하는 데이터베이스와,A database for storing tracking information for each situation so that the service can be provided according to the personal information of each tracking object, the control area for each tracking object, and the situation of the tracking object; 상기 데이터베이스에 저장된 정보를 참조하여 상기 센서 및 로봇 중 적어도 하나를 통해 입력된 정보에서 상기 추적 대상을 인식하는 인식부와,A recognition unit for recognizing the tracking target from information input through at least one of the sensor and the robot by referring to the information stored in the database; 상기 추적 대상이 인식되면 상기 추적 대상을 추적하여 상기 추적 대상이 처한 상황을 인식하고, 상기 인식된 상황에 대응하는 서비스가 수행되도록 제어하는 상황인지 관리부를 포함함을 특징으로 하는 추적 대상을 통제하기 위한 지능형 로봇 감시 서비스 시스템.If the tracking target is recognized to track the tracking target to recognize the situation in which the tracking target, and control the tracking target, characterized in that it comprises a situation that controls to perform a service corresponding to the recognized situation. Intelligent Robot Surveillance Service System. 제 4항에 있어서, 상기 상황인지 관리부는, The method according to claim 4, wherein the situation recognition manager, 상기 데이터베이스를 참조하여 상기 인식된 추적 대상에 대한 통제 구역을 파악하고, 상기 추적 대상이 상기 통제 구역에 진입할 경우 상기 로봇으로 통제 명령을 출력하여 상기 추적 대상의 진입을 제지하도록 제어함을 특징으로 하는 추적 대상을 통제하기 위한 지능형 로봇 감시 서비스 시스템.A control zone for the recognized tracking target is identified by referring to the database, and when the tracking target enters the control zone, a control command is output to the robot to control the entry of the tracking target. Intelligent robot monitoring service system to control the tracking target.
KR1020070012950A 2007-02-07 2007-02-07 Method of controlling target and system for providing monitoring service using intelligent robot KR101276936B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070012950A KR101276936B1 (en) 2007-02-07 2007-02-07 Method of controlling target and system for providing monitoring service using intelligent robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070012950A KR101276936B1 (en) 2007-02-07 2007-02-07 Method of controlling target and system for providing monitoring service using intelligent robot

Publications (2)

Publication Number Publication Date
KR20080073993A true KR20080073993A (en) 2008-08-12
KR101276936B1 KR101276936B1 (en) 2013-06-19

Family

ID=39883550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070012950A KR101276936B1 (en) 2007-02-07 2007-02-07 Method of controlling target and system for providing monitoring service using intelligent robot

Country Status (1)

Country Link
KR (1) KR101276936B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160086623A (en) 2015-01-12 2016-07-20 부산대학교 산학협력단 Surveillance Robot System for abnormal behavior detection
WO2020180051A1 (en) * 2019-03-07 2020-09-10 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005186197A (en) 2003-12-25 2005-07-14 Victor Co Of Japan Ltd Network robot
JP2005212023A (en) 2004-01-29 2005-08-11 Mitsubishi Heavy Ind Ltd Robot system
KR20060011267A (en) * 2004-07-29 2006-02-03 김주형 Security area and gate access control system, method and device using global positioning system
KR200383156Y1 (en) 2005-01-13 2005-05-03 주식회사 아이티펌 Smart Integrated Visual Monitoring Security System

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160086623A (en) 2015-01-12 2016-07-20 부산대학교 산학협력단 Surveillance Robot System for abnormal behavior detection
WO2020180051A1 (en) * 2019-03-07 2020-09-10 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11899467B2 (en) 2019-03-07 2024-02-13 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
KR101276936B1 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
KR101141847B1 (en) Information processing apparatus, computer readable medium recording information processing program, and information processing method
KR101545953B1 (en) The method for admission control and location recognition and recoding medium recoding the method for admission control and location recognition
KR102237086B1 (en) Apparatus and method for controlling a lobby phone that enables video surveillance through a communication terminal that can use a 5G mobile communication network based on facial recognition technology
KR20190138638A (en) Access control system with wireless and face recognition
JP5900941B1 (en) Digital future now security system, method and program
KR20190024254A (en) Doorbell
US20150093102A1 (en) Monitoring apparatus, monitoring system, and monitoring method
KR20090091985A (en) Control terminal and method for management of visit vehicles
KR20160053601A (en) Appratus and method for processing image
JP2024056872A (en) Stay management device, stay management method, and program
JP2009016926A (en) Apartment building interphone system
US9594290B2 (en) Monitoring apparatus for controlling operation of shutter
JP2006163456A (en) Entering and leaving management device
KR20190085376A (en) Aapparatus of processing image and method of providing image thereof
US10586434B1 (en) Preventing unauthorized access to audio/video recording and communication devices
JP2014187645A (en) Monitoring system, imaging apparatus, server device, monitoring method, and program
KR20070094428A (en) Integration card system in housing development
KR101276936B1 (en) Method of controlling target and system for providing monitoring service using intelligent robot
JP2018092293A (en) Entrance/exit management system
JP2020181525A (en) Reception guidance system and reception guidance method
CN113791408B (en) Method, device and storage medium for indoor positioning target object
KR101778863B1 (en) Household security system using home network
WO2015136828A1 (en) Person detecting device and person detecting method
KR101257460B1 (en) System for controlling elevator using CCTV
KR20190114717A (en) Doorbell, security system including doorbell apparatus, and method of operating the same

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 6