WO2012124933A2 - 로봇의 위치 인식 장치 및 방법 - Google Patents

로봇의 위치 인식 장치 및 방법 Download PDF

Info

Publication number
WO2012124933A2
WO2012124933A2 PCT/KR2012/001717 KR2012001717W WO2012124933A2 WO 2012124933 A2 WO2012124933 A2 WO 2012124933A2 KR 2012001717 W KR2012001717 W KR 2012001717W WO 2012124933 A2 WO2012124933 A2 WO 2012124933A2
Authority
WO
WIPO (PCT)
Prior art keywords
robot
motion
information
space
movement
Prior art date
Application number
PCT/KR2012/001717
Other languages
English (en)
French (fr)
Other versions
WO2012124933A3 (ko
Inventor
박귀태
김주형
이정엄
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2012124933A2 publication Critical patent/WO2012124933A2/ko
Publication of WO2012124933A3 publication Critical patent/WO2012124933A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an apparatus and method for recognizing a position of a robot, and more particularly, to an apparatus and method for recognizing a position of a robot moving in an intelligent space.
  • SLAM Simultaneous Localization And Mapping
  • SLAM has a problem in that it needs to simultaneously perform its own location measurement and mapping.
  • SLAM has a drawback in that it takes a lot of time because it needs to increase the accuracy of map creation and location measurement while continuously moving space to achieve two purposes.
  • the intelligent space can recognize the situation occurring in the space by using a plurality of sensors, and can provide various information and physical resources to the robot through the network.
  • the position measurement of the robot by the intelligent space was measured by recognizing the marker with the pattern of the robot itself or the pattern attached to the robot as a camera installed in the space.
  • Another method is to install RFID tags on the floor at regular intervals so that the robot can recognize the RFID tag and measure its position.
  • the present invention has been proposed to solve the above-described problems, and an object of the present invention is to provide an apparatus and a method for accurately recognizing the position of each robot even if one or more robots are newly entered into the intelligent space.
  • the photographing unit for photographing the space;
  • a motion tracking unit for obtaining motion information of a robot moving in a space from image information of the photographing unit; And converting the motion information in the image coordinates from the motion tracking unit into the motion information in the spatial coordinates to obtain the actual movement pattern of the robot, and comparing the actual movement pattern of the robot with a preset movement pattern.
  • It includes; a motion analysis unit to grasp the motion.
  • a method of recognizing a position of a robot comprising: obtaining motion information of a robot moving in a space from image information of a photographed space; Obtaining the actual movement pattern of the robot by converting the obtained motion information in the image coordinates into the motion information in the spatial coordinates; And comparing the actual movement pattern of the robot with a preset movement pattern to identify motion information of the specific robot.
  • a method of recognizing a robot comprising: providing a communication protocol such that an intelligent space and a robot share information with each other by a communication procedure through a protocol defined using a local area network; Sharing the movement pattern information for measuring the position of the robot with the intelligent space, and analyzing the motion information of the moving robot using a camera in the intelligent space; And determining whether the analyzed motion information of the robot matches the motion information in the image of the camera to correspond to the unique name of the robot and the analyzed motion information of the robot.
  • the communication between the space and the robot is established by using a protocol defined using a local area network in a state in which the communication between the intelligent space and the robot is not established. Can share.
  • the position of the robot can be measured and the position of the individual robot can be measured by matching the robot's unique name.
  • a means for establishing a communication connection with the space using a local area network may be provided.
  • FIG. 1 is a diagram illustrating a system employing a robot position recognition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a process of establishing a communication connection between an intelligent space and a robot by using the short range wireless communication network shown in FIG. 1.
  • FIG 3 is a view for explaining a position recognition method of the robot according to an embodiment of the present invention.
  • 4 to 5 are diagrams for explaining a method of comparing the actual movement pattern of the robot and a predetermined movement pattern in the robot position recognition method according to an embodiment of the present invention.
  • the intelligent space described in the specification of the present invention means a space in which an object (for example, a robot) and a phenomenon in the space can be grasped using various sensors.
  • the intelligent space may mean an area where the object (eg, a robot) is sensed through various sensors.
  • An entity (for example, a robot) existing in the intelligent space may communicate with a specific device (for example, a location recognition device of a robot) through a network.
  • the specific device may be provided with the various sensors, or may receive information sensed from the various sensors.
  • the specific device may be installed in the intelligence space.
  • FIG. 1 is a diagram illustrating a system employing a robot position recognition apparatus according to an embodiment of the present invention.
  • the concept in which the robot 10 and the intelligent space 30 perform communication is performed by the position recognition device of the robot 10 installed in the intelligent space 30 and the robot installed in the intelligent space 30 to perform communication. It can be understood as a concept.
  • the expression that the robot 10 delivers predetermined information to the intelligent space 30 indicates that the robot 10 located in the intelligent space 30 is provided to the position recognition device of the robot installed in the intelligent space 30. It can be understood as a concept of conveying information.
  • the robot 10 may perform a network function and a simple processor function to communicate with a sensor capable of detecting an obstacle around the robot.
  • the robot 10 transmits information requesting its location information to the intelligent space 30 and waits for a response request from the intelligent space 30.
  • the robot 10 may start communication with the intelligent space 30 using the wireless communication module 12 by a communication protocol defined for communicating with the intelligent space 30. .
  • the wireless communication module 12 may include a short range communication module.
  • Short-range communication technologies include Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, and Near Field Communication (NFC).
  • RFID Radio Frequency Identification
  • IrDA infrared data association
  • UWB ultra wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the camera 14 is composed of a plurality of cameras and hangs on the ceiling of the space and can observe the entire space.
  • the camera 14 may transmit the camera image information to the motion tracker 16, the motion analyzer 18, and the position measurer 20 through the network 22.
  • the motion tracker 16 receives the image information collected by the camera 14 through the network 22, estimates the moving robot 10 from the image information, and grasps the motion information of the robot 10.
  • the motion tracker 16 receives the image information from the camera 14 and grasps information about the movement of the robot 10.
  • the motion tracker 16 may use a motion history image (hereinafter, referred to as a motion history image) to estimate a position of an object (eg, a robot or an object other than the robot) in which a motion occurs from the image information of the camera 14.
  • a motion history image e.g. a motion history image
  • MHI Motion history image
  • the MHI accumulates the motion information of the object that is opened between the predetermined time intervals to know the position where the movement of the object (eg, a robot, an object other than the robot) occurs, the magnitude of the movement degree, and the direction of movement of the object.
  • the region in which the movement obtained through MHI has occurred may have one or more candidate groups.
  • the position of the robot 10 may be determined by estimating a candidate group having high similarity by grasping the similarity with the external shape information of the robot 10 from the areas where the movement of the object occurs.
  • the external shape information uses a color histogram, edge and corner information, and a histogram of oriented gradient (HOG).
  • the motion tracker 16 uses a particle filter to obtain positional information with one reliability from positions for several candidate groups.
  • the particle filter is an estimation algorithm that can obtain one position information by continuously estimating a candidate group having a high similarity after comparing the external shape information of the robot 10 from the candidate regions where the movement occurs.
  • the motion analyzer 18 receives the motion information of the robot 10 detected by the motion tracker 16 through the network 22.
  • the motion analyzer 16 converts motion information in the received image coordinates into motion information in spatial coordinates.
  • the motion analyzer 16 determines whether the motion pattern determined through communication with the robot 10 and the motion information observed through the camera 14 in the actual intelligent space 30 match.
  • the movement pattern determined through communication with the robot 10 refers to a movement pattern transmitted by the intelligent space 30 to the robot, and may be implemented in the form of a movement command signal.
  • the movement pattern determined through communication with the robot 10 may be preset before the actual movement of the robot.
  • the position measuring unit 20 transmits the position and direction information to the robot 10 through the wireless communication module 12 by the result measured by the motion analysis unit 18 so that the robot 10 can move to the destination. .
  • the position measuring unit 20 continuously checks the position and direction of the robot 10 using the motion tracking unit 16 and continuously transmits information to the robot 10 through the wireless communication module 12.
  • FIG. 2 is a diagram illustrating a process of establishing a communication connection between an intelligent space and a robot using a wireless communication module (for example, a short range communication module) shown in FIG. 1.
  • a wireless communication module for example, a short range communication module
  • the robot 10 When the robot 10 enters the intelligent space 30, the robot 10 attempts to broadcast to the intelligent space 30 for assistance in determining its current location (S1). At this time, the robot 10 transmits a channel number to communicate with the name of the robot itself.
  • the intelligent space 30 transmits an acknowledgment (ACK) to the robot 10 when receiving the request broadcast by the robot 10 (S2). At this time, the intelligent space 30 transmits the name and response information of the intelligent space.
  • ACK acknowledgment
  • the robot 10 When the robot 10 receives the information S2 about the response confirmation from the intelligent space 30, the robot 10 transmits a request localization request to the intelligent space 30 to the intelligent space 30 (S3). At this time, the robot 10 transmits a channel number to communicate with, its external form information, and movement information.
  • the intelligent space 30 sends the response confirmation information (ACK) to the robot 10 and starts to estimate the moving object in the space using the camera 14 (S4).
  • ACK response confirmation information
  • the robot 10 having received the acknowledgment information ACK starts to move based on the motion information sent when the position measurement request in the position measurement request step S3 is transmitted to the intelligent space 30. Since the robot 10 and the intelligent space 30 use the wireless communication module 12, the intelligent space 30 needs to know a communication channel number and a unique name of the transmitted information in order to send a response to the received information. . Therefore, when the robot 10 communicates with the intelligent space 30, the robot 10 should always transmit a channel number to communicate with its name. Communication between the robot 10 and the intelligent space 30 may occur as needed, and the type of request and response and the corresponding information through the request (S5) and the response (S6) as data. I use it. In the requesting step of S5, the robot 10 transmits the channel number, request type, and request information to communicate with the robot's own name to the intelligence space 30. In step S6, the intelligence space 30 transmits the intelligence space name, response type, and response information to the robot 10.
  • FIG 3 is a view illustrating a method for recognizing a position of a robot according to an exemplary embodiment of the present invention, using the position of the movement of the robot 10 obtained by the motion tracking unit 16 to the spatial coordinates of the motion analyzer 18. It shows the process of measuring the position and direction of the robot 10 for.
  • position information according to the movement of the robot 10 is obtained from the motion tracking unit 16.
  • the robot 10 may be divided into sets of one or more location information based on the location where the robot 10 changes direction from the acquired location information.
  • the divided motion information may be estimated by a straight line. Since the movement pattern consists of a combination of straight lines, the movement pattern of the robot 10 may be divided into one or more straight lines based on the position where the robot has changed direction.
  • the motion information is extracted in a vector form using patterns "L1", “L2", and "L3" for linear motion using "Least squares estimation” or "Huff transform” in order to estimate the straight line.
  • the motion tracker 16 acquires the motion.
  • the time information is included in the information, and the robot 10 records the position information of the time when the direction is changed. Therefore, the recorded information can be divided into a set of one or more positional information and estimated by a straight line.
  • the S14 process converts the two-dimensional image coordinates obtained from the plurality of cameras 14 into three-dimensional coordinates. That is, vectors "L1", “L2”, and “L3" in the video coordinate system are converted into vectors "H1", “H2”, and "H3" in the spatial coordinate system, respectively.
  • the transformation from an image coordinate system to a spatial coordinate system uses a transformation matrix "direct linear transformation".
  • the process S16 obtains the position and the direction of the robot 10 using the motion vectors "H1", "H2", and "H3" in the spatial coordinate system.
  • the intelligent space 30 and the robot 10 shared with each other in the communication process A vector of motion information is compared with an "inner product" and judged as a reference value that defines a similar degree. For example, when the similarity is greater than the reference value, the unique name and position of the robot 10 may be matched, and the position and direction of the specific robot may be determined.
  • the position and direction measurement for a plurality of robots is based on a rule of sequentially progressing the robots one by one.
  • the collision prevention between them should be considered. Therefore, when it is determined that there is a collision using the sensor information, the robot 10 moving by using the motion information for measuring the position and direction of the robot determines the movement rule by stopping the movement for a while and continuing. This is because it is best to move the robot according to the determined motion information because the criterion for determining which robot is located in the position measurement of the robot is position information of the robot.
  • the motion patterns for each robot may be divided.
  • the motion tracker 16 may acquire the actual motion pattern of the robot 10 as a trajectory.
  • the preset movement pattern is a movement pattern transmitted from the intelligent space 30 to the robot 10, which may be given as a linear velocity and an angular velocity.
  • the locus coordinates of the robot 10 obtained from the image information are converted into spatial coordinates.
  • the trajectory of the robot 10 in the image coordinates acquired by each camera 14 may be transformed into a robot trajectory in spatial coordinates by a direct linear transformation (DLT) algorithm.
  • DLT direct linear transformation
  • trajectory of the i-th robot in the k-th time determined by the motion tracking unit 16 is represented by x, y coordinates in the two-dimensional space, It can be expressed as.
  • the superscript T below means transpose.
  • the movement pattern transmitted to the i-th robot by the intelligent space 30 is Linear velocity at k-th time ) And angular velocity ) It can be expressed as
  • the motion pattern of the robot 10 Since the movement pattern of the robot 10 is expressed in speed and the trajectory of the robot 10 is expressed in position, the motion pattern of the robot 10 should be matched with information about the position in space in order to compare the movement pattern with the trajectory of the robot. Therefore, the movement pattern of the robot 10
  • the movement pattern for the position as shown in Equation 1 Can be converted to
  • T means a time interval (interval).
  • FIG. 4 is a view for explaining a procedure for comparing the movement pattern of the robot 10 previously set and the trajectory of the actual robot 10.
  • the solid line represents the trajectory of the actual robot 10
  • the dotted line represents the movement pattern of the robot 10 that is preset.
  • the center of the predetermined movement pattern may be determined, the center of the robot trajectory may be obtained, and then moved to the origin.
  • Direction of the locus of the robot 10 By rotating the trajectory of the robot 10 can be compared with the similarity of the movement pattern of the robot 10 previously set and the trajectory of the actual robot 10.
  • Equation 2 a matrix may be defined as shown in Equation 2 to obtain a similarity between each preset movement pattern and the trajectory of the robot 10.
  • Nr is the number of robots
  • P is the set of the robot's movement patterns
  • T is the set of the robot's trajectories.
  • the similarity between each movement pattern and the trajectory of the robot may be determined by a similarity determination equation as shown in Equations 3, 4, and 5.
  • Equation 6 the l-th trajectory associated with the movement pattern of the I-th robot can be obtained by using Equation 6.
  • index is a matrix
  • the actual trajectory of each robot Represents the sort order needed to reorder. For example, index l of Is 2, the matrix in Will be in the second column.
  • argmax is a matrix Means the j th row with the largest value in the i th column.
  • 5 is a matrix This shows the process of determining whether the robot's movement pattern matches the trajectory.
  • the trajectory Autumn movement pattern If the assumption in Figure 5 is, the trajectory Autumn movement pattern If is equal to the difference between two matrices The value of becomes 0. But in a real environment Is Because it is different from Is greater than zero. Thus, the matrix Matrix Can be used as a reference for measuring The reference value c may be defined by Equation 7.
  • Equation 7 the reference value c must satisfy the square of the logarithm of the robot (Nr X Nr). If the reference value c is smaller than the square of the logarithm of the robot, the comparison of the movement pattern and the trajectory fails.
  • Matrix on comparison failure Is a vector of each row of Realign the equations and re-determine the match between the movement pattern and the trajectory.
  • Equation (8) may determine whether the robot moves according to a given movement pattern.
  • the present invention is not limited only to the above-described embodiment, but can be modified and modified within the scope not departing from the gist of the present invention, the technical idea to which such modifications and variations are also applied to the claims Must see

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

지능화 공간에 하나 이상의 로봇이 신규로 들어 오더라도 로봇별 위치 인식을 정확히 할 수 있도록 하는 장치 및 방법을 제시한다. 제시된 로봇의 위치 인식 장치는 공간을 촬영하는 촬영부, 촬영부의 영상 정보로부터 공간내에서 움직이는 로봇의 움직임 정보를 획득하는 움직임 추적부, 및 움직임 추적부로부터의 영상 좌표에서의 움직임 정보를 공간 좌표에서의 움직임 정보로 변환하여 로봇의 실제의 움직임 패턴을 구하고 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴을 비교하여 특정 로봇의 움직임으로 파악하는 움직임 분석부를 포함한다. 카메라의 영상 정보를 통한 움직임 패턴과 로봇의 움직임을 분석하고 일치 여부를 판단한 후, 로봇의 위치를 측정하고 이를 로봇의 고유 이름과 대응시켜 개별적인 로봇의 위치 측정이 가능하다. 이를 이용한 응용 분야로 로봇이 공간을 이동하더라도 근거리 통신망을 이용하여 공간과 통신 연결을 할 수 있는 수단을 마련할 수 있다. 다수의 로봇이 새로운 공간으로 이동하더라도 다수의 로봇에 대한 개별적인 위치 측정을 단시간에 행할 수 있다.

Description

로봇의 위치 인식 장치 및 방법
본 발명은 로봇의 위치 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 지능화 공간에서 움직이는 로봇의 위치를 인식할 수 있도록 한 장치 및 방법에 관한 것이다.
기존의 독립형 로봇(standard robot)은 새로운 환경에서 자신의 위치를 파악하기 위해 센서 정보를 이용하여 환경 지도를 작성하면서 지도상에서의 위치를 파악하는 SLAM(Simultaneous Localization And Mapping)기법을 이용한다.
그러나, SLAM은 자신의 위치 측정과 맵 작성을 동시에 달성해야 하는 문제가 있다. 또한, SLAM은 두 개의 목적을 달성하기 위해 공간을 계속 이동하면서 맵 작성과 위치 측정의 정확도를 높여야 하기 때문에 소요시간이 많이 걸리는 단점이 있다.
지능화 공간은 다수의 센서를 이용하여 공간에서 발생하는 상황을 알 수 있고, 네트워크를 통해 다양한 정보와 물리적 자원을 로봇에 제공할 수 있다. 기존에 지능화 공간에 의한 로봇의 위치 측정은 로봇 자체의 패턴이나 로봇에 부착된 패턴이 있는 마커를 공간에 설치된 카메라로 인식하여 위치를 측정하였다. 그 밖에 바닥에 일정한 간격으로 RFID 태그를 설치하여 로봇이 이 RFID 태그를 인식하여 위치를 측정하는 방법도 있다.
그러나 새로운 로봇의 위치 측정을 위해 기존에 지능화 공간에서 로봇의 위치를 측정한 방법에는 한계가 있다. 첫째, 지능화 공간이 개체의 상황을 관찰하는 경우 개체에 대한 정보가 없다면 공간에 들어온 개체가 로봇인지 아닌지를 판단하기 불가능하다. 둘째, 기존의 방법에서는 공간과 로봇의 통신이 미리 연결되어 있지만 새로운 로봇이 공간에 들어온 경우 공간과 통신할 수 있는 연결 메커니즘이 필요하다. 셋째, 다수의 로봇이 동일한 외부 형태를 가지고 있다면 이들의 위치를 개별적으로 알 수 있는 방법이 필요하다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 지능화 공간에 하나 이상의 로봇이 신규로 들어오더라도 로봇별 위치 인식을 정확히 할 수 있도록 하는 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 로봇의 위치 인식 장치는, 공간을 촬영하는 촬영부; 촬영부의 영상 정보로부터 공간내에서 움직이는 로봇의 움직임 정보를 획득하는 움직임 추적부; 및 움직임 추적부로부터의 영상 좌표에서의 움직임 정보를 공간 좌표에서의 움직임 정보로 변환하여 로봇의 실제의 움직임 패턴을 구하고, 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴을 비교하여 특정 로봇의 움직임으로 파악하는 움직임 분석부;를 포함한다.
본 발명의 바람직한 실시양태에 따른 로봇의 위치 인식 방법은, 촬영된 공간의 영상 정보로부터 공간내에서 움직이는 로봇의 움직임 정보를 획득하는 단계; 얻어진 영상 좌표에서의 움직임 정보를 공간 좌표에서의 움직임 정보로 변환하여 로봇의 실제의 움직임 패턴을 구하는 단계; 및 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴을 비교하여 특정 로봇의 움직임 정보를 파악해 내는 단계;를 포함한다.
본 발명의 바람직한 다른 실시양태에 따른 로봇의 위치 인식 방법은, 근거리 통신망을 이용하여 정의된 프로토콜을 통한 통신 절차에 의해 지능화 공간과 로봇이 서로 정보를 공유하도록 통신 프로토콜을 제공하는 단계; 로봇의 위치 측정을 위한 움직임 패턴 정보를 지능화 공간과 공유하고, 지능화 공간의 카메라를 이용하여 움직이는 로봇의 움직임 정보를 분석하는 단계; 및 분석된 로봇의 움직임 정보와 카메라의 영상에서의 움직임 정보와의 일치 여부를 판단하여 로봇의 고유 이름과 분석된 로봇의 움직임 정보를 대응시키는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 지능화 공간에 새로운 로봇이 들어온 경우 지능화 공간과 로봇의 통신이 설정되어 있지 않은 상태에서 근거리 통신망을 이용하여 정의된 프로토콜에 의해 공간과 로봇의 통신을 설정하여 서로의 정보를 공유할 수 있다.
카메라의 영상 정보를 통해 획득된 로봇의 실제 움직임 패턴과 미리 설정된 로봇의 움직임 패턴과의 일치 여부를 판단한 후, 로봇의 위치를 측정하고 이를 로봇의 고유 이름과 대응시켜 개별적인 로봇의 위치 측정이 가능하다.
이를 이용한 응용 분야로 로봇이 공간을 이동하더라도 근거리 통신망을 이용하여 공간과 통신 연결을 할 수 있는 수단을 마련할 수 있다.
다수의 로봇이 새로운 공간으로 이동하더라도 다수의 로봇에 대한 개별적인 위치 측정을 단시간에 행할 수 있다.
도 1은 본 발명의 실시예에 따른 로봇의 위치 인식 장치가 채용된 시스템을 도시한 도면이다.
도 2는 도 1에 도시된 근거리 무선 통신망을 이용하여 지능화 공간과 로봇이 통신 연결을 설정하는 과정을 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 로봇의 위치 인식 방법을 설명하는 도면이다.
도 4 내지 도 5는 본 발명의 실시예에 따른 로봇의 위치 인식 방법에서 로봇의 실제 움직임 패턴과 미리 설정되어 있는 움직임 패턴을 비교하는 방법을 설명하기 위한 도면이다.
[부호의 설명]
10 : 로봇 12 : 무선 통신 모듈
14 : 카메라 16 : 움직임 추적부
18 : 움직임 분석부 20 : 위치 측정부
30 : 지능화 공간
본 발명의 명세서에 기재된 지능화 공간은 다양한 센서를 이용하여 공간내의 개체(예: 로봇)와 현상이 파악될 수 있는 공간을 의미한다. 지능화 공간을 다양한 센서를 통해 상기 개체(예: 로봇)가 센싱되는 영역을 의미할 수도 있다. 상기 지능화 공간에 존재하는 개체(예: 로봇)는 네트워크를 통해 특정 장치(예: 로봇의 위치 인식 장치)와 통신을 수행할 수 있다. 상기 특정 장치는 상기 다양한 센서를 구비할 수도 있고, 상기 다양한 센서로부터 센싱된 정보를 수신할 수도 있다. 상기 특정 장치는 지능화 공간 내에 설치될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 로봇의 위치 인식 장치 및 방법에 대하여 설명하도록 하겠다. 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 로봇의 위치 인식 장치가 채용된 시스템을 도시한 도면이다. 본 명세서에서 로봇(10)과 지능화 공간(30)이 통신을 수행하는 개념은 지능화 공간(30)내에 위치하는 로봇(10)과 지능화 공간(30)에 설치된 로봇의 위치 인식 장치가 통신을 수행하는 개념으로 이해될 수 있다. 예를 들어, 로봇(10)이 지능화 공간(30)에게 소정의 정보를 전달한다는 표현은 지능화 공간(30)에 위치한 로봇(10)이 지능화 공간(30)에 설치된 로봇의 위치 인식 장치에게 소정의 정보를 전달하는 개념으로 이해될 수 있다.
로봇(10)은 주변의 장애물 여부를 감지할 수 있는 센서와 통신할 수 있는 네트워크 기능 및 간단한 프로세서 기능을 수행할 수 있다. 낯선 환경으로 로봇(10)이 들어간 경우 로봇(10)은 자신의 위치 정보를 요청하는 정보를 지능화 공간(30)에게로 송신하고 지능화 공간(30)으로부터 응답 요청을 기다린다.
로봇(10)이 지능화 공간(30)에 들어온 경우, 지능화 공간(30)과 통신을 하기 위해 정의된 통신 프로토콜에 의해 무선 통신 모듈(12)을 이용하여 지능화 공간(30)과 통신을 시작할 수 있다.
무선 통신 모듈(12)은 근거리 통신 모듈을 포함할 수 있다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 있다.
카메라(14)는 다수의 카메라로 구성되며 공간의 천장에 달려있고 공간 전체를 관찰할 수 있다. 또한, 카메라(14)는 네트워크(22)를 통해 카메라 영상 정보를 움직임 추적부(16)와 움직임 분석부(18) 및 위치 측정부(20)에게로 전달할 수 있다.
움직임 추적부(16)는 카메라(14)가 수집한 영상 정보를 네트워크(22)를 통해 전달받아 영상 정보로부터 움직이는 로봇(10)을 추정하여 해당 로봇(10)의 움직임 정보를 파악한다.
움직임 추적부(16)에 대해 보다 자세히 설명하면 다음과 같다. 움직임 추적부(16)는 카메라(14)로부터 영상 정보를 수신하여 로봇(10)의 움직임에 대한 정보를 파악한다. 움직임 추적부(16)는 카메라(14)의 영상 정보로부터 움직임이 발생하는 개체(예컨대, 로봇, 로봇 이외의 물체)의 위치를 추정하기 위해 이미지의 차이를 이용한 모션 히스토리 이미지(Motion History Image; 이하 MHI라고 함)를 이용한다. MHI는 일정한 시간 간격 사이에서 벌어진 개체의 움직임 정보를 누적하여 개체(예컨대, 로봇, 로봇 이외의 물체)의 움직임이 발생한 위치와 움직임 정도의 크기 및 개체의 이동 방향을 알 수 있다. 그러나, MHI를 통해 얻은 움직임이 발생한 영역은 하나 이상의 후보군을 가질 수 있다. 따라서, 개체의 움직임이 발생한 영역들로부터 로봇(10)의 외부 형태 정보와 유사도를 파악하여 유사도가 높은 후보군을 추정하는 것으로 로봇(10)의 위치를 파악할 수 있다. 일반적으로, 외부 형태 정보는 컬러 히스토그램(color histogram)이나 에지 및 코너 정보, HOG(histogram of oriented gradient)를 이용한다. 움직임 추적부(16)는 여러 후보군에 대한 위치로부터 하나의 신뢰성을 가지는 위치 정보를 얻기 위해 파티클 필터(particle filter)를 이용한다. 파티클 필터는 움직임이 발생한 후보영역들로부터 로봇(10)의 외부 형태 정보와 비교한 후, 유사도가 높은 후보군을 계속 추정하여 하나의 위치 정보를 얻을 수 있는 추정 알고리즘이다.
움직임 분석부(18)는 움직임 추적부(16)에 의해 파악된 로봇(10)의 움직임 정보를 네트워크(22)를 통해 수신한다. 움직임 분석부(16)는 수신된 영상 좌표에서의 움직임 정보를 공간 좌표에서의 움직임 정보로 변환한다. 움직임 분석부(16)는 로봇(10)과 통신을 통해 결정한 움직임 패턴과 실제 지능화 공간(30)에서 카메라(14)를 통해 관측한 움직임 정보가 일치하는지의 여부를 판단한다. 로봇(10)과 통신을 통해 결정한 움직임 패턴이라 함은 지능화 공간(30)이 상기 로봇에 전달한 움직임 패턴을 의미하는 것으로, 움직임 명령 신호의 형태로 구현될 수 있다. 상기 로봇(10)과 통신을 통해 결정한 움직임 패턴은 로봇의 실제 움직임 전에 미리 설정되어 있을 수 있다.
위치 측정부(20)는 움직임 분석부(18)에 의해 측정된 결과를 무선 통신 모듈(12)을 통해 위치와 방향 정보를 로봇(10)에 전달하여 로봇(10)이 목적지까지 이동할 수 있도록 한다. 또한, 위치 측정부(20)는 움직임 추적부(16)를 이용하여 로봇(10)의 위치와 방향을 계속 확인하고 무선 통신 모듈(12)을 통해 로봇(10)에게로 정보를 계속 전달한다.
도 2는 도 1에 도시된 무선 통신 모듈(예: 근거리 통신 모듈)을 이용하여 지능화 공간과 로봇이 통신 연결을 설정하는 과정을 설명하는 도면이다.
로봇(10)이 지능화 공간(30)에 들어오면 로봇(10)은 자신의 현재 위치 파악을 위해 지능화 공간(30)에 도움을 요청하고자 브로드캐스트(broadcast)를 시도한다(S1). 이때, 로봇(10)은 로봇 자신의 이름과 통신할 채널 번호를 전송한다.
그에 따라, 지능화 공간(30)은 로봇(10)이 브로드캐스트한 요청을 수신하면 수신 확인 응답(ACK)을 로봇(10)에게 전송한다(S2). 이때, 지능화 공간(30)은 지능화 공간의 이름과 응답 정보를 전송한다.
로봇(10)이 지능화 공간(30)으로부터 응답 확인에 대한 정보(S2)를 받으면 로봇(10)은 자신의 위치 측정에 대한 요청(Request Localization)을 지능화 공간(30)에게로 송신한다(S3). 이때, 로봇(10)은 통신할 채널 번호, 자신의 외부 형태 정보, 및 움직임 정보를 송신한다.
이에, 지능화 공간(30)은 응답 확인 정보(ACK)를 로봇(10)에게로 보내고 카메라(14)를 이용하여 공간에서 움직이는 개체를 추정하기 시작한다(S4).
응답 확인 정보(ACK)를 받은 로봇(10)은 위치 측정 요청 단계(S3)에서의 위치 측정 요청을 지능화 공간(30)에 전송할 때 보낸 움직임 정보를 바탕으로 이동을 하기 시작한다. 로봇(10)과 지능화 공간(30)은 무선 통신 모듈(12)을 이용하므로 지능화 공간(30)은 수신한 정보에 대한 응답을 보내기 위해 통신 채널 번호와 송신한 정보의 고유 이름을 알 필요가 있다. 따라서, 로봇(10)이 지능화 공간(30)과 통신을 할 경우 로봇 자신의 이름과 통신할 채널 번호를 항상 전송해야 한다. 로봇(10)과 지능화 공간(30)간의 통신은 필요에 따라 발생할 수 있으며, 요청(Request)(S5)과 응답(Response)(S6)을 통해 요청 및 응답에 대한 종류와 그에 따르는 정보를 데이터로 이용한다. S5의 요청단계에서 로봇(10)은 로봇 자신의 이름과 통신할 채널 번호, 요청 종류, 및 요청 정보를 지능화 공간(30)에게로 송신한다. S6의 응답단계에서 지능화 공간(30)은 지능화 공간 이름, 응답 종류, 및 응답 정보를 로봇(10)에게로 송신한다.
도 3은 본 발명의 실시예에 따른 로봇의 위치 인식 방법을 설명하는 도면으로서, 움직임 추적부(16)에서 얻은 로봇(10)의 움직임의 위치를 이용하여 움직임 분석부(18)에서 공간 좌표에 대한 로봇(10)의 위치와 방향을 측정하는 과정을 도시화한 것이다.
S10 과정은 움직임 추적부(16)로부터 로봇(10)의 움직임에 따른 위치 정보를 획득한다.
S12 과정에서는 획득한 위치 정보로부터 로봇(10)이 방향을 전환한 위치를 기준으로 하나 이상의 위치 정보에 대한 집합으로 나눌 수 있다. 나누어진 움직임 정보는 직선으로 추정(estimation)할 수 있다. 움직임 패턴은 직선들의 조합으로 이루어져 있으므로, 로봇(10)의 움직임 패턴은 로봇이 방향을 바꾼 위치를 기준으로 하나 이상의 직선으로 분할할 수 있다. 움직임 정보는 직선으로 추정(estimation)하기 위해 "Least squares estimation" 또는 "Huff transform"을 사용하여 직선 움직임에 대한 패턴 "L1", "L2", "L3"을 벡터 형태로 추출한다.
S12 과정에서 로봇(10)이 방향을 전환한 위치를 알 수 있는 방법에 있어서, 로봇(10)이 방향을 전환한 사실을 지능화 공간(30)에 전달하면 움직임 추적부(16)가 획득하는 움직임 정보에 시간 정보를 포함하고 로봇(10)이 방향을 전환한 시간의 위치 정보에 기록을 한다. 따라서, 기록된 정보에 의해 움직임 정보를 하나 이상의 위치 정보에 대한 집합으로 분할하고, 직선으로 추정(estimation)할 수 있다.
S14 과정은 다수의 카메라(14)에서 얻은 2차원 영상 좌표를 이용하여 3차원 좌표로 변환한다. 즉, 영상 좌표계에서의 벡터 "L1", "L2", "L3"를 공간 좌표계의 벡터 "H1", "H2", "H3"로 각각 변환한다. 예를 들어, 영상 좌표계에서 공간 좌표계로의 변환은 변환 행렬인 "direct linear transformation"를 이용한다.
S16 과정은 공간 좌표계에서의 움직임 벡터 "H1", "H2", "H3"를 이용하여 로봇(10)의 위치와 방향을 구한다.
S18 과정에서는 S16 과정에서 구한 움직임을 나타내는 벡터 "H1", "H2", "H3"와 로봇(10)의 방향 φ를 이용하여 통신과정에서 지능화 공간(30)과 로봇(10)이 서로 공유한 움직임 정보의 벡터를 "inner product" 비교하여 유사한 정도를 정의한 기준 값으로 판단한다. 예를 들어, 유사도가 기준 값보다 큰 경우 로봇(10)의 고유 이름과 위치를 일치시키고 특정 로봇의 위치와 방향을 파악할 수 있다.
본 발명의 실시예에서는 다수의 로봇에 대한 위치와 방향 측정은 로봇을 한 대씩 순차적으로 진행하는 것을 규칙으로 한다. 그러나, 자신의 위치 파악이 끝난 후에 이동을 시작하는 로봇과 위치 및 방향 측정을 위해 이동하는 로봇과의 충돌이 발생할 수 있으므로 이들간의 충돌 방지를 고려해야 한다. 따라서, 로봇의 위치 및 방향 측정을 위해 움직임 정보를 이용하여 이동하는 로봇(10)은 센서 정보를 이용하여 충돌이 발생할 여부가 있다고 판단되면 이동을 잠시 멈추었다가 계속 진행하는 것으로 이동 규칙을 정한다. 이는 로봇의 위치 측정에서 어느 로봇이 어디에 있는지의 판단 기준은 로봇이 움직인 위치 정보이므로 정해진 움직임 정보대로 로봇이 이동하는 것이 가장 좋기 때문이다.
다수의 로봇의 실제 움직임 패턴이 지능화 공간(30)의 평면상에서 서로 겹쳐지는 경우에는 각각의 로봇에 대한 움직임 패턴을 분할하여도 된다.
이하에서는 로봇(10)의 실제 움직임 패턴과 미리 설정된 움직임 패턴의 비교를 통해 지능화 공간(30)에 존재하는 로봇(10)을 식별하는 방법에 대해 상세히 설명하도록 하겠다.
움직임 추적부(16)는 로봇(10)의 실제 움직임 패턴을 궤적(trajectory)으로 획득할 수 있다. 또한, 미리 설정된 움직임 패턴은 지능화 공간(30)에서 로봇(10)에 전달한 움직임 패턴으로, 이는 선속도(linear velocity)와 각속도(angular velocity)로 주어질 수 있다.
전술한 바와 같이, 영상 정보로부터 얻은 로봇(10)의 궤적 좌표를 공간 좌표로 변환한다. 예를 들어, direct linear transformation (DLT) 알고리즘에 의해 각 카메라(14)에서 획득한 영상좌표에서의 로봇(10)의 궤적을 공간 좌표에서의 로봇 궤적으로 변환할 수 있다.
그리고 움직임 추적부(16)가 판단한 k번째 시간에서의 i번째 로봇의 궤적(trajectory)은 2차원 공간에서의 x, y좌표로 표현되며,
Figure PCTKR2012001717-appb-I000001
로 표현될 수 있다. 이하에서의 상첨자 T는 transpose를 의미한다.
지능화 공간(30)이 i번째 로봇에 전달한 움직임 패턴은
Figure PCTKR2012001717-appb-I000002
로 표기하고 k번째 시간에서의 선속도(linear velocity
Figure PCTKR2012001717-appb-I000003
)와 각속도(angular velocity
Figure PCTKR2012001717-appb-I000004
)로 구성되며
Figure PCTKR2012001717-appb-I000005
와 같이 표현될 수 있다.
로봇(10)의 움직임 패턴은 속도로 표현되어 있고 로봇(10)의 궤적은 위치로 표현되어 있기 때문에 움직임 패턴과 로봇의 궤적을 비교하기 위해 공간에서의 위치에 대한 정보로 일치시켜야 한다. 따라서 로봇(10)의 움직임 패턴
Figure PCTKR2012001717-appb-I000006
을 수학식 1과 같이 위치에 대한 움직임 패턴
Figure PCTKR2012001717-appb-I000007
로 변환시킬 수 있다.
수학식 1
Figure PCTKR2012001717-appb-M000001
수학식 1에서 T는 시간 간격(interval)을 의미한다.
도 4는 미리 설정된 로봇(10)의 움직임 패턴과 실제의 로봇(10)의 궤적을 비교하기 위한 절차를 설명하기 위한 도면이다. 도시된 도면에서 실선은 실제의 로봇(10)의 궤적을 나타내고, 점선은 미리 설정된 로봇(10)의 움직임 패턴을 나타낸다.
도시된 바와 같이, 미리 설정된 로봇(10)의 움직임 패턴과 실제의 로봇(10)의 궤적을 비교하기 위해 미리 설정된 움직임 패턴의 중심을 정하고 로봇 궤적의 중심을 구한 후, 원점으로 이동시킬 수 있다.
그리고 principle components analysis(PCA) 기법을 통해 로봇의 궤적에 대한 고유 벡터(eigen vector
Figure PCTKR2012001717-appb-I000008
)를 구한다. 고유 벡터로부터 로봇의
궤적이 갖는 방향
Figure PCTKR2012001717-appb-I000009
을 구할 수 있다.
로봇(10)의 궤적이 갖는 방향
Figure PCTKR2012001717-appb-I000010
을 이용하여 상기 로봇(10)의 궤적을 회전을 시켜 미리 설정된 로봇(10)의 움직임 패턴과 실제의 로봇(10)의 궤적의 유사도를 비교할 수 있다.
다음은 각각의 미리 설정된 움직임 패턴과 로봇(10)의 궤적간의 유사도를 구하기 위해 수학식 2와 같이 행렬을 정의할 수 있다.
수학식 2
Figure PCTKR2012001717-appb-M000002
Nr은 로봇의 대수이고 P는 로봇의 움직임 패턴에 대한 집합, T는 로봇의 궤적에 대한 집합을 의미한다.
또한, 다음과 같은 세 개의 행렬을 정의할 수 있다.
Figure PCTKR2012001717-appb-I000011
: i번째 로봇의 움직임 패턴과 j번째 로봇의 움직임 패턴 사이의 유사도
Figure PCTKR2012001717-appb-I000012
: i번째 궤적과 j번째 궤적 사이의 유사도
Figure PCTKR2012001717-appb-I000013
: i번째 움직임 패턴과 j번째 궤적 사이의 유사도
각각의 움직임 패턴과 로봇의 궤적간의 유사도는 수학식 3, 수학식 4, 수학식 5와 같이 유사도 판별식에 의해 결정될 수 있다.
수학식 3
Figure PCTKR2012001717-appb-M000003
수학식 3에서의
Figure PCTKR2012001717-appb-I000014
는
Figure PCTKR2012001717-appb-I000015
의 원소이다.
수학식 4
Figure PCTKR2012001717-appb-M000004
수학식 4에서의
Figure PCTKR2012001717-appb-I000016
는
Figure PCTKR2012001717-appb-I000017
의 원소이다.
수학식 5
Figure PCTKR2012001717-appb-M000005
수학식 5에서의
Figure PCTKR2012001717-appb-I000018
는
Figure PCTKR2012001717-appb-I000019
의 원소이다.
따라서, I번째 로봇의 움직임 패턴과 관련된 l번째 궤적은 수학식 6을 이용하여 구할 수 있다.
수학식 6
Figure PCTKR2012001717-appb-M000006
index는 행렬
Figure PCTKR2012001717-appb-I000020
에서 각 로봇의 실제 궤적
Figure PCTKR2012001717-appb-I000021
를 재정렬하기 위해 필요한 정렬 순서를 나타낸다. 예를 들어, index l of
Figure PCTKR2012001717-appb-I000022
가 2이면 행렬
Figure PCTKR2012001717-appb-I000023
에서
Figure PCTKR2012001717-appb-I000024
가 두 번째 column에 위치하게 된다.
argmax는 행렬
Figure PCTKR2012001717-appb-I000025
에서 i번째 column에서 가장 큰 값을 갖는 j번째 row를 의미한다.
도 5은 행렬
Figure PCTKR2012001717-appb-I000026
를 통해 로봇의 움직임 패턴과 궤적간의 일치 여부를 판단하는 과정을 나타낸다.
도 5에서 가정은 만약, 궤적
Figure PCTKR2012001717-appb-I000027
가 움직임 패턴
Figure PCTKR2012001717-appb-I000028
와 같다면 두 행렬간의 차이
Figure PCTKR2012001717-appb-I000029
의 값은 0이 된다. 그러나 실제 환경에서
Figure PCTKR2012001717-appb-I000030
는
Figure PCTKR2012001717-appb-I000031
와 다르기 때문에
Figure PCTKR2012001717-appb-I000032
는 0보다 크게 된다. 따라서, 행렬
Figure PCTKR2012001717-appb-I000033
는행렬
Figure PCTKR2012001717-appb-I000034
를 측정하기 위한 기준으로 삼을 수 있다. 기준값인 c는 수학식 7로 정의될 수 있다.
수학식 7
Figure PCTKR2012001717-appb-M000007
여기서
Figure PCTKR2012001717-appb-I000035
이다.
수학식 7에서 기준값 c는 로봇의 대수의 제곱(Nr X Nr)을 만족해야 한다. 만약, 기준값 c가 로봇의 대수의 제곱보다 작다면 움직임 패턴과 궤적의 비교가 실패한 것이 된다. 비교 실패시 행렬
Figure PCTKR2012001717-appb-I000036
의 각 행에 해당하는 벡터인
Figure PCTKR2012001717-appb-I000037
를 재정렬하고 움직임 패턴과 궤적간의 일치 여부를 다시 판단한다.
또한, 움직임 패턴과 궤적 비교시 로봇이 움직임 패턴을 따라 잘 움직였는지 판단하는 기준을 세워 비교의 신뢰성을 보장할 수 있다. 수학식 8에 의해 로봇이 주어진 움직임 패턴대로 이동하였는지 판단할 수 있다.
수학식 8
Figure PCTKR2012001717-appb-M000008
여기서
Figure PCTKR2012001717-appb-I000038
와
Figure PCTKR2012001717-appb-I000039
는 판단 기준이다. 따라서,
Figure PCTKR2012001717-appb-I000040
(행렬
Figure PCTKR2012001717-appb-I000041
의 크기)가 0에 가까울수록 로봇이 움직임 패턴대로 잘 이동하였다는 결과를 제시할 수 있다.
한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.

Claims (20)

  1. 공간을 촬영하는 촬영부;
    상기 촬영부의 영상 정보로부터 상기 공간내에서 움직이는 로봇의 움직임 정보를 획득하는 움직임 추적부; 및
    상기 움직임 추적부로부터의 영상 좌표에서의 움직임 정보를 공간 좌표에서의 움직임 정보로 변환하여 상기 로봇의 실제의 움직임 패턴을 구하고, 상기 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴을 비교하여 특정 로봇의 움직임으로 파악하는 움직임 분석부;를 포함하는 것을 특징으로 하는 로봇의 위치 인식 장치.
  2. 제 1 항에 있어서, 상기 움직임 추적부는
    상기 촬영부로부터의 영상 정보에 대해 모션 히스토리 이미지(Motion History Image) 처리를 하여 개체의 움직임이 발생한 영역을 추정하고, 상기 개체의 움직임이 발생한 영역으로부터 상기 로봇의 외부 형태 정보와 유사도를 파악하여 상기 로봇에 대한 움직임 정보를 획득하는 것을 특징으로 하는 로봇의 위치 인식 장치.
  3. 제 2 항에 있어서, 상기 움직임 추적부는
    상기 모션 히스토리 이미지 처리에 의해 시간대별로 상기 개체의 움직임이 발생한 위치와 움직임 정도의 크기 및 이동 방향을 얻어 상기 로봇의 움직임이 발생한 영역을 추정하는 것을 특징으로 하는 로봇의 위치 인식 장치.
  4. 제 2 항에 있어서, 상기 로봇의 외부 형태 정보는
    상기 로봇의 외부 모양의 특징을 나타내는 정보인 것을 특징으로 하는 로봇의 위치 인식 장치.
  5. 제 1 항에 있어서, 상기 움직임 분석부는
    상기 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴을 비교하여 그에 상응하는 로봇의 고유 이름과 상기 측정한 움직임 정보를 대응시키는 것을 특징으로 하는 로봇의 위치 인식 장치.
  6. 제 1 항에 있어서, 상기 로봇의 위치 인식 장치는
    상기 움직임 분석부로부터의 움직임 정보에 근거하여 해당하는 로봇의 위치와 방향을 계속 확인하는 위치 측정부를 더 포함하는 것을 특징으로 하는 로봇의 위치 인식 장치.
  7. 제 1 항에 있어서, 상기 로봇은
    이웃하는 로봇과의 충돌을 방지하기 위해 센서가 장착된 것을 특징으로 하는 로봇의 위치 인식 장치.
  8. 제 1 항에 있어서, 상기 움직임 분석부는
    상기 미리 설정되어 있는 움직임 패턴을 위치에 대한 움직임 패턴으로 변환하여 상기 로봇의 실제의 움직임 패턴과 비교하는 것을 특징으로 하는 것을 특징으로 하는 로봇의 위치 인식 장치.
  9. 제 8 항에 있어서, 상기 움직임 분석부는
    지능화 공간 내에 존재하는 모든 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴의 유사도가 구해진 경우, 상기 구해진 유사도 결과를 이용하여 상기 지능화 공간 내에 존재하는 모든 로봇을 식별하는 것을 특징으로 하는 로봇의 위치 인식 장치.
  10. 촬영된 공간의 영상 정보로부터 상기 공간내에서 움직이는 로봇의 움직임 정보를 획득하는 단계;
    상기 얻어진 영상 좌표에서의 움직임 정보를 공간 좌표에서의 움직임 정보로 변환하여 상기 로봇의 실제의 움직임 패턴을 구하는 단계; 및
    상기 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴을 비교하여 특정 로봇의 움직임 정보를 파악해 내는 단계;를 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  11. 제 10 항에 있어서,
    상기 공간은 지능화 공간이고,
    상기 공간과 상기 로봇은 서로 정보를 공유하기 위한 통신 프로토콜이 설정되는 것을 특징으로 하는 로봇의 위치 인식 방법.
  12. 제 10 항에 있어서, 상기 로봇의 움직임 정보 획득 단계는,
    상기 영상 정보에 대해 모션 히스토리 이미지(Motion History Image) 처리를 하여 개체의 움직임이 발생한 영역을 추정하는 단계; 및
    상기 개체의 움직임이 발생한 영역으로부터 상기 로봇의 외부 형태 정보와 유사도를 파악하여 상기 로봇에 대한 움직임 정보를 획득하는 단계;를 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  13. 제 12 항에 있어서, 상기 추정 단계는
    상기 모션 히스토리 이미지 처리에 의해 시간대별로 상기 개체의 움직임이 발생한 위치와 움직임 정도의 크기 및 이동 방향을 얻어 상기 로봇의 움직임이 발생한 영역을 추정하는 단계를 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  14. 제 12 항에 있어서, 상기 로봇의 외부 형태 정보는
    상기 로봇의 외부 모양의 특징을 나타내는 정보인 것을 특징으로 하는 로봇의 위치 인식 방법.
  15. 제 10 항에 있어서, 상기 특정 로봇의 움직임 정보 파악 단계는
    상기 로봇의 실제의 움직임 패턴과 상기 로봇과 상기 공간이 서로 공유한 움직임 패턴을 비교하여 그에 상응하는 로봇의 고유 이름과 상기 측정한 움직임 정보를 대응시키는 단계를 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  16. 제 10 항에 있어서, 로봇의 위치 인식 방법은
    상기 특정 로봇의 움직임 정보 파악 단계에 의해 얻은 움직임 정보에 근거하여 해당하는 로봇의 위치와 방향을 계속 확인하는 단계를 더 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  17. 제 10 항에 있어서, 로봇의 위치 인식 방법은
    이웃하는 로봇과의 충돌을 방지하기 위해 센서 정보에 의해 충돌이 발생할 여지가 있다고 판단되면 상기 로봇의 움직임을 일시 정지시키는 단계를 더 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  18. 제 10 항에 있어서, 상기 특정 로봇의 움직임 정보를 파악해 내는 단계는
    상기 미리 설정되어 있는 움직임 패턴을 위치에 대한 움직임 패턴으로 변환하는 단계; 및
    상기 로봇의 실제의 움직임 패턴과 비교하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  19. 제 10 항에 있어서, 상기 특정 로봇의 움직임 정보를 파악해 내는 단계는
    지능화 공간 내에 존재하는 모든 로봇의 실제의 움직임 패턴과 미리 설정되어 있는 움직임 패턴의 유사도가 구해진 경우, 상기 구해진 유사도 결과를 이용하여 상기 지능화 공간 내에 존재하는 모든 로봇을 식별하는 단계를 더 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
  20. 근거리 통신망을 이용하여 정의된 프로토콜을 통한 통신 절차에 의해 지능화 공간과 로봇이 서로 정보를 공유하도록 통신 프로토콜을 제공하는 단계;
    상기 로봇의 위치 측정을 위한 움직임 패턴 정보를 상기 지능화 공간과 공유하고, 상기 지능화 공간의 카메라를 이용하여 움직이는 로봇의 움직임 정보를 분석하는 단계; 및
    상기 분석된 로봇의 움직임 정보와 상기 카메라의 영상에서의 움직임 정보와의 일치 여부를 판단하여 로봇의 고유 이름과 상기 분석된 로봇의 움직임 정보를 대응시키는 단계;를 포함하는 것을 특징으로 하는 로봇의 위치 인식 방법.
PCT/KR2012/001717 2011-03-11 2012-03-09 로봇의 위치 인식 장치 및 방법 WO2012124933A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110021933A KR101239532B1 (ko) 2011-03-11 2011-03-11 로봇의 위치 인식 장치 및 방법
KR10-2011-0021933 2011-03-11

Publications (2)

Publication Number Publication Date
WO2012124933A2 true WO2012124933A2 (ko) 2012-09-20
WO2012124933A3 WO2012124933A3 (ko) 2012-12-27

Family

ID=46831174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001717 WO2012124933A2 (ko) 2011-03-11 2012-03-09 로봇의 위치 인식 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101239532B1 (ko)
WO (1) WO2012124933A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105759813A (zh) * 2014-12-18 2016-07-13 苏州宝时得电动工具有限公司 智能割草机自定位方法及***
CN109508707A (zh) * 2019-01-08 2019-03-22 中国科学院自动化研究所 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN109746909A (zh) * 2017-11-08 2019-05-14 深圳先进技术研究院 一种机器人运动控制方法及设备
CN111347417A (zh) * 2018-12-24 2020-06-30 深圳市优必选科技有限公司 一种uwb定位设备的位置标定方法、装置及机器人
CN112256038A (zh) * 2020-11-03 2021-01-22 盈合(深圳)机器人与自动化科技有限公司 智能空间服务方法及***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898575A (zh) * 2015-06-01 2015-09-09 中国人民解放军装甲兵工程学院 多机器人协同控制***
KR102119161B1 (ko) 2018-10-16 2020-06-04 씨제이올리브네트웍스 주식회사 운송 로봇의 실내 위치 인식 시스템
CN111185904A (zh) * 2020-01-09 2020-05-22 上海交通大学 一种协同机器人平台及其控制***
KR102315362B1 (ko) * 2020-08-21 2021-10-20 네이버랩스 주식회사 로봇 평가 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161743A (ja) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd 移動物体走行制御装置
JPH11248421A (ja) * 1998-03-04 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 移動物体追跡方法及び装置
KR100533954B1 (ko) * 2003-12-22 2005-12-07 충남대학교산학협력단 비전 기반 이동로봇의 위치 제어 시스템
JP2010049443A (ja) * 2008-08-21 2010-03-04 Acutelogic Corp 移動体遠隔制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161743A (ja) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd 移動物体走行制御装置
JPH11248421A (ja) * 1998-03-04 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 移動物体追跡方法及び装置
KR100533954B1 (ko) * 2003-12-22 2005-12-07 충남대학교산학협력단 비전 기반 이동로봇의 위치 제어 시스템
JP2010049443A (ja) * 2008-08-21 2010-03-04 Acutelogic Corp 移動体遠隔制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HYUN-GOO LEE ET AL. JOURNAL OF 2001 SUMMER CONFERENCE IN KIEE 20 July 2001, *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105759813A (zh) * 2014-12-18 2016-07-13 苏州宝时得电动工具有限公司 智能割草机自定位方法及***
CN109746909A (zh) * 2017-11-08 2019-05-14 深圳先进技术研究院 一种机器人运动控制方法及设备
CN111347417A (zh) * 2018-12-24 2020-06-30 深圳市优必选科技有限公司 一种uwb定位设备的位置标定方法、装置及机器人
CN111347417B (zh) * 2018-12-24 2022-05-10 深圳市优必选科技有限公司 一种uwb定位设备的位置标定方法、装置及机器人
CN109508707A (zh) * 2019-01-08 2019-03-22 中国科学院自动化研究所 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN112256038A (zh) * 2020-11-03 2021-01-22 盈合(深圳)机器人与自动化科技有限公司 智能空间服务方法及***

Also Published As

Publication number Publication date
WO2012124933A3 (ko) 2012-12-27
KR20120103943A (ko) 2012-09-20
KR101239532B1 (ko) 2013-03-06

Similar Documents

Publication Publication Date Title
WO2012124933A2 (ko) 로봇의 위치 인식 장치 및 방법
WO2016024797A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014204092A1 (ko) 웨어러블 기기 및 웨어러블 기기를 이용한 통신 방법
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2016175501A1 (ko) 걸음 인지 시스템 및 그 방법, 그리고 이 방법을 처리하는 프로그램이 기록된 저장 매체
WO2014065539A1 (ko) 상향링크 액세스 포인트를 이용한 위치추정장치 및 위치추정방법
WO2017007089A1 (ko) 실내 환경에서 이동 로봇의 리로케이션 방법 및 장치
WO2022186411A1 (ko) 로케이션 기반 스마트홈 제어 방법 및 시스템
WO2017131334A1 (ko) 이동 로봇의 위치 인식 및 지도 작성 시스템 및 방법
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2018111011A1 (ko) 이동 객체 탐지 시스템 및 방법
WO2012099315A1 (en) Method and apparatus for controlling device
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2022055099A1 (ko) 이상 탐지 방법 및 이를 위한 장치
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
WO2018159902A1 (ko) 복수의 라이다 센서 캘리브레이션 방법 및 장치
WO2016209029A1 (ko) 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2022025458A1 (ko) 전자 장치 및 그 제어 방법
WO2019231184A1 (ko) 무선랜 ap의 위치값을 지속적으로 정확한 값으로 업데이트해나가는 측위 시스템 및 그 방법
WO2024090786A1 (ko) 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법
WO2020111327A1 (ko) 비접촉식 물건속성 인식장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12757165

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12757165

Country of ref document: EP

Kind code of ref document: A2