WO2018074904A1 - 이동 로봇 및 이동 로봇의 제어방법 - Google Patents

이동 로봇 및 이동 로봇의 제어방법 Download PDF

Info

Publication number
WO2018074904A1
WO2018074904A1 PCT/KR2017/011699 KR2017011699W WO2018074904A1 WO 2018074904 A1 WO2018074904 A1 WO 2018074904A1 KR 2017011699 W KR2017011699 W KR 2017011699W WO 2018074904 A1 WO2018074904 A1 WO 2018074904A1
Authority
WO
WIPO (PCT)
Prior art keywords
descriptors
label
recognition
descriptor
node
Prior art date
Application number
PCT/KR2017/011699
Other languages
English (en)
French (fr)
Inventor
임승욱
이태경
노동기
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP17862948.1A priority Critical patent/EP3530417B1/en
Priority to US16/343,599 priority patent/US11175676B2/en
Publication of WO2018074904A1 publication Critical patent/WO2018074904A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0405—Driving means for the brushes or agitators
    • A47L9/0411—Driving means for the brushes or agitators driven by electric motor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0461—Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0466—Rotating tools
    • A47L9/0477—Rolls
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0461—Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0488—Combinations or arrangements of several tools, e.g. edge cleaning tools
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02—Docking stations; Docking operations
    • A47L2201/022—Recharging of batteries
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a mobile robot and a method for controlling the mobile robot, and more particularly, to a technology in which a mobile robot learns a map or recognizes a position on the map.
  • Robots have been developed for industrial use and have been a part of factory automation. Recently, the application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes have also been made. Among these robots, a moving robot capable of traveling by magnetic force is called a mobile robot. A representative example of a mobile robot used at home is a robot cleaner.
  • IR infrared ray
  • the current position is continuously maintained based on driving information (such as information about a moving direction and a moving speed or a photograph of a floor photograph continuously taken, etc.) at its previous position during continuous movement of the mobile robot.
  • driving information such as information about a moving direction and a moving speed or a photograph of a floor photograph continuously taken, etc.
  • Various methods of identification are known.
  • various methods are known for a mobile robot to learn a map by itself.
  • the mobile robot cannot recognize the unknown current position based on the driving information at the previous position. For example, a kidnapping situation in which a user lifts a mobile robot while driving occurs.
  • the mobile robot may use the infrared signal transmitted at a specific point in order to localize the current position on the map, but there is the above problem.
  • there is a method using a laser sensor or an ultrasonic sensor to recognize the current position in the position jumping situation but there is a limit that the cost is greatly increased and more detailed information about the surrounding environment can not be obtained.
  • a three-dimensional map is generated from feature points extracted from an image photographed in a driving zone, and three or more pairs of feature points matched with feature points in a three-dimensional map among feature points in an image captured at an unknown current location. Detect pairs. Then, using the two-dimensional coordinates of the matched three or more feature points in the image taken at the current position, the three-dimensional coordinates of the matched three or more feature points on the three-dimensional map, and the focal length information of the camera at the current position, A technique for calculating a distance from three or more matched feature points and recognizing a current position therefrom is disclosed in the prior art.
  • the first challenge is to present an efficient and accurate in-global location recognition technique.
  • a feature point acquired at an unknown current location is matched with a feature point in a feature point cluster (dense and grouped feature points) on a 3D map, in which case the acquired feature point is actually present outside the feature point cluster.
  • a feature point cluster dense and grouped feature points
  • the third task is to solve this problem and propose a technique that minimizes the time required while using all the feature data (descriptors) on the map.
  • a distance between three or more feature points acquired from a current image and a camera must be calculated, respectively, and the distance from the feature points is calculated based on the focal length of the camera and the two-dimensional coordinate values of the feature points in the current image. do.
  • the camera focal length information may be inaccurate due to the ambient brightness, etc., and when three or more feature points in the image are not disposed on a plane perpendicular to the photographing direction of the camera, but disposed on an oblique plane or the like due to an inclination or a protruding surface. Since the distance between the feature point calculated by the two-dimensional coordinate value and the camera may be substantially different from the actual one, there is a problem that the accuracy of position estimation is inferior.
  • the fourth problem is to solve this problem, and to propose a technology that can recognize the current position without the two-dimensional coordinate value of the focal length information of the camera and the feature point in the image.
  • the fifth task is to solve this problem and present a technique for recognizing the current position even with a two-dimensional map.
  • the sixth task is to solve this problem and present a technique for recognizing position in consideration of the degree of scarcity of feature points.
  • the seventh task is to divide the driving zone into a plurality of zones in order to achieve the first to sixth tasks, and to generate a region label descriptor for the divided region first, further increasing the efficiency of the learning process. Furthermore, in the technique of first determining which region the current location belongs to among the plurality of regions, the accuracy of estimating the region to which the current location belongs is further increased.
  • the present invention generates a descriptor based on the feature points in the driving zone, and a label descriptor based on the descriptors, so that the current position can be efficiently and quickly even in a state where many learning data are stored. Provide recognizable technology.
  • the control method of the mobile robot to obtain an image for each point, to generate each descriptor corresponding to a plurality of feature points extracted from the image, And an initial learning step of generating each node corresponding to each image acquired at the point.
  • the control method includes a label generation step of generating a label descriptor based on a plurality of the descriptors.
  • the control method may include a recognition initial step of acquiring a recognition image when a position jumping situation occurs and generating each recognition descriptor corresponding to a plurality of recognition feature points extracted from the recognition image.
  • the control method may include comparing the label descriptors with the recognition descriptors, and selecting a comparison target node corresponding to the matched label descriptors.
  • the control method includes a final node selection step of selecting a node estimated from the one or more comparison target nodes as the current position.
  • the label generation step may be performed if a predetermined criterion is satisfied during the initial learning step.
  • a description of a predetermined classification rule, a predetermined label rule, and a matching process is provided.
  • the control method may include a region classification step of dividing the plurality of nodes into regions according to a predetermined criterion before the label generation step.
  • the label generating step may include a first label generation step of classifying a plurality of descriptors in a region into a plurality of groups for each region, and generating a region label descriptor that represents descriptors classified into the same group. have.
  • the label generating step may include: a second label for classifying regional label descriptors generated in the plurality of regions into a plurality of groups, and generating a large region label descriptor or a global label descriptor representing regional label descriptors classified into the same group; It may include a generation step.
  • the first label generation step of generating the region label descriptor of the divided region may be performed.
  • It may include a region classification step of classifying the plurality of nodes into regions according to a predetermined criterion.
  • a region label descriptor is classified based on descriptors classified into a plurality of groups according to a first predetermined classification rule and classified into a plurality of groups according to a first predetermined classification rule.
  • Local label generation step of generating; And classifying a plurality of local label descriptors in the global group into a plurality of groups according to the second predetermined classification rule, and generating a global label descriptor based on the local label descriptors classified into the same group according to the second predetermined labeling rule. It may include;
  • a technique for selecting a node estimated to be a current position based on many recognized images is provided.
  • the mobile robot acquires the first to p-th recognition images while changing the point or the photographing angle, and respectively, the first to p-th order recognition descriptors based on the first to p-th recognition images. Can create them.
  • the p-order cumulative similarity for each node to be compared may be calculated to select a node estimated as the current position.
  • a program for executing the control method may be implemented, and a computer-readable recording medium recording the program may be implemented.
  • a program for executing various rules or calculations may be implemented, and a computer-readable recording medium on which the program is recorded may be implemented.
  • the mobile robot according to the solving means of the present invention, a moving unit for moving the main body;
  • An image acquisition unit for acquiring an image around the main body; While driving, it controls to acquire an image for each point, generates each descriptor corresponding to a plurality of feature points extracted from the image, generates each node corresponding to each image acquired at the respective point, and Preset to classify the plurality of nodes into regions according to a criterion, classify a plurality of descriptors in the region into a plurality of groups for each region, and generate a region label descriptor that represents descriptors classified into the same group;
  • a controller configured to classify the region label descriptors generated in the plurality of regions into a plurality of groups and to generate a global label descriptor representing the region label descriptors classified into the same group.
  • the control unit is preset to start the generation of the global label descriptor after generating all nodes in the global, i.e., if the position jumping situation does not occur until i all the nodes in the global are generated, ii
  • the generation of the global label descriptor may be preset after the location jumping situation occurs based on the plurality of nodes generated up to the time when the location jumping condition occurs.
  • the controller may be preset to select a node estimated as a current position based on the acquired recognition image and the global label descriptor when iii a position jumping situation occurs.
  • the map may be more accurately updated by comparing the pre-stored image information with newly acquired image information.
  • the time for comparing the image information of the current position with prestored feature point data can be significantly reduced. have. At the same time, there is an effect that accurate position estimation is possible by using all feature point data on the map without omission.
  • the amount of data to be stored is reduced to a predetermined level or less, and the time required for the comparison process for location recognition is reduced.
  • the region label descriptor of the specific region can be generated even while driving, thereby speeding up the end time of the map learning including the classification process and the labeling process of the descriptors.
  • the present technology can be implemented only by the ceiling image, the device implementation is relatively simple.
  • the technology can be easily implemented and the accuracy of the current position estimation can be increased.
  • the present technology can be implemented with a two-dimensional map, the memory can be efficiently used.
  • FIG. 2 illustrates an upper surface of the mobile robot shown in FIG. 1.
  • FIG. 3 illustrates a front portion of the mobile robot shown in FIG. 1.
  • FIG. 4 illustrates a bottom portion of the mobile robot illustrated in FIG. 1.
  • FIG. 5 is a block diagram illustrating a control relationship between main components of the mobile robot of FIG. 1.
  • FIG. 6 is a flowchart illustrating a scenario of one situation in which the mobile robot of FIG. 1 performs position recognition (S200, S200 ', S200 ") on a map.
  • FIG. 7 is a flowchart illustrating a scenario of another situation in which the mobile robot of FIG. 1 performs location recognition (S200, S200 ′, S200 ′′) on a map.
  • 8 and 9 are flowcharts illustrating a learning process S100 and a location recognition process S200 according to the first embodiment of the mobile robot of FIG. 1.
  • 8 illustrates a learning process S100
  • FIG. 9 illustrates a location recognition process S200 on a map learned according to the learning process S100.
  • FIG. 10 and 11 are flowcharts illustrating a learning process S100 ′ and a location recognition process S200 ′ according to the second embodiment of the mobile robot of FIG. 1.
  • FIG. 10 illustrates a learning process S100 '
  • FIG. 11 illustrates a location recognition process S200' on a map learned according to the learning process S100 '.
  • 12 and 13 are flowcharts illustrating a learning process S100 ′′ and a location recognition process S200 ′′ according to a third embodiment of the mobile robot of FIG. 1.
  • 12 illustrates a learning process S100 ′′
  • FIG. 13 illustrates a location recognition process S200 ′′ on a map learned according to the learning process S100 ′′.
  • FIG. 14 is a conceptual diagram illustrating the driving and image acquisition process S110 and the descriptor generation process S120 of FIGS. 8, 10, and 12 by way of example.
  • the image acquired in step S110 and the plurality of feature points f1, f2, f3, f4, f5, f6, and f7 are shown, and in step S120, the plurality of feature points f1, a descriptor that is an n-dimensional vector corresponding to f2, f3, .., fm) Is shown.
  • FIG. 15 is a flowchart specifically illustrating a node generation process S130 of FIGS. 8, 10, and 12.
  • FIG. 16 is a block diagram illustrating configuration information of the node N and information affecting the information of the node N generated according to FIG. 15.
  • FIG. 17 is a conceptual diagram illustrating a plurality of nodes N and displacements C between nodes generated while the mobile robot moves according to FIG. 15.
  • FIG. 18 is a conceptual diagram illustrating a plurality of regions A1, A2, A3, and A4 divided according to an embodiment of the region classification process S140 of FIGS. 8, 10, and 12.
  • FIG. 19 is a conceptual diagram illustrating a plurality of regions A1 ', A2', A3 ', A4', and A5 'divided according to another embodiment of the region classification process S140' of FIGS. 8, 10, and 12; .
  • FIG. 20 exemplarily shows a plurality of regions A1 and A2 divided according to the region classification processes S140 and S140 'of FIGS. 8, 10, and 12, and each of the regions A1 and A2 shown in FIG. A conceptual diagram showing an acquired image corresponding to a plurality of nodes N1, N2, N3, N4, ..., N31, N32, N33, N34, ..., respectively.
  • FIG. 20 shows the relationship between the global X, the plurality of regions A1, A2, A3, A4, A5 and the plurality of nodes N1, N2, N3, ... included in each region on the map. Indicates.
  • FIG. 21 is a conceptual diagram illustrating in detail a process of generating a local label descriptor (S150) of FIGS. 8, 10, and 12.
  • FIG. 21 illustrates a plurality of generated descriptors generated from images corresponding to nodes N1, N2, ..., N30 belonging to one region A1 according to a first predetermined classification rule. ) Is shown in a plurality of groups A1G1, A1G2, A1G3, .., A1Gl.
  • FIG. 21 shows a local label descriptor (description from descriptors classified into the same group according to the first predetermined label rule). Shows a schematic that produces:
  • FIG. 22 is a conceptual diagram illustrating in detail a global label descriptor generation process S160 of FIG. 12.
  • FIG. 22 illustrates a plurality of region label descriptors each generated in the plurality of regions A1, A2, A3, A4, and A5 according to a second predetermined classification rule. ) Are shown in the following diagrams, which are classified into a plurality of groups (XG1, XG2, XG3, ..., XGk). 22 shows global label descriptors from local label descriptors grouped into the same group according to the second predetermined label rule. Shows a schematic that produces:
  • FIG. 23 is a conceptual diagram illustrating an embodiment of the first predetermined classification rule of FIG. 21 and an embodiment of the second predetermined classification rule of FIG. 22.
  • 24 is a conceptual diagram illustrating an embodiment of the first predetermined label rule of FIG. 21 and an embodiment of the second predetermined label rule of FIG. 22.
  • FIG. 25 is a conceptual diagram exemplarily illustrating a process of acquiring a recognition image (S210) and a process of generating a recognition descriptor (S220) of FIGS. 9, 11, and 13.
  • S210 a recognition image
  • S220 a recognition descriptor
  • FIG. 25 an image acquired in step S210 and a plurality of recognition feature points h1, h2, h3, h4, h5, h6, and h7 are shown in the image
  • step S220 a plurality of recognition feature points ( Recognition descriptors that are n-dimensional vectors corresponding to h1, h2, h3, h4, h5, h6, and h7, respectively. Is shown.
  • FIG. 26 is a conceptual diagram illustrating an example of the matching process S231 of FIG. 13. 26, the recognition descriptors ( ) In the global label descriptor ( ) Is shown, and the matched global label descriptors of the plurality of global label descriptors ( ) Group (XG1, XG2, XG5, XG32) is displayed.
  • FIG. 27 is a conceptual diagram exemplarily illustrating a selection process S236 of the comparison target node of FIG. 13.
  • 27 shows the matched global label descriptors ( A diagram for selecting the comparison target nodes N1, N14, N15, N38, N45, N62, N63, and N64 respectively corresponding to the images on which the generation basis is generated is shown, and the selected comparison target node N1 among the plurality of nodes is shown. , N14, N15, N38, N45, N62, N63, N64 are displayed.
  • FIG. 28 is a conceptual diagram illustrating a comparison process S266 of FIG. 13 by way of example.
  • FIG. 28 shows a histogram representing a recognized image feature distribution and an image feature distribution corresponding to each comparison target node.
  • the histogram of the recognition image feature distribution of FIG. 28 is a global label descriptor corresponding to each recognition descriptor. Is replaced with).
  • the histogram of the image feature distribution corresponding to each comparison target node in FIG. 28 is a global label descriptor corresponding to each descriptor in the image. Is replaced with).
  • FIG. 29 is a flowchart illustrating a location recognition process S300 according to a fourth embodiment of the mobile robot of FIG. 1.
  • FIG. 30 is a conceptual diagram exemplarily illustrating an acquisition process S310 of the m th order image and a generation process S320 of the m th order recognition descriptor of FIG. 29.
  • FIG. 30 shows the m-th image acquired at time tm and a plurality of m-th recognition feature points h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, and h7tm in the m-th image in FIG.
  • the mth order recognition descriptors which are n-dimensional vectors corresponding to the plurality of mth order recognition feature points h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, and h7tm, respectively, in step S320, Is shown.
  • FIG. 31 is a conceptual diagram exemplarily illustrating an m-th cumulative similarity calculating process S385 of FIG. 29.
  • FIG. 31 shows the comparison nodes (Na, Nb, Nc, ..., Nx) by using a histogram showing the magnitude of the cumulative similarity (SI) for each comparison node (Na, Nb, Nc, ..., Nx).
  • SI cumulative similarity
  • FIG. 32 and 33 are flowcharts and conceptual views illustrating another embodiment of the learning process S100 ′′ and the location recognition process S200 ′′ of FIGS. 13 and 14.
  • FIG. 32 illustrates an algorithm for starting points of a process of generating global label descriptors S161 and S162 according to a position jumping point.
  • 33 is a conceptual diagram illustrating an example of generating local label descriptors (S150 and S172) and generating global label descriptors (S162) when position jumping occurs (S50) during the learning process (S100 ′′).
  • a comma (') or a double comma (' ') is displayed after a reference numeral of a part that is different from an embodiment as a process according to another embodiment.
  • the same reference numerals are used for the same or extremely similar parts throughout the specification.
  • To create means to create new data that is not stored previously. 'Creating object B based on object A' means that object B is generated as a result of information processing using object A as an input value.
  • 'Comparing Subject A and Subject B' means determining the degree of similarity between Subject A and Subject B through a known technique or a technique according to an embodiment disclosed in the description of the present invention.
  • 'Selecting' means selecting one of a plurality of objects.
  • 'Response' means at least one of one-to-many correspondence and one-to-one correspondence.
  • the subject B responds to the subject A.
  • 'group B corresponds to group A'.
  • targets B correspond to target A
  • 'subject B responds to target A one-to-many'.
  • group B corresponds to group A one-to-many.
  • the object B responds one-to-one to the object A.
  • group B corresponds to group A one-to-one.
  • image A corresponds to descriptor C.
  • the plurality of descriptors A and B correspond to the label descriptor C one-to-many.
  • the plurality of images correspond one-to-one to the plurality of nodes.
  • Creating a relationship in which object B corresponds to object A is referred to as 'matching object A to object A'.
  • the global label descriptor is matched to the recognition descriptor.
  • 'Map' means data in which predetermined information in a traveling area of a mobile robot is stored in a predetermined format.
  • 'Jumping situation' refers to a situation in which the mobile robot is moved in a state where it is impossible to track the movement path on the map.
  • the position jumping situation may occur when the mobile robot is moved in a state in which the driving displacement by the driving displacement measuring unit 165 which will be described later cannot be measured.
  • a position jumping situation there may be a kidnapping situation in which a user forcibly moves a moving robot while driving, or a situation in which the location of the mobile robot is forcibly moved while the power of the mobile robot is turned off.
  • the 'learning process' refers to a process of creating or updating a map by using information acquired in a driving zone.
  • 'Recognition process' means a process of finding the current position of the mobile robot on the map in a broad sense, and a process of finding the current position of the mobile robot on the map when the position jumping situation occurs in a narrow sense.
  • the learning process and the recognition process may be simultaneously performed while the mobile robot is driving, which may be referred to as Simultaneous Localization And Mapping (SLAM).
  • SLAM Simultaneous Localization And Mapping
  • 'Global Zone (X)' means the entire driving zone on the map of the mobile robot, and if the term 'Global' is preceded, the term refers to the entire driving zone on the map.
  • the global X may be changed (eg, extended) by the mobile robot by additional driving experience or additional input of data.
  • 'Lacal Zone' means a part of the Global Zone according to a predetermined criterion, and if the term 'Local' is prefixed, the term is related to a part of the Global Zone. it means.
  • "Great-Local Zone” means a zone where a plurality of said zones are grouped, and when the term “Great-Local” is prefixed, the term means a zone where the plurality of zones are grouped. Associated with.
  • 'Point' means any position in the actual driving zone, not a map.
  • 'Node' means data indicating a location on a map corresponding to the point.
  • the 'Node information' means various data corresponding to the node.
  • the map may include a plurality of nodes and corresponding node information.
  • Image means an image captured and obtained by the mobile robot 100.
  • the 'recognition image' means an image acquired at the current position in order to recognize the current position on the map.
  • image corresponding to a node means an image acquired at a point corresponding to a node.
  • 'Feature point' is any one of several features of an image, and means a part of an image in the image.
  • the recognition feature point is one of several features of the recognition image and means a part of an image in the recognition image.
  • Descriptor' refers to data of a predetermined format for representing the feature point, and refers to mathematical data of a format in which distances or similarities between descriptors can be calculated.
  • the descriptor may be an n-dimensional vector (n is a natural number) or data in a matrix format.
  • n is a natural number
  • a descriptor can be represented as an n-dimensional vector
  • x descriptors where x is a natural number
  • 'Average value' of ( (n-dimensional vector) can be calculated by the following equation (2). Where x and n are natural numbers
  • 'Recognition descriptor' means data of a predetermined format for representing the recognition feature point, and means data of the same format as the descriptor.
  • the 'label descriptor' refers to data representing at least one descriptor classified according to a predetermined rule, and refers to data having the same format as the descriptor.
  • the label descriptor is a concept encompassing a local label descriptor, a large region label descriptor and a global label descriptor which will be described later.
  • 'A plurality of descriptors in a region' means a plurality of descriptors for representing all feature points extracted from a plurality of images respectively corresponding to a plurality of nodes included in a region.
  • the 'local label descriptor' refers to data representing at least one descriptor classified according to a predetermined rule among a plurality of descriptors in the region, and refers to data having the same format as the descriptor.
  • 'A plurality of label descriptors in a region' means a plurality of label descriptors generated based on a plurality of descriptors in a region.
  • 'A plurality of region label descriptors in a region' means a plurality of region label descriptors generated based on a plurality of descriptors in a region.
  • a plurality of label descriptors in a large region means a plurality of label descriptors generated based on a plurality of descriptors in a plurality of regions included in any one large region.
  • the term 'a plurality of region label descriptors in a large region' means a plurality of region label descriptors generated based on a plurality of descriptors in a plurality of regions included in one large region.
  • 'Great-local label descriptor' means data representing at least one local label descriptor classified according to a predetermined rule among a plurality of local label descriptors in the large area, and is in the same format as the descriptor. Means data. 'A plurality of large area label descriptors in a large area' means a plurality of large area label descriptors generated based on a plurality of regional label descriptors in a large area.
  • Global label descriptors means a plurality of label descriptors generated based on a plurality of descriptors in a plurality of regions included throughout.
  • 'Global local label descriptors' means a plurality of local label descriptors generated based on a plurality of descriptors in a plurality of regions included throughout.
  • 'Global plurality of global label descriptors' means a plurality of global label descriptors generated based on a plurality of local label descriptors in the global.
  • Global label descriptor' means data representing at least one local label descriptor classified according to a predetermined rule among a plurality of local label descriptors in the global, and means data in the same format as the descriptor. do.
  • 'A plurality of descriptors in an image' means a plurality of descriptors for respectively representing a plurality of feature points extracted from an image.
  • "A plurality of label descriptors in an image” means replacing a plurality of descriptors in an image with a label descriptor corresponding to each descriptor.
  • 'A plurality of recognition descriptors in a recognized image' means a plurality of recognition descriptors for respectively representing a plurality of recognition feature points extracted from one recognized image.
  • a plurality of label descriptors in a recognized image means replacing a plurality of recognition descriptors in a recognized image with a label descriptor corresponding to each recognition descriptor.
  • the 'image feature distribution' refers to data specified based on the type of a plurality of label descriptors in one image and the number (weight) of each kind.
  • 'Recognized image feature distribution' means data specified based on the types of the plurality of label descriptors in the recognized image and the number of each type (recognition weight w).
  • "Regional feature distribution” means data specified based on the type of a plurality of label descriptors in a region and the number (weight) of each kind.
  • the 'large region feature distribution' refers to data specified based on the type of a plurality of label descriptors in one large region and the number (weight) of each kind.
  • the weight (w) means the number of one or more descriptors represented by any one kind of label descriptor.
  • the recognition weight wh means the number of one or more recognition descriptors substituted with any one kind of label descriptors. For example, when a label descriptor A representing five descriptors is generated according to a predetermined label rule, the weight w of the label descriptor A is five. For example, when a local label descriptor A representing seven descriptors is generated according to the first predetermined label rule, the weight w of the local label descriptor A is seven.
  • a local label descriptor A representing five descriptors and a local label descriptor B representing seven descriptors are generated according to a first predetermined label rule, and the local label descriptor A and a region are represented according to a second predetermined label rule.
  • the weight w of the global label descriptor C (or the regional label descriptor C) is 12.
  • the recognition weight wh of the label descriptor A is nine.
  • the histogram is used to represent the feature distribution, but the present invention is not limited thereto.
  • 'Image information' is data for a single image, and includes a concept of an image of the image itself, a plurality of feature points extracted from the image, a plurality of descriptors in the image, a plurality of label descriptors in the image, and a distribution of image features.
  • 'Recognition image information' is data for a recognition image, and includes an image of the recognition image itself, a plurality of recognition feature points extracted from the recognition image, a plurality of recognition descriptors in the recognition image, a plurality of label descriptors in the recognition image, and a recognition image feature. The concept encompasses distribution.
  • the mobile robot 100 of the present invention means a robot that can move itself by using a wheel or the like, and may be a home helper robot or a robot cleaner.
  • the robot cleaner 100 of the mobile robot will be described as an example with reference to FIGS. 1 to 4, but it is not necessarily limited thereto.
  • the mobile robot 100 includes a main body 110 and an image acquisition unit 120 for acquiring an image around the main body 110.
  • the portion facing the ceiling of the driving zone is defined as the upper surface portion (see FIG. 2)
  • the portion facing the bottom of the driving zone is defined as the bottom portion (see FIG. 4).
  • a main driving direction portion among the portions forming the circumference of the main body 110 between the upper surface portion and the lower surface portion is defined as a front portion (see FIG. 3).
  • the mobile robot 100 includes a driving unit 160 for moving the main body 110.
  • the driving unit 160 includes at least one driving wheel 136 for moving the main body 110.
  • the driving unit 160 may include a driving motor.
  • the driving wheels 136 may be provided at the left and right sides of the main body 110, respectively, hereinafter referred to as left wheels 136 (L) and right wheels 136 (R).
  • the left wheel 136 (L) and the right wheel 136 (R) may be driven by one drive motor, but the left wheel drive motor and the right wheel 136 (R) which drive the left wheel 136 (L) as necessary.
  • Each right wheel drive motor for driving may be provided.
  • the driving direction of the main body 110 can be switched to the left or the right, with a difference in the rotational speed of the left wheel 136 (L) and the right wheel 136 (R).
  • An inlet 110h through which air is sucked may be formed in a bottom portion of the main body 110, and an inhalation device (not shown) that provides suction power so that air may be sucked through the inlet 110h in the main body 110. And a dust container (not shown) for collecting dust sucked with air through the suction port 110h.
  • the main body 110 may include a case 111 forming a space in which various components of the mobile robot 100 are accommodated.
  • An opening for inserting and removing the dust container may be formed in the case 111, and a dust container cover 112 that opens and closes the opening may be rotatably provided with respect to the case 111.
  • the battery 138 supplies not only the driving motor but also power necessary for the overall operation of the mobile robot 100.
  • the mobile robot 100 may travel to return to the charging station 200 for charging, and during such a return travel, the mobile robot 100 itself positions the charging station 200. Can be detected.
  • Charging station 200 may include a signal transmitter (not shown) for transmitting a predetermined return signal.
  • the return signal may be an ultrasonic signal or an infrared signal, but is not necessarily limited thereto.
  • the mobile robot 100 may include a signal detector (not shown) that receives the return signal.
  • the charging unit 200 may transmit an infrared signal through a signal transmitter, and the signal detector may include an infrared sensor that detects the infrared signal.
  • the mobile robot 100 moves to the position of the charging stand 200 according to the infrared signal transmitted from the charging stand 200 and docks with the charging stand 200. The docking is performed between the charging terminal 133 of the mobile robot 100 and the charging terminal 210 of the charging table 200.
  • the image acquisition unit 120 photographs a cleaning area, and may include a digital camera.
  • the digital camera includes at least one optical lens and a plurality of photodiodes (eg, pixels) formed by the light passing through the optical lens, for example, a CMOS image sensor.
  • a digital signal processor DSP for constructing an image based on the signals output from the photodiodes.
  • the digital signal processor may generate not only a still image but also a moving image including frames composed of still images.
  • the image acquisition unit 120 is provided on the upper surface of the main body 110 to obtain an image of the ceiling in the blue area, but the position and the shooting range of the image acquisition unit 120 should be limited thereto. no.
  • the image acquisition unit 120 may be provided to acquire an image in front of the main body 110.
  • the mobile robot 100 may further include an obstacle detecting sensor 131 for detecting an obstacle in front of the moving robot 100.
  • the mobile robot 100 may further include a cliff detection sensor 132 for detecting the presence of a cliff on the floor in the cleaning area, and a lower camera sensor 139 for acquiring an image of the floor.
  • the mobile robot 100 includes an operation unit 137 capable of inputting On / Off or various commands.
  • the mobile robot 100 includes a storage unit 150 for storing various data. Various data necessary for the control of the mobile robot 100 may be recorded in the storage 150.
  • the storage unit 150 may include a volatile or nonvolatile recording medium.
  • the recording medium stores data that can be read by a microprocessor, and includes a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (ROM), a ROM, a RAM, a CD-ROM, Magnetic tapes, floppy disks, optical data storage devices, and the like.
  • the storage unit 150 may store a map of the driving zone.
  • the map may be input by an external terminal capable of exchanging information with the mobile robot 100 through wired or wireless communication, or may be generated by the mobile robot 100 learning by itself.
  • examples of the external terminal may include a remote controller, a PDA, a laptop, a smartphone, a tablet, and the like, having an application for setting a map.
  • the map may display positions of a plurality of nodes corresponding to one-to-one correspondence with a plurality of points in the driving zone.
  • the map may display each area within the driving zone.
  • the current position of the mobile robot 100 may be displayed on the map.
  • the current position of the mobile robot 100 on the map may be updated during the driving process.
  • the traveling displacement is a concept including the moving direction and the moving distance of the mobile robot. Assuming that the bottom surface of the travel zone is on a plane where the X and Y axes are orthogonal, the travel displacement can be expressed as ( ⁇ x, ⁇ y, ⁇ ). [Delta] x and [Delta] y denote displacements in the X-axis and Y-axis directions, respectively, and [theta] means the rotation angle.
  • the driving displacement measuring unit 165 may measure the driving displacement based on the image acquired by the lower camera sensor 139. For example, the driving displacement measuring unit 165 may measure the driving displacement through the continuous pixel comparison of the floor image which varies according to the continuous movement of the mobile robot 100.
  • the driving displacement measuring unit 165 may measure the driving displacement of the mobile robot 100 based on the operation of the driving unit 160.
  • the driving control module 141 may measure the current or past moving speed of the mobile robot 100, the distance traveled, and the like based on the rotational speed of the driving wheel 136, and each driving wheel 136.
  • 136 (R)) can also measure the current or past direction change process.
  • the driving displacement measuring unit 165 may measure the driving displacement using at least one of the obstacle sensor 131 and the image acquisition unit 120.
  • the controller 14 may recognize the position of the mobile robot 100 on the map based on the measured driving displacement.
  • the transmitter 170 may transmit information of the mobile robot to another mobile robot or a central server.
  • the receiver 190 may receive information from another mobile robot or a central server.
  • the information transmitted by the transmitter 170 or the information received by the receiver 190 may include configuration information of the node N of the mobile robot, which will be described later.
  • the mobile robot 100 includes a controller 140 for processing and determining various kinds of information.
  • the controller 140 may perform information processing for learning the driving zone.
  • the controller 140 may perform information processing for recognizing the current location on the map.
  • the controller 140 may configure various components constituting the mobile robot 100 (for example, the driving displacement measuring unit 165, the obstacle detecting sensor 131, the image acquisition unit 120, the operation unit 137, and the driving unit). 160, the transmitter 170, the receiver 190, and the like, the overall operation of the mobile robot 100 may be controlled.
  • the controller 140 may include a driving control module 141, a learning module 143, and a recognition module 144.
  • the control method according to the present embodiment may be performed by the controller 140.
  • the present invention may be a control method of the mobile robot 100 or may be a mobile robot 100 including a control unit 140 performing the control method.
  • the present invention may be a computer program including each step of the control method, or may be a recording medium on which a program for implementing the control method with a computer is recorded.
  • the term 'recording medium' refers to a computer-readable recording medium.
  • the present invention may be a mobile robot control system including both hardware and software.
  • the travel control module 141 controls the travel of the mobile robot 100.
  • the driving control module 141 controls the driving of the driving unit 160 according to the driving setting.
  • the learning module 143 generates a map of the driving zone. In order to recognize the position in the global, the learning module 143 matches the image obtained at each point with each node (N, N) on the map. The acquired images may correspond one-to-one to the nodes.
  • the learning module 143 generates a node on the map based on the driving displacement information.
  • the node coordinate information may be generated based on the traveling displacement measured based on the origin node O, which will be described later.
  • the node coordinate information D186 of the generated node N is a relative coordinate value with respect to the origin node O.
  • the node information may include image information D183 corresponding to the node.
  • the learning module 143 may generate a map based on the driving displacement between the node N and the node.
  • the learning module 143 may update the pre-generated map. For example, the learning module 143 may update the pre-stored node coordinate information D186 based on the loop displacement LC to be described later.
  • the learning module 143 may divide the global X into a plurality of regions according to a predetermined criterion.
  • the learning module 143 may divide the global X into a plurality of large areas according to a predetermined criterion.
  • the learning module 143 may divide a large area into a plurality of areas according to a predetermined criterion.
  • a plurality of regions can be grouped according to a predetermined criterion to form a large region.
  • the recognition module 144 may recognize a current position by using at least one of the obstacle sensor 131 and the image acquisition unit 120.
  • the recognition module 144 may recognize an unknown current position in a position jumping situation.
  • the recognition module 144 may recognize the current location on the map.
  • the recognition module 144 may select a node corresponding to the current position (unique correspondence) among the plurality of nodes on the map.
  • a process of recognizing an unknown current position using the image acquisition unit 120 will be described as an example, but is not necessarily limited thereto.
  • the control method of the mobile robot according to the embodiment of the present invention includes a learning process (S100, S100 ', S100' ', S190).
  • the control method of the mobile robot includes a recognition process (S200, S200 ', S200' ').
  • a pre-stored map exists (S10).
  • the existence of the pre-stored map may be a process of determining whether the map is stored in the storage unit () of the mobile robot (). If there is no previously stored map as a result of the process (S10), the mobile robot 100 starts the learning process (S100, S100 ', S100' ') to create a new map. If there is a pre-stored map as a result of the process (S10), the process of recognizing the current position of the mobile robot 100 on the pre-stored map (S200, S200 ', S200' ') is started.
  • a learning process S190 for updating a previously stored map is started.
  • the mobile robot 100 may update the pre-stored map based on the newly acquired image information.
  • the process S190 may include a process of generating a new node on a pre-stored map based on the information obtained in the newly traveled area.
  • the process (S190) may include updating a part of the information of the node on the previously stored merge map based on the environmental information obtained in the driving zone.
  • the location recognition processes S200, S200 ′, and S200 ′′ and the learning process S190 may be continuously performed at the same time.
  • SLAM learning processes S100 and S100 ′ which exemplarily generate the map. , S100 '', but the present disclosure is not necessarily limited thereto, and the following description may be applied to the learning process S150 for updating the map.
  • a position jumping situation occurs (S50). After the position jumping situation occurs (S50), the mobile robot 100 starts the process (S200, S200 ', S200' ') to recognize the current position on the pre-stored map.
  • the control method of the mobile robot, the initial learning step (S110, S120, S130), the label generation step (S150, S156, S160) for generating a label descriptor based on a plurality of descriptors, the recognition initial steps (S210, S220) and A final node selection step (S270) of selecting a node estimated to be a current position is included.
  • the label generation steps S150, S156, and S160 include at least one of a local label descriptor generation process S150, a regional label descriptor generation step S156, and a global label large scripter generation step S160, which will be described later.
  • a plurality of the descriptors are classified into a plurality of groups based on the distance between the descriptors.
  • label generation steps S150, S156 and S160 a plurality of the descriptors are classified into a plurality of groups according to a predetermined classification rule to be described later.
  • a label descriptor representing representative descriptors classified into the same group is generated.
  • a label descriptor is generated from descriptors classified into the same group according to a predetermined label rule.
  • the label generation steps S150, S156, and S160 may be started after the initial learning steps S110, S120, and S130, but may be performed if a predetermined criterion is satisfied during the initial learning step.
  • the region label descriptors of the divided regions may be generated. That is, a local label descriptor may be generated while driving.
  • the large region label descriptors of the divided large regions may be generated. That is, a large area label descriptor may be generated while driving.
  • the learning process S100 includes an initial learning step.
  • the initial learning step includes a driving and image acquisition process (S110), a process of generating a descriptor (S120), and a process of generating a node (S130).
  • the learning process S100 includes a driving process and an image acquiring process S110.
  • the mobile robot 100 obtains an image for each spaced point while driving.
  • Each acquired image corresponds to each point.
  • a plurality of acquired images may correspond one-to-one to a plurality of points.
  • the learning process S100 includes a process of generating each descriptor corresponding to a plurality of feature points extracted from the acquired image (S120).
  • a plurality of descriptors correspond one-to-one to a plurality of feature points.
  • the process (S120) may be performed during the process of moving to a next point after acquiring an image at one point.
  • the process S120 may be performed while the process S110 is in progress.
  • the learning process S100 includes a process of generating a node S130.
  • step S130 a plurality of nodes are generated. Each node corresponds to the coordinate information of each point. Each node corresponds to each image obtained at each point. Each image information corresponds to each node. A plurality of acquired images may correspond one-to-one to a plurality of nodes.
  • the process S130 may be performed during the process of moving from one point to the next. The process S130 may be performed while the process S110 and / or the process S120 is in progress.
  • the learning process S100 includes processes S140 and S140 'for dividing the plurality of nodes into regions according to a predetermined criterion.
  • the process (S140, S140 ') may be referred to as a regional classification step (S140, S140').
  • the process of identifying one region A (S140, S140 ') is performed before the process of generating a region label descriptor of the region A (S150).
  • the processes S140 and S140 ' may be performed while the node generation process S130 is in progress. Some nodes of the plurality of nodes may be grouped into one region.
  • the processes S140 and S140 ' may be performed when a new node is generated during the initial learning step and a predetermined region classification condition is satisfied.
  • the learning process S100 includes generating a region label descriptor based on a plurality of the descriptors S150.
  • the process S150 may be referred to as a first label generation step S150 or a local label generation step S150.
  • step S150 for each region, a plurality of descriptors in the region are classified into a plurality of groups.
  • the plurality of descriptors in the region are classified into a plurality of groups according to the first predetermined classification rule to be described later for each region.
  • a local label descriptor is generated to represent descriptors classified into the same group.
  • the local label descriptor is generated based on descriptors classified into the same group according to the first predetermined label rule to be described later.
  • the recognition process S200 includes a recognition initial step.
  • the recognition initial step includes a process of obtaining a recognized image (S210) and a process of generating a recognition descriptor group (S220).
  • the recognition process S200 includes a recognition image acquisition process S210.
  • the mobile robot 100 acquires a recognition image at an unknown current position.
  • the process S210 may be performed when a position jumping situation occurs.
  • the process (S210) may proceed if there is a map previously stored in the mobile robot 100.
  • the recognition process S200 includes generating each recognition descriptor corresponding to a plurality of recognition feature points extracted from the acquired recognition image S220.
  • a plurality of recognition descriptors correspond one-to-one to a plurality of recognition feature points.
  • the process (S220) may be performed after acquiring at least one recognized image from an unknown current position.
  • the recognition process S200 may include comparing the plurality of region label descriptors (region label descriptor groups) and the plurality of recognition descriptors (recognition descriptor groups) in the region (S240) after the process S220.
  • the recognition process S200 may include a process of selecting one region to which an unknown current location belongs among a plurality of regions after the comparison process S240.
  • a regional feature distribution is generated based on the types of the plurality of region label descriptors in the region and the weight w of each kind.
  • the recognition image feature distribution is compared with the regional feature distribution for each region, and a region having the highest similarity is selected (S250).
  • the recognition image feature distribution is generated in a comparable data format for each region feature distribution, and the recognition image feature distribution comparing with the feature distribution of one region A is different from the feature distribution of another region B. It is different from the recognition image feature distribution to compare.
  • "Comparable" means a state in which two objects can be compared to each other to calculate similarity. For example, in order to compare the number of two sets of objects of various colors by color, the colors of each object forming one set according to the color classification criteria of one of the two sets are classified. For example, two sets can be expressed as 'comparable'.
  • the plurality of recognition descriptors in the recognized image correspond to the 'region label descriptors in the region A' corresponding to each recognition descriptor. Substitute by to generate the recognition image feature distribution.
  • the recognition is performed by replacing a plurality of recognition descriptors in the recognition image with the 'region label descriptors in the region B' corresponding to each recognition descriptor. Generate image feature distribution.
  • the plurality of recognition descriptors in the recognized image may be replaced with the one closest to the distance among the plurality of area label descriptors in the area A1.
  • recognition descriptor medium And To a plurality of region label descriptors in region A1 ( ) The nearest Each can be substituted with.
  • the recognition descriptor ( And On the local label descriptor ( ) Responds (correspondence of work).
  • the distance between the recognition descriptor and the local label descriptor closest to the recognition descriptor exceeds a predetermined value, it is also possible to exclude the recognition descriptor and generate a recognition image feature distribution based only on the remaining recognition descriptors.
  • the regional feature distribution of one region A1 is based on the type of each region label descriptor as a representative value (the value on the horizontal axis), and the score (s1) calculated based on the weight (w) for each type is the frequency (on the vertical axis). Value) can be expressed as a histogram of regional feature distributions.
  • the regional feature distribution of a region A1 is a regional feature distribution that looks at the type of each region label descriptor in each dimension, and views the score s1 calculated based on the weight (w) for each category as a numerical value in each dimension. It can be represented as a vector.
  • a plurality of region feature distribution vectors corresponding to (one to one) corresponding to the plurality of regions A1, A2, ... Ai on the map may be generated. Where i is a natural number
  • one region label descriptor ( The score s1 of) can be calculated through Equation 3 below.
  • w1 is the region label descriptor in the region (A1) ( ),
  • the region label descriptor ( ) Is divided by the number of images created.
  • the recognition image feature distribution that is comparable to any one comparison target area A1 is calculated based on the recognition weight wh for each type by viewing the types of the plurality of region label descriptors in the recognition image as representative values (horizontal axis values).
  • the recognized recognition score (sh) may be expressed as a histogram of a recognized image feature distribution that looks at the frequency (the value of the vertical axis).
  • Recognition image feature distribution that can be compared to any one comparison target area A1 is characterized by viewing the types of the plurality of region label descriptors in the recognition image in each dimension and the recognition score sh1 for each type in numerical values in each dimension. It can be expressed as a feature distribution vector. Each recognized image feature distribution vector comparable to each feature distribution for each of the plurality of comparison target areas A1, A2, ... Ai may be generated. Where i is a natural number
  • one region label descriptor ( The recognition score sh1 of) may be calculated through Equation 4 below.
  • sh1 is a region label descriptor ( ) 'S recognition score
  • the similarity is calculated by comparing the regional feature distribution and the recognition feature distribution for each region.
  • the similarity may be calculated by the following Equation 5 using cosine similarity.
  • the region in which the largest value is calculated among similarities calculated for each region may be selected as the region to which the current location belongs.
  • the recognition process S200 may include comparing the image information corresponding to the node with the recognition image information for each comparison target node in operation S261.
  • the comparison target nodes in the comparison process S261 are a plurality of nodes in the region selected in the region selection process S250.
  • a plurality of label descriptors in an image corresponding to each node and a plurality of label descriptors in the recognized image may be compared with each other to calculate similarity for each node to be compared.
  • the recognition process S200 may include selecting a node that is estimated as a current position among one or more nodes to be compared (S270).
  • the process (S261) and the process (S270) may be referred to as the final node selection step (S261, S270).
  • the node information estimated by the current position is selected by comparing the node information and the recognition image information acquired at the current position for each comparison target node.
  • a node having the largest value calculated among similarities calculated for each comparison target node may be selected.
  • the mobile robot 100 may recognize the node selected in the process S270 as the current position, and continue the subsequent driving based on this.
  • a process overlapping with the learning process S100 according to the first embodiment of the learning process S100 ′ according to the second embodiment is denoted by the same reference numeral, and description of the overlapping content is omitted. do.
  • the learning process S100 ′ includes a process S146 of dividing the plurality of regions into large regions according to a predetermined criterion.
  • the process S146 may be referred to as regional division steps S140, S140 ′ and S146.
  • the process of classifying any one large region A is performed before the process of generating a large region label descriptor of the one large region A (S156).
  • the process S146 may proceed after the progress of the area classification process S130 begins. Some of the plurality of regions may be grouped into one large region.
  • the process S146 may be performed when a new region is divided and a predetermined major region classification condition is satisfied while performing the region classification processes S140 and S140 '.
  • the learning process S100 ′ includes a process of generating a large area label descriptor based on the plurality of regional label descriptors (S156).
  • the process S156 may be referred to as a second label generation step S156.
  • step S156 the plurality of region label descriptors in the large region are classified into a plurality of groups for each of the large regions.
  • step S156 the region label descriptors generated in the plurality of regions in the large region are classified into a plurality of groups.
  • a plurality of region label descriptors in a large region may be classified into a plurality of groups according to the second predetermined classification rule to be described later for each region.
  • a regional label descriptor is generated to represent regional label descriptors classified into the same group.
  • a regional label descriptor may be generated based on regional label descriptors classified into the same group according to the second predetermined label rule to be described later.
  • the process S156 may be performed when a new large area is divided after the process S150 is started.
  • the process S156 may be finally performed after the mobile robot 100 finishes all driving.
  • a process overlapping with the recognition process S200 according to the first embodiment of the recognition process S200 ′ according to the second embodiment is denoted by the same reference numeral, and description of the overlapping content is omitted. do.
  • Recognition process (S200 '), after the step (S220), a step (S241) of comparing a plurality of regional label descriptors (large region label descriptor group) and a plurality of recognition descriptors (recognition descriptor group) in a large area (S241) Include.
  • the recognition process S200 ′ includes a process S251 of selecting a large region to which an unknown current location belongs among a plurality of large regions after the comparison process S241.
  • a large area feature distribution is generated based on the types of the plurality of large area label descriptors in the large area and the weights of each type.
  • the recognition image feature distribution is compared with the regional feature distribution for each major region, and a large region having the highest similarity is selected (S251).
  • the recognition image feature distribution is generated in a comparable data format for each large region feature distribution, and the recognition image feature distribution comparing with the feature distribution of one large region A is compared with that of the other large region B. It is different from the recognized image feature distribution compared with the feature distribution.
  • the plurality of recognition descriptors in the recognized image correspond to each of the recognition descriptors. Label descriptor to generate a recognition image feature distribution.
  • a plurality of recognition descriptors in the recognized image may be referred to as the 'large area label descriptors in the large area B' corresponding to each recognition descriptor. Substitution is performed to generate the recognition image feature distribution.
  • the plurality of recognition descriptors in the recognized image may be determined to have the closest distance among the plurality of large area label descriptors in the large area (X1). It can be substituted. For example, recognition descriptor medium And A plurality of large region label descriptors in large region (X1) ( ) The nearest Each can be substituted with. In this case, the recognition descriptor ( And To the regional label descriptor () ) Responds (correspondence of work).
  • the distance between the recognition descriptor and the local label descriptor closest to the recognition descriptor exceeds a predetermined value, it is also possible to exclude the recognition descriptor and generate a recognition image feature distribution based only on the remaining recognition descriptors.
  • the regional feature distribution of one major region (X1) is based on the type of each region label descriptor as a representative value (the value on the horizontal axis), and the score (s2) calculated based on the weight (w) for each category is measured. It can be expressed as a histogram of regional feature distributions, viewed as (vertical axis values).
  • the large area feature distribution of a large area looks at the type of each large area label descriptor in each dimension, and the score (s2) calculated based on the weight (w) for each type as a numerical value in each dimension. It can be expressed as a large region feature distribution vector.
  • a plurality of large region feature distribution vectors corresponding to (one to one) corresponding to the plurality of large regions X1, X2, ... Xj on the map may be generated. Where j is a natural number
  • the large region label descriptor ( The score s2 of) may be calculated through Equation 6 below.
  • w2 is the region label descriptor (x1) in the region (X1) ),
  • the region label descriptor ( ) Is divided by the number of images created.
  • the recognition image feature distribution that is comparable to any one region to be compared is based on the recognition weight (wh) for each type by viewing the types of the plurality of region label descriptors in the recognition image as representative values (horizontal axis values). It can be expressed as a histogram of the recognition image feature distribution that sees the recognition score (sh) calculated as a frequency (value of the vertical axis).
  • Recognition image feature distribution that can be compared to a large target area X1 can be viewed by viewing the types of a plurality of large area label descriptors in the recognized image in each dimension, and a recognition score (sh2) for each type in numerical values in each dimension. It may be expressed as a recognition image feature distribution vector.
  • Each recognition image feature distribution vector comparable to each of the regional feature distributions for each of the plurality of comparison target regions X1, X2, ... Xj may be generated. Where j is a natural number
  • one large region label descriptor ( Recognition score (sh2) of) can be calculated through the following equation (7).
  • sh2 is any one large area label descriptor ( ) 'S recognition score
  • the similarity is calculated by comparing the regional feature distribution and the recognition feature distribution for each large region.
  • the similarity may be calculated by the following Equation 8 using cosine similarity.
  • a process of comparing a plurality of region label descriptors (region label descriptor groups) and the plurality of recognition descriptors (recognition descriptor groups) in regions for each comparison target region (S246). It includes.
  • the comparison target area is a plurality of regions in the large area selected in the large area selection process (S251).
  • the comparison process S246 of the second embodiment is performed in the comparison process of the first embodiment, except that a plurality of regions in the selected large area are compared and proceeded after the process S251. Same as (S240).
  • the recognition process S200 ′ includes a process S256 of selecting a region to which an unknown current location belongs among a plurality of regions after the comparison process S246.
  • the region selection process S256 of the second embodiment is the same as the region selection process S250 of the first embodiment, except that the process proceeds after the process S246.
  • the learning process according to the third embodiment (S100 ′′) and the process overlapping with the learning process (S100) according to the first embodiment are denoted by the same reference numerals, and description of the overlapping content is omitted. do.
  • the learning process S100 ′′ includes generating a global label descriptor based on a plurality of the local label descriptors (S160).
  • the process S160 may be referred to as a second label generation step S160 or a global label generation step S160.
  • step S160 the plurality of local label descriptors in the global are classified into a plurality of groups.
  • step S160 all the generated local label descriptors are classified into a plurality of groups.
  • the area label descriptors generated in the plurality of areas are classified into a plurality of groups.
  • the plurality of local label descriptors in the global are classified into a plurality of groups according to the second predetermined classification rule to be described later.
  • step S160 a global label descriptor representing local label descriptors classified into the same group is generated.
  • step S160 a global label descriptor is generated based on local label descriptors classified into the same group according to the second predetermined label rule to be described later.
  • the process S160 may proceed after the process S150.
  • the process S160 may be finally performed after the mobile robot 100 finishes all driving.
  • the current whole area is determined according to the driving and the image acquisition S110 before that time. Since the entire area may be updated every time the driving is performed, the process S160 is preferably performed while the mobile robot 100 finishes all the driving.
  • a process overlapping with the recognition process S200 according to the first embodiment of the recognition process S200 ′′ according to the third embodiment is denoted by the same reference numeral, and description of the overlapping content will be described. Omit.
  • the recognition process S200 ′′ includes comparison target selection steps S231 and S236.
  • the comparison target selection steps S231 and S236 include a step S231 of matching the label descriptor to the recognition descriptor and a selection step S236 of the comparison target node.
  • the recognition process S200 ′′ may include a step S231 of matching the label descriptors to the recognition descriptors generated in the process S220 after the process S220.
  • the label descriptors are matched to the recognition descriptors based on the distance between the recognition descriptor and the label descriptor. Specifically, in step S231, the label descriptors of the closest distance from the recognition descriptor are matched with the recognition descriptors, respectively.
  • the label descriptor is preferably a global label descriptor.
  • the global label descriptors are matched with the generated recognition descriptors.
  • global label descriptors are matched to recognition descriptors based on the distance between the recognition descriptor and the global label descriptor.
  • the recognition descriptors are matched with global label descriptors of the nearest distance from the recognition descriptors.
  • step S231 the label descriptors (global label descriptors) are matched with the recognition descriptors so that the label descriptors (global label descriptors) correspond to one another. Only one global label descriptor corresponds to each of all recognition descriptors.
  • the recognition process S200 ′′ may include a process of selecting one or more comparison target nodes corresponding to the matched label descriptors after the matching process S231 (S236).
  • S236 the matching process S231
  • at least one comparison target node corresponding to the matched global label descriptor is selected in the step S236.
  • the descriptors correspond to the label descriptors (global label descriptors) matched in the matching process (S231). These descriptors (descriptors corresponding to the label descriptors) correspond to one or more images. In step S236, one or more comparison target nodes corresponding to the image (one or more images corresponding to the descriptors corresponding to the label descriptors) are selected.
  • the descriptors correspond one-to-many to the label descriptors (global label descriptors) matched in the matching process (S231). These descriptors (one-to-many correspondents to label descriptors) uniquely correspond to one or more images.
  • one or more nodes to be compared one-to-one correspond to this image (one or more images corresponding to one-to-many descriptors corresponding to the label descriptors) are selected.
  • the time required for the subsequent comparison step S266 is shortened.
  • a process of comparing a plurality of global label descriptors (global label descriptor groups) and the plurality of recognition descriptors (recognition descriptor groups) for each node to be compared after the comparison node selection process S236. (S266).
  • the comparison process (S266) the plurality of global label descriptors (global label descriptor groups) and the plurality of recognition descriptors (recognition descriptor groups) in the image are compared with respect to the image corresponding to the comparison target node for each comparison target node.
  • the recognition process S200 ′′ includes a step S270 of selecting a node estimated from the comparison target nodes as the current position after the comparison process S266.
  • an image feature distribution corresponding to the comparison target node is generated based on the types of the plurality of global label descriptors in the image corresponding to the comparison target node and the weight w of each type.
  • the plurality of global label descriptors in the image corresponding to the comparison target node may include at least one of the global label descriptors corresponding to the plurality of recognition descriptors according to the matching process S231. Otherwise, this is because a node corresponding to the image cannot be selected for comparison.
  • the recognition image feature distribution is compared with the image feature distribution for each comparison target node, and a node having the highest similarity is selected (S270).
  • the recognized image feature distribution may be generated in one form. Can be compared with each image feature distribution. For example, the recognized image feature distribution compared with the feature distribution of one image A does not need to be different from the recognized image feature distribution compared with the feature distribution of another image B. As a result, it is not necessary to generate a plurality of recognition image feature distributions, thereby reducing the time required to generate the recognition image feature distributions.
  • a recognition image feature distribution is generated by replacing a plurality of recognition descriptors in a recognition image with global label descriptors corresponding to each recognition descriptor. Also, the feature distribution of one image A is generated based on the global label descriptor in image A, and the feature distribution of the other image B is generated based on the global label descriptor in image B. Since the recognition image feature distribution, the feature distribution of the image A, and the feature distribution of the image B are all generated based on the global label descriptor, the similarity can be calculated for each node to be compared by comparing the recognition image feature distribution and each image feature distribution. have.
  • the plurality of recognition descriptors in the recognition image may be replaced with the ones having the closest distances among the plurality of global label descriptors.
  • recognition descriptor medium And To the multiple global label descriptors in global (X) ) The nearest Each can be substituted with.
  • the recognition descriptor ( And ) In the global label descriptor ( ) Responds (correspondence of work).
  • the distance between the recognition descriptor and the global label descriptor closest to the recognition descriptor exceeds a predetermined value, it is also possible to exclude the recognition descriptor and generate a recognition image feature distribution based only on the remaining recognition descriptors.
  • the image feature distribution of one node to be compared is calculated based on the weight (w) of each type based on the type of each global label descriptor as a representative value (horizontal axis value). It can be expressed as a histogram of the image feature distribution, which is expressed as the frequency (the value of the vertical axis).
  • the image feature distribution vector of one node to be compared is an image feature distribution vector which looks at the type of each global label descriptor in each dimension, and views the score (s3) calculated based on the weight (w) for each type as a numerical value in each dimension. It can be expressed as.
  • a plurality of image feature distribution vectors corresponding to (eg, one-to-one) corresponding to a plurality of comparison nodes may be generated.
  • one global label descriptor ( The score s3 of) may be calculated through Equation 9 below.
  • w3 denotes the global label descriptor (in the corresponding image I1).
  • a recognized image feature distribution that can be compared to an image feature distribution is based on a recognition weight wh for each type, by considering the types of the plurality of global label descriptors in the recognized image as representative values (horizontal axis values).
  • the calculated recognition score sh may be expressed as a histogram of a recognized image feature distribution in which a frequency (a value of a vertical axis) is viewed.
  • Recognition image feature distribution which can be compared to the image feature distribution, is expressed as a recognition image feature distribution vector that looks at the types of the plurality of global label descriptors in the recognition image in each dimension and the recognition score (sh2) for each type as a numerical value in each dimension. Can be.
  • a recognized image feature distribution vector comparable to the image feature distribution may be generated.
  • the similarity is calculated by comparing the image feature distribution and the recognition feature distribution for each comparison target node.
  • the similarity may be calculated by the following Equation 11 using cosine similarity.
  • the recognition process S200 may include selecting a node that is estimated as a current position among one or more nodes to be compared (S270).
  • the process (S266) and the process (S270) may be referred to as the final node selection step (S266, S270).
  • the final node selection step (S266, S270) node information estimated at the current position is selected by comparing node information with image information acquired at the current position for each comparison target node.
  • a node whose largest value is calculated among similarities calculated for each comparison target node may be selected as a node corresponding to a current position (universal correspondence).
  • Equation 3 Equation 4, Equation 6, Equation 7, Equation 9 and Equation 10, the label descriptor generated based on the sparse feature point by the value of IDF1, IDF2 or IDF3 is larger than the label descriptor generated.
  • assigning a score s it is possible to select regions, large regions or nodes (S250, S251, S256, S270) with higher confidence.
  • equations (3), (6) and (9) the larger the weight (w1, w2, w3) of any one label descriptor in the feature distribution (regional feature distribution, large region feature distribution, or image feature distribution) to be compared is greater.
  • a large score s1, s2, s3 is calculated so that a label descriptor with a large weight in the feature distribution to be compared becomes a major clue for position recognition.
  • the learning process according to the modification of the third embodiment proceeds to the processes excluding the processes S140 and S140 and S150 in the flowchart of FIG. 12.
  • the learning process according to the modified example of the third embodiment includes generating a global label descriptor based on the plurality of descriptors without generating the local label descriptor (S160).
  • the process S160 may be referred to as a label generation step S160.
  • all descriptors are classified into a plurality of groups.
  • the descriptors within the global are classified into a plurality of groups.
  • the plurality of local label descriptors in the global are classified into a plurality of groups according to a predetermined classification rule to be described later.
  • a global label descriptor is generated to represent descriptors classified into the same group.
  • a global label descriptor is generated based on descriptors classified into the same group according to a predetermined label rule to be described later.
  • the process S160 may be performed after the descriptor generation process S120.
  • the process S160 may be finally performed after the mobile robot 100 finishes all driving. In the state where the mobile robot 100 has completed all the driving, the current whole area is determined according to the driving and the image acquisition S110 before that time. Since the entire area may be updated every time the driving is performed, the process S160 is preferably performed while the mobile robot 100 finishes all the driving.
  • the recognition process according to the modified example of the third embodiment proceeds with the same procedures as in the flowchart of FIG. 13 and is the same as the recognition process S200 ′′ according to the third embodiment.
  • the image acquisition unit 120 acquires an image at each point P1, P2, and P3 while the mobile robot 100 is traveling.
  • the image may be photographed toward the upper side of the mobile robot 100.
  • the image may be taken of the ceiling.
  • the image shown in FIG. 14 is an image corresponding to the point P3.
  • the mobile robot 100 may generate a node N3 corresponding to the point P3, and the coordinate information D186 corresponding to the node N3 is generated based on the traveling displacement measured by the mobile robot 100. Can be.
  • the image shown in FIG. 14 is an image corresponding to the generated node N3.
  • the mobile robot 100 extracts feature points from the image.
  • various methods of extracting feature points from an image are well known.
  • Several feature detectors are known that are suitable for the extraction of these feature points. Examples include Canny, Sobel, Harris & Stephens / Plessey, SUSAN, Shi & Tomasi, Level curve curvature, FAST, Laplacian of Gaussian, Difference of Gaussians, Determinant of Hessian, MSER, PCBR, and Gray-level blobs detectors.
  • a descriptor (based on a plurality of feature points f1, f2, f3, .., fm) extracted from a plurality of acquired images is generated. (Where m is a natural number) A plurality of descriptors (a plurality of feature points f1, f2, f3, .., fm) ) Corresponds one to one.
  • a plurality of descriptors corresponding to a plurality of feature points f1, f2, f3, .., fm, using a scale invariant feature transform (SIFT) technique for feature detection ) can be created.
  • SIFT scale invariant feature transform
  • a descriptor which is an n-dimensional vector, may be generated based on a distribution characteristic (a direction of brightness change and a sharp degree of change) of brightness gradients of pixels belonging to a certain area around the periphery.
  • a distribution characteristic a direction of brightness change and a sharp degree of change
  • the direction of each brightness change of the feature point may be viewed in each dimension, and an n-dimensional vector (descriptor) may be generated in which the magnitude of the change in the direction of each brightness change is a numerical value for each dimension.
  • the SIFT technique can detect an invariant feature with respect to scale, rotation, and brightness change of an object to be photographed, so that even if the same region is photographed with different postures of the mobile robot 100 (that is, rotation invariant ( Rotation-invariant) feature can be detected.
  • rotation invariant Rotation-invariant
  • HOG Histogram of Oriented Gradient
  • Haar feature Haar feature
  • Fems Fems
  • LBP Local Binary Pattern
  • MCT Modified Census Transform
  • the map of the mobile robot 100 is generated based on the node information D180.
  • the node information D180 may be stored as data in the mobile robot 100.
  • the learning process includes a process of setting an origin node O (S131).
  • the origin node O is a reference point on the map.
  • the node coordinate information D186 may be generated by adding a driving displacement to the origin node O. FIG. Even when the node coordinate information D186 is updated, the origin node O does not change.
  • the learning process includes a step (S133) of generating a node (N) while driving the mobile robot 100 after setting (S131) the origin node (O).
  • step S133 the mobile robot 100 generates node information D180.
  • the learning process includes a process of determining whether to measure the loop displacement LC between the nodes N (S135).
  • the determination process S135 when the loop displacement LC is measured, the process of updating the coordinate information D186 of the node N is performed (S137), and when the loop displacement LC is not measured, the mobile robot 100 is measured.
  • step S139 it is determined whether the map learning is terminated.
  • the map learning end determination process (S139) if the map learning is not finished, the process of generating node information while driving may be performed again (S133).
  • the flowchart of FIG. 15 illustrates an embodiment, and the relationship between the node information generation process S133 and the determination of whether the loop displacement LC is measured between nodes during the driving may be changed or may be performed simultaneously. .
  • the node information D180 may include a node unique index D181 for identifying which node information D180 corresponds to which node among the plurality of node information D180.
  • the node information D180 includes image information D183 corresponding to the node N.
  • FIG. The corresponding image information D183 is an image acquired through the image acquisition unit 120 at a point in the driving zone corresponding to the node N.
  • the node information D180 may include distance information D184 of the node N from the surrounding environment.
  • the distance information D184 from the surrounding environment may be distance data measured by the obstacle detecting sensor 131 at a point corresponding to the node N.
  • the node information D180 includes node coordinate information D186.
  • the node N coordinate information D186 may be generated based on the origin node O and the driving displacement.
  • the node information D180 may include node update time information D188.
  • the node update time information D188 is data about a time point at which the node information D180 is generated or updated. For example, when the mobile robot 100 receives the node information D180 having the same node information D180 and the node unique index D181 from the outside, the node information is based on the node update time information D188. It may be determined whether the update proceeds to D180.
  • the node update time information D188 makes it possible to determine whether to update to the latest node information D180.
  • the node update time information D188 is generated based on the time point at which the node information D180 is generated. At this time, a node unique index D181 of the generated node N2 is generated. In addition, the image information D183 corresponding to the generated node N2 is matched to the corresponding node N2. In addition, distance information D184 of the generated node N2 with the surrounding environment may be matched with the corresponding node N2.
  • the node information D180 may be updated based on the measurement displacement information D165 with the adjacent node.
  • the measurement displacement information D165 with the adjacent node may include data about the driving displacement.
  • the measurement displacement information D165 with the adjacent node may include data about the loop displacement LC, which will be described later.
  • the previously stored node information D180 may be generated or updated.
  • the update of the node information D180 may be an update of the node coordinate information and the node update time information D188.
  • the update of the node information D180 may be the update of the corresponding image information D183.
  • the driving displacement C1 is measured to generate the information D180 of the node N1.
  • the driving displacement C2 is added to the coordinate information D186 of the node N1, which is the starting point of the traveling displacement C2, and the coordinate information of the node N2 serving as the end point of the traveling displacement C2 ( D186).
  • the driving displacement C3 is measured to generate the information D180 of the node N3.
  • the information D180 of the nodes N1, N2, N3,..., And N16 is sequentially generated based on the driving displacements C1, C2, C3,..., C16 measured sequentially.
  • node C15 which is the starting point of any one driving displacement C15, as a 'base node' of node 16, which is the end point of the driving displacement C15
  • the loop displacement, LC A displacement measured between one node N15 and another adjacent node N5 'not the base node N14' of the one node N15 is measured.
  • the acquired image information D183 corresponding to one node N15 and the acquired image information D183 corresponding to the other adjacent node N5 are compared with each other so that the loop displacement between the two nodes N15 and N5 may be reduced.
  • LC can be measured.
  • the distance information D184 of the surrounding environment of one node N15 and the distance information D184 of the surrounding environment of the other adjacent node N5 are compared with each other, so that a loop between the two nodes N15 and N5 is compared.
  • Displacement LC can be measured.
  • the loop displacement LC1 measured between the node N5 and the node N15 and the loop displacement LC2 measured between the node N4 and the node N16 are exemplarily shown.
  • the information D180 of one node N5 generated based on the driving displacement includes node coordinate information D186 and image information D183 corresponding to the node N5.
  • the two nodes N5 and N15 The loop displacement LC1 between ⁇ is measured. If the 'loop displacement LC1' and the 'displacement calculated according to the coordinate information D186 of the two previously stored nodes N5 and N15' are different from each other, the node coordinate information D186 is regarded as having an error. Coordinate information D186 of (N5, N15) can be updated.
  • coordinate information D186 of other nodes N6, N7, N8, N9, N10, N11, N12, N13, and N14 connected to the two nodes N5 and N15 may also be updated.
  • the node coordinate information D186 updated once may be continuously updated through the above process.
  • Two nodes N whose loop displacement LC is measured are defined as first loop nodes and second loop nodes, respectively.
  • 'Calculated displacement ⁇ x1, ⁇ y1, ⁇ 1' calculated by the node coordinate information D186 of the first loop node and the node coordinate information D186 of the second loop node (calculated by the difference of the coordinate values)
  • the loop displacement LC ( ⁇ x2, ⁇ y2, ⁇ 2) and a difference ⁇ x1- ⁇ x2, ⁇ y1- ⁇ y2, ⁇ 1- ⁇ 2 may occur.
  • the node coordinate information D186 may be updated based on the difference as an error, and the node coordinate information D186 is updated under the assumption that the loop displacement LC is a more accurate value than the calculated displacement.
  • the node coordinate information D186 When updating the node coordinate information D186, only the node coordinate information D186 of the first loop node and the second loop node may be updated. However, since the error is generated by accumulating errors of driving displacements, By distributing the error, the node coordinate information D186 of other nodes may also be updated. For example, the node coordinate information D186 may be updated by dispersing the error value among all nodes generated by the traveling displacement between the first loop node and the second loop node. Referring to FIG. 17, when the loop displacement LC1 is measured and the error is calculated, the error is applied to the nodes N6 to N14 between the first loop node N15 and the second loop node N5. By dispersing, all of the node coordinate information D186 of the nodes N5 to N15 may be updated little by little. Of course, the error variance may be expanded to update the node coordinate information D186 of the other nodes N1 to N4 together.
  • a predetermined area classification condition is set based on the number of nodes.
  • the region classification condition according to the embodiment includes a 'condition in which the number of continuously created new nodes reaches a' (first condition). If the region classification condition is satisfied according to an embodiment, a newly generated new node is grouped into one region and classified.
  • a may be preset to a fixed natural number value or to a natural value that is changed according to a predetermined criterion.
  • the region classification condition is satisfied.
  • 30 additionally generated new nodes are grouped into one region. Specifically, the nodes N1 to N30 are grouped and divided into one region A1, and the nodes N31 to N60 are grouped and divided into one region A2, and the nodes N61 to N90 are divided. This is divided into one region A1.
  • the region classification condition according to the embodiment may further include 'a condition in which a newly generated node exists that is not grouped into the region according to the first condition at the end of the run' (second condition). If the first condition or the second condition is satisfied, the area classification condition according to the embodiment is satisfied.
  • the mobile robot 100 sequentially generates nodes N1 through N90, the first condition for distinguishing three regions A1, A2, and A3 is satisfied. Subsequently, when the mobile robot 100 sequentially generates nodes N91 to N99 and ends driving in a state in which the first condition is not satisfied, the node newly generated by satisfying the second condition is satisfied.
  • the fields N91 to N99 are grouped into one region A4 and divided.
  • the region classification condition may be a region in which 'at least one node of the first node group' and 'at least one node of the second node group' are the same according to the first condition or the second condition.
  • the first node group and the second node group may include an exception condition for grouping them into different regions.
  • a predetermined area classification condition is set based on a partition shape of a driving zone.
  • the area classification condition is a condition for dividing an area on a map corresponding to an actual area partitioned by each room into areas.
  • the mobile robot 100 recognizes the walls 20 and the doors 21 which can be opened and closed in each room in the driving zone, and the area classification process S140 ′ according to the other embodiment may be performed.
  • nodes may be divided into regions by grouping nodes based on each room in the global area X.
  • FIG. 19 an example of the partition shape of the actual travel area which is the division basis of each area
  • a predetermined region classification condition may be set based on the width of the partition region.
  • the mobile robot 100 may divide the driving zone into compartment regions each having a width according to a predetermined criterion, and classify nodes belonging to each compartment region into regions.
  • the driving zone may be divided into quadrangular areas having substantially the same size, and the remaining areas other than the quadrangular area may be divided into areas having substantially the same size as other areas.
  • a predetermined region classification condition may be set based on an descriptor in an image corresponding to each node.
  • regions may be divided based on similarity according to a predetermined criterion between images corresponding to each node. For example, based on descriptors in the first image corresponding to the first node and descriptors in the second image corresponding to the second node, if the similarity is greater than a predetermined value, the first node and the second node are grouped into the same region. can do.
  • FIG. 20 exemplarily shows a relationship between the global area X, the plurality of areas A1 to A5 and the plurality of nodes N1 to N30 divided according to the predetermined area classification condition.
  • a plurality of images corresponding to one to one nodes are shown.
  • a plurality of nodes eg, N1 to N30
  • regions eg, A1
  • All regions on the map eg, A1 through A5
  • global (X) The sum of all nodes on the map may be referred to as global (X).
  • the large area classification condition according to an embodiment is set based on the number of regions.
  • the large area classification condition according to the embodiment includes a 'condition in which the number of divided new regions reaches b' (first large area condition).
  • b additionally divided new areas are divided into one large area.
  • b may be preset to a fixed natural number value, or may be preset to a natural number value changed according to a predetermined criterion.
  • the large area classification condition according to the embodiment further includes 'a condition in which a newly divided area exists that is not grouped into a large area according to the first large area condition at the end of the driving' (second large area condition). can do. If the first large area condition or the second large area condition is satisfied, the large area classification condition according to the embodiment is satisfied.
  • the mobile robot 100 when the mobile robot 100 generates the regions A1 to A15, the first large region condition that can distinguish three large regions X1, X2, and X3 is satisfied. Thereafter, when the mobile robot 100 further divides the regions A16 and A17 and ends the driving in a state in which the first large region condition is not satisfied, the second large region condition is satisfied and newly classified.
  • the regions A16 and A17 are grouped into one large region X4.
  • the large area classification condition may be based on at least one region of the first region group or at least one region of the second region group according to the first region or the second region. Although it may be grouped into the same large region, it may include a large region exception condition that causes the first region group and the second region group to be grouped into different large regions.
  • the large area classification condition may be set based on whether the mobile robot is separated from each other in terms of driving ability of the mobile robot.
  • the separated area due to the traveling capability of the mobile robot 100 means that the mobile robot 100 is separated from the one area to another area to the extent that the mobile robot 100 cannot move by itself.
  • two indoor spaces that are completely separated on the same line can be divided into two large areas.
  • the large area may be divided based on each floor in the entire area X.
  • a plurality of regions may be grouped and divided into large regions X1.
  • the sum of all the major regions on the map can be referred to as the global (X).
  • regions or large regions may be distinguished by various other known methods.
  • the label descriptor generation processes S150, S156, and S160 will be described in more detail. Specifically, the description will be made based on the local label descriptor generation process (S150) and the global label descriptor generation process (S160) according to the third embodiment, but this is also self-evident in the large region label descriptor generation process (S156) according to the second embodiment. Modifications are possible in a range.
  • the predetermined classification rule may include a rule for dividing a plurality of descriptors based on the distance between the descriptors so that descriptors having a relatively close distance are included in the same group.
  • the relatively close distance means that the average distance between descriptors in one group G1 divided according to the classification rule is smaller than the average distance between descriptors belonging to different groups G1 and G2, respectively.
  • the classification rule may include a first predetermined classification rule and / or a second predetermined classification rule, which will be described later.
  • the predetermined label rule may include a rule that uses the representative value calculated based on descriptors classified into the same group according to the classification rule as the label descriptor.
  • the representative value is an average value of descriptors classified into the same group.
  • the representative value may be a median value of descriptors classified into the same group.
  • the representative value may be a value obtained by adding or subtracting a 'correction value' according to a predetermined criterion to the average value or the median value.
  • the label rule may include a first predetermined label rule and / or a second predetermined label rule to be described later.
  • the first predetermined classification rule divides a plurality of descriptors in the area A1 based on the distance between the descriptors and includes descriptors of relatively close distances in the same group A1G1, A1G2, A1G3, ..., A1Gl), where l is a natural number.
  • the first predetermined label rule includes descriptors classified into the same group A1G1 according to the first predetermined classification rule. ) Is based on the local label descriptor ( May contain a rule.
  • the second predetermined classification rule divides a plurality of local label descriptors in the global area X based on the distances between the local label descriptors and includes the same group (XG1, XG2, XG3, ..., XGk), where k is a natural number.
  • the second predetermined label rule may include local label descriptors (weight 3 of FIG. 3) classified into the same group XG1 according to the second predetermined classification rule. , Weight of 10 , Of weight 2 ) Is based on the global label descriptor ( We include rule to make).
  • A1G1, A1G2, A1G3,... , A1Gl shows each group dividing a plurality of descriptors in region A1 according to the first predetermined classification rule.
  • the brackets [] show at least one descriptor classified into the same group. For example, descriptors classified into any one group A1G1 to be. Remaining A1G2, A1G3,... , A1Gl notation is the same way, so description is omitted.
  • FIG. 23 illustrates a process of dividing a plurality of descriptors in a region into a plurality of groups according to a first predetermined classification rule according to an embodiment (S150).
  • a tree structure extending downwards is shown in a line extending downwardly from one dot, and a dot is shown at the bottom of each line. tree structure) is shown.
  • a diagram in which one point is divided into two points downwards represents a process in which a plurality of descriptors are divided into two groups (a dividing process).
  • the points A1G1 to A1G14, A2G1 to A2G17, and A3G1 to A3G24 that form the lower end in the tree structure of the process (S150) represent groups in which a plurality of descriptors are finally divided according to the first predetermined classification rule.
  • Dividing the plurality of descriptors in the region into a plurality of groups according to the first predetermined classification rule includes the dividing process.
  • a plurality of descriptors to be divided are defined as 'head groups', and two groups divided into two branches are defined as 'branch groups'.
  • the two branch groups generated in any one of the dividing processes may be the head groups in the next dividing process.
  • one head group is divided into two branch groups through one dividing process.
  • the head group may be divided into three or more branch groups through one dividing process.
  • the dividing process divides the head group into k1 branch groups based on the distance between the descriptors in the head group.
  • k1 is a natural number of two or more.
  • the dividing process selects k1 descriptors arbitrarily from among a plurality of descriptors in the head group, and the remaining unselected descriptors in the head group are grouped together with the nearest descriptor in distance among the k1 descriptors selected, and thus k1 'first' Primary temporal process of creating a primary temporal group.
  • the dividing process after the first temporary process, calculates a first average value of descriptors in each first temporary group, and all descriptors in the head group are closest to distances of the k1 first average values.
  • the dividing process may include first to mth order temporal processes, where m is a natural number of 2 or more.
  • the dividing process may include each m-1 after the m-th temporal process. Calculating the m-th order average value of descriptors in the secondary temporary group, and assuming that all descriptors in the head group match the nearest value in distance among the calculated m-th order average values, the same m-th order
  • the descriptors matched with the average value may be grouped together to generate an m-th temporary process of generating k1 'secondary temporary groups'. As the temporary process is repeated from the first to the m th order, the grouping of descriptors converge in one form, and the k m th temporary groups generated after the m th temporary process become k1 branch groups.
  • the first predetermined classification rule includes a 'basic rule' for repeating the dividing process a total of k2 times for a plurality of descriptors in a region, and k3 number of descriptors in any one branch group.
  • it includes an 'exception rule' which stops the dividing process using the branch group as the head group any more (where k2 and k3 are natural numbers).
  • You can include a default rule and an exception rule with m 1.
  • two branch groups may be generated through a dividing process for any one head group, and the dividing process may be repeatedly performed using the generated branch group as a head group. If the number of descriptors in the branch group is m or less, the dividing process of using the branch group as the head group according to the exception rule is not performed anymore, regardless of the basic rule.
  • a plurality of descriptors in the region A1 are divided into a plurality of groups A1G1 to A1G14, and a plurality of descriptors in the region A2 are divided into a plurality of groups A2G1 to A2G17.
  • the plurality of descriptors in region A3 are divided into a plurality of groups A3G1 to A3G24.
  • the first predetermined classification rule includes a rule for classifying descriptors having a distance between two descriptors equal to or less than a predetermined value ST1 into the same group.
  • a local label descriptor generated according to the first predetermined label rule.
  • a local label descriptor is generated according to the first predetermined label rule.
  • a plurality of descriptors in one group A1G1
  • the weight label's regional label descriptor Create
  • the plurality of descriptors Local label descriptors in accordance with this First Prescribed Labeling Rule It can also be viewed as converted to. Remaining A1G2, A1G3,...
  • each local label descriptor with each weight is generated according to the first predetermined label rule.
  • FIG. 24 illustrates a region label descriptor of a weight M1 based on a plurality of descriptors according to a first predetermined label rule according to an exemplary embodiment.
  • S1 where M1 is a natural number.
  • the first predetermined label rule may include a rule for setting an average value of at least one descriptor classified into the same group as a local label descriptor. .
  • XG1, XG2, XG3,... , XGk shows each group dividing all the local label descriptors in the global X according to the second prescribed classification rule.
  • the brackets '[]' show at least one local label descriptor grouped into the same group.
  • the right parenthesis '()' of each region label descriptor shows the weight w of each region label descriptor.
  • geographic label descriptors classified into any one group XG1 may be , Weight of 10 , Of weight 2 to be.
  • Represents any of the region label descriptors in region A1 Represents any of the region label descriptors in region A2, Represents any one of the region label descriptors of region A5.
  • the remaining XG2, XG3,... , XGk notation is the same way, so description is omitted.
  • FIG. 23 a process S160 of dividing all the local label descriptors in the global area X into a plurality of groups according to the second predetermined classification rule according to an exemplary embodiment is illustrated.
  • the description of the tree structure shown as a dot and a line extending in two branches is as described above.
  • the diagram in which one point in the tree structure of the process (S160) is divided into two points downwards represents a process in which a plurality of local label descriptors are divided into two groups (global dividing process).
  • Points XG1 to XG53 constituting the lower ends of the tree structure of step S160 represent groups in which a plurality of local label descriptors are finally divided according to a second predetermined classification rule.
  • the dividing of a plurality of local label descriptors in a global into a plurality of groups according to a second predetermined classification rule includes the global dividing.
  • a plurality of local label descriptors to be divided are defined as a 'global head group', and two groups divided into two branches are defined as 'global branch groups'. group).
  • the two global branch groups generated in one global dividing process may be the global head groups in the next global dividing process.
  • one global head group is divided into two global branch groups through one global dividing process, but it is also divided into three or more global branch groups through one global dividing process. It is possible.
  • the global dividing process divides the global head group into g1 global branch groups based on the distance between a plurality of local label descriptors in the global head group (where g1 is a natural number of 2 or more).
  • the ding process is described in detail.
  • the global dividing process selects g1 region label descriptors randomly among a plurality of region label descriptors in the global head group, and the remaining non-selected region label descriptors in the global head group are the closest in distance among the selected g1 region label descriptors. Grouped with a local label descriptor, it contains a first global ad hoc process in which g1 'first global ad hoc groups' are created.
  • the global dividing process calculates a first average value of the local label descriptors in each first global temporary group, wherein all local label descriptors in the global head group are g1 first. Assuming a match to the closest distance in the mean of the differences, a second global ad hoc process of grouping geographic label descriptors that match the same first mean to generate g1 'second global ad hoc groups' can do.
  • the global dividing process may include first to mth order global temporal processes, where m is a natural number of 2 or more.
  • the second predetermined classification rule includes a 'basic rule' for repeating the global dividing process a total of g2 times for a plurality of region label descriptors in a region, and a region label in any one global branch group. If the number of descriptors is less than or equal to g3, it includes an 'exception rule' that stops the global dividing process of using the global branch group as a global head group (where g2 and g3 are natural numbers). 2
  • two global branch groups may be generated through a global dividing process for any one global head group, and the global dividing process may be repeatedly performed using the generated global branch group as a global head group. If the number of local label descriptors in the global branch group is m or less, the global dividing process no longer proceeds with the global branch group as the global head group according to the exception rule regardless of the basic rule.
  • the plurality of local label descriptors in the global X are divided into a plurality of groups XG1 to XG53.
  • the second predetermined classification rule includes a rule for classifying area label descriptors having a distance between two area label descriptors equal to or less than a predetermined value ST2 into the same group.
  • FIG 22 Shows a global label descriptor generated according to the second predetermined label rule (where k is a natural number).
  • the second predetermined label is based on a plurality of local label descriptors classified into the same group according to the second predetermined classification rule.
  • the plurality of geographic label descriptors (weight 3 , Weight of 10 And of weight 2 ) Are each global label descriptors according to the second prescribed labeling rule. It can also be viewed as converted to. The remaining XG2, XG3,... Since the conversion of descriptors belonging to the XGk group is the same, the description is omitted.
  • FIG. 24 illustrates a plurality of regional label descriptors (weight M1 according to a second predetermined label rule according to an embodiment).
  • Weight M2 Based on the weight M1 + M2 global label descriptor ( (S1 and M2 are natural numbers).
  • the second predetermined label rule is a rule in which an average value of at least one local label descriptor classified into the same group is defined as a local label descriptor. It may include. In this case, the average value is a value in consideration of the weight of each region label descriptor and can be calculated by Equation 12 below.
  • M1, M2, M3,... , Mx is Is the weight of each
  • the first label generation step (S150, S151) may be started during the learning initial steps (S110, S120, S130). Specifically, during the initial learning steps (S110, S120, S130), if at least one area (A1) is divided in the area classification step, the first to generate the area label descriptor of the divided area (A1) Label generation steps S150 and S151 may be performed. Through this, the period in which the generation completion to the local label descriptor or the global label descriptor is shortened after the driving is completed, and thus, the learning process (S100 ', S100' ') can be efficiently performed.
  • an acquisition process S210 of acquiring an image is started.
  • the image acquisition unit 120 acquires a recognition image at an unknown current point Pu.
  • the recognition image may be photographed toward the upper side of the mobile robot 100.
  • the recognition image may be taken of the ceiling.
  • the image illustrated in FIG. 25 is a recognition image corresponding to the current point Pu.
  • a plurality of recognition descriptors (based on a plurality of recognition feature points h1, h2, h3, .., h7 extracted from a recognition image) may be used.
  • the recognition descriptors (h1, h2, h3, .., h7) have a plurality of recognition descriptors ( ) Corresponds one to one.
  • a plurality of recognition descriptors corresponding to a plurality of recognition feature points h1, h2, h3, .., h7 ( ) can be created. Description of the various methods of detecting features from an image in the field of computer vision technology and the various feature detectors suitable for the detection of these features are described above.
  • the matching process (S231) will be described in more detail as follows.
  • a plurality of recognition descriptors in the recognition image ( ) Matches each global label descriptor that is closest in distance.
  • the correspondence between the recognition descriptor and the global label descriptor is shown by a matching line. If the matching process (S231) proceeds, a plurality of recognition descriptors ( Multiple global label descriptors () ) Corresponds to the work.
  • the recognition descriptor ( ) Is the closest global label descriptor , The recognition descriptor ( ) In the global label descriptor ( ) Corresponds.
  • Recognition descriptor ( ) Is the closest global label descriptor , The recognition descriptor ( ) In the global label descriptor ( ) Corresponds.
  • Recognition descriptor ( ) Is the closest global label descriptor , The recognition descriptor ( ) In the global label descriptor ( ) Corresponds.
  • Recognition descriptor ( ) Is the closest global label descriptor , The recognition descriptor ( ) In the global label descriptor ( ) Corresponds.
  • the selection process S236 of the comparison target node will be described in detail as follows.
  • the matched global label descriptor Selects the node to be compared.
  • a plurality of matched global label descriptors Multiple nodes correspond one-to-many.
  • a plurality of matched global label descriptors ( ) Nodes to be compared are N1, N14, N15, N38, N62, N63, and N64.
  • the plurality of global label descriptors in each of the selected comparison target nodes N1, N14, N15, N38, N62, N63, and N64 may be configured to match the matched global label descriptor ( ) At least one.
  • the plurality of global label descriptors in the remaining non-selected nodes may include the matched global label descriptor ( ) Does not include everything.
  • the matched global label descriptor ( Select the descriptors on which the generation basis of) is generated, select the images on which the selected descriptors are generated, and set nodes corresponding to the selected images as nodes to be compared.
  • a descriptor A is classified into a group A1G1 according to a predetermined classification rule (first prescribed classification rule), and a local label descriptor B according to a predetermined label rule (first predetermined label rule) based on descriptors in the group A1G1. Is generated, and then the local label descriptor B is classified into group XG5 according to the predetermined classification rule (second prescribed classification rule), and according to the predetermined labeling rule (second predetermined label rule) based on the regional label descriptors in group XG5. If global label descriptor C is generated, it is expressed as 'descriptor A is the basis for generating global label descriptor C'.
  • the image D becomes a basis for generating the descriptor A'. Furthermore, it is expressed that 'image D is the basis for generating global label descriptor C'.
  • the matched global label descriptor among a plurality of images ( ) Select the images on which the generation basis is generated, and select nodes to be compared one-to-one corresponding to the selected images among all nodes.
  • selected comparison target nodes N1, N14, N15, N38, N62, N63, and N64 are indicated by black dots.
  • comparison process S266 for each node to be compared will be described with reference to FIG. 28.
  • the comparison process S266 only the images corresponding to the comparison target nodes N1, N14, N15, N38, N62, N63, and N64 selected in the selection process S236 are compared with the recognition image.
  • the comparison target node corresponding to the image having the highest similarity is selected as the final node.
  • the image feature distribution and the recognized image feature distribution are compared for each node N1, N14, N15, N38, N62, N63, and N64 to compare one node having the highest similarity with the final node.
  • Select the node estimated to be the current point.
  • a detailed method thereof is the same as the description of the above Equations 9 to 11.
  • the histogram on the left side shows an example of the recognition image feature distribution histogram.
  • the recognition image feature distribution is obtained by matching the matched global label descriptor ( Is generated based on Matched global label descriptor ( ) Can be calculated through the above equation (10).
  • the histograms on the right side show an example of the image feature distribution histogram for each node to be compared.
  • the matched global label descriptor ( ) The image feature distribution is generated.
  • Matched global label descriptor ( ) Can be calculated through Equation (9).
  • the plurality of global label descriptors in the image the matched global label descriptors ( ), In addition to other global label descriptors (for example, There may be). These other global label descriptors ( ) Need not be representative of the image feature distribution histogram. However, these other global label descriptors ( ) Is the matched global label descriptor ( It may affect the score (S) of)). (Because other global label descriptors ) Is the weight of Equation 9 This affects the value of.)
  • the recognition process S300 according to the fourth embodiment is a process that is supplementary to the recognition process S200 ′′ according to the third embodiment.
  • the recognition process (S300) according to the fourth embodiment may be applied to the modifications of the first, second and third embodiments only by comparing the comparison object.
  • p is a natural number of 2 or more
  • m is an arbitrary natural number of 1 or more and p or less.
  • the recognition process S300 includes an initial recognition step.
  • the recognition initial step may include obtaining an m-th recognition image (S310) and generating an m-th recognition descriptor group (S20).
  • the recognition process S300 includes a process S310 in which the mobile robot 100 acquires first to p-th recognition images while changing a point or an imaging angle.
  • the mobile robot 100 may acquire the first to p-th recognition images at predetermined time intervals.
  • the first image, the second image, the third image,... This is defined as the p-th order image.
  • the time points at which each of the recognized images are acquired are in time sequence t1, t2, t3,. , tp. That is, the first recognition image is acquired at view t1, the second recognition image is acquired at view t2, and the p-th recognition image is acquired at view tp.
  • tm means a time point at which the m-th recognition image is acquired.
  • the mobile robot 100 shows the m-th recognition image acquired at time tm through the image acquisition unit 120 in an unknown current area.
  • a plurality of m-th recognition recognition points h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, and h7tm are extracted from the m-th image acquired in the unknown current region.
  • the first recognition feature point is extracted from the first image
  • the second recognition feature point is extracted from the second image
  • the p-th recognition feature point is extracted from the p-th recognition feature point.
  • the view point tm is additionally marked on the symbol of the m th order recognition feature point.
  • the mobile robot 100 may move to acquire recognition images from a plurality of points.
  • the first to p-th recognition images may be acquired at each point while changing the current points (Put1, Put2, Put3,..., Putm) where the mobile robot 100 is located.
  • the point from which the m-th recognition image is obtained may be controlled to be different from the point from which the m-th recognition image is acquired and from the point from which the m + th recognition image is acquired.
  • the mobile robot 100 may acquire a plurality of recognition images while changing the photographing angle of the image acquisition unit 120.
  • the m-th image is different from the m-first image and the m + 1st image, and the current region is estimated by extracting data from the m-th image and other various images, thereby increasing the reliability of the estimation.
  • the process of acquiring the m-th recognition image at one point Putm is substantially the same as the process of acquiring the recognition image S210 described above.
  • a process of generating first to pth order recognition descriptors (first to pth order recognition descriptor groups) based on the first to pth order recognition images, respectively includes.
  • first to pth order recognition features are extracted from the first to pth order recognition images, and respective first to pth order recognition descriptors corresponding to the first to pth order recognition features are generated.
  • a process (S320) of generating the m-th recognition descriptors (the m-th recognition descriptor group) based on one of the m-th recognition images is the same as the above-described recognition descriptor generation process (S220).
  • the first recognition descriptor is generated based on the first image
  • the second recognition descriptor is generated based on the second image
  • the p-th recognition descriptor is calculated based on the p-th image.
  • the process of generating the m-th recognition descriptor based on the m-th image obtained in the image acquisition process S310 may be defined as the process of generating the m-th recognition descriptor S320.
  • step S320 the mth recognition descriptors corresponding to the mth recognition feature points h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, and h7tm, respectively ) H1tm (1), h1tm (2), h1tm (3), .., h1tm (n) in ⁇ It means the value of each dimension to form. Since the notation for is the same way, the description is omitted.
  • a label descriptor (global label descriptor) may be matched to each of the first to pth order recognition descriptors, and at least one corresponding to the matched label descriptor (global label descriptor) may be used.
  • a comparison target selection step (not shown) of selecting a comparison target node is included.
  • the matching of the global label descriptor to each of the mth order recognition descriptors in the comparison target selection step of the fourth embodiment is substantially the same as the above-described matching process S231.
  • the selection of the comparison target node corresponding to the matched global label descriptor is the same as that of the comparison target node selection process (S236).
  • the recognition process (S300) includes a process (S381) of calculating an mth similarity for each node to be compared.
  • the recognition process (S300) includes a process (S381) of calculating a p-th similarity for each node to be compared.
  • the recognition process S300 calculates first to pth similarity for each node to be compared.
  • step S381 the m-th recognition image feature distribution is generated based on the matched global label descriptor in the m-th recognition image.
  • step S381 the m-th similarity for each node to be compared is calculated.
  • the first to pth order similarities for each node to be compared are calculated by comparing the image feature distribution corresponding to the node to be compared with the recognized image feature distribution that can be compared thereto.
  • the m-th order similarity means the similarity calculated based on the comparison of the m-th recognized image feature distribution and the image feature distribution.
  • an image feature distribution and an mth order recognition image feature distribution for the comparison node may be generated based on the type, score, and recognition score of the matched global label descriptor. have. This may be understood as a description of the process S266 of the third embodiment.
  • the m-th similarity for each comparison target node is calculated by comparing the image feature distribution corresponding to each comparison target node with the m-th recognition image feature distribution.
  • the similarity between the image feature distribution vector of the one comparison target node and the m-th order recognition image feature distribution vector may be calculated by Equation 13 below.
  • n and j are any natural numbers.
  • Table 1 shows the degree of similarity for each order (T1, T2, ..., Tm, ..., Tp) and each of the comparison target nodes (N1, N2, ..., Nj, ..., Nk) calculated through Equation 13. It is summarized. Where p and k are more than natural numbers
  • similarities of the same order for each order are shown in the same row, and similarities of the same node for each node to be compared are shown in the same column.
  • p and k mean two or more natural numbers
  • m means one or more natural numbers of p or less
  • j means one or more natural numbers of k or less.
  • 'Means omitted.
  • the similarity for each m-th zone means the similarity of the row labeled 'm-th' in Table 1 above.
  • the recognition process S300 includes a process of calculating an m-th cumulative similarity for each node to be compared (S385).
  • the recognition process (S300) includes a process of calculating a p-th cumulative similarity for each node to be compared (S385).
  • the recognition process S300 calculates first to pth cumulative similarities for each node to be compared.
  • step S385 the cumulative similarity for each node to be compared is calculated based on the similarity for each node for comparison according to a predetermined accumulation rule.
  • the cumulative similarity calculation step S385 calculates the first to p-th cumulative similarity of each node to be compared according to a predetermined cumulative rule.
  • the similarity for each mth comparison target node is calculated, the m-1 cumulative similarity for each comparison target node and the mth similarity for each comparison node according to a predetermined cumulative rule in the mth cumulative similarity calculation process (S385). Based on the above, the mth cumulative similarity for each node to be compared is calculated.
  • the predetermined cumulative rule may include an operation rule for multiplying the first to pth similarity for each node to be compared by the similarities for the same node.
  • the cumulative similarity for each node to be compared is a value in which similarities of all orders calculated until the cumulative similarity calculation process S385 proceeds according to the predetermined cumulative rule are accumulated.
  • the mth cumulative similarity for each node to be compared may be calculated by multiplying the first to mth similarity for each node to be compared.
  • the mth order cumulative similarity for each node to be compared may be calculated by multiplying the m-1st cumulative similarity and the mth order similarity for each node to be compared.
  • the cumulative similarity for each node to be compared may be calculated through a normalizing process.
  • the normalization is a process in which all sums of the mth cumulative similarities for each comparison target node (meaning the sum of all mth cumulative similarities for each comparison target node) become one.
  • the predetermined cumulative rule for obtaining the m-th cumulative similarity for the comparison node Nj may be expressed by Equations 14 and 15 below.
  • j means any natural number of 1 or more and k or less.
  • m means two or more natural numbers.
  • n and j are any natural numbers.
  • the m-normal cumulative similarity (not normalized) with respect to the node Nj to be compared ( ) Multiplies all first to m order similarities for the node Nj to be compared ( M-first-order cumulative similarity for the node Nj ) Is the mth similarity ( It can also be multiplied by
  • n and j are any natural numbers.
  • the normalized mth cumulative similarity with respect to the node Nj to be compared Is the non-normalized mth cumulative similarity ( ) Is the sum of the unnormalized mth order cumulative similarities of all nodes N1 to Nk ( You can also divide by).
  • the normalized m-first cumulative similarity for the node Nj to be compared Is the mth similarity ( ) Multiplied by the normalized m-th order cumulative similarity and the m-th order similarity for each node to be compared and then summed ( You can also divide by).
  • the first cumulative similarity may be used as the first similarity.
  • the first cumulative similarity may be defined as a value calculated through a normalizing process of the first similarity.
  • FIG. 31 is a conceptual diagram illustrating an embodiment in which the cumulative similarity for each node to be compared changes as the degree increases.
  • FIG. 31 shows a histogram showing the degree of similarity in degrees for each comparison target node N1, N2, N3, ..., Nx.
  • first to pth cumulative similarities for each node to be compared may be sequentially calculated.
  • the p value may be determined based on whether or not a predetermined condition of the cumulative similarity for each comparison target node is satisfied (S387). That is, the final order p for obtaining the cumulative similarity for each comparison target node by applying the predetermined cumulative rule is It may be determined depending on whether a predetermined condition is satisfied.
  • the recognition process (S300) includes a process (S387) of determining whether the predetermined condition is satisfied after the m-th cumulative similarity calculation process (S385).
  • the predetermined condition is satisfied based on the m-th cumulative similarity for each node to be compared
  • the node in which the mobile robot 100 is estimated to be located is selected (S370).
  • the predetermined condition is not satisfied, the m + 1st cumulative similarity level for each node to be compared is calculated, and then, the predetermined condition is again determined.
  • a node estimated as the position of the mobile robot 100 is selected when the predetermined condition is satisfied based on the latest cumulative similarity for each comparison target node, and further obtained when the predetermined condition is not satisfied.
  • the similarity calculation process S381 and the cumulative similarity calculation process S385 are further performed based on the received image. If the predetermined condition is not satisfied, the recognition image acquisition process S310 and the recognition descriptor generation process S320 may be performed again, and the process of generating the recognition descriptors from the previously acquired recognition image may be performed again. It may be. Thereafter, the cumulative similarity generation process (S385) may be further performed.
  • the predetermined condition may include a confidence condition in which a cumulative similarity of a region exceeds a predetermined confidence value k1 (where k1 is a constant). Only the cumulative similarity of the target node exceeds the confidence value k1, and the cumulative similarities of the remaining comparison nodes may be regarded as conditions that do not exceed the confidence value k1, respectively.
  • the cumulative similarity of any one region among the first to p-1 th cumulative similarity histograms of the comparison nodes does not exceed the confidence value k1, and the p-th cumulative similarity histogram of the comparison nodes. It can be seen that only the p-th cumulative similarity of node Nc has exceeded the confidence value k1, and in this case, node Nc can be selected as a node corresponding to the current position without further calculation of cumulative similarity.
  • the predetermined condition may include a dropping condition in which cumulative similarities of remaining nodes other than the node corresponding to the cumulative similarity exceeding the confidence value k1 are less than a predetermined dropout value k2.
  • the dropping condition When the dropping condition is set to a condition that is simultaneously achieved with the confidence condition, the predetermined condition may be set which is more difficult to achieve but can increase the reliability.
  • the dropout value k2 is set smaller than the confidence value k1.
  • in the cumulative similarity histograms for each of the first to p-th comparison target nodes at least one of the confidence condition and the dropping condition is not satisfied, and the zone in the p-th cumulative similarity histogram for each comparison node is satisfied.
  • the node Nc may be selected as a node corresponding to the current position without any further cumulative similarity calculation.
  • the predetermined condition may include a distance condition in which the mobile robot 100 moves more than a predetermined distance k3.
  • the mobile robot 100 may move to obtain first to mth recognition images, and the moving distance from the position where the first recognition image is obtained to the position where the mth recognition image is obtained is When the distance k3 or more, the predetermined condition is considered to be satisfied, and the node to be compared with the node having the highest estimated m-th cumulative similarity is calculated based on the m-th cumulative similarity for each node to be compared. You can choose.
  • the distance condition may be set to the confidence condition and the dropping condition and a condition parallel to the 'OR' condition.
  • the predetermined condition may be regarded as satisfied. If the moving distance is too long, the mobile robot 100 may leave the current area, the reliability of the estimation may be rather deteriorated, and to prevent too many operations for the current position estimation.
  • the predetermined condition may include a number of times condition in which the m value exceeds a predetermined number k4 in a state where the cumulative similarity level for each mth comparison target node is calculated. That is, if the upper limit value of the m value is set and the m value exceeds the predetermined number of times k4, the predetermined condition is considered to be satisfied, and the highest mth cumulative similarity is based on the mth cumulative similarity for each node to be compared.
  • the calculated comparison target node may be determined as a node estimated as the current position.
  • the number condition may be set to the confidence condition and the dropping condition and a condition parallel to the 'OR' condition.
  • the predetermined condition may be regarded as satisfied. If the calculation order of the cumulative similarity is too large, it is to prevent the mobile robot 100 from taking too much time for the current position estimation.
  • the predetermined condition may be set to i) the confidence condition or ii the distance condition or iii the number condition. In another embodiment, the predetermined condition may be set to i condition of confidence and dropping condition or ii distance condition or number of times condition to be satisfied.
  • the controller 140 controls to acquire an image for each point while driving (S110).
  • the controller 140 generates descriptors corresponding to a plurality of feature points extracted from the image.
  • the controller 140 generates each node corresponding to each image acquired at each point.
  • the controller 140 divides the plurality of nodes into regions according to a predetermined criterion.
  • the control unit 140 classifies a plurality of descriptors in a region into a plurality of groups for each region, and generates a region label descriptor that represents descriptors classified into the same group.
  • the control unit In operation 140, the local label descriptors generated in the plurality of regions are classified into a plurality of groups and a global label descriptor representing the local label descriptors classified into the same group is generated (S160).
  • the controller 140 controls to acquire a recognition image when a position jumping situation occurs (S50).
  • the controller 140 controls a plurality of recognition feature points extracted from the recognition image. Each recognition descriptor corresponding to the generated identifier is generated (S220).
  • the controller 140 matches the global label descriptors to the recognition descriptors (S231).
  • the controller 140 matches the matched global label descriptor.
  • the control unit 140 is preset to select a node estimated from the one or more comparison nodes as the current position. (S266, S270)
  • the controller 140 may be preset to generate the region label descriptor of the region, which is divided when the at least one region is divided, while driving.
  • the region label descriptor may be generated before the entire driving zone is driven (S150).
  • the region label descriptor of the divided regions may be generated (S150).
  • the time point of generating the global label descriptor may vary. Referring to FIGS. 32 and 23, the controller 140 generates all nodes in the global. If the position jumping situation does not occur until the time period is generated, it is preset to start generation of the global label descriptor after generating all nodes in the global zone. (S161) The position jumping situation does not occur during the learning process (S100 ''). If not, after the initial learning steps (S110, S120, S130) are all finished, the generation of the global label descriptor is started. (S161) If the position jumping situation does not occur during the learning process (S100 ''), the mobile robot ( After driving 100 the entire driving zone, the global label descriptor is generated (S161).
  • a local label descriptor is generated while driving (S150), and after generating all nodes in the global region, the global label descriptor is based on the local label descriptor.
  • S160 To generate (S160).
  • the controller 140 presets generation of the global label descriptor after the location jumping situation occurs.
  • the controller 140 may generate a global label descriptor based on a plurality of nodes generated up to the point where the position jumping situation occurs.
  • S162 Learning process (S100 ''). If a position jumping condition occurs, the initial learning steps (S110, S120, S130) can be immediately terminated, and generation of the global label descriptor can be started.
  • S161 A position jumping situation occurs during the learning process (S100 ''). If so, a global label descriptor is generated (S161), and location recognition is attempted using the generated global label descriptor (S201).
  • a second learning process S100 ′′ for generating a new map is performed. You can start afresh. In this case, when a situation occurs in which a region overlapping with the incomplete map of the first learning process S100 ′′, which was previously performed in the second learning process S100 ′′, is moved, an incompleteness of the first learning process S100 ′′ may be occurred. The location in the map may be recognized, and the first learning process S100 ′′ may be continuously performed again.
  • a global label descriptor is generated.
  • the control unit 140 Upon occurrence, it is preset to select a node estimated to be a current position based on the acquired recognition image and the global label descriptor. Details of the control based on the acquired recognition image and the global label descriptor are as described above.
  • control unit 140 may include the at least one node when the location jumping situation occurs in a state in which at least one node Nx that is not divided into regions is generated.
  • Nx is divided into regions Ax to generate the region label descriptors based on a plurality of descriptors in the region Ax.
  • S172 The control unit 140 then starts generating the global label descriptors. It is preset to be made.
  • nodes of some regions of the driving zone are generated. If the generated nodes are divided into regions A1 according to the predetermined region classification criteria, the region label descriptor of region A1 is performed during the initial learning steps S110, S120, and S130. Is generated (S150). Afterwards, when additional nodes are generated but the additional area A2 is not yet distinguished, when a location jumping situation occurs (S50), the nodes that are not classified as areas are divided into areas A2 and are located in the area A2. The local label descriptor is generated (S172). Then, the global label descriptor is generated based on the regional label descriptors of the generated regions A1 and A2. (S162) The controller 140 is generated using the generated global label descriptor. ) Attempts to recognize the location (S201).
  • the control method includes a step S101 of starting a learning process S100 ′′.
  • the control method includes a step S51 of determining whether a position jumping situation has occurred in the learning process S100 ′′. If it is determined in step S51 that the position jumping situation does not occur during the learning process S100 ′′, the process of generating the global label descriptor after the mobile robot 100 travels the entire driving zone is performed (S161). do.
  • step S171 determines whether there is at least one node that is not divided into regions of the node (s) created before the position jumping situation occurs.
  • step S171 determines whether there is at least one node that is not divided into regions exists.
  • the node or nodes not divided into regions are grouped into regions, and a region label descriptor of the divided regions is generated.
  • S172 is progressed. After the process S172 is performed, a process of generating a global label descriptor based on the local label descriptors generated based on the current time is performed (S162).
  • the process (S162) proceeds immediately without going through the process (S172).
  • a process of attempting location recognition is performed based on the generated global label descriptor and the recognition descriptor in the recognized image (S201).
  • the learning process S100 ′′ may continue. As described above, in the case where the position recognition on the map is successful in the step S201, the map that was being learned can be continuously learned.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 이동 로봇의 제어방법은, 각 지점 별로 영상을 획득하고, 상기 영상에서 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성하고, 상기 각 지점에서 획득된 각 영상에 대응하는 각각의 노드를 생성하는 학습초기단계; 복수의 상기 디스크립터를 근거로 라벨 디스크립터를 생성하는 라벨생성단계; 위치 점핑 상황 발생시 인식 영상을 획득하고, 상기 인식 영상에서 추출된 복수의 인식 특징점에 대응하는 각각의 인식 디스크립터를 생성하는 인식초기단계; 상기 인식 디스크립터 들에 각각 라벨 디스크립터를 매칭시키고, 상기 매칭된 라벨 디스크립터에 대응하는 하나 이상의 비교대상 노드를 선택하는 비교대상선택단계; 및 상기 하나 이상의 비교대상 노드 중에 상기 현재 위치로 추정되는 노드를 선택하는 최종노드선택단계를 포함한다.

Description

이동 로봇 및 이동 로봇의 제어방법
본 발명은, 이동 로봇 및 이동 로봇의 제어방법에 관한 것으로, 보다 자세하게는 이동 로봇이 맵(map)을 학습하거나 맵 상에서 위치를 인식하는 기술에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기이다.
이동 로봇이 원하는 목적지로 정확하게 이동하기 위해서, 충전대 등의 목적지에서 송출된 적외선(IR: InfraRed)신호 등을 감지하는 방법이 있으나, 이는 적외선 신호 등을 송출하는 제한된 목적지로의 이동을 가능하게 할 뿐 어느 목적지로나 이동은 불가하며, 거리 또는 장애물 등의 이유로 송출된 적외선을 이동 로봇이 감지하지 못 할 경우 목적지를 찾아 배회할 수 있는 문제가 있다.
따라서, 주행 구역 내의 어느 위치로나 이동 하기 위해서는, 맵 상에서 이동 로봇의 현재 위치를 파악할 수 있어야 한다.
이를 위해, 종래에, 이동 로봇의 연속적인 이동 중 자신의 직전 위치에서의 주행 정보(이동 방향 및 이동 속도에 대한 정보 또는 연속적으로 촬영되는 바닥사진 등의 비교 등)를 바탕으로 현재 위치를 지속적으로 파악하는 다양한 방법이 알려져 있다. 또한, 이동 로봇이 스스로 맵(Map)을 학습하는 다양한 방법이 알려져 있다.
그런데, 외부적인 요인에 의해 주행 중인 이동 로봇의 위치가 강제로 변경된 경우, 이동 로봇은 직전 위치에서의 주행 정보를 근거로 미지의 현재 위치를 인식할 수 없게 된다. 일 예로, 사용자가 주행 중인 이동 로봇을 들어서 옮긴 납치(Kidnapping) 상황이 발생한 경우가 그러하다.
상기 납치 상황을 비롯한 '위치 점핑(Jumping) 상황'에서도 이동 로봇이 맵 상에서 현재 위치를 인식(localization)하기 위하여, 특정 지점에서 송출되는 상기 적외선 신호를 이용할 수 있으나 상기한 문제점이 있다. 또한, 위치 점핑 상황에서 현재 위치를 인식하기 위하여 레이져 센서나 초음파 센서를 이용하는 방법이 있으나, 비용이 크게 증가하고 주변 환경에 대해 보다 구체적인 정보를 얻을 수 없다는 한계가 있다.
이에 따라, 종래 기술(한국공개특허공보 10-2010-0104581)은 현재 위치에서 카메라를 통해 촬영된 영상을 이용하여 미지의 현재 위치를 인식하는 기술을 개시한다.
상기 종래 기술에서는, 주행구역 내에서 촬영된 영상으로부터 추출된 특징점 들로부터 3차원 지도를 생성하고, 미지의 현재 위치에서 촬영된 영상 내의 특징점들 중 3차원 지도 내의 특징점들과 매칭되는 3 쌍 이상의 특징점 쌍을 검출한다. 그 후, 현재 위치에서 촬영된 영상내의 매칭된 3개 이상의 특징점의 2차원 좌표, 3차원 지도 상의 매칭된 3개 이상의 특징점의 3차원 좌표, 및 현재 위치에서 카메라의 초점거리 정보를 이용하여, 상기 매칭된 3개 이상의 특징점으로부터 거리를 산출하고, 이로 부터 현재 위치를 인식하는 기술이, 상기 종래기술에 개시되어 있다.
또한, 상기 종래 기술에는, 현재 위치에서 촬영된 영상에서 3차원 지도상의 특징점과 매칭되는 3개 이상의 특징점이 검출되지 않는 경우, 현재 위치에서 카메라를 수평방향으로 회전시키며 다시 영상을 획득하는 기술이 개시되어 있다.
[선행기술문헌]
[특허문헌]
한국공개특허공보 공개번호 10-2010-0104581 (공개일자 2010. 9. 29.)
제 1과제는 효율적이고 정확한 전역 내 위치 인식 기술을 제시하는 것이다.
상기 종래기술은, 미지의 현재 위치에서 획득한 3개 이상의 특징점을 기 저장된 3차원 지도 상의 3개 이상의 특징점과 매칭시키는 과정에 상당한 시간이 소요될 수 있는데, 특히 전역이 넓어 3차원 지도 상의 특징점 정보가 많은 경우 특징점 쌍을 매칭하기 위해 과도한 시간이 소요되는 문제가 있다. 제 2과제는 이러한 문제를 해결하여, 현재 영상에서 획득한 특징점을 맵 상의 데이터와 비교하는 데 소요되는 시간을 최소화하는 것이다.
상기 종래 기술에서는, 미지의 현재 위치에서 획득한 특징점을 3차원 지도 상의 특징점 클러스터(밀집되어 군을 이루는 특징점 들) 내의 특징점과 매칭시키는데, 이 경우 획득한 특징점이 실제로는 상기 특징점 클러스터 외에 존재하는 특징점과 매칭되어야 함에도 불구하고 이를 간과할 수 있음으로써, 위치 추정의 정확도가 떨어지는 문제가 있다. 제 3과제는 이러한 문제를 해결하여, 맵 상의 모든 특징점 데이터(디스크립터)들을 이용하면서도 시간 소요를 최소화하는 기술을 제시하는 것이다.
상기 종래 기술에서는, 현재 영상에서 획득된 3개이상의 특징점과 카메라 사이의 거리가 각각 산출되어야 하고, 상기 특징점과의 거리는 카메라의 초점거리 및 상기 현재 영상 내 특징점의 2차원 좌표값을 근거로 해서 산출된다. 그런데, 주변 밝기 등의 이유로 카메라 초점 거리 정보가 부정확해질 수 있으며, 영상 내의 3개 이상의 특징점이 카메라의 촬영방향에 수직한 평면 상에 배치되지 않고 경사나 돌출면 등의 이유로 비스듬한 평면 등에 배치된 경우에는 상기 2차원 좌표값에 의해 산출되는 특징점과 카메라 사이의 거리가 실제와 큰 차이가 날 수 있어, 결과적으로 위치 추정의 정확도가 떨어지는 문제가 있다. 제 4과제는 이러한 문제를 해결하여, 카메라의 초점거리 정보 및 영상 내의 특징점의 2차원 좌표값 없이도 현재 위치를 인식할 수 있는 기술을 제시하는 것이다.
종래 기술에서는, 지도를 3차원으로 생성해야 되므로 지도를 저장하는데 있어 용량이 큰 저장소가 필요하다는 문제가 있다. 제 5과제는 이러한 문제를 해결하여, 2차원의 맵으로도 현재 위치를 인식할 수 있는 기술을 제시하는 것이다.
특징점에 대응하여 생성된 디스크립터(descriptor) 들 중에서는, 서로 유사한 디스크립터가 상대적으로 많은 희소성이 약한 것들과 유사한 것이 상대적으로 적은 희소성 강한 것들이 있다. 그런데, 상기 종래기술에서는 이러한 디스크립터 들간의 희소성을 고려하지 않아, 위치 추정의 정확도가 낮아지는 문제가 있다. 제 6과제는 이러한 문제를 해결하여, 특징점들의 희소성 정도를 고려하여 위치를 인식하는 기술을 제시하는 것이다.
제 7과제는 상기 제 1 내지 6과제를 달성하기 위하여 주행구역을 복수의 구역으로 나누어, 나누어진 지역에 대한 지역 라벨 디스크립터를 먼저 생성시킬 수 있어, 학습과정의 효율성을 더욱 상승시키는 것이다. 나아가, 복수의 지역 중 현재 위치가 속한 어느 한 지역을 먼저 결정하는 기술에 있어서, 현재 위치가 속한 지역을 추정하는 정확도를 더욱 상승시키는 것이다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 제 1 내지 7과제를 달성하기 위하여, 본 발명은, 주행구역 내의 특징점들을 근거로 디스크립터를 생성하고, 디스크립터 들을 근거로 라벨 디스크립터를 생성하여, 많은 학습 데이터가 저장된 상태에서도 효율적이고 빠르게 현재 위치를 인식할 수 있는 기술을 제공한다.
또한, 상기 제 1 내지 7과제를 달성하기 위하여, 맵 상의 노드 들 중 비교대상 노드 들을 선택하고 비교대상 노드 들과 비교 과정을 거쳐 최종 노드를 선택하는 기술을 제공한다.
상기 제 1 내지 6과제를 달성하기 위하여, 본 발명에 따른 이동 로봇의 제어방법은, 각 지점 별로 영상을 획득하고, 상기 영상에서 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성하고, 상기 각 지점에서 획득된 각 영상에 대응하는 각각의 노드를 생성하는 학습초기단계를 포함한다. 상기 제어방법은, 복수의 상기 디스크립터를 근거로 라벨 디스크립터를 생성하는 라벨생성단계를 포함한다. 상기 제어방법은, 위치 점핑 상황 발생시 인식 영상을 획득하고, 상기 인식 영상에서 추출된 복수의 인식 특징점에 대응하는 각각의 인식 디스크립터를 생성하는 인식초기단계를 포함한다. 상기 제어방법은, 상기 인식 디스크립터 들에 상기 라벨 디스크립터를 매칭시키고, 상기 매칭된 라벨 디스크립터에 대응하는 하나 이상의 비교대상 노드를 선택하는 비교대상선택단계를 포함한다. 상기 제어방법은, 상기 하나 이상의 비교대상 노드 중에 상기 현재 위치로 추정되는 노드를 선택하는 최종노드선택단계를 포함한다.
상기 라벨생성단계는, 상기 학습초기단계를 수행하는 동안 소정 기준이 만족되면 수행될 수 있다.
비교대상인지 여부를 효율적이고 공정하게 판단할 수 있는 제어방법을 제공하기 위하여, 소정 분류규칙, 소정 라벨규칙 및 매칭 과정에 대한 기술을 제공한다.
상기 제 7과제를 달성하기 위하여, 상기 제어방법은, 상기 라벨생성단계 이전에, 소정 기준에 따라 상기 복수의 노드를 지역으로 구분하는 지역구분단계를 포함할 수 있다. 또한, 상기 라벨생성단계는, 상기 각 지역별로, 지역 내 복수의 디스크립터를 복수의 그룹으로 분류하고, 같은 그룹으로 분류된 디스크립터 들을 대표하는 지역 라벨 디스크립터를 생성하는 제 1라벨생성단계를 포함할 수 있다. 상기 라벨생성단계는, 상기 복수의 지역에서 각각 생성된 지역 라벨 디스크립터 들을 복수의 그룹으로 분류하고, 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 대표하는 대지역 라벨 디스크립터 또는 전역 라벨 디스크립터를 생성하는 제 2라벨생성단계를 포함할 수 있다.
상기 학습초기단계를 수행하는 동안, 상기 지역구분단계에서 적어도 하나의 지역이 구분되면 구분된 지역의 상기 지역 라벨 디스크립터를 생성하는 상기 제 1라벨생성단계가 수행될 수 있다.
소정 기준에 따라 상기 복수의 노드를 지역으로 구분하는 지역구분단계를 포함할 수 있다. 상기 라벨생성단계는, 상기 각 지역별로, 제 1소정 분류규칙에 따라 지역 내 복수의 디스크립터를 복수의 그룹으로 분류하고, 제 1소정 라벨규칙에 따라 같은 그룹으로 분류된 디스크립터 들을 근거로 지역 라벨 디스크립터를 생성하는 지역라벨생성단계; 및 제 2소정 분류규칙에 따라 전역 내 복수의 지역 라벨 디스크립터 들을 복수의 그룹으로 분류하고, 제 2소정 라벨규칙에 따라 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 근거로 전역 라벨 디스크립터를 생성하는 전역라벨생성단계;를 포함할 수 있다.
또한, 인식 과정의 신뢰성을 더욱 높이기 위하여, 많은 인식 영상을 근거로 현재 위치로 추정되는 노드를 선택하는 기술을 제공한다. 이를 위하여, 상기 인식초기단계에서, 상기 이동 로봇이 지점 또는 촬영 각도를 변경하면서 제 1 내지 p차 인식 영상을 획득하고, 상기 제 1 내지 p차 인식 영상을 근거로 각각 제 1 내지 p차 인식 디스크립터 들을 생성할 수 있다. 또한, 상기 최종노드선택단계에서, 비교대상 노드 별 제 p차 누적 유사도를 산출하여, 상기 현재 위치로 추정되는 노드를 선택할 수 있다.
상기 제어방법을 실행시키기 위한 프로그램이 구현될 수 있고, 상기 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 구현될 수 있다.
또한, 각종 규칙들 이나 연산을 실행하기 위한 프로그램이 구현될 수 있고, 상기 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 구현될 수 있다.
상기 과제들을 해결하기 위하여, 본 발명의 해결 수단에 따른 이동 로봇은, 본체를 이동시키는 주행부; 상기 본체 주변의 영상을 획득하는 영상획득부; 주행을 하면서 각 지점 별로 영상을 획득하게 제어하고, 상기 영상에서 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성하고, 상기 각 지점에서 획득된 각 영상에 대응하는 각각의 노드를 생성하고, 소정 기준에 따라 상기 복수의 노드를 지역으로 구분하도록 기설정되고, 상기 각 지역별로 지역 내 복수의 디스크립터를 복수의 그룹으로 분류하고 같은 그룹으로 분류된 디스크립터 들을 대표하는 지역 라벨 디스크립터를 생성하도록 기설정되고, 상기 복수의 지역에서 각각 생성된 지역 라벨 디스크립터 들을 복수의 그룹으로 분류하고 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 대표하는 전역 라벨 디스크립터를 생성하도록 기설정되는 제어부;를 포함한다.
상기 제어부는, i 상기 전역 내 모든 노드를 생성할 때까지 위치 점핑 상황이 발생하지 않으면, 상기 전역내 모든 노드를 생성한 후 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정되고, ii 상기 전역 내 모든 노드를 생성하기 전에 위치 점핑 상황이 발생하면, 상기 위치 점핑 상황이 발생한 시점까지 생성된 복수의 노드를 근거로 하여 위치 점핑 상황 발생 후 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정될 수 있다. 상기 제어부는, iii 위치 점핑 상황 발생시, 획득된 인식 영상과 상기 전역 라벨 디스크립터를 근거로 하여 현재 위치로 추정되는 노드를 선택하도록 기설정될 수 있다.
상기 해결수단들을 통하여, 이동 로봇의 위치 점핑 상황에서도 맵 상에서 현재 위치를 인식할 수 있는 효과가 있다. 구체적으로, 상기 납치 상황 발생시에도 이를 극복하여, 전역 내 납치 회복(Global Kidnapping Recovery)이 가능하다.
또한, 위치 점핑 상황이 아닌 주행 과정에서 이동 로봇이 기 저장된 맵 상의 위치에 있는 경우, 새로 획득한 영상 정보를 이용하여 기 저장된 영상 정보와 비교하여 맵을 보다 정확하게 갱신할 수 있는 효과가 있다.
또한, 원하는 목적지에 송신 신호가 없더라도 맵을 이용하여 정확히 해당 목적지로 이동 로봇을 이동하게 할 수 있는 효과가 있다.
또한, 전역 내 다수의 노드 들 중 소수의 비교대상 노드 들을 먼저 선택하고, 상기 비교대상 노드 들 중에서 현재 위치를 추정함으로써, 현재 위치의 영상 정보를 기 저장된 특징점 데이터와 비교하는 시간을 현저히 줄어들게 할 수 있다. 이와 동시에, 맵 상의 모든 특징점 데이터를 누락 없이 이용함으로써 정확한 위치 추정이 가능하다는 효과가 있다.
또한, 디스크립터 들을 분류 및 라벨링하여 라벨 디스크립터를 생성시킴으로써, 저장될 데이터 양을 소정 수준 이하로 줄이고, 위치 인식을 위한 비교 과정에 소요되는 시간을 줄이는 효과가 있다.
또한, 전역을 복수의 지역으로 구분하여 지역 내의 특징점 데이터(디스크립터)를 근거로 지역 라벨 디스크립터를 생성함으로써, 디스크립터 들의 분류 과정 및 라벨링 과정에 소요되는 시간을 현저히 줄이는 효과가 있다.
또한, 어느 한 특정 지역 내의 디스크립터가 모두 획득되면 주행 중에도 상기 특정 지역의 지역 라벨 디스크립터를 생성할 수 있어, 디스크립터 들의 분류 과정 및 라벨링 과정을 포함한 맵 학습의 종료 시점을 앞당길 수 있는 효과가 있다.
또한, 학습(맵핑) 과정 중 전역을 모두 학습하기 전에 위치 점핑 상황이 발생하라도 상기 특정 지역의 지역 라벨 디스크립터가 생성된 이후라면, 위치 인식 과정에서 생성된 지역 라벨 디스크립터를 이용할 수 있는 효과가 있다.
한편, 상기 지역 라벨 디스크립터를 생성하여 이를 기반으로 미지의 현재 위치를 추정할 경우, 서로 다른 지역에 속하는 2개의 비교대상 노드(Nx, Ny)에 대한 유사도를 판단함에 있어서, 불공평(unfair)해지는 문제가 있다. 예를 들어, 2개의 디스크립터(a, b)가 특정 거리만큼 떨어진 경우에도, 어느 지역(Ax)에서는 같이 분류되어 하나의 지역 라벨 디스크립터를 생성시키고 다른 지역(Ay)에서는 달리 분류되어 서로 다른 지역 라벨 디스크립터가 될 수 있다. 이러한 상황에서, 현재 위치에서 획득한 영상으로 부터 상기 디스크립터(a)에 보다 가깝고 상기 디스크립터(b)에 보다 덜 가까운 디스크립터(c)를 획득한 경우, 상기 지역(Ax) 내의 비교대상 노드(Nx)에 대해서는 상기 디스크립터(c)와 유사한 디스크립터(a,b)가 보다 많은 것으로 판단하게 될 수 있고, 상기 지역(Ay) 내의 비교대상 노드(Ny)에 대해서는 상기 디스크립터(c)와 유사한 디스크립터(a)가 보다 적은 것으로 판단하게 될 수 있어, 불공평한 문제가 있다. 복수의 지역 별로 생성된 지역 라벨 디스크립터 들을 분류 및 라벨링하여 전역 라벨 디스크립터를 생성함으로써, 상기 지역 라벨 디스크립터를 이용함으로써 얻을 수 있는 효과를 얻으면서도 상기 불공평 문제를 해결할 수 있다. 나아가, 학습(맵핑) 과정 중 전역을 모두 학습하기 전에 위치 점핑 상황이 발생하라도, 위치 점핑 발생 시점까지 생성된 노드를 근거로 하여 전역 라벨 디스크립터를 생성하게 함으로써, 여전히 상기 불공평 문제를 해결할 수 있다.
또한, 천장 영상 만으로도 본 기술을 구현할 수 있어 장치 구현이 비교적 단순해지는 효과가 있다.
또한, 카메라의 초점거리 정보 및 영상 내의 특징점 2차원 좌표 없이도 현재위치를 인식할 수 있어, 간편하게 기술을 구현할 수 있으면서도, 현재 위치 추정의 정확성을 상승시키는 효과가 있다.
또한, 2차원 맵으로도 본 기술을 구현할 수 있어 메모리의 효율적인 사용이 가능하다는 효과가 있다.
또한, 특징점들의 희소성을 고려함으로써, 위치 추정에 있어 특징점마다 가중치를 달리하게 되는 효과가 발현되어, 더욱 정확한 위치 추정이 가능하다.
또한, 위치 점핑 상황에서 복수의 획득 영상을 이용함으로써, 위치 인식의 오류 가능성을 줄이고 소정 신뢰수준 이상의 위치 추정이 가능하다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 및 이동 로봇을 충전시키는 충전대를 도시한 사시도이다.
도 2는 도 1에 도시된 이동 로봇의 상면부를 도시한 것이다.
도 3은 도 1에 도시된 이동 로봇의 정면부를 도시한 것이다.
도 4는 도 1에 도시된 이동 로봇의 저면부를 도시한 것이다.
도 5는 도 1의 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 6은 도 1의 이동 로봇이 맵 상 위치 인식(S200, S200', S200'')을 수행하게 되는 일 상황의 시나리오를 도시한 순서도이다.
도 7은 도 1의 이동 로봇이 맵 상 위치 인식(S200, S200', S200'')을 수행하게 되는 다른 상황의 시나리오를 도시한 순서도이다.
도 8 및 9는, 도 1의 이동 로봇의 제 1실시예에 따른 학습 과정(S100) 및 위치 인식 과정(S200)을 도시한 순서도이다. 도 8은 학습 과정(S100)을 도시하고, 도 9는 학습 과정(S100)에 따라 학습된 맵 상에서 위치 인식 과정(S200)을 도시한다.
도 10 및 11은, 도 1의 이동 로봇의 제 2실시예에 따른 학습 과정(S100') 및 위치 인식 과정(S200')을 도시한 순서도이다. 도 10은 학습 과정(S100')을 도시하고, 도 11은 학습 과정(S100')에 따라 학습된 맵 상에서 위치 인식 과정(S200')을 도시한다.
도 12 및 13는, 도 1의 이동 로봇의 제 3실시예에 따른 학습 과정(S100'') 및 위치 인식 과정(S200'')을 도시한 순서도이다. 도 12는 학습 과정(S100'')을 도시하고, 도 13은 학습 과정(S100'')에 따라 학습된 맵 상에서 위치 인식 과정(S200'')을 도시한다.
도 14는, 도 8, 10 및 12의 주행 및 영상 획득 과정(S110)과 디스크립터 생성 과정(S120)을 예시적으로 도시한 개념도이다. 도 14에는, 상기 과정(S110)에서 획득한 영상과 영상 내의 복수의 특징점(f1,f2,f3,f4,f5,f6,f7)이 도시되고, 상기 과정(S120)에서 복수의 특징점(f1,f2,f3,..,fm)에 각각 대응하는 n차원 벡터인 디스크립터(
Figure PCTKR2017011699-appb-I000001
)를 생성시키는 도식이 도시된다.
도 15는, 도 8, 10 및 12의 노드 생성 과정(S130)을 구체적으로 도시한 순서도 이다.
도 16은, 도 15에 따라 생성된 노드(N)의 구성 정보들 및 노드(N)의 정보에 영향을 주는 정보를 나타낸 블록도이다.
도 17는, 도 15에 따라 이동 로봇이 이동하면서 생성하는 복수의 노드(N) 및 노드 들 간의 변위(C)를 도시한 개념도이다.
도 18은, 도 8, 10 및 12의 지역 구분 과정(S140)의 일 실시예에 따라 구분된 복수의 지역(A1,A2,A3,A4)을 도시한 개념도이다.
도 19는, 도 8, 10 및 12의 지역 구분 과정(S140')의 다른 실시예에 따라 구분된 복수의 지역(A1',A2',A3',A4',A5')을 도시한 개념도이다.
도 20은, 도 8, 10 및 12의 지역 구분 과정(S140, S140')에 따라 구분된 복수의 지역(A1,A2)을 예시적으로 도시하고, 도시한 각각의 지역(A1,A2) 내의 복수의 노드(N1,N2,N3,N4,…,N31,N32,N33,N34,…)에 각각 대응하는 획득 영상을 보여주는 개념도이다. 도 20에는, 맵 상에서 전역(X), 전역에 포함된 복수의 지역(A1,A2,A3,A4,A5) 및 각 지역에 포함된 복수의 노드(N1,N2,N3,…)의 관계를 나타낸다.
도 21은 도 8, 10 및 12의 지역 라벨 디스크립터 생성 과정(S150)을 구체적으로 나타낸 개념도이다. 도 21은, 제 1소정 분류규칙에 따라 어느 하나의 지역(A1)에 속하는 노드 들(N1,N2,…,N30)에 대응하는 영상 들로부터 생성된 생성된 복수의 디스크립터(
Figure PCTKR2017011699-appb-I000002
)를 복수의 그룹(A1G1, A1G2, A1G3,..,A1Gl)으로 분류하는 도식을 나타낸다. 도 21은, 제 1소정 라벨규칙에 따라 같은 그룹으로 분류된 디스크립터 들로부터 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000003
)를 생성하는 도식을 나타낸다.
도 22은 도 12의 전역 라벨 디스크립터 생성 과정(S160)을 구체적으로 나타낸 개념도이다. 도 22는, 제 2소정 분류규칙에 따라 상기 복수의 지역(A1,A2,A3,A4,A5)에서 각각 복수로 생성된 지역 라벨 디스크립터 들(
Figure PCTKR2017011699-appb-I000004
)을 복수의 그룹(XG1, XG2, XG3,..,XGk)으로 분류하는 도식들 나타낸다. 도 22는, 제 2소정 라벨규칙에 따라 같은 그룹으로 분류된 지역 라벨 디스크립터 들로부터 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000005
)를 생성하는 도식을 나타낸다.
도 23은, 도 21의 제 1소정 분류규칙의 일 실시예 및 도 22의 제 2소정 분류규칙의 일 실시예를 나타낸 개념도이다.
도 24는, 도 21의 제 1소정 라벨규칙의 일 실시예 및 도 22의 제 2소정 라벨규칙의 일 실시예를 나타낸 개념도이다.
도 25는, 도 9, 11 및 13의 인식 영상의 획득 과정(S210)과 인식 디스크립터의 생성 과정(S220)을 예시적으로 도시한 개념도이다. 도 25에는, 상기 과정(S210)에서 획득한 영상과 영상 내의 복수의 인식 특징점(h1,h2,h3,h4,h5,h6,h7)이 도시되고, 상기 과정(S220)에서 복수의 인식 특징점(h1,h2,h3,h4,h5,h6,h7)에 각각 대응하는 n차원 벡터인 인식 디스크립터 들(
Figure PCTKR2017011699-appb-I000006
)을 생성시키는 도식이 도시된다.
도 26은, 도 13의 매칭 과정(S231)을 예시적으로 도시한 개념도이다. 도 26에는, 상기 인식 디스크립터 들(
Figure PCTKR2017011699-appb-I000007
)에 각각 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000008
)를 매칭시키는 도식이 도시되고, 복수의 전역 라벨 디스크립터 중 매칭된 전역 라벨 디스크립터 들(
Figure PCTKR2017011699-appb-I000009
)이 속한 그룹(XG1, XG2, XG5, XG32)이 표시된다.
도 27은, 도 13의 비교대상 노드의 선택 과정(S236)을 예시적으로 도시한 개념도이다. 도 27에는, 매칭된 전역 라벨 디스크립터 들(
Figure PCTKR2017011699-appb-I000010
)의 생성 근거가 된 영상 들에 각각 대응하는 비교대상 노드(N1,N14,N15,N38,N45,N62,N63,N64)를 선택하는 도식이 도시되고, 복수의 노드 중 선택된 비교대상 노드(N1,N14,N15,N38,N45,N62,N63,N64)가 표시된다.
도 28은, 도 13의 비교 과정(S266)을 예시적으로 도시한 개념도이다. 도 28에는, 인식 영상 특징 분포 및 각 비교대상 노드에 대응하는 영상 특징 분포를 표현한 히스토그램이 도시된다. 도 28의 인식 영상 특징 분포의 히스토그램은, 인식 영상 내 복수의 인식 디스크립터를 각 인식 디스크립터에 대응하는 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000011
)로 치환하여 표현한 것이다. 도 28의 각 비교대상 노드에 대응하는 영상 특징 분포의 히스토그램은, 영상 내 디스크립터를 각 디스크립터에 대응하는 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000012
)로 치환하여 표현한 것이다.
도 29는, 도 1의 이동 로봇의 제 4실시예에 따른 위치 인식 과정(S300)을 도시한 순서도이다.
도 30은, 도 29의 제 m차 영상의 획득 과정(S310)과 제 m차 인식 디스크립터의 생성 과정(S320)을 예시적으로 도시한 개념도이다. 도 30에는, 상기 과정(S310)에서 tm시점에 획득한 제 m차 영상과 제 m차 영상 내의 복수의 제 m차 인식 특징점(h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, h7tm)이 도시되고, 상기 과정(S320)에서 복수의 제 m차 인식 특징점(h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, h7tm)에 각각 대응하는 n차원 벡터인 제 m차 인식 디스크립터 들(
Figure PCTKR2017011699-appb-I000013
)을 생성시키는 도식이 도시된다.
도 31은, 도 29의 제 m차 누적 유사도 산출 과정(S385)을 예시적으로 도시한 개념도이다. 도 31은, 각 비교대상 노드(Na,Nb,Nc,…,Nx) 별로 누적 유사도(SI)의 크기를 도수로 나타낸 히스토그램을 이용하여, 비교대상 노드(Na,Nb,Nc,…,Nx) 별 누적 유사도(SI)가 차수가 증가함에 따라 변화하는 일 실시예를 보여준다.
도 32 및 도 33은, 도 13 및 도 14의 학습 과정(S100'') 및 위치 인식 과정(S200'')의 다른 실시예를 도시한 순서도 및 개념도이다. 도 32는 위치 점핑 발생 시점에 따른 전역 라벨 디스크립터의 생성 과정(S161, S162)의 시작 시점에 대한 알고리즘을 도시한다. 도 33은, 학습 과정(S100'') 중 위치 점핑 발생(S50)시 지역 라벨 디스크립터가 생성되는 과정(S150, S172) 및 전역 라벨 디스크립터가 생성되는 과정(S162)의 일 예를 나타낸 개념도이다.
본 발명의 일 실시예와 다른 실시예를 구분하기 위하여, 다른 실시예에 따른 과정으로서 일 실시예와 차이가 있는 부분의 도면 참조부호의 뒤에는 콤마(') 또는 더블 콤마('')를 표시한다. 또한, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
본 설명 전체에 걸쳐 사용되는 주요 용어를 설명하면 다음과 같다.
'생성'한다는 것은, 기존에 저장되어 있지 않은 데이터를 새롭게 만드는 것을 의미한다. '대상A를 근거로 대상B를 생성시킨다'는 것은 대상A를 입력값으로 한 정보처리 결과 대상B가 생성되는 것을 의미한다.
'대표'한다는 것은 그룹의 성질을 어느 하나의 값으로 나타내는 것을 의미한다.
'대상A와 대상B를 비교한다'는 것은, 이미 공지된 기술 또는 본 발명의 설명에 개시된 실시예에 따른 기술을 통해 대상A와 대상B의 유사 정도를 판단하는 것을 의미한다.
‘산출’한다는 것은 수학적 데이터를 계산하여 결과값인 데이터를 생성시키는 것을 의미한다.
'선택'한다는 것은 복수의 대상 중 어느 하나를 정하는 것을 의미한다.
대상A에 대하여 대상B가 정해질 때, '대상A에 대상B가 대응한다'고 한다. (예를 들어, 각각의 노드에 각각의 영상이 대응한다) 대상A에 대상B가 대응하고 대상B에 대상C가 대응할 때, '대상A에 대상C가 대응한다'고 할 수 있다.
그룹A의 각각의 원소에 대하여 그룹B의 원소가 적어도 한 개 정해질 때, '그룹A에 그룹B가 대응한다'고 한다. (예를 들어, 디스크립터 그룹에 라벨 디스크립터 그룹이 대응한다.)
'대응'이란 일의대응, 일대다대응(One-to-many correspondence) 및 일대일대응(one-to-one correspondence) 중 적어도 어느 하나를 의미한다. 대상A에 하나의 대상B가 대응할 때, '대상A에 대상B가 일의대응 한다'고 한다. 그룹A의 각각의 원소에 고작 그룹B의 원소가 하나 대응할 때, '그룹A에 그룹B가 일의대응 한다'고 한다. 대상A에 복수의 대상B가 대응할 때, '대상A에 대상B가 일대다대응 한다'고 한다. 그룹 A의 적어도 하나의 원소에 그룹B의 원소가 복수 개 대응할 때, '그룹A에 그룹B가 일대다대응 한다'고 한다. 하나의 대상A에 하나의 대상B가 대응할 때, '대상A에 대상B가 일대일대응 한다'고 한다. 그룹A와 그룹B의 원소의 개수가 서로 같고 그룹A의 각각의 원소에 그룹B의 각각 상이한 원소가 대응할 때, '그룹A에 그룹B가 일대일대응한다'고 한다. 예를 들어, 어느 하나의 획득 영상A으로부터 특징점B가 추출되고 특징점B를 근거로 디스크립터C가 생성되는 경우, 디스크립터C에 영상A는 일의대응 한다. 예를 들어, 소정 분류규칙에 따른 같은 그룹으로 분류된 복수의 디스크립터A,B를 근거로 하나의 라벨 디스크립터C가 생성되는 경우, 라벨 디스크립터C에 복수의 디스크립터A,B가 일대다대응 한다. 예를 들어, 복수의 노드와 복수의 영상의 개수가 서로 같고 각각의 노드에 각각 상이한 영상이 대응하면, 복수의 노드에 복수의 영상이 일대일대응한고 한다.
대상A에 대상B가 대응하는 관계를 생성시키는 것을 '대상A에 대상B를 매칭시킨다'고 한다. 예를 들어, 인식 디스크립터에 전역 라벨 디스크립터를 매칭시킨다.
'맵(Map)'이란, 이동 로봇의 주행 구역 내의 소정 정보 들을 소정 형식으로 저장한 데이터를 의미한다.
'위치 점핑(Jumping) 상황'이란, 맵 상의 이동 경로의 추적이 불가한 상태에서 이동 로봇이 이동된 상황을 의미한다. 구체적으로, 위치 점핑 상황은, 후술할 주행 변위 측정부(165)에 의한 주행 변위를 측정할 수 없는 상태에서 이동 로봇이 이동된 경우에 발생할 수 있다. 위치 점핑 상황의 일 예로, 주행 중인 이동 로봇을 사용자가 강제로 들어서 옮긴 납치(Kidnapping) 상황이나, 이동 로봇의 전원이 오프(off)된 상태에서 이동 로봇의 위치를 강제로 옮긴 상황이 있다.
'학습 과정'이란, 주행 구역 내에서 획득한 정보 들을 이용하여 맵을 생성하거나 갱신하는 과정을 의미한다.
'인식 과정'이란, 넓은 의미에서는 맵 상의 이동 로봇의 현재 위치를 알아내는 과정을 의미하고, 좁은 의미에서는 상기 위치 점핑 상황 발생시 맵 상의 이동 로봇의 현재 위치를 알아내는 과정을 의미한다.
상기 학습 과정 및 상기 인식 과정은 이동 로봇의 주행 중에 동시에 진행될 수 있고, 이를 Simultaneous Localization And Mapping (SLAM)이라 지칭할 수 있다.
'전역(Global Zone)(X)'이란 이동 로봇의 맵 상의 전체 주행 구역을 의미하고, 용어 앞에 '전역(Global)'이 붙으면 해당 용어는 맵 상의 전체 주행 구역과 관련됨을 의미한다. 전역(X)은 이동 로봇이 추가적인 주행 경험 또는 데이터의 추가적인 입력에 의해 변경(예를 들어, 확장)될 수 있다.
'지역(Lacal Zone)'이란 소정 기준에 따른 상기 전역(Global Zone) 중 일부 구역을 의미하고, 용어 앞에 '지역(Local)'이 붙으면 해당 용어는 상기 전역(Global Zone) 중 일부 구역과 관련됨을 의미한다.
'대지역(Great-Local Zone)'이란 복수의 상기 지역이 그룹핑(grouping)된 구역을 의미하고, 용어 앞에 '대지역(Great-Local)'이 붙으면 해당 용어는 상기 복수의 지역이 그룹핑 된 구역과 관련됨을 의미한다.
'지점(Point)'이란, 맵이 아닌 실제 주행 구역에서의 어느 한 위치를 의미한다.
'노드(Node)'란, 상기 지점에 대응하는 맵 상의 어느 한 위치를 나타내는 데이터를 의미한다.
'노드 정보'란 상기 노드에 대응하는 각종 데이터 들을 의미한다. 상기 맵은 복수의 노드 및 이에 대응하는 노드 정보를 포함할 수 있다.
'영상'이란, 이동 로봇(100)에 의해 촬영되어 획득된 이미지를 의미한다. '인식 영상'이란, 맵 상에서 현재의 위치를 인식하기 위하여 현재의 위치에서 획득된 영상을 의미한다.
'노드에 대응하는 영상'이란, 노드에 대응하는 지점에서 획득한 영상을 의미한다.
'특징점'이란 영상의 여러 특징 들 중 어느 하나로서 영상 내의 일부의 이미지를 의미한다. '인식 특징점'이란 인식 영상의 여러 특징 들 중 어느 하나로서 인식 영상 내의 일부의 이미지를 의미한다.
'디스크립터(descriptor)'는, 상기 특징점을 나타내기 위한 소정 형식의 데이터를 의미하며, 디스크립터 들 간의 거리 또는 유사도가 산출 가능한 형식의 수학적 데이터를 의미한다. 예를 들어, 디스크립터는 n차원 벡터(n은 자연수) 또는 행렬 형식의 데이터일 수 있다.
디스크립터가 n차원 벡터로 표현될 수 있는 경우, 2개의 디스크립터(
Figure PCTKR2017011699-appb-I000014
) 사이의 '거리'는 n차원 벡터 간의 거리(d)를 의미하고, 다음의 수학식 1에 의해서 산출될 수 있다. (여기서, n은 자연수)
수학식 1
Figure PCTKR2017011699-appb-M000001
디스크립터가 n차원 벡터로 표현될 수 있는 경우, x개(여기서, x는 자연수)의 디스크립터가
Figure PCTKR2017011699-appb-I000015
의 '평균값'(
Figure PCTKR2017011699-appb-I000016
)(n차원 벡터)은 다음의 수학식 2에 의해서 산출될 수 있다. (여기서, x 및 n은 자연수)
수학식 2
Figure PCTKR2017011699-appb-M000002
'인식 디스크립터'는 상기 인식 특징점을 나타내기 위한 소정 형식의 데이터를 의미하며, 상기 디스크립터와 같은 형식의 데이터를 의미한다.
'라벨 디스크립터(label descriptor)'는 소정 규칙에 의해 분류된 적어도 하나의 디스크립터를 대표하는 데이터를 의미하며, 상기 디스크립터와 같은 형식의 데이터를 의미한다. 라벨 디스크립터는, 후술하는 지역 라벨 디스크립터, 대지역 라벨 디스크립터 및 전역 라벨 디스크립터를 포괄하는 개념이다.
'지역 내 복수의 디스크립터'는, 어느 한 지역 내 포함되는 복수의 노드에 각각 대응하는 복수의 영상으로부터 추출된 모든 특징점을 각각 나타내기 위한 복수의 디스크립터를 의미한다.
'지역 라벨 디스크립터(local label descriptor)'는, 상기 지역 내 복수의 디스크립터 중 소정 규칙에 의해 분류된 적어도 하나의 디스크립터를 대표하는 데이터를 의미하며, 상기 디스크립터와 같은 형식의 데이터를 의미한다.
'지역 내 복수의 라벨 디스크립터'는, 어느 한 지역 내 복수의 디스크립터를 근거로 생성된 복수의 라벨 디스크립터를 의미한다. '지역 내 복수의 지역 라벨 디스크립터'는, 어느 한 지역 내 복수의 디스크립터를 근거로 생성된 복수의 지역 라벨 디스크립터를 의미한다.
'대지역 내 복수의 라벨 디스크립터'는, 어느 한 대지역에 포함되는 복수의 지역 내 복수의 디스크립터를 근거로 생성된 복수의 라벨 디스크립터를 의미한다. '대지역 내 복수의 지역 라벨 디스크립터'는, 어느 한 대지역에 포함되는 복수의 지역 내 복수의 디스크립터를 근거로 생성된 복수의 지역 라벨 디스크립터를 의미한다.
'대지역 라벨 디스크립터(great-local label descriptor)'는, 상기 대지역 내 복수의 지역 라벨 디스크립터 중 소정 규칙에 의해 분류된 적어도 하나의 지역 라벨 디스크립터를 대표하는 데이터를 의미하며, 상기 디스크립터와 같은 형식의 데이터를 의미한다. '대지역 내 복수의 대지역 라벨 디스크립터'는, 어느 한 대지역 내 복수의 지역 라벨 디스크립터를 근거로 생성된 복수의 대지역 라벨 디스크립터를 의미한다.
'전역 내 복수의 라벨 디스크립터'는, 전역에 포함되는 복수의 지역 내 복수의 디스크립터를 근거로 생성된 복수의 라벨 디스크립터를 의미한다. '전역 내 복수의 지역 라벨 디스크립터'는, 전역에 포함되는 복수의 지역 내 복수의 디스크립터를 근거로 생성된 복수의 지역 라벨 디스크립터를 의미한다. '전역 내 복수의 전역 라벨 디스크립터'는, 전역 내 복수의 지역 라벨 디스크립터를 근거로 생성된 복수의 전역 라벨 디스크립터를 의미한다.
'전역 라벨 디스크립터(global label descriptor)'는, 상기 전역 내 복수의 지역 라벨 디스크립터 중 소정 규칙에 의해 분류된 적어도 하나의 지역 라벨 디스크립터를 대표하는 데이터를 의미하며, 상기 디스크립터와 같은 형식의 데이터를 의미한다.
'영상 내 복수의 디스크립터'는, 어느 한 영상에서 추출된 복수의 특징점을 각각 나타내기 위한 복수의 디스크립터를 의미한다. '영상 내 복수의 라벨 디스크립터'는, 영상 내 복수의 디스크립터를 각 디스크립터에 대응하는 라벨 디스크립터로 치환한 것을 의미한다. '인식 영상 내 복수의 인식 디스크립터'는, 어느 한 인식 영상에서 추출된 복수의 인식 특징점을 각각 나타내기 위한 복수의 인식 디스크립터를 의미한다. '인식 영상 내 복수의 라벨 디스크립터'는, 인식 영상 내 복수의 인식 디스크립터를 각 인식 디스크립터에 대응하는 라벨 디스크립터로 치환한 것을 의미한다.
'영상 특징 분포'란 어느 한 영상 내 복수의 라벨 디스크립터의 종류와 각 종류의 개수(웨이트(w))를 근거로 특정되는 데이터를 의미한다. '인식 영상 특징 분포'란 인식 영상 내 복수의 라벨 디스크립터의 종류와 각 종류의 개수(인식 웨이트(w))를 근거로 특정되는 데이터를 의미한다. '지역 특징 분포'란 어느 한 지역 내 복수의 라벨 디스크립터의 종류와 각 종류의 개수(웨이트(w))를 근거로 특정되는 데이터를 의미한다. '대지역 특징 분포'란 어느 한 대지역 내 복수의 라벨 디스크립터의 종류와 각 종류의 개수(웨이트(w))를 근거로 특정되는 데이터를 의미한다.
여기서, '웨이트(w)'란 어느 한 종류의 라벨 디스크립터가 대표하는 하나 이상인 디스크립터의 개수를 의미한다. 또한, '인식 웨이트(wh)'는 어느 한 종류의 라벨 디스크립터로 치환된 하나 이상인 인식 디스크립터의 개수를 의미한다. 예를 들어, 소정 라벨규칙에 따라 5개의 디스크립터를 대표하는 라벨 디스크립터A가 생성된 경우, 상기 라벨 디스크립터A의 웨이트(w)는 5이다. 예를 들어, 제 1소정 라벨규칙에 따라 7개의 디스크립터를 대표하는 지역 라벨 디스크립터A가 생성된 경우, 상기 지역 라벨 디스크립터A의 웨이트(w)는 7이다. 예를 들어, 제 1소정 라벨규칙에 따라 5개의 디스크립터를 대표하는 지역 라벨 디스크립터A 및 7개의 디스크립터를 대표하는 지역 라벨 디스크립터B가 생성되고, 제 2소정 라벨규칙에 따라 상기 지역 라벨 디스크립터A 및 지역 라벨 디스크립터B를 대표하는 전역 라벨 디스크립터C(또는 대지역 라벨 디스크립터C)가 생성된 경우, 상기 전역 라벨 디스크립터C(또는 대지역 라벨 디스크립터C)의 웨이트(w)는 12이다. 예를 들어, 인식 영상 내 복수의 인식 디스크립터 중 9개의 인식 디스크립터가 라벨 디스크립터A로 치환된 경우, 상기 라벨 디스크립터A의 인식 웨이트(wh)는 9이다. 본 설명에서는 상기 특징 분포를 표현하기 위해 히스토그램을 이용하나, 이에 제한될 필요는 없다.
'영상 정보'란 어느 한 영상에 대한 데이터로서, 영상 자체의 이미지, 영상에서 추출된 복수의 특징점, 영상 내 복수의 디스크립터, 영상 내 복수의 라벨 디스크립터 및 영상 특징 분포를 포괄하는 개념이다. '인식 영상 정보'란 어느 한 인식 영상에 대한 데이터로서, 인식 영상 자체의 이미지, 인식 영상에서 추출된 복수의 인식 특징점, 인식 영상 내 복수의 인식 디스크립터, 인식 영상 내 복수의 라벨 디스크립터 및 인식 영상 특징 분포를 포괄하는 개념이다.
본 발명인 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미하고, 가정 도우미 로봇 및 로봇 청소기 등이 될 수 있다. 이하 도 1 내지 도 4를 참조하여, 이동 로봇 중 로봇 청소기(100)를 예로 들어 설명하나, 반드시 이에 한정될 필요는 없다.
도 1 내지 5를 참고하여, 이동 로봇(100)은 본체(110)와, 본체(110) 주변의 영상을 획득하는 영상획득부(120)를 포함한다. 이하, 본체(110)의 각 부분을 정의함에 있어서, 주행 구역의 천장을 향하는 부분을 상면부(도 2 참고)로 정의하고, 주행 구역의 바닥을 향하는 부분을 저면부(도 4 참고)로 정의하고, 상기 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주된 주행 방향 부분을 정면부(도 3 참고)라고 정의한다.
이동 로봇(100)는 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)를 포함한다. 주행부(160)는 구동 모터를 포함할 수 있다. 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(136(L))과 우륜(136(R))이라고 한다.
좌륜(136(L))과 우륜(136(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(136(L))을 구동시키는 좌륜 구동 모터와 우륜(136(R))을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(136(L))과 우륜(136(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.
본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(110h)가 형성될 수 있으며, 본체(110) 내에는 흡입구(110h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(110h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
본체(110)는 이동 로봇(100)를 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 상기 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.
흡입구(110h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(134)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(135)가 구비될 수 있다. 이들 브러시(134, 135)들의 회전에 의해 청소 구역 내 바닥으로부터 먼지들이 제거되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(110h)를 통해 흡입되어 먼지통에 모인다.
배터리(138)는 상기 구동 모터뿐만 아니라, 이동 로봇(100)의 작동 전반에 필요한 전원을 공급하는 것이다. 배터리(138)가 방전될 시, 이동 로봇(100)는 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 이동 로봇(100)는 스스로 충전대(200)의 위치를 탐지할 수 있다.
충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 상기 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되어야 하는 것은 아니다.
이동 로봇(100)는 상기 복귀 신호를 수신하는 신호 감지부(미도시)를 포함할 수 있다. 충전대(200)는 신호 송출부를 통해 적외선 신호를 송출하고, 상기 신호 감지부는 상기 적외선 신호를 감지하는 적외선 센서를 포함할 수 있다. 이동 로봇(100)는 충전대(200)로부터 송출된 적외선 신호에 따라 충전대(200)의 위치로 이동하여 충전대(200)와 도킹(docking)한다. 이러한 도킹에 의해 이동 로봇(100)의 충전 단자(133)와 충전대(200)의 충전 단자(210) 간에 충전에 이루어진다.
영상획득부(120)는 청소 구역을 촬영하는 것으로, 디지털 카메라를 포함할 수 있다. 상기 디지털 카메라는 적어도 하나의 광학렌즈와, 상기 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 상기 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 상기 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
바람직하게, 영상획득부(120)는 본체(110)의 상면부에 구비되어, 청지역 내의 천장에 대한 영상을 획득하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다. 예를 들어, 영상획득부(120)는 본체(110) 전방의 영상을 획득하도록 구비될 수도 있다.
또한, 이동 로봇(100)는 전방의 장애물을 감지하는 장애물 감지센서(131)를 더 포함할 수 있다. 이동 로봇(100)는 청소 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서(132)와, 바닥의 영상을 획득하는 하부 카메라 센서(139)를 더 포함할 수 있다.
또한, 이동 로봇(100)는 On/Off 또는 각종 명령을 입력할 수 있는 조작부(137)를 포함한다.
도 5를 참고하여, 이동 로봇(100)는 각종 데이터를 저장하는 저장부(150)를 포함한다. 저장부(150)에는 이동 로봇(100)의 제어에 필요한 각종 데이터 들이 기록될 수 있다. 저장부(150)는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 상기 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
저장부(150)에는 주행 구역의 맵이 저장될 수 있다. 상기 맵은 이동 로봇(100)와 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 외부 단말기에 의해 입력된 것일 수도 있고, 이동 로봇(100)가 스스로 학습을 하여 생성한 것일 수도 있다. 전자의 경우, 외부 단말기로는 맵 설정을 위한 어플리케이션(application)이 탑재된 리모컨, PDA, 랩탑(laptop), 스마트 폰, 태블렛 등을 예로 들 수 있다.
상기 맵에는 주행 구역 내의 복수의 지점에 대응(일대일대응)하는 복수의 노드의 위치가 표시될 수 있다. 상기 맵에는 주행 구역 내의 각 지역이 표시될 수 있다. 또한, 이동 로봇(100)의 현재 위치가 상기 맵 상에 표시될 수 있다. 상기 맵 상에서의 이동 로봇(100)의 현재 위치는 주행 과정에서 갱신될 수 있다.
주행 변위는, 이동 로봇의 이동 방향과 이동 거리를 포함하는 개념이다. 주행구역의 바닥면을 X축 및 Y축이 직교하는 평면 상에 있다고 가정할 때, 주행 변위는 (Δx,Δy,θ)로 표현할 수 있다. Δx,Δy는 각각 X축 및 Y축 방향으로의 변위를 의미하고, θ는 회전 각도를 의미한다.
주행 변위 측정부(165)는 상기 하부 카메라 센서(139)에서 획득된 영상을 근거로 주행 변위를 측정할 수 있다. 예를 들어, 주행 변위 측정부(165)는 이동 로봇(100)의 연속적인 이동에 따라 달라지는 바닥 영상의 연속적인 픽셀(pixel) 비교를 통해서 주행 변위를 측정할 수 있다.
주행 변위 측정부(165)는 주행부(160)의 동작을 근거로 이동 로봇(100)의 주행 변위를 측정할 수 있다. 예를 들어, 주행제어모듈(141)은 구동 바퀴(136)의 회전속도를 근거로 이동 로봇(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 측정할 수 있으며, 각 구동 바퀴(136(L), 136(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 측정할 수 있다.
주행 변위 측정부(165)는 장애물 감지센서(131) 및 영상획득부(120) 중 적어도 어느 하나를 이용하여 상기 주행 변위를 측정하는 것도 가능하다.
제어부(14)는 이렇게 측정된 주행 변위를 바탕으로, 맵 상에서 이동 로봇(100)의 위치를 인식할 수 있다.
송신부(170)는 이동 로봇의 정보를 다른 이동 로봇이나 중앙 서버에 송신해줄 수 있다. 수신부(190)는 다른 이동 로봇이나 중앙 서버로부터 정보를 수신할 수 있다. 송신부(170)가 송신하는 정보 또는 수신부(190)가 수신하는 정보는 후술할 이동 로봇의 노드(N)의 구성 정보를 포함할 수 있다.
이동 로봇(100)는 각종 정보를 처리하고 판단하는 제어부(140)를 포함한다. 제어부(140)는 주행 구역을 학습하는 정보 처리를 수행할 수 있다. 제어부(140)는 맵 상의 현재 위치를 인식하는 정보 처리를 수행할 수 있다. 제어부(140)는 이동 로봇(100)를 구성하는 각종 구성들(예를 들어, 주행 변위 측정부(165), 장애물 감지 센서(131), 영상획득부(120), 조작부(137), 주행부(160), 송신부(170), 수신부(190) 등)의 제어를 통해, 이동 로봇(100)의 동작 전반을 제어할 수 있다. 제어부(140)는, 주행제어모듈(141), 학습모듈(143) 및 인식모듈(144)을 포함할 수 있다.
본 실시예에 따른 제어방법은 제어부(140)에 의해 수행될 수 있다. 본 발명은, 이동 로봇(100)의 제어방법이 될 수 있고, 상기 제어방법을 수행하는 제어부(140)를 포함하는 이동 로봇(100)가 될 수도 있다. 본 발명은, 상기 제어방법의 각 단계를 포함하는 컴퓨터 프로그램이 될 수도 있고, 상기 제어방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 기록매체가 될 수도 있다. 상기 ‘기록매체’는 컴퓨터로 판독 가능한 기록매체를 의미한다. 본 발명은, 하드웨어와 소프트웨어를 모두 포함하는 이동 로봇 제어 시스템이 될 수도 있다.
주행제어모듈(141)은 이동 로봇(100)의 주행을 제어한다. 주행제어모듈(141)은 주행 설정에 따라 주행부(160)의 구동을 제어한다.
학습모듈(143)은 주행 구역의 맵을 생성시킨다. 전역 내 위치 인식을 위해서, 학습모듈(143)은 각 지점에서 획득한 영상을 상기 맵 상의 각 노드(node, N)와 매칭시킨다. 획득 영상 들은 노드 들에 일대일대응할 수 있다.
학습모듈(143)은, 상기 주행 변위 정보를 바탕으로 맵 상의 노드를 생성시킨다. 예를 들어, 후술할 원점 노드(O)를 기준으로 측정한 주행 변위를 근거로 하여, 노드 좌표 정보를 생성할 수 있다. 생성된 노드(N)의 노드 좌표 정보(D186)는 원점 노드(O)에 대한 상대적 좌표값이다. 노드 정보는 노드에 대응하는 영상 정보(D183)를 포함할 수 있다.
학습모듈(143)은 노드(N)와 노드간의 주행 변위를 근거로 하여 맵을 생성할 수 있다.
학습모듈(143)은 기 생성된 맵을 갱신할 수 있다. 예를 들어, 학습모듈(143)은 후술하는 루프 변위(LC)를 근거로 하여 기 저장된 노드 좌표 정보(D186)를 갱신할 수 있다.
학습모듈(143)은 소정 기준에 따라 전역(X)을 복수의 지역으로 구분할 수 있다. 학습모듈(143)은 소정 기준에 따라 전역(X)을 복수의 대지역으로 구분할 수 있다. 학습모듈(143)은 소정 기준에 따라 대지역을 복수의 지역으로 구분할 수 있다. 소정 기준에 따라 복수의 지역을 그룹핑하여 대지역으로 할 수 있다.
인식모듈(144)은 장애물 감지센서(131) 및 영상획득부(120) 중 적어도 어느 하나를 이용하여, 현재 위치를 인식할 수 있다. 인식모듈(144)은 위치 점핑 상황에서 미지의 현재 위치를 인식할 수 있다. 인식모듈(144)은 맵 상에서 현재 위치를 인식할 수 있다. 인식모듈(144)은 맵 상의 복수의 노드 중 현재 위치에 대응(일의대응)하는 노드를 선택할 수 있다. 이하, 영상획득부(120)를 이용하여 미지의 현재 위치를 인식하는 과정을 예로 들어 설명하나, 반드시 이에 한정될 필요는 없다.
본 발명의 실시예에 따른 이동 로봇의 제어방법은 학습 과정(S100, S100', S100'', S190)을 포함한다. 상기 이동 로봇의 제어방법은 인식 과정(S200, S200', S200'')을 포함한다.
도 6 및 7을 참고하여, 학습 과정(S100, S100', S100'', S190) 또는 인식 과정(S200, S200', S200'')을 시작하게 되는 시나리오를 예시적으로 설명한다.
도 6을 참고한 일 시나리오에서는, 이동 로봇(100)이 주행을 시작하면 기 저장된 맵의 존재 여부를 판단(S10)한다. 기 저장된 맵의 존재 여부란 이동 로봇()의 저장부()에 맵이 저장되어 있는지 판단하는 과정이 될 수 있다. 상기 과정(S10) 결과 기 저장된 맵이 존재하지 않으면, 이동 로봇(100)은 새로운 맵을 생성하는 학습 과정(S100, S100', S100'')을 시작한다. 상기 과정(S10) 결과 기 저장된 맵이 존재하면, 기 저장된 맵 상에서 이동 로봇(100)의 현재 위치를 인식하는 과정(S200, S200', S200'')이 시작된다. 상기 과정(S200, S200', S200'') 이후 기 저장된 맵을 갱신하는 학습 과정(S190)을 시작한다. 상기 과정(S190)에서는, 이동 로봇(100)이 새로 획득한 영상 정보를 근거로 기 저장된 맵을 갱신할 수 있다. 상기 과정(S190)은, 새롭게 주행한 구역에서 얻은 정보를 근거로 기 저장된 맵 상에서 새로운 노드를 생성하는 과정을 포함할 수 있다. 또한, 상기 과정(S190)은, 주행 구역에서 얻은 환경 정보를 근거로 기 저장된 병합맵 상의 노드의 정보 중 일부를 갱신하는 과정을 포함할 수 있다. 이러한 방식으로 위치 인식 과정(S200, S200', S200'')과 학습 과정(S190)이 지속적으로 동시에 진행될 수 있다.(SLAM) 이하, 예시적으로 상기 맵을 생성하는 학습 과정(S100, S100’, S100’’)을 기준으로 설명하나, 반드시 이에 제한될 필요는 없고 맵을 갱신하는 학습 과정(S150)에 이하의 설명 내용이 적용될 수 있다.
도 7을 참고한 다른 시나리오에서는, 위치 점핑 상황이 발생(S50)한다. 상기 위치 점핑 상황 발생(S50) 이후, 이동 로봇(100)은 기 저장된 맵 상에서 현재 위치를 인식하는 과정(S200, S200’, S200’’)을 시작한다.
상기 이동 로봇의 제어방법은, 학습초기단계(S110, S120, S130), 복수의 디스크립터를 근거로 라벨 디스크립터를 생성하는 라벨생성단계(S150, S156, S160), 인식초기단계(S210, S220) 및 현재 위치로 추정되는 노드를 선택하는 최종노드선택단계(S270)를 포함한다.
라벨생성단계(S150, S156, S160)는, 후술할 지역 라벨 디스크립터 생성 과정(S150), 대지역 라벨 디스크립터 생성 과정(S156) 및 전역 라벨 대스크립터 생성과정(S160) 중 적어도 하나를 포함한다. 라벨생성단계(S150, S156, S160)에서, 복수의 상기 디스크립터를 상기 디스크립터 들간의 거리를 근거로 하여 복수의 그룹으로 분류한다. 라벨생성단계(S150, S156, S160)에서, 후술할 소정 분류규칙에 따라 복수의 상기 디스크립터를 복수의 그룹으로 분류한다. 라벨생성단계(S150, S156, S160)에서, 같은 그룹으로 분류된 디스크립터 들을 대표하는 라벨 디스크립터를 생성한다. 라벨생성단계(S150, S156, S160)에서, 소정 라벨규칙에 따라 같은 그룹으로 분류된 디스크립터 들로부터 라벨 디스크립터를 생성한다.
라벨생성단계(S150, S156, S160)는, 학습초기단계(S110, S120, S130) 이후에 시작될 수 있으나, 상기 학습초기단계를 수행하는 동안 소정 기준이 만족되면 수행되는 것이 바람직하다.
예를 들어, 학습초기단계(S110, S120, S130) 수행하는 동안, 현재까지 생성된 노드들 중 적어도 일부가 그룹핑되어 지역으로 구분되면, 구분된 지역의 지역 라벨 디스크립터가 생성될 수 있다. 즉, 지역 라벨 디스크립터가 주행 중 생성될 수 있다.
또한, 학습초기단계(S110, S120, S130) 수행하는 동안, 현재까지 생성된 노드들 중 적어도 일부가 그룹핑되어 대지역으로 구분되면, 구분된 대지역의 대지역 라벨 디스크립터가 생성될 수 있다. 즉, 대지역 라벨 디스크립터가 주행 중 생성될 수 있다.
도 8을 참고하여, 제 1실시예에 따른 학습 과정(S100)은 학습초기단계를 포함한다. 상기 학습초기단계는 주행 및 영상 획득 과정(S110), 디스크립터를 생성하는 과정(S120) 및 노드를 생성하는 과정(S130)을 포함한다.
학습 과정(S100)은 주행 및 영상 획득 과정(S110)을 포함한다. 상기 과정(S110)에서, 이동 로봇(100)이 주행하면서 이격된 각 지점 별로 영상을 획득한다. 각 지점에 각 획득 영상이 대응한다. 복수의 지점에 복수의 획득 영상이 일대일대응할 수 있다.
학습 과정(S100)은, 획득된 영상에서 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성하는 과정(S120)을 포함한다. 복수의 특징점에 복수의 디스크립터가 일대일대응 한다. 상기 과정(S120)은 어느 한 지점에서 영상을 획득한 후 다음 지점으로 이동하는 과정 중에 진행될 수 있다. 상기 과정(S120)은 상기 과정(S110)이 진행되는 중에 진행될 수 있다.
학습 과정(S100)은 노드를 생성하는 과정(S130)을 포함한다. 상기 과정(S130)에서 복수의 노드를 생성한다. 각각의 노드는 상기 각 지점의 좌표 정보에 대응한다. 각각의 노드는 각 지점에서 획득된 각 영상에 대응한다. 각각의 노드에 각각의 영상 정보가 대응한다. 복수의 노드에 복수의 획득 영상이 일대일대응 할 수 있다. 상기 과정(S130)은 어느 한 지점에서 다음 지점으로 이동하는 과정 중에 진행될 수 있다. 상기 과정(S130)은 상기 과정(S110) 및/또는 상기 과정(S120)이 진행되는 중에 진행될 수 있다.
학습 과정(S100)은 소정 기준에 따라 상기 복수의 노드를 지역으로 구분하는 과정(S140, S140')을 포함한다. 상기 과정(S140, S140’)을 지역구분단계(S140, S140’)라 지칭할 수 있다. 상기 어느 한 지역A를 구분하는 과정(S140, S140')은 상기 어느 한 지역A의 지역 라벨 디스크립터를 생성하는 과정(S150) 이전에 진행된다. 상기 과정(S140, S140’)은 노드 생성 과정(S130)이 진행되는 중에 진행될 수 있다. 상기 복수의 노드 중 일부의 노드 들이 그룹핑되어 하나의 지역으로 구분될 수 있다. 상기 과정(S140, S140’)은 상기 학습초기단계를 수행하는 동안 신규의 노드가 생성되어 소정의 지역 구분 조건이 만족되면 수행될 수 있다.
학습 과정(S100)은 복수의 상기 디스크립터를 근거로 지역 라벨 디스크립터를 생성하는 과정(S150)을 포함한다. 상기 과정(S150)은 제 1라벨생성단계(S150) 또는 지역라벨생성단계(S150)로 지칭할 수 있다. 상기 과정(S150)에서, 상기 각 지역별로, 지역 내 복수의 디스크립터를 복수의 그룹으로 분류한다. 상기 과정(S150)에서, 상기 각 지역별로, 후술할 제 1소정 분류규칙에 따라 지역 내 복수의 디스크립터를 복수의 그룹으로 분류한다. 상기 과정(S150)에서, 같은 그룹으로 분류된 디스크립터 들을 대표하는 지역 라벨 디스크립터를 생성한다. 상기 과정(S150)에서, 후술할 제 1소정 라벨규칙에 따라 같은 그룹으로 분류된 디스크립터 들을 근거로 지역 라벨 디스크립터를 생성한다.
도 9를 참고하여, 제 1실시예에 따른 인식 과정(S200)은 인식초기단계를 포함한다. 상기 인식초기단계는, 인식 영상 획득 과정(S210) 및 인식 디스크립터 그룹을 생성하는 과정(S220)을 포함한다.
인식 과정(S200)은 인식 영상 획득 과정(S210)을 포함한다. 상기 과정(S210)에서, 이동 로봇(100)이 미지의 현재 위치에서 인식 영상을 획득한다. 상기 과정(S210)은 위치 점핑 상황 발생시 진행될 수 있다. 상기 과정(S210)은 이동 로봇(100)에 기 저장된 맵이 존재하는 경우 진행될 수 있다.
인식 과정(S200)은 획득된 상기 인식 영상에서 추출된 복수의 인식 특징점에 대응하는 각각의 인식 디스크립터를 생성하는 과정(S220)을 포함한다. 복수의 인식 특징점에 복수의 인식 디스크립터가 일대일대응 한다. 상기 과정(S220)은 미지의 현재 위치에서 적어도 하나의 인식 영상을 획득한 후 진행될 수 있다.
인식 과정(S200)은, 상기 과정(S220) 이후, 지역 내 복수의 지역 라벨 디스크립터(지역 라벨 디스크립터 그룹)와 상기 복수의 인식 디스크립터(인식 디스크립터 그룹)를 비교하는 과정(S240)을 포함한다.
인식 과정(S200)은, 상기 비교 과정(S240) 이후, 복수의 지역 중 미지의 현재 위치가 속한 어느 한 지역을 선택하는 과정(S250)을 포함한다.
상기 비교 과정(S240)에서, 지역 내 복수의 지역 라벨 디스크립터의 종류 및 각 종류의 웨이트(w)를 근거로, 지역 특징 분포를 생성한다.
상기 비교 과정(S240)에서 인식 영상 특징 분포를 각 지역 별 지역 특징 분포와 비교하여, 가장 유사도가 높은 지역을 선택(S250)한다. 상기 비교 과정(S240)에서, 인식 영상 특징 분포는 각각의 지역 특징 분포 별로 비교 가능한 데이터 형식으로 생성되어, 어느 한 지역A의 특징 분포와 비교하는 인식 영상 특징 분포는 다른 한 지역B의 특징 분포와 비교하는 인식 영상 특징 분포와 서로 다르다. '비교 가능'하다는 것은, 두 대상이 서로 비교하여 유사도를 산출할 수 있는 상태를 의미한다. 비유적인 예를 들어, 다양한 색채의 물건으로 구성된 두 집합을 서로 색깔 별로 그 개수를 비교하기 위하여, 두 집합 중 어느 하나의 색채 분류기준에 따라 다른 하나의 집합을 이루는 각 대상들의 색채를 분류해준 경우, 두 집합은 '비교 가능'하다고 표현될 수 있다.
제 1실시예에서, 어느 한 지역A의 특징 분포와 인식 영상 특징 분포를 비교하여 유사도를 산출하기 위하여, 인식 영상 내 복수의 인식 디스크립터를 각 인식 디스크립터에 대응하는 '상기 지역A 내 지역 라벨 디스크립터'로 치환하여 인식 영상 특징 분포를 생성한다. 또한, 다른 한 지역B의 특징 분포와 인식 영상 특징 분포를 비교하여 유사도를 산출하기 위하여, 인식 영상 내 복수의 인식 디스크립터를 각 인식 디스크립터에 대응하는 '상기 지역B 내 지역 라벨 디스크립터'로 치환하여 인식 영상 특징 분포를 생성한다. 이 경우, '상기 지역A 내 지역 라벨 디스크립터'의 종류와 '상기 지역B 내 지역 라벨 디스크립터'의 종류는 서로 다르므로, 상기 '지역A의 특징 분포와 비교 가능한 인식 영상 특징 분포'와 '지역B의 특징 분포와 비교 가능한 인식 영상 특징 분포'는 서로 다르게 생성된다.
한 지역(A1)의 지역 특징 분포에 비교 가능한 인식 영상 특징 분포를 생성하기 위하여, 인식 영상 내 복수의 인식 디스크립터를 각각 지역(A1) 내 복수의 지역 라벨 디스크립터 중 거리가 가장 가까운 것으로 치환할 수 있다. 예를 들어, 인식 디스크립터
Figure PCTKR2017011699-appb-I000017
중
Figure PCTKR2017011699-appb-I000018
및
Figure PCTKR2017011699-appb-I000019
를 지역(A1) 내 복수의 지역 라벨 디스크립터들(
Figure PCTKR2017011699-appb-I000020
) 중 가장 거리가 가까운
Figure PCTKR2017011699-appb-I000021
로 각각 치환할 수 있다. 이 경우, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000022
및
Figure PCTKR2017011699-appb-I000023
)에 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000024
)가 대응(일의대응)한다. 나아가, 인식 디스크립터 및 인식 디스크립터에 가장 가까운 지역 라벨 디스크립터 사이의 거리가 소정 값을 초과하는 경우에는, 해당 인식 디스크립터는 제외시키고 나머지 인식 디스크립터 들 만을 근거로 인식 영상 특징 분포를 생성하는 것도 가능하다.
어느 한 지역(A1)의 지역 특징 분포는, 각 지역 라벨 디스크립터의 종류를 대표값(가로 축의 값)으로 보고, 각 종류당 웨이트(w)를 근거로 산출된 스코어(s1)를 도수(세로 축의 값)로 보는 지역 특징 분포 히스토그램으로 표현될 수 있다.
어느 한 지역(A1)의 지역 특징 분포는, 각 지역 라벨 디스크립터의 종류를 각 차원으로 보고, 각 종류 당 웨이트(w)를 근거로 산출된 스코어(s1)를 각 차원의 수치로 보는 지역 특징 분포 벡터로 표현될 수 있다. 맵 상의 복수의 지역(A1,A2,…Ai)에 대응(일대일대응)하는 복수의 지역 특징 분포 벡터가 생성될 수 있다. (여기서, i는 자연수)
어느 한 지역(A1)의 지역 특징 분포에서, 어느 한 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000025
)의 스코어(s1)는 아래의 수학식 3를 통해 산출될 수 있다.
수학식 3
Figure PCTKR2017011699-appb-M000003
여기서, s1은 해당 지역 특징 분포에서 어느 한 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000026
)의 스코어,
w1은 해당 지역(A1) 내 상기 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000027
)의 웨이트,
Figure PCTKR2017011699-appb-I000028
은 해당 지역(A1) 내 모든 지역 라벨 디스크립터의 웨이트의 총합,
Figure PCTKR2017011699-appb-I000029
는 해당 지역(A1) 내 '총 영상의 개수'를 '상기 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000030
)가 생성된 영상의 개수'로 나눈 값임.
어느 한 비교 대상 지역(A1)에 비교 가능한 인식 영상 특징 분포는, 인식 영상 내 복수의 지역 라벨 디스크립터의 종류를 대표값(가로 축의 값)으로 보고, 각 종류당 인식 웨이트(wh)를 근거로 산출된 인식 스코어(sh)를 도수(세로 축의 값)로 보는 인식 영상 특징 분포 히스토그램으로 표현될 수 있다.
어느 한 비교 대상 지역(A1)에 비교 가능한 인식 영상 특징 분포는, 인식 영상 내 복수의 지역 라벨 디스크립터의 종류를 각 차원으로 보고, 각 종류 당 인식 스코어(sh1)를 각 차원의 수치로 보는 인식 영상 특징 분포 벡터로 표현될 수 있다. 복수의 비교 대상 지역(A1,A2,…Ai) 별 각각의 지역 특징 분포에 비교 가능한 각각의 인식 영상 특징 분포 벡터가 생성될 수 있다. (여기서, i는 자연수)
예를 들어, 비교대상 지역(A1)에 대한 인식 영상 특징 분포에서, 어느 한 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000031
)의 인식 스코어(sh1)는 아래의 수학식 4을 통해 산출될 수 있다.
수학식 4
Figure PCTKR2017011699-appb-M000004
여기서, sh1은 해당 인식 영상 내 어느 한 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000032
)의 인식 스코어,
wh1은 해당 인식 영상 내 상기 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000033
)의 인식 웨이트,
Figure PCTKR2017011699-appb-I000034
은 해당 인식 영상 내 모든 지역 라벨 디스크립터의 인식 웨이트의 총합,
Figure PCTKR2017011699-appb-I000035
는 해당 지역(A1) 내 '총 영상의 개수'를 '상기 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000036
)가 생성된 영상의 개수'로 나눈 값임. (상기 수학식 3에서의 정의와 같음)
상기 비교 과정(S240)에서, 각각의 지역 별로 지역 특징 분포와 인식 특징 분포를 서로 비교하여, 각각의 유사도를 산출한다. 예를 들어, 상기 유사도는 cosine similarity 를 이용한 다음의 수학식 5에 의해 산출될 수 있다.
수학식 5
Figure PCTKR2017011699-appb-M000005
여기서,
Figure PCTKR2017011699-appb-I000037
는 유사도인 확률이고,
Figure PCTKR2017011699-appb-I000038
는 어느 한 비교 대상 지역의 지역 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000039
는
Figure PCTKR2017011699-appb-I000040
에 비교 가능한 인식 영상 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000041
는 두 벡터의 절대값의 곱을 의미하고,
Figure PCTKR2017011699-appb-I000042
는 두 벡터의 내적을 의미함.
상기 지역 선택 과정(S250)에서, 각 지역 별로 산출된 유사도 중 가장 큰 값이 산출된 지역을 현재 위치가 속한 지역으로 선택할 수 있다.
인식 과정(S200)은, 비교 대상 노드 별로 노드에 대응하는 영상 정보를 인식 영상 정보와 비교하는 과정(S261)을 포함한다. 상기 비교 과정(S261)에서 비교 대상 노드는, 상기 지역 선택 과정(S250)에서 선택된 지역 내 복수의 노드이다. 일례로, 상기 비교 과정(S261)에서, 각 노드에 대응하는 영상 내 복수의 라벨 디스크립터와 상기 인식 영상 내 복수의 라벨 디스크립터를 서로 비교하여, 비교 대상 노드 별 유사도를 산출할 수 있다.
인식 과정(S200)은, 하나 이상의 비교대상 노드 중에 현재 위치로 추정되는 노드를 선택하는 과정(S270)을 포함한다. 상기 과정(S261) 및 상기 과정(S270)을 최종노드선택단계(S261, S270)라 지칭할 수 있다. 최종노드선택단계(S261, S270)에서, 각 비교대상 노드 별로 노드 정보와 상기 현재 위치에서 획득된 인식 영상 정보를 비교하여, 상기 현재 위치로 추정되는 노드를 선택한다.
상기 노드 선택 과정(S270)에서는, 각 비교 대상 노드 별로 산출한 유사도 중 가장 큰 값이 산출된 노드를 선택할 수 있다. 이동 로봇(100)은 상기 과정(S270)에서 선택한 노드를 현재 위치로 인식하여, 이를 기초로 이 후의 주행을 계속할 수 있다.
도 10을 참고하여, 제 2실시예에 따른 학습 과정(S100') 중 상기 제 1실시예에 따른 학습 과정(S100)과 중복되는 과정은 동일 도면 부호로 표기하고, 중복되는 내용의 설명은 생략한다.
학습 과정(S100')은, 소정 기준에 따라 상기 복수의 지역을 대지역으로 구분하는 과정(S146)을 포함한다. 상기 과정(S146)을 지역구분단계(S140, S140', S146)라 지칭할 수 있다. 상기 어느 한 대지역A를 구분하는 과정(S146)은 상기 어느 한 대지역A의 대지역 라벨 디스크립터를 생성하는 과정(S156) 이전에 진행된다. 상기 과정(S146)은 지역 구분 과정(S130)의 진행이 시작된 후에 진행될 수 있다. 상기 복수의 지역 중 일부의 지역 들이 그룹핑되어 하나의 대지역으로 구분될 수 있다. 상기 과정(S146)은 상기 지역 구분 과정(S140, S140')을 수행하는 동안 신규의 지역이 구분되어 소정의 대지역 구분 조건이 만족되면 수행될 수 있다.
학습 과정(S100')은 복수의 상기 지역 라벨 디스크립터를 근거로 대지역 라벨 디스크립터를 생성하는 과정(S156)을 포함한다. 상기 과정(S156)은 제 2라벨생성단계(S156)라 지칭할 수 있다. 상기 과정(S156)에서, 상기 각 대지역 별로, 대지역 내 복수의 지역 라벨 디스크립터를 복수의 그룹으로 분류한다. 상기 과정(S156)에서, 대지역 내 복수의 지역에서 각각 생성된 지역 라벨 디스크립터 들을 복수의 그룹으로 분류한다. 상기 과정(S156)에서, 상기 각 지역별로, 후술할 제 2소정 분류규칙에 따라 대지역 내 복수의 지역 라벨 디스크립터를 복수의 그룹으로 분류할 수 있다. 상기 과정(S156)에서, 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 대표하는 대지역 라벨 디스크립터를 생성한다. 상기 과정(S156)에서, 후술할 제 2소정 라벨규칙에 따라 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 근거로 대지역 라벨 디스크립터를 생성할 수 있다.
상기 과정(S156)은, 상기 과정(S150)이 시작된 이후 신규의 대지역이 구분되면 진행될 수 있다. 상기 과정(S156)은 이동 로봇(100)이 모든 주행을 마친 후 최종적으로 진행될 수 있다.
도 11을 참고하여, 제 2실시예에 따른 인식 과정(S200') 중 상기 제 1실시예에 따른 인식 과정(S200)과 중복되는 과정은 동일 도면 부호로 표기하고, 중복되는 내용의 설명은 생략한다.
인식 과정(S200')은, 상기 과정(S220) 이후, 대지역 내 복수의 대지역 라벨 디스크립터(대지역 라벨 디스크립터 그룹)과 상기 복수의 인식 디스크립터(인식 디스크립터 그룹)를 비교하는 과정(S241)을 포함한다.
인식 과정(S200')은, 상기 비교 과정(S241) 이후, 복수의 대지역 중 미지의 현재 위치가 속한 어느 한 대지역을 선택하는 과정(S251)을 포함한다.
상기 비교 과정(S241)에서, 대지역 내 복수의 대지역 라벨 디스크립터의 종류 및 각 종류의 웨이트(w)를 근거로, 대지역 특징 분포를 생성한다.
상기 비교 과정(S241)에서 인식 영상 특징 분포를 각 대지역 별 대지역 특징 분포와 비교하여, 가장 유사도가 높은 대지역을 선택(S251)한다. 상기 비교 과정(S241)에서, 인식 영상 특징 분포는 각각의 대지역 특징 분포 별로 비교 가능한 데이터 형식으로 생성되어, 어느 한 대지역A의 특징 분포와 비교하는 인식 영상 특징 분포는 다른 한 대지역B의 특징 분포와 비교하는 인식 영상 특징 분포와 서로 다르다.
제 2실시예에서, 어느 한 대지역A의 특징 분포와 인식 영상 특징 분포를 비교하여 유사도를 산출하기 위하여, 인식 영상 내 복수의 인식 디스크립터를 각 인식 디스크립터에 대응하는 '상기 대지역A 내 대지역 라벨 디스크립터'로 치환하여 인식 영상 특징 분포를 생성한다. 또한, 다른 한 대지역B의 특징 분포와 인식 영상 특징 분포를 비교하여 유사도를 산출하기 위하여, 인식 영상 내 복수의 인식 디스크립터를 각 인식 디스크립터에 대응하는 '상기 대지역B 내 대지역 라벨 디스크립터'로 치환하여 인식 영상 특징 분포를 생성한다. 이 경우, '상기 대지역A 내 대지역 라벨 디스크립터'의 종류와 '상기 대지역B 내 대지역 라벨 디스크립터'의 종류는 서로 다르므로, 상기 '대지역A의 특징 분포와 비교 가능한 인식 영상 특징 분포'와 '대지역B의 특징 분포와 비교 가능한 인식 영상 특징 분포'는 서로 다르게 생성된다.
한 대지역(X1)의 대지역 특징 분포에 비교 가능한 인식 영상 특징 분포를 생성하기 위하여, 인식 영상 내 복수의 인식 디스크립터를 각각 대지역(X1) 내 복수의 대지역 라벨 디스크립터 중 거리가 가장 가까운 것으로 치환할 수 있다. 예를 들어, 인식 디스크립터
Figure PCTKR2017011699-appb-I000043
중
Figure PCTKR2017011699-appb-I000044
및
Figure PCTKR2017011699-appb-I000045
를 대지역(X1) 내 복수의 대지역 라벨 디스크립터들(
Figure PCTKR2017011699-appb-I000046
) 중 가장 거리가 가까운
Figure PCTKR2017011699-appb-I000047
로 각각 치환할 수 있다. 이 경우, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000048
및
Figure PCTKR2017011699-appb-I000049
)에 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000050
)가 대응(일의대응)한다. 나아가, 인식 디스크립터 및 인식 디스크립터에 가장 가까운 대지역 라벨 디스크립터 사이의 거리가 소정 값을 초과하는 경우에는, 해당 인식 디스크립터는 제외시키고 나머지 인식 디스크립터 들 만을 근거로 인식 영상 특징 분포를 생성하는 것도 가능하다.
어느 한 대지역(X1)의 대지역 특징 분포는, 각 대지역 라벨 디스크립터의 종류를 대표값(가로 축의 값)으로 보고, 각 종류당 웨이트(w)를 근거로 산출된 스코어(s2)를 도수(세로 축의 값)로 보는 대지역 특징 분포 히스토그램으로 표현될 수 있다.
어느 한 대지역(X1)의 대지역 특징 분포는, 각 대지역 라벨 디스크립터의 종류를 각 차원으로 보고, 각 종류 당 웨이트(w)를 근거로 산출된 스코어(s2)를 각 차원의 수치로 보는 대지역 특징 분포 벡터로 표현될 수 있다. 맵 상의 복수의 대지역(X1,X2,…Xj)에 대응(일대일대응)하는 복수의 대지역 특징 분포 벡터가 생성될 수 있다. (여기서, j는 자연수)
어느 한 대지역(X1)의 대지역 특징 분포에서, 어느 한 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000051
)의 스코어(s2)는 아래의 수학식 6를 통해 산출될 수 있다.
수학식 6
Figure PCTKR2017011699-appb-M000006
여기서, s2은 해당 대지역 특징 분포에서 어느 한 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000052
)의 스코어,
w2은 해당 대지역(X1) 내 상기 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000053
)의 웨이트,
Figure PCTKR2017011699-appb-I000054
은 해당 대지역(X1) 내 모든 대지역 라벨 디스크립터의 웨이트의 총합,
Figure PCTKR2017011699-appb-I000055
는 해당 대지역(X1) 내 '총 영상의 개수'를 '상기 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000056
)가 생성된 영상의 개수'로 나눈 값임.
어느 한 비교 대상 대지역(X1)에 비교 가능한 인식 영상 특징 분포는, 인식 영상 내 복수의 대지역 라벨 디스크립터의 종류를 대표값(가로 축의 값)으로 보고, 각 종류당 인식 웨이트(wh)를 근거로 산출된 인식 스코어(sh)를 도수(세로 축의 값)로 보는 인식 영상 특징 분포 히스토그램으로 표현될 수 있다.
어느 한 비교 대상 대지역(X1)에 비교 가능한 인식 영상 특징 분포는, 인식 영상 내 복수의 대지역 라벨 디스크립터의 종류를 각 차원으로 보고, 각 종류 당 인식 스코어(sh2)를 각 차원의 수치로 보는 인식 영상 특징 분포 벡터로 표현될 수 있다. 복수의 비교 대상 대지역(X1,X2,…Xj) 별 각각의 대지역 특징 분포에 비교 가능한 각각의 인식 영상 특징 분포 벡터가 생성될 수 있다. (여기서, j는 자연수)
예를 들어, 비교대상 대지역(X1)에 대한 인식 영상 특징 분포에서, 어느 한 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000057
)의 인식 스코어(sh2)는 아래의 수학식 7을 통해 산출될 수 있다.
수학식 7
Figure PCTKR2017011699-appb-M000007
여기서, sh2은 해당 인식 영상 내 어느 한 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000058
)의 인식 스코어,
wh2은 해당 인식 영상 내 상기 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000059
)의 인식 웨이트,
Figure PCTKR2017011699-appb-I000060
은 해당 인식 영상 내 모든 대지역 라벨 디스크립터의 인식 웨이트의 총합,
Figure PCTKR2017011699-appb-I000061
는 해당 대지역(X1) 내 '총 영상의 개수'를 '상기 대지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000062
)가 생성된 영상의 개수'로 나눈 값임. (상기 수학식 6에서의 정의와 같음)
상기 비교 과정(S241)에서, 각각의 대지역 별로 대지역 특징 분포와 인식 특징 분포를 서로 비교하여, 각각의 유사도를 산출한다. 예를 들어, 상기 유사도는 cosine similarity 를 이용한 다음의 수학식 8에 의해 산출될 수 있다.
수학식 8
Figure PCTKR2017011699-appb-M000008
여기서,
Figure PCTKR2017011699-appb-I000063
는 유사도인 확률이고,
Figure PCTKR2017011699-appb-I000064
는 어느 한 비교 대상 대지역의 대지역 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000065
는
Figure PCTKR2017011699-appb-I000066
에 비교 가능한 인식 영상 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000067
는 두 벡터의 절대값의 곱을 의미하고,
Figure PCTKR2017011699-appb-I000068
는 두 벡터의 내적을 의미함.
상기 지역 선택 과정(S251)에서, 각 대지역 별로 산출된 유사도 중 가장 큰 값이 산출된 대지역을 현재 위치가 속한 대지역으로 선택할 수 있다.
인식 과정(S200')은, 상기 과정(S251) 이후, 비교 대상 지역 별로 지역 내 복수의 지역 라벨 디스크립터(지역 라벨 디스크립터 그룹)와 상기 복수의 인식 디스크립터(인식 디스크립터 그룹)를 비교하는 과정(S246)을 포함한다. 상기 비교 과정(S246)에서 비교 대상 지역은, 상기 대지역 선택 과정(S251)에서 선택된 대지역 내 복수의 지역이다. 제 2실시예에서는 선택된 대지역 내 복수의 지역이 비교 대상이라는 점 및 상기 과정(S251) 이후에 진행되는 점을 제외하고, 제 2실시예의 상기 비교 과정(S246)은 제 1실시예의 상기 비교 과정(S240)과 동일하다.
인식 과정(S200')은, 상기 비교 과정(S246) 이후, 복수의 지역 중 미지의 현재 위치가 속한 어느 한 지역을 선택하는 과정(S256)을 포함한다. 상기 과정(S246) 이후에 진행되는 점을 제외하고, 제 2실시예의 상기 지역 선택 과정(S256)은 제 1실시예의 상기 지역 선택 과정(S250)과 동일하다.
도 12를 참고하여, 제 3실시예에 따른 학습 과정(S100'') 상기 제 1실시예에 따른 학습 과정(S100)과 중복되는 과정은 동일 도면 부호로 표기하고, 중복되는 내용의 설명은 생략한다.
학습 과정(S100'')은, 복수의 상기 지역 라벨 디스크립터를 근거로 전역 라벨 디스크립터를 생성하는 과정(S160)을 포함한다. 상기 과정(S160)은 제 2라벨생성단계(S160) 또는 전역라벨생성단계(S160)라 지칭할 수 있다. 상기 과정(S160)에서, 전역 내 복수의 지역 라벨 디스크립터를 복수의 그룹으로 분류한다. 상기 과정(S160)에서, 생성된 모든 지역 라벨 디스크립터 들을 복수의 그룹으로 분류한다. 상기 과정(S160)에서 복수의 지역에서 각각 생성된 지역 라벨 디스크립터 들을 복수의 그룹으로 분류한다. 상기 과정(S160)에서, 후술할 제 2소정 분류규칙에 따라 전역 내 복수의 지역 라벨 디스크립터 들을 복수의 그룹으로 분류한다. 상기 과정(S160)에서, 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 대표하는 전역 라벨 디스크립터를 생성한다. 상기 과정(S160)에서, 후술할 제 2소정 라벨규칙에 따라 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 근거로 전역 라벨 디스크립터를 생성한다.
상기 과정(S160)은, 상기 과정(S150) 이후 진행될 수 있다. 상기 과정(S160)은 이동 로봇(100)이 모든 주행을 마친 후 최종적으로 진행될 수 있다. 이동 로봇(100)이 모든 주행을 마친 상태에서는, 그 전까지의 주행 및 영상 획득(S110)에 따라 현재의 전역이 확정된다. 전역은 매 번의 주행마다 갱신될 수 있으므로, 상기 과정(S160)은 이동 로봇(100)이 모든 주행을 마친 상태에서 진행되는 것이 바람직하다.
도 13을 참고하여, 제 3실시예에 따른 인식 과정(S200'') 중 상기 제 1실시예에 따른 인식 과정(S200)과 중복되는 과정은 동일 도면 부호로 표기하고, 중복되는 내용의 설명은 생략한다.
인식 과정(S200'')은 비교대상선택단계(S231, S236)를 포함한다. 비교대상선택단계(S231, S236)는, 인식 디스크립터에 라벨 디스크립터를 매칭시키는 과정(S231) 및 비교 대상 노드의 선택 과정(S236)을 포함한다.
인식 과정(S200'')은, 상기 과정(S220) 이후, 상기 과정(S220)에서 생성된 인식 디스크립터 들에 각각 라벨 디스크립터를 매칭시키는 과정(S231)을 포함한다. 상기 과정(S231)에서, 상기 인식 디스크립터와 상기 라벨 디스크립터 간의 거리를 근거로 하여 인식 디스크립터 들에 각각 라벨 디스크립터를 매칭시킨다. 구체적으로, 상기 과정(S231)에서, 상기 인식 디스크립터 들에 각각 상기 인식 디스크립터로 부터 가장 가까운 거리의 라벨 디스크립터를 매칭시킨다.
상기 과정(S231)에서 상기 라벨 디스크립터는 전역 라벨 디스크립터인 것이 바람직하다. 상기 과정(S231)에서, 생성된 인식 디스크립터 들에 각각 전역 라벨 디스크립터를 매칭시킨다. 상기 과정(S231)에서, 상기 인식 디스크립터와 상기 전역 라벨 디스크립터 간의 거리를 근거로 하여 인식 디스크립터 들에 각각 전역 라벨 디스크립터를 매칭시킨다. 구체적으로, 상기 과정(S231)에서, 상기 인식 디스크립터 들에 각각 상기 인식 디스크립터로 부터 가장 가까운 거리의 전역 라벨 디스크립터를 매칭시킨다.
상기 과정(S231)에서, 상기 인식 디스크립터 들에 상기 라벨 디스크립터 들(전역 라벨 디스크립터 들)이 일의대응 하도록 상기 라벨 디스크립터(전역 라벨 디스크립터)를 매칭시킨다. 모든 인식 디스크립터의 각각에 오직 하나씩의 전역 라벨 디스크립터가 대응한다.
인식 과정(S200'')은, 상기 매칭 과정(S231) 이후, 상기 매칭된 라벨 디스크립터에 대응하는 하나 이상의 비교대상 노드를 선택하는 과정(S236)을 포함한다. 상기 매칭 과정(S231)에서 인식 디스크립터 들에 각각 전역 라벨 디스크립터를 매칭시킨 경우, 상기 과정(S236)에서 상기 매칭된 전역 라벨 디스크립터에 대응하는 하나 이상의 비교대상 노드를 선택한다.
상기 매칭 과정(S231)에서 매칭된 라벨 디스크립터 들(전역 라벨 디스크립터 들)에 디스크립터 들이 대응한다. 이러한 디스크립터 들(라벨 디스크립터에 대응하는 디스크립터 들)이 하나 이상의 영상에 대응한다. 상기 과정(S236)에서는, 이러한 영상(라벨 디스크립터에 대응하는 디스크립터 들에 대응하는 하나 이상의 영상)에 대응하는 하나 이상의 비교대상 노드를 선택한다.
구체적으로, 상기 매칭 과정(S231)에서 매칭된 라벨 디스크립터 들(전역 라벨 디스크립터 들)에 디스크립터 들이 일대다대응 한다. 이러한 디스크립터 들(라벨 디스크립터에 일대다대응 하는 디스크립터 들)이 하나 이상의 영상에 일의대응 한다. 상기 과정(S236)에서는, 이러한 영상(라벨 디스크립터에 일대다대응 하는 디스크립터 들에 일의대응 하는 하나 이상의 영상)에 일대일대응 하는 하나 이상의 비교대상 노드를 선택한다.
상기 비교대상 노드 선택 과정(S236)에서 선택되는 비교 대상 노드의 개수는 전역 내 노드의 총 개수 보다 적어지므로, 이 후의 비교 과정(S266)에 소요되는 시간이 짧아지는 효과가 있다.
인식 과정(S200'')은, 상기 비교대상 노드 선택 과정(S236) 이후, 비교 대상 노드 별로 복수의 전역 라벨 디스크립터(전역 라벨 디스크립터 그룹)과 상기 복수의 인식 디스크립터(인식 디스크립터 그룹)를 비교하는 과정(S266)을 포함한다. 상기 비교 과정(S266)에서, 비교 대상 노드 별로 비교 대상 노드에 대응하는 영상에 대하여, 영상 내 복수의 전역 라벨 디스크립터(전역 라벨 디스크립터 그룹)와 상기 복수의 인식 디스크립터(인식 디스크립터 그룹)을 비교한다. 인식 과정(S200'')은, 상기 비교 과정(S266) 이후, 비교대상 노드 들 중에 현재 위치로 추정되는 노드를 선택하는 과정(S270)을 포함한다.
상기 비교 과정(S266)에서, 비교 대상 노드에 대응하는 영상 내 복수의 전역 라벨 디스크립터의 종류 및 각 종류의 웨이트(w)를 근거로, 비교 대상 노드에 대응하는 영상 특징 분포를 생성한다. 이 경우, 비교 대상 노드에 대응하는 영상 내 복수의 전역 라벨 디스크립터는, 상기 매칭 과정(S231)에 따라 복수의 인식 디스크립터에 대응하는 전역 라벨 디스크립터 들 중 적어도 하나를 포함한다. 그렇지 않다면, 해당 영상에 대응하는 노드가 비교대상으로 선택될 수 없기 때문이다.
상기 비교 과정(S266)에서 인식 영상 특징 분포를 각 비교 대상 노드 별 영상 특징 분포와 비교하여, 가장 유사도가 높은 노드를 선택(S270)한다. 상기 비교 과정(S266)에서, 복수의 비교 대상 노드에 각각 대응(일대일대응)하는 복수의 영상 특징 분포는 모두 같은 종류의 라벨 디스크립터를 근거로 생성되므로, 인식 영상 특징 분포는 한 가지 형식으로 생성되어도 각각의 영상 특징 분포와 비교 가능하다. 예를 들어, 어느 한 영상A의 특징 분포와 비교하는 인식 영상 특징 분포는 다른 한 영상B의 특징 분포와 비교하는 인식 영상 특징 분포와 서로 다를 필요가 없다. 이를 통해, 다수의 인식 영상 특징 분포를 생성할 필요가 없어, 인식 영상 특징 분포를 생성하는데 소요되는 시간이 단축되는 효과가 있다.
제 3실시예에서, 인식 영상 내 복수의 인식 디스크립터를 각 인식 디스크립터에 대응하는 전역 라벨 디스크립터'로 치환하여 인식 영상 특징 분포를 생성한다. 또한, 어느 한 영상A의 특징 분포는 영상A 내 전역 라벨 디스크립터를 근거로 생성되고, 다른 한 영상B의 특징 분포는 영상B 내 전역 라벨 디스크립터를 근거로 생성된다. 인식 영상 특징 분포, 영상A의 특징 분포, 및 영상B의 특징 분포는 모두 전역 라벨 디스크립터를 근거로 생성되므로, 인식 영상 특징 분포와 각 영상 특징 분포를 비교하여 각 비교대상 노드 별로 유사도를 산출할 수 있다.
도 28을 참고하여, 인식 영상 내 복수의 인식 디스크립터를 각각 복수의 전역 라벨 디스크립터 중 거리가 가장 가까운 것으로 치환할 수 있다. 예를 들어, 인식 디스크립터
Figure PCTKR2017011699-appb-I000069
중
Figure PCTKR2017011699-appb-I000070
및
Figure PCTKR2017011699-appb-I000071
를 전역(X) 내 복수의 전역 라벨 디스크립터들(
Figure PCTKR2017011699-appb-I000072
) 중 가장 거리가 가까운
Figure PCTKR2017011699-appb-I000073
로 각각 치환할 수 있다. 이 경우, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000074
및
Figure PCTKR2017011699-appb-I000075
)에 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000076
)가 대응(일의대응)한다. 나아가, 인식 디스크립터 및 인식 디스크립터에 가장 가까운 전역 라벨 디스크립터 사이의 거리가 소정 값을 초과하는 경우에는, 해당 인식 디스크립터는 제외시키고 나머지 인식 디스크립터 들 만을 근거로 인식 영상 특징 분포를 생성하는 것도 가능하다.
도 28을 참고하여, 어느 한 비교 대상 노드의 영상 특징 분포는, 각 전역 라벨 디스크립터의 종류를 대표값(가로 축의 값)으로 보고, 각 종류당 웨이트(w)를 근거로 산출된 스코어(s3)를 도수(세로 축의 값)로 보는 영상 특징 분포 히스토그램으로 표현될 수 있다.
어느 한 비교 대상 노드의 영상 특징 분포는, 각 전역 라벨 디스크립터의 종류를 각 차원으로 보고, 각 종류 당 웨이트(w)를 근거로 산출된 스코어(s3)를 각 차원의 수치로 보는 영상 특징 분포 벡터로 표현될 수 있다. 복수의 비교대상 노드(예를 들어, N1,N14,N15,N38,N45,N62,N63,N64)에 대응(일대일대응)하는 복수의 영상 특징 분포 벡터가 생성될 수 있다.
어느 한 영상(I1)에 대응하는 비교대상 노드의 영상 특징 분포에서, 어느 한 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000077
)의 스코어(s3)는 아래의 수학식 9를 통해 산출될 수 있다.
수학식 9
Figure PCTKR2017011699-appb-M000009
여기서, s3은 해당 영상 특징 분포에서 어느 한 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000078
)의 스코어,
w3은 해당 영상(I1) 내 상기 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000079
)의 웨이트,
Figure PCTKR2017011699-appb-I000080
은 해당 영상(I1) 내 모든 전역 라벨 디스크립터의 웨이트의 총합,
Figure PCTKR2017011699-appb-I000081
는 전역(X) 내 '총 영상의 개수'를 '상기 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000082
)가 생성된 영상의 개수'로 나눈 값임.
도 28을 참고하여, 영상 특징 분포에 비교 가능한 인식 영상 특징 분포는, 인식 영상 내 복수의 전역 라벨 디스크립터의 종류를 대표값(가로 축의 값)으로 보고, 각 종류당 인식 웨이트(wh)를 근거로 산출된 인식 스코어(sh)를 도수(세로 축의 값)로 보는 인식 영상 특징 분포 히스토그램으로 표현될 수 있다.
영상 특징 분포에 비교 가능한 인식 영상 특징 분포는, 인식 영상 내 복수의 전역 라벨 디스크립터의 종류를 각 차원으로 보고, 각 종류 당 인식 스코어(sh2)를 각 차원의 수치로 보는 인식 영상 특징 분포 벡터로 표현될 수 있다. 영상 특징 분포에 비교 가능한 인식 영상 특징 분포 벡터가 생성될 수 있다.
예를 들어, 인식 영상 특징 분포에서, 어느 한 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000083
)의 인식 스코어(sh3)는 아래의 수학식 10을 통해 산출될 수 있다.
수학식 10
Figure PCTKR2017011699-appb-M000010
여기서, sh3은 해당 인식 영상 내 어느 한 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000084
)의 인식 스코어,
wh2은 해당 인식 영상 내 상기 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000085
)의 인식 웨이트,
Figure PCTKR2017011699-appb-I000086
은 해당 인식 영상 내 모든 전역 라벨 디스크립터의 인식 웨이트의 총합,
Figure PCTKR2017011699-appb-I000087
는 전역(X) 내 '총 영상의 개수'를 '상기 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000088
)가 생성된 영상의 개수'로 나눈 값임. (상기 수학식 9에서의 정의와 같음)
도 28을 참고하여, 상기 비교 과정(S266)에서, 각각의 비교 대상 노드 별로 영상 특징 분포와 인식 특징 분포를 서로 비교하여, 각각의 유사도를 산출한다. 예를 들어, 상기 유사도는 cosine similarity 를 이용한 다음의 수학식 11에 의해 산출될 수 있다.
수학식 11
Figure PCTKR2017011699-appb-M000011
여기서,
Figure PCTKR2017011699-appb-I000089
는 유사도인 확률이고,
Figure PCTKR2017011699-appb-I000090
는 어느 한 비교 대상 노드의 영상 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000091
는
Figure PCTKR2017011699-appb-I000092
에 비교 가능한 인식 영상 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000093
는 두 벡터의 절대값의 곱을 의미하고,
Figure PCTKR2017011699-appb-I000094
는 두 벡터의 내적을 의미함.
인식 과정(S200)은, 하나 이상의 비교대상 노드 중에 현재 위치로 추정되는 노드를 선택하는 과정(S270)을 포함한다. 상기 과정(S266) 및 상기 과정(S270)을 최종노드선택단계(S266, S270)라 지칭할 수 있다. 최종노드선택단계(S266, S270)에서, 각 비교대상 노드 별로 노드 정보와 상기 현재 위치에서 획득된 영상 정보를 비교하여, 상기 현재 위치로 추정되는 노드를 선택한다.
상기 노드 선택 과정(S270)에서, 각 비교 대상 노드 별로 산출된 유사도 중 가장 큰 값이 산출된 노드를 현재 위치에 대응(일의대응)하는 노드로 선택할 수 있다.
상기 수학식 3, 수학식 4, 수학식 6, 수학식 7, 수학식 9 및 수학식 10에서, 상기 IDF1, IDF2 또는 IDF3의 값에 의해 희소성이 있는 특징점을 근거로 생성된 라벨 디스크립터에 더 큰 스코어(s)를 부여하여, 더 높은 신뢰도를 가지고 지역, 대지역 또는 노드를 선택(S250, S251, S256, S270)할 수 있다.
상기 수학식 3, 수학식 6 및 수학식 9에서, 비교 대상인 특징 분포(지역 특징 분포, 대지역 특징 분포 또는 영상 특징 분포) 내 어느 하나의 라벨 디스크립터의 웨이트(w1,w2,w3)가 클수록 더 큰 스코어(s1,s2,s3)가 산출되게 하여, 비교 대상인 특징 분포 내 웨이트가 큰 라벨 디스크립터가 위치 인식의 주요 단서가 되게 한다.
상기 수학식 4, 수학식 7 및 수학식 10에서, 인식 영상 특징 분포 내 어느 하나의 라벨 디스크립터의 인식 웨이트(wh1,wh2,wh3)가 클수록 더 큰 인식 스코어(sh1,sh2,sh3)가 산출되게 하여, 인식 영상 특징 분포 내 웨이트가 큰 라벨 디스크립터가 위치 인식의 주요 단서가 되게 한다.
한편, 지역의 구분 없이 이동 로봇(100)이 맵을 학습하고 현재 위치를 인식하는 실시예도 가능하다. 도 12 및 13을 참고하여, 제 3실시예의 변형 예로서, 지역의 구분 과정(S140, S140') 없는 이동 로봇(100)의 학습 과정 및 인식 과정을 설명하면 다음과 같다.
상기 제 3실시예의 변형 예에 따른 학습 과정은, 도 12의 순서도에서 상기 과정(S140, S140') 및 상기 과정(S150)을 제외시킨 과정 들로 진행된다. 제 3실시예의 변형 예에 따른 학습 과정은, 지역 라벨 디스크립터의 생성 없이 복수의 디스크립터를 근거로 전역 라벨 디스크립터를 생성하는 과정(S160)을 포함한다. 상기 과정(S160)은 라벨생성단계(S160)라 지칭할 수 있다. 상기 과정(S160)에서, 모든 디스크립터를 복수의 그룹으로 분류한다. 상기 과정(S160)에서, 전역 내 디스크립터 들을 복수의 그룹으로 분류한다. 상기 과정(S160)에서, 후술할 소정 분류규칙에 따라 전역 내 복수의 지역 라벨 디스크립터 들을 복수의 그룹으로 분류한다. 상기 과정(S160)에서, 같은 그룹으로 분류된 디스크립터 들을 대표하는 전역 라벨 디스크립터를 생성한다. 상기 과정(S160)에서, 후술할 소정 라벨규칙에 따라 같은 그룹으로 분류된 디스크립터 들을 근거로 전역 라벨 디스크립터를 생성한다. 상기 과정(S160)은, 상기 디스크립터 생성 과정(S120) 이후 진행될 수 있다. 상기 과정(S160)은 이동 로봇(100)이 모든 주행을 마친 후 최종적으로 진행될 수 있다. 이동 로봇(100)이 모든 주행을 마친 상태에서는, 그 전까지의 주행 및 영상 획득(S110)에 따라 현재의 전역이 확정된다. 전역은 매 번의 주행마다 갱신될 수 있으므로, 상기 과정(S160)은 이동 로봇(100)이 모든 주행을 마친 상태에서 진행되는 것이 바람직하다.
상기 제 3실시예의 변형 예에 따른 인식 과정은 도 13은 순서도와 같은 과정 들로 진행되고, 상기 제 3실시예에 따른 인식 과정(S200'')과 동일하다.
도 14를 참고하여, 상기 주행 및 영상 획득 과정(S110) 및 상기 디스크립터 생성 과정(S120)을 보다 자세히 설명하면 다음과 같다.
상기 주행 및 영상 획득 과정(S110)에서, 이동 로봇(100)이 주행하는 중에 영상획득부(120)는 각 지점(P1,P2,P3)에서 영상을 획득한다. 영상은 이동 로봇(100)의 상측을 향해 촬영될 수 있다. 영상은 천장을 촬영한 것일 수 있다. 도 14에 도시된 영상은 지점(P3)에 대응하는 영상이다. 이동 로봇(100)은 지점(P3)에 대응하는 노드(N3)을 생성할 수 있고, 노드(N3)에 대응하는 좌표 정보(D186)는 이동 로봇(100)이 측정한 주행 변위를 근거로 생성될 수 있다. 도 14에 도시된 영상은 생성된 노드(N3)에 대응하는 영상이다.
도 14에 도시된 영상에는, 천장에 위치하는 조명들, 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등에 의한 여러 가지 특징점 들이 확인된다. 이동 로봇(100)은 영상으로부터 특징점을 추출한다. 컴퓨터 비전(Computer Vision) 기술 분야에서 영상으로부터 특징점을 추출하는 다양한 방법(Feature Detection)이 잘 알려져 있다. 이들 특징점의 추출에 적합한 여러 특징검출기(feature detector)들이 알려져 있다. 예를 들어, Canny, Sobel, Harris&Stephens/Plessey, SUSAN, Shi&Tomasi, Level curve curvature, FAST, Laplacian of Gaussian, Difference of Gaussians, Determinant of Hessian, MSER, PCBR, Grey-level blobs 검출기 등이 있다.
도 14를 참고하여, 디스크립터 생성 과정(S120)에서, 획득된 복수의 영상에서 추출된 복수의 특징점(f1,f2,f3,..,fm)을 근거로 디스크립터(
Figure PCTKR2017011699-appb-I000095
)를 생성한다.(여기서, m은 자연수) 복수의 특징점(f1,f2,f3,..,fm)에 복수의 디스크립터(
Figure PCTKR2017011699-appb-I000096
)는 일대일대응 한다.
도 14에서,
Figure PCTKR2017011699-appb-I000097
은 n차원 벡터를 의미한다.
Figure PCTKR2017011699-appb-I000098
의 중괄호 { } 안의 f1(1), f1(2), f1(3),..,f1(n)은
Figure PCTKR2017011699-appb-I000099
을 이루는 각 차원의 수치를 의미한다. 나머지
Figure PCTKR2017011699-appb-I000100
에 대한 표기도 이와 같은 방식이므로 설명을 생략한다.
특징 검출을 위해 SIFT(Scale Invariant Feature Transform) 기법을 이용하여, 복수의 특징점(f1,f2,f3,..,fm)에 대응하는 복수의 디스크립터(
Figure PCTKR2017011699-appb-I000101
)를 생성할 수 있다.
예를 들면, SIFT기법을 적용하여, 영상에서 식별이 용이한 특징점(f1,f2,f3,f4,f5,f6,f7)을 선택한 후, 각 특징점(f1,f2,f3,f4,f5,f6,f7) 주변의 일정한 구역에 속한 픽셀들의 밝기 구배(gradient)의 분포 특성(밝기 변화의 방향 및 변화의 급격한 정도)을 근거로 n차원 벡터인 디스크립터를 생성할 수 있다. 여기서, 특징점의 각 밝기 변화의 방향을 각 차원으로 보고, 각 밝기 변화의 방향에 대한 변화의 급격한 정도를 각 차원에 대한 수치로 하는 n차원 벡터(디스크립터)를 생성할 수 있다. SIFT 기법은 촬영 대상의 스케일(scale), 회전, 밝기변화에 대해서 불변하는 특징을 검출할 수 있어, 같은 영역을 이동 로봇(100)의 자세를 달리하며 촬영하더라도 불변하는(즉, 회전 불변한(Rotation-invariant)) 특징을 검출할 수 있다. 물론, 이에 한정되지 않고 다른 다양한 다른 기법(예를 들어, HOG: Histogram of Oriented Gradient, Haar feature, Fems, LBP:Local Binary Pattern, MCT:Modified Census Transform)들이 적용하는 것도 가능하다.
도 15 내지 17을 참고하여, 상기 노드 생성 과정(S130)을 보다 자세히 설명하면 다음과 같다. 이동 로봇(100)의 맵은 노드 정보(D180)를 근거로 생성된다. 노드 정보(D180)는 이동 로봇(100)에 데이터로 저장될 수 있다.
도 15를 참고하여, 상기 학습 과정은 원점 노드(O)를 설정하는 과정(S131)을 포함한다. 원점 노드(O)는 맵 상의 기준 점이다. 노드 좌표 정보(D186)는 원점 노드(O)에 주행 변위를 더하여 생성될 수 있다. 노드 좌표 정보(D186)가 갱신되는 경우에도 원점 노드(O)는 변경되지 않는다.
상기 학습 과정은, 원점 노드(O)를 설정하는 과정(S131) 이후, 이동 로봇(100)의 주행 중 노드(N)를 생성하는 과정(S133)를 포함한다. 상기 과정(S133)에서, 이동 로봇(100)은 노드 정보(D180)를 생성한다.
상기 학습 과정은, 노드(N) 사이의 루프 변위(LC) 측정 여부를 판단하는 과정(S135)를 포함한다. 상기 판단 과정(S135)에서, 루프 변위(LC)가 측정되면 노드(N)의 좌표 정보(D186)를 갱신하는 과정(S137)를 진행하고, 루프 변위(LC)가 측정되지 않으면 이동 로봇(100)의 맵 학습 종료여부를 판단하는 과정(S139)를 진행한다. 맵 학습 종료여부 판단과정(S139)에서, 맵 학습이 종료되지 않으면 다시 주행 중 노드 정보를 생성하는 과정(S133)을 진행할 수 있다. 도 15의 순서도는 일 실시예를 제시한 것이고, 주행 중 노드 정보 생성 과정(S133) 및 노드 간 루프 변위(LC) 측정여부 판단 과정(S135)의 선후 관계는 서로 바뀔 수 있고, 동시에 진행될 수도 있다.
도 16을 참고하여, 노드 정보(D180)는, 복수의 노드 정보(D180)들 중에 어느 노드에 대응하는 노드 정보(D180)인지 식별이 가능케 해주는 노드 고유 인덱스(D181)를 포함할 수 있다.
또한, 노드 정보(D180)는 해당 노드(N)에 대응하는 영상 정보(D183)를 포함한다. 대응하는 영상 정보(D183)는, 해당 노드(N)에 대응하는 주행 구역 내 지점에서 영상획득부(120)를 통해 획득한 영상이다.
또한, 노드 정보(D180)는 해당 노드(N)에서 주변 환경과의 거리 정보(D184)를 포함할 수 있다. 주변 환경과의 거리 정보(D184)는, 해당 노드(N)에 대응하는 지점에서 장애물 감지센서(131) 등이 측정한 거리 데이터일 수 있다.
또한, 노드 정보(D180)는 노드 좌표 정보(D186)를 포함한다. 노드(N) 좌표 정보(D186)는 원점 노드(O) 및 주행 변위를 근거로 생성될 수 있다.
또한, 노드 정보(D180)는 노드 갱신 시각 정보(D188)를 포함할 수 있다. 노드 갱신 시각 정보(D188)는 노드 정보(D180)가 생성 또는 갱신되는 시점에 대한 데이터이다. 예를 들어, 이동 로봇(100)이 기존의 노드 정보(D180)와 노드 고유 인덱스(D181)가 같은 노드 정보(D180)를 외부로부터 수신 받은 경우, 노드 갱신 시각 정보(D188)를 근거로 노드 정보(D180)의 갱신 진행 여부를 판단할 수도 있다. 노드 갱신 시각 정보(D188)는 최신의 노드 정보(D180)로의 갱신 진행 여부를 판단할 수 있게 해준다.
노드 정보(D180)가 생성되는 시점을 기준으로 노드 갱신 시각 정보(D188)가 생성된다. 이때, 생성되는 노드(N2)의 노드 고유 인덱스(D181)가 생성된다. 또한, 생성되는 노드(N2)에 대응하는 영상 정보(D183)가 해당 노드(N2)에 매칭된다. 또한, 생성되는 노드(N2)의 주변 환경과의 거리 정보(D184)가 해당 노드(N2)에 매칭될 수 있다.
한편, 노드 정보(D180)은 인접 노드와의 측정 변위 정보(D165)를 근거로 갱신될 수 있다. 인접 노드와의 측정 변위 정보(D165)는 상기 주행 변위에 대한 데이터를 포함할 수 있다. 인접 노드와의 측정 변위 정보(D165)는 후술할 루프 변위(LC)에 대한 데이터를 포함할 수 있다. 인접 노드와의 측정 변위 정보(D165)가 제어부(140)에 입력되면, 기 저장된 노드 정보(D180)가 생성 또는 갱신될 수 있다.
노드 정보(D180)의 갱신은 노드 좌표 정보 및 노드 갱신 시각 정보(D188)의 갱신일 수 있다. 노드 정보(D180)의 갱신은 대응하는 영상 정보(D183)의 갱신일 수 있다.
도 17을 참고하여, 원점 노드(O)가 설정된 상태에서 주행 변위(C1)가 측정되어 노드(N1)의 정보(D180)가 생성된다. 이후 측정된 주행 변위(C2)의 시점이 되는 노드(N1)의 좌표 정보(D186)에 상기 주행 변위(C2)를 더하여, 상기 주행 변위(C2)의 종점이 되는 노드(N2)의 좌표 정보(D186)를 생성할 수 있다. 노드(N2)의 정보(D180)가 생성된 상태에서 주행 변위(C3)가 측정되어 노드(N3)의 정보(D180)가 생성된다. 이와 같이 순차적으로 측정되는 주행 변위 들(C1,C2,C3,…,C16)을 근거로 순차적으로 노드 들(N1,N2,N3,…,N16)의 정보(D180)가 생성된다.
어느 하나의 주행 변위(C15)의 시점이 되는 노드(C15)를 해당 주행 변위(C15)의 종점이 되는 노드(16)의 '기초 노드'라고 정의할 때, 루프 변위(Loop Constraint, LC)는 어느 한 노드(N15) 및 상기 어느 한 노드(N15)의 상기 '기초 노드(N14)가 아닌' 다른 인접한 노드(N5) 사이의 변위가 측정된 값을 의미한다.
일 예로, 어느 한 노드(N15)에 대응하는 획득영상 정보(D183)와 다른 인접한 노드(N5)에 대응하는 획득영상 정보(D183)가 서로 비교되어 두 노드(N15,N5) 사이의 루프 변위(LC)가 측정될 수 있다. 다른 예로, 어느 한 노드(N15)의 주변 환경과의 거리 정보(D184)와 다른 인접한 노드(N5)의 주변 환경과의 거리 정보(D184)가 서로 비교되어 두 노드(N15,N5) 사이의 루프 변위(LC)가 측정될 수 있다. 도 19에는, 노드 N5와 노드 N15 사이에서 측정된 루프 변위(LC1), 및 노드 N4와 노드 N16 사이에서 측정된 루프 변위(LC2)가 예시적으로 도시되어 있다.
상기 주행 변위를 근거로 생성된 어느 한 노드(N5)의 정보(D180)는 노드 좌표 정보(D186) 및 해당 노드(N5)에 대응하는 영상 정보(D183)를 포함한다. 노드(N5)에 인접하는 다른 노드(N15)가 있을 때, 노드(N15)에 대응하는 영상 정보(D183)를 노드(N5)에 대응하는 영상 정보(D183)와 비교하면 두 노드(N5,N15) 사이의 루프 변위(LC1)가 측정된다. '루프 변위(LC1)'와 '기 저장된 두 노드(N5,N15)의 좌표 정보(D186)에 따라 산출되는 변위'가 서로 다를 경우, 노드 좌표 정보(D186)에 오차가 있는 것으로 보고, 두 노드(N5,N15)의 좌표 정보(D186)를 갱신할 수 있다. 이 경우, 두 노드(N5,N15)와 연결된 다른 노드 들(N6,N7,N8,N9,N10,N11,N12,N13,N14)의 좌표 정보(D186)도 갱신될 수 있다. 또한, 한번 갱신된 노드 좌표 정보(D186)도 계속해서 상기 과정을 거쳐 거듭 갱신될 수 있다.
보다 구체적으로 설명하면 다음과 같다. 루프 변위(LC)가 측정된 두 노드(N)를 각각 제 1루프 노드 및 제 2루프 노드라고 정의한다. 기 저장된 제 1루프 노드의 노드 좌표 정보(D186) 및 제 2루프 노드의 노드 좌표 정보(D186)에 의해 산출되는 '산출 변위(Δx1, Δy1, θ1)'(좌표값의 차에 의해 산출됨)가 루프 변위(LC)(Δx2, Δy2, θ2)와 차이(Δx1-Δx2, Δy1-Δy2, θ1-θ2)가 발생할 수 있다. 상기 차이가 발생하면, 상기 차이를 오차로 보고 노드 좌표 정보(D186)를 갱신할 수 있는데, 루프 변위(LC)가 상기 산출 변위보다 더 정확한 값이라는 가정하에 노드 좌표 정보(D186)를 갱신한다.
노드 좌표 정보(D186)를 갱신하는 경우, 상기 제 1루프 노드 및 제 2루프 노드의 노드 좌표 정보(D186)만 갱신할 수도 있으나, 상기 오차의 발생은 주행 변위들의 오차가 누적되어 발생된 것이므로 상기 오차를 분산시켜 다른 노드들의 노드 좌표 정보(D186)도 갱신하도록 설정할 수 있다. 예를 들어, 상기 제 1루프 노드와 제 2루프 노드 사이에 상기 주행 변위에 의해 생성된 모든 노드들에, 상기 오차 값을 분산시켜 노드 좌표 정보(D186)를 갱신할 수 있다. 도 17를 참고하여, 루프 변위(LC1)가 측정되고 상기 오차가 산출된 경우, 제 1루프 노드(N15)와 제 2루프 노드(N5)와 사이의 노드 들(N6 내지 N14)에 상기 오차를 분산시켜, 노드 들(N5 내지 N15)의 노드 좌표 정보(D186)가 모두 조금씩 갱신될 수 있다. 물론, 이러한 오차 분산을 확대시켜, 이외의 노드 들(N1 내지 N4)의 노드 좌표 정보(D186)를 같이 갱신할 수도 있음은 물론이다.
도 18 및 19를 참고하여, 지역 구분 과정(S140, S140')에서 소정의 지역 구분 조건 또는 소정의 대지역 구분 조건을 자세히 설명하면 다음과 같다.
도 18을 참고하여, 일 실시예에 따른 지역 구분 과정(S140)에서, 소정의 지역 구분 조건은 노드의 개수를 근거로 설정된다. 상기 일 실시예에 따른 지역 구분 조건은, '연속적으로 생성된 신규 노드의 개수가 a개에 도달 하는 조건'(제 1조건)을 포함한다. 일 실시예에 따른 지역 구분 조건이 만족되면, 추가로 생성된 신규 노드 a개가 하나의 지역으로 그룹핑되어 구분된다. 여기서, a는 고정된 자연수 값으로 기 설정 될 수도 있고, 소정 기준에 따라 변경되는 자연수 값으로 기 설정될 수도 있다.
예를 들어, 상기 제 1조건에서 a=30으로 기 설정 될 수 있다. 연속적으로 생성된 신규 노드의 개수가 30개에 도달하면 지역 구분 조건이 만족된다. 지역 구분 조건이 만족되면, 추가로 생성된 신규 노드 30개가 하나의 지역으로 그룹핑되어 구분된다. 구체적으로, 노드 들(N1 내지 N30)이 하나의 지역(A1)으로 그룹핑되어 구분되고, 노드 들(N31 내지 N60)이 하나의 지역(A2)으로 그룹핑되어 구분되며, 노드 들(N61 내지 N90)이 하나의 지역(A1)으로 그룹핑되어 구분된다.
상기 일 실시예에 따른 지역 구분 조건은, '주행 종료 시에 제 1조건에 따라 지역으로 그룹핑되지 않는 신규로 생성된 노드가 존재하는 조건'(제 2조건)을 더 포함할 수 있다. 상기 제 1조건 또는 상기 제 2조건이 만족하면, 상기 일 실시예에 따른 지역 구분 조건이 만족된다.
예를 들어, 이동 로봇(100)이 순차적으로 노드(N1)부터 노드(N90)까지 생성하면 3개의 지역(A1,A2,A3)을 구분할 수 있는 상기 제 1조건이 만족된다. 이후, 이동 로봇(100)이 순차적으로 노드(N91)부터 노드(N99)까지 생성하고 추가적으로 상기 제 1조건이 만족되지 않은 상태에서 주행을 종료하면, 상기 제 2조건이 만족하여 신규로 생성된 노드 들(N91 내지 N99)이 하나의 지역(A4)으로 그룹핑되어 구분된다.
도면에 도시되진 않으나, 만약 이동 로봇(100)의 주행시 신규의 노드를 생성하다가 이미 맵핑된 구역을 관통하기 시작하면 추가로 노드를 생성하지 않게 되고, 이동 로봇(100)이 이미 맵핑된 구역의 관통을 종료하면 추가로 노드를 생성하게 된다. 이 경우, 이미 맵핑된 구역을 관통하기 전에 신규로 생성된 노드 들(제 1노드 그룹)과 이미 맵핑된 구역을 관통한 후에 신규로 생성된 노드 들(제 2노드 그룹) 사이에는, 맵 상의 연속성이 없어지게 된다. 상기 일 실시예에 따른 지역 구분 조건은, 상기 제 1조건 또는 제 2조건에 따라 '상기 제 1노드 그룹 중 적어도 하나의 노드'와 '상기 제 2노드 그룹 중 적어도 하나의 노드'가 같은 지역으로 그룹핑되어 구분될 수 있더라도, 상기 제 1노드 그룹과 상기 제 2노드 그룹이 서로 다른 지역으로 그룹핑되게 하는 예외 조건을 포함할 수 있다.
도 19를 참고하여, 다른 실시예에 따른 지역 구분 과정(S140')에서, 소정의 지역 구분 조건은 주행 구역의 구획 형상을 근거로 설정된다. 상기 다른 실시예에 따른 지역 구분 조건은, 각 실 등이 구획하는 실제 구역에 대응하는 맵 상의 영역을 지역으로 구분하는 조건이다. 이동 로봇(100)은 주행 구역 내 각 실의 벽(20)과 개폐 가능한 문(21) 들을 인식하여, 상기 다른 실시예에 따른 지역 구분 과정(S140')이 진행할 수 있다. 상기 다른 실시예에 따른 지역 구분 과정(S140’)은, 전역(X) 내의 각 실을 근거로 노드 들을 그룹핑하여 지역으로 구분할 수 있다. 도 19에서는, 맵 상의 각 지역 들(A1',A2',A3',A4',A5')의 구분 근거인 실제 주행 구역의 구획 형상의 일례를 도시한다.
도시되지는 않았으나, 또 다른 실시예1에 따른 지역 구분 과정에서, 소정의 지역 구분 조건은 구획 영역의 넓이를 기준으로 설정될 수 있다. 또 다른 실시예1에서, 이동 로봇(100)은 주행 구역을 각각 소정 기준에 따른 넓이를 가진 구획 영역들로 구분하고, 각 구획 영역에 속한 노드들을 그룹핑하여 지역으로 구분할 수 있다. 예를 들어, 거의 동일한 크기의 사각 영역들로 주행 구역을 구분하고, 사각 영역이 아닌 나머지 영역들도 다른 영역과 거의 동일한 크기의 영역들로 구분할 수 있다.
도시되지는 않았으나, 또 다른 실시예2에 따른 지역 구분 과정에서, 소정의 지역 구분 조건은 각 노드에 대응하는 영상 내 디스크립터를 근거로 설정될 수 있다. 또 다른 실시예2에서, 각 노드들에 대응하는 영상들 간의 소정 기준에 따른 유사도를 근거로, 지역이 구분될 수 있다. 예를 들어, 제 1노드에 대응하는 제 1영상 내 디스크립터들 및 제 2노드에 대응하는 제 2영상 내 디스크립터들을 근거로, 소정치 이상의 유사도가 있으면 제 1노드와 제 2노드를 같은 지역으로 그룹핑할 수 있다.
도 20에는, 전역(X)과, 상기 소정의 지역 구분 조건에 따라 구분된 복수의 지역(A1 내지 A5)과, 복수의 노드(N1 내지 N30)의 관계가 예시적으로 도시된다. 도 20에는, 복수의 노드에 일대일대응 하는 복수의 영상이 도시된다. 복수의 노드(예를 들어, N1 내지 N30)이 그룹핑되어 지역(예들 들어, A1)으로 구분된다. 맵 상의 모든 지역(예를 들어, A1 내지 A5)을 합하여 전역(X)이라 지칭할 수 있다. 맵 상의 모든 노드 들을 합하여 전역(X)이라 지칭할 수 있다.
한편, 도면에 도시되진 않으나, 소정의 대지역 구분 조건을 설명하면 다음과 같다. 일 실시예에 따른 대지역 구분 조건은 지역의 개수를 근거로 설정된다. 상기 일 실시예에 따른 대지역 구분 조건은, '구분된 신규 지역의 개수가 b개에 도달 하는 조건'(제 1대지역 조건)을 포함한다. 일 실시예에 따른 대지역 구분 조건이 만족되면, 추가로 구분된 신규 지역 b개가 하나의 대지역으로 그룹핑되어 구분된다. 여기서, b는 고정된 자연수 값으로 기 설정 될 수도 있고, 소정 기준에 따라 변경되는 자연수 값으로 기 설정될 수도 있다.
예를 들어, 상기 제 1대지역 조건에서 b=5으로 기 설정 될 수 있다. 새롭게 구분된 신규 지역의 개수가 5개에 도달하면 대지역 구분 조건이 만족된다. 대지역 구분 조건이 만족되면, 추가로 구분된 신규 지역 5개가 하나의 지역으로 구분된다. 구체적으로, 지역 들(A1 내지 A5)가 하나의 대지역(X1)으로 그룹핑되어 구분된다.
상기 일 실시예에 따른 대지역 구분 조건은, '주행 종료 시에 제 1대지역 조건에 따라 대지역으로 그룹핑되지 않는 신규로 구분된 지역이 존재하는 조건'(제 2대지역 조건)을 더 포함할 수 있다. 상기 제 1대지역 조건 또는 상기 제 2대지역 조건이 만족하면, 상기 일 실시예에 따른 대지역 구분 조건이 만족된다.
예를 들어, 이동 로봇(100)이 지역 들(A1 내지 A15)까지 생성하면 3개의 대지역(X1,X2,X3)을 구분할 수 있는 상기 제 1대지역 조건이 만족된다. 이후, 이동 로봇(100)이 추가로 지역 들(A16,A17)을 구분하고 추가적으로 상기 제 1대지역 조건이 만족되지 않은 상태에서 주행을 종료하면, 상기 제 2대지역 조건이 만족하여 신규로 구분된 지역 들(A16,A17)이 하나의 대지역(X4)으로 그룹핑되어 구분된다.
또한, 이동 로봇(100)이 맵 상의 연속성이 없는 '지역 들'(제 1지역 그룹)과 '다른 지역 들'(제 2지역 그룹)을 신규로 구분하는 상황이 발생할 수 있다. 상기 일 실시예에 따른 대지역 구분 조건은, 상기 제 1대지역 조건 또는 제 2대지역 조건에 따라 '상기 제 1지역 그룹 중 적어도 하나의 지역'과 '상기 제 2지역 그룹 중 적어도 하나의 지역'이 같은 대지역으로 그룹핑되어 구분될 수 있더라도, 상기 제 1지역 그룹과 상기 제 2지역 그룹이 서로 다른 대지역으로 그룹핑되게 하는 대지역 예외 조건을 포함할 수 있다.
다른 실시예에 따른 대지역 구분 조건은, 이동 로봇의 주행 능력상 서로 분리되는지 여부를 근거로 설정될 수 있다. 이동 로봇(100)의 주행 능력상 분리된 구역이란, 어느 한 구역에서 다른 구역으로 이동 로봇(100)이 스스로 이동할 수 없는 정도의 분리됨을 의미한다. 예를 들면, 서로 동선상 완전히 분리된 두 개의 실내공간은 각각 두 개의 대지역으로 구분될 수 있다. 예를 들어, 같은 실내 공간이라 하더라도, 상기 대지역은 전역(X) 내의 각 층을 근거로 구분될 수 있다.
복수의 지역(예를 들어, A1 내지 A5)이 그룹핑되어 대지역(X1)으로 구분될 수 있다. 맵 상의 모든 대지역 들을 합하여 전역(X)이라 지칭할 수 있다.
상기 예시에 제한될 필요없이, 그 밖에도 알려진 다양한 방식에 의해서 지역 또는 대지역이 구분될 수 있다.
도 21 내지 24를 참고하여, 상기 라벨 디스크립터 생성 과정(S150,S156,S160)을 보다 자세히 설명한다. 구체적으로, 제 3실시예에 따른 지역 라벨 디스크립터 생성 과정(S150)과 전역 라벨 디스크립터 생성 과정(S160)을 기준으로 설명하나, 이는 제 2실시예에 따른 대지역 라벨 디스크립터 생성 과정(S156)에도 자명한 범위에서 변형 적용 가능하다.
라벨 디스크립터 생성 과정(S150,S156,S160)에서, 상기 소정 분류규칙은, 복수의 디스크립터를 디스크립터 들간의 거리를 기준으로 나누어 상대적으로 근접한 거리의 디스크립터 들 끼지 동일 그룹이 되게 하는 규칙을 포함할 수 있다. 여기서, 상대적으로 근접한 거리란, 상기 분류규칙에 따라 나누어진 어느 한 그룹G1 내의 디스크립터 들 사이의 사이의 평균적인 거리가 서로 다른 그룹G1,G2 내에 각각 속한 디스크립터 들 사이의 평균적인 거리보다 작은 것을 의미한다. 상기 분류규칙은 후술하는 제 1소정 분류규칙 및/또는 제 2소정 분류규칙을 포함할 수 있다.
라벨 디스크립터 생성 과정(S150,S156,S160)에서, 상기 소정 라벨규칙은, 상기 분류규칙에 따라 같은 그룹으로 분류된 디스크립터 들을 근거로 산출된 대표값을 라벨 디스크립터로 하는 규칙을 포함할 수 있다. 일 실시예에서, 상기 대표값은 같은 그룹으로 분류된 디스크립터 들의 평균값이다. 다른 실시예에서, 상기 대표값은 같은 그룹으로 분류된 디스크립터 들의 중간값일 수 있다. 또 다른 실시예에서, 상기 대표값은, '상기 평균값 또는 상기 중간값'에 소정 기준에 따라 '보정값'을 가감한 값일 수 있다. 상기 라벨규칙은 후술하는 제 1소정 라벨규칙 및/또는 제 2소정 라벨규칙을 포함할 수 있다.
도 21을 참고하여, 상기 제 1소정 분류규칙은, 지역(A1) 내 복수의 디스크립터를 디스크립터 들간의 거리를 기준으로 나누어 상대적으로 근접한 거리의 디스크립터 들 끼지 동일 그룹(A1G1,A1G2,A1G3,…,A1Gl)이 되게 하는 규칙을 포함할 수 있다.(여기서, l은 자연수)
도 21을 참고하여, 상기 제 1소정 라벨규칙은, 상기 제 1소정 분류규칙에 따라 같은 그룹(A1G1)으로 분류된 디스크립터 들(
Figure PCTKR2017011699-appb-I000102
)을 근거로 산출된 대표값을 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000103
)로 하는 규칙을 포함할 수 있다.
도 22를 참고하여, 상기 제 2소정 분류규칙은, 전역(X) 내 복수의 지역 라벨 디스크립터를 지역 라벨 디스크립터 들간의 거리를 기준으로 나누어 상대적으로 근접한 거리의 지역 라벨 디스크립터 들 끼지 동일 그룹(XG1,XG2,XG3,…,XGk)이 되게 하는 규칙을 포함할 수 있다.(여기서, k는 자연수)
도 22를 참고하여, 상기 제 2소정 라벨규칙은, 상기 제 2소정 분류규칙에 따라 같은 그룹(XG1)으로 분류된 지역 라벨 디스크립터 들(웨이트 3의
Figure PCTKR2017011699-appb-I000104
, 웨이트 10의
Figure PCTKR2017011699-appb-I000105
, 웨이트 2의
Figure PCTKR2017011699-appb-I000106
)을 근거로 산출된 대표값을 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000107
)로 하는 규칙을 포함한다.
도 21에서, A1G1, A1G2, A1G3, …, A1Gl은 지역 A1 내 복수의 디스크립터를 제 1소정 분류규칙에 따라 나눈 각 그룹을 도시한 것이다. 대괄호 [ ] 안에는 같은 그룹으로 분류된 적어도 하나의 디스크립터를 도시한 것이다. 예를 들어, 어느 하나의 그룹 A1G1으로 분류된 디스크립터들은
Figure PCTKR2017011699-appb-I000108
이다. 나머지 A1G2, A1G3, …, A1Gl에 대한 표기도 이와 같은 방식이므로 설명을 생략한다.
도 23에는, 일 실시예에 따른 제 1소정 분류규칙에 따라 지역 내 복수의 디스크립터를 복수의 그룹으로 나누는 과정(S150)이 도시된다. 도 23에서, 어느 하나의 점(dot)에서 아래로 두 갈래로 뻗어나가는 라인(line)을 도시하고, 각 라인의 하단에 각각 점(dot)을 도시하는 방식으로, 하측으로 뻗어나가는 트리 구조(tree structure)가 도시된다. 상기 과정(S150)의 트리 구조에서 어느 한 점이 하측으로 두 개의 점으로 나누어지는 도식은, '복수의 디스크립터가 2개의 그룹으로 나누어지는 과정'(디바이딩 과정, dividing process)을 표현한 것이다. 상기 과정(S150)의 트리 구조에서 하측 종단을 이루는 점 들(A1G1 내지 A1G14, A2G1 내지 A2G17, A3G1 내지 A3G24)은, 복수의 디스크립터가 제 1소정 분류규칙에 따라 최종적으로 나누어진 그룹 들을 표현한 것이다.
일 실시예에 따른 제 1소정 분류규칙에 따라 지역 내 복수의 디스크립터를 복수의 그룹으로 나누는 과정은, 상기 디바이딩 과정을 포함한다. 상기 디바이딩 과정에서, 나누어질 대상이 되는 복수의 디스크립터를 '헤드 그룹'(head group)이라 정의하고, 두 갈래로 나누어진 2개의 그룹을 각각 '가지 그룹'(branch group)이라 정의한다. 어느 하나의 디바이딩 과정에서 생성된 2개의 상기 가지 그룹은, 다음의 디바이딩 과정에서 각각 상기 헤드 그룹이 될 수 있다. 본 실시예에서는 1회의 상기 디바이딩 과정을 거쳐 하나의 헤드 그룹이 2개의 가지 그룹으로 나누어지는 것으로 설명하나, 1회의 상기 디바이딩 과정을 거쳐 3개 이상의 가지 그룹으로 나누어지는 것도 가능하다.
상기 디바이딩 과정은, 헤드 그룹 내의 복수의 디스크립터 사이의 거리에 근거하여, 헤드 그룹을 k1개의 가지 그룹으로 나누어 준다.(여기서, k1는 2이상의 자연수) 이하 1회의 디바이딩 과정을 구체적으로 설명한다. 상기 디바이딩 과정은, 헤드 그룹 내의 복수의 디스크립터 중 임의로 k1개의 디스크립터를 선택하고, 헤드 그룹 내의 선택되지 않은 나머지 디스크립터 들은 선택된 k1개의 디스크립터 중 거리 상 가장 가까운 디스크립터와 같이 그룹핑되어, k1개의 '제 1차 임시 그룹'을 생성하는 제 1차 임시 과정을 포함한다. 상기 디바이딩 과정은, 상기 제 1차 임시 과정 이후, 각각의 제 1차 임시 그룹 내 디스크립터 들의 제 1차 평균값을 산출하고, 헤드 그룹 내 모든 디스크립터 들이 k1개의 제 1차 평균값 중 거리상 가장 가까운 값에 매칭된다고 가정할 때, 같은 제 1차 평균값에 매칭된 디스크립터 들 끼리 그룹핑되어 k1개의 '제 2차 임시 그룹'을 생성하는 제 2차 임시 과정을 포함할 수 있다. 상기 디바이딩 과정은, 제 1 내지 m차 임시 과정을 포함할 수 있다.(여기서, m은 2이상의 자연수) 상기 디바이딩 과정은, 상기 제 m-1차 임시 과정 이후, 각각의 제 m-1차 임시 그룹 내 디스크립터 들의 제 m-1차 평균값을 산출하고, 헤드 그룹 내 모든 디스크립터 들이 산출된 k1개의 제 m-1차 평균값 중 거리상 가장 가까운 값에 매칭된다고 가정할 때, 같은 제 m-1차 평균값에 매칭된 디스크립터 들 끼리 그룹핑되어 k1개의 '제 2차 임시 그룹'을 생성하는 제 m차 임시 과정을 포함할 수 있다. 상기 임시 과정이 제 1차부터 제 m차까지 반복될수록, 디스크립터 들의 그룹핑이 한 가지 형태로 수렴하게 되고, 제 m차 임시 과정 이후 생성된 k1개의 제 m차 임시 그룹이 k1개의 가지 그룹이 된다.
상기 일 실시예에 따른 제 1소정 분류규칙은, 어느 한 지역 내 복수의 디스크립터에 대해서 상기 디바이딩 과정을 총 k2회 반복시키는 '기본 규칙'과, 어느 하나의 가지 그룹 내의 디스크립터의 개수가 k3개 이하일 경우 그 가지 그룹을 헤드 그룹으로 하는 디바이딩 과정을 더 이상 진행하지 않게 하는 '예외 규칙'을 포함한다.(여기서, k2 및 k3은 자연수) 일 예로, 제 1소정 분류규칙은 n=9인 기본 규칙과 m=1로 하는 예외 규칙을 포함할 수 있다. 기본 규칙에 따라, 어느 하나의 헤드 그룹에 대해 디바이딩 과정을 거쳐 2개의 가지 그룹을 생성하고, 생성된 가지 그룹을 헤드 그룹으로 하여 디바이딩 과정을 반복적으로 진행할 수 있다. 가지 그룹 내의 디스크립터의 개수가 m개 이하인 경우, 기본 규칙과 무관하게 예외 규칙에 따라 그 가지 그룹을 헤드 그룹으로 하는 디바이딩 과정을 더 이상 진행하지 않는다.
도 23에서는, 상기 일 실시예에 따른 제 1소정 분류규칙에 따라, 지역 A1 내 복수의 디스크립터는 복수의 그룹 A1G1 내지 A1G14로 나누어지고, 지역 A2 내 복수의 디스크립터는 복수의 그룹 A2G1 내지 A2G17로 나누어지고, 지역 A3 내 복수의 디스크립터는 복수의 그룹 A3G1 내지 A3G24로 나누어진다.
도면에 도시되진 않으나, 다른 실시예에 따른 제 1소정 분류규칙은, 두 디스크립터 사이의 거리가 소정 값(ST1) 이하인 디스크립터끼리 같은 그룹으로 분류하는 규칙을 포함한다.
도 21에서,
Figure PCTKR2017011699-appb-I000109
은 제 1소정 라벨규칙에 따라 생성된 지역 라벨 디스크립터를 도시한 것이다. 제 1소정 분류규칙에 따라 같은 그룹으로 분류된 복수의 디스크립터를 근거로, 제 1소정 라벨규칙에 따라 지역 라벨 디스크립터를 생성한다. 예를 들어, 어느 하나의 그룹 A1G1 내의 복수의 디스크립터
Figure PCTKR2017011699-appb-I000110
을 근거로, 제 1소정 라벨규칙에 따라 웨이트 3의 지역 라벨 디스크립터
Figure PCTKR2017011699-appb-I000111
을 생성한다. 다른 측면에서 보면, 상기 복수의 디스크립터
Figure PCTKR2017011699-appb-I000112
이 제 1소정 라벨규칙에 따라 각각 지역 라벨 디스크립터
Figure PCTKR2017011699-appb-I000113
로 변환된 것으로 볼 수도 있다. 나머지 A1G2, A1G3, …, A1Gl 그룹 내의 디스크립터 들을 근거로, 제 1소정 라벨규칙에 따라 각각의 웨이트를 가진 각각의 지역 라벨 디스크립터가 생성된다.
도 24에는, 일 실시예에 따른 제 1소정 라벨규칙에 따라 복수의 디스크립터를 근거로 웨이트 M1의 지역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000114
)를 생성하는 과정(S150)이 도시된다.(여기서, M1은 자연수) 상기 제 1소정 라벨규칙은, 같은 그룹으로 분류된 적어도 하나의 디스크립터의 평균값을 지역 라벨 디스크립터로 하는 규칙을 포함할 수 있다.
도 22에서, XG1, XG2, XG3, …, XGk은 전역(X) 내의 모든 지역 라벨 디스크립터를 제 2소정 분류규칙에 따라 나눈 각 그룹을 도시한 것이다. 대괄호 '[ ]' 안에는 같은 그룹으로 분류된 적어도 하나의 지역 라벨 디스크립터를 도시한 것이다. 또한, 각 지역 라벨 디스크립터의 우측 소괄호 '( )' 안에는 각 지역 라벨 디스크립터의 웨이트(w)를 도시한 것이다. 예를 들어, 어느 하나의 그룹 XG1으로 분류된 지역 라벨 디스크립터들은 웨이트 3의
Figure PCTKR2017011699-appb-I000115
, 웨이트 10의
Figure PCTKR2017011699-appb-I000116
, 웨이트 2의
Figure PCTKR2017011699-appb-I000117
이다.
Figure PCTKR2017011699-appb-I000118
은 지역 A1의 지역 라벨 디스크립터 중 어느 하나를 나타내고,
Figure PCTKR2017011699-appb-I000119
은 지역 A2의 지역 라벨 디스크립터 중 어느 하나를 나타내고,
Figure PCTKR2017011699-appb-I000120
은 지역 A5의 지역 라벨 디스크립터 중 어느 하나를 나타낸다. 나머지 XG2, XG3, …, XGk에 대한 표기도 이와 같은 방식이므로 설명을 생략한다.
도 23에는, 일 실시예에 따른 제 2소정 분류규칙에 따라 전역(X) 내 모든 지역 라벨 디스크립터를 복수의 그룹으로 나누는 과정(S160)이 도시된다. 도 23에서, 점(dot)과 두 갈래로 뻗어나가는 라인(line)으로 도시된 트리 구조(tree structure)에 대한 설명은 상술한 바와 같다. 상기 과정(S160)의 트리 구조에서 어느 한 점이 하측으로 두 개의 점으로 나누어지는 도식은, '복수의 지역 라벨 디스크립터가 2개의 그룹으로 나누어지는 과정'(전역 디바이딩 과정, global dividing process)을 표현한 것이다. 상기 과정(S160)의 트리 구조에서 하측 종단을 이루는 점 들(XG1 내지 XG53)은, 복수의 지역 라벨 디스크립터가 제 2소정 분류규칙에 따라 최종적으로 나누어진 그룹 들을 표현한 것이다.
일 실시예에 따른 제 2소정 분류규칙에 따라 전역 내 복수의 지역 라벨 디스크립터를 복수의 그룹으로 나누는 과정은, 상기 전역 디바이딩 과정을 포함한다. 상기 전역 디바이딩 과정에서, 나누어질 대상이 되는 복수의 지역 라벨 디스크립터를 '전역 헤드 그룹'(global head group)이라 정의하고, 두 갈래로 나누어진 2개의 그룹을 각각 '전역 가지 그룹'(global branch group)이라 정의한다. 어느 하나의 전역 디바이딩 과정에서 생성된 2개의 상기 전역 가지 그룹은, 다음의 전역 디바이딩 과정에서 각각 상기 전역 헤드 그룹이 될 수 있다. 본 실시예에서는 1회의 상기 전역 디바이딩 과정을 거쳐 하나의 전역 헤드 그룹이 2개의 전역 가지 그룹으로 나누어지는 것으로 설명하나, 1회의 상기 전역 디바이딩 과정을 거쳐 3개 이상의 전역 가지 그룹으로 나누어지는 것도 가능하다.
상기 전역 디바이딩 과정은, 전역 헤드 그룹 내의 복수의 지역 라벨 디스크립터 사이의 거리에 근거하여, 전역 헤드 그룹을 g1개의 전역 가지 그룹으로 나누어 준다.(여기서, g1는 2이상의 자연수) 이하 1회의 전역 디바이딩 과정을 구체적으로 설명한다. 상기 전역 디바이딩 과정은, 전역 헤드 그룹 내의 복수의 지역 라벨 디스크립터 중 임의로 g1개의 지역 라벨 디스크립터를 선택하고, 전역 헤드 그룹 내의 선택되지 않은 나머지 지역 라벨 디스크립터 들은 선택된 g1개의 지역 라벨 디스크립터 중 거리 상 가장 가까운 지역 라벨 디스크립터와 같이 그룹핑되어, g1개의 '제 1차 전역 임시 그룹'이 생성되는 제 1차 전역 임시 과정을 포함한다. 상기 전역 디바이딩 과정은, 상기 제 1차 전역 임시 과정 이후, 각각의 제 1차 전역 임시 그룹 내 지역 라벨 디스크립터 들의 제 1차 평균값을 산출하고, 전역 헤드 그룹 내 모든 지역 라벨 디스크립터 들이 g1개의 제 1차 평균값 중 거리상 가장 가까운 값에 매칭된다고 가정할 때, 같은 제 1차 평균값에 매칭된 지역 라벨 디스크립터 들 끼리 그룹핑되어 g1개의 '제 2차 전역 임시 그룹'을 생성하는 제 2차 전역 임시 과정을 포함할 수 있다. 상기 전역 디바이딩 과정은, 제 1 내지 m차 전역 임시 과정을 포함할 수 있다.(여기서, m은 2이상의 자연수) 상기 전역 디바이딩 과정은, 상기 제 m-1차 전역 임시 과정 이후, 각각의 제 m-1차 전역 임시 그룹 내 지역 라벨 디스크립터 들의 제 m-1차 평균값을 산출하고, 전역 헤드 그룹 내 모든 지역 라벨 디스크립터 들이 산출된 g1개의 제 m-1차 평균값 중 거리상 가장 가까운 값에 매칭된다고 가정할 때, 같은 제 m-1차 평균값에 매칭된 디스크립터 들 끼리 그룹핑되어 g1개의 '제 2차 전역 임시 그룹'을 생성하는 제 m차 전역 임시 과정을 포함할 수 있다. 상기 전역 임시 과정이 제 1차부터 제 m차까지 반복될수록, 지역 라벨 디스크립터 들의 그룹핑이 한 가지 형태로 수렴하게 되고, 제 m차 전역 임시 과정 이후 생성된 g1개의 제 m차 전역 임시 그룹이 g1개의 전역 가지 그룹이 된다.
상기 일 실시예에 따른 제 2소정 분류규칙은, 어느 한 지역 내 복수의 지역 라벨 디스크립터에 대해서 상기 전역 디바이딩 과정을 총 g2회 반복시키는 '기본 규칙'과, 어느 하나의 전역 가지 그룹 내의 지역 라벨 디스크립터의 개수가 g3개 이하일 경우 그 전역 가지 그룹을 전역 헤드 그룹으로 하는 전역 디바이딩 과정을 더 이상 진행하지 않게 하는 '예외 규칙'을 포함한다.(여기서, g2 및 g3은 자연수) 일 예로, 제 2소정 분류규칙은 n=14인 기본 규칙과 m=1로 하는 예외 규칙을 포함할 수 있다. 기본 규칙에 따라, 어느 하나의 전역 헤드 그룹에 대해 전역 디바이딩 과정을 거쳐 2개의 전역 가지 그룹을 생성하고, 생성된 전역 가지 그룹을 전역 헤드 그룹으로 하여 전역 디바이딩 과정을 반복적으로 진행할 수 있다. 전역 가지 그룹 내의 지역 라벨 디스크립터의 개수가 m개 이하인 경우, 기본 규칙과 무관하게 예외 규칙에 따라 그 전역 가지 그룹을 전역 헤드 그룹으로 하는 전역 디바이딩 과정을 더 이상 진행하지 않는다.
도 23에서는, 상기 일 실시예에 따른 제 2소정 분류규칙에 따라, 전역 X 내 복수의 지역 라벨 디스크립터는 복수의 그룹 XG1 내지 XG53로 나누어진다.
도면에 도시되진 않으나, 다른 실시예에 따른 제 2소정 분류규칙은, 두 지역 라벨 디스크립터 사이의 거리가 소정 값(ST2) 이하인 지역 라벨 디스크립터끼리 같은 그룹으로 분류하는 규칙을 포함한다.
도 22에서,
Figure PCTKR2017011699-appb-I000121
은 제 2소정 라벨규칙에 따라 생성된 전역 라벨 디스크립터를 도시한 것이다.(여기서, k는 자연수) 제 2소정 분류규칙에 따라 같은 그룹으로 분류된 복수의 지역 라벨 디스크립터를 근거로, 제 2소정 라벨규칙에 따라 전역 라벨 디스크립터를 생성한다. 예를 들어, 어느 하나의 그룹 XG1 내의 복수의 지역 라벨 디스크립터(웨이트 3의
Figure PCTKR2017011699-appb-I000122
, 웨이트 10의
Figure PCTKR2017011699-appb-I000123
및 웨이트 2의
Figure PCTKR2017011699-appb-I000124
)를 근거로, 제 2소정 라벨규칙에 따라 웨이트 15의 전역 라벨 디스크립터
Figure PCTKR2017011699-appb-I000125
을 생성한다. 다른 측면에서 보면, 상기 복수의 지역 라벨 디스크립터(웨이트 3의
Figure PCTKR2017011699-appb-I000126
, 웨이트 10의
Figure PCTKR2017011699-appb-I000127
및 웨이트 2의
Figure PCTKR2017011699-appb-I000128
)가 제 2소정 라벨규칙에 따라 각각 전역 라벨 디스크립터
Figure PCTKR2017011699-appb-I000129
로 변환된 것으로 볼 수도 있다. 나머지 XG2, XG3, …, XGk그룹에 속해있는 디스크립터들의 변환도 이와 같은 방식이므로 설명을 생략한다.
도 24에는, 일 실시예에 따른 제 2소정 라벨규칙에 따라 복수의 지역 라벨 디스크립터(웨이트 M1의
Figure PCTKR2017011699-appb-I000130
, 웨이트 M2의
Figure PCTKR2017011699-appb-I000131
)를 근거로 웨이트 M1+M2의 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000132
)를 생성하는 과정(S160)이 도시된다.(여기서, M1 및 M2는 자연수) 상기 제 2소정 라벨규칙은, 같은 그룹으로 분류된 적어도 하나의 지역 라벨 디스크립터의 평균값을 지역 라벨 디스크립터로 하는 규칙을 포함할 수 있다. 이 경우, 평균값은 각 지역 라벨 디스크립터의 웨이트를 고려한 값으로서 다음의 수학식 12에 의해 산출될 수 있다.
수학식 12
Figure PCTKR2017011699-appb-M000012
여기서,
Figure PCTKR2017011699-appb-I000133
는 전역 라벨 디스크립터이고,
Figure PCTKR2017011699-appb-I000134
는 각각의 지역 라벨 디스크립터이고,
M1,M2,M3,…,Mx는
Figure PCTKR2017011699-appb-I000135
의 각각의 웨이트이고,
Figure PCTKR2017011699-appb-I000136
의 웨이트는
Figure PCTKR2017011699-appb-I000137
임.
또한, 학습초기단계(S110, S120, S130)의 수행 중 제 1라벨생성단계(S150, S151)가 시작될 수 있다. 구체적으로, 학습초기단계(S110, S120, S130)를 수행하는 동안, 상기 지역구분단계에서 적어도 하나의 지역(A1)이 구분되면 구분된 지역(A1)의 상기 지역 라벨 디스크립터를 생성하는 상기 제 1라벨생성단계(S150, S151)가 수행될 수 있다. 이를 통해, 주행을 모두 마친후 대지역 라벨 디스크립터 또는 전역 라벨 디스크립터까지 생성 완료되는 기간이 짧아져, 효율적으로 학습 과정(S100', S100'')을 수행할 수 있는 장점이 있다.
도 25를 참고하여, 인식 영상의 획득 과정(S210) 및 인식 디스크립터의 생성 과정(S220)을 보다 자세히 설명하면 다음과 같다.
위치 점핑 상황의 발생으로 인해서, 이동 로봇(100)의 현재 지점(Pu)이 미지(Unknown)의 상태가 된 경우에, 인식 영상의 획득 과정(S210)이 시작된다. 영상획득부(120)는 미지의 현재 지점(Pu)에서 인식 영상을 획득한다. 인식 영상은 이동 로봇(100)의 상측을 향해 촬영될 수 있다. 인식 영상은 천장을 촬영한 것일 수 있다. 도 25에 도시된 영상은 현재 지점(Pu)에 대응하는 인식 영상이다.
도 25를 참고하여, 인식 디스크립터 생성 과정(S220)에서, 인식 영상에서 추출된 복수의 인식 특징점(h1,h2,h3,..,h7)을 근거로 복수의 인식 디스크립터(
Figure PCTKR2017011699-appb-I000138
)를 생성한다. 인식 특징점(h1,h2,h3,..,h7)에 복수의 인식 디스크립터(
Figure PCTKR2017011699-appb-I000139
)는 일대일대응 한다.
도 25에서,
Figure PCTKR2017011699-appb-I000140
은 n차원 벡터를 의미한다.
Figure PCTKR2017011699-appb-I000141
의 중괄호 { } 안의 h1(1), h1(2), h1(3),..,h1(n)은
Figure PCTKR2017011699-appb-I000142
을 이루는 각 차원의 수치를 의미한다. 나머지
Figure PCTKR2017011699-appb-I000143
에 대한 표기도 이와 같은 방식이므로 설명을 생략한다.
특징 검출을 위해 상기 SIFT 기법을 이용하여, 복수의 인식 특징점(h1,h2,h3,..,h7)에 대응하는 복수의 인식 디스크립터(
Figure PCTKR2017011699-appb-I000144
)를 생성할 수 있다. 컴퓨터 비전 기술 분야에서 영상으로부터 특징을 검출하는 다양한 방법 및 이들 특징의 검출에 적합한 여러 특징검출기들에 대한 설명은 상기한 바와 같다.
도 26을 참고하여, 상기 매칭 과정(S231)을 보다 자세히 설명하면 다음과 같다. 상기 매칭 과정(S231)에서, 인식 영상 내 복수의 인식 디스크립터(
Figure PCTKR2017011699-appb-I000145
)에 각각 거리 상 가장 가까운 전역 라벨 디스크립터를 매칭시킨다. 도 25에서, 인식 디스크립터와 전역 라벨 디스크립터의 대응관계를 매칭 선으로 도시한다. 매칭 과정(S231)을 진행하면, 복수의 인식 디스크립터(
Figure PCTKR2017011699-appb-I000146
)에 복수의 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000147
)는 일의대응 한다.
예를 들어, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000148
)에 거리상 가장 가까운 전역 라벨 디스크립터는
Figure PCTKR2017011699-appb-I000149
이고, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000150
)에 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000151
)가 대응한다. 인식 디스크립터(
Figure PCTKR2017011699-appb-I000152
)에 거리상 가장 가까운 전역 라벨 디스크립터는
Figure PCTKR2017011699-appb-I000153
이고, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000154
)에 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000155
)가 대응한다. 인식 디스크립터(
Figure PCTKR2017011699-appb-I000156
)에 거리상 가장 가까운 전역 라벨 디스크립터는
Figure PCTKR2017011699-appb-I000157
이고, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000158
)에 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000159
)가 대응한다. 인식 디스크립터(
Figure PCTKR2017011699-appb-I000160
)에 거리상 가장 가까운 전역 라벨 디스크립터는
Figure PCTKR2017011699-appb-I000161
이고, 인식 디스크립터(
Figure PCTKR2017011699-appb-I000162
)에 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000163
)가 대응한다. 이 경우, 전역(X) 내 모든 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000164
) 중 복수의 인식 디스크립터(
Figure PCTKR2017011699-appb-I000165
)에 매칭된 전역 라벨 디스크립터는
Figure PCTKR2017011699-appb-I000166
이다. 도 26에는, 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000167
)의 생성 근거가 된 그룹(XG1, XG3, XG5, XG32)에 표시가 되어 있다.
도 27을 참고하여, 비교대상 노드의 선택 과정(S236)을 보다 자세히 설명하면 다음과 같다. 상기 선택 과정(S236)에서, 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000168
)에 대응하는 비교 대상 노드를 선택한다. 매칭된 복수의 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000169
)에 복수의 노드는 일대다대응 한다.
예를 들어, 매칭된 복수의 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000170
)에 대응하는 비교 대상 노드 들은 N1, N14, N15, N38, N62, N63, N64 이다. 선택되는 각각의 비교 대상 노드(N1, N14, N15, N38, N62, N63, N64) 내 복수의 전역 라벨 디스크립터는, 상기 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000171
) 중 적어도 하나를 포함한다. 선택되지 않은 나머지 노드 내 복수의 전역 라벨 디스크립터는, 상기 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000172
) 모두를 포함하지 않는다.
구체적으로, 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000173
)의 생성 근거가 된 디스크립터 들을 선택하고, 선택된 디스크립터 들의 생성 근거가 된 영상 들을 선택하고, 선택된 영상 들에 대응하는 노드 들을 비교대상 노드로 한다.
예를 들어, 어느 한 디스크립터A가 소정 분류규칙(제 1소정 분류규칙)에 따라 그룹 A1G1으로 분류되고, 그룹 A1G1 내 디스크립터 들을 근거로 소정 라벨규칙(제 1소정 라벨규칙)에 따라 지역 라벨 디스크립터B가 생성되고, 그 후 지역 라벨 디스크립터B가 소정 분류규칙(제 2소정 분류규칙)에 따라 그룹 XG5로 분류되고, 그룹 XG5 내 지역 라벨 디스크립터 들을 근거로 소정 라벨규칙(제 2소정 라벨규칙)에 따라 전역 라벨 디스크립터C가 생성된다면, '디스크립터A는 전역 라벨 디스크립터 C의 생성 근거가 된다'고 표현한다. 또한, 영상D 내 복수의 디스크립터 중 디스크립터A가 있다면, '영상D는 디스크립터A의 생성 근거가 된다'고 표현한다. 나아가, '영상D는 전역 라벨 디스크립터C의 생성 근거가 된다'고 표현한다.
상기 선택 과정(S236)에서, 복수의 영상 들 중 상기 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000174
)의 생성 근거가 된 영상 들을 선택하고, 모든 노드 들 중 상기 선택된 영상 들에 일대일대응 하는 비교대상 노드 들을 선택한다. 도 27에는, 선택된 비교 대상 노드 들 (N1, N14, N15, N38, N62, N63, N64)을 까만 점으로 표시한다.
도 28을 참고하여, 비교대상 노드 별 비교 과정(S266)의 일례를 설명하면 다음과 같다. 상기 비교 과정(S266)에서는, 상기 선택 과정(S236)에서 선택된 비교대상 노드 들(N1, N14, N15, N38, N62, N63, N64)에 대응하는 영상 들만 인식 영상과 비교를 한다. 비교 결과 가장 유사도가 높게 산출되는 영상에 대응하는 비교대상 노드를 최종 노드로 선택한다.
상기 비교 과정(S266)에서는, 상기 선택 과정(S236)에서 선택된 비교대상 노드 들(N1, N14, N15, N38, N62, N63, N64)에 대해서만 각 노드(N1, N14, N15, N38, N62, N63, N64)에 대응하는 영상 특징 분포(예들 들어, 영상 특징 분포 벡터)를 생성한다. 또한, 상기 비교 과정(S266)에서는, 상기 비교 대상 노드 들(N1, N14, N15, N38, N62, N63, N64)의 영상 특징 분포와 비교 가능한 인식 영상 특징 분포(예를 들어, 인식 영상 특징 분포 벡터)를 생성한다. 상기 비교 과정(S266)에서는, 비교 대상 노드(N1, N14, N15, N38, N62, N63, N64) 별로 영상 특징 분포와 인식 영상 특징 분포를 비교하여, 가장 높은 유사도를 가지는 하나의 노드를 최종 노드(현재 지점으로 추정되는 노드)로 선택한다. 이에 대한 구체적인 방법은, 상기한 수학식 9 내지 11에 대한 설명과 같다.
도 28에서, 좌측의 히스토그램은 상기 인식 영상 특징 분포 히스토그램의 일 예를 도시한 것이다. 인식 영상 특징 분포는 상기 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000175
)를 근거로 생성된다. 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000176
)의 인식 스코어(Sh)는 상기 수학식 10을 통해 산출할 수 있다.
도 28에서, 우측의 히스토그램 들은 비교 대상 노드 별 영상 특징 분포 히스토그램의 일례를 도시한 것이다. 상기 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000177
)를 근거로 영상 특징 분포가 생성된다. 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000178
)의 인식 스코어(Sh)는 상기 수학식 9를 통해 산출할 수 있다.
한편, 영상 내 복수의 전역 라벨 디스크립터에는, 상기 매칭된 전역 라벨 디스크립터 들(
Figure PCTKR2017011699-appb-I000179
) 외에도 다른 전역 라벨 디스크립터(예를 들어,
Figure PCTKR2017011699-appb-I000180
)가 있을 수 있다. 이러한 다른 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000181
)는 영상 특징 분포 히스토그램의 대표값이 될 필요가 없다. 다만, 이러한 다른 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000182
)의 웨이트는, 매칭된 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000183
))의 스코어(S)에 영향을 줄 수는 있다. (왜냐하면, 다른 전역 라벨 디스크립터(
Figure PCTKR2017011699-appb-I000184
)의 웨이트는 상기 수학식 9에서
Figure PCTKR2017011699-appb-I000185
의 값에 영향을 미치기 때문이다.)
도 29 내지 31을 참고하여, 제 4실시예에 따른 인식 과정(S300)을 설명하면 다음과 같다. 제 4실시예에 따른 인식 과정(S300)은, 상기 제 3실시예에 따른 인식 과정(S200'')에 보충적으로 진행되는 과정이다. 제 4실시예에 따른 인식 과정(S300)은 비교대상 만 달리하여, 상기 제 1실시예, 제 2실시예 및 제 3실시예의 변형 예에 적용할 수도 있다. 이하, p는 2이상의 자연수이고, m은 1 이상 p이하의 임의의 자연수이다.
인식 과정(S300)은, 인식초기단계를 포함한다. 상기 인식초기단계는, 제 m차인식 영상 획득 과정(S310) 및 제 m차 인식 디스크립터 그룹을 생성하는 과정(S20)을 포함한다.
도 29를 참고하여, 인식 과정(S300)은, 이동 로봇(100)이 지점 또는 촬영 각도를 변경하면서 제 1 내지 p차 인식 영상을 획득하는 과정(S310)을 포함한다. 인식 영상 획득 과정(S310)에서, 이동 로봇(100)은 소정 시간 간격을 두고 상기 제 1 내지 p차 인식 영상을 획득할 수 있다. 이 경우 인식 영상을 획득한 시간 순서대로 제 1차 영상, 제 2차 영상, 제 3차 영상, …, 제 p차 영상이라고 정의한다. 각 인식 영상들을 획득한 시점은 시간 순서대로 t1, t2, t3, …, tp로 정의한다. 즉, 제 1차 인식 영상은 시점 t1에 획득되고, 제 2차 인식 영상은 시점 t2에 획득되고, 제 p차 인식 영상은 시점 tp에 획득된 것을 의미한다. tm은 제 m차 인식 영상이 획득된 시점을 의미한다.
도 30에서, 이동 로봇(100)이 미지의 현재 구역에서 영상획득부(120)를 통해 tm시점에 획득된 제 m차 인식 영상을 도시한다. 상기 미지의 현재 구역에서 획득된 제 m차 영상으로부터 복수의 제 m차 인식 특징점(h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, h7tm)을 추출한다. 제 1차 인식 특징점은 제 1차 영상에서 추출된 것이고, 제 2차 인식 특징점은 제 2차 영상에서 추출된 것이고, 제 p차 인식 특징점은 제 p차 인식 특징점에서 추출된 것을 의미한다. 같은 구역이라도 매 영상에서 확인되는 인식 특징점은 개수와 종류가 달라질 수 있고, 이를 구별하기 위해 제 m차 인식 특징점의 기호에 시점 tm을 추가로 표기한다.
도 30을 참고하여, 일 예로, 상기 인식 영상 획득 과정(S310)에서, 이동 로봇(100)이 이동하여 복수의 지점에서 각각 인식 영상을 획득할 수 있다. 인식 영상 획득 과정(S310)에서, 이동 로봇(100)이 위치하는 현재 지점(Put1, Put2, Put3,…,Putm)을 바꾸어가며 각 지점에서 각각 상기 제 1 내지 p차 인식 영상을 획득할 수 있다. 제 m차 인식 영상이 획득된 지점은, 제 m-1차 인식 영상이 획득된 지점과 다르고 제 m+1차 인식 영상이 획득될 지점과 다르도록 제어될 수 있다.
다른 예로, 상기 인식 영상 획득 과정(S310)에서, 이동 로봇(100)이 영상획득부(120)의 촬영 각도를 변경하면서 복수의 인식 영상을 획득할 수 있다.
이를 통해, 제 m차 영상은 m-1차 영상 및 m+1차 영상과 차이가 생기고, 제 m차 영상과 다른 더 다양한 영상으로부터 데이터를 추출하여 현재 구역을 추정하게 됨으로써, 추정의 신뢰도를 높일 수 있다.
어느 하나의 지점(Putm)에서 제 m차 인식 영상을 획득하는 과정(S310)은, 상술한 인식 영상 획득 과정(S210)과 실질적으로 동일하다.
도 29를 참고하여, 인식 과정(S300)은, 상기 제 1 내지 p차 인식 영상을 근거로 각각 제 1 내지 p차 인식 디스크립터 들(제 1 내지 p차 인식 디스크립터 그룹)을 생성하는 과정(S320)을 포함한다. 구체적으로, 상기 제 1 내지 p차 인식 영상으로부터 각각 제 1 내지 p차 인식 특징점 들을 추출하고, 제 1 내지 p차 인식 특징점 들에 대응하는 각각의 제 1 내지 p차 인식 디스크립터를 생성한다. 어느 하나의 제 m차 인식 영상을 근거로 제 m차 인식 디스크립터 들(제 m차 인식 디스크립터 그룹)을 생성하는 과정(S320)은, 상술한 인식 디스크립터 생성 과정(S220)과 동일하다.
제 1차 인식 디스크립터는 제 1차 영상을 근거로 생성된 것이고, 제 2차 인식 디스크립터는 제 2차 영상을 근거로 생성된 것이고, 제 p차 인식 디스크립터는 제 p차 영상을 근거로 산출된 것이다. 영상획득 과정(S310)에서 획득된 제 m차 영상을 근거로 제 m차 인식 디스크립터를 생성하는 과정을 제 m차 인식 디스크립터 생성 과정(S320)으로 정의할 수 있다.
도 30을 참고하여, 상기 과정(S320)에서, 제 m차 인식 특징점(h1tm, h2tm, h3tm, h4tm, h5tm, h6tm, h7tm)에 각각 대응하는 제 m차 인식 디스크립터(
Figure PCTKR2017011699-appb-I000186
)를 생성한다.
Figure PCTKR2017011699-appb-I000187
의 중괄호 { } 안의 h1tm(1), h1tm(2), h1tm(3),..,h1tm(n)은
Figure PCTKR2017011699-appb-I000188
을 이루는 각 차원의 수치를 의미한다.
Figure PCTKR2017011699-appb-I000189
에 대한 표기도 이와 같은 방식이므로 설명을 생략한다.
도 30에는, 제 1 내지 p차 인식 디스크립터의 생성 과정 중 어느 하나인 제 m차 인식 디스크립터의 생성 과정(S320)를 설명한 것이나, 이는 다른 차수의 인식 디스크립터 산출 과정에서도 적용될 수 있다.
도 29를 참고하여, 인식 과정(S300)은, 상기 제 1 내지 p차 인식 디스크립터 들에 각각 라벨 디스크립터(전역 라벨 디스크립터)를 매칭시키고, 상기 매칭된 라벨 디스크립터(전역 라벨 디스크립터)에 대응하는 하나 이상의 비교대상 노드를 선택하는 비교대상선택단계(미도시)를 포함한다. 제 4실시예의 비교대상선택단계에서 어느 하나의 제 m차 인식 디스크립터 들에 각각 전역 라벨 디스크립터를 매칭시키는 과정은, 상술한 매칭 과정(S231)과 실질적으로 동일하다. 제 4실시예의 비교대상선택단계에서 매칭된 전역 라벨 디스크립터에 대응하는 비교대상 노드를 선택하는 과정은, 상술한 비교대상 노드 선택 과정(S236)과 동일하다.
도 29를 참고하여, 인식 과정(S300)은 비교대상 노드 별 제 m차 유사도를 산출하는 과정(S381)을 포함한다. 인식 과정(S300)은 비교대상 노드 별 제 p차 유사도를 산출하는 과정(S381)을 포함한다. 인식 과정(S300)은 비교 대상 노드 별 제 1 내지 p차 유사도를 산출한다.
상기 과정(S381)에서, 제 m차 인식 영상 내 매칭된 전역 라벨 디스크립터를 근거로, 제 m차 인식 영상 특징 분포를 생성한다. 상기 과정(S381)에서, 비교대상 노드 별 제 m차 유사도를 산출한다. 비교대상 노드에 대응하는 영상 특징 분포와 이에 비교 가능한 인식 영상 특징 분포를 비교하여, 비교대상 노드 별 제 1 내지 p차 유사도를 산출한다. 여기서, 제 m차 유사도는, 제 m차 인식 영상 특징 분포와 영상 특징 분포의 비교를 근거로 하여 산출된 유사도를 의미한다.
어느 하나의 비교대상 노드와 비교하는 경우에 있어서, 상기 매칭된 전역 라벨 디스크립터의 종류, 스코어 및 인식 스코어를 근거로, 비교대상 노드에 대한 영상 특징 분포 및 제 m차 인식 영상 특징 분포를 생성할 수 있다. 이에 대해서는, 상기 제 3실시예의 과정(S266)에 대한 설명으로 이해 가능하다.
제 m차 유사도 산출 과정(S381)에서, 각각의 비교대상 노드에 대응하는 영상 특징 분포를 제 m차 인식 영상 특징 분포와 비교하여, 비교대상 노드 별 제 m차 유사도를 산출한다. 예를 들어, 어느 하나의 비교대상 노드의 영상 특징 분포 벡터와 제 m차 인식 영상 특징 분포 벡터의 유사도는, 아래의 수학식 13에의해 산출될 수 있다. (cosine similarity)
수학식 13
Figure PCTKR2017011699-appb-M000013
여기서,
Figure PCTKR2017011699-appb-I000190
는 비교대상 노드 Nj에 대한 제 m차 유사도이고,
Figure PCTKR2017011699-appb-I000191
는 비교대상 노드 Nj의 영상 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000192
는
Figure PCTKR2017011699-appb-I000193
에 비교 가능한 제 m차 인식 영상 특징 분포 벡터이고,
Figure PCTKR2017011699-appb-I000194
는 두 벡터의 절대값의 곱을 의미하고,
Figure PCTKR2017011699-appb-I000195
는 두 벡터의 내적을 의미하고,
m 및 j는 임의의 자연수임.
아래의 표 1은, 상기 수학식 13을 통해 산출된 각 차수 별(T1,T2,…,Tm,…,Tp) 및 각 비교대상 노드 별(N1,N2,…,Nj,…,Nk) 유사도를 정리한 것이다. (여기서, p 및 k는 이상의 자연수)
표 1
Figure PCTKR2017011699-appb-T000001
상기 표 1에서, 차수 별로 같은 차수의 유사도 들을 같은 행에 도시한 것이고, 비교대상 노드 별로 같은 노드의 유사도 들을 같은 열에 도시한 것이다. 여기서, p 및 k는 2이상의 자연수를 의미하고, m은 1이상 p이하의 임의의 자연수를 의미하고, j는 1이상 k이하의 임의의 자연수를 의미한다. 상기 표 1의 '…'은 생략된 부분을 의미한다. 비교대상 노드의 개수가 총 k개이고 제 p차 구역별 유사도 산출 과정까지 진행될 경우, 총 p*k 개의 유사도가 산출된다. 예를 들어, 제 m차 구역별 유사도는, 상기 표 1의 '제 m차'라고 표기된 행의 유사도 들을 의미한다.
도 29를 참고하여, 인식 과정(S300)은 비교대상 노드 별 제 m차 누적 유사도를 산출하는 과정(S385)을 포함한다. 인식 과정(S300)은 비교대상 노드 별 제 p차 누적 유사도를 산출하는 과정(S385)을 포함한다. 인식 과정(S300)은 비교 대상 노드 별 제 1 내지 p차 누적 유사도를 산출한다.
상기 과정(S385)에서, 소정 누적규칙에 따라 상기 비교대상 노드 별 유사도를 근거로 비교대상 노드 별 누적 유사도를 산출한다. 비교대상 노드 별 제 p차 유사도 까지 산출된 경우에, 누적 유사도 산출 과정(S385)에서 소정 누적규칙에 따라 비교대상 노드 별 제 1 내지 p차 누적 유사도를 산출한다. 제 m차 비교대상 노드 별 유사도 까지 산출된 경우에, 제 m차 누적 유사도 산출 과정(S385)에서 소정 누적규칙에 따라 비교대상 노드 별 제 m-1 누적 유사도와 비교대상 노드 별 상기 제 m차 유사도를 근거로, 비교대상 노드 별 제 m차 누적 유사도를 산출한다.
도 31을 참고하여, 상기 소정 누적규칙은, 비교대상 노드 별 제 1 내지 p차 유사도를 각각 같은 노드에 대한 유사도 들 끼리 모두 곱하는 연산 규칙을 포함할 수 있다. 비교대상 노드 별 누적 유사도는, 상기 소정 누적규칙에 따라 누적 유사도 산출 과정(S385)이 진행될 때까지 산출된 모든 차수의 유사도가 누적된 값이다.
비교대상 노드 별 제 m차 누적 유사도는, 비교대상 노드 별 제 1 내지 m차 유사도가 모두 곱해져 산출될 수 있다. 비교대상 노드 별 제 m차 누적 유사도는, 비교대상 노드 별 제 m-1차 누적 유사도와 제 m차 유사도가 각 비교대상 노드 별로 곱해져 산출될 수 있다.
상기 비교대상 노드 별 누적 유사도는 정규화(normalizing) 과정을 거쳐 산출될 수 있다. 예를 들어, 상기 정규화는, 비교대상 노드 별 제 m차 누적 유사도의 모든 합(각 비교대상 노드에 대한 각각의 제 m차 누적 유사도 들을 모두 합한 값을 의미함)이 1이 되도록 하는 과정이다.
예를 들어, 비교대상 노드 Nj에 대한 제 m차 누적 유사도를 구하기 위한 상기 소정 누적규칙은 아래의 수학식 14 및 15로 표현될 수 있다. 비교대상 노드로 N1, N2, N3,…, Nk 이 선택된 것으로 가정하고, j는 1이상 k이하의 임의의 자연수를 의미한다. m은 2이상의 자연수를 의미한다.
수학식 14
Figure PCTKR2017011699-appb-M000014
여기서,
Figure PCTKR2017011699-appb-I000196
는 비교대상 구역 Nj에 대한 정규화되지 않은 제 m차 누적 유사도이고,
Figure PCTKR2017011699-appb-I000197
는 비교대상 구역 Nj에 대한 제 m차 유사도로서, 상기 수학식 13를 통해 산출된 것이고,
m 및 j는 임의의 자연수임.
상기 수학식 14를 참고하여, 비교대상 노드 Nj에 대한 정규화되지 않은 제 m차 누적 유사도(
Figure PCTKR2017011699-appb-I000198
)는, 비교대상 노드 Nj에 대한 제 1 내지 m차 유사도를 모두 곱(
Figure PCTKR2017011699-appb-I000199
)해서 구할 수도 있고, 비교대상 노드 Nj에 대한 정규화되지 않은 제 m-1차 누적 유사도(
Figure PCTKR2017011699-appb-I000200
)에 비교대상 노드 Nj에 대한 제 m차 유사도(
Figure PCTKR2017011699-appb-I000201
)를 곱하여 구할 수도 있다.
수학식 15
Figure PCTKR2017011699-appb-M000015
여기서,
Figure PCTKR2017011699-appb-I000202
는 비교대상 노드 Nj에 대한 정규화된 제 m차 누적 유사도이고,
Figure PCTKR2017011699-appb-I000203
는 비교대상 노드 Nj에 대한 정규화되지 않은 제 m차 누적 유사도이고,
Figure PCTKR2017011699-appb-I000204
는 모든 비교대상 노드(N1 내지 Nk)의 정규화되지 않은 제 m차 누적 유사도를 합한 값이고,
Figure PCTKR2017011699-appb-I000205
는 비교대상 구역 Nj에 대한 제 m차 유사도로서, 상기 수학식 13를 통해 산출된 것이고,
m 및 j는 임의의 자연수임.
상기 수학식 15를 참고하여, 비교대상 노드 Nj에 대한 정규화된 제 m차 누적 유사도(
Figure PCTKR2017011699-appb-I000206
)는, 비교대상 노드 Nj에 대한 정규화되지 않은 제 m차 누적 유사도(
Figure PCTKR2017011699-appb-I000207
)를 모든 비교대상 노드(N1 내지 Nk)의 정규화되지 않은 제 m차 누적 유사도를 합한 값(
Figure PCTKR2017011699-appb-I000208
)으로 나누어주어 구할 수도 있다. 또한, 비교대상 노드 Nj에 대한 정규화된 제 m-1차 누적 유사도(
Figure PCTKR2017011699-appb-I000209
)에 비교대상 노드 Nj에 대한 제 m차 유사도(
Figure PCTKR2017011699-appb-I000210
)를 곱한 값을, 정규화된 제 m-1차 누적 유사도와 제 m차 유사도를 각 비교대상 노드 별로 곱한 뒤 모두 합한 값(
Figure PCTKR2017011699-appb-I000211
)으로 나누어주어 구할 수도 있다.
이하 '누적 유사도'는 정규화된 누적 유사도를 의미하는 것으로 하여 설명하나, 반드시 이에 한정될 필요는 없다.
제 1차 누적 유사도는 누적시켜 서로 곱할 복수의 유사도가 없으므로, 제 1차 유사도와 같은 의미로 쓰일 수 있다. 또는, 제 1차 누적 유사도는, 제 1차 유사도를 정규화(normalizing) 과정을 거쳐 산출시킨 값으로 정의할 수 있다.
도 31은, 비교대상 노드 별 누적 유사도가 차수가 증가함에 따라 변화하는 일 실시예를 보여주는 개념도이다. 도 31에는, 각 비교대상 노드(N1,N2,N3,…,Nx) 별로 유사도의 크기를 도수로 나타낸 히스토그램이 도시된다. 상기 소정 누적규칙에 따라, 비교대상 노드 별 제 1 내지 p차 누적 유사도가 순차적으로 산출될 수 있다.
상기 p값은, 상기 비교대상 노드 별 누적 유사도의 소정 조건 만족 여부에 근거하여 결정될 수 있다.(S387) 즉, 상기 소정 누적규칙을 적용하여 비교대상 노드 별 누적 유사도를 구하는 최종 차수(p)는 소정 조건의 만족여부에 따라 결정될 수 있다.
상기 인식 과정(S300)은, 제 m차 누적 유사도 산출 과정(S385) 이후, 상기 소정 조건 만족여부를 판단하는 과정(S387)를 포함한다. 비교대상 노드 별 제 m차 누적 유사도에 근거하여 상기 소정 조건이 만족된 경우, 이동 로봇(100)이 위치하는 것으로 추정되는 노드를 선택(S370)한다. 상기 소정 조건이 만족되지 않은 경우, 비교대상 노드 별 제 m+1차 누적 유사도를 산출하고, 그 후 상기 소정 조건의 만족여부를 다시 판단한다.
상기 인식 과정에서, 최신의 상기 비교대상 노드 별 누적 유사도에 근거하여 상기 소정 조건이 만족된 경우 이동 로봇(100)의 위치로 추정되는 노드를 선택하고, 상기 소정 조건이 만족되지 않는 경우 추가로 획득된 영상을 근거로 상기 유사도 산출 과정(S381) 및 누적 유사도 산출 과정(S385)를 추가로 진행한다. 상기 소정 조건이 만족되지 않은 경우, 인식 영상 획득 과정(S310) 및 인식 디스크립터 생성 과정(S320)이 다시 진행될 수 도 있고, 미리 획득하여 기 저장한 인식 영상으로부터 인식 디스크립터 들을 생성하는 과정이 다시 전행될 수도 있다. 그 후, 추가로 누적 유사도 생성 과정(S385)이 진행될 수 있다.
도 31를 참고하여, 상기 소정 조건은, 어느 한 구역의 누적 유사도가 소정 신뢰값(k1)을 초과하는 신뢰 조건을 포함할 수 있다.(여기서, k1은 상수) 상기 신뢰 조건은, 어느 한 비교대상 노드의 누적 유사도만 상기 신뢰값(k1)을 초과하고 나머지 비교대상 노드 들의 누적 유사도 들은 각각 상기 신뢰값(k1)을 넘지 못하는 조건으로 볼 수 있다. 도 31의 예시에서, 비교대상 노드 별 제 1 내지 p-1차 누적 유사도 히스토그램 중에서는 어느 한 구역의 누적 유사도만 신뢰값(k1)을 초과하지 못하다가, 비교대상 노드 별 제 p차 누적 유사도 히스토그램에서 노드 Nc의 제 p차 누적 유사도만 신뢰값(k1)을 넘은 것을 볼 수 있고, 이 경우 더 이상의 누적 유사도 산출을 할 필요 없이 노드 Nc를 현재 위치에 대응하는 노드로 선택할 수 있다.
도 31를 참고하여, 상기 소정 조건은, 상기 신뢰값(k1)을 초과하는 누적 유사도에 대응되는 노드 외의 나머지 노드들의 누적 유사도들이 소정 탈락값(k2) 미만이 되는 탈락 조건을 포함할 수 있다. 상기 탈락 조건은 상기 신뢰 조건과 동시에 달성되는 조건으로 설정하면, 보다 달성하기 어렵지만 더욱 신뢰도를 상승시킬 수 있는 상기 소정 조건이 설정될 수 있다. 상기 탈락값(k2)은 상기 신뢰값(k1)보다 작게 설정된다. 도 31의 예시에서, 제 1 내지 p-1차 비교대상 노드 별 누적 유사도 히스토그램 중에서는 상기 신뢰 조건 및 탈락 조건 중 적어도 어느 하나를 만족시키지 못하다가, 비교대상 노드 별 제 p차 누적 유사도 히스토그램에서 구역 Nc의 제 p차 누적 유사도만 신뢰값(k1)을 넘어 상기 신뢰 조건을 만족시키는 동시에, 나머지 노드들(Na,Nb,Nd내지Nx)의 제 p차 누적 유사도는 상기 탈락값(k2) 보다 작아 상기 탈락 조건도 만족되는 것을 볼 수 있다. 이 경우 더 이상의 누적 유사도 산출을 할 필요 없이 노드 Nc를 현재 위치에 대응하는 노드로 선택할 수 있다.
상기 소정 조건은, 이동 로봇(100)이 소정 거리(k3) 이상 이동하는 거리 조건을 포함할 수 있다. 예를 들어, 이동 로봇(100)은 이동을 하며 제 1 내지 m차 인식 영상을 획득할 수 있는데, 제 1차 인식 영상을 얻은 위치에서 제 m차 인식 영상을 얻은 위치까지 이동한 이동거리가 상기 거리(k3) 이상이 되면 상기 소정 조건이 만족된 것으로 보고, 비교대상 노드 별 제 m차 누적 유사도를 근거로 가장 높은 제 m차 누적 유사도가 산출된 비교대상 노드를, 현재 위치로 추정되는 노드로 선택할 수 있다. 상기 거리 조건은 상기 신뢰 조건 및 탈락 조건과 병렬적 조건('OR' 조건)으로 설정될 수 있다. 즉, 상기 거리 조건이 만족되면, 상기 신뢰 조건이나 상기 탈락 조건이 만족되지 않더라도, 상기 소정 조건이 만족된 것으로 볼 수 있다. 이동 거리가 지나치게 길어지면, 이동 로봇(100)이 현재구역을 벗어날 수 있어 추정의 신뢰도가 오히려 떨어질 수 있고, 현재 위치 추정을 위해 지나치게 많은 동작이 이루어지는 것을 막기 위한 것이다.
상기 소정 조건은, 제 m차 비교대상 노드 별 누적 유사도 까지 산출된 상태에서 상기 m값이 소정 횟수(k4)를 초과하는 횟수 조건을 포함할 수 있다. 즉, m값의 상한값을 설정하여, m값이 상기 소정 횟수(k4)를 초과하면 상기 소정 조건이 만족된 것으로 보고, 비교대상 노드 별 제 m차 누적 유사도를 근거로 가장 높은 제 m차 누적 유사도가 산출된 비교대상 노드를, 현재 위치로 추정되는 노드로 결정할 수 있다. 상기 횟수 조건은 상기 신뢰 조건 및 탈락 조건과 병렬적 조건('OR' 조건)으로 설정될 수 있다. 즉, 상기 횟수 조건이 만족되면, 상기 신뢰 조건이나 상기 탈락 조건이 만족되지 않더라도, 상기 소정 조건이 만족된 것으로 볼 수 있다. 누적 유사도의 산출 차수가 지나치게 많아지면, 이동 로봇(100)이 현재 위치 추정을 위해 지나치게 많은 시간이 소요될 수 있는 것을 막기 위한 것이다.
일 실시예로, 상기 소정 조건은, i 상기 신뢰 조건 또는 ii 상기 거리 조건 또는 iii 상기 횟수 조건이 만족될 조건으로 설정될 수 있다. 다른 실시예로, 상기 소정 조건은, i 상기 신뢰 조건 및 탈락 조건 또는 ii 상기 거리 조건 또는 iii 상기 횟수 조건이 만족될 조건으로 설정될 수 있다.
한편, 도 32 및 도 33을 참고하여, 상기 제 3실시예에 따른 학습 과정(S100'') 및 위치 인식 과정(S200'')의 다른 실시예를 설명하면 다음과 같다.도 12를 참고하여, 상기 제어부(140)는, 주행을 하면서 각 지점 별로 영상을 획득하게 제어한다.(S110), 상기 제어부(140)는, 상기 영상에서 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성한다.(S120) 상기 제어부(140)는, 상기 각 지점에서 획득된 각 영상에 대응하는 각각의 노드를 생성한다.(S130) 상기 제어부(140)는, 소정 기준에 따라 상기 복수의 노드를 지역으로 구분하도록 기설정된다.(S140, S140') 상기 제어부(140)는, 상기 각 지역별로 지역 내 복수의 디스크립터를 복수의 그룹으로 분류하고 같은 그룹으로 분류된 디스크립터 들을 대표하는 지역 라벨 디스크립터를 생성하도록 기설정된다.(S150) 상기 제어부(140)는, 상기 복수의 지역에서 각각 생성된 지역 라벨 디스크립터 들을 복수의 그룹으로 분류하고 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 대표하는 전역 라벨 디스크립터를 생성하도록 기설정된다.(S160)
도 13을 참고하여, 상기 제어부(140)는, 위치 점핑 상황 발생(S50)시, 인식 영상을 획득하게 제어한다.(S210) 상기 제어부(140)는, 상기 인식 영상에서 추출된 복수의 인식 특징점에 대응하는 각각의 인식 디스크립터를 생성한다.(S220) 상기 제어부(140)는, 상기 인식 디스크립터 들에 상기 전역 라벨 디스크립터를 매칭시킨다.(S231) 상기 제어부(140)는, 상기 매칭된 전역 라벨 디스크립터에 대응하는 하나 이상의 비교대상 노드를 선택한다.(S236) 상기 제어부(140)는, 상기 하나 이상의 비교대상 노드 중에 상기 현재 위치로 추정되는 노드를 선택하도록 기설정된다.(S266, S270)
도 32 및 도 33을 참고하여, 상기 제어부(140)는, 주행 중 적어도 하나의 지역이 구분되면 구분된, 지역의 상기 지역 라벨 디스크립터를 주행 중 생성하도록 기설정될 수 있다. 구체적으로, 학습초기단계(S110, S120, S130)이 시작(S101)된 이후, 전체 주행 구역을 주행 하기 전에 상기 지역 라벨 디스크립터를 생성할 수 있다.(S150) 즉, 전역 내 모든 노드가 생성되기 전에, 기생성된 노드 들 중 일부가 지역으로 구분되면, 구분된 지역의 상기 지역 라벨 디스크립터가 생성될 수 있다.(S150)
도 32 및 도 33은, 위치 점핑 상황의 발생 시점에 따라 달리 제어되는 알고리즘의 예시를 보여준다. 위치 점핑 상황이 학습과정(S100'') 중 발생한 상황에서의, 전역 라벨 디스크립터 생성의 시점은 달라질 수 있다.도 32 및 도 23을 참고하여, 제어부(140)는, 상기 전역 내 모든 노드를 생성할 때까지 위치 점핑 상황이 발생하지 않으면, 상기 전역내 모든 노드를 생성한 후 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정된다.(S161) 학습 과정(S100'') 중 위치 점핑 상황이 발생하지 않으면, 학습초기단계(S110, S120, S130)가 모두 종료된 후, 상기 전역 라벨 디스크립터의 생성을 시작한다.(S161) 학습 과정(S100'') 중 위치 점핑 상황이 발생하지 않으면, 이동 로봇(100)이 전체 주행 구역을 주행한 후, 전역 라벨 디스크립터를 생성한다.(S161)
학습 과정(S100'') 중 위치 점핑 상황이 발생하지 않으면, 도 23을 참고하여, 주행 중 지역 라벨 디스크립터를 생성하고(S150), 전역 내 모든 노드 생성 후 지역 라벨 디스크립터를 근거로 하여 전역 라벨 디스크립터를 생성한다.(S160)
도 32 및 도 33을 참고하여, 제어부(140)는, 상기 전역 내 모든 노드를 생성하기 전에 위치 점핑 상황이 발생(S50)하면, 위치 점핑 상황 발생 후 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정된다.(S162) 이 경우, 제어부(140)는, 상기 위치 점핑 상황이 발생한 시점까지 생성된 복수의 노드를 근거로 하여 전역 라벨 디스크립터를 생성할 수 있다.(S162) 학습 과정(S100'') 중 위치 점핑 상황이 발생하면, 학습초기단계(S110, S120, S130)를 곧바로 종료하고, 상기 전역 라벨 디스크립터의 생성을 시작할 수 있다.(S161) 학습 과정(S100'') 중 위치 점핑 상황이 발생하면, 전역 라벨 디스크립터를 생성하고(S161), 생성된 전역 라벨 디스크립터를 이용하여 위치 인식을 시도한다.(S201)
만약, 학습 과정(S100'') 중 이미 주행 완료한 영역 내로 이동 로봇(100)이 위치 점핑하면, 위치 점핑 상황 발생 시점 이전까지 생성된 노드들만을 근거로 생성된 전역 라벨 디스크립터를 이용하여, 현재 위치를 인식할 수 있다.
만약, 제 1학습 과정(S100'') 중 아직 주행하지 않은 영역 내로 이동 로봇(100)이 위치 점핑하여 전역 위치 인식에 실패하면, 우선 새로운 맵을 생성하는 제 2학습 과정(S100'')을 새롭게 시작할 수 있다. 여기서, 제 2학습 과정(S100'') 중 그 이전에 진행했었던 제 1학습 과정(S100'')의 미완성 맵과 중첩되는 영역을 이동하는 상황 발생시, 제 1학습 과정(S100'')의 미완성 맵 내의 위치를 인식할 수 있고, 다시 상기 제 1학습 과정(S100'')을 연속하여 진행할 수 있다.
위치 점핑 상황이 학습 과정(S100'') 중 발생하든 학습 과정(S100'')이 종료된 후 발생하든, 전역 라벨 디스크립터가 생성된다.(S161, S162) 상기 제어부(140)는, 위치 점핑 상황 발생시, 획득된 인식 영상과 상기 전역 라벨 디스크립터를 근거로 하여 현재 위치로 추정되는 노드를 선택하도록 기설정된다. 획득된 인식 영상과 상기 전역 라벨 디스크립터를 근거로 한 제어에 대한 내용은 상술한 바와 같다.
한편, 학습 과정(S100'') 중 위치 점핑 상황이 발생할 때, 위치 점핑 상황 발생 시점 이전에 생성된 노드 들 중 지역으로 구분되지 않은 노드(들)이 있을 수 있다. 즉, 아직 상기 소정 지역 구분 조건을 만족하지 않아, 지역으로 그룹핑되지 않은 노드(들)이 있는 상태에서, 위치 점핑 상황이 발생한 경우의 알고리즘의 예시를 설명하면 다음과 같다.
도 33 및 도 34를 참고하여, 상기 제어부(140)는, 생성된 적어도 하나의 노드 중 지역으로 구분되지 않은 적어도 하나의 노드(Nx)가 있는 상태에서 상기 위치 점핑 상황 발생시, 상기 적어도 하나의 노드(Nx)를 지역(Ax)으로 구분하여 상기 지역(Ax) 내 복수의 디스크립터를 근거로 상기 지역 라벨 디스크립터를 생성한다.(S172) 제어부(140)는, 그 후 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정된다.(S162)
도 33의 시나리오를 참고하여, 학습 과정(S100'')이 시작(S101)된 후, 주행 구역 중 일부 영역의 노드들이 생성된다. 학습 과정(S100'')이 계속되면서 생성된 노드들이 상기 소정의 지역 구분 기준에 따라 지역(A1)으로 구분되면, 학습초기단계(S110, S120, S130) 수행 중 지역(A1)의 지역 라벨 디스크립터가 생성된다(S150). 이 후, 추가적인 노드가 생성되나 아직 추가적인 지역(A2)이 구분되지 않은 상태에서, 위치 점핑 상황이 발생(S50)하면, 지역으로 구분되지 않은 노드들을 지역(A2)으로 구분하여 지역(A2)의 지역 라벨 디스크립터를 생성한다.(S172) 이후, 생성된 지역(A1, A2)의 지역 라벨 디스크립터를 근거로 하여 전역 라벨 디스크립터를 생성한다.(S162) 생성된 전역 라벨 디스크립터를 이용하여, 제어부(140)는 위치 인식을 시도한다.(S201)
도 32 및 도 33을 참고하여, 알고리즘 측면에서 제어방법을 설명하면 다음과 같다. 상기 제어방법은, 학습 과정(S100'')을 시작하는 단계(S101)를 포함한다. 상기 제어방법은, 학습 과정(S100'') 중 위치 점핑 상황이 발생했는지 여부를 판단하는 과정(S51)을 포함한다. 상기 과정(S51)에서 학습 과정(S100'') 중 위치 점핑 상황이 발생하지 않은 것으로 판단되면, 이동 로봇(100)이 전체 주행 구역을 주행한 후 전역 라벨 디스크립터를 생성하는 과정(S161)이 진행된다. 한편, 상기 과정(S51)에서 학습 과정(S100'') 중 위치 점핑 상황이 발생한 것으로 판단되면, 위치 점핑 상황 발생 전 생성된 노드(들) 중 지역으로 구분되지 않은 적어도 하나의 노드가 존재하는 여부를 판단하는 과정(S171)이 진행된다. 상기 과정(S171)에서 지역으로 구분되지 않은 적어도 하나의 노드가 존재하는 것으로 판단되면, 지역으로 구분되지 않은 노드(들)을 그룹핑하여 지역으로 구분하고, 구분된 지역의 지역 라벨 디스크립터를 생성하는 과정(S172)이 진행된다. 상기 과정(S172) 진행 후, 현 시점을 기준으로 생성된 지역 라벨 디스크립터 들을 근거로 하여 전역 라벨 디스크립터를 생성하는 과정(S162)이 진행된다. 한편, 상기 과정(S171)에서 지역으로 구분되지 않은 노드가 없다고 판단되면, 상기 과정(S172)를 거치지 않고 곧바로 상기 과정(S162)가 진행된다. 상기 과정(S162) 이후, 생성된 전역 라벨 디스크립터와 인식 영상 내 인식 디스크립터를 근거로 하여, 위치 인식을 시도하는 과정(S201)이 진행된다. 상기 과정(S201) 이후, 학습 과정(S100'')이 계속 진행될 수 있다. 상술한 바와 같이, 상기 과정(S201)에서 맵 상 위치 인식을 성공한 경우에는, 곧바로 학습 중이었던 맵을 계속해서 학습할 수 있다.

Claims (24)

  1. 각 지점 별로 영상을 획득하고, 상기 영상에서 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성하고, 상기 각 지점에서 획득된 각 영상에 대응하는 각각의 노드를 생성하는 학습초기단계;
    복수의 상기 디스크립터를 근거로 라벨 디스크립터를 생성하는 라벨생성단계;
    위치 점핑 상황 발생시 인식 영상을 획득하고, 상기 인식 영상에서 추출된 복수의 인식 특징점에 대응하는 각각의 인식 디스크립터를 생성하는 인식초기단계;
    상기 인식 디스크립터 들에 각각 상기 라벨 디스크립터를 매칭시키고, 상기 매칭된 라벨 디스크립터에 대응하는 하나 이상의 비교대상 노드를 선택하는 비교대상선택단계; 및
    상기 하나 이상의 비교대상 노드 중에 상기 현재 위치로 추정되는 노드를 선택하는 최종노드선택단계를 포함하는 이동 로봇의 제어방법.
  2. 제 1항에 있어서,
    상기 라벨생성단계에서,
    복수의 상기 디스크립터를 상기 디스크립터 들간의 거리를 근거로 하여 복수의 그룹으로 분류하고, 같은 그룹으로 분류된 디스크립터 들을 대표하는 라벨 디스크립터를 생성하는 이동 로봇의 제어방법.
  3. 제 1항에 있어서,
    상기 라벨생성단계에서,
    소정 분류규칙에 따라 복수의 상기 디스크립터를 복수의 그룹으로 분류하고, 소정 라벨규칙에 따라 같은 그룹으로 분류된 디스크립터 들로부터 라벨 디스크립터를 생성하는 이동 로봇의 제어방법.
  4. 제 3항에 있어서,
    상기 소정 분류규칙은,
    상기 복수의 디스크립터를 상기 디스크립터 들간의 거리를 기준으로 나누어 상대적으로 근접한 거리의 디스크립터 들 끼지 동일 그룹이 되게 하는 규칙을 포함하는 이동 로봇의 제어방법.
  5. 제 3항에 있어서,
    상기 소정 라벨규칙은,
    같은 그룹으로 분류된 디스크립터 들을 근거로 산출된 대표값을 상기 라벨 디스크립터로 하는 규칙을 포함하는 이동 로봇의 제어방법.
  6. 제 3항에 있어서,
    상기 라벨생성단계는, 상기 학습초기단계를 수행하는 동안 소정 기준이 만족되면 수행되는 이동 로봇의 제어방법.
  7. 제 1항에 있어서,
    소정 기준에 따라 상기 복수의 노드를 지역으로 구분하는 지역구분단계를 포함하고,
    상기 라벨생성단계는,
    상기 각 지역별로, 지역 내 복수의 디스크립터를 복수의 그룹으로 분류하고, 같은 그룹으로 분류된 디스크립터 들을 대표하는 지역 라벨 디스크립터를 생성하는 제 1라벨생성단계; 및
    상기 복수의 지역에서 각각 생성된 지역 라벨 디스크립터 들을 복수의 그룹으로 분류하고, 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 대표하는 대지역 라벨 디스크립터 또는 전역 라벨 디스크립터를 생성하는 제 2라벨생성단계를 포함하는 이동 로봇의 제어방법.
  8. 제 7항에 있어서,
    상기 지역구분단계는, 상기 학습초기단계를 수행하는 동안 신규의 노드가 생성되어 상기 소정 기준이 만족되면 수행되는 이동 로봇의 제어방법.
  9. 제 8항에 있어서,
    상기 학습초기단계를 수행하는 동안, 상기 지역구분단계에서 적어도 하나의 지역이 구분되면 구분된 지역의 상기 지역 라벨 디스크립터를 생성하는 상기 제 1라벨생성단계가 수행되는, 이동 로봇의 제어방법.
  10. 제 1항에 있어서,
    소정 기준에 따라 상기 복수의 노드를 지역으로 구분하는 지역구분단계를 포함하고,
    상기 라벨생성단계는,
    상기 각 지역별로, 제 1소정 분류규칙에 따라 지역 내 복수의 디스크립터를 복수의 그룹으로 분류하고, 제 1소정 라벨규칙에 따라 같은 그룹으로 분류된 디스크립터 들을 근거로 지역 라벨 디스크립터를 생성하는 지역라벨생성단계; 및
    제 2소정 분류규칙에 따라 전역 내 복수의 지역 라벨 디스크립터 들을 복수의 그룹으로 분류하고, 제 2소정 라벨규칙에 따라 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 근거로 전역 라벨 디스크립터를 생성하는 전역라벨생성단계를 포함하는 이동 로봇의 제어방법.
  11. 제 10항에 있어서,
    상기 비교대상선택단계에서, 상기 라벨 디스크립터는 전역 라벨 디스크립터인 이동 로봇의 제어방법.
  12. 제 10항에 있어서,
    상기 제 1소정 분류규칙은, 상기 복수의 디스크립터를 상기 디스크립터 들간의 거리를 기준으로 나누어 상대적으로 근접한 거리의 디스크립터 들 끼지 동일 그룹이 되게 하는 규칙을 포함하고,
    상기 제 2소정 분류규칙은, 상기 복수의 지역 라벨 디스크립터를 상기 지역 라벨 디스크립터 들간의 거리를 기준으로 나누어 상대적으로 근접한 거리의 지역 라벨 디스크립터 들 끼지 동일 그룹이 되게 하는 규칙을 포함하는 이동 로봇의 제어방법.
  13. 제 10항에 있어서,
    상기 제 1소정 라벨규칙은, 같은 그룹으로 분류된 디스크립터 들을 근거로 산출된 대표값을 상기 지역 라벨 디스크립터로 하는 규칙을 포함하고,
    상기 제 2소정 라벨규칙은, 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 근거로 산출된 대표값을 상기 전역 라벨 디스크립터로 하는 규칙을 포함하는 이동 로봇의 제어방법.
  14. 제 1항에 있어서,
    상기 비교대상선택단계에서,
    상기 인식 디스크립터와 상기 라벨 디스크립터 간의 거리를 근거로 하여 상기 인식 디스크립터 들에 각각 상기 인식 디스크립터로 부터 가장 가까운 거리의 라벨 디스크립터를 매칭시키는 이동 로봇의 제어방법.
  15. 제 1항에 있어서,
    상기 비교대상선택단계에서,
    상기 인식 디스크립터 들 중 적어도 일부에 상기 라벨 디스크립터 들이 일의대응 하도록 상기 라벨 디스크립터를 매칭시키는 이동 로봇의 제어방법.
  16. 제 1항에 있어서,
    상기 비교대상선택단계에서,
    상기 매칭된 라벨 디스크립터 들에 일대다대응 하는 디스크립터 들에 일의대응 하는 하나 이상의 영상에 대응하는 하나 이상의 비교대상 노드를 선택하는 이동 로봇의 제어방법.
  17. 제 1항에 있어서,
    상기 최종노드선택단계에서, 각 비교대상 노드 별로 노드 정보와 상기 현재 위치에서 획득된 영상 정보를 비교하여, 상기 현재 위치로 추정되는 노드를 선택하는 이동 로봇의 제어방법.
  18. 제 1항에 있어서,
    상기 인식초기단계에서,
    상기 이동 로봇이 지점 또는 촬영 각도를 변경하면서 제 1 내지 p차 인식 영상을 획득하고, 상기 제 1 내지 p차 인식 영상을 근거로 각각 제 1 내지 p차 인식 디스크립터 들을 생성하고,
    상기 최종노드선택단계에서,
    비교대상 노드 별 제 p차 누적 유사도를 산출하여, 상기 현재 위치로 추정되는 노드를 선택하는 이동 로봇의 제어방법.
    여기서, p는 2이상의 자연수 임.
  19. 제 18항에 있어서,
    상기 비교대상선택단계에서, 상기 인식 디스크립터 들은 상기 제 1 내지 p차 인식 디스크립터 들을 포함하는 이동 로봇의 제어방법.
  20. 본체를 이동시키는 주행부;
    상기 본체 주변의 영상을 획득하는 영상획득부;
    주행을 하면서 각 지점 별로 영상을 획득하게 제어하고, 상기 영상에서 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성하고, 상기 각 지점에서 획득된 각 영상에 대응하는 각각의 노드를 생성하고, 소정 기준에 따라 상기 복수의 노드를 지역으로 구분하도록 기설정되고, 상기 각 지역별로 지역 내 복수의 디스크립터를 복수의 그룹으로 분류하고 같은 그룹으로 분류된 디스크립터 들을 대표하는 지역 라벨 디스크립터를 생성하도록 기설정되고, 상기 복수의 지역에서 각각 생성된 지역 라벨 디스크립터 들을 복수의 그룹으로 분류하고 같은 그룹으로 분류된 지역 라벨 디스크립터 들을 대표하는 전역 라벨 디스크립터를 생성하도록 기설정되는 제어부;를 포함하는 이동 로봇.
  21. 제 20항에 있어서,
    상기 제어부는,
    위치 점핑 상황 발생시, 인식 영상을 획득하게 제어하고, 상기 인식 영상에서 추출된 복수의 인식 특징점에 대응하는 각각의 인식 디스크립터를 생성하고, 상기 인식 디스크립터 들에 각각 상기 전역 라벨 디스크립터를 매칭시키고, 상기 매칭된 전역 라벨 디스크립터에 대응하는 하나 이상의 비교대상 노드를 선택하고, 상기 하나 이상의 비교대상 노드 중에 상기 현재 위치로 추정되는 노드를 선택하도록 기설정되는, 이동 로봇.
  22. 제 20항에 있어서,
    상기 제어부는,
    주행 중 적어도 하나의 지역이 구분되면 구분된 지역의 상기 지역 라벨 디스크립터를 주행 중 생성하도록 기설정되는, 이동 로봇.
  23. 제 20항에 있어서,
    상기 제어부는,
    i 상기 전역 내 모든 노드를 생성할 때까지 위치 점핑 상황이 발생하지 않으면, 상기 전역내 모든 노드를 생성한 후 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정되고,
    ii 상기 전역 내 모든 노드를 생성하기 전에 위치 점핑 상황이 발생하면, 상기 위치 점핑 상황이 발생한 시점까지 생성된 복수의 노드를 근거로 하여 위치 점핑 상황 발생 후 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정되고,
    iii 위치 점핑 상황 발생시, 획득된 인식 영상과 상기 전역 라벨 디스크립터를 근거로 하여 현재 위치로 추정되는 노드를 선택하도록 기설정되는, 이동 로봇.
  24. 제 23항에 있어서,
    상기 제어부는,
    생성된 적어도 하나의 노드 중 지역으로 구분되지 않은 적어도 하나의 노드(Nx)가 있는 상태에서 상기 위치 점핑 상황 발생시, 상기 적어도 하나의 노드(Nx)를 지역(Ax)으로 구분하여 상기 지역(Ax) 내 복수의 디스크립터를 근거로 상기 지역 라벨 디스크립터를 생성한 후, 상기 전역 라벨 디스크립터의 생성을 시작하도록 기설정되는, 이동 로봇.
PCT/KR2017/011699 2016-10-20 2017-10-20 이동 로봇 및 이동 로봇의 제어방법 WO2018074904A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17862948.1A EP3530417B1 (en) 2016-10-20 2017-10-20 Mobile robot and control method of mobile robot
US16/343,599 US11175676B2 (en) 2016-10-20 2017-10-20 Mobile robot and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0136521 2016-10-20
KR20160136521 2016-10-20

Publications (1)

Publication Number Publication Date
WO2018074904A1 true WO2018074904A1 (ko) 2018-04-26

Family

ID=62019493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011699 WO2018074904A1 (ko) 2016-10-20 2017-10-20 이동 로봇 및 이동 로봇의 제어방법

Country Status (4)

Country Link
US (1) US11175676B2 (ko)
EP (1) EP3530417B1 (ko)
KR (1) KR101982780B1 (ko)
WO (1) WO2018074904A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
WO2019090417A1 (en) * 2017-11-10 2019-05-16 Clearpath Robotics Inc. Systems and methods for updating an electronic map
KR102147211B1 (ko) * 2018-10-22 2020-08-24 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법
KR102143349B1 (ko) * 2019-03-27 2020-08-11 엘지전자 주식회사 이동 로봇의 제어 방법
CN112215887B (zh) * 2019-07-09 2023-09-08 深圳市优必选科技股份有限公司 一种位姿确定方法、装置、存储介质及移动机器人
TWI735022B (zh) * 2019-08-08 2021-08-01 和碩聯合科技股份有限公司 語意地圖定向裝置、方法及機器人
CN111739092A (zh) * 2020-06-12 2020-10-02 广东博智林机器人有限公司 一种吊篮、检测机器人、检测控制***及检测方法
CN112911151B (zh) * 2021-01-29 2023-04-07 京东科技信息技术有限公司 目标跟随方法、装置、设备、***及存储介质
KR102572832B1 (ko) * 2022-08-12 2023-08-30 주식회사 클로봇 무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926783B1 (ko) * 2008-02-15 2009-11-13 한국과학기술연구원 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법
KR20100045585A (ko) * 2008-10-24 2010-05-04 전자부품연구원 로봇의 위치 검출방법
KR20100104581A (ko) 2009-03-18 2010-09-29 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR101460313B1 (ko) * 2013-05-24 2014-11-14 중앙대학교 산학협력단 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744665B2 (en) * 2009-07-28 2014-06-03 Yujin Robot Co., Ltd. Control method for localization and navigation of mobile robot and mobile robot using the same
KR20120021064A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR101629649B1 (ko) * 2014-09-30 2016-06-13 엘지전자 주식회사 로봇 청소기 및 로봇 청소기의 제어방법
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926783B1 (ko) * 2008-02-15 2009-11-13 한국과학기술연구원 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법
KR20100045585A (ko) * 2008-10-24 2010-05-04 전자부품연구원 로봇의 위치 검출방법
KR20100104581A (ko) 2009-03-18 2010-09-29 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR101460313B1 (ko) * 2013-05-24 2014-11-14 중앙대학교 산학협력단 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3530417A4

Also Published As

Publication number Publication date
EP3530417A1 (en) 2019-08-28
US11175676B2 (en) 2021-11-16
US20200050213A1 (en) 2020-02-13
EP3530417B1 (en) 2021-06-30
KR101982780B1 (ko) 2019-05-27
KR20180043753A (ko) 2018-04-30
EP3530417A4 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
WO2018074904A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2017188706A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
AU2020247141B2 (en) Mobile robot and method of controlling the same
WO2021221343A1 (ko) 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
WO2018074903A1 (ko) 이동 로봇의 제어방법
WO2021010757A1 (en) Mobile robot and control method thereof
WO2018139796A1 (ko) 이동 로봇 및 그의 제어 방법
AU2020244635B2 (en) Mobile robot control method
WO2017188800A1 (ko) 이동 로봇 및 그 제어방법
WO2018038552A1 (ko) 이동 로봇 및 그 제어방법
WO2018038488A1 (ko) 이동 로봇 및 그 제어방법
WO2017188708A2 (ko) 이동 로봇, 복수의 이동 로봇 시스템 및 이동 로봇의 맵 학습방법
WO2022050678A2 (en) Method of training a device using machine learning
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2021006556A1 (en) Moving robot and control method thereof
WO2018062647A1 (ko) 정규화된 메타데이터 생성 장치, 객체 가려짐 검출 장치 및 그 방법
WO2021006677A2 (en) Mobile robot using artificial intelligence and controlling method thereof
WO2019151845A2 (ko) 에어컨
WO2022005188A1 (en) Entity recognition method, apparatus, electronic device and computer readable storage medium
AU2018216517B2 (en) Cleaner
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2018212608A1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
WO2022075610A1 (ko) 이동 로봇 시스템
WO2022075616A1 (ko) 이동 로봇 시스템
WO2022119057A1 (ko) 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17862948

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017862948

Country of ref document: EP

Effective date: 20190520