WO2022119057A1 - 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법 - Google Patents

영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법 Download PDF

Info

Publication number
WO2022119057A1
WO2022119057A1 PCT/KR2021/003219 KR2021003219W WO2022119057A1 WO 2022119057 A1 WO2022119057 A1 WO 2022119057A1 KR 2021003219 W KR2021003219 W KR 2021003219W WO 2022119057 A1 WO2022119057 A1 WO 2022119057A1
Authority
WO
WIPO (PCT)
Prior art keywords
platform
map
image
platforms
rendezvous
Prior art date
Application number
PCT/KR2021/003219
Other languages
English (en)
French (fr)
Inventor
김현진
장영석
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to US18/255,644 priority Critical patent/US20240118092A1/en
Publication of WO2022119057A1 publication Critical patent/WO2022119057A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to an image-based cooperative simultaneous positioning and mapping (collaborative slam) system and method.
  • simultaneous localization and mapping refers to a technology that creates a map of the surrounding environment with a single mobile platform or device and estimates its location in the created map.
  • Slam is a core technology for autonomous driving of vehicles and robots, and virtual reality (VR)/augmented reality (AR).
  • inter-robot loop detection in which platforms look at the same place, or a rendezvous situation in which platforms appear in the view of different platforms and look at each other is required.
  • the existing rendezvous-based map fusion technology uses a visual marker to confirm the identity of the observed robot (Korean Patent No. 10-1976241) or uses distance information from a stereo camera or RGB-D sensor. There were limits to what was required.
  • the present invention is an image-based method that enables the estimation of the location of multiple platforms or integrated map production by using a rendezvous situation in an arbitrary environment in which platforms such as multiple platforms or autonomous vehicles and virtual/augmented/mixed reality terminals are operated. It is intended to provide a cooperative simultaneous positioning and mapping system and method.
  • the present invention does not use any markers or additional information to verify the platform identity, and can solve the rendezvous-based map fusion problem even with a light and inexpensive monocular camera, and the generally discarded non-static features feature) to provide an image-based cooperative simultaneous positioning and mapping system and method using rendezvous, which enables efficient collaborative slam.
  • a method for image-based cooperative simultaneous positioning and map creation in a multi-platform system wherein each of a plurality of platforms estimates a camera posture based on an image input through a camera in a single slam method and provides individual guidance manufacturing a; extracting and managing non-static features from the image; transmitting the camera posture, the individual map, and the non-static feature as platform data to a ground station; determining, at the ground station, whether a rendezvous situation exists between one of the plurality of platforms and the other platforms based on the platform data; And when the rendezvous situation exists, the image-based cooperative simultaneous positioning and map creation method is provided, comprising the step of fusing the individual maps received from two or more rendezvous platforms into an integrated map.
  • the one is viewed as an observation platform and the movement of the non-static feature within the image received from the observation platform is based on the camera posture and the individual map received from the remaining platforms. Comparing the similarity of the motions of the remaining platforms, and if there is a platform having a similar motion more than a threshold, it is regarded as a rendezvous situation with the observation platform, and the non-static feature can be matched.
  • the similarity comparison step an optimization problem is designed, and when the convergence error of the optimization problem is sufficiently small, it may be determined that the non-static feature is an observation value indicating the platform.
  • a convergence solution to the optimization problem may be found using a substitution minimization algorithm.
  • the map fusion module may fuse the individual maps and the posture data for the camera postures created by the observation platform and the observed platform into an integrated map by using the features.
  • a similarity transformation value between the individual maps may be estimated and fused into the integrated map.
  • an image-based cooperative simultaneous positioning and mapping system in which each of a plurality of platforms estimates a camera posture based on an image input through a camera in a single slam method and produces an individual map, wherein the A system for receiving platform data from each of a plurality of platforms and analyzing the platform data to create an integrated map (hereinafter referred to as a ground station), wherein the ground station receives platform data from each of the plurality of platforms, and a platform matching module for determining whether a rendezvous situation exists between one of the plurality of platforms and the other platforms based on platform data; When there is the rendezvous situation, there is provided an image-based cooperative simultaneous positioning and mapping system including a map fusion module that fuses the individual maps received from two or more rendezvous platforms into an integrated map.
  • Each of the plurality of platforms extracts and manages a non-static feature from the image, and the platform data may include the camera posture, the individual map, and the non-static feature.
  • the platform matching module sees the one as an observation platform and determines the movement of the non-stationary feature within the image received from the observation platform and of the remaining platforms based on the camera pose and the individual map received from the remaining platforms.
  • the similarity of movements is compared, and if there is a platform having a similar movement by more than a threshold, it is regarded as a rendezvous situation with the observation platform, and the non-static feature can be matched as a characteristic.
  • the platform matching module may design an optimization problem for similarity comparison, and when a convergence error of the optimization problem is sufficiently small, it may be determined that the non-static feature is an observation value pointing to the platform.
  • the map fusion module may use the feature to estimate a similarity conversion value between the observation platform and the individual maps created by the observed platform, and then merge them into the integrated map.
  • a platform for performing simultaneous positioning and map creation while moving comprising: an image input unit for receiving an image of a surrounding situation through a camera; a camera posture estimator for extracting and matching features from the image, and estimating a camera posture from the matched features; an individual map generator for creating an individual map for an area where the platform is located and moved based on the image and the camera posture; a non-static feature management unit for extracting and managing non-static features among the features; and a communication unit for transmitting platform data including the camera posture, the individual map, and the non-static feature to the ground station.
  • the image may have a continuous frame
  • the non-static feature management unit may track and manage the non-static feature in the image of the continuous frame.
  • multi-platform or autonomous driving vehicle, virtual/augmented/mixed reality terminal, etc. in an arbitrary environment in which platforms are operated, the location of multiple platforms is estimated or integrated map production is performed using the rendezvous situation. has the effect of making it possible.
  • FIG. 1 is a diagram showing the configuration of an image-based cooperative simultaneous positioning and mapping system using a rendezvous according to an embodiment of the present invention
  • FIG. 2 is a block diagram of an arbitrary platform included in the image-based cooperative simultaneous positioning and mapping system using a rendezvous according to an embodiment of the present invention
  • FIG. 3 is a flowchart of an image-based cooperative simultaneous positioning and map creation method using a rendezvous according to an embodiment of the present invention
  • FIG. 4 is an exemplary diagram of map fusion using a platform rendezvous
  • FIG. 5 is a framework of an image-based cooperative simultaneous positioning and mapping system using a rendezvous according to an embodiment of the present invention
  • 17 is an actual rendezvous time point and a recognized rendezvous time point.
  • FIG. 1 is a diagram showing the configuration of an image-based cooperative simultaneous positioning and map creation system using a rendezvous according to an embodiment of the present invention
  • FIG. 2 is an image-based cooperation using a rendezvous according to an embodiment of the present invention.
  • It is a block diagram of an arbitrary platform included in the simultaneous simultaneous positioning and mapping system
  • FIG. 3 is a flowchart of an image-based cooperative simultaneous positioning and mapping method using a rendezvous according to an embodiment of the present invention.
  • An image-based cooperative simultaneous positioning and mapping system and method using a rendezvous is a multi-platform system, that is, a multi-platform or In an arbitrary environment in which platforms such as autonomous vehicles are operated, each platform identifies the platform and recognizes a rendezvous without the use of additional sensors or markers, enabling efficient collaboration slam.
  • the image-based cooperative simultaneous positioning and mapping system 100 using a rendezvous includes a plurality of platforms 110a, 110b, 110c belonging to the same team, collectively referred to as '110'. ) (also referred to as a single platform) and a ground station 120 that performs platform matching and map fusion using data created by the platforms 110 .
  • the multi-platform consisting of a plurality of platforms 110 performs missions (ie, missions requiring movement) such as autonomous driving, transportation, and security monitoring in an arbitrary environment.
  • the platform 110 is a device having mobile characteristics, and may be, for example, a robot, an unmanned aerial vehicle, or an autonomous vehicle.
  • the rigidity of the platform slam is required because the other platform is a moving object, and there are direct and indirect approaches.
  • Direct Approaches can calculate accurate posture estimation through non-linear optimization that minimizes the intensity difference between two images.
  • Indirect Approaches can estimate posture through 3D geometry-based bundle adjustment (BA) using features tracked from a series of images. Since it is reliable even when a large portion of the image is dynamic pixels, and map data composed of reconstructed static features is suitable for communication with a server due to the sparseness of map points, an indirect approach can be applied in this embodiment.
  • BA 3D geometry-based bundle adjustment
  • FIG. 4 a map fusion state using a rendezvous is shown.
  • the upper figure shows the viewing areas of a monocular camera mounted on a drone (UAV) and an unmanned ground vehicle (UGV) in a rendezvous situation.
  • the UAV's camera is a top view
  • the UGV's camera is a front view.
  • map fusion is performed using the rendezvous situation (a situation where one platform is displayed on the screen of another platform). This is not affected by the limitations of hardware configuration and environment, and helps to enable platform operation in more diverse environments.
  • the ground station 120 communicates with the plurality of platforms 110 , and creates an integrated map by fusing individual maps individually created on the platform 110 . This is a result of the design of the framework in consideration of computing power.
  • the integrated map produced by the ground station 120 may be transmitted to the platform 110 so that the platform 110 can use it.
  • the arbitrary platform 110 includes an image input unit 111 , a camera posture estimation unit 113 , an individual map generation unit 115 , a non-static feature management unit 117 , and a communication unit 119 . .
  • the image input unit 111 is installed at a set position (eg, front) for each platform 110 to acquire a surrounding image.
  • the image may be continuous image data.
  • the image input unit 111 may be a monocular camera.
  • depth information can also be acquired.
  • a general monocular camera that acquires only images without depth information, it is possible to perform map fusion by identifying a platform and recognizing a rendezvous situation.
  • a stereo camera, an RGB-D sensor, a laser type measuring device, etc. may be used as the image input unit 111 according to circumstances.
  • a monocular camera is applied to the image input unit 111 for convenience of understanding and description of the present invention.
  • the camera posture estimating unit 113 extracts and matches features with respect to the image obtained from the image input unit 111 , and estimates the camera posture from the matched features.
  • the camera posture estimator 113 estimates the camera posture relative to the static part of the image. For example, an outlier removal algorithm (RANSAC, RANdom SAmple Consensus)-based algorithm that filters only static features among matched features may be used.
  • RANSAC outlier removal algorithm
  • the RANSAC algorithm for estimating the camera posture is obvious to those skilled in the art to which the present invention pertains, and a detailed description thereof will be omitted.
  • the individual map generator 115 provides an individual map ( individual maps). Individual map generation may be performed through a single slam technique, and since such a single slam technique is obvious to those skilled in the art to which the present invention pertains, a detailed description thereof will be omitted.
  • the non-static feature management unit 117 extracts a non-static feature that is generally discarded as an outlier in the RANSAC from among the matched features, and tracks and manages the image in successive frames.
  • the non-static feature is a feature created by a dynamic object in the image.
  • all other platforms are considered dynamic objects.
  • some of the non-static features in a rendezvous situation can provide useful information about other platforms.
  • KLT Kernada-Lucas Tomasi
  • the communication unit 119 is connected to the ground station 120 that assigns and manages missions to the platforms through a network to transmit and receive various data.
  • the communication unit 119 transmits camera postures (APs, All frames' poses), individual map data (MPs, local Map Points), and non-static features (NSFs, Non-Static Features) in all image frames created on the platform 110 . Transmits the platform data including the ground station (120). Transmission of platform data may be performed according to a preset period or according to a request from the ground station 120 .
  • the ground station 120 includes a platform matching module 121 and a map fusion module 123 .
  • the ground station 120 may include a storage unit (not shown) for storing the platform data transmitted from the platform 110 .
  • the storage unit may include a local map stack for storing individual maps and a non-static features stack for storing non-static features.
  • the storage unit is a feature stack (Team-Features Stack) that stores the matching result of the platform matching module (121), the integrated map stack (Global Map Stack) for storing the integrated map produced by the map fusion module (123) may further include.
  • the platform matching module 121 classifies and matches whether the non-static feature of the platform data transmitted from the platforms 110 relates to other platforms belonging to the same team.
  • Non-static features include all non-static features without distinction. Therefore, it is an anonymous observation that it is not known whether it was extracted from a dynamic obstacle or from which platform among platforms belonging to the same team.
  • the non-static feature can be regarded as extracted from a platform with high motion similarity.
  • These non-static characteristics may include measurements of relative posture between platforms in a rendezvous situation.
  • the platform matching module 121 can design and solve an optimization problem that compares the posture of the platform estimated by a single slam and the movement of a non-static feature in the image. It is originally a non-convex optimization problem, but the method of calculating it may vary. When the convergence error of the optimization problem is sufficiently small, it can be said that the non-static feature is an observation pointing to the corresponding platform, and in this case, platform-non-static feature matching is performed. Non-static features that have succeeded in matching the platform can be classified as team-features.
  • the map fusion module 123 fuses the observation platform and the data acquired by the observed platform, in particular, each individual map into an integrated map by using the feature.
  • map fusion is performed by estimating a similarity transformation value between individual maps using a feature that is a bearing vector for the observation platform viewed by the observation platform.
  • an image-based cooperative simultaneous positioning and map creation method using a rendezvous is as follows.
  • All platforms 110 individually perform a single slam system, and produce a camera posture and an individual map (step S200).
  • non-static features discarded in a single slam are extracted, tracked and managed in successive images (step S205).
  • Platform data including camera posture, individual map, and non-static features are transmitted to the ground station (step S210).
  • the platform matching module 121 compares the movement of each platform estimated from the slam with the movement of the non-static feature in the image (step S215).
  • step S220 If the two movements are similar, matching between the platform-non-static feature is performed (step S220).
  • a non-static feature that has succeeded in matching can be used as a confirmed observation value, not an anonymous observation value, and the map fusion module 123 performs map fusion when the platform-feature matching data is collected over a certain amount (step S225) ).
  • the individual maps and posture data created by the observation platform and the observed platform are fused into an integrated map, and for this, the similarity transformation value between the individual maps can be estimated.
  • the viewpoint of the camera mounted on the platform is different or It can also be applied to environments where there are many similar scenes.
  • platform matching can be performed using non-static features extracted from monocular cameras without using any markers or additional sensors for platform identification. Therefore, it is easier to apply to a multi-platform system, and a collaborative slam system can be implemented with a light and inexpensive sensor configuration.
  • the automation market of the mobile platform in which the multi-platform is utilized according to this embodiment expands to industries for human convenience such as multiple vehicles, factory automation systems, unmanned delivery systems, remote reconnaissance, surveillance, facility inspections, guidance platforms, personal services, etc.
  • the multi-unmanned aerial vehicle can be used in various fields, such as flying taxis, unmanned delivery, drone shows, and industrial environment inspections in hazardous areas.
  • a new rendezvous based map fusion technique using non-static features is proposed.
  • Most Slam algorithms use only static features and discard non-static features consisting of inconsistent features or dynamic obstacles or features extracted from other platforms as outliers.
  • the non-static features may include useful information such as cross-platform measurements in a multi-platform system, and in this embodiment, the overall efficiency is improved because non-static features can be easily extracted from the existing slam without an additional process for cross-platform observation. can be improved
  • the anonymous posture measurement data of the monocular camera is used without using a special visual tag, an inertial measurement unit (IMU), or an additional sensor such as a motion capture system, so that the applicability in a general multi-platform system can be improved. have.
  • IMU inertial measurement unit
  • additional sensor such as a motion capture system
  • this embodiment provides a method for integrating individual maps of the platform into the integrated map using the overall framework and rendezvous of the collaborative monocular slam. Similarity transformation between each platform's initial pose (posture) and individual maps based on individual scales determined by the platform slam's initialization module. must be estimated for map fusion. Between individual maps ⁇ R, t, s ⁇ estimates are platform-to-platform initial relative poses It is equivalent to calculating the ratio of ⁇ R, t ⁇ and scale ⁇ s ⁇ .
  • An observable platform is defined as any platform except the observer platform, that is, the observable platform. If the motion of the NSF (non-static feature) on the observer platform is very similar to the motion of the observable platform, then the NSF is considered a feature and the observable platform becomes the observed platform. In this case, the relative between the individual maps of the observer platform and the observed platform. Individual maps can be integrated into a unified map using features considered to be relative measures identified by estimating .
  • FIG. 5 An architecture according to this embodiment is shown in FIG. 5 .
  • Platform Slam may use any feature-based Slam algorithm.
  • ORB-SLAM2 which is one of the publicly disclosed feature-based slams, may be utilized.
  • Each platform tracks non-static features and estimates individual maps and its own poses. This data is collected from ground stations over a wireless network in a centralized setting.
  • the individual map stack manages the platform data, which is the collected individual platform slam data, such as map points (MPs, map points) and camera poses (all frames' poses), which are poses of all images captured by each platform. .
  • the NSF received from the platform is stored in the NSF stack.
  • the FI module (corresponding to the platform matching module) accesses the stack database to recognize the rendezvous. When the features connected to two specific platforms are sufficiently gathered, the map fusion module creates an integrated map.
  • the collected data should be time-consistent.
  • the ground station receives and manages the individual maps and NSFs estimated by the platform as described above.
  • a platform operating system ROS, Robot Operating System
  • the FI module requires the AP and NSF of the observer platform and the AP of the observable platform, and these data must be time-synchronized. If platform A is an observer platform, the AP and NSF received from platform A have the ROS time frame of A from which these data were extracted. Therefore, the AP of the observable platform must be time-synchronized with the frame of A, and for this, compensation for the time interval between the frame of the platform A and the observable platform is required.
  • the time-synchronized AP of the observable platform can be calculated by interpolation, assuming that the rate between two consecutive frames is constant.
  • each platform uses a modified feature-based slam to extract and manage the NSF.
  • the feature-based monocular slam has an initialization module that generates an initial individual map and determines a reference scale using its 2D versus 2D equivalent function based on the initial pose (posture) of each platform. After the initial individual map is created, each time a frame is captured, localization of the individual map and mapping of new static features are repeated.
  • the expected pose and MP are corrected by Bundle Adjustment (BA), and the target frame of the correction process is just the key frame, not all frames.
  • BA Bundle Adjustment
  • the frame pose between modified key frames is updated whenever the key frame pose is modified via the BA.
  • Platform Slam uses a pose correction algorithm to correct the poses of relative frames between keyframes.
  • the updated AP and MP are then transmitted to the ground station.
  • NSF consists of inconsistent features and dynamic features that do not support their own motion. All extracted NSFs are tracked in successive images by the Kanade-Lucas-Tomasi (KLT) feature tracker. batch size parameter In more images, the descriptors of the successfully tracked NSFs are computed and compared to the reference descriptors computed when the NSF was first extracted. as well as two consecutive images Comparisons of these descriptors between images that are far away by a step help eliminate most of the inconsistencies.
  • a successfully matched NSF can be considered a characteristic of a dynamic object and is stored in the Database for NSF (DBNSF).
  • DNSF Database for NSF
  • NSF NSF trace length The NSF, which is a multiple of , is transmitted to the ground station to manage the communication load. This condition is called the batch size condition.
  • the algorithm for NSF management is described in Algorithm 1. where NSFs and NSFs,verf are NSFs extracted from the current image and its reference descriptor. prev_tNSFs and tNSFs represent NSFs traced to the previous and current images, respectively.
  • the FI module compares the AP and NSF of the observer platform with the AP of the observable platform to check whether the NSF has a feature pointing to the platform. If so, the NSF is considered a feature capable of providing an identified relative measure.
  • the observer platform and observable platform for observing the NSF are denoted by A and B, respectively, to describe the map fusion problem for the two platforms. All platforms are considered rigid.
  • FIG. 6 is a diagram illustrating representative coordinate systems of the two platforms while tracking the NSF.
  • the reference coordinates of each individual map are the initial poses ⁇ A1 ⁇ , ⁇ B1 ⁇ of each platform.
  • Feature P observed by platform A points to platform B.
  • the camera coordinates of platforms A and B are denoted by ⁇ Aj ⁇ and ⁇ Bj ⁇ , respectively.
  • the AP of each platform is expressed based on the initial poses ⁇ A1 ⁇ and ⁇ B1 ⁇ .
  • Platform A is a feature represented in frame ⁇ Aj ⁇ at time j observe
  • the normalized coordinates of the feature are is expressed as
  • the point coordinates are related to Equation (1).
  • the scale ratio when the pose estimated by one platform is represented in the individual maps of the other platform can be compensated.
  • the error of each edge can be used to formulate a non-convex optimization problem (Equation (5)) with positive depth and scale ratio limitations.
  • a boundary constraint consists of a relative pose estimated to slam between two nodes on the boundary. Since the estimated value has an error, the weight matrix is associated with the inverse gap between the two nodes.
  • the number of independent constraints 3 (n - 1) for n nodes must not be less than the number of unknown variables (n + 7). Therefore, theoretically, a non-static feature should be traced at least 5 times to get a unique solution.
  • a graph with n nodes is at most can have an edge.
  • Using all possible edges can be a powerful solution in that all relationships between observations can be considered.
  • the calculation time is large. Therefore, an edge that meets a certain condition is used rather than all available edges. Because each edge consists of poses estimated to be slammed by the observer and the observable platform, the greater the spacing between the two nodes of the edge, the greater the slam drift. Edges with very large gaps are unreliable and can corrupt the optimization. To prevent this, edges with small spacing are given high priority.
  • FIG. 7 shows an edge with 1, 2 and 3 gaps between the edge nodes, respectively.
  • the edges of a graph with n nodes are shown in FIG. 4 . Circles represent nodes.
  • Each of the plurality of lines represents edges having 1, 2, 3 gaps between the edge nodes.
  • Edge connection parameters Edges with spacing not exceeding is defined as
  • the proposed AM is the edge connection parameter It is evaluated in terms of calculation time and solution accuracy by changing
  • the total number of nodes is a parameter to prevent the selected edge from continuously increasing as the number of nodes increases. if greater than Nodes are sampled uniformly.
  • First subset for edge (i, k) can be modified, and (4) can be reformulated into (8).
  • Two non-zero elements is in the i and kth columns.
  • the first sub-optimization problem using the reformulated error (8) can be expressed as (9) with a closed solution.
  • quadratic programming QP Solver
  • the edge error (10) is used to construct the second subproblem (11), which can also have a closed solution.
  • SVD defines singular value decomposition. is an orthogonal matrix, is a diagonal matrix with non-negative elements, so in (11) trace( ) to maximize must be an identity matrix. therefore optimal can be calculated as
  • the proposed AM algorithm repeats two sub-processes, namely (9) and (12), until the termination criteria shown in Algorithm 2 are satisfied. Huber functions can mitigate the effects of outlier nodes that are tracked or mismatched to the wrong point during the NSF tracking process. Since both suboptimal problems have closed solutions, the AM algorithm converges quickly without step-by-step parameter adjustments. Also, the convergence of the proposed AM algorithm is always guaranteed because the two subprocesses (9) and (12) iteratively reduce the cost function of the original optimization problem (5).
  • the AM algorithm only requires initial values for one of the following two subsets.
  • the tracked NSF received from each agent is produced by two algorithms in the platform module, including a KLT tracker that does not compensate for scale and a descriptor matching algorithm that is triggered when the batch size condition is met. If the depth of the tracked NSF is different, tracking or matching may fail because the descriptor and patch for tracking depend on the depth of the feature. Therefore, only NSFs with little depth change in the tracking process can be successfully tracked, and (4) can be expressed as (13) by using the depth property of the feature.
  • the representative depth of the tracked feature is the median depth of the static feature in the frame from which the tracked feature is first extracted. last normalized and , using a scale ratio of 13 can be expressed as
  • (14) can be used to derive an optimization problem for initial values.
  • (11) and (12) can also be solved in the same way.
  • Is Wow is related to the ratio between changes in In this embodiment, the maximum number of initial edges is limited to 50.
  • the number of features is a map fusion parameter If greater, the average of the AM results of the feature is used as the initial value.
  • a characteristic that satisfies these two conditions is a characteristic is processed with is the number of identified features of platform B. Once the features are selected, the results and errors of the AM algorithm is saved for map fusion.
  • the identification procedure is the same as in Algorithm 3.
  • NSF identification had to be performed for only one available platform.
  • there is more than one observable platform there may be singular cases that cause uncertainty in the identification process. For example, if an observer platform is tracking a specific NSF while an observable platform has similar behavior, the identification becomes ambiguous. In this case, an NSF can match multiple platforms with similar behavior, so identification of a specific NSF is withheld until only one matching platform remains.
  • Some platforms that have succeeded in map fusion can predetermine cross-platform visibility, that is, whether platforms that have succeeded in map fusion have entered each other's images. Using this knowledge, the uncertainty of platform identification can be alleviated by removing the invisible platform.
  • the map fusion module has a number of features When larger, the feature is used to integrate individual maps of the observer and observed platform into a unified map. Between two separate maps is the scale ratio between the two separate maps and the relative initial pose Same as , and must be calculated to fuse the individual maps.
  • the relative initial transformation is It is essential to calculate , since other parameters are explicitly included in the AM solution, giving the observed initial point of the platform, the scale ratio, the depth, and the relative rotation between the initial poses of platforms A and B.
  • the relative initial transform can be calculated as
  • the weight is set to be inversely proportional to the error of each node derived from the AM solution.
  • the inlier of the feature is is used to calculate
  • the MF module then sets the observer and the MP of the observed platform and the AP to the initial pose of the observer platform. To build a unified map representing
  • the following relates to the results of four experiments using the collaborative monocular slam according to the present embodiment.
  • the experimental setup is described and the main modules such as the feature identification (FI) module and the map fusion (MF) module are analyzed.
  • the system according to the present embodiment is evaluated in terms of robustness and scalability.
  • Table 1 describes the experimental setup.
  • Experiment 1 is not to evaluate the collaborative monocular SLAM, but to analyze the performance of the FI module and the MF module. The entire framework and each module is evaluated in Experiments 2-4.
  • experiments 1-3 multiple platforms roam the indoor space, and the rendezvous between platforms A and B takes place in experiment 4 (see FIG. 8 ).
  • real-world data on the pose of the platform are acquired from the motion capture system.
  • Experiment 4 was concerned with an area outside the limits of the motion capture system, the actual transformation between individual maps was manually calculated using a reference object.
  • map fusion using rendezvous is difficult with cross-platform loop detection
  • Experiment 2-4 is designed as follows: the cameras mounted on the platform have different viewpoints, and the environment has many similar scenes. The detailed setup of each experiment is as follows.
  • a handheld camera with many features and a flat board are defined as platforms A and B.
  • B's pose is provided by the motion capture system, and platform A's monocular camera is used to implement the slam and extract the NSF.
  • the FI module and the MF module are evaluated in a rendezvous situation where platform A constantly looks at one side of platform B.
  • UAV and UGV have monocular cameras of top-down view and front view, respectively, and are defined as platforms A and B.
  • Platform A moves along a trajectory having the shape of FIG. 13 observing the floor, and platform B moves along an elliptical trajectory facing the wall. Since platforms A and B have completely different views, it is difficult for both platforms to observe the same scene. Therefore, CCM-SLAM, a collaborative monocular slam that maps fusion using cross-platform loop detection, cannot detect cross-platform loops between A and B.
  • the total time of Experiment 2 is 42.5 seconds, and the actual rendezvous time that A observes B is is (see Fig. 13).
  • CCM-SLAM yields false inter-loop detection between platforms A and C due to similar scenes in different places, resulting in no map fusion.
  • the experimental time is 75 seconds
  • the actual rendezvous is the time interval in which platform A observes platforms B and C, respectively. , maintained while actual rendezvous time Wow is shown in FIG. 13 .
  • Turtlebot 3 with a handheld camera, hexarotor and monocular camera is defined as platforms A, B and C.
  • 8 shows the trajectories of the platforms.
  • Platform A starts at the end of the corridor on the second floor, goes down the stairs, moves along the corridor on the first floor, and enters the room where platform B is flying.
  • the rendezvous between platforms A and C takes place in the hallway on the first floor, and the rendezvous between platforms A and B takes place in the room on the first floor.
  • CCM-SLAM uses the visual board in the first floor hallway to find the correct inter-loop between platforms A and C, but map fusion using the individual maps on platform B does not occur.
  • the actual rendezvous time at which platform A observes platforms B and C is as shown in FIG. , is marked with
  • Each trajectory represents platforms A, B, and C.
  • the two lower images were captured by platform A during rendezvous A-B, A-C.
  • the feature identification (FI) module uses the proposed AM algorithm to extract features among non-static features (NSFs), which are anonymous posture measurements with false positives.
  • NSFs non-static features
  • the first graph (a) of FIG. 9 is As , the number of calls to the FI module decreases, and the FI rate, which is the computation time per frame in the FI module, increases accordingly.
  • the second graph (b) of Fig. 9 shows the first map fusion instants calculated at three instants. and similarity error shows The similarity error is calculated as follows.
  • rms(.) represents the root mean square
  • silver at is the logarithmic transformation to Wow are the actual data and estimates for the similarity transformation between two individual maps.
  • the transform part of is transformed to include the global scale before calculating the similarity error. number of features
  • the individual maps are integrated into the integrated map, and the first map fusion moment is the first time map fusion occurs after the actual rendezvous starts.
  • the AM algorithm according to this embodiment is a gap between edge nodes, By changing , it is analyzed in terms of computational time and accuracy of the solution.
  • class AM algorithms using are called AM and AM (Ngap).
  • the Levenberg-Marquardt (LM) algorithm is used as a criterion for comparison. it's all variables initial values of is required, but the AM algorithm only uses two subsets of or only the initial value of The initial value of is computed using the depth property of the tracked NSF, must be obtained to implement the LM algorithm.
  • LM Levenberg-Marquardt
  • the second method is the solution of step 1 AM use
  • the first and second methods are defined as LM and AMLM.
  • the standard algorithm is is implemented using All algorithms run in MATLAB on the laptop with the same exit conditions (Table 1).
  • Table 2 shows the convergence time and similarity error of AM series and reference algorithm in each experiment. shows
  • Convergence time represents the mean and standard deviation of the time it takes to converge using each algorithm each time the FI module is triggered, is the similarity error computed using sim(3) of the features.
  • the AM series offers significantly better performance, such as faster convergence times and accurate solutions, than reference algorithms such as LM and AMLM.
  • AM, AM(3), and AM(5) the AM algorithm has the fastest convergence time at about 0.6 msec (median value). This increase increases the accuracy of the solution and also increases the computation time rapidly. This relationship between the accuracy and speed of each algorithm can be seen in FIG. 11 . Same edge connection parameters Even if is used, the optimization variables of LM and AMLM take much longer to converge compared to AM algorithm.
  • the left y-axis with log scale represents the convergence time and the right y-axis indicates where each box represents the 25th and 75th percentiles and the whiskers represent the 95% confidence level, respectively.
  • the MF (Map fusion) module integrates the individual maps of the rendezvous platform into the integrated map using the features identified by the FI module. In order to evaluate the MF module, we analyze the first map fusion moment and the accuracy of the integrated fusion map.
  • FIG. 12 shows the first map fusion and stabilization moment using AM, LM, and AMLM in all experiments.
  • the stabilization moment is the moment when the similarity error of the integrated map falls below the stabilization threshold (set to 0.1) after the actual rendezvous.
  • the stabilization threshold set to 0.1
  • experiments I, II and III using LM integrated maps including individual maps A and B were successfully generated. However, the integrated map has not been stabilized.
  • the identified features are not sufficient for map fusion in experiments 3 (A-C) and 4 (A-B), (A-C).
  • the AMLM method which only changes the initial value to a one-step AM solution, gives much better results than LM.
  • the moment of first map fusion and stabilization varies in experiments. Their tracking depends on how the observed platform is captured in the image of the observer platform, such as how large the projected size is and how the viewpoint from which the observer platform looks at the observed platform changes.
  • the first map fusion moment in Experiment 2 and Experiment 3 (A-B) is almost identical to the theoretical map fusion moment, and the viewpoint does not change much, and the observer platform is captured in a significant portion of the observer image at the start of the actual rendezvous. This facilitates the collection of important observations of the NSF during the initial rendezvous interval and leads to successful map fusion.
  • FIG. 13 shows the results of the proposed multi-platform Slam system using AM at a specific time point in Experiments 1-3.
  • the estimated similarity transform SIM 3 becomes more accurate as the number of features increases in FIGS. 13 (1a) and (1b). Although the estimated trajectory of the platform B at the initial moment shown in FIG. 13 ( 1a ) is different from the actual data, the integrated map using the estimated SIM 3 in FIG. 13 ( 1 b ) is almost the same as the actual data.
  • Fig. 13 (2a) relating to Experiment 2, the rendezvous was not recognized and there are only separate maps of A and B.
  • Fig. 13(2b) which shows the first map fusion moment, there are a small number of features in image A. An integrated map is created, but there is some error in the map because the relative observations are insufficient to accurately estimate the SIM (3) between the two separate maps. As the number of detected features increases, the integration of the two maps becomes more accurate. Most of the NSFs representing platform B are identified as features and the integrated map becomes very accurate in Fig. 13(2c).
  • Figure 14 shows the integrated integrated map and images captured by each platform at 71 sec, 121 sec, and 141 sec in Experiment 4.
  • Platform A starts from the corridor on the second floor and goes down to the first floor through the stairs, and meets platform C in the corridor on the first floor as shown in FIG.
  • the image of platform A in Figure 14 (4a) is a rendezvous with C-features. identified from the NSFs at the moment during the
  • the FI module recognizes the rendezvous between A and C and uses the rendezvous to generate an integrated map (A + C).
  • the magnified plot in the upper right of Figure 11 confirms that the feature-rich boards observed by platforms A and C accurately overlap in the integrated map.
  • Platform A then enters the room where platform B (drone) flies and a rendezvous between A and B occurs.
  • rendezvous In the images A in Figs. 14 (4b) and (4c) captured in Fig. 14, the features of B are properly extracted inside the drone. 14 (4b) and (4c) as in The features of B collected during the period are used to build an integrated map (A + B + C).
  • Fig. 14 shows that all the individual maps of A, B, and C are well located in the integrated map.
  • AM shows the best overall performance compared to other reference algorithms.
  • LM also failed in experiments 3 and 4, where few features were identified, showing the worst performance, and map fusion failed.
  • the platform observed during rendezvous becomes a moving object in the image of the observer platform,
  • the FI module is triggered more frequently.
  • the system according to the present embodiment can accurately estimate the observed internal points of the platform as shown in the figure. 15 shows the result of fitting a plane using the inner point estimated in Experiments 1-3.
  • the estimated inner points are distributed like the actual plate shape of platform B in experiments 1 and 2.
  • the mounted planes using the internal points estimated in Experiment 3 represent the cube shape of platforms B and C well. Since the inner points are estimated from the surfaces observed by platform A, the actual number of planes mounted on platforms B and C may vary depending on the observed surfaces (i.e., 3 and 4 planes for B and C respectively in Figure 15). . Also, the camera coordinates of platforms B and C are estimated exactly like their actual mounted positions and orientations (shown slightly up and down, respectively).
  • the FI module finds a feature that points to a specific platform among NSFs. Since NSFs contain inconsistent and dynamic features, the ability to correctly identify features between NSFs can be considered as a measure of the robustness of the FI. If the FI module finds the characteristics of platform B among the NSFs of the platform A image, it can be viewed as a rendezvous where A observes B. Therefore, if the number of features appearing in the image at a specific point in time is greater than a specific threshold (eg, set to 3), it is recognized as a rendezvous. In experiments 3 and 4 involving two observable platforms B and C, additional tests were run without either B or C by treating the excluded platform as a dynamic obstacle. These additional tests are intended to evaluate the robustness of the FI module against dynamic obstacles and multiple observable platforms.
  • a specific threshold eg, set to 3
  • Figure 17 shows the actual and perceived rendezvous durations in experiments 1-4 with additional robustness tests.
  • the precision, recall and F1 scores of recognized rendezvous are calculated in Table IV.
  • the recognition precision decreases in the additional tests. This is because, as described above, if two or more observable platforms have similar motions while tracking the NSF, the feature identification process is suspended until the motions of each platform are unique. For additional tests other than B or C, no pending process occurs because the number of observable platforms is reduced to 1. Therefore, if the movement of the excluded platform is similar to that of the rest of the platforms, the NSF extracted from the excluded platform can be identified as a feature. This can be mitigated using cross-platform visibility information as described above. (this does not apply to FI tests only).
  • m NSFs are transmitted to the ground station from each platform of the N platforms.
  • the FI module compares the movements of each NSF with the poses of other platforms except the NSF's observer. Therefore, the FI module is triggered mN(N-1) times. That is, the calculation time increases by the number of squares of the platform.
  • the relative poses of the platforms are known.
  • a known relative pose can also be used to determine cross-platform visibility, i.e. whether another platform entered the image.
  • cross-platform visibility of identified platforms can reduce the number of FI calls by not considering invisible platforms.
  • Collaborative monocular slam according to this embodiment is evaluated in four experiments designed to evaluate map fusion using rendezvous, which is difficult to close between loops. As a result of the experiment, it was confirmed that the system according to this embodiment quickly and strongly recognizes rendezvous and accurately integrates the individual maps of the observer and the observed platform into the integrated map.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the image-based simultaneous positioning and map creation method using the rendezvous described above may be executed by an application basically installed in the terminal (which may include a program included in a platform or operating system, etc. basically installed in the terminal), and the user may be executed by an application (ie, a program) installed directly on the master terminal through an application providing server such as an application store server, an application, or a web server related to the corresponding service.
  • an application ie, a program
  • the image-based simultaneous positioning and map creation method using the rendezvous described above is implemented as an application (that is, a program) installed by default in a terminal or directly installed by a user, and is stored in a computer-readable recording medium such as a terminal. can be recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따르면, 다중 플랫폼 시스템에서의 영상 기반 협력적 동시 측위 및 지도 작성 방법으로서, 복수의 플랫폼 각각이 단일 슬램 방식으로 카메라를 통해 입력된 이미지에 기반하여 카메라 자세를 추정하고 개별 지도를 제작하는 단계; 상기 이미지에서 비정적 특징(non-static feature)을 추출하고 관리하는 단계; 상기 카메라 자세, 상기 개별 지도 및 상기 비정적 특징을 플랫폼 데이터로 지상국에 전송하는 단계; 상기 지상국에서 상기 플랫폼 데이터에 기초하여 상기 복수의 플랫폼 중 하나와 나머지 플랫폼들 간에 랑데부 상황 여부를 판단하는 단계; 및 상기 랑데부 상황이 있는 경우, 랑데부한 둘 이상의 플랫폼에서 수신한 상기 개별 지도를 통합 지도로 융합하는 단계를 포함하는 영상 기반 협력적 동시 측위 및 지도 작성 방법이 제공된다.

Description

영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법
본 발명은 영상 기반의 협력적 동시 측위 및 지도 작성(협업 슬램) 시스템 및 방법에 관한 것이다.
일반적으로 슬램(SLAM, simultaneous localization and mapping)은 단일 모바일 플랫폼이나 디바이스로 주변 환경 지도를 만들고, 만들어진 지도 속에서 자신의 위치를 추정하는 기술을 말한다. 슬램은 차량이나 로봇 등의 자율주행 및 가상현실(VR)/증강현실(AR)을 위한 핵심 기술이다.
여러 대의 플랫폼들이 운영될 경우, 플랫폼 또는 단말기들 간의 정보 교환을 바탕으로 한 협업 슬램 기술을 이용하여 이들 각각의 위치를 추정하면서도 넓은 영역의 지도를 효과적으로 작성할 수 있다.
그러나 이러한 단일 슬램 시스템이 다중 플랫폼을 위한 협업 슬램으로 확장되기 위해서는 각각의 플랫폼이 모은 정보를 통합해주는 지도 융합 기술이 요구된다.
지도 융합을 위해서는 플랫폼들이 같은 장소를 바라보는 플랫폼간 루프 탐지(inter-robot loop detection)나 플랫폼들이 다른 플랫폼들의 시야에 등장하여 서로를 바라보는 랑데부(rendezvous) 상황이 필요하다.
기존의 랑데부 기반의 지도 융합 기술은 관찰된 로봇의 신원을 확인하기 위해 시각 마커(visual marker)를 사용(한국등록특허 제10-1976241호)하거나 스테레오 카메라 혹은 RGB-D 센서 등으로부터의 거리 정보를 요구하는 등의 한계가 있었다.
본 발명은 다중 플랫폼 혹은 자율주행 차량, 가상/증강/혼합 현실 단말기 등의 플랫폼들이 운용되는 임의의 환경에서 랑데부 상황을 이용하여 다중 플랫폼들의 위치를 추정하거나 통합적인 지도 제작을 가능하게 하는 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법을 제공하기 위한 것이다.
본 발명은 플랫폼 신원을 확인하기 위한 어떠한 마커나 추가 정보도 사용하지 않으며, 가볍고 저렴한 단안 카메라(monocular camera)로도 랑데부 기반의 지도 융합 문제를 해결할 수 있고, 일반적으로 버려지는 비정적 특징(non-static feature)을 이용하여 효율적인 협업 슬램이 가능한 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 다중 플랫폼 시스템에서의 영상 기반 협력적 동시 측위 및 지도 작성 방법으로서, 복수 대의 플랫폼 각각이 단일 슬램 방식으로 카메라를 통해 입력된 이미지에 기반하여 카메라 자세를 추정하고 개별 지도를 제작하는 단계; 상기 이미지에서 비정적 특징(non-static feature)을 추출하고 관리하는 단계; 상기 카메라 자세, 상기 개별 지도 및 상기 비정적 특징을 플랫폼 데이터로 지상국에 전송하는 단계; 상기 지상국에서 상기 플랫폼 데이터에 기초하여 상기 복수의 플랫폼 중 하나와 나머지 플랫폼들 간에 랑데부 상황 여부를 판단하는 단계; 및 상기 랑데부 상황이 있는 경우, 랑데부한 둘 이상의 플랫폼에서 수신한 상기 개별 지도를 통합 지도로 융합하는 단계를 포함하는 영상 기반 협력적 동시 측위 및 지도 작성 방법이 제공된다.
상기 랑데부 상황 여부 판단 단계는, 상기 하나를 관찰 플랫폼으로 보고 상기 관찰 플랫폼에서 수신한 상기 이미지 내에서의 상기 비정적 특징의 움직임과 상기 나머지 플랫폼들로부터 수신한 상기 카메라 자세 및 상기 개별 지도에 기초한 상기 나머지 플랫폼들의 움직임의 유사성을 비교하는 단계를 포함하며, 임계치 이상으로 유사한 움직임을 가지는 플랫폼이 있을 경우, 상기 관찰 플랫폼과 랑데부 상황인 것으로 보고, 상기 비정적 특징을 매칭할 수 있다.
상기 유사성 비교 단계에서 최적화 문제를 설계하고, 상기 최적화 문제의 수렴 오차가 충분히 작을 때 상기 비정적 특징이 상기 플랫폼을 가리키는 관측값인 것으로 판단할 수 있다.
상기 유사성 비교 단계에서 대체 최소화 알고리즘을 사용하여 상기 최적화 문제에 대한 수렴 해를 찾을 수 있다.
상기 지도 융합 단계에서는, 지도 융합 모듈에서 상기 특징을 이용하여 관찰 플랫폼과 관측된 플랫폼이 만든 상기 개별 지도 및 상기 카메라 자세에 대한 자세 데이터를 통합 지도로 융합할 수 있다.
상기 지도 융합 단계에서 상기 개별 지도 간의 유사성 변환 값을 추정하여 상기 통합 지도로 융합할 수 있다.
한편 본 발명의 다른 측면에 따르면, 복수의 플랫폼 각각이 단일 슬램 방식으로 카메라를 통해 입력된 이미지에 기반하여 카메라 자세를 추정하고 개별 지도를 제작하는 영상 기반 협력적 동시 측위 및 지도 작성 시스템으로서, 상기 복수의 플랫폼 각각으로부터 플랫폼 데이터를 수신하고, 상기 플랫폼 데이터를 분석하여 통합 지도를 작성하는 시스템 (이하 지상국이라고 지칭)을 포함하되, 상기 지상국은, 상기 복수의 플랫폼 각각으로부터 플랫폼 데이터를 수신하고, 상기 플랫폼 데이터에 기초하여 상기 복수의 플랫폼 중 하나와 나머지 플랫폼들 간에 랑데부 상황 여부를 판단하는 플랫폼 매칭 모듈과; 상기 랑데부 상황이 있는 경우, 랑데부한 둘 이상의 플랫폼에서 수신한 상기 개별 지도를 통합 지도로 융합하는 지도 융합 모듈을 포함하는 영상 기반 협력적 동시 측위 및 지도 작성 시스템이 제공된다.
상기 복수의 플랫폼 각각은 상기 이미지에서 비정적 특징(non-static feature)을 추출하고 관리하며, 상기 플랫폼 데이터에는 상기 카메라 자세, 상기 개별 지도 및 상기 비정적 특징들이 포함될 수 있다.
상기 플랫폼 매칭 모듈은 상기 하나를 관찰 플랫폼으로 보고 상기 관찰 플랫폼에서 수신한 상기 이미지 내에서의 상기 비정적 특징의 움직임과 상기 나머지 플랫폼들로부터 수신한 상기 카메라 자세 및 상기 개별 지도에 기초한 상기 나머지 플랫폼들의 움직임의 유사성을 비교하며, 임계치 이상으로 유사한 움직임을 가지는 플랫폼이 있을 경우, 상기 관찰 플랫폼과 랑데부 상황인 것으로 보고, 상기 비정적 특징을 특징으로 매칭할 수 있다.
상기 플랫폼 매칭 모듈은 유사성 비교를 위해 최적화 문제를 설계하고, 상기 최적화 문제의 수렴 오차가 충분히 작을 때 상기 비정적 특징이 상기 플랫폼을 가리키는 관측값인 것으로 판단할 수 있다.
상기 지도 융합 모듈은 상기 특징을 이용하여 관찰 플랫폼과 관측된 플랫폼이 만든 상기 개별 지도 간의 유사성 변환 값을 추정하여 상기 통합 지도로 융합할 수 있다.
한편 본 발명의 또 다른 측면에 따르면, 이동하면서 동시 측위 및 지도 작성을 수행하는 플랫폼으로서, 카메라를 통해 주변 상황을 촬영한 이미지를 입력받는 이미지 입력부; 상기 이미지에서 특징을 추출하고 매칭하며, 매칭된 특징으로부터 카메라 자세를 추정하는 카메라 자세 추정부; 상기 이미지와 상기 카메라 자세를 기초로 하여 상기 플랫폼이 위치하고 이동한 지역에 대한 개별 지도를 작성하는 개별 지도 생성부; 상기 특징 중 비정적 특징(non-static feature)을 추출하고 관리하는 비정적 특징 관리부; 및 상기 카메라 자세, 상기 개별 지도 및 상기 비정적 특징을 포함하는 플랫폼 데이터를 상기 지상국으로 전송하는 통신부를 포함하는 플랫폼이 제공된다.
상기 이미지는 연속된 프레임을 가지며, 상기 비정적 특징 관리부는 상기 비정적 특징을 상기 연속된 프레임의 이미지에서 추적하며 관리할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 다중 플랫폼 혹은 자율주행 차량, 가상/증강/혼합 현실용 단말기 등의 플랫폼들이 운용되는 임의의 환경에서 랑데부 상황을 이용하여 다중 플랫폼들의 위치를 추정하거나 통합적인 지도 제작을 가능하게 하는 효과가 있다.
또한, 플랫폼 신원을 확인하기 위한 어떠한 마커도 사용하지 않으며, 단안 카메라로도 랑데부 기반의 지도 융합 문제를 해결할 수 있고, 일반적으로 버려지는 비정적 특징을 이용하여 효율적인 협업 슬램이 가능한 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템의 구성을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템에 포함되는 임의의 플랫폼의 구성 블록도,
도 3은 본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 방법의 순서도,
도 4는 플랫폼 랑데부를 이용한 지도 융합의 예시도,
도 5는 본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템의 프레임워크,
도 6은 비정적 특징을 추적하는 두 플랫폼의 대표 좌표계,
도 7은 n개의 노드를 가지는 그래프에서의 에지들,
도 8은 실험 4의 환경을 나타낸 도면,
도 9는 실험 1과 실험 2에서 FI 모듈의 계산 부하와 첫번째 지도 융합 순간 그래프,
도 10은 모든 실험(Nbs=15)에서 FI 모듈의 호출 그래프(3개의 바는 각각 플랫폼 A, B, C의 이미지로부터 FI 호출을 나타냄),
도 11은 모든 실험에서 본 실시예에 따른 AM 시리즈와 기준 알고리즘의 수렴 시간 및 유사성 에러 그래프,
도 12는 3가지 알고리즘을 사용한 첫번째 지도 융합 순간 그래프,
도 13은 실험 1-3의 특정 시점에서의 협업 단안 슬램의 결과물,
도 14는 실험 4의 특정 시점에서의 지도 융합 결과 및 이미지,
도 15는 실험 1-3의 추정된 내부 지점들로 맞춘 평면 결과물,
도 16은 실험 4에서 추정된 플랫폼 B와 C의 내부 지점들,
도 17은 실제 랑데부 시점 및 인식된 랑데부 시점.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템에 포함되는 임의의 플랫폼의 구성 블록도이며, 도 3은 본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 방법의 순서도이다.
본 발명의 일 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법은 협력 탐사, 운송, 감시와 같은 복잡한 작업을 효율적으로 수행할 수 있는 다중 플랫폼 시스템, 즉 다중 플랫폼 혹은 자율주행 차량 등의 플랫폼들이 운영되는 임의의 환경에서 플랫폼들 각각이 추가 센서 혹은 마커를 사용하지 않고서도 플랫폼을 확인하고 랑데부를 인식하여 효율적인 협업 슬램이 가능하게 한 것을 특징으로 한다.
도 1을 참조하면, 본 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템(100)은 같은 팀에 속하는 복수의 플랫폼(110a, 110b, 110c, 이하 '110'으로 통칭하기로 함)(혹은 단일 플랫폼이라고도 칭함)과, 플랫폼들(110)이 작성한 데이터를 활용하여 플랫폼 매칭 및 지도 융합을 수행하는 지상국(120)을 포함한다.
복수의 플랫폼(110)으로 이루어진 다중 플랫폼은 임의의 환경에서 자율주행, 운송, 보안 감시 등의 미션(즉, 이동을 요하는 임무)을 수행한다. 여기서, 플랫폼(110)은 모바일 특성을 가지는 장치로서, 예를 들어 로봇, 무인기, 자율주행차량 등일 수 있다.
다중 플랫폼 시스템에서는 다른 플랫폼이 움직이는 물체이기 때문에 플랫폼 슬램의 견고성이 요구되며, 직접 접근 방식과 간접 접근 방식이 있다.
직접 접근 방식(Direct Approaches)은 두 이미지 간의 세기 차이를 최소화하는 비선형 최적화를 통해 정확한 자세 추정을 산출할 수 있다.
간접 접근 방식(Indirect Approaches)은 일련의 이미지에서 추적된 특징을 사용하여 3차원 지오메트리 기반의 번들 조정(BA)을 통해 자세를 추정할 수 있다. 이미지의 많은 부분이 동적 픽셀인 경우에도 신뢰 가능하며, 재구성된 정적 특징들로 구성된 지도 데이터는 지도 포인트의 희소성으로 인해 서버와의 통신에 적합하므로, 본 실시예에서는 간접 접근 방식이 적용될 수 있다.
다중 플랫폼이 운용되는 환경에서 각각의 플랫폼이 획득한 정보를 통합시키기 위해서는 플랫폼간 루프 탐지 혹은 랑데부 상황이 요구된다.
플랫폼간 루프 탐지 상황을 이용한 지도 융합의 경우에는 다중 플랫폼에 탑재된 카메라의 뷰포인트가 다르거나 비슷한 장면이 많이 존재하는 환경에서는 적용되기가 힘든 단점이 있다.
도 4를 참조하면, 랑데부를 이용한 지도 융합 모습이 도시되어 있다. 상부 그림은 랑데부 상황에서 드론(UAV, unmanned aerial vehicle) 및 지상 플랫폼(UGV, unmanned ground vehicle)에 탑재된 단안 카메라의 뷰 영역들을 나타내고 있다. UAV의 카메라는 평면도이고, UGV의 카메라는 정면도이다. 이처럼 드론(UAV)의 평면도와 지상 플랫폼(UGV)의 정면도가 다를 경우 동일한 장소를 관찰하기 어려울 수 있다. 관찰하더라도 카메라의 뷰포인트가 다르기 때문에 각 장면을 수치적으로 표현하는 디스크립터 등의 값이 다르게 되어 플랫폼간 루프를 탐지할 수 없다.
플랫폼의 구성원이 다른 구성원의 이미지에서 관찰되는 상황인 랑데부 상황에서는 이러한 제한의 영향을 덜 받는다. 따라서, 본 실시예에서는 랑데부 상황(한 플랫폼이 다른 플랫폼의 화면에 보이는 상황)을 이용하여 지도 융합을 수행한다. 이는 하드웨어 구성 및 환경에 대한 한계에 영향을 받지 않으며, 더욱 다양한 환경에서의 플랫폼 운용이 가능하게 도와준다.
지상국(120)은 복수의 플랫폼(110)과 통신하며, 플랫폼(110)에서 개별적으로 작성된 개별 지도를 융합하여 통합 지도를 제작한다. 이는 컴퓨팅 파워를 고려한 프레임워크의 설계에 따른 결과이다.
지상국(120)에서 제작된 통합 지도는 플랫폼(110)에게 전송되어, 플랫폼(110)이 이를 사용하게 할 수 있다.
도 2를 참조하면, 임의의 플랫폼(110)은 이미지 입력부(111), 카메라 자세 추정부(113), 개별 지도 생성부(115), 비정적 특징 관리부(117), 통신부(119)를 포함한다.
이미지 입력부(111)는 플랫폼(110)마다 설정된 위치(예컨대, 전면)에 설치되어, 주변 이미지를 획득한다. 이미지는 연속된 영상 데이터일 수 있다.
본 실시예에서 이미지 입력부(111)는 단안 카메라일 수 있다. 스테레오 카메라 혹은 RGB-D 센서일 경우에는 깊이 정보도 함께 획득할 수 있지만, 이를 위해서는 별도의 추가 구성이 부가되어야 하고 비용이 증가하는 한계가 있다. 이에 비해, 본 실시예에서는 깊이 정보가 포함되지 않은 이미지만을 획득하는 일반적인 단안 카메라를 이용할 경우에도 플랫폼을 식별하고 랑데부 상황을 인식하여 지도 융합을 수행할 수 있게 한다. 상황에 따라 단안 카메라 이외에 스테레오 카메라, RGB-D 센서, 레이저 방식의 측정 장비 등이 이미지 입력부(111)로서 활용될 수도 있음은 물론이다. 본 명세서에서는 발명의 이해와 설명의 편의를 위해 이미지 입력부(111)로 단안 카메라가 적용된 경우를 가정하여 설명하기로 한다.
카메라 자세 추정부(113)는 이미지 입력부(111)에서 획득한 이미지에 대해 특징을 추출하고 매칭하며, 매칭된 특징으로부터 카메라 자세를 추정한다.
카메라 자세 추정부(113)는 이미지의 정적인 부분에 대한 카메라의 상대 자세를 추정하는 것이다. 예를 들어, 매칭된 특징 중 정적인 특징만을 필터링하는 특이치 제거 알고리즘(RANSAC, RANdom SAmple Consensus) 기반의 알고리즘을 사용할 수 있다. 이러한 카메라 자세 추정을 위한 RANSAC 알고리즘은 본 발명이 속하는 기술분야에서 통상의 기술자에게 자명한 사항인 바 상세한 설명은 생략한다.
개별 지도 생성부(115)는 이미지 입력부(111)에서 획득한 이미지와, 카메라 자세 추정부(113)에서 추정한 카메라 자세를 기초로 하여 해당 플랫폼(110)이 위치하고 이동한 지역에 대한 개별 지도(개별 지도)를 생성한다. 개별 지도 생성은 단일 슬램 기법을 통해 수행될 수 있으며, 이러한 단일 슬램 기법은 본 발명이 속하는 기술분야에서 통상의 기술자에게 자명한 사항인 바 상세한 설명은 생략한다.
비정적 특징 관리부(117)는 일반적으로 매칭된 특징 중에서 RANSAC에서 특이치로 버려지게 되는 비정적 특징(non-static feature)을 추출하고 연속된 프레임의 이미지에서 추적하며 관리한다.
본 실시예에서 비정적 특징은 이미지 내에서 동적 물체에 의해 만들어지는 특징이다. 다중 플랫폼이 있는 환경에서 다른 플랫폼들은 모두 동적 물체로 간주된다. 따라서, 랑데부 상황에서 비정적 특징 중 일부는 다른 플랫폼에 대한 유용한 정보를 제공할 수 있다.
이렇게 추출된 특징은 KLT(Kanada-Lucas Tomasi) 혹은 기타 추적 및 매칭 알고리즘으로 연속된 이미지에서 관리될 수 있다.
통신부(119)는 플랫폼들에 미션을 부여하고 관리하는 지상국(120)과 네트워크를 통해 연결되어 각종 데이터를 송수신한다.
통신부(119)는 플랫폼(110)에서 만들어진 모든 이미지 프레임에서의 카메라 자세(APs, All frames' poses), 개별 지도 데이터(MPs, local Map Points), 비정적 특징(NSFs, Non-Static Features)을 포함하는 플랫폼 데이터를 지상국(120)으로 전송한다. 플랫폼 데이터의 전송은 미리 설정된 주기에 따라 혹은 지상국(120)에서의 요청에 따라 이루어질 수 있다.
지상국(120)은 플랫폼 매칭 모듈(121)와 지도 융합 모듈(123)를 포함한다.
또한, 지상국(120)은 플랫폼(110)에서 전송된 플랫폼 데이터를 저장하는 저장부(미도시)를 포함할 수 있다. 저장부는 개별 지도들을 저장하는 개별 지도 스택(Local Map Stack), 비정적 특징들을 저장하는 비정적 특징 스택(Non-static Features Stack)을 포함할 수 있다. 또한, 저장부는 플랫폼 매칭 모듈(121)에서의 매칭 결과인 특징을 저장하는 특징 스택(Team-Features Stack), 지도 융합 모듈(123)에서 제작된 통합 지도를 저장하는 통합 지도 스택(Global Map Stack)을 더 포함할 수도 있다.
플랫폼 매칭 모듈(121)는 플랫폼들(110)에게서 전송된 플랫폼 데이터 중 비정적 특징이 같은 팀에 속하는 타 플랫폼에 관한 것인지를 구분하여 매칭한다.
비정적 특징은 정적이지 않은 특징 모두를 구분없이 포함한다. 따라서, 동적 장애물에서 추출되었는지 또는 같은 팀에 속한 플랫폼 중 어떤 플랫폼에서 추출되었는지를 알 수 없는 익명 관측값이다.
랑데부 상황을 인식하기 위해서는 관찰 플랫폼과 관찰된 플랫폼의 신원을 확인할 수 있어야 하며, 익명 관측값인 비정적 특징이 어떤 플랫폼을 가리키는지를 구분해야 한다.
이미지 내에서 비정적 특징의 움직임과 유사한 플랫폼의 움직임이 있을 경우, 해당 비정적 특징은 움직임 유사성이 높은 플랫폼에서 추출된 것으로 볼 수 있다. 이러한 비정적 특징에는 랑데부 상황에서 플랫폼 간의 상대적 자세 측정값이 포함될 수 있다.
따라서, 플랫폼 매칭 모듈(121)에서는 단일 슬램으로 추정한 플랫폼의 자세와 이미지 내에서의 비정적 특징의 움직임을 비교하는 최적화 문제(optimization)를 설계하여 풀 수 있다. 본래 비볼록 최적화(non-convex optimization)문제이나, 이를 실제 계산하는 방법은 다양할 수 있다. 해당 최적화 문제의 수렴 오차가 충분히 작을 때 비정적 특징이 해당 플랫폼을 가리키는 관측값이라고 말할 수 있고, 이 경우 플랫폼-비정적 특징 매칭을 수행한다. 플랫폼에 매칭 성공한 비정적 특징은 특징(team-feature)으로 구분할 수 있다.
지도 융합 모듈(123)은 특징을 이용하여 관찰 플랫폼과 관찰된 플랫폼이 획득한 데이터, 특히 각각의 개별 지도를 통합 지도로 융합한다.
각 플랫폼이 만든 개별 지도를 하나의 통합 지도로 융합하기 위해 개별 지도 간의 3차원 상대적 성질을 나타내는 정보 (예를 들면 유사성 변환(similarity transformation)) 값을 추정한다.
본 실시예에서는 관찰 플랫폼이 바라본 관측 플랫폼에 대한 방향 벡터(bearing vector)인 특징을 사용하여 개별 지도 간의 유사성 변환 값을 추정하여 지도 융합을 수행한다.
도 3을 참조하면, 본 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 방법은 다음과 같다.
플랫폼들(110)이 모두 개별적으로 단일 슬램 시스템을 수행하고, 카메라 자세 및 개별 지도를 제작한다(단계 S200).
또한, 단일 슬램에서 버려지는 비정적 특징을 추출하고, 연속된 이미지에서 추적하며 관리한다(단계 S205).
카메라 자세, 개별 지도, 비정적 특징을 포함하는 플랫폼 데이터를 지상국으로 전송한다(단계 S210).
플랫폼 매칭 모듈(121)에서는 슬램으로부터 추정된 각 플랫폼들의 움직임과 이미지 내에서의 비정적 특징의 움직임을 비교한다(단계 S215).
두 움직임이 비슷할 경우 플랫폼-비정적 특징 간의 매칭을 수행한다(단계 S220).
움직임 유사성 비교를 위해 최적화 문제를 설계하여 효과적으로 비교 작업을 수행할 수 있다. 이때 본래의 비볼록 최적화 문제를 근사하는 다른 수치적 기법들이나 대체 최소화 알고리즘(AM, Alternating Minimization Algorithm) 등을 사용하여 빠르고 강건하게 해를 찾을 수 있다.
매칭에 성공한 비정적 특징은 더 이상 익명 관측값이 아닌 확인된 관측값으로 사용할 수 있으며, 지도 융합 모듈(123)는 플랫폼-특징 간 매칭 데이터가 일정량 이상으로 모아질 때 지도 융합을 수행한다(단계 S225).
매칭된 비정적 특징들을 사용하여 관찰 플랫폼과 관측된 플랫폼이 만든 개별 지도 및 자세 데이터를 통합 지도로 융합시켜 주며, 이를 위해 개별 지도 간의 유사성 변환 값을 추정할 수 있다.
본 실시예에 따른 랑데부를 이용한 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법은 종래 협업 슬램 시스템과 달리 랑데부 상황을 사용하여 지도 융합을 수행하기 때문에 플랫폼에 탑재된 카메라의 뷰포인트가 다르거나 비슷한 장면이 많이 존재하는 환경에서도 적용될 수 있다. 또한, 플랫폼 신원 확인을 위해 어떠한 마커나 추가 센서를 사용하지 않고, 단안 카메라로부터 추출된 비정적 특징을 이용하여 플랫폼 매칭을 수행할 수 있다. 이에 다중 플랫폼 시스템에 적용되기에 더욱 용이하고, 가볍고 저렴한 센서 구성으로 협업 슬램 시스템을 구현할 수 있게 된다.
본 실시예에 따른 다중 플랫폼이 활용되는 모바일 플랫폼의 자동화 시장은 다수의 차량, 공장 자동화 시스템, 무인 배달 시스템, 원격 정찰, 감시, 시설물 점검, 안내 플랫폼, 개인 서비스 등과 같은 인간 편의를 위한 산업으로 확장될 수 있다. 특히, 다중 무인 비행체(unmanned aerial vehicle)는 비행 택시, 무인 배달, 드론쇼, 위험한 지역의 산업 환경 점검 등 다양한 분야에서 사용될 수 있다.
본 실시예에 따른 협업 슬램 방법에 따르면, 가렵고 저렴한 단안 카메라를 사용할 수도 있기 때문에 센서간 캘리브레이션 기술을 요구하지 않으며, 페이로드(payload) 가격이나 탑재 공간, 중량에 한계가 있는 무인 비행체 혹은 무인 차량, 플랫폼, 비행체, AR/VR/MR 단말기 등에 적용되기에 매우 용이하다.
본 실시예에서는 비정적 특징을 사용하는 새로운 랑데부 기반 지도 융합 기술이 제안된다. 대부분의 슬램 알고리즘은 정적 특징만을 사용하고 일치하지 않는 특징 또는 동적 장애물 또는 다른 플랫폼에서 추출된 특징으로 구성된 비정적 특징을 특이치로 폐기한다. 하지만, 비정적 특징에는 다중 플랫폼 시스템에서 플랫폼 간 측정과 같은 유용한 정보가 포함될 수 있고, 본 실시예에서는 플랫폼 간 관측을 위한 추가 프로세스 없이 기존 슬램에서 비정적 특징을 쉽게 추출할 수 있기 때문에 전체 효율성을 향상시킬 수 있다.
또한, 본 실시예에서는 특수한 시각적 태그 혹은 IMU(inertial measurement unit), 모션 캡쳐 시스템과 같은 추가 센서를 사용하지 않고 단안 카메라의 익명 자세 측정 데이터만을 사용하므로 일반 다중 플랫폼 시스템에서의 적용 가능성을 향상시킬 수 있다.
또한, 본 실시예에서는 효율적인 대체 최소화 알고리즘을 통해 전체 최적화 변수를 2개의 하위 집합으로 나누고, 하나의 하위 집합에 대해 해결하고 다른 부분은 고정함으로써, 원 최적화 문제는 폐쇄형 솔루션으로 두 개의 하위 문제를 반복적으로 번갈아 가며 해결할 수 있게 한다.
이하에서는 본 실시예에 따른 랑데부를 이용한 영상 기반 협업 슬램 시스템 및 방법에 대해, 각 모듈에 적용되는 알고리즘 및 실험 결과에 대해 설명하기로 한다.
플랫폼이 상대적인 자세를 모르고 특별한 시각적 태그를 사용할 수 없는 어려운 상황에서, 본 실시예에 의하면 협업 단안 슬램의 전체 프레임워크와 랑데부를 사용하여 플랫폼의 개별 지도를 통합 지도에 통합하는 방법을 제공한다. 각 플랫폼의 초기 포즈(자세)와 플랫폼 슬램의 초기화 모듈에 의해 결정된 개별 스케일을 기반으로 하는 개별 지도 간의 유사성 변환
Figure PCTKR2021003219-appb-I000001
은 지도 융합을 위해 추정되어야 한다. 개별 지도 간의
Figure PCTKR2021003219-appb-I000002
{R, t, s} 추정은 플랫폼 대 플랫폼 초기 상대 포즈
Figure PCTKR2021003219-appb-I000003
{R, t} 및 스케일 {s}의 비율을 계산하는 것과 같다.
관찰 가능한 플랫폼은 관찰자 플랫폼을 제외한 모든 플랫폼, 즉 관찰될 수 있는 플랫폼으로 정의된다. 관찰자 플랫폼에서의 NSF(비정적 특징)의 움직임이 관찰 가능한 플랫폼의 움직임과 매우 유사하다면 NSF는 특징으로 간주되고 관찰 가능한 플랫폼은 관찰된 플랫폼이 된다. 이 경우 관찰자 플랫폼의 개별 지도와 관찰된 플랫폼 간의 상대
Figure PCTKR2021003219-appb-I000004
을 추정하여 식별된 상대 측정으로 간주되는 특징을 사용하여 개별 지도를 통합 지도에 통합할 수 있다.
전체 프레임 워크는 다음과 같다.
본 실시예에 따른 아키텍처가 도 5에 도시되어 있다. 설명을 단순화하기 위해 2-플랫폼 사례가 설명되어 있으며 간단히 더 많은 플랫폼으로 확장할 수 있다. 플랫폼 슬램은 임의의 특징 기반 슬램 알고리즘을 사용할 수 있다. 본 실시예에서는 공개된 특징 기반 슬램 중 하나인 ORB-SLAM2를 활용할 수 있다. 각 플랫폼은 비정적 특징을 추적하고 개별 지도와 자체 포즈(자세)를 추정한다. 이러한 데이터는 중앙 집중식 설정에서 무선 네트워크를 통해 지상국에서 수집된다. 개별 지도 스택은 지도 지점들(MPs, map points)과, 각 플랫폼이 캡처한 모든 이미지의 포즈인 카메라 자세(APs, all frames' poses)와 같은 수집된 개별적인 플랫폼의 슬램 데이터인 플랫폼 데이터를 관리한다. 플랫폼에서 받은 NSF는 NSF 스택에 저장된다. FI 모듈(플랫폼 매칭 모듈에 대응됨)은 랑데부를 인식하기 위해 스택 데이터베이스에 액세스한다. 특정 두 플랫폼에 연결된 특징이 충분히 모이면 지도 융합 모듈이 통합 지도를 만든다.
수집된 데이터는 시간 일관성을 가지도록 한다.
지상국은 전술한 것처럼 플랫폼이 추정한 개별 지도와 NSF를 수신하고 관리한다. 본 실시예에서는 통신을 위해 플랫폼 운영 시스템(ROS, Robot Operating System)을 사용하며, 통신하는 모든 데이터에는 ROS 타임 스탬프가 있으며 이를 기준 시간으로 사용한다. FI 모듈에는 관찰자 플랫폼의 AP 및 NSF와 관찰 가능한 플랫폼의 AP가 필요하며 이러한 데이터는 시간 동기화되어야 한다. 플랫폼 A가 관찰자 플랫폼인 경우 플랫폼 A로부터 수신한 AP 및 NSF는 이러한 데이터가 추출된 A의 ROS 시간 프레임을 갖는다. 따라서 관찰 가능한 플랫폼의 AP는 A의 프레임과 시간 동기화되어야 하며, 이를 위해서는 플랫폼 A의 프레임과 관찰 가능한 플랫폼 간의 시간 간격에 대한 보상이 필요하다. 관찰 가능한 플랫폼의 시간 동기화된 AP는 두 연속 프레임 사이의 속도가 일정하다는 가정하에 보간법으로 계산할 수 있다.
다음으로 협동 단안 슬램을 구성하기 위해 각 플랫폼에서 실행되는 플랫폼 모듈(도 2의 플랫폼(110)에 대응됨)에 대해 설명한다. 각 플랫폼이 AP, MP 및 NSF를 지상국으로 전송하기 위해, 각 플랫폼은 NSF를 추출하고 관리하도록 수정된 특징 기반 슬램을 사용한다.
특징 기반 단안 슬램에는 각 플랫폼의 초기 포즈(자세)를 기반으로 2D 대 2D 해당 기능을 사용하여 초기 개별 지도를 생성하고 기준 스케일을 결정하는 초기화 모듈이 있다. 초기 개별 지도가 생성되면 프레임이 캡처될 때마다 개별 지도의 로컬라이제이션과 새로운 정적 특징의 매핑이 반복된다. 예상 포즈와 MP는 번들 조정(BA, Bundle Adjustment)에 의해 수정되고, 수정 프로세스의 타겟 프레임은 모든 프레임이 아닌 키 프레임일 뿐이다. AP를 필요로 하는 본 실시예에 따른 다중 플랫폼 슬램 프레임워크에서, 수정된 키 프레임 사이의 프레임 포즈는 키 프레임 포즈가 BA를 통해 수정될 때마다 업데이트된다. 플랫폼 슬램은 키 프레임 사이의 상대 프레임의 포즈 보정을 위한 포즈 보정 알고리즘을 사용한다. 그런 다음 업데이트된 AP 및 MP가 지상국으로 전송된다.
NSF의 추출 및 관리를 위해 특징 기반 슬램은 다음과 같이 수정된다. NSF는 전술한 것과 같이 자체 모션을 지원하지 않는 불일치 특징과 동적 특징으로 구성된다. 추출된 모든 NSF는 Kanade-Lucas-Tomasi(KLT) 특징 추적기에 의해 연속 이미지에서 추적된다. 배치 크기 파라미터
Figure PCTKR2021003219-appb-I000005
보다 더 많은 이미지에서 성공적으로 추적된 NSF의 디스크립터가 계산되고 NSF가 처음 추출될 때 계산된 참조 디스크립터와 비교된다. 두 개의 연속 이미지뿐만 아니라
Figure PCTKR2021003219-appb-I000006
단계까지 멀리 떨어진 이미지 간의 이러한 디스크립터 비교는 일치하지 않는 대부분의 특징을 제거하는 데 도움이 된다. 성공적으로 일치된 NSF는 동적 객체의 특징으로 간주될 수 있으며 NSF용 데이터베이스(DBNSF)에 저장된다.
또한 추출된 NSF를 DBNSF의 디스크립터와 비교하여 동일한 특징이 DBNSF에 있는지 확인한다. 이 프로세스는 특징 기반 슬램의 리로컬라이제이션과 유사하며 재 랑데부를 인식하는 데 도움이 된다. 즉, 플랫폼이 이미지에서 벗어났다가 다시 나타남을 의미한다. DBNSF의 NSF 중 추적 길이가
Figure PCTKR2021003219-appb-I000007
의 배수인 NSF는 지상국으로 전송되어 통신 부하를 관리한다. 이 조건을 배치 크기 조건이라고 한다. NSF 관리에 관한 알고리즘은 알고리즘 1에 설명되어 있다. 여기서 NSFs 및 NSFs,verf 는 현재 이미지 및 해당 참조 디스크립터에서 추출된 NSF이다. prev_tNSFs 및 tNSFs는 각각 이전 및 현재 이미지까지 추적된 NSF를 나타낸다.
Figure PCTKR2021003219-appb-I000008
지상국, 특히 플랫폼 매칭 모듈(FI 모듈)에서 랑데부를 인식하고 랑데부를 활용하여 개별 지도를 통합 지도에 통합하는 방법을 설명한다. FI 모듈은 관찰자 플랫폼의 AP 및 NSF를 관찰 가능한 플랫폼의 AP와 비교하여 NSF에 플랫폼을 가리키는 특징이 있는지 확인한다. 그렇다면 해당 NSF는 식별된 상대 측정을 제공할 수 있는 특징으로 간주된다.
그래프의 에지와 관련된 오류 최소화로서 NSF와 일치하는 플랫폼을 식별하기 위해 최적화 문제를 공식화하고, 그래프 에지의 관리를 설명하며, 폐쇄형 솔루션을 가지는 2개의 하위 문제로서 원본 비볼록 최적화 문제를 재공식화한다. 그리고 최적화의 초기값과 특징의 기준을 설명한다.
이하에서는 표기법을 단순화하기 위해 NSF를 관찰하는 관찰자 플랫폼과 관찰 가능한 플랫폼을 각각 A와 B로 표시하여 두 플랫폼에 대한 지도 융합 문제를 설명한다. 모든 플랫폼은 강체로 간주된다.
도 6은 NSF를 추적하는 동안 두 플랫폼의 대표 좌표계를 나타낸 도면이다.
각 개별 지도의 참조 좌표는 각 플랫폼의 최초 포즈 {A1}, {B1}이다. 플랫폼 A에 의해 관찰된 특징 P는 플랫폼 B를 가리킨다.
A. 특징 식별 문제의 공식화
시간 j에서 플랫폼 A와 B의 카메라 좌표는 각각 {Aj}와 {Bj}로 표시된다. 각 플랫폼의 AP는 초기 포즈 {A1} 및 {B1}를 기반으로 표현된다.
플랫폼 A는 시간 j에서 {Aj} 프레임에서 표현되는 특징
Figure PCTKR2021003219-appb-I000009
를 관찰한다.
특징의 정규화된 좌표는
Figure PCTKR2021003219-appb-I000010
와 같이 표현된다.
특징이 추적되는 순간은
Figure PCTKR2021003219-appb-I000011
으로 수집되고,
Figure PCTKR2021003219-appb-I000012
는 그래프 표현에서 노드로 처리된다. 강체 가정 하에서 {Bj}로 표현되는 B의 내부에서 특징의 3차원 위치는 시간 불변이다. 즉,
Figure PCTKR2021003219-appb-I000013
에서
Figure PCTKR2021003219-appb-I000014
이다.
점 좌표는 수학식 (1)에 관련된다.
Figure PCTKR2021003219-appb-I000015
여기서,
Figure PCTKR2021003219-appb-I000016
와
Figure PCTKR2021003219-appb-I000017
는 각각 {Aj}와 {Bj} 사이에서 상대 회전과 변환을 나타낸다.
변환
Figure PCTKR2021003219-appb-I000018
는 수학식 (2)와 같이 유도될 수 있다.
Figure PCTKR2021003219-appb-I000019
2개의 노드
Figure PCTKR2021003219-appb-I000020
과
Figure PCTKR2021003219-appb-I000021
사이에 경계 제한은
Figure PCTKR2021003219-appb-I000022
를 통한 루프를 사용하여 다음과 같이 정의된다.
Figure PCTKR2021003219-appb-I000023
벡터
Figure PCTKR2021003219-appb-I000024
는
Figure PCTKR2021003219-appb-I000025
의
Figure PCTKR2021003219-appb-I000026
, B의 내부점
Figure PCTKR2021003219-appb-I000027
,개별 지도 A와 B 사이의 스케일 비
Figure PCTKR2021003219-appb-I000028
,두 노드
Figure PCTKR2021003219-appb-I000029
과
Figure PCTKR2021003219-appb-I000030
의 특징 깊이와 같은 미지 변수를 포함한다.
수학식 (3)의
Figure PCTKR2021003219-appb-I000031
와
Figure PCTKR2021003219-appb-I000032
를 (2)로 대체하고 미지 변수
Figure PCTKR2021003219-appb-I000033
를 추출함으로써 각 에지의 오차
Figure PCTKR2021003219-appb-I000034
를 유도할 수 있다.
Figure PCTKR2021003219-appb-I000035
(4)의 모든 항은
Figure PCTKR2021003219-appb-I000036
내에서 표현될 수 있다.
AP들이 단안 슬램에 의해 추정되기 때문에, 하나의 플랫폼에 의해 추정된 포즈가 다른 플랫폼의 개별 지도에서 나타내어질 때 스케일 비
Figure PCTKR2021003219-appb-I000037
가 보상될 수 있다.
각 에지의 오차는 양(+)의 깊이와 스케일 비 제한을 가지는 비볼록 최적화 문제(수학식 (5))를 공식화하기 위해 사용될 수 있다.
Figure PCTKR2021003219-appb-I000038
여기서,
Figure PCTKR2021003219-appb-I000039
이다.
Figure PCTKR2021003219-appb-I000040
는 견고한 Huber 비용 함수이고,
Figure PCTKR2021003219-appb-I000041
는 에지 (i, k)의 가중치 매트릭스이다. 경계 제한은 경계의 두 노드 사이에서 슬램으로 추정된 상대 포즈로 구성된다. 추정된 값이 오차를 가지기 때문에 가중치 매트릭스는 두 노드 사이의 역 간격(inverse gap)과 연관된다. 최적화 솔루션의 고유성을 보장하기 위해, n개의 노드에 대해 독립 제약의 수 3(n - 1)은 미지 변수의 수 (n + 7) 보다 작지 않아야 한다. 그러므로 이론적으로 비정적 특징은 고유한 솔루션을 얻기 위해 5번 이상 추적되어야 한다.
B. 경계 선택
n 개의 노드가 있는 그래프는 최대
Figure PCTKR2021003219-appb-I000042
에지를 가질 수 있다. 가능한 모든 에지를 사용하면 관측치 간의 모든 관계를 고려할 수 있다는 점에서 강력한 솔루션이 될 수 있다. 그러나 계산 시간이 크다는 단점이 있다. 따라서 사용 가능한 모든 에지가 아닌 특정 조건을 충족하는 에지를 사용힌다. 각 에지는 관찰자와 관찰 가능한 플랫폼에 의해 슬램으로 추정된 포즈로 구성되기 때문에 에지의 두 노드 사이의 간격이 클수록 슬램 드리프트가 커진다. 매우 큰 간격이 있는 에지는 신뢰할 수 없으며 최적화를 오염시킬 수 있다. 이를 방지하기 위해 간격이 작은 에지에 높은 우선순위가 부여된다.
도 7은 각각 에지 노드 사이에 1, 2 및 3 개의 간격이 있는 에지를 보여준다. n 개의 노드를 가지는 그래프의 에지들이 도 4에 도시되어 있다. 원은 노드를 나타낸다. 복수의 선 각각은 에지 노드들 사이에 1, 2, 3 갭을 가지는 에지들을 나타낸다.
에지 연결 파라미터
Figure PCTKR2021003219-appb-I000043
을 초과하지 않는 간격이 있는 에지
Figure PCTKR2021003219-appb-I000044
으로 정의된다.
Figure PCTKR2021003219-appb-I000045
제안된 AM은 에지 연결 파라미터
Figure PCTKR2021003219-appb-I000046
을 변경하여 계산시간과 솔루션의 정확도 측면에서 평가된다.
노드 수가 증가함에 따라 선택된 에지가 지속적으로 증가하는 것을 방지하기 위해 총 노드 수가 파라미터
Figure PCTKR2021003219-appb-I000047
보다 클 경우
Figure PCTKR2021003219-appb-I000048
노드가 균일하게 샘플링된다.
C. 대체 최소화 알고리즘(Alternating Minimization Algorithm)
비볼록 최적화 문제(수학식 (5))를 해결하는 방법으로 대체 최소화(AM) 알고리즘이 제안된다. 최적화 변수
Figure PCTKR2021003219-appb-I000049
는 2개의 부분
Figure PCTKR2021003219-appb-I000050
과
Figure PCTKR2021003219-appb-I000051
로 나누어진다.
Figure PCTKR2021003219-appb-I000052
우선 에지 (i, k)에 대한 서브셋
Figure PCTKR2021003219-appb-I000053
을 수정하고, (4)를 (8)로 재공식화할 수 있다.
Figure PCTKR2021003219-appb-I000054
여기서,
Figure PCTKR2021003219-appb-I000055
이다.
2개의 0 아닌 요소(non-zero element)
Figure PCTKR2021003219-appb-I000056
는 i와 k번째 열에 있다.
재공식화된 오차 (8)을 사용한 제1 서브 최적화 문제는 폐쇄형 솔루션을 갖는 (9)와 같이 표현될 수 있다.
Figure PCTKR2021003219-appb-I000057
여기서,
Figure PCTKR2021003219-appb-I000058
이다.
폐쇄형 솔루션이 음(-) 깊이 혹은 음(-)의 스케일 비를 가진다면, 서브 최적화를 풀기 위해 적절한 제한을 가지는 2차 계획법(quadratic programming) (QP Solver)을 사용한다.
Figure PCTKR2021003219-appb-I000059
가 (9)에 의해 계산되면, (4)의
Figure PCTKR2021003219-appb-I000060
는 다른 서브 최적화 문제를 형성하기 위해
Figure PCTKR2021003219-appb-I000061
로 설정된다. 그 후 (4)는
Figure PCTKR2021003219-appb-I000062
에만 관련된 새로운 에지 에러로 재공식화될 수 있다.
Figure PCTKR2021003219-appb-I000063
Figure PCTKR2021003219-appb-I000064
에지 에러 (10)은 제2 서브 문제 (11)을 구성하는데 이용되며, 이 문제도 폐쇄형 솔루션을 가질 수 있다.
Figure PCTKR2021003219-appb-I000065
Figure PCTKR2021003219-appb-I000066
여기서, SVD는 특이값 분해(singular value decomposition)을 정의한다.
Figure PCTKR2021003219-appb-I000067
은 직각 행렬이고,
Figure PCTKR2021003219-appb-I000068
는 음(-) 아닌 요소(non-negative elements)를 가지는 대각 행렬이기 때문에, (11)에서 trace(
Figure PCTKR2021003219-appb-I000069
)을 최대화하기 위해
Figure PCTKR2021003219-appb-I000070
은 단위 행렬(identity matrix)이어야 한다. 그러므로 최적해
Figure PCTKR2021003219-appb-I000071
은 다음과 같이 계산될 수 있다.
Figure PCTKR2021003219-appb-I000072
Figure PCTKR2021003219-appb-I000073
는
Figure PCTKR2021003219-appb-I000074
제한 중 하나인
Figure PCTKR2021003219-appb-I000075
을 만족하기 위해 사용된다.
제안된 AM 알고리즘은 알고리즘 2에서 보여주는 종료 조건(termination criteria)을 만족할 때까지 2개의 하위 프로세스, 즉 (9)와 (12)를 반복한다. Huber 함수는 NSF 추적 프로세스 중에 잘못된 지점으로 추적되거나 잘못 일치된 특이치 노드의 영향을 완화할 수 있다. 두 하위 최적화 문제 모두 폐쇄형 솔루션이 있기 때문에 AM 알고리즘은 단계별 파라미터 조정 없이 빠르게 수렴된다. 또한 제안된 AM 알고리즘의 수렴은 두 개의 하위 프로세스 (9)와 (12)가 원 최적화 문제 (5)의 비용 함수를 반복적으로 감소시키기 때문에 항상 보장된다.
Figure PCTKR2021003219-appb-I000076
D. 초기값
Levenberg-Marquardt 또는 경사 하강법(gradient descent)과 같은 일반 최적화 알고리즘에는 전체 최적화 변수들
Figure PCTKR2021003219-appb-I000077
의 초기값이 필요하다.
하지만, AM 알고리즘은 다음 2개의 하위집합 중 하나에 대한 초기값만을 요구한다.
Figure PCTKR2021003219-appb-I000078
깊이 속성을 사용하여
Figure PCTKR2021003219-appb-I000079
의 초기값을 계산한다. 이는 추적된 각 특징의 깊이가 일정하게 유지됨을 의미한다. 각 에이전트로부터 받은 추적된 NSF는 스케일을 보상하지 않는 KLT 추적기 및 배치 크기 조건이 충족될 때 트리거되는 디스크립터 일치 알고리즘을 포함하는 플랫폼 모듈의 2개 알고리즘에 의해 생산된다. 추적된 NSF의 깊이가 다른 경우, 추적을 위한 디스크립터 및 패치가 특징의 깊이에 따라 달라지기 때문에 추적 또는 일치가 실패할 수 있다. 따라서 추적 과정에서 깊이 변화가 거의 없는 NSF만 성공적으로 추적할 수 있으며, 특징의 깊이 속성을 이용하여 (4)는 (13)과 같이 표현될 수 있다.
Figure PCTKR2021003219-appb-I000080
Figure PCTKR2021003219-appb-I000081
(13)에서
Figure PCTKR2021003219-appb-I000082
의 첫 번째 항을 무시하기 위해 초기값
Figure PCTKR2021003219-appb-I000083
계산을 위한 에지가 다시 선택된다. 변환의 변형이 두 노드 사이의 회전보다 더 중요한 경우,
Figure PCTKR2021003219-appb-I000084
이 두 노드로 선택된다. 변환과 회전의 변화 비율은 가중치 행렬에 반영된다. 추적된 특징의 대표 깊이는 추적된 특징이 처음 추출된 프레임에서 정적 특징의 중간 깊이(median depth)이다. 마지막으로 정규화된
Figure PCTKR2021003219-appb-I000085
및
Figure PCTKR2021003219-appb-I000086
를 사용하여, (13)의 스케일 비
Figure PCTKR2021003219-appb-I000087
는 다음과 같이 표현될 수 있다.
Figure PCTKR2021003219-appb-I000088
Figure PCTKR2021003219-appb-I000089
(14)는 초기값에 대해 최적화 문제를 유도하는데 사용될 수 있다. 동일한 방법으로 (11)과 (12)도 풀 수 있다.
Figure PCTKR2021003219-appb-I000090
Figure PCTKR2021003219-appb-I000091
여기서,
Figure PCTKR2021003219-appb-I000092
는
Figure PCTKR2021003219-appb-I000093
와
Figure PCTKR2021003219-appb-I000094
의 변화 사이의 비에 관련된다. 본 실시예에서 초기 에지의 최대 수는 50으로 제한된다. 특징의 수가 지도 융합 파라미터
Figure PCTKR2021003219-appb-I000095
보다 클 경우, 특징의 AM 결과들의 평균이 초기값으로 사용된다.
E. 식별
플랫폼 A의 NSF가 관찰 가능한 플랫폼 B를 가리키는지 확인하는, 특징 식별의 기준에 대해 설명한다. 추적의 수가
Figure PCTKR2021003219-appb-I000096
의 배수가 되는 때마다 NSF가 지상국으로 전송된다. 새로운 NSF는 NSF 스택에 입력되거나 기존의 NSF가 업데이트되면, FI 모듈이 트리거된다. AM 알고리즘의 결과와 오차
Figure PCTKR2021003219-appb-I000097
는 식별을 위해 저장되고, 좌측 위첨자는 AM의 k번째 결과와 오차를 가리킨다.
Figure PCTKR2021003219-appb-I000098
은 AM이 실행된 수이고, 이 경우 특징은
Figure PCTKR2021003219-appb-I000099
만큼 추적되었다.
Figure PCTKR2021003219-appb-I000100
특징이 되기 위해서는, 다음 조건을 만족해야 한다.
1) 최종 오차
Figure PCTKR2021003219-appb-I000101
가 충분히 작아야 하고, 2) 동일한 특징의 AM 솔루션이 추적 수에 상관없이 유사한 값으로 수렴해야 한다.
이 2가지 조건을 만족하는 특징은 특징
Figure PCTKR2021003219-appb-I000102
로 처리되고,
Figure PCTKR2021003219-appb-I000103
는 플랫폼 B의 식별된 특징의 수이다. 특징이 선택되면, AM 알고리즘의 결과와 오차
Figure PCTKR2021003219-appb-I000104
가 지도 융합을 위해 저장된다. 식별 절차는 알고리즘 3과 같다.
여기까지는 단지 2개의 플랫폼이 작동하는 상황에서 FI 모듈에 대해 설명하였다.
따라서 NSF 식별은 사용 가능한 하나의 플랫폼에 대해서만 수행해야 했다. 그러나 관찰 가능한 플랫폼이 두 대 이상인 경우 식별 과정에서 불확실성을 유발하는 특이 사례(singular case)가 있을 수 있다. 예를 들어 관찰자 플랫폼이 특정 NSF를 추적하는 동안 관찰 가능한 플랫폼이 유사한 동작을 하는 경우 식별이 모호해진다. 이러한 경우 NSF는 유사한 동작을 가진 여러 플랫폼과 일치시킬 수 있으므로 일치하는 플랫폼이 하나만 남을 때까지 특정 NSF의 식별이 보류된다. 지도 융합에 성공한 일부 플랫폼은 플랫폼 간 가시성, 즉 지도 융합에 성공한 플랫폼이 서로의 이미지에 들어 갔는지 여부를 미리 결정할 수 있다. 이 지식을 사용하면 보이지 않는 플랫폼을 제거하여 플랫폼 식별의 불확실성을 완화할 수 있다.
지도 융합 모듈은 특징의 수가
Figure PCTKR2021003219-appb-I000105
보다 클 때 특징을 이용하여 관찰자 및 관찰된 플랫폼의 개별 지도를 통합 지도로 통합한다. 두 개별 지도 사이의
Figure PCTKR2021003219-appb-I000106
은 두 개별 지도 사이의 스케일 비와 상대적 초기 포즈의
Figure PCTKR2021003219-appb-I000107
와 동일하며, 개별 지도를 융합하기 위해 계산되어야 한다. 상대 초기 변환은
Figure PCTKR2021003219-appb-I000108
을 계산하기 위해 필수적인데, 다른 파라미터들이 AM 솔루션에 명백히 포함되기 때문이며, 관찰된 플랫폼의 초기 지점, 스케일 비, 깊이, 플랫폼 A와 B의 초기 포즈 사이의 상대 회전을 제공한다. 상대 초기 변환은 다음과 같이 계산될 수 있다.
Figure PCTKR2021003219-appb-I000109
모든 특징의 AM 솔루션은
Figure PCTKR2021003219-appb-I000110
에 관한 정보를 가지고 있기 때문에, 가중 평균으로
Figure PCTKR2021003219-appb-I000111
을 계산한다. 가중치는 AM 솔루션에서 유도되는 각 노드의 오차에 반비례하도록 설정된다.
Figure PCTKR2021003219-appb-I000112
은 (16)을 사용하여 각 특징에 의해 계산될 수 있고, 유사한 움직임을 갖는 동적 장애물에서 추적되는 식별된 NSF와 같은 특징의 이상치를 제거하기 위해 1점 RANSAC을 이용한다. 특징의 정상치(inlier)는
Figure PCTKR2021003219-appb-I000113
을 계산하기 위해 사용된다. 그후 MF 모듈은 관찰자와 관찰된 플랫폼의 MP와 AP가 관찰자 플랫폼의 초기 포즈
Figure PCTKR2021003219-appb-I000114
을 나타내는 통합 지도를 만들기 위해, 개별 지도를 위한 스택에 접근한다.
다음은 본 실시예에 따른 협업 단안 슬램을 이용한 4가지 실험 결과에 관한 것이다. 실험 설정을 설명하고, 특징 식별(FI) 모듈과 지도 융합(MF) 모듈 같은 메인 모듈을 분석한다. 본 실시예에 따른 시스템을 견고성과 확장성의 관점에서 평가한다.
A. 실험 설정
테이블 1은 실험 설정을 설명한다. 실험 1은 협업 단안 SLAM을 평가하기 위한 것이 아니라 FI 모듈과 MF 모듈의 성능을 분석하기 위한 것이다. 전체 프레임워크와 각 모듈은 실험 2-4에서 평가된다. 실험 1-3에서 다중 플랫폼은 실내 공간을 돌아다니며, 플랫폼 A와 B 사이의 랑데부는 실험 4에서 일어난다(도 8 참조). 각 모듈의 성능을 평가하기 위해 모션 캡처 시스템에서 플랫폼의 포즈에 대한 실측 자료를 획득한다. 하지만, 실험 4는 모션 캡처 시스템의 한계 밖의 영역에 관계되었기 때문에, 개별 지도 간의 실제 변환은 기준 객체를 이용하여 수동적으로 계산되었다. 랑데부를 이용한 지도 융합은 플랫폼간 루프 탐지로는 어렵기 때문에, 실험 2-4는 다음과 같이 설계된다: 플랫폼에 장착된 카메라는 다른 시점을 가지며, 환경은 다수의 유사 장면을 가진다. 각 실험의 상세한 설정은 다음과 같다.
1) 실험 1
많은 특징들을 가지는 핸드헬드 카메라와 플랫 보드가 플랫폼 A와 B로 정의된다. B의 포즈는 모션 캡처 시스템에 의해 제공되며, 플랫폼 A의 단안 카메라는 슬램을 구현하고 NSF를 추출하기 위해 사용된다. FI 모듈과 MF 모듈은 플랫폼 A가 플랫폼 B의 일측을 끊임없이 바라보는 랑데부 상황에서 평가된다.
2) 실험 2
UAV와 UGV는 각각 탑-다운 뷰와 프론트 뷰의 단안 카메라를 가지며, 플랫폼 A와 B로 정의된다. 플랫폼 A는 플로어를 관찰하는 도 13의 형태를 가지는 궤적을 따라 이동하며, 플랫폼 B는 벽을 바라보는 타원형 궤적을 따라 이동한다. 플랫폼 A와 B가 완전히 다른 뷰를 가지기 때문에, 두 플랫폼이 동일한 장면을 관찰하기는 어렵다. 그러므로 플랫폼간 루프 탐지를 사용하여 지도 융합하는 협업 단안 슬램인 CCM-SLAM은 A와 B 사이에서 플랫폼간 루프를 탐지할 수 없다. 실험 2의 전체 시간은 42.5초이며, A가 B를 관찰하는 실제 랑데부 시간은
Figure PCTKR2021003219-appb-I000115
이다 (도 13 참조).
3) 실험 3
1대의 핸드헬드 카메라와 단안 카메라를 가지는 2대의 파이오니어 3-DX 플랫폼이 사용된다. 핸드헬드 카메라를 플랫폼 A라 하고, 상방을 보는 플랫폼을 플랫폼 B, 하방을 보는 플랫폼을 플랫폼 C라 한다. CCM-SLAM은 다른 장소에서 유사한 장면으로 인해 플랫폼 A와 C 사이에서는 잘못된 인터-루프 탐지가 산출되고, 그 결과 지도 융합이 일어나지 않는다. 실험 시간은 75초이며, 실제 랑데부는 플랫폼 A가 플랫폼 B와 C를 각각 관찰하는 시간 간격
Figure PCTKR2021003219-appb-I000116
,
Figure PCTKR2021003219-appb-I000117
동안 유지된다. 실제 랑데부 시간
Figure PCTKR2021003219-appb-I000118
와
Figure PCTKR2021003219-appb-I000119
가 도 13에 도시된다.
4) 실험 4
3대의 플랫폼이 사용된다. 핸드헬드 카메라, 헥사로터, 단안 카메라를 가지는 터틀봇3이 플랫폼 A, B, C로 정의된다. 도 8은 플랫폼들의 궤적을 나타낸다. 플랫폼 A는 2층 복도의 끝에서 출발하고, 계단을 내려오며, 1층 복도를 따라 움직이고, 플랫폼 B가 날고 있는 방으로 들어온다. 플랫폼 A와 C 사이의 랑데부는 1층 복도에서 일어나고, 플랫폼 A와 B 사이의 랑데부는 1층 방 안에서 일어난다. CCM-SLAM은 1층 복도에서 시각적 보드를 사용하여 플랫폼 A와 C 사이에 정확한 인터-루프를 찾지만, 플랫폼 B의 개별 지도를 이용한 지도 융합은 일어나지 않는다. 플랫폼 A가 플랫폼 B와 C를 관찰하는 실제 랑데부 시간은 도 14에 도시된 것과 같이
Figure PCTKR2021003219-appb-I000120
,
Figure PCTKR2021003219-appb-I000121
로 표기된다.
도 8은 실험 4 환경을 나타낸 도면이다. 각 궤적은 플랫폼 A, B, C를 나타낸다. 2개의 하부 이미지는 랑데부 A-B, A-C 동안 플랫폼 A에 의해 캡처되었다.
B. 특징 식별 모듈
특징 식별(FI) 모듈은 제안된 AM 알고리즘을 사용하여 긍정 오류(false positive)을 가지는 익명의 자세 측정값인 비정적 특징(NSF)들 사이에서 특징을 추출한다.
배치 크기 파라미터
Figure PCTKR2021003219-appb-I000122
의 하이퍼파라미터와 에지 연결 파라미터
Figure PCTKR2021003219-appb-I000123
을 변경함으로써 FI 모듈을 분석한다. AM 알고리즘은 비선형 최적화 문제를 풀기 위해 종종 사용되는 LM 방법과 비교한다. 노드의 최대 수
Figure PCTKR2021003219-appb-I000124
에 대한 파라미터와 지도 융합 조건
Figure PCTKR2021003219-appb-I000125
에 대한 파라미터는 본 실시예에 따른 협업 단안 SLAM 시스템에 의미있는 영향을 미치지 않으며, 실험적으로 50과 10으로 각각 설정된다.
1) 배치 크기 파라미터 : NSF가
Figure PCTKR2021003219-appb-I000126
의 배수 회 추적될 때마다 NSF는 지상국으로 전송되며, FI 모듈이 호출된다. 그래서 배치 크기 파라미터
Figure PCTKR2021003219-appb-I000127
는 프레임당 FI 모듈에 의한 계산량과 제1 지도 융합 인스턴트에 중요한 영향을 미친다.
도 9는
Figure PCTKR2021003219-appb-I000128
변화에 따른 실험 1과 2의 결과를 제공한다. 도 9의 제1 그래프(a)는
Figure PCTKR2021003219-appb-I000129
가 증가함에 따라 FI 모듈로의 호출이 감소하고, 그에 맞춰 FI 모듈에서 프레임당 계산 시간인 FI 속도가 증가한다. 도 9의 제2 그래프(b)는 3개의 순간에서 계산된 첫번째 지도 융합 순간
Figure PCTKR2021003219-appb-I000130
와 유사성 에러
Figure PCTKR2021003219-appb-I000131
를 보여준다. 유사성 에러는 다음과 같이 계산된다.
Figure PCTKR2021003219-appb-I000132
여기서, rms(.)는 평균 제곱근(root mean square)을 나타내고,
Figure PCTKR2021003219-appb-I000133
은
Figure PCTKR2021003219-appb-I000134
에서
Figure PCTKR2021003219-appb-I000135
로의 대수 변환이다.
Figure PCTKR2021003219-appb-I000136
와
Figure PCTKR2021003219-appb-I000137
는 두 개별 지도 사이의 유사성 변환에 대한 실측자료와 추정치이다.
Figure PCTKR2021003219-appb-I000138
의 변환 파트는 유사성 에러를 계산하기 전에 글로벌 스케일을 포함하도록 변환된다. 특징의 수가
Figure PCTKR2021003219-appb-I000139
보다 클 때 개별 지도가 통합 지도로 통합되며, 실제 랑데부가 시작된 이후 지도 융합이 일어나는 첫번째 시점으로 첫번째 지도 융합 순간
Figure PCTKR2021003219-appb-I000140
를 정의한다.
첫번째 지도 융합 순간
Figure PCTKR2021003219-appb-I000141
는 도 9에 도시된 것처럼 주기가 긴 관찰 업데이트 (즉, 큰
Figure PCTKR2021003219-appb-I000142
)에 의해 딜레이된다. 관찰 업데이트는 작은
Figure PCTKR2021003219-appb-I000143
로 좀 더 자주 일어나고, 지도 융합을 좀더 일찍 초기화한다. 이상적으로. 특징으로 NSF를 식별하기 위해 FI 모듈로부터 적어도 2개의 결과가 필요하며, 가장 빠른 이론적
Figure PCTKR2021003219-appb-I000144
는
Figure PCTKR2021003219-appb-I000145
초(sec)이다. 따라서, 20 프레임 레이트인 설정에서는 개별 지도를 통합 지도로 통합하기 위해 적어도 0.1 x
Figure PCTKR2021003219-appb-I000146
초가 필요하다. 실험 결과에 따른 실제
Figure PCTKR2021003219-appb-I000147
는 이론적 시작보다 살짝 길었으며, NSF 추적이 실패하는 경우 관찰이 식별에 불충분할 수 있기 때문이다. 작은
Figure PCTKR2021003219-appb-I000148
에서 특히 이론적 시간까지 충분한 관찰을 수집하기가 어렵다.
유사성 에러에 관해,
Figure PCTKR2021003219-appb-I000149
에서
Figure PCTKR2021003219-appb-I000150
는 큰
Figure PCTKR2021003219-appb-I000151
에 비해 작은 값이며, 추적된 NSF의 보다 많은 관찰들이 딜레이 동안 수집되기 때문이다. 하지만, 다른
Figure PCTKR2021003219-appb-I000152
설정을 가지는 유사성 에러 값은
Figure PCTKR2021003219-appb-I000153
이후 3초 내에 거의 같아진다. 그러므로, FI 모듈의 계산 부하와 첫번째 지도 융합 순간을 고려하여
Figure PCTKR2021003219-appb-I000154
를 15로 설정한다. 모든 실험들에서 FI 호출이 도 10에 도시되어 있다. 플랫폼 A는 모든 실험들의 랑데부 상황에서 관찰자로서 기능하고, 플랫폼 A로부터의 FI 모듈 호출은 다른 플랫폼들에서의 호출보다 더 크다.
2) 대체 최소화 알고리즘 (Alternating Minimization Algorithm)
본 실시예에 따른 AM 알고리즘은 에지 노드들 간의 갭,
Figure PCTKR2021003219-appb-I000155
을 변경함으로써 계산 시간과 솔루션의 정확성 관점에서 분석된다.
Figure PCTKR2021003219-appb-I000156
과
Figure PCTKR2021003219-appb-I000157
을 사용하는 AM 알고리즘은 AM과 AM(Ngap)으로 불린다. LM(Levenberg-Marquardt) 알고리즘이 비교를 위한 기준으로 사용된다. 그것은 전체 변수들
Figure PCTKR2021003219-appb-I000158
의 초기값이 요구되지만, AM 알고리즘은 단지 2개의 하위 집합
Figure PCTKR2021003219-appb-I000159
혹은
Figure PCTKR2021003219-appb-I000160
의 초기값만을 필요로 한다.
Figure PCTKR2021003219-appb-I000161
의 초기값은 추적된 NSF의 깊이 속성을 사용하여 계산되며, 다른 하위 집합
Figure PCTKR2021003219-appb-I000162
는 LM 알고리즘을 구현하기 위해 획득되어야 한다.
Figure PCTKR2021003219-appb-I000163
의 초기값을 획득하기 위한 2개의 다른 방법을 사용하는 기준 알고리즘을 설계했다. 제1 방법은 내부 지점들의 영 위치(즉
Figure PCTKR2021003219-appb-I000164
),스케일 비의 정규화(즉,
Figure PCTKR2021003219-appb-I000165
),깊이 속성 같은 원시 조건(raw condition)을 활용하고,
Figure PCTKR2021003219-appb-I000166
의 초기값을 계산하기 위해 사용된다. 제2 방법은 1단계 AM의 솔루션
Figure PCTKR2021003219-appb-I000167
를 사용한다. 제1 및 제2 방법은 LM와 AMLM으로 정의된다. 기준 알고리즘은
Figure PCTKR2021003219-appb-I000168
을 사용하여 구현된다. 모든 알고리즘은 동일한 종료 조건을 가지고 랩탑의 MATLAB에서 구동된다(표 1).
[표 1]
Figure PCTKR2021003219-appb-I000169
표 2는 각 실험에서 수렴 시간과 AM 시리즈 및 기준 알고리즘의 유사성 에러
Figure PCTKR2021003219-appb-I000170
를 보여준다.
[표 2]
Figure PCTKR2021003219-appb-I000171
수렴 시간은 FI 모듈이 트리거 될 때마다 각 알고리즘을 사용하여 수렴하는 데 걸리는 시간의 평균 및 표준 편차를 나타내며,
Figure PCTKR2021003219-appb-I000172
은 특징의 sim (3)을 사용하여 계산 된 유사성 에러이다. AM 시리즈는 LM 및 AMLM과 같은 기준 알고리즘보다 빠른 수렴 시간 및 정확한 솔루션과 같은 훨씬 더 나은 성능을 제공한다. AM, AM(3), AM(5) 중 AM 알고리즘은 약 0.6msec (중간값)에서 가장 빠른 수렴 시간을 가진다.
Figure PCTKR2021003219-appb-I000173
이 증가하면 솔루션의 정확도가 증가하고 계산 시간도 빠르게 증가한다. 각 알고리즘의 정확도와 속도 간의 이러한 관계는 도 11에서 확인할 수 있다. 동일한 에지 연결 파라미터
Figure PCTKR2021003219-appb-I000174
이 사용되더라도 LM 및 AMLM의 최적화 변수가 AM 알고리즘에 비해 수렴하는 데 훨씬 더 오래 걸린다. 이는 LM 최적화 문제를 한 번 해결하는 데 필요한 변수의 수가 AM 하위 문제를 해결하는 데 필요한 변수의 수보다 많기 때문이다. 또한 본 실시예에 따른 AM의 두 가지 하위 문제에 폐쇄형 솔루션이 있다는 사실은 계산 시간을 크게 줄여준다. 두 기본 알고리즘 사이에서 AMLM이 LM보다 빠르고 정확하다. 또한 LM 방법의 초기값이 정확하지 않기 때문에 LM의 속도 및 오류의 표준 편차가 AMLM보다 크다. 즉, 1단계 AM 솔루션은 원시 조건을 사용하는 것보다 더 나은 초기값을 제공한다. 다른 알고리즘과 달리 LM은 실험 3에서 개별 지도를 통합하기 위해 플랫폼 C의 특징을 충분히 식별하지 못한다. 특히 실험 4에서는, 특징이 전혀 식별되지 않는다.
도 11은 모든 실험에서 제안된 AM 시리즈 및 기준 알고리즘의 수렴 시간 및
Figure PCTKR2021003219-appb-I000175
.로그 스케일이 있는 좌측 y축은 수렴 시간을 나타내고 우측 y축은
Figure PCTKR2021003219-appb-I000176
을 나타낸다. 여기서 각 상자는 25 번째 및 75 번째 백분위 수를 나타내고 수염은 각각 95 % 신뢰 수준을 나타낸다.
C. 지도 융합 모듈
MF (Map fusion) 모듈은 FI 모듈로 식별된 특징을 사용하여 랑데부 관련 플랫폼의 개별 지도를 통합 지도에 통합한다. MF 모듈을 평가하기 위해 첫번째 지도 융합 순간과 통합 통합 지도의 정확성을 분석한다.
1) 첫번째 지도 융합 순간 : 도 12는 모든 실험에서 AM, LM, AMLM을 사용한 첫번째 지도 융합 및 안정화 순간을 보여준다. 안정화 순간은 통합 맵의 유사성 오류가 실제 랑데부 후 안정화 임계값 (0.1로 설정) 아래로 떨어지는 순간이다. LM을 사용한 실험 I, II 및 III에서는 개별 지도 A와 B를 포함한 통합 지도가 성공적으로 생성되었다. 그러나 통합 지도는 안정화되지 않았다. 식별된 특징은 실험 3(A-C) 및 실험 4(A-B), (A-C)에서 지도 융합에 충분하지 않다. 초기값을 1 단계 AM 솔루션으로만 변경하는 AMLM 방법은 LM보다 훨씬 더 나은 결과를 보여준다. 그럼에도 불구하고 실험 1 및 4에서는 도 9에서와 같이 AMLM의 지도 융합 결과가 AM에 비해 안정화되는 데 훨씬 더 오래 걸린다. 세 가지 알고리즘 중 AM은 모든 실험에서 가장 빠른 지도 융합을 보여준다. 통합 맵의 가장 빠른 안정화인 실험 2는 예외이다. 실험 3에서, AM을 사용하여 만든 통합 지도는 첫 번째 지도 융합 순간 이후 이미 매우 정확하다.
NSF의 추적 품질이 다르기 때문에 첫 번째 지도 융합 및 안정화 순간은 실험에서 다양하다. 그들의 추적은 투영된 크기가 얼마나 큰지, 관찰자 플랫폼이 관찰된 플랫폼을 보는 시점이 얼마나 변하는지와 같이 관찰자 플랫폼의 이미지에서 관찰된 플랫폼이 어떻게 캡처되는지에 따라 달라진다. 실험 2와 실험 3(A-B)의 첫 번째 지도 융합 순간에서 이론적 지도 융합 순간과 거의 동일하며 시점이 많이 변하지 않고 실제 랑데부 시작시 관찰자 이미지의 상당 부분에 관찰자 플랫폼이 포착된다. 이것은 초기 랑데부 간격 동안 NSF의 중요한 관찰의 수집을 촉진하고 성공적인 지도 융합으로 이어진다.
2) 지도 융합 결과 : 도 13은 실험 1-3에서 특정 시점에 AM을 사용하는 제안된 다중 플랫폼 슬램 시스템의 결과를 보여준다.
실험 1에서, 도 13 (1a) 및 (1b)에서 특징 수가 증가할수록 추정된 유사성 변환 SIM (3)이 더 정확해진다. 도 13 (1a)에 표시된 초기 순간에 플랫폼 B의 추정 궤적은 실측 자료와 다르지만 도 13 (1b)에서는 추정된 SIM (3)을 사용하는 통합 지도는 실측 자료와 거의 동일하다.
실험 2에 관한 도 13 (2a)에서, 랑데부가 인식되지 않았고 A와 B의 개별 지도만 있다. 첫 번째 지도 융합 순간을 보여주는 도 13 (2b)에서는 이미지 A에 적은 수의 특징이 있다. 통합 맵이 만들어 지지만 상대적인 관측치가 두 개별 지도 사이의 SIM (3)을 정확하게 추정하기에는 부족하기 때문에 맵에 약간의 오류가 있다. 감지된 특징의 수가 증가하면 두 맵의 통합이 더 정확해진다. 플랫폼 B를 나타내는 대부분의 NSF는 특징으로 식별되며 도 13 (2c)에서는 통합 지도가 매우 정확해진다.
실험 3에 관한 도 13 (3a)에서. FI 모듈이 아직 랑데부를 인식하지 못했기 때문에 통합 지도가 통합되지 않았다. B의 특징은 플랫폼 A가 관찰한 NSF에서 식별되고,
개별 지도 A와 B가 통합 지도 (A + B)으로 결합된다(도 13 (3b)). 개별 지도 C는 C의 식별된 특징을 사용하여 통합 지도에 통합되었으며, 모든 플랫폼은 도 13 (3c)의 통합 지도 (A + B + C)에서 로컬라이제이션 할 수 있다. 플랫폼 B와 C는 다른 플랫폼을 관찰하지 않으므로 이미지 B와 C에 식별된 특징이 없다.
마지막으로 도 14은 실험 4의 71 초, 121 초, 141 초에서 각 플랫폼이 캡처한 통합 통합 지도와 이미지를 보여준다. 플랫폼 A는 2층 복도에서 시작하여 계단을 통해 1층으로 내려 가며 도 8과 같이 1층 복도에서 플랫폼 C를 만난다. 도 14 (4a)의 플랫폼 A의 이미지는 C의 -특징이 랑데부
Figure PCTKR2021003219-appb-I000177
동안의 순간에 NSF들로부터 식별된다.
FI 모듈은 A와 C 사이의 랑데부를 인식하고 랑데부를 사용하여 통합 지도 (A + C)을 생성한다. 도 11의 우측 상단에 있는 확대 플롯은 플랫폼 A와 C가 관찰한 특징이 풍부한 보드가 통합 지도에서 정확하게 겹치는 것을 확인한다. 그런 다음 플랫폼 A는 플랫폼 B (드론)가 날아가는 방에 들어가 A와 B 사이의 랑데부가 발생한다. 랑데부
Figure PCTKR2021003219-appb-I000178
에서 캡처한 도 14 (4b) 및 (4c)의 A 이미지에서 B의 특징이 드론 내부에서 적절히 추출된다. 도 14 (4b) 및 (4c)와 같이
Figure PCTKR2021003219-appb-I000179
동안 수집된 B의 특징은 통합 지도 (A + B + C)을 구축하는 데 사용된다. 그 결과, 도 14은 A, B, C의 모든 개별 지도가 통합 지도에서 잘 위치되어 있음을 보여준다.
AM, LM 및 AMLM 알고리즘을 사용한 성능 요약은 표 3에서 볼 수 있다.
[표 3]
Figure PCTKR2021003219-appb-I000180
개별 지도 간의 변환 정확도, 특징 수, FI 및 MF 모듈의 계산 부하 측면에서 시스템을 평가했다. 변환 에러
Figure PCTKR2021003219-appb-I000181
,회전 에러
Figure PCTKR2021003219-appb-I000182
및 스케일 에러
Figure PCTKR2021003219-appb-I000183
는 다음과 같이 계산된다.
Figure PCTKR2021003219-appb-I000184
Figure PCTKR2021003219-appb-I000185
는 실측 자료를 사용하여 실세계 스케일로 변환된다.
AM은 다른 기준 알고리즘과 비교하여 최고의 전체 성능을 보여준다. 반대로 LM은 특징이 거의 식별되지 않는 실험 3 및 4에서도 실패하여 최악의 성능을 보였으며 지도 융합이 실패했다. 랑데부 중에 관찰된 플랫폼은 관찰자 플랫폼의 이미지에 움직이는 객체가 되고,
NSF 수가 증가하여 FI 모듈이 더 자주 트리거된다.
3 대의 플랫폼을 포함하는 실험 3 및 4에서 실험 4의 실제 랑데부는 도 13 및 14 에서 볼 수 있듯이 실험 3보다 덜 자주 발생한다. 따라서 실험 4의 계산 부하는 훨씬 가볍다. 마찬가지로 실험 1에서 플랫폼 A는 항상 플랫폼 B를 관찰하므로 실험 2보다 계산 시간이 더 오래 걸린다.
Figure PCTKR2021003219-appb-I000186
는 실험 4에서
Figure PCTKR2021003219-appb-I000187
보다 길지만 B의 특징 수는 C의 특징 수보다 적다. 두 가지 이유가 있다. 첫 번째 이유는 드론 B의 특징이 부족한 표면에서 추출된 NSF의 수가 적기 때문이다. 두 번째 이유는 드론 B에 대한 관찰자 플랫폼의 관점의 급격한 변화로 인해 NSF의 추적 품질이 좋지 않기 때문이다. , 몇 가지 중요한 관찰, 즉 잘 추적 된 NSF는 B에서 수집된다.
3) 내부 지점들 : 본 실시예에 따른 시스템은 그림과 같이 관찰된 플랫폼의 내부 지점들을 정확하게 추정할 수 있다. 도 15는 실험 1-3에서 추정된 내부 지점을 사용하여 평면을 피팅한 결과를 보여준다. 추정된 내부 지점은 실험 1 및 2에서 플랫폼 B의 실제 평판 모양과 같이 분포된다. 실험 3에서 추정된 내부 지점을 사용하여 장착된 평면은 플랫폼 B와 C의 입방체 모양을 잘 나타낸다. 내부 지점은 플랫폼 A가 관찰 한 표면에서 추정되므로 플랫폼 B와 C에 장착된 실제 평면 수는 관찰된 표면에 따라 다를 수 있다 (즉, 그림 15에서 각각 B와 C에 대한 3 개 및 4 개의 평면). 또한 플랫폼 B와 C의 카메라 좌표는 실제 장착 된 위치와 방향과 같이 정확하게 추정된다 (각각 약간 위아래로 보임).
도 16은 실험 4에서 플랫폼 B와 C에 대한 추정 내부 지점을 보여준다. 실험 4에서 사용되는 플랫폼은 평면이나 구와 같은 단순한 대표적 모양이 없지만 여전히 B와 C의 추정 내부 지점은 그림 16과 같이 드론과 turtlebot3처럼 분포되어 있다.
D. 견고성
FI 모듈은 NSF 중 특정 플랫폼을 가리키는 특징을 찾는다. NSF에는 불일치 특징과 동적 특징이 포함되어 있으므로 NSF 간의 특징을 올바르게 식별하는 능력은 FI의 견고성에 대한 척도로 고려할 수 있다. FI 모듈이 플랫폼 A 영상의 NSF 중 플랫폼 B의 특징을 찾으면 A가 B를 관찰하는 랑데부로 볼 수 있다. 따라서 특정 시점에서 영상에 나타난 특징의 개수가 특정 임계 값(예컨대, 3으로 설정)보다 크면 랑데부로 인식된다. 두 개의 관찰 가능한 플랫폼 B와 C를 포함하는 실험 3 및 4에서, 제외된 플랫폼을 동적 장애물로 취급하여 B 또는 C 중 하나 없이 추가 테스트를 실행했다. 이러한 추가 테스트는 동적 장애물 및 관찰 가능한 여러 플랫폼에 대한 FI 모듈의 견고성을 평가하기 위한 것이다.
그림 17은 추가 견고성 테스트를 통해 실험 1-4에서 실제 및 인식 된 랑데부 기간을 보여준다.
그림 17을 기반으로 하여 인식된 랑데부의 정밀도, 재현율 및 F1 점수는 표 IV에서 계산된다. 원 실험 3의 결과 비교 및 추가 테스트에서는 추가 테스트에서 인식의 정밀도가 감소하는 것을 관찰할 수 있다. 이는 두 개 이상의 관찰 가능한 플랫폼이 NSF를 추적하는 동안 유사한 움직임을 갖는 경우 전술한 것과 같이 각 플랫폼의 움직임이 고유할 때까지 특징 식별 프로세스가 보류되기 때문이다. B 또는 C를 제외한 추가 테스트의 경우 관찰 가능한 플랫폼의 수가 1 개로 줄어들 기 때문에 보류 프로세스가 발생하지 않는다. 따라서 제외된 플랫폼의 움직임이 의 나머지 플랫폼의 움직임과 유사하면 제외된 플랫폼에서 추출 된 NSF를 특징으로 식별할 수 있다. 이것은 전술한 것과 같이 플랫폼 간 가시성 정보를 사용하여 완화할 수 있다. (여기서는 FI 테스트에만 적용되지 않음).
보류 프로세스가 (A-C)에서 실행되었기 때문에 표 4의 (A-C w / o B)보다 실험 3 (A-C)에서 재현율이 낮다. 보류 프로세스는 앞서 언급했듯이 더 높은 정밀도를 제공하지만 플랫폼의 움직임이 매우 유사한 경우 프로세스로 인해 특징을 식별하지 못할 수 있다.
[표 4]
Figure PCTKR2021003219-appb-I000188
표 4의 실험 4는 추가 테스트 (w / o C) 및 (w / o B)가 원래 실험과 동일한 성능을 보여줌을 나타낸다. 제외된 플랫폼은 추가 테스트에서 동적 장애물로 취급되기 때문에 이와 동일한 성능 수준은 제안된 FI 모듈이 동적 장애물에 견고함을 시사한다. 모든 실험은 매우 높은 정밀도를 보여 주지만 재현율은 약간 낮다. 특히, 실험 3 (AC) 및 실험 4 (AB)의 낮은 재현율 값은 C와 B에서 각각 NSF의 상대적으로 불량한 추적 품질에 기인할 수 있다. .
E. 확장성
N개의 플랫폼 의 각 플랫폼에서 m 개의 NSF가 지상국으로 전송된다고 가정한다. 그런 다음 FI 모듈은 각 NSF의 움직임과 NSF의 관찰자를 제외한 다른 플랫폼의 포즈를 비교한다. 따라서 FI 모듈은 mN(N-1) 번 트리거된다. 즉, 플랫폼의 제곱 수만큼 계산 시간이 늘어난다. 플랫폼 중 일부가 지도 융합에 성공하면 플랫폼의 상대적 포즈가 알려진다. 알려진 상대 포즈를 사용하여 플랫폼 간 가시성, 즉 다른 플랫폼이 이미지를 입력했는지 여부도 결정할 수 있다. 따라서 식별된 플랫폼의 플랫폼 간 가시성은 보이지 않는 플랫폼을 고려하지 않음으로써 FI 호출 수를 줄일 수 있다.
본 실시예에 따른 협업 단안 슬램은 루프 간 폐쇄가 어려운 랑데부를 사용하여 지도 융합을 평가하도록 설계된 4 개의 실험에서 평가된다. 실험 결과 본 실시예에 따른 시스템이 랑데부를 빠르고 강력하게 인식하고 관찰자와 관찰된 플랫폼의 개별 지도를 통합 지도에 정확하게 통합함을 확인했다.
전술한 랑데부를 이용한 영상 기반의 동시 측위 및 지도 작성 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 랑데부를 이용한 영상 기반의 동시 측위 및 지도 작성 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 랑데부를 이용한 영상 기반의 동시 측위 및 지도 작성 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 다중 플랫폼 시스템에서의 영상 기반 협력적 동시 측위 및 지도 작성 방법으로서,
    복수의 플랫폼 각각이 단일 슬램 방식으로 카메라를 통해 입력된 이미지에 기반하여 카메라 자세를 추정하고 개별 지도를 제작하는 단계;
    상기 이미지에서 비정적 특징(non-static feature)을 추출하고 관리하는 단계;
    상기 카메라 자세, 상기 개별 지도 및 상기 비정적 특징을 플랫폼 데이터로 통합관리시스템인 지상국에 전송하는 단계;
    상기 지상국에서 상기 플랫폼 데이터에 기초하여 상기 복수의 플랫폼 중 하나와 나머지 플랫폼들 간에 랑데부 상황 여부를 판단하는 단계; 및
    상기 랑데부 상황이 있는 경우, 랑데부한 둘 이상의 플랫폼에서 수신한 상기 개별 지도를 통합 지도로 융합하는 단계를 포함하는 영상 기반 협력적 동시 측위 및 지도 작성 방법.
  2. 제1항에 있어서,
    상기 랑데부 상황 여부 판단 단계는, 상기 하나를 관찰 플랫폼으로 보고 상기 관찰 플랫폼에서 수신한 상기 이미지 내에서의 상기 비정적 특징의 움직임과 상기 나머지 플랫폼들로부터 수신한 상기 카메라 자세 및 상기 개별 지도에 기초한 상기 나머지 플랫폼들의 움직임의 유사성을 비교하는 단계를 포함하며,
    임계치 이상으로 유사한 움직임을 가지는 플랫폼이 있을 경우, 상기 관찰 플랫폼과 랑데부 상황인 것으로 보고, 상기 비정적 특징을 매칭하여 활용하는 영상 기반 협력적 동시 측위 및 지도 작성 방법.
  3. 제2항에 있어서,
    상기 유사성 비교 단계에서 최적화 문제를 설계하고, 상기 최적화 문제의 수렴 오차가 충분히 작을 때 상기 비정적 특징이 상기 플랫폼을 가리키는 관측값인 것으로 판단하는 영상 기반 협력적 동시 측위 및 지도 작성 방법.
  4. 제3항에 있어서,
    상기 유사성 비교 단계에서 대체 최소화 알고리즘을 사용하여 상기 최적화 문제에 대한 수렴 해를 찾는 것을 특징으로 하는 영상 기반 협력적 동시 측위 및 지도 작성 방법.
  5. 제2항에 있어서,
    상기 지도 융합 단계에서는, 지도 융합 모듈에서 상기 특징을 이용하여 관찰 플랫폼과 관측된 플랫폼이 만든 상기 개별 지도 및 상기 카메라 자세에 대한 자세 데이터를 통합 지도로 융합하는 영상 기반 협력적 동시 측위 및 지도 작성 방법.
  6. 제5항에 있어서,
    상기 지도 융합 단계에서 상기 개별 지도 간의 유사성 변환 값을 추정하여 상기 통합 지도로 융합하는 영상 기반 협력적 동시 측위 및 지도 작성 방법.
  7. 복수의 플랫폼 각각이 단일 슬램 방식으로 카메라를 통해 입력된 이미지에 기반하여 카메라 자세를 추정하고 개별 지도를 제작하는 영상 기반 협력적 동시 측위 및 지도 작성 시스템으로서,
    상기 복수의 플랫폼 각각으로부터 플랫폼 데이터를 수신하고, 상기 플랫폼 데이터를 분석하여 통합 지도를 작성하는 지상국을 포함하되,
    상기 지상국은,
    상기 복수의 플랫폼 각각으로부터 플랫폼 데이터를 수신하고, 상기 플랫폼 데이터에 기초하여 상기 복수의 플랫폼 중 하나와 나머지 플랫폼들 간에 랑데부 상황 여부를 판단하는 플랫폼 매칭 모듈과;
    상기 랑데부 상황이 있는 경우, 랑데부한 둘 이상의 플랫폼에서 수신한 상기 개별 지도를 통합 지도로 융합하는 지도 융합 모듈을 포함하는 영상 기반 협력적 동시 측위 및 지도 작성 시스템.
  8. 제7항에 있어서,
    상기 복수의 플랫폼 각각은 상기 이미지에서 비정적 특징(non-static feature)을 추출하고 관리하며,
    상기 플랫폼 데이터에는 상기 카메라 자세, 상기 개별 지도 및 상기 비정적 특징이 포함되는 영상 기반 협력적 동시 측위 및 지도 작성 시스템.
  9. 제8항에 있어서,
    상기 플랫폼 매칭 모듈은 상기 하나를 관찰 플랫폼으로 보고 상기 관찰 플랫폼에서 수신한 상기 이미지 내에서의 상기 비정적 특징의 움직임과 상기 나머지 플랫폼들로부터 수신한 상기 카메라 자세 및 상기 개별 지도에 기초한 상기 나머지 플랫폼들의 움직임의 유사성을 비교하며, 임계치 이상으로 유사한 움직임을 가지는 플랫폼이 있을 경우, 상기 관찰 플랫폼과 랑데부 상황인 것으로 보고, 상기 비정적 특징을 특징으로 매칭하는 영상 기반 협력적 동시 측위 및 지도 작성 시스템.
  10. 제9항에 있어서,
    상기 플랫폼 매칭 모듈은 유사성 비교를 위해 최적화 문제를 설계하고, 상기 최적화 문제의 수렴 오차가 충분히 작을 때 상기 비정적 특징이 상기 플랫폼을 가리키는 관측값인 것으로 판단하는 영상 기반 협력적 동시 측위 및 지도 작성 시스템.
  11. 제9항에 있어서,
    상기 지도 융합 모듈은 상기 특징을 이용하여 관찰 플랫폼과 관측된 플랫폼이 만든 상기 개별 지도 간의 유사성 변환 값을 추정하여 상기 통합 지도로 융합하는 영상 기반 협력적 동시 측위 및 지도 작성 시스템.
  12. 이동하면서 측위 및 지도 작성을 수행하는 플랫폼으로서,
    카메라를 통해 주변 상황을 촬영한 이미지를 입력받는 이미지 입력부;
    상기 이미지에서 특징을 추출하고 매칭하며, 매칭된 특징으로부터 카메라 자세를 추정하는 카메라 자세 추정부;
    상기 이미지와 상기 카메라 자세를 기초로 하여 상기 플랫폼이 위치하고 이동한 지역에 대한 개별 지도를 작성하는 개별 지도 생성부;
    상기 특징 중 비정적 특징(non-static feature)을 추출하고 관리하는 비정적 특징 관리부; 및
    상기 카메라 자세, 상기 개별 지도 및 상기 비정적 특징을 포함하는 플랫폼 데이터를 상기 지상국으로 전송하는 통신부를 포함하는 플랫폼.
  13. 제12항에 있어서,
    상기 이미지는 연속된 프레임을 가지며,
    상기 비정적 특징 관리부는 상기 비정적 특징을 상기 연속된 프레임의 이미지에서 추적하며 관리하는 것을 플랫폼.
PCT/KR2021/003219 2020-12-02 2021-03-16 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법 WO2022119057A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/255,644 US20240118092A1 (en) 2020-12-02 2021-03-16 Image-based cooperative simultaneous localization and mapping system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0166198 2020-12-02
KR1020200166198A KR102467858B1 (ko) 2020-12-02 2020-12-02 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2022119057A1 true WO2022119057A1 (ko) 2022-06-09

Family

ID=81853456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003219 WO2022119057A1 (ko) 2020-12-02 2021-03-16 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법

Country Status (3)

Country Link
US (1) US20240118092A1 (ko)
KR (1) KR102467858B1 (ko)
WO (1) WO2022119057A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630236A (zh) * 2022-10-19 2023-01-20 感知天下(北京)信息科技有限公司 无源遥感影像的全球快速检索定位方法、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190094405A (ko) * 2016-12-09 2019-08-13 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
KR101976241B1 (ko) * 2016-01-22 2019-08-28 경희대학교 산학협력단 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
KR20190114652A (ko) * 2018-03-30 2019-10-10 한국전자통신연구원 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976241B1 (ko) * 2016-01-22 2019-08-28 경희대학교 산학협력단 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
KR20190094405A (ko) * 2016-12-09 2019-08-13 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
KR20190114652A (ko) * 2018-03-30 2019-10-10 한국전자통신연구원 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAOYAO CHEN ; DONG SUN ; JIE YANG ; JIAN CHEN: "Localization for Multirobot Formations in Indoor Environment", IEEE/ASME TRANSACTIONS ON MECHATRONICS, vol. 15, no. 4, 1 August 2010 (2010-08-01), US , pages 561 - 574, XP011295782, ISSN: 1083-4435 *
MORATUWAGE DILUKA; VO BA-NGU; WANG DANWEI: "Collaborative Multi-vehicle SLAM with moving object tracking", 2013 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), 6 May 2013 (2013-05-06), US , pages 5702 - 5708, XP032506717, ISSN: 1050-4729, ISBN: 978-1-4673-5641-1, DOI: 10.1109/ICRA.2013.6631397 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630236A (zh) * 2022-10-19 2023-01-20 感知天下(北京)信息科技有限公司 无源遥感影像的全球快速检索定位方法、存储介质及设备
CN115630236B (zh) * 2022-10-19 2023-08-18 感知天下(北京)信息科技有限公司 无源遥感影像的全球快速检索定位方法、存储介质及设备

Also Published As

Publication number Publication date
KR20220077951A (ko) 2022-06-10
US20240118092A1 (en) 2024-04-11
KR102467858B1 (ko) 2022-11-17

Similar Documents

Publication Publication Date Title
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2015194864A1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
WO2015194866A1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015194867A1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Amidi et al. A visual odometer for autonomous helicopter flight
WO2018074903A1 (ko) 이동 로봇의 제어방법
WO2015194865A1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015194868A1 (ko) 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
WO2018066816A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2021040214A1 (ko) 이동 로봇 및 그 제어 방법
WO2019124894A1 (ko) 무인 비행체 및 그의 동작 방법, 그리고 상기 무인 비행체의 이동을 제어하기 위한 무인 운반체
WO2015115681A1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2015199502A1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
WO2018074904A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2022119057A1 (ko) 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2017007166A1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2021221344A1 (ko) 경사로가 있는 환경에서 이동로봇의 환경 인식 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2021125395A1 (ko) 인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
CN108711163A (zh) 一种基于多传感器的机器人未知环境目标跟踪方法
Srigrarom et al. Hybrid motion-based object detection for detecting and tracking of small and fast moving drones
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900745

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18255644

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21900745

Country of ref document: EP

Kind code of ref document: A1