KR20120037270A - 복셀 맵 생성기 및 그 방법 - Google Patents

복셀 맵 생성기 및 그 방법 Download PDF

Info

Publication number
KR20120037270A
KR20120037270A KR1020100098927A KR20100098927A KR20120037270A KR 20120037270 A KR20120037270 A KR 20120037270A KR 1020100098927 A KR1020100098927 A KR 1020100098927A KR 20100098927 A KR20100098927 A KR 20100098927A KR 20120037270 A KR20120037270 A KR 20120037270A
Authority
KR
South Korea
Prior art keywords
map generator
volume cell
voxel
calculated
attitude
Prior art date
Application number
KR1020100098927A
Other languages
English (en)
Other versions
KR101715780B1 (ko
Inventor
형승용
노경식
윤석준
안성환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100098927A priority Critical patent/KR101715780B1/ko
Priority to US13/137,832 priority patent/US8428343B2/en
Publication of KR20120037270A publication Critical patent/KR20120037270A/ko
Application granted granted Critical
Publication of KR101715780B1 publication Critical patent/KR101715780B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 일측면에 따르면,　VOXEL(Volume Cell)맵을 생성하기 위해 이용되는　ICP(Iterative Closest Point) 알고리즘을 수행할 때 발생하는 오차를 관성측정장치와 영상기반 SLAM(Simultaneous Localization and Mapping)를 통해 개선하는 VOXEL(Volume Cell)맵 생성기를 제공한다.
이를 위해 본 발명의 일측면에 따른 VOXEL(Volume Cell)맵 생성기는, VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하는 관성측정장치; 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하는 TOF(Time of Flight) 카메라; 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하고, 관성측정장치에 의해 산출된 물체의 관성 정보와 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 측정 각도에 따라 재귀적으로 추정하는 추정부; 복수 회 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 기초로 격자지도(grid map)를 작성하는 격자지도(grid map) 작성부를 포함한다.
이를 통해, VOXEL(Volume Cell)맵을 생성하기 위해 이용되는　ICP(Iterative Closest Point) 알고리즘을 수행할 때 발생하는 오차를 개선할 수 있다.

Description

복셀 맵 생성기 및 그 방법{Voxel Map generator And Method Thereof}
본 발명은 영상기반 SLAM(Simultaneous Localization and Mapping)과 ICP(Iterative Closest Point)를 통합한 VOXEL(Volume Cell)맵 생성기 및 그 방법에 관한 것이다.
최근 이미지 정보만을 제공하던 카메라와는 달리, 적외선 TOF(time of flight) 카메라를 사용하여 거리정보가 담긴 맵(disparity map)을 생성하는 3D 스캔센서가 다양한 회사를 통하여 개발 중이다. 이러한 센서들은 카메라의 각각의 픽셀에 이미지 명암정보만을 얻을 뿐 아니라 픽셀마다 센서와 픽셀이 검출한 물체의 거리정보까지 알 수 있어서 SLAM(Simultaneous Localization and Mapping)이나 장애물 검출 방법에 있어서 활용되고 있다. 적외선 TOF(time of flight) 카메라의 적용 분야는 매우 넓은데, 모션 캡쳐(motion capture) 방식의 디지털 기기 UI(User Interface), 적외선 특성을 이용한 인간 인식을 통하여 보안 시스템 구축 ,　3차원 네비게이션 기술 개발로서 3D 환경 복원　, ICP(Iterative Closest Point)와 같은 정합기술　활용되고 있다.
종래에는 ICP(Iterative Closest Point)　기술을 통하여 정합을 수행함으로서, 위치 추정을 할 수 있었으나 ICP(Iterative Closest Point)의 경우,　오차가 발생한 상황에서 한 번이라도 잘못 정합되어 버리면 그 정합 결과 위에 다시 ICP(Iterative Closest Point)를 수행하기 때문에 3D 누적오차가 발생할 가능성이 생기게 된다.
본 발명의 일측면에 따른 VOXEL(Volume Cell)맵 생성기는 물체의 존재 여부를 가상의 그리드 공간에 기재하는 VOXEL(Volume Cell)맵을 구현하고,　VOXEL(Volume Cell)맵을 생성하기 위해 이용되는　ICP(Iterative Closest Point) 알고리즘을 수행할 때 발생하는 오차를 관성측정장치와 영상기반 SLAM(Simultaneous Localization and Mapping)를 통해 개선하고자 한다.
이를 위해 본 발명의 일측면에 따른 VOXEL(Volume Cell)맵 생성기는, VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하는 관성측정장치; 상기 물체를 촬영하여 상기 물체의 깊이(Depth) 이미지와 흑백 영상 이미지를 생성하는 TOF(Time of Flight) 카메라; 상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하고, 상기 관성측정장치에 의해 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보와 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 측정 각도에 따라 재귀적으로 추정하는 추정부; 상기 재귀적으로 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세와 상기 TOF(Time of Flight) 카메라로 측정된 물체를 기초로 격자지도(grid map)를 작성하는 격자지도(grid map) 작성부를 포함한다.
또한, 상기 추정부는 상기 TOF(Time of Flight)으로 획득된　물체의 흑백 이미지를 기초로 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정한다.
또한, 상기 추정부는 물체의 흑백 이미지를 기초로 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance)의 형태로 변환하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정한다.
또한, 상기 추정부는 상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬을 오차 공분산(Covariance)의 형태로 변환하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를　추정한다.
또한, 상기 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬의 오차 공분산(Covariance)은, 물체의 흑백 이미지를 기초로 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 산출한 물체의 위치 및 자세 정보 행렬의 상태변수를 기초로 연산된다.
또한, 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬오차 공분산(Covariance)은, 상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬의 상태변수를 기초로 연산된다.
또한, 상기 추정부는 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping)을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬의 오차 공분산(Covariance)과 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬에 자코비안(Jacobian)을 구하여 상태변수를 변형시킨 오차 공분산(Covariance)을 통해 연산되는 이득(Gain)에 따라 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정한다.
또한, 상기 관성측정장치는 자이로(Gyro) 센서 또는 가속도 센서를 포함한다.
본 발명의 다른 측면에 따른 VOXEL(Volume Cell)맵 생성방법은 VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하고; TOF(Time of Flight) 카메라를 통해 상기 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고; 상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하고; 상기 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보와 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 측정 각도에 따라 복수 회 추정하고; 상기 복수 회 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 기초로 격자지도(grid map)를 작성한다.
본 발명의 또 다른 측면에 따른 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시키는 방법은, TOF(Time of Flight) 카메라를 통해 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고; 상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하여 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정하고, 상기 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance)의 형태로 변환하여 상기 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시킬 수 있다.
본 발명의 또 다른 측면에 따른 물체의 위치 및 자세의 오차를 감소시키는 방법은, VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하고; TOF(Time of Flight) 카메라를 통해 상기 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고; 상기 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보와 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정하고; 상기 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보의 행렬과 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance) 형태로 변환하여 상기 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시킬 수 있다.
본 발명의 일 실시예에 따르면, VOXEL(Volume Cell)맵을 생성하기 위해 이용되는　ICP(Iterative Closest Point) 관성측정장치와 영상기반 SLAM(Simultaneous Localization and Mapping)를 통해 알고리즘을 수행할 때 발생하는 오차를 최소화할　수 있다.
도 1은 본 발명의 일실시예에 따른 VOXEL(Volume Cell)맵 생성기의 구조를 도시한 사시도이다.
도 2는 본 발명의 다른 실시예에 따른 VOXEL(Volume Cell)맵 생성 방법에 이용되는　영상기반 SLAM(Simultaneous Localization and Mapping)의 구현 과정을 도시한 개략도이다.
도 3은 본 발명의 다른 실시예에 따른 VOXEL(Volume Cell)맵 생성 방법을 도시한 것이다.
도 4와 도 5는 본 발명의 다른 실시예를 통해　획득된 VOXEL(Volume Cell)맵을 도시한 것이다.
도 6은 본 발명의 다른 실시예를 통해　획득된 VOXEL(Volume Cell)맵을 기반으로 한 휴머노이드 풋스텝(Footstep) 네비게이션을 도시한 것이다.
도 7은 본 발명의 다른 실시예에 따른 VOXEL(Volume Cell)맵 생성 방법을 도시한 블록도이다.
3차원 사용 격자지도(occupancy gridmap)는 공간을 일정 격자로 나누어 그 공간이 채워져 있는지 그렇지 않은지에 대한 확률을 새겨넣음으로써 공간에 대한 정보를 획득할 수 있는 것이다. 단위 격자를 VOXEL(Volume Cell)이라고 명하며 이러한 격자로 형성된 격자지도(gridmap)가 VOXEL　MAP이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명한다.
도 1은 본 발명의 일실시예에 따른 VOXEL(Volume Cell)맵 생성기의 구조를 도시한 사시도이다.
VOXEL(Volume Cell)맵(이하 VOXEL맵이라 한다) 생성기(1)는 관성측정장치(100)와 TOF(Time of Flight) 카메라(200)(이하 TOF 카메라로 한다), 추정부, 격자지도 생성부로 이루어진다.
관성측정장치(100)는 가속도 센서(130)와 자이로(Gyro)센서(160)로 이루어진다. 가속도 센서(130)와 자이로(Gyro)센서(160)는 각각 3개로 이루어지고 이를 통하여 6 DOF(Degrees of freedom)의 속도 및 각속도 정보를 획득한다.
가속도 센서(130)는 인식 대상 물체(5)의 가속도를 측정하는데, X축 가속도계, Y축 가속도계, Z축 가속도계로 이루어진다.
TOF 카메라(200)는 발광부(230)와 수광부(260)로 이루어지는데 　발광부(230)는 사인(sin)파 형태의 적외선(Infrared Rays)을 출력을 내면 수광부(260)의 이미지 셀(Cell)이 인식 대상 물체(5)에 반사된 빛을 받아 빛이 이동한 거리를 계산한다. 계산된 빛의 이동 거리를 기초로, TOF 카메라(200)는 이미지 셀을 수 천개 또는 수 만개 모으고 모아진 이미지 셀을 누적하여 하나의 깊이(Depth)　이미지를 만든다.
추정부는 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘(이하 ICP 알고리즘이라 한다)을 수행하여 물체의 위치 및 자세 정보를 산출하고, 관성측정장치(100)에 의해 산출된 물체의 관성 정보와 관성측정장치(100)에 의해 산출된 물체의 관성 정보와 ICP 알고리즘을 수행하여 산출한 물체의 위치 및 자세 정보를 기초로 물체의 위치 및 자세를 측정 각도에 따라 복수 회 추정한다.
격자지도 작성부는 복수 회 추정된 물체의 위치 및 자세를 기초로 격자지도(grid map)를 작성하고, 이렇게 형성된 격자지도(grid map)가 VOXEL맵이다.
여기서 ICP 알고리즘은 가장 가까운 점을 1:1 대응시켜 이들의 거리값의 합이 최소가 되는 변환을 찾고, 변환시킨 상태에서 다시 대응과정을 반복　수행하는 방법이다. 또한, ICP 알고리즘은　변환 사이에서 가장 모양이 비슷한 곳을 맞추어 가능 과정이기 때문에, 3차원 상에 생기는 salt and peper 노이즈를 최소화시킬 수 있지만, 누적되는 오차가 크기 때문에 최종적으로는 뒤틀린 형태의 이미지를 형성할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 VOXEL(Volume Cell)맵 생성 방법에 이용되는　영상기반 SLAM(Simultaneous Localization and Mapping)의 구현 과정을 도시한 개략도이다.
도 2에 좌측에 도시된 것은 TOF 카메라에 의해 촬영된 이미지이고, 우측에 도시된 것은 촬영된 이미지를 기초로 영상기반 SLAM(Simultaneous Localization and Mapping)(이하 SLAM이라 한다)을 구현한 것이다.
SLAM은 동시적 위치추정 및 지도작성으로, 임의 공간에서 이동하면서 주변을 탐색하여 그 공간의 지도 및 현재 위치를 추정하는 알고리즘이다. 즉, 환경을 인식 가능한 정보로 변환(mapping)하고 이로부터 자기의 위치를 추정하는 것(localization)이다. 또한, 실시간 영상기반 SLAM은 현재 위치를 알고 싶어하는 어느 플랫폼에서나 카메라를 통해서 획득할 수 있다. 전체 공간을 통하여 자연적 랜드마크로 구성된 특징점 맵이 카메라의 운동에 의하여 생성되며 카메라의 3D 위치 추정이 동시에 이루어진다. 영상기반 SLAM의 경우, 센서와 TOF 카메라의 정보 획득 동기화 또는 특징점 개수의 문제로 인하여 미세한 위치 오차를 가지게 되는데, 이는 VOXEL 맵에 지저분한 궤적을 남기게 되지만 계속적으로 누적되는 오차는 매우 작다.
또한, TOF 카메라의 경우 화각의 제한이 있기 때문에 관성측정장치(100)를 이용하는 경우, 영상기반 SLAM의 자세 추정체 예측과정에서 정확도를 높일 수 있으며 아울러 영상 특징점 추적에 있어서 신뢰성을 향상시킬 수 있다.
또한, Extended 칼만 필터를 사용하여 영상기반 SLAM을 수행하게 되는데, 이 과정은 예측과정과 갱신과정으로 구분된다. 이 중에서 갱신과정을 통하여 관성측정장치(100)와 영상 특징점 위치에 대한 정보를 칼만필터에 적용할 수 있다. 영상만을 이용하는 것보다 관성측정장치(100)를 통해 측정된 관성 정보를 추가하여 SLAM을 수행할 경우, 특징점을 찾기 위한 디텍팅(detecting)과정에서 영상 내부에서 찾아야 할 영역을 대폭 축소시킬 수 있어서, 결과의 신뢰성을 높이고 계산량도 감소시킬 수 있다.
또한, 추정부는 물체의 깊이(Depth) 이미지를 기초로 영상기반 SLAM을 수행하여 물체의 위치 및 자세를 추정하는데, 보다 정확한 물체의 위치 및 자세를 추정하기 위해서, 영상기반 SLAM 수행 결과의 오차 공분산(Covariance)을 구하여 물체의 위치 및 자세를 추정한다. 먼저 VOXEL 맵 생성기(1)의 위치를 알기 위하여 TOF 카메라(200)에 의해 생성되는 크기(amplotude) 이미지를 이용한다. 크기(amplitude) 이미지는 TOF 카메라(200)에서 생성되는 거리 데이터가 아닌 밝기 데이터를 측정하여 얻어진 데이터인데, 거리 데이터의 부산물로서 획득되면 일반 CCD 카메라의 영상과 동일한 형태를 가진다. 다음으로, 영상기반 SLAM은 VOXEL맵과는 다른 특징점으로 형성된 환경 맵을 형성하며, 동시에 인식 대상 물체(5)의 위치를 인식한다. 영상기반 SLAM의 상태변수는 다음과 같다.
Figure pat00001
영상기반 SLAM에서는 상태변수가 2가지 형태로 존재하는데, 센서 시스템(관성측정장치와 TOF 카메라)의 위치를 표현하는 자세 상태변수는 다음 수학식 1과 같다.
수학식 1
Figure pat00002
영상기반 SLAM의 구조상 영상기반 SLAM의 불변 특징점을 찾으면서, 인식 대상 물체(5)의 위치와 자세에 대한 오차 공분산(Covariance)도 같이 계산한다. 여기서 계산되는 영상기반 SLAM 오차 공분산(
Figure pat00003
)은 행렬 P의 처음 Pvv를 추출하여 구한다.
다만, VOXEL맵 생성에서 TOF 카메라(200)의 측정 정보와 영상기반 SLAM의 수행 정보를 얻는 순간에 시간차에 의해서 동기가 맞지 않을 수 있는데, 이를 보완하기 위해서 ICP 알고리즘을 적용한다. 자세하게는 ICP 오차 공분산(
Figure pat00004
)을 획득하여, TOF 카메라(200)의 측정 정보와 영상기반 SLAM의 수행 정보를 얻는 순간에 시간차에 의해서 동기가 맞지 않는 것을 보완할 수 있다.
추정기는 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 물체의 위치 및 자세 정보를 산출하는데, 이를 통해, 영상기반 SLAM만을 수행했을 경우에 발생하는 잔진동 오차를 보상할 수 있다. ICP 프레임 워크(frame work)에 따르면, 직교 벡터 n을 가지는 점 (p1, p2) 사이 거리들의 합을 최소화 시키는 회전 변환과 병진 변환을 아래의 수학식 2을 통해 추출해 낼 수 있다.
수학식 2
Figure pat00005
여기서, R은 회전 변환 행렬이고 t는 병진 변환 벡터이다. 회전 변환은 선형 변환이 아니지만, ICP 알고리즘을 통해 움직이는 회전 변환은 대게 미세한 각이므로 다음 수학식 3과 같이 변환할 수 있다.
수학식 3
Figure pat00006
수학식 3를 수학식 2에 대입하여 다시 변환하면 다음과 같은 수학식 4를 얻을 수 있다.
수학식 4
Figure pat00007
여기서
Figure pat00008
,
Figure pat00009
로 정의된다.
E의 최소화된 값을 얻기 위해서 각각의
Figure pat00010
에 대해서 편미분을 수행하면 이들 값이 극값이 되어야 하므로 0이 되어야 한다. 따라서 다음과 같은 수학식 5의 선형 방정식을 얻을 수 있다.
수학식 5
Figure pat00011
수학식 5는
Figure pat00012
　형태의 식을 가지고 있다. 여기서, 6X6 행렬을 불확정(uncertainly) ICP 행렬로 정의하고, 6X1 벡터를 ICP 오차 공분산(
Figure pat00013
)으로서, ICP 알고리즘을 통해 산출되는 물체의 위치 및 자세 정보 행렬의 상태변수로 정의한다. ICP 오차 공분산(
Figure pat00014
)은 6 DOF 공간의 타원체로 정의할 수 있는데, 이로 인해 생성할 수 있는 타원체 식은 다음 수학식 6과 같다.
수학식 6
Figure pat00015
ICP 알고리즘을 통해 산출되는 물체의 위치 및 자세 정보 행렬의 상태변수는
Figure pat00016
　좌표계에서 정의된다. 타원체를 불확정 초과 타원체(uncertainty hyper ellipsoid)라고 정의하며, 이 타원체 각각의 주(principal) 축은 ICP 오차 공분산(
Figure pat00017
)의 고유벡터로 이루어진다. 그리고, 각각의 주(principal) 축의 길이는 ICP 알고리즘을 통해 결정된 위치추정(localization)의 불확정(uncertainty) 정도를 나타낸다. ICP와 같은 형태로 이루어진 위치 인식 결과에서는 불확정 초과 타원체(uncertainty hyper ellipsoid)의 각 축의 길이를 되도록 작게 형성하는 것이 유리하다. 즉, ICP 오차 공분산(
Figure pat00018
)의 고유값(eigenvalue)을 최소화하여야 한다.
추정부가 영상기반 SLAM과 ICP 알고리즘을 통해 인식 대상 물체(5)의 위치 및 자세를 확정되도록 추정하기 위해서는, 영상기반 SLAM과 ICP 알고리즘 사이에 최적 이득(K1)을 이용하여 최적의 추정치를 산출해야 한다. 즉, 다음 수학식 7과 같다.
수학식 7
Figure pat00019
여기서, 최적 이득 K1은 ICP 의 오차 공분산(
Figure pat00020
)과　SLAM의 오차 공분산(
Figure pat00021
)을 통해 구할 수 있는데, 먼저
Figure pat00022
과
Figure pat00023
의 상태변수가 상이하므로
Figure pat00024
의 자코비안(Jacobian)을 구하여 상태변수를
Figure pat00025
에 맞게 변형시킨다. 자코비안(Jacobian)은 수학식 8과 같이 정의된다.
수학식 8
Figure pat00026
그리고, 최적 이득 K1은 수학식 9를 통해 결정된다.
수학식 9
Figure pat00027
본 발명의 일 실시예에 따른 VOXEL맵 생성기(1)는 최적 이득 K1를 통해 보다 정확하게 인식 대상 물체(5)의 위치 및 자세를 추정할 수 있는데, 수학식 10은 본 발명에 일 실시예에 따라 새롭게 생성된 VOXEL맵을 나타낸다.
수학식 10
Figure pat00028
새롭게 얻은 VOXEL맵은 왜곡으로 인하여 발생되는 잡음도 적고, 실제 상태로부터 발산하지도 않는다.
도 3은 본 발명의 다른 실시예에 따른 VOXEL(Volume Cell)맵 생성 방법을 도시한 것인데, 사용(occupancy) 확률로 채워진 VOXEL맵의 결과를 보여주고 있다.
도 4와 도 5는 본 발명의 다른 실시예를 통해　획득된 VOXEL(Volume Cell)맵을 도시한 것인데, 실제로 계단이나 경사면, 원통형 물체가 VOXEL맵에 실시간으로 생성되는 것을 나타내고 있다. 각각의 계단과 경사면, 원통형 쓰레기통을 대상으로 실험을 적용한 것인데, 노이즈도 적고 발산도 하지 않는 VOXEL맵을 얻을 수 있다. 도 4와 도 5 상에서 계단의 수평면과 경사면의 각도 등도 비교적 선명하게 나타나고 있으며 원통의 둥근 면도 실제 모양에 가깝게 묘사되고 있다.
도 6은 본 발명의 다른 실시예를 통해　획득된 VOXEL(Volume Cell)맵을 기반으로 한 휴머노이드 풋스텝(Footstep) 네비게이션을 도시한 것이다.
휴머노이드의 보행 궤적을 생성하는 풋스텝(Footstep) 플래너(planner)는 VOXEL맵을 통해 얻을 수 있는 대표적인 응용방법이다. 도 5에서는 본 발명의 다른 실시예에 따라 생성된 VOXEL맵으로 장애물의 위치를 도시하고, 풋스텝(Footstep) 플래너(planner)가 회피 경로를 생성하는 것을 도시하고 있다.
도 7은 본 발명의 다른 실시예에 따른 VOXEL(Volume Cell)맵 생성 방법을 도시한 블록도이다.
먼저, 관성측정장치(100)에 포함되는 가속도 센서(130)과 자이로 센서(160)을 통해 가속도 데이터와 자이로 데이터를 획득한다. 획득된 가속도 데이터와 자이로 데이터는 인식 대상 물체(5)의 관성 정보로써, ICP 알고리즘을 적용시켜 관성 정보를 물체의 위치 및 자세 정보의 형태로 만든다. 그리고, TOF 카메라(200)를 통해 획득한 영상(Depth 이미지) 또는 3D 데이터를 획득한다. 다음, 획득된 영상 또는 3D 데이터를 EXTENDED 칼만 필터를 이용하여 영상기반 SLAM 알고리즘을 수행한다. 영상기반 SLAM을 수행하여 산출되는 정보와 ICP 알고리즘을 적용시킨 관성 정보를 결합하여 인식 대상 물체(5)의 위치 및 자세를 추정한다. 이 때, 영상기반 SLAM 과정 및 ICP 알고리즘의 공분산을 구하고 각 공분산 사이에서 연산되는 최적 이득 K1을 추출한다. 추출된 최적 이득 K1을 통해 새로운 위치 및 자세 데이터를 획득하고 이를 다시 EXTENDED 칼만필터에 적용시켜 보다 정확한 위치 및 자세를 추정하여 VOXEL맵을 생성하거나, 바로 VOXEL맵을 생성할 수 있다.
본 발명의 또 다른 실시예에 따른 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시키는 방법은, TOF 카메라(200)를 통해 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고, 물체의 깊이(Depth) 이미지를 기초로 ICP 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하여, 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance)의 형태로 변환하여 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시킬 수 있다.
발명의 또 다른 실시예에 따른 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시키는 방법은, VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하고, TOF 카메라(200)를 통해 상기 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고, 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보와 ICP 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 물체의 위치 및 자세를 추정하고, 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보의 행렬과 ICP 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance) 형태로 변환하여, 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시킬 수 있다.
1 : VOXEL맵 생성기 5 : 인식 대상 물체
100 : 관성측정장치 130 : 가속도 센서
160 : 자이로 센서 200 : TOF 카메라
230 : 발광부 260 : 수광부

Claims (11)

  1. VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하는 관성측정장치;
    상기 물체를 촬영하여 상기 물체의 깊이(Depth) 이미지와 흑백 영상 이미지를 생성하는 TOF(Time of Flight) 카메라;
    상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하고, 상기 관성측정장치에 의해 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보와 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 측정 각도에 따라 재귀적으로 추정하는 추정부;
    상기 재귀적으로 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세와 상기 TOF(Time of Flight)으로 측정된 물체를 기초로 격자지도(grid map)를 작성하는 격자지도(grid map) 작성부를 포함하는 VOXEL(Volume Cell)맵 생성기.
  2. 제1항에 있어서,
    상기 추정부는 상기 TOF(Time of Flight) 카메라로 획득된　물체의 흑백 이미지를 기초로 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정하는 VOXEL(Volume Cell)맵 생성기.
  3. 제2항에 있어서,
    상기 추정부는 물체의 흑백 이미지를 기초로 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance)의 형태로 변환하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정하는　VOXEL(Volume Cell)맵 생성기.
  4. 제3항에 있어서,
    상기 추정부는 상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬을 오차 공분산(Covariance)의 형태로 변환하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를　추정하는 VOXEL(Volume Cell)맵 생성기.
  5. 제4항에 있어서,
    상기 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬의 오차 공분산(Covariance)은,
    물체의 흑백 이미지를 기초로 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping based on video)을 수행하여 산출한 물체의 위치 및 자세 정보 행렬의 상태변수를 기초로 연산되는　VOXEL(Volume Cell)맵 생성기.
  6. 제5항에 있어서,
    상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬오차 공분산(Covariance)은,
    상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬의 상태변수를 기초로 연산되는　VOXEL(Volume Cell)맵 생성기.
  7. 제6항에 있어서,
    상기 추정부는 영상기반 동시적 위치추정 및 지도작성(Simultaneous localization and mapping)을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬의 오차 공분산(Covariance)과
    상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보 행렬에 자코비안(Jacobian)을 구하여 상태변수를 변형시킨 오차 공분산(Covariance)을 통해 연산되는 이득(Gain)에 따라 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정하는 VOXEL(Volume Cell)맵 생성기.
  8. 제1항에 있어서,
    상기 관성측정장치는 자이로(Gyro) 센서 또는 가속도 센서를 포함하는 VOXEL(Volume Cell)맵 생성기.
  9. VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하고;
    TOF(Time of Flight) 카메라를 통해 상기 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고;
    상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하고;
    상기 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보와 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 측정 각도에 따라 복수 회 추정하고;
    상기 복수 회 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 기초로 격자지도(grid map)를 작성하는 VOXEL(Volume Cell)맵 생성방법.
  10. TOF(Time of Flight) 카메라를 통해 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고;
    상기 물체의 깊이(Depth) 이미지를 기초로 ICP(Iterative Closest Point) 알고리즘을 수행하여 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 산출하여 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정하고,
    상기 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance)의 형태로 변환하여 상기 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시키는 방법.
  11. VOXEL(Volume Cell)맵 생성기의 관성을 측정하여 관성 정보를 산출하고;
    TOF(Time of Flight) 카메라를 통해 상기 물체를 촬영하여 물체의 깊이(Depth) 이미지를 생성하고;
    상기 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보와 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보를 기초로 상기 VOXEL(Volume Cell)맵 생성기의 위치 및 자세를 추정하고;
    상기 산출된 VOXEL(Volume Cell)맵 생성기의 관성 정보의 행렬과 상기 ICP(Iterative Closest Point) 알고리즘을 수행하여 산출한 VOXEL(Volume Cell)맵 생성기의 위치 및 자세 정보의 행렬을 오차 공분산(Covariance) 형태로 변환하여 상기 추정된 VOXEL(Volume Cell)맵 생성기의 위치 및 자세의 오차를 감소시키는 방법.
KR1020100098927A 2010-10-11 2010-10-11 복셀 맵 생성기 및 그 방법 KR101715780B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100098927A KR101715780B1 (ko) 2010-10-11 2010-10-11 복셀 맵 생성기 및 그 방법
US13/137,832 US8428343B2 (en) 2010-10-11 2011-09-15 VOXEL map generator and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100098927A KR101715780B1 (ko) 2010-10-11 2010-10-11 복셀 맵 생성기 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120037270A true KR20120037270A (ko) 2012-04-19
KR101715780B1 KR101715780B1 (ko) 2017-03-13

Family

ID=46019657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100098927A KR101715780B1 (ko) 2010-10-11 2010-10-11 복셀 맵 생성기 및 그 방법

Country Status (2)

Country Link
US (1) US8428343B2 (ko)
KR (1) KR101715780B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170061373A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 이동 로봇 및 그 제어 방법
CN107845114A (zh) * 2017-11-10 2018-03-27 北京三快在线科技有限公司 地图的构建方法、装置及电子设备
KR20180124397A (ko) * 2017-05-11 2018-11-21 한국생산기술연구원 위상배열 광학빔 기반의 정위치 정차유도 장치 및 방법
KR20210125732A (ko) * 2020-04-09 2021-10-19 한국과학기술원 정밀 점유 지도 작성을 위한 적응형 커널 추론 방법 및 장치
KR102524995B1 (ko) * 2023-02-02 2023-04-25 국방과학연구소 전자 장치의 지도 생성 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215440B2 (en) * 2012-10-17 2015-12-15 Disney Enterprises, Inc. Efficient EWA video rendering
DE102014102727B3 (de) * 2014-02-28 2015-07-30 Lars Geißler Kamerabasierter Positionssensor und Verfahren zur Positionsbestimmung
US10872228B1 (en) * 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
KR101925862B1 (ko) * 2018-09-13 2018-12-06 주식회사 에이엠오토노미 3차원 라이다를 이용한 실시간 3차원 지도 생성 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545800A (ja) * 2006-08-02 2009-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像中のボクセルのクラスター・マップを再構成する方法
JP2010512879A (ja) * 2006-12-19 2010-04-30 アイエムアイ インテリジェント メディカル インプランツ アクチエンゲゼルシャフト ３次元画像取得を伴う視覚補助具

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841892A (en) * 1995-05-31 1998-11-24 Board Of Trustees Operating Michigan State University System for automated analysis of 3D fiber orientation in short fiber composites
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US6775417B2 (en) * 1997-10-02 2004-08-10 S3 Graphics Co., Ltd. Fixed-rate block-based image compression with inferred pixel values
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
US6556199B1 (en) * 1999-08-11 2003-04-29 Advanced Research And Technology Institute Method and apparatus for fast voxelization of volumetric models
AU2001239926A1 (en) * 2000-02-25 2001-09-03 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
EP3451296B1 (en) * 2005-02-08 2024-04-03 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same
WO2006088845A2 (en) * 2005-02-15 2006-08-24 Walleye Technologies, Inc. Electromagnetic scanning imager
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545800A (ja) * 2006-08-02 2009-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像中のボクセルのクラスター・マップを再構成する方法
JP2010512879A (ja) * 2006-12-19 2010-04-30 アイエムアイ インテリジェント メディカル インプランツ アクチエンゲゼルシャフト ３次元画像取得を伴う視覚補助具

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170061373A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 이동 로봇 및 그 제어 방법
KR20180124397A (ko) * 2017-05-11 2018-11-21 한국생산기술연구원 위상배열 광학빔 기반의 정위치 정차유도 장치 및 방법
CN107845114A (zh) * 2017-11-10 2018-03-27 北京三快在线科技有限公司 地图的构建方法、装置及电子设备
CN107845114B (zh) * 2017-11-10 2024-03-22 北京三快在线科技有限公司 地图的构建方法、装置及电子设备
KR20210125732A (ko) * 2020-04-09 2021-10-19 한국과학기술원 정밀 점유 지도 작성을 위한 적응형 커널 추론 방법 및 장치
KR102524995B1 (ko) * 2023-02-02 2023-04-25 국방과학연구소 전자 장치의 지도 생성 방법
US12019161B1 (en) 2023-02-02 2024-06-25 Agency For Defense Development Map generating method of electronic apparatus

Also Published As

Publication number Publication date
US8428343B2 (en) 2013-04-23
KR101715780B1 (ko) 2017-03-13
US20120114174A1 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
KR101715780B1 (ko) 복셀 맵 생성기 및 그 방법
KR102135560B1 (ko) 카메라와 라이다를 이용한 융합 센서 및 이동체
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6025830B2 (ja) ３ｄ走査用のセンサ位置決め
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR101739996B1 (ko) 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
Kneip et al. Closed-form solution for absolute scale velocity determination combining inertial measurements and a single feature correspondence
Luo et al. Enriched indoor map construction based on multisensor fusion approach for intelligent service robot
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
Kunz et al. Map building fusing acoustic and visual information using autonomous underwater vehicles
DK2933604T3 (en) PROCEDURE FOR LOCATING A ROBOT IN A LOCATION PLAN
CN113052908A (zh) 一种基于多传感器数据融合的移动机器人位姿估计算法
Zhou et al. A lidar odometry for outdoor mobile robots using ndt based scan matching in gps-denied environments
CN112068152A (zh) 使用3d扫描仪同时进行2d定位和2d地图创建的方法和***
JP2015206768A (ja) 前景領域抽出装置、前景領域抽出方法及びプログラム
Huai et al. Real-time large scale 3D reconstruction by fusing Kinect and IMU data
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2010066595A (ja) 環境地図生成装置及び環境地図生成方法
JP4935769B2 (ja) 平面領域推定装置及びプログラム
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
Chen et al. 3d map building based on stereo vision
Liu et al. 6-DOF motion estimation using optical flow based on dual cameras
JP6603993B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 4