KR101220527B1 - 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법 - Google Patents

센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법 Download PDF

Info

Publication number
KR101220527B1
KR101220527B1 KR1020110018502A KR20110018502A KR101220527B1 KR 101220527 B1 KR101220527 B1 KR 101220527B1 KR 1020110018502 A KR1020110018502 A KR 1020110018502A KR 20110018502 A KR20110018502 A KR 20110018502A KR 101220527 B1 KR101220527 B1 KR 101220527B1
Authority
KR
South Korea
Prior art keywords
data
moving object
sensor
camera
information
Prior art date
Application number
KR1020110018502A
Other languages
English (en)
Other versions
KR20120099952A (ko
Inventor
정명진
심인욱
강정원
최윤근
김시종
박상운
안승욱
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110018502A priority Critical patent/KR101220527B1/ko
Publication of KR20120099952A publication Critical patent/KR20120099952A/ko
Application granted granted Critical
Publication of KR101220527B1 publication Critical patent/KR101220527B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/02—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring length, width or thickness
    • G01B7/023—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring length, width or thickness for measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 거리 측정 센서, 카메라 센서, GPS 수신부, 자세측정장치 상기 각 센서들을 제어하는 프로그램이 저장된 중앙 처리 제어부를 포함하고, 2차원 거리 측정 센서로부터의 거리 데이터와 카메라 센서로부터의 색 데이터를 융합하여 점군 데이터(Point Cloud Data, PCD)를 수득하고, GPS 및 자세측정장치로부터 이동체의 자세 데이터를 수득하여 2차원 센서로 3차원 환경을 복원할 수 있는 센서 시스템, 및 이를 이용하는 환경 지도 작성 시스템 및 방법에 관한 것이다.

Description

센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법{SENSOR SYSTEM, AND SYSTEM AND METHOD FOR PREPARING ENVIRONMENT MAP USING THE SAME}
센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법에 관한 것으로, 2차원 센서인 레이저 거리 측정 센서와 비전 센서 그리고 DGPS 및 관성 센서로 3차원 환경을 복원할 수 있는 센서 시스템, 및 이를 이용하는 환경 지도 작성 시스템 및 방법에 관한 것이다.
자신이 위치한 주변 환경에 대한 사전 정보를 갖고 있지 않은 지능형 이동 로봇이 센서를 이용하여 자신의 위치 주변의 환경 지도를 작성하기 위한 시스템들이 이용되고 있다.
외부 환경과 같은 넓은 범위의 3차원 환경을 복원하기 위해서는 다음의 3가지 조건이 충족되어야 한다. 첫째로, 넓은 환경에서 자유롭게 이동 가능한 모바일 로봇이나 차량이 요구되며, 둘째로 외부 환경의 정보를 수집할 수 있는 센서들이 필요하고, 마지막으로 이런 센서들에서 입력되는 대량의 데이터를 효율적으로 수집할 수 있는 소프트웨어 시스템이 필요하다. 최근 외부 환경 복원 분야에 대한 많은 연구가 이루어고 있고, 그에 따라서 다양한 센서 시스템 또는 환경 지도 작성 시스템들이 제안되고 있다.
국내 특허공개 제 2004-0035892호는 이동 차량의 지붕에 1대 또는 여러 대의 레이저 스캐너를 장착하여, 레이저 스캐너에서 스캐닝된 데이터를 획득하고, 스캐닝된 데이터를 공간 모델링하기 위하여 특정 지점(Point)에 대한 데이터의 각도와 거리를 이용해서 3차원 공간좌표값으로 변환하고 이를 토대로 3차원 공간영상을 생성하는 기술을 개시하고 있다. 그러나 이러한 기술은 라인 스캐너만으로 3차원 공간 영상을 생성하기 때문에, 사실감 있는 영상을 얻을 수 없을 뿐만 아니라, 건물의 면(面)을 표현하는 색감 또는 패턴의 표현이 불가능한 단점이 있다.
국내 등록특허 제445428호는 레이저 스캐너와 CCD 라인 카메라를 이동체에 탑재하여 레이저 스캐너에 의해 지상 물체의 형상 모델을 추출하고, CCD 라인 카메라의 계측 궤적과 방향이 표시되는 각 형상모델에 대한 Ztrace 이미지를 생성하여 해당 지상 물체에 대응되는 CCD 라인 카메라의 화상이미지를 해당 면으로 수직 투영하여 형상모델을 병합함으로써 3차원 지형,지물에 대한 텍스쳐 매핑을 완성하는 기술을 개시하고 있다. 그러나, 이러한 기술은 건물 라인의 시작점과 끝점의 위치좌표만을 기준으로 해당 화상을 투영하기 때문에 사실감 있는 영상을 얻을 수 없을 뿐만 아니라, 차량에 장착된 라인 카메라의 특성상 차량의 진동에 의해 화상이 물결치듯 흔들려 보이는 문제점이 있어서 이를 위한 추가적인 보정을 하여야만 한다.
또한 최근 사용되는 환경 복원 시스템들은 주로 고가의 3차원 거리 측정 센서를 사용하여 네비게이션이나 경로 계획 등을 위한 지도를 작성한다.
본 발명의 하나의 목적은 별도의 장치 없이 저가의 2차원 센서로 3차원 모델링하는데 이용될 수 있는 센서 시스템을 제공하는 것이다.
본 발명의 다른 목적은 경제적인 시스템을 이용해서 3차원 환경을 복원할 수 있는 환경 지도 작성 방법 및 시스템을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 하나의 양상은
GPS 위성 신호를 수신하여 이동체의 위치 정보를 생성하는 GPS 수신부;
이동체의 이동시 이동체의 자세정보를 생성하는 자세측정부;
이동체에 설치되어 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 검출하는 하나 이상의 거리 측정 센서들;
상기 이동체에 설치되어 상기 이동체의 주변을 촬영하는 하나 이상의 카메라 센서들; 및
상기 GPS 수신부와 상기 자세측정부로부터 수신된 상기 이동체의 위치 데이터 및 자세 데이터를 융합하고, 상기 거리 측정 센서 및 상기 카메라로부터 수신된 거리 데이터와 색 데이터를 동기화시키고 보정하여 3차원 절대좌표값을 산출하는 중앙처리 제어부를 포함하는 센서 시스템에 관한 것이다.
상술한 목적을 달성하기 위한 본 발명의 다른 양상은 본 발명의 센서 시스템을 포함하고, 상기 센서 시스템에 의해 산출된 위치 정보, 거리 정보 및 색상 정보로부터 3차원 모델을 생성하여 3차원 모델링하는 3차원 환경 지도 작성 시스템에 관한 것이다.
본 발명의 또 다른 양상은
이동체에 탑재된 GPS 수신부를 통해서 이동체의 기준 위치 정보를 획득하는 단계;
이동체에 탑재된 복수의 자세측정장치들로부터 이동체의 자세 데이터를 검출하는 단계;
상기 이동체의 기준 위치 데이터와 자세 데이터를 융합하여 자세 정보(pose information)를 산출하는 단계;
이동체에 탑재된 복수의 카메라들에 의해서 2차원 영상을 촬영하여 색 데이터를 수득하는 단계;
이동체에 탑재된 거리 측정 센서에 의해서 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 측정하는 단계;
상기 카메라에 의해서 수득된 색 데이터와 거리 측정 센서에 의해 수득된 거리 데이터를 동기화시키고 캘리브레이션하여 유색 점군 데이터(Colored Point Cloud)를 수득하는 단계;
상기 유색 점군 데이터와 자세 정보(Pose Information)를 융합하여, 상기 2차원 영상의 각 지점마다 3차원 절대좌표값을 산출하는 단계; 및
상기 3차원 절대 좌표값을 이용하여 3차원 모델링하는 단계를 포함하는 것을 특징으로 하는 3차원 환경 지도 작성 방법에 관한 것이다.
본 발명의 또 다른 실시예에 의하면, 컴퓨터로 읽을 수 있는 기록매체가 제공되며, 상기 기록매체는 3차원 환경 모델링을 위해 이동체의 좌우측면에 각각 1대씩 설치된 거리 측정 센서 및 카메라 센서와 정면에 2개의 카메라로 구성된 스테레오 카메라 (총 6대) 및 DGPS와 관성 센서에 의해 수집된 데이터를 실시간으로 제어하여 외부 환경의 데이터를 수집 및 측정하고, 이와 같이 해서 수집된 데이터에 기초해서 환경을 3차원적으로 복원하는 기능을 수행할 수 있다.
본 발명의 다양한 실시예의 센서 시스템에 의하면 로봇이나 차량이 각종 센서를 이용하여 3차원 모델링을 수행할 때, 로봇이나 차량이 보다 정확하게 모델링을 하기 위해 별도의 작동 장치 없이도 2차원 센서로 3차원 환경을 복원할 수 있고, 이러한 센서 시스템을 이용하여 로봇 또는 차량과 같은 이동체가 3차원 환경 모델링을 보다 정확하게 생성할 수 있다.
본 발명의 센서 시스템은 2차원 센서인 레이저 센서와 비전 센서를 이동 차량의 측면과 정면에 장착하여 3차원 월드 모델링을 수행하므로, 경제적인 시스템 구성이 가능하며, 3차원 월드 모델링을 위한 데이터의 양 또한 더욱 풍부하게 획득할 수 있다는 장점이 있다. 또한 정면의 비전 센서를 이용한 VO(Visual Odometry)와 DGPS(Differential Global Positioning System)를 선택적으로 사용하여 이동체의 위치를 더욱 더 안정적으로 추정할 수 있다.
도 1은 본 발명의 일실시예의 센서 시스템의 블록도이다.
도 2는 본 발명의 일실시예의 센서 시스템이 이동체에 설치되는 상태를 도시한 개략도이다.
도 3은 본 발명의 일실시예의 센서 시스템에서 각 센서들의 통신 연결을 설명하기 위한 모식도이다.
도 4는 본 발명의 일실시예에 의한 센서 시스템에 포함되는 소프트웨어 시스템의 구조도이다.
도 5는 본 발명의 일실시예의 3차원 환경 지도 작성 방법의 흐름도이다.
도 6은 본 발명의 일실시예의 3차원 환경 지도 작성 방법에서 이동체와 센서 시스템의 축 설정 과정을 설명하기 위한 모식도이다.
도 7은 본 발명의 일실시예의 3차원 환경 지도 작성 방법에서 거리 측정 센서와 카메라 센서 축의 회전 과정을 설명하기 위한 모식도이다.
도 8은 본 발명의 일실시예의 3차원 환경 지도 작성 방법에서 거리 측정 센서와 카메라 센서 축의 변환 과정을 설명하기 위한 모식도이다.
도 9는 이동체의 좌측면 및 우측면에 각각 설치된 거리 측정 센서에 의해서 거리 데이터를 산출하는 단계를 나타낸 도면이다.
도 10은 GPS로부터 수신한 위치 데이터와 자세측정부로부터 수신한 각 정보를 바탕으로 거리 측정 센서에 의해서 얻은 차량 중심 국소 좌표(Local Coordinate) 상의 점군의 정보를 GPS 좌표로 변환하는 과정을 설명하는 도면이다.
도 11은 도 10의 GPS 좌표를 세계 좌표(World Coordinate)로 변환하는 과정을 설명하는 도면이다.
이하에서 첨부 도면을 참조하여 본 발명의 실시예들에 대해서 더욱 상세하게 설명한다. 본 발명의 실시예들은 예시로서 도시된 것이며, 첨부된 도면의 구성으로 제한되는 것은 아니다. 본 발명의 범주로부터 벗어나지 않는 한 다른 실시예들이 사용될 수 있으며, 구조적 또는 논리적 변화가 이루어질 수 있음을 이해할 것이다. 본 발명을 모호하게 하지 않기 위해 공지된 구성들에 대한 설명은 생략되거나 단순화될 수 있다.
본 발명의 일실시예의 센서 시스템은 외부 환경에서의 로봇이나 차량과 같은 이동체의 위치 정보를 얻기 위한 DGPS(Differential Global Positioning System)와 자세측정부(예컨대, 관성 센서)를 포함하고, 해당 이동체의 위치와 주변 환경과의 거리 정보를 수집하기 위한 2차원 레이저 거리 측정 센서들과 카메라 센서들을 포함한다. 여기서 카메라 센서(비전센서)는 색 정보를 수집하기 위해 사용된다. 2차원 레이저 거리 측정 센서의 스캔 방향은 지면에서 하늘방향으로 초당 31번씩 이동체와 주변 환경 사이의 거리 정보를 송신한다. 이러한 센서 시스템은 이동체에 탑재되며, 이동체가 이동함에 따라서 축적된 2차원 거리 정보를 3차원 거리 정보로 모델링할 수 있다.
도 1은 본 발명의 일실시예의 센서 시스템의 블록도이다. 도 1을 참고하면, 본 발명의 일실시예의 센서 시스템은 GPS 위성(100)이 전송하는 위치정보를 안테나를 통해 수신하여 이동체의 위치 정보를 생성하는 GPS 수신부(110); 이동체의 이동시 이동체의 자세정보를 생성하는 자세측정부(120); 이동체에 설치되어 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 검출하는 하나 이상의 거리 측정 센서들(140); 상기 이동체에 설치되어 상기 이동체의 주변을 촬영하는 하나 이상의 카메라 센서들(130); 및 상기 GPS 수신부와 상기 자세측정부로부터 수신된 상기 이동체의 위치 데이터 및 자세 데이터를 융합하고, Visual Odometry를 수행하는 2대로 구성된 스테레오 카메라(160);와 상기 거리 측정 센서 및 상기 카메라로부터 수신된 거리 데이터와 색 데이터를 동기화시키고 보정하여 3차원 절대좌표값을 산출하는 중앙처리 제어부(150)를 포함하는 센서 시스템에 관한 것이다.
본 발명에서 상기 이동체는 자율주행로봇 또는 차량일 수 있다. 상기 센서 시스템의 센서들이 이동체에 설치되는 경우, 도 2에 도시된 바와 같이, 이동체의 좌우측면에 거리 측정 센서와 카메라 센서를 설치할 수 있고, 이동체의 정면에도 2대의 카메라 센서를 설치할 수 있다. 또한 차량 위에 DGPS 안테나 및 자세측정부도 설치할 수 있다. 이동체에는 상기 센서들에 전원을 공급하는 전원 공급용 베터리 및 AC 전원 변환기가 탑재될 수 있고, 이동체에 탑재되는 센서 시스템은 유선 또는 무선으로 연결되는 노트북 등에 의해 원격 제어될 수 있다.
센서들을 이동체에 설치할 때, 각 센서 축의 통합을 위해 차량 중심 (Vehicle Center)은 두 카메라 센서 축 중심의 중간 위치로 결정한다. 각 센서 축에서 생성된 점군 (Point Cloud)을 차량 중심 좌표계로 변환하면 최종적으로 차량의 위치 정보를 바탕으로 월드 좌표계에 등록할 수 있다.
중앙 처리 제어부(150)는 소프트웨어를 실행시킬 수 있는 임의의 유형의 프로세서, 이를테면 마이크로프로세서, 디지털신호 처리기(DSP), 마이크로컨트롤러 등과 같은 것일 수 있다. 도 1은 그러한 단 하나의 중앙 처리 제어부(150)를 도시하고 있으나, 컴퓨터 하드웨어에 하나 이상의 프로세서가 존재할 수 있으며, 하나 이상의 프로세서는 다중 쓰레드, 다중 코어 등을 포함할 수 있다.
상기 중앙 처리 제어부(150)는 상기 센서 시스템의 전반적인 동작을 제어하는 소정의 프로그램을 저장하고 있으며, 환경 데이터를 수집하고 환경 지도를 작성하기 위한 프로그램을 저장하고, 상기 센서 시스템의 전반적인 동작이 수행될 때 입출력되는 데이터 및 처리되는 각종 데이터를 저장하는 메모리부(미도시), 사용자로부터 각종 정보나 명령을 입력받기 위한 입력부(미도시), 상기 센서 시스템의 상태 혹은 각종 정보를 디스플레이하기 위한 디스플레이부(미도시)를 포함할 수 있다.
도 3은 본 발명의 일실시예의 센서 시스템에서 각 센서들의 통신 연결을 설명하기 위한 모식도이다. 이동체에 탑재된 스테레오를 이루는 2대의 카메라, 즉 스테레오 카메라(160)는 IEEE1394를 이용해 중앙 처리 제어부(150)에 이미지를 전송한다. 거리 측정 센서(140)는 RS-422 통신으로 중앙 처리 제어부(150)와 통신하는데, 중앙 처리 제어부(150)가 RS-422 포트가 없으므로 USB to RS-422 컨버터를 이용하여 통신할 수 있다. 자세측정부(120)와 GPS 수신부(110)는 RS-232통신으로 중앙 처리 제어부(150)와 통신하는데, 중앙 처리 제어부(150)가 RS-232 포트가 없으므로 USB to RS-232 컨버터를 이용하여 통신할 수 있다.
상기 중앙처리 제어부(150)는 상기 GPS 수신부(110)가 수신한 GPS 수신신호 및 상기 자세측정부(120)의 자세 데이터를 선형 보간법에 의해서 융합하여 외부 환경에서의 이동체의 위치 정보를 검출하는 이동체 위치 검출 수단; 상기 스테레오 카메라 및 거리 측정 센서로부터 수신된 데이터를 보정하여 유색 점군 데이터(Colored Point Cloud)를 검출하는 점군 데이터 검출부; 및 상기 이동체 위치 검출 수단에 의해서 검출된 이동체의 위치 데이터와 상기 유색 점군 데이터를 3차원으로 모델링하는 3차원 정보 변환 수단을 포함할 수 있다.
본 발명의 센서 시스템에서 일례로 거리 측정 센서(140)는 75Hz로 동작하여, 약 31개 정도의 라인 스캔 결과를 중앙 처리 제어부(150)로 송신하고, 자세측정부(120)는 초당 50개의 각도 데이터를, 카메라는 30fps로 동작하므로 적은 시간에 다양하고 많은 데이터를 효율적으로 처리하기 위한 소프트웨어 시스템이 필수적이다. 도 4는 본 발명의 일실시예에 의한 센서 시스템에 포함되는 소프트웨어 시스템의 구조도이다. 본 발명에서는 센서 시스템의 각 센서들을 제어하기 위한 프로그램이 멀티쓰레드 기반으로 구현되고, 각 센서별 카메라를 제외한 센서들은 장비당 1개의 쓰레드로 데이터를 관리하게 된다. 카메라는 2개의 쓰레드로 관리를 한다. 각 데이터 간의 동기화를 위해서 내장된 중앙 처리 제어부(150)의 클럭 카운트를 기준으로 계산한다. 다중 쓰레드 기반의 프로세서는 복수 개의 쓰레드가 병렬로 동작하기 때문에 하나의 쓰레드만을 연속적으로 처리하는 것에 비하여 고속의 연산처리가 가능하다.
상기 멀티쓰레드 프로세서는 상기 GPS 수신부(110), 상기 자세측정부(120), 상기 카메라들(130), 상기 스테레오 카메라(160) 및 상기 거리 측정 센서들(140)을 제어하고, 이들로부터 입력되는 데이터를 수집 프로세서로 전송하는 제어 프로세서(Control Process); 및 상기 제어 프로세서로부터 수신한 데이터들 중 상기 카메라 센서(130)와 상기 거리 측정 센서(140)로부터의 색 데이터와 거리 데이터는 동기화시키고 보정하고, 상기 GPS 수신부(110) 및 상기 자세측정부(120)로부터 수신한 위치 데이터 및 각도 데이터는 선형 보간법으로 융합하여 3차원 공간 상의 좌표로 변환하는 데이터 수집 프로세서를 포함한다.
상기 GPS 수신부(110)는 GPS 위성신호의 전리층 통과에 의해 발생되는 GPS 오차를 보정하여 GPS 오차 보정데이터를 생성하는 기준국으로부터, 상기 GPS 오차 보정데이터에 상응하는 GPS 오차 보정신호를 수신하기 위한 DGPS 수신장치인 것이 바람직하다. DGPS를 이용해서 이동체의 위치 (위도, 경도, 고도) 데이터를 얻을 수 있다.
상기 자세측정부(120)는 이동체의 롤, 요, 피치 각도 및 각속도의 자세정보를 생성하는 관성 측정 장치(Inertial Measurement Unit, “IMU")일 수 있다. 롤(Roll)은 x축을 중심으로, 피치(Pitch)는 Y축을 중심으로, 요(Yaw)는 Z축을 중심으로 반 시계 방향으로 회전하는 각도로 정의한다. 요(Yaw)값을 이용해서 이동체의 이동 방향을 알 수 있고, 경사길이나 턱을 넘을 때는 피치값을 이용해서 그 값을 알 수 있다. 자세측정장치(120)의 설치 위치는 크게 제한되지 않는데, 다른 센서와 통일성을 주기 위해서 자세 측정 장치의 X축 방향이 이동체의 진행 방향이 되고, Z축 방향이 지면과 이동체가 수직한 방향이 되게 설치할 수 있다.
본 발명에서 카메라(130)는 주어진 영상 상의 관심 지점의 색 정보를 추출할 수 있게 된다.
본 발명에서 스테레오 카메라(160)은 위성 신호가 수신되지 않는 지역에서는 이동체의 정면에 설치되어 Visual Odometry에 의해 이동체의 위치를 구할 수 있다.
본 발명에서 거리 측정 센서(140)는 레이저 거리 측정 장치(Lase Range Finder)일 수 있다. 레이저 거리 측정 센서는 레이저와 물체(반사체)에 의한 반사파를 수신하는 수신기의 결합체로, 레이저 빔을 보내고 반사되어 돌아온 레이저 빔을 수신하여 물체의 이격 거리를 산출한다. 레이저 빔이 발사되는 각도를 알고 있기 때문에 레이저 거리 측정 센서와 물체 사이의 상대적 거리를 계산할 수 있다. 이러한 거리 값은 상술한 GPS/자세측정장치로부터 얻어진 절대 좌표와 합해져서 물체의 절대 좌표를 수득하게 된다. 본 발명에서 이동체의 좌우 측면에 설치된 거리 측정 센서는 상하로 빠르게 레이저를 보내고 받으며, 2차원적인 거리와 각도만을 취득하는 2차원 거리 측정 센서이지만, 이동체에 의해 이동되면서 3차원 공간 상에 물체의 절대좌표값을 취득하게 된다.
상기 센서 시스템은 상기 카메라(130), 스테레오 카메라(160), 상기 자세측정부(120), 상기 거리 측정 센서(140)에 전원을 공급하는 전원공급부(미도시)를 추가로 포함한다. 전원공급부는 대개 배터리로 구성되고, 이러한 배터리는 하나 이상의 복수의 배터리로 구성될 수 있고, 충전기 및 변환기를 포함할 수 있다. 일례로 중앙 처리 제어부(150) 전원용으로 하나의 배터리가 연결되고, 중앙 처리 제어부(150)는 IEEE1394 전원으로 2대의 카메라에 전원을 공급하고, RS-232 전원으로 1대의 자세측정장치(IMU)에 전원을 공급할 수 있다. DGPS는 일반적으로 자체 배터리를 가지고 있으므로 별도의 전원 인가 없이 일정 시간 동안 구동할 수 있고, 거리 측정 센서에도 전원을 공급하기 위한 배터리가 별도로 연결될 수 있다.
이상에서 설명한 이동 로봇이나 차량을 활용한 외부 환경 복원을 하기 위한 센서 시스템은 외부 환경에 대한 데이터를 효과적으로 수집할 수 있다. 상기 센서 시스템은 외부 환경의 3차원 전자 데이터를 생성하는 3차원 모델링 기술, 및 그 모델링 방법을 이용하여 3차원 환경 지도를 작성하는 분야에 이용될 수 있다. 예를 들어, 외부 환경에서 동작할 수 있는 로봇/자동화 기계 분야(예컨대, 자동차, 견마 로봇 등)에 유리하게 이용될 수 있다.
본 발명의 다른 양상은 이상에서 설명한 센서 시스템을 이용하는 3차원 환경지도 작성 방법에 관한 것이다.
도 5는 본 발명의 일실시예의 3차원 환경 지도 작성 방법의 흐름도이다. 도 5를 참조하면, 본 발명의 방법에서는 먼저 이동체에 탑재된 GPS 수신부를 통해서 이동체의 기준 위치 정보를 획득하고(S10), 이동체에 탑재된 복수의 자세측정장치들로부터 이동체의 자세 데이터를 검출한(S20) 후에, 상기 이동체의 기준 위치 데이터와 자세 데이터를 융합하여 자세 정보(pose information)를 산출한다(S30). 이동체에 탑재된 복수의 카메라들에 의해서 2차원 영상을 촬영하여 색 데이터를 수득하고(S40), 이동체에 탑재된 거리 측정 센서에 의해서 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 측정한다(S50). 상기 카메라에 의해서 수득된 색 데이터와 거리 측정 센서에 의해 수득된 거리 데이터를 동기화시키고 캘리브레이션하여 유색 점군 데이터(Colored Point Cloud)를 수득한다(S60). 수득된 유색 점군 데이터와 자세 정보(Pose Information)를 융합하여, 상기 2차원 영상의 각 지점마다 3차원 절대좌표값을 산출하고(S70), 이러한 3차원 절대 좌표값을 이용하여 3차원 모델을 복원한다(S80).
상기 센서들을 이동체에 설치할 때에는 이동체의 정면에 2 대의 카메라와 2 대의 거리 측성 센서를 설치하고, 이동체의 좌우측면에 각각 1대의 카메라와 거리 측정 센서를 설치하고, 카메라의 데이터 획득 중심 방향이 레이저 스캐너의 스캐닝 각도의 중간방향과 동일한 방향이 되게 하여 이동체에 센서를 탑재한다.
상기 이동체 위치 데이터 검출 단계(S10)에서는 GPS로부터 이동체의 위도, 경도 및 고도 데이터를 수신하고, 상기 자세 데이터 검출 단계(S20)에서는 자세측정장치에 의해서 이동체의 롤, 피치 및 요값을 산출한다. 위성 신호 음영 지역에서는 이동체 정면에 탑재된 스테레오 카메라를 이용한 Visual Odometry에 의해서 이동체의 위치를 측정할 수 있다. 따라서 본 발명에서는 DGPS와 이동체 정면의 스테레오 비전 센서를 이용한 Visual Odometry를 선택적으로 이용함으로써 이동체의 위치를 더 안정적으로 추정할 수 있다.
본 발명에서는 각 센서 축의 통합을 위해 차량 중심 (Vehicle Center)은, 도 6에 도시된 바와 같이, 두 카메라 센서 축 중심의 중간 위치로 결정한다. 각 센서 축에서 생성된 점군 (Point Cloud)을 차량 중심 좌표계로 변환하면 최종적으로 차량의 위치 정보를 바탕으로 월드 좌표계에 등록할 수 있다. 본 발명의 센서 시스템에서는 거리 측정 센서와 카메라 센서 축에서 생성된 3차원 점군을 카메라 센서 축으로 통합해야 한다. 센서 축 회전(Rotation)은 도 7을 통해서 확인할 수 있다. 이동체의 좌측의 두 센서 사이에는, Y축을 기준으로 -90도, Z축을 기준으로 90도 회전하는 관계가 성립한다. 이동체의 우측 두 센서 사이에는, X축을 기준으로 -90도, Z축을 기준으로 -90도 회전하는 관계가 성립한다. 센서 축 이동 (Translation)은 도 8에 도시된 바와 같이, 이동체 좌측의 두 센서 사이에는, X축 방향으로 -253mm, Y축 방향으로 17.5 mm, Z축 방향으로 -4.155 mm 이동하는 관계가 성립하고, 이동체의 우측 두 센서 사이에는, X축 방향으로 253mm, Y축 방향으로 17.5 mm, Z축 방향으로 -4.155 mm 이동하는 관계가 성립한다.
본 발명의 센서 시스템에서 센서들 사이의 데이터 동기화는 타임스탬프를 기준으로 선택하여, 이진 검색(Binary Search)에 의해 동기화를 수행한다. 각각의 센서 데이터가 입력되는 주기가 다르게 때문에 이를 보다 정확하고 효율적으로 융합하는 작업이 필요하다. 먼저 GPS 수신부(110)와 자세측정부(120) 데이터를 선형 Linear Interpolation)에 의해 융합하여 자세 정보(Pose Information)를 구한다. 이 단계가 선행되어야 다른 센서와의 동기화가 가능하다.
이렇게 생성된 GPS 수신부/자세측정부 데이터, 거리 측정 센서 데이터, 및 카메라 센서 데이터는 각 데이터의 타임스탬프 기준으로 동기화를 맞추게 된다. 여기서 기준 타임 스탬프는 거리 측정 센서 데이터이다. 그 이유는 3차원 복원을 위해서 가장 중요한 데이터는 거리 정보인 거리 측정 센서 데이터이므로 이 데이터에 대한 손실이 없어야 하기 때문이다. 센서간 동기화하는 작업은 다음과 같다.
1. 거리 데이터 (거리 측정 센서가 1회 스캔하여 얻은 361개의 데이터)에 해당하는 타임스탬프를 기준으로 설정한다.
2. 카메라에서 얻은 이미지 데이터에 부여된 타임스탬프들 중 1번에서 기준으로 설정한 타임스탬프와 가장 인접한 값을 이진 검색(Binary Search)을 사용하여 찾는다.
3. GPS/자세측정장치에서 얻은 위치 데이터에 부여된 타임스탬프들 중 1번에서 기준으로 설정한 타임스탬프와 가장 인접한 값을 이진 검색을 사용하여 찾는다.
4. 매칭된 3개의 정보를 하나의 파일에 저장한다.
5. 상기 1~4번 작업을 반복하여 유색 점군(Colored Point Cloud)을 위한 기본 데이터 셋을 작성한다.
상기 자세 데이터 검출 단계(S20)는 GPS로부터 수신한 3차원 좌표를 자세측정부의 개수로 선형보간하여 위치를 추정할 수 있다. DGPS의 업데이트 속도는 1Hz로서 다른 센서(e.g. LRF, Camera, IMU)보다 속도가 상대적으로 느리기 때문에, 조밀한 위치를 얻기에는 적합하지 않다. 이러한 DGPS로부터 정확한 위치 데이터 얻기 위해서 가장 대표적으로 이용되는 방법은 칼만 필터를 이용하는 것이다. 칼만 필터를 이용하면 업데이트 속도가 느리고, 부정확하게 들어오는 DGPS 데이터 정보를, 현재의 정보를 바탕으로 다음 번의 정보를 예측하고, 수정하는 방식으로 보다 정확한 위치를 알 수 있다.
다만 DGPS의 데이터가 들어오지 않는 구간이 없는 특수한 환경에서는 선형 보간법을 이용할 수 있다. 선형 보간법은 하기 수식 1과 같이, 기본적으로 1초 간격의 GPS의 3차원 좌표를 알고(PGPSi), 그 좌표를 자세측정장치의 개수(50개)만큼 균등하게 나누는 방법을 사용한다.
[수식 1]
Figure 112011015041018-pat00001
상기 수식에서 i는 GPS의 time index이고, j는 1부터 50까지 순차적으로 대입해야 한다.
DGPS 데이터가 들어오지 않는 구간임에도, 선형 보간을 통해서 그 위치를 잘 추정할 수 있다. 이와 같이 선형 보간된 조밀한 GPS를 이용하면 보다 정확한 차량의 위치 값을 알 수 있다. 이러한 위치 값을 자세측정부에서 수신된 각도 정보와 동기화시키면, 거리 측정 센서를 이용한 점군 생성 시에 정보를 이용할 수 있다. 즉, DGPS로부터 구한 위치 값과 자세측정부로I부터 얻어오는 각도 값들을 취합해서 이동체의 위치와 그 때의 각도 정보를 구할 수 있다.
상기 유색 점군 데이터 수득 단계(S60)에서는 카메라 센서와 거리 측정 센서 사이의 캘리브레이션을 통해서 유색 점군 데이터(Colored Point Cloud)를 구한다. 이러한 방법의 일례는 Qilong Zhang and Pless, R., "Extrinsic Calibration of a Camera and Laser Range Finder (improves camera calibration)," International Conference on Intelligent Robots and Systems, 2004의 내용을 참조할 수 있다. 일례로, 카메라와 거리 측저어 센서의 캘리브레이션을 수행하면, 카메라와 거리 측정 센서 사이의 회전(Rotation)과 변환(Translation)을 구할 수 있다. 구해진 회전과 변환 값을 이용하여 거리 측정 센서를 이용하여 얻어진 지점들을 카메라
축으로 변환하고, 변환된 3차원 지점들을 카메라에 의해 촬영된 영상에 투영시켜, 거리 측정 센서에서 얻어진 지점들에 색정보를 추가할 수 있다.
상기 3차원 좌표값 산출 단계(S70)에서는 거리측정 센서로부터 얻은 점군(Point Cloud)의 정보를 GPS로부터 얻은 위치 정보와 자세측정부에서 수신한 각 정보를 바탕으로 변환하여 세계 좌표(World Coordinate)의 형태로 변환한다.
본 발명의 센서 시스템에서는 2차원 레이저 거리 측정 센서(LRF)가 이용된다. 따라서 이러한 LRF에 의해서 구해지는 데이터는 LRF 기준 축으로부터 Z 방향에서부터 Z방향으로 0.5도 간격으로 180도를 스캔해서 총 361개의 데이터가 들어오게 된다. 2차원 레이저 센서의 스캔 방향은 지면에서 하늘방향으로 초당 31번씩 거리 정보를 송신한다.
도 9를 참조하면, 만약 거리 측정 센서에서 나온 레이저가 어떤 물체에 반사되어서, 그 때의 거리 값을 d라고 하면, 차량 중심 국소 좌표(Local Coordinate)의 XL방향으로의 값은 dsinθ 이고, ZL방향으로의 값은 좌측 거리 측정 센서의 경우 dcosθ가 되고, 우측 거리 측정 센서의 경우, dcosθ가 된다. 이 때 이동체의 진행 방향은 -YL 방향이다.
이러한 관계를 Homogeneous Transform 형태의 식으로 나타내면 하기 수식 2와 같다.
[수식 2]
Figure 112011015041018-pat00002
점군을 얻기 위해서는 국소 좌표(Local Coordinate)로부터 얻은 거리 측정 센서의 점군의 정보를, GPS로부터 얻은 위치 정보와 자세측정부(IMU)에서 받아온 각도 정보를 바탕으로 회전과 이동을 거쳐 세계 좌표(World Coordinate)의 형태로 표현해야 한다.
먼저, 도 10에 나타낸 바와 같이, 이동체가 ti번째에서 ti +1번째로 Yawi +1만큼 회전해서 움직인다고 가정하면, 센서간의 동기화가 모두 이루어진 상태라고 하면, 모든 간격마다, 위치와 각도의 정보를 알 수 있다. 거리 측정 센서가 만약 어떤 물체에 스캔된다고 할 때, ti번째에서는 차가 기울어져 있지 않기 때문에, 이 때 점군의 좌표는 이동체의 위치(Pi)+거리측정센서의 위치(PL)를 더하면 된다. 그 다음 ti+1번째에서는 Yaw각 만큼 회전을 하면, 하기 식과 같이 구할 수 있다. 이 때 이동체는 지면에서 ZG 방향으로 H 만큼 위에 위치해 있기 때문에, PCDZi좌표를 구할 때는, 하기 수식 3과 같이 이러한 H 만큼을 더해주어야 한다.
[수식 3]
Figure 112011015041018-pat00003
이제 마지막으로 GPS 좌표로 표현된 점군들을 차량 축으로 변환하기 위해서는, 도 11에 나타낸 바와 같이, 위에서 구한 PCD 좌표를 90도 만큼 ZG 방향으로 회전하면 된다.
상기 PCD 좌표 값들을 3차원으로 모델링하는 방법은 본 발명이 속하는 기술 분야에 잘 알려져 있고, 공지의 방법에 따라서 3차원으로 복원할 수 있다.
본 발명의 또 다른 양상은 3차원 환경 모델링을 위한 프로그램을 저장한 기록매체에 관한 것이다. 본 발명은 프로세싱 시스템 또는 기타 전자 장치를 프로그램하는데 사용될 수 있는 내장 명령을 가진 머신-액세스 가능한 매체(machine-accessible medium)를 포함하는 컴퓨터 프로그램 제품으로서 실시될 수 있다. 이러한 기록 매체는 자기 매체, 광 매체, 또는 다른 적당한 매체를 포함하는 기계-판독가능 정보를 위한 전송 매체 또는 기록가능 매체일 수도 있다. 이러한 기록매체는 DGPS, 자세측정부, 거리 측정 센서 및 카메라들을 제어하고, 이들로부터 입력되는 데이터를 수집하는 동작 및 수신한 데이터들 중 거리 측정 센서로부터의 거리 데이터와 카메라로부터의 색 데이터는 동기화시키고 캘리브레이션하고, 상기 자세측정부 및 상기 GPS로부터 수신한 데이터는 선형 보간법으로 융합하여 3차원 공간 상의 좌표로 변환하는 동작을 수행하게 하는 명령어들을 포함한다. 프로그램 명령은 본 명세서에 기술된 동작을 수행하는 명령으로 프로그램된 범용 또는 특정 목적의 프로세싱 시스템을 생성하는데 사용될 수 있다.
한편, 상기에서는 본 발명을 바람직한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 한정되는 본 발명의 정신이나 범위를 벗어나지 않는 한도 내에서 본 발명이 다양하게 개조 및 변경될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 이해할 수 있을 것이다. 따라서 본 발명의 보호범위는 후술하는 특허청구범위 및 그와 균등한 범위에 의해서 정해져야 할 것이다.
100 : GPS용 위성 110 : GPS 수신부
120 : 자세측정부 130: 카메라
140 : 거리 측정 센서 150: 중앙처리 제어부
160 : 스테레오 카메라

Claims (22)

  1. GPS 위성 신호를 수신하여 이동체의 위치 정보를 생성하는 GPS 수신부;
    이동체의 이동시 이동체의 자세정보를 생성하는 자세측정부;
    이동체에 설치되어 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 검출하는 하나 이상의 거리 측정 센서들;
    상기 이동체에 설치되어 상기 이동체의 주변을 촬영하는 하나 이상의 카메라 센서;
    상기 이동체에 설치되어 Visual Odometry를 수행하는 스테레오 카메라 센서 ; 및
    상기 GPS 수신부와 상기 자세측정부 혹은 스테레오 카메라로부터 수신된 상기 이동체의 위치 데이터 및 자세 데이터를 융합하고, 상기 거리 측정 센서 및 상기 카메라 센서로부터 수신된 거리 데이터와 색 데이터를 동기화시키고 보정하여 3차원 절대좌표값을 산출하는 중앙처리 제어부를 포함하는 센서 시스템.
  2. 제 1 항에 있어서, 상기 중앙처리 제어부는;
    상기 GPS 수신부가 수신한 GPS 수신신호 및 상기 자세측정부의 자세 데이터를 선형 보간법에 의해서 융합하거나 스테레오 카메라를 이용하여 외부 환경에서의 이동체의 위치 정보를 검출하는 이동체 위치 검출 수단;
    상기 카메라 및 거리 측정 센서로부터 수신된 데이터를 보정하여 유색 점군 데이터(Colored Point Cloud)를 검출하는 점군 데이터 검출부; 및
    상기 이동체 위치 검출 수단에 의해서 검출된 이동체의 위치 데이터와 상기 유색 점군 데이터를 3차원으로 모델링하는 3차원 정보 변환 수단을 포함하는 것을 특징으로 하는 센서 시스템.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서, 상기 자세측정부는 이동체의 롤, 요, 피치 각도 및 각속도를 포함하는 자세정보를 생성하는 관성측정장치(Inertial Measurement Unit)인 것을 특징으로 하는 센서 시스템.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서, 상기 거리 측정 센서는 레이저 거리 측정 장치(LRF : Laser Range Finder)인 것을 특징으로 하는 센서 시스템.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서, 상기 GPS 수신부는 GPS 오차 보정신호를 수신하기 위한 DGPS 수신장치인 것을 특징으로 하는 센서 시스템.
  6. 제 1항에 있어서, 스테레오 카메라는 전방에 설치되고, 상기 카메라 및 거리 측정 센서는 이동체의 좌우측면에 한 대씩 설치되는 것을 특징으로 하는 센서 시스템.
  7. 제 1항에 있어서, 상기 중앙처리 제어부는 멀티쓰레드 프로세서를 포함하고, 상기 카메라는 하나의 쓰레드로 데이터가 관리되고, 상기 GPS 수신부, 상기 자세측정부, 및 상기 거리 측정 센서는 각각 하나의 쓰레드로 관리되도록 구성된 것을 특징으로 하는 센서 시스템.
  8. 제7항에 있어서, 상기 멀티쓰레드 프로세서는
    상기 GPS 수신부, 상기 자세측정부, 상기 거리 측정 센서들 및 카메라 센서들을 제어하고, 이들로부터 입력되는 데이터를 데이터 수집 프로세서로 전송하는 제어 프로세서(Control Process); 및
    상기 제어 프로세서로부터 수신한 데이터들 중 상기 거리 측정 센서로부터의 거리 데이터와 상기 카메라로부터의 색 데이터는 동기화시키고 보정하고, 상기 자세측정부 및 상기 GPS 수신부로부터 수신한 데이터는 선형 보간법으로 융합하여 3차원 공간 상의 좌표로 변환하는 데이터 수집 프로세서를 포함하는 것을 특징으로 하는 센서 시스템.
  9. 제 1항에 있어서, 상기 센서 시스템은 위성 신호가 수신되지 않는 지역에서는 이동체의 전방에 설치된 2 대의 스테레오 카메라를 이용하여 Visual Odometry에 의해 이동체의 위치를 산출하도록 구성된 것을 특징으로 하는 센서 시스템.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 센서 시스템은 상기 카메라, 상기 자세측정부, 상기 거리 측정 센서에 전원을 공급하는 전원공급부를 추가로 포함하는 것을 특징으로 하는 센서 시스템.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 시스템에서 거리 측정 센서와 상기 중앙 처리 제어부는 RS-422 통신으로 서로 통신하고, 자세측정부 및 GPS 수신부는 RS-232 통신으로 통신하는 것을 특징으로 하는 센서 시스템.
  12. 제1항 내지 제11항 중 어느 하나의 항의 센서 시스템을 포함하고, 상기 센서 시스템에 의해 산출된 위치 정보, 거리 정보 및 색상 정보로부터 3차원 모델을 생성하여 3차원 모델링하는 3차원 환경 지도 작성 시스템.
  13. 이동체에 탑재된 GPS 수신부를 통해서 이동체의 기준 위치 정보를 획득하는 단계;
    이동체에 탑재된 복수의 자세측정장치들로부터 이동체의 자세 데이터를 검출하는 단계;
    상기 이동체의 기준 위치 데이터와 자세 데이터를 융합하여 자세 정보(Pose Information)를 산출하는 단계;
    이동체에 탑재된 복수의 카메라들에 의해서 2차원 영상을 촬영하여 색 데이터를 수득하는 단계;
    이동체에 탑재된 거리 측정 센서에 의해서 이동체로부터 주변에 위치하는 물체까지의 상대적 거리를 측정하는 단계;
    상기 카메라에 의해서 수득된 색 데이터와 거리 측정 센서에 의해 수득된 거리 데이터를 동기화시키고 캘리브레이션하여 유색 점군 데이터(Colored Point Cloud)를 수득하는 단계;
    상기 유색 점군 데이터와 자세 정보(Pose Information)를 융합하여, 상기 2차원 영상의 각 지점마다 3차원 절대좌표값을 산출하는 단계; 및
    상기 3차원 절대 좌표값을 이용하여 3차원 모델링하는 단계를 포함하는 것을 특징으로 하는 3차원 환경 지도 작성 방법.
  14. 제 13항에 있어서, 상기 방법은 2차원 영상을 촬영하는 카메라와, GPS 수신부, 자세측정장치와 거리 측정 센서를 이동체에 탑재하되, 이동체의 정면에 스테레오 카메라를 설치하고, 이동체의 좌우측면에 카메라와 거리 측정 센서를 설치하고, 카메라의 데이터 획득 중심 방향이 레이저 스캐너의 스캐닝 각도의 중간방향과 동일한 방향이 되게 하여 이동체에 센서를 탑재하는 단계를 더 포함하는 것을 특징으로 하는 3차원 환경 지도 작성 방법.
  15. 제 13항에 있어서, 상기 이동체 위치 데이터 검출 단계는 이동체의 위도, 경도 및 고도 데이터를 수신하는 단계임을 특징으로 하는 3차원 환경 지도 작성 방법.
  16. 제 13항에 있어서, 상기 자세 정보 산출 단계는 이동체의 롤, 피치 및 요값을 산출하는 단계임을 특징으로 하는 3차원 환경 지도 작성 방법.
  17. 제 13항에 있어서, 상기 방법은 위성 신호 음영 지역에서는 이동체 정면에 탑재된 스테레오 카메라를 이용한 Visual Odometry에 의해서 이동체의 위치를 측정하는 단계를 추가로 포함하는 3차원 환경 지도 작성 방법.
  18. 제 13항에 있어서, 상기 자세 데이터 검출 단계는 GPS로부터 수신한 3차원 좌표를 자세측정부의 개수로 선형보간하여 위치를 추정하는 단계임을 특징으로 하는 3차원 환경 지도 작성 방법.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    제 18항에 있어서, 상기 자세 데이터의 보간은 칼만 필터링에 의해서 수행되는 것을 특징으로 하는 3차원 환경 지도 작성 방법.
  20. 제 13항에 있어서, 상기 3차원 좌표값 산출 단계는 거리측정 센서로부터 얻은 점군(Point Cloud)의 정보를 GPS로부터 얻은 위치 정보와 자세측정부에서 수신한 각 정보를 바탕으로 변환하여 세계 좌표(World Coordinate)의 형태로 변환하는 단계임을 특징으로 하는 3차원 환경 지도 작성 방법.
  21. 제13항에 있어서, 상기 동기화는 이진 검색(Binary Search)에 의해 동기화를 수행하는 단계임을 특징으로 하는 3차원 환경 지도 작성 방법.
  22. 제13항 내지 제21항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110018502A 2011-03-02 2011-03-02 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법 KR101220527B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110018502A KR101220527B1 (ko) 2011-03-02 2011-03-02 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110018502A KR101220527B1 (ko) 2011-03-02 2011-03-02 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120099952A KR20120099952A (ko) 2012-09-12
KR101220527B1 true KR101220527B1 (ko) 2013-01-21

Family

ID=47109775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110018502A KR101220527B1 (ko) 2011-03-02 2011-03-02 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101220527B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200035930A (ko) * 2020-03-30 2020-04-06 네이버랩스 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법
US10866427B2 (en) 2018-10-01 2020-12-15 Samsung Electronics Co., Ltd. Method and apparatus for outputting pose information

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101418770B1 (ko) * 2012-12-14 2014-07-16 한국생산기술연구원 회전형 거리 측정장치에 기반한 위치 추정시스템 및 이를 이용한 위치 추정방법
KR102016551B1 (ko) 2014-01-24 2019-09-02 한화디펜스 주식회사 위치 추정 장치 및 방법
KR101987413B1 (ko) * 2014-11-11 2019-09-27 재단법인대구경북과학기술원 측위 시스템 및 방법
KR101690882B1 (ko) * 2015-07-16 2016-12-28 한국과학기술원 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법
KR101982822B1 (ko) * 2017-04-06 2019-05-29 명지대학교 산학협력단 멀티센서 기반의 웨어러블 실내공간정보 구축시스템
KR102389518B1 (ko) * 2017-12-19 2022-04-26 한국전자기술연구원 식물 생장 모니터링 장치 및 방법
CN108445808A (zh) * 2018-03-30 2018-08-24 深圳前海清科技有限公司 数据同步的传感装置及方法
EP3587194B1 (en) * 2018-06-29 2022-08-03 Aptiv Technologies Limited Power and data center (pdc) for automotive applications
KR102241803B1 (ko) * 2019-07-15 2021-04-19 주식회사 마인즈랩 통신 장애 지역 결정 방법 및 컴퓨터 프로그램
KR102083911B1 (ko) * 2019-09-03 2020-03-04 주식회사 모빌테크 점군을 포함하는 라이다 지도 생성 방법
CN111768487B (zh) * 2020-06-11 2023-11-28 武汉市工程科学技术研究院 基于三维点云库的地质岩层数据三维重建***及方法
CN115096269B (zh) * 2022-07-06 2023-10-31 苏州天硕导航科技有限责任公司 摄影测量方法、***及gnss接收机
CN118258443A (zh) * 2024-02-04 2024-06-28 新泰坦空气净化技术(北京)有限公司 一种智能环保远程监测***及监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031528A (ja) 2000-07-14 2002-01-31 Asia Air Survey Co Ltd モービルマッピング用空間情報生成装置
KR20030056284A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 차량을 이용한 도로시설물 정보 추출 시스템 및 그 방법
KR20040043283A (ko) * 2002-11-18 2004-05-24 한국전자통신연구원 가로수 관리 정보 추출 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002031528A (ja) 2000-07-14 2002-01-31 Asia Air Survey Co Ltd モービルマッピング用空間情報生成装置
KR20030056284A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 차량을 이용한 도로시설물 정보 추출 시스템 및 그 방법
KR20040043283A (ko) * 2002-11-18 2004-05-24 한국전자통신연구원 가로수 관리 정보 추출 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866427B2 (en) 2018-10-01 2020-12-15 Samsung Electronics Co., Ltd. Method and apparatus for outputting pose information
KR20200035930A (ko) * 2020-03-30 2020-04-06 네이버랩스 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법
KR102112162B1 (ko) 2020-03-30 2020-05-19 네이버랩스 주식회사 자율 주행 기술을 응용한 3차원 실내 정밀 지도 자동 생성 로봇 및 로봇의 제어 방법

Also Published As

Publication number Publication date
KR20120099952A (ko) 2012-09-12

Similar Documents

Publication Publication Date Title
KR101220527B1 (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
KR20140049361A (ko) 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN105928498B (zh) 提供关于对象的信息的方法、大地测绘***、存储介质
CN105411490B (zh) 移动机器人的实时定位方法及移动机器人
Nagai et al. UAV-borne 3-D mapping system by multisensor integration
CN110446159A (zh) 一种室内无人机精确定位与自主导航的***及方法
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
CN112461210B (zh) 一种空地协同建筑测绘机器人***及其测绘方法
CN111091587B (zh) 一种基于视觉标志物的低成本动作捕捉方法
CN106017463A (zh) 一种基于定位传感装置的飞行器定位方法
CN113678079A (zh) 从车辆传感器和相机阵列生成结构化地图数据
CN113820735A (zh) 位置信息的确定方法、位置测量设备、终端及存储介质
KR20170094030A (ko) 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법
JP2007107962A (ja) 測定対象物計測システム、及び送電線下離隔計測システム
JP6688901B2 (ja) ３次元形状推定方法、３次元形状推定システム、飛行体、プログラム、及び記録媒体
JP4077385B2 (ja) 画像処理を用いたグローバル座標取得装置
KR101764222B1 (ko) 고정밀 측위 시스템 및 방법
CN107941167B (zh) 一种基于无人机载具和结构光扫描技术的空间扫描***及其工作方法
CN115540849A (zh) 高空作业平台激光视觉与惯导融合定位与建图装置及方法
CN113587934A (zh) 一种机器人、室内定位方法、装置和可读存储介质
Wu et al. AFLI-Calib: Robust LiDAR-IMU extrinsic self-calibration based on adaptive frame length LiDAR odometry
EP4332631A1 (en) Global optimization methods for mobile coordinate scanners

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee