KR101320337B1 - 위치 및 자세 추정시스템 - Google Patents

위치 및 자세 추정시스템 Download PDF

Info

Publication number
KR101320337B1
KR101320337B1 KR1020120046334A KR20120046334A KR101320337B1 KR 101320337 B1 KR101320337 B1 KR 101320337B1 KR 1020120046334 A KR1020120046334 A KR 1020120046334A KR 20120046334 A KR20120046334 A KR 20120046334A KR 101320337 B1 KR101320337 B1 KR 101320337B1
Authority
KR
South Korea
Prior art keywords
camera
feature points
estimation
attitude
reference point
Prior art date
Application number
KR1020120046334A
Other languages
English (en)
Inventor
박무혁
Original Assignee
한국항공우주연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공우주연구원 filed Critical 한국항공우주연구원
Priority to KR1020120046334A priority Critical patent/KR101320337B1/ko
Application granted granted Critical
Publication of KR101320337B1 publication Critical patent/KR101320337B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/025—Testing optical properties by measuring geometrical properties or aberrations by determining the shape of the object to be tested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181—Memory or computer-assisted visual determination

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 헬멧 또는 안경에 장착된 카메라에서 촬영한 위치추정 특징점들의 위치 변화를 이용하여, 카메라가 장착된 인간의 머리의 위치 및 자세를 추정할 수 있는 위치 및 자세 추정시스템을 개시(introduce)한다. 상기 위치 및 자세 추정시스템은, 표지, 카메라 및 신호처리장치를 구비한다. 상기 표지는 2차원 공간 또는 3차원 공간에서의 각각의 좌표를 알고 있는 적어도 3개의 특징점을 포함한다. 상기 카메라는 상기 적어도 3개의 위치추정 특징점들의 상대적 위치를 촬영한다. 상기 신호처리장치는 임의의 기준점과 상기 카메라에서 촬영된 영상에 포함된 상기 적어도 3개의 위치추정 특징점의 상대적 위치를 이용하여 상기 카메라의 위치 및 자세를 추정한다.

Description

위치 및 자세 추정시스템 {Estimation system of the position and pose}
본 발명은 항공기 및 자동차와 같은 공간 내에서 운전자의 머리의 위치 및 자세를 추정하는 시스템에 관한 것으로, 특히 전면 패널에 설치된 좌표를 알고 있는 적어도 3개의 위치추정 특징점들을 촬영하고, 촬영된 영상에서의 상기 위치추정 특징점들의 변화를 이용하여 상기 특징점들을 촬영하는 카메라가 장착된 헬멧 또는 안경을 착용한 운전자의 머리의 위치 및 자세를 추정할 수 있는 위치 및 자세 추정시스템에 관한 것이다.
항법센서 분야에서는 관성센서와 위성항법장치(Global Positioning System, 이하 GPS)를 이용하여 자세 및 위치를 측정한다. 종래의 자세측정센서로는 가속도계 또는 레이트 자이로 센서를 이용하여 가속도와 각속도를 측정하고, 측정된 데이터로부터 자세를 추정한다. 측정된 데이터를 처리하여 자세 및 위치를 추정하는 것은 계산상으로 복잡하여 단순히 소프트웨어로 이를 수행할 경우 속도에 문제가 발생하고, 하드웨어로 구현하는 것도 하드웨어가 시스템에서 차지하는 면적 및 비용도 무시할 수 없다는 문제가 있다.
본 발명이 해결하고자 하는 기술적 과제는, 헬멧 또는 안경에 장착된 카메라에서 촬영한 위치추정 특징점들의 위치 변화를 이용하여, 카메라가 장착된 인간의 머리의 위치 및 자세를 추정할 수 있는 위치 및 자세 추정시스템을 제공하는 것에 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 위치 및 자세 추정시스템은, 표지, 카메라 및 신호처리장치를 구비한다. 상기 표지는 2차원 공간 또는 3차원 공간에서의 각각의 좌표를 알고 있는 적어도 3개의 특징점을 포함한다. 상기 카메라는 상기 적어도 3개의 위치추정 특징점들의 상대적 위치를 촬영한다. 상기 신호처리장치는 임의의 기준점과 상기 카메라에서 촬영된 영상에 포함된 상기 적어도 3개의 위치추정 특징점의 상대적 위치를 이용하여 상기 카메라의 위치 및 자세를 추정한다.
본 발명은 적어도 3개의 특징점과 기준점의 상대적 위치의 변화를 이용하여 위치 및 자세를 추정하므로, 연산량이 적으며 관성센서방식에서 문제가 되었던 오차의 누적이 없다는 장점이 있다.
본 발명의 가상현실에 사용되는 HMD(Helmet Mounted Display) 등에 적용될 경우, 사람 머리의 움직임을 빠르고 정확하게 계산하므로 실시간 및 현실감을 증대시킬 수 있으며, 원격조정시 무인항공기, 자동차 및 로봇에 탑재된 카메라의 제어에도 사용될 수 있는 장점이 있다.
도 1은 본 발명에 따른 위치 및 자세 추정시스템을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 위치 및 자세 추정시스템을 나타낸다.
도 1을 참조하면, 본 발명에 따른 위치 및 자세 추정시스템(100)은, 표지(110), 카메라(120) 및 신호처리부(130)를 구비한다.
표지(110)는 2차원 공간 또는 3차원 공간에서의 각각의 좌표를 알고 있는 적어도 3개의 특징점(P1, P2, P3)을 포함한다. 카메라(120)는 적어도 3개의 위치추정 특징점들(P1, P2, P3)의 상대적 위치를 촬영한다. 신호처리장치(130)는 임의의 기준점과 카메라(120)에서 촬영된 영상에 포함된 적어도 3개의 위치추정 특징점들(P1, P2, P3)의 상대적 위치를 이용하여 카메라(120)의 위치 및 자세를 추정한다.
여기서 기준점은 카메라(120)에 의해 촬영된 하나의 영상의 일 지점을 의미하며, 상기 영상에는 적어도 3개의 위치추정 특징점들(P1, P2, P3)도 포함된다.
신호처리장치(130)는, 임의의 순간의 하나의 영상에 포함되는 하나의 기준점과 적어도 3개의 위치추정 특징점들(P1, P2, P3) 사이의 상대적 거리 및 이어지는 다른 하나의 영상에 포함되는 하나의 기준점과 적어도 3개의 위치추정 특징점들(P1, P2, P3) 사이의 상대적 거리를 측정하고, 2개의 영상에서 각각 측정된 상대적 거리의 차이를 이용하여 카메라(120)의 위치 및 자세를 추정한다.
표지(110)는, 적어도 3개의 위치추정 특징점들(P1, P2, P3)을 연결하는 다각형이다. 도 1에는 3개의 위치추정 특징점들(P1, P2, P3)이 존재하여 삼각형이 되었지만, 위치추정 특징점들의 개수에 따라 다각형으로 구현하는 것도 가능하다.
본 발명에서는 카메라의 이동이 일정한 이동범위를 넘어서게 되어 3개의 위치추정 특징점들(P1, P2, P3)을 촬영하지 못하는 경우를 대비하여, 다각형의 외각에 복수 개의 이탈추정 특징점들(미도시)을 더 포함할 것을 제안한다. 이때 신호처리부(130)는, 카메라(120)가 촬영한 영상에 복수 개의 이탈추정 특징점들 중 적어도 하나가 촬영되는 경우, 경고신호를 생성하여 카메라의 이동범위를 제한하도록 할 수 있다. 경고신호는 경광등의 활용 및 경고음의 발생 중 적어도 하나의 방식으로 구현할 수 있다.
카메라(120)는 헬멧(140) 또는 안경(140)에 장착하여 사용할 수 있다.
적어도 3개의 위치추정 특징점들(P1, P2, P3) 및 복수 개의 이탈추정 특징점들(미도시)은, 사용장소에 따라 항공기의 전면 패널 및 자동차의 전면 패널 중 하나에 설치된다.
도 1에는 3개의 위치추정 특징점들(P1, P2, P3)의 좌표가 3차원으로 표시되어 있지만, 2차원 좌표를 사용하는 것도 가능하다. 또한 적어도 3개의 위치추정 특징점들이 연결된 다각형에 일정한 색깔을 부여하는 것도 가능하며, 복수 개의 이탈추정 특징점들이 연결된 다른 다각형의 외부에도 일정한 색깔을 부여하는 것도 가능하다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.
110: 표지 120: 카메라
130: 신호처리부 140: 헬멧 또는 안경

Claims (8)

  1. 2차원 공간 또는 3차원 공간에서의 각각의 좌표를 알고 있는 적어도 3개의 특징점을 포함하는 표지;
    상기 적어도 3개의 위치추정 특징점들의 상대적 위치를 촬영하는 카메라; 및
    임의의 기준점과 상기 카메라에서 촬영된 영상에 포함된 상기 적어도 3개의 위치추정 특징점의 상대적 위치를 이용하여 상기 카메라의 위치 및 자세를 추정하는 신호처리장치;를 구비하며,
    상기 기준점은 상기 카메라에 의해 촬영된 하나의 영상의 일 지점이고,
    상기 신호처리장치는,
    임의의 순간의 하나의 영상에 포함되는 하나의 기준점과 적어도 3개의 위치추정 특징점들 사이의 상대적 거리 및 이어지는 다른 하나의 영상에 포함되는 하나의 기준점과 적어도 3개의 위치추정 특징점들 사이의 상대적 거리를 측정하고,
    2개의 영상에서 각각 측정된 상대적 거리의 차이를 이용하여 상기 카메라의 위치 및 자세를 추정하는 것을 특징으로 하는 위치 및 자세 추정시스템.
  2. 삭제
  3. 삭제
  4. 제2항에 있어서, 상기 표지는,
    상기 적어도 3개의 위치추정 특징점들을 연결하는 다각형인 것을 특징으로 하는 위치 및 자세 추정시스템.
  5. 제4항에 있어서,
    상기 다각형의 외각에는 복수 개의 이탈추정 특징점들이 더 포함되는 것을 특징으로 하는 위치 및 자세 추정시스템.
  6. 제5항에 있어서,
    상기 카메라는 헬멧 또는 안경에 장착되는 것을 특징으로 하는 위치 및 자세 추정시스템.
  7. 제6항에 있어서,
    상기 적어도 3개의 위치추정 특징점 및 복수 개의 이탈추정 특징점들은,
    항공기의 전면 패널 및 자동차의 전면 패널 중 하나에 설치되는 것을 특징으로 하는 위치 및 자세 추정시스템.
  8. 제7항에 있어서, 상기 신호처리장치는,
    상기 카메라가 촬영한 영상에 상기 복수 개의 이탈추정 특징점들 중 적어도 하나가 촬영되는 경우, 경고신호를 생성하는 것을 특징으로 하는 위치 및 자세 추정시스템.
KR1020120046334A 2012-05-02 2012-05-02 위치 및 자세 추정시스템 KR101320337B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120046334A KR101320337B1 (ko) 2012-05-02 2012-05-02 위치 및 자세 추정시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120046334A KR101320337B1 (ko) 2012-05-02 2012-05-02 위치 및 자세 추정시스템

Publications (1)

Publication Number Publication Date
KR101320337B1 true KR101320337B1 (ko) 2013-10-29

Family

ID=49638899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120046334A KR101320337B1 (ko) 2012-05-02 2012-05-02 위치 및 자세 추정시스템

Country Status (1)

Country Link
KR (1) KR101320337B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080085655A (ko) * 2007-03-20 2008-09-24 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
WO2010010926A1 (ja) 2008-07-24 2010-01-28 国立大学法人静岡大学 特徴点追跡方法及び特徴点追跡装置
KR20100081589A (ko) * 2009-01-06 2010-07-15 국방과학연구소 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080085655A (ko) * 2007-03-20 2008-09-24 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
WO2010010926A1 (ja) 2008-07-24 2010-01-28 国立大学法人静岡大学 特徴点追跡方法及び特徴点追跡装置
KR20100081589A (ko) * 2009-01-06 2010-07-15 국방과학연구소 특징점 패턴을 이용한 헤드 트랙커에서 특징점 배치 방법 및 헬멧의 위치 추정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(2010.3) *

Similar Documents

Publication Publication Date Title
KR102434580B1 (ko) 가상 경로를 디스플레이하는 방법 및 장치
US9953461B2 (en) Navigation system applying augmented reality
CN110869700B (zh) 用于确定车辆位置的***和方法
US9928653B2 (en) Head mounted display presentation adjustment
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US9459692B1 (en) Virtual reality headset with relative motion head tracker
US10852847B2 (en) Controller tracking for multiple degrees of freedom
US10078218B2 (en) Non-overlapped stereo imaging for virtual reality headset tracking
TWI397671B (zh) 定位載體、估測載體姿態與建地圖之系統與方法
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108364304A (zh) 一种用于单目机载目标检测的***和方法
RU2527132C1 (ru) Способ коррекции дрейфа микромеханического гироскопа, используемого в системе дополненной реальности на движущемся объекте
KR102174729B1 (ko) 랜드마크를 활용한 주행차로 인식 방법 및 시스템
JP2019102007A (ja) 勾配推定装置、勾配推定方法、プログラムおよび制御システム
JP2017068424A (ja) 姿勢計測装置及び姿勢計測方法
JP5695000B2 (ja) 車両周辺監視装置
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
US20210080264A1 (en) Estimation device, estimation method, and computer program product
RU131151U1 (ru) Система коррекции дрейфа микромеханического гироскопа, используемого в системе дополненной реальности на движущемся объекте
JP4250391B2 (ja) 指標検出装置、指標検出方法
KR101320337B1 (ko) 위치 및 자세 추정시스템
CN108322698B (zh) 基于多摄像机和惯性测量单元融合的***和方法
CN108627157A (zh) 一种基于立体标记板的头显定位方法、装置和立体标记板

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 6