KR101586071B1 - 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 - Google Patents

마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 Download PDF

Info

Publication number
KR101586071B1
KR101586071B1 KR1020120095008A KR20120095008A KR101586071B1 KR 101586071 B1 KR101586071 B1 KR 101586071B1 KR 1020120095008 A KR1020120095008 A KR 1020120095008A KR 20120095008 A KR20120095008 A KR 20120095008A KR 101586071 B1 KR101586071 B1 KR 101586071B1
Authority
KR
South Korea
Prior art keywords
real
image
matching
time image
feature points
Prior art date
Application number
KR1020120095008A
Other languages
English (en)
Other versions
KR20140030444A (ko
Inventor
황재인
김익재
성민혁
안상철
고희동
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120095008A priority Critical patent/KR101586071B1/ko
Publication of KR20140030444A publication Critical patent/KR20140030444A/ko
Application granted granted Critical
Publication of KR101586071B1 publication Critical patent/KR101586071B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 크기가 큰 대상 객체의 전체 형상을 촬영한 참조 영상을 분할하여 분할 영상별로 특징점을 학습하고, 이를 실시간 영상의 특징점과 비교하여 추정한 실시간 영상의 촬영 자세 및 위치를 기초로 증강현실 서비스를 제공하는 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법에 관한 것으로, 본 발명에 따르면, 종래에는 마커리스 증강현실 서비스를 제공하기 어려울 정도로 크기가 큰 대형 물체를 대상 객체로 하여 실시간으로 촬영 자세 및 위치를 추정하여 증강현실 서비스를 제공할 수 있게 된다. 이는 스마트폰이나 태블릿 PC와 같은 소형의 단말 장치에서 증강현실 서비스를 제공함에 있어서 특히 유용하다.

Description

마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법{Apparatus for providing marker-less augmented reality service and photographing postion estimating method therefor}
본 발명은, 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법에 관한 것으로서, 크기가 큰 대상 객체의 전체 형상을 촬영한 참조 영상을 분할하여 분할 영상별로 특징점을 학습하고, 이를 실시간 영상의 특징점과 비교하여 추정한 실시간 영상의 촬영 자세 및 위치를 기초로 증강현실 서비스를 제공하는 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법에 관한 것이다.
증강현실(AR; Augmented Reality)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실 서비스의 일종이다. 가상현실은 게임처럼 공간을 새롭게 창조하지만 증강현실은 실사 현실의 기반 위에 가상의 사물을 결합하여 부가적인 정보들을 제공할 수 있다. 이러한 장점 때문에 가상현실과 달리 현실에 다양한 응용이 가능하다. 증강현실을 구현하기 위해서는 카메라 및 센서, 컴퓨터 그래픽, 정합(Registration)기술, 디스플레이 기기 등 요소기술이 필요하다. 이러한 요소기술들은 주변 정보 및 사용자의 시선, 자세, 동작 등을 파악하고, 가상정보를 생성하며, 가상과 현실을 일치시켜 사용자에 전달한다.
실제 영상에 가상물체를 생성하기 위해 가상물체와 실제 영상 간의 매개체가 요구되며, 이러한 매개체를 지속적으로 추적 및 인식하여 기준이 되는 좌표계를 설정한다. 추적 및 인식을 위한 방법과 관련하여, 증강현실은 크게 마커를 이용한 증강현실, 센서를 이용한 증강현실, 마커가 없이 영상처리를 이용하는 마커리스 증강현실로 분류될 수 있다.
최근에는 번거롭게 마커를 이용하지 않고도 영상처리를 통해 추적 및 인식을 수행하는 마커리스 증강현실 기술이 각광을 받고 있다. 일반적으로 마커리스 증강현실은 대상 물체의 영상 특징점들(visual feature)을 학습을 통하여 저장한 후에 실시간으로 입력되는 영상에서 특징점을 찾아내서 학습된 영상과 비교한 결과를 기초로 추적 및 인식을 수행한다.
좀더 구체적으로 살펴보면, 기존의 마커리스 증강현실은 하나의 대상 혹은 다수의 대상을 상대로 증강현실을 구현하게 되는데, 이때 대상 물체에 대한 특징점을 뽑아서 저장을 한다. 그리고 실시간 영상의 특징점을 추출하여 이와 비교를 하여 같다고 판단되는 것을 선택하여 그것으로 실시간 영상의 촬영 자세 및 위치를 추정하게 된다. 이러한 경우에 발생되는 문제가 대상 물체의 일부만 카메라로 바라볼 때는 충분한 특징점이 추출되지 않아서 인식 및 추적이 되지 않는 경우가 발생하게 된다. 이런 경우는 대상 물체의 크기가 커서 대상 물체의 일부분만 비출수 밖에 없는 경우에 자주 발생한다. 대상 물체에 대한 고해상도의 영상 전체를 훈련을 시키는 경우에는 일부만 보더라도 인식 및 추적이 가능하다고 생각되지만 실제로는 고해상도의 특징점 전체에서 어느 부분인지를 매 프레임 검색 하는 것이 시간이 해상도와 비례하여 걸리기 때문에 이를 실시간 증강현실 서비스에 직접적으로 적용하기에는 적절하지가 못하다는 한계가 있다.
본 발명이 이루고자 하는 기술적 과제는, 대상 물체의 일부 영역만을 포함하는 실시간 영상으로부터도 특징점을 추출하여 이를 기초로 실시간 영상의 촬영 자세 및 위치를 추정하여 증강현실을 제공할 수 있는 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법을 제공하는 데에 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 마커리스 증강현실 제공장치는 대상 객체의 전체 형상을 촬영한 참조영상을 분할한 복수의 분할 영상들 각각의 특징점을 분할 영상 별로 저장하는 저장부; 실시간으로 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여 실시간 영상의 특징점을 추출하는 실시간 영상 특징점 추출부; 복수의 분할영상들 각각의 특징점과 실시간 영상의 특징점을 서로 정합하고, 정합된 결과를 기초로 복수의 분할영상들 중 실시간 영상에 매칭되는 매칭분할영상을 도출하는 영상 정합부; 도출된 매칭분할영상 내에서 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 실시간 영상의 촬영 자세 및 위치를 추정하는 촬영 위치 계산부; 및 실시간 영상의 촬영 자세 및 위치를 기초로 실시간 증강 현실을 제공하는 증강 현실 제공부를 포함한다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 마커리스 증강현실을 위한 촬영 위치 추정 방법은 대상 객체의 전체 형상을 촬영한 참조영상을 분할하여 서로 동일한 해상도를 갖는 복수의 분할영상들을 생성하는 단계; 복수의 분할영상들 각각의 특징점을 추출하여 분할영상 별로 저장하는 단계; 실시간으로 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여 실시간 영상의 특징점을 추출하는 특징점추출단계; 복수의 분할영상들 각각의 특징점과 실시간 영상의 특징점을 서로 정합하고, 정합된 결과를 기초로 복수의 분할영상들 중 실시간 영상에 매칭되는 매칭분할영상을 도출하는 단계; 및 도출된 매칭분할영상 내에서 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 실시간 영상의 촬영 자세 및 위치를 추정하는 트레이싱 단계를 포함한다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 마커리스 증강현실을 위한 촬영 위치 추정 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체는 대상 객체의 전체 형상을 촬영한 참조영상을 분할하여 서로 동일한 해상도를 갖는 복수의 분할영상들을 생성하는 기능; 복수의 분할영상들 각각의 특징점을 추출하여 분할영상 별로 저장하는 기능; 실시간으로 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여 실시간 영상의 특징점을 추출하는 기능; 복수의 분할영상들 각각의 특징점과 실시간 영상의 특징점을 서로 정합하고, 정합된 결과를 기초로 복수의 분할영상들 중 실시간 영상에 매칭되는 매칭분할영상을 도출하는 기능; 및 도출된 매칭분할영상 내에서 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 실시간 영상의 촬영 자세 및 위치를 추정하는 기능를 포함하는를 포함하는 것을 특징으로 하는 프로그램을 수록한다.
본 발명에 따르면, 종래에는 마커리스 증강현실 서비스를 제공하기 어려울 정도로 크기가 큰 대형 물체를 대상 객체로 하여 실시간으로 촬영 자세 및 위치를 추정하여 증강현실 서비스를 제공할 수 있게 된다. 이는 스마트폰이나 태블릿 PC와 같은 소형의 단말 장치에서 증강현실 서비스를 제공함에 있어서 특히 유용하다.
도 1는 본 발명의 바람직한 일실시예에 따른 증강현실 서비스를 제공하는 단말 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 바람직한 일실시예에 따른 증강현실 서비스를 제공하는 단말 장치의 촬영 위치 추정부의 구성을 도시한 블록도이다.
도 3은 본 발명의 바람직한 일실시예에 따른 증강현실 서비스를 위한 실시간 영상의 촬영 자세 및 위치를 추정하는 방법의 흐름을 도시한 도면이다.
도 4는 본 발명의 바람직한 일실시예에 따라 생성되는 참조 영상을 분할한 예를 도시한 도면이다.
도 5는 본 발명의 바람직한 일실시예에 따라 분할 영상별로 특징점을 추출한 예를 도시한 도면이다.
도 6은 본 발명의 바람직한 일실시예에 따라 실시간 영상의 특징점과 분할 영상별 특징점을 정합하여 매칭 분할 영상을 도출한 예를 도시한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1는 본 발명의 바람직한 일실시예에 따른 증강현실 서비스를 제공하는 단말 장치(100)의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 실시예에 따른 단말 장치(100)는 제어부(110), 카메라부(120), 입력부(130), 표시부(140), 저장부(150), 이동통신부(160), 촬영 위치 추정부(170) 및 증강현실 제공부(180)를 포함하여 구성된다.
카메라부(120)는 렌즈와 이미지 센서로 구성되어 영상을 촬영한다. 본 실시예에서는 카메라부(120)를 통해 실시간 영상을 촬영할 수 있게 된다.
입력부(130)는 다수의 숫자키 및 기능키들을 구비하고 있으며, 사용자가 누르는 키에 대응하는 키입력 데이터를 제어부(110)로 출력한다.
표시부(140)는 제어부(110)의 제어 하에 각종 표시 내용 및 메시지 등을 표시한다. 표시부(140)는 LCD(Liquid Crystal Display), TFT(Thin Film Transistor) 및 유기 EL(Organic Electroluminescence) 등을 소자로 하는 디스플레이 패널로 구성될 수 있다. 예컨대, 표시부(140)가 터치스크린으로 구성될 경우에는 표시부(140)는 동시에 입력부(130)로 동작하도록 구성될 수 있다.
저장부(150)는 제어부(110)의 제어에 따른 동작 시 필요한 다수의 프로그램 및 데이터를 저장하기 위한 롬(ROM: Read Only Memory), 램(RAM: Random Access Memory), 내장 플래쉬 메모리, 외장 메모리 카드 등으로 이루어진다. 본 실시예에 따른 저장부(150)는 후술할 촬영 위치 추정부(170)에서의 촬영 자세 및 위치 추정에 사용하기 위해, 크기가 큰 대상 객체의 전체 형상을 촬영한 참조 영상을 기정위된 단위로 분할한 복수의 분할 영상들 각각의 특징점을 분할 영상 별로 저장하는 기능을 수행한다.
이동통신부(160)는 안테나를 통해 기지국과 RF 신호를 송수신하여 단말 장치(110)가 무선통신을 수행할 수 있게 한다.
제어부(110)는 단말의 다른 구성부를 제어한다. 제어부(110)는 다른 구성부들을 제어하여 통화 및 데이터 송수신 등과 같은 일반적인 통신 기능을 수행하며, 본 실시예에서는 저장부(150)에 저장된 분할 영상별 특징점 정보를 기초로 하여, 촬영 위치 추정부(170)를 제어하여 카메라부(120)를 통해 실시간으로 획득되는 실시간 영상의 촬영 자세 및 위치를 추정하고, 이러한 추정 결과를 기초로 하여, 증강현실 제공부(180)에서 실시간으로 증강현실 서비스를 사용자에게 제공할 수 있게 한다.
촬영 위치 추정부(170)는 카메라부(120)를 통한 실시간 영상을 입력받아 실시간 영상의 특징점을 추출하고, 저장부(150)에 저장된 분할 영상별 특징점 정보와 비교하여, 실시간으로 입력 영상의 촬영 자세 및 위치 추정을 수행한다.
본 발명의 일실시예에 따른 촬영 위치 추정부(170)는 카메라부(120)를 통해 실시간으로 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여 실시간 영상의 특징점을 추출하고, 추출된 실시간 영상의 특징점을 저장부(150)에 기저장된 분할 영상별 특징점과 정합하여, 정합된 결과를 기초로 실시간 영상의 촬영 자세 및 위치를 추정할 수 있다.
본 실시예에서 “정합(matching)”이란 표현은 대상들을 서로 비교하여 서로 대응되는 짝을 찾아 맞춘다는 의미를 갖는다.
이때, 촬영 위치 추정부(170)는 이처럼 정합된 결과를 기초로 분할영상들 중 실시간 영상에 매칭되는 매칭 분할 영상을 도출하고, 도출된 매칭 분할 영상 내에서 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 실시간 영상의 촬영 자세 및 위치를 추정할 수 있다.
특히, 촬영 위치 추정부(170)는 분할 영상 및 실시간 영상의 특징점들의 쌍을 이용하여 분할 영상 및 실시간 영상에 있는 객체 평면 간의 대응 관계 homography를 계산하고, 이러한 대응관계 homography로부터 촬영 자세 및 위치를 추정할 수 있다. 이때, 실시간 영상에 매칭되는 매칭 분할 영상은 실시간 영상의 특징점에 대응되는 특징점을 적어도 4개 이상 가져야 한다. 이는 4개 이상의 서로 대응되는 특징점이 있어야 두 영상 내의 임의의 모든 점에 대한 대응관계 homography를 정의할 수 있기 때문이다.
본 실시예에서 대응관계 homography로부터 촬영 자세 및 위치를 추정하는 방법은 종래의 공지된 수학적 알고리즘을 적용할 수 있으며, 본 발명에서는 이러한 homography로부터 촬영 자세 및 위치를 추정하는 알고리즘 자체를 한정하거나 제한하지는 않는다.
증강현실 제공부(180)는 촬영 위치 추정부(170)를 통해 추정된 실시간 영상의 촬영 자세 및 위치를 기초로 하여 현실과 일치시킬 수 있는 가상 영상이나 정보 등을 생성하여 표시부(140)등을 통해 사용자에게 증강현실 서비스를 제공한다.
도 2는 본 발명의 바람직한 일실시예에 따른 증강현실 서비스를 제공하는 단말 장치의 촬영 위치 추정부(200)의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 실시예에 따른 단말 장치의 촬영 위치 추정부(200)는 실시간 영상 특징점 추출부(210), 영상 정합부(220) 및 촬영위치계산부(230)를 포함하여 구성될 수 있다.
실시간 영상 특징점 추출부(210)는 실시간으로 카메라를 통해 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여, 획득된 실시간 영상의 특징점을 추출한다. 실시간 영상 특징점 추출부(210)는 SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 등의 종래에 공지된 특징점 추출 알고리즘을 이용하여 실시간 영상으로부터 특징점을 추출할 수 있으나, 이는 본 발명의 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명에서는 특징점 추출 알고리즘 자체를 한정하거나 제한하지는 않는다.
영상 정합부(220)는 크기가 큰 대상 객체의 전체 형상을 촬영한 참조 영상을 기정위된 단위로 분할한 복수의 분할 영상들 각각에 대하여 기저장된 특징점과 실시간 영상 특징점 추출부(210)를 통해 추출된 특정점을 서로 정합한다.
영상 정합부(220)는 이러한 정합 결과를 기초로 참조 영상의 분할영상들 중 실시간 영상에 매칭되는 매칭분할영상을 도출할 수 있다. 즉, 영상 정합부(220)는 서로 대응되는 분할 영상 및 실시간 영상의 특징점들의 쌍을 이용하여 분할 영상 및 실시간 영상에 있는 객체 평면 간의 대응 관계 homography를 계산하고, 대응 관계 homography 상에서 실시간 영상과 유사한 대응점이 가장 많은 분할 영상을 매칭분할영상으로 도출할 수 있다.
촬영위치계산부(230)는 영상정합부(220)에서 도출된 매칭분할영상 내에서 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 실시간 영상의 촬영 자세 및 위치를 추정할 수 있다. 즉, 촬영위치계산부(230)는 매칭 분할 영상 및 실시간 영상에 있는 객체 평면 간의 대응 관계 homography로부터 촬영 자세 및 위치를 추정할 수 있다. 본 실시예에서 대응관계 homography로부터 촬영 자세 및 위치를 추정하는 방법은 종래의 공지된 수학적 알고리즘을 적용할 수 있으며, 본 실시예에서는 이러한 homography로부터 촬영 자세 및 위치를 추정하는 알고리즘 자체를 한정하거나 제한하지는 않는다.
도 3은 본 발명의 바람직한 일실시예에 따른 증강현실 서비스를 위한 실시간 영상의 촬영 자세 및 위치를 추정하는 방법의 흐름을 도시한 도면으로, 본 실시예에 따른 실시간 영상 촬영 자세 및 위치 추정 방법은 도 1에 도시된 단말 장치(100) 또는 도 2에 도시된 촬영 위치 추정부(200)에서 수행될 수 있다. 따라서, 도 1에 도시된 단말 장치(100) 또는 도 2에 도시된 촬영 위치 추정부(200)에서와 동일한 사항에 대해서는 이를 참조한다.
대상 객체의 전체 형상을 촬영한 참조영상을 기정의된 단위로 분할하여 서로 동일한 해상도를 갖는 복수의 분할영상들을 생성한다(S301).
S301 단계에서 생성된 분할 영상들 각각의 특징점을 추출한다(S302).
S302 단계에서 추출된 분할 영상들 각각의 특징점을 분할 영상별로 저장한다(S303). 이때, 특징점 정보는 특징점 인덱스, 특징점의 X, Y 좌표 및 약 320 비트의 특징점 표현 데이터의 구조로 저장될 수 있다.
S301내지 S303까지의 단계는 참조영상을 입력받아 참조영상의 특징점을 학습하는 과정으로 실시간으로 증강현실 서비스를 제공하기 이전에 미리 수행되어 있어야 한다.
실시간 증강현실 서비스의 현실 세계로 사용할 실제 영상을 획득하기 위해, 카메라 등을 통해 실시간으로 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득한다(S304)
S304 단계에서 획득된 실시간 영상의 특징점을 추출한다(S305). 이때, SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 등의 종래에 공지된 특징점 추출 알고리즘을 이용할 수 있으나, 이는 본 발명의 설명의 편의를 위한 하나의 실시예에 불과하며, 본 발명에서는 특징점 추출 알고리즘 자체를 한정하거나 제한하지는 않는다.
S301내지 S303까지의 학습과정을 통해 기저장된 참조영상의 분할영상들 각각의 특징점과 S305 단계에서 추출된 실시간 영상의 특징점을 서로 정합한다(S306). 이때, 실시간 영상의 특징점 정보 및 분할 영상의 특징점 정보를 서로 정합하는 과정에서 양 특징점 정보의 320 비트의 특징점 표현 데이터의 0 혹은 1의 나열 형태가 기정의된 개수(예컨대, 5개)의 문턱값을 제외하고 서로 동일한 경우에, 양 특징점이 서로 대응되는 것으로 판단할 수 있다.
S306 단계에서의 정합 결과를 기초로 실시간 영상에 매칭되는 매칭 분할 영상을 도출한다(S307).
예컨대, 분할 영상과 실시간 영상 간에 4개 이상의 대응되는 특징점 쌍이 있는 경우에, 양 영상 내의 임의의 모든 점에 대한 대응관계 homography를 정의할 수 있게 된다.
이때, 무작위로 4개의 대응 특징점 쌍을 추출하여, homography를 정의하고, 다른 특징점 쌍들이 이 homography와 얼마나 유사한 대응점을 갖는지 계산한다.
이러한 무작위 선택방법을 반복적으로 수행하여, 가장 많은 수의 유사한 대응점을 갖는 homography에 대응되는 분할 영상을 매칭 분할 영상으로 도출할 수 있다.
S307 단계에서 도출된 매칭 분할 영상 내에서 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 실시간 영상의 촬영 자세 및 위치를 추정한다(S308). 이때, 매칭 분할 영상 및 실시간 영상에 있는 객체 평면 간의 대응 관계 homography로부터 종래의 공지된 수학적 알고리즘을 적용하여 촬영 자세 및 위치를 추정할 수 있다.
도 4는 본 발명의 바람직한 일실시예에 따라 생성되는 참조 영상을 분할한 예를 도시한 도면이다.
도 4를 참조하면, 본 실시예에 따른 참조 영상은 박물관에 전시된 약 576 cm * 273 cm의 대형 그림를 촬영한 것으로, 이는 사용자가 휴대할 수 있는 단말로 그 전체 형상을 촬영하기에는 다소 어려움이 있는 큰 크기를 갖는다. 따라서, 본 실시예에서는 이를 4등분하여 동일한 해상도를 갖는 분할 영상으로 생성한다.
도 5는 본 발명의 바람직한 일실시예에 따라 분할 영상별로 특징점을 추출한 예를 도시한 도면이다.
도 5를 참조하면, 본 실시예에 따른 분할 영상들 각각에 대하여 특징점을 추출하여 훈련하게 된다. 이때, SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 등의 종래에 공지된 특징점 추출 알고리즘을 이용하여 실시간 영상으로부터 특징점을 추출할 수 있으나, 이는 본 발명의 설명의 편의를 위한 하나의 실시예에 불과하며, 본 실시예에서는 특징점 추출 알고리즘 자체를 한정하거나 제한하지는 않는다.
도 6은 본 발명의 바람직한 일실시예에 따라 따라 실시간 영상의 특징점과 분할 영상별 특징점을 정합하여 매칭 분할 영상을 도출한 예를 도시한 도면이다.
도 6을 참조하면, 실시간 입력 영상(600)의 특징점들과, 기저장된 참조영상의 분할영상들(601 내지 604) 각각의 특징점들을 서로 비교하여, 실시간 영상에 매칭되는 매칭 분할 영상(601)을 찾게 된다.
이러한 본 발명에서 제시하는 일련의 과정에 따라, 마커리스 증강현실 서비스를 제공하기 어려울 정도로 크기가 큰 대형 물체를 대상 객체로 하여 실시간으로 촬영 자세 및 위치를 추정할 수 있게 되어, 이를 기초로 보다 고성능의 증강현실 서비스를 제공할 수 있게 된다. 이는 스마트폰이나 태블릿 PC와 같은 소형의 단말 장치에서 증강현실 서비스를 제공함에 있어서 특히 유용하다.
아울러, 본 발명에 따라 3차원 모델의 텍스쳐를 생성하는 과정은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (10)

  1. 대상 객체의 전체 형상을 촬영한 참조영상을 분할한 복수의 분할 영상들 각각의 특징점을 분할 영상 별로 저장하는 저장부;
    실시간으로 상기 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여 상기 실시간 영상의 특징점을 추출하는 실시간 영상 특징점 추출부;
    상기 복수의 분할영상들 각각의 특징점과 상기 실시간 영상의 특징점을 서로 정합하고, 정합된 결과를 기초로 상기 복수의 분할영상들 중 상기 실시간 영상에 매칭되는 매칭분할영상을 도출하는 영상 정합부;
    상기 도출된 매칭분할영상 내에서 상기 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 상기 실시간 영상의 촬영 자세 및 위치를 추정하는 촬영 위치 계산부; 및
    상기 실시간 영상의 촬영 자세 및 위치를 기초로 실시간 증강 현실을 제공하는 증강 현실 제공부를 포함하고,
    상기 영상정합부는 상기 분할영상과 상기 실시간 영상의 대응되는 특징점 쌍 중 임의로 4개의 특징점 쌍을 추출하여 호모그래피를 정의하고 상기 정의된 호모그래피 상에서 상기 실시간 영상과 유사한 대응점의 수를 연산하는 작업을 반복하여, 가장 많은 수의 유사한 대응점을 갖는 호모그래피에 대응되는 분할영상을 상기 매칭분할영상으로 도출하는 것을 특징으로 하는 마커리스 증강현실 제공장치.
  2. 제1항에 있어서,
    상기 마커리스 증강현실 제공장치는 모바일 단말 장치 내에 탑재되는 것을 특징으로 하는 마커리스 증강현실 제공장치.
  3. 제1항에 있어서,
    상기 촬영 위치 계산부는 상기 매칭분할영상 및 상기 실시간 영상의 객체 평면 간의 대응관계를 기초로 상기 실시간 영상의 촬영 자세 및 위치를 추정하는 것을 특징으로 하는 마커리스 증강현실 제공장치.
  4. 제1항에 있어서,
    상기 매칭분할영상은 상기 실시간 영상의 특징점에 대응되는 특징점을 적어도 4개 이상 갖는 것을 특징으로 하는 마커리스 증강현실 제공장치.
  5. 제1항에 있어서,
    상기 실시간 영상 특징점 추출부는 SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 중 적어도 하나 이상을 이용하는 것을 특징으로 하는 마커리스 증강현실 제공장치.
  6. 대상 객체의 전체 형상을 촬영한 참조영상을 분할하여 서로 동일한 해상도를 갖는 복수의 분할영상들을 생성하는 단계;
    상기 복수의 분할영상들 각각의 특징점을 추출하여 분할영상 별로 저장하는 단계;
    실시간으로 상기 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여 상기 실시간 영상의 특징점을 추출하는 특징점추출단계;
    상기 복수의 분할영상들 각각의 특징점과 상기 실시간 영상의 특징점을 서로 정합하고, 정합된 결과를 기초로 상기 복수의 분할영상들 중 상기 실시간 영상에 매칭되는 매칭분할영상을 도출하는 단계; 및
    상기 도출된 매칭분할영상 내에서 상기 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 상기 실시간 영상의 촬영 자세 및 위치를 추정하는 트레이싱 단계를 포함하고,
    상기 매칭분할영상을 도출하는 단계는 상기 분할영상과 상기 실시간 영상의 대응되는 특징점 쌍 중 임의로 4개의 특징점 쌍을 추출하여 호모그래피를 정의하고 상기 정의된 호모그래피 상에서 상기 실시간 영상과 유사한 대응점의 수를 연산하는 작업을 반복하여, 가장 많은 수의 유사한 대응점을 갖는 호모그래피에 대응되는 분할영상을 상기 매칭분할영상으로 도출하는 것을 특징으로 하는 마커리스 증강현실을 위한 촬영 위치 추정 방법.
  7. 제6항에 있어서,
    상기 트레이싱 단계는 상기 매칭분할영상 및 상기 실시간 영상의 객체 평면 간의 대응관계를 기초로 상기 실시간 영상의 촬영 자세 및 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 마커리스 증강현실을 위한 촬영 위치 추정 방법.
  8. 제6항에 있어서,
    상기 매칭분할영상은 상기 실시간 영상의 특징점에 대응되는 특징점을 적어도 4개 이상 갖는 것을 특징으로 하는 마커리스 증강현실을 위한 촬영 위치 추정 방법.
  9. 제6항에 있어서,
    상기 특징점 추출 단계는 SIFT(Scale Invariant Feature Transform)나 SURF(Speed Up Robust Features) 중 적어도 하나 이상을 이용하는 것을 특징으로 하는 마커리스 증강현실을 위한 촬영 위치 추정 방법.
  10. 마커리스 증강현실을 위한 촬영 위치 추정 기능을 포함하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    대상 객체의 전체 형상을 촬영한 참조영상을 분할하여 서로 동일한 해상도를 갖는 복수의 분할영상들을 생성하는 기능;
    상기 복수의 분할영상들 각각의 특징점을 추출하여 분할영상 별로 저장하는 기능;
    실시간으로 상기 대상 객체의 부분 형상을 촬영한 실시간 영상을 획득하여 상기 실시간 영상의 특징점을 추출하는 기능;
    상기 복수의 분할영상들 각각의 특징점과 상기 실시간 영상의 특징점을 서로 정합하고, 정합된 결과를 기초로 상기 복수의 분할영상들 중 상기 실시간 영상에 매칭되는 매칭분할영상을 도출하는 기능; 및
    상기 도출된 매칭분할영상 내에서 상기 실시간 영상의 특징점에 대응되는 특징점의 상대적인 위치를 기초로 상기 실시간 영상의 촬영 자세 및 위치를 추정하는 기능를 포함하는 것을 특징으로 하는 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120095008A 2012-08-29 2012-08-29 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 KR101586071B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120095008A KR101586071B1 (ko) 2012-08-29 2012-08-29 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095008A KR101586071B1 (ko) 2012-08-29 2012-08-29 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법

Publications (2)

Publication Number Publication Date
KR20140030444A KR20140030444A (ko) 2014-03-12
KR101586071B1 true KR101586071B1 (ko) 2016-02-03

Family

ID=50642882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095008A KR101586071B1 (ko) 2012-08-29 2012-08-29 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법

Country Status (1)

Country Link
KR (1) KR101586071B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160062770A (ko) * 2014-11-25 2016-06-03 전자부품연구원 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치
KR101725478B1 (ko) * 2015-05-21 2017-04-11 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
JP6965450B2 (ja) 2018-07-03 2021-11-10 富士フイルム株式会社 撮影計画提示装置および方法
KR102321998B1 (ko) * 2019-09-17 2021-11-04 네이버랩스 주식회사 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템
KR102534171B1 (ko) * 2022-06-30 2023-05-26 주식회사 와이엠엑스 그리드 분할 및 캐싱을 이용한 aec 산업용 증강현실 서비스 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259114A (ja) * 2003-02-27 2004-09-16 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2005322002A (ja) * 2004-05-07 2005-11-17 Kazuo Iwane 複合人工知能装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110130309A (ko) * 2010-05-27 2011-12-05 한국항공대학교산학협력단 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법
KR20120038616A (ko) * 2010-10-14 2012-04-24 한국전자통신연구원 마커리스 실감형 증강현실 제공 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259114A (ja) * 2003-02-27 2004-09-16 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2005322002A (ja) * 2004-05-07 2005-11-17 Kazuo Iwane 複合人工知能装置

Also Published As

Publication number Publication date
KR20140030444A (ko) 2014-03-12

Similar Documents

Publication Publication Date Title
US11145083B2 (en) Image-based localization
CN108028871B (zh) 移动设备上的无标记的多用户多对象增强现实
JP5423406B2 (ja) 情報処理装置、情報処理システム及び情報処理方法
CN104885098B (zh) 基于移动装置的文本检测及跟踪
US10410089B2 (en) Training assistance using synthetic images
WO2019205851A1 (zh) 位姿确定方法、装置、智能设备及存储介质
US9418480B2 (en) Systems and methods for 3D pose estimation
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
EP2903256B1 (en) Image processing device, image processing method and program
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
KR20160003066A (ko) 일반적인 카메라 움직임 및 파노라마 카메라 움직임을 갖는 단안 시각 slam
CN110866977B (zh) 增强现实处理方法及装置、***、存储介质和电子设备
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及***
US9058660B2 (en) Feature searching based on feature quality information
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
CN112669381B (zh) 一种位姿确定方法、装置、电子设备及存储介质
CN105809664B (zh) 生成三维图像的方法和装置
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
EP2577504B1 (en) Methods and arrangements for augmented reality
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
CN113838151B (zh) 相机标定方法、装置、设备及介质
CN107818596B (zh) 一种场景参数确定方法、装置及电子设备
CN114140536A (zh) 位姿数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20141031

Effective date: 20150323

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5