KR101546654B1 - 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치 - Google Patents

웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR101546654B1
KR101546654B1 KR1020130074065A KR20130074065A KR101546654B1 KR 101546654 B1 KR101546654 B1 KR 101546654B1 KR 1020130074065 A KR1020130074065 A KR 1020130074065A KR 20130074065 A KR20130074065 A KR 20130074065A KR 101546654 B1 KR101546654 B1 KR 101546654B1
Authority
KR
South Korea
Prior art keywords
quot
rotation
menu
axis
coordinate system
Prior art date
Application number
KR1020130074065A
Other languages
English (en)
Other versions
KR20140001167A (ko
Inventor
우운택
하태진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20140001167A publication Critical patent/KR20140001167A/ko
Application granted granted Critical
Publication of KR101546654B1 publication Critical patent/KR101546654B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)를 생성하는 과정과, 생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합하는 과정과, 상기 월드 좌표계로 통합된 3차원 좌표 공간에서 선택된 3D객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 상기 선택된 3D객체를 제어하는 과정과, 증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 과정을 포함함을 특징으로 한다.

Description

웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY SERVICE IN WEARABLE COMPUTING ENVIRONMENT}
본 발명은 HMD(Head Mounted Display)를 착용한 사용자가 현장에서 스마트 폰 기반의 3차원 모바일 입력 장치를 이용하여 디지로그 스페이스를 생성하고 가상 콘텐츠를 추가할 수 있도록 하기 위한 웨어러블 증강현실 환경에서 증강현실 서비스 제공에 관한 것이다.
최근 디지털 정보를 볼 수 있는 언제 어디서나 볼 수 있는 착용형 안경(도 2의 (a))이 경량화되면서 이를 활용하여 가상공간의 디지털 정보들 (예. 지역 정보, 사진, 트윗, 지도, 광고, 숙박, 식당, 위키피디아 등)을 현장에서 즉시적으로 사용자에게 제공하고자 하는 시도가 많은 주목을 받고 있다. 이는 기존의 정보 획득의 미디어로서 사용되고 있는 휴대용 인터넷 단말기 (예. 스마트 폰, 노트북)를 대체할 수 있는 뉴 미디어로의 역할을 할 수 있다. 즉, 현장의 사용자에게 관심 정보를 즉시적으로 제공할 수 있으며 기존의 페이스 북/트위터/유투브와 같은 라이프 로깅 서비스를 언제 어디서나 즉각적으로 수행할 수 있으며, 다양한 정보를 손쉽게 획득 할 수 있을 것이다. 이는 사회/문화/경제/산업적으로 다양한 파급효과를 가져올 것이다.
(1) 증강현실 저작 인터페이스
기존의 증강현실 저작방법은 일반적으로 프로그래밍 기반의 저 차원 저작 방법과 비 프로그래밍 기반의 고 차원 저작 방법으로 분류할 수 있다 [6]. 프로그래밍 기반 저작 방법 (ARToolKit, osgART, Goblin XNA 등)은 프로그래밍을 통해서 성능을 최적화할 수 있는 장점이 있지만, 컴퓨터 비전과 3D 그래픽스에 대한 전문적인 지식이 있는 기술 개발자들을 대상으로 하기 때문에 일반 사용자는 사용하기 어렵다는 단점이 있다.
비 프로그래밍 기반의 저작 방법은 그래피컬 사용자 인터페이스 (GUI: Graphical User Interface) 기반의 비주얼 프로그래밍을 기반으로 상대적으로 비전문가도 사용할 수 있다는 장점이 있다 (ComposAR, CATOMIR, Metaio 등). 하지만 기존의 GUI기반의 2차원 인터페이스는 본 연구에서 다루는 3차원 공간 조작에 적용하기 어렵다. 한편, 감각형 사용자 인터페이스 (TUI: Tangible User Interface) 기반의 저작 방법은 GUI 방법 보다 좀 더 추상적이고 쉬운 저작을 가능하게 하며 3차원 조작이 가능하다 (iaTAR, ARtalet 등). 하지만, TUI 는 주로 근거리에 있는 3D 객체를 직접 조작하는 데 유용하다. 따라서 본 연구에서 지향하는 3차원 공간을 대상으로 하는 디지로그 스페이스의 인터페이스로는 부적절하다.
(2) 증강현실 저작을 위한 정합 방법
가장 단순한 정합 방법은 GPS/나침반 센서를 기반으로 미러월드를 정합하는 방법으로 대부분의 모바일 증강현실 응용에서 사용하는 방법이다(Layar, Wikitude AR, Junaio, Sekai 카메라). 실외 환경에서 작동이 가능하며, GPS/나침반 센서 정보의 오차로 인해 정합의 정밀도가 매우 낮다.
좀 더 정밀한 정합을 위해서는 2D 객체를 사용하는 방법이 있다. 색상 대비가 분명한 정사각형의 마커를 이용하여 카메라 트래킹을 수행하고 가상 객체를 정합한다 (ARToolKit, ARToolKit Plus, 2D 바코드 마커). 또는 자연 이미지의 2D 객체를 대상으로 정합하는 방법도 있다 (BazAR, Qualcomm AR SDK). 또는 상용 소프트웨어 (Virtools, Max/Maya, Unity3D, RhinoAR, Autodesk 3DS Max, Flash)에 증강현실 플러그인을 적용하여, 소프트웨어로 제작한 3D 모델들을 2D 객체에 정합하기도 한다. 하지만, 이러한 방법은 정합의 대상이 2차원 평면에 국한 것으로 본 연구에서 다루는 3차원 공간을 대상으로 한 정합에 적합하지 않다.
(3) 웨어러블 증강현실 환경에서 모바일 입력 장치 기반 3D 객체 조작 방법
모바일 입력 장치를 활용하여 3D 객체를 조작하는 가장 단순한 방법은, 모바일 장치의 버튼 장치를 누르는 방법이다. 하지만 이러한 이산적인 (Discrete) 사용자 입력은 3D 공간에서 고차원의 동시조작 (3차원 이동, 3차원 회전)이 불가능 하며 시간이 많이 지연된다. 이의 연장선으로 조이스틱 또는 터치 기반의 입력을 사용하는 2 자유도의 입력방식 역시 높은 자유도의 조작을 수행하는 것은 불가능하다. 모바일 입력 장치의 내장 센서 (예, 기울기, 가속도계, 자이로, 나침반 센서 등)를 사용하면 3D 자유도의 조작이 가능하며, 자이로 마우스, 게임 컨트롤러, 메뉴 선택, 텍스트 입력, 스크롤 제스처, 3D 객체 회전을 위해서 사용되었다. 하지만, 이들 또한 3D 공간에서 자유로운 조작 (6 자유도의 이동/회전)이 불가능하다. 일반적으로는 6 자유도의 3D 객체 조작을 위해서는 외부에 설치된 트래킹 장치가 입력 장치의 위치/회전을 인식/추적해야한다 (3D 게임 컨트롤러, uWand, VR Wand 등) 그러나 이러한 입력 장치들은 외부 트래킹 장치를 필요로하기 때문에, 실외 환경과 일상적인 공간 등에 적용하는 것이 불가능하다.
따라서 본 발명은 이와 같은 문제를 해결하기 위해 웨어러블 컴퓨팅 환경에서 디지로그 스페이스를 쉽게 정합하고 가상 콘텐츠를 삽입/조작할 수 있는 저작 방법을 제안하다. 즉, 제안하는 방법은 외부 트래킹 시스템이 없는 일반적인 실내외 환경에서, 사용자가 스마트 폰 기반의 3D 사용자 인터페이스를 이용하여 현실 공간에 미러월드를 정확하게 정합한 후, 3D 가상 객체를 불러오고 3차원적으로 조작할 수 있도록 하는 것을 목표로 한다.
구체적으로 RGB-D (Depth: 깊이. 거리 정보) 비디오 투과형 HMD (Video See-through Head Mounted Display)를 착용한 저작 사용자는 사전에 알려지지 않은 (모델링 되어 있지 않은 공간) 임의의 공간(현장)의 영상 특징 데이터를 실시간으로 획득하고, 깊이 영상 정보를 이용하여 가상공간을 정합하기 위한 국소 참조 좌표계 (Local Reference Coordinates)를 자동적으로 생성할 수 있도록 한다. 이를 통해 사용자는 자유로운 이동에도 끊임없이 디지로그 스페이스의 정보/콘텐츠를 획득 할 수 있다. 웨어러블 증강현실 환경에서 사용자가 스마트 폰 기반의 3차원 모바일 입력 장치를 이용하여 다양한 거리로 3D 가상 객체들을 불러오고 조작할 수 있도록 한다. 특히, 본 특허는 사용자의 손목 운동 반경을 고려하여, 모바일 입력 장치의 조작 이득 (Control Gain)을 변형하거나 개인화하여, 손목의 피로를 덜고 조작 성능을 향상시키고자 한다. 추가로 웨어러블 증강현실에 적합하도록, 모바일 장치를 이용하여 조작 메뉴를 직관적으로 탐색/선택할 수 있도록 한다.
본 발명의 일 견지에 따르면, 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)를 생성하는 과정과, 생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합하는 과정과, 상기 월드 좌표계로 통합된 3차원 좌표 공간에서 선택된 3D객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 상기 선택된 3D객체를 제어하는 과정과, 증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)좌표계와 미러월드(mirror world)의 월드 좌표계를 생성하는 좌표 생성부와, 상기 좌표 생성부로부터 생성된 로컬 레퍼런스 좌표계와 월드 좌표계를 통합하고, 통합된 3차원 좌표 공간에서 사용자 인터페이스부를 통해 선택된 3D 객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 3D 객체를 제어하는 제어부와, 상기 제어부의 제어 하에 복수 개의 계층적 메뉴 인터페이스를 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 메뉴 조작부를 포함함을 특징으로 한다.
본 발명은 디지로그 스페이스에서 사용자는 현장에서 실제 관찰하고 있는 관심 대상 또는 상황에 대하여 부과적인 정보를 제공받을 수 있기 때문에 이해도가 높아질 수 있으며 일을 좀 더 효율적으로 수행할 수 있다. 또한 사용자는 현장에서, 시간과 공간을 뛰어넘는 흥미 있는 경험을 할 수 있는 효과가 있다.
또한, 영화의 한 장면을 현장으로 불러와 체험해 보거나, 과거의 미러월드를 현실로 불러와 과거 여행을 할 수도 있을 뿐만 아니라, 원격 공간의 미러월드를 현장으로 가져와서 원격 체험을 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 관한 전체 흐름도.
도 2 내지 5 및 도 7은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공에 관한 화면 예시도.
도 6은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관한 상세 블록도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 HMD(Head Mounted Display)를 착용한 사용자가 현장에서 스마트 폰 기반의 3차원 모바일 입력 장치를 이용하여 디지로그 스페이스를 생성하고 가상 콘텐츠를 추가할 수 있도록 하기 위한 웨어러블 증강현실 환경에서 증강현실 서비스 제공에 관한 것으로, 보다 상세하게는 RGB-D 비디오 투과형 HMD를 착용한 저작 사용자는 사전에 알려지지 않은 임의의 물리 공간의 영상 특징 데이터를 실시간으로 획득하고, 깊이 영상 정보를 이용하여 가상공간을 정밀하게 정합하기 위한 국소 참조 좌표계를 생성하여 사용자의 자유로운 이동에도 끊임없이 미러월드의 콘텐츠를 현실에서 체험할 수 있도록 하고, 스마트 폰 기반의 모바일 입력 장치를 이용하여 다양한 거리로 3D 가상 객체들을 불러오고, 선택하고, 그리고 조작 할 수 있도록 함으로써 비 프로그래밍 기반의 저작방법은 일반 사용자도 쉽게 사용할 수 있으며, 또한 외부 트래킹 장치가 설치되어 있지 않은 일상생활 공간에서 디지로그 스페이스를 만들 수 있는 기술을 제공하고자 한다.
특히 본 발명에서 고려하는 웨어러블 증강 현실 기반으로 한 디지로그 스페이스(DigiLog Space)는 물리적인 현실 공간과 그것의 복제된 가상공간인 미러월드 (Mirror World)가 정합된 공간으로, 증강 현실용 안경 (HMD: Head Mounted Display)을 착용한 사용자는 공간에 해당하는 미러월드의 다양한 정보들을 입체적으로 획득할 수 있다 [1]. 즉, 디지로그 스페이스에서 사용자는 현장에서 실제 관찰하고 있는 관심 대상 또는 상황에 대하여 부과적인 정보를 제공받을 수 있기 때문에 이해도가 높아질 수 있으며 일을 좀 더 효율적으로 수행할 수 있다. 또한 사용자는 현장에서, 시간과 공간을 뛰어넘는 흥미 있는 경험을 할 수 있다. 예를 들면 영화의 한 장면을 현장으로 불러와 체험해 보거나 (도 2. (b)), 과거의 미러월드를 현실로 불러와 과거 여행을 할 수도 있다. 또는 원격 공간의 미러월드를 현장으로 가져와서 원격 체험을 할 수 있다. 이와 같이 디지로그 스페이스는 다양한 응용 가능성을 가지고 있다.
이하, 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 대해 도 1 내지 도 5를 참조하여 자세히 살펴보기로 한다.
우선, 도 1은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 관한 전체 흐름도이다.
도 1을 참조하면, 먼저 110 과정에서 카메라를 통해 깊이 정보를 포함하는 3차원 영상을 획득하고, 112 과정에서 상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Referenct Coordinates)를 생성한다.
이때, 상기 로컬 레퍼런스 좌표계를 생성하는 과정은, 좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 (1)을 이용하여 획득한다.
[수학식 1]
Figure 112013057494096-pat00001
[수학식 2]
Figure 112013057494096-pat00002
Figure 112015031199328-pat00003

(여기서, Π: 평면, a, b, c, d: 평면을 구성하는 파라미터,
Figure 112015031199328-pat00095
,
Figure 112015031199328-pat00096
,
Figure 112015031199328-pat00097
: 3차원 공간상의 한 점의 좌표,
Figure 112015031199328-pat00098
,
Figure 112015031199328-pat00099
: 평면상의 임의의 서로 다른 두 점, N : 계산할 점들의 개수)
획득된 사용자가 바라보는 평면에 대한 정보는 수학식 (1)과 같이, 3차원 영상 특징 좌표들에 대해서 평면의 방정식을 구성하는 변수 a, b, c, d를 구하기 위한 최적화 문제로 정의할 수 있다.
수학식 (1)의 해로부터 상기의 수학식 (2)를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하고, 상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정한다.
상기 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산함으로써 실제 공간에 대한 레퍼런스 좌표계의 회전축을 도 7에 도시된 바와 같이 설정 가능하다.
이후, 기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 3을 이용하여 하기의 수학식 4를 유도한다.
하기의 수학식 3처럼 접선
Figure 112013057494096-pat00004
은 한 점
Figure 112013057494096-pat00005
와, 방향 벡터
Figure 112013057494096-pat00006
로 표현될 수 있으며, 두 평면 모두에 대해서 수직임을 알 수 있다. 이러한 관계를 이용하여 수학식 6을 유도할 수 있고,
Figure 112013057494096-pat00007
는 두 평면에 모두 접하는 접점이기 때문에 하기의 수학식 5를 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인
Figure 112013057494096-pat00008
을 구하여 접점으로 설정한다.
이것을 좌표축의 기준 위치로 설정하고, 상기 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터
Figure 112013057494096-pat00009
로 설정하고, 상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 도 7의 (b)와 같은 형태로 보정할 수 있다.
[수학식 3]
Figure 112013057494096-pat00010
[수학식 4]
Figure 112013057494096-pat00011
[수학식 5]
Figure 112013057494096-pat00012
Figure 112015031199328-pat00013

(여기서,
Figure 112015031199328-pat00100
,
Figure 112015031199328-pat00101
: 서로 다른 두 평면,
Figure 112015031199328-pat00102
: 사용자가 지정한 3차원 점, t: 직선의 파라미터,
Figure 112015031199328-pat00103
,
Figure 112015031199328-pat00104
: 서로 다른 두 평면의 법선벡터,
Figure 112015031199328-pat00105
: 임의의 3차원 점)
마지막으로 RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 현실 공간의 스케일을 통일하기 위해서, 다음 수식 6과 같이 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산한다. 그리고 깊이 정보를 통해, 수식 7과 같이 두 점 각각에 대해서 거리를 계산한다. 최종적으로 수식 8과 같이 이 두 거리의 비율을 구한다. 이를 통해 현실공간의 단위 스케일 (예. mm, cm, m 등의 단위)을 반영하여 가상객체를 정확한 크기로 증강할 수 있다.
[수학식 6]
Figure 112013057494096-pat00014
[수학식 7]
Figure 112013057494096-pat00015
[수학식 8]
Figure 112015031199328-pat00016

(여기서,
Figure 112015031199328-pat00106
,
Figure 112015031199328-pat00107
: 임의 스케일인 가상 공간에서, 임의의 두 점,
Figure 112015031199328-pat00108
,
Figure 112015031199328-pat00109
: 카메라 중심 위치를 기준으로 한, 점
Figure 112015031199328-pat00110
,
Figure 112015031199328-pat00111
에 대한 실측 거리, dimage:임의 스케일인 가상 공간에서, 두 점 사이의 거리)
계속해서, 114 과정에서는 생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합한다.
즉, 사용자는 카메라를 이용하여 사전에 모델링되지 않은 현장 공간에 대해서 기하학적 구조의 영상 특징 정보들을 획득하고, 이를 기반으로 로컬 레퍼런스 좌표계를 생성한다.
그리고 도 3의 (b)에 도시된 바와 같이, 기존의 2차원 사용자 인터페이스는 디지로그 스페이스에서 빈번하게 사용되는 3차원 조작을 원활하게 수행하기 어려움을 해결하기 위하여 상기 생성된 좌표계와 미러 월드의 월드 좌표계를 도 3(a)에 도시된 바와 같이 정합한다.
이는 현실과 미러 월드 간의 스케일이 정확하게 통일되어야만 3차원 정보/콘텐츠들을 정확한 크기로 증강하기 위한 것으로, 상기 정합을 통해 사용자의 HMD 카메라의 자세와 미러 월드의 카메라의 자세가 일치하게 되고, 사용자가 바라보는 시점과 미러 월드에서 시점이 동일하게 된다.
116 과정에서는 상기 월드 좌표계로 통합된 3차원 좌표 공간에 위치하는 3D 객체를 표시한다.
이때, 상기 3D 객체는, 하기의 수학식 9를 통해 단말의 입력부에서 감지되는 사용자 입력수단의 모션 벡터
Figure 112013057494096-pat00017
의 크기가 t보다 작거나 존재하지 않는 경우, 상기 단말에 구비된 자이로 센서 정보
Figure 112013057494096-pat00018
가 함수
Figure 112013057494096-pat00019
에 의하여 변환된 3D 객체의 회전 정보
Figure 112013057494096-pat00020
에,
Figure 112013057494096-pat00021
의 크기가 t보다 클 때 수행되는 3D 객체의 이동 모션 벡터를 곱한 값을 이용하여 움직임이 인식된다.
[수학식 9]
Figure 112015031199328-pat00022

(여기서,
Figure 112015031199328-pat00112
: 사용자 조작의 회전 정보,
Figure 112015031199328-pat00113
: 객체 조작의 회전 정보,
Figure 112015031199328-pat00114
: 객체 조작의 이동 정보)
118 과정에서는 상기 위치하는 3D 객체에 대한 선택 여부를 체크하여, 상기 3D 객체에 대한 선택이 발생된 경우 120 과정으로 이동하여 기설정된 오브젝트별 운동범위 기반 하에 회전 및 깊이 정보를 인식하고, 이를 기반으로 122 과정에서는 해당 3D 객체를 제어한다.
여기서, 상기 기설정된 오브젝트별 운동 범위는 미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식 (18)을 통해 매핑 함수를 정의하여 인식된다.
또한, 상기 사용자 인터럽트는 디지로그 스페이스가 표시되는 디스플레이 상에 손가락, 스타일러스 펜(stylus pen) 등과 같은 사용자 입력 수단이 접촉하는 행위 혹은 장치 전체에 가해지는 회전 등과 같은 움직임을 의미하는 것으로, 본 발명에서는 사용자 인터럽트 발생 타입 예컨대, 특정 운동 범위로 움직이는 불편한 사용자, 오른쪽 또는 왼손잡이 사용자, 연령(어린이, 노인)들에 따라 차별화되어 발생되는 사용자 인터럽트를 인간의 운동 범위(RoM: Range of Motion)를 고려하여 조작의 성능과 사용성을 향상시킨다.
더욱 상세하게는, 모바일 장치의 회전 조작과 관련하여, 만약 장치의 회전 정보와 3D객체의 회전 정보를 1 : 1로 매핑할 경우, 사용자가 최대 RoM을 초과하여 조작한다면 육체적인 어려움이 생기며 조작의 성능이 떨어질 수 있다.
따라서 non-1:1 매핑이 더 나은 성능을 보여줄 수 있을 것이나, 3D 객체의 회전 조작과 장치의 회전이 같지 않으므로 직관적으로 이해하기 어려울 수도 있다. 따라서 높은 성능을 보이면서도 인지적 부담을 최소로 하는, 최적의 RoM 매핑을 결정하는 것이 중요하다.
이때, 도 4를 참조하면, 도 4는 손목의 RoM을 보인다. Tilt 회전에 대해서, 척골과 요골 편차의 RoM은 15 와 30 사이로 알려져 있다. 그리고 손목의 내전 운동과 외전 운동에 관련된 Roll 회전은 65와 60 사이이다. 그리고 손목 굴곡 신장 관련 Yaw 회전은 60와 45 사이로 알려져 있다.
이때, 가장 단순한 회전 매핑 함수는 하기의 수학식 10과 같다.
[수학식 10]
Figure 112013057494096-pat00023
[수학식 11]
Figure 112015031199328-pat00024

(여기서,
Figure 112015031199328-pat00115
: 증강현실 디스플레이공간에서 가상객체의 회전 각도,
Figure 112015031199328-pat00116
: 회전 각도 맵핑 함수,
Figure 112015031199328-pat00117
: 사용자가 조작하는 회전 각도, a: 함수의 특성 변화를 위해 임의로 설정될 수 있는 상수,
Figure 112015031199328-pat00118
: 손목의 운동 반경 강도,
Figure 112015031199328-pat00119
: 장치의 초기 회전 각도,
Figure 112015031199328-pat00120
,
Figure 112015031199328-pat00121
: 사용자가 장치를 손에 쥐고 회전할 때의 최소 및 최대 각도 범위,
Figure 112015031199328-pat00122
: 손목의 운동 반경 각도를 고려한 회전 매핑 결과)
수학식 10에서
Figure 112013057494096-pat00025
는 사용자 조작공간 (Control Space)에서 모바일 장치의 회전각도이며
Figure 112013057494096-pat00026
는 증강현실 디스플레이공간 (Display Space)에서 가상객체의 회전각도이다. 회전각도
Figure 112013057494096-pat00027
는 회전 축 Tilt, Roll, Yaw 각각에 따라 독립적으로 적용된다. 그리고 a는 함수의 특성 변화를 위해 임의로 설정될 수 있는 상수이다. 이와 비슷하게 RoM을 고려할 경우, 수식 11처럼 매핑 함수를 정의할 수 있다.
여기서
Figure 112013057494096-pat00028
은 문헌으로 보고된 손목의 운동 반경 각도이다. 그리고 회전축의 초기 각도와 개별 사용자의 개인화된 RoM을 고려할 경우, 하기의 수학식 12와 같이 매핑함수를 정의할 수 있다. 이를 위해서, 사전에 수집한 사용자의 손목 회전범위 정보를 기반으로 하여 손목의 최대 조작범위(정방향
Figure 112013057494096-pat00029
/역방향
Figure 112013057494096-pat00030
) 내에서, 조작하고자 하는 각도범위 알아내고 이를 수식에 적용한다. 즉. 사용자의 최대 손목 조작 각도 대비 사용자의 현재 입력 각도 비율을 이용하여, 사용자가 손목에 무리가 가지 않는 최대 손목 회전 조작 범위 내에서 가상객체의 360도 회전 각도를 쉽게 조작할 수 있도록 한다.
[수학식 12]
Figure 112015031199328-pat00031

(여기서,
Figure 112015031199328-pat00123
: 사용자 개개인의 손목 운동 반경을 고려한 회전 매핑 결과)
계속해서, 상기 124 과정에서 증강현실 서비스 이용에 대응하는 실행 메뉴 탐색 여부를 체크하여 126 과정에서 복수 개의 계층적 메뉴 인터페이스를 표시한다.
상기 126 과정에서 증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 복수 개의 계층적 메뉴 인터페이스가 표시되면, 128 과정에서 증강현실 서비를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공한다.
상기 메뉴 조작은, 단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 탐색하고, ARWand 스크린의 특정 부분 영역을 선택하여 메뉴 선택이 수행되도록 하기의 수학식 13형태의 모션 센서 값으로부터 ARWand의 수평을 기반으로 2차원 회전 방향을 획득하고, 하기의 수학식 14를 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하도록 하여 수행된다.
이는, 기존의 메뉴 선택 인터페이스는 주로 GUI 기반 트리 형식의 메뉴를 통해 아이템을 탐색하며, 메뉴를 선택하기 위해서는 정밀한 포인팅 요구하고 있으나, 사용자가 빈번하게 움직이는 웨어러블 증강현실 환경에서는 사용하기 용이치 않으므로, 본 발명의 일 실시 예에 따르면 웨어러블 증강현실 환경을 위한 모바일 입력 장치 기반 메뉴 선택을 위해 사용자가 이동 중에도 자유롭게 저작을 할 수 있도록, 모바일 입력 장치의 내부 센서 정보만을 이용하여 메뉴를 탐색하고 선택할 수 있도록 한다.
더욱 상세하게는, 도 5에 도시된 바와 같이, 모바일 입력 장치의 회전 정보를 사용하여 파이 (Pie) 스타일의 메뉴를 탐색하며, 선택은 ARWand 스크린의 특정 부분 영역 (버튼)을 눌러서 작동되도록 한다. 이를 위해서, 수식 13과 같이 모션 센서 값으로부터 ARWand 의 수평(pitch)을 기반으로 2차원 회전 방향(roll)을 알아내고, 수식 14를 통해 해당 메뉴 단계에서 몇 번째 메뉴를 선택하였는지 알 수 있도록 한다. 여기서, H는 스텝 함수이며, 여기서 deg는 0에서 360˚ 의 값이다. 그리고
Figure 112015031199328-pat00032
는 메뉴 레벨 i에서의 메뉴 아이템의 개수이며 항상 0보다 크다. 그리고 최소한 한 개의 메뉴 항목이 항상 선택 되도록 한다.
[수학식 13]
Figure 112013057494096-pat00033
[수학식 14]
Figure 112015031199328-pat00034

(여기서, H: 계단 함수(step function), Ni: 메뉴 레벨 i에서의 메뉴 아이템 개수)
이상에서는, 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 관해 살펴보았다.
이하, 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관해 도 6을 참조하여 살펴보기로 한다.
도 6은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관한 상세 블록도이다.
도 6을 참조하면, 본 발명이 적용된 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치는, 촬영부(610), 사용자 인터페이스부(612), 제어부(614), 좌표 생성부(616), 메뉴 조정부(618)을 포함한다.
상기 좌표 생성부(616)은 촬영부(610)를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)좌표계와 미러월드(mirror world)의 월드 좌표계를 생성한다.
그리고 상기 좌표 생성부(616)은 좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 15를 이용하여 획득하고, 수학식 16의 해로부터 하기의 수학식 15를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하고, 상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정하고, 상기 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산하여 상기 로컬 레퍼런스 좌표계를 생성한다.
[수학식 15]
Figure 112013057494096-pat00035
[수학식 16]
Figure 112013057494096-pat00036
그리고 상기 좌표 생성부(616)는, 기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 17을 이용하여 하기의 수학식 18을 유도하고, 하기의 수학식 19를 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인
Figure 112013057494096-pat00037
을 구하여 접점으로 설정하고, 상기 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터 로 설정하고, 상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 보정한다.
[수학식 17]
Figure 112013057494096-pat00038
[수학식 18]
Figure 112013057494096-pat00039
[수학식 19]
Figure 112013057494096-pat00040
또한, 상기 좌표 생성부(616)는, RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 실제 공간의 스케일을 통일하기 위해서, 하기의 수학식 20을 이용하여 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산하고, 3차원 영상의 깊이 정보를 통해 하기의 수학식 21과 같이 두 점 각각에 대해서 거리를 계산하고, 수학식 22와 같이 두 거리의 비율을 계산한다.
[수학식 20]
Figure 112013057494096-pat00041
[수학식 21]
Figure 112013057494096-pat00042
[수학식 22]
Figure 112013057494096-pat00043
상기 제어부(614)는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관한 전반적인 동작을 제어한다.
또한, 상기 좌표 생성부(616)로부터 생성된 로컬 레퍼런스 좌표계와 월드 좌표계를 통합하고, 통합된 3차원 좌표 공간에서 사용자 인터페이스부(612)를 통해 선택된 3D 객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 3D 객체를 제어한다.
그리고 상기 제어부(614) 미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식을 통해 매핑 함수를 정의하여 상기 기설정된 오브젝트별 운동 범위를 인식한다.
Figure 112013057494096-pat00044
상기 메뉴 조작부(618)은 제어부의 제어 하에 복수 개의 계층적 메뉴 인터페이스를 3차원 좌표 공간에 표시하여 메뉴 조작을 제공한다.
또한, 상기 메뉴 조작부(618)는, 단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 제공하고, 사용자 인터페이스부를 통해 ARWand 스크린의 특정 부분 영역이 선택되면 상기 제어부를 통해 하기의 수학식 형태의 모션 센서 값으로부터 ARWand의 수평을 기반으로 2차원 회전 방향을 획득하고, 하기의 수학식을 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하여 메뉴 조작을 수행한다.
Figure 112013057494096-pat00045
Figure 112013057494096-pat00046
상기와 같이 본 발명에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
610: 촬영부 612: 사용자 인터페이스부
614: 제어부 616: 좌표 생성부
618: 메뉴 조작부
[참고문헌]
Figure 112013057494096-pat00047

Claims (15)

  1. 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)를 생성하는 과정과,
    생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합하는 과정과,
    상기 월드 좌표계로 통합된 3차원 좌표 공간에서 선택된 3D객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 상기 선택된 3D객체를 제어하는 과정과,
    증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 과정을 포함하고,
    상기 메뉴 조작을 제공하는 과정은,
    단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 탐색하고, ARWand 스크린의 특정 부분 영역을 선택하여 메뉴 선택이 수행되도록 하기의 수학식 31형태의 모션 센서 값으로부터 ARWand의 수평(pitch)을 기반으로 2차원 회전 방향(roll)을 획득하고, 하기의 수학식 32를 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하도록 하여 수행됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
    [수학식 31]
    Figure 112015031199328-pat00124

    [수학식 32]
    Figure 112015031199328-pat00125

    (여기서, H: 계단 함수(step function), Ni: 메뉴 레벨 i에서의 메뉴 아이템 개수)
  2. 제1항에 있어서, 상기 3차원 영상은,
    사전에 모델링되지 않은 실제 공간에 대해서 3D 기하학적 구조에 대한 HMD(Head Mounted Display) 카메라의 자세 정보가 계산되어 획득된 영상임을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
  3. 제1항에 있어서,
    상기 로컬 레퍼런스 좌표계를 생성하는 과정은,
    좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 23을 이용하여 획득하는 제1 단계,
    수학식 23의 해로부터 하기의 수학식 24를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하는 제2 단계,
    상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정하는 제3 단계와,
    상기 제2 단계에서 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산하는 제4 단계를 통해 수행됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
    [수학식 23]
    Figure 112015031199328-pat00048

    [수학식 24]
    Figure 112015031199328-pat00049

    Figure 112015031199328-pat00050

    (여기서, Π: 평면, a, b, c, d: 평면을 구성하는 파라미터,
    Figure 112015031199328-pat00126
    ,
    Figure 112015031199328-pat00127
    ,
    Figure 112015031199328-pat00128
    : 3차원 공간상의 한 점의 좌표,
    Figure 112015031199328-pat00129
    ,
    Figure 112015031199328-pat00130
    : 평면상의 임의의 서로 다른 두 점, N : 계산할 점들의 개수)
  4. 제3항에 있어서,
    상기 제4 단계 이후, 기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 25를 이용하여 하기의 수학식 26을 유도하는 제5단계,
    하기의 수학식 27을 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인
    Figure 112015031199328-pat00051
    을 구하여 접점으로 설정하는 제6 단계와,
    상기 제3 단계에서 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터
    Figure 112015031199328-pat00052
    로 설정하는 제7 단계와,
    상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 보정하는 제8 단계를 더 포함함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
    [수학식 25]
    Figure 112015031199328-pat00053

    [수학식 26]
    Figure 112015031199328-pat00054

    [수학식 27]
    Figure 112015031199328-pat00055

    Figure 112015031199328-pat00056

    (여기서,
    Figure 112015031199328-pat00131
    ,
    Figure 112015031199328-pat00132
    : 서로 다른 두 평면,
    Figure 112015031199328-pat00133
    : 사용자가 지정한 3차원 점, t: 직선의 파라미터,
    Figure 112015031199328-pat00134
    ,
    Figure 112015031199328-pat00135
    : 서로 다른 두 평면의 법선벡터,
    Figure 112015031199328-pat00136
    : 임의의 3차원 점)
  5. 제4항에 있어서,
    상기 제8 단계 이후, RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 실제 공간의 스케일을 통일하기 위해서, 하기의 수학식 28을 이용하여 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산하는 제9 단계,
    3차원 영상의 깊이 정보를 통해 하기의 수학식 29와 같이 두 점 각각에 대해서 거리를 계산하는 제10 단계와,
    하기의 수학식 30과 같이 두 거리의 비율을 구하는 제11 단계를 포함함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
    [수학식 28]
    Figure 112015031199328-pat00057

    [수학식 29]
    Figure 112015031199328-pat00058

    [수학식 30]
    Figure 112015031199328-pat00059

    (여기서,
    Figure 112015031199328-pat00137
    ,
    Figure 112015031199328-pat00138
    : 임의 스케일인 가상 공간에서, 임의의 두 점,
    Figure 112015031199328-pat00139
    ,
    Figure 112015031199328-pat00140
    : 카메라 중심 위치를 기준으로 한, 점
    Figure 112015031199328-pat00141
    ,
    Figure 112015031199328-pat00142
    에 대한 실측 거리, dimage: 임의의 스케일인 가상 공간에서, 두 점 사이의 거리)
  6. 제1항에 있어서,
    상기 3D 객체는,
    하기의 수학식을 통해 단말의 입력부에서 감지되는 사용자 입력수단의 모션 벡터
    Figure 112015031199328-pat00060
    의 크기가 t보다 작거나 존재하지 않는 경우, 상기 단말에 구비된 자이로 센서 정보
    Figure 112015031199328-pat00061
    가 함수
    Figure 112015031199328-pat00062
    에 의하여 변환된 3D 객체의 회전 정보
    Figure 112015031199328-pat00143
    에,
    Figure 112015031199328-pat00063
    의 크기가 t보다 클 때 수행되는 3D 객체의 이동 모션 벡터를 곱한 값을 이용하여 움직임이 인식됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
    Figure 112015031199328-pat00064

    (여기서,
    Figure 112015031199328-pat00144
    : 사용자 조작의 회전 정보,
    Figure 112015031199328-pat00145
    : 객체 조작의 회전 정보,
    Figure 112015031199328-pat00146
    : 객체 조작의 이동 정보)
  7. 제1항에 있어서, 상기 기설정된 오브젝트별 운동 범위는,
    미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식을 통해 매핑 함수를 정의하여 인식됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
    Figure 112015031199328-pat00065

    Figure 112015031199328-pat00066

    Figure 112015031199328-pat00067

    (여기서,
    Figure 112015031199328-pat00147
    : 증강현실 디스플레이공간에서 가상객체의 회전 각도,
    Figure 112015031199328-pat00148
    : 회전 각도 맵핑 함수,
    Figure 112015031199328-pat00149
    : 사용자가 조작하는 회전 각도, a: 함수의 특성 변화를 위해 임의로 설정될 수 있는 상수,
    Figure 112015031199328-pat00150
    : 손목의 운동 반경 강도,
    Figure 112015031199328-pat00151
    : 장치의 초기 회전 각도,
    Figure 112015031199328-pat00152
    ,
    Figure 112015031199328-pat00153
    : 사용자가 장치를 손에 쥐고 회전할 때의 최소 및 최대 각도 범위,
    Figure 112015031199328-pat00154
    : 손목의 운동 반경 각도를 고려한 회전 매핑 결과,
    Figure 112015031199328-pat00155
    : 사용자 개개인의 손목 운동 반경을 고려한 회전 매핑 결과)
  8. 삭제
  9. 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)좌표계와 미러월드(mirror world)의 월드 좌표계를 생성하는 좌표 생성부와,
    상기 좌표 생성부로부터 생성된 로컬 레퍼런스 좌표계와 월드 좌표계를 통합하고, 통합된 3차원 좌표 공간에서 사용자 인터페이스부를 통해 선택된 3D 객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 3D 객체를 제어하는 제어부와,
    상기 제어부의 제어 하에 복수 개의 계층적 메뉴 인터페이스를 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 메뉴 조작부를 포함하고,
    상기 메뉴 조작부는,
    단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 제공하고, 사용자 인터페이스부를 통해 ARWand 스크린의 특정 부분 영역이 선택되면 상기 제어부를 통해 하기의 수학식 (41) 형태의 모션 센서 값으로부터 ARWand의 수평(pitch)을 기반으로 2차원 회전 방향(roll)을 획득하고, 하기의 수학식 (42)을 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하여 메뉴 조작을 수행함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
    [수학식 41]
    Figure 112015031199328-pat00156

    [수학식 42]
    Figure 112015031199328-pat00157

    (여기서, H: 계단 함수(step function), Ni: 메뉴 레벨 i에서의 메뉴 아이템 개수)
  10. 제9항에 있어서, 상기 복수 개의 계층적 메뉴 인터페이스는,
    증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 메뉴 인터페이스임을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
  11. 제9항에 있어서, 상기 좌표 생성부는,
    좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 33을 이용하여 획득하고, 수학식 33의 해로부터 하기의 수학식 34를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하고, 상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정하고, 상기 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산하여 상기 로컬 레퍼런스 좌표계를 생성함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
    [수학식 33]
    Figure 112015031199328-pat00070

    [수학식 34]
    Figure 112015031199328-pat00071

    Figure 112015031199328-pat00072

    (여기서, Π: 평면, a, b, c, d: 평면을 구성하는 파라미터,
    Figure 112015031199328-pat00158
    ,
    Figure 112015031199328-pat00159
    ,
    Figure 112015031199328-pat00160
    : 3차원 공간상의 한 점의 좌표,
    Figure 112015031199328-pat00161
    ,
    Figure 112015031199328-pat00162
    : 평면상의 임의의 서로 다른 두 점, N : 계산할 점들의 개수)
  12. 제11항에 있어서, 상기 좌표 생성부는,
    기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 35를 이용하여 하기의 수학식 36을 유도하고, 하기의 수학식 37을 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인
    Figure 112015031199328-pat00073
    을 구하여 접점으로 설정하고, 상기 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터
    Figure 112015031199328-pat00074
    로 설정하고, 상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 보정함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
    [수학식 35]
    Figure 112015031199328-pat00075

    [수학식 36]
    Figure 112015031199328-pat00076

    [수학식 37]
    Figure 112015031199328-pat00077

    Figure 112015031199328-pat00078

    (여기서,
    Figure 112015031199328-pat00163
    ,
    Figure 112015031199328-pat00164
    : 서로 다른 두 평면,
    Figure 112015031199328-pat00165
    : 사용자가 지정한 3차원 점, t: 직선의 파라미터,
    Figure 112015031199328-pat00166
    ,
    Figure 112015031199328-pat00167
    : 서로 다른 두 평면의 법선벡터,
    Figure 112015031199328-pat00168
    : 임의의 3차원 점)
  13. 제11항에 있어서, 상기 좌표 생성부는,
    RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 실제 공간의 스케일을 통일하기 위해서, 하기의 수학식 38을 이용하여 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산하고, 3차원 영상의 깊이 정보를 통해 하기의 수학식 39과 같이 두 점 각각에 대해서 거리를 계산하고, 수학식 40과 같이 두 거리의 비율을 계산함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
    [수학식 38]
    Figure 112015031199328-pat00079

    [수학식 39]
    Figure 112015031199328-pat00080

    [수학식 40]
    Figure 112015031199328-pat00081

    (여기서,
    Figure 112015031199328-pat00169
    ,
    Figure 112015031199328-pat00170
    : 임의 스케일인 가상 공간에서, 임의의 두 점,
    Figure 112015031199328-pat00171
    ,
    Figure 112015031199328-pat00172
    : 카메라 중심 위치를 기준으로 한, 점
    Figure 112015031199328-pat00173
    ,
    Figure 112015031199328-pat00174
    에 대한 실측 거리, dimage:임의 스케일인 가상 공간에서, 두 점 사이의 거리)
  14. 제9항에 있어서, 상기 제어부는,
    미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식을 통해 매핑 함수를 정의하여 상기 기설정된 오브젝트별 운동 범위를 인식함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.

    Figure 112015031199328-pat00082

    Figure 112015031199328-pat00083

    Figure 112015031199328-pat00084

    (여기서,
    Figure 112015031199328-pat00175
    : 증강현실 디스플레이공간에서 가상객체의 회전 각도,
    Figure 112015031199328-pat00176
    : 회전 각도 맵핑 함수,
    Figure 112015031199328-pat00177
    : 사용자가 조작하는 회전 각도, a: 함수의 특성 변화를 위해 임의로 설정될 수 있는 상수,
    Figure 112015031199328-pat00178
    : 손목의 운동 반경 강도,
    Figure 112015031199328-pat00179
    : 장치의 초기 회전 각도,
    Figure 112015031199328-pat00180
    ,
    Figure 112015031199328-pat00181
    : 사용자가 장치를 손에 쥐고 회전할 때의 최소 및 최대 각도 범위,
    Figure 112015031199328-pat00182
    : 손목의 운동 반경 각도를 고려한 회전 매핑 결과,
    Figure 112015031199328-pat00183
    : 사용자 개개인의 손목 운동 반경을 고려한 회전 매핑 결과)
  15. 삭제
KR1020130074065A 2012-06-26 2013-06-26 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치 KR101546654B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120068607 2012-06-26
KR1020120068607 2012-06-26

Publications (2)

Publication Number Publication Date
KR20140001167A KR20140001167A (ko) 2014-01-06
KR101546654B1 true KR101546654B1 (ko) 2015-08-25

Family

ID=50138782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130074065A KR101546654B1 (ko) 2012-06-26 2013-06-26 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101546654B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188643A (zh) * 2019-05-21 2019-08-30 北京市商汤科技开发有限公司 一种信息显示方法及装置、存储介质
KR20220021076A (ko) 2020-08-12 2022-02-22 태나다 주식회사 동영상 데이터에 3차원 가상객체를 합성하는 방법 및 장치
US11887257B2 (en) 2020-11-18 2024-01-30 Electronics And Telecommunications Research Institute Method and apparatus for virtual training based on tangible interaction

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101525886B1 (ko) * 2014-02-19 2015-06-24 서호원 증강 현실 기반의 지도 제공 방법 및 이를 위한 장치
KR101638550B1 (ko) 2014-06-25 2016-07-12 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
WO2015199502A1 (ko) * 2014-06-26 2015-12-30 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR101865655B1 (ko) * 2014-06-26 2018-06-11 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR102194787B1 (ko) 2014-09-24 2020-12-24 삼성전자주식회사 사용자 기반 센서 정보 획득 방법 및 그 전자 장치
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US10416835B2 (en) * 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2017007166A1 (ko) * 2015-07-08 2017-01-12 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
EP3118723A1 (en) 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
US9818228B2 (en) 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US9922463B2 (en) 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
KR102335060B1 (ko) * 2015-11-09 2021-12-03 에스케이텔레콤 주식회사 증강 현실 제공 방법
KR101822471B1 (ko) * 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
EP3594906B1 (en) 2017-03-06 2022-10-19 LINE Corporation Method and device for providing augmented reality, and computer program
EP3591502B1 (en) * 2017-03-22 2024-03-13 Huawei Technologies Co., Ltd. Virtual reality image sending method and apparatus
CN109101120B (zh) 2017-06-21 2021-09-28 腾讯科技（深圳）有限公司 图像显示的方法和装置
KR101988110B1 (ko) 2017-07-03 2019-09-30 포항공과대학교 산학협력단 생체신호연동 가상현실 교육 시스템 및 방법
CN109460149B (zh) * 2018-10-31 2022-10-11 北京百度网讯科技有限公司 ***管理工具、显示方法、vr设备和计算机可读介质
US11164383B2 (en) * 2019-08-30 2021-11-02 Lg Electronics Inc. AR device and method for controlling the same
KR102510496B1 (ko) * 2021-11-16 2023-03-16 주식회사 시온네트웍 증강현실 객체를 생성하는 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
감각형 객체를 이용한 이음매 없는 2D/3D 상호작용 시스템, HCI학회(2007)
계층적 삼차원 증강현실 메뉴를 위한 홀센서 기반 스핀 큐브 인터페이스, HCI학회(2010)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188643A (zh) * 2019-05-21 2019-08-30 北京市商汤科技开发有限公司 一种信息显示方法及装置、存储介质
KR20220021076A (ko) 2020-08-12 2022-02-22 태나다 주식회사 동영상 데이터에 3차원 가상객체를 합성하는 방법 및 장치
US11887257B2 (en) 2020-11-18 2024-01-30 Electronics And Telecommunications Research Institute Method and apparatus for virtual training based on tangible interaction

Also Published As

Publication number Publication date
KR20140001167A (ko) 2014-01-06

Similar Documents

Publication Publication Date Title
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US11461955B2 (en) Holographic palm raycasting for targeting virtual objects
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US20220084279A1 (en) Methods for manipulating objects in an environment
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
Arth et al. The history of mobile augmented reality
CN115443445A (zh) 用于可穿戴***的手部手势输入
US20150220158A1 (en) Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
WO2017136125A2 (en) Object motion tracking with remote device
KR101833253B1 (ko) 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
CN110603510B (zh) 虚拟现实***中虚拟控制器的位置和取向跟踪
TW201346640A (zh) 影像處理裝置及電腦程式產品
US20200372716A1 (en) Information processing apparatus, information processing method, and program
Özacar et al. 3D selection techniques for mobile augmented reality head-mounted displays
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
WO2022166448A1 (en) Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
Bai et al. Asymmetric Bimanual Interaction for Mobile Virtual Reality.
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US20230367403A1 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
Arslan et al. E-Pad: Large display pointing in a continuous interaction space around a mobile device
Bai Mobile augmented reality: Free-hand gesture-based interaction
WO2024131405A1 (zh) 对象移动控制方法、装置、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 4