KR20180058895A - 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법 - Google Patents

스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법 Download PDF

Info

Publication number
KR20180058895A
KR20180058895A KR1020160157521A KR20160157521A KR20180058895A KR 20180058895 A KR20180058895 A KR 20180058895A KR 1020160157521 A KR1020160157521 A KR 1020160157521A KR 20160157521 A KR20160157521 A KR 20160157521A KR 20180058895 A KR20180058895 A KR 20180058895A
Authority
KR
South Korea
Prior art keywords
augmented reality
virtual object
information
smart device
unit
Prior art date
Application number
KR1020160157521A
Other languages
English (en)
Other versions
KR102075383B1 (ko
Inventor
정성욱
조현우
구본기
권승준
길연희
김현진
김희권
신희숙
유초롱
유호영
이수웅
이영운
이준우
이지수
지형근
채원석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160157521A priority Critical patent/KR102075383B1/ko
Publication of KR20180058895A publication Critical patent/KR20180058895A/ko
Application granted granted Critical
Publication of KR102075383B1 publication Critical patent/KR102075383B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72519—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시 예에 따른 증강현실 구현 방법은, 증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 사용자와 가상 객체의 인터랙션에 따라 발생하는 이벤트를 인식하는 단계; 상기 증강현실 구현 장치가 상기 가상 객체의 정보를 스마트 기기로 전송하는 단계; 상기 스마트 기기가 상기 가상 객체에 대한 사용자 입력을 상기 가상 객체에 적용하여 변형 가상 객체를 생성하고, 생성된 변형 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및 상기 증강현실 구현장치가 상기 변형 가상 객체의 정보를 바탕으로, 기 저장된 가상 객체를 렌더링하여, 증강현신을 구현하는 단계를 포함한다.

Description

스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법{Augmented reality system linked to smart device}
본 발명은 증강현실 시스템에 관한 것으로, 상세하게는 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법에 관한 것이다.
증강현실 기술은 카메라로부터 들어오는 영상에서 정의된 마커나 학습된 자연 영상 정보를 추출하여 증강할 물체의 위치와 자세를 추정하고, 이를 이용해 3차원의 가상 콘텐츠, 그림, 동영상 등의 멀티미디어 콘텐츠를 덧입혀 보여주는 기술이다.
증강현실 기술을 실현하기 위하여 구현된 증강현실 시스템은 다양한 분야에서 활용되고 있는데, 일례로 교육용으로도 활용되고 있다.
현재, 교육용으로 사용되는 증강현실 시스템은 대형 스크린(혹은 모니터)을 이용하여 증강현실을 구현하고 있으며, 카메라 영상에서 사용자를 분리하고, 정면의 대형 스크린에 가상 객체 및 사람을 증강시켜 가상 객체와의 상호 작용을 통해 가상 환경에서의 교육적 효과를 이끌어 내고 있다.
한편, 2D 기반의 증강현실 시스템은, 카메라를 이용하여 입력 영상에서 사람의 제스처 및 배경을 인지하고, 인지 결과를 모니터에 증강시키고, 2D 가상 객체를 증강시켜 사용자와의 상호 작용을 유도한다.
하지만, 이러한 2D 기반의 증강현실 시스템은, 조명 및 환경 조건에 의하여 시스템의 안정화가 필수적으로 필요하게 된다. 즉, 2D 기반의 증강현실 시스템을 외부환경에서 이용하기에는 여러 가지의 제약 조건이 따른다.
그리고, 3D 기반의 증강현실 시스템은, RGB-D 장치를 활용하여 깊이 정보까지 입력받아, 컬러 영상 및 깊이 영상을 분석할 수 있다.
이와 같이, 3D 기반의 증강현실 시스템은, 3차원 공간의 깊이 정보를 입력으로 사용하기 때문에, 공간상의 객체의 위치 정보를 추정할 수 있고, 이를 증강현실 구현에 활용한다.
하지만, 기존의 시스템은 모든 가상 환경을 정면의 디스플레이에 증강시킨다는 한계가 있고, 다수의 사용자가 이용하는 경우 서비스가 제한되는 문제점이 있다.
즉, 하나의 주 디스플레이에 모든 효과가 증강되기 때문에, 모든 사용자는 주 디스플레이를 통해서만 효과를 체험하게 되고, 주 디스플레이를 제외하고는 가상 체험을 할 수 없다는 단점이 있다.
위와 같은 문제점을 해결하기 위해서는 다수의 사용자가 참여할 수 있도록 구현된 개인용 디바이스(ex, 모바일, 스마트 패드 등)가 필요하게 된다. 하지만, 현재 시판되고 있는 상업용 개인용 디바이스의 경우, 제한된 리소스(ex, 처리 속도, 배터리 문제 등)로 인하여, 고성능의 알고리즘을 처리하기에는 제한이 따른다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 사용자에 의해 스마트 기기에 입력되는 가상 객체를 스마트 기기와의 연동을 통해 입력받고, 입력받은 가상 객체를 반영하여 증강현실을 구현하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 증강현실 구현 방법은, 증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 사용자와 가상 객체의 인터랙션에 따라 발생하는 이벤트를 인식하는 단계; 상기 증강현실 구현 장치가 상기 가상 객체의 정보를 스마트 기기로 전송하는 단계; 상기 스마트 기기가 상기 가상 객체에 대한 사용자 입력을 상기 가상 객체에 적용하여 변형 가상 객체를 생성하고, 생성된 변형 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및 상기 증강현실 구현장치가 상기 변형 가상 객체의 정보를 바탕으로, 기 저장된 가상 객체를 렌더링하여, 증강현실을 구현하는 단계를 포함한다.
이와 같은 본 발명의 실시 예에 따르면, 증강현실 구현장치와 스마트 기기의 연동을 통한 증강현실 구현방법이 제공된다.
따라서, 증강현실 구현장치는 스마트 기기로부터 전송되는 정보를 반영하여 증강현실을 구현할 수 있다.
특히, 본 발명의 증강현실 구현방법에 따르면, 증강현실된 가상 객체와 사용자와의 인터랙션에 따라 발생하는 이벤트가 스마트 기기로 제공되고, 사용자가 이벤트에 대한 처리를 수행할 수 있다.
따라서, 스마트 기기를 소지한 사용자는 증강현실 구현에 직접 참여할 수 있기 때문에, 교육적인 효과를 극대화할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 스마트 기기의 구성을 도시한 도면이다.
도 3은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 동작을 도시한 순서도이다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 본 발명에서 제안하는 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 구성을 도시한 도면이다.
도 1에 도시된 스마트 기기와 연동하는 증강현실 시스템(100, 이하 ‘시스템’)은 사용자에 의해 스마트 기기에 입력되는 가상 객체를 스마트 기기와의 연동을 통해 입력받고, 입력받은 가상 객체를 반영하여 증강현실을 구현한다.
이를 위해, 상기 시스템(100)은 기능을 수행하는 적어도 하나 이상의 프로세서를 포함하고, 또한 기능 수행을 위한 정보 혹은 수행 결과를 저장하는 적어도 하나 이상의 메모리를 포함할 수 있다.
구체적으로, 상기 시스템(100)은, 서로 연동하는 증강현실 구현장치(110) 및 스마트 기기(130)로 구성될 수 있다.
그리고, 상기 증강현실 구현장치(110)는 카메라부(111), 증강현실 구현부(113) 및 디스플레이부(115)로 구성될 수 있다.
상기 카메라부(111)는 증강현실 공간을 구축하기 위해 실제 공간을 촬영하여 실제 영상 정보를 획득한다.
이때, 상기 카메라부(111)는 RGB 카메라와 깊이 카메라로 구성되어, 이미지정보와 함께, 색상 정보 및 깊이 정보를 함께 획득한다.
상기 증강현실 구현부(113)는 카메라부(111)에 의해 획득되는 실제 영상 정보와 기 저장된 가상 객체를 렌더링하여 증강현실을 디스플레이부(115)에 구현하는 한편, 디스플레이부(115)에서 발생하는 이벤트를 분석하여, 분석 결과를 스마트 기기(130)로 제공한다.
또한, 상기 증강현실 구현부(113)는 스마트 기기(130)로부터 전송되는 가상 객체를 반영하여 증강현실을 구현한다.
상기 디스플레이부(115)는 증강현실 구현부(113)로부터 제공되는 영상을 디스플레이 하는 한편, 발생하는 이벤트를 증강현실 구현부(113)로 출력한다.
구체적으로, 상기 증강현실 구현부(113)는 3차원 공간 생성부(113a), 인터랙션부(113b), 증강영상 생성부(113c) 및 객체정보 데이터베이스(113d)로 구성될 수 있다.
상기 3차원 공간 생성부(113a)는 카메라부(111)로부터 전송되는 이미지 정보, 색상 정보 및 깊이 정보를 바탕으로, 3차원 공간을 생성하여 증강영상 생성부(113c)로 제공한다.
특히, 상기 3차원 공간 생성부(113a)는 이미지 정보, 색상 정보 및 깊이 정보를 바탕으로 3차원 메쉬(mesh) 정보를 생성하여 증강영상 생성부(113c)로 제공한다.
상기 3차원 메쉬 정보를 생성하는 과정을 살펴보면, 상기 3차원 공간 생성부(111a)는 RGB 카메라와 깊이 카메라 간의 내부(intrinsic) 및 외부(extrinsic) 파라미터를 계산하고, 카메라부(111)로부터 들어오는 깊이정보 데이터(Point Cloud)들을 카메라 파라미터 값을 이용하여 컬러 정보와 깊이 정보를 정합시키고, 메쉬로 변환하는 작업을 수행함으로써, 3차원 메쉬 정보를 생성한다.
이때, 상기 3차원 공간 생성부(111a)는 Tasi의 캘리브레이션 알고리즘과 같은 방법을 사용하여 내부 파라미터를 계산하고, 기준 카메라를 기반으로 상대적인 카메라의 외부 파라미터를 계산한다.
상기 인터랙션부(113b)는 디스플레이부(115)로부터 발생된 이벤트를 인식 및 분석하여, 분석 결과를 스마트 기기(130)로 제공한다. 또한, 상기 인터랙션부(113b)는 분석 결과를 증강영상 생성부(113)로 제공할 수도 있다.
예를 들어, 상기 디스플레이부(115)에 디스플레이되는 가상 객체가 터치된 경우, 이러한 가상 객체 터치(이벤트)는 인터랙션부(113b)에 의해 인식되고, 인터랙션부(113b)는 이벤트를 분석하여, 분석 결과를 스마트 기기(130) 및/또는 증강영상 생성부(113c)로 제공한다.
이때, 기 설정된 바에 따라, 인터랙션부(113b)가 생성하는 분석 결과는 다를 수 있으며, 예를 들어, 상기 인터랙션부(113b)는 터치된 가상 객체에 대한 정보(ex, 종류, 위치, 포즈 등)를 스마트 기기(130) 및/또는 증강영상 생성부(113c)로 제공할 수 있다.
또한, 상기 인터랙션부(113b)는 사용자의 위치 및 제스처를 검출하고, 검출된 사용자에 대한 위치 정보 및 제스처 정보를 증강영상 생성부(113b)로 제공할 수 있다.
상기 증강영상 생성부(113c)는 3차원 공간 생성부(113a)로부터 제공되는 3차원 공간과 객체정보 데이터베이스(113d)에 저장된 가상 객체를 렌더링하여 증강영상을 생성하여, 디스플레이부(115)로 출력한다.
또한, 상기 증강영상 생성부(113c)는 스마트 기기(130)로부터 전송되는 가상 객체를 반영하여 증강영상을 생성할 수 있다.
또한, 상기 증강영상 생성부(113c)는 인터랙션부(113b)로부터 제공되는 이벤트 분석 결과를 반영하여 증강영상을 생성할 수 있다.
또한, 상기 증강영상 생성부(113c)는 인터랙션부(113b)로 제공되는 사용자에 대한 위치 정보 및 제스처 정보를 반영하여 증강영상을 생성할 수 있다.
상기 객체정보 데이터베이스(113d)는 본 발명의 증강현실 시스템(100)을 통해 구현하고자 하는 증강현실과 관련된 객체 정보를 기 저장하고 있다.
예를 들어, 상기 객체정보 데이터베이스(113d)에는 객체에 대한 형태 정보 및 동작 정보가 저장될 수 있으며, 이외에도 증강현실 구현을 위한 다양한 정보가 저장될 수 있다.
상기 스마트 기기(130)는 사용자에 의해 입력되는 정보를 바탕으로 생성된 가상 객체를 증강현실 구현부(113)로 제공하며, 증강현실 구현부(113)로부터 제공되는 이벤트 분석 결과를 수신하고, 이벤트 분석 결과를 표시하여 사용자에게 제공할 수 있다.
도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 스마트 기기의 구성을 도시한 도면이다.
도 2를 참조하면, 상기 스마트 기기(130)는 이벤트 인식부(131), 가상객체 생성부(133), 사용자 인터페이스(135) 및 가상객체 렌더링부(137)를 포함한다.
상기 이벤트 인식부(131)는 증강현실 구현부(113)로부터 전송되는 이벤트 분석 결과를 수신 및 분석하여, 발생된 이벤트 정보를 인식한다. 이때, 상기 이벤트 정보는 디스플레이부(115) 상의 터치된 가상객체의 정보를 포함할 수 있다.
그리고, 상기 이벤트 인식부(131)는 인식된 이벤트 정보를 가상객체 생성부(133)로 제공할 수 있다.
상기 가상객체 생성부(133)는 이벤트 인식부(131)로부터 제공되는 이벤트 정보에 포함된 가상객체의 정보에 상응하는 가상 객체를 사용자 인터페이스(135)에 제공하여 사용자 인터페이스(135)가 가상 객체를 표시하도록 함으로써, 사용자가 디스플레이부(115) 상의 터치된 가상 객체를 확인할 수 있도록 한다.
또한, 상기 가상객체 생성부(133)는 가상 객체를 가상객체 렌더링부(137)로 제공할 수 있다.
이때, 상기 가상객체 생성부(133)는 디스프레이부(115) 상의 3D 가상 객체를 2D로 변환하는 과정을 수행하여, 사용자 인터페이스(135) 및 가상객체 렌더링부(137)로 2D 가상 객체를 제공한다.
상기 사용자 인터페이스(135)는 UI(User Interface)/UX(User Experience) 제공 가능한 인터페이스로서, 가상객체 생성부(133)로부터 제공되는 가상 객체를 표시한다. 그리고, 상기 사용자 인터페이스(135)는 사용자의 입력을 인식하고, 인식된 입력은 가상객체 렌더링부(137)로 제공된다.
상기 가상객체 렌더링부(137)는 가상객체 생성부(133)로부터 제공되는 가상 객체에 사용자 인터페이스(135)로부터 제공되는 입력을 적용하여 변형된 가상 객체를 생성한다.
그리고, 상기 가상객체 렌더링부(137)는 생성된 변형 가상 객체를 3D 모델로 렌더링하는 과정과 2D로 표현하는 과정을 수행한다.
또한, 상기 가상객체 렌더링부(137)는 생성된 변형 가상 객체를 사용자 인터페이스(135)를 통해 표시할 수 있고, 또한 증강영상 생성부(133c)로 전송할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템을 구성하는 증강현실 구현장치 및 스마트 기기의 세부 구성 및 각 구성별 기능에 대해서 살펴보았다. 이하에서는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 동작에 대해서 좀 더 구체적으로 살펴보기로 한다.
도 3은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 동작을 도시한 순서도이다.
도 3을 참조하면, 증강현실 구현장치(110)는 카메라부(111)에 의해 획득되는 정보를 바탕으로 생성되는 3차원 공간 정보와 객체정보 데이터베이스(113d)에 저장된 가상 객체를 렌더링하여 증강영상을 생성하여 디스플레이부(115)에 출력하여, 증강현실을 구현한다(S300).
상기 단계 S300에서와 같이 증강현실이 구현된 상태에서, 증강현실 구현장치(110)는 사용자와 가상 객체의 인터랙션에 따른 이벤트 발생을 인식하면(S310), 인터랙션된 가상 객체의 정보를 스마트 기기(130)로 전송한다(S320).
상기 단계 S320에 따라 전송된 가상 객체 정보를 수신하면, 스마트 기기(130)는, 가상 객체 정보에 상응하는 가상 객체를 사용자 인터페이스(135)를 통해 표시한다(S330).
그리고, 상기 단계 S330에 따라 표시된 가상 객체에 대한 사용자 입력을 가상 객체에 적용하여 변형된 가상 객체를 생성하고(S340), 생성된 변형 가상 객체의 정보를 증강현실 구현장치(110)로 전송한다(S350).
상기 단계 S350에 따라 전송된 변형 가상 객체의 정보를 수신하면, 증강현실 구현장치(110)는 기 저장된 가상 객체를 변형 가상 객체의 정보를 바탕으로 렌더링하여 디스플레이부(115)에 3차원으로 출력하여, 증강현실을 구현한다(S360).
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서와 같이, 본 발명에 따른 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 증강현실 시스템 110 : 증강현실 구현장치
111 : 카메라부 113 : 증강현실 구현부
113a : 3차원 공간 생셩부 113b : 인터랙션부
113c ; 증강영상 생성부 113d : 객체정보 데이터베이스
115 : 디스플레이부 130 : 스마트 기기
131 : 이벤트 인식부 133 : 가상객체 생성부
135 : 사용자 인터페이스 137 : 가상객체 렌더링부

Claims (1)

  1. 증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 사용자와 가상 객체의 인터랙션에 따라 발생하는 이벤트를 인식하는 단계;
    상기 증강현실 구현 장치가 상기 가상 객체의 정보를 스마트 기기로 전송하는 단계;
    상기 스마트 기기가 상기 가상 객체에 대한 사용자 입력을 상기 가상 객체에 적용하여 변형 가상 객체를 생성하고, 생성된 변형 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및
    상기 증강현실 구현장치가 상기 변형 가상 객체의 정보를 바탕으로, 기 저장된 가상 객체를 렌더링하여, 증강현실을 구현하는 단계를 포함하는
    증강현실 구현 방법.
KR1020160157521A 2016-11-24 2016-11-24 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법 KR102075383B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160157521A KR102075383B1 (ko) 2016-11-24 2016-11-24 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160157521A KR102075383B1 (ko) 2016-11-24 2016-11-24 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법

Publications (2)

Publication Number Publication Date
KR20180058895A true KR20180058895A (ko) 2018-06-04
KR102075383B1 KR102075383B1 (ko) 2020-02-12

Family

ID=62628095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160157521A KR102075383B1 (ko) 2016-11-24 2016-11-24 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법

Country Status (1)

Country Link
KR (1) KR102075383B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080372A (ko) * 2018-12-14 2020-07-07 삼성전자주식회사 로봇 장치 및 로봇의 작업 기술을 학습하는 방법
KR20200138096A (ko) 2020-06-25 2020-12-09 이은령 증강현실 컨텐츠 공유 시스템 및 그 구동방법
KR20200137523A (ko) 2019-05-30 2020-12-09 이은령 증강현실 컨텐츠 공유 시스템 및 그 구동방법
KR20210061727A (ko) 2019-11-20 2021-05-28 김재근 스마트폰 거치 기능을 갖는 증강현실 기기
KR20220077000A (ko) 2020-12-01 2022-06-08 김재근 교육용 증강현실 기기

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057799A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 휴대단말에서 사전 기능 제공 방법 및 장치
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
KR20150087763A (ko) * 2014-01-22 2015-07-30 단국대학교 산학협력단 증강현실을 기반으로 한 협업적 교육콘텐츠 제공 시스템 및 제공 서비스 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057799A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 휴대단말에서 사전 기능 제공 방법 및 장치
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
KR20150087763A (ko) * 2014-01-22 2015-07-30 단국대학교 산학협력단 증강현실을 기반으로 한 협업적 교육콘텐츠 제공 시스템 및 제공 서비스 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080372A (ko) * 2018-12-14 2020-07-07 삼성전자주식회사 로봇 장치 및 로봇의 작업 기술을 학습하는 방법
US11911912B2 (en) 2018-12-14 2024-02-27 Samsung Electronics Co., Ltd. Robot control apparatus and method for learning task skill of the robot
KR20200137523A (ko) 2019-05-30 2020-12-09 이은령 증강현실 컨텐츠 공유 시스템 및 그 구동방법
KR20210061727A (ko) 2019-11-20 2021-05-28 김재근 스마트폰 거치 기능을 갖는 증강현실 기기
KR20200138096A (ko) 2020-06-25 2020-12-09 이은령 증강현실 컨텐츠 공유 시스템 및 그 구동방법
KR20220077000A (ko) 2020-12-01 2022-06-08 김재근 교육용 증강현실 기기

Also Published As

Publication number Publication date
KR102075383B1 (ko) 2020-02-12

Similar Documents

Publication Publication Date Title
Zhu et al. Bishare: Exploring bidirectional interactions between smartphones and head-mounted augmented reality
CN107491174B (zh) 用于远程协助的方法、装置、***及电子设备
EP3852068A1 (en) Method for training generative network, method for generating near-infrared image and apparatuses
EP3769509B1 (en) Multi-endpoint mixed-reality meetings
KR20180058895A (ko) 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법
CN106575160B (zh) 根据用户视点识别动作的界面提供方法及提供装置
KR101940720B1 (ko) 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
US8902225B2 (en) Method and apparatus for user interface communication with an image manipulator
US20160004335A1 (en) Three Dimensional Display System and Use
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
CN103440033B (zh) 一种基于徒手和单目摄像头实现人机交互的方法和装置
CN107566793A (zh) 用于远程协助的方法、装置、***及电子设备
US11475662B2 (en) Real time object surface identification for augmented reality environments
JP2014110043A (ja) 複数の３次元モデルをつなぎ合わせる装置、方法及びプログラム
KR102358543B1 (ko) 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
Fiorentino et al. Design review of CAD assemblies using bimanual natural interface
US20170213394A1 (en) Environmentally mapped virtualization mechanism
CN107660338A (zh) 对象的立体显示
Sheldon et al. Putting the AR In (AR) chitecture
JP2023039426A (ja) コンピュータ実装方法、情報処理システム、コンピュータプログラム（時空間的関係ベースｍｒコンテンツ配置）
KR102346325B1 (ko) 3차원 데이터를 이용한 웹툰 제작 시스템 및 방법
KR101630257B1 (ko) 3d 이미지 제공 시스템 및 그 제공방법
KR20180053494A (ko) 모바일 환경에서의 증강현실 게임공간 구축방법
KR101420818B1 (ko) 애니메이션 오브젝트의 관절 제어를 통한 3차원 애니메이션 구현 방법, 이를 수행하는 3차원 애니메이션 구현 장치 및 이를 저장한 기록매체
MacAllister et al. Implementing native support for oculus and leap motion in a commercial engineering visualization and analysis platform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant