KR102028139B1 - 증강현실 기반의 영상 표시방법 - Google Patents

증강현실 기반의 영상 표시방법 Download PDF

Info

Publication number
KR102028139B1
KR102028139B1 KR1020190036502A KR20190036502A KR102028139B1 KR 102028139 B1 KR102028139 B1 KR 102028139B1 KR 1020190036502 A KR1020190036502 A KR 1020190036502A KR 20190036502 A KR20190036502 A KR 20190036502A KR 102028139 B1 KR102028139 B1 KR 102028139B1
Authority
KR
South Korea
Prior art keywords
image
marker
user terminal
augmented reality
image data
Prior art date
Application number
KR1020190036502A
Other languages
English (en)
Inventor
전지혜
오장원
박구만
Original Assignee
주식회사 스탠스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스탠스 filed Critical 주식회사 스탠스
Priority to KR1020190036502A priority Critical patent/KR102028139B1/ko
Application granted granted Critical
Publication of KR102028139B1 publication Critical patent/KR102028139B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 증강현실 기반의 영상 제공방법은, 사용자 단말이 소정의 영역을 촬영하여 제1 영상 데이터를 생성하는 단계와, 상기 제1 영상 데이터에 대응하는 제1 영상을 분석하여 상기 제1 영상에 포함된 제1 마커를 인식하는 단계와, 상기 제1 마커에 대응하는 제1 마커 영상 데이터를 리드하는 단계와, 상기 제1 마커 영상 데이터에 대응하는 제1 마커 영상을 상기 제1 영상의 제1 마커의 위치 상에 중첩하여 표시하는 단계를 포함하고, 상기 제1 마커 영상이 표시된 이후, 상기 제1 영상 내에서 추가로 인식된 제2 마커에 대응하는 제2 마커 영상 데이터를 리드하는 단계와, 상기 제2 마커 영상 데이터에 대응하는 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계를 포함하고, 상기 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계는, 상기 제1 마커 영상의 재생 시점에 동기화하여 제2 마커 영상의 재생 시점을 동기화하여 상기 제2 마커 영상을 표시한다.

Description

증강현실 기반의 영상 표시방법{METHOD FOR DISPLAYING IMAGE USING AUGMENTED REALITY}
본 발명은 증강현실 기반의 영상 표시방법으로서, 더 상세하게는 서로 다른 순간에 제공되는 영상들을 동기화하여 표시하는 증강현실 기반의 영상 표시방법에 관한 것이다.
증강 현실(augmented reality)이란 현실 공간의 구성물들의 이미지와 가상의 이미지가 결합한 것으로서 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여 주는 기술이다. 이러한 증강현실은 실제 환경에 가상의 정보를 결합하여 부가 정보를 제공하기 때문에, 가상 환경에서 체험공간을 제공하는 가상현실(virtual reality)와는 차이가 있다.
증강 현실은 혼합 현실(mixed reality)로도 불리며, 실제 환경에 가상의 정보를 추가할 수 있는 특성 때문에 게임, 가상 교육 등 많은 분야에서 활용되고 있다.
한편, 증강 현실을 이용하기 위해서는 객체를 촬영하여 객체를 표시 화면에 제공할 수 있는 별도의 기기가 필요하며, 표시 화면에 가상 정보를 제공하기 위한 마커도 요구된다.
본 발명이 이루고자 하는 기술적인 과제는 사용자 취향에 따른 커스터마이징 영상을 표시하는 증강현실 기반의 영상 표시방법을 제공하는데 있다.
본 발명의 실시 예에 따른 증강현실 기반의 영상 제공방법은, 사용자 단말이, 소정의 영역을 촬영하여 제1 영상 데이터를 생성하는 단계와, 상기 제1 영상 데이터에 대응하는 제1 영상을 분석하여 상기 제1 영상에 포함된 제1 마커를 인식하는 단계와, 상기 제1 마커에 대응하는 제1 마커 영상 데이터를 리드하는 단계와, 상기 제1 마커 영상 데이터에 대응하는 제1 마커 영상을 상기 제1 영상의 제1 마커의 위치 상에 중첩하여 표시하는 단계와, 상기 제1 마커 영상이 표시된 이후, 상기 사용자 단말이 상기 제1 영상 내에서 추가로 인식된 제2 마커에 대응하는 제2 마커 영상 데이터를 리드하는 단계와, 상기 사용자 단말이, 상기 제2 마커 영상 데이터에 대응하는 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계를 포함하고, 상기 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계는, 상기 제1 마커 영상의 재생 시점에 동기화하여 제2 마커 영상의 재생 시점을 동기화하여 상기 제2 마커 영상을 표시한다.
실시 예에 따라, 상기 제1 및 제2 마커들 각각은 포토 카드로 이루어질 수 있다.
실시 예에 따라, 상기 사용자 단말이, 상기 소정의 영역을 표시하는 제1 영상을 중심 표시 영역과 주변 표시 영역으로 구분하는 단계와, 상기 사용자 단말이, 상기 제1 및 제2 마커들의 상기 제1 영상 내 위치에 대응하여 상기 제1 영상에 중첩되어 표시되는 상기 제1 및 제2 마커 영상들 각각의 크기를 조절하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 제1 및 제2 마커 영상들 각각의 크기를 조절하는 단계는, 상기 제1 영상의 중심 영역에 위치한 마커에 대응하는 마커 영상을 기준 크기로 표시하고, 상기 제1 영상의 주변 영역에 위치한 마커에 대응한 마커 영상을 기준 크기보다 기설정된 비율로 축소하여 표시할 수 있다.
실시 예에 따라, 상기 기준 크기로 표시되는 영상에 대응하는 소리는 스피커부를 통해 출력되고, 상기 기설정된 비율로 축소되어 표시되는 영상에 대응하는 소리는 차단될 수 있다.
실시 예에 따라, 상기 제1 및 제2 마커 영상들은 동일한 주제를 표현하는 움직임과 소리를 포함할 수 있다.
본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법에 의하면, 마커들의 위치를 조절하여 증강현실 기반의 영상을 동시에 감상할 수 있으며, 재생중인 마커 영상의 재생 시점을 판단하여 새롭게 표시되는 마커 영상의 재생 시점을 동기화할 수 있다.
또한, 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법에 의하면, 사용자의 취향에 따라 실제로 조합하기 어려운 가상 음악 그룹, 가상 운동 그룹을 결성하여 증강현실 기반의 영상을 감상할 수 있다.
도 1은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시 시스템의 개략적인 블록도이다.
도 2는 본 발명의 실시 예에 따른 사용자 단말의 개략적인 블록도이다.
도 3은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도이다.
도 4a와 도 4b는 본 발명의 다른 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도들이다.
도 5a와 도 5b는 본 발명의 또 다른 실시 예에 따른 증강현실 기반의 영상 표시 방법을 설명하기 위한 개념도들이다.
도 6은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.
도 1은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시 시스템의 개략적인 블록도이고, 도 2는 본 발명의 실시 예에 따른 사용자 단말의 개략적인 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시 시스템은 마커(MK)와, 마커(MK)를 인식하여 증강현실 기반의 영상을 제공하는 사용자 단말(100)을 포함한다.
마커(MK)는 증강현실이 구현된 영상에서 가상 영상의 3차원 위치와 자세를 현실 세계의 객체와 정합하여 배치하기 위하여 사용되는 인식 표지를 의미한다. 마커(MK)는 증강현실에서 구현될 가상 객체에 대응될 수 있는데, 사용자에 의해 미리 정의 및 생성된 합성 마커일 수 있고, 영상 인식 기술을 이용하여 인식될 수 있는 실제 객체의 특징점을 포함하는 마커일 수도 있다. 마커(MK)는 기하학적 문양이나 패턴 등이 인식 정보로 사용될 수도 있으나, 포토 카드로 이루어져 특정한 인물, 캐릭터 등이 인식 정보로도 사용될 수 있다.
사용자 단말(100)은 마커(MK)를 촬영하여 마커(MK)에 포함된 인식 정보를 인식함으로써, 마커(MK)에 대응하는 증강현실 기반의 영상을 표시할 수 있다.
도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(100)은 영상 촬영부(110), 영상 편집부(120), 저장부(130), 표시부(140), 통신부(150), 및 스피커부(160)를 포함한다.
영상 촬영부(110)는 소정의 영역을 촬영하여 제1 영상 데이터를 생성할 수 있다. 제1 영상 데이터는 소정의 영역을 제1 영상으로서 사용자 단말(100)에 표시하기 위한 데이터로서, 영상 촬영부(110)의 촬영에 의해 실시간으로 생성될 수 있다. 이와 같은 영상 촬영부(110)는 사용자 단말(100)에 구비된 카메라로 구현될 수 있으며, 영상 촬영부(110)에 의해 촬영된 제1 영상은 실시간으로 표시부(140)에 표시될 수 있다.
영상 편집부(120)는 영상 촬영부(110)에 의해 생성된 제1 영상 데이터를 분석하여 제1 영상 내에 위치한 마커(MK)를 인식할 수 있다. 영상 편집부(120)는 제1 영상에 포함된 마커(MK)의 기하학적 형상, 특징점을 기초로 마커(MK)를 인식하거나, 인물 이미지, 캐릭터 이미지 등을 기저장된 이미지와 비교하여 마커(MK)를 인식할 수 있다.
영상 편집부(120)는 인식된 마커(MK)에 대응하는 마커 영상 데이터를 저장부(130)로터 리드할 수 있다. 여기서, 마커 영상 데이터는 마커(MK) 별 마커 영상이 기저장된 데이터일 수 있으며, 마커 영상은 인물, 캐릭터의 움직임과 음성을 포함하는 영상, 특정한 소리를 내는 악기를 연주하는 영상, 가상의 객체에 관한 영상 등 다양한 영상이 포함될 수 있다.
예컨대, 영상 촬영부(110)에 의해 특정 아이돌 가수를 인쇄한 마커(MK)가 인식된 경우, 상기 마커(MK)에 대응하는 마커 영상 데이터가 리드될 수 있다. 상기 마커 영상 데이터는 상기 아이돌 가수가 노래를 부르며 안무 동작을 수행하는 마커 영상에 관한 것일 수 있다.
영상 편집부(120)는 마커 영상 데이터가 리드되면, 제1 영상 내 마크가 배치된 위치에 마커 영상을 중첩하여 표시할 수 있다. 예컨대, 제1 영상이 테이블 상에 배치된 포토 카드를 표시하고 있는 경우, 아이돌 가수가 노래를 부르며 안무 동작을 수행하는 마커 영상은 제1 영상의 포토 카드 위치에서 중첩되어 표시될 수 있다. 즉, 아이돌 가수가 테이블 상의 포토 카드 위에서 노래를 부르며 안무 동작을 수행하도록 제1 영상과 마커 영상이 표시될 수 있다.
실시 예에 따라, 마커 영상이 표시된 이후 제1 영상 내에 새로운 마커가 인식된 경우, 영상 편집부(120)는 새롭게 인식된 마커에 대응하는 마커 영상 데이터를 리드하여 새로운 마커 영상을 제1 영상에 중첩하여 표시할 수 있다.
새로운 마커 영상(이하, '제2 마커 영상'이라 함)은 기존에 재생 중이던 마커 영상(이하, '제1 마커 영상'이라 함)의 재생 시점에 대응하여 제1 영상에서 중첩되어 표시될 수 있다. 다시 말해, 제1 마커 영상이 t초 재생된 이후 제2 마커 영상이 함께 재생되는 경우, 제2 마커 영상은 t초가 경과된 이후의 재생 시점부터 재생되게 된다.
여기서, 제1 마커 영상과 제2 마커 영상은 특정한 주제와 관련된 인물 또는 캐릭터의 음성, 움직임 등을 포함하는 것일 수 있기 때문에, 제1 마커 영상과 제2 마커 영상의 재생 시점 동기화를 통해 사용자는 제1 마커 영상과 제2 마커 영상을 비교 감상할 수 있다.
예컨대, 제1 마커 영상과 제2 마커 영상은 팝가수 마이클 잭슨(Michael Jackson)의 노래 '빌리진(Billie Jean)'을 부르며 안무 동작을 수행하는 제1 및 제2 인물들의 영상에 관한 것일 수 있다. 만약, 제1 마커 영상이 제1 영상에서 30초 동안 표시된 이후 제2 마커 영상이 추가적으로 표시되는 경우. 제2 마커 영상은 30초가 경과된 시점부터 표시될 수 있다. 즉, 제1 마커 영상의 제1 인물과 제2 마커 영상의 제2 인물이 동일한 시점에서 노래를 부르고 안무 동작을 수행하도록 제1 마커 영상과 제2 마커 영상의 재생 시점이 동기화될 수 있다.
한편, 제1 마커 영상과 제2 마커 영상은 동일한 인물 또는 캐릭터에 관한 영상일 수도 있으나, 이에 한정되지 않으며 각각이 서로 다른 인물 또는 캐릭터에 관한 영상일 수도 있다.
저장부(130)는 마커를 인식하기 위한 정보들, 예컨대 인물 이미지, 캐릭터 이미지 등을 저장할 수 있으며, 마커에 대응하는 마커 영상 데이터를 저장할 수 있다.
표시부(140)는 영상 촬영부(110)에 의해 생성된 제1 영상 데이터를 실시간으로 표시할 수 있으며, 영상 편집부(120)의 제어에 대응하여 제1 영상과 마커 영상을 중첩하여 함께 표시할 수도 있다.
통신부(150)는 외부의 사용자 단말, 사물 인터넷 장치, 서버 등 외부의 장치와 유선 또는 무선 통신을 수행하여 마커 영상 데이터, 마커 인식을 위한 데이터 등을 수신할 수 있다.
스피커부(160)는 표시부(140)에서 영상이 표시됨에 대응하여 영상의 소리를 출력할 수 있다.
도 3은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도이고, 도 4a와 도 4b는 본 발명의 다른 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 개념도들이다.
도 3을 참조하면, 포토 카드로 구현된 제1 및 제2 마커들(MK1 및 MK2)이 도시되어 있다. 제1 및 제2 마커들(MK1 및 MK2) 각각은 포토 카드에 인쇄된 인물을 촬영한 마커 영상에 대응될 수 있으며, 각 마커 영상은 해당 인물이 특정 노래를 부르며 안무 동작을 수행하는 내용을 포함할 수 있다.
제1 및 제2 마커들(MK1 및 MK2) 각각에 대응하는 마커 영상 속 제1 및 제2 인물들(HM1 및 HM2)은 동일한 주제를 표현하는 움직임 및 음성을 표현할 수 있다. 여기서, 제1 및 제2 인물들(HM1 및 HM2)이 동일한 주제를 표현한다 함은 인물들 각각이 동일한 노래, 동일한 안무, 동일한 대사의 연기, 동일한 운동 포즈 등을 표현하는 것을 의미하지만, 개인의 특성에 따라 주제를 표현하는데 소리 또는 움직임에 차이가 있을 수도 있다.
예컨대, 제1 및 제2 인물들(HM1 및 HM2)은 동일한 노래를 부르며 해당 노래에 상응하는 동일한 안무를 표현하거나, 골프 스윙과 같은 운동 포즈를 표현하거나, 동일한 대사를 연기하면서 움직임을 표현할 수도 있다.
제1 및 제2 마커 영상들(IM1 및 IM2) 속 인물들의 움직임은 동일한 주제를 표현하기 때문에, 인물들 각각의 음성과 움직임은 시간의 흐름에 따라 동일하게 진행될 수 있다.
예컨대, 제1 시점(t0)에서 마커 영상이 시작되면 제1 내지 제3 인물들은 동일한 포즈를 취하고 있고, 제2 시점(t1) 및 제3 시점(t2)으로 마커 영상들이 재생되면서 각 인물은 동일한 안무와 동일한 노래를 표현하게 된다.
한편, 사용자 단말(100)은 제1 영상 내 마커가 인식됨에 따라 마커 영상을 제1 영상에 표시하는 순간부터 마커 영상의 재생 시간을 판단하고, 이후 새로운 마커가 인식되면 이미 경과된 재생 시간을 고려하여 새로운 마커 영상을 재생할 수 있다.
도 4a를 참조하면, 사용자 단말(100)의 영상 촬영부(110)가 소정의 영역(MA)을 촬영하고 있으며, 소정의 영역(MA) 내에 제1 마커(MK1)가 배치되어 있다. 영상 촬영부(110)가 소정의 영역을 촬영함에 따라 제1 영상 데이터가 생성되어 표시부(140)의 표시 영역(DA)에서는 제1 영상이 표시되게 된다.
그리고, 제1 영상 내에 제1 마커(MK1)가 영상 편집부(120)에 의해 인식됨에 따라 제1 마커(MK1)에 대응하는 제1 마커 영상 데이터가 리드되고, 제1 마커 영상이 제1 영상 내 제1 마커의 위치에 표시된다.
영상 편집부(120)는 제1 마커 영상을 제1 영상에 중첩되어 표시를 함과 동시에 제1 마커 영상의 재생 시간을 실시간으로 체크하게 된다.
도 4b를 참조하면, 소정의 영역 내에 새로운 제2 마커(MK2)가 인식되는 경우, 영상 편집부(120)는 제2 마커(MK2)에 대응하는 제2 마커 영상 데이터를 리드하여, 제2 마커 영상을 제1 영상 내 제2 마커(MK2)의 위치에 중첩하여 표시한다.
이때, 제2 마커 영상은 영상의 초기 시점부터 재생되는 것이 아니라, 제1 마커 영상과의 동기화를 위해 제1 마커 영상의 재생 시점에 대응하여 제2 마커 영상의 재생 시점이 결정된다. 따라서, 표시부(140)의 표시 영역에는 제1 및 제2 마커 영상들이 동기화된 상태로 제1 영상에 중첩되어 표시될 수 있다.
한편, 제1 마커(MK1)가 소정의 영역 밖으로 이동되어 제1 영상 내에 제1 마커(MK1)가 위치하지 않으면 제1 마커 영상이 제1 영상에 더이상 표시되지 않는다. 이때, 소정의 영역에 진입하는 새로운 마커들에 대응하는 마커 영상은 제1 마커 영상에 동기화되어 표시되는 것이 아니라, 현재 소정의 영역 내에서 재생되는 제2 마커 영상의 재생 시점에 대응하여 표시될 수 있다.
이와 같이, 마커(MK)를 이용하여 다양한 영상을 동시에 시청하고 싶은 사용자는 마커의 위치만을 조절하여 서로 다른 영상을 동시에 감상할 수 있으며, 영상의 동기화를 통해 비교 감상을 할 수 있을 뿐만 아니라, 마커의 움직임만으로 영상 편집효과를 얻을 수 있다.
예컨대, 제1 마커(MK1)에 대응하는 제1 마커 영상이 '강남 스타일'을 노래하며 춤추는 A 그룹의 아이돌 가수를 촬영한 것이고, 제2 마커(MK2)에 대응하는 제2 마커 영상이 '강남 스타일'을 노래하며 춤추는 B 그룹의 아이돌 가수를 촬영한 것이라면, 사용자는 제1 마커(MK1)와 제2 마커(MK2)의 위치 변경만을 수행하여 A 그룹과 B 그룹의 합동 공연 영상을 감상할 수 있다.
또한, 제1 마커(MK1)와 제2 마커(MK2) 중 어느 한 마커를 소정의 영역에 제외시킴으로써 무대에서 특정 인물의 영상만을 재생하도록 변경할 수 있으며, 다시 제외된 마커를 소정에 영역에 투입시키더라도 마커 영상의 동기화에 의해 동일한 시점의 마커 영상들이 동시에 재생될 수 있다.
또한, 제1 마커(MK1)에 대응하는 제1 마커 영상이 '타이거 우즈'의 골프 스윙폼을 촬영한 영상이고, 제2 마커(MK2)에 대응하는 제2 마커 영상이 '박인비'의 골프 스윙폼을 촬영한 영상인 것이라면, 사용자는 제1 마커(MK1)와 제2 마커(MK2)의 위치 이동에 따라 '타이거 우즈'와 '박인비'의 골프 스윙을 동시에 감상할 수 있다. 사용자는 본인의 스윙폼을 촬영한 영상에 대응하는 마커(MK)를 소정에 영역에 투입하여 선수들과 사용자 자신의 스윙폼을 비교할 수도 있다.
이와 같이 본 발명의 실시 예에 따른 증강현실 기반의 영상 제공방법에 의하면 사용자의 취향에 따라 결성된 커스터마이징 댄스 그룹이 공연하는 영상을 생성할 수도 있으며, 가장 좋아하는 가수를 표시 영역의 센터에 위치시키는 등 무대 감독이 될 수도 있고, 좋아하는 운동선수의 포즈를 따라하기 위한 영상 교육자료를 제공할 수도 있다.
도 5a와 도 5b는 본 발명의 또 다른 실시 예에 따른 증강현실 기반의 영상 표시 방법을 설명하기 위한 개념도들이다.
도 5a와 도 5b를 참조하면. 소정의 영역(MA)을 촬영한 제1 영상에는 중심 영역(CA)과 주변 영역(SA)이 설정될 수 있다. 영상 편집부(120)는 제1 영상 내에 마커가 중심 영역(CA)에 위치하는 경우 기준 크기로 마커 영상을 표시하게 되지만, 주변 영역(SA)에 위치하는 경우 기준 크기보다 기설정된 비율로 축소된 크기로 표시할 수 있다.
또한, 중심 영역(CA)에 위치한 마커(MK)에 대응하는 마커 영상의 소리는 스피커부(160)를 통해 출력될 수 있지만, 주변 영역에 위치한 마커(MK)에 대응하는 마커 영상의 소리는 차단될 수 있다.
예컨대, 제1 및 제2 마커들(MK1 및 MK2)이 중심 영역(CA)에 존재하는 경우, 제1 및 제2 마커들(MK1 및 MK2)에 대응하는 제1 및 제2 마커 영상들 모두 기준 크기로 표시되면서 소리도 출력될 수 있다.
하지만, 도 5b와 같이 제1 마커가 주변 영역(SA)으로 이동된 경우, 영상 편집부(120)는 제1 마커 영상을 기설된 비율로 축소하여 주변 영역에 위치한 마커상에 표시할 수 있다.
중심 영역(CA)에서 표시될 수 있는 마커 영상들의 영역은 한정되어 있지만, 중심 영역(CA)에서 감상하고 싶은 마커 영상들은 표시할 수 있는 영역보다 많이 제공될 수 있다. 따라서, 사용자는 주변 영역(SA)에 마커(MK)들을 배치시켜서 축소된 비율로 마커 영상들을 재생시킴과 동시에 집중하고 싶은 마커 영상에 대응하는 마커만을 중심 영역(CA)에 배치할 수 있다.
이로써, 사용자는 마커의 위치 변경만을 통해 중심 영역(CA)에서 표시되는 마커 영상을 집중하여 감상할 수 있으며, 동시에 주변 영역(SA)에서 표시되는 마커 영상을 항시 모니터링할 수 있다.
도 6은 본 발명의 실시 예에 따른 증강현실 기반의 영상 표시방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 사용자 단말(100)은 소정의 영역(MA)을 촬영하여 제1 영상 데이터를 생성할 수 있다(S100).
사용자 단말(110)은 제1 영상 데이터에 대응하는 제1 영상을 분석하여 제1 영상에 포함된 제1 마커(MK1)를 인식할 수 있다(S110).
사용자 단말(100)은 제1 마커(MK1)에 대응하는 제1 마커 영상 데이터를 리드할 수 있다(S120).
사용자 단말(100)은 제1 마커 영상 데이터에 대응하는 제1 마커 영상을 제1 영상의 제1 마커(MK1)의 위치 상에 중첩하여 표시할 수 있다(S130).
사용자 단말(100)은 제1 마커 영상이 표시된 이후, 사용자 단말이 제1 영상 내에서 추가로 인식된 제2 마커(MK2)에 대응하는 제2 마커 영상 데이터를 리드할 수 있다(S140).
사용자 단말(100)은 제2 마커 영상 데이터에 대응하는 제2 마커 영상을 제1 영상의 제2 마커(MK2)의 위치 상에 중첩하여 표시할 수 있다(S150). 이때, 사용자 단말은 제1 마커 영상의 재생 시점에 제2 마커 영상의 재생 시점을 동기화하여 제2 마커 영상을 표시할 수 있다.
이상에서 본 발명의 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.
100: 사용자 단말
110: 영상 촬영부
120: 영상 편집부
130: 저장부
140: 표시부
150: 통신부
160: 스피커부
MK: 마커

Claims (6)

  1. 사용자 단말이, 소정의 영역을 촬영하여 제1 영상 데이터를 생성하는 단계;
    상기 사용자 단말이, 상기 제1 영상 데이터에 대응하는 제1 영상을 분석하여 상기 제1 영상에 포함된 제1 마커를 인식하는 단계;
    상기 사용자 단말이, 상기 제1 마커에 대응하는 제1 마커 영상 데이터를 리드하는 단계;
    상기 사용자 단말이, 상기 제1 마커 영상 데이터에 대응하는 제1 마커 영상을 상기 제1 영상의 제1 마커의 위치 상에 중첩하여 표시하고, 상기 제1 마커 영상의 재생 시점을 기준 시점으로 설정하는 단계;
    상기 사용자 단말이, 상기 제1 영상 내에서 추가로 인식된 제2 마커에 대응하는 제2 마커 영상 데이터를 리드하는 단계;
    상기 사용자 단말이, 상기 제2 마커 영상 데이터에 대응하는 제2 마커 영상을 상기 제1 영상의 제2 마커의 위치 상에 중첩하여 표시하는 단계로서, 상기 제2 마커 영상은 상기 설정된 기준 시점에 재생 시점이 동기화되어 표시됨;
    상기 제1 영상 내에서 상기 제1 마커가 인식되지 않는 경우, 상기 사용자 단말이, 상기 제1 마커 영상의 표시를 중단하고, 상기 기준 시점을 상기 제2 마커 영상의 재생 시점으로 변경하는 단계;
    상기 사용자 단말이, 상기 제1 영상 내에서 추가로 인식된 제3 마커에 대응하는 제3 마커 영상 데이터를 리드하는 단계; 및
    상기 사용자 단말이, 상기 제3 마커 영상 데이터에 대응하는 제3 마커 영상을 상기 제1 영상의 제3 마커의 위치 상에 중첩하여 표시하는 단계로서, 상기 제3 마커 영상은 상기 변경된 기준 시점에 재생 시점이 동기화되어 표시되는, 증강현실 기반의 영상 제공방법.
  2. 제1항에 있어서,
    상기 제1 내지 제3 마커들 각각은 포토 카드로 이루어진 증강현실 기반의 영상 제공방법.
  3. 제1항에 있어서,
    상기 사용자 단말이, 상기 제1 영상을 중심 영역과 주변 영역으로 구분하는 단계; 및
    상기 사용자 단말이, 상기 제1 영상 내 마커의 위치에 대응하여 상기 제1 영상에 중첩되어 표시되는 마커 영상들 각각의 크기를 조절하는 단계; 를 더 포함하는 증강현실 기반의 영상 제공방법.
  4. 제3항에 있어서, 상기 마커 영상들 각각의 크기를 조절하는 단계는,
    상기 제1 영상의 상기 중심 영역에 위치한 마커에 대응하는 마커 영상을 기준 크기로 표시하고, 상기 제1 영상의 상기 주변 영역에 위치한 마커에 대응한 마커 영상을 상기 기준 크기보다 기설정된 비율로 축소하여 표시하는 단계인, 증강현실 기반의 영상 제공방법.
  5. 제4항에 있어서,
    상기 기준 크기로 표시되는 마커 영상에 대응하는 소리는 스피커부를 통해 출력되고, 상기 기설정된 비율로 축소되어 표시되는 마커 영상에 대응하는 소리는 차단되는 증강현실 기반의 영상 제공방법.
  6. 제1항에 있어서,
    상기 제1 내지 제3 마커 영상들은 동일한 주제를 표현하는 움직임과 소리를 포함하는 증강현실 기반의 영상 제공방법.
KR1020190036502A 2019-03-29 2019-03-29 증강현실 기반의 영상 표시방법 KR102028139B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190036502A KR102028139B1 (ko) 2019-03-29 2019-03-29 증강현실 기반의 영상 표시방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190036502A KR102028139B1 (ko) 2019-03-29 2019-03-29 증강현실 기반의 영상 표시방법

Publications (1)

Publication Number Publication Date
KR102028139B1 true KR102028139B1 (ko) 2019-10-04

Family

ID=68208202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190036502A KR102028139B1 (ko) 2019-03-29 2019-03-29 증강현실 기반의 영상 표시방법

Country Status (1)

Country Link
KR (1) KR102028139B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310063B1 (ko) 2021-02-04 2021-10-08 주식회사 아라니아 포토카드로부터 영상의 동작 시점을 동기화하는 영상 재생 방법
KR102396642B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토 카드를 기반하여 중앙 영상을 재생하는 영상 재생 방법
KR102396638B1 (ko) 2021-02-09 2022-05-12 주식회사 아라니아 포토 카드로부터의 영상 속 객체 크기를 조정하는 영상 재생 방법
KR102396639B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토 카드를 이용한 영상 재생 방법
KR102396640B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법
KR102396641B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토카드로부터 영상의 동작 시점 및 객체크기를 동기화하는 영상 재생 방법
KR20220152017A (ko) * 2021-05-07 2022-11-15 (주)루디벨 멀티 뮤직카드에 의한 증강현실 협주 제공방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
KR20120056489A (ko) * 2010-11-25 2012-06-04 에스케이플래닛 주식회사 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
KR101808452B1 (ko) * 2016-10-10 2017-12-12 케이티하이텔 주식회사 하이브리드 ｖｒ 노래방 시스템
JP2018201652A (ja) * 2017-05-31 2018-12-27 株式会社バンダイナムコエンターテインメント コンピュータシステム及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237680A (ja) * 2008-03-26 2009-10-15 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
KR20120056489A (ko) * 2010-11-25 2012-06-04 에스케이플래닛 주식회사 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
KR101808452B1 (ko) * 2016-10-10 2017-12-12 케이티하이텔 주식회사 하이브리드 ｖｒ 노래방 시스템
JP2018201652A (ja) * 2017-05-31 2018-12-27 株式会社バンダイナムコエンターテインメント コンピュータシステム及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310063B1 (ko) 2021-02-04 2021-10-08 주식회사 아라니아 포토카드로부터 영상의 동작 시점을 동기화하는 영상 재생 방법
KR102396638B1 (ko) 2021-02-09 2022-05-12 주식회사 아라니아 포토 카드로부터의 영상 속 객체 크기를 조정하는 영상 재생 방법
KR102396642B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토 카드를 기반하여 중앙 영상을 재생하는 영상 재생 방법
KR102396639B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토 카드를 이용한 영상 재생 방법
KR102396640B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토 카드로부터의 영상 속 객체 크기 및 시작 시간을 조정하는 영상재생방법
KR102396641B1 (ko) 2021-02-10 2022-05-12 주식회사 아라니아 포토카드로부터 영상의 동작 시점 및 객체크기를 동기화하는 영상 재생 방법
KR20220152017A (ko) * 2021-05-07 2022-11-15 (주)루디벨 멀티 뮤직카드에 의한 증강현실 협주 제공방법
KR102651446B1 (ko) * 2021-05-07 2024-03-27 (주)루디벨 멀티 뮤직카드에 의한 증강현실 협주 제공방법

Similar Documents

Publication Publication Date Title
KR102028139B1 (ko) 증강현실 기반의 영상 표시방법
KR101304111B1 (ko) 댄싱 가라오케 시스템
US9143721B2 (en) Content preparation systems and methods for interactive video systems
US6556775B1 (en) Image and sound reproduction system
CN109462776A (zh) 一种视频特效添加方法、装置、终端设备及存储介质
JP4671192B2 (ja) 画像処理装置および画像処理方法
US8958686B2 (en) Information processing device, synchronization method, and program
JP6518689B2 (ja) プログラムおよび情報処理装置
JP4981370B2 (ja) 動画生成システム、及び動画生成方法
WO2015151766A1 (ja) 投影撮影システム、カラオケ装置及びシミュレーション装置
CN106909217A (zh) 一种增强现实的全息投影交互方法、装置及***
US20240203058A1 (en) System and method for performance in a virtual reality environment
JP7329946B2 (ja) プログラム、コンピュータシステムおよび制御方法
KR101767569B1 (ko) 디스플레이되는 영상컨텐츠와 관련된 증강현실 인터랙티브 시스템 및 상기 시스템의 운영방법
CN110213560A (zh) 一种沉浸式视频播放方法和***
JP2004328788A (ja) 記録済みの背景映像に別途撮影された人物映像を合成して表示出力する方法およびその方法を採用したカラオケ装置
KR101295862B1 (ko) 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
KR102324579B1 (ko) 댄스 매칭 방법 및 시스템
KR20200025285A (ko) 컨텐츠 체험관
JP5310682B2 (ja) カラオケ装置
KR20140084463A (ko) 화자 정보를 표시하는 장치 및 방법 그리고, 동영상을 편집하는 서버
JP2016166928A (ja) 演出装置、演出方法、プログラム、ならびにアミューズメントシステム
JP2004134891A (ja) 画像処理装置
KR101965404B1 (ko) Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법
JP5299374B2 (ja) カラオケ装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant