KR20120082187A - 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 - Google Patents
증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 Download PDFInfo
- Publication number
- KR20120082187A KR20120082187A KR1020110003549A KR20110003549A KR20120082187A KR 20120082187 A KR20120082187 A KR 20120082187A KR 1020110003549 A KR1020110003549 A KR 1020110003549A KR 20110003549 A KR20110003549 A KR 20110003549A KR 20120082187 A KR20120082187 A KR 20120082187A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- marker
- virtual object
- song
- augmented reality
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
본 발명은 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하면 촬영한 화면에 보여지는 마커를 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시하고 사용자로부터 화면에 표시된 가상 키패드 또는 가상 악기에 대한 조작이 있으면 해당 가상 객체에 사용자 조작 유형에 따른 인터랙션 동작을 표현하는 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법에 관한 것이다.
Description
본 발명은 증강 현실을 이용한 노래방 서비스에 관한 것으로서, 상세하게는 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하면 촬영한 화면에 보여지는 마커를 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시하고 사용자로부터 화면에 표시된 가상 키패드 또는 가상 악기에 대한 조작이 인식되면 해당 가상 객체에 사용자 조작에 따른 인터랙션 동작을 표현하도록 하는 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법에 관한 것이다.
가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.
증강 현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
한편, 종래 노래방 서비스는 노래방 기기에 다수의 노래를 수록해 두고, 사용자가 수록된 노래 중 하나를 선곡하면 음향 발생 장치를 통해 해당 노래의 반주용 음악 데이터를 재생시키고 표시 장치에는 가사와 함께 영상 데이터를 제공한다.
즉, 종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하기 때문에 사용자의 흥미를 지속적으로 유발시킬 수 없다는 문제점이 있다.
예를 들면, 사용자가 노래를 부르는 동안 자신이 부르는 노래를 녹음하거나 또는 노래 부르는 모습을 촬영하고 싶을 경우, 별도의 녹음 장치 및 촬영 장치를 구비해야 가능한 불편함이 있다.
따라서, 종래 노래방 서비스와 상기의 증강 현실 기술을 결합하면 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하여 재미와 흥미를 유발할 수 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하면 촬영한 화면에 보여지는 마커를 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시하고 사용자로부터 화면에 표시된 가상 키패드 또는 가상 악기에 대한 조작이 있으면 해당 가상 객체에 사용자 조작 유형에 따른 인터랙션 동작을 표현하는 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법을 제공하는 데 그 목적이 있다.
이를 위하여 본 발명의 제1 측면에 따르면, 본 발명의 증강 현실을 이용한 노래방 시스템은, 마커를 포함한 노래방 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치; 상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커를 노래 재생 여부에 따라 가상 악기 또는 가상 키패드로 변환하여 상기 실제 영상에 합성하며, 사용자로부터 상기 가상 악기 또는 가상 키패드에 대한 조작이 인식되면 사용자의 조작 유형에 따른 인터랙션 동작을 상기 가상 악기 또는 가상 키패드에 표현하는 노래방 장치; 및 상기 노래방 장치에서 실제 영상과 가상 객체가 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 본 발명의 노래방 장치는, 마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부; 상기 마커 검출부를 통해 검출한 마커에 대하여 노래 재생 여부에 따라 정의된 가상 객체를 검색하여 추출하는 검색부; 상기 검색부에서 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성부; 및 상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하고 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따르면, 본 발명의 노래방 서비스 방법은, 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계; 상기 실제 영상으로부터 상기 마커를 검출하는 마커 검출 단계; 상기 마커 검출 단계를 통해 검출한 마커에 대하여 노래 재생 여부에 따라 정의된 가상 객체를 검색하여 추출하는 검색 단계; 상기 검색 단계를 통해 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성 단계; 상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하는 인터랙션 추출 단계; 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션 반영 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 노래방에 부착된 마커가 곡 선곡에 따라 다양한 가상 객체로 변환이 가능하므로 사용자가 노래를 부르는 동안 마치 사용자가 가수와 함께 노래 부르는 듯한 시각적 효과를 제공함으로써 재미와 흥미를 지속적으로 유발하는 효과가 있다.
또한, 본 발명은 사용자가 노래 부르는 동안 음향이나 사용자 동작에 따라 가상 영상에 다양한 효과를 부가함으로써 보다 실감있는 분위기를 연출할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에서 컨텍스트 정보에 따라 가상 객체의 속성을 매핑시킨 저장부의 도면이다.
도 3은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 서비스 방법을 설명하기 위한 흐름도이다.
도 4는 도 5의 A 과정을 나타낸 상세 흐름도이다.
도 5는 도 5의 B 과정을 나타낸 상세 흐름도이다.
도 6은 본 발명의 실시 예에서 가상 객체가 가상 악기인 경우 인터랙션을 수행하는 예를 보인 도면이다.
도 7은 본 발명의 실시 예에서 가상 객체가 가상 키패드인 경우 인터랙션을 수행하는 예를 보인 도면이다.
도 2는 본 발명의 실시 예에서 컨텍스트 정보에 따라 가상 객체의 속성을 매핑시킨 저장부의 도면이다.
도 3은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 서비스 방법을 설명하기 위한 흐름도이다.
도 4는 도 5의 A 과정을 나타낸 상세 흐름도이다.
도 5는 도 5의 B 과정을 나타낸 상세 흐름도이다.
도 6은 본 발명의 실시 예에서 가상 객체가 가상 악기인 경우 인터랙션을 수행하는 예를 보인 도면이다.
도 7은 본 발명의 실시 예에서 가상 객체가 가상 키패드인 경우 인터랙션을 수행하는 예를 보인 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명에 대한 구체적인 설명을 하기에 앞서, 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.
증강 현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.
증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 추적(tracking) 기술, 합성 기술을 포함한다. 먼저, 실제 환경에 대한 영상에서 대상 위치의 인식 및 추적에 의해 합성할 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정하며, 추정된 기울기, 방향 등에 따라 가상 객체를 렌더링(rendering)하여 정확한 위치에 합성시킴으로써 구현될 수 있다. 여기서, 인식 대상은 기하학 문양이나 일정 패턴을 갖는 마커일 수 있으며 또는 사람의 얼굴이나 손 등의 실물 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)이 될 수도 있다.
본 발명은 위의 기본적인 세 가지 기술을 적용하면서 추가로 마커에 사용자의 조작에 따른 인터랙션(interation)을 반영하여 증강 현실을 더 실감있게 표현하는 기술에 관한 것이다.
이하, 본 발명의 구체적인 구성을 설명한다.
도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.
본 발명의 실시 예에 따른 노래방 시스템은, 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치(200), 영상 획득 장치(200)를 통해 인식한 실제 영상으로부터 마커(100)를 검출하고 검출한 마커(100)를 재생 여부에 따라 정의된 가상 객체로 변환하여 실제 영상과 합성하는 증강 현실 기반의 노래방 장치(300), 노래방 장치(300)에서 생성한 증강 현실 영상을 표시하는 표시 장치(400)를 포함하여 구현될 수 있다.
본 실시 예에서, 마커(100)는 노래방의 바닥이나 벽면 등에 부착될 수 있다. 이러한 마커(100)는 기하학 문양이나 일정한 패턴으로 정의되어 특정 가상 객체를 식별할 수 있는 고유 식별 마커를 포함함은 물론, 사람의 얼굴이나 손, 노래방 기구 등의 실제 객체를 모두 포함한다. 실제 객체의 경우, 마커 검출은 실제 객체의 모양, 외곽선, 질감, 색상 등의 특징점(Feature Point)을 추출함으로써 구현할 수 있다.
또한, 본 실시 예에서의 마커(100)는 하나로 구현 가능하나, 필요에 따라 복수 개로 적용하여 다양한 종류의 가상 객체를 보여줄 수 있다.
즉, 하나의 마커(100)를 이용하는 경우, 마커(100)는 하나의 마커로 노래 재생 여부에 따라 다양한 가상 객체를 나타낼 수 있다.
또한, 복수의 마커(100)를 이용하는 경우, 각 마커(100)는 하나의 가상 객체만 매핑되어 있어 노래 재생 여부에 따라 선택적으로 적용할 수 있다. 예를 들어, 제1 마커는 노래할 때 필요한 도구이거나 노래에 관련된 가상 이미지이고 제2 마커는 노래 전에 필요한 도구이거나 노래 전에 준비 과정과 관련된 가상 이미지라 가정하면, 노래 재생 여부에 따라 제1 마커 또는 제2 마커에 대한 가상 객체를 선택적으로 표시할 수 있다.
영상 획득 장치(200)는 마커(100)를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상(이하, 실제 영상)을 인식한다. 그리고, 인식한 실제 영상을 노래방 장치(300)로 전달한다. 이 영상 획득 장치(200)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.
표시 장치(400)는 노래방 장치(300)의 합성부(330)를 통해 실제 영상과 가상 객체가 합성된 영상(이하, 증강 현실 영상)을 화면에 표시하여 보다 실감있는 영상을 제공한다.
노래방 장치(300)는 세부적으로 마커 검출부(310), 마커 종류 인식부(320), 검색부(330), 합성부(340), 저장부(350), 움직임 검출부(360), 인터력센부(370), 음향 발생부(380)를 포함할 수 있다.
마커 검출부(310)는 영상 획득 장치(200)를 통해 얻은 실제 영상으로부터 마커를 검출한다. 일 예로, 마커가 기하학 문양이나 일정 패턴을 갖는 식별 코드의 경우 마커 검출은 이미지 판독을 통해 쉽게 가능하다. 그러나, 마커가 실제 객체의 경우, 마커 검출부(310)는 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보, 질감 정보 등의 특징점을 추출하여 검출할 수 있다.
마커 종류 인식부(320)는 마커 검출부(310)를 통해 검출된 마커의 종류를 인식한다. 즉, 해당 마커가 노래 재생 여부에 따라 다양한 가상 객체를 나타내는 식별 마커인지, 또는 미리 정의된 하나의 가상 객체만 나타내는 식별 마커인지를 확인할 수 있다.
또한, 마커 종류 인식부(320)는 해당 마커가 노래 재생 여부에 따라 활성화되는 마커인지를 확인할 수 있다.
검색부(330)는 현재 노래방 장치(300)가 노래 재생 중인지 여부를 확인하고, 노래 재생 여부에 따라 매핑된 가상 객체를 저장부(350)에 저장된 가상객체 DB(352)를 통해 검색한다. 따라서, 마커 종류 인식부(320)를 통해 확인한 마커에 대하여 해당 가상 객체를 추출한다.
예를 들어, 현재 노래방 장치(300)의 동작이 노래 재생 중이면 마커 종류 인식부(320)를 통해 확인한 마커에 대하여 매핑된 가상 객체를 가상 악기로 추출하고, 노래 재생 중이 아니면 마커 종류 인식부(320)를 통해 확인한 마커에 매핑된 가상 객체로 가상 키패드를 추출할 수 있다.
또한, 검색부(330)는 복수의 마커를 사용한 경우 노래 재생시 활성화되는 제1 마커와 노래 재생이 아닐 때 활성화되는 제2 마커를 구분하여 노래 재생 여부에 따라 선택적으로 마커에 대한 가상 객체를 검색할 수 있다.
합성부(340)는 검색부(330)를 통해 검색한 가상 객체를 영상 획득 장치(200)로부터 얻은 실제 영상과 합성한다. 이때, 실제 영상에서 보여지는 마커의 위치 및 방향 등을 고려하여 마커에 대응되는 가상 객체를 실제 영상에 중첩함으로써 합성할 수 있다.
저장부(350)는 노래 재생 여부에 따라 다양한 가상 객체 정보를 저장한 가상객체DB(352)와, 사용자의 조작 유형에 따라 가상 객체의 인터랙션 동작을 매핑시켜 저장한 인터랙션 DB(354)를 포함할 수 있다.
즉, 가상객체 DB(352)는 탬버린, 드럼, 기타 등의 가상 악기 또는 가상 키패드를 포함한다. 이러한 가상객체 DB(352)는 노래 재생 여부에 따라 구분하여 저장할 수 있다.
인터랙션 DB(354)는 도 2에 도시한 바와 같이 사용자 조작 유형에 따라 가상 객체별로 인터랙션 동작 정보가 미리 정의되어 있다.
예를 들어, 가상 객체가 탬버린의 경우 사용자로부터 손가락으로 두드리는 동작이나 손을 좌우로 흔드는 동작이 인식되면 탬버린을 가볍게 치는 음향이나 탬버린을 흔드는 음향을 발생하여 탬버린 연주를 표현하도록 정의되어 있다.
또는, 가상 객체가 드럼의 경우 사용자로부터 양손으로 두드리는 동작이 인식되면 드럼을 두드리는 음향을 발생하여 드럼 연주를 표현하도록 정의되어 있다.
이러한 인터랙션 수행은 노래방 장치(300)에서 움직임 검출부(360), 인터랙션부(370), 음향 발생부(380)를 통해 수행할 수 있다.
즉, 움직임 검출부(360)는 영상 획득 장치(200)를 통해 촬영한 실제 영상으로부터 사용자의 손이나 손가락 등의 움직임을 검출한다. 사용자의 움직임은 사용자가 탬버린이나 드럼, 기타 등을 연주하는 동작이거나 가상 키패드를 입력하는 동작 등이 될 수 있다.
또한, 움직임 검출부(360)는 사용자의 손이나 손가락 외에 특별한 도구가 이용된 경우 이 도구의 움직임을 검출할 수도 있다. 이를 테면, 가상 객체의 드럼을 연주하기 위해 연주 도구를 이용하는 경우 이의 움직임을 검출할 수 있다.
음향 발생부(380)는 탬버린, 드럼, 기타 등 각 가상 악기의 음향을 발생시킨다.
인터랙션부(370)는 합성부(340)를 통해 화면에 보여지는 가상 객체에 대하여 움직임 검출부(360)로부터 사용자의 조작이 인식되면 사용자 조작 유형에 따라 정의해 둔 가상 객체별 인터랙션 동작 정보를 저장부(350)의 인터랙션 DB(354)를 통해 추출한다. 그리고, 인터랙션부(370)는 추출한 인터랙션 동작 정보를 해당 가상 객체에 부여하도록 지령한다.
만약 가상 객체를 가상 악기로 검출한 경우, 인터랙션부(370)는 음향 발생기(380)로 사용자 조작 유형에 따른 인터랙션 동작 정보를 지령하여 해당 가상 악기의 음향을 발생하도록 한다.
다른 예로 가상 객체를 가상 키패드로 검출한 경우, 인터랙션부(370)는 사용자의 조작이 있는 키패드의 위치를 검출하여 해당 위치의 키패드 문자를 입력함으로써 노래 선곡을 위해 지령할 수 있다.
따라서, 본 발명의 실시 예에 따른 노래방 시스템은 영상 획득 장치(200)를 통해 노래방의 마커를 포함한 현실 노래방 환경을 촬영하면 촬영한 실제 영상이 표시 장치(400)를 통해 보여지는데, 이때 표시 장치(400)는 해당 마커를 노래 재생 여부에 따라 다른 가상 객체로 변환하여 표시한다. 즉, 노래가 재생 중이면 실제 영상에 마커 대신 가상 악기를 합성하여 표시하고, 노래 재생 중이 아니면 실제 영상에 마커 대신 가상 키패드를 합성하여 표시할 수 있다. 또한, 본 발명의 실시 예에 따른 노래방 시스템은 표시 장치(400)에 보여지는 가상 객체에 대하여 사용자의 조작이 있으면 조작 유형에 따라 다양한 인터렉션 동작을 수행하도록 줌으로써 재미와 흥미를 더욱 배가시킬 수 있다.
그럼, 이하에서는 앞서 설명한 바와 같이 마커 기반 증강 현실을 이용하여 노래방 서비스를 제공하는 방법에 대하여 도 3을 참조하여 설명한다.
우선 마커를 인식하기 전에, 인식하고자 하는 마커(실제 객체 포함)에 대하여 특징점을 정의하고 정의된 특징점 정보에 마커의 종류를 부여하여 미리 저장해 둔다. 이를 테면, 본 발명에 사용하는 마커는 노래 재생 여부에 따라 다양한 가상 객체를 표시하는 마커이거나 또는 하나의 가상 객체만 매핑되어 있어 마커가 인식되면 매핑된 가상 객체만 표시할 수 있는 마커임을 부여할 수 있다. 이 경우, 마커는 노래 재생 여부에 따라 활성화 여부를 미리 정의해 둘 수 있다. 그리고, 각 가상 악기에 대한 음향을 음향 발생부에 맞추어 두고, 사용자의 조작 유형에 따라 가상 객체에 지정할 인터랙션 동작을 정의한다.
이후, 영상 획득 장치를 통해 마커를 포함한 현실 환경을 촬영하여 현실 환경의 실제 영상을 획득한다(S100).
그리고, 영상 획득 장치를 통해 획득한 실제 영상으로부터 마커를 검출하고, 검출된 해당 마커가 노래 재생 여부에 따라 다양한 가상 객체를 표시하는지, 아님 하나의 가상 객체만 매핑되어 표시하는지 여부를 확인할 수 있다(S110).
이후, 노래방 장치를 통해 현재 노래가 재생되고 있는지를 파악한다(S120).
노래 재생 중이 아니면 상기의 검출한 마커를 가상 키패드용 마커로 인식하고 검색부에서 인식한 해당 마커와 매핑되는 가상 객체(가상 키패드)를 검색한다(S130, S132). 이때, 마커가 지정된 하나의 가상 객체만 표시하는 마커인 경우 일 예로, 제1 마커는 가상 악기이고 제2 마커는 가상 키패드로 매핑되어 있는 경우, 노래 재생시에는 제1 마커만 변환하고 노래 재생 중이 아니면 제2 마커만 변환할 수 있다.
검색한 가상 객체를 마커에 매핑하고 실제 영상과 합성하여 도 7에 도시한 바와 같이 표시 장치에 표시할 수 있다(S134).
이와 반대로 노래가 재생 중이면 상기의 검출 마커를 가상 악기용 마커로 인식하고 검색부에서 인식한 해당 마커와 매핑되는 가상 객체(가상 악기)를 검색한다(S140, S142).
검색한 가상 객체를 마커에 매핑하고 실제 영상과 합성하여 도 6에 도시한 바와 같이 표시 장치에 표시할 수 있다(S144).
한편, 상기의 과정에서 표시 장치에 가상 키패드를 표시한 경우(A), 노래방 장치에서는 도 4에 도시한 것처럼 사용자의 움직임을 검출하여 사용자로부터 가상 키패드에 대한 조작이 수행되는지를 판단한다(S200, S210).
노래방 장치에서 가상 키패드에 대한 조작이 수행됨을 인식하게 되면 사용자의 조작이 있는 가상 키패드의 위치를 검출하여 해당 위치의 키패드 문자를 인식한다(S220). 인식한 문자는 노래 번호 또는 노래 제목 등이 될 수 있다.
이후, 노래방 장치는 인식한 문자를 노래 선곡에 이용할 수 있다. 이로써 별도의 숫자 키패드를 이용하지 않고서도 화면을 통해 노래를 선곡할 수 있다.
한편, 상기의 과정에서 표시 장치에 가상 악기를 표시한 경우(B), 노래방 장치에서는 도 5에 도시한 것처럼 사용자의 움직임을 검출하여 사용자로부터 가상 악기에 대한 연주 동작이 수행되는지를 판단한다(S300, S310).
노래방 장치에서 가상 악기에 대한 동작이 수행됨을 인식하게 되면 사용자의 연주 동작에 따른 인터렉션 동작 정보를 추출하여 음향 발생기로 지령한다. 따라서, 사용자의 연주 동작에 따라 해당 가상 악기의 음향을 발생시킨다. 이로써, 사용자가 화면을 보면서 드럼, 탬버린 등의 음향을 발생하여 노래에 대한 효과음을 제공할 뿐만 아니라 악기 연주로 인한 재미와 흥미를 유발할 수 있다.
한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.
다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.
기록매체는 각 재생장치의 내장형 하드디스크이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 마커를 포함한 노래방 현실 환경을 촬영하여 실제 영상을 획득하는 과정과, 실제 영상으로부터 마커를 검출하는 과정과, 검출한 마커를 노래 재생 여부에 따라 정의된 가상 객체로 검색하여 추출하는 과정과, 상기 단계에서 추출한 가상 객체를 실제 영상에 중첩하여 합성하는 과정과, 가상 객체에 대하여 사용자로부터의 조작이 인식되면 사용자 조작 유형에 따라 정의된 가상 객체별 인터랙션 동작을 추출하는 과정과, 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 과정들을 포함하여 실행될 수 있다.
여기서, 각 과정에서의 구체적인 기술은 상기의 증강현실 장치 및 방법의 구성과 동일하므로 중복되는 기술 설명은 생략한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하였으나, 본 발명은 기존 노래방 서비스에 증강 현실 기술을 결합한 것으로 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하고 촬영한 화면에 보여지는 마커를 노래 재생 여부에 따라 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시함으로써 사용자가 노래 부르기 전에는 노래 선곡을 위한 키패드로 제공하고 노래 선곡 후에는 가상 악기로 제공하며, 이의 가상 객체를 사용자 조작에 따라 인터랙션하도록 함으로써 보다 증강된 현실감을 부여하여 재미와 흥미를 유발시킬 수 있다. 이러한 점에서 노래방뿐만 아니라 나아가 방송 공연 사업, 콘텐츠를 이용한 아동 및 스포츠 교육 사업에까지 확장하여 적용할 수 있다.
100: 마커 200: 영상 획득 장치
300: 노래방 장치 400: 표시 장치
310: 마커 검출부 320: 마커 종류 인식부
330: 검색부 340: 합성부
350: 저장부 352: 가상객체 DB
354: 인터랙션 DB 360: 움직임 검출부
370: 인터랙션부 380: 음향 발생부
300: 노래방 장치 400: 표시 장치
310: 마커 검출부 320: 마커 종류 인식부
330: 검색부 340: 합성부
350: 저장부 352: 가상객체 DB
354: 인터랙션 DB 360: 움직임 검출부
370: 인터랙션부 380: 음향 발생부
Claims (19)
- 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치;
상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커를 노래 재생 여부에 따라 가상 악기 또는 가상 키패드로 변환하여 상기 실제 영상에 합성하며, 사용자로부터 상기 가상 악기 또는 가상 키패드에 대한 조작이 인식되면 사용자의 조작 유형에 따른 인터랙션 동작을 상기 가상 악기 또는 가상 키패드에 표현하는 노래방 장치; 및
상기 노래방 장치에서 실제 영상과 가상 객체가 합성된 증강 현실 영상을 표시하는 표시 장치
를 포함하는 증강 현실을 이용한 노래방 시스템. - 마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부;
상기 마커 검출부를 통해 검출한 마커에 대하여 노래 재생 여부에 따라 정의된 가상 객체를 검색하여 추출하는 검색부;
상기 검색부에서 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성부; 및
상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하고 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션부
를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 2 항에 있어서,
상기 검색부는 노래 재생 여부를 확인하여 노래가 재생되고 있으면 상기 가상 객체를 가상 악기로 검출하고, 노래 재생 중이 아니면 상기 가상 객체를 가상 키패드로 검출하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 3 항에 있어서,
상기 가상 객체를 가상 악기로 검출한 경우,
상기 사용자 조작 유형에 따라 상기 가상 악기를 연주하도록 해당 가상 악기의 음향을 발생하는 음향 발생부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 3 항에 있어서,
상기 인터랙션부는
상기 가상 객체가 가상 악기인 경우 사용자 조작 유형에 따라 상기 가상 악기를 연주하는 인터랙션 동작을 검출하여 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 3 항에 있어서,
상기 인터랙션부는
상기 가상 객체가 가상 키패드인 경우 사용자 조작 유형에 따라 선택된 가상 캐피드의 입력키를 검출하여 노래 선곡하는 데 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 2 항에 있어서,
상기 가상 객체에 대하여 사용자로부터의 조작을 인식하기 위해 사용자의 움직임을 검출하는 움직임 검출부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 2 항에 있어서,
상기 노래 재생 여부에 따라 매핑되는 가상 객체 정보와,
상기 사용자 조작 유형에 따라 인터랙션할 가상 객체의 인터랙션 동작 정보를 미리 정의해 둔 저장부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 2 항에 있어서,
상기 마커는 기하학적인 문양이나 일정 패턴으로 정의되어 특정 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 2 항에 있어서,
상기 마커는 하나의 마커로 노래 재생 여부에 따라 서로 다른 가상 객체를 나타낼 수 있는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 제 2 항에 있어서,
상기 마커를 복수 개 구비한 경우, 노래 재생 여부에 따라 선택적으로 적용하기 위해 상기 마커의 종류를 확인하는 마커 종류 인식부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치. - 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계;
상기 실제 영상으로부터 상기 마커를 검출하는 마커 검출 단계;
상기 마커 검출 단계를 통해 검출한 마커에 대하여 노래 재생 여부에 따라 정의된 가상 객체를 검색하여 추출하는 검색 단계;
상기 검색 단계를 통해 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성 단계;
상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하는 인터랙션 추출 단계;
추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션 반영 단계
를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법. - 제 12 항에 있어서,
상기 검색 단계는,
상기 노래 재생 여부를 확인하여 현재 노래가 재생되고 있으면 상기 가상 객체를 가상 악기로 검출하고, 현재 노래가 재생되지 않고 있으면 상기 가상 객체를 가상 키패드로 검출하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법. - 제 12 항에 있어서,
상기 인터랙션 추출 단계는
상기 가상 객체가 가상 악기인 경우 사용자 조작 유형에 따라 상기 가상 악기를 연주하는 인터랙션 동작을 검출하여 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법. - 제 12 항에 있어서,
상기 인터랙션 추출 단계는
상기 가상 객체가 가상 키패드인 경우 사용자 조작 유형에 따라 선택된 가상 캐피드의 입력키를 검출하여 노래 선곡하는 데 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법. - 제 14 항에 있어서,
상기 인터랙션 반영 단계는
상기 추출한 인터랙션 동작을 해당 가상 악기의 음향으로 표현하는 것을 특징으로 하는 노래방 서비스 방법. - 제 12 항에 있어서,
상기 마커는 하나의 마커로 노래 재생 여부에 따라 서로 다른 가상 객체를 나타낼 수 있는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법. - 제 12 항에 있어서,
상기 마커는 노래 재생 여부에 따라 선택적으로 적용하기 위해 적어도 둘 이상 구비하고, 각 마커에 하나의 가상 객체만 매핑시킨 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법. - 제 12 항 내지 제 18 항 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110003549A KR101267247B1 (ko) | 2011-01-13 | 2011-01-13 | 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110003549A KR101267247B1 (ko) | 2011-01-13 | 2011-01-13 | 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120082187A true KR20120082187A (ko) | 2012-07-23 |
KR101267247B1 KR101267247B1 (ko) | 2013-05-24 |
Family
ID=46714063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110003549A KR101267247B1 (ko) | 2011-01-13 | 2011-01-13 | 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101267247B1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014107059A1 (ko) * | 2013-01-03 | 2014-07-10 | 삼성전자 주식회사 | 재생 가능 객체를 생성하는 사용자 단말 장치 및 그 인터렉션 방법 |
KR20180050380A (ko) * | 2015-09-11 | 2018-05-14 | 쓰리디큐알 게엠베하 | 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스 |
KR20200081915A (ko) * | 2018-12-28 | 2020-07-08 | 중앙대학교 산학협력단 | 가상현실 노래방 인터랙션 방법 및 장치 |
US10777015B2 (en) | 2016-11-08 | 2020-09-15 | 3Dqr Gmbh | Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102234024B1 (ko) * | 2018-11-09 | 2021-04-01 | 주식회사 더미리 | 포즈 전이 인공지능을 이용한 가상현실 노래방 장치 및 방법 |
-
2011
- 2011-01-13 KR KR1020110003549A patent/KR101267247B1/ko not_active IP Right Cessation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014107059A1 (ko) * | 2013-01-03 | 2014-07-10 | 삼성전자 주식회사 | 재생 가능 객체를 생성하는 사용자 단말 장치 및 그 인터렉션 방법 |
KR20180050380A (ko) * | 2015-09-11 | 2018-05-14 | 쓰리디큐알 게엠베하 | 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스 |
US10621787B2 (en) | 2015-09-11 | 2020-04-14 | 3Dqr Gmbh | Method and apparatus for overlaying a picture of a real scene with a virtual image, and mobile device |
US10777015B2 (en) | 2016-11-08 | 2020-09-15 | 3Dqr Gmbh | Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device |
US11100719B2 (en) | 2016-11-08 | 2021-08-24 | 3Dqr Gmbh | Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device |
KR20200081915A (ko) * | 2018-12-28 | 2020-07-08 | 중앙대학교 산학협력단 | 가상현실 노래방 인터랙션 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR101267247B1 (ko) | 2013-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101263686B1 (ko) | 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 | |
Dimitropoulos et al. | Capturing the intangible an introduction to the i-Treasures project | |
US10262642B2 (en) | Augmented reality music composition | |
US20110319160A1 (en) | Systems and Methods for Creating and Delivering Skill-Enhancing Computer Applications | |
KR101989447B1 (ko) | 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템 | |
KR101267247B1 (ko) | 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 | |
CN111899706A (zh) | 音频制作方法、装置、设备及存储介质 | |
JP5401386B2 (ja) | 情報処理システム及び情報処理方法 | |
KR20110107542A (ko) | 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법 | |
KR20140116740A (ko) | 안무 영상을 표시하는 디스플레이 장치 및 표시 방법 | |
KR20120119725A (ko) | 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법 | |
WO2009007512A1 (en) | A gesture-controlled music synthesis system | |
GB2482729A (en) | An augmented reality musical instrument simulation system | |
EP2442299B1 (en) | Information processing apparatus, information processing method, and program | |
KR20190109410A (ko) | 정보 처리 장치, 정보 처리 방법 및 그 프로그램 | |
KR20120099814A (ko) | 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법 | |
JP5371574B2 (ja) | 背景映像中の顔画像を避けるように歌詞字幕を表示するカラオケ装置 | |
KR101295862B1 (ko) | 증강 현실 영상을 제공하는 노래방 장치 및 그 방법 | |
US20220375362A1 (en) | Virtual tutorials for musical instruments with finger tracking in augmented reality | |
KR20170075321A (ko) | 증강현실 노래방 시스템 | |
Barbancho et al. | Human–computer interaction and music | |
KR20100124571A (ko) | 증강 현실을 이용한 정보 안내 장치 및 그 방법 | |
KR102430914B1 (ko) | 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램 | |
Zaveri et al. | Aero drums-augmented virtual drums | |
Martin | Touchless gestural control of concatenative sound synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160428 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180427 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |