KR101267247B1 - 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 - Google Patents

증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 Download PDF

Info

Publication number
KR101267247B1
KR101267247B1 KR1020110003549A KR20110003549A KR101267247B1 KR 101267247 B1 KR101267247 B1 KR 101267247B1 KR 1020110003549 A KR1020110003549 A KR 1020110003549A KR 20110003549 A KR20110003549 A KR 20110003549A KR 101267247 B1 KR101267247 B1 KR 101267247B1
Authority
KR
South Korea
Prior art keywords
marker
virtual
virtual object
song
interaction
Prior art date
Application number
KR1020110003549A
Other languages
English (en)
Other versions
KR20120082187A (ko
Inventor
이주형
안근현
한덕민
김미애
윤진석
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020110003549A priority Critical patent/KR101267247B1/ko
Publication of KR20120082187A publication Critical patent/KR20120082187A/ko
Application granted granted Critical
Publication of KR101267247B1 publication Critical patent/KR101267247B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명은 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하면 촬영한 화면에 보여지는 마커를 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시하고 사용자로부터 화면에 표시된 가상 키패드 또는 가상 악기에 대한 조작이 있으면 해당 가상 객체에 사용자 조작 유형에 따른 인터랙션 동작을 표현하는 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법에 관한 것이다.

Description

증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법{KARAOKE APPARATUS AND KARAOKE SERVICE METHOD USING AUGMENTED REALITY MARKER-BASED}
본 발명은 증강 현실을 이용한 노래방 서비스에 관한 것으로서, 상세하게는 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하면 촬영한 화면에 보여지는 마커를 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시하고 사용자로부터 화면에 표시된 가상 키패드 또는 가상 악기에 대한 조작이 인식되면 해당 가상 객체에 사용자 조작에 따른 인터랙션 동작을 표현하도록 하는 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법에 관한 것이다.
가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.
증강 현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
한편, 종래 노래방 서비스는 노래방 기기에 다수의 노래를 수록해 두고, 사용자가 수록된 노래 중 하나를 선곡하면 음향 발생 장치를 통해 해당 노래의 반주용 음악 데이터를 재생시키고 표시 장치에는 가사와 함께 영상 데이터를 제공한다.
즉, 종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하기 때문에 사용자의 흥미를 지속적으로 유발시킬 수 없다는 문제점이 있다.
예를 들면, 사용자가 노래를 부르는 동안 자신이 부르는 노래를 녹음하거나 또는 노래 부르는 모습을 촬영하고 싶을 경우, 별도의 녹음 장치 및 촬영 장치를 구비해야 가능한 불편함이 있다.
따라서, 종래 노래방 서비스와 상기의 증강 현실 기술을 결합하면 사용자가 노래 부르는 동안 보다 증강된 현실감을 부여하여 재미와 흥미를 유발할 수 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하면 촬영한 화면에 보여지는 마커를 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시하고 사용자로부터 화면에 표시된 가상 키패드 또는 가상 악기에 대한 조작이 있으면 해당 가상 객체에 사용자 조작 유형에 따른 인터랙션 동작을 표현하는 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법을 제공하는 데 그 목적이 있다.
이를 위하여 본 발명의 제1 측면에 따르면, 본 발명의 증강 현실을 이용한 노래방 시스템은, 마커를 포함한 노래방 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치; 상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커를 노래 재생 여부에 따라 가상 악기 또는 가상 키패드로 변환하여 상기 실제 영상에 합성하며, 사용자로부터 상기 가상 악기 또는 가상 키패드에 대한 조작이 인식되면 사용자의 조작 유형에 따른 인터랙션 동작을 상기 가상 악기 또는 가상 키패드에 표현하는 노래방 장치; 및 상기 노래방 장치에서 실제 영상과 가상 객체가 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하며, 상기 노래방 장치는 상기 검출한 마커에 대하여 마커의 종류를 인식하여 노래 재생 여부에 따라 선택적으로 가상 객체를 적용할 식별 마커인지, 또는 미리 정의된 가상 객체만을 나타내는 식별마커인지를 구분하고, 구분한 마커의 종류에 따라 현재 노래 재생 여부를 확인하여 반영하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 본 발명의 노래방 장치는, 마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부; 상기 마커 검출부를 통해 검출한 마커의 종류를 인식하여 노래 재생 여부에 따라 선택적으로 가상 객체를 적용할 식별마커인지, 또는 미리 정의된 가상 객체만을 나타낸 식별마커인지를 구분하는 마커 종류 인식부; 현재 노래 재생 여부를 확인하고 상기 마커 종류 인식부를 통해 검출한 마커에 대하여 정의된 가상 객체를 검색하여 추출하는 검색부; 상기 검색부에서 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성부; 및 상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하고 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따르면, 본 발명의 노래방 서비스 방법은, 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계; 상기 실제 영상으로부터 상기 마커를 검출하는 마커 검출 단계; 상기 마커 검출 단계를 통해 검출한 마커에 대하여 마커의 종류를 인식하여 노래 재생 여부에 따라 선택적으로 가상 객체를 적용할 식별마커인지, 또는 미리 정의된 가상 객체만을 나타내는 식별마커인지를 구분하는 마커 종류 인식 단계; 현재 노래 재생 여부를 확인하고 상기 마커 종류 인식 단계를 통해 인식한 마커에 대하여 노래 재생 여부에 따라 정의된 가상 객체를 검색하여 추출하는 검색 단계; 상기 검색 단계를 통해 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성 단계; 상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하는 인터랙션 추출 단계; 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션 반영 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 노래방에 부착된 마커가 곡 선곡에 따라 다양한 가상 객체로 변환이 가능하므로 사용자가 노래를 부르는 동안 마치 사용자가 가수와 함께 노래 부르는 듯한 시각적 효과를 제공함으로써 재미와 흥미를 지속적으로 유발하는 효과가 있다.
또한, 본 발명은 사용자가 노래 부르는 동안 음향이나 사용자 동작에 따라 가상 영상에 다양한 효과를 부가함으로써 보다 실감있는 분위기를 연출할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에서 컨텍스트 정보에 따라 가상 객체의 속성을 매핑시킨 저장부의 도면이다.
도 3은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 서비스 방법을 설명하기 위한 흐름도이다.
도 4는 도 5의 A 과정을 나타낸 상세 흐름도이다.
도 5는 도 5의 B 과정을 나타낸 상세 흐름도이다.
도 6은 본 발명의 실시 예에서 가상 객체가 가상 악기인 경우 인터랙션을 수행하는 예를 보인 도면이다.
도 7은 본 발명의 실시 예에서 가상 객체가 가상 키패드인 경우 인터랙션을 수행하는 예를 보인 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
본 발명에 대한 구체적인 설명을 하기에 앞서, 증강 현실을 구현하기 위한 기본적인 기술에 대하여 설명한다.
증강 현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면 상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면 상에 표시하여 현실을 보다 풍부하게 묘화하는 비전(vision) 기술이다.
증강 현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 기술, 인식된 지점의 추적(tracking) 기술, 합성 기술을 포함한다. 먼저, 실제 환경에 대한 영상에서 대상 위치의 인식 및 추적에 의해 합성할 위치를 선정하고, 해당 위치에서의 기울기, 방향 등을 추정하며, 추정된 기울기, 방향 등에 따라 가상 객체를 렌더링(rendering)하여 정확한 위치에 합성시킴으로써 구현될 수 있다. 여기서, 인식 대상은 기하학 문양이나 일정 패턴을 갖는 마커일 수 있으며 또는 사람의 얼굴이나 손 등의 실물 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)이 될 수도 있다.
본 발명은 위의 기본적인 세 가지 기술을 적용하면서 추가로 마커에 사용자의 조작에 따른 인터랙션(interation)을 반영하여 증강 현실을 더 실감있게 표현하는 기술에 관한 것이다.
이하, 본 발명의 구체적인 구성을 설명한다.
도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 노래방 시스템 및 장치의 구성을 나타낸 도면이다.
본 발명의 실시 예에 따른 노래방 시스템은, 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치(200), 영상 획득 장치(200)를 통해 인식한 실제 영상으로부터 마커(100)를 검출하고 검출한 마커(100)를 재생 여부에 따라 정의된 가상 객체로 변환하여 실제 영상과 합성하는 증강 현실 기반의 노래방 장치(300), 노래방 장치(300)에서 생성한 증강 현실 영상을 표시하는 표시 장치(400)를 포함하여 구현될 수 있다.
본 실시 예에서, 마커(100)는 노래방의 바닥이나 벽면 등에 부착될 수 있다. 이러한 마커(100)는 기하학 문양이나 일정한 패턴으로 정의되어 특정 가상 객체를 식별할 수 있는 고유 식별 마커를 포함함은 물론, 사람의 얼굴이나 손, 노래방 기구 등의 실제 객체를 모두 포함한다. 실제 객체의 경우, 마커 검출은 실제 객체의 모양, 외곽선, 질감, 색상 등의 특징점(Feature Point)을 추출함으로써 구현할 수 있다.
또한, 본 실시 예에서의 마커(100)는 하나로 구현 가능하나, 필요에 따라 복수 개로 적용하여 다양한 종류의 가상 객체를 보여줄 수 있다.
즉, 하나의 마커(100)를 이용하는 경우, 마커(100)는 하나의 마커로 노래 재생 여부에 따라 다양한 가상 객체를 나타낼 수 있다.
또한, 복수의 마커(100)를 이용하는 경우, 각 마커(100)는 하나의 가상 객체만 매핑되어 있어 노래 재생 여부에 따라 선택적으로 적용할 수 있다. 예를 들어, 제1 마커는 노래할 때 필요한 도구이거나 노래에 관련된 가상 이미지이고 제2 마커는 노래 전에 필요한 도구이거나 노래 전에 준비 과정과 관련된 가상 이미지라 가정하면, 노래 재생 여부에 따라 제1 마커 또는 제2 마커에 대한 가상 객체를 선택적으로 표시할 수 있다.
영상 획득 장치(200)는 마커(100)를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 영상(이하, 실제 영상)을 인식한다. 그리고, 인식한 실제 영상을 노래방 장치(300)로 전달한다. 이 영상 획득 장치(200)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.
표시 장치(400)는 노래방 장치(300)의 합성부(330)를 통해 실제 영상과 가상 객체가 합성된 영상(이하, 증강 현실 영상)을 화면에 표시하여 보다 실감있는 영상을 제공한다.
노래방 장치(300)는 세부적으로 마커 검출부(310), 마커 종류 인식부(320), 검색부(330), 합성부(340), 저장부(350), 움직임 검출부(360), 인터력센부(370), 음향 발생부(380)를 포함할 수 있다.
마커 검출부(310)는 영상 획득 장치(200)를 통해 얻은 실제 영상으로부터 마커를 검출한다. 일 예로, 마커가 기하학 문양이나 일정 패턴을 갖는 식별 코드의 경우 마커 검출은 이미지 판독을 통해 쉽게 가능하다. 그러나, 마커가 실제 객체의 경우, 마커 검출부(310)는 실제 객체의 색상 정보, 선분 정보, 에지(edge) 정보, 질감 정보 등의 특징점을 추출하여 검출할 수 있다.
마커 종류 인식부(320)는 마커 검출부(310)를 통해 검출된 마커의 종류를 인식한다. 즉, 해당 마커가 노래 재생 여부에 따라 다양한 가상 객체를 나타내는 식별 마커인지, 또는 미리 정의된 하나의 가상 객체만 나타내는 식별 마커인지를 확인할 수 있다.
또한, 마커 종류 인식부(320)는 해당 마커가 노래 재생 여부에 따라 활성화되는 마커인지를 확인할 수 있다.
검색부(330)는 현재 노래방 장치(300)가 노래 재생 중인지 여부를 확인하고, 노래 재생 여부에 따라 매핑된 가상 객체를 저장부(350)에 저장된 가상객체 DB(352)를 통해 검색한다. 따라서, 마커 종류 인식부(320)를 통해 확인한 마커에 대하여 해당 가상 객체를 추출한다.
예를 들어, 현재 노래방 장치(300)의 동작이 노래 재생 중이면 마커 종류 인식부(320)를 통해 확인한 마커에 대하여 매핑된 가상 객체를 가상 악기로 추출하고, 노래 재생 중이 아니면 마커 종류 인식부(320)를 통해 확인한 마커에 매핑된 가상 객체로 가상 키패드를 추출할 수 있다.
또한, 검색부(330)는 복수의 마커를 사용한 경우 노래 재생시 활성화되는 제1 마커와 노래 재생이 아닐 때 활성화되는 제2 마커를 구분하여 노래 재생 여부에 따라 선택적으로 마커에 대한 가상 객체를 검색할 수 있다.
합성부(340)는 검색부(330)를 통해 검색한 가상 객체를 영상 획득 장치(200)로부터 얻은 실제 영상과 합성한다. 이때, 실제 영상에서 보여지는 마커의 위치 및 방향 등을 고려하여 마커에 대응되는 가상 객체를 실제 영상에 중첩함으로써 합성할 수 있다.
저장부(350)는 노래 재생 여부에 따라 다양한 가상 객체 정보를 저장한 가상객체DB(352)와, 사용자의 조작 유형에 따라 가상 객체의 인터랙션 동작을 매핑시켜 저장한 인터랙션 DB(354)를 포함할 수 있다.
즉, 가상객체 DB(352)는 탬버린, 드럼, 기타 등의 가상 악기 또는 가상 키패드를 포함한다. 이러한 가상객체 DB(352)는 노래 재생 여부에 따라 구분하여 저장할 수 있다.
인터랙션 DB(354)는 도 2에 도시한 바와 같이 사용자 조작 유형에 따라 가상 객체별로 인터랙션 동작 정보가 미리 정의되어 있다.
예를 들어, 가상 객체가 탬버린의 경우 사용자로부터 손가락으로 두드리는 동작이나 손을 좌우로 흔드는 동작이 인식되면 탬버린을 가볍게 치는 음향이나 탬버린을 흔드는 음향을 발생하여 탬버린 연주를 표현하도록 정의되어 있다.
또는, 가상 객체가 드럼의 경우 사용자로부터 양손으로 두드리는 동작이 인식되면 드럼을 두드리는 음향을 발생하여 드럼 연주를 표현하도록 정의되어 있다.
이러한 인터랙션 수행은 노래방 장치(300)에서 움직임 검출부(360), 인터랙션부(370), 음향 발생부(380)를 통해 수행할 수 있다.
즉, 움직임 검출부(360)는 영상 획득 장치(200)를 통해 촬영한 실제 영상으로부터 사용자의 손이나 손가락 등의 움직임을 검출한다. 사용자의 움직임은 사용자가 탬버린이나 드럼, 기타 등을 연주하는 동작이거나 가상 키패드를 입력하는 동작 등이 될 수 있다.
또한, 움직임 검출부(360)는 사용자의 손이나 손가락 외에 특별한 도구가 이용된 경우 이 도구의 움직임을 검출할 수도 있다. 이를 테면, 가상 객체의 드럼을 연주하기 위해 연주 도구를 이용하는 경우 이의 움직임을 검출할 수 있다.
음향 발생부(380)는 탬버린, 드럼, 기타 등 각 가상 악기의 음향을 발생시킨다.
인터랙션부(370)는 합성부(340)를 통해 화면에 보여지는 가상 객체에 대하여 움직임 검출부(360)로부터 사용자의 조작이 인식되면 사용자 조작 유형에 따라 정의해 둔 가상 객체별 인터랙션 동작 정보를 저장부(350)의 인터랙션 DB(354)를 통해 추출한다. 그리고, 인터랙션부(370)는 추출한 인터랙션 동작 정보를 해당 가상 객체에 부여하도록 지령한다.
만약 가상 객체를 가상 악기로 검출한 경우, 인터랙션부(370)는 음향 발생기(380)로 사용자 조작 유형에 따른 인터랙션 동작 정보를 지령하여 해당 가상 악기의 음향을 발생하도록 한다.
다른 예로 가상 객체를 가상 키패드로 검출한 경우, 인터랙션부(370)는 사용자의 조작이 있는 키패드의 위치를 검출하여 해당 위치의 키패드 문자를 입력함으로써 노래 선곡을 위해 지령할 수 있다.
따라서, 본 발명의 실시 예에 따른 노래방 시스템은 영상 획득 장치(200)를 통해 노래방의 마커를 포함한 현실 노래방 환경을 촬영하면 촬영한 실제 영상이 표시 장치(400)를 통해 보여지는데, 이때 표시 장치(400)는 해당 마커를 노래 재생 여부에 따라 다른 가상 객체로 변환하여 표시한다. 즉, 노래가 재생 중이면 실제 영상에 마커 대신 가상 악기를 합성하여 표시하고, 노래 재생 중이 아니면 실제 영상에 마커 대신 가상 키패드를 합성하여 표시할 수 있다. 또한, 본 발명의 실시 예에 따른 노래방 시스템은 표시 장치(400)에 보여지는 가상 객체에 대하여 사용자의 조작이 있으면 조작 유형에 따라 다양한 인터렉션 동작을 수행하도록 줌으로써 재미와 흥미를 더욱 배가시킬 수 있다.
그럼, 이하에서는 앞서 설명한 바와 같이 마커 기반 증강 현실을 이용하여 노래방 서비스를 제공하는 방법에 대하여 도 3을 참조하여 설명한다.
우선 마커를 인식하기 전에, 인식하고자 하는 마커(실제 객체 포함)에 대하여 특징점을 정의하고 정의된 특징점 정보에 마커의 종류를 부여하여 미리 저장해 둔다. 이를 테면, 본 발명에 사용하는 마커는 노래 재생 여부에 따라 다양한 가상 객체를 표시하는 마커이거나 또는 하나의 가상 객체만 매핑되어 있어 마커가 인식되면 매핑된 가상 객체만 표시할 수 있는 마커임을 부여할 수 있다. 이 경우, 마커는 노래 재생 여부에 따라 활성화 여부를 미리 정의해 둘 수 있다. 그리고, 각 가상 악기에 대한 음향을 음향 발생부에 맞추어 두고, 사용자의 조작 유형에 따라 가상 객체에 지정할 인터랙션 동작을 정의한다.
이후, 영상 획득 장치를 통해 마커를 포함한 현실 환경을 촬영하여 현실 환경의 실제 영상을 획득한다(S100).
그리고, 영상 획득 장치를 통해 획득한 실제 영상으로부터 마커를 검출하고, 검출된 해당 마커가 노래 재생 여부에 따라 다양한 가상 객체를 표시하는지, 아님 하나의 가상 객체만 매핑되어 표시하는지 여부를 확인할 수 있다(S110).
이후, 노래방 장치를 통해 현재 노래가 재생되고 있는지를 파악한다(S120).
노래 재생 중이 아니면 상기의 검출한 마커를 가상 키패드용 마커로 인식하고 검색부에서 인식한 해당 마커와 매핑되는 가상 객체(가상 키패드)를 검색한다(S130, S132). 이때, 마커가 지정된 하나의 가상 객체만 표시하는 마커인 경우 일 예로, 제1 마커는 가상 악기이고 제2 마커는 가상 키패드로 매핑되어 있는 경우, 노래 재생시에는 제1 마커만 변환하고 노래 재생 중이 아니면 제2 마커만 변환할 수 있다.
검색한 가상 객체를 마커에 매핑하고 실제 영상과 합성하여 도 7에 도시한 바와 같이 표시 장치에 표시할 수 있다(S134).
이와 반대로 노래가 재생 중이면 상기의 검출 마커를 가상 악기용 마커로 인식하고 검색부에서 인식한 해당 마커와 매핑되는 가상 객체(가상 악기)를 검색한다(S140, S142).
검색한 가상 객체를 마커에 매핑하고 실제 영상과 합성하여 도 6에 도시한 바와 같이 표시 장치에 표시할 수 있다(S144).
한편, 상기의 과정에서 표시 장치에 가상 키패드를 표시한 경우(A), 노래방 장치에서는 도 4에 도시한 것처럼 사용자의 움직임을 검출하여 사용자로부터 가상 키패드에 대한 조작이 수행되는지를 판단한다(S200, S210).
노래방 장치에서 가상 키패드에 대한 조작이 수행됨을 인식하게 되면 사용자의 조작이 있는 가상 키패드의 위치를 검출하여 해당 위치의 키패드 문자를 인식한다(S220). 인식한 문자는 노래 번호 또는 노래 제목 등이 될 수 있다.
이후, 노래방 장치는 인식한 문자를 노래 선곡에 이용할 수 있다. 이로써 별도의 숫자 키패드를 이용하지 않고서도 화면을 통해 노래를 선곡할 수 있다.
한편, 상기의 과정에서 표시 장치에 가상 악기를 표시한 경우(B), 노래방 장치에서는 도 5에 도시한 것처럼 사용자의 움직임을 검출하여 사용자로부터 가상 악기에 대한 연주 동작이 수행되는지를 판단한다(S300, S310).
노래방 장치에서 가상 악기에 대한 동작이 수행됨을 인식하게 되면 사용자의 연주 동작에 따른 인터렉션 동작 정보를 추출하여 음향 발생기로 지령한다. 따라서, 사용자의 연주 동작에 따라 해당 가상 악기의 음향을 발생시킨다. 이로써, 사용자가 화면을 보면서 드럼, 탬버린 등의 음향을 발생하여 노래에 대한 효과음을 제공할 뿐만 아니라 악기 연주로 인한 재미와 흥미를 유발할 수 있다.
한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.
다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.
기록매체는 각 재생장치의 내장형 하드디스크이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 마커를 포함한 노래방 현실 환경을 촬영하여 실제 영상을 획득하는 과정과, 실제 영상으로부터 마커를 검출하는 과정과, 검출한 마커를 노래 재생 여부에 따라 정의된 가상 객체로 검색하여 추출하는 과정과, 상기 단계에서 추출한 가상 객체를 실제 영상에 중첩하여 합성하는 과정과, 가상 객체에 대하여 사용자로부터의 조작이 인식되면 사용자 조작 유형에 따라 정의된 가상 객체별 인터랙션 동작을 추출하는 과정과, 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 과정들을 포함하여 실행될 수 있다.
여기서, 각 과정에서의 구체적인 기술은 상기의 증강현실 장치 및 방법의 구성과 동일하므로 중복되는 기술 설명은 생략한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
종래 노래방 서비스는 단순히 사용자가 원하는 노래를 따라 부를 수 있도록 하는 단조로운 서비스를 제공하였으나, 본 발명은 기존 노래방 서비스에 증강 현실 기술을 결합한 것으로 노래방의 마커를 포함한 사용자의 실제 영상을 촬영하고 촬영한 화면에 보여지는 마커를 노래 재생 여부에 따라 가상 키패드 또는 가상 악기로 변환하여 실제 영상에 중첩 표시함으로써 사용자가 노래 부르기 전에는 노래 선곡을 위한 키패드로 제공하고 노래 선곡 후에는 가상 악기로 제공하며, 이의 가상 객체를 사용자 조작에 따라 인터랙션하도록 함으로써 보다 증강된 현실감을 부여하여 재미와 흥미를 유발시킬 수 있다. 이러한 점에서 노래방뿐만 아니라 나아가 방송 공연 사업, 콘텐츠를 이용한 아동 및 스포츠 교육 사업에까지 확장하여 적용할 수 있다.
100: 마커 200: 영상 획득 장치
300: 노래방 장치 400: 표시 장치
310: 마커 검출부 320: 마커 종류 인식부
330: 검색부 340: 합성부
350: 저장부 352: 가상객체 DB
354: 인터랙션 DB 360: 움직임 검출부
370: 인터랙션부 380: 음향 발생부

Claims (19)

  1. 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 장치;
    상기 영상 획득 장치에서 얻은 실제 영상으로부터 마커를 검출하고, 검출한 마커를 노래 재생 여부에 따라 가상 악기 또는 가상 키패드로 변환하여 상기 실제 영상에 합성하며, 사용자로부터 상기 가상 악기 또는 가상 키패드에 대한 조작이 인식되면 사용자의 조작 유형에 따른 인터랙션 동작을 상기 가상 악기 또는 가상 키패드에 표현하는 노래방 장치; 및
    상기 노래방 장치에서 실제 영상과 가상 객체가 합성된 증강 현실 영상을 표시하는 표시 장치를 포함하며,
    상기 노래방 장치는 상기 검출한 마커에 대하여 마커의 종류를 인식하여 노래 재생 여부에 따라 선택적으로 가상 객체를 적용할 식별 마커인지, 또는 미리 정의된 가상 객체만을 나타내는 식별마커인지를 구분하고, 구분한 마커의 종류에 따라 현재 노래 재생 여부를 확인하여 반영하는 것을 특징으로 하는 증강 현실을 이용한 노래방 시스템.
  2. 마커를 포함한 현실 환경을 촬영한 실제 영상으로부터 상기 마커를 검출하는 마커 검출부;
    상기 마커 검출부를 통해 검출한 마커의 종류를 인식하여 노래 재생 여부에 따라 선택적으로 가상 객체를 적용할 식별마커인지, 또는 미리 정의된 가상 객체만을 나타낸 식별마커인지를 구분하는 마커 종류 인식부;
    현재 노래 재생 여부를 확인하고 상기 마커 종류 인식부를 통해 검출한 마커에 대하여 정의된 가상 객체를 검색하여 추출하는 검색부;
    상기 검색부에서 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성부; 및
    상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하고 추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션부
    를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  3. 제 2 항에 있어서,
    상기 검색부는 노래 재생 여부를 확인하여 노래가 재생되고 있으면 상기 가상 객체를 가상 악기로 검출하고, 노래 재생 중이 아니면 상기 가상 객체를 가상 키패드로 검출하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  4. 제 3 항에 있어서,
    상기 가상 객체를 가상 악기로 검출한 경우,
    상기 사용자 조작 유형에 따라 상기 가상 악기를 연주하도록 해당 가상 악기의 음향을 발생하는 음향 발생부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  5. 제 3 항에 있어서,
    상기 인터랙션부는
    상기 가상 객체가 가상 악기인 경우 사용자 조작 유형에 따라 상기 가상 악기를 연주하는 인터랙션 동작을 검출하여 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  6. 제 3 항에 있어서,
    상기 인터랙션부는
    상기 가상 객체가 가상 키패드인 경우 사용자 조작 유형에 따라 선택된 가상 캐피드의 입력키를 검출하여 노래 선곡하는 데 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  7. 제 2 항에 있어서,
    상기 가상 객체에 대하여 사용자로부터의 조작을 인식하기 위해 사용자의 움직임을 검출하는 움직임 검출부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  8. 제 2 항에 있어서,
    상기 노래 재생 여부에 따라 매핑되는 가상 객체 정보와,
    상기 사용자 조작 유형에 따라 인터랙션할 가상 객체의 인터랙션 동작 정보를 미리 정의해 둔 저장부를 더 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  9. 제 2 항에 있어서,
    상기 마커는 기하학적인 문양이나 일정 패턴으로 정의되어 특정 가상 객체를 식별할 수 있는 고유 식별 마커이거나, 실제 객체의 특징점을 이용한 자연 특징점(Nature Feature Point)인 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  10. 제 2 항에 있어서,
    상기 마커는 하나의 마커로 노래 재생 여부에 따라 서로 다른 가상 객체를 나타낼 수 있는 것을 특징으로 하는 증강 현실을 이용한 노래방 장치.
  11. 삭제
  12. 마커를 포함한 현실 환경을 촬영하여 실제 영상을 획득하는 영상 획득 단계;
    상기 실제 영상으로부터 상기 마커를 검출하는 마커 검출 단계;
    상기 마커 검출 단계를 통해 검출한 마커에 대하여 마커의 종류를 인식하여 노래 재생 여부에 따라 선택적으로 가상 객체를 적용할 식별마커인지, 또는 미리 정의된 가상 객체만을 나타내는 식별마커인지를 구분하는 마커 종류 인식 단계;
    현재 노래 재생 여부를 확인하고 상기 마커 종류 인식 단계를 통해 인식한 마커에 대하여 노래 재생 여부에 따라 정의된 가상 객체를 검색하여 추출하는 검색 단계;
    상기 검색 단계를 통해 추출한 가상 객체를 상기 실제 영상에 중첩하여 합성하는 합성 단계;
    상기 가상 객체에 대하여 사용자로부터의 조작이 인식되면 가상 객체별로 사용자 조작 유형에 따라 정의된 인터랙션 동작을 추출하는 인터랙션 추출 단계;
    추출한 인터랙션 동작을 해당 가상 객체에 부여하는 인터랙션 반영 단계
    를 포함하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  13. 제 12 항에 있어서,
    상기 검색 단계는,
    상기 노래 재생 여부를 확인하여 현재 노래가 재생되고 있으면 상기 가상 객체를 가상 악기로 검출하고, 현재 노래가 재생되지 않고 있으면 상기 가상 객체를 가상 키패드로 검출하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  14. 제 12 항에 있어서,
    상기 인터랙션 추출 단계는
    상기 가상 객체가 가상 악기인 경우 사용자 조작 유형에 따라 상기 가상 악기를 연주하는 인터랙션 동작을 검출하여 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  15. 제 12 항에 있어서,
    상기 인터랙션 추출 단계는
    상기 가상 객체가 가상 키패드인 경우 사용자 조작 유형에 따라 선택된 가상 캐피드의 입력키를 검출하여 노래 선곡하는 데 지령하는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  16. 제 14 항에 있어서,
    상기 인터랙션 반영 단계는
    상기 추출한 인터랙션 동작을 해당 가상 악기의 음향으로 표현하는 것을 특징으로 하는 노래방 서비스 방법.
  17. 제 12 항에 있어서,
    상기 마커는 하나의 마커로 노래 재생 여부에 따라 서로 다른 가상 객체를 나타낼 수 있는 것을 특징으로 하는 증강 현실을 이용한 노래방 서비스 방법.
  18. 삭제
  19. 제 12 항 내지 제 17 항 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020110003549A 2011-01-13 2011-01-13 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 KR101267247B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110003549A KR101267247B1 (ko) 2011-01-13 2011-01-13 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110003549A KR101267247B1 (ko) 2011-01-13 2011-01-13 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법

Publications (2)

Publication Number Publication Date
KR20120082187A KR20120082187A (ko) 2012-07-23
KR101267247B1 true KR101267247B1 (ko) 2013-05-24

Family

ID=46714063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110003549A KR101267247B1 (ko) 2011-01-13 2011-01-13 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법

Country Status (1)

Country Link
KR (1) KR101267247B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056496A (ko) * 2018-11-09 2020-05-25 주식회사 더미리 포즈 전이 인공지능을 이용한 가상현실 노래방 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140089069A (ko) * 2013-01-03 2014-07-14 삼성전자주식회사 재생 가능 객체를 생성하는 사용자 단말 장치 및 그 인터렉션 방법
DE102015115394A1 (de) * 2015-09-11 2017-03-16 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät
DE102016121281A1 (de) 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
KR102233004B1 (ko) * 2018-12-28 2021-03-26 중앙대학교 산학협력단 가상현실 노래방 인터랙션 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056496A (ko) * 2018-11-09 2020-05-25 주식회사 더미리 포즈 전이 인공지능을 이용한 가상현실 노래방 장치 및 방법
KR102234024B1 (ko) 2018-11-09 2021-04-01 주식회사 더미리 포즈 전이 인공지능을 이용한 가상현실 노래방 장치 및 방법

Also Published As

Publication number Publication date
KR20120082187A (ko) 2012-07-23

Similar Documents

Publication Publication Date Title
KR101263686B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR101250619B1 (ko) 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
Dimitropoulos et al. Capturing the intangible an introduction to the i-Treasures project
JP6013363B2 (ja) ビューの画像の少なくとも１つの特徴に注釈付けするためのコンピュータ化された方法及びデバイス
KR101267247B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
JP5401386B2 (ja) 情報処理システム及び情報処理方法
KR20140116740A (ko) 안무 영상을 표시하는 디스플레이 장치 및 표시 방법
KR20120119725A (ko) 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
GB2482729A (en) An augmented reality musical instrument simulation system
WO2009007512A1 (en) A gesture-controlled music synthesis system
KR20190109410A (ko) 정보 처리 장치, 정보 처리 방법 및 그 프로그램
KR20120099814A (ko) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
JP5371574B2 (ja) 背景映像中の顔画像を避けるように歌詞字幕を表示するカラオケ装置
KR101295862B1 (ko) 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
CN111651054A (zh) 音效控制方法、装置、电子设备及存储介质
US20220375362A1 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
EP1159668A2 (en) Interactive entertainment systems and methods
KR102128315B1 (ko) 가상 악기 시각화 기반 미디 음악 편곡 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20170075321A (ko) 증강현실 노래방 시스템
KR20140078083A (ko) 증강 현실이 구현된 만화책
Barbancho et al. Human–computer interaction and music
KR20100124571A (ko) 증강 현실을 이용한 정보 안내 장치 및 그 방법
JP6365147B2 (ja) 再生制御装置、プログラム、及び再生システム
KR102430914B1 (ko) 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램
KR102635477B1 (ko) 증강현실 기반의 공연 콘텐츠 제공장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee