KR102118189B1 - 미디어 컨텐츠 서비스 시스템 - Google Patents
미디어 컨텐츠 서비스 시스템 Download PDFInfo
- Publication number
- KR102118189B1 KR102118189B1 KR1020180044583A KR20180044583A KR102118189B1 KR 102118189 B1 KR102118189 B1 KR 102118189B1 KR 1020180044583 A KR1020180044583 A KR 1020180044583A KR 20180044583 A KR20180044583 A KR 20180044583A KR 102118189 B1 KR102118189 B1 KR 102118189B1
- Authority
- KR
- South Korea
- Prior art keywords
- performance
- user
- sound
- music
- score
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 35
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 27
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
미디어 컨텐츠 서비스 시스템이 개시된다. 일 실시 예에 있어서, 상기 미디어 컨텐츠 서비스 시스템은 컨텐츠 서버, 사용자 단말기, 연주음 수신부, 연주음 연산부 및 악보 생성부를 포함한다. 상기 컨텐츠 서버는 악보데이터, 음악연주파일 및 이들의 조합 중에서 선택되는 적어도 어느 하나-이하 사용자제공자료라 함-를 제공한다. 상기 사용자 단말기는 상기 컨텐츠 서버와 연결되며, 상기 사용자제공자료를 다운로드하여 정보출력수단을 통하여 출력하여 사용자에게 제공한다. 상기 연주음 수신부는 상기 사용자가 연주하는 악기-이하 연주악기라 함-로부터 발생하는 연주음을 감지한다. 상기 연주음 연산부는 상기 연주음 수신부가 감지한 상기 연주음의 특징부를 추출한다. 상기 악보 생성부는 상기 연주음 연산부로부터 추출된 상기 연주음의 상기 특징부로부터 상기 연주음에 대응되는 연주악보를 생성한다. 상기 정보출력수단은 상기 사용자 단말기와 연동되는 디스플레이, 음향기기 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함한다. 상기 사용자는 상기 정보출력수단을 통하여 출력되는 상기 사용자제공자료를 참조하여 상기 연주악기를 연주한다.
본 명세서에서는 표준악보와 비교하여 사용자의 연주능력을 평가할 수 있고, 사용자 자신의 연주 내용이 악보와 연동되어 제공되는 미디어 컨텐츠 서비스 시스템에 관한 기술을 제공한다.
본 명세서에서는 표준악보와 비교하여 사용자의 연주능력을 평가할 수 있고, 사용자 자신의 연주 내용이 악보와 연동되어 제공되는 미디어 컨텐츠 서비스 시스템에 관한 기술을 제공한다.
Description
본 명세서에서 개시하는 기술은 미디어 컨텐츠 서비스 시스템에 관한 것으로, 보다 구체적으로는 표준악보와 비교하여 사용자의 연주능력을 평가하며, 사용자 자신의 연주 내용이 악보와 연동되어 제공되는 미디어 컨텐츠 서비스 시스템에 관한 것이다.
일반적으로, 음악 교습 분야에 있어서 인간은 기본적으로 심리 음향적 모델(psychoacoustic model)에 기반하여 음의 음정과 강약 및 박자 또는 화음 등을 인지하게 된다. 즉, 신호 처리적인 측면에서 볼 때, 인간은 자신의 귀로 대역 통과 필터링되는 음의 주파수와 해당 주파수의 에너지 및 길이를 감지하여 각각의 음에 대한 정보를 획득하는 것이다. 이때, 인간의 청각 특성은 음을 각 대역으로 분해 인식하는 분해 해상도가 제한적이며, 특히, 음을 악보에 기록하기 위한 각종 기호 즉, 쉼표, 음표, 박자, 강세 등은 인간이 특정 기준에 대해 정의한 심볼이기 때문에 음을 듣고 악보를 작성하거나, 악보를 보고 이를 이해하여 그에 대한 음을 발생시키는 능력은 자연적으로 습득되는 것이 아니고, 후천적으로 부단한 교습에 의해 습득될 수 있는 것이다.
이에 따라, 음악 교습은 통상 많은 노력과 시간이 소요되고, 특히, 아동들과 같이 교습 능력과 집중도가 고도하지 않은 피교습자의 경우에는 많은 노력을 들이고도 원하는 교육 효과를 달성하기 어려운 문제가 있다. 이와 같이 충분한 교습 효과를 달성할 수 없는 이유는 음악 교습의 특수성에 기인하기도 하지만 음악 교습 기자재의 열악함에서도 찾을 수 있다.
따라서, 최근에 PC(Personal Computer)를 이용한 음악 교습 시스템이 개발되고 있는데, 이는 기 저장된 곡과 해당 곡에 대해 기 저장된 교수법에 따라 교습해야만 하므로, 실제 곡이 연주되는 상황과 다르게 교습이 진행되고 있다. 그리고, MIDI(Musical Instrument Digital Interface) 기반의 신디사이져(전자 올겐 또는 키보드)를 요구하므로, 다른 악기에 대한 교습이 이루어지지 않았다. 또한, 해당 음악 교습 시스템은 단순한 멀티미디어 저작 도구에 의해 구현되기 때문에 대부분 시각적인 교육 위주이며, 소정 곡에 대한 연주를 위해 별도로 악보를 구입해야만 했다. 즉, 음악은 시간 영역에서 발생한 신호이기 때문에 저장 매체를 이용하지 않고는 기록 보존이 어려운 관계로 이를 기호적으로 표현하고 전달하며, 기록 및 유지의 용이성을 확보할 수 있는 악보를 제작하게 되는데, 해당 곡이 새로 발표된 최신 곡이거나 대중적으로 알려지지 않은 곡인 경우에는 연주를 위한 악보를 구입하기 어려웠다.
한편, 종래 음악 교습 시스템을 이용한 교습은 제공되고 있는 악보에 의존하므로, 실제 곡과 다른 경우도 발생하는데, 예를 들면, 실제 공연과는 달리 초보자들을 위해 재편성한 악보의 경우에는 해당 음악교습 시스템을 이용한 교습에 따라 최상의 연주를 수행하더라도 실제 공연과 같은 음악을 연주하는 것은 불가능했다. 즉, 종래에는 실시간으로 연주되는 악기에 대한 음정, 박자 등을 인식하여 음악 교습에 이용할 수 있는 기능을 수행하지 못한다는 문제점이 있다.
연주되는 악기의 악기음이나 사용자의 노래를 악보로 생성하는 시스템과 관련한 종래기술로는 한국공개특허 KR 10-2009-0023912 “음악 데이터 처리 시스템”, 한국공개특허 KR 10-2014-0104590 “악보 출력장치 및 그 방법” 등이 있다.
본 명세서에서 개시하는 기술은 상기한 종래 기술의 문제점을 해결하기 위하여 도출된 것으로서, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템은 사용자에게 제공되는 악보와 함께 표준악보와 비교하여 사용자의 연주능력을 평가하고, 사용자가 연주한 연주음에 대한 연주악보를 생성하여 표시해 줌으로써 사용자가 자신의 연주에 대하여 체계적인 피드백을 받을 수 있는 미디어 컨텐츠 서비스 시스템을 제공한다.
일 실시 예에 있어서, 미디어 컨텐츠 서비스 시스템이 개시(disclosure)된다. 상기 미디어 컨텐츠 서비스 시스템은 컨텐츠 서버, 사용자 단말기, 연주음 수신부, 연주음 연산부 및 악보 생성부를 포함한다. 상기 컨텐츠 서버는 악보데이터, 음악연주파일 및 이들의 조합 중에서 선택되는 적어도 어느 하나-이하 사용자제공자료라 함-를 제공한다. 한편, 상기 컨텐츠 서버는 상기 사용자의 요청에 따라 상기 사용자제공자료를 제공할 수 있다. 상기 사용자 단말기는 상기 컨텐츠 서버와 연결되며, 상기 사용자제공자료를 다운로드하여 정보출력수단을 통하여 출력하여 사용자에게 제공한다. 상기 연주음 수신부는 상기 사용자가 연주하는 악기-이하 연주악기라 함-로부터 발생하는 연주음을 감지한다. 상기 연주음 연산부는 상기 연주음 수신부가 감지한 상기 연주음의 특징부를 추출한다. 상기 악보 생성부는 상기 연주음 연산부로부터 추출된 상기 연주음의 상기 특징부로부터 상기 연주음에 대응되는 연주악보를 생성한다. 상기 정보출력수단은 상기 사용자 단말기와 연동되는 디스플레이, 음향기기 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함한다. 상기 사용자는 상기 정보출력수단을 통하여 출력되는 상기 사용자제공자료를 참조하여 상기 연주악기를 연주한다.
미디어 컨텐츠 서비스 시스템은 상기 사용자로부터 상기 연주악기에 대한 정보를 입력받는 연주악기정보 입력부 및 악기별로 악기음의 정보를 저장하고 있는 데이터베이스를 더 포함할 수 있다. 상기 연주음 연산부로부터 추출되는 상기 연주음의 상기 특징부는 상기 연주음의 세기, 주파수, 음색, 음계, 음표, 음정, 음 길이, 조, 박자, 템포 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함할 수 있다. 상기 악보 생성부는 상기 악기 정보 입력부를 통하여 입력 받은 상기 연주악기에 대한 상기 정보를 토대로 상기 데이터베이스로부터 상기 연주악기에 대응되는 악기음의 상기 정보와 상기 연주음 연산부로부터 추출된 상기 연주음의 상기 특징부를 상호 비교하여 상기 연주악보를 생성할 수 있다.
상기 사용자 단말기에는 음악연주서비스 프로그램이 설치되며, 상기 사용자 단말기는 상기 컨텐츠 서버가 제공하는 상기 사용자제공자료로부터 상기 악보데이터를 다운로드하며, 상기 악보데이터는 상기 음악연주서비스 프로그램에 의하여 실행되어 상기 디스플레이에 표시될 수 있다. 상기 악보데이터는 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 전자악보를 포함할 수 있다. 상기 디스플레이에 표시되는 상기 전자악보에는 상기 음악연주서비스 프로그램에 의하여 표준 연주 속도에 동기화되어 이동하는 식별표지가 표시되어 상기 사용자에게 연주타이밍을 알려줄 수 있다. 한편, 상기 식별표지는 전문가의 연주속도에 동기화되어 이동할 수도 있다.
상기 사용자 단말기는 상기 컨텐츠 서버가 제공하는 상기 사용자제공자료로부터 상기 음악연주파일을 다운로드하며, 상기 음악연주파일은 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대응되는 디지털음악파일을 포함할 수 있다. 다운로드된 상기 연주곡에 대응되는 상기 디지털음악파일은 직접 상기 음향기기를 통하여 재생되거나 상기 음악연주서비스 프로그램에 의하여 가상 오케스트라 시스템(VOS) 음악파일로 변환된 후 상기 음향기기를 통하여 재생되어 상기 사용자가 실제 공연장에서 연주하는 것과 같은 환경을 제공할 수 있다.
상기 컨텐츠 서버는 전문연주가 실황연주 동영상을 더 제공할 수 있다. 한편, 상기 컨텐츠 서버는 상기 사용자의 요청에 따라 상기 전문연주가 실황연주 동영상을 제공할 수 있다. 상기 사용자는 상기 사용자 단말기를 통하여 상기 컨텐츠 서버로부터 상기 전문연주가 실황연주 동영상 중에서 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 전문연주가 실황연주 동영상을 다운로드 받아 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대한 전문연주가의 연주기법을 확인할 수 있다.
상기 컨텐츠 서버는 음악 매거진 파일을 더 제공할 수 있다. 한편, 상기 컨텐츠 서버는 상기 사용자의 요청에 따라 상기 음악 매거진 파일을 제공할 수 있다. 상기 사용자는 상기 사용자 단말기를 통하여 상기 컨텐츠 서버로부터 상기 음악 매거진 파일 중에서 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대응되는 음악 매거진 파일을 다운로드 받아 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대한 음악계 소식, 공연계 소식, 수험생 입시자료, 오디션 소식 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 확인할 수 있다.
상기 사용자 단말기는 상기 컨텐츠 서버가 제공하는 상기 악보데이터, 상기 음악연주파일, 상기 전문연주가 실황연주 동영상, 상기 음악 매거진 파일 및 이들의 조합 중에서 선택되는 적어도 어느 하나-이하 제공컨텐츠라 함-에 접근할 수 있는 구성항목을 상기 디스플레이에 표시하며, 상기 제공컨텐츠 중에서 상기 사용자가 선택한 어느 한 항목이 상기 디스플레이에 출력되도록 하는 컨텐츠 생성부를 더 포함할 수 있다. 상기 사용자 단말기의 상기 사용자는 상기 제공컨텐츠 중에서 상기 사용자가 선택한 상기 어느 한 항목이 상기 디스플레이에 출력되는 과정에서 상기 구성항목 중에서 다른 항목을 선택함으로써 상기 디스플레이에 상기 구성항목 중에서 선택한 상기 다른 항목이 출력되도록 할 수 있다. 다르게는, 상기 사용자가 선택한 상기 어느 한 항목과 상기 사용자가 선택한 상기 다른 항목은 동시에 디스플레이에 출력될 수도 있다.
상기 사용자 단말기는 상기 사용자의 상기 연주음, 상기 악보생성부에 의하여 생성된 상기 연주악보 및 이들의 조합 중에서 선택된 적어도 어느 하나를 상기 정보출력수단을 통하여 출력하는 컨텐츠 생성부를 더 포함할 수 있다.
상기 디스플레이에는 상기 컨텐츠 생성부가 출력하는 상기 연주악보가 상기 전자악보와 함께 표시되어 상기 사용자가 자신의 연주로부터 생성된 상기 연주악보를 상기 전자악보와 비교할 수 있다.
한편, 미디어 컨텐츠 서비스 시스템은 상기 연주음 연산부가 추출한 상기 연주음의 상기 특징부 또는 상기 악보 생성부가 생성한 상기 연주악보를 상기 연주악보에 대응되는 표준악보와 비교하여 상기 사용자의 연주능력을 평가하는 연주능력 평가부를 더 포함할 수 있다. 이 경우, 상기 연주음 연산부는 소정의 시간 간격으로 구분된 시간 구간별로 상기 연주음의 주파수를 추출할 수 있다. 상기 연주능력 평가부는 상기 시간 구간별로 추출된 상기 연주음의 상기 주파수를 상기 시간 구간별로 미리 마련된 상기 표준악보의 주파수와 비교하여 상기 사용자의 상기 연주능력을 평가하는 과정을 포함할 수 있다.
본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템은 표준악보와 비교하여 사용자의 연주능력을 평가해 줌으로써 사용자 스스로 자신의 연주수준을 확인할 수는 효과를 제공해 줄 수 있다. 이에 더하여, 본 명세서에서 개시하는 기술은 본 기술을 활용하는 여러 사용자들의 연주능력을 상호 비교해 줄 수 있어 사용자가 자신의 상대적인 연주수준을 확인할 수 있는 효과를 제공해 줄 수 있다.
또한, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템은 사용자에게 제공되는 악보와 함께 사용자가 연주한 연주음에 대한 연주악보를 생성하여 표시해 줌으로써 사용자가 자신의 연주에 대하여 체계적인 피드백을 받을 수 있도록 할 수 있다.
또한, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템은 디스플레이에 표시되는 전자악보에 상기 음악연주서비스 프로그램에 의하여 표준 연주 속도에 동기화되어 이동하는 식별표지를 표시함으로써 사용자에게 연주타이밍을 알려줄 수 있다.
또한, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템은 사용자가 상기 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 디지털음악파일을 포함하고, 상기 디지털음악파일은 직접 음향기기를 통하여 재생되거나 음악연주서비스 프로그램에 의하여 가상 오케스트라 시스템(VOS) 음악파일로 변환된 후 상기 음향기기를 통하여 재생되어 상기 사용자가 실제 공연장에서 연주하는 것과 같은 환경을 제공할 수 있다.
또한, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템은 사용자가 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 전문연주가 실황연주 동영상을 제공함으로써 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대한 전문연주가의 연주기법을 확인할 수 있도록 할 수 있다.
또한, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템은 사용자 단말기를 통하여 컨텐츠 서버로부터 음악 매거진 파일 중에서 사용자가 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 음악 매거진 파일을 다운로드 받아 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대한 음악계 소식, 공연계 소식, 수험생 입시자료, 오디션 소식 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 확인할 수 있도록 할 수 있다.
전술한 내용은 이후보다 자세하게 기술되는 사항에 대해 간략화된 형태로 선택적인 개념만을 제공한다. 본 내용은 특허 청구 범위의 주요 특징 또는 필수적 특징을 한정하거나, 특허청구범위의 범위를 제한할 의도로 제공되는 것은 아니다.
도 1은 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템의 전체 구성도의 일례를 나타내는 도면이다.
도 2는 도 1에 표현된 사용자 단말기의 일 구성 예를 보여주는 도면이다.
도 3은 사용자 단말기 화면에 표시되는 식별표지가 표시되는 전자악보의 모습을 보여주는 도면이다.
도 4는 식별표지가 표시되는 전자악보와 사용자의 연주악보가 함께 표시되는 사용자 단말기 화면의 예를 보여주는 도면이다.
도 5는 사용자 단말기의 화면에 표시되는 컨텐츠의 모습을 보여주는 도면이다.
도 2는 도 1에 표현된 사용자 단말기의 일 구성 예를 보여주는 도면이다.
도 3은 사용자 단말기 화면에 표시되는 식별표지가 표시되는 전자악보의 모습을 보여주는 도면이다.
도 4는 식별표지가 표시되는 전자악보와 사용자의 연주악보가 함께 표시되는 사용자 단말기 화면의 예를 보여주는 도면이다.
도 5는 사용자 단말기의 화면에 표시되는 컨텐츠의 모습을 보여주는 도면이다.
이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 당업자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안되어지며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서 여러 층(또는 막), 영역 및 형상을 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다. 일 구성요소가 다른 구성요소 "에 배치" 이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소에 직접 배치되는 경우는 물론, 이들 사이에 추가적인 구성요소가 개재되는 경우도 포함할 수 있다.
일 구성요소가 다른 구성요소 "에 연결" 이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소에 직접 연결되는 경우는 물론, 이들 사이에 추가적인 구성요소가 개재되는 경우도 포함할 수 있다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물을 포함하는 것으로 이해되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 사용하는 악기라는 용어는 일반적으로 사용되는 음악용 악기 이외에 사람의 성대, 입술, 손, 발 등과 스틱, 막대기 등과 같이 우리 일상의 주변에서 활용가능한 소리를 발생시킬 수 있는 모든 수단을 포괄하는 용어로 이해되어야 한다.
여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하, 첨부 도면을 참조하여 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템의 구조 및 동작을 설명하기로 한다.
도 1은 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템의 전체 구성도의 일례를 나타내는 도면이다. 도 2는 도 1에 표현된 사용자 단말기의 일 구성 예를 보여주는 도면이다. 도 3은 사용자 단말기 화면에 표시되는 식별표지가 표시되는 전자악보의 모습을 보여주는 도면이다. 도 4는 식별표지가 표시되는 전자악보와 사용자의 연주악보가 함께 표시되는 사용자 단말기 화면의 예를 보여주는 도면이다. 도 5는 사용자 단말기의 화면에 표시되는 컨텐츠의 모습을 보여주는 도면이다.
도 1 및 도 2를 참조하여 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템을 설명하기로 한다. 미디어 컨텐츠 서비스 시스템(100)은 컨텐츠 서버(110), 사용자 단말기(120), 연주음 수신부(121), 연주음 연산부(122) 및 악보 생성부(123)를 포함한다. 몇몇 다른 실시 예들에 있어서, 미디어 컨텐츠 서비스 시스템(100)은 선택적으로(optionally) 정보출력수단(130)을 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 미디어 컨텐츠 서비스 시스템(100)은 선택적으로 외부 컨텐츠 서버(140)을 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 미디어 컨텐츠 서비스 시스템(100)은 선택적으로 연주능력 평가부(150)을 더 포함할 수 있다.
컨텐츠 서버(110)는 악보데이터, 음악연주파일 및 이들의 조합 중에서 선택되는 적어도 어느 하나-이하 사용자제공자료라 함-를 제공한다. 한편, 컨텐츠 서버(110)는 사용자의 요청에 따라 상기 사용자제공자료를 제공할 수 있다. 이 경우, 컨텐츠 서버(110)는 음악연주서비스 프로그램, 전문연주가 실황연주 동영상, 음악 매거진 파일 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 상기 사용자의 상기 요청에 따라 제공할 수도 있다. 컨텐츠 서버(110)가 제공하는 상기 악보데이터, 상기 음악연주파일, 상기 음악연주서비스 프로그램, 상기 전문연주가 실황연주 동영상, 상기 음악매거진 파일은 컨텐츠 서버(110)에 저장된 후 사용자 단말기(120)에 제공될 수 있다. 다르게는, 컨텐츠 서버(110)가 제공하는 상기 악보데이터, 상기 음악연주파일, 상기 음악연주서비스 프로그램, 상기 전문연주가 실황연주 동영상, 상기 음악매거진 파일은 컨텐츠 서버(110)와 연결되는 외부 컨텐츠 서버(140)를 통하여 사용자 단말기(120)에 제공될 수 있다. 이 경우, 컨텐츠 서버(110)는 일례로 사용자 단말기(120)에 외부 컨텐츠 서버(140)의 링크 주소를 제공할 수 있다. 또 다르게는, 사용자 단말기(120)는 컨텐츠 서버(110)를 경유하지 않고 직접 외부 컨텐츠 서버(140)와 연결되어 상기 악보데이터, 상기 음악연주파일, 상기 음악연주서비스 프로그램, 상기 전문연주가 실황연주 동영상, 상기 음악매거진 파일을 제공받을 수도 있다.
이하 설명의 편의상 사용자 단말기(120)가 컨텐츠 서버(110)를 경유하여 상기 악보데이터, 상기 음악연주파일, 상기 음악연주서비스 프로그램, 상기 전문연주가 실황연주 동영상, 상기 음악매거진 파일을 제공받는 경우를 예로서 활용하여 설명하기로 한다. 이러한 설명이 사용자 단말기(120)가 외부 컨텐츠 서버(140)를 통하여 다양한 컨텐츠를 제공받는 경우를 배제함으로써 본 명세서에서 개시하는 기술의 권리범위를 한정할 의도가 아님을 분명히 밝혀둔다.
사용자 단말기(120)는 컨텐츠 서버(110)와 연결되며, 상기 사용자제공자료를 다운로드하여 정보출력수단(130)을 통하여 출력하여 상기 사용자에게 제공한다. 사용자 단말기(120)와 컨텐츠 서버(110)는 유선 또는 무선으로 연결될 수 있다. 컨텐츠 서버(110)는 사용자 단말기(120)에 마련될 수도 있고 외부에 마련되어 네트워크 통신망을 통하여 사용자 단말기(120)와 연결될 수도 있다.
한편, 사용자 단말기(120)는 도 2에 도시된 바와 같이, 선택적으로 컨텐츠 생성부(126)를 더 포함할 수 있다.
사용자 단말기(120)로는 컴퓨터, 노트북, 스마트폰, 태블릿 PC 등과 같이 소정의 프로세서(CPU 등), 메모리 등을 구비한 어떠한 장치로도 구현이 가능하다.
연주음 수신부(121)는 상기 사용자가 연주하는 악기-이하 연주악기라 함-로부터 발생하는 연주음을 감지한다.
연주음 연산부(122)는 연주음 수신부(121)가 감지한 상기 연주음의 특징부를 추출한다.
악보 생성부(123)는 연주음 연산부(122)로부터 추출된 상기 연주음의 상기 특징부로부터 상기 연주음에 대응되는 연주악보를 생성한다. 악보 생성부(123)가 생성하는 상기 연주악보는 사용자가 연주하는 연주음 전체에 대한 악보뿐만 아니라 한 마디의 악보, 한 소절의 악보 등을 아우르는 용어로 이해되어야 한다.
연주악기정보 입력부(124)는 상기 사용자로부터 상기 연주악기에 대한 정보를 입력받을 수 있다.
데이터베이스(125)는 악기별 악기음의 정보를 저장할 수 있다.
연주음 수신부(121), 연주음 연산부(122), 악보 생성부(123), 연주악기정보 입력부(124), 데이터베이스(125)는 도면에 예시한 바와 같이 사용자 단말기(120)에 마련될 수도 있다. 다르게는 사용자 단말기(120), 연주음 수신부(121), 연주음 연산부(122), 악보 생성부(123), 연주악기정보 입력부(124), 데이터베이스(125)는 별도로 마련되어 유무선 통신망을 통하여 상호 연결될 수도 있다.
연주음 수신부(121)로는 사용자 단말기(120)에 내장되거나 사용자 단말기(120)와 연결된 마이크가 예로서 사용될 수 있다.
연주음 연산부(122)가 추출하는 상기 연주음의 상기 특징부는 상기 연주음의 세기, 주파수, 음색, 음계, 음표, 음정, 음 길이, 조, 박자, 템포 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함할 수 있다. 상기 연주음의 상기 특징부를 추출하는 과정은 일례로 아래의 과정을 통하여 진행될 수 있다.
연주음 연산부(122)는 연주음 수신부(121)의 일례인 상기 마이크를 통하여 상기 연주음의 아날로그 전기신호를 수신할 수 있다. 수신된 아날로그 전기신호는 노이즈 필터링을 통하여 주변 잡음이 제거될 수 있다. 잡음이 제거된 상기 아날로그 전기신호는 디지털 신호로 변환될 수 있다. 변환된 상기 디지털 신호에 대하여 주파수 분석을 진행하고 이를 통하여 상기 연주음의 세기, 주파수, 음색, 음계, 음표, 음정, 음 길이, 조, 박자, 템포 등을 추출할 수 있다. 이 과정은 기본 음계, 기본 음표, 기본 음정, 기본 음 길이, 기본 장조 또는 기본 단조, 기본 박자, 기본 템포 등에 대하여 미리 설정되어 저장된 주파수 정보, 세기 정보, 음색 정보 등을 활용하여 진행될 수 있다. 예를 들면, 상기 사용자가 연주하는 상기 연주음과 관련한 기준 또는 표준화된 기본 세기, 기본 주파수, 기본 음색, 기본 음계, 기본 음표, 기본 음정, 기본 음 길이, 기본 장조 또는 기본 단조, 기본 박자, 기본 템포 등은 미리 설정되어 데이터베이스(125)에 저장될 수 있다.
한편, 연주음 연산부(122)는 잡음을 제거하기 위하여 일반적으로 알려진 옥타브/음계별 표준 주파수를 기준으로 연주음 수신부(121)로 수신된 연주음을 주파수 필터링 할 수 있다. 일례로, 연주음 수신부(121)가 필터링하는 주파수 영역은 1옥타브 ‘도’음 및 8옥타브 ‘시’음의 주파수를 기준으로 약 30Hz 미만 주파수와 약 8kHz 초과 주파수일 수 있다. 상기의 예시는 이해를 위한 예시로서 연주음 수신부(121)이 필터링하는 주파수 범위는 사용자의 선택에 따라 변경될 수 있음은 당연하다 할 것이다.
또 한편, 연주음 연산부(122)는 연주음 수신부(121)로 수신된 아날로그 신호인 상기 연주음을 디지털 신호로 변환하기 위하여 샘플링을 수행할 수 있다. 연주음 연산부(122)는 샘플링을 통하여 디지털 신호로 변환된 상기 음성신호의 주파수 분석을 통하여 상기 연주음의 세기, 주파수, 음색, 음계, 음표, 음정, 음 길이, 조, 박자, 템포 등을 추출할 수 있다. 상기 연주음을 디지털 신호로 변환하기 위한 샘플링 주파수는 가청주파수를 기준으로 정해질 수 있다. 이 경우, 샘플링 주파수로는 44.1kHz가 예로서 사용될 수 있으나, 사용자의 선택에 따라 다른 주파수가 사용될 수도 있다.
악보 생성부(123)는 연주음 연산부(122)로부터 추출된 상기 연주음의 상기 특징부를 상기 사용자의 상기 연주악기의 연주 시간 흐름별로 매핑하여 상기 연주음에 대응되는 상기 연주악보를 생성할 수 있다. 이 과정에서 악보 생성부(123)는 상기 연주악보 생성의 정확도를 도모하기 위하여 악기별로 악기음의 정보를 저장하고 있는 데이터베이스(125)와 상호 연동할 수 있다. 데이터베이스(125)에는 악기별로 세분화된 기본 음계, 기본 음표, 기본 음정, 기본 음 길이, 기본 장조 또는 기본 단조, 기본 박자, 기본 템포 등에 대하여 미리 설정되어 저장된 주파수 정보, 세기 정보, 음색 정보 등이 저장될 수 있다. 즉, 연주악기정보 입력부(124)를 통하여 상기 사용자는 자신이 연주하고자 하는 상기 연주악기에 대한 정보를 입력할 수 있다. 악보 생성부(123)는 연주악기정보 입력부(124)를 통하여 입력 받은 상기 연주악기에 대한 상기 정보를 토대로 데이터베이스(125)로부터 상기 연주악기에 대응되는 악기음의 특징부에 대한 정보와 연주음 연산부(122)로부터 추출된 상기 연주음의 상기 특징부를 상호 비교하여 상기 연주악보를 생성함으로써 상기 연주음의 상기 특징부의 추출의 정확도를 도모할 수 있다.
정보출력수단(130)은 사용자 단말기(120)와 연동되는 디스플레이(132), 음향기기(134) 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함할 수 있다.
상기 사용자는 정보출력수단(130)을 통하여 출력되는 상기 사용자제공자료를 참조하여 상기 연주악기를 연주할 수 있다. 도 1 및 도 2에는 정보출력수단(130)으로서 사용자 단말기(120)와 연결되는 외부 디스플레이(132) 및 외부 스피커(134)가 예로서 표현되어 있다. 다른 예로, 도 3 내지 도 5에 도시된 바와 같이, 정보출력수단(130)으로서 사용자 단말기(120)에 내장된 디스플레이 화면 및 스피커가 사용될 수도 있다. 또 다른 예로, 정보출력수단(130)으로서 빔 프로젝터 등이 사용될 수도 있다.
일 실시 예에 있어서, 사용자 단말기(120)에는 음악연주서비스 프로그램이 설치될 수 있다. 상기 음악연주서비스 프로그램은 컨텐츠 서버(110)를 통하여 다운로드 받아 사용자 단말기(120)에 설치될 수 있다. 사용자 단말기(120)는 컨텐츠 서버(110)가 제공하는 상기 사용자제공자료로부터 악보데이터를 다운로드할 수 있다. 상기 악보데이터는 상기 음악연주서비스 프로그램에 의하여 실행되어 디스플레이(132)에 표시될 수 있다. 상기 악보데이터는 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 전자악보를 포함할 수 있다. 상기 전자악보는 상기 디스플레이에 표시될 수 있다. 이 경우, 디스플레이(132)에 표시되는 상기 전자악보에는 상기 음악연주서비스 프로그램에 의하여 표준 연주 속도에 동기화되어 이동하는 식별표지가 표시되어 상기 사용자에게 연주타이밍을 알려줄 수 있다. 한편, 상기 식별표지는 전문가의 연주속도에 동기화되어 이동할 수도 있다. 도 3에는 상기 식별표지로서 상기 표준 연주 속도에 동기화되어 색상이 검은 색에서 푸른색으로 변화하는 식별표지가 예로서 표현되어 있다. 상기 사용자는 상기 식별표지를 통하여 연주타이밍을 확인할 수 있다.
한편, 디스플레이(132)에 상기 식별표지가 제공되는 과정에서 음향기기(134)를 통하여 음악연주파일이 재생될 수 있다. 사용자 단말기(120)는 컨텐츠 서버(110)가 제공하는 상기 사용자제공자료로부터 상기 음악연주파일을 다운로드할 수 있다. 상기 음악연주파일은 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대응되는 디지털음악파일을 포함할 수 있다. 다운로드된 상기 연주곡에 대응되는 상기 디지털음악파일은 직접 음향기기(134)를 통하여 재생될 수 있다. 다르게는, 다운로드된 상기 연주곡에 대응되는 상기 디지털음악파일은 상기 음악연주서비스 프로그램에 의하여 가상 오케스트라 시스템(VOS) 음악파일로 변환된 후 음향기기(134)를 통하여 재생되어 상기 사용자가 실제 공연장에서 연주하는 것과 같은 환경을 제공할 수 있다. 상기 가상 오케스트라 시스템 음악파일은 상기 음악연주서비스 프로그램이 제공하는 가상악기음(VSTI, Virtual Studio Technology Instrument)을 통하여 제공될 수 있다. 가상악기음(VSTI)을 활용한 미디 오케스트레이션의 결과물은 양질의 음질을 보여줄 뿐 아니라, 실연 음원에서는 가능하지 않은 템포 조절, 전조, 셈여림 표현의 변화, 파트별 추출 등이 가능하여 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템(100)은 음악 감상 및 음악 연주 지도 등과 관련한 현장교육에 다양하게 활용될 수 있는 가능성이 있다.
컨텐츠 생성부(126)는 컨텐츠 서버(110)가 제공하는 상기 악보데이터, 상기 음악연주파일, 상기 전문연주가 실황연주 동영상, 상기 음악 매거진 파일 및 이들의 조합 중에서 선택되는 적어도 어느 하나-이하 제공컨텐츠라 함-에 접근할 수 있는 구성항목을 디스플레이(132)에 표시할 수 있다. 컨텐츠 생성부(126)는 상기 제공컨텐츠 중에서 상기 사용자가 선택한 어느 한 항목이 디스플레이(132)에 출력되도록 할 수 있다. 사용자 단말기(120)의 상기 사용자는 상기 제공컨텐츠 중에서 상기 사용자가 선택한 상기 어느 한 항목이 디스플레이(132)에 출력되는 과정에서 상기 구성항목 중에서 다른 항목을 선택함으로써 디스플레이(132)에 상기 구성항목 중에서 선택한 상기 다른 항목이 출력되도록 할 수 있다. 다르게는, 상기 사용자가 선택한 상기 어느 한 항목과 상기 사용자가 선택한 상기 다른 항목이 동시에 디스플레이에 출력될 수도 있다. 도 5에는 동영상, 악보, 음악관련정보링크 등이 함께 디스플레이에 표현된 경우가 예로서 표현되어 있다.
또한, 컨텐츠 생성부(126)는 상기 사용자의 상기 연주음, 악보 생성부(123)에 의하여 생성된 상기 연주악보 및 이들의 조합 중에서 선택된 적어도 어느 하나를 정보출력수단(130)을 통하여 출력할 수 있다. 일례로, 도 4에 예로서 도시된 바와 같이, 디스플레이(132)에는 컨텐츠 생성부(126)가 출력하는 상기 연주악보가 상기 전자악보와 함께 표시되어 상기 사용자가 자신의 연주로부터 생성된 상기 연주악보를 상기 전자악보와 비교할 수 있다. 이 과정에서 상기 사용자는 상기 전자악보와 연동된 음악연주파일을 재생하여 청취할 수도 있다. 이를 통하여 상기 사용자는 자신이 연주한 상기 연주악보와 상기 전자악보를 비교할 수 있을 뿐 아니라, 상기 연주음과 상기 음악연주파일이 재생하여 제공하는 음악을 서로 비교할 수 있다.
한편, 도 4에는 상기 사용자가 연주를 한 후 자신의 연주에 따른 상기 연주악보와 상기 전자악보를 비교하는 예가 표현되어 있다. 다른 예로, 도면에 도시된 바와 달리, 컨텐츠 생성부(126)는 상기 사용자가 상기 연주악기를 연주하는 과정에서 악보 생성부(123)가 생성하는 상기 연주악보를 실시간으로 디스플레이(132)에 출력하여 상기 사용자가 연주과정에서 자신의 연주 내용을 확인할 수 있도록 할 수도 있다.
한편, 상기 사용자는 사용자 단말기(120)를 통하여 컨텐츠 서버(110)로부터 상기 전문연주가 실황연주 동영상 중에서 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 전문연주가 실황연주 동영상을 다운로드 받아 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대한 전문연주가의 연주기법을 확인할 수 있다. 사용자 단말기(120)를 통하여 다운로드 받은 상기 전문연주가 실황연주 동영상은 정보출력수단(130)을 통하여 출력되어 상기 사용자에게 제공되거나 별도의 추가적인 정보출력수단(미도시)을 통하여 상기 사용자에게 제공될 수 있다.
또한, 상기 사용자는 사용자 단말기(120)를 통하여 컨텐츠 서버(110)로부터 상기 음악 매거진 파일 중에서 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대응되는 음악 매거진 파일을 다운로드 받아 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 상기 연주곡에 대한 음악계 소식, 공연계 소식, 수험생 입시자료, 오디션 소식 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 확인할 수 있다. 사용자 단말기(120)를 통하여 다운로드 받은 상기 음악 매거진 파일은 정보출력수단(130)을 통하여 출력되어 상기 사용자에게 제공되거나 별도의 추가적인 정보출력수단(미도시)을 통하여 상기 사용자에게 제공될 수 있다.
도 3은 사용자 단말기 화면에 표시되는 식별표지가 표시되는 전자악보의 모습을 보여주는 도면이다. 도 4는 식별표지가 표시되는 전자악보와 사용자의 연주악보가 함께 표시되는 사용자 단말기 화면의 예를 보여주는 도면이다. 도 5는 사용자 단말기의 화면에 표시되는 컨텐츠의 모습을 보여주는 도면이다.
도 3 내지 도 5를 참조하면, 컨텐츠 생성부(126)는 컨텐츠 서버(110)가 제공하는 상기 제공컨텐츠에 접근할 수 있는 구성항목을 디스플레이(132)에 표시하며, 상기 제공컨텐츠 중에서 상기 사용자가 선택한 어느 한 항목이 디스플레이(132)에 출력되도록 할 수 있다. 이외에도 도면에 도시된 바와 같이, 컨텐츠 생성부(126)는 디스플레이(132)에 검색창, 북마크 모음, 북마크, 화면비율 맞추기, 인덱스, 홈버튼, 내 연주 들어보기, 메모장, 공유설정 등과 같은 다양한 구성항목을 표시할 수 있다. 상기 사용자는 이를 통하여 원하는 악보 검색, 음악연주파일/실황연주 동영상/음악 매거진 파일 제공 인터넷 사이트 등의 북마크 및 이들의 모음 설정이 가능하며, 디스플레이(132)에 표현되는 악보나 동영상 등의 크기와 비율의 조정이 가능하며, 메모장 기능을 통한 학습 또는 연주 내용에 대한 이력을 저장할 수 있고, 자신이 연주한 내용을 SNS 등을 통하여 공유할 수 있다.
한편, 연주능력 평가부(150)는 연주음 연산부(122)가 추출한 상기 연주음의 상기 특징부 또는 악보 생성부(123)가 생성한 상기 연주악보를 상기 연주악보에 대응되는 표준악보와 비교하여 상기 사용자의 연주능력을 평가할 수 있다. 이 경우, 연주음 연산부(122)는 소정의 시간 간격으로 구분된 시간 구간별로 상기 연주음의 주파수를 추출할 수 있다. 연주능력 평가부(150)는 상기 시간 구간별로 추출된 상기 연주음의 상기 주파수를 상기 시간 구간별로 미리 마련된 상기 표준악보의 주파수와 비교하여 상기 사용자의 상기 연주능력을 평가하는 과정을 포함할 수 있다. 상기 연주악보에 대응하여 상기 시간 구간별로 미리 마련된 상기 표준악보는 데이터베이스(125)에 미리 저장되어 있을 수 있다.
이하 연주능력 평가부(150)가 상기 사용자의 상기 연주능력을 평가하는 과정을 구체적인 예시를 통하여 설명하기로 한다.
일반적으로 음원의 진동파형은 다양한 주파수, 진폭, 위상, 음색 등을 가진다. 음원의 진동파형으로부터 주파수, 진폭, 위상, 음색 등의 분석은 퓨리에 변환(예, FFT)을 통하여 시간영역의 신호인 음원을 주파수 영역의 신호로 변환하는 과정을 통하여 수행될 수 있다. 퓨리에 변환을 통하여 시간영역에서의 음원의 세기 정보 등을 주파수 영역에서의 음원의 세기 정보 등으로 변환할 수 있다. 이를 통하여 시간영역의 사용자의 연주음으로부터 주파수 영역에서 음의 높낮이(음의 주파수와 관련됨), 박자 등을 추출할 수 있다. 일례로, 주파수 영역에서 사용자 연주음의 높낮이, 박자 등은 퓨리에 변환을 통하여 얻어진 주파수 중에서 출력 즉, 세기가 높은 피크 주파수를 추출하는 과정을 통하여 결정할 수 있다. 사용자 연주음으로부터 악보를 생성하는 과정 역시 상술한 과정을 통하여 추출된 피크 주파수와 피크 주파수의 발생 시간 등을 통하여 수행될 수 있다.
한편, 퓨리에 변환을 통하여 사용자의 연주시간 전구간에 대하여 사용자의 연주음을 주파수 변환할 경우에 연주음에 등장하는 피크 주파수를 추출할 수는 있으나 피크 주파수가 발생한 시간 정보는 추출할 수 없다. 따라서 피크 주파수의 정보와 함께 피크 주파수가가 등장한 시간 정보를 함께 얻기 위해서는 사용자의 연주시간을 소정의 시간 간격으로 구분한 후 구분된 시간 구간별로 사용자의 연주음을 주파수 변환할 필요가 있다. 즉, STFT(Short-Time Fourier Transform) 방식으로 사용자의 연주음을 주파수 변환할 필요가 있다. 이 경우, 상기 시간 간격은 사용자가 연주하는 연주곡의 템포, 연주악기의 종류 등을 고려하여 설정될 수 있다. 연주곡의 템포, 연주악기의 종류 등에 따라 적합한 시간 간격에 대한 정보는 미리 데이터베이스(125)에 저장될 수 있다. 상술한 과정을 통하여 연주음 연산부(122)는 시간 구간별로 연주곡에 대한 사용자의 연주음의 주파수 값을 추출할 수 있다.
연주능력 평가부(150)는 연주과정에서 시간 구간별로 추출된 사용자의 연주음의 주파수를 표준연주과정을 기준으로 시간 구간별로 미리 마련된 표준악보의 주파수와 비교하여 사용자의 연주능력을 평가할 수 있다. 사용자의 연주능력 평가는 예로서 다음의 과정을 통하여 수행될 수 있다.
일 실시 예에 있어서, 연주능력 평가부(150)는 시간 구간별로 추출된 사용자의 연주음의 주파수와 이에 대응되는 시간 구간별로 미리 마련된 표준악보의 주파수를 상호 비교할 수 있다. 연주능력 평가부(150)는 시간 구간별로 연주음의 주파수와 표준악보의 주파수를 상호 비교하는 과정에서 오차범위를 제공할 수 있다. 오차범위는 음계, 옥타브 등에 따라 차등적으로 제공될 수 있다. 오차범위는 데이터베이스(125)에 저장되어 제공될 수 있다. 일례로, 오차범위로서 1옥타브의 인접한 음계의 주파수 간격을 기준으로 약 1Hz ~ 약 2Hz 범위에서 선택된 값이 활용될 수 있다.
연주능력 평가부(150)는 시간 구간별로 연주음의 주파수와 표준악보의 주파수를 상호 비교하는 과정에서 오차범위를 벗어나는 경우를 카운트 하고, 전체 주파수 개수를 카운트할 수 있다. 이를 통하여 연주능력 평가부(150)는 정상적으로 연주된 주파수 개수를 파악할 수 있다. 연주능력 평가부(150)는 시간 구간별로 연주음의 주파수와 표준악보의 주파수의 상호 비교를 통하여 얻어진 정상 연주 주파수 개수를 통하여 아래의 수식으로부터 연주능력지표를 생성할 수 있다.
연주능력지표(%)
= (전체 주파수 개수 - 비정상 연주 주파수 개수) ÷ 전체 주파수 개수×100
연주능력지표는 사용자가 연주하는 연주악기별, 연주곡별로 분류되어 데이터베이스(125)에 저장되어 사용자에게 제공될 수 있다. 한편, 데이터베이스(125)에는 다른 사용자가 연주한 연주악기별, 연주곡별로 생성된 연주능력지표가 함께 저장될 수 있다. 연주능력 평가부(150)는 사용자가 연주한 연주악기 및 연주곡에 대응되는 다른 사용자의 연주능력지표를 정보출력수단(130)을 통하여 사용자에게 제공해 줄 수 있다. 이를 통하여 사용자는 자신의 상대적인 연주 수준을 비교해 볼 수 있다. 이 경우, 정보출력수단(130)으로서 앞서 언급한 수단들 이외에 프린터 등이 활용될 수도 있다.
도면을 참조하여, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템(100)에 대하여 정리하여 설명하면 다음과 같다. 미디어 컨텐츠 서비스 시스템(100)의 사용자는 스마트폰, 태블릿 PC, 일반 PC 등의 디스플레이(132)에 표시되는 구성항목 버튼의 기능을 통하여 원하는 악보 명을 기입할 수 있다. 이후 화면에서 검색란에 기입한 악보가 나타나며, Play버튼을 누르면 악보 상에서 정확한 리듬과 음 높낮음에 맞추어 실제 악기음들로 구성된 오케스트라의 반주와 함께 연주의 진행과정에 따라 음의 색이 변화하는 악보를 제공받을 수 있다. 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템(100)의 사용자는 디스플레이에 제공되는 공부하고자 하는 악보에 맞추어 악기를 연주하거나 노래를 부르며 학습하거나 연습할 수 있다. 이 과정에서, 도 4에 도시된 바와 같이, 사용자는 녹음, 연주악보 등을 제공하는 콘텐츠 기능을 통하여 자신이 연주한 연주의 속도의 옳고 그름을 화면에 나타나는 악보의 진행과 대조, 비교하여 분석할 수 있다. 또한, 사용자는 연주 과정에서 실제 악기음과 같은 가상악기음(VSTI)을 제공받을 수 있어 실제 무대에서 연주하는 분위기를 제공받을 수 있다. 사용자는 녹음, 연주악보 등을 제공하는 콘텐츠 기능을 통하여 사용자는 디스플레이에서 자신이 연주한 내용에 따른 연주악보와 프로그램에서 진행한 악보와의 진행사항을 비교할 수 있어 박자, 음높이 등의 옳고 그름을 디스플레이를 통하여 비교할 수 있다. 또한, 사용자는 구성항목의 링크 등을 통하여 전문연주가의 실황연주 동영상을 참조할 수 있어 자신이 선택한 악보에 대한 연주기법의 전문성을 분석할 수 있다. 또한, 사용자는 구성항목의 링크를 통하여 전문연주가의 실황 연주, 전문연주가가 진행한 악보의 내용 등을 자신의 연주내용, 연주악보 등과 비교할 수 있어 자신이 연주한 연주에 대한 박자, 음높이 등의 옳고 그름을 대조, 비교할 수 있다. 또한, 사용자는 구성항목의 링크를 통한 음악매거진과의 연결을 통하여 음악계소식과 다양한 공연의 소개, 입시생들에게 유익한 입시자료 분석, 외국 음악계동정, 콩쿠르와 오디션 소식을 함께 접할 수 있다. 또한, 사용자는 드로잉기능으로 메모된 악보를 캡처하여 저장할 수 있다. 캡처된 악보는 메일, 페이스북, 트위터, 카카오톡 등의 SNS 기능으로 외부전송이 가능하다. 또한, 사용자는 원하는 페이지 또는 메모되어 기록하고자 하는 페이지를 북 마크기능을 통한 페이지 표시가 가능하다.
또한, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템(100)은 연주능력 평가부(150)를 통하여 표준악보와 비교하여 사용자의 연주능력을 평가해 줌으로써 사용자 스스로 자신의 연주수준을 확인할 수는 효과를 제공해 줄 수 있다. 이에 더하여, 본 명세서에서 개시하는 기술은 본 기술을 활용하는 여러 사용자들의 연주능력을 상호 비교해 줄 수 있어 사용자가 자신의 상대적인 연주수준을 확인할 수 있는 효과를 제공해 줄 수 있다.
또한, 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템(100)은 사용자에게 자신이 연주한 연주음에 대응되는 연주악보를 제공하며, 연주악보는 전자악보와 비교되어 자신의 연주에서의 문제점을 스스로 분석할 수 있다. 생성된 연주악보는 가상악기 VSTI 프로그램을 통하여 실제와 같은 악기음이 재생될 수 있다. 이를 통해 일반인들은 애창곡이나 악기를 혼자서 배울 수 있고, 작곡까지도 수행할 수 있다. 학생들은 혼자서 악기 또는 음악에 대한 공부와 연습을 병행할 수 있다. 본 명세서에서 개시하는 미디어 컨텐츠 서비스 시스템(100)은 오케스트라 기능을 제공할 수 있어 전문연주자에게 실질적인 공연준비에 도움을 줄 수 있다.
상기로부터, 본 개시의 다양한 실시 예들이 예시를 위해 기술되었으며, 아울러 본 개시의 범주 및 사상으로부터 벗어나지 않고 가능한 다양한 변형 예들이 존재함을 이해할 수 있을 것이다. 그리고 개시되고 있는 상기 다양한 실시 예들은 본 개시된 사상을 한정하기 위한 것이 아니며, 진정한 사상 및 범주는 하기의 청구항으로부터 제시될 것이다.
10 : 악기
100 : 미디어 컨텐츠 서비스 시스템
110 : 컨텐츠 서버
120 : 사용자 단말기
121 : 연주음 수신부
122 : 연주음 연산부
123 : 악보 생성부
124 : 연주악기정보 입력부
125 : 데이터베이스
126 : 컨텐츠 생성부
130 : 정보출력수단
132 : 디스플레이
134 : 음향기기
140 : 외부 컨텐츠 서버
150 : 연주능력 평가부
100 : 미디어 컨텐츠 서비스 시스템
110 : 컨텐츠 서버
120 : 사용자 단말기
121 : 연주음 수신부
122 : 연주음 연산부
123 : 악보 생성부
124 : 연주악기정보 입력부
125 : 데이터베이스
126 : 컨텐츠 생성부
130 : 정보출력수단
132 : 디스플레이
134 : 음향기기
140 : 외부 컨텐츠 서버
150 : 연주능력 평가부
Claims (10)
- 악보데이터, 음악연주파일 및 이들의 조합 중에서 선택되는 적어도 어느 하나-이하 사용자제공자료라 함-를 제공하는 컨텐츠 서버;
상기 컨텐츠 서버와 연결되며, 상기 사용자제공자료를 다운로드하여 정보출력수단을 통하여 출력하여 사용자에게 제공하는 사용자 단말기;
상기 사용자가 연주하는 악기-이하 연주악기라 함-로부터 발생하는 연주음을 감지하는 연주음 수신부;
상기 연주음 수신부가 감지한 상기 연주음의 특징부를 추출하는 연주음 연산부; 및
상기 연주음 연산부로부터 추출된 상기 연주음의 상기 특징부로부터 상기 연주음에 대응되는 연주악보를 생성하는 악보 생성부를 포함하되,
상기 정보출력수단은 상기 사용자 단말기와 연동되는 디스플레이, 음향기기 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함하며,
상기 연주음 연산부가 추출한 상기 연주음의 상기 특징부 또는 상기 악보 생성부가 생성한 상기 연주악보를 상기 연주악보에 대응되는 표준악보와 비교하여 상기 사용자의 연주능력을 평가하는 연주능력 평가부를 더 포함하되,
상기 연주음 연산부는 소정의 시간 간격으로 구분된 시간 구간별로 상기 연주음의 주파수를 추출하며,
상기 연주능력 평가부는 상기 시간 구간별로 추출된 상기 연주음의 상기 주파수를 상기 시간 구간별로 미리 마련된 상기 표준악보의 주파수와 비교하여 상기 사용자의 상기 연주능력을 평가하는 과정을 포함하되,
상기 연주능력 평가부는 상기 시간 구간별로 상기 연주음의 상기 주파수와 상기 표준악보의 상기 주파수를 비교하는 과정에서 오차범위를 벗어나는 경우를 카운트하고, 전체 주파수 개수의 카운트를 통하여 정상 연주 주파수 개수를 파악하며,
상기 연주능력 평가부는 상기 정상 연주 주파수 개수를 통하여 상기 사용자의 상기 연주능력을 평가하는 미디어 컨텐츠 서비스 시스템. - 제1항에 있어서,
상기 사용자로부터 상기 연주악기에 대한 정보를 입력받는 연주악기정보 입력부; 및
악기별로 악기음의 정보를 저장하고 있는 데이터베이스를 더 포함하되,
상기 연주음 연산부로부터 추출되는 상기 연주음의 상기 특징부는 상기 연주음의 세기, 주파수, 음색, 음계, 음표, 음정, 음 길이, 조, 박자, 템포 및 이들의 조합 중에서 선택되는 적어도 어느 하나를 포함하며,
상기 악보 생성부는 상기 연주악기정보 입력부를 통하여 입력 받은 상기 연주악기에 대한 상기 정보를 토대로 상기 데이터베이스로부터 상기 연주악기에 대응되는 악기음의 상기 정보와 상기 연주음 연산부로부터 추출된 상기 연주음의 상기 특징부를 상호 비교하여 상기 연주악보를 생성하는 미디어 컨텐츠 서비스 시스템. - 제1항에 있어서,
상기 사용자 단말기에는 음악연주서비스 프로그램이 설치되며,
상기 사용자 단말기는 상기 컨텐츠 서버가 제공하는 상기 사용자제공자료로부터 상기 악보데이터를 다운로드하며,
상기 악보데이터는 상기 음악연주서비스 프로그램에 의하여 실행되어 상기 디스플레이에 표시되되,
상기 악보데이터는 상기 사용자가 상기 연주악기를 통하여 연주하고자 하는 연주곡에 대응되는 전자악보를 포함하며,
상기 디스플레이에 표시되는 상기 전자악보에는 상기 음악연주서비스 프로그램에 의하여 표준 연주 속도에 동기화되어 이동하는 식별표지가 표시되어 상기 사용자에게 연주타이밍을 알려주는 미디어 컨텐츠 서비스 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 제3항에 있어서,
상기 사용자 단말기는 상기 사용자의 상기 연주음, 상기 악보 생성부에 의하여 생성된 상기 연주악보 및 이들의 조합 중에서 선택된 적어도 어느 하나를 상기 정보출력수단을 통하여 출력하는 컨텐츠 생성부를 더 포함하는 미디어 컨텐츠 서비스 시스템. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180044583A KR102118189B1 (ko) | 2018-04-17 | 2018-04-17 | 미디어 컨텐츠 서비스 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180044583A KR102118189B1 (ko) | 2018-04-17 | 2018-04-17 | 미디어 컨텐츠 서비스 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190121080A KR20190121080A (ko) | 2019-10-25 |
| KR102118189B1 true KR102118189B1 (ko) | 2020-06-02 |
Family
ID=68420671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180044583A KR102118189B1 (ko) | 2018-04-17 | 2018-04-17 | 미디어 컨텐츠 서비스 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102118189B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022025686A1 (ko) * | 2020-07-29 | 2022-02-03 | (주) 마로스튜디오 | 사운드 또는 텍스트 인식 기반의 동영상 캐릭터 자동 생성 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201217A (zh) * | 2020-09-22 | 2021-01-08 | 上海汉图科技有限公司 | 一种乐器演奏的评判方法、装置和设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005188A (ja) * | 2016-07-08 | 2018-01-11 | ヤマハ株式会社 | 音響解析装置および音響解析方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100819775B1 (ko) * | 1999-12-20 | 2008-04-07 | (주)피앤아이비 | 네트워크 기반의 음악연주/노래반주 서비스 장치, 시스템, 방법 및 기록매체 |
| KR20010000888A (ko) * | 2000-10-25 | 2001-01-05 | 장훈 | 인터넷 기반의 악기 연주, 음악 학습 방법 및 시스템 |
| KR20110076314A (ko) * | 2009-12-29 | 2011-07-06 | 전자부품연구원 | 오디오 특징 분석을 이용한 연주 평가 장치 및 방법 |
| KR20150069660A (ko) * | 2013-12-16 | 2015-06-24 | 이성호 | 연주 연습 성과 관리 방법 |
-
2018
- 2018-04-17 KR KR1020180044583A patent/KR102118189B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005188A (ja) * | 2016-07-08 | 2018-01-11 | ヤマハ株式会社 | 音響解析装置および音響解析方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022025686A1 (ko) * | 2020-07-29 | 2022-02-03 | (주) 마로스튜디오 | 사운드 또는 텍스트 인식 기반의 동영상 캐릭터 자동 생성 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190121080A (ko) | 2019-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101645268B (zh) | 一种演唱和演奏的计算机实时分析*** | |
| Dittmar et al. | Music information retrieval meets music education | |
| CN101657816B (zh) | 用于分布式音频文件编辑的门户网站 | |
| US20090038467A1 (en) | Interactive music training and entertainment system | |
| US20100203491A1 (en) | karaoke system which has a song studying function | |
| CN107146497A (zh) | 一种钢琴考级评分*** | |
| CN102867526A (zh) | 用于分布式音频文件编辑的门户网站 | |
| Müller et al. | Interactive fundamental frequency estimation with applications to ethnomusicological research | |
| JP2007310204A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
| KR102118189B1 (ko) | 미디어 컨텐츠 서비스 시스템 | |
| Acquilino et al. | Current state and future directions of technologies for music instrument pedagogy | |
| JP2007264569A (ja) | 検索装置、制御方法及びプログラム | |
| JP4839967B2 (ja) | 指導装置及びプログラム | |
| Vurkaç | Clave-direction analysis: A new arena for educational and creative applications of music technology | |
| JP2007256619A (ja) | 評価装置、制御方法及びプログラム | |
| KR101020557B1 (ko) | 사용자 창조형 음악 콘텐츠 제작을 위한 악보 생성 장치 및그 방법 | |
| Jaime et al. | A new multiformat rhythm game for music tutoring | |
| Grollmisch et al. | Songs2see: Learn to play by playing | |
| JP2008040260A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
| JP2008040258A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
| JP2016095350A (ja) | カラオケにおける歌唱評価装置 | |
| Hochenbaum et al. | Toward The Future Practice Room: Empowering Musical Pedagogy through Hyperinstruments. | |
| JP2007225916A (ja) | オーサリング装置、オーサリング方法およびプログラム | |
| Sephus et al. | Enhancing online music lessons with applications in automating self-learning tutorials and performance assessment | |
| US20220415289A1 (en) | Mobile App riteTune to provide music instrument players instant feedback on note pitch and rhythms accuracy based on sheet music |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |