KR101524279B1 - Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법 - Google Patents

Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법 Download PDF

Info

Publication number
KR101524279B1
KR101524279B1 KR1020140033664A KR20140033664A KR101524279B1 KR 101524279 B1 KR101524279 B1 KR 101524279B1 KR 1020140033664 A KR1020140033664 A KR 1020140033664A KR 20140033664 A KR20140033664 A KR 20140033664A KR 101524279 B1 KR101524279 B1 KR 101524279B1
Authority
KR
South Korea
Prior art keywords
depth
key
keyboard
pressed
rgb
Prior art date
Application number
KR1020140033664A
Other languages
English (en)
Inventor
김준호
노승민
황재인
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020140033664A priority Critical patent/KR101524279B1/ko
Application granted granted Critical
Publication of KR101524279B1 publication Critical patent/KR101524279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 피아노 교육 시스템에 관한 것으로서, 특히 사용자의 운지에 의한 건반의 눌림 깊이(Depth)를 검출하여 상기 건반의 위치를 확인하고 저장된 악보와 함께 실시간으로 확인된 건반의 위치를 같이 표시함으로써 어쿠스틱 피아노에서도 교육효과와 활용도가 높은 교육이 가능하도록 하기 위한 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법에 관한 것이다.
본 발명의 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템은, 다수의 건반의 컬러(RGB) 영상과 깊이(Depth) 영상을 촬영하는 카메라; 상기 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상으로 상기 각 건반의 위치와 깊이를 검출하는 검출부; 상기 검출된 각 건반의 위치와 깊이를 이용하여 상기 건반의 초기 위치 및 깊이(Depth)를 설정하는 설정부; 상기 설정된 건반의 초기 위치 및 깊이(Depth)와 사용자에 의해 건반이 눌려질 때의 위치 및 깊이(Depth)를 비교하여 건반의 눌림 여부를 판단하는 판단부; 및 상기 판단된 결과를 표시하는 디스플레이;를 포함하는 것을 특징으로 한다.

Description

ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법{RGB-D CAMERA BASED PIANO EDUCATION SYSTEM AND METHOD}
본 발명은 피아노 교육 시스템에 관한 것으로서, 특히 사용자의 운지에 의한 건반의 눌림 깊이를 검출하여 상기 건반의 위치를 확인하고 저장된 악보와 함께 실시간으로 확인된 건반의 위치를 같이 표시함으로써 어쿠스틱 피아노에서도 교육효과와 활용도가 높은 교육이 가능하도록 하기 위한 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법에 관한 것이다.
현대 사회에서 피아노는 친근한 매체이며, 어디서든 흔히 볼 수 있는 생활 속의 악기로 자리 잡았다. 피아노가 대중화됨에 따라 피아노 연주에 대해 관심이 증대되고 있으며, 감수성, 통찰력, 상상력을 개발시키고 예술적 경험을 할 수 있어 자기표현의 수준을 높일 수 있기 때문에 많은 사람들이 배우고자 한다.
그러나, 피아노는 많은 건반을 동시에 다룬다는 점에서 배우기가 쉽지 않은 악기로 인식되고 있다. 특히, 피아노의 교육을 위해 학습자의 상황에 맞게 이해시키고 반복 학습을 시켜 흥미를 잃지 않도록 하고 다양한 음악적 경험을 할 수 있도록 해야한다.
피아노 교육의 효율 증가를 목적으로 여러 시스템들이 연구되어 왔다. 특히, MIDI(Musical Instrument Digital Interface)키보드를 활용하여 PC 모니터 화면 출력을 통해 악보를 보여주고 미디키보드의 입력을 통해 피아노를 배우는 방법이 주를 이루고 있으나, 어쿠스틱 피아노의 건반의 눌림을 통한 특유의 터치감을 느낄 수 없다. 반대로 기존 어쿠스틱 피아노의 경우 연주되는 곡의 입력과 연습 및 교육을 위해 미디 입력이나 디지털 신호에 의존적이다.
따라서, 기존 피아노 교육 방법들은 실제 피아노 연주 실력을 배양하기에 피아노 교육이 가지는 한계를 크게 벗어나지 못하고 있다.
이에, 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 카메라를 통해 사용자에 의해 눌려진 건반을 촬영하고 상기 눌려진 건반의 깊이를 검출하여 그 위치를 찾는데 그 목적이 있다.
또한, 본 발명에서는 어쿠스틱 피아노에서도 디지털 신호의 입력 없이 피아노 건반 눌림 인식만으로도 피아노 교육 시스템을 제공하는데 다른 목적이 있다.
또한, 본 발명에서는 곡의 흐름에 따라 기 저장된 악보와 함께 사용자에 의해 건반이 눌려진 결과를 실시간으로 표시할 수 있는 피아노 교육 시스템을 제공하는데 또 다른 목적이 있다.
상기 목적을 달성하기 위해 본 발명의 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템은, 다수의 건반의 컬러(RGB) 영상과 깊이(Depth) 영상을 촬영하는 카메라; 상기 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상으로 상기 각 건반의 위치와 깊이(Depth)를 검출하는 검출부; 상기 검출된 각 건반의 위치와 깊이(Depth)를 이용하여 상기 건반의 초기 위치 및 깊이(Depth)를 설정하는 설정부; 상기 설정된 건반의 초기 위치 및 깊이(Depth)와 사용자에 의해 건반이 눌려질 때의 위치 및 깊이(Depth)를 비교하여 건반의 눌림 여부를 판단하는 판단부; 및 상기 판단된 결과를 표시하는 디스플레이;를 포함한다.
본 발명에서 상기 설정부는, 상기 각 건반에 하나 이상의 패치(Patch)를 일정간격으로 설정하고, 상기 검출부는 사용자에 의해 특정 건반이 눌려질 때, 상기 설정된 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)의 깊이(Depth)를 검출한다.
본 발명에서 상기 검출부는, 상기 패치(Patch)의 깊이(Depth)를 검출 시 상기 설정된 패치(Patch) 중 상기 손가락에 의해 가려지지 않은 패치(Patch)에, 상기 건반의 전체 길이 중 상기 가려지지 않은 패치(Patch) 중 하나에 해당하는 패치(Patch)까지의 길이 비율에 대한 가중치를 곱한다.
본 발명에서 상기 설정부는, 상기 사용자의 의해 눌려진 하나 이상의 건반의 위치를 기준으로, 상기 눌려진 건반으로부터 기 설정된 간격만큼의 다른 옥타브의 건반을 찾아 건반의 전체 음계 위치를 설정한다.
본 발명에서 상기 디스플레이는, 상기 건반의 눌림이 판단되었을 경우, 상기 눌려진 건반의 음계 및 박자를 곡의 흐름에 따라 기 저장된 악보와 함께 표시한다.
본 발명에서 상기 디스플레이는, 상기 눌려진 건반의 음계 및 박자와 상기 악보 상의 음계 및 박자의 일치여부를 표시한다.
상기 목적을 달성하기 위한 본 발명의 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 방법은, 카메라가 다수의 건반의 컬러(RGB) 영상과 깊이(Depth) 영상을 촬영하는 단계; 검출부가 상기 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상으로 각 건반의 위치와 깊이(Depth)를 검출하는 단계; 설정부가 상기 검출된 각 건반의 위치와 깊이(Depth)를 이용하여 상기 건반의 초기 위치 및 깊이(Depth)를 설정하는 단계; 판단부가 상기 설정된 건반의 초기 위치 및 깊이(Depth)와 사용자에 의해 건반이 눌려질 때의 위치 및 깊이(Depth)를 비교하여 건반의 눌림 여부를 판단하는 단계; 및 상기 판단된 결과를 디스플레이를 통해 표시하는 단계; 를 포함한다.
본 발명에서 상기 건반의 초기 위치 및 깊이(Depth)를 설정하는 단계는, 상기 설정부가 상기 사용자의 의해 눌려진 하나 이상의 건반의 위치를 기준으로, 상기 눌려진 건반으로부터 기 설정된 간격만큼의 다른 옥타브의 건반을 찾아 건반의 전체 음계 위치를 설정하는 단계; 를 포함한다.
본 발명에서 상기 건반의 눌림 여부를 판단하는 단계는, 상기 검출부가 상기 각 건반에 하나 이상의 패치(Patch)를 일정간격으로 설정하고, 사용자에 의해 특정 건반이 눌려질 때 상기 눌려진 건반의 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)의 깊이(Depth)를 검출하는 단계; 를 포함한다.
본 발명에서 상기 건반의 눌림 여부를 판단하는 단계는, 상기 설정부가 사용자에 의해 특정 건반이 눌려질 때 상기 눌려진 건반의 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)에, 상기 건반의 전체 길이 중 상기 가려지지 않은 패치(Patch) 중 하나에 해당하는 패치(Patch)까지의 길이 비율에 대한 가중치를 곱한다.
상기와 같이 이루어진 본 발명에 따른 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법에서는 다음과 같은 효과를 갖는다.
본 발명에 의하면 어쿠스틱 피아노에서 별도의 MIDI 신호 입력을 받지 않고, 카메라를 통해 건반의 눌림을 인식하므로, 건반의 터치 감각을 자연스럽게 익히며 큰 실력향상을 할 수 있는 이점이 있다.
또한, 본 발명에 의하면 사용자 스스로 학습이 가능하게끔 기 저장된 악보와 함께 사용자에 의해 건반이 눌려진 결과를 실시간으로 표시함으로써, 흥미유발과 함께 효율적인 학습이 가능하다.
도 1은 본 발명에 따른 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템의 구성도.
도 2는 본 발명의 일실시 예에 따른 건반의 패치 번들 라인 설정을 나타낸 예시도
도 3은 본 발명의 일실시 예에 따른 검은 색 건반의 위치 검출을 나타낸 예시도.
도 4는 본 발명의 일실시 예에 따른 건반의 전체 음계 위치의 설정을 나타낸 예시도.
도 5는 본 발명의 일실시 예에 따른 건반의 전체 위치 보정을 나타낸 예시도.
도 6은 본 발명의 일실시 예에서 사용자의 건반 운지 위치에 따른 패치 번들의 인식을 나타낸 예시도.
도 7은 본 발명의 일실시 예에 따른 건반의 가중치 적용을 나타낸 예시도.
도 8은 본 발명의 일실시 예에서 기 저장된 악보 및 실제 연주정보 표시를 나타낸 예시도.
이하에서, 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 설명할 것이다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1은 본 발명에 따른 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템은 카메라(10), 제어모듈(20), 피아노(30) 및 디스플레이(40)를 포함하여 구성된다.
피아노(30)는 어쿠스틱 피아노로써, 본 발명의 실시 예에서는 전기가 사용되지 않는 언플러그(unplug) 피아노를 사용한다. 상기 피아노(30)는 다수개의 검은색과 흰색의 건반(31)으로 이루어진 그랜드형(grand piano)과 업라이트형(upright piano) 중 하나를 사용할 수 있다.
카메라(10)는 상기 피아노(30)의 건반(31)을 촬영한다. 상기 카메라(10)는 상기 피아노(30)의 향판이 포함된 본체 이외에 상기 건반(31)을 촬영하도록 상기 건반(31)과 수직방향으로 일정 높이에 별도의 거치대(미도시)를 이용하여 거치된다.
상기 카메라(10)는 상기 피아노(30)의 다수의 건반(31)의 컬러(RGB: red-green-blue) 영상과 깊이(Depth) 영상을 촬영한다. 상기 컬러(RGB) 영상과 깊이(Depth) 영상을 획득하기 위한 RGB-D 카메라는 RGB카메라에 깊이(Depth)이 센서가 일체형으로 포함되거나 별도의 깊이(Depth) 카메라를 포함하여 구성될 수 있다. 일반적인 카메라는 RGB 영상만을 획득하나, 본 발명의 실시 예에서 사용되는 카메라(10)는 깊이(Depth) 정보를 획득할 수 있는 카메라를 사용한다.
상기 깊이(Depth) 영상을 촬영하기 위해 설계조건에 따라 SwissRanger 4000, PMD[vision] CamCube, D-IMager, Microsoft사의 Kinect를 사용할 수도 있다.
상기 카메라(10)에 의해 촬영된 건반(31)의 컬러(RGB: red-green-blue) 영상과 깊이(Depth) 영상은 후술하는 각 건반의 위치와 깊이(Depth)를 검출하는데 사용되기 위해 별도의 저장장치(미도시)에 저장 및 갱신될 수 있다.
도 1에 도시된 바에 따르면, 상기 제어모듈(20)은 검출부(201), 판단부(202) 및 설정부(203)를 포함하여 구성된다.
검출부(201)는 상기 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상으로 상기 각 건반의 위치와 깊이(Depth)를 검출한다.
보다 자세히는, 상기 카메라(10)를 통해 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상은 각 촬영된 영상을 통해 픽셀 정보를 검출하는 과정을 거친다. 상기 픽셀 정보를 검출하기 이전에 각각 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상의 정합을 실시한다. 즉, 깊이(Depth) 센서와 RGB 카메라 사이의 위치 및 Calibration 정보가 주어지면 3차원 점을 투영시키는 과정을 통해 센서정합을 실시한다. 이를 통해 상기 컬러(RGB) 영상과 깊이(Depth) 영상을 촬영하는 각각의 카메라 또는 센서가 가지는 시차와 화각(FOV:field of view)을 보정한다. 상기 센서정합 과정은 통상의 기술이므로 본 발명에서는 이의 설명을 생략한다. 상기 검출부(201)는 상기 검출된 각 건반의 위치와 깊이(Depth)를 이용하여 깊이 맵(Depth Map)을 형성한다. 상기 깊이 맵(Depth Map)은 건반(31)의 전체 영역에 해당하는 픽셀 정보와 깊이(Depth) 정보를 포함하여 구성될 수 있다.
설정부(203)는 상기 검출된 각 건반의 위치와 깊이(Depth)를 이용하여 상기 건반(21)의 초기 위치 및 깊이(Depth)를 설정한다.
도 2는 본 발명의 일실시 예에 따른 건반의 패치 번들 라인 설정을 나타낸 예시도이다.
도 2(a),(b) 도시된 바와 같이, 설정부(203)는 카메라(10)를 통해 촬영된 컬러(RGB) 영상을 이미지 프로세싱하여 건반(31)의 초기 위치를 설정한다. 먼저, 컬러(RGB) 영상을 통해 추출된 2차원 픽셀 데이터를 이용하여 건반(31) 전체의 영역중 검은 건반의 라인을 검색한다. 즉, 검은 건반이 가지고 있는 고유의 픽셀 데이터를 이용하여 흰 건반과 구별되는 컬러(RGB)를 가지는 검은 건반의 전체 영역을 일정 라인에 따라 검색한다. 만약, 도 2(c)와 도시된 바와 같이 카메라(10)와 피아노(30)가 서로 평행한 위치에 놓이지 않을 경우, 도 2(d)에 도시된 바와 같이 상기 컬러(RGB) 영상을 통해 추출된 2차원 픽셀 데이터를 이용하여 형성된 일정 라인을 회전시켜 상기 검은 건반의 전체 영역을 재검색한다. 상기 검색과정은 올바른 검은 건반이 검색되기까지 수행될 수 있다.
상기 검은 건반의 전체 영역이 검색되면, 상기 깊이 맵(Depth Map)에서 검은 건반의 위치를 찾는다.
도 3은 본 발명의 일실시 예에 따른 검은 건반의 위치 검출을 나타낸 예시도이다. 도 3(a)에 도시된 바와 같이 상기 검은 건반의 각 위치는 그 깊이(Depth)가 각기 다른 수치로 나타난다. 다만, 상기 깊이(Depth) 영상을 통해 생성된 깊이 맵(Depth Map)에서 나타나는 수치는 노이즈로 인해 불규칙한 패턴을 보이나, 대체로 흰 건반과 검은 건반의 깊이(Depth)는 분별이 가능할 정도로 구분되어 검출된다.
도 3(b)에 도시된 바와 같이 상기 깊이 맵(Depth Map)에서 나타나는 수치 중 깊이(Depth)가 낮은 지점과 높은 지점을 각각 구별함으로써 상기 설정부(203)는 전체 검은 건반의 전체 영역에서 각 검은 건반의 위치를 설정한다.
상기 각 검은 건반의 위치가 설정이 완료되면, 상기 설정부(203)는 사용자의 의해 눌려진 하나 이상의 건반의 위치를 기준으로, 상기 눌려진 건반으로부터 기 설정된 간격만큼의 다른 옥타브의 건반을 찾아 건반(31)의 전체 음계 위치를 설정한다.
도 4는 본 발명의 일실시 예에 따른 건반의 전체 음계 위치의 설정을 나타낸 예시도이다. 도 4(a),(b)에 도시된 바와 같이, 사용자가 건반(31)에서 가장 낮은 C key와 가장 높은 C key를 누르면 기 설정된 전체 옥타브 개수로 두 키의 간격을 나눈다. 일반적으로 88개의 건반을 가지는 피아노의 경우 7개의 옥타브로 구성이 되어 있으므로, 상기 가장 낮은 C key와 가장 높은 C key 사이에 존재하는 5개의 옥타브의 간격을 분할한다. 상기 옥타브 간 간격을 설정하기 위한 1개의 옥타브 간 음계별 간격 즉, C, D, E, F, G, A, B Key 간의 간격은 기 저장되어 있다. 상기 7개의 옥타브 간 간격이 설정되면 각 옥타브 간 음계를 설정함으로써 상기 건반(31)의 전체 음계 위치를 설정한다.
상기 건반(31)의 전체 음계 위치가 설정되면, 상기 설정부(203)는 상기 각 건반에 하나 이상의 패치(Patch)를 일정간격으로 설정한다. 상기 패치(Patch)는 피아노 연주시 사용자에 의해 눌려지는 건반(31)의 깊이(Depth) 변화를 감지하기 위한 것이다. 상기 패치(Patch)는 물리적으로 부착되는 것이 아닌 상기 카메라(10)에 의해 촬영되는 건반의 각 위치에 매칭되는 영역을 설정하는 것이다. 본 발명의 실시 예에서는 흰 건반에는 7개, 검은 건반에는 4개의 패치(Patch)를 설정한다. 상기 각 패치(Patch)는 각 건반의 폭과 길이를 넘지 않는 범위 내에서 정사각형태로 가로, 세로가 각각 n*n 픽셀로 구성된다.
상기 패치(Patch)는 상기 각 검은 건반의 위치를 설정시와 마찬가지로 깊이 맵(Depth Map)을 이용하여 배치되는데, 도 5는 본 발명의 일실시 예에 따른 건반의 전체 위치 보정을 나타낸 예시도로써, 도 5(a)에 도시된 바와 같이 카메라(10)로부터 거리가 먼 건반일수록 검은 건반과 흰 건반의 상대적 위치가 달라져 패치(Patch)가 나열되는 위치가 상기 설정부(203)에 의해 설정된 각 건반이 위치에서 벗어날 수 있다. 도 5(b)를 참조하면, 상기 패치(Patch) 설정시 상기 건반(31)의 전체 음계 위치를 설정시와 마찬가지로 깊이 맵(Depth Map)을 이용하는데, 상기 깊이 맵(Depth Map)에서 α영역 중 X의 위치에 해당하는 건반 A에 음계가 잘못 설정될 수 있다. 이때, 상기 설정부(203)는 상기 깊이 맵(Depth Map)의 α영역 중 X가 아닌 검은 건반의 위치로 추정되는 Y의 위치에 해당하는 건반 B로 음계를 보정한다. 따라서, 도 5(c)와 같이 올바르게 찾은 상기 B건반의 위치를 기준으로 나머지 건반들을 재정렬함으로써, 상기 패치(Patch)의 잘못된 나열위치를 수정한다.
상기 검출부(201)는 사용자에 의해 특정 건반이 눌려질 때, 상기 설정된 패치(Patch) 중 사용자의 손가락에 의해 가려지지 않은 패치(Patch)의 깊이(Depth)를 검출한다. 연주시 실제 눌려지는 건반은 음악의 흐름에 따라 또는 사용자의 연주 기법에 따라 상기 건반(31)을 누르는 영역의 위치가 각각 다르다.
도 6은 본 발명의 일실시 예에서 사용자의 건반 운지 위치에 따른 패치 번들의 인식을 나타낸 예시도이다. 도 6(a)에 따르면, 흰 건반이 완전히 눌려질 때, 상기 눌려진 건반의 패치(Patch)는 각각 10, 9, 8, 7, 6mm의 깊이(Depth)로 검출된다. 판단부(202)는 상기 건반의 깊이(Depth)와 기 설정된 건반(31)의 깊이(Depth)를 비교하여 상기 건반의 깊이(Depth)가 기 설정된 건반(31)의 깊이(Depth)이상일 경우 눌림으로 판단한다. 상기 눌림을 판단하기 위한 상기 건반의 최대 눌림 깊이(Depth)는 60~70%로 설정할 수 있다. 예를 들어, 최대 눌림 깊이(Depth)가 11mm인 건반의 경우 실제 사용자에 의해 눌려진 건반이 7mm이상인 경우 상기 판단부(202)는 눌림으로 판단할 수 있다.
만약, 도 6(b)와 같이 손가락에 의해 상기 흰 건반의 패치(Patch) 중 바깥쪽 2개의 패치(Patch)가 가려질 경우 카메라(10)는 상기 가려진 패치(Patch)의 깊이(Depth)를 촬영하지 못하여, 상기 검출부(201)가 건반의 깊이(Depth)를 검출할 수 없다. 상기와 같은 경우, 가려진 패치(Patch)를 제외한 나머지 패치(Patch)의 깊이(Depth)를 검출하는데 가려지지 않은 패치(Patch)의 수가 작을 경우에는 그 깊이(Depth)가 작아 건반(31)의 눌림 판단이 어려워질 수 있다.
이를 위해, 상기 검출부(201)는 패치(Patch)의 깊이(Depth) 검출 시 상기 손가락에 의해 가려지지 않은 패치(Patch)에, 상기 건반의 길이 비율에 대응하는 가중치를 곱한다. 즉, 손가락에 가려지지 않은 패치의 깊이(Depth)에 가중치를 곱함으로써, 상기 손가락에 의해 눌려진 건반의 깊이(Depth)를 계산한다.
도 7은 본 발명의 일실시 예에 따른 건반의 가중치 적용을 나타낸 예시도이다. 도 7(a)를 참조하면, 흰 건반의 경우 정상적으로 눌려진 경우라면 상기 건반의 가장의 깊이(Depth)는 최대 11mm이다. 만약, 상기 건반의 패치(Patch) 중 하나 이상의 패치(Patch)가 손가락에 의해 가려져 검출되지 않은 경우 X에 해당하는 패치(Patch)의 깊이(Depth)를 검출하고, 상기 X패치(Patch)까지의 건반 길이 A를 이용하여 상기 눌려진 건반의 깊이(Depth)를 계산한다. 상기 각 패치(Patch)간의 간격과 패치(Patch)의 길이는 기 설정된 값을 이용한다. 만약, X가 7mm로 검출된다면, 7mm에 상기 건반의 전체 길이 중 X패치(Patch)까지의 길이 비율에 대한 가중치를 곱하여 상기 눌려진 건반의 깊이(Depth)를 계산한다. 본 발명의 일실시 예에서 건반의 세로길이가 150mm이고, X패치(Patch)의 깊이(Depth)가 7mm, X패치(Patch)까지의 거리 A가 100mm일 경우 X*150/100의 가중치를 곱하여 상기 눌려진 건반의 깊이(Depth)가 10.5mm임을 알 수 있다.
도 7(b)에 도시된 바와 같이, 검은 건반도 마찬가지로 전체 건반 길이 80mm와 Y패치(Patch)까지의 길이 B를 이용하여 눌려진 건반의 깊이(Depth)를 구할 수 있다.
디스플레이(40)는 상기 건반의 눌림이 판단되었을 경우, 상기 눌려진 건반의 음계 및 박자를 곡의 흐름에 따라 기 저장된 악보와 함께 표시한다.
디스플레이(40)는 상기 피아노(30)의 상부 몸체 또는 보면대에 거치되어 기 저장된 악보 및 사용자가 피아노 연주시 음계, 박자, 음표 등 실제 연주정보를 표시한다. 상기 디스플레이(40)는 단일 장치 또는 제어모듈(20)과 함께 PC형태로 구성될 수 있다. 본 발명에서는 다른 어쿠스틱 피아노로의 이동이 용이하게끔 탈착 또는 거치가 용이한 휴대형 디스플레이가 사용된다.
도 8은 본 발명의 일실시 예에서 기 저장된 악보 및 실제 연주정보 표시를 나타낸 예시도이다. 도 8(a)를 참조하면, 미디파일을 통해 악보를 얻거나 다른 매체를 통해 다운받은 악보를 상기 디스플레이(40)에 표시한다. 상기 악보에는 템포, 음표, 박자 등 연주자가 연주를 위한 정보가 포함되며, 기 설정된 시간 또는 흐름에 따라 순차적으로 표시된다. 또한, 현재 연주자가 누른 건반을 실시간으로 표시하여, 실제 누른 건반이 맞는지를 시각적으로 확인할 수 있다.
도 8(b)에 도시된 바와 같이 상기 디스플레이(40)에 표시되는 악보와 사용자에 의해 연주되는 연주의 일치 여부에 따라 이벤트를 발생시킨다. 현재 음악의 흐름을 표시하기 위해 직사각형 형태의 바를 현재 연주되는 음표 위에 표시하고, 상기 연주의 정확도에 따라 Perfect, Good, Miss와 같은 메시지를 상기 디스플레이(40)에 표시한다. 설계 조건에 따라 메시지 이외에 음성안내도 할 수 있다.
이하 상기한 바와 같은 구성을 가지는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 방법의 실시 예를 도 9를 참조하여 설명한다.
먼저, 카메라가 다수의 건반의 컬러(RGB) 영상과 깊이(Depth) 영상을 촬영한다(S10). 그 다음, 검출부(201)가 상기 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상으로 건반의 위치와 깊이를 검출한다(S11). 깊이가 검출되면, 설정부(203)가 상기 검출된 건반의 위치와 깊이(Depth)를 이용하여 상기 건반의 초기 위치 및 깊이(Depth)를 설정한다(S12). 이때, 상기 건반의 위치 즉, 상기 건반의 초기 위치 및 깊이(Depth)를 설정하기 위해 상기 설정부(203)가 상기 사용자의 의해 눌려진 하나 이상의 건반의 위치를 기준으로, 상기 눌려진 건반으로부터 기 설정된 간격만큼의 다른 옥타브의 건반을 찾아 건반의 전체 음계 위치를 설정할 수 있다. 상기 설정이 완료되면, 판단부(202)가 상기 설정된 건반의 초기 위치 및 깊이(Depth)와 사용자에 의해 건반이 눌려질 때의 위치 및 깊이(Depth)를 비교하여 건반의 눌림 여부를 판단한다(S13). 상기 판단을 위해 상기 검출부(201)가 상기 각 건반에 하나 이상의 패치(Patch)를 일정간격으로 설정하고, 사용자에 의해 특정 건반이 눌려질 때 상기 눌려진 건반의 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)의 깊이(Depth)를 검출한다. 또한, 상기 설정부(203)가 사용자에 의해 특정 건반이 눌려질 때 상기 눌려진 건반의 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)에, 상기 건반의 전체 길이 중 상기 가려지지 않은 패치(Patch) 중 하나에 해당하는 패치(Patch)까지의 길이 비율에 대한 가중치를 곱한다. 상기 눌림 여부 판단 결과 상기 건반이 눌려진 것으로 확인되면 디스플레이(40)가 상기 판단된 결과를 표시한다(S14).
이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 카메라 20 : 제어모듈
30 : 피아노 31 : 건반
40 : 디스플레이 201 : 검출부
202 : 판단부 203 : 설정부

Claims (10)

  1. 다수의 건반의 컬러(RGB) 영상과 깊이(Depth) 영상을 촬영하는 카메라;
    상기 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상으로 상기 각 건반의 위치와 깊이(Depth)를 검출하는 검출부;
    상기 검출된 각 건반의 위치와 깊이(Depth)를 이용하여 상기 건반의 초기 위치 및 깊이(Depth)를 설정하는 설정부;
    상기 설정된 건반의 초기 위치 및 깊이(Depth)와 사용자에 의해 건반이 눌려질 때의 위치 및 깊이(Depth)를 비교하여 건반의 눌림 여부를 판단하는 판단부; 및
    상기 판단된 결과를 표시하는 디스플레이;를 포함하고,
    상기 설정부는 상기 각 건반에 하나 이상의 패치(Patch)를 일정간격으로 설정하고, 상기 검출부는 사용자에 의해 특정 건반이 눌려질 때, 상기 설정된 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)의 깊이(Depth)를 검출하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템.
  2. 삭제
  3. 제 1항에 있어서, 상기 검출부는,
    상기 패치(Patch)의 깊이(Depth)를 검출 시 상기 설정된 패치(Patch) 중 상기 손가락에 의해 가려지지 않은 패치(Patch)에, 상기 건반의 전체 길이 중 상기 가려지지 않은 패치(Patch) 중 하나에 해당하는 패치(Patch)까지의 길이 비율에 대한 가중치를 곱하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템.
  4. 제 1항에 있어서, 상기 설정부는,
    상기 사용자의 의해 눌려진 하나 이상의 건반의 위치를 기준으로, 상기 눌려진 건반으로부터 기 설정된 간격만큼의 다른 옥타브의 건반을 찾아 건반의 전체 음계 위치를 설정하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템.
  5. 제 4항에 있어서, 상기 디스플레이는,
    상기 건반의 눌림이 판단되었을 경우, 상기 눌려진 건반의 음계 및 박자를 곡의 흐름에 따라 기 저장된 악보와 함께 표시하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템.
  6. 제 5항에 있어서, 상기 디스플레이는,
    상기 눌려진 건반의 음계 및 박자와 상기 악보 상의 음계 및 박자의 일치여부를 표시하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 시스템.
  7. 카메라가 다수의 건반의 컬러(RGB) 영상과 깊이(Depth) 영상을 촬영하는 단계;
    검출부가 상기 촬영된 컬러(RGB) 영상과 깊이(Depth) 영상으로 각 건반의 위치와 깊이(Depth)를 검출하는 단계;
    설정부가 상기 검출된 각 건반의 위치와 깊이(Depth)를 이용하여 상기 건반의 초기 위치 및 깊이(Depth)를 설정하는 단계;
    판단부가 상기 설정된 건반의 초기 위치 및 깊이(Depth)와 사용자에 의해 건반이 눌려질 때의 위치 및 깊이(Depth)를 비교하여 건반의 눌림 여부를 판단하는 단계; 및
    상기 판단된 결과를 디스플레이를 통해 표시하는 단계; 를 포함하고,
    상기 건반의 눌림 여부를 판단하는 단계는,
    사용자에 의해 상기 각 건반에 일정간격으로 설정된 하나 이상의 패치(Patch)에 대하여 특정 건반이 눌려질 때, 상기 검출부가 상기 눌려진 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)의 깊이(Depth)를 검출하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 방법.
  8. 제 7항에 있어서,
    상기 건반의 초기 위치 및 깊이(Depth)를 설정하는 단계는,
    상기 설정부가 상기 사용자의 의해 눌려진 하나 이상의 건반의 위치를 기준으로, 상기 눌려진 건반으로부터 기 설정된 간격만큼의 다른 옥타브의 건반을 찾아 건반의 전체 음계 위치를 설정하는 단계; 를 포함하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 방법.
  9. 삭제
  10. 제 7항에 있어서,
    상기 건반의 눌림 여부를 판단하는 단계는,
    상기 설정부가 사용자에 의해 특정 건반이 눌려질 때 상기 눌려진 건반의 패치(Patch) 중 손가락에 의해 가려지지 않은 패치(Patch)에, 상기 건반의 전체 길이 중 상기 가려지지 않은 패치(Patch) 중 하나에 해당하는 패치(Patch)까지의 길이 비율에 대한 가중치를 곱하는 것을 특징으로 하는 ＲＧＢ-Ｄ 카메라를 이용한 피아노 교육 방법.
KR1020140033664A 2014-03-21 2014-03-21 Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법 KR101524279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140033664A KR101524279B1 (ko) 2014-03-21 2014-03-21 Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140033664A KR101524279B1 (ko) 2014-03-21 2014-03-21 Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101524279B1 true KR101524279B1 (ko) 2015-06-01

Family

ID=53490716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140033664A KR101524279B1 (ko) 2014-03-21 2014-03-21 Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101524279B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017121049A1 (en) * 2016-01-15 2017-07-20 Findpiano Information Technology (Shanghai) Co., Ltd. Piano system and operating method thereof
CN106981233A (zh) * 2016-01-15 2017-07-25 易弹信息科技（上海）有限公司 一种智能钢琴大屏显示教学***
CN107464474A (zh) * 2017-09-05 2017-12-12 上海智凌信息技术有限公司 一种钢琴弹奏指法的检测方法及装置
CN109035963A (zh) * 2018-07-20 2018-12-18 广州市雅迪数码科技有限公司 钢琴远程教育的方法及装置
CN109344794A (zh) * 2018-10-19 2019-02-15 深圳市微蓝智能科技有限公司 一种钢琴演奏评分方法、装置及计算机存储介质
CN110517555A (zh) * 2019-07-19 2019-11-29 森兰信息科技（上海）有限公司 基于钢琴的同步上课状态的方法、***、存储介质及装置
KR20200022251A (ko) * 2018-08-22 2020-03-03 이윤정 음악 컨텐츠 생성과 제공 방법 및 그를 위한 장치
CN110991800A (zh) * 2019-10-31 2020-04-10 安徽踏极智能科技有限公司 一种钢琴教学质量评测***
CN111312015A (zh) * 2019-10-31 2020-06-19 安徽踏极智能科技有限公司 一种基于钢琴教学信息的传输***
CN111695499A (zh) * 2020-06-09 2020-09-22 小叶子（北京）科技有限公司 一种琴键识别方法、装置、电子设备及存储介质
CN112883804A (zh) * 2021-01-21 2021-06-01 小叶子（北京）科技有限公司 一种乐器演奏手部动作的纠错方法、装置及电子设备
KR102374443B1 (ko) * 2020-11-19 2022-03-14 임성민 건반 연주 학습 보조 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120034486A (ko) * 2010-10-01 2012-04-12 김부전 음악교습에 사용되는 건반장치
JP2012220303A (ja) * 2011-04-07 2012-11-12 Nec Corp 把捉物位置認識装置、把捉物位置認識方法、把捉物位置認識プログラム
KR20130067856A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법
KR101307732B1 (ko) * 2012-05-23 2013-09-11 동신대학교산학협력단 ３ｄ입체 리듬 액션 게임 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120034486A (ko) * 2010-10-01 2012-04-12 김부전 음악교습에 사용되는 건반장치
JP2012220303A (ja) * 2011-04-07 2012-11-12 Nec Corp 把捉物位置認識装置、把捉物位置認識方法、把捉物位置認識プログラム
KR20130067856A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법
KR101307732B1 (ko) * 2012-05-23 2013-09-11 동신대학교산학협력단 ３ｄ입체 리듬 액션 게임 방법

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10950137B2 (en) 2016-01-15 2021-03-16 Sunland Information Technology Co., Ltd. Smart piano system
US10657943B2 (en) 2016-01-15 2020-05-19 Sunland Information Technology Co., Ltd. Systems and methods for calibrating a musical device
US11328618B2 (en) 2016-01-15 2022-05-10 Sunland Information Technology Co., Ltd. Systems and methods for calibrating a musical device
WO2017121049A1 (en) * 2016-01-15 2017-07-20 Findpiano Information Technology (Shanghai) Co., Ltd. Piano system and operating method thereof
CN106981233A (zh) * 2016-01-15 2017-07-25 易弹信息科技（上海）有限公司 一种智能钢琴大屏显示教学***
US10600399B2 (en) 2016-01-15 2020-03-24 Sunland Information Technology Co., Ltd. Smart piano system
CN106981233B (zh) * 2016-01-15 2020-06-12 森兰信息科技（上海）有限公司 一种智能钢琴大屏显示教学***
US10636402B2 (en) 2016-01-15 2020-04-28 Sunland Information Technology Co., Ltd. Systems and methods for automatic calibration of musical devices
CN107464474A (zh) * 2017-09-05 2017-12-12 上海智凌信息技术有限公司 一种钢琴弹奏指法的检测方法及装置
CN109035963A (zh) * 2018-07-20 2018-12-18 广州市雅迪数码科技有限公司 钢琴远程教育的方法及装置
KR20200022251A (ko) * 2018-08-22 2020-03-03 이윤정 음악 컨텐츠 생성과 제공 방법 및 그를 위한 장치
KR102116311B1 (ko) 2018-08-22 2020-05-28 이윤정 음악 컨텐츠 생성과 제공 방법 및 그를 위한 장치
CN109344794B (zh) * 2018-10-19 2022-04-19 深圳市微蓝智能科技有限公司 一种钢琴演奏评分方法、装置及计算机存储介质
CN109344794A (zh) * 2018-10-19 2019-02-15 深圳市微蓝智能科技有限公司 一种钢琴演奏评分方法、装置及计算机存储介质
CN110517555A (zh) * 2019-07-19 2019-11-29 森兰信息科技（上海）有限公司 基于钢琴的同步上课状态的方法、***、存储介质及装置
CN110991800A (zh) * 2019-10-31 2020-04-10 安徽踏极智能科技有限公司 一种钢琴教学质量评测***
CN111312015A (zh) * 2019-10-31 2020-06-19 安徽踏极智能科技有限公司 一种基于钢琴教学信息的传输***
CN111695499B (zh) * 2020-06-09 2024-04-16 小叶子（北京）科技有限公司 一种琴键识别方法、装置、电子设备及存储介质
CN111695499A (zh) * 2020-06-09 2020-09-22 小叶子（北京）科技有限公司 一种琴键识别方法、装置、电子设备及存储介质
KR102374443B1 (ko) * 2020-11-19 2022-03-14 임성민 건반 연주 학습 보조 장치
CN112883804A (zh) * 2021-01-21 2021-06-01 小叶子（北京）科技有限公司 一种乐器演奏手部动作的纠错方法、装置及电子设备
CN112883804B (zh) * 2021-01-21 2024-03-15 小叶子（北京）科技有限公司 一种乐器演奏手部动作的纠错方法、装置及电子设备

Similar Documents

Publication Publication Date Title
KR101524279B1 (ko) Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법
US10825432B2 (en) Smart detecting and feedback system for smart piano
US7888579B2 (en) Electronic musical instrument and performance control program systems and methods
US10446048B2 (en) Learning assistant system capable of indicating piano fingering
US11087636B2 (en) Lights-guided piano learning and teaching apparatus, and method
CN111259863B (zh) 弹奏手型检测/展示方法、介质、钢琴、终端及服务端
CN113674565B (zh) 一种用于钢琴教学的教学***及方法
CN101388149A (zh) 键盘乐器学习装置及学习方法
CN111695499B (zh) 一种琴键识别方法、装置、电子设备及存储介质
CN106952510B (zh) 音高校准器
US8744136B2 (en) Sound reproduction method and device
CN113286183B (zh) 演奏过程与曲谱同步显示的方法、装置、设备及存储介质
WO2019049293A1 (ja) コード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラム
US20130284000A1 (en) Music note position detection apparatus, electronic musical instrument, music note position detection method and storage medium
WO2019087331A1 (ja) 基準位置検出装置および基準位置検出方法
CN111176544A (zh) 一种基于图像处理的多功能琴谱显示设备及图像处理方法
US20130106689A1 (en) Methods of operating systems having optical input devices
CN114677431A (zh) 钢琴指法识别方法及计算机可读存储介质
KR20180130432A (ko) 드럼 악보 한글화 작업 방법 및 이를 이용한 드럼 악보를 한글음으로 구성된 연주용 악보 파일로 변환하는 장치
KR20130058384A (ko) 휴대용 드럼연주시스템
JPH06332443A (ja) 楽譜認識装置
Rho et al. Automatic piano tutoring system using consumer-level depth camera
KR100659488B1 (ko) 음정인식에 의한 점수 계산방법
JP3229939B2 (ja) メディア変換装置
JP2007156370A (ja) 空間に表示した実像を入力指標とした電子楽器

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4