JP6287313B2 - コード画像表示装置、およびコード画像表示プログラム - Google Patents
コード画像表示装置、およびコード画像表示プログラム Download PDFInfo
- Publication number
- JP6287313B2 JP6287313B2 JP2014030337A JP2014030337A JP6287313B2 JP 6287313 B2 JP6287313 B2 JP 6287313B2 JP 2014030337 A JP2014030337 A JP 2014030337A JP 2014030337 A JP2014030337 A JP 2014030337A JP 6287313 B2 JP6287313 B2 JP 6287313B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- performance
- image
- code
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Auxiliary Devices For Music (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
図1は、本実施形態のコマンダを備えた通信カラオケシステムの機能ブロック図である。通信カラオケシステムは、コマンダ1、および周辺機器を備える。周辺機器としては情報端末31、歌唱用マイク32A、楽器32B、スピーカー33、モニタ34、およびカラオケ用ホスト35が設けられている。
次にHDD103に記憶される情報について図2を用いて説明する。HDD103には、投稿情報、楽曲情報、解析結果、およびテーブルの内容が記憶されている。
次にコマンダ1の音響制御、表示制御、および通信制御に係る主な動作について説明をする。
本実施形態の動作及び作用について、図6、図7、および図8を参照して説明する。図6〜図8に示すフローチャートの各ステップの処理は、制御部100が実行する処理である。
ユーザが操作部131、もしくは情報端末31を用いてモード選択操作を行い、投稿情報を用いた楽器演奏用モードを選択すると、図6に示すメインルーチンの処理が開始される。
また、コード記号画像M31、タイミングバーM32、および運指画像M33の色は背景色フラグによって決められる。後述するギターコード解析のサブルーチンの処理において、背景色フラグが「0」の場合は、投稿コード情報とお手本コード情報が一致した時であって、通常表示を表す白色が背景色として制御部100から映像制御部122へ送られる。背景色フラグが「1」の場合は、投稿コード情報とお手本コード情報が一致しなかった時であって、強調表示を表す青色が背景色として制御部100から映像制御部122へ送られる。映像制御部122は、色の情報に従い、コード記号画像M31の背景色、タイミングバーM32の帯の色、および運指画像M33下部のコード記号を表示する部分の背景色を変えてモニタ34に表示させる。
次に、図6で示したステップS114で開始されるギターコード解析のサブルーチンの処理について図7を用いて説明する。図7に示すサブルーチンは、投稿情報のギターコード解析を行い、投稿コード情報、およびお手本として表示するコード画像を生成する。ステップS201では、投稿情報の音情報からギターコードが抽出される。本実施形態において音情報はMIDI形式の情報であるため、MIDIのイベント情報から、演奏タイミングとコード記号とが抽出される。ステップS201ではギターコードが抽出され、投稿コード情報としてHDD103に記憶される。投稿コード情報が記憶されるとS202に処理が移される。
次に、図8を用いて表示期間決定のサブルーチンの処理(S132)について説明する。図8に示すサブルーチンは、採点情報を用いてタイミングバーM32のスクロール速度、および表示位置を決める。ステップS301では、採点情報を読み出し、RAM102に記憶する。採点情報は、ステップS135で算出されてHDD103に記憶された採点情報である。
V0=X15/T ・・・(1)
V=V0(1−P) ・・・(2)
上記式(1)および(2)において、V0はタイミングバーM32の基準のスクロール速度である。X15は演奏領域V15に設定している範囲のX軸方向の画素数である。Tは楽曲中の演奏音のなかで演奏する時間の長さの平均を算出した平均演奏時間である。VはタイミングバーM32のスクロール速度である。PはステップS302でRAM102に記憶されたパラメータである。例えば、初期値を与える記憶されたパラメータが「0」の場合、タイミングバーM32のスクロール速度Vは、基準のスクロール速度V0となり、この時の表示期間が基準の表示期間となる。パラメータの範囲は、最高点数100点の時には基準の表示期間に対して−20%の表示期間としているので、パラメータは「−0.2」、最低点数0点の時には基準の表示期間に対して+20%の表示期間としているので、パラメータは「0.2」となる。
X=X0+V(TON−TNOW) ・・・(3)
上記式(3)において、XはタイミングバーM32の表示位置である。X0は、モニタ34の表示画面の左端からタイミング表示領域V12の左端までのX軸方向の画素数である。VはステップS303で求められたスクロール速度である。TONは投稿コード情報の演奏タイミングである。TNOWは演奏開始から現時点までの経過時間である。
本実施形態のコード画像表示装置において、モニタ34の表示状態は、ユーザの演奏レベルに応じて決められる。モニタ34の表示状態について、ユーザの演奏レベルを「標準」、「高い」、「低い」の3段階に分類する。演奏開始からの経過時間が同じである図9A〜図9Cを用いて、3段階の表示状態をそれぞれ説明する。
演奏レベルが標準な人は、採点情報が70点より高く、80点以下の範囲にある人を表す。たとえば、採点情報が72点となる演奏レベルで演奏をしている人の場合、表示期間変更割合は0%なので、タイミングバーM32のスクロール速度は、楽曲のテンポであって、標準の速度V0となり、画面の表示は図9Aに示すように標準の速度V0で表示される。
演奏レベルが高い人は、採点情報が80点よりも高く、100点以下の範囲にある人を表す。たとえば、採点情報が90点で演奏をしている人の場合、表示期間変更割合は−20%なので、タイミングバーM32のスクロール速度は、標準の速度V0よりも20%早くなる。つまり、画面の表示は図9Bのようになり、標準の場合である図9Aよりもコード画像の表示期間が短くなり、先行して見ることのできるコード画像の個数が少なくなる。
演奏レベルが低い人は、採点情報が70点以下にある人を表す。たとえば、採点情報が55点で演奏をしている人の場合、表示期間変更割合は20%なので、タイミングバーM32のスクロール速度は、標準の速度V0よりも20%遅くなる。つまり、画面の表示は図9Cのようになり、標準の場合である図9Aよりもコード画像の表示期間が長くなり、先行して見ることのできるコード画像の個数が多くなる。
楽曲の演奏が進むにつれて、採点情報も変動するため、それに従い画面の表示も変化する。たとえば、採点情報が75点で演奏レベルが標準な人の表示形態にあるときに、採点情報が更新されて90点まで点数が高くなった場合、モニタ34の表示状態は、演奏レベルが高い人の表示形態に変更される。一方、採点情報の更新の際に60点まで点数が低くなった場合、演奏レベルが普通の人の表示形態から、演奏レベルが低い人の表示形態へ変更される。採点情報の更新、およびスクロール速度の計算の処理により、スクロール速度が変更される度に、モニタ34の表示状態は変化する。本実施形態において、60点以下は、表示期間は変化しない。
(変形例1)
採点情報の初期化の処理(S121)は、ユーザが以前に演奏した楽曲の演奏履歴から採点情報を抽出し、その点数を採点情報としてHDD103に記憶してもよい。履歴で初期化を行うことにより、ユーザの演奏レベルに応じたコード画像の表示を演奏開始から提供することができる。
例えば、演奏履歴に基づく初期値としては、演奏履歴の評価の平均値、最高値、もしくは最低値などが考えられる。
本実施形態のコード画像を表示する処理(S133)において、運指画像M33の表示個数を3つに制限して表示を行ったが、3つでなくてもよい。コード画像は、表示期間が変えられる毎に表示個数を変える。例えば、運指画像M33の最大表示個数は、運指表示領域V13の縦方向の画素数と、運指画像M33のあらかじめ定められている縦方向の画素数とを比較して、重ねることなく表示できる最大数を算出して、最大表示個数と定めればよい。
本実施形態において強調表示を行う場合、投稿コード情報と、お手本コード情報とを比較し、一致していない場合を強調表示としたが、一致している場合を強調表示としてもよい。また、背景色を青色にすることで通常の白色に比べてユーザに対して強調して表示を行ったが、様々な色を用いてもよい。強調して表示することを目的とするため、コード画像の背景の色を変えるだけでなく、コード画像を点滅表示すること、コード画像の縁取りを行うこと、コード画像の文字を太字にすること、もしくはコード画像を変形すること、のいずれか、またはその組み合わせによる強調を行ってもよい。
画像情報、および伴奏情報の再生処理(S122)は、投稿情報に含まれる演奏速度情報、およびキー情報に基づいて、演奏テンポ、および調性を投稿情報に合わせて再生してもよい。
採点情報の算出(S135)の処理方法としては、演奏タイミングおよびコード記号の情報だけでなく、スタッカートなどの演奏技法の情報を含めて採点情報が算出されてもよい。本実施形態においては、演奏コード情報、および投稿コード情報のうち、演奏タイミング、ならびにコード記号の一致度が算出され、その一致度から採点情報が算出された。しかし、採点情報の算出方法として、演奏音から抽出されたギターコードだけでなく、演奏技法に応じた採点、または加点を行ってもよい。演奏技法を採点の項目に加えることで、採点情報は、演奏レベルを詳細に評価したものとなる。これを実現するために、投稿情報から演奏技法が抽出され、投稿コード情報に記憶される。さらに、コード画像から演奏技法が抽出され、演奏コード情報に記憶される。演奏レベルをより詳細に評価することで、より正しいユーザの演奏レベルに応じた表示形態を実現することができる。
本実施形態では、コード記号表示領域V11は、演奏レベルの低い人の場合、図9Cに示すように5つのコード記号画像M31をコード記号「F#m」の演奏タイミングに先行して表示することができる水平軸方向の大きさを有するが、その表示個数は限定されない。演奏レベルの高い人、演奏レベルが標準な人、演奏レベルの低い人の順に、表示個数が多くなればよく、コード記号表示領域V11は、この表示個数のコード記号画像を表示できる大きさであればよい。また、運指表示領域V13の垂直方向の大きさも、コード記号表示領域V11の大きさと同様に定めることができる。
本実施形態において、音情報はMIDI形式の情報であるとしたが、生音(たとえば、PCM、またはMPEGオーディオなどの情報)であっても、以下の手順で投稿コード情報を抽出することができる。あらかじめ、演奏音の音量レベルの閾値を決め、閾値以上の演奏音の音量レベルを検出した場合には、演奏を行ったとして投稿コード情報の演奏タイミングが決まる。投稿コード情報の演奏タイミングから、演奏音のレベルが閾値以下になるまでを演奏期間として、演奏期間において周知の周波数解析を行い、投稿コード情報の演奏タイミングでの周波数成分が特定される。さらに、特定された周波数成分に対応するギターコードのコード記号が特定される。特定されたコード記号、および投稿コード情報の演奏タイミングが対応付けられ、投稿コード情報としてHDD103に記憶される。上記手順は、制御部100が実行するプログラムとして、ROM101に記憶されており、制御部100が、上記手順を実行することにより、生音の音情報から、投稿コード情報を抽出することができる。
演奏時間t1において音情報の電圧レベルが閾値を超えるので、投稿コード情報の演奏タイミングはt1と決められる。演奏タイミングt1から閾値を下回るまでの期間を演奏期間として、演奏タイミングt1において周波数解析を行う。周波数解析は、一例として高速フーリエ変換を用いて周波数成分を特定する。特定された周波数成分により、和音が特定され、和音からギターコードを示すコード記号「C#m」が特定される。演奏タイミングt1は、コード記号「C#m」と対応付けられて、投稿コード情報として保存される。以下同様に、t2、t6の演奏タイミングにおいてもギターコードが特定される。t1、t2、およびt6は図3における投稿コード情報の演奏タイミング、「6487(mS)」、「18318(mS)」、および「25923(mS)」に相当する。
本実施形態に記載の構成と、特許請求の範囲に記載の構成との対応関係は次の通りである。モニタ34が、表示手段の一例である。制御部100が、実行する処理のうちステップS132とステップS133とが表示制御手段の一例、ステップS135が評価手段の一例、ステップS201が抽出手段の一例、およびステップS204とステップS205とが生成手段の一例である。HDD103が、記憶手段の一例である。音響インターフェイス111が、入力手段の一例である。音響制御部112が、再生手段の一例である。音情報が、録音情報の一例である。楽曲識別情報が、識別情報の一例である。投稿情報が、演奏情報の一例である。投稿コード情報が、コード情報の一例である。コード記号画像M31、または運指画像M33が、コード画像の一例である。伴奏情報が、伴奏音の一例である。演奏音が、ユーザの演奏音の一例である。コード記号表示領域V11、および運指表示領域V13が所定領域の一例である。ステップS135により算出された採点情報が、評価結果の一例である。
Claims (4)
- 楽器により楽曲を演奏した演奏音を録音した録音情報と、前記楽曲の識別情報と、を含む演奏情報を記憶する記憶手段と、
前記録音情報より演奏コード、および演奏タイミングを含むコード情報を抽出する抽出手段と、
前記コード情報に従ってコード画像を生成する生成手段と、
前記識別情報に対応する楽曲の伴奏音を再生する再生手段と、
前記コード画像を表示する所定領域を備える表示手段と、
ユーザが楽器により楽曲を演奏したユーザ演奏音を外部から入力する入力手段と、
前記演奏音と前記ユーザ演奏音とを比較して評価を行う評価手段と、
前記伴奏音の再生テンポに同期して前記コード画像を前記所定領域に表示し、前記所定領域内に前記コード画像を表示する表示期間を前記評価手段の評価結果に基づいて変更する表示制御手段と、
を備え、
前記表示制御手段は、
前記評価手段の評価が高い場合、前記コード画像の表示期間を短縮し、
前記評価手段の評価が低い場合、前記コード画像の表示期間を延長する
ことを特徴とするコード画像表示装置。 - 前記評価手段は、
演奏開始前にユーザの演奏履歴から以前に演奏したときの評価結果を抽出し、
抽出された前記演奏履歴に基づく評価結果を前記評価結果の初期値と設定し、前記表示制御手段は、前記所定領域内に前記コード画像を表示する表示期間を前記評価手段の評価結果に基づいて変更する
ことを特徴とする請求項1に記載のコード画像表示装置。 - 前記楽曲にあらかじめ対応付けられたお手本コード情報と前記コード情報とを比較する比較手段を有し、
前記表示制御手段は、
前記比較手段の比較結果に基づいてお手本コード情報とコード情報とが異なるコード情報を表すコード画像の表示を強調する
ことを特徴とする請求項1または請求項2のいずれかに記載のコード画像表示装置。 - 楽器により楽曲を演奏した演奏音を録音した録音情報と、楽曲の識別情報と、を含むコード画像を記憶する記憶手段と、画像を表示する表示手段と、を備えるコード画像表示装置のコンピュータに、
前記録音情報より演奏コード、および演奏タイミングを含むコード情報を抽出する抽出ステップと、
前記コード情報に従って、コード画像を生成する生成ステップと、
前記識別情報に対応する楽曲の伴奏音を再生する再生ステップと、
ユーザが楽器により楽曲を演奏したユーザ演奏音を外部から入力する入力ステップと、
前記演奏音と前記ユーザ演奏音とを比較して評価を行う評価ステップと、
前記伴奏音の再生テンポに同期して前記コード画像を所定領域に表示し、前記所定領域に前記コード画像を表示する表示期間を前記評価ステップの評価結果に基づいて変更する表示制御ステップと、
を実行させ、
前記表示制御ステップでは、
前記評価ステップにおける評価が高い場合、前記コード画像の表示期間を短縮し、
前記評価ステップにおける評価が低い場合、前記コード画像の表示期間を延長する
ことを特徴とするコード画像表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014030337A JP6287313B2 (ja) | 2014-02-20 | 2014-02-20 | コード画像表示装置、およびコード画像表示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014030337A JP6287313B2 (ja) | 2014-02-20 | 2014-02-20 | コード画像表示装置、およびコード画像表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015155945A JP2015155945A (ja) | 2015-08-27 |
JP6287313B2 true JP6287313B2 (ja) | 2018-03-07 |
Family
ID=54775290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014030337A Active JP6287313B2 (ja) | 2014-02-20 | 2014-02-20 | コード画像表示装置、およびコード画像表示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6287313B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007111436A (ja) * | 2005-10-24 | 2007-05-10 | Aruze Corp | 音楽演出ゲーム装置 |
JP2009047861A (ja) * | 2007-08-17 | 2009-03-05 | Sony Corp | 演奏支援装置、演奏支援方法及びプログラム |
JP5597863B2 (ja) * | 2008-10-08 | 2014-10-01 | 株式会社バンダイナムコゲームス | プログラム、ゲームシステム |
JP4934180B2 (ja) * | 2009-09-24 | 2012-05-16 | 株式会社エクシング | 撥弦楽器演奏評価装置 |
JP5569543B2 (ja) * | 2012-01-31 | 2014-08-13 | ブラザー工業株式会社 | ギターコード表示装置及びプログラム |
-
2014
- 2014-02-20 JP JP2014030337A patent/JP6287313B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015155945A (ja) | 2015-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101521451B1 (ko) | 표시 제어 장치 및 방법 | |
JP5151245B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2008040259A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP6065871B2 (ja) | 演奏情報表示装置、および演奏情報表示プログラム | |
JP6065703B2 (ja) | 基準データ作成システム、及び演奏端末装置 | |
WO2016017622A1 (ja) | リファレンス表示装置、リファレンス表示方法およびプログラム | |
JP6287313B2 (ja) | コード画像表示装置、およびコード画像表示プログラム | |
JP5884992B2 (ja) | 楽音演奏装置及び楽音演奏処理プログラム | |
JP5569543B2 (ja) | ギターコード表示装置及びプログラム | |
JP2020109918A (ja) | 映像制御システム、及び映像制御方法 | |
JP5387642B2 (ja) | 歌詞テロップ表示装置及びプログラム | |
JP4595948B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2009014923A (ja) | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム | |
JP5708730B2 (ja) | 楽音演奏装置及び楽音演奏処理プログラム | |
JP4595947B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
KR101790998B1 (ko) | 악보전환방법 및 악보전환장치 | |
JP5637169B2 (ja) | カラオケ装置及びプログラム | |
JP4470947B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2016194622A (ja) | カラオケ装置及びカラオケ用プログラム | |
JP6186255B2 (ja) | 手話の採点に特徴を有するカラオケ装置 | |
JP5888295B2 (ja) | 演奏情報表示装置、プログラム | |
JP5847049B2 (ja) | 楽器音出力装置 | |
WO2016017623A1 (ja) | リファレンス表示装置、リファレンス表示方法およびプログラム | |
JP4173475B2 (ja) | 歌詞表示方法および装置 | |
JP6065827B2 (ja) | 楽音演奏装置及び楽音演奏処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6287313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |