JP2014153523A - Musical chord chart generation device - Google Patents
Musical chord chart generation device Download PDFInfo
- Publication number
- JP2014153523A JP2014153523A JP2013022962A JP2013022962A JP2014153523A JP 2014153523 A JP2014153523 A JP 2014153523A JP 2013022962 A JP2013022962 A JP 2013022962A JP 2013022962 A JP2013022962 A JP 2013022962A JP 2014153523 A JP2014153523 A JP 2014153523A
- Authority
- JP
- Japan
- Prior art keywords
- data
- chord
- music
- fingering
- fingering position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、楽器を演奏するためのコード譜を生成する楽曲コード譜生成装置に関する。 The present invention relates to a music chord score generation apparatus for generating a chord score for playing a musical instrument.
例えば、ギターやベースギター等の楽器用の楽譜として、各弦における運指位置を表すコード譜が広く普及している。このコード譜を作成するための技術として、例えば特許文献1に記載の技術が既に知られている。この従来技術では、ギターの演奏者が楽曲を演奏するとき、当該楽曲の複数のコードそれぞれに対する演奏者の運指が接触検出方式のセンサによって検出され、その検出結果に基づき当該楽曲のコード譜データが生成される。
For example, chord scores representing fingering positions on each string are widely used as musical scores for musical instruments such as guitars and bass guitars. As a technique for creating this chord score, for example, the technique described in
上記従来技術では、演奏者の運指位置が接触検出方式によって検出されるが、例えば検出効率や検出精度の向上を目的として、カメラにより演奏者の運指位置を撮影することで非接触により検出することが考えられる。 In the above prior art, the player's fingering position is detected by the contact detection method. For example, for the purpose of improving detection efficiency and detection accuracy, the player's fingering position is detected by non-contact by photographing the player's fingering position. It is possible to do.
しかしながら、上記の場合、弦楽器では、一般に、演奏者は手のひらを内側にして抱え込むようにして運指を行うことから、撮影は手の甲側から行うこととなる。この場合、互いに異なるコードであっても運指の違いがわずかな場合には、その違いが撮影画像ではわかりにくい。この結果、そのままでは、演奏者が運指を行った実際のコードと、撮影された上記画像データに基づき算出されたコードとが、異なる可能性があり、不正確なコード譜が生成されるおそれがある。 However, in the above case, in the case of a stringed instrument, generally, the performer performs fingering while holding the palm with the palm inward, so that shooting is performed from the back side of the hand. In this case, even if the codes are different from each other, if the difference in fingering is slight, the difference is difficult to understand in the captured image. As a result, the actual chord performed by the performer may be different from the chord calculated based on the captured image data, and an incorrect chord score may be generated. There is.
本発明の目的は、楽器を演奏する運指の検出に基づく正確なコード譜を生成できる、楽曲コード譜生成装置を提供することにある。 An object of the present invention is to provide a music chord score generation apparatus capable of generating an accurate chord score based on detection of fingering playing a musical instrument.
上記目的を達成するために、第1の発明は、複数のコードの進行からなるコード情報が対応づけられた楽曲データを記憶する記憶手段と、前記記憶手段に記憶された前記楽曲データを読み出して、対応する前記コード情報の前記複数のコードの進行を表示するコード表示手段と、前記コード表示手段で表示される各コードごとに、所定の弦楽器における当該コードに対応した複数の運指位置候補データを生成する運指候補データ生成手段と、前記コード表示手段での前記コードの表示に対応した、楽器操作者による前記弦楽器への運指を撮影し、対応する画像データを生成する撮影手段と、前記撮影手段により生成された前記画像データに基づいて、各コードごとに、前記運指候補データ生成手段が生成した前記複数の運指位置候補データのうち、前記楽器操作者による実際の運指位置に対応した実運指位置データを特定する運指位置特定手段と、前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、前記楽曲データの前記弦楽器に係わるコード譜データを生成するコード譜データ生成手段と、を有することを特徴とする。 To achieve the above object, according to a first aspect of the present invention, there is provided storage means for storing music data associated with chord information comprising a plurality of chord progressions, and reading the music data stored in the storage means. Chord display means for displaying the progression of the plurality of chords of the corresponding chord information, and for each chord displayed by the chord display means, a plurality of fingering position candidate data corresponding to the chord in a predetermined stringed instrument A fingering candidate data generating unit for generating a finger, a photographing unit for photographing a fingering to the stringed instrument by a musical instrument operator corresponding to the display of the chord on the chord display unit, and generating corresponding image data; Based on the image data generated by the photographing unit, for each code, the plurality of fingering position candidate data generated by the fingering candidate data generation unit That is, the fingering position specifying means specifies the fingering position specifying means for specifying actual fingering position data corresponding to the actual fingering position by the instrument operator, and the fingering position specifying means for each of the plurality of codes of the code information. And chord data generation means for generating chord data related to the stringed musical instrument of the music data by associating the actual fingering position data.
本願発明においては、撮影画像を用いて楽曲のコード譜データが生成される。すなわち、弦楽器の運指の位置は各コードごとに異なり、各コードごとに楽器操作者の手の姿勢や形状が異なる。これを利用して、本願発明では、楽曲の複数のコードそれぞれに対する楽器操作者の運指が、撮影手段によって撮影され、対応する画像データが生成される。 In the present invention, the chord score data of the music is generated using the photographed image. That is, the fingering position of the stringed musical instrument is different for each chord, and the posture and shape of the instrument operator's hand are different for each chord. Using this, in the present invention, the fingering of the musical instrument operator for each of the plurality of chords of the music is photographed by the photographing means, and corresponding image data is generated.
そして、本願発明では、上記画像データと、楽曲のコード進行を表すコード情報との両方が用いられる。すなわち、楽曲データに、あらかじめコード情報が対応づけられて、記憶手段に記憶されている。記憶手段から楽曲データが読み出されると、対応するコード情報の複数のコードの進行がコード表示手段によって表示される。操作者は、上記表示されるコードに対応して運指を行うことで、対応する上記画像データが上記撮影手段によって生成される。 And in this invention, both the said image data and the chord information showing the chord progression of a music are used. That is, chord information is associated with music data in advance and stored in the storage means. When the music data is read from the storage means, the progress of a plurality of chords of the corresponding chord information is displayed by the chord display means. The operator performs fingering in response to the displayed code, so that the corresponding image data is generated by the imaging unit.
一方このとき、運指候補データ生成手段が、各コードごとに、当該コードに対応した複数の運指位置候補データを生成する。そして、運指位置特定手段が、上記画像データを用いて、上記複数の運指位置候補データのうち実際の運指位置に対応したデータ(実運指位置データ)がどれであるかを、各コードごとに特定する。特定された実運指位置データはコード譜データ生成手段によってコード情報の各コードに対応づけられ、これによってコード譜データが生成される。 On the other hand, at this time, the fingering candidate data generating means generates a plurality of fingering position candidate data corresponding to the code for each code. Then, the fingering position specifying means uses the image data to determine which data (actual fingering position data) corresponds to the actual fingering position among the plurality of fingering position candidate data. Identify by code. The identified actual fingering position data is associated with each chord of the chord information by the chord score data generating means, thereby generating chord score data.
以上のようにして、本願発明では、各コードについて生成した複数の運指位置候補データを、画像データを用いて絞り込むことによって、コード譜データを生成する。これにより、単に画像データのみからコード譜データを生成する場合に比べ、精度よく正確なコード譜を作成することができる。 As described above, in the present invention, chord score data is generated by narrowing down a plurality of fingering position candidate data generated for each chord using image data. This makes it possible to create an accurate chord score with higher accuracy than when chord score data is generated only from image data.
第2の発明は、上記第1発明において、前記運指位置特定手段は、前記画像データ中に現れている前記楽器操作者の指先位置、又は、前記画像データより推測される前記楽器操作者の指先位置、を用いて、前記実運指位置データを特定することを特徴とする。 In a second aspect based on the first aspect, the fingering position specifying means is a position of the fingertip of the musical instrument operator appearing in the image data or the musical instrument operator estimated from the image data. The actual fingering position data is specified using a fingertip position.
前述したように、弦楽器の運指の位置は各コードごとに異なる。特に、楽器操作者の指先の位置は各コードごとに必ず異なる。そこで、本願発明では、運指位置特定手段が、画像データ中に現れている楽器操作者の指先位置(あるいは、画像データより推測される楽器操作者の指先位置)を用いて、実運指位置データを特定する。これにより、確実に実際の運指位置を特定することができる。 As described above, the fingering position of the stringed instrument is different for each chord. In particular, the position of the fingertip of the instrument operator is always different for each chord. Therefore, in the present invention, the fingering position specifying means uses the fingertip position of the musical instrument operator appearing in the image data (or the fingertip position of the musical instrument operator estimated from the image data), and the actual fingering position. Identify the data. Thereby, an actual fingering position can be specified reliably.
第3発明は、上記第1又は第2発明において、前記運指候補データ生成手段は、各コードの和音を構成する複数の音をそれぞれ発音するための、前記複数の運指位置候補データを生成することを特徴とする。 According to a third invention, in the first or second invention, the fingering candidate data generation means generates the plurality of fingering position candidate data for respectively sounding a plurality of sounds constituting a chord of each chord. It is characterized by doing.
本願発明では、実運指位置データを特定するのに用いる運指候補データが、各コードの和音を構成する複数の音を考慮して作成される。例えば、複数の音それぞれごとに作成してもよいし、各音階ごとに作成してもよい。これにより、運指位置特定手段において、高精度に実際の運指位置を特定することができる。 In the present invention, fingering candidate data used for specifying actual fingering position data is created in consideration of a plurality of sounds constituting the chord of each chord. For example, it may be created for each of a plurality of sounds, or may be created for each scale. Thereby, in the fingering position specifying means, the actual fingering position can be specified with high accuracy.
第4発明は、上記第1乃至第3発明のいずれかにおいて、前記楽曲データとして、前記弦楽器の演奏パートを含むカラオケ楽曲データを前記記憶手段から読み出して再生する、カラオケ楽曲再生手段を有し、前記コード表示手段は、前記カラオケ楽曲再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報の前記複数のコードの進行を表示し、前記コード譜データ生成手段は、前記カラオケ楽曲データに対応づけられた前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、当該カラオケ楽曲データの前記弦楽器演奏パートの前記コード譜データを生成し、前記カラオケ曲再生手段が、当該カラオケ楽曲データを次回再生するときに、前記カラオケ楽曲データの再生に応じて、前記生成したコード譜を、前記コード表示手段に表示することを特徴とする。 4th invention has a karaoke music reproduction | regeneration means which reads and reproduce | regenerates the karaoke music data containing the performance part of the said stringed instrument as said music data in any one of the said 1st thru | or 3rd invention, The chord display means displays the progression of the plurality of chords of the corresponding chord information according to the reproduction of the karaoke music data by the karaoke music reproduction means, and the chord data generation means The chord score of the stringed instrument performance part of the karaoke music data is obtained by associating the actual fingering position data specified by the fingering position specifying means with respect to each of the plurality of chords of the chord information associated with the data. Data is generated, and when the karaoke song reproduction means reproduces the karaoke song data next time, In accordance with the reproduction of the serial karaoke song data, a code Notation the generated, and displaying on the code display unit.
本願発明では、カラオケ楽曲データが記憶手段から読み出され、カラオケ楽曲再生手段によって再生される。そのカラオケ楽曲データの再生とともに、コード表示手段が、当該カラオケ楽曲に係わる複数のコードの進行を表示する。この表示に対応した操作者の運指により、対応する画像データが撮影手段によって生成される。生成された画像データを用いて、運指位置特定手段により複数の運指位置候補データが絞り込まれて、実運指位置データが特定される。特定された実運指位置データはコード譜データ生成手段によってカラオケ楽曲データのコード情報の各コードに対応づけられ、コード譜データが生成される。 In the present invention, karaoke song data is read from the storage means and reproduced by the karaoke song reproducing means. Along with the reproduction of the karaoke song data, the chord display means displays the progress of a plurality of chords related to the karaoke song data. Corresponding image data is generated by the photographing means by the fingering of the operator corresponding to this display. Using the generated image data, the fingering position specifying means narrows down a plurality of fingering position candidate data, and the actual fingering position data is specified. The identified actual fingering position data is associated with each code of the chord information of the karaoke music data by the chord data generating means, and chord data is generated.
これにより、カラオケ楽曲データの再生に合わせて、楽器操作者が各コードの運指を行うことで、当該カラオケ楽曲のコード譜を容易に作成することができる。また、次回当該カラオケ楽曲が再生される際、その作成されたコード譜を見ながら演奏することで、例えば一般ユーザが容易にギター演奏を行うことができる。 Thereby, the musical score operator can easily create a chord score of the karaoke music piece by fingering each chord in accordance with the reproduction of the karaoke music piece data. Further, when the karaoke music piece is reproduced next time, for example, a general user can easily perform a guitar performance by playing while watching the generated chord score.
本発明によれば、楽器を演奏する運指の検出に基づく正確なコード譜を生成することができる。 ADVANTAGE OF THE INVENTION According to this invention, the exact chord score based on the detection of the fingering which plays a musical instrument can be produced | generated.
以下、本発明をカラオケ装置に適用した一実施の形態について、図面を参照しつつ説明する。本実施形態では、利用者がカラオケ装置の演奏と共に主として自らエレキギターを演奏する場合を説明する。 Hereinafter, an embodiment in which the present invention is applied to a karaoke apparatus will be described with reference to the drawings. This embodiment demonstrates the case where a user mainly plays an electric guitar himself with the performance of a karaoke apparatus.
<主要構成>
図1は、本実施形態に係わるカラオケ装置の主要構成を示す説明図である。図1に示すように、カラオケ装置10には、歌詞を示す歌詞テロップ、歌詞テロップの背景に表示する背景映像、選曲番号を示す映像などをCRTに表示するモニタテレビ(以下、モニタと略称する)13(コード表示手段に相当)と、小型のモニタ14(コード表示手段に相当)と、エレキギター4やエレキベースなどの弦楽器を含む各種電子楽器を接続するための楽器接続ボード8と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲(カラオケ楽曲。以下、適宜「曲」と略称する)の選曲、及び曲の再生の予約などの選曲制御、選曲された曲の送信要求を示すリクエスト信号のサーバへの送信、及びリクエスト信号により示される曲に対応する楽曲データ(カラオケ楽曲データに相当)の受信などの通信制御、受信された楽曲データに含まれる楽音種類指定情報たるMIDIデータのうち楽器接続ボード8に接続された楽器と同じ種類の楽器の音源を指定する等の制御装置20と、が備えられている。
<Main configuration>
FIG. 1 is an explanatory diagram showing the main configuration of the karaoke apparatus according to the present embodiment. As shown in FIG. 1, the
さらに、カラオケ装置10には、この例では、楽器接続ボード8から入力される楽器の演奏信号、マイクロフォン17,18から入力される音声信号及び曲の再生信号のミキシングを行うミキシング回路9を備え、音声と曲との音量バランス、エコー調整、デレィ調整、ミキシング信号の増幅、再生される曲の音程制御(キーコントロール)、高音、低音の制御(トーンコントロール)などを行うアンプ16と、このアンプ16から出力される増幅信号を音として再生するフロアータイプの1組のスピーカ11,11と、天井吊下げ用の1組のスピーカ12,12と、制御装置20を遠隔操作するリモコン30と、カメラ25(詳細は後述)と、が備えられている。
Further, in this example, the
楽器接続ボード8は、図示を省略するが、上記エレキギター4や図示しない電子ドラム、キーボード、エレキベース等の出力端子(フォンプラグ)を接続するそれぞれの入力端子(フォンジャック)と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード8は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたこと及びその楽器の種類を自動検出するとともに、接続された楽器の1つの演奏信号を選択し、その選択された演奏信号を制御装置20の入力端子44(後述の図2参照)へ出力可能である。例えばエレキギター4から出力される演奏信号は、エレキギター4のフォンプラグを接続するフォンジャック4a(後述の図2参照)を介して楽器接続ボード8へ入力され、楽器接続ボード8の出力端子から出力される演奏信号は、制御装置20の入力端子44へ入力される。
Although not shown, the musical
<制御系>
上記制御装置20の制御系の構成について図2を参照して説明する。図2は、制御装置20の制御系の主要構成を示す機能ブロック図である。制御装置20は、装置筺体にLAN回線15を接続する通信端子40と、楽器接続ボード8の出力端子と接続される入力端子44と、アンプ16の音声入力端子と接続される音声出力端子41と、モニタ13の映像入力端子と接続される映像出力端子42と、モニタ14の映像入力端子と接続される映像出力端子43とを備えている。この制御装置20には、制御プログラムにしたがって各種制御を実行するCPU45が設けられている。CPU45には、リモコン30から送信されるデータ、選曲された曲の選曲番号を示す選曲番号データ、予約された曲の選曲番号データなどを一時保存するためのRAM46と、CPU45により実行されるプログラム及び必要なデータテーブルなどが記憶されたROM47とが接続されている。
<Control system>
The configuration of the control system of the
また、CPU45には、モニタ13,14に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオRAM48と、サーバ58から送信される楽曲データやコード譜情報(詳細は後述)、歌詞データ、及び映像データを通信端子40を介して受信するためのLANボード50と、このLANボード50により受信される楽曲データ及び歌詞データ等を一時保存するためのRAM49(記憶手段に相当)とが接続されている。
Further, the
さらに、CPU45には、RAM49から読み出された曲データに含まれるMIDIデータを入力するとともに、その入力されたMIDIデータにより指定される音源から音源信号を出力するMIDI音源ボード51が接続されている。また、CPU45には、上記出力された音源信号を入力してアンプ16により増幅可能な信号に変換する音声制御回路52と、一般的な背景映像を示す背景映像データを読み出すCD−ROMプレーヤ53とが接続されている。
Further, the
また、CPU45には、CD−ROMプレーヤ53から読み出された一般的な背景映像データ、及びRAM49から読み出された曲固有の背景データや曲データに含まれる歌詞テロップデータ等を入力し、モニタ13,14の表示画面に表示される背景映像中に歌詞テロップがスーパーインポーズされた映像を作成したり、曲の進行にしたがって歌詞テロップの色を変えたりする映像制御を行う映像制御回路54が接続されている。
The
さらに、CPU45には、制御装置20の受光部38により受光されたリモコン30からの光信号をデジタル信号に変換する変換回路55と、制御装置20の筺体に設けられた各種ボタン、キー39(テンキー、選曲ボタン等)を押したときに点灯するLED37へ表示信号を出力する表示回路56と、上記各種ボタン、キー39を押したときに発生するスイッチング信号を入力する入力回路57とが接続されている。
Further, the
以上の基本構成のカラオケ装置10において、利用者がリモコン30により例えばエレキギター4の演奏パートを含むカラオケ楽曲を選曲し、選曲に対応してサーバ58から送信された楽曲データを受信すると、楽曲データが演奏される。そのエレキギター4の演奏パートを含む楽曲データの演奏に合わせて利用者がエレキギター4を演奏すると、エレキギター4から出力される演奏信号は、楽器接続ボード8を介して制御装置20の入力端子44へ入力される。そして、音声制御回路52において、音源信号が音声出力端子41へ出力される。なお、いわゆるマイナスワン再生状態の場合には、音源信号のエレキギター4の楽曲パート一部をエレキギター4の演奏信号と置き置き換えて出力される。
In the
このとき、このカラオケ装置10では、サーバ58より歌詞データや映像データとともに受信した当該エレキギター4のギター演奏パートを含む楽曲データに対し、予め演奏支援用にコード譜情報が作成(詳細は後述)されて対応付けられており、当該楽曲データの再生時にはモニタ13,14によってコード譜情報が歌詞データや映像データと共に表示される。これにより、演奏者である利用者は、モニタ13,14に表示されるコード譜情報を活用することで、再生されるカラオケ楽曲に合わせてエレキギター4の演奏パートを自ら容易に演奏して、当該エレキギター4の練習を行ったり、カラオケ楽曲全体のアンサンブルを楽しむことができる。
At this time, in this
<コード譜情報を含むデータ構造>
図3は、本実施形態における、サーバ58より受信した楽曲データを含む受信データのデータ構造を示す説明図である。図3に示す例では、サーバから受信されるデータの、カラオケ楽曲の4小節分を示している。受信データは、4小節分の演奏の進行に対応した複数の楽器演奏パート(この例では、ギターパート(エレキギター4に対応)、ベースパート、ドラムパート)の楽曲データと、コード名を表すコード情報と、そのコードを演奏するための例えばギター用の運指を示すコード譜情報と、歌詞データ(歌詞テロップデータ)と、映像データと、を備えている。
<Data structure including chord score information>
FIG. 3 is an explanatory diagram showing a data structure of received data including music data received from the server 58 in the present embodiment. In the example shown in FIG. 3, four bars of karaoke music pieces of data received from the server are shown. The received data includes music data of a plurality of instrument performance parts (in this example, a guitar part (corresponding to the electric guitar 4), a bass part, and a drum part) corresponding to the progress of the performance of four bars, and a chord representing a chord name. Information, chord score information indicating fingering for, for example, a guitar for playing the chord, lyric data (lyric telop data), and video data.
楽曲データは、歌詞データ及び映像データとともに、図3に示すデータ中の1番目の小節(以下、単に「第1小節」等という)から再生され、時間の経過に従って第2小節、第3小節、第4小節へと再生が進行して行く。またその再生に対応して、歌詞データ及び映像データに基づく表示も進行していく。 The music data is reproduced from the first bar (hereinafter simply referred to as “first bar” or the like) in the data shown in FIG. 3 together with the lyrics data and the video data, and the second bar, the third bar, Playback proceeds to the fourth measure. Corresponding to the reproduction, display based on the lyrics data and the video data also proceeds.
コード情報及びコード譜情報は、楽曲データに対応付けられており、この例では、図中の第1小節がコードEm、第2小節がコードBm、第3小節がコードC、第4小節がコードBmとなっている。 The chord information and the chord score information are associated with music data. In this example, the first bar in the figure is chord Em, the second bar is chord Bm, the third bar is chord C, and the fourth bar is chord. Bm.
<コード情報及びコード譜情報の表示例>
図4は、楽曲データの再生時にモニタ13,14に表示される表示内容の一例を示す説明図である。この例では、上記図3に示した4小節分の楽曲データに対応した表示の例を示している。すなわち、この例では、モニタ13,14において、上記4小節分の歌詞「あの言葉さえ言わなければ」と、歌詞の下側に添えられた上記4小節分のコード情報(第1小節:Em、第2小節:Bm、第3小節:C、第4小節:Bm)と、が表示されている。
<Display example of chord information and chord information>
FIG. 4 is an explanatory diagram showing an example of display contents displayed on the
また、上記コード情報の下側には、当該コード情報の表すコードをギターにより演奏する場合の運指の一例を表す、コード譜情報が表示されている。この例では、第1小節のコードEmに対する運指としては、1弦では0フレット(開放弦としてフレットを押さえないこと。以下同様)、2弦では0フレット、3弦では0フレット、4弦では2フレット、5弦では2フレット、6弦では0フレット、が指定されている。 Further, below the chord information, chord information representing an example of fingering when the chord represented by the chord information is played with a guitar is displayed. In this example, the fingering for the chord Em in the first bar is 0 fret for the 1st string (do not hold the fret as an open string, the same applies below), the 0th fret for the 2nd string, the 0th fret for the 3rd string, The 2nd fret, the 2nd fret for the 5th string, and the 0th fret for the 6th string are designated.
また、第2小節のコードBmに対する運指としては、1弦では2フレット、2弦では3フレット、3弦では4フレット、4弦では4フレット、5弦では2フレット、6弦では2フレット、が指定されている。 The fingering for chord Bm in the second bar is 2 frets for 1 string, 3 frets for 2 strings, 4 frets for 4 strings, 4 frets for 4 strings, 2 frets for 5 strings, 2 frets for 6 strings, Is specified.
また、第3小節のコードCに対する運指としては、1弦では0フレット、2弦では1フレット、3弦では0フレット、4弦では2フレット、5弦では3フレット、6弦では0フレット、が指定されている。 The fingering for chord C in the third measure is 0 fret for 1st string, 1st fret for 2nd string, 0th fret for 3rd string, 2nd fret for 4th string, 3rd fret for 5th string, 0th fret for 6th string, Is specified.
また、第4小節のコードBmに対する運指としては、上記第2小節と同様、1弦では2フレット、2弦では3フレット、3弦では4フレット、4弦では4フレット、5弦では2フレット、6弦では2フレット、が指定されている。 The fingering for the chord Bm of the 4th bar is the same as the 2nd bar, 2 frets for 1 string, 3 frets for 2 strings, 4 frets for 3 strings, 4 frets for 4 strings, 2 frets for 5 strings In the 6th string, 2 frets are specified.
エレキギター4の利用者は、楽曲データの再生時、上記のようにしてモニタ13,14に表示される上記コード譜を見て、コード進行順にエレキギター4のコードを押さえることで、カラオケ楽曲のエレキギターパートを容易に弾くことができる。
The user of the
<カラオケ楽曲再生時の基本処理>
上記のようにして利用者がカラオケ楽曲を再生しつつエレキギターを演奏するときに、カラオケ装置10のCPU45により実行される処理内容を、図5のフローチャートにより説明する。
<Basic processing when playing karaoke music>
Processing contents executed by the
図5において、このフローは、例えば上記利用者が、カラオケ装置10の制御装置20の電源ボタンを押して制御装置20の電源を立ち上げると、開始される。制御装置20の電源の立ち上がりに連動して、アンプ16、楽器接続ボード8及びモニタ13,14の電源が立ち上がる。なお、前述したように、この例では、利用者が、楽器接続ボード8にエレキギター4を接続して演奏する場合を例にとって説明する。利用者がエレキギター4のフォンプラグを楽器接続ボード8の入力端子(フォンジャック)4aに接続すると、楽器接続ボード8はエレキギター4が接続されたことを検知する。
In FIG. 5, this flow is started when, for example, the user presses the power button of the
図5において、まず、ステップS10において、CPU45は、利用者による選曲が終了したか否かを判定する。選曲は、例えば、利用者がエレキギター4を演奏したい曲の選曲番号をリモコン30のテンキーにより入力し、選曲ボタンを押すと、選曲が終了する。選曲が終了するまではステップS10の判定が満たされず(ステップS10:NO)、ループ待機する。選曲が終了した場合はステップS10の判定が満たされ(ステップS10:YES)、ステップS15に移る。
In FIG. 5, first, in step S10, the
ステップS15では、CPU45は、ステップS10での選曲結果に対応し、上記選曲番号を示す選曲番号データをRAM46に一時保存するとともに、LANボード50を介し、上記選曲番号に対応する曲データの送信を要求するリクエスト信号を、LAN回線15を介してサーバ58へ送信する。これにより、サーバ58は、図示しない記憶装置から、上記リクエスト信号に示される選曲番号に対応する楽曲データと、当該楽曲データに対応した、上記コード情報、上記コード譜情報、上記歌詞データ、及び上記映像データと、を検索して読み出し、その読み出された曲データ等を、LAN回線15を介して制御装置20に送信する。ステップS15が終了したら、ステップS20に移る。
In step S15, the
ステップS20では、CPU45は、LANボード50を介し、サーバ58からLAN回線15を介して送信された(上記コード情報及び上記コード譜情報を含む)楽曲データ等を受信する。その後、ステップS25に移る。
In step S20, the
ステップS25では、CPU45は、上記ステップS20で受信した楽曲データ等をRAM49に一時保存する。その後、ステップS30に移る。
In step S25, the
ステップS15,ステップS20、ステップS25の処理として、選曲番号に対応付けられた、楽曲データ、及び、コード譜情報等は選曲毎にサーバ58からオンデマンドで取得する場合の処理を行う。他に、カラオケ装置10の制御装置20に、大容量の補助記憶手段(図示せず)を設けて、予め、楽曲データ等を、補助記憶手段に記憶し、選曲毎に、選曲番号に対応付けられた情報群を補助記憶手段から読み出して、目的とする情報を取得する処理としてもよい。
As processing of step S15, step S20, and step S25, music data, code score information, and the like associated with the music selection number are processed on demand from the server 58 for each music selection. In addition, a large-capacity auxiliary storage means (not shown) is provided in the
ステップS30では、CPU45は、上記ステップS25でRAM49に記憶されているMIDIデータの読み出しを開始し、読み出されたMIDIデータをMIDI音源ボード51に書き込む。ステップS30が終了したら、ステップS35に移る。
In step S30, the
ステップS35では、CPU45は、MIDI音源ボード51に制御信号を出力し、上記ステップS30で書き込んだMIDIデータに対応した音源信号を、MIDI音源ボード51から出力させる。MIDI音源ボード51から出力される音源信号は、音声制御回路52へ出力されるとともに、アンプ16により増幅可能な音楽信号に変換され、この変換された音楽信号は、音声出力端子41からアンプ16へ出力される。また、マイクロフォン17,18から入力された音声信号は、アンプ16に内蔵されたミキシング回路9において上記音楽信号とミキシングされる。このとき、エレキギター4の出力端子から出力された演奏信号は、楽器接続ボード8及び制御装置20を介してミキシング回路9に入力され、上記音声信号及び音楽信号とミキシングされる。そして、そのミキシングされたミキシング信号は、アンプ16に内蔵された図示しない増幅回路により増幅された後にスピーカ11及びスピーカ12へ出力され、両スピーカによって再生される。なお、このステップS35の手順が各請求項記載のカラオケ楽曲再生手段として機能する。ステップS35が終了すると、ステップS40に移る。
In step S35, the
ステップS40では、CPU45は、モニタ13,14に制御信号を出力し、ステップS25で保存したコード情報、コード譜情報、及び歌詞等をモニタ13,14により表示させる。これにより、エレキギター4の演奏者である利用者は、モニタ13,14に表示されるコード情報及びコード譜にしたがってエレキギター4を演奏することにより、再生されるカラオケ楽曲のコード進行に合わせてエレキギター演奏パートを容易に演奏することができる。その後、ステップS80に移る。
In step S40, the
ステップS80では、CPU45は、楽曲データの再生が終了したか(言い換えれば、ステップS30でのMIDIデータの読み出しが楽曲データの最後のMIDIデータまで終了したか)否かを判定する。楽曲データの再生が終了していれば判定が満たされ(ステップS80:YES)、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず(ステップS80:NO)、上記ステップS30に戻り、上記ステップS30〜ステップS80の手順を繰り返す。
In step S80, the
<本実施形態の特徴>
以上において、本実施形態の特徴は、上記のようにして利用者によって利用されるコード譜情報を、(利用者の利用に供する前に事前に)新規に作成するための手法にある。以下、その詳細を順を追って説明する。
<Features of this embodiment>
As described above, the feature of the present embodiment lies in a method for newly creating chord score information used by the user as described above (before being used by the user). Hereinafter, the details will be described in order.
<カメラ撮影画像の活用>
すなわち、本実施形態においては、前述したカメラ25(撮影手段に相当)による撮影画像を用いて上記カラオケ楽曲のコード譜データが生成される。すなわち、上記エレキギター4等の弦楽器の運指の位置は各コードごとに異なり、各コードごとに楽器操作者の手の姿勢や形状が異なる。これを利用して、本実施形態では、カラオケ楽曲の複数のコードそれぞれに対する楽器操作者(上記利用者とは異なる、カラオケサービス提供の従事者又は当該従事者に委託され者。以下同様)の運指が、カメラ25によって撮影され、対応する画像データ(動画データでも静止画データでもよい)が生成される。
<Utilization of camera images>
That is, in the present embodiment, the chord score data of the karaoke music is generated using an image captured by the above-described camera 25 (corresponding to the imaging means). That is, the fingering position of the stringed instrument such as the
すなわち、このコード譜データの生成時には、当該楽曲データについては、上記図3に示したデータ構造のうち、少なくともコード譜情報が未作成の状態である。例えば、この状態で、楽曲データ、コード情報、歌詞データ、映像データが再生されて上記モニタ13,14にコード情報が表示される。上記楽器操作者が表示されたコード情報を見て、エレキギター4のネックのフレット上で当該コードを実際に押さえることで、その運指がカメラ25によって撮影される。なお、この際、楽器演奏者が必ずしも実際に演奏して発音する必要はなく、少なくとも外観上コードを押さえていれば足りる。また、楽曲データにおける楽器演奏パート(この例ではギターパート、ベースパート、ドラムパート)や上記歌詞データや映像データは(少なくともこの時点では)必ずしも必要なく、例えばモニタ13,14上に上記コード情報のみが表示されるようにしてもよい。また、カラオケ楽曲である必要もなく、歌唱用の楽曲ではない楽器演奏のみの楽曲であっても良い。
That is, at the time of generating the chord score data, at least the chord score information is not created in the data structure shown in FIG. For example, in this state, music data, chord information, lyrics data, and video data are reproduced and chord information is displayed on the
<画像データ生成>
図6(a)に示す例では、図4に示したカラオケ楽曲について、上記モニタ13,14にその第2小節のコード情報(コードBm)が表示され、これを見た楽器操作者が当該コードBmの運指を実演している状態を表している。この例では、図示のように、当該楽器操作者の運指により、2フレットの1弦から6弦にかけて人差し指が存在し(指先位置は6弦付近)、3フレットの1弦から2弦にかけて中指が存在し(指先位置は2弦付近)、4フレットの1弦から4弦にかけて薬指が存在し(指先位置は4弦付近)、4フレットの1弦から3弦にかけて小指が存在(指先位置は3弦付近)している。
<Image data generation>
In the example shown in FIG. 6 (a), the chord information (code Bm) of the second measure is displayed on the
そして、上記図6(a)に示した運指の姿がカメラ25で撮影されることで、図6(b)に示すように、対応する画像データが生成される。この例では、上記各指の姿を包含する指領域(図中の網掛け領域参照)データとして上記画像データが生成される。
Then, the image of the fingering shown in FIG. 6A is photographed by the
<誤検出の可能性>
しかしながら、上記エレキギター4等の弦楽器では、一般に、楽器操作者は手のひらを内側にして抱え込むようにして運指を行うことから、撮影は手の甲側から行うこととなる(図6(a)参照)。この場合、互いに異なるコードであっても運指の違いがわずかな場合には、その違いが撮影画像ではわかりにくい。この結果、上記画像データのみからコード譜を作成しようとすると、楽器操作者が運指を行った実際のコードと、撮影された上記画像データに基づき算出されたコードとが、異なる可能性があり、不正確なコード譜が生成されるおそれがある。
<Possibility of false detection>
However, in the stringed musical instrument such as the
<コード情報に基づく運指位置候補データの併用>
そこで本実施形態では、上記画像データとともに、前述したカラオケ楽曲のコード情報が活用される。すなわち、コード情報の表すコード進行に含まれる複数のコードそれぞれごとに、当該コードに対応した複数の運指位置候補データが生成される。そして、上記画像データを用いて、上記複数の運指位置候補データのうち実際の運指位置に対応したデータ(実運指位置データ)がどれであるかが、各コードごとに特定される。
<Combination of fingering position candidate data based on code information>
Therefore, in the present embodiment, the code information of the karaoke music described above is used together with the image data. That is, for each of a plurality of chords included in the chord progression represented by the chord information, a plurality of fingering position candidate data corresponding to the chord is generated. Then, using the image data, it is specified for each code which data (actual fingering position data) corresponds to the actual fingering position among the plurality of fingering position candidate data.
上記手法の具体例として、上記の例に沿い、コードBmの第2小節に係わる処理を図7により説明する。前述のようにして楽器操作者の実演により、図7(a)に示すような網掛け領域で表される画像データが生成される。このとき、この第2小節のコード情報(コードBm)に基づき、当該コードBmを構成する和音が「シ」「レ」「ファ#」の3つであることから、それぞれについての運指位置候補データが生成される。 As a specific example of the above technique, processing related to the second measure of the code Bm will be described with reference to FIG. As described above, the image data represented by the shaded area as shown in FIG. 7A is generated by the performance of the musical instrument operator. At this time, based on the chord information (code Bm) of the second measure, the chords constituting the chord Bm are “shi”, “le”, and “fa #”. Data is generated.
図7(b)には、上記「シ」を発音可能な運指位置候補データを表している。この例では、1弦の7フレット、2弦の0フレット、2弦の12フレット、3弦の4フレット、4弦の9フレット、5弦の2フレット、6弦の7フレット、の合計7つの運指位置候補データが生成される。そして、これら7つの運指位置候補データのうち、図7(a)に示される画像データの網掛け領域と重複する、3弦の4フレットと、5弦の2フレットとが、(上記画像データに対する)実運指位置データとして抽出され特定される。
FIG. 7B shows fingering position candidate data that can pronounce the above “shi”. In this example, 1
図7(c)には、上記「レ」を発音可能な運指位置候補データを表している。この例では、1弦の10フレット、2弦の3フレット、3弦の7フレット、4弦の0フレット、4弦の12フレット、5弦の5フレット、6弦の10フレット、の合計7つの運指位置候補データが生成される。そして、これら7つの運指位置候補データのうち、図7(a)に示される画像データの網掛け領域と重複する、2弦の3フレットが、(上記画像データに対する)実運指位置データとして抽出され特定される。
FIG. 7C shows fingering position candidate data that can pronounce the above-mentioned “re”. In this example, 1
図7(d)には、上記「ファ#」を発音可能な運指位置候補データを表している。この例では、1弦の2フレット、2弦の7フレット、3弦の11フレット、4弦の4フレット、5弦の9フレット、6弦の2フレット、の合計6つの運指位置候補データが生成される。そして、これら6つの運指位置候補データのうち、図7(a)に示される画像データの網掛け領域と重複する、1弦の2フレット、4弦の4フレット、及び、6弦の2フレットが、(上記画像データに対する)実運指位置データとして抽出され特定される。 FIG. 7D shows fingering position candidate data that can pronounce “Fa #”. In this example, there are 6 fingering position candidate data in total: 1st string 2nd fret, 2nd string 7th fret, 3rd string 11th fret, 4th string 4th fret, 5th string 9th fret, 6th string 2nd fret Generated. Of these six fingering position candidate data, the 1st string 2nd fret, 4th string 4th fret, and 6th string 2nd fret which overlap with the shaded area of the image data shown in FIG. 7A. Are extracted and specified as actual fingering position data (for the image data).
そして、上記図7(b)において実運指位置データとして抽出された3弦の4フレット及び5弦の2フレットと、上記図7(c)において実運指位置データとして抽出された2弦の3フレットと、上記図7(d)において実運指位置データとして抽出された1弦の2フレット、4弦の4フレット、及び、6弦の2フレットとが、すべて合成され(図7(e)参照)、最終的な実運指位置データとして第2小節のコードBmに対応付けられる。これにより、当該コードBmに対するコード譜データが生成される。 Then, the 4th fret of the 3rd string and the 2nd fret of the 5th string extracted as the actual fingering position data in FIG. 7B, and the 2nd string extracted as the actual fingering position data in FIG. 7C. The 3rd fret and the 1st string 2nd fret, 4th string 4th fret, and 6th string 2nd fret extracted as actual fingering position data in FIG. 7 (d) are all synthesized (FIG. 7 (e)). )) And is associated with the code Bm of the second measure as the final actual fingering position data. Thereby, chord score data for the chord Bm is generated.
<コード譜データ作成時の制御手順(1)>
楽器操作者が前述のカラオケ装置10を用いて上記の手法によりコード譜データを作成する場合に、当該カラオケ装置10のCPU45により実行される処理内容を、図8のフローチャートにより説明する。前述した図5と同等の手順には同一の符号を付し、適宜説明を省略又は簡略化する。
<Control procedure when creating chord data (1)>
The processing contents executed by the
図8において、このフローは、上記同様、例えば上記楽器操作者が、カラオケ装置10の制御装置20の電源ボタンを押して制御装置20の電源を立ち上げると、開始される。
In FIG. 8, this flow is started when, for example, the musical instrument operator presses the power button of the
図8において、まず、上記図5と同様のステップS10、ステップS15を経て、上記ステップS20に対応したステップS20Aに移行する。ステップS20Aでは、上記ステップS20と同様、CPU45は、LANボード50を介し、サーバ58からLAN回線15を介して送信された上記楽曲データ等を受信する。但し、この際、前述したように、この受信データには、楽曲データと、当該楽曲データに対応した上記コード情報は含まれているが、コード譜情報は含まれていない。
In FIG. 8, first, after steps S10 and S15 similar to those in FIG. 5, the process proceeds to step S20A corresponding to step S20. In step S20A, as in step S20, the
楽曲データ、及びコード情報等は、図5の説明と同様に、サーバ58から取得してもよいし、制御装置20に組み込まれた補助記憶手段から取得してもよい。
The music data, the chord information, and the like may be acquired from the server 58 as in the description of FIG. 5, or may be acquired from auxiliary storage means incorporated in the
このステップS20Aが終了したら、上記図5と同様のステップS25、ステップS30、ステップS35を経て、新たに設けたステップS40に移る。 When step S20A is completed, the process proceeds to step S40 newly provided through steps S25, S30, and S35 similar to those in FIG.
ステップS40では、CPU45は、上記ステップS30で読み出され上記ステップS35で再生されている楽曲データに基づき、新たなコードへ移行したか(それまでのコードから異なるコードへ切り替わった場合と、曲が新規に開始されて1番目のコードが開始された場合と、を含む)、を判定する。新たなコードへの移行していなかった場合(同一コードの演奏が継続している場合)はステップS40の判定が満たされず(S40:NO)、後述のステップS80へ移行する。新たなコードへ移行された場合はステップS40の判定が満たされ(S:YES)、ステップS55に移る。
In step S40, the
ステップS55では、CPU45は、モニタ13,14に制御信号を出力し、上記ステップS25で保存され、ステップS30及びステップS35での楽曲データの再生に対応したコード情報を、モニタ13,14により表示させる。これにより、上記楽器操作者は、当該モニタ13,14に表示されたコード情報(図6(a)の例ではコードBm)に対応した、実際の運指状態を(後述のようにカメラ25で撮影可能なように)エレキギター4を用いて実演する。このようにして行われる運指の実演が、後述するステップS65,ステップS70において、上記カメラ25によって撮影され、公知の画像認識の手法により対応する上記画像データが生成される。生成された画像データは、CPU45に入力される。なお画像認識処理は、カメラ25で行っても良いし、CPU45側で行っても良い。
In step S55, the
<画像認識の手順の詳細>
上記画像認識の手法を実行するにあたり、その準備のために行われる処理である、画像認識準備処理を、図9に示すCPU45が実行するフロー、及び、図10の説明図により説明する。すなわち、画像認識を精度良く行うために、予め、カメラ25が撮影する撮影視野におけるエレキギター4の各フレットの位置決め設定が、楽器操作者により行われる。画像認識準備処理は、ステップS65よりも上流側で行われる。たとえば、楽曲データ再生(ステップS35)よりも以前に実行すれば、エレキギターの楽器操作者は、自分の運指位置を、CPU45に対して、運指位置データとして特定させられる位置で、楽曲の演奏開始とともに、エレキギター操作を開始できる。
<Details of image recognition procedure>
An image recognition preparation process, which is a process performed for the preparation of the image recognition method, will be described with reference to a flow executed by the
すなわち、図9において、CPU45は、まずステップS410において、モニタ13,14に制御信号を出力し、上記位置決めを行うための指示ライン用映像を表示させる。この指示ライン用映像は、図10(a)に示すように、例えばエレキギター4のネックの一部分(この例では1フレットから12フレットまで)の外観を模擬した略長方形の図形である。
That is, in FIG. 9, first, in step S410, the
その後、CPU45は、ステップS420において、カメラ25から出力される撮影映像の取得を開始する。このときの映像は、例えば図10(b)に示すように、エレキギター4のネックの一部分(又は全部)の外観そのものを含んでいる。なお、この外観の映像は、楽器操作者がカメラ25の目の前でエレキギター4の姿勢を変えたり位置を変えることによって、大きさや位置を調整することができる。
Thereafter, in step S420, the
その後、CPU45は、ステップS430において、モニタ13,14に制御信号を出力し、上記ステップS410における略長方形の指示ライン用映像と、上記ステップS420におけるカメラ25からの映像とを、重ねて表示させる。このとき、上述したように、固定映像である上記指示ライン用映像に対し、楽器操作者が適宜に上記カメラ25からの映像の大きさや位置を調整することで、図10(c)に示すように、エレキギター4のフレットの外周線と、上記略長方形の指示ライン用映像とを合わせるようにする(言い替えればぴったり合わせることができるように、予め上記指示ライン用映像が設定されている)。その後、ステップS440に移る。
Thereafter, in step S430, the
ステップS440では、CPU45は、上記エレキギター4のフレットの外周線と、上記略長方形の指示ライン用映像とが、所定の範囲内で略一致したか否かを判定する。この判定は、エッジ検出等の公知の手法によりCPU45が自動的に行っても良いし、操作者により、目視により略一致を確認した旨の操作入力がなされたか否かにより行っても良い。判定が満たされない(S440:NO)間はループ待機し、判定が満たされると(S440:YES)、ステップS450に移る。
In step S440, the
ステップS450では、CPU45は、上記楽器操作者の実演を画像認識するための準備処理が完了したとみなし、例えば適宜の報知(モニタ13,14における完了表示やカラオケ装置10の適宜の箇所のランプ点灯など)を行って、このフローを終了する。
In step S450, the
<コード譜データ作成時の制御手順(2)>
図8に戻り、なお、上記ステップS55において、前述したように必ずしもエレキギター4を実際に演奏して発音する必要はないことから、エレキギター4と楽器接続ボード8とは接続されていなくても良い。また、その意味では、エレキギター4ではなく、非電子楽器であるアコースティックギターであってもよい。上記ステップS55の後は、ステップS60に移行する。
<Control procedure when creating chord data (2)>
Returning to FIG. 8, in step S55, it is not always necessary to actually play and pronounce the
ステップS60では、CPU45は、上記ステップS55で表示したコード情報の表すコードに対応した、運指位置候補データを生成する。この例では、前述したように当該コードを構成する和音それぞれについての運指位置候補データが生成される。このステップS60が、各請求項記載の運指候補データ生成手段として機能する。その後、ステップS65に移る。
In step S60, the
ステップS65では、CPU45は、上記実演された運指に対するカメラ25による撮影結果に基づく、上記画像データ(前述の例の図6(b)参照)を取得する。その後、ステップS70に移行する。
In step S <b> 65, the
ステップS70では、CPU45は、上記ステップS60で生成された複数の運指位置候補データの中から、上記ステップS65で取得された画像データに対応するものを抽出し、上記実運指位置データとして特定する(前述の例の図7(a)〜(d)参照)。このステップS70が、各請求項記載の運指位置特定手段として機能する。その後、ステップS75に移る。
In step S70, the
ステップS75では、上記ステップS70で特定された実運指位置データ(前述の例では、1弦の2フレット、2弦の3フレット、3弦の4フレット、4弦の4フレット、5弦の2フレット、及び、6弦の2フレット、の6つのデータ)を、対応するコード情報(前述の例ではコードBm)に対応づけて、当該コードBmに対するコード譜データを生成する(前述の例の図7(e)参照)。このステップS75が、各請求項記載のコード譜データ生成手段として機能する。その後、ステップS80に移る。
In step S75, the actual fingering position data identified in step S70 (in the above example, the 1st string 2nd fret, 2nd string 3rd fret, 3rd string 4th fret, 4th string 4th fret, 5th string 2nd) The chord data for the chord Bm is generated by associating the fret and the six
ステップS80では、上記図5と同様、CPU45は、(コード譜作成対象の)楽曲データの再生が終了したか(言い換えれば、ステップS30でのMIDIデータの読み出しが楽曲データの最後のMIDIデータまで終了したか)否かを判定する。楽曲データの再生が終了していれば判定が満たされ(ステップS80:YES)、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず(ステップS80:NO)、上記ステップS30に戻り、上記ステップS30〜ステップS80の手順を繰り返す。
In step S80, as in FIG. 5, the
以上のようにして、コード譜作成対象の楽曲データのコード進行に含まれるすべてのコードについて、楽器操作者による運指の実演に基づくコード譜データが生成される。これによって、当該楽曲データに対するコード譜情報が完成するので、次回以降、当該カラオケ楽曲が再生される際、既に述べたように、一般ユーザの演奏者が、上記作成されモニタ13,14に表示されるコード譜を見ながら演奏することで、容易にエレキギター4等の演奏を行うことができる。
As described above, the chord score data based on the fingering demonstration by the musical instrument operator is generated for all chords included in the chord progression of the music data to be chorded. As a result, the chord score information for the music data is completed, and when the karaoke music is reproduced from the next time onward, the general user performer is created and displayed on the
以上説明したように、本実施形態では、楽曲データの各コードについて生成した複数の運指位置候補データを、楽器操作者の実演を撮影した画像データを用いて絞り込むことによって、コード譜データを生成する。これにより、単に画像データのみからコード譜データを生成する場合に比べ、精度よく正確なコード譜を作成することができる。 As described above, in this embodiment, chord score data is generated by narrowing down a plurality of fingering position candidate data generated for each chord of music data using image data obtained by photographing an instrument operator's performance. To do. This makes it possible to create an accurate chord score with higher accuracy than when chord score data is generated only from image data.
また、本実施形態では特に、運指候補データを生成する際、各コードの和音を構成する複数の音をそれぞれ発音するための、複数の運指位置候補データが生成される(図7(b)〜(d)参照)。これにより、高精度に実際の運指位置を特定することができる。なお、前述のコードBmの例のように複数の音(「シ」「レ」「ファ#」)それぞれごとに作成してもよいし、各音階ごとに作成してもよい。 In the present embodiment, in particular, when fingering candidate data is generated, a plurality of fingering position candidate data for generating a plurality of sounds constituting the chord of each chord is generated (FIG. 7B). ) To (d)). Thereby, an actual fingering position can be specified with high accuracy. As in the example of the chord Bm described above, it may be created for each of a plurality of sounds (“shi”, “le”, “fa #”), or may be created for each scale.
なお、上記実施形態では、画像データを用いて運指位置候補データを絞り込んで実運指位置データを生成する際、図6や図101(a)に示したように、運指を行う各指の姿を包含する指領域データに含まれる、運指位置候補データをすげて抽出したが、これに限られない。すなわち、前述したように、弦楽器の運指の位置は各コードごとに異なるが、特に、楽器操作者の指先の位置は各コードごとに必ず異なる。したがって、上記画像データ中に明らかに楽器操作者の指先位置が現れている場合(例えば図6(b)に示すコードBmの例における、2フレットの6弦に位置する人差し指の指先、3フレットの2弦に位置する中指の指先、4フレットの4弦に位置する薬指の指先、4フレットの3弦に位置する小指の指先、等)、あるいは、画像データにより楽器操作者の指先位置が推測される場合には、当該指先位置を用いて、実運指位置データを特定するようにしてもよい。この場合、さらに確実に、高精度に実際の運指位置を特定することができる。 In the above embodiment, when the fingering position candidate data is narrowed down using the image data to generate the actual fingering position data, each finger that performs the fingering as shown in FIG. 6 and FIG. 101 (a). Although the fingering position candidate data included in the finger region data including the figure is extracted and extracted, the present invention is not limited to this. That is, as described above, the fingering position of the stringed instrument is different for each chord, but in particular, the position of the fingertip of the instrument operator is always different for each chord. Therefore, when the position of the fingertip of the musical instrument operator clearly appears in the image data (for example, in the example of the code Bm shown in FIG. 6B, the fingertip of the index finger located on the 6th string of the 2nd fret, The fingertip position of the instrument operator can be estimated from the fingertip of the middle finger located on the 2nd string, the fingertip of the ring finger located on the 4th string of the 4th fret, the fingertip of the little finger located on the 3rd string of the 4th fret, etc.) In this case, the actual fingering position data may be specified using the fingertip position. In this case, the actual fingering position can be specified with higher accuracy.
なお、以上において、図5、図8、図9等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。 In the above, the flowcharts shown in FIGS. 5, 8, 9, etc. are not intended to limit the present invention to the procedures shown in the above-mentioned flow, but to the extent that they do not depart from the spirit and technical idea of the invention. You may delete or change the order.
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。 In addition to those already described above, the methods according to the above-described embodiments and modifications may be used in appropriate combination.
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。 In addition, although not illustrated one by one, the present invention is implemented with various modifications within a range not departing from the gist thereof.
4 エレキギター(弦楽器)
10 カラオケ装置(楽曲コード譜生成装置)
13 モニタ(コード表示手段)
14 モニタ(コード表示手段)
25 カメラ(撮影手段)
49 RAM(記憶手段)
4 Electric guitar (stringed instrument)
10 Karaoke device (music code score generator)
13 Monitor (code display means)
14 Monitor (code display means)
25 Camera (photographing means)
49 RAM (storage means)
Claims (4)
前記記憶手段に記憶された前記楽曲データを読み出して、対応する前記コード情報の前記複数のコードの進行を表示するコード表示手段と、
前記コード表示手段で表示される各コードごとに、所定の弦楽器における当該コードに対応した複数の運指位置候補データを生成する運指候補データ生成手段と、
前記コード表示手段での前記コードの表示に対応した、楽器操作者による前記弦楽器への運指を撮影し、対応する画像データを生成する撮影手段と、
前記撮影手段により生成された前記画像データに基づいて、各コードごとに、前記運指候補データ生成手段が生成した前記複数の運指位置候補データのうち、前記楽器操作者による実際の運指位置に対応した実運指位置データを特定する運指位置特定手段と、
前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、前記楽曲データの前記弦楽器に係わるコード譜データを生成するコード譜データ生成手段と、
を有することを特徴とする楽曲コード譜生成装置。 Storage means for storing music data associated with chord information consisting of a plurality of chord progressions;
Code display means for reading the music data stored in the storage means and displaying the progress of the plurality of chords of the corresponding chord information;
For each chord displayed by the chord display means, fingering candidate data generating means for generating a plurality of fingering position candidate data corresponding to the chord in a predetermined stringed instrument;
Photographing means for photographing fingering to the stringed instrument by a musical instrument operator corresponding to the display of the code on the code displaying means, and generating corresponding image data;
Based on the image data generated by the photographing unit, an actual fingering position by the instrument operator among the plurality of fingering position candidate data generated by the fingering candidate data generation unit for each code. Fingering position specifying means for specifying actual fingering position data corresponding to
Chord data generation means for generating chord data relating to the stringed musical instrument of the music data by associating the actual fingering position data specified by the fingering position specifying means with each of the plurality of chords of the chord information When,
A music chord score generation apparatus characterized by comprising:
前記運指位置特定手段は、
前記画像データ中に現れている前記楽器操作者の指先位置、又は、前記画像データより推測される前記楽器操作者の指先位置、を用いて、前記実運指位置データを特定する
ことを特徴とする楽曲コード譜生成装置。 The music chord score generator according to claim 1, wherein
The fingering position specifying means includes
The actual fingering position data is specified using the fingertip position of the musical instrument operator appearing in the image data or the fingertip position of the musical instrument operator estimated from the image data. A music chord generation device.
前記運指候補データ生成手段は、
各コードの和音を構成する複数の音をそれぞれ発音するための、前記複数の運指位置候補データを生成する
ことを特徴とする楽曲コード譜生成装置。 In the music chord score generating device according to claim 1 or 2,
The fingering candidate data generation means includes:
A music chord score generating apparatus for generating a plurality of fingering position candidate data for generating a plurality of sounds constituting a chord of each chord.
前記楽曲データとして、前記弦楽器の演奏パートを含むカラオケ楽曲データを前記記憶手段から読み出して再生する、カラオケ楽曲再生手段を有し、
前記コード表示手段は、
前記カラオケ楽曲再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報の前記複数のコードの進行を表示し、
前記コード譜データ生成手段は、
前記カラオケ楽曲データに対応づけられた前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、当該カラオケ楽曲データの前記弦楽器演奏パートの前記コード譜データを生成し、前記カラオケ曲再生手段が、当該カラオケ楽曲データを次回再生するときに、前記カラオケ楽曲データの再生に応じて、前記生成したコード譜を、前記コード表示手段に表示する
ことを特徴とする楽曲コード譜生成装置。 In the music chord score generating device according to any one of claims 1 to 3,
As the music data, karaoke music data reproduction means for reading out and reproducing karaoke music data including the performance part of the stringed instrument from the storage means,
The code display means includes
In response to the playback of the karaoke song data by the karaoke song playback means, the progress of the plurality of chords of the corresponding chord information is displayed,
The chord score data generating means includes:
For each of the plurality of chords of the chord information associated with the karaoke song data, by associating the actual fingering position data specified by the fingering position specifying means, the stringed instrument performance part of the karaoke song data is related to The chord score data is generated, and when the karaoke song reproducing means reproduces the karaoke song data next time, the generated chord score is displayed on the chord display means in accordance with the reproduction of the karaoke song data. A music chord generation device characterized by this.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013022962A JP5754449B2 (en) | 2013-02-08 | 2013-02-08 | Music code score generator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013022962A JP5754449B2 (en) | 2013-02-08 | 2013-02-08 | Music code score generator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014153523A true JP2014153523A (en) | 2014-08-25 |
JP5754449B2 JP5754449B2 (en) | 2015-07-29 |
Family
ID=51575446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013022962A Active JP5754449B2 (en) | 2013-02-08 | 2013-02-08 | Music code score generator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5754449B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005241877A (en) * | 2004-02-25 | 2005-09-08 | Yamaha Corp | Fingering instruction apparatus and program |
JP2005266728A (en) * | 2004-02-20 | 2005-09-29 | Tadashi Aoki | Playing motion capturing apparatus of stringed instrument, fingering analyzer, stringed instrument for playing motion capturing, and stringed instrument for practising fingering |
-
2013
- 2013-02-08 JP JP2013022962A patent/JP5754449B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005266728A (en) * | 2004-02-20 | 2005-09-29 | Tadashi Aoki | Playing motion capturing apparatus of stringed instrument, fingering analyzer, stringed instrument for playing motion capturing, and stringed instrument for practising fingering |
JP2005241877A (en) * | 2004-02-25 | 2005-09-08 | Yamaha Corp | Fingering instruction apparatus and program |
Also Published As
Publication number | Publication date |
---|---|
JP5754449B2 (en) | 2015-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4487209B2 (en) | Karaoke device and karaoke processing program | |
JP5704368B2 (en) | Musical performance device and musical performance processing program | |
JP5787279B2 (en) | Musical performance device | |
JP2014026213A (en) | Musical sound playing device | |
JP5754449B2 (en) | Music code score generator | |
JP5780258B2 (en) | Portable terminal device, portable terminal program, server, and image browsing system | |
JP5969421B2 (en) | Musical instrument sound output device and musical instrument sound output program | |
JP5803956B2 (en) | Karaoke system and karaoke device | |
JP2015031711A (en) | Musical sound playing device and musical sound playing process program | |
JP5825533B2 (en) | Music search device, music search system, and music search program | |
JP6425560B2 (en) | Karaoke device with repetitive playback function | |
JP5800247B2 (en) | Karaoke system and karaoke device | |
JP6728572B2 (en) | Plucked instrument performance evaluation device, music performance device, and plucked instrument performance evaluation program | |
JP2015069053A (en) | Karaoke device scoring singing by considering stretch tuning | |
JP5590350B2 (en) | Music performance device and music performance program | |
JP5321653B2 (en) | Musical performance device | |
JP5413749B2 (en) | Musical performance device | |
JP2009008934A (en) | Music reproduction device | |
JP5648877B1 (en) | Musical performance device and musical performance processing program | |
WO2022209557A1 (en) | Electronic musical instrument, electronic musical instrument control method, and program | |
JP6065827B2 (en) | Musical performance device and musical performance processing program | |
JP6638429B2 (en) | Karaoke device and karaoke program | |
JP2009080372A (en) | Karaoke device | |
JP5803955B2 (en) | Karaoke system and karaoke device | |
JP2023174364A (en) | Karaoke device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5754449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |