JP2019179062A - Fingering display device and fingering display program - Google Patents

Fingering display device and fingering display program Download PDF

Info

Publication number
JP2019179062A
JP2019179062A JP2018066413A JP2018066413A JP2019179062A JP 2019179062 A JP2019179062 A JP 2019179062A JP 2018066413 A JP2018066413 A JP 2018066413A JP 2018066413 A JP2018066413 A JP 2018066413A JP 2019179062 A JP2019179062 A JP 2019179062A
Authority
JP
Japan
Prior art keywords
fingering
image
key
time
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018066413A
Other languages
Japanese (ja)
Other versions
JP7092537B2 (en
Inventor
勝田 雅則
Masanori Katsuta
雅則 勝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawai Musical Instrument Manufacturing Co Ltd
Original Assignee
Kawai Musical Instrument Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawai Musical Instrument Manufacturing Co Ltd filed Critical Kawai Musical Instrument Manufacturing Co Ltd
Priority to JP2018066413A priority Critical patent/JP7092537B2/en
Priority to US16/361,619 priority patent/US10810984B2/en
Priority to DE102019204152.3A priority patent/DE102019204152A1/en
Priority to CN201910232188.5A priority patent/CN110322861B/en
Publication of JP2019179062A publication Critical patent/JP2019179062A/en
Application granted granted Critical
Publication of JP7092537B2 publication Critical patent/JP7092537B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

To provide a fingering display method that can intuitively instruct by means of a fingering moving image also for a sound volume at key pressing time even when fingering display of a keyboard instrument is performed.SOLUTION: In a case where a fingering moving image playing a keyboard instrument at music reproduction time on the basis of key pressing information of music is drawn to perform fingering display on a screen, when fingering drawing is generated on the basis of fingering position information corresponding to reproduction time of the music reproduction time, a key pressing fingering image at key pressing time at the reproduction time, a key releasing fingering image at key releasing time just before the key pressing time, and a dark color fingering shadow image are created, either of the key pressing fingering image and the fingering shadow image or the key releasing fingering image and the fingering shadow image are displayed at the same time, and off-set displaying of the key releasing fingering image relative to the shadow image is performed such that an offset amount increases according to magnitude of a sound volume of the next key pressing time, and changes gradually according to residual time up to the next key pressing.SELECTED DRAWING: Figure 3

Description

本発明は、鍵盤楽器の練習用の運指表示に関し、複数の楽音から構成される演奏情報と各楽音に対応する指番号情報に基づき、楽音再生時に楽器を演奏する運指動画を描画して画面に表示するための運指表示装置及びそのための運指表示プログラムに関する。   The present invention relates to a fingering display for practicing a keyboard instrument, and draws a fingering video for playing a musical instrument during music playback based on performance information composed of a plurality of musical sounds and finger number information corresponding to each musical sound. The present invention relates to a fingering display device for displaying on a screen and a fingering display program therefor.

電子ピアノ等の鍵盤楽器について演奏練習を行う場合に、操作する鍵盤表示に重ねて手の甲と各指から構成される運指画像を表示することで、鍵盤を押したり離したりする指使いを練習者に指示する演奏動作表示装置が提案されている。
例えば特許文献1には、指の運び方を分かりやすくするために、手の動きが連続的に移行する運指動画生成技術が開示されており、単音の場合と和音の場合とで条件分けを行い、それぞれの指の形や手の甲の位置を決定するようにしている。
When practicing performance with a keyboard instrument such as an electronic piano, practicing finger use to press and release the keyboard by displaying a fingering image composed of the back of the hand and each finger over the keyboard display to be operated There has been proposed a performance operation display device for instructing the user.
For example, Patent Document 1 discloses a fingering video generation technique in which hand movement continuously shifts in order to make it easy to understand how to carry a finger. To determine the shape of each finger and the position of the back of the hand.

すなわち特許文献1には、複数種の操作運指画像データおよび複数種の経過運指画像データをROMに格納しておき、ノートオン処理の鍵の操作開始を示す運指に対応する操作運指画像データをROMから選択して読み出し、表示装置に与えて表示させ、さらに、ノートオフ処理の次に押鍵する鍵の操作開始に至るまでの経過を示す運指に対応する経過運指画像データをROMから選択して読み出し、表示装置に与えて表示させることにより、曲の進行に応じたきめ細かな演奏ガイドを行う運指表示装置が記載されている。   That is, in Patent Document 1, a plurality of types of operation fingering image data and a plurality of types of progress fingering image data are stored in a ROM, and an operation finger corresponding to a fingering indicating the start of key operation for note-on processing. Progressive fingering image data corresponding to the fingering indicating the progress until the start of the operation of the key to be pressed next to the note-off process after the image data is selected from the ROM and read out and given to the display device Describes a fingering display device that performs fine performance guidance according to the progress of a song by selecting and reading out from a ROM and giving it to a display device for display.

また、出願人は、鍵盤サイズや鍵盤の画面表示上での大きさにあった手形を描画させることができる運指表示方法として特許文献2に示された手法を提案している。   In addition, the applicant has proposed the technique disclosed in Patent Document 2 as a fingering display method capable of drawing a bill that matches the keyboard size and the keyboard display size.

特許第3521838号公報Japanese Patent No. 3521838 特許第4070100号公報Japanese Patent No. 4070100

上述した特許文献1に開示された運指表示装置によれば、どの指でどの鍵をどのタイミングで弾くのかを練習者に直感的に指示することが可能になる。しかしながら、音楽の演奏において重要な要素である音量については、運指動画により直感的に指示することができなかった。   According to the fingering display device disclosed in Patent Document 1 described above, it is possible to intuitively instruct a practitioner which key is to be played with which finger and at which timing. However, the volume that is an important element in the performance of music cannot be intuitively instructed by the fingering animation.

本発明は上記実情に鑑みて提案されたもので、鍵盤楽器の運指表示を行う場合において、押鍵時の音量についても運指動画により直感的に指示することができる運指表示装置及び運指表示プログラムを提供することを目的とする。   The present invention has been proposed in view of the above circumstances, and when performing fingering display of a keyboard instrument, the fingering display device and operation that can intuitively instruct the sound volume when the key is pressed by a fingering video. An object is to provide a finger display program.

上記目的を達成するために本発明(請求項1)は、楽曲の押鍵情報に基づき楽曲再生時に鍵盤楽器を演奏する運指動画を描画して画面に運指表示するプログラムであって、
前記楽曲再生時の再生時刻に対応する運指位置情報を元に運指描画を生成するに際して、
前記再生時刻における押鍵時の押鍵時運指画像と、前記押鍵直前の離鍵時の離鍵時運指画像と、暗色系の運指影画像とを作成し、
前記押鍵時運指画像と前記運指影画像、又は、前記離鍵時運指画像と前記運指影画像のいずれかを同時に表示するとともに、
前記運指影画像に対して前記離鍵時運指画像を次の押鍵時の音量の大きさに応じてオフセット量が大きくなるように表示する
機能をコンピュータに実行させることを特徴としている。
In order to achieve the above object, the present invention (Claim 1) is a program for drawing a fingering moving image for playing a keyboard instrument at the time of music playback based on key pressing information of a music and displaying the fingering on a screen.
When generating the fingering drawing based on the fingering position information corresponding to the playback time at the time of the music playback,
Creating a fingering image at the time of key depression at the time of reproduction, a fingering image at the time of key release immediately before the key depression, and a dark-colored fingering shadow image;
While simultaneously displaying either the keying fingering image and the fingering shadow image, or the key release fingering image and the fingering shadow image,
The computer is caused to execute a function of displaying the fingering image at the time of key release with respect to the fingering shadow image so that an offset amount increases in accordance with a volume level at the time of the next key depression.

請求項2は、請求項1に記載の運指表示プログラムにおいて、
和音の押鍵時においては、前記押鍵時運指画像と前記離鍵時運指画像とを同一形状の画像で生成することを特徴としている。
Claim 2 is the fingering display program according to claim 1,
When a chord is pressed, the keying image at the time of pressing and the fingering image at the time of key release are generated as images having the same shape.

請求項3は、請求項1に記載の運指表示プログラムにおいて、
単音の押鍵時においては、前記押鍵時運指画像と前記離鍵時運指画像とを押鍵指だけが異なる画像で生成することを特徴としている。
Claim 3 is the fingering display program according to claim 1,
When a single key is pressed, the keying image at the time of key pressing and the fingering image at the time of key release are generated as images different from each other only by the key pressing finger.

請求項4は、請求項1に記載の運指表示プログラムにおいて、
前記押鍵時運指画像及び離鍵時運指画像が明色系であることを特徴としている。
Claim 4 is the fingering display program according to claim 1,
The keying image at the time of key depression and the fingering image at the time of key release are light-colored.

請求項5は、請求項1に記載の運指表示プログラムにおいて、
前記運指影画像に対する前記押鍵時運指画像又は前記離鍵時運指画像のオフセット位置は、右手については右上側に、左手については左上側であることを特徴としている。
Claim 5 is the fingering display program according to claim 1,
The offset position of the fingering image at the time of pressing the key or the fingering image at the time of releasing the key with respect to the fingering shadow image is characterized in that the right hand is on the upper right side and the left hand is on the upper left side.

請求項6は、請求項1に記載の運指表示プログラムにおいて、
前記離鍵時運指画像における次に押鍵する指の先端付近に押鍵準備マークを表示することを特徴としている。
Claim 6 is the fingering display program according to claim 1,
A key press preparation mark is displayed in the vicinity of the tip of the finger to be pressed next in the keying image when the key is released.

請求項7は、請求項1に記載の運指表示プログラムにおいて、
前記押鍵時運指画像における押鍵中の指の先端付近に押鍵中マークを表示することを特徴としている。
Claim 7 is the fingering display program according to claim 1,
A key depression mark is displayed in the vicinity of the tip of the finger being depressed in the fingering image during key depression.

請求項8は、請求項1に記載の運指表示プログラムにおいて、
前記押鍵時運指画像における押鍵中の指の色調は、前記押鍵時運指画像における離鍵中の指より暗い色調で表示することを特徴としている。
Claim 8 is the fingering display program according to claim 1,
The color tone of the finger being pressed in the fingering image at the time of key pressing is displayed in a darker tone than the finger being released from the fingering image at the time of key pressing.

請求項9は、請求項1乃至8に記載の運指表示プログラムにおいて、
次に押鍵される音量に対する前記オフセット量を、押鍵されるまでの残り時間に応じて徐々に変化させることを特徴としている。
Claim 9 is the fingering display program according to any one of claims 1 to 8,
The offset amount with respect to the volume to be pressed next is gradually changed according to the remaining time until the key is pressed.

請求項10は、楽曲の押鍵情報に基づき楽曲再生時に鍵盤楽器を演奏する運指動画を描画して画面に運指表示する運指表示装置において、次の構成を具備することを特徴としている。
運指表示を行うための運指情報が記憶された楽音・指番号情報記憶部。
前記運指情報から押鍵情報を生成する押鍵情報生成部。
前記押鍵情報から運指位置情報を生成する運指位置情報生成部。
前記運指位置情報から前記楽曲再生時の再生時刻の運指画像を生成するに際して、前記再生時刻における押鍵時の押鍵時運指画像と、前記押鍵直前の離鍵時の離鍵時運指画像と、暗色系の運指影画像とを作成し、前記押鍵時運指画像と前記運指影画像、又は、前記離鍵時運指画像と前記運指影画像のいずれかを同時に表示するとともに、前記運指影画像に対して前記離鍵時運指画像を音量の大きさに応じてオフセット量が大きくなり、次に押鍵されるまでの残り時間に応じて徐々に変化させるようにオフセット表示するオフセット画像付き運指画像を生成する運指画像生成部。
前記運指画像生成部で生成された運指画像を表示する表示装置。
According to a tenth aspect of the present invention, there is provided a fingering display device that draws a fingering moving image for playing a keyboard instrument based on key depression information of a music and displays the fingering on the screen, and has the following configuration. .
A musical tone / finger number information storage unit in which fingering information for performing fingering display is stored.
A key pressing information generating unit that generates key pressing information from the fingering information.
A fingering position information generating unit that generates fingering position information from the key pressing information.
When generating a fingering image at the playback time at the time of playing the music from the fingering position information, the keying image at the time of key pressing at the playback time and the key release time at the time of key release just before the key pressing A fingering image and a dark-colored fingering shadow image are created, and the keying fingering image and the fingering shadow image when the key is pressed, or the fingering image and the fingering shadow image when the key is released At the same time, the amount of offset of the fingering image at the time of releasing the key is increased according to the volume of the fingering shadow image, and gradually changes according to the remaining time until the next key is pressed. A fingering image generation unit that generates a fingering image with an offset image for offset display.
A display device that displays a fingering image generated by the fingering image generation unit.

本発明によれば、楽曲再生時の再生時刻に対応する運指位置情報を元に運指描画を生成するに際して、運指影画像に対して、離鍵時運指画像を次の押鍵の音量や押鍵までの残り時間に応じてオフセットさせて表示することで、押鍵する場合の音量についても運指動画により直感的に指示することができる。   According to the present invention, when the fingering drawing is generated based on the fingering position information corresponding to the reproduction time at the time of music reproduction, the fingering image at the time of key release is compared with the fingering shadow image. By displaying an offset according to the volume and the remaining time until the key is pressed, the volume when the key is pressed can be intuitively instructed by the fingering moving image.

本発明の運指表示装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the fingering display apparatus of this invention. 運指表示装置の表示部に表示される楽譜、鍵盤、運指画像の表示例である。It is an example of a display of a score, a keyboard, and a fingering image displayed on a display part of a fingering display device. 単音を押鍵する場合の離鍵時におけるオフセット画像付き運指画像と、押鍵時におけるオフセット画像付き運指画像とを示す画像図である。It is an image figure which shows the fingering image with an offset image at the time of key release in the case of pressing a single sound, and the fingering image with an offset image at the time of key pressing. 図3のオフセット画像付き運指画像を生成するための離鍵時運指画像(画像A),押鍵時運指画像(画像B),運指影画像(画像C)を示す画像図である。FIG. 4 is an image diagram showing a keying image at the time of key release (image A), a fingering image at the time of key pressing (image B), and a fingering shadow image (image C) for generating the fingering image with an offset image of FIG. 3. . 和音を押鍵する場合の離鍵時におけるオフセット画像付き運指画像と、押鍵時におけるオフセット画像付き運指画像とを示す画像図である。It is an image figure which shows the fingering image with an offset image at the time of key release when pressing a chord, and the fingering image with an offset image at the time of key pressing. 図5のオフセット画像付き運指画像を生成するための離鍵時運指画像(画像A),押鍵時運指画像(画像B),運指影画像(画像C)を示す画像図である。FIG. 6 is an image diagram showing a keying image at the time of key release (image A), a fingering image at the time of key pressing (image B), and a fingering shadow image (image C) for generating the fingering image with an offset image in FIG. 5. . 左右両手の運指画像を表示する場合の画像図である。It is an image figure in the case of displaying a fingering image of both left and right hands. 左右両手で和音を押鍵する場合の運指画像を示す図であり、(a)は弱打の場合、(b)は強打の場合の画像図である。It is a figure which shows the fingering image in the case of pressing a chord with both right and left hands, (a) is an image figure in the case of a weak strike, (b) is an image figure in the case of a strong strike. 本発明の運指表示プログラムにおけるオフセット画像付き運指画像生成のフローチャートである。It is a flowchart of fingering image generation with an offset image in the fingering display program of the present invention.

以下、図面を参照しながら本発明の運指表示装置について説明する。
運指表示装置は、楽譜データの表示及びそれに対応する運指表示を実行させるため、CPU、ROM、RAMやハードディスクなどを有する周知のタブレット型端末に対して、運指表示プログラムをインストールすることで構築される。タブレット型端末は、楽譜及び鍵盤を表示可能とする表示部と、タッチ操作を入力する入力部を有するタッチパネルと、音を再生するスピーカなどのサウンド出力装置を備えている。表示部では、鍵盤と共に手形による運指画像が表示され、ユーザは表示される運指画像を頼りに鍵盤楽器などで運指の練習をすることができる。
運指表示装置のCPUは、インストールされた所定の制御プログラム(運指表示プログラム)に従って各種処理を実行し、運指表示装置全体の制御を行う。
また、タブレット型端末にはMIDIインタフェースを介してMIDI機器を接続可能としている。演奏データや運指描画データは、タブレット型端末内のROMに格納したり、MIDIインタフェースを介して、又は記録媒体により外部から提供したりすることができる。
Hereinafter, the fingering display device of the present invention will be described with reference to the drawings.
The fingering display device installs a fingering display program on a known tablet terminal having a CPU, a ROM, a RAM, a hard disk, etc. in order to display the musical score data and the corresponding fingering display. Built. The tablet terminal includes a display unit that can display a score and a keyboard, a touch panel having an input unit for inputting a touch operation, and a sound output device such as a speaker that reproduces sound. On the display unit, a fingering image of a bill is displayed together with the keyboard, and the user can practice fingering with a keyboard instrument or the like using the displayed fingering image.
The CPU of the fingering display device executes various processes according to the installed predetermined control program (fingering display program), and controls the entire fingering display device.
Also, a MIDI device can be connected to the tablet terminal via a MIDI interface. The performance data and fingering drawing data can be stored in the ROM in the tablet terminal, or can be provided from the outside via a MIDI interface or by a recording medium.

運指表示装置の使用例としては、例えばディジタルピアノに接続し、装置に記録された楽譜データを表示するとともに該楽譜データに対応する演奏データをディジタルピアノ側へ送信することによりディジタルピアノの音源を鳴らしてデモ演奏をしたり、ユーザが運指表示装置に表示された楽譜を見ながらディジタルピアノを演奏し、その演奏結果を装置側に入力し、装置側に表示している楽譜データに対応するお手本演奏データと比較することで、ユーザによる演奏状態の確認(評価)を行うようにしたりする。   As an example of use of a fingering display device, for example, a digital piano is connected to a digital piano, and the musical score data recorded on the device is displayed and the performance data corresponding to the musical score data is transmitted to the digital piano side to thereby generate the sound source of the digital piano. Play a digital piano while playing a demo performance or watching the score displayed on the fingering display device, input the performance result to the device side, and correspond to the score data displayed on the device side The performance state is confirmed (evaluated) by the user by comparing with the model performance data.

タブレット型端末に対して本発明に従う処理を実行するために、例えば記録媒体に保存された運指表示プログラムをインストールして構築した運指表示装置について、図1の機能ブロック図を参照しながら説明する。
運指表示装置は、演奏を行うための楽音情報や各楽音に対応して運指表示を行うための指番号情報が記憶された楽音・指番号情報記憶部11と、楽音・指番号情報から押鍵情報を生成する押鍵情報生成部12と、押鍵情報を記憶する押鍵情報記憶部13と、押鍵情報から運指位置情報を生成する運指位置情報生成部14と、運指位置情報から運指画像を生成する運指画像生成部15と、を備えている。
また、運指情報に含まれる楽譜情報から楽譜画像を生成する楽譜画像生成部16を備え、運指画像生成部15及び楽譜画像生成部16で生成された画像は、画像情報記憶部17に記憶され、ディスプレイ等の表示装置18で表示される。
For example, a fingering display device constructed by installing a fingering display program stored in a recording medium in order to execute processing according to the present invention for a tablet terminal will be described with reference to the functional block diagram of FIG. To do.
The fingering display device includes a musical tone / finger number information storage unit 11 storing musical tone information for performing performance and finger number information for performing fingering display corresponding to each musical tone, and the musical tone / finger number information. A key pressing information generating unit 12 that generates key pressing information; a key pressing information storage unit 13 that stores key pressing information; a fingering position information generating unit 14 that generates fingering position information from the key pressing information; And a fingering image generation unit 15 that generates a fingering image from the position information.
In addition, a score image generating unit 16 that generates a score image from score information included in the fingering information is provided, and images generated by the fingering image generating unit 15 and the score image generating unit 16 are stored in the image information storage unit 17. And displayed on a display device 18 such as a display.

また、運指表示装置は、楽音・指番号情報記憶部11に記憶された楽音情報から楽曲を再生するための再生情報を再生する再生情報生成部21と、再生情報を記憶する再生情報記憶部22と、再生情報からサウンドを生成するサウンド生成部23と、アナログ信号に変換するサウンド再生部24と、増幅器及びスピーカ等のサウンド出力装置25を備えている。   In addition, the fingering display device includes a reproduction information generation unit 21 that reproduces reproduction information for reproducing music from the musical tone information stored in the musical tone / finger number information storage unit 11, and a reproduction information storage unit that stores the reproduction information. 22, a sound generation unit 23 that generates sound from reproduction information, a sound reproduction unit 24 that converts sound into an analog signal, and a sound output device 25 such as an amplifier and a speaker.

楽音・指番号情報記憶部11には、楽譜を構成する楽音、及び、楽音に対応する指番号等の楽曲再生および運指描画に最低限必要な情報が記憶されている。   The musical tone / finger number information storage unit 11 stores at least information necessary for music reproduction and fingering drawing such as musical notes constituting a musical score and finger numbers corresponding to the musical sounds.

押鍵情報生成部12は、楽音・指番号情報記憶部11に記憶された情報に基づいて、楽曲の先頭からの末尾までの任意の時刻における押鍵情報を生成する。押鍵情報としては、対象時刻、および該時刻における押鍵中の各楽音に対する弾く手と指番号、音量、ノートナンバー、特殊な指使いフラグの有無の情報が作成される。特殊な指使いとは、演奏手法における指かえ、指くぐり、指ごえが含まれる。
押鍵情報生成部12で作成された押鍵情報は押鍵情報記憶部13に記憶される。
The key press information generation unit 12 generates key press information at an arbitrary time from the beginning to the end of the music based on the information stored in the musical tone / finger number information storage unit 11. As the key pressing information, information on the target time and the hand and finger number, volume, note number, and presence / absence of a special finger usage flag for each musical tone being pressed at that time are created. Special fingering includes finger change, finger penetration and finger touch in the performance technique.
The key pressing information created by the key pressing information generation unit 12 is stored in the key pressing information storage unit 13.

押鍵情報記憶部13に記憶された押鍵情報が特殊な指使いを含んでいる場合は、運指表示が特殊な指使いを必要とするものとして、押鍵情報生成部12で生成された押鍵情報から特殊指使い情報生成部31で特殊指使い情報を生成し、特殊指使い情報記憶部32に記憶する。運指表示が特殊な指使いを含むかどうかは、押鍵情報生成部12で生成された押鍵情報から判断される。   If the key pressing information stored in the key pressing information storage unit 13 includes a special finger usage, the finger pressing display is generated by the key pressing information generation unit 12 as requiring a special finger usage. The special finger usage information generation unit 31 generates special finger usage information from the key press information and stores it in the special finger usage information storage unit 32. Whether or not the fingering display includes a special finger operation is determined from the key pressing information generated by the key pressing information generation unit 12.

運指位置情報生成部14は、押鍵情報記憶部13に記憶された情報に基づいて、再生時刻(楽曲の先頭からの現在再生位置の時刻)Tにおける運指位置情報Pmを生成する。運指位置情報Pmには、再生時刻における押鍵時の押鍵時運指画像の位置情報と、押鍵時運指画像から押鍵指を離鍵させた離鍵時運指画像の位置情報とを含む。   The fingering position information generation unit 14 generates fingering position information Pm at the reproduction time (the time of the current reproduction position from the beginning of the music) T based on the information stored in the key pressing information storage unit 13. The fingering position information Pm includes the position information of the keying image when the key is pressed at the reproduction time and the position information of the fingering image when the key is released from the keying image when the key is pressed. Including.

運指位置情報Pmは、運指画像における手形及び指形状を描画するための情報となる。運指位置情報としては、手の甲の中心の位置データ、5本の各指の付け根の位置データ、手首の付け根2点(親指側、小指側)の位置データ、および各指の先端の位置データを含む。そして、これらの情報が与えられることにより運指画像が描画可能となる。また、鍵に対する手形の各部位置を定めるためには、前記位置データと鍵との位置関係を表すデータを与えればよい。
運指位置情報から運指画像を得る手法は、例えば、上述した特許文献1(特許第3521838号)や特許文献2(特許第4070100号)に示される公知の手法が用いられる。
The fingering position information Pm is information for drawing the handprint and finger shape in the fingering image. As fingering position information, the position data of the center of the back of the hand, the position data of the base of each of the five fingers, the position data of the two points of the base of the wrist (the thumb side and the little finger side), and the position data of the tip of each finger Including. Then, by giving these pieces of information, a fingering image can be drawn. In addition, in order to determine the position of each part of the bill with respect to the key, data representing the positional relationship between the position data and the key may be given.
As a technique for obtaining a fingering image from fingering position information, for example, a known technique shown in Patent Document 1 (Japanese Patent No. 3521838) or Patent Document 2 (Japanese Patent No. 4070100) described above is used.

運指画像生成部15は、運指位置情報生成部14で作成された情報(押鍵時運指画像の位置情報、離鍵時運指画像の位置情報)等に基づいて、再生時刻Tにおけるオフセット画像付き運指画像を生成する。
オフセット画像付き運指画像は、運指位置情報に応じた手の形状及び指位置の座標に関する情報を元に、最大オフセット時の離鍵時運指画像と同一形状の運指影画像に対して、押鍵時運指画像と運指影画像、又は、離鍵時運指画像と運指影画像のいずれかを同時に表示することにより生成される。
オフセット画像付き運指画像の具体的な画像例及び生成手順については後述する。
The fingering image generation unit 15 is based on the information generated by the fingering position information generation unit 14 (position information of the fingering image when the key is pressed, position information of the fingering image when the key is released) and the like at the reproduction time T. A fingering image with an offset image is generated.
The fingering image with an offset image is based on information on the hand shape and finger position coordinates according to the fingering position information. The keying fingering image and the fingering shadow image, or the key releasing fingering image and the fingering shadow image are simultaneously displayed.
A specific image example and generation procedure of the fingering image with an offset image will be described later.

また、楽譜画像生成部16は、楽音・指番号情報記憶部11に記憶された情報に基づいて楽譜画像を生成する。   The musical score image generating unit 16 generates a musical score image based on the information stored in the musical tone / finger number information storage unit 11.

運指画像生成部15で作成された運指画像、及び、楽譜画像生成部16で作成された楽譜画像は、画像情報として画像情報記憶部17に記憶される。   The fingering image created by the fingering image generation unit 15 and the score image created by the score image generation unit 16 are stored in the image information storage unit 17 as image information.

表示装置17では、画像情報記憶部17に記憶された画像情報が表示される。
すなわち、楽譜の楽音に対応する押鍵情報に基づき、楽曲再生時に楽器を演奏する運指動画が画面に運指表示される。具体的な画像表示としては、図2に示すように、上段に楽譜が表示され、その下段に鍵盤、及び、楽譜の各楽音を両手で演奏するための運指画像が表示される。楽譜部分には、演奏の進行により五線部分を移動して再生時刻Tに対応するバーBARが表示され、運指画像は再生時刻の押鍵状態を描画する。押鍵された鍵は、色が変化するようになっている(図2では斜線で表示)。
また、楽譜に代えて、ピアノロールのような演奏情報を表示してもよい。
In the display device 17, the image information stored in the image information storage unit 17 is displayed.
That is, based on the key pressing information corresponding to the musical tone of the score, a fingering moving image for playing the musical instrument at the time of music playback is displayed on the screen. As a specific image display, as shown in FIG. 2, a score is displayed on the upper stage, and a keyboard and a fingering image for playing each musical tone of the score with both hands are displayed on the lower stage. In the musical score part, a bar BAR corresponding to the reproduction time T is displayed by moving the staff part according to the progress of the performance, and the fingering image draws the key depression state at the reproduction time. The key that is pressed changes its color (indicated by hatching in FIG. 2).
Further, performance information such as a piano roll may be displayed instead of the score.

再生情報生成部21は、楽音・指番号情報記憶部11に記憶された情報に基づいて、楽音の再生情報を生成する。再生情報としては、各楽音の発音開始時刻と発音終了時刻、音量、ノートナンバーのMIDI情報が作成される。
再生情報生成部21で作成された再生情報は再生情報記憶部22に記憶される。
サウンド生成部23では、再生情報に応じアナログ信号から成るサウンド情報が生成される。
The reproduction information generation unit 21 generates reproduction information of musical sounds based on the information stored in the musical tone / finger number information storage unit 11. As the reproduction information, MIDI information of the sound generation start time and sound generation end time, sound volume, and note number of each musical tone is created.
The reproduction information created by the reproduction information generation unit 21 is stored in the reproduction information storage unit 22.
The sound generator 23 generates sound information composed of analog signals according to the reproduction information.

サウンド再生部24では、サウンド情報に応じたアナログ信号が再生される。また、押鍵情報生成部12の押鍵情報の生成では、楽曲の再生時刻に応じた押鍵情報が生成されるように、サウンド再生部24からの時間情報が入力される。
サウンド出力装置25では、サウンド情報となるアナログ信号が増幅器及びスピーカを介して出力されることで音が再生される。
In the sound reproducing unit 24, an analog signal corresponding to the sound information is reproduced. In addition, in the key press information generation by the key press information generation unit 12, time information from the sound playback unit 24 is input so that key press information corresponding to the music playback time is generated.
The sound output device 25 reproduces sound by outputting an analog signal serving as sound information via an amplifier and a speaker.

上述した運指表示装置で表示されるオフセット画像付き運指画像について、図3〜図6を参照して説明する。
オフセット画像付き運指画像Xは、図3及び図5にそれぞれ示すように、再生時間において2種類の運指画像をオフセットさせて重ねて表示される。
図3は、右の人差し指で鍵盤のG音の単音を押鍵する場合の押鍵時のオフセット画像付き運指画像Xと、押鍵直前の離鍵時のオフセット画像付き運指画像Xを表している。
図5は、右の親指、中指、小指で鍵盤のA音・D音・F音の和音を押鍵する場合の押鍵時のオフセット画像付き運指画像Xと、押鍵直前の離鍵時のオフセット画像付き運指画像Xを表している。
各運指画像は、手の甲及び各指の幾何学的形状による2次的な運指表示手法により、現在再生時における手の甲と各指の位置と形状により構成される。
The fingering image with an offset image displayed on the above-described fingering display device will be described with reference to FIGS.
As shown in FIGS. 3 and 5, the fingering image X with an offset image is displayed with two types of fingering images offset and superimposed in the reproduction time.
FIG. 3 shows a fingering image X with an offset image when a key is pressed when the G key of the keyboard is pressed with the right index finger, and a fingering image X with an offset image when the key is released just before the key is pressed. ing.
FIG. 5 shows a fingering image X with an offset image when a key is pressed with the right thumb, middle finger, and little finger, and when the key is released just before the key is pressed. This represents a fingering image X with an offset image.
Each fingering image is composed of the back of the hand and the position and shape of each finger at the time of the current reproduction by a secondary fingering display method based on the back of the hand and the geometric shape of each finger.

図3の単音を押鍵する場合の各オフセット画像付き運指画像(押鍵時、離鍵時)Xは、図4に示される離鍵時運指画像(画像A)、押鍵時運指画像(画像B)、押鍵時運指影画像(画像C)を元に生成される。
画像Aと画像Bは、押鍵する指部分のみ異なる形状となっている。すなわち、単音の場合、押鍵指だけが上下し、その他の指と手は上下しないため、画像Aと画像Bは最大オフセット時以外は異なる形状となる。そして、画像Bは、単音の押鍵時に押鍵指の先端位置のみ画像Cの先端位置と一致するような異形状とすることで、見た目も自然な押鍵表示を行うことが可能となる。
The fingering images with offset images (at the time of key pressing and key release) X when pressing a single sound in FIG. 3 are the fingering images at the time of key release (image A) shown in FIG. It is generated based on the image (image B) and the keying fingering shadow image (image C).
Image A and image B have different shapes only in the finger portion to be pressed. That is, in the case of a single sound, only the key pressing finger moves up and down, and the other fingers and the hand do not move up and down, so the images A and B have different shapes except at the maximum offset. The image B has a different shape so that only the tip position of the keying finger coincides with the tip position of the image C when a single key is pressed, so that a natural key press display can be performed.

また、画像Aと画像Bの色調は、肌色などの明色系が好ましい。画像Cの色調は、画像Aのドロップシャドウと分かるように、黒色などの暗色系でしかも下にある鍵盤が見えるように透過表示するのが好ましい。
押鍵時には、押鍵中の指の先端付近に押鍵中マークPが表示される。
押鍵時には、押鍵中の指の色を指の先端ほど暗い色調で表示されるようにすることで、いかにも押鍵しているように見える。
離鍵時には、次に押鍵する指の先端付近に押鍵準備マークQが表示される。
Further, the color tone of the images A and B is preferably a light color system such as skin color. As can be seen from the drop shadow of image A, the color tone of image C is preferably displayed in a transparent manner so that the keyboard below can be seen in a dark color system such as black.
During key pressing, a key pressing mark P is displayed near the tip of the finger being pressed.
When the key is pressed, the color of the finger being pressed is displayed in a darker tone toward the tip of the finger, making it appear that the key is being pressed.
When the key is released, a key press preparation mark Q is displayed near the tip of the finger to be pressed next.

離鍵時(押鍵直前)のオフセット画像付き運指画像Xは、画像Cに対してオフセットされた画像Aが画像Cの上側に表示される。画像Aは、次に押鍵する指位置を押鍵準備マークQで示すとともに、次に押鍵する場合の楽音の音量に対応したオフセット位置に表示されることで、押鍵時の音量の大小を見た目で指示することができる。
このとき、次の押鍵までの残り時間に応じて押鍵指の先端位置のオフセット量を徐々に減らしていき、押鍵時にオフセット量がゼロ(つまり画像Cの押鍵指の先端位置と画像Aの押鍵指の先端位置が一致)になるように変化させる。
単音押鍵時のオフセット画像付き運指画像Xは、画像Cに対してオフセットされた画像Bが画像Cの上側に表示される。画像Cに対する画像Bのオフセット量は、離鍵時とほぼ同じでわずかに小さい値にするのがよい。これは、押鍵したことを少しでもわかりやすくするためである。
In the fingering image X with an offset image when the key is released (immediately before the key is pressed), the image A offset with respect to the image C is displayed on the upper side of the image C. In the image A, the position of the finger to be pressed next is indicated by the key pressing preparation mark Q and displayed at an offset position corresponding to the volume of the musical sound when the key is pressed next, so that the volume level when the key is pressed is small or large. Can be instructed visually.
At this time, the offset amount of the tip position of the key pressing finger is gradually reduced according to the remaining time until the next key pressing, and the offset amount is zero when the key is pressed (that is, the tip position of the key pressing finger in the image C and the image The tip position of the A key pressing finger is matched).
In the fingering image X with an offset image when a single key is pressed, an image B offset with respect to the image C is displayed on the upper side of the image C. The offset amount of the image B with respect to the image C is preferably the same as that at the time of key release and slightly smaller. This is to make it easier to understand that the key has been pressed.

図5の和音を押鍵する場合の各運指画像(押鍵時、離鍵時)についても、単音時と同様に、図6の離鍵時運指画像(画像A)、押鍵時運指画像(画像B)、運指影画像(画像C)を元に生成される。画像Aと画像Bは、単音の場合と異なり同一形状となっている。すなわち、和音の場合、手の甲と全ての指が一体となって上下動する指使いをするため、画像Aと画像Bは同形状となる。   For each fingering image when pressing the chord in FIG. 5 (at the time of key pressing and key release), the fingering image at the time of key release (image A) in FIG. It is generated based on the finger image (image B) and the fingering shadow image (image C). Image A and image B have the same shape, unlike the case of a single sound. That is, in the case of chords, the back of the hand and all the fingers move together to move up and down, so the images A and B have the same shape.

和音離鍵時(押鍵直前)のオフセット画像付き運指画像Xは、画像Cに重ねてオフセットされた画像Aが表示される。画像Aは、次に押鍵する指位置を示すとともに、押鍵する場合の楽音の音量に対応したオフセット位置に表示されることで、押鍵時の音量の大小を見た目で指示することができる。
このとき、次の押鍵までの残り時間に応じてオフセット量を徐々に減らしていき、押鍵時にオフセット量が最小(つまり押鍵時のオフセット量)になるように移行させる。
和音押鍵中の押鍵指の押鍵マークや押鍵指の色調、和音離鍵時の次の押鍵指の押鍵準備マーク、各画像の色調などは、単音の場合と同様である。
押鍵時の運指画像は、画像Cに対してオフセットされた画像Bが画像Cの上側に表示される。画像Cに対する画像Bのオフセット量は、非常に小さい値になっている。このオフセット量は、予め設定された値(単音の場合と同じ値、又は、異なる値でも良い)となっている。オフセット量をゼロにしないのは、鍵盤上の指をより見やすくするためである。
As the fingering image X with an offset image at the time of chord release (immediately before the key is pressed), an image A offset by being superimposed on the image C is displayed. The image A shows the finger position to be pressed next, and is displayed at an offset position corresponding to the volume of the musical sound when the key is pressed, so that it can be instructed visually by the volume level when the key is pressed. .
At this time, the offset amount is gradually reduced according to the remaining time until the next key pressing, and the shift is made so that the offset amount becomes the minimum (that is, the offset amount at the time of the key pressing) when the key is pressed.
The key depression mark and key tone of the key pressing finger during chord depression, the key depression preparation mark of the next key depression finger when the chord is released, and the color tone of each image are the same as in the case of a single tone.
As the fingering image when the key is pressed, an image B offset from the image C is displayed on the upper side of the image C. The offset amount of the image B with respect to the image C is a very small value. This offset amount is a preset value (may be the same value as in the case of a single tone or a different value). The reason for not making the offset amount zero is to make it easier to see the fingers on the keyboard.

また、図3と図5の押鍵時の運指画像(図4の画像B及び図6の画像B)においては、押鍵指(図3及び図4では人差し指、図5及び図6では親指と中指と小指)について、指が関節で折れている感じを表現するため、関節接部分で色調が二段階に変化し、先端側になるにしたがい暗い色調となっている。   Further, in the fingering images at the time of key pressing in FIGS. 3 and 5 (image B in FIG. 4 and image B in FIG. 6), the key pressing finger (the index finger in FIGS. 3 and 4 and the thumb in FIGS. 5 and 6). In order to express the feeling that the finger is broken at the joint, the color tone changes in two stages at the joint contact portion, and the color tone becomes darker toward the tip side.

離鍵時のオフセット画像付き運指画像Xにおける画像Cに対する画像Aのオフセット方向は、図7に示すように、左手は左上方向、右手は右上方向が自然に見えるが、これに限定するものではなく他の方向にオフセットされるものであってもよい。   As shown in FIG. 7, the offset direction of the image A with respect to the image C in the fingering image X with the offset image at the time of releasing the key looks natural in the upper left direction for the left hand and the upper right direction for the right hand, but is not limited to this. Alternatively, it may be offset in another direction.

また、図8(a)(b)に示すように、音量が大きいほどオフセット量を大きくすることで、強打と弱打を視覚的に伝わりやすくすることができる。すなわち、図8(a)の弱打の時より、図8(b)の強打の時の方が、離鍵時の最大オフセット量を大きくして画像Cに対する画像Aのずれを大きくすることで、押鍵による音量が大きいほど手を高い位置から降ろすことが直感的にわかるように表示することができる。   Further, as shown in FIGS. 8 (a) and 8 (b), the larger the volume, the larger the offset amount, thereby making it easier to visually convey the strong hit and the weak hit. That is, the maximum offset amount at the time of key release is increased and the shift of the image A with respect to the image C is increased in the case of the strong hit in FIG. 8B than in the case of the weak hit in FIG. It is possible to display so that it is intuitively understood that the higher the sound volume by pressing the key, the lower the hand from a higher position.

次に、図1の運指位置情報生成部14及び運指画像生成部15において、運指位置情報からオフセット画像付き運指画像を生成する処理手順について、図9のフローチャートを参照して説明する。
運指表示装置では、格納された運指表示プログラムにより、再生時刻における押鍵情報を元に画像A,画像B,画像Cを描画するための運指位置情報が生成され、これらの運指位置情報を元にオフセット画像付き運指画像が生成されて表示装置18に描画される。押鍵情報には、音量に関する情報も含まれている。
Next, a processing procedure for generating a fingering image with an offset image from the fingering position information in the fingering position information generation unit 14 and the fingering image generation unit 15 of FIG. 1 will be described with reference to the flowchart of FIG. .
In the fingering display device, the stored fingering display program generates fingering position information for drawing the images A, B, and C based on the key pressing information at the reproduction time, and these fingering positions are generated. A fingering image with an offset image is generated based on the information and drawn on the display device 18. The key press information includes information related to the volume.

先ず、鍵盤幅に対する相対長さ、手の甲からの相対位置である各指と手の甲の形状に関する情報、押鍵時間、音量値などオフセット画像付き運指画像Xの描画に必要な情報が読み取られる(ステップ41)。
次に、ステップ41の押鍵情報から画像Cを描画するための運指位置情報が作成される(ステップ42)。画像Cの表示色は暗色系とする。
First, information necessary for drawing the fingering image X with an offset image, such as the relative length with respect to the keyboard width, the information on the shape of each finger and the back of the hand, which is the relative position from the back of the hand, the key pressing time, and the volume value is read (step 41).
Next, fingering position information for drawing the image C is created from the key pressing information in step 41 (step 42). The display color of the image C is a dark color system.

押鍵時には音量値を、離鍵時には次の押鍵時における音量値を取得し(ステップ43)、押鍵時刻を取得しておく(ステップ44)。
再生時刻が押鍵中であるかどうかを判断する(ステップ45)。押鍵中である場合には、和音の押鍵であるかを判断する(ステップ46)。そして、和音の押鍵中であれば、押鍵情報から画像Aを描画するための運指位置情報が作成されて画像Aが描画される(ステップ47)。和音の場合、画像Aは、画像Cと同じ形状(手の甲及び指が同一形状)の画像であるが、表示色が明色系で、押鍵指は離鍵指よりも暗い色調で表示される。
When the key is pressed, the volume value is acquired. When the key is released, the volume value at the time of the next key pressing is acquired (step 43), and the key pressing time is acquired (step 44).
It is determined whether or not the reproduction time is being depressed (step 45). If the key is being depressed, it is determined whether the key is a chord (step 46). If the chord is being depressed, fingering position information for rendering the image A is created from the key depression information, and the image A is rendered (step 47). In the case of a chord, the image A is an image having the same shape as the image C (the back of the hand and the finger have the same shape), but the display color is light and the key pressing finger is displayed in a darker tone than the key release finger. .

和音の押鍵中でない(単音の押鍵中の)場合は、音量値に応じたオフセット座標を取得し(ステップ48)、押鍵情報から画像Bを描画するための運指位置情報が作成され、オフセット位置に画像Bが描画される(ステップ49)。
画像Bは、画像Cに対して一部が異なる形状(押鍵する指位置が異なる形状)の画像であり、表示色は画像Aと同じ明色系となる。また押鍵指は離鍵指よりも暗い色調で表示される。
If a chord is not being pressed (a single key is being pressed), an offset coordinate corresponding to the volume value is acquired (step 48), and fingering position information for drawing the image B is created from the key pressing information. Then, the image B is drawn at the offset position (step 49).
The image B is an image having a partly different shape from that of the image C (a shape with different key positions for pressing keys), and the display color is the same bright color as that of the image A. The key pressing finger is displayed in a darker tone than the key releasing finger.

和音が押鍵されている画像A及び単音が押鍵されている画像Bの押鍵指位置に押鍵中マークを描画し(ステップ50)、画像Cに重ねて画像Aを表示する(ステップ60)。すなわち、単音の押鍵時であれば図3のオフセット画像付き運指画像Xが表示され、和音の押鍵時であれば図5のオフセット画像付き運指画像Xが表示される。
これらの場合、画像Aまたは画像Bは、画像Cに対して座標がオフセットされた位置に表示され、その位置は、右手で運指画像の描画を行う場合については、画像Cに対して画像Aまたは画像Bが右上位置にずれて表示される。離鍵時のオフセット量は、次の押鍵までの残り時間に応じて徐々に小さくなり、押鍵時に最小オフセット量となる。
また、押鍵中マークPは、例えば、押鍵指の先端に丸印で表示されている。
A key pressing mark is drawn at the key pressing finger position of the image A where the chord is pressed and the image B where the single key is pressed (step 50), and the image A is displayed over the image C (step 60). ). That is, the fingering image X with an offset image of FIG. 3 is displayed when a single key is pressed, and the fingering image X with an offset image of FIG. 5 is displayed when a chord is pressed.
In these cases, the image A or the image B is displayed at a position where the coordinates are offset with respect to the image C. The position is the image A with respect to the image C when the fingering image is drawn with the right hand. Alternatively, the image B is displayed shifted to the upper right position. The offset amount when the key is released gradually decreases according to the remaining time until the next key pressing, and becomes the minimum offset amount when the key is pressed.
Further, the key pressing mark P is displayed as a circle at the tip of the key pressing finger, for example.

ステップ45で再生時刻が押鍵中でない(離鍵時)の場合、次の押鍵時の音量値に応じたオフセット座標を取得し(ステップ51)、押鍵情報(単音、和音)から画像Aを描画するための運指位置情報が作成され、画像Aが描画される(ステップ52)。
次の押鍵が和音の場合の画像Aは、画像Cと同じ形状(手の甲及び指が同一形状)の画像である。一方、次の押鍵が単音の場合の画像Aは、オフセット最大時には画像Cと同じ形状の画像であり、押鍵までの残り時間に応じて徐々に画像Bの形状に移行する画像である。また、表示色は明色系で、押鍵指は離鍵指よりも暗い色調で表示される。
If it is determined in step 45 that the playback time is not being depressed (during key release), an offset coordinate corresponding to the volume value at the time of the next key depression is obtained (step 51), and the image A is obtained from the key depression information (single tone, chord). Fingering position information for drawing is created, and image A is drawn (step 52).
The image A when the next key press is a chord is an image having the same shape as the image C (the back of the hand and the finger have the same shape). On the other hand, when the next key depression is a single sound, the image A is an image having the same shape as the image C when the offset is maximum, and gradually transitions to the shape of the image B according to the remaining time until the key depression. Also, the display color is light color, and the key pressing finger is displayed in a darker tone than the key releasing finger.

離鍵時の画像Aの次期押鍵指位置に押鍵準備マーク(単音又は和音)を描画し(ステップ53)、画像Cに重ねて画像Aを表示する(ステップ60)。すなわち、単音が次期押鍵であれば図3の離鍵時運指画像が表示され、和音が次期押鍵であれば図5の離鍵時運指画像が表示される。
これら場合、画像Aは、画像Cに対してステップ51で取得したオフセットされた位置(オフセット座標)に表示され、その位置は、右手で運指画像の描画を行う場合については、画像Cに対して画像Aが右上位置にずれて表示される。逆に左手で運指画像の描画を行う場合は、画像Cに対して画像Aが左上位置にずれて表示される。
また、押鍵準備マークQは、例えば、押鍵中マークと区別できる色で押鍵予定の指の先端に丸印で表示されている。または、丸印に代えて、押鍵中マークと区別できる形状で表示してもよい。
A key pressing preparation mark (single tone or chord) is drawn at the position of the next key pressing finger of the image A when the key is released (step 53), and the image A is displayed over the image C (step 60). In other words, if the single key is the next key press, the key release image of FIG. 3 is displayed, and if the chord is the next key press, the key release image of FIG. 5 is displayed.
In these cases, the image A is displayed at the offset position (offset coordinates) acquired in step 51 with respect to the image C, and the position is the same as the image C when the fingering image is drawn with the right hand. Thus, the image A is displayed shifted to the upper right position. Conversely, when the fingering image is drawn with the left hand, the image A is displayed with a shift to the upper left position with respect to the image C.
The key press preparation mark Q is displayed in a circle at the tip of a finger that is scheduled to be pressed, for example, in a color that can be distinguished from the key pressed mark. Alternatively, it may be displayed in a shape that can be distinguished from the key depression mark instead of the circle.

上述した運指表示装置及び運指表示プログラムによれば、楽音再生時において、シンプルな運指表示を通じて、弱打から強打まで音量の変化を視覚的に練習者に伝えることができる。これは、音楽の重要な芸術表現である、楽曲のダイナミックさを目でも感じ取るのに有効である。
また、手や指のアップダウンを視覚的に表現することにより、離鍵からの押鍵タイミングを、単に押鍵する鍵の色を変化させるだけよりも、より効果的に知らせることができる。特に、運指表示が単音である場合に、押鍵する指だけが動くのが分かりやすく自然である。
更に、現在押鍵すべき指が押鍵中マークPで表示されるとともに、次に押鍵する指についても押鍵準備マークQで表示されるので、運指の先読みを可能とすることができる。
前述の実施例は、シンプルな2次元幾何学図形の運指画像であったが、これに限らず3次元座標系に位置する手の甲や指のポリゴンデータを基に、ジオメトリ処理によってポリゴン立体モデル座標をスクリーン座標に変換した後、レンダリング処理によってポリゴンにテクスチャ画像を貼り付けた運指画像や運指影画像であってもよい。
According to the fingering display device and the fingering display program described above, a change in volume from a weak hit to a strong hit can be visually transmitted to a practitioner through a simple fingering display during musical tone reproduction. This is effective for visualizing the dynamics of music, an important artistic expression of music.
In addition, by visually expressing the up and down of the hands and fingers, it is possible to notify the key pressing timing from the key release more effectively than simply changing the color of the key to be pressed. In particular, when the fingering display is a single note, it is natural and easy to understand that only the finger that presses the key moves.
Further, the finger to be pressed now is displayed with the key pressing mark P, and the finger to be pressed next is also displayed with the key pressing preparation mark Q, so that it is possible to pre-read the fingering. .
In the above-described embodiment, the fingering image of a simple two-dimensional geometric figure is used. However, the present invention is not limited to this, and based on polygon data of the back of the hand and fingers located in the three-dimensional coordinate system, the polygon three-dimensional model coordinates are obtained by geometry processing. May be a fingering image or a fingering shadow image in which a texture image is pasted on a polygon by a rendering process after converting to a screen coordinate.

11…楽音・指番号情報記憶部
12…押鍵情報生成部
13…押鍵情報記憶部
14…運指位置情報生成部
15…運指画像生成部
16…楽譜画像生成部
17…画像情報記憶部
18…表示装置
21…再生情報生成部
22…再生情報記憶部
23…サウンド生成部
24…サウンド再生部
25…サウンド出力装置
A…離鍵時運指画像
B…押鍵時運指画像
C…運指影画像
P…押鍵中マーク
Q…押鍵準備マーク
X…オフセット画像付き運指画像
DESCRIPTION OF SYMBOLS 11 ... Musical tone / finger number information storage part 12 ... Key pressing information generation part 13 ... Key pressing information storage part 14 ... Fingering position information generation part 15 ... Fingering image generation part 16 ... Musical score image generation part 17 ... Image information storage part DESCRIPTION OF SYMBOLS 18 ... Display apparatus 21 ... Reproduction information generation part 22 ... Reproduction information storage part 23 ... Sound generation part 24 ... Sound reproduction part 25 ... Sound output device A ... Fingering image at the time of key release B ... Fingering image at the time of key depression C ... Luck Finger shadow image P ... Mark during pressing Q ... Key preparation mark X ... Fingering image with offset image

Claims (10)

楽曲の押鍵情報に基づき楽曲再生時に鍵盤楽器を演奏する運指動画を描画して画面に運指表示するプログラムであって、
前記楽曲再生時の再生時刻に対応する運指位置情報を元に運指描画を生成するに際して、
前記再生時刻における押鍵時の押鍵時運指画像と、前記押鍵直前の離鍵時の離鍵時運指画像と、暗色系の運指影画像とを作成し、
前記押鍵時運指画像と前記運指影画像、又は、前記離鍵時運指画像と前記運指影画像のいずれかを同時に表示するとともに、
前記運指影画像に対して前記離鍵時運指画像を次の押鍵時の音量の大きさに応じてオフセット量が大きくなるように表示する
機能をコンピュータに実行させることを特徴とする運指表示プログラム。
A program that draws a fingering video to play a keyboard instrument during music playback based on key press information of the music and displays the fingering on the screen,
When generating the fingering drawing based on the fingering position information corresponding to the playback time at the time of the music playback,
Creating a fingering image at the time of key depression at the time of reproduction, a fingering image at the time of key release immediately before the key depression, and a dark-colored fingering shadow image;
While simultaneously displaying either the keying fingering image and the fingering shadow image, or the key release fingering image and the fingering shadow image,
An operation for causing the computer to execute a function of displaying the fingering image when the key is released with respect to the fingering shadow image so that an offset amount increases in accordance with a volume level when the key is pressed next time. Finger display program.
和音の押鍵時においては、前記押鍵時運指画像と前記離鍵時運指画像とを同一形状の画像で生成する請求項1に記載の運指表示プログラム。   The fingering display program according to claim 1, wherein when a chord is pressed, the keying image at the time of key pressing and the fingering image at the time of key release are generated as images having the same shape. 単音の押鍵時においては、前記押鍵時運指画像と前記離鍵時運指画像とを押鍵指だけが異なる画像で生成する請求項1に記載の運指表示プログラム。   The fingering display program according to claim 1, wherein, when a single key is pressed, the fingering image at the time of key pressing and the fingering image at the time of key release are generated as images different only in the key pressing finger. 前記押鍵時運指画像及び離鍵時運指画像が明色系である請求項1に記載の運指表示プログラム。   The fingering display program according to claim 1, wherein the keying image at the time of key depression and the fingering image at the time of key release are light-colored. 前記運指影画像に対する前記押鍵時運指画像又は前記離鍵時運指画像のオフセット位置は、右手については右上側に、左手については左上側である請求項1に記載の運指表示プログラム。   The fingering display program according to claim 1, wherein an offset position of the fingering image at the time of pressing or the fingering image at the time of releasing the key with respect to the fingering shadow image is an upper right side for the right hand and an upper left side for the left hand. . 前記離鍵時運指画像における次に押鍵する指の先端付近に押鍵準備マークを表示する請求項1に記載の運指表示プログラム。   The fingering display program according to claim 1, wherein a key pressing preparation mark is displayed near a tip of a finger to be pressed next in the fingering image at the time of key release. 前記押鍵時運指画像における押鍵中の指の先端付近に押鍵中マークを表示する請求項1に記載の運指表示プログラム。   The fingering display program according to claim 1, wherein a key-pressing mark is displayed near a tip of a finger being pressed in the keying-time fingering image. 前記押鍵時運指画像における押鍵中の指の色調は、前記押鍵時運指画像における離鍵中の指より暗い色調で表示する請求項1に記載の運指表示プログラム。   The fingering display program according to claim 1, wherein the color tone of a finger being pressed in the keying image at the time of key pressing is displayed in a darker color tone than the finger being released from the fingering image at the time of key pressing. 押鍵時の音量に対する前記オフセット量を、押鍵されるまでの残り時間に応じて徐々に変化させる請求項1乃至請求項8に記載の運指表示プログラム。   The fingering display program according to any one of claims 1 to 8, wherein the offset amount with respect to the sound volume when the key is pressed is gradually changed according to a remaining time until the key is pressed. 楽曲の押鍵情報に基づき楽曲再生時に鍵盤楽器を演奏する運指動画を描画して画面に運指表示する運指表示装置において、
運指表示を行うための運指情報が記憶された楽音・指番号情報記憶部と、
前記運指情報から押鍵情報を生成する押鍵情報生成部と
前記押鍵情報から運指位置情報を生成する運指位置情報生成部と、
前記運指位置情報から前記楽曲再生時の再生時刻の運指画像を生成するに際して、前記再生時刻における押鍵時の押鍵時運指画像と、前記押鍵直前の離鍵時の離鍵時運指画像と、暗色系の運指影画像とを作成し、前記押鍵時運指画像と前記運指影画像、又は、前記離鍵時運指画像と前記運指影画像のいずれかを同時に表示するとともに、前記運指影画像に対して前記離鍵時運指画像を次の押鍵時の音量の大きさに応じてオフセット量が大きくなり、次に押鍵されるまでの残り時間に応じて徐々に前記オフセット量を変化させるようにオフセット表示するオフセット画像付き運指画像を生成する運指画像生成部と、
前記運指画像生成部で生成された運指画像を表示する表示装置と、
を備えることを特徴とする運指表示装置。
In a fingering display device that draws a fingering video that plays a keyboard instrument during music playback based on key pressing information of the music and displays the fingering on the screen,
A musical tone / finger number information storage unit storing fingering information for performing fingering display;
A key pressing information generating unit that generates key pressing information from the fingering information; a fingering position information generating unit that generates fingering position information from the key pressing information;
When generating a fingering image at the playback time at the time of playing the music from the fingering position information, the keying image at the time of key pressing at the playback time and the key release time at the time of key release just before the key pressing A fingering image and a dark-colored fingering shadow image are created, and the keying fingering image and the fingering shadow image when the key is pressed, or the fingering image and the fingering shadow image when the key is released At the same time, the amount of offset is increased according to the volume of the next key depression, and the remaining time until the next key depression A fingering image generation unit that generates a fingering image with an offset image for offset display so as to gradually change the offset amount according to
A display device for displaying a fingering image generated by the fingering image generation unit;
A fingering display device comprising:
JP2018066413A 2018-03-29 2018-03-30 Fingering display device and fingering display program Active JP7092537B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018066413A JP7092537B2 (en) 2018-03-30 2018-03-30 Fingering display device and fingering display program
US16/361,619 US10810984B2 (en) 2018-03-29 2019-03-22 Fingering display device and fingering display program
DE102019204152.3A DE102019204152A1 (en) 2018-03-29 2019-03-26 Fingering display device and fingering display program
CN201910232188.5A CN110322861B (en) 2018-03-29 2019-03-26 Finger display device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018066413A JP7092537B2 (en) 2018-03-30 2018-03-30 Fingering display device and fingering display program

Publications (2)

Publication Number Publication Date
JP2019179062A true JP2019179062A (en) 2019-10-17
JP7092537B2 JP7092537B2 (en) 2022-06-28

Family

ID=68278500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018066413A Active JP7092537B2 (en) 2018-03-29 2018-03-30 Fingering display device and fingering display program

Country Status (1)

Country Link
JP (1) JP7092537B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04360278A (en) * 1991-06-07 1992-12-14 Fujitsu Ltd Display control device
JPH1039739A (en) * 1996-07-23 1998-02-13 Nippon Steel Corp Performance reproduction device
JP2001324919A (en) * 2000-03-24 2001-11-22 Casio Comput Co Ltd Performance operation display device, and recording medium
JP2002082666A (en) * 2000-09-06 2002-03-22 Yamaha Corp Fingering formation display method, fingering formation display device and recording medium
JP2002366142A (en) * 2001-06-08 2002-12-20 Yamaha Corp Music playing support device
JP2003066957A (en) * 2001-08-27 2003-03-05 Casio Comput Co Ltd Performance practice device and performance practice processing program
JP2004118165A (en) * 2002-09-30 2004-04-15 Casio Comput Co Ltd Hand shape display device, musical performance guiding device, hand shape display program, and musical performance guiding program
JP2004198761A (en) * 2002-12-19 2004-07-15 Casio Comput Co Ltd Musical performance training apparatus and program for musical performance training processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04360278A (en) * 1991-06-07 1992-12-14 Fujitsu Ltd Display control device
JPH1039739A (en) * 1996-07-23 1998-02-13 Nippon Steel Corp Performance reproduction device
JP2001324919A (en) * 2000-03-24 2001-11-22 Casio Comput Co Ltd Performance operation display device, and recording medium
JP2002082666A (en) * 2000-09-06 2002-03-22 Yamaha Corp Fingering formation display method, fingering formation display device and recording medium
JP2002366142A (en) * 2001-06-08 2002-12-20 Yamaha Corp Music playing support device
JP2003066957A (en) * 2001-08-27 2003-03-05 Casio Comput Co Ltd Performance practice device and performance practice processing program
JP2004118165A (en) * 2002-09-30 2004-04-15 Casio Comput Co Ltd Hand shape display device, musical performance guiding device, hand shape display program, and musical performance guiding program
JP2004198761A (en) * 2002-12-19 2004-07-15 Casio Comput Co Ltd Musical performance training apparatus and program for musical performance training processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
村松 昇: "ピアノ演奏CGアニメーションの自動生成", 情報処理学会 研究報告 音楽情報科学(MUS) 2013−MUS−99 [ONLINE], JPN6022003237, 4 May 2013 (2013-05-04), JP, pages 1 - 5, ISSN: 0004697877 *

Also Published As

Publication number Publication date
JP7092537B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
US8961309B2 (en) System and method for using a touchscreen as an interface for music-based gameplay
JP5198766B2 (en) Recording method of metronome and beat interval corresponding to tempo change
JP6724879B2 (en) Reproduction control method, reproduction control device, and program
CN110322861B (en) Finger display device and storage medium
CN112203114B (en) Collaborative playing method, system, terminal device and storage medium
JP3728942B2 (en) Music and image generation device
JP3594777B2 (en) Electronic musical instruments and storage media
WO2017125006A1 (en) Rhythm controllable method of electronic musical instrument, and improvement of karaoke thereof
JPH11296168A (en) Performance information evaluating device, its method and recording medium
JP2014200454A (en) Recording medium, game device and game progress method
JP2004271783A (en) Electronic instrument and playing operation device
JP7092537B2 (en) Fingering display device and fingering display program
WO2019092791A1 (en) Data generation device and program
JP6411412B2 (en) Program, game apparatus, and game progress method
JP7107720B2 (en) fingering display program
JP2002175071A (en) Playing guide method, playing guide device and recording medium
JP2007178697A (en) Musical performance evaluating device and program
JP7008560B2 (en) Fingering display device and fingering display program
JP7107719B2 (en) fingering display program
WO2014174621A1 (en) Recording medium, gaming apparatus and game progress method
JP4069892B2 (en) Musical amusement system
JP5773956B2 (en) Music performance apparatus, music performance control method, and program
JP4337288B2 (en) Performance operation display device and program
JP7219559B2 (en) Musical instrument performance practice device and musical instrument performance practice program
JP7338669B2 (en) Information processing device, information processing method, performance data display system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220616

R150 Certificate of patent or registration of utility model

Ref document number: 7092537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150