JP2022096204A - Music score generator and program - Google Patents

Abstract

To generate a percussion score.SOLUTION: A music score generator 2000 acquires video data 20. The video data 20 is generated by capturing a performance of a target music piece performed using a target percussion instrument 30 with a camera 10. The musical score generator 2000 analyzes the video data 20 to identify performance points of the target percussion instrument 30 played at each of a plurality of time points. Based on the results of the above identification, the music score generator 2000 generates music score information 40 of the performance of the target music piece utilizing the target percussion instrument 30. The musical score information 40 represents, for each of the plurality of time points, the performance part to be performed at the time point.SELECTED DRAWING: Figure 1

Description

本発明は、楽器演奏の譜面を生成する技術に関する。 The present invention relates to a technique for generating a musical score for playing a musical instrument.

楽器を演奏するための譜面を生成するシステムが開発されている。特許文献１は、ピアノとギターを対象として、これらの楽器の演奏が撮像された画像から楽譜情報を生成する技術を開示している。 A system has been developed to generate musical scores for playing musical instruments. Patent Document 1 discloses a technique for generating musical score information from an image in which the performance of these musical instruments is captured for a piano and a guitar.

特開２０２０－０４６５００号公報Japanese Unexamined Patent Publication No. 2020-046500

特許文献１には、打楽器の譜面を生成する技術が開示されていない。本開示は、このような課題を解決するためになされたものであり、その目的は、打楽器の譜面を生成する技術を提供することである。 Patent Document 1 does not disclose a technique for generating a musical score of a percussion instrument. The present disclosure has been made to solve such a problem, and an object thereof is to provide a technique for generating a musical score of a percussion instrument.

本開示のプログラムは、複数の演奏箇所を有する対象打楽器を利用して行われた、対象楽曲の演奏が含まれるビデオデータを取得する取得処理と、前記ビデオデータを解析することで、複数の時点それぞれについて、その時点に演奏された前記演奏箇所を特定する特定処理と、前記特定処理の結果に基づき、前記対象打楽器を利用する前記対象楽曲の演奏の譜面情報として、複数の時点それぞれについて、その時点に演奏すべき前記演奏箇所を表す情報を生成する生成処理と、をコンピュータに実行させる。 The program of the present disclosure is performed by using a target hitting instrument having a plurality of performance points, an acquisition process for acquiring video data including the performance of the target music, and analysis of the video data at a plurality of time points. For each of the specific processes for specifying the performance location played at that time, and based on the result of the specific process, the musical score information of the performance of the target music using the target hitting instrument is used for each of the plurality of time points. A computer is made to execute a generation process for generating information indicating the performance location to be played at a time point.

本開示の譜面生成装置は、複数の演奏箇所を有する対象打楽器を利用して行われた、対象楽曲の演奏が含まれるビデオデータを取得する取得部と、前記ビデオデータを解析することで、複数の時点それぞれについて、その時点に演奏された前記演奏箇所を特定する特定部と、前記特定処理の結果に基づき、前記対象打楽器を利用する前記対象楽曲の演奏の譜面情報として、複数の時点それぞれについて、その時点に演奏すべき前記演奏箇所を表す情報を生成する生成部と、を有する。 The musical score generation device of the present disclosure includes a plurality of acquisition units for acquiring video data including the performance of the target music performed by using the target musical instrument having a plurality of performance points, and analyzing the video data. For each of the time points, as the musical score information of the performance of the target music using the target hitting instrument based on the specific unit that specifies the performance location played at that time and the result of the specific processing, each of the plurality of time points. , A generation unit that generates information representing the performance location to be played at that time.

本発明によれば、打楽器の譜面を生成する技術が提供される。 According to the present invention, there is provided a technique for generating a musical score of a percussion instrument.

実施形態１の譜面生成装置の概要を例示する図である。It is a figure which illustrates the outline of the musical score generation apparatus of Embodiment 1. FIG. 実施形態１の譜面生成装置の機能構成を例示するブロック図である。It is a block diagram which illustrates the functional structure of the musical score generation apparatus of Embodiment 1. FIG. 譜面生成装置を実現するコンピュータのハードウエア構成を例示するブロック図である。It is a block diagram which illustrates the hardware composition of the computer which realizes the musical score generation apparatus. 譜面生成装置の利用態様を例示する図である。It is a figure which illustrates the use mode of the musical score generation apparatus. 実施形態１の譜面生成装置によって実行される処理の流れを例示するフローチャートである。It is a flowchart which illustrates the flow of the process executed by the musical score generation apparatus of Embodiment 1. FIG. 演奏情報をテーブル形式で例示する図である。It is a figure exemplifying the performance information in a table format. テーブル形式の譜面情報を例示する図である。It is a figure exemplifying the musical score information in a table format. ドラムセットに含まれる各演奏箇所と音符の縦方向の位置との対応を例示する図である。It is a figure exemplifying the correspondence between each performance part included in a drum set, and the vertical position of a note. 譜面テーブルの各レコードに対応する音符の位置を特定する方法を説明するための図である。It is a figure for demonstrating the method of specifying the position of the note corresponding to each record of a musical score table. 演奏に利用された手の情報を含む演奏情報を例示する図である。It is a figure which illustrates the performance information including the information of the hand used for the performance. 演奏に利用された手の情報を含む譜面情報を例示する図である。It is a figure which illustrates the musical score information including the information of the hand used for the performance. 演奏に利用されたツールの情報を含む演奏情報を例示する図である。It is a figure exemplifying the performance information including the information of the tool used for the performance. 演奏に利用されたツールの情報を含む譜面情報を例示する図である。It is a figure which illustrates the musical score information including the information of the tool used for a performance. 演奏方法の情報を含む演奏情報を例示する図である。It is a figure which illustrates the performance information including the information of the performance method. 演奏方法の情報を含む譜面情報４０を例示する図である。It is a figure which illustrates the musical score information 40 including the information of the playing method.

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置などに予め格納されている。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings. In each drawing, the same or corresponding elements are designated by the same reference numerals, and duplicate explanations are omitted as necessary for the sake of clarity of explanation. Further, unless otherwise specified, predetermined values such as predetermined values and threshold values are stored in advance in a storage device or the like accessible from a device that uses the values.

［実施形態１］
＜概要＞
図１は、実施形態１の譜面生成装置２０００の概要を例示する図である。図１は、譜面生成装置２０００の理解を容易にするために譜面生成装置２０００の動作の一例を概念的に示す図であり、譜面生成装置２０００の動作は図１に示されているものに限定されない。 [Embodiment 1]
<Overview>
FIG. 1 is a diagram illustrating an outline of the musical score generation device 2000 of the first embodiment. FIG. 1 is a diagram conceptually showing an example of the operation of the musical score generation device 2000 in order to facilitate the understanding of the musical score generation device 2000, and the operation of the musical score generation device 2000 is limited to that shown in FIG. Not done.

譜面生成装置２０００は、対象の楽曲（以下、対象楽曲）について、対象の打楽器（以下、対象打楽器３０）の譜面を表す譜面情報４０を生成する。対象打楽器３０は、ドラムセット、和太鼓、又はティンパニーなどのように、演奏箇所が複数存在する任意の打楽器である。なお、本開示では、ドラムセットのように複数の打楽器のセットのことも、打楽器と呼ぶ。また、対象打楽器３０が、このような複数の打楽器のセットである場合、各打楽器が当該対象打楽器３０の演奏箇所となる。 The musical score generation device 2000 generates musical score information 40 representing the musical score of the target percussion instrument (hereinafter, target percussion instrument 30) for the target music (hereinafter, target music). The target percussion instrument 30 is an arbitrary percussion instrument having a plurality of performance points, such as a drum set, a Japanese drum, or a timpani. In the present disclosure, a set of a plurality of percussion instruments such as a drum set is also referred to as a percussion instrument. Further, when the target percussion instrument 30 is a set of such a plurality of percussion instruments, each percussion instrument becomes a performance location of the target percussion instrument 30.

譜面情報４０は、対象打楽器３０を利用する対象楽曲の演奏について、どのタイミングでどの演奏箇所を演奏すべきかを表すデータである。譜面情報４０の生成は、ユーザ５０による対象打楽器３０の演奏をカメラ１０で撮像することによって生成されたビデオデータ２０を利用して行われる。具体的には、譜面生成装置２０００は、ビデオデータ２０を解析することにより、複数の時点それぞれについて、その時点に演奏された対象打楽器３０の演奏箇所を特定する。そして、譜面生成装置２０００は、複数の時点それぞれについて、その時点に演奏すべき対象打楽器３０の演奏箇所を表す譜面情報４０を生成する。 The musical score information 40 is data indicating which performance portion should be played at which timing for the performance of the target music using the target percussion instrument 30. The musical score information 40 is generated by using the video data 20 generated by capturing the performance of the target percussion instrument 30 by the user 50 with the camera 10. Specifically, the musical score generation device 2000 identifies the performance location of the target percussion instrument 30 played at each of the plurality of time points by analyzing the video data 20. Then, the musical score generation device 2000 generates musical score information 40 indicating the performance portion of the target percussion instrument 30 to be played at each of the plurality of time points.

なお、譜面情報４０の生成には複数のカメラ１０が利用されてもよい。この場合、譜面生成装置２０００は、複数のカメラ１０それぞれからビデオデータ２０を取得し、取得した複数のビデオデータ２０を利用して、譜面情報４０の生成を行う。 A plurality of cameras 10 may be used to generate the musical score information 40. In this case, the musical score generation device 2000 acquires video data 20 from each of the plurality of cameras 10, and uses the acquired plurality of video data 20 to generate musical score information 40.

＜作用効果の一例＞
本実施形態の譜面生成装置２０００によれば、対象打楽器３０を利用して行われた対象楽曲の演奏が記録されたビデオデータ２０を利用して、対象楽曲について、対象打楽器３０の譜面が生成される。よって、打楽器の譜面を手作業で作成しなければならないケースと比較し、打楽器の譜面を少ない労力で得ることができる。また、打楽器の譜面の記述方法についての細かな知識を持たなくても、当該打楽器の譜面を容易に作成することができる。 <Example of action effect>
According to the musical score generation device 2000 of the present embodiment, the musical score of the target percussion instrument 30 is generated for the target music by using the video data 20 in which the performance of the target music performed by using the target percussion instrument 30 is recorded. To. Therefore, the musical score of the percussion instrument can be obtained with less effort as compared with the case where the musical score of the percussion instrument must be created manually. In addition, the musical score of the percussion instrument can be easily created without having detailed knowledge about the description method of the musical score of the percussion instrument.

以下、本実施形態の譜面生成装置２０００について、より詳細に説明する。 Hereinafter, the musical score generation device 2000 of the present embodiment will be described in more detail.

＜機能構成の例＞
図２は、実施形態１の譜面生成装置２０００の機能構成を例示するブロック図である。この例において、譜面生成装置２０００は、取得部２０２０、特定部２０４０、及び生成部２０６０を有する。取得部２０２０は、対象打楽器３０を利用した対象楽曲の演奏が含まれるビデオデータ２０を取得する。特定部２０４０は、ビデオデータ２０を解析することで、複数の時点それぞれについて、その時点に演奏された対象打楽器３０の演奏箇所を特定する。生成部２０６０は、上記特定の結果に基づいて譜面情報４０を生成する。 <Example of functional configuration>
FIG. 2 is a block diagram illustrating the functional configuration of the musical score generation device 2000 of the first embodiment. In this example, the musical score generation device 2000 has an acquisition unit 2020, a specific unit 2040, and a generation unit 2060. The acquisition unit 2020 acquires video data 20 including the performance of the target music using the target percussion instrument 30. By analyzing the video data 20, the specifying unit 2040 identifies the performance location of the target percussion instrument 30 played at each of the plurality of time points. The generation unit 2060 generates the musical score information 40 based on the above specific result.

＜ハードウエア構成の例＞
譜面生成装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、譜面生成装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 <Example of hardware configuration>
Each functional component of the musical score generator 2000 may be realized by hardware that realizes each functional component (eg, a hard-wired electronic circuit, etc.), or a combination of hardware and software (eg, example). It may be realized by a combination of an electronic circuit and a program that controls it). Hereinafter, a case where each functional component of the musical score generator 2000 is realized by a combination of hardware and software will be further described.

図３は、譜面生成装置２０００を実現するコンピュータ１０００のハードウエア構成を例示するブロック図である。コンピュータ１０００は、任意のコンピュータである。例えばコンピュータ１０００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ１０００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。その他にも例えば、コンピュータ１０００は、カメラ１０であってもよい。 FIG. 3 is a block diagram illustrating a hardware configuration of a computer 1000 that realizes the musical score generator 2000. The computer 1000 is any computer. For example, the computer 1000 is a stationary computer such as a PC (Personal Computer) or a server machine. In addition, for example, the computer 1000 is a portable computer such as a smartphone or a tablet terminal. In addition, for example, the computer 1000 may be a camera 10.

コンピュータ１０００は、譜面生成装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。例えば、コンピュータ１０００に対して所定のアプリケーションをインストールすることにより、コンピュータ１０００で、譜面生成装置２０００の各機能が実現される。上記アプリケーションは、譜面生成装置２０００の機能構成部を実現するためのプログラムで構成される。 The computer 1000 may be a dedicated computer designed to realize the musical score generator 2000, or may be a general-purpose computer. For example, by installing a predetermined application on the computer 1000, each function of the musical score generation device 2000 is realized on the computer 1000. The above application is composed of a program for realizing the functional component of the musical score generation device 2000.

コンピュータ１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。 The computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input / output interface 1100, and a network interface 1120. The bus 1020 is a data transmission path for the processor 1040, the memory 1060, the storage device 1080, the input / output interface 1100, and the network interface 1120 to transmit and receive data to and from each other. However, the method of connecting the processors 1040 and the like to each other is not limited to the bus connection.

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。 The processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array). The memory 1060 is a main storage device realized by using RAM (Random Access Memory) or the like. The storage device 1080 is an auxiliary storage device realized by using a hard disk, an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.

入出力インタフェース１１００は、コンピュータ１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。 The input / output interface 1100 is an interface for connecting the computer 1000 and the input / output device. The network interface 1120 is an interface for connecting the computer 1000 to the network. This network may be a LAN (Local Area Network) or a WAN (Wide Area Network).

ストレージデバイス１０８０は、譜面生成装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ１０４０は、このプログラムをメモリ１０６０に読み出して実行することで、譜面生成装置２０００の各機能構成部を実現する。 The storage device 1080 stores a program (a program that realizes the above-mentioned application) that realizes each functional component of the musical score generation device 2000. The processor 1040 reads this program into the memory 1060 and executes it to realize each functional component of the musical score generator 2000.

譜面生成装置２０００は、１つのコンピュータ１０００で実現されてもよいし、複数のコンピュータ１０００で実現されてもよい。後者の場合において、各コンピュータ１０００の構成は同一である必要はなく、それぞれ異なるものとすることができる。 The musical score generation device 2000 may be realized by one computer 1000 or may be realized by a plurality of computers 1000. In the latter case, the configurations of the computers 1000 do not have to be the same and can be different.

＜カメラ１０について＞
カメラ１０は、対象打楽器３０が演奏されている様子を撮影してビデオデータ２０を生成することができる任意のカメラである。カメラ１０は、対象打楽器３０の演奏を撮影するための専用のカメラであってもよいし、汎用のカメラ（例えば、スマートフォンに設けられているカメラなど）であってもよい。 <About camera 10>
The camera 10 is an arbitrary camera capable of capturing a state in which the target percussion instrument 30 is being played and generating video data 20. The camera 10 may be a dedicated camera for capturing the performance of the target percussion instrument 30, or may be a general-purpose camera (for example, a camera provided on a smartphone).

コンピュータ１０００がカメラ１０以外のコンピュータで実現される場合、例えばカメラ１０は、入出力インタフェース１１００又はネットワークインタフェース１１２０を介して、コンピュータ１０００と接続される。ただし、コンピュータ１０００は、ビデオデータ２０を取得できればよく、カメラ１０と通信可能に接続されていなくてもよい。譜面生成装置２０００がビデオデータ２０を取得する方法については後述する。 When the computer 1000 is realized by a computer other than the camera 10, for example, the camera 10 is connected to the computer 1000 via an input / output interface 1100 or a network interface 1120. However, the computer 1000 does not have to be communicably connected to the camera 10 as long as it can acquire the video data 20. The method by which the musical score generator 2000 acquires the video data 20 will be described later.

譜面情報４０の生成に利用されるカメラ１０は、１つであってもよいし、複数であってもよい。後者の場合、１つのカメラ１０によって撮像される対象打楽器３０の演奏箇所は、１つであってもよいし、複数であってもよい。 The number of cameras 10 used to generate the musical score information 40 may be one or a plurality. In the latter case, the number of performance points of the target percussion instrument 30 imaged by one camera 10 may be one or a plurality.

＜譜面生成装置２０００の利用態様の例＞
譜面生成装置２０００の理解を容易にするため、譜面生成装置２０００の利用態様を例示する。なお、ここで説明する利用態様は例示であり、譜面生成装置２０００の具体的な利用態様はここで説明する例に限定されない。 <Example of usage of musical score generator 2000>
In order to facilitate the understanding of the musical score generation device 2000, an embodiment of the musical score generation device 2000 will be illustrated. It should be noted that the usage mode described here is an example, and the specific usage mode of the musical score generation device 2000 is not limited to the example described here.

図４は、譜面生成装置２０００の利用態様を例示する図である。図４（ａ）において、譜面生成装置２０００は、ユーザ５０によって操作される携帯端末（ユーザ端末５２）で実現されている。例えば前述した、譜面生成装置２０００の各機能構成部を実現するためのプログラムをユーザ端末５２にインストールすることにより、ユーザ端末５２で譜面生成装置２０００を実現することが考えられる。 FIG. 4 is a diagram illustrating a usage mode of the musical score generation device 2000. In FIG. 4A, the musical score generation device 2000 is realized by a mobile terminal (user terminal 52) operated by the user 50. For example, it is conceivable to realize the musical score generation device 2000 on the user terminal 52 by installing the above-mentioned program for realizing each functional component of the musical score generation device 2000 on the user terminal 52.

ユーザ端末５２は、ユーザ５０が対象打楽器３０を演奏している様子を撮影するカメラ１０から、ビデオデータ２０を取得する。そして、ユーザ端末５２は、取得したビデオデータ２０を解析することで譜面情報４０を生成する。 The user terminal 52 acquires video data 20 from a camera 10 that captures a state in which the user 50 is playing the target percussion instrument 30. Then, the user terminal 52 generates the musical score information 40 by analyzing the acquired video data 20.

一方、図４（ｂ）において、譜面生成装置２０００は、ユーザ端末５２からのリクエストを受け付けて動作するサーバマシン８０で実現されている。この利用態様において、ユーザ端末５２は、譜面生成装置２０００を利用するためのインタフェースとして利用される。具体的には、ユーザ端末５２は、カメラ１０からビデオデータ２０を取得する。そして、ユーザ端末５２からサーバマシン８０に対し、ビデオデータ２０が送信される。例えばビデオデータ２０は、譜面情報４０の生成を依頼するリクエストに添付される。サーバマシン８０は、取得したビデオデータ２０を解析して譜面情報４０を生成し、その譜面情報４０をユーザ端末５２に送信する。こうすることで、ユーザ５０は、譜面情報４０を取得することができる。 On the other hand, in FIG. 4B, the musical score generation device 2000 is realized by a server machine 80 that operates by receiving a request from a user terminal 52. In this usage mode, the user terminal 52 is used as an interface for using the musical score generation device 2000. Specifically, the user terminal 52 acquires the video data 20 from the camera 10. Then, the video data 20 is transmitted from the user terminal 52 to the server machine 80. For example, the video data 20 is attached to a request for requesting the generation of the musical score information 40. The server machine 80 analyzes the acquired video data 20 to generate musical score information 40, and transmits the musical score information 40 to the user terminal 52. By doing so, the user 50 can acquire the musical score information 40.

＜処理の流れ＞
図５は、実施形態１の譜面生成装置２０００によって実行される処理の流れを例示するフローチャートである。取得部２０２０はビデオデータ２０を取得する（Ｓ１０２）。特定部２０４０はビデオデータ２０を解析して、複数の時点それぞれについて、その時点に演奏された対象打楽器３０の演奏箇所を特定する（Ｓ１０４）。生成部２０６０は、上記特定の結果に基づいて、譜面情報４０を生成する（Ｓ１０６）。 <Processing flow>
FIG. 5 is a flowchart illustrating the flow of processing executed by the musical score generation device 2000 of the first embodiment. The acquisition unit 2020 acquires the video data 20 (S102). The specific unit 2040 analyzes the video data 20 and identifies the performance portion of the target percussion instrument 30 played at that time point at each of the plurality of time points (S104). The generation unit 2060 generates the musical score information 40 based on the above specific result (S106).

＜ビデオデータ２０の取得：Ｓ１０２＞
取得部２０２０はビデオデータ２０を取得する（Ｓ１０２）。取得部２０２０がビデオデータ２０を取得する方法には、様々な方法を利用できる。例えば、譜面生成装置２０００がカメラ１０以外のコンピュータで実現される場合、取得部２０２０は、カメラ１０から送信されるビデオデータ２０を受信したり、ビデオデータ２０が格納されている記憶装置にアクセスしてビデオデータ２０を読み出したりすることにより、ビデオデータ２０を取得する。なお、ビデオデータ２０が格納されている記憶装置は、カメラ１０の内部と外部のどちらに設けられていてもよい。譜面生成装置２０００がカメラ１０で実現される場合、取得部２０２０は、譜面生成装置２０００の内部（例えばストレージデバイス１０８０）に格納されているビデオデータ２０を読み出すことで、ビデオデータ２０を取得する。 <Acquisition of video data 20: S102>
The acquisition unit 2020 acquires the video data 20 (S102). Various methods can be used for the acquisition unit 2020 to acquire the video data 20. For example, when the musical score generation device 2000 is realized by a computer other than the camera 10, the acquisition unit 2020 receives the video data 20 transmitted from the camera 10 or accesses the storage device in which the video data 20 is stored. The video data 20 is acquired by reading the video data 20. The storage device in which the video data 20 is stored may be provided inside or outside the camera 10. When the musical score generation device 2000 is realized by the camera 10, the acquisition unit 2020 acquires the video data 20 by reading the video data 20 stored inside the musical score generation device 2000 (for example, the storage device 1080).

なお、複数のカメラ１０を利用する場合、取得部２０２０は、複数のカメラ１０それぞれによって生成されたビデオデータ２０を取得する。 When using a plurality of cameras 10, the acquisition unit 2020 acquires the video data 20 generated by each of the plurality of cameras 10.

＜演奏箇所の特定：Ｓ１０４＞
特定部２０４０は、ビデオデータ２０を解析することで、複数の時点それぞれについて、その時点に演奏された対象打楽器３０の演奏箇所を特定する（Ｓ１０４）。例えば特定部２０４０は、複数の時点と、各時点に演奏された対象打楽器３０の演奏箇所との対応づけを表す情報を生成する。以下、この情報を演奏情報と呼ぶ。 <Specification of performance location: S104>
By analyzing the video data 20, the specifying unit 2040 identifies the performance location of the target percussion instrument 30 played at each of the plurality of time points (S104). For example, the specific unit 2040 generates information representing the correspondence between a plurality of time points and the performance points of the target percussion instrument 30 played at each time point. Hereinafter, this information is referred to as performance information.

図６は演奏情報をテーブル形式で例示する図である。図６において、演奏情報６０は、時点６１及び演奏箇所６２という２つの列を有する。演奏情報６０の各レコードは、ビデオデータ２０に記録されたユーザ５０による対象打楽器３０の演奏において、当該レコードの時点６１が示す時点に、当該レコードの演奏箇所６２が示す演奏箇所が演奏されたことを表す。なお、同一の時点に複数の演奏箇所が演奏された場合、演奏情報６０には、時点６１に示される値が互いに同一である複数のレコードが含まれる。例えば図６の演奏情報６０は、時点 t3 において演奏箇所 P1 と P2 の双方が演奏されたことを表す。 FIG. 6 is a diagram illustrating performance information in a table format. In FIG. 6, the performance information 60 has two columns, a time point 61 and a performance location 62. In each record of the performance information 60, in the performance of the target percussion instrument 30 by the user 50 recorded in the video data 20, the performance portion indicated by the performance portion 62 of the record was played at the time indicated by the time point 61 of the record. Represents. When a plurality of performance points are played at the same time point, the performance information 60 includes a plurality of records having the same value shown at the time point 61. For example, the performance information 60 in FIG. 6 indicates that both the performance points P1 and P2 have been played at the time point t3.

例えば特定部２０４０は、以下のようにビデオデータ２０を解析することで、演奏情報６０を生成する。すなわち、まず特定部２０４０は、ビデオデータ２０を構成する複数のビデオフレーム２２の中から、少なくとも１つの演奏箇所が演奏されたことを表しているビデオフレーム２２を複数検出する。そして特定部２０４０は、検出された各ビデオフレーム２２について、当該ビデオフレーム２２が生成された時点を時点６１に示し、当該ビデオフレーム２２において演奏されている演奏箇所を演奏箇所６２に示す演奏情報６０のレコードを生成する。なお、１つのビデオフレーム２２において複数の演奏箇所が演奏されている場合には、そのビデオフレーム２２から、当該複数の演奏箇所それぞれについてのレコードが生成される。 For example, the specific unit 2040 generates performance information 60 by analyzing the video data 20 as follows. That is, first, the specific unit 2040 detects a plurality of video frames 22 indicating that at least one performance portion has been played from the plurality of video frames 22 constituting the video data 20. Then, for each of the detected video frames 22, the specific unit 2040 indicates the time point at which the video frame 22 is generated at the time point 61, and the performance information 60 indicating the performance portion being played in the video frame 22 at the performance portion 62. Generate a record of. When a plurality of performance points are played in one video frame 22, a record for each of the plurality of performance points is generated from the video frame 22.

ここで、ビデオデータ２０の中から、演奏箇所が演奏されているビデオフレーム２２を検出する方法は様々である。例えば特定部２０４０は、各ビデオフレーム２２について、そのビデオフレーム２２に含まれる演奏箇所に対して他の物体が当たったか否かを判定する処理を行う。なお、画像に含まれる２つの物体同士が当たっているか否かを判定する技術には、既存の技術を利用することができる。また、１つのカメラ１０によって複数の演奏箇所が撮像される場合、例えば特定部２０４０は、各演奏箇所の画像上の特徴量に基づいて、ビデオフレーム２２に含まれている各演奏箇所の識別を行う。この場合、各演奏箇所の画像上の特徴量を示す情報を、譜面生成装置２０００からアクセス可能な記憶装置に予め格納しておく。特定部２０４０は、この情報を利用して、各演奏箇所の識別を行う。 Here, there are various methods for detecting the video frame 22 in which the performance portion is being played from the video data 20. For example, the specific unit 2040 performs a process of determining whether or not another object hits the performance portion included in the video frame 22 for each video frame 22. It should be noted that existing techniques can be used as techniques for determining whether or not two objects included in an image are in contact with each other. Further, when a plurality of performance points are imaged by one camera 10, for example, the specific unit 2040 identifies each performance point included in the video frame 22 based on the feature amount on the image of each performance point. conduct. In this case, information indicating the feature amount on the image of each performance location is stored in advance in a storage device accessible from the musical score generation device 2000. The specific unit 2040 uses this information to identify each performance location.

また、特定部２０４０は、ビデオフレーム２２を解析して、演奏箇所の振動や傾き（太鼓の鼓面の振動やシンバルの傾きなど）の変化を検出することにより、当該演奏箇所が演奏されたことを検出してもよい。例えば、演奏箇所の振動や傾きの大きさについて、予め閾値を定めておく。そして、特定部２０４０は、ビデオフレーム２２において、演奏箇所の振動や傾きの大きさが閾値以上になっている場合に、その演奏箇所が演奏されたことを検出する。 Further, the specific unit 2040 analyzes the video frame 22 and detects changes in the vibration and inclination of the performance portion (vibration of the drum face of the drum, inclination of the cymbal, etc.), so that the performance portion is played. May be detected. For example, a threshold value is set in advance for the magnitude of vibration and inclination of the performance portion. Then, the specific unit 2040 detects that the performance portion has been played when the magnitude of vibration or tilt of the performance portion is equal to or greater than the threshold value in the video frame 22.

さらに、特定部２０４０は、ビデオデータ２０に加えて、ユーザ５０による演奏を録音することで生成された音声データを取得し、当該音声データをさらに解析することで、演奏箇所が演奏されたことを検出してもよい。なお、音声データは、カメラ１０と共に設けられているマイクロフォンを利用して生成される。例えばスマートフォンなどの携帯端末では、カメラを利用して生成されたビデオデータと、マイクロフォンを利用して生成された音声データとを統合して、音声付きのビデオファイルが生成される。そこで例えば、譜面生成装置２０００は、このようなビデオファイルを取得し、当該ビデオファイルから、ビデオデータ２０と音声データをそれぞれ抽出して解析する。 Further, the specific unit 2040 acquires the audio data generated by recording the performance by the user 50 in addition to the video data 20, and further analyzes the audio data to indicate that the performance portion has been played. It may be detected. The voice data is generated by using a microphone provided together with the camera 10. For example, in a mobile terminal such as a smartphone, a video file with audio is generated by integrating the video data generated by using a camera and the audio data generated by using a microphone. Therefore, for example, the musical score generator 2000 acquires such a video file, extracts video data 20 and audio data from the video file, and analyzes them.

ここで、時点６１に示される時点は、対象楽曲の開始時点を始点とする相対時点で表されることが好適である。この場合、例えば特定部２０４０は、演奏情報６０のレコードを生成する際、ビデオフレーム２２の生成時点から対象楽曲の開始時点を引いた値を、時点６１に示す値として利用する。 Here, the time point indicated by the time point 61 is preferably represented as a relative time point starting from the start time point of the target music. In this case, for example, when the record of the performance information 60 is generated, the specific unit 2040 uses the value obtained by subtracting the start time of the target music from the generation time of the video frame 22 as the value shown at the time point 61.

対象楽曲の開始時点を特定する方法は様々である。例えば、特定部２０４０は、ビデオデータ２０の中から、最初に何らかの演奏箇所が演奏されているビデオフレーム２２を検出し、そのビデオフレーム２２の生成時点を、対象楽曲の開始時点として特定する。この場合、演奏情報６０のレコードを時点６１の値の昇順にソートした場合に、先頭のレコードの時点６１が０を示す。 There are various methods for specifying the start time of the target music. For example, the specifying unit 2040 first detects a video frame 22 in which some performance portion is played from the video data 20, and specifies the generation time of the video frame 22 as the start time of the target music. In this case, when the record of the performance information 60 is sorted in ascending order of the value of the time point 61, the time point 61 of the first record indicates 0.

その他にも例えば、ユーザ５０が対象楽曲を演奏する際、演奏の開始の契機とするために、メトロノームなどの音が出力されるようにするとする。この場合、メトロノームなどの音に基づいて、対象楽曲の演奏時点を特定することができる。例えば、メトロノームの音が４回鳴った後に、ユーザ５０が演奏を開始するとする。この場合、４回目のメトロノームの音が鳴った時点を ta、メトロノームの音の時間間隔を i とおけば、演奏開始の時点は ta+i で表される。なお、メトロノーム等の音は、譜面生成装置２０００から出力されてもよいし、譜面生成装置２０００以外から出力されてもよい。 In addition, for example, when the user 50 plays the target musical piece, a sound such as a metronome is output in order to trigger the start of the performance. In this case, it is possible to specify the performance time point of the target music based on the sound of the metronome or the like. For example, suppose that the user 50 starts playing after the metronome sounds four times. In this case, if the time when the fourth metronome sound is heard is ta and the time interval of the metronome sound is i, the time when the performance starts is represented by ta + i. The sound of the metronome or the like may be output from the musical score generation device 2000, or may be output from other than the musical score generation device 2000.

なお、メトロノームなどの音の時間間隔は、ユーザ５０による演奏のテンポに依存する。そこで、譜面生成装置２０００がメトロノーム等の音を出力する場合、例えば譜面生成装置２０００は、ユーザ５０などから演奏のテンポを指定するユーザ入力を受け付け、指定されたテンポに応じて、メトロノームなどの音の時間間隔 i を決定する。 The time interval of sounds such as the metronome depends on the tempo of the performance by the user 50. Therefore, when the musical score generation device 2000 outputs a sound such as a metronome, for example, the musical score generation device 2000 receives a user input for designating a performance tempo from a user 50 or the like, and a sound such as a metronome is received according to the designated tempo. Determine the time interval i for.

＜譜面情報４０の生成：Ｓ１０６＞
生成部２０６０は、特定部２０４０による特定の結果に基づいて、譜面情報４０を生成する（Ｓ１０６）。譜面情報４０は、時点と、その時点に演奏されるべき対象打楽器３０の演奏箇所との対応づけを表す。例えば譜面情報４０は、この対応付けをテーブル形式で表す情報として生成される。図７は、テーブル形式の譜面情報４０を例示する図である。図７に示すようにテーブル形式で表された譜面情報４０を、譜面テーブル７０と呼ぶ。 <Generation of musical score information 40: S106>
The generation unit 2060 generates the musical score information 40 based on the specific result by the specific unit 2040 (S106). The musical score information 40 represents the correspondence between the time point and the performance portion of the target percussion instrument 30 to be played at that time point. For example, the musical score information 40 is generated as information representing this correspondence in a table format. FIG. 7 is a diagram illustrating the musical score information 40 in a table format. The musical score information 40 represented in a table format as shown in FIG. 7 is called a musical score table 70.

図７の譜面テーブル７０は、図６の演奏情報６０と同様の構成を有する。具体的には、譜面テーブル７０は、時点７１及び演奏箇所７２という２つの列を有する。譜面テーブル７０の各レコードは、当該レコードの時点７１が示す演奏時点において、当該レコードの演奏箇所７２が示す演奏箇所を演奏すべきであることを表す。 The musical score table 70 of FIG. 7 has the same configuration as the performance information 60 of FIG. Specifically, the musical score table 70 has two columns, a time point 71 and a performance point 72. Each record of the musical score table 70 indicates that the playing point indicated by the playing point 72 of the record should be played at the playing time point indicated by the time point 71 of the record.

生成部２０６０は、特定部２０４０によって生成されたテーブル形式の演奏情報６０をそのまま譜面テーブル７０として利用してもよいし、演奏情報６０に示されている情報を所定の方法で補正することによって、演奏情報６０から譜面テーブル７０を生成してもよい。後者の場合、例えば生成部２０６０は、時点６１の値を所定の方法で補正する。より具体的な例としては、譜面テーブル７０における演奏時間の基準長を予め定めておき、時点６１の値を当該基準長の整数倍に補正した値を、時点７１の値として利用するようにする。 The generation unit 2060 may use the performance information 60 in the table format generated by the specific unit 2040 as it is as the musical score table 70, or may correct the information shown in the performance information 60 by a predetermined method. The musical score table 70 may be generated from the performance information 60. In the latter case, for example, the generation unit 2060 corrects the value at time point 61 by a predetermined method. As a more specific example, the reference length of the playing time in the musical score table 70 is predetermined, and the value obtained by correcting the value at the time point 61 to an integral multiple of the reference length is used as the value at the time point 71. ..

基準長は、例えば、演奏のテンポと拍の粒度（譜面で利用されうる最も短い音符）で定められる。例えば、演奏のテンポが 120BPM（Beats per Minute）であり、拍の粒度が 1/4 拍（１６分音符）であるとする。この場合、拍の粒度である 1/4 拍の時間長は 0.125（=1/8）秒となる。そこで、基準長も 0.125 秒に設定される。生成部２０６０は、時点６１に示されている値を、その値に最も近い 0.125 の整数倍に補正し、当該補正後の値を時点７１に示すようにする。 The reference length is determined, for example, by the tempo of the performance and the grain size of the beat (the shortest note that can be used in the score). For example, assume that the tempo of the performance is 120 BPM (Beats per Minute) and the grain size of the beat is 1/4 beat (16th note). In this case, the time length of 1/4 beat, which is the particle size of the beat, is 0.125 (= 1/8) seconds. Therefore, the reference length is also set to 0.125 seconds. The generation unit 2060 corrects the value shown at the time point 61 to an integral multiple of 0.125, which is the closest to the value, so that the corrected value is shown at the time point 71.

例えば、演奏情報６０の或るレコードが、「時点６１＝2.34 秒、演奏箇所６２＝P1」を示しているとする。ここで、2.34 秒に最も近い 0.125 秒の整数倍は、2.375 秒である。そこで生成部２０６０は、上記レコードから、「時点７１=2.375 秒、演奏箇所７２＝P1」という譜面テーブル７０のレコードを生成する。同様の処理を演奏情報６０の各レコードについて行うことで、譜面テーブル７０の各レコードが生成される。 For example, it is assumed that a certain record of the performance information 60 indicates "time point 61 = 2.34 seconds, performance location 62 = P1". Here, the integer multiple of 0.125 seconds, which is the closest to 2.34 seconds, is 2.375 seconds. Therefore, the generation unit 2060 generates a record of the musical score table 70 that "time point 71 = 2.375 seconds, performance point 72 = P1" from the above record. By performing the same processing for each record of the performance information 60, each record of the musical score table 70 is generated.

このように基準長を利用して演奏のタイミングの補正を行うことにより、ユーザ５０の演奏で生じたずれが譜面情報４０にそのまま反映されることを防ぐことができる。また、以下で説明するように、譜面情報４０において譜面を音符で表す場合において、拍の粒度を所望の粒度に設定することができる。例えば上述の例では、拍の粒度として１６分音符が設定されているため、３２分音符や６４分音符などのように、１６分音符よりも細かい粒度の音符が譜面に利用されないようにすることができる。 By correcting the timing of the performance by using the reference length in this way, it is possible to prevent the deviation caused by the performance of the user 50 from being reflected as it is in the musical score information 40. Further, as described below, when the musical score is represented by musical notes in the musical score information 40, the grain size of the beat can be set to a desired particle size. For example, in the above example, since the 16th note is set as the grain size of the beat, notes having a finer grain size than the 16th note, such as the 32nd note and the 64th note, should not be used in the score. Can be done.

上述したように、譜面情報４０は、五線譜などのように、時点とその時点に演奏すべき演奏箇所との対応付けが音符を利用して表現されている情報（例えば、譜面を表す画像データや文書データ）であってもよい。この場合、例えば生成部２０６０は、図７に示した譜面テーブル７０から、音符を利用して表現された譜面情報４０を生成する。 As described above, the musical score information 40 is information (for example, image data representing a musical score) in which the correspondence between a time point and a performance point to be played at that time point is expressed by using musical notes, such as a staff notation. It may be document data). In this case, for example, the generation unit 2060 generates the musical score information 40 expressed by using the musical notes from the musical score table 70 shown in FIG. 7.

音符を利用する場合、譜面の縦方向における音符の位置は、演奏箇所ごとに予め定めておく。図８は、ドラムセットに含まれる各演奏箇所と音符の縦方向の位置との対応を例示する図である。以下、このように、対象打楽器３０の種類ごとに、複数の演奏箇所それぞれについて、譜面における音符の縦方向の位置が定められている情報を、音符定義情報と呼ぶ。 When using notes, the positions of the notes in the vertical direction of the score are predetermined for each performance location. FIG. 8 is a diagram illustrating the correspondence between each performance portion included in the drum set and the vertical position of the note. Hereinafter, the information in which the vertical positions of the notes on the musical score are defined for each of the plurality of performance points for each type of the target percussion instrument 30 is referred to as note definition information.

なお、図８に示すように、ドラムセットの譜面では一般的に、シンバル類（クラッシュシンバルやライドシンバルなど）の音符はバツ印で表される一方、太鼓類（スネアドラムやバスドラムなど）の音符は丸印で表される。このように、演奏箇所に応じて音符の形状が異なる場合、音符定義情報には、演奏箇所と音符の形状との対応付けも含めておくことが好適である。 As shown in FIG. 8, the cymbals (crash cymbals, ride cymbals, etc.) are generally represented by cross marks on the musical score of the drum set, while the drums (snare drum, bass drum, etc.) The notes are represented by circles. As described above, when the shape of the note differs depending on the performance location, it is preferable that the note definition information includes the correspondence between the performance location and the shape of the note.

生成部２０６０は、対象打楽器３０の種類に対応する音符定義情報を取得する。なお、対象打楽器３０の種類は、例えば、譜面生成装置２０００のユーザによる入力操作を受け付けることで特定することができる。生成部２０６０は、譜面テーブル７０の各レコードについて、そのレコードの演奏箇所７２に示されている演奏箇所に対応する音符の縦方向の位置を、音符定義情報を利用して特定する。 The generation unit 2060 acquires the note definition information corresponding to the type of the target percussion instrument 30. The type of the target percussion instrument 30 can be specified, for example, by accepting an input operation by the user of the musical score generation device 2000. The generation unit 2060 specifies, for each record of the musical score table 70, the vertical position of the note corresponding to the performance portion indicated by the performance portion 72 of the record by using the note definition information.

さらに、生成部２０６０は、譜面テーブル７０の各レコードに対応する音符について、時点７１の値に基づき、譜面の時間軸方向（横方向）における位置を特定する。言い換えれば、各レコードについて、そのレコードに対応する音符を何小節目のどの位置に表示するのかが特定される。なお、小節内の位置に応じて、使用する音符の細かさ（４分音符、８分音符、又は１６分音符など）も特定される。 Further, the generation unit 2060 specifies the position of the note corresponding to each record of the musical score table 70 in the time axis direction (horizontal direction) of the musical score based on the value at the time point 71. In other words, for each record, the position of which measure the note corresponding to that record is displayed is specified. The fineness of the note to be used (quarter note, eighth note, sixteenth note, etc.) is also specified according to the position in the bar.

ここで、曲の開始時点からの相対時点に基づいて、その時点に演奏される音符の時間軸方向の位置や音符の細かさを特定する方法には、種々の方法を利用できる。以下、その方法の一例を説明する。図９は、譜面テーブル７０の各レコードに対応する音符の位置を特定する方法を説明するための図である。 Here, various methods can be used as a method for specifying the position of the note played at that time in the time axis direction and the fineness of the note based on the relative time point from the start time of the song. Hereinafter, an example of the method will be described. FIG. 9 is a diagram for explaining a method of specifying the position of the note corresponding to each record of the musical score table 70.

例として、4/4 拍子の曲において、譜面テーブル７０に、時点７１に Tx を示すレコードが存在するとする。以下、このレコードを「レコード Rx」と呼ぶ。まず生成部２０６０は、時点７１の値 Tx を小節の時間長 n1で割ることで、商の値 q1 と剰余 r1 を得る（Tx=n1*q1+r1）。レコード Rx に対応する音符を表示すべき小節の番号は、商の値 q1 に１を足した値（q1+1）となる。r1 が０である場合、レコード Rx の音符は、（q1+1）小節目の先頭の音（１番目の４分音符）となる。 As an example, in a song with a 4/4 time signature, it is assumed that the musical score table 70 has a record indicating Tx at the time point 71. Hereinafter, this record is referred to as "record Rx". First, the generator 2060 obtains the quotient value q1 and the remainder r1 by dividing the value Tx at the time point 71 by the time length n1 of the bar (Tx = n1 * q1 + r1). The bar number for which the note corresponding to record Rx should be displayed is the quotient value q1 plus one (q1 + 1). If r1 is 0, the note on record Rx is the first note (first quarter note) in bar (q1 + 1).

剰余 r1 が０でない場合、生成部２０６０は、剰余 r1 を利用して、さらなる特定を行う。具体的には、生成部２０６０は、剰余 r1 を４分音符の時間長 n4 で割ることで、商の値 q4 と剰余の値 r4 を得る（r1=n4*q4+r4）。この計算により、レコード Rx の音符を表示すべき位置が、q1 小節目を４分割して得られる４つの時間枠のうち、（q4+1）番目の時間枠に含まれることが特定される。例えば q4=2 である場合、レコード Rx の音符は、q1 小節目を４分割することで得られる４つの時間枠のうち、３番目の時間枠に含まれることが分かる。ここで、剰余の値 r4 が０である場合、レコード Rx の音符は、当該（q4+1）番目の時間枠の先頭の４分音符となる。 If the remainder r1 is not 0, the generation unit 2060 uses the remainder r1 to further specify. Specifically, the generator 2060 obtains the quotient value q4 and the remainder value r4 by dividing the remainder r1 by the time length n4 of the quarter note (r1 = n4 * q4 + r4). By this calculation, it is specified that the position where the note of the record Rx should be displayed is included in the (q4 + 1) th time frame among the four time frames obtained by dividing the q1 bar into four. For example, when q4 = 2, it can be seen that the note of the record Rx is included in the third time frame of the four time frames obtained by dividing the q1 bar into four. Here, when the remainder value r4 is 0, the note of the record Rx is the first quarter note of the corresponding (q4 + 1) th time frame.

剰余 r4 が０でない場合、生成部２０６０は、剰余 r4 を利用して、さらなる特定を行う（図９に図示せず）。具体的には、生成部２０６０は、剰余 r4 を８分音符の時間長 n8 で割ることで、商の値 q8 と剰余の値 r8 を得る（r4=n8*q8+r8）。この計算により、レコード Rx の音符を表示すべき位置が、前述した（q4+1）番目の時間枠をさらに２分割することで得られる２つの時間枠のうち、（q8+1）番目の時間枠であることが特定される。ここで、剰余の値 r8 が０である場合、レコード Rx の音符は、当該（q8+1）番目の時間枠の先頭の８分音符となる。 If the remainder r4 is not 0, the generator 2060 uses the remainder r4 to make further identification (not shown in FIG. 9). Specifically, the generator 2060 obtains the quotient value q8 and the remainder value r8 by dividing the remainder r4 by the time length n8 of the eighth note (r4 = n8 * q8 + r8). By this calculation, the position where the note of the record Rx should be displayed is the (q8 + 1) th time of the two time frames obtained by further dividing the (q4 + 1) th time frame described above into two. It is specified that it is a frame. Here, when the remainder value r8 is 0, the note of the record Rx is the first eighth note of the corresponding (q8 + 1) th time frame.

剰余 r8 が０でない場合、生成部２０６０は、剰余 r8 を利用して、さらなる特定を行う（図９に図示せず）。具体的には、生成部２０６０は、剰余 r8 を１６分音符の時間長 n16 で割ることで、商の値 q16 と剰余の値 r16 を得る（r8=n16*q16+r16）。この計算により、レコード Rx の音符を表示すべき位置が、前述した（q8+1）番目の時間枠をさらに２分割することで得られる２つの時間枠のうち、（q16+1）番目の時間枠であることが特定される。ここで、剰余の値 r16 が０である場合、レコード Rx の音符は、当該（q16+1）番目の時間枠の先頭の１６分音符となる。 If the remainder r8 is not 0, the generator 2060 uses the remainder r8 to make further identification (not shown in FIG. 9). Specifically, the generator 2060 obtains the quotient value q16 and the remainder value r16 by dividing the remainder r8 by the time length n16 of the sixteenth note (r8 = n16 * q16 + r16). By this calculation, the position where the note of the record Rx should be displayed is the (q16 + 1) th time of the two time frames obtained by further dividing the (q8 + 1) th time frame described above into two. It is specified that it is a frame. Here, when the remainder value r16 is 0, the note of the record Rx is the first sixteenth note of the corresponding (q16 + 1) th time frame.

生成部２０６０は、このような処理を、前述した拍の粒度を表す音符に到達するまで行う。ここで、前述した基準長に基づく時点６１の補正を行っておけば、拍の粒度を表す音符に到達するまで上述した処理を行えば、剰余の値が必ず０になる。例えば拍の粒度が１６分音符であれば、r16は０となる。そのため、音符の時間軸方向の位置を特定する処理が完了する。 The generation unit 2060 performs such a process until it reaches the note representing the grain size of the beat described above. Here, if the time point 61 is corrected based on the above-mentioned reference length, the remainder value will always be 0 if the above-mentioned processing is performed until the note representing the grain size of the beat is reached. For example, if the grain size of the beat is a sixteenth note, r16 is 0. Therefore, the process of specifying the position of the note in the time axis direction is completed.

なお、小節や各音符の長さは、曲の拍子とテンポを用いて特定することができる。例えば 4/4 拍子の曲では、１小節に４分音符が４つ含まれる。曲のテンポを a[BPM] とすれば、１拍の長さ（すなわち、４分音符の長さ）は 60/a となる。そのため、１小節の長さはその４倍の 240/a となる。また、８分音符と１６分音符の長さはそれぞれ、30/a と 15/a となる。曲の拍子やテンポは、例えば、ユーザ入力を受け付けることによって特定する。 The length of a bar or each note can be specified by using the time signature and tempo of the song. For example, in a song with a 4/4 time signature, one bar contains four quarter notes. If the tempo of the song is a [BPM], the length of one beat (that is, the length of a quarter note) is 60 / a. Therefore, the length of one bar is 240 / a, which is four times that. The lengths of the eighth note and the sixteenth note are 30 / a and 15 / a, respectively. The time signature and tempo of a song are specified, for example, by accepting user input.

ただし、生成部２０６０は、演奏情報６０を利用して曲のテンポを特定してもよい。例えばドラム演奏では、シンバル系の楽器が一定のリズムで演奏されることが多い。そこで例えば、生成部２０６０は、演奏情報６０の中から、シンバル系の楽器についてのレコードを抽出し、時系列順で隣接するレコード間の時点６１の差分の統計値（例えば平均値）を算出することで、曲のテンポを特定してもよい。例えば生成部２０６０は、シンバル系の楽器の演奏間隔を、1/2 拍（８分音符）の長さとして扱う。この場合、時点６１の差分の統計値を w[min] とおけば、2w[min] が１拍の長さになる。よって、曲のテンポは 1/2w[BPM] となる。ただし、シンバル系の楽器の演奏間隔は、1/2 拍以外に設定可能であってもよい。 However, the generation unit 2060 may specify the tempo of the music by using the performance information 60. For example, in drum performances, cymbal instruments are often played with a constant rhythm. Therefore, for example, the generation unit 2060 extracts a record about a cymbal musical instrument from the performance information 60, and calculates a statistical value (for example, an average value) of the difference at time points 61 between adjacent records in chronological order. By doing so, the tempo of the song may be specified. For example, the generation unit 2060 treats the performance interval of a cymbal instrument as a length of 1/2 beat (eighth note). In this case, if the statistical value of the difference at the time point 61 is set to w [min], 2w [min] is the length of one beat. Therefore, the tempo of the song is 1 / 2w [BPM]. However, the performance interval of the cymbal instrument may be set to other than 1/2 beat.

＜その他の情報の付加＞
生成部２０６０は、譜面情報４０に、その他の付加情報を付加してもよい。以下、付加情報をいくつか例示する。 <Addition of other information>
The generation unit 2060 may add other additional information to the musical score information 40. The following is an example of some additional information.

＜＜手の情報＞＞
例えば生成部２０６０は、各演奏箇所の演奏に利用された手が右手と左手のどちらであるかを示す情報を譜面情報４０に含めてもよい。この場合、特定部２０４０は、演奏情報６０を生成する際、ビデオデータ２０を解析することで、各演奏箇所の演奏に利用された手の特定を行い、当該手の情報を含む演奏情報６０を生成する。なお、ビデオフレームに含まれる手の画像から、その手が右手と左手のどちらであるのかを特定する技術には、既存の技術を利用することができる。 << Hand information >>
For example, the generation unit 2060 may include information indicating whether the hand used for playing each performance portion is the right hand or the left hand in the musical score information 40. In this case, the specifying unit 2040 identifies the hand used for playing each performance portion by analyzing the video data 20 when generating the performance information 60, and obtains the performance information 60 including the information of the hand. Generate. It should be noted that existing techniques can be used for the technique of identifying whether the hand is the right hand or the left hand from the image of the hand included in the video frame.

図１０は、演奏に利用された手の情報を含む演奏情報６０を例示する図である。図１０において、演奏情報６０は、手６３という列をさらに有する。手６３は、演奏に利用された手が左手と右手のどちらであるのかを示している。 FIG. 10 is a diagram illustrating performance information 60 including information on the hands used for performance. In FIG. 10, the performance information 60 further has a row of hands 63. The hand 63 indicates whether the hand used for the performance is the left hand or the right hand.

図１１は、演奏に利用された手の情報を含む譜面情報４０を例示する図である。図１１（ａ）は、演奏に利用された手の情報を含む譜面テーブル７０である。一方、図１１（ｂ）は、音符を利用して表されている譜面情報４０において、演奏に利用された手の情報が示されているケースを例示している。この例では、左手を利用した演奏に対応する音符に、「Ｌ」というマークが付されている。一方、右手を利用した演奏に対応する音符には、「Ｌ」というマークが付されていない。そのため、「Ｌ」が付されているか否かによって、左手と右手のどちらを利用して各音符を演奏するのかを判別することができる。 FIG. 11 is a diagram illustrating musical score information 40 including information on the hand used for the performance. FIG. 11A is a musical score table 70 containing information on the hands used for the performance. On the other hand, FIG. 11B illustrates a case in which the information of the hand used for the performance is shown in the musical score information 40 represented by using the musical notes. In this example, the note corresponding to the performance using the left hand is marked with "L". On the other hand, the notes corresponding to the performance using the right hand are not marked with "L". Therefore, it is possible to determine whether to use the left hand or the right hand to play each note depending on whether or not the "L" is attached.

なお、どのようなマークを付すのかやマークの有無については、手の識別情報と対応づけて、譜面生成装置２０００からアクセス可能な記憶装置に予め格納しておく。また、演奏に利用される手の情報を表す方法は、上述したマークを付す方法に限定されない。例えば、右手を利用して演奏すべき音符と左手を利用して演奏すべき音符とで、色を互いに異ならせるといった方法が考えられる。 It should be noted that what kind of mark is to be attached and the presence or absence of the mark are stored in advance in a storage device accessible from the musical score generation device 2000 in association with the identification information of the hand. Further, the method of expressing the information of the hand used for the performance is not limited to the method of adding the mark described above. For example, it is conceivable that the notes to be played using the right hand and the notes to be played using the left hand have different colors.

＜＜演奏に利用したツール＞＞
打楽器の演奏において、打楽器の演奏には、スティックやブラシなどの種々なものが利用されうる。また、手などといったユーザ５０の身体の一部を利用して演奏されることもありうる。 << Tools used for playing >>
In the performance of a percussion instrument, various things such as sticks and brushes can be used for the performance of the percussion instrument. In addition, the performance may be performed using a part of the body of the user 50 such as a hand.

そこで例えば、生成部２０６０は、譜面情報４０に、演奏箇所の演奏に利用されたツール（手などの身体的部位も含む）を表す情報を含めてもよい。この場合、特定部２０４０は、演奏情報６０を生成する際、ビデオデータ２０を解析することで、各演奏箇所の演奏に利用されたツールの特定を行い、当該ツールの情報を含む演奏情報６０を生成する。例えば予め、演奏に利用されるツールごとに、そのツールの識別情報（例えばツールの名称）と、そのツールの画像上の特徴量とを対応づけた情報を、予め用意しておく。以下、この情報を、ツール情報と呼ぶ。ツール情報は、譜面生成装置２０００からアクセス可能な記憶装置に予め格納しておく。 Therefore, for example, the generation unit 2060 may include information representing a tool (including a physical part such as a hand) used for playing the performance portion in the musical score information 40. In this case, the specifying unit 2040 identifies the tool used for the performance of each performance portion by analyzing the video data 20 when generating the performance information 60, and obtains the performance information 60 including the information of the tool. Generate. For example, for each tool used for playing, information in which the identification information of the tool (for example, the name of the tool) and the feature amount on the image of the tool are associated with each other is prepared in advance. Hereinafter, this information is referred to as tool information. The tool information is stored in advance in a storage device accessible from the musical score generation device 2000.

特定部２０４０は、ツール情報を利用して、各時点において各演奏箇所の演奏に利用されたツールを特定する。例えば特定部２０４０は、演奏情報６０のレコードを生成する際、そのレコードの生成に利用されるビデオフレーム２２から、演奏箇所に当たった物体を検出し、当該物体の画像上の特徴量を抽出する。そして、特定部２０４０は、ツール情報に示されている特徴量の中から、ビデオフレーム２２から抽出された特徴量と最も類似しているものを特定し、当該特定した特徴量に対応づけられているツールを、演奏に利用されたツールとして特定する。 The specifying unit 2040 uses the tool information to specify the tool used for playing each performance point at each time point. For example, when generating a record of performance information 60, the specific unit 2040 detects an object hitting a performance portion from the video frame 22 used for generating the record, and extracts an image feature amount of the object. .. Then, the specifying unit 2040 identifies the feature amount most similar to the feature amount extracted from the video frame 22 from the feature amounts shown in the tool information, and is associated with the specified feature amount. Identify the tool you are using as the tool used for your performance.

図１２は、演奏に利用されたツールの情報を含む演奏情報６０を例示する図である。図１２において、演奏情報６０は、ツール６４という列をさらに有する。ツール６４は、演奏に利用されたツールの識別情報を示している。 FIG. 12 is a diagram illustrating performance information 60 including information on tools used for performance. In FIG. 12, the performance information 60 further has a column called a tool 64. The tool 64 shows the identification information of the tool used for the performance.

図１３は、演奏に利用されたツールの情報を含む譜面情報４０を例示する図である。図１３（ａ）は、演奏に利用されたツールの情報を含む譜面テーブル７０である。一方、図１３（ｂ）は、音符を利用して表されている譜面情報４０において、演奏に利用されたツールの情報が示されているケースを例示している。この例では、ブラシを利用した演奏に対応する音符に、「Ｂ」というマークが付されている。また、スティックを利用した演奏に対応する音符には、「Ｂ」というマークが付されていない。そのため、「Ｂ」が付されているか否かによって、スティックとブラシのどちらを利用して各音符を演奏するのかを判別することができる。 FIG. 13 is a diagram illustrating musical score information 40 including information on tools used for performance. FIG. 13A is a musical score table 70 containing information on the tools used for the performance. On the other hand, FIG. 13B illustrates a case in which the information of the tool used for the performance is shown in the musical score information 40 represented by using the musical notes. In this example, the note corresponding to the performance using the brush is marked with "B". Further, the notes corresponding to the performance using the stick are not marked with "B". Therefore, depending on whether or not "B" is attached, it is possible to determine whether to play each note using the stick or the brush.

なお、どのようなマークを付すのかやマークの有無については、ツールの識別情報と対応づけて、譜面生成装置２０００からアクセス可能な記憶装置に予め格納しておく。また、演奏に利用されるツールの情報を表す方法は、上述したマークを付す方法に限定されない。例えば、ツールごとに音符の色をそれぞれ異ならせるといった方法が考えられる。 It should be noted that what kind of mark is to be added and the presence or absence of the mark are stored in advance in a storage device accessible from the musical score generation device 2000 in association with the identification information of the tool. Further, the method of expressing the information of the tool used for the performance is not limited to the method of adding the mark described above. For example, a method of making the color of the note different for each tool can be considered.

＜＜演奏方法＞＞
打楽器を演奏する際、同一の演奏箇所について複数の演奏方法が存在しうる。例えば対象打楽器３０がドラムセットであり、演奏箇所がハイハットである場合、ハイハットをオープンした状態で演奏する方法（ハイハットオープン）、ハイハットをクローズした状態で演奏する方法（ハイハットクローズ）、ペダルで踏むことでハイハットを演奏する方法（ペダルハイハット）などがある。その他にも、演奏箇所がスネアドラムである場合、通常の演奏方法に加え、クローズドリムショットなどといった演奏方法がある。 << How to play >>
When playing a percussion instrument, there can be multiple playing methods for the same playing location. For example, when the target percussion instrument 30 is a drum set and the performance location is a hi-hat, the method of playing with the hi-hat open (hi-hat open), the method of playing with the hi-hat closed (hi-hat closed), and stepping on the pedal. There is a method of playing the hi-hat (pedal hi-hat). In addition, when the performance location is a snare drum, there are performance methods such as closed rim shots in addition to the normal performance method.

そこで例えば、生成部２０６０は、譜面情報４０に、演奏方法を表す情報を含めてもよい。この場合、特定部２０４０は、演奏情報６０を生成する際、ビデオデータ２０を解析することで、各演奏箇所の演奏方法の特定を行い、当該演奏方法の情報を含む演奏情報６０を生成する。例えば予め、演奏箇所ごとに、演奏方法の識別情報（例えば演奏方法の名称）と、その演奏方法の特定方法（その演奏方法が使用されたと判定するための条件）とを対応づけた情報を、予め用意しておく。以下、この情報を、演奏方法情報と呼ぶ。演奏方法情報は、譜面生成装置２０００からアクセス可能な記憶装置に予め格納しておく。 Therefore, for example, the generation unit 2060 may include information indicating the playing method in the musical score information 40. In this case, when the performance information 60 is generated, the specifying unit 2040 identifies the performance method of each performance portion by analyzing the video data 20, and generates the performance information 60 including the information of the performance method. For example, information in which the identification information of the playing method (for example, the name of the playing method) and the specifying method of the playing method (conditions for determining that the playing method is used) are associated with each performance location in advance. Prepare in advance. Hereinafter, this information is referred to as performance method information. The performance method information is stored in advance in a storage device accessible from the musical score generation device 2000.

演奏方法の特定方法には、演奏方法ごとに様々条件を設定することができる。例えばハイハットオープンであれば、「ハイハットペダルが踏み込まれていない、かつ、ハイハットが叩かれた」や「ハイハットの上下のシンバルの間に隙間がある、かつ、ハイハットが叩かれた」などといった条件が設定される。 Various conditions can be set for the method of specifying the playing method for each playing method. For example, in the case of a hi-hat open, conditions such as "the hi-hat pedal is not depressed and the hi-hat is hit" or "there is a gap between the upper and lower cymbals of the hi-hat and the hi-hat is hit" are conditions. Set.

特定部２０４０は、演奏方法情報を利用して、各時点において各演奏箇所の演奏方法を特定する。例えば特定部２０４０は、演奏情報６０のレコードを生成する際、そのレコードの生成に利用されるビデオフレーム２２や、その前後所定時間のビデオフレーム２２を、演奏方法情報に定められている特定方法と比較することで、演奏方法の特定を行う。 The specifying unit 2040 uses the playing method information to specify the playing method of each playing point at each time point. For example, when the record of the performance information 60 is generated, the specific unit 2040 uses the video frame 22 used for generating the record and the video frame 22 at a predetermined time before and after the video frame 22 as a specific method defined in the performance method information. By comparing, the playing method is specified.

図１４は、演奏方法の情報を含む演奏情報６０を例示する図である。図１４において、演奏情報６０は、演奏方法６５という列をさらに有する。演奏方法６５は、演奏方法の識別情報（例えば名称）を示している。 FIG. 14 is a diagram illustrating performance information 60 including information on a performance method. In FIG. 14, the performance information 60 further has a column called the performance method 65. The playing method 65 shows identification information (for example, a name) of the playing method.

図１５は、演奏方法の情報を含む譜面情報４０を例示する図である。図１５（ａ）は、演奏方法の情報を含む譜面テーブル７０である。一方、図１５（ｂ）は、音符を利用して表されている譜面情報４０において、演奏方法の情報が示されているケースを例示している。この例では、オープン状態でハイハットを演奏することを表す音符の上に、丸印が付されている。一方、クローズ状態でハイハットを演奏することを表す音符の上には、丸印が付されていない。そのため、丸印が付されているか否かによって、ハイハットオープンとハイハットクローズを判別することができる。 FIG. 15 is a diagram illustrating musical score information 40 including information on a playing method. FIG. 15A is a musical score table 70 containing information on the playing method. On the other hand, FIG. 15B exemplifies a case in which information on a playing method is shown in the musical score information 40 represented by using musical notes. In this example, a circle is placed above the note that indicates playing the hi-hat in the open state. On the other hand, there is no circle on the note indicating that the hi-hat is played in the closed state. Therefore, it is possible to distinguish between the hi-hat open and the hi-hat closed depending on whether or not the circle is attached.

なお、どのようなマークを付すのかやマークの有無については、演奏方法の識別情報と対応づけて、譜面生成装置２０００からアクセス可能な記憶装置に予め格納しておく。また、演奏方法の情報を表す方法は、上述したマークを付す方法に限定されない。例えば、演奏方法ごとに音符の色をそれぞれ異ならせるといった方法が考えられる。 It should be noted that what kind of mark is to be added and the presence or absence of the mark are stored in advance in a storage device accessible from the musical score generation device 2000 in association with the identification information of the playing method. Further, the method of expressing the information of the playing method is not limited to the method of adding the mark described above. For example, it is conceivable to make the color of the note different for each playing method.

＜譜面情報４０の出力＞
譜面生成装置２０００は、任意の方法で譜面情報４０の出力を行う。例えば譜面生成装置２０００は、譜面情報４０を記憶装置に格納する。その他にも例えば、譜面生成装置２０００は、譜面情報４０をディスプレイ装置に表示させる。その他にも例えば、譜面生成装置２０００は、譜面情報４０を他の装置に送信してもよい。例えば、譜面生成装置２０００が、ユーザ端末５２からビデオデータ２０を受信して動作するサーバマシン８０として実現される場合（図４（ｂ）参照）、譜面生成装置２０００は、譜面情報４０をユーザ端末５２に対して送信する。そして、ユーザ端末５２において、種々の方法で譜面情報４０の閲覧が行われる。 <Output of musical score information 40>
The musical score generation device 2000 outputs the musical score information 40 by an arbitrary method. For example, the musical score generation device 2000 stores the musical score information 40 in the storage device. In addition, for example, the musical score generation device 2000 causes the musical score information 40 to be displayed on the display device. In addition, for example, the musical score generation device 2000 may transmit the musical score information 40 to another device. For example, when the musical score generator 2000 is realized as a server machine 80 that operates by receiving video data 20 from the user terminal 52 (see FIG. 4B), the musical score generator 2000 uses the musical score information 40 as the user terminal. Send to 52. Then, on the user terminal 52, the musical score information 40 is browsed by various methods.

ここで、譜面情報４０は、対象打楽器３０の識別情報（名称など）、及び対象楽曲の識別情報（名称など）と共に出力されることが好適である。対象打楽器３０や対象楽曲の識別情報は、例えば、ユーザ入力を受け付けることによって特定することができる。その他にも例えば、対象打楽器３０の名称は、ビデオデータ２０から検出される対象打楽器３０について物体識別処理を行うことによって特定されてもよい。この場合、複数種類の打楽器それぞれについて、打楽器の識別情報と、当該打楽器の画像上の特徴量とを対応づけた情報を、譜面生成装置２０００からアクセス可能な記憶装置に予め格納しておく。譜面生成装置２０００は、この情報を利用して、ビデオデータ２０から検出される打楽器の種類を特定することで、対象打楽器３０の識別情報を特定する。 Here, it is preferable that the musical score information 40 is output together with the identification information (name, etc.) of the target percussion instrument 30 and the identification information (name, etc.) of the target music. The identification information of the target percussion instrument 30 and the target music can be specified, for example, by accepting user input. In addition, for example, the name of the target percussion instrument 30 may be specified by performing an object identification process on the target percussion instrument 30 detected from the video data 20. In this case, for each of the plurality of types of percussion instruments, information in which the identification information of the percussion instrument and the feature amount on the image of the percussion instrument are associated with each other is stored in advance in a storage device accessible from the musical score generation device 2000. The musical score generation device 2000 uses this information to specify the type of percussion instrument detected from the video data 20, thereby specifying the identification information of the target percussion instrument 30.

上記実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above embodiment, the program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-temporary computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), optomagnetic recording media (eg, optomagnetic disks), CD-ROMs (Read Only Memory), CD-Rs. CD-R / W, including semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory). Also, the program is temporary of various types. It may be supplied to the computer by a transitory computer readable medium. Examples of temporary computer readable media include electrical signals, optical signals, and electromagnetic waves. Temporary computer readable media include wires and light. The program can be supplied to the computer via a wired communication path such as a fiber or a wireless communication path.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the invention of the present application has been described above with reference to the embodiments, the invention of the present application is not limited to the above-described embodiment. Various changes that can be understood by those skilled in the art can be made within the scope of the invention of the present application in terms of the configuration and details of the invention of the present application.

１０ カメラ
２０ ビデオデータ
２２ ビデオフレーム
３０ 対象打楽器
４０ 譜面情報
５０ ユーザ
５２ ユーザ端末
６０ 演奏情報
６１ 時点
６２ 演奏箇所
６３ 手
６４ ツール
６５ 演奏方法
７０ 譜面テーブル
７１ 時点
７２ 演奏箇所
８０ サーバマシン
１０００ コンピュータ
１０００ 各コンピュータ
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 譜面生成装置
２０２０ 取得部
２０４０ 特定部
２０６０ 生成部 10 Camera 20 Video data 22 Video frame 30 Target hitting instrument 40 Musical information 50 User 52 User terminal 60 Performance information 61 Time point 62 Playing point 63 Hand 64 Tool 65 Playing method 70 Musical table 71 Time point 72 Playing place 80 Server machine 1000 Computer 1000 Each computer 1000 Computer 1020 Bus 1040 Processor 1060 Memory 1080 Storage device 1100 Input / output interface 1120 Network interface 2000 Musical score generator 2020 Acquisition unit 2040 Specific unit 2060 Generation unit

Claims (5)

複数の演奏箇所を有する対象打楽器を利用して行われた、対象楽曲の演奏が含まれるビデオデータを取得する取得処理と、
前記ビデオデータを解析することで、複数の時点それぞれについて、その時点に演奏された前記演奏箇所を特定する特定処理と、
前記特定の結果に基づき、前記対象打楽器を利用する前記対象楽曲の演奏の譜面情報として、複数の時点それぞれについて、その時点に演奏すべき前記演奏箇所を表す情報を生成する生成処理と、をコンピュータに実行させるプログラム。 Acquisition processing to acquire video data including the performance of the target music, which was performed using the target percussion instrument having multiple performance points, and
By analyzing the video data, at each of a plurality of time points, a specific process for specifying the performance point played at that time point and a specific process.
Based on the specific result, a computer generates information indicating the performance portion to be played at each of a plurality of time points as musical score information of the performance of the target music using the target percussion instrument. Program to be executed by. 前記特定処理は、前記ビデオデータを解析することで、少なくとも１つの前記演奏箇所について、その演奏箇所の演奏に利用された手を各時点について特定し、
前記譜面情報は、少なくとも１つの前記演奏箇所について、その演奏箇所の演奏に利用された手を特定可能な情報を含む、請求項１に記載のプログラム。 In the specific process, by analyzing the video data, at least one of the performance points, the hand used for playing the performance point is specified at each time point.
The program according to claim 1, wherein the musical score information includes information that can identify the hand used for playing the performance portion of at least one performance portion. 前記特定処理は、前記ビデオデータを解析することで、少なくとも１つの前記演奏箇所について、その演奏箇所の演奏に利用されうる複数のツールの中から、その演奏箇所の演奏に利用された前記ツールを特定し、
前記譜面情報は、少なくとも１つの前記演奏箇所について、その演奏箇所の演奏に利用された前記ツールを特定可能な情報を含む、請求項１又は２に記載のプログラム。 The specific process analyzes the video data to select the tool used for playing the performance portion from among a plurality of tools that can be used for playing the performance portion of at least one performance portion. Identify and
The program according to claim 1 or 2, wherein the musical score information includes information that can identify the tool used for playing the performance portion of at least one performance portion. 前記特定処理は、前記ビデオデータを解析することで、少なくとも１つの前記演奏箇所について、その演奏箇所の複数の演奏方法の中から、その演奏箇所の演奏に利用された前記演奏方法を特定し、
前記譜面情報は、少なくとも１つの前記演奏箇所について、その演奏箇所の演奏に利用された前記演奏方法を特定可能な情報を含む、請求項１から３いずれか一項に記載のプログラム。 In the specific processing, by analyzing the video data, the performance method used for the performance of the performance portion is specified from among the plurality of performance methods of the performance portion for at least one performance portion.
The program according to any one of claims 1 to 3, wherein the musical score information includes information that can specify the performance method used for the performance of the performance portion for at least one performance portion. 複数の演奏箇所を有する対象打楽器を利用して行われた、対象楽曲の演奏が含まれるビデオデータを取得する取得部と、
前記ビデオデータを解析することで、複数の時点それぞれについて、その時点に演奏された前記演奏箇所を特定する特定部と、
前記特定の結果に基づき、前記対象打楽器を利用する前記対象楽曲の演奏の譜面情報として、複数の時点それぞれについて、その時点に演奏すべき前記演奏箇所を表す情報を生成する生成部と、を有する譜面生成装置。 An acquisition unit that acquires video data that includes the performance of the target song, which was performed using the target percussion instrument that has multiple performance points.
By analyzing the video data, at each of a plurality of time points, a specific part that identifies the performance point played at that time point and a specific part that identifies the performance point played at that time point.
Based on the specific result, the musical score information of the performance of the target music using the target percussion instrument includes a generation unit that generates information indicating the performance portion to be played at each of a plurality of time points. Musical score generator.

Images