JP2004205738A - Apparatus, program, and method for musical sound generation - Google Patents

Apparatus, program, and method for musical sound generation Download PDF

Info

Publication number
JP2004205738A
JP2004205738A JP2002373768A JP2002373768A JP2004205738A JP 2004205738 A JP2004205738 A JP 2004205738A JP 2002373768 A JP2002373768 A JP 2002373768A JP 2002373768 A JP2002373768 A JP 2002373768A JP 2004205738 A JP2004205738 A JP 2004205738A
Authority
JP
Japan
Prior art keywords
musical sound
image data
subject
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002373768A
Other languages
Japanese (ja)
Other versions
JP3643829B2 (en
Inventor
Shunsuke Nakamura
俊介 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2002373768A priority Critical patent/JP3643829B2/en
Publication of JP2004205738A publication Critical patent/JP2004205738A/en
Application granted granted Critical
Publication of JP3643829B2 publication Critical patent/JP3643829B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a musical sound generating apparatus that automatically generates musical sound data from inputted image data without preparing musical performance information etc. <P>SOLUTION: The apparatus is equipped with a camera 1 which continuously images a subject and inputs image data, frame by frame, an operating section specifying means 21 of specifying respective positions where the subject moves in frames from the image data inputted by the camera 1, a musical sound generating means 22 of generating musical sound data corresponding to the positions specified by the operating section specifying means 21, and a musical sound output means 23 of outputting the musical sound data generated by the musical sound generating means 22. The subject moves in front of the camera 1 and then a musical sound corresponding thereto is automatically generated and played with timbres of various musical instruments. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データに対応した楽音データを自動生成する楽音生成装置、楽音生成プログラムおよび楽音生成方法に関する。
【０００２】
【従来の技術】
画像に対応して演奏の制御を行う技術として、例えば特許文献１には、被写体の輪郭を利用してテンポ等を制御する技術が開示されている。この技術では、入力されたビデオ信号からＲ（赤）、Ｇ（緑）、Ｂ（青）の各色信号を分離し、各色毎にデジタルデータとして階調を表す階調データを生成する。そして、各色の階調データと予め定めた閾値データとに基づいて被写体を特定し、当該被写体の輪郭を検出し、この検出した輪郭の複雑さに応じて演奏を制御する。
【０００３】
しかしながら、この特許文献１に開示の技術では、被写体を特定し、輪郭を検出する必要があるため、処理にかかる負担が大きいという問題がある。そこで、この問題を解決するための技術として、例えば特許文献２には、供給された画像から複数の動きベクトルを抽出し、この抽出した複数の動きベクトルから一つの制御ベクトルを算出し、この算出した制御ベクトルに基づいて、演奏を制御する技術が開示されている。
【０００４】
【特許文献１】
特許第２６２９７４０号公報
【特許文献２】
特開２０００−２７６１３９号公報
【０００５】
【発明が解決しようとする課題】
上記特許文献１，２記載の技術は、いずれも別途供給された演奏の内容を示す演奏情報等から楽音を再生する際に、ビデオ画像に応じた制御を行うことにより、楽音にアレンジを加えるものである。すなわち、これらの技術は演奏情報が何もない状態から楽音を生成するものではない。したがって、これらの技術を利用するためには、予め演奏情報とビデオ画像の両方をそれぞれ準備しておく必要がある。
【０００６】
そこで、本発明においては、演奏情報などを予め準備することなく、入力した画像データから楽音データを自動生成する楽音生成装置、楽音生成プログラムおよび楽音生成方法を提供する。
【０００７】
【課題を解決するための手段】
本発明の楽音生成装置は、被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段と、撮像手段により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、楽音生成手段により生成された楽音データを出力する手段とを備えたものである。
【０００８】
本発明の楽音生成装置によれば、撮像手段により連続的に撮像され、フレームごとに入力された画像データに基づいて、動作部特定手段により、フレーム内で被写体の動きが有ったそれぞれの位置が特定される。そして、楽音生成手段により、この特定されたフレーム内の位置に応じた楽音データ、すなわち被写体の動く位置に応じた楽音データが生成され、出力手段により出力される。
【０００９】
動作部特定手段は、位置の特定を、複数のフレーム間の画像データの比較により行うものとするのが望ましい。複数のフレーム間の画像データを比較することにより、複数のフレーム間の画像データに変化があれば、その複数のフレーム間で被写体に動きが有ったことになるため、その変化があった位置を被写体に動きが有った部分として容易に特定することができる。
【００１０】
楽音生成手段は、動作部特定手段により特定された位置に応じた楽器の音源により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる楽器の音源により生成した楽音データを得ることができる。
【００１１】
楽音生成手段は、動作部特定手段により特定された位置に応じた音階により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる音階により生成した楽音データを得ることができる。
【００１２】
楽音生成手段は、動作部特定手段により特定された位置に応じた音量バランスにより楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、音量バランスを調整した楽音データを得ることができる。
【００１３】
また、本発明の楽音生成装置は、撮像手段により入力された画像データを、動作部特定手段により特定された動作部特定手段により特定された位置に応じて画像処理する画像処理手段と、画像処理手段により画像処理された画像データを表示する表示手段とを備えたものとすることが望ましい。例えば、画像処理手段は、動作部特定手段により特定された位置に応じて画像データの配色を変えるものとすることができる。
【００１４】
これにより、被写体の動く位置に応じて生成される楽音データに加えて、被写体の映像が、そのまま表示手段に表示されるのではなく、その被写体の動く位置に応じて配色が変えられる等のアレンジが施されて表示される。
【００１５】
上記本発明の楽音生成装置は、被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段が接続されたコンピュータを、撮像手段により入力された被写体の画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、楽音生成手段により生成した楽音データを出力する手段として機能させるための楽音生成プログラムの実行により実現可能である。
【００１６】
また、この楽音生成プログラムは、さらにコンピュータを、撮像手段により入力された画像データを、動作部特定手段により特定された位置に応じて画像処理する画像処理手段として機能させるためのものとすることもできる。
【００１７】
【発明の実施の形態】
図１は本発明の実施の形態における楽音生成装置の斜視図、図２は図１の楽音生成装置の構成を示すブロック図である。
【００１８】
図１および図２に示すように、本発明の実施の形態における楽音生成装置は、被写体を撮像するための撮像手段としてのカメラ１と、このカメラ１が接続され、カメラ１により入力された画像データに基づいて各種処理を行うコンピュータ２とにより構成される。カメラ１は、被写体を例えば１秒間に８フレーム連続的に撮像し、フレームごとに画像データとしてコンピュータ２へ入力するものである。
【００１９】
コンピュータ２は、カメラ１により入力された画像データからそれぞれのフレーム内で被写体の動きが有った部分を特定する動作部特定手段２１と、動作部特定手段２１により特定されたフレーム内の部分に応じた楽音データを生成する楽音生成手段２２と、楽音生成手段２２により生成された楽音データを出力する楽音出力手段２３と、カメラ１により入力された画像データを画像処理する画像処理手段２４と、画像処理手段２４により画像処理された画像データを表示する表示手段２５として機能する。
【００２０】
動作部特定手段２１は、カメラ１により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定するものである。例えば、動作部特定手段２１は、この被写体の動きがあった位置を予め分割されたフレーム内の区画の位置により特定する。図３および図４はフレームの分割例を示している。図３は横方向の分割例であり、横方向の区画をＡ，Ｂ，Ｃ，Ｄ，Ｅの５分割としている。図４は区画Ａの縦方向の分割例であり、縦方向の区画Ａに割り当てる楽器の音域を音階ごとに分割したものである。区画Ｂ〜Ｅの縦方向についても同様に各区画Ｂ〜Ｅに割り当てる楽器の音域を音階ごとに分割する。
【００２１】
動作部特定手段２１は、このフレーム内の縦横の区画の位置の特定を、複数のフレーム間の画像データの比較により行う。図５は、動作部特定手段２１による動きの判定の様子を示している。図５に示すように、動作部特定手段２１は、カメラ１により入力された画像データから、現在のフレームの画像とその直前のフレームの画像（または背景画像）のすべての画素（ピクセル）の明るさを比較し、その差が既定値以上ならば動き有りの画素であると判断する。このとき、動作部特定手段２１は、動き有りの画素群の重心（Ｘ座標，Ｙ座標）が縦横のどの区画に属するものであるかを判定する。
【００２２】
楽音生成手段２２は、動作部特定手段２１により特定されたフレーム内の縦横の区画の位置に応じた楽音データ（例えば、ＭＩＤＩ（Musical Instrument Digital Interface）規格のデータ）を生成するものである。図３に示すように、フレームが横方向に５分割されている場合、楽音生成手段２２は、これらの区画Ａ〜Ｅの中から被写体の動きが有った部分に対応する楽器（例えば、Ａ：ピアノ、Ｂ：ギター、Ｃ：ベース、Ｄ：ドラム、Ｅ：オルゴール等。）の音源により楽音データを生成する。
【００２３】
また、楽音生成手段２２は、各区画Ａ〜Ｅ中の縦方向の区画の中から被写体の動きがあった部分に対応する音階の音により楽音データを生成する。このとき、楽音生成手段２２は、基準となるコードを設定し、音楽理論に基づいてそのコード上の音階のみを選択する。例えば、コードが「Ｃ」の場合は、図６に示すように基準コード（ベース）は１２の倍数で、これに０，４，７を加えた値を音階（ノートナンバー）とする。なお、発音のタイミングは、毎回発音、２回ごとに発音、２回発音して４回休むなど、各楽器に応じて設定する。また、打楽器については特殊であるため、ノートナンバーは音階ではなく鳴らす打楽器の種類とする。すなわち、縦方向の動きの変化は打楽器の種類の変化となる。
【００２４】
なお、基準コードは時間の経過や何らかの動作をきっかけ（トリガー）として変化させる。この基準コードの変化（コード進行）によって音楽として美しく奏でられるようになる。この変化には、予め順番やタイミング等を指定しておく方法や、ランダムで進行させる方法などがある。変化のタイミングとしては、時間の経過による変化の他、被写体の動きの量によって切り替えるなど、被写体の動きに合わせて変化させることも可能である。
【００２５】
さらに、楽音生成手段２２は、フレーム内の区画の位置に応じた音量バランスにより楽音データを生成する。図７は音量バランスの設定例を示している。楽音生成手段２２は、図７に示すように、動作部特定手段２１により特定されたフレーム内の横の位置に応じた音量バランスで、後述する左右のスピーカ３ａ，３ｂから音が出力されるように楽音データを生成する。
【００２６】
図２に戻って、楽音出力手段２３は、本実施形態においては、図１に示すようにコンピュータ２の左右に配置され、それぞれ楽音生成手段２２により生成された楽音データを音として出力するスピーカ３ａ，３ｂとする。なお、楽音出力手段２３はスピーカ３ａ，３ｂのように直接音を出力するものでなくてもよい。例えば、楽音出力手段２３は、外部接続される音源（外部ＭＩＤＩ音源等）により音を出力するための音データを出力するものであってもよい。
【００２７】
画像処理手段２４は、カメラ１により入力された画像データを、動作部特定手段２１により特定された被写体の動き位置に応じて配色を変えることにより画像処理するものである。例えば、被写体の動きが有った部分だけ着色したり、動きが有った部分を着色して上から重ねて塗ったり、着色する色や順番を変えたりする。
【００２８】
表示手段２５は、本実施形態においては、コンピュータ２の正面に配置された内蔵ディスプレイ４とするが、外部接続されるディスプレイ、ＣＲＴ（陰極線管）、プロジェクタ、テレビジョン等であってもよい。
【００２９】
以下、上記構成の楽音生成装置による楽音生成手順について、図８のフロー図に基づき説明する。
【００３０】
（Ｓ１０１）初期設定として、生成する楽音のテンポ、楽器の数と種類、音楽コード進行、色の変化などの設定を行う。
（Ｓ１０２）カメラ１からコンピュータ２へ現在の画像データを入力する。
（Ｓ１０３）動作部特定手段２１により、動きを抽出（被写体の動きが有ったそれぞれの位置を特定）する。
【００３１】
（Ｓ１０４）音処理では、楽音生成手段２２により被写体の動きの位置と変化量を算出する。
（Ｓ１０５）被写体の動きの変化量が大きい場合には、コード進行に変化を付ける。なお、変化量が極小で続く場合には、動きがなくなったと判断（Ｓ１０８）し、（Ｓ１０１）へ戻る。
（Ｓ１０６）楽音生成手段２２は、被写体の動きの位置と変化量から楽音データ（ＭＩＤＩ規格データ）を生成する。このとき、楽音生成手段２２は、被写体の動きの変化量に応じて楽音データの音量を決定する。
（Ｓ１０７）生成されたＭＩＤＩ規格データは、楽音出力手段２３へ送り、スピーカ３ａ，３ｂから出力する。
【００３２】
（Ｓ１０９）画像処理では、カメラ１から入力された画像データの、画像処理手段２４により被写体の動きが有った部分の画素（ピクセル）を指定された色で塗る。
（Ｓ１１０）画像処理手段２４により画像処理された画像データをディスプレイ４（表示手段２５）へ表示する。
（Ｓ１０２）から（Ｓ１１０）のステップは、例えば１秒間に８回、初期設定により設定したテンポの速さで繰り返す。なお、このテンポは、上記処理の途中で被写体の動きに応じて変化させる構成とすることも可能である。
【００３３】
以上のように、本実施形態における楽音生成装置によれば、コンピュータ２に接続されたカメラ１により入力した画像データから楽音データが自動生成され、スピーカ３ａ，３ｂなどにより出力される。すなわち、従来のように演奏情報などを予め準備することなく、コンピュータ２に接続されたカメラ１の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。
【００３４】
また、本実施形態における楽音生成装置によれば、楽音の演奏とともに、カメラ１により入力された画像データが、被写体の動きに応じてアレンジされて、コンピュータ２のディスプレイ４に表示される。したがって、本実施形態における楽音生成装置は、生成された楽音を聴覚だけでなく視覚でも楽しむことができ、音と映像を合わせて様々な分野で利用することが可能である。
【００３５】
このような本実施形態における楽音生成装置は、例えば表１に挙げるような場面で利用することが可能である。
【表１】

Figure 2004205738
【００３６】
なお、本実施形態においては、楽音生成装置をカメラ１と汎用のコンピュータ２により構成する例について説明したが、本発明の楽音生成装置はコンピュータ２を楽音生成の専用機やゲーム機等により置き換えて構成することも可能である。カメラ１については、外部接続の他、機器に内蔵した構成とすることが可能である。また、カメラ１を複数台接続して複数の画像データを同時に入力し、同時演奏させることも可能である。このとき、カメラ１を複数の離れた場所にそれぞれ設置し、ネットワークを通じてコンピュータ２に接続することにより、複数の場所からの同時演奏を行わせることも可能である。
【００３７】
また、動作部特定手段２１によるフレームの分割については、本実施形態における分割方向を縦横入れ替えて構成することも可能である。さらに、縦横を組み合わせたり、斜め方向、半径方向、円周方向に分割したりすることも可能である。
【００３８】
【発明の効果】
本発明により、以下の効果を奏することができる。
【００３９】
（１）被写体を連続的に撮像し、フレームごとに画像データとして入力し、この入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定し、この特定された位置に応じた楽音データを生成し、この生成された楽音データを出力する構成により、従来のように演奏情報などを予め準備することなく、被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、出力される。これにより、被写体の動作だけから自動的に生成された楽音を楽しむことが可能となる。
【００４０】
（２）さらに、フレームごとに入力された画像データを、特定された位置に応じて画像処理し、この処理された画像データを表示する構成により、被写体の動作に応じてアレンジされた被写体の画像が出力される。これにより、生成された楽音を映像でも楽しむことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態における楽音生成装置の斜視図である。
【図２】図１の楽音生成装置の構成を示すブロック図である。
【図３】フレームの横方向の分割例を示す図である。
【図４】フレームの縦方向の分割例を示す図である。
【図５】動き判定の様子を示す図である。
【図６】音楽理論に基づいた音階設定の例を示す図である。
【図７】音量バランスの設定例を示す図である。
【図８】本実施形態における楽音生成手順を示すフロー図である。
【符号の説明】
１ カメラ
２ コンピュータ
３ａ，３ｂ スピーカ
４ ディスプレイ
２１ 動作部特定手段
２２ 楽音生成手段
２３ 楽音出力手段
２４ 画像処理手段
２５ 表示手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a tone generation device, a tone generation program, and a tone generation method for automatically generating tone data corresponding to image data.
[0002]
[Prior art]
As a technique for controlling a performance corresponding to an image, for example, Patent Literature 1 discloses a technique for controlling a tempo or the like using a contour of a subject. In this technique, R (red), G (green), and B (blue) color signals are separated from an input video signal, and gradation data representing gradation is generated as digital data for each color. Then, the subject is specified based on the gradation data of each color and predetermined threshold data, the contour of the subject is detected, and the performance is controlled according to the complexity of the detected contour.
[0003]
However, the technique disclosed in Patent Document 1 has a problem in that it is necessary to specify a subject and detect an outline, and thus the processing load is large. Therefore, as a technique for solving this problem, for example, Patent Document 2 discloses that a plurality of motion vectors are extracted from a supplied image, and one control vector is calculated from the extracted plurality of motion vectors. A technique for controlling a performance based on a control vector obtained is disclosed.
[0004]
[Patent Document 1]
Japanese Patent No. 2629740 [Patent Document 2]
Japanese Patent Application Laid-Open No. 2000-276139
[Problems to be solved by the invention]
The techniques described in the above-mentioned Patent Documents 1 and 2 add an arrangement to a musical sound by performing control according to a video image when reproducing the musical sound from performance information or the like indicating the content of the performance separately supplied. It is. That is, these techniques do not generate a musical tone from a state where there is no performance information. Therefore, in order to use these techniques, it is necessary to prepare both performance information and video images in advance.
[0006]
Therefore, the present invention provides a tone generating apparatus, a tone generating program, and a tone generating method for automatically generating tone data from input image data without preparing performance information or the like in advance.
[0007]
[Means for Solving the Problems]
The musical sound generation device according to the present invention includes an imaging unit that continuously captures an image of a subject and inputs the data as image data for each frame. An apparatus comprising: an operation unit specifying unit that specifies by position; a musical sound generation unit that generates musical sound data corresponding to the position specified by the operation unit specifying unit; and a unit that outputs the musical sound data generated by the musical sound generation unit. It is.
[0008]
According to the musical sound generation device of the present invention, each position at which the subject has moved within the frame is determined by the operation unit specifying unit based on the image data continuously captured by the imaging unit and input for each frame. Is specified. Then, the musical sound generating means generates musical sound data corresponding to the position in the specified frame, that is, musical sound data corresponding to the moving position of the subject, and outputs the musical sound data by the output means.
[0009]
It is preferable that the operation unit specifying means specifies the position by comparing image data between a plurality of frames. If there is a change in the image data between a plurality of frames by comparing the image data between a plurality of frames, it means that the subject has moved between the plurality of frames. Can be easily specified as a portion where the subject has moved.
[0010]
It is desirable that the musical sound generation means generates musical sound data from a sound source of a musical instrument corresponding to the position specified by the operation unit specifying means. Thereby, it is possible to obtain musical tone data generated by sound sources of different musical instruments according to the moving position of the subject.
[0011]
It is preferable that the musical sound generating means generates musical sound data based on a scale corresponding to the position specified by the operation unit specifying means. Thereby, it is possible to obtain musical tone data generated by different scales according to the moving position of the subject.
[0012]
It is desirable that the musical sound generating means generates musical sound data based on a sound volume balance corresponding to the position specified by the operation unit specifying means. As a result, it is possible to obtain tone data in which the volume balance is adjusted according to the position where the subject moves.
[0013]
In addition, the musical sound generation device of the present invention includes an image processing unit that performs image processing on image data input by the imaging unit in accordance with a position specified by the operation unit specifying unit specified by the operation unit specifying unit; Display means for displaying image data image-processed by the means. For example, the image processing means can change the color scheme of the image data according to the position specified by the operation part specifying means.
[0014]
Thereby, in addition to the musical sound data generated according to the moving position of the subject, the image of the subject is not displayed on the display means as it is, but the arrangement of colors is changed according to the moving position of the subject. Is displayed.
[0015]
The musical sound generating apparatus according to the present invention includes a computer connected to an imaging unit that continuously captures an image of a subject and inputs the image data as image data for each frame, from the image data of the subject input by the imaging unit within the frame. Operating part specifying means for specifying each position where the subject has moved, musical sound generating means for generating musical sound data corresponding to the position specified by the operating part specifying means, and musical sound data generated by the musical sound generating means This can be realized by executing a tone generation program for functioning as an output unit.
[0016]
Further, the musical sound generation program may further cause the computer to function as image processing means for performing image processing on the image data input by the imaging means according to the position specified by the operation section specifying means. it can.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a perspective view of a musical sound generating device according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a configuration of the musical sound generating device of FIG.
[0018]
As shown in FIGS. 1 and 2, a musical sound generation device according to an embodiment of the present invention includes a camera 1 serving as an imaging unit for capturing an image of a subject, and an image input by the camera 1 to which the camera 1 is connected. The computer 2 performs various processes based on the data. The camera 1 continuously captures an image of a subject, for example, eight frames per second, and inputs the image data to the computer 2 for each frame.
[0019]
The computer 2 includes an operation unit specifying unit 21 that specifies a part where the subject has moved in each frame from the image data input by the camera 1, and a part in the frame specified by the operation unit specification unit 21. Tone generating means 22 for generating corresponding tone data, tone output means 23 for outputting tone data generated by the tone generating means 22, image processing means 24 for performing image processing on image data input by the camera 1, It functions as a display unit 25 that displays image data that has been subjected to image processing by the image processing unit 24.
[0020]
The operation unit specifying unit 21 specifies, from the image data input by the camera 1, each position where the subject has moved within the frame. For example, the operation unit specifying unit 21 specifies the position where the subject has moved based on the position of the section in the previously divided frame. 3 and 4 show examples of dividing a frame. FIG. 3 is an example of division in the horizontal direction, and the division in the horizontal direction is divided into five divisions of A, B, C, D, and E. FIG. 4 is an example of division of the section A in the vertical direction, in which the musical range of the musical instrument assigned to the section A in the vertical direction is divided for each musical scale. Similarly, in the vertical direction of the sections B to E, the range of the musical instrument assigned to each of the sections B to E is divided for each scale.
[0021]
The operation unit specifying unit 21 specifies the positions of the vertical and horizontal sections in the frame by comparing image data between a plurality of frames. FIG. 5 shows a state of the motion determination by the operation unit specifying unit 21. As illustrated in FIG. 5, the operation unit specifying unit 21 determines, from the image data input by the camera 1, the brightness of all pixels (pixels) of the current frame image and the immediately preceding frame image (or background image). If the difference is equal to or greater than a predetermined value, it is determined that the pixel has motion. At this time, the operation unit specifying unit 21 determines which vertical and horizontal section the barycenter (X coordinate, Y coordinate) of the pixel group with motion belongs to.
[0022]
The musical sound generating means 22 generates musical sound data (for example, MIDI (Musical Instrument Digital Interface) standard data) corresponding to the positions of the vertical and horizontal sections in the frame specified by the operation section specifying means 21. As shown in FIG. 3, when the frame is divided into five in the horizontal direction, the musical sound generation unit 22 selects a musical instrument (for example, A : Piano, B: guitar, C: bass, D: drum, E: music box, etc.).
[0023]
Further, the musical sound generating means 22 generates musical sound data from a sound of a musical scale corresponding to a portion where the subject has moved from among the vertical partitions among the partitions A to E. At this time, the musical tone generating means 22 sets a reference chord, and selects only a scale on the chord based on music theory. For example, when the chord is “C”, as shown in FIG. 6, the reference chord (base) is a multiple of 12, and a value obtained by adding 0, 4, 7 to this is defined as a musical scale (note number). The sounding timing is set according to each musical instrument, such as sounding every time, sounding every two times, sounding twice and resting four times. Since the percussion instrument is special, the note number is not the scale but the type of the percussion instrument to be played. That is, a change in the vertical movement is a change in the type of percussion instrument.
[0024]
The reference code is changed by the passage of time or some operation as a trigger. The change (chord progression) of the reference chord allows the music to be played beautifully as music. This change includes a method of designating the order, timing, and the like in advance, and a method of proceeding at random. The timing of the change can be changed according to the movement of the subject, for example, by changing according to the amount of movement of the subject, in addition to the change over time.
[0025]
Further, the musical sound generating means 22 generates musical sound data with a volume balance according to the position of the section in the frame. FIG. 7 shows a setting example of the volume balance. As shown in FIG. 7, the musical sound generating means 22 outputs sound from left and right speakers 3a, 3b, which will be described later, with a volume balance corresponding to the horizontal position in the frame specified by the operation unit specifying means 21. To generate musical sound data.
[0026]
Returning to FIG. 2, in this embodiment, the tone output means 23 is disposed on the left and right of the computer 2 as shown in FIG. 1, and outputs the tone data generated by the tone generating means 22 as a sound. , 3b. Note that the musical sound output means 23 may not be a means for directly outputting a sound like the speakers 3a and 3b. For example, the musical sound output means 23 may output sound data for outputting a sound from an externally connected sound source (such as an external MIDI sound source).
[0027]
The image processing unit 24 performs image processing on the image data input by the camera 1 by changing the color scheme according to the movement position of the subject specified by the operation unit specifying unit 21. For example, the moving part may be colored only in the moving part, the moving part may be colored and applied from above, or the colors and order of the coloring may be changed.
[0028]
In the present embodiment, the display means 25 is the built-in display 4 arranged in front of the computer 2, but may be an externally connected display, a CRT (cathode ray tube), a projector, a television, or the like.
[0029]
Hereinafter, a procedure for generating a musical tone by the musical tone generating apparatus having the above configuration will be described with reference to a flowchart of FIG.
[0030]
(S101) As initial settings, settings such as the tempo of a musical tone to be generated, the number and type of musical instruments, the progression of music chords, and changes in color are made.
(S102) The current image data is input from the camera 1 to the computer 2.
(S103) The motion is specified by the operation unit specifying means 21 (each position where the motion of the subject has been specified).
[0031]
(S104) In the sound processing, the musical sound generation means 22 calculates the position and the amount of change of the movement of the subject.
(S105) If the amount of change in the movement of the subject is large, the chord progression is changed. If the change is minimal and continues, it is determined that the movement has stopped (S108), and the process returns to (S101).
(S106) The musical sound generating means 22 generates musical sound data (MIDI standard data) from the movement position and the amount of change of the subject. At this time, the tone generator 22 determines the volume of the tone data according to the amount of change in the movement of the subject.
(S107) The generated MIDI standard data is sent to the musical sound output means 23 and output from the speakers 3a and 3b.
[0032]
(S109) In the image processing, the image data input from the camera 1 is used to paint the pixels (pixels) of the portion where the subject has moved by the image processing means 24 with the designated color.
(S110) The image data processed by the image processing means 24 is displayed on the display 4 (display means 25).
The steps from (S102) to (S110) are repeated, for example, eight times per second at the tempo speed set by the initial setting. Note that the tempo may be changed in accordance with the movement of the subject during the processing.
[0033]
As described above, according to the musical sound generation device of the present embodiment, musical sound data is automatically generated from the image data input by the camera 1 connected to the computer 2, and output from the speakers 3a and 3b. That is, when the subject operates in front of the camera 1 connected to the computer 2 without preparing performance information or the like as in the related art, a musical tone corresponding to the operation of the subject is automatically generated, Performed with various instrument sounds.
[0034]
Further, according to the musical sound generation device in the present embodiment, the image data input by the camera 1 is arranged according to the movement of the subject and displayed on the display 4 of the computer 2 together with the performance of the musical sound. Therefore, the musical sound generation device according to the present embodiment can enjoy the generated musical sound not only auditoryly but also visually, and can use sound and video in various fields.
[0035]
Such a tone generation device according to the present embodiment can be used, for example, in the scenes listed in Table 1.
[Table 1]
Figure 2004205738
[0036]
Note that, in the present embodiment, an example in which the musical sound generating device is configured by the camera 1 and the general-purpose computer 2 has been described. However, the musical sound generating device of the present invention replaces the computer 2 with a musical sound generating dedicated machine or a game machine. It is also possible to configure. The camera 1 can be configured to be built in a device in addition to the external connection. It is also possible to connect a plurality of cameras 1 to simultaneously input a plurality of image data and play them simultaneously. At this time, it is also possible to perform the simultaneous performance from a plurality of places by installing the camera 1 at a plurality of distant places and connecting to the computer 2 through a network.
[0037]
Further, the division of the frame by the operation unit specifying unit 21 can be configured by changing the dividing direction in the present embodiment vertically and horizontally. Furthermore, it is also possible to combine the vertical and horizontal directions, or to divide the diagonal direction, radial direction, and circumferential direction.
[0038]
【The invention's effect】
According to the present invention, the following effects can be obtained.
[0039]
(1) The subject is continuously imaged and input as image data for each frame, and from the input image data, each position where the subject has moved in the frame is specified, and the specified position is determined. Is generated, and the generated tone data is output, so that the subject operates according to the motion of the subject without preparing performance information or the like in advance as in the related art. Musical sounds are automatically generated and output. As a result, it is possible to enjoy a musical sound automatically generated only from the motion of the subject.
[0040]
(2) Further, the image data input for each frame is subjected to image processing according to the specified position, and the processed image data is displayed, whereby the image of the subject arranged according to the motion of the subject is arranged. Is output. As a result, the generated musical sound can be enjoyed even in the video.
[Brief description of the drawings]
FIG. 1 is a perspective view of a musical sound generation device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of the musical sound generation device of FIG.
FIG. 3 is a diagram illustrating an example of horizontal division of a frame;
FIG. 4 is a diagram illustrating an example of dividing a frame in the vertical direction.
FIG. 5 is a diagram showing a state of motion determination.
FIG. 6 is a diagram illustrating an example of a scale setting based on music theory.
FIG. 7 is a diagram showing an example of setting a sound volume balance;
FIG. 8 is a flowchart showing a musical sound generation procedure in the embodiment.
[Explanation of symbols]
1 Camera 2 Computers 3a, 3b Speakers 4 Display 21 Operating unit specifying means 22 Musical sound generating means 23 Musical sound output means 24 Image processing means 25 Display means

Claims (11)

被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段と、
同撮像手段により入力された画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、
同楽音生成手段により生成された楽音データを出力する手段と
を備えた楽音生成装置。Imaging means for continuously imaging a subject and inputting image data for each frame;
From the image data input by the imaging unit, an operation unit identification unit that identifies each position where the subject has moved within a frame,
Musical sound generating means for generating musical sound data corresponding to the position specified by the operating section specifying means;
Means for outputting the musical sound data generated by the musical sound generating means. 前記動作部特定手段は、前記位置の特定を、複数のフレーム間の画像データの比較により行うものである請求項１記載の楽音生成装置。2. The musical sound generation device according to claim 1, wherein the operation unit identification unit identifies the position by comparing image data between a plurality of frames. 前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた楽器の音源により前記楽音データを生成するものである請求項１または２に記載の楽音生成装置。The musical sound generating device according to claim 1, wherein the musical sound generating unit generates the musical sound data from a sound source of a musical instrument corresponding to a position specified by the operation unit specifying unit. 前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた音階により前記楽音データを生成するものである請求項１から３のいずれかに記載の楽音生成装置。4. The musical sound generating apparatus according to claim 1, wherein said musical sound generating means generates said musical sound data in a musical scale corresponding to a position specified by said operation section specifying means. 前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた音量バランスにより前記楽音データを生成するものである請求項１から４のいずれかに記載の楽音生成装置。The musical sound generating device according to claim 1, wherein the musical sound generating unit generates the musical sound data based on a volume balance according to the position specified by the operation unit specifying unit. 前記撮像手段により入力された画像データを、前記動作部特定手段により特定された位置に応じて画像処理する画像処理手段と、
同画像処理手段により画像処理された画像データを表示する表示手段と
を備えた請求項１から５のいずれかに記載の楽音生成装置。Image processing means for performing image processing on the image data input by the imaging means according to the position specified by the operation unit specifying means,
6. A musical sound generating apparatus according to claim 1, further comprising a display unit for displaying image data processed by said image processing unit. 前記画像処理手段は、前記動作部特定手段により特定された位置に応じて前記画像データの配色を変えるものである請求項６記載の楽音生成装置。7. The musical sound generating apparatus according to claim 6, wherein said image processing means changes a color scheme of said image data according to a position specified by said operation part specifying means. 被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段が接続されたコンピュータを、
前記撮像手段により入力された被写体の画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、
同楽音生成手段により生成した楽音データを出力する手段
として機能させるための楽音生成プログラム。A computer connected to an imaging unit that continuously captures an image of a subject and inputs image data for each frame,
From the image data of the subject input by the imaging means, an operation unit specifying means for specifying by each position where the movement of the subject in the frame,
Musical sound generating means for generating musical sound data corresponding to the position specified by the operating section specifying means;
A musical sound generation program for functioning as a means for outputting musical sound data generated by the musical sound generating means. さらに前記コンピュータを、
前記撮像手段により入力された画像データを、前記動作部特定手段により特定された位置に応じて画像処理する画像処理手段
として機能させるための請求項８記載の楽音生成プログラム。Further, the computer
9. The musical sound generation program according to claim 8, wherein the tone data generation program causes the image data input by the imaging unit to function as an image processing unit that performs image processing according to the position specified by the operation unit specifying unit. 被写体を連続的に撮像し、フレームごとに画像データとして入力し、この入力された画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定し、この特定された位置に応じた楽音データを生成し、この生成された楽音データを出力する楽音生成方法。A subject is continuously imaged and input as image data for each frame. From the input image data, the position of the subject in the frame is specified by each position, and the position is determined according to the specified position. A tone generating method for generating generated tone data and outputting the generated tone data. さらに、前記フレームごとに入力された画像データを、前記特定された位置に応じて画像処理し、この処理された画像データを表示する請求項１０記載の楽音生成方法。11. The musical sound generation method according to claim 10, further comprising: performing image processing on the image data input for each frame in accordance with the specified position, and displaying the processed image data.
JP2002373768A 2002-12-25 2002-12-25 Musical sound generating apparatus, musical sound generating program, and musical sound generating method Expired - Fee Related JP3643829B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002373768A JP3643829B2 (en) 2002-12-25 2002-12-25 Musical sound generating apparatus, musical sound generating program, and musical sound generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002373768A JP3643829B2 (en) 2002-12-25 2002-12-25 Musical sound generating apparatus, musical sound generating program, and musical sound generating method

Publications (2)

Publication Number Publication Date
JP2004205738A true JP2004205738A (en) 2004-07-22
JP3643829B2 JP3643829B2 (en) 2005-04-27

Family

ID=32811960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002373768A Expired - Fee Related JP3643829B2 (en) 2002-12-25 2002-12-25 Musical sound generating apparatus, musical sound generating program, and musical sound generating method

Country Status (1)

Country Link
JP (1) JP3643829B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005106839A1 (en) * 2004-04-30 2005-11-10 Kyushu Institute Of Technology Semiconductor device having music generation function, and mobile electronic device, mobile telephone device, spectacle instrument, and spectacle instrument set using the same
KR101007227B1 (en) * 2009-03-06 2011-01-12 (주)세가인정보기술 System and method for creating a sound source using images
WO2011136454A1 (en) * 2010-04-30 2011-11-03 (주)세가인정보기술 Sound source generation system and method using image
JP2017215375A (en) * 2016-05-30 2017-12-07 株式会社豊田中央研究所 Music generator and program
KR20200124911A (en) * 2019-04-25 2020-11-04 경북대학교 산학협력단 Apparatus of contents providing based on image analyzing, contents providing system including the apparatus and method of contents providing
WO2021038833A1 (en) * 2019-08-30 2021-03-04 ソニフィデア合同会社 Acoustic space creation apparatus

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005106839A1 (en) * 2004-04-30 2005-11-10 Kyushu Institute Of Technology Semiconductor device having music generation function, and mobile electronic device, mobile telephone device, spectacle instrument, and spectacle instrument set using the same
JP2005316300A (en) * 2004-04-30 2005-11-10 Kyushu Institute Of Technology Semiconductor device having musical tone generation function, and mobile type electronic equipment, mobil phone, spectacles appliance and spectacles appliance set using the same
KR101007227B1 (en) * 2009-03-06 2011-01-12 (주)세가인정보기술 System and method for creating a sound source using images
WO2011136454A1 (en) * 2010-04-30 2011-11-03 (주)세가인정보기술 Sound source generation system and method using image
JP2017215375A (en) * 2016-05-30 2017-12-07 株式会社豊田中央研究所 Music generator and program
KR20200124911A (en) * 2019-04-25 2020-11-04 경북대학교 산학협력단 Apparatus of contents providing based on image analyzing, contents providing system including the apparatus and method of contents providing
KR102241864B1 (en) * 2019-04-25 2021-04-16 경북대학교 산학협력단 Apparatus of contents providing based on image analyzing, contents providing system including the apparatus and method of contents providing
WO2021038833A1 (en) * 2019-08-30 2021-03-04 ソニフィデア合同会社 Acoustic space creation apparatus

Also Published As

Publication number Publication date
JP3643829B2 (en) 2005-04-27

Similar Documents

Publication Publication Date Title
US5159140A (en) Acoustic control apparatus for controlling musical tones based upon visual images
US5310962A (en) Acoustic control apparatus for controlling music information in response to a video signal
EP1020843A1 (en) Automatic musical composition method
JP2003507799A (en) Harmonic color selection method and apparatus using harmony method, and sound / color and color / sound conversion method and apparatus
JP2006080746A (en) Image processor, electronic camera, and image processing program
WO2005106839A1 (en) Semiconductor device having music generation function, and mobile electronic device, mobile telephone device, spectacle instrument, and spectacle instrument set using the same
US20060228020A1 (en) Image projection apparatus and image output apparatus
JP3643829B2 (en) Musical sound generating apparatus, musical sound generating program, and musical sound generating method
JP5408205B2 (en) Control point setting method, control point setting device, and program
US7655856B2 (en) Musical sounding producing apparatus, musical sound producing method, musical sound producing program, and recording medium
JP3728884B2 (en) Image processing apparatus and method, image composition apparatus, and recording medium
JP3945524B2 (en) Key signal generation apparatus and method, image composition apparatus, and recording medium
CN115604887A (en) Atmosphere lamp group control method, control console and device
JP2629740B2 (en) Sound processing device
JP2000341716A (en) Gradation correction circuit and its correction method
JP2000276139A (en) Method for generating music sound and method for controlling electronic instrument
JPH1055186A (en) &#39;karaoke&#39; device
JP2000293172A (en) Wind instrument playing practice device and recording medium where wind instrument playing practice processing program is recorded
JP5776442B2 (en) Image generation method, image generation apparatus, and program
JP2024014517A (en) Information processing system, information processing method, and computer program
JP2015126826A (en) Information processing device and program
JP2005117437A (en) Blocked decorative image
JP2002216149A (en) Pattern creating method, pattern creation system, animation creating method and animation creation system
JPH09160576A (en) Karaoke display device
JP2021064060A (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040707

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050131

R150 Certificate of patent or registration of utility model

Ref document number: 3643829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090204

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100204

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110204

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120204

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130204

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140204

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees