JP2004205738A - Apparatus, program, and method for musical sound generation - Google Patents
Apparatus, program, and method for musical sound generation Download PDFInfo
- Publication number
- JP2004205738A JP2004205738A JP2002373768A JP2002373768A JP2004205738A JP 2004205738 A JP2004205738 A JP 2004205738A JP 2002373768 A JP2002373768 A JP 2002373768A JP 2002373768 A JP2002373768 A JP 2002373768A JP 2004205738 A JP2004205738 A JP 2004205738A
- Authority
- JP
- Japan
- Prior art keywords
- musical sound
- image data
- subject
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、画像データに対応した楽音データを自動生成する楽音生成装置、楽音生成プログラムおよび楽音生成方法に関する。
【0002】
【従来の技術】
画像に対応して演奏の制御を行う技術として、例えば特許文献1には、被写体の輪郭を利用してテンポ等を制御する技術が開示されている。この技術では、入力されたビデオ信号からR(赤)、G(緑)、B(青)の各色信号を分離し、各色毎にデジタルデータとして階調を表す階調データを生成する。そして、各色の階調データと予め定めた閾値データとに基づいて被写体を特定し、当該被写体の輪郭を検出し、この検出した輪郭の複雑さに応じて演奏を制御する。
【0003】
しかしながら、この特許文献1に開示の技術では、被写体を特定し、輪郭を検出する必要があるため、処理にかかる負担が大きいという問題がある。そこで、この問題を解決するための技術として、例えば特許文献2には、供給された画像から複数の動きベクトルを抽出し、この抽出した複数の動きベクトルから一つの制御ベクトルを算出し、この算出した制御ベクトルに基づいて、演奏を制御する技術が開示されている。
【0004】
【特許文献1】
特許第2629740号公報
【特許文献2】
特開2000−276139号公報
【0005】
【発明が解決しようとする課題】
上記特許文献1,2記載の技術は、いずれも別途供給された演奏の内容を示す演奏情報等から楽音を再生する際に、ビデオ画像に応じた制御を行うことにより、楽音にアレンジを加えるものである。すなわち、これらの技術は演奏情報が何もない状態から楽音を生成するものではない。したがって、これらの技術を利用するためには、予め演奏情報とビデオ画像の両方をそれぞれ準備しておく必要がある。
【0006】
そこで、本発明においては、演奏情報などを予め準備することなく、入力した画像データから楽音データを自動生成する楽音生成装置、楽音生成プログラムおよび楽音生成方法を提供する。
【0007】
【課題を解決するための手段】
本発明の楽音生成装置は、被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段と、撮像手段により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、楽音生成手段により生成された楽音データを出力する手段とを備えたものである。
【0008】
本発明の楽音生成装置によれば、撮像手段により連続的に撮像され、フレームごとに入力された画像データに基づいて、動作部特定手段により、フレーム内で被写体の動きが有ったそれぞれの位置が特定される。そして、楽音生成手段により、この特定されたフレーム内の位置に応じた楽音データ、すなわち被写体の動く位置に応じた楽音データが生成され、出力手段により出力される。
【0009】
動作部特定手段は、位置の特定を、複数のフレーム間の画像データの比較により行うものとするのが望ましい。複数のフレーム間の画像データを比較することにより、複数のフレーム間の画像データに変化があれば、その複数のフレーム間で被写体に動きが有ったことになるため、その変化があった位置を被写体に動きが有った部分として容易に特定することができる。
【0010】
楽音生成手段は、動作部特定手段により特定された位置に応じた楽器の音源により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる楽器の音源により生成した楽音データを得ることができる。
【0011】
楽音生成手段は、動作部特定手段により特定された位置に応じた音階により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる音階により生成した楽音データを得ることができる。
【0012】
楽音生成手段は、動作部特定手段により特定された位置に応じた音量バランスにより楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、音量バランスを調整した楽音データを得ることができる。
【0013】
また、本発明の楽音生成装置は、撮像手段により入力された画像データを、動作部特定手段により特定された動作部特定手段により特定された位置に応じて画像処理する画像処理手段と、画像処理手段により画像処理された画像データを表示する表示手段とを備えたものとすることが望ましい。例えば、画像処理手段は、動作部特定手段により特定された位置に応じて画像データの配色を変えるものとすることができる。
【0014】
これにより、被写体の動く位置に応じて生成される楽音データに加えて、被写体の映像が、そのまま表示手段に表示されるのではなく、その被写体の動く位置に応じて配色が変えられる等のアレンジが施されて表示される。
【0015】
上記本発明の楽音生成装置は、被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段が接続されたコンピュータを、撮像手段により入力された被写体の画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、楽音生成手段により生成した楽音データを出力する手段として機能させるための楽音生成プログラムの実行により実現可能である。
【0016】
また、この楽音生成プログラムは、さらにコンピュータを、撮像手段により入力された画像データを、動作部特定手段により特定された位置に応じて画像処理する画像処理手段として機能させるためのものとすることもできる。
【0017】
【発明の実施の形態】
図1は本発明の実施の形態における楽音生成装置の斜視図、図2は図1の楽音生成装置の構成を示すブロック図である。
【0018】
図1および図2に示すように、本発明の実施の形態における楽音生成装置は、被写体を撮像するための撮像手段としてのカメラ1と、このカメラ1が接続され、カメラ1により入力された画像データに基づいて各種処理を行うコンピュータ2とにより構成される。カメラ1は、被写体を例えば1秒間に8フレーム連続的に撮像し、フレームごとに画像データとしてコンピュータ2へ入力するものである。
【0019】
コンピュータ2は、カメラ1により入力された画像データからそれぞれのフレーム内で被写体の動きが有った部分を特定する動作部特定手段21と、動作部特定手段21により特定されたフレーム内の部分に応じた楽音データを生成する楽音生成手段22と、楽音生成手段22により生成された楽音データを出力する楽音出力手段23と、カメラ1により入力された画像データを画像処理する画像処理手段24と、画像処理手段24により画像処理された画像データを表示する表示手段25として機能する。
【0020】
動作部特定手段21は、カメラ1により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定するものである。例えば、動作部特定手段21は、この被写体の動きがあった位置を予め分割されたフレーム内の区画の位置により特定する。図3および図4はフレームの分割例を示している。図3は横方向の分割例であり、横方向の区画をA,B,C,D,Eの5分割としている。図4は区画Aの縦方向の分割例であり、縦方向の区画Aに割り当てる楽器の音域を音階ごとに分割したものである。区画B〜Eの縦方向についても同様に各区画B〜Eに割り当てる楽器の音域を音階ごとに分割する。
【0021】
動作部特定手段21は、このフレーム内の縦横の区画の位置の特定を、複数のフレーム間の画像データの比較により行う。図5は、動作部特定手段21による動きの判定の様子を示している。図5に示すように、動作部特定手段21は、カメラ1により入力された画像データから、現在のフレームの画像とその直前のフレームの画像(または背景画像)のすべての画素(ピクセル)の明るさを比較し、その差が既定値以上ならば動き有りの画素であると判断する。このとき、動作部特定手段21は、動き有りの画素群の重心(X座標,Y座標)が縦横のどの区画に属するものであるかを判定する。
【0022】
楽音生成手段22は、動作部特定手段21により特定されたフレーム内の縦横の区画の位置に応じた楽音データ(例えば、MIDI(Musical Instrument Digital Interface)規格のデータ)を生成するものである。図3に示すように、フレームが横方向に5分割されている場合、楽音生成手段22は、これらの区画A〜Eの中から被写体の動きが有った部分に対応する楽器(例えば、A:ピアノ、B:ギター、C:ベース、D:ドラム、E:オルゴール等。)の音源により楽音データを生成する。
【0023】
また、楽音生成手段22は、各区画A〜E中の縦方向の区画の中から被写体の動きがあった部分に対応する音階の音により楽音データを生成する。このとき、楽音生成手段22は、基準となるコードを設定し、音楽理論に基づいてそのコード上の音階のみを選択する。例えば、コードが「C」の場合は、図6に示すように基準コード(ベース)は12の倍数で、これに0,4,7を加えた値を音階(ノートナンバー)とする。なお、発音のタイミングは、毎回発音、2回ごとに発音、2回発音して4回休むなど、各楽器に応じて設定する。また、打楽器については特殊であるため、ノートナンバーは音階ではなく鳴らす打楽器の種類とする。すなわち、縦方向の動きの変化は打楽器の種類の変化となる。
【0024】
なお、基準コードは時間の経過や何らかの動作をきっかけ(トリガー)として変化させる。この基準コードの変化(コード進行)によって音楽として美しく奏でられるようになる。この変化には、予め順番やタイミング等を指定しておく方法や、ランダムで進行させる方法などがある。変化のタイミングとしては、時間の経過による変化の他、被写体の動きの量によって切り替えるなど、被写体の動きに合わせて変化させることも可能である。
【0025】
さらに、楽音生成手段22は、フレーム内の区画の位置に応じた音量バランスにより楽音データを生成する。図7は音量バランスの設定例を示している。楽音生成手段22は、図7に示すように、動作部特定手段21により特定されたフレーム内の横の位置に応じた音量バランスで、後述する左右のスピーカ3a,3bから音が出力されるように楽音データを生成する。
【0026】
図2に戻って、楽音出力手段23は、本実施形態においては、図1に示すようにコンピュータ2の左右に配置され、それぞれ楽音生成手段22により生成された楽音データを音として出力するスピーカ3a,3bとする。なお、楽音出力手段23はスピーカ3a,3bのように直接音を出力するものでなくてもよい。例えば、楽音出力手段23は、外部接続される音源(外部MIDI音源等)により音を出力するための音データを出力するものであってもよい。
【0027】
画像処理手段24は、カメラ1により入力された画像データを、動作部特定手段21により特定された被写体の動き位置に応じて配色を変えることにより画像処理するものである。例えば、被写体の動きが有った部分だけ着色したり、動きが有った部分を着色して上から重ねて塗ったり、着色する色や順番を変えたりする。
【0028】
表示手段25は、本実施形態においては、コンピュータ2の正面に配置された内蔵ディスプレイ4とするが、外部接続されるディスプレイ、CRT(陰極線管)、プロジェクタ、テレビジョン等であってもよい。
【0029】
以下、上記構成の楽音生成装置による楽音生成手順について、図8のフロー図に基づき説明する。
【0030】
(S101)初期設定として、生成する楽音のテンポ、楽器の数と種類、音楽コード進行、色の変化などの設定を行う。
(S102)カメラ1からコンピュータ2へ現在の画像データを入力する。
(S103)動作部特定手段21により、動きを抽出(被写体の動きが有ったそれぞれの位置を特定)する。
【0031】
(S104)音処理では、楽音生成手段22により被写体の動きの位置と変化量を算出する。
(S105)被写体の動きの変化量が大きい場合には、コード進行に変化を付ける。なお、変化量が極小で続く場合には、動きがなくなったと判断(S108)し、(S101)へ戻る。
(S106)楽音生成手段22は、被写体の動きの位置と変化量から楽音データ(MIDI規格データ)を生成する。このとき、楽音生成手段22は、被写体の動きの変化量に応じて楽音データの音量を決定する。
(S107)生成されたMIDI規格データは、楽音出力手段23へ送り、スピーカ3a,3bから出力する。
【0032】
(S109)画像処理では、カメラ1から入力された画像データの、画像処理手段24により被写体の動きが有った部分の画素(ピクセル)を指定された色で塗る。
(S110)画像処理手段24により画像処理された画像データをディスプレイ4(表示手段25)へ表示する。
(S102)から(S110)のステップは、例えば1秒間に8回、初期設定により設定したテンポの速さで繰り返す。なお、このテンポは、上記処理の途中で被写体の動きに応じて変化させる構成とすることも可能である。
【0033】
以上のように、本実施形態における楽音生成装置によれば、コンピュータ2に接続されたカメラ1により入力した画像データから楽音データが自動生成され、スピーカ3a,3bなどにより出力される。すなわち、従来のように演奏情報などを予め準備することなく、コンピュータ2に接続されたカメラ1の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。
【0034】
また、本実施形態における楽音生成装置によれば、楽音の演奏とともに、カメラ1により入力された画像データが、被写体の動きに応じてアレンジされて、コンピュータ2のディスプレイ4に表示される。したがって、本実施形態における楽音生成装置は、生成された楽音を聴覚だけでなく視覚でも楽しむことができ、音と映像を合わせて様々な分野で利用することが可能である。
【0035】
このような本実施形態における楽音生成装置は、例えば表1に挙げるような場面で利用することが可能である。
【表1】
【0036】
なお、本実施形態においては、楽音生成装置をカメラ1と汎用のコンピュータ2により構成する例について説明したが、本発明の楽音生成装置はコンピュータ2を楽音生成の専用機やゲーム機等により置き換えて構成することも可能である。カメラ1については、外部接続の他、機器に内蔵した構成とすることが可能である。また、カメラ1を複数台接続して複数の画像データを同時に入力し、同時演奏させることも可能である。このとき、カメラ1を複数の離れた場所にそれぞれ設置し、ネットワークを通じてコンピュータ2に接続することにより、複数の場所からの同時演奏を行わせることも可能である。
【0037】
また、動作部特定手段21によるフレームの分割については、本実施形態における分割方向を縦横入れ替えて構成することも可能である。さらに、縦横を組み合わせたり、斜め方向、半径方向、円周方向に分割したりすることも可能である。
【0038】
【発明の効果】
本発明により、以下の効果を奏することができる。
【0039】
(1)被写体を連続的に撮像し、フレームごとに画像データとして入力し、この入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定し、この特定された位置に応じた楽音データを生成し、この生成された楽音データを出力する構成により、従来のように演奏情報などを予め準備することなく、被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、出力される。これにより、被写体の動作だけから自動的に生成された楽音を楽しむことが可能となる。
【0040】
(2)さらに、フレームごとに入力された画像データを、特定された位置に応じて画像処理し、この処理された画像データを表示する構成により、被写体の動作に応じてアレンジされた被写体の画像が出力される。これにより、生成された楽音を映像でも楽しむことが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態における楽音生成装置の斜視図である。
【図2】図1の楽音生成装置の構成を示すブロック図である。
【図3】フレームの横方向の分割例を示す図である。
【図4】フレームの縦方向の分割例を示す図である。
【図5】動き判定の様子を示す図である。
【図6】音楽理論に基づいた音階設定の例を示す図である。
【図7】音量バランスの設定例を示す図である。
【図8】本実施形態における楽音生成手順を示すフロー図である。
【符号の説明】
1 カメラ
2 コンピュータ
3a,3b スピーカ
4 ディスプレイ
21 動作部特定手段
22 楽音生成手段
23 楽音出力手段
24 画像処理手段
25 表示手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a tone generation device, a tone generation program, and a tone generation method for automatically generating tone data corresponding to image data.
[0002]
[Prior art]
As a technique for controlling a performance corresponding to an image, for example,
[0003]
However, the technique disclosed in
[0004]
[Patent Document 1]
Japanese Patent No. 2629740 [Patent Document 2]
Japanese Patent Application Laid-Open No. 2000-276139
[Problems to be solved by the invention]
The techniques described in the above-mentioned
[0006]
Therefore, the present invention provides a tone generating apparatus, a tone generating program, and a tone generating method for automatically generating tone data from input image data without preparing performance information or the like in advance.
[0007]
[Means for Solving the Problems]
The musical sound generation device according to the present invention includes an imaging unit that continuously captures an image of a subject and inputs the data as image data for each frame. An apparatus comprising: an operation unit specifying unit that specifies by position; a musical sound generation unit that generates musical sound data corresponding to the position specified by the operation unit specifying unit; and a unit that outputs the musical sound data generated by the musical sound generation unit. It is.
[0008]
According to the musical sound generation device of the present invention, each position at which the subject has moved within the frame is determined by the operation unit specifying unit based on the image data continuously captured by the imaging unit and input for each frame. Is specified. Then, the musical sound generating means generates musical sound data corresponding to the position in the specified frame, that is, musical sound data corresponding to the moving position of the subject, and outputs the musical sound data by the output means.
[0009]
It is preferable that the operation unit specifying means specifies the position by comparing image data between a plurality of frames. If there is a change in the image data between a plurality of frames by comparing the image data between a plurality of frames, it means that the subject has moved between the plurality of frames. Can be easily specified as a portion where the subject has moved.
[0010]
It is desirable that the musical sound generation means generates musical sound data from a sound source of a musical instrument corresponding to the position specified by the operation unit specifying means. Thereby, it is possible to obtain musical tone data generated by sound sources of different musical instruments according to the moving position of the subject.
[0011]
It is preferable that the musical sound generating means generates musical sound data based on a scale corresponding to the position specified by the operation unit specifying means. Thereby, it is possible to obtain musical tone data generated by different scales according to the moving position of the subject.
[0012]
It is desirable that the musical sound generating means generates musical sound data based on a sound volume balance corresponding to the position specified by the operation unit specifying means. As a result, it is possible to obtain tone data in which the volume balance is adjusted according to the position where the subject moves.
[0013]
In addition, the musical sound generation device of the present invention includes an image processing unit that performs image processing on image data input by the imaging unit in accordance with a position specified by the operation unit specifying unit specified by the operation unit specifying unit; Display means for displaying image data image-processed by the means. For example, the image processing means can change the color scheme of the image data according to the position specified by the operation part specifying means.
[0014]
Thereby, in addition to the musical sound data generated according to the moving position of the subject, the image of the subject is not displayed on the display means as it is, but the arrangement of colors is changed according to the moving position of the subject. Is displayed.
[0015]
The musical sound generating apparatus according to the present invention includes a computer connected to an imaging unit that continuously captures an image of a subject and inputs the image data as image data for each frame, from the image data of the subject input by the imaging unit within the frame. Operating part specifying means for specifying each position where the subject has moved, musical sound generating means for generating musical sound data corresponding to the position specified by the operating part specifying means, and musical sound data generated by the musical sound generating means This can be realized by executing a tone generation program for functioning as an output unit.
[0016]
Further, the musical sound generation program may further cause the computer to function as image processing means for performing image processing on the image data input by the imaging means according to the position specified by the operation section specifying means. it can.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a perspective view of a musical sound generating device according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a configuration of the musical sound generating device of FIG.
[0018]
As shown in FIGS. 1 and 2, a musical sound generation device according to an embodiment of the present invention includes a
[0019]
The
[0020]
The operation
[0021]
The operation
[0022]
The musical sound generating means 22 generates musical sound data (for example, MIDI (Musical Instrument Digital Interface) standard data) corresponding to the positions of the vertical and horizontal sections in the frame specified by the operation
[0023]
Further, the musical sound generating means 22 generates musical sound data from a sound of a musical scale corresponding to a portion where the subject has moved from among the vertical partitions among the partitions A to E. At this time, the musical tone generating means 22 sets a reference chord, and selects only a scale on the chord based on music theory. For example, when the chord is “C”, as shown in FIG. 6, the reference chord (base) is a multiple of 12, and a value obtained by adding 0, 4, 7 to this is defined as a musical scale (note number). The sounding timing is set according to each musical instrument, such as sounding every time, sounding every two times, sounding twice and resting four times. Since the percussion instrument is special, the note number is not the scale but the type of the percussion instrument to be played. That is, a change in the vertical movement is a change in the type of percussion instrument.
[0024]
The reference code is changed by the passage of time or some operation as a trigger. The change (chord progression) of the reference chord allows the music to be played beautifully as music. This change includes a method of designating the order, timing, and the like in advance, and a method of proceeding at random. The timing of the change can be changed according to the movement of the subject, for example, by changing according to the amount of movement of the subject, in addition to the change over time.
[0025]
Further, the musical sound generating means 22 generates musical sound data with a volume balance according to the position of the section in the frame. FIG. 7 shows a setting example of the volume balance. As shown in FIG. 7, the musical sound generating means 22 outputs sound from left and
[0026]
Returning to FIG. 2, in this embodiment, the tone output means 23 is disposed on the left and right of the
[0027]
The
[0028]
In the present embodiment, the display means 25 is the built-in
[0029]
Hereinafter, a procedure for generating a musical tone by the musical tone generating apparatus having the above configuration will be described with reference to a flowchart of FIG.
[0030]
(S101) As initial settings, settings such as the tempo of a musical tone to be generated, the number and type of musical instruments, the progression of music chords, and changes in color are made.
(S102) The current image data is input from the
(S103) The motion is specified by the operation unit specifying means 21 (each position where the motion of the subject has been specified).
[0031]
(S104) In the sound processing, the musical sound generation means 22 calculates the position and the amount of change of the movement of the subject.
(S105) If the amount of change in the movement of the subject is large, the chord progression is changed. If the change is minimal and continues, it is determined that the movement has stopped (S108), and the process returns to (S101).
(S106) The musical sound generating means 22 generates musical sound data (MIDI standard data) from the movement position and the amount of change of the subject. At this time, the
(S107) The generated MIDI standard data is sent to the musical sound output means 23 and output from the
[0032]
(S109) In the image processing, the image data input from the
(S110) The image data processed by the image processing means 24 is displayed on the display 4 (display means 25).
The steps from (S102) to (S110) are repeated, for example, eight times per second at the tempo speed set by the initial setting. Note that the tempo may be changed in accordance with the movement of the subject during the processing.
[0033]
As described above, according to the musical sound generation device of the present embodiment, musical sound data is automatically generated from the image data input by the
[0034]
Further, according to the musical sound generation device in the present embodiment, the image data input by the
[0035]
Such a tone generation device according to the present embodiment can be used, for example, in the scenes listed in Table 1.
[Table 1]
[0036]
Note that, in the present embodiment, an example in which the musical sound generating device is configured by the
[0037]
Further, the division of the frame by the operation
[0038]
【The invention's effect】
According to the present invention, the following effects can be obtained.
[0039]
(1) The subject is continuously imaged and input as image data for each frame, and from the input image data, each position where the subject has moved in the frame is specified, and the specified position is determined. Is generated, and the generated tone data is output, so that the subject operates according to the motion of the subject without preparing performance information or the like in advance as in the related art. Musical sounds are automatically generated and output. As a result, it is possible to enjoy a musical sound automatically generated only from the motion of the subject.
[0040]
(2) Further, the image data input for each frame is subjected to image processing according to the specified position, and the processed image data is displayed, whereby the image of the subject arranged according to the motion of the subject is arranged. Is output. As a result, the generated musical sound can be enjoyed even in the video.
[Brief description of the drawings]
FIG. 1 is a perspective view of a musical sound generation device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of the musical sound generation device of FIG.
FIG. 3 is a diagram illustrating an example of horizontal division of a frame;
FIG. 4 is a diagram illustrating an example of dividing a frame in the vertical direction.
FIG. 5 is a diagram showing a state of motion determination.
FIG. 6 is a diagram illustrating an example of a scale setting based on music theory.
FIG. 7 is a diagram showing an example of setting a sound volume balance;
FIG. 8 is a flowchart showing a musical sound generation procedure in the embodiment.
[Explanation of symbols]
1
Claims (11)
同撮像手段により入力された画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、
同楽音生成手段により生成された楽音データを出力する手段と
を備えた楽音生成装置。Imaging means for continuously imaging a subject and inputting image data for each frame;
From the image data input by the imaging unit, an operation unit identification unit that identifies each position where the subject has moved within a frame,
Musical sound generating means for generating musical sound data corresponding to the position specified by the operating section specifying means;
Means for outputting the musical sound data generated by the musical sound generating means.
同画像処理手段により画像処理された画像データを表示する表示手段と
を備えた請求項1から5のいずれかに記載の楽音生成装置。Image processing means for performing image processing on the image data input by the imaging means according to the position specified by the operation unit specifying means,
6. A musical sound generating apparatus according to claim 1, further comprising a display unit for displaying image data processed by said image processing unit.
前記撮像手段により入力された被写体の画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、
同楽音生成手段により生成した楽音データを出力する手段
として機能させるための楽音生成プログラム。A computer connected to an imaging unit that continuously captures an image of a subject and inputs image data for each frame,
From the image data of the subject input by the imaging means, an operation unit specifying means for specifying by each position where the movement of the subject in the frame,
Musical sound generating means for generating musical sound data corresponding to the position specified by the operating section specifying means;
A musical sound generation program for functioning as a means for outputting musical sound data generated by the musical sound generating means.
前記撮像手段により入力された画像データを、前記動作部特定手段により特定された位置に応じて画像処理する画像処理手段
として機能させるための請求項8記載の楽音生成プログラム。Further, the computer
9. The musical sound generation program according to claim 8, wherein the tone data generation program causes the image data input by the imaging unit to function as an image processing unit that performs image processing according to the position specified by the operation unit specifying unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002373768A JP3643829B2 (en) | 2002-12-25 | 2002-12-25 | Musical sound generating apparatus, musical sound generating program, and musical sound generating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002373768A JP3643829B2 (en) | 2002-12-25 | 2002-12-25 | Musical sound generating apparatus, musical sound generating program, and musical sound generating method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004205738A true JP2004205738A (en) | 2004-07-22 |
JP3643829B2 JP3643829B2 (en) | 2005-04-27 |
Family
ID=32811960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002373768A Expired - Fee Related JP3643829B2 (en) | 2002-12-25 | 2002-12-25 | Musical sound generating apparatus, musical sound generating program, and musical sound generating method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3643829B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005106839A1 (en) * | 2004-04-30 | 2005-11-10 | Kyushu Institute Of Technology | Semiconductor device having music generation function, and mobile electronic device, mobile telephone device, spectacle instrument, and spectacle instrument set using the same |
KR101007227B1 (en) * | 2009-03-06 | 2011-01-12 | (주)세가인정보기술 | System and method for creating a sound source using images |
WO2011136454A1 (en) * | 2010-04-30 | 2011-11-03 | (주)세가인정보기술 | Sound source generation system and method using image |
JP2017215375A (en) * | 2016-05-30 | 2017-12-07 | 株式会社豊田中央研究所 | Music generator and program |
KR20200124911A (en) * | 2019-04-25 | 2020-11-04 | 경북대학교 산학협력단 | Apparatus of contents providing based on image analyzing, contents providing system including the apparatus and method of contents providing |
WO2021038833A1 (en) * | 2019-08-30 | 2021-03-04 | ソニフィデア合同会社 | Acoustic space creation apparatus |
-
2002
- 2002-12-25 JP JP2002373768A patent/JP3643829B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005106839A1 (en) * | 2004-04-30 | 2005-11-10 | Kyushu Institute Of Technology | Semiconductor device having music generation function, and mobile electronic device, mobile telephone device, spectacle instrument, and spectacle instrument set using the same |
JP2005316300A (en) * | 2004-04-30 | 2005-11-10 | Kyushu Institute Of Technology | Semiconductor device having musical tone generation function, and mobile type electronic equipment, mobil phone, spectacles appliance and spectacles appliance set using the same |
KR101007227B1 (en) * | 2009-03-06 | 2011-01-12 | (주)세가인정보기술 | System and method for creating a sound source using images |
WO2011136454A1 (en) * | 2010-04-30 | 2011-11-03 | (주)세가인정보기술 | Sound source generation system and method using image |
JP2017215375A (en) * | 2016-05-30 | 2017-12-07 | 株式会社豊田中央研究所 | Music generator and program |
KR20200124911A (en) * | 2019-04-25 | 2020-11-04 | 경북대학교 산학협력단 | Apparatus of contents providing based on image analyzing, contents providing system including the apparatus and method of contents providing |
KR102241864B1 (en) * | 2019-04-25 | 2021-04-16 | 경북대학교 산학협력단 | Apparatus of contents providing based on image analyzing, contents providing system including the apparatus and method of contents providing |
WO2021038833A1 (en) * | 2019-08-30 | 2021-03-04 | ソニフィデア合同会社 | Acoustic space creation apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP3643829B2 (en) | 2005-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5159140A (en) | Acoustic control apparatus for controlling musical tones based upon visual images | |
US5310962A (en) | Acoustic control apparatus for controlling music information in response to a video signal | |
EP1020843A1 (en) | Automatic musical composition method | |
JP2003507799A (en) | Harmonic color selection method and apparatus using harmony method, and sound / color and color / sound conversion method and apparatus | |
JP2006080746A (en) | Image processor, electronic camera, and image processing program | |
WO2005106839A1 (en) | Semiconductor device having music generation function, and mobile electronic device, mobile telephone device, spectacle instrument, and spectacle instrument set using the same | |
US20060228020A1 (en) | Image projection apparatus and image output apparatus | |
JP3643829B2 (en) | Musical sound generating apparatus, musical sound generating program, and musical sound generating method | |
JP5408205B2 (en) | Control point setting method, control point setting device, and program | |
US7655856B2 (en) | Musical sounding producing apparatus, musical sound producing method, musical sound producing program, and recording medium | |
JP3728884B2 (en) | Image processing apparatus and method, image composition apparatus, and recording medium | |
JP3945524B2 (en) | Key signal generation apparatus and method, image composition apparatus, and recording medium | |
CN115604887A (en) | Atmosphere lamp group control method, control console and device | |
JP2629740B2 (en) | Sound processing device | |
JP2000341716A (en) | Gradation correction circuit and its correction method | |
JP2000276139A (en) | Method for generating music sound and method for controlling electronic instrument | |
JPH1055186A (en) | 'karaoke' device | |
JP2000293172A (en) | Wind instrument playing practice device and recording medium where wind instrument playing practice processing program is recorded | |
JP5776442B2 (en) | Image generation method, image generation apparatus, and program | |
JP2024014517A (en) | Information processing system, information processing method, and computer program | |
JP2015126826A (en) | Information processing device and program | |
JP2005117437A (en) | Blocked decorative image | |
JP2002216149A (en) | Pattern creating method, pattern creation system, animation creating method and animation creation system | |
JPH09160576A (en) | Karaoke display device | |
JP2021064060A (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040707 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3643829 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |