JPS63184875A - 音・画像変換装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は音と画像の両方を取り扱う装置に係り。

特に音楽と画像の動きとを変換する音・画像変換装置に
関する。

〔従来の技術〕

従来は、「ディジタル・ハーモニー」　（ジョン・ウィ
ツトニー著、産業図書株式会社、昭和５９年）に記載の
ように、視覚芸術に音楽的秩序を持ち込むための試作的
な装置またはコンピュータ及びそのソフトウェアが存在
していた。これらの装置は音楽的秩序を視覚的に表現す
ることにある面で成功していた。

〔発明が解決しようとする問題点〕

上記従来技術は、音楽的秩序を画像に表現することはあ
る面で可能であったが、音楽そのものを画像に変換する
、あるいは逆に、画像そのものを音楽に変換するもので
はなかった。

本発明の目的は、聴覚芸術と視覚芸術のインターフェー
スとしての、音と画像を変換する音・画像変換装置を提
供することにある。

〔問題点を解決するための手段〕

上記目的は、音楽の曲の各パートの音の動きと。

ある基本形状を持つ画像の動きとを対応させて変換する
ことにより達成される。

〔作用〕

まず、音楽から画像への変換の作用について述べる。音
楽の情報が音・画像変換装置に入力されると、ある設定
された対応関係で、音楽の各パートにある基本形状を持
つ画像が割り当てられる。

各パートの音の強さ、空間的位置、音程の高さ、和音、
音色などの特性の時間軸方向の動きは、ある設定された
対応関係で、各パートに割り当てられた画像の大きさ、
空間的位置、形の歪み、姿勢。

色、透明度、質感などの特性の時間軸方向の動きに変換
される。

画像から音への変換の場合は１画像の情報が音・画像変
換装置に入力されると、ある設定された対応関係で、あ
る時間軸上の位置における画像全体を構成している要素
としての各画像に音が割り当てられる。各画像の大きさ
、空間的位置、形の歪み、姿勢１色、透明度、質感など
の特性の時間軸方向の動きは、ある設定された対応関係
で、各音の強さ、空間的位置、音程の高さ、和音、音色
などの特性の時間軸方向の動きに変換される。

〔実施例〕

以下、本発明の一実施例を第１図により説明する。第１
図は音楽を画像に変換する装置の実施例である。音楽の
入力は音の電気信号入力で行い。

画像の出力は３次元コンピュータグラフィックスの画像
信号出力で行う、変換部分の各パートの音と各画像の対
応関係は使用者が任意に設定できるようになっている。

この対応関係の設定作業のために、キーボード等の入力
手段とモニターディスプレイとが接続されている。対応
関係の設定は、例えば、音の強さを画像の奥行方向位置
へ、音程の高さを画像の上下方向位置へ、音の左右方向
位置を画像の左右方向位置へ、各パートの音色をある基
本形状、大きさ、質感、透明度の画像へ対応させる。′
この対応関係の例の場合は、変換処理の流れは第３図の
ようになる。ある時刻に入力された音楽の信号を各パー
トに分離した後、各パートの音の強さ、音程、左右方向
位置を分析し、それぞれ対応させる画像の奥行方向位置
、上下方向位置、左右方向位置に対応させる。各パート
は予めある基本形状、大きさ、質感、透明度をもった画
像へ対応させておく、このような対応関係によって、音
楽の各要素を画像に変換して出力する。この変換処理を
ある時間ステップで次々に行うと、音楽は一連の画像に
動きに変換される。

第２図は１本発明の他の実施例で、画像を音楽に変換す
る装置の実施例である６画像の入力は３次元画像の電気
信号入力で行い、音楽の出力はシンセサイザーで合成し
た音信号の出力で行う、変換部分の各画像と音との対応
関係は使用者が任意に設定できるようになっている。こ
の対応関係の設定作業のために、キーボード等の入力手
段とモニターディスプレイとが接続されている。対応関
係の設定は、例えば、画像の奥行方向位置を音の強さへ
１画像の上下方向位置を音程の高さへ、画像の左右方向
位置を音の左右方向位置へ、ある基本形吠、大きさ、質
感、透明度の画像をある音色へ対応させる。この対応関
係の例の場合は、変換処理の流れは第４図のようになる
。ある時刻に入力された画像信号を各要素画像に分離し
た後、各要素画像の奥行方向位置、上下方向位置、左右
方向位置を分析して、それぞれ音の強さ、音程の高さ、
・音の左右方向位置に対応させる。各要素画像は予めあ
る音色へ対応させておく。このような対応関係によって
、画像の各要素を音に変換して出力する。この変換処理
をある時間ステップで次々に行うと、一連の画像の動き
は音楽に変換される。

本発明の他の実施例では、第１図の音・画像変換装置の
音信号入力部を楽譜読取り装置に置き換え、音信号入力
を楽譜入力に置き換えた。これによって、音楽情報の入
力において、豊富に存在する楽譜がそのまま使用できる
。

本発明の他の実施例では、第１図の音・画像変換装置の
音信号入力部に電子楽器用インターフェースであるＭＩ
ＤＩインターフェースを設け、音信号入力をＭＩＩ）Ｉ
信号入力に置き換えた。これによって音・画像変換装置
にＭＩＤＩインターフェースを持つ楽器を接続してＭＩ
ＤＩ信号を入力することができるので、音楽情報の入力
において演奏者が楽器を演奏する直接取り込むことがで
きる。

本発明の他の実施例では、第１［ｉ！！ｌの音・画像変
換装置の音信号入力を、音楽の各パートに分離した信号
の入力によって行った。これによって音を各パートに分
離する処理が不要になる。

本発明の他の実施例では、第２図の音・画像変換装置の
画像信号入力部を画像操作装置操作信号入力部に置き換
えることにより、３次元画像信号の入力を画像操作装置
の操作信号の入力に置き換えて行った。この画像操作装
置は、楽器で音を操作するのと同様に、画像を操作する
装置である。

これによって画像制作者が画像操作装置で画像を制作す
ると、同時にその操作情報を変換した音を出力すること
が可能となる。

本発明の他の実施例では、第２図の音・画像変換装置の
画像信号の入力を、画像内の各要素に分離した画像信号
の入力によって行った。これによって画像を各要素画像
に分離する処理が不要になる。

〔発明の効果〕

本発明によれば、音楽と画像を設定した規則で変換する
ことができるので、聴覚芸術と視覚芸術の相互変換が可
能になる。その結果、以下のような効果がある。目、あ
るいは耳の不自由な人でも画像あるいは音楽を他方に変
換してイメージを感じて楽しむことができる。音をもと
にした画像作成や、画像をもとにした作曲ができる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成図、第２図は本発明の
他の実施例の構成図、第３図は本発明の一実施例に用い
た流れ図、第４図は本発明の他の荊ｌＩ２１ 率２図 亨３図

Claims (1)

1. 【特許請求の範囲】 １、音の情報の入力手段と画像の情報の出力手段、また
   は、音の情報の出力手段と画像の情報の入力手段のうち
   少なくとも一組と、前記入力手段によつて入力された情
   報を変換してその結果を前記出力手段によつて出力する
   情報の変換手段とを備えたものにおいて、音楽の曲の各
   パートの音の動きと、ある基本形状を持つ画像の動きと
   を対応させて変換することを特徴とする音・画像変換装
   置。 ２、特許請求の範囲第１項において、音楽の曲の中の各
   パートの音の動きと、ある基本形状を持つ画像の動きを
   変換するときの各音の特性と各画像の特性の対応関係を
   使用者が設定できることを特徴とする音・画像変換装置
   。 ３、特許請求の範囲第１項において、各画像が３次元空
   間での位置座標を持つていることを特徴とする音・画像
   変換装置。 ４、特許請求の範囲第１項において、音楽の曲の情報の
   音・画像変換装置と音・画像変換装置の外との間の入出
   力を、楽譜または楽譜に相当する記号の入出力により行
   うことを特徴とする音・画像変換装置。 ５、特許請求の範囲第１項において、音楽の曲の情報の
   音・画像変換装置と音・画像変換装置の外との間の入出
   力を、楽器または操作装置の演奏情報の信号の入出力に
   より行うことを特徴とする音・画像変換装置。 ６、特許請求の範囲第１項において、音楽の曲の情報の
   音・画像変換装置と音・画像変換装置の外との間の入出
   力を、音楽を各パートの音に分離した信号の入出力によ
   り行うことを特徴とする音・画像変換装置。 ７、特許請求の範囲第１項において、画像の情報の音・
   画像変換装置と音・画像変換装置の外との間の入出力を
   、画像操作装置の操作信号の入出力により行うことを特
   徴とする音・画像変換装置。 ８、特許請求の範囲第１項において、画像の情報の音・
   画像変換装置と音・画像変換装置の外との間の入出力を
   、１つの画像を構成する要素としての各画像に分離した
   画像信号の入出力により行うことを特徴とする音・画像
   変換装置。