JPH08305829A - 静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステム - Google Patents

Abstract

(57)【要約】 【目的】 この発明はメインウインドウに表示された静
止画像内をアイコンなどにより任意に移動し、各移動地
点における音声を補完して臨場感を醸成させることを目
的としたものである。 【構成】 静止画像の仮想空間に客観条件と、主観条件
から指定し得る立体的音響のマルチ音データベースがセ
ットされ、ユーザの指示（入力）に基づき画像上を移動
するアイコンの位置に対応して、前記指定された音声が
自動的に取出されることを特徴とした静止画像の仮想空
間に臨場感を醸成する為の音声補完方法。画像インタフ
ェース部と音検索部及び音風景構築部により構成したこ
とを特徴とする静止画像の仮想空間に臨場感を醸成する
為の音声補完システム。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、メインウインドウに
表示された静止画像内をアイコンなどにより任意に移動
し、各移動地点における音声を補完して臨場感を醸成さ
せることを目的とした静止画像の仮想空間に臨場感を醸
成する為の音声補完方法及びシステムに関する。

【０００２】

【従来の技術】従来映画（ビデオ、テレビも同じ）にお
いては映像と音声とが結合してマルチ情報を伝達してい
る。

【０００３】また静止画像については、例えばパンフレ
ットなどに観光地の写真を掲載し、この写真に詳細な説
明を加え、又はその説明を音声化し、現地に行った場合
のサービス情報を伝達している。

【０００４】

【発明により解決すべき課題】前記従来の情報伝達メデ
ィアは、何れも強制的に与えられた情報であって、聞か
ないとか、読まないという選択はできるが、求める情報
のみを取得することはできない。従ってたまたま求めて
いる情報のみが伝達されたり、書かれたりしておれば満
足するが、そうでない場合には無駄が多く、疲労感、浪
費感又は挫折感を味わうにすぎない。

【０００５】尤もビデオなどにあっては、求める場所の
みを再生することは可能であるが、当該再生は予め構成
された一連の説明の一部であるにすぎず、任意の場所が
選定できないことは勿論、当該場所の変遷（天候、季節
など）に追随することもできない問題点があり、合成音
声も入りにくいので臨場感がない。

【０００６】文字メディアについては視覚情報のみとな
り、音声メディアを付加（例えばテープなど）した場合
であっても、アイコンを移動させて任意地点のマルチ情
報を取出すような自由度がない。

【０００７】

【課題を解決するための手段】この発明は静止画像の任
意の場所をアイコンで移動することにより、当該移動路
におけるマルチ音声を自動的に再生するようにしたので
ユーザは、アイコンの移動空間に居るような臨場感を得
ることができる。

【０００８】即ち非選択情報を無作為に受けるのでな
く、選択情報が好みに応じて伝達されるので、前記従来
の一般情報中から、任意の情報を視覚（文字）により得
るよりも一層臨場感をもって視覚（静止画像の情報）と
聴覚（音声情報）から得ることができる。従って恰もそ
の場所に行った場合と同様の複合音声情報を得ることが
できるので、恰もシュミレーションの如く体験すること
ができる。

【０００９】即ち方法の発明は、静止画像の仮想空間に
客観条件と、主観条件から指定し得る立体的音響のマル
チ音データベースがセットされ、ユーザの指示（入力）
に基づき画像上を移動するアイコンの位置に対応して、
前記指定された音声が自動的に取出されることを特徴と
した静止画像の仮想空間に臨場感を醸成する為の音声補
完方法である。また客観条件は、時代、季節、時間、場
所及び天候としたものであり、主観条件は、荒々しい、
淋しい、強い、弱い、リラックス、怒り、悲しみ、恐
れ、喜び、楽しみなどを人の感情に関する条件としたも
のである。

【００１０】次にシステムの発明は、画像インタフェー
ス部と音検索部及び音風景構築部により構成したことを
特徴とする静止画像の仮想空間に臨場感を醸成する為の
音声補完システムである。また画像インタフェース部
は、メインウインドウと、画像ファイル管理ボタン、画
像認識ボタン、音検索ボタン、アプリケーションボタン
及びシステム終了ボタンとしたものであり、メインウイ
ンドウは、画像を写すウインドウと、画像内を自由に移
動できるアイコンよりなることを特徴としたものであ
る。

【００１１】この発明におけるマルチメディアとは、画
像、音声、文字などの複数のメディアを統合して処理す
ることをいう。従ってマルチメディアは複数のメディア
であるからこそ意味があり、例えばこの発明における画
像の変化だけで音声がなければ魅力を失うことになる。
従ってこの発明においては音声による補完を目指したの
である。前記音声とは、説明の声のみならず、会話、
風、雨、波など自然の音、虫、鳥、家畜その他の獣など
の音を含む音風景と、風景画その他の画面と協同してマ
ルチメディアを構成した。またテキスト、音声、図形、
画像など複数の情報を意味上まとまりのあるノードに分
離し、ノード間をリンクによって有機的に関係づけたネ
ットワーク上で、ナビゲーション式に関連する情報を対
話的に引き出すハイパーメディアまで拡張する。このハ
イパーメディアは、人間の思考を豊かな表現力で自由
に、そして簡単に結びつけて、思考支援やコミュニケー
ションの円滑化を図ることができる（図１）。

【００１２】この発明は、例えば音声、画像、動画まで
の総てのデータを区別せず、同一フォーマットのファイ
ルとして扱えるメタファイルのデータベースで、処理の
単位をカードとし、これにボタンと呼ばれる領域を設定
した。このボタンは画面上に設定されるスイッチであ
り、ユーザはマウスを使ってこのボタン上をクリック
し、リンク先のカードを表示したり、画像上に文字を自
由に設定することができる。

【００１３】この発明におけるユーザ・インタフェース
とは、キーボード、マウス、ディスプレイなどの入出力
を通じて行うソートウエア的なインターフェースをい
う。従って優れたユーザインタフェースとは、できるだ
け具体的表現を使うもの、視覚的情報が多いもの、選択
入力式のもの、識別方式のもの、編集作業として行える
もの及び対話処理が行えるものであるから、この発明に
おいては、この線に沿ってユーザインタフェースを整理
した。また前記ボタンの特性を利用し、人間の五感（視
覚、聴覚、嗅覚、味覚、触覚）と平衡感覚を重視し、可
及的にこれを取入れるようにして、恰も現実のような人
工環境を作り出すことバーチャル・リアリティ（仮想現
実、ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）を取り入
れるようにした。このような考え方は、人工衛星の修理
ロボット、航空機の操縦システム、宇宙開発、医療など
に応用する為の高度なシミュレーターへの利用として発
達しているが、このような思考を更に身近なものに応用
したのである。

【００１４】前記マルチメディアデータベースにおける
検索方式には、複数の文字データ、数値データをリンク
させたインデックス検索を声情報、画像情報に応用した
インデックス法、各データにキーワードを付加したキー
ワード法、データを解析し内容を認識するデータ認識マ
ッチング方法、及び曖昧なデータを積極的に利用するフ
ァジィデータベース方式などがあり、この発明の実現に
は何れの方式でも採用できるから、対象により最も適切
な方式を選定する。

【００１５】この発明は、画像情報に音声補完して臨場
感を醸成することを特徴とするものである。

【００１６】音声情報は、他のメディアに比べて簡便な
インタフェースによって提供され得るという特徴があ
る。特にバーチャル・リアリティでは、インタフェース
の臨場感がその最大のテーマであるが、現在では視覚・
触覚・嗅覚の臨場感を提供するためには、かなり大がか
りなハードウエアを用いたインタフェースが必要であ
り、それらを制御するソフトウエアもまた必然的に複雑
に成らざるを得ない状況である。

【００１７】例えば、視覚の臨場感を提供するには、Ｈ
ＭＤ（Ｈｅａｄ ＭｏｕｎｔｅｄＤｉｓｐｌａｙ）・液
晶シャッタゴーグルなど、立体視のための接眼型のハー
ドウエアが必要になるが、これらは頭部に装着して使用
するためユーザにとっては非常に煩わしい。接眼型のハ
ードウエアを用いずに、肉眼で見て立体的な映像を得ら
れるホログラフィのような方式も提案されているが、現
在のところホログラフィで表示できる映像データは限ら
れている。

【００１８】しかし聴覚の場合は、臨場感のある立体的
な音響を提供するためには性能の良いラウドスピーカが
何台かあれば十分である。理論的にはラウドスピーカ２
個を用いたヘッドフォンでも十分な臨場感が得られ、ま
たその装着も苦痛にはならない程度である。ヘッドフォ
ンを用いない場合でも、複数のラウドスピーカを用いて
立体的な音響を再現する手法は一般に“サラウンド効
果”と呼ばれ、低価格のコンポーネントステレオやラジ
オカセット、テレビ受像機に搭載されるほどに普及して
いる。このハードウエアに関する利便性が第一の利点で
ある。

【００１９】第二の利点として、聴覚メディアである音
声情報は生成や加工などの様々な処理作業が他のメディ
アに比べて容易な点である。

【００２０】現在のバーチャル・リアリティの視覚イン
タフェースの場合、既存の画像情報を利用する場合も、
コンピュータ・グラフィックス（ＣＧ：Ｃｏｍｐｕｔｅ
ｒＧｒａｐｈｉｃｓ）を用いてゼロから創り出す場合
も、共に一旦コンピュータを介して制御する必要があ
る。従って、リアルタイムに画像情報を制御すること
は、画像情報の持つ膨大な情報量故に非常に困難であ
る。実際、緻密でリアルに動くＣＧを最近よく目にする
が、これらは１つの画面（１コマ）を描き上げるのに分
のオーダーで時間がかかるため、ビデオに編集する段階
でコマ撮り（一枚一枚撮影）しているものがほとんどで
ある。映画のフィルムでは通常、１秒間に２４コマの画
像を映写するため、ＣＧを自然に動かすためには、最低
でも１コマを１／２４秒で描画する必要がある。しかし
現在のハードウエアの水準では、線画等の単純なＣＧで
ない限り、このような高速でかつリアルな画像を描画す
ることは困難である。況んや、ユーザの反応に応じた画
像内容の変更などはほとんど不可能に近い。

【００２１】一方、聴覚インタフェースの場合、既存の
音声情報を利用するためのデジタル録音が可能なハード
ウエアが何種類も市販されるほど普及している。例え
ば、この発明のシステムで用いたシンセサイザの一種で
あるサンプラや、低価格化の進んでいるミニディスク
（ＭＤ：Ｍｉｎｉ−Ｄｉｓｋ）などもまたランダムアク
セスが可能なデジタル音声情報源として今後有効に利用
できるハードウエアである。また、ゼロから音を創り出
す場合も、シンセサイザで自由自在に、理論上はどんな
音でも創り出すことができる。

【００２２】創り出された音を編集・加工する作業もま
た、画像の編集作業に比べるとハードウエア・手間の双
方の面からみてはるかに容易である。例えば、いくつか
の音源を、任意の定位を持たせて一つの音像にまとめる
ために通常ミキサを用いるが、コンピュータから直接制
御可能なミキサもすでに開発されている。距離感を出す
など様々な音響効果の処理には、高速のＤＳＰ（Ｄｉｇ
ｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）を用い
ることによってリアルタイムに実現できる。これらの様
々な機材は、すでに芸術・商業分野にも広く普及してお
り、最近の音楽製作の現場では、楽器音、肉声など全て
の演奏情報を一旦コンピュータのハードディスクにセー
ブしておき、コンピュータ上で様々な加工・修正をする
作業が一般化しているほどである。

【００２３】第三として聴覚メディアそのものの可能性
が挙げられる。人間は外界から入ってくる情報の約８０
％を視覚情報から得ているという研究がある。それ故、
インタフェースの研究は、そのほとんどが視覚インタフ
ェースに注がれてきたが、視覚以外のメディアが臨場感
に果たす役割が大きくクローズアップされている。ま
た、聴覚がもたらす音声情報が人間の感性に様々な影響
を与えることが報告されている。それゆえ実用化されて
いるバーチャルリアリティを応用した体感シミュレーシ
ョンなどでは、音はユーザをその仮想的な世界に導入さ
せるための重要な手段として用いられている。

【００２４】またカクテルパーティ効果とは、人間が同
時に複数の音声が存在する環境で、ある特定の音声だけ
を聴き取る能力があるために生じる効果である。例え
ば、人が大勢集まってガヤガヤと会話が飛び交っている
カクテルパーティのような場所でも、自分の名前が会話
に出てくると、パッと振り向くことができる。これにな
ぞらえて、カクテルパーティ効果と呼ばれている。カク
テルパーティ効果は、個々の音源が独自の左右定位、距
離定位を持った音像である場合により効果が現れるとさ
れている。

【００２５】このように音情報は数々の心理的影響を及
ぼすが、音情報と人間の記憶の関連に注目した研究もな
されている。音情報と結びついた何らかの情報は、音情
報と結びつかない単独の情報として記憶するよりも記憶
が持続するというものである。例えば、旅行先で聴いた
音楽を旅行から帰ってから聴くと、旅行先の風景が思い
出されるということは誰にでも経験のあることであろ
う。これをグループウエアの分野で応用したシステムが
あり、グループウエア上でのある出来事（会議など）を
ユーザに強く記憶させるために、イベント（瓶の割れる
音など）を発生させる。ユーザはこの出来事とイベント
で発生した音とを関連づけて記憶する訳である。

【００２６】このような様々な事例に観られるように、
音は人間の感性と密接な関係があり、これが聴覚メディ
アを利用する上で派生する大きな利点となると考えられ
る。

【００２７】人間は視覚、聴覚、嗅覚、触覚、味覚の五
感を駆使する生き物である。人間は五感から得られる五
つのメディアを通じて様々な情報を知覚するが、当然の
ことながら常に五つのメディアが存在するわけではな
く、むしろ一つの状況に対して二、三のメディアしか存
在しないのが普通である。しかし人間はまた、想像力に
富んだ生き物であるから、普段無意識に、実際に存在す
るメディアから欠如しているメディアを自由に創り出し
ているのである。例えば次のような例があげられる。

【００２８】・ラジオの実況野球中継を聞きながら、ゲ
ーム状況を思い浮かべる（聴覚→視覚） ・レストランのメニューを見て、料理の味を想像する
（視覚→味覚） ・目隠しをされて、手探りで箱の中身を当てる（触覚→
視覚） ・漫画を読みながら、登場人物の声を想像する（視覚→
聴覚）

【００２９】このように、存在しているメディアから欠
如しているメディアを創出することを、“メディアの補
完”という。また、このときメディアの補完のもととな
る実際に存在しているメディアを“ソースメディア”と
いい、欠如して新たに補完されるメディアを“補完メデ
ィア”という。先に挙げた例が示す通り、メディアの補
完は日常生活において頻繁に行われていることが容易に
想像できる。

【００３０】人間が、このようなメディアの補完をスム
ーズに行えるのは補完メディアを構成するために必要な
キーとなる様々な情報が、ソースメディアに存在するか
らである。この種の情報は“客観条件”であり、補完メ
ディアが一意的に定まるほど十分な情報がソースメディ
アに存在することは稀である。不十分な情報は、各個人
が自身の経験や、希望的推測など人間の想像によって補
っている。この種の情報は“主観条件”である。普通は
一組のソースメディアから、客観条件、主観条件に基づ
いて、各個人の主観を反映した、無数の補完メディアが
創り出されることになる。

【００３１】この発明では、急速なマルチメディアの発
展を背景として、これまで人間の想像の域をなかなか出
ることができなかったメディアの補完を、人間が知覚で
きる形で実現したのである。そこで人間が実際に風景画
像から音風景を補完する過程を考察すると次のようにな
る。

【００３２】例えばソースメディアとなる画像として一
枚の森の写真を考えてみる。単純に視覚的に存在するの
はたくさんの「樹木」のみである。しかし、人間がこの
写真から想像する音はさわさわと風にそよぐ梢の音だけ
でなく、おそらく、人間は視覚的には存在しないにもか
かわらず、遠くでさえずる鳥の声や、虫の鳴く声を補完
するであろう。さらに、この写真から寂しげな印象を感
じた人には遠くで鳴く鳥はフクロウであるかもしれない
し、反対にさわやかな印象を感じる人にとっては、さえ
ずる鳥はカッコウかもしれない。このような差を生じさ
せるのが人間の主観である。同じ画像を見ていても画像
から受ける印象の違いによって補完される音風景も異な
るものとなる。これは逆に言い替えれば、同じ画像を提
示しても補完する音風景が異なれば画像そのものが与え
る印象すらも異なることを意味する。

【００３３】そこで画像から音声へメディアの補完を行
なう場合に特に注意すべき点は、ただ単に画像上の物体
に対して、それに対応する音を配置するだけでは、メデ
ィアを補完したことにはならないという点にある。例え
ば風景画像から音風景を補完する場合、人間の主観的印
象を反映させる必要がある。

【００３４】この発明は画像から音へのメディア補完に
おける特徴点をふまえ、風景画像から人間の主観を反映
させた音風景を補完し、仮想空間を構築するシステム
（ＯＫＥＳ）である。風景画像から音風景への補完を実
現するには、先の考察をふまえて次のような段階が必要
になる。

【００３５】１．風景画像から音風景を補完するために
必要な情報を指定する。 ２．出力する音源を決定する。 ３．風景画像に合った音源を立体的に配置し、音風景を
構築する。

【００３６】次に実際にＯＫＥＳがこれを実現する流れ
を述べる。

【００３７】風景画像から音風景を補完するためにまず
必要となるのは、どのような音を補完するべきかを決定
するためのキーとなる様々な情報である。ＯＫＥＳでは
この情報として次のものを指定できるようにした。ま
た、画像上に存在する個々の物体、すなわち風景画像の
構成要素の一つ一つをオブジェクトと呼ぶ。

【００３８】・オブジェクトの種類、位置、大きさ。 ・天候。 ・場所（国名、地域など）。 ・日時（時代背景、季節、時間など）。 ・印象語（画像から受ける印象）。

【００３９】次に指定されたキーとなる情報をもとに、
補完する音風景を構成する音源を決定する。ＯＫＥＳで
は、この構成要素となる音源のデータベースを備えてい
る。この音データベースには様々な音源が収録されてお
り、さらにこの音データベースは検索方法にファジイ理
論を用いたファジイデータベースとなっている。この音
データベースの中から先に指定された情報に基づいて、
風景画像に適合する音源が必要に応じて数種、選択決定
される。

【００４０】最後に決定された各音源を、立体的に配置
し仮想空間を構築する。ＯＫＥＳではこれにＩＳＦを用
いる。ＩＳＦはインタラクティブな仮想音場空間のある
インターフェースであり、その空間内にユーザが入り込
み仮想空間内を自由に動き回ることが出来るようになっ
ている。ＯＫＥＳにおいてこのようなインタラクティブ
な仮想音場空間を用いることはＯＫＥＳをアプリケーシ
ョンに応用する際に有用であると考えられる。

【００４１】以上をまとめると、この発明のシステムＯ
ＫＥＳは次のような特徴を持つ。

【００４２】・様々な音源を収録した音データベースを
備え、ファジイ理論を用いて音源の検索を行なう。 ・音源を決定する際に、人間の主観を反映させる。 ・風景画像に主観を反映した音風景を補完した仮想空間
を構築し、その中を自由に動き回ることができる。

【００４３】ＯＫＥＳの創り出す仮想空間の最大の特徴
は、主観を反映できる点にある。例えば旅行会社の制作
する旅行パンフレットは、旅行先の印象をいかに客にう
まく伝えられるかが重要な目的である。従来はそのため
に、風景写真に文字による説明を補足して印象を伝える
努力がなされてきたが、ＯＫＥＳの創り出す仮想空間を
写真と文章の代わりに用い、客に旅行先の風景を仮想空
間で体験してもらうことによってより印象が伝わりやす
くなると思われる。このようなＯＫＥＳの特徴を有効に
生かすアプリケーションの一例として、旅行パンフレッ
トを試作し、このアプリケーションの評価を行なった。

【００４４】この発明のシステムでは、画像から音声へ
のメディアの補完において主観条件を反映させるために
印象語を選択指定することを前に述べた。風景に関する
印象語は無数に考えられるが、システムの使いやすさを
考えて１９個の印象語を抽出したので、この印象語の抽
出方法について述べる。

【００４５】前記のように、音情報は人間の感性に様々
な心理的影響をもたらす。しかしながら、同じ音情報を
与えられた人すべてが、必ず同じ心理的影響を受けると
は限らず、それらは時に非情に私的なものであり、同じ
音情報が鮮烈な印象を与える場合もあれば、きわめて曖
昧な印象しか残さない場合もある。よって、この実施例
のＯＫＥＳが備えている音データベースにおいては、ユ
ーザ間に存在する曖昧さの個人差をも扱うことを可能に
しなければならない。

【００４６】一枚の風景写真を前にして、ある人はそれ
を「雄大な」と感じ、また別の人はそれを「寂しげな」
と感じるかも知れない。この発明のシステムでは、音源
を選択する際の検索条件として印象語を用いることがで
きる。各ユーザはたとえ、同じ写真に同じオブジェクト
を指定したとしても、独自の印象語を指定することによ
って、自らの主観的印象を音風景に反映させることが出
来るのである。以下にこの発明のシステムで用いた印象
語選択リストの作成の手順について述べる。

【００４７】まず国語辞典から、考え得る限りの印象語
を抽出する作業を行った。風景画像から音風景を補完す
るための印象語を抽出するのが目的であるため、辞書か
ら印象語を手作業で選び出すこの最初の段階において、
形容詞、副詞を中心に抽出を行ったが、ここで明らかに
ふさわしくない語を削除した。削除した語は例えば、
「まずそうな」「からそうな」といった味覚に関する印
象語や、「偉そうな」「笑った」などの人間に関する印
象語などである。この段階で約１１００語の印象語を抽
出した。次に、「可愛らしい」「愛くるしい」といった
同義語をまとめ、さらに「芒洋とした」「豊沃な」など
日常、使用頻度の低い印象語を削除した。この段階で、
５８個の印象語を抽出した。この５８個の印象語を表１
に示す。

【００４８】

【表１】

【００４９】インタフェースの簡便性を考慮すると、印
象語選択リストに５８個もの印象語が並ぶのでは不都合
である。しかしながら、これ以上の抽出を主観で行って
は選択リストの一般性が薄れる恐れが生じるため、この
先は何らかの方法で印象語の抽出を行う必要がある。こ
のように変数間に明確な独立・従属の関係が設定されて
いないときに行われるのが、多変量解析である。この多
変量解析には様々な方法があるが、最も基本的な解析法
として、因子分析とクラスター分析の二つを挙げること
ができる。前者は変数間の関係を表す情報として相関係
数を算出できる量的データの解析に適しており、後者は
因子分析においてはっきりとした因子が現れない量的デ
ータの解析や、変数間の関係を表す情報として相関係数
が算出できない質的データの解析に用いられる。当初、
抽出した５８個の印象語についてスタットビュー（Ｓｔ
ａｔ Ｖｉｅｗ）というソフトを用いて相関係数を求
め、次に因子分析を行った。

【００５０】因子分析は相関係数をもとに、軸となる因
子を取り出して類似性の高いものをまとめる解析法であ
る。因子分析の結果は、軸になりやすい明らかな因子か
ら順に抽出される。結果の表は従って、最もあきらかに
現れた因子１から４番目に軸になりやすいと考えられる
因子４までを示した。縦に５８個の印象語、横に因子を
とり、各数字は各印象語がその因子に対してどれだけ寄
与するかを示す数値である。しかしながらこの結果は、
明らかにはっきりとした軸となる因子が取り出せなかっ
たことを示している。最も、軸になりやすいはずの因子
１に対してさえ、０．５以上寄与している印象語は４つ
しかない。つまり今回のような、曖昧な印象語といった
データの処理には因子分析による解析は不適当と判断せ
ざるを得ない。よって次にクラスター分析による解析を
行った。

【００５１】クラスター分析とは、いろいろ異なった性
質のものが混ざり合っている対象の中で、互いに似たも
のどうしを集めてクラスターを作り、それらを分類する
方法である。互いに似たものどうしを集めるために、ま
ずデータ間の類似性、あるいは非類似性の程度を何らか
の指標で表さなければならない。類似性とは、二つのデ
ータがどれくらい近い関係にあるかということである。
したがって、類似性の指標は、データ間の関係の強弱、
遠近を表す数値であれば何でもよい。この指標として
は、相関係数、ユークリッド距離、ミンコフスキー距
離、マハラノビス距離、不一致係数など様々な値が用い
られる。クラスター分析においてはこの指標の算出方法
には原則的に何の制限もつけられていないため、データ
の性質に適した算出方法をその都度考案しなければなら
ない。今回、相関係数と一致係数の二種類を類似性の指
標としてそれぞれクラスター分析を行ない、結果を比較
検討することとした。

【００５２】一致係数とは印象を表す曖昧な表現語とい
うデータの性質にあわせ、不一致係数の手法の変形とし
て考案したものである。まず、先に抽出した印象語５８
このデータに関する一致係数を得るために次の実験を行
った。

【００５３】実験の目的は、５８個の印象語の中で似た
ものクラスタリングして、適当な数にまとめることであ
る。したがって、お互いの印象語が人間に対してどれく
らい同じ印象を与えるかということがクラスター分析に
おける類似性の指標となる。実験では、先に抽出した５
８個の印象語のリストを用意し、被験者に風景の写真を
見せ、その写真から受ける印象を印象語選択リストの中
から任意の数選んでもらうという方法をとった。この実
験をのべ３００枚の写真について行った。

【００５４】縦横の１から５８までの数は、先に抽出し
た５８個の印象語につけた整理番号である。実験の結
果、各印象語が他の印象語と一緒に選ばれた回数を行列
の形で示してある。

【００５５】

【実施例】この発明の実施例について説明する。

【００５６】この発明のハードウェアは図１のように構
成されている。

【００５７】即ちＳＵＮスパークステーション（Ｓｐａ
ｒｃ ｓｔａｔｉｏｎ）は全体を制御すると共に、ディ
スプレイにより視覚情報を提供し、マウス／キーボード
によってユーザは音場空間を移動することができる。

【００５８】ソースオブジェクトの音源として、エンソ
ニック（ｅｍｓｏｎｉｑ）社製サンプラＥＰＳ−１６を
用いる。このサンプラＥＰＳ−１６もまたＭＩＤＩ信号
による制御が可能であり、１ＭＢのメモリに最大３２種
類の音をデジタル録音し、１６種類の音を同時に再生
し、８チャンネルの独立したラインから音声信号を出す
ことができる。前記ＥＰＳ−１６は専用のハードディス
クの接続が可能であり、大量の音データを蓄えておくこ
とができる。ＥＰＳ−１６ｐｌｕｓの音声データのサン
プリングレイトは最高４４．８ＭＨｚと、ＣＤと同等の
音質を得ることができる。

【００５９】次にサンプラＥＰＳ−１６によって得られ
た複数の音像を、１つの音場にまとめるために用いるＭ
ＩＤＩでの制御が可能な８チャンネルデジタルミキサー
である。８チャンネルのアナログ音声ラインを入力時に
Ａ／Ｄ変換し、その後の様々な処理はＤＳＰを用いてデ
ジタル信号のまま行なう。このために音質の劣化、ノイ
ズの発生を抑えることができる。さらに各チャンネル独
立にパンニング（左右音像定位）、リバーブ（残響効
果）イコライジング（周波数成分変更）等も可能であ
る。

【００６０】前記ＳＵＮシリーズはＭＩＤＩボードを実
装するのが困難なために、ＭＩＤＩボードを実装したＮ
ＥＣＰＣ−９８０１ＶＭをＲＳ−２３２Ｃインタフェー
スを介して、サンプラＥＰＳ−１６、ＤＭＰ１１を制御
する。これらＭＩＤＩ機器を用いずに、ワークステーシ
ョンがこれらの機能をサポートしているのが望ましい
が、現在は一部の機能が提供されているのみである。例
えばサンプラＥＰＳ−１６の代りにワークステーション
の外部記憶装置に音声データを蓄えることも可能だが、
音声データを２チャンネル以上の複数の独立したライン
から出力することはできない。今後マルチメディアの発
展により、これらの機能はワークステーションの機能の
一部として組み込まれる。

【００６１】この実施例においては、図１のように、サ
ンプラＥＰＳ−１６からオーディオ（ａｕｄｉｏ）を経
てＤＭＰ−１１に入り、更にオーディオを経てステレオ
ヘッドホーンに入るようになっている。

【００６２】この実施例における画像インタフェース部
は、図２のようにメインウインドウ１とその右側にある
５つのボタン即ちファイルボタン２（画像ファイル管
理）、編集ボタン３（画像編集）、音検索ボタン４（検
索条件指定）、アプリケーションボタン５及び終了ボタ
ン６から構成されている。

【００６３】前記メインウインドウ１は、主に風景画像
７とアイコン８で構成されている。そこでユーザはテン
キー（アプリケーション実行中は進行方向を示すボタン
のマウスによるクリックも可能）によってメインウイン
ドウ１上のユーザのアイコン８を動かし、風景画像７内
を自由に散策することができる。この場合にアイコン８
は、図３のように、例えばユーザの後姿となっており、
横向きや、前向きのアイコンは用意されていない。これ
は聞えてくる音源の方向と、ユーザの見ている方向を一
致させる為である。次にアイコンの操作方法は、テンキ
ーの８（符号ａ）を押すことによって前進し、テンキー
の２（符号ｂ）を押すことによって後退し、テンキーの
４又は６（符号ｃ、ｄ）を押すことによって左右に移動
できるようにしてある。

【００６４】また前後方向の変化は、アイコン８の大き
さにより表現される、即ち図４の符号８ａ、８ｂ、８
ｃ、８ｄ、８ｅ、８ｆのように小さくして遠ざかる状態
を示す。

【００６５】次にファイルボタン２を押すと、図５のよ
うにファイラーが現れ、メインウインドウ上に表示する
画像ファイルをマウスで選択することができる。このと
き、選択された画像ファイルに付属するオブジェクトの
位置などを記録したファイル（ｐｏｓファイル）がレン
トディレクトリに存在する時は、これを同時に読み込む
ので、読み込まれたｐｏｓファイルの情報は、音検索部
に送られる。次に編集ボタン３を押すことにより編集モ
ードとなり、ｐｏｓファイルが既に存在している場合に
は、地平線やオブジェクトの種類を示すボタンが表示さ
れる。この時に、ユーザのアイコン８は編集の妨げにな
らないように非表示状態とする。編集モードは、風景画
像７の地平線やオブジェクトの新規登録または変更など
画像ファイル編集を対話式に行うことができる。

【００６６】この場合のオブジェクトの指定項目は次の
通りである。 １．画像上の位置 ２．画像上の大きさ ３．オブジェクトの種類 ４．推測される奥行

【００６７】マウスでオブジェクトを囲む操作でオブジ
ェクトの位置と大きさを指定できる。またオブジェクト
の種類のリストは、図７のように木構造にしてあるの
で、リンクを辿るにつれて詳しく指定ができるようにし
てある。従ってユーザは好みに応じて自由に指定する。
例えば川というオブジェクトに対し、「川」と指定し、
もっと詳しく「急流」と指定することもできる。また単
に「水」と指定することもできる。但し画像上に「川」
が示されている場合に「水」を指定すると、条件によっ
ては「海」の音が選択されるおそれがある。

【００６８】次に奥行は無限遠方を１００とし、すぐ目
の前を０として相互のオブジェクトの重なり具合によっ
て０から１００まで１０１段階の指定ができる。前記オ
ブジェクトの変更は、オブジェクトを削除してから再指
定により行う。

【００６９】次にリンク先の指定については、オブジェ
クトと他の風景画像をリンクで結ぶことであり、このボ
タンを押し、オブジェクトを指定すると、図５に示すよ
うなファイラーが表示されるので、マウスで選択するこ
とによりリンクさせることができる。

【００７０】但しリンク機能が有効になるのはアプリケ
ーション実行中のみに限られる。

【００７１】次に「ＳＡＶＥ」ボタンを押すことによ
り、編集した情報をｐｏｓファイルに保存することがで
きる。

【００７２】検索条件指定ボタンは、図８のように時
代、季節、時刻、場所、天候、感情（画像から受ける印
象）があって、ユーザはこれらを任意に指定できるが、
総てを指定する必要はなく、必要に応じて条件を指定す
ればよい。

【００７３】指定された条件をもとに音風景作成のため
の音源を決定する。ＯＫＥＳの備えている音データベー
スを構成する各音源は、意味的なまとまりでグループ化
されている。これは、一つのオブジェクトに対してこと
なるグループの複数の音源を割り当てることを可能にす
るためである。この工夫によってより自然な音風景の構
築が可能になる。また、音源を決定するためのアルゴリ
ズムはファジイ理論を応用している。以下にその概要を
述べる。

【００７４】ファジイデータベースにおける検索の指標
となるのは、メンバシップ値である。ファジイデータベ
ースでは各データはすべてメンバシップ値を持ってい
る。前記のように、メンバシップ値が０のときその条件
に対してそのデータは全く当てはまらず、逆にメンバシ
ップ値が１のときはその条件に対してぴったり適合する
ことを示す。したがってすべてのメンバシップ値は０か
ら１までの間の値をもつ。

【００７５】オブジェクトに関する条件、季節、場所な
どの客観的な条件に対するメンバシップ値は、基本的に
は生物事典などをもとに定めたが、直接記述のないもの
は主観で定めた。印象語に対するメンバシップ値は、ア
ンケートを行ない、その結果によって決定した。アンケ
ートは、被験者に様々な音を聞いてもらい、その音から
受ける印象を印象語選択リストの中から任意の数選んで
もらうという方法をとった。この実験を被験者２０人に
対して行ない、その印象語が選ばれる確率をその印象語
に対するメンバシップ値とした。例えば、「ウミネコの
声」を聞いて２０人中１５人の人が「騒がしい」という
印象語を選んだならば、「ウミネコの声」の「騒がし
い」に対するメンバシップ値は１５／２０＝０．７５と
なる。

【００７６】このようにしてＯＫＥＳの音データベース
のすべての音源に、すべてのユーザによる入力条件に対
するメンバシップ値が決定されている。

【００７７】ユーザが指定したすべての条件に対して音
データベースの各音源のメンバシップ値を考慮して、ユ
ーザの要求に対して各音源がどの程度適しているかを計
算する。この値をその音源のユーザの要求に対する満足
度と呼ぶ。この満足度に基づいて最適な音源が決定され
る（表２）。

【００７８】

【表２】

【００７９】満足度は基本的には、ユーザの指定したす
べての条件に対するメンバシップ値の平均をとる方法で
計算されるが、検索結果に矛盾を生じさせないために制
限が設けられている。以下にその過程をしめす。

【００８０】・ユーザが指定した条件に対しメンバシッ
プ値が０の音源を検索の対象外とする。 ・対象となる各音源に対してユーザが指定したすべての
条件に対するメンバシップ値の平均値をその音源の満足
度とする。 ・グループの中で最も満足度の高い音源から順に音源を
決定する。

【００８１】このような過程を経ることによって「海な
のに滝の音がする」「牧場で波の音がする」「冬なのに
セミがないている」といった矛盾した音源が選択される
のを防ぎ自然な音風景を構築する。

【００８２】決定した音源に関する情報は次の音風景構
築部に送信される。

【００８３】ここでは、表示されている写真にあるオブ
ジェクトの種類・位置とユーザの指定した条件及びユー
ザの現在位置から音像の左右定位、距離感を計算し音源
を立体的に配置し、音風景を構築する。

【００８４】ＳＵＮ スパークステーション上で動作
し、ユーザの現在位置とソース・オブジェクトの位置か
ら、それらの音像の定位に関するパラメータを計算す
る。本システムで採用している音像定位に関するパラメ
ータは以下の４種である。

【００８５】ユーザとソース・オブジェクト間の距離の
自乗に反比例する。

【００８６】・左右定位 パンを用いて、音像を振り分ける。 ・距離感 リバーヴを用いて、距離が遠いほど残響音のレベルを大
きくする。 ・前後 ユーザの背後から聴こえるべき音は、ローパスフィルタ
を用いてこもった音にする。

【００８７】ＳＵＮ スパークステーションと音像を再
生するためのハードウエアは、ＰＣ−９８０１ＶＭを介
して、ＭＩＤＩ信号により制御される。

【００８８】ＤＭＰ１１・ＥＰＳ１６を制御するＭＩＤ
Ｉデータは、個々が６バイトの情報であり、以下の構造
を持っている。第１、２バイトは、制御するＭＩＤＩ機
器に割り当てられたチャンネル番号である。現システム
では、サンプラＥＰＳ−１６ｐｌｕｓが１ｃｈから８ｃ
ｈ、ＤＭＰ−１１が１０ｃｈにチャンネル番号が割り当
てられている。第２、３バイトは、制御するべき機能の
番号であり、第４、５バイトがその機能のパラメータで
ある。これらの値はＭＩＤＩ機器側で決められており、
それを用いている。

【００８９】ＭＩＤＩデータ生成部では、音像位置計算
部で計算された音像定位のための各パラメータを、図９
のデータフォーマットでＭＩＤＩ信号に変換する。

【００９０】ＭＩＤＩデータ生成部で作られたＭＩＤＩ
データを、ＳＵＮ４Ｓｐａｒｃ ＳｔａｔｉｏｎのＲＳ
−２３２Ｃポートから出力する。

【００９１】現段階ではＲＳ−２３２Ｃの転送レートは
９６００ボーである。また、本システムではハンドシェ
イクなどのエラー防止措置は行なっていない。このた
め、マシンの負荷状態によっては通信エラーが頻発する
場合もある。この通信エラーの対策はＭＩＤＩ信号中継
部で行なっている。

【００９２】ＮＥＣ ＰＣ９８０１ＶＭ上で動作し、Ｒ
Ｓ−２３２Ｃポートから入力されたＭＩＤＩデータを、
ＭＩＤＩボードに転送する。

【００９３】ＭＩＤＩデータの送信時にエラー対策を講
じていないため、ＭＩＤＩ信号中継部では若干のエラー
対策を講じている。現在のところ使用するＭＩＤＩチャ
ンネル、コントロールナンバー、コントロールパラメー
タは限られているので、スパークステーションからの信
号が使用している以外の範囲のものであれば、その信号
はＭＩＤＩ機器には送信しない。さらに、ＲＳ−２３２
Ｃの入力バッファをクリアしてエラーが生じた以降のデ
ータも送信しない。これによってある程度の通信エラー
を防ぐことはできるが、完全ではない。

【００９４】サンプラＥＰＳ−１６が音検索部によって
決定された音源を専用のハードディスクから読み込み、
音像位置計算部によって計算されたパラメータによりＤ
ＭＰ−１１がそれぞれの音源を立体的に配置する。音源
の数は、ハードウエアの制約のため最大８つまでと限定
されている。ユーザはその音像をヘッドフォンを通じて
聞くことになる。また、ユーザの位置のみ変更された場
合は、ＤＭＰ−１１のみが音像を変化させる。

【００９５】次にＯＫＥＳのアプリケーションとして旅
行パンフレットを試作した。このＯＫＥＳ旅行パンフレ
ットは、既成のＰＯＳファイルのある数種類の風景画像
で構成される。このＯＫＥＳ旅行パンフレットの概念図
を図１０に示す。図中９は森、１３は海である。

【００９６】ＯＫＥＳ旅行パンフレットではある風景画
像に存在する特定のオブジェクトとその他の風景画像が
リンクで結んであり、そのオブジェクトをマウスでクリ
ックすることにより、様々な風景画像間を仮想的に旅行
できる。ＯＫＥＳ旅行パンフレットの実行画面を図１１
に示す。図中９は森、１０は川、１１は滝である。

【００９７】ＯＫＥＳ旅行パンフレットでは、ユーザは
キーボード／マウスの両方でアイコンを操作でき、仮想
空間内を散策することができる。興味のある音が聞こえ
てきた場合、または、行ってみたい場所がある場合は、
“オブジェクトの表示”ボタン１２を押す。これによ
り、図１１のようにオブジェクトのボタンが表示され、
これをマウスでクリックすると、リンク先が指定されて
いれば、そのリンク先の風景画像がメインウインドウ上
に表示される。

【００９８】このようにして、ユーザは予め用意された
旅行先の風景画像とそのイメージを盛り込んだ音風景で
構成された仮想空間内をリンクを辿りながら自由に散策
することができる。

【００９９】

【発明の効果】この発明によれば、静止画像に対し、主
観的印象を音風景によって仮想空間に表現することによ
り、ユーザの感覚に沿った音風景を表現し、ユーザを仮
想空間内へ導き入れる効果がある。従って選定された条
件内における各種経験を付与することができるので選定
した条件下におけるシミュレーションを行うことができ
る効果がある。

【図面の簡単な説明】

【図１】この発明の実施例のハードウエアシステム構成
を示すブロック図。

【図２】同じく画像インタフェースの図。

【図３】同じくアイコンの操作方法を示す図。

【図４】同じくアイコンの表示変化を示す図。

【図５】同じくファイラーの図。

【図６】同じく編集画面図。

【図７】同じくオブジェクトの構造を示すブロック図。

【図８】同じく検索条件を示す図。

【図９】同じくＭＩＤＩデータのフォーマットを示す
図。

【図１０】同じくＯＫＥＳ旅行パンフレットの概念図。

【図１１】同じくオブジェクトを表示した図。

【符号の説明】

１ メインウインドウ ２ ファイルボタン ３ 編集ボタン ４ 音検索ボタン ５ アプリケーションボタン ６ 終了ボタン ７ 風景画像 ８ アイコン ９ 森 １０ 川 １１ 滝 １２ ボタン １３ 海

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｈ 1/00 Ｇ０６Ｆ 15/62 ３２１Ａ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 静止画像の仮想空間に客観条件と、主観
   条件から指定し得る立体的音響のマルチ音データベース
   がセットされ、ユーザの指示（入力）に基づき画像上を
   移動するアイコンの位置に対応して、前記指定された音
   声が自動的に取出されることを特徴とした静止画像の仮
   想空間に臨場感を醸成する為の音声補完方法。
2. 【請求項２】 客観条件は、時代、季節、時間、場所及
   び天候としたことを特徴とする請求項１記載の静止画像
   の仮想空間に臨場感を醸成する為の音声補完方法。
3. 【請求項３】 主観条件は、荒々しい、淋しい、強い、
   弱い、リラックス、怒り、悲しみ、恐れ、喜び、楽しみ
   などを人の感情に関する条件としたことを特徴とする請
   求項１記載の静止画像の仮想空間に臨場感を醸成する為
   の音声補完方法。
4. 【請求項４】 画像インタフェース部と音検索部及び音
   風景構築部により構成したことを特徴とする静止画像の
   仮想空間に臨場感を醸成する為の音声補完システム。
5. 【請求項５】 画像インタフェース部は、メインウイン
   ドウと、画像ファイル管理ボタン、画像認識ボタン、音
   検索ボタン、アプリケーションボタン及びシステム終了
   ボタンとしたことを特徴とする請求項４記載の静止画像
   の仮想空間に臨場感を醸成する為の音声補完システム。
6. 【請求項６】 メインウインドウは、画像を写すウイン
   ドウと、画像内を自由に移動できるアイコンよりなるこ
   とを特徴とした請求項５記載の静止画像の仮想空間に臨
   場感を醸成する為の音声補完システム。