JPH08305829A - 静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステム - Google Patents
静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステムInfo
- Publication number
- JPH08305829A JPH08305829A JP7110973A JP11097395A JPH08305829A JP H08305829 A JPH08305829 A JP H08305829A JP 7110973 A JP7110973 A JP 7110973A JP 11097395 A JP11097395 A JP 11097395A JP H08305829 A JPH08305829 A JP H08305829A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- virtual space
- user
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
止画像内をアイコンなどにより任意に移動し、各移動地
点における音声を補完して臨場感を醸成させることを目
的としたものである。 【構成】 静止画像の仮想空間に客観条件と、主観条件
から指定し得る立体的音響のマルチ音データベースがセ
ットされ、ユーザの指示(入力)に基づき画像上を移動
するアイコンの位置に対応して、前記指定された音声が
自動的に取出されることを特徴とした静止画像の仮想空
間に臨場感を醸成する為の音声補完方法。画像インタフ
ェース部と音検索部及び音風景構築部により構成したこ
とを特徴とする静止画像の仮想空間に臨場感を醸成する
為の音声補完システム。
Description
表示された静止画像内をアイコンなどにより任意に移動
し、各移動地点における音声を補完して臨場感を醸成さ
せることを目的とした静止画像の仮想空間に臨場感を醸
成する為の音声補完方法及びシステムに関する。
いては映像と音声とが結合してマルチ情報を伝達してい
る。
ットなどに観光地の写真を掲載し、この写真に詳細な説
明を加え、又はその説明を音声化し、現地に行った場合
のサービス情報を伝達している。
ィアは、何れも強制的に与えられた情報であって、聞か
ないとか、読まないという選択はできるが、求める情報
のみを取得することはできない。従ってたまたま求めて
いる情報のみが伝達されたり、書かれたりしておれば満
足するが、そうでない場合には無駄が多く、疲労感、浪
費感又は挫折感を味わうにすぎない。
みを再生することは可能であるが、当該再生は予め構成
された一連の説明の一部であるにすぎず、任意の場所が
選定できないことは勿論、当該場所の変遷(天候、季節
など)に追随することもできない問題点があり、合成音
声も入りにくいので臨場感がない。
り、音声メディアを付加(例えばテープなど)した場合
であっても、アイコンを移動させて任意地点のマルチ情
報を取出すような自由度がない。
意の場所をアイコンで移動することにより、当該移動路
におけるマルチ音声を自動的に再生するようにしたので
ユーザは、アイコンの移動空間に居るような臨場感を得
ることができる。
く、選択情報が好みに応じて伝達されるので、前記従来
の一般情報中から、任意の情報を視覚(文字)により得
るよりも一層臨場感をもって視覚(静止画像の情報)と
聴覚(音声情報)から得ることができる。従って恰もそ
の場所に行った場合と同様の複合音声情報を得ることが
できるので、恰もシュミレーションの如く体験すること
ができる。
客観条件と、主観条件から指定し得る立体的音響のマル
チ音データベースがセットされ、ユーザの指示(入力)
に基づき画像上を移動するアイコンの位置に対応して、
前記指定された音声が自動的に取出されることを特徴と
した静止画像の仮想空間に臨場感を醸成する為の音声補
完方法である。また客観条件は、時代、季節、時間、場
所及び天候としたものであり、主観条件は、荒々しい、
淋しい、強い、弱い、リラックス、怒り、悲しみ、恐
れ、喜び、楽しみなどを人の感情に関する条件としたも
のである。
ス部と音検索部及び音風景構築部により構成したことを
特徴とする静止画像の仮想空間に臨場感を醸成する為の
音声補完システムである。また画像インタフェース部
は、メインウインドウと、画像ファイル管理ボタン、画
像認識ボタン、音検索ボタン、アプリケーションボタン
及びシステム終了ボタンとしたものであり、メインウイ
ンドウは、画像を写すウインドウと、画像内を自由に移
動できるアイコンよりなることを特徴としたものであ
る。
像、音声、文字などの複数のメディアを統合して処理す
ることをいう。従ってマルチメディアは複数のメディア
であるからこそ意味があり、例えばこの発明における画
像の変化だけで音声がなければ魅力を失うことになる。
従ってこの発明においては音声による補完を目指したの
である。前記音声とは、説明の声のみならず、会話、
風、雨、波など自然の音、虫、鳥、家畜その他の獣など
の音を含む音風景と、風景画その他の画面と協同してマ
ルチメディアを構成した。またテキスト、音声、図形、
画像など複数の情報を意味上まとまりのあるノードに分
離し、ノード間をリンクによって有機的に関係づけたネ
ットワーク上で、ナビゲーション式に関連する情報を対
話的に引き出すハイパーメディアまで拡張する。このハ
イパーメディアは、人間の思考を豊かな表現力で自由
に、そして簡単に結びつけて、思考支援やコミュニケー
ションの円滑化を図ることができる(図1)。
の総てのデータを区別せず、同一フォーマットのファイ
ルとして扱えるメタファイルのデータベースで、処理の
単位をカードとし、これにボタンと呼ばれる領域を設定
した。このボタンは画面上に設定されるスイッチであ
り、ユーザはマウスを使ってこのボタン上をクリック
し、リンク先のカードを表示したり、画像上に文字を自
由に設定することができる。
とは、キーボード、マウス、ディスプレイなどの入出力
を通じて行うソートウエア的なインターフェースをい
う。従って優れたユーザインタフェースとは、できるだ
け具体的表現を使うもの、視覚的情報が多いもの、選択
入力式のもの、識別方式のもの、編集作業として行える
もの及び対話処理が行えるものであるから、この発明に
おいては、この線に沿ってユーザインタフェースを整理
した。また前記ボタンの特性を利用し、人間の五感(視
覚、聴覚、嗅覚、味覚、触覚)と平衡感覚を重視し、可
及的にこれを取入れるようにして、恰も現実のような人
工環境を作り出すことバーチャル・リアリティ(仮想現
実、VR:Virtual Reality)を取り入
れるようにした。このような考え方は、人工衛星の修理
ロボット、航空機の操縦システム、宇宙開発、医療など
に応用する為の高度なシミュレーターへの利用として発
達しているが、このような思考を更に身近なものに応用
したのである。
検索方式には、複数の文字データ、数値データをリンク
させたインデックス検索を声情報、画像情報に応用した
インデックス法、各データにキーワードを付加したキー
ワード法、データを解析し内容を認識するデータ認識マ
ッチング方法、及び曖昧なデータを積極的に利用するフ
ァジィデータベース方式などがあり、この発明の実現に
は何れの方式でも採用できるから、対象により最も適切
な方式を選定する。
感を醸成することを特徴とするものである。
インタフェースによって提供され得るという特徴があ
る。特にバーチャル・リアリティでは、インタフェース
の臨場感がその最大のテーマであるが、現在では視覚・
触覚・嗅覚の臨場感を提供するためには、かなり大がか
りなハードウエアを用いたインタフェースが必要であ
り、それらを制御するソフトウエアもまた必然的に複雑
に成らざるを得ない状況である。
MD(Head MountedDisplay)・液
晶シャッタゴーグルなど、立体視のための接眼型のハー
ドウエアが必要になるが、これらは頭部に装着して使用
するためユーザにとっては非常に煩わしい。接眼型のハ
ードウエアを用いずに、肉眼で見て立体的な映像を得ら
れるホログラフィのような方式も提案されているが、現
在のところホログラフィで表示できる映像データは限ら
れている。
な音響を提供するためには性能の良いラウドスピーカが
何台かあれば十分である。理論的にはラウドスピーカ2
個を用いたヘッドフォンでも十分な臨場感が得られ、ま
たその装着も苦痛にはならない程度である。ヘッドフォ
ンを用いない場合でも、複数のラウドスピーカを用いて
立体的な音響を再現する手法は一般に“サラウンド効
果”と呼ばれ、低価格のコンポーネントステレオやラジ
オカセット、テレビ受像機に搭載されるほどに普及して
いる。このハードウエアに関する利便性が第一の利点で
ある。
声情報は生成や加工などの様々な処理作業が他のメディ
アに比べて容易な点である。
タフェースの場合、既存の画像情報を利用する場合も、
コンピュータ・グラフィックス(CG:Compute
rGraphics)を用いてゼロから創り出す場合
も、共に一旦コンピュータを介して制御する必要があ
る。従って、リアルタイムに画像情報を制御すること
は、画像情報の持つ膨大な情報量故に非常に困難であ
る。実際、緻密でリアルに動くCGを最近よく目にする
が、これらは1つの画面(1コマ)を描き上げるのに分
のオーダーで時間がかかるため、ビデオに編集する段階
でコマ撮り(一枚一枚撮影)しているものがほとんどで
ある。映画のフィルムでは通常、1秒間に24コマの画
像を映写するため、CGを自然に動かすためには、最低
でも1コマを1/24秒で描画する必要がある。しかし
現在のハードウエアの水準では、線画等の単純なCGで
ない限り、このような高速でかつリアルな画像を描画す
ることは困難である。況んや、ユーザの反応に応じた画
像内容の変更などはほとんど不可能に近い。
音声情報を利用するためのデジタル録音が可能なハード
ウエアが何種類も市販されるほど普及している。例え
ば、この発明のシステムで用いたシンセサイザの一種で
あるサンプラや、低価格化の進んでいるミニディスク
(MD:Mini−Disk)などもまたランダムアク
セスが可能なデジタル音声情報源として今後有効に利用
できるハードウエアである。また、ゼロから音を創り出
す場合も、シンセサイザで自由自在に、理論上はどんな
音でも創り出すことができる。
た、画像の編集作業に比べるとハードウエア・手間の双
方の面からみてはるかに容易である。例えば、いくつか
の音源を、任意の定位を持たせて一つの音像にまとめる
ために通常ミキサを用いるが、コンピュータから直接制
御可能なミキサもすでに開発されている。距離感を出す
など様々な音響効果の処理には、高速のDSP(Dig
ital Signal Processer)を用い
ることによってリアルタイムに実現できる。これらの様
々な機材は、すでに芸術・商業分野にも広く普及してお
り、最近の音楽製作の現場では、楽器音、肉声など全て
の演奏情報を一旦コンピュータのハードディスクにセー
ブしておき、コンピュータ上で様々な加工・修正をする
作業が一般化しているほどである。
が挙げられる。人間は外界から入ってくる情報の約80
%を視覚情報から得ているという研究がある。それ故、
インタフェースの研究は、そのほとんどが視覚インタフ
ェースに注がれてきたが、視覚以外のメディアが臨場感
に果たす役割が大きくクローズアップされている。ま
た、聴覚がもたらす音声情報が人間の感性に様々な影響
を与えることが報告されている。それゆえ実用化されて
いるバーチャルリアリティを応用した体感シミュレーシ
ョンなどでは、音はユーザをその仮想的な世界に導入さ
せるための重要な手段として用いられている。
時に複数の音声が存在する環境で、ある特定の音声だけ
を聴き取る能力があるために生じる効果である。例え
ば、人が大勢集まってガヤガヤと会話が飛び交っている
カクテルパーティのような場所でも、自分の名前が会話
に出てくると、パッと振り向くことができる。これにな
ぞらえて、カクテルパーティ効果と呼ばれている。カク
テルパーティ効果は、個々の音源が独自の左右定位、距
離定位を持った音像である場合により効果が現れるとさ
れている。
ぼすが、音情報と人間の記憶の関連に注目した研究もな
されている。音情報と結びついた何らかの情報は、音情
報と結びつかない単独の情報として記憶するよりも記憶
が持続するというものである。例えば、旅行先で聴いた
音楽を旅行から帰ってから聴くと、旅行先の風景が思い
出されるということは誰にでも経験のあることであろ
う。これをグループウエアの分野で応用したシステムが
あり、グループウエア上でのある出来事(会議など)を
ユーザに強く記憶させるために、イベント(瓶の割れる
音など)を発生させる。ユーザはこの出来事とイベント
で発生した音とを関連づけて記憶する訳である。
音は人間の感性と密接な関係があり、これが聴覚メディ
アを利用する上で派生する大きな利点となると考えられ
る。
感を駆使する生き物である。人間は五感から得られる五
つのメディアを通じて様々な情報を知覚するが、当然の
ことながら常に五つのメディアが存在するわけではな
く、むしろ一つの状況に対して二、三のメディアしか存
在しないのが普通である。しかし人間はまた、想像力に
富んだ生き物であるから、普段無意識に、実際に存在す
るメディアから欠如しているメディアを自由に創り出し
ているのである。例えば次のような例があげられる。
ーム状況を思い浮かべる(聴覚→視覚) ・レストランのメニューを見て、料理の味を想像する
(視覚→味覚) ・目隠しをされて、手探りで箱の中身を当てる(触覚→
視覚) ・漫画を読みながら、登場人物の声を想像する(視覚→
聴覚)
如しているメディアを創出することを、“メディアの補
完”という。また、このときメディアの補完のもととな
る実際に存在しているメディアを“ソースメディア”と
いい、欠如して新たに補完されるメディアを“補完メデ
ィア”という。先に挙げた例が示す通り、メディアの補
完は日常生活において頻繁に行われていることが容易に
想像できる。
ーズに行えるのは補完メディアを構成するために必要な
キーとなる様々な情報が、ソースメディアに存在するか
らである。この種の情報は“客観条件”であり、補完メ
ディアが一意的に定まるほど十分な情報がソースメディ
アに存在することは稀である。不十分な情報は、各個人
が自身の経験や、希望的推測など人間の想像によって補
っている。この種の情報は“主観条件”である。普通は
一組のソースメディアから、客観条件、主観条件に基づ
いて、各個人の主観を反映した、無数の補完メディアが
創り出されることになる。
展を背景として、これまで人間の想像の域をなかなか出
ることができなかったメディアの補完を、人間が知覚で
きる形で実現したのである。そこで人間が実際に風景画
像から音風景を補完する過程を考察すると次のようにな
る。
枚の森の写真を考えてみる。単純に視覚的に存在するの
はたくさんの「樹木」のみである。しかし、人間がこの
写真から想像する音はさわさわと風にそよぐ梢の音だけ
でなく、おそらく、人間は視覚的には存在しないにもか
かわらず、遠くでさえずる鳥の声や、虫の鳴く声を補完
するであろう。さらに、この写真から寂しげな印象を感
じた人には遠くで鳴く鳥はフクロウであるかもしれない
し、反対にさわやかな印象を感じる人にとっては、さえ
ずる鳥はカッコウかもしれない。このような差を生じさ
せるのが人間の主観である。同じ画像を見ていても画像
から受ける印象の違いによって補完される音風景も異な
るものとなる。これは逆に言い替えれば、同じ画像を提
示しても補完する音風景が異なれば画像そのものが与え
る印象すらも異なることを意味する。
なう場合に特に注意すべき点は、ただ単に画像上の物体
に対して、それに対応する音を配置するだけでは、メデ
ィアを補完したことにはならないという点にある。例え
ば風景画像から音風景を補完する場合、人間の主観的印
象を反映させる必要がある。
おける特徴点をふまえ、風景画像から人間の主観を反映
させた音風景を補完し、仮想空間を構築するシステム
(OKES)である。風景画像から音風景への補完を実
現するには、先の考察をふまえて次のような段階が必要
になる。
必要な情報を指定する。 2.出力する音源を決定する。 3.風景画像に合った音源を立体的に配置し、音風景を
構築する。
を述べる。
必要となるのは、どのような音を補完するべきかを決定
するためのキーとなる様々な情報である。OKESでは
この情報として次のものを指定できるようにした。ま
た、画像上に存在する個々の物体、すなわち風景画像の
構成要素の一つ一つをオブジェクトと呼ぶ。
補完する音風景を構成する音源を決定する。OKESで
は、この構成要素となる音源のデータベースを備えてい
る。この音データベースには様々な音源が収録されてお
り、さらにこの音データベースは検索方法にファジイ理
論を用いたファジイデータベースとなっている。この音
データベースの中から先に指定された情報に基づいて、
風景画像に適合する音源が必要に応じて数種、選択決定
される。
し仮想空間を構築する。OKESではこれにISFを用
いる。ISFはインタラクティブな仮想音場空間のある
インターフェースであり、その空間内にユーザが入り込
み仮想空間内を自由に動き回ることが出来るようになっ
ている。OKESにおいてこのようなインタラクティブ
な仮想音場空間を用いることはOKESをアプリケーシ
ョンに応用する際に有用であると考えられる。
KESは次のような特徴を持つ。
備え、ファジイ理論を用いて音源の検索を行なう。 ・音源を決定する際に、人間の主観を反映させる。 ・風景画像に主観を反映した音風景を補完した仮想空間
を構築し、その中を自由に動き回ることができる。
は、主観を反映できる点にある。例えば旅行会社の制作
する旅行パンフレットは、旅行先の印象をいかに客にう
まく伝えられるかが重要な目的である。従来はそのため
に、風景写真に文字による説明を補足して印象を伝える
努力がなされてきたが、OKESの創り出す仮想空間を
写真と文章の代わりに用い、客に旅行先の風景を仮想空
間で体験してもらうことによってより印象が伝わりやす
くなると思われる。このようなOKESの特徴を有効に
生かすアプリケーションの一例として、旅行パンフレッ
トを試作し、このアプリケーションの評価を行なった。
のメディアの補完において主観条件を反映させるために
印象語を選択指定することを前に述べた。風景に関する
印象語は無数に考えられるが、システムの使いやすさを
考えて19個の印象語を抽出したので、この印象語の抽
出方法について述べる。
な心理的影響をもたらす。しかしながら、同じ音情報を
与えられた人すべてが、必ず同じ心理的影響を受けると
は限らず、それらは時に非情に私的なものであり、同じ
音情報が鮮烈な印象を与える場合もあれば、きわめて曖
昧な印象しか残さない場合もある。よって、この実施例
のOKESが備えている音データベースにおいては、ユ
ーザ間に存在する曖昧さの個人差をも扱うことを可能に
しなければならない。
を「雄大な」と感じ、また別の人はそれを「寂しげな」
と感じるかも知れない。この発明のシステムでは、音源
を選択する際の検索条件として印象語を用いることがで
きる。各ユーザはたとえ、同じ写真に同じオブジェクト
を指定したとしても、独自の印象語を指定することによ
って、自らの主観的印象を音風景に反映させることが出
来るのである。以下にこの発明のシステムで用いた印象
語選択リストの作成の手順について述べる。
を抽出する作業を行った。風景画像から音風景を補完す
るための印象語を抽出するのが目的であるため、辞書か
ら印象語を手作業で選び出すこの最初の段階において、
形容詞、副詞を中心に抽出を行ったが、ここで明らかに
ふさわしくない語を削除した。削除した語は例えば、
「まずそうな」「からそうな」といった味覚に関する印
象語や、「偉そうな」「笑った」などの人間に関する印
象語などである。この段階で約1100語の印象語を抽
出した。次に、「可愛らしい」「愛くるしい」といった
同義語をまとめ、さらに「芒洋とした」「豊沃な」など
日常、使用頻度の低い印象語を削除した。この段階で、
58個の印象語を抽出した。この58個の印象語を表1
に示す。
象語選択リストに58個もの印象語が並ぶのでは不都合
である。しかしながら、これ以上の抽出を主観で行って
は選択リストの一般性が薄れる恐れが生じるため、この
先は何らかの方法で印象語の抽出を行う必要がある。こ
のように変数間に明確な独立・従属の関係が設定されて
いないときに行われるのが、多変量解析である。この多
変量解析には様々な方法があるが、最も基本的な解析法
として、因子分析とクラスター分析の二つを挙げること
ができる。前者は変数間の関係を表す情報として相関係
数を算出できる量的データの解析に適しており、後者は
因子分析においてはっきりとした因子が現れない量的デ
ータの解析や、変数間の関係を表す情報として相関係数
が算出できない質的データの解析に用いられる。当初、
抽出した58個の印象語についてスタットビュー(St
at View)というソフトを用いて相関係数を求
め、次に因子分析を行った。
子を取り出して類似性の高いものをまとめる解析法であ
る。因子分析の結果は、軸になりやすい明らかな因子か
ら順に抽出される。結果の表は従って、最もあきらかに
現れた因子1から4番目に軸になりやすいと考えられる
因子4までを示した。縦に58個の印象語、横に因子を
とり、各数字は各印象語がその因子に対してどれだけ寄
与するかを示す数値である。しかしながらこの結果は、
明らかにはっきりとした軸となる因子が取り出せなかっ
たことを示している。最も、軸になりやすいはずの因子
1に対してさえ、0.5以上寄与している印象語は4つ
しかない。つまり今回のような、曖昧な印象語といった
データの処理には因子分析による解析は不適当と判断せ
ざるを得ない。よって次にクラスター分析による解析を
行った。
質のものが混ざり合っている対象の中で、互いに似たも
のどうしを集めてクラスターを作り、それらを分類する
方法である。互いに似たものどうしを集めるために、ま
ずデータ間の類似性、あるいは非類似性の程度を何らか
の指標で表さなければならない。類似性とは、二つのデ
ータがどれくらい近い関係にあるかということである。
したがって、類似性の指標は、データ間の関係の強弱、
遠近を表す数値であれば何でもよい。この指標として
は、相関係数、ユークリッド距離、ミンコフスキー距
離、マハラノビス距離、不一致係数など様々な値が用い
られる。クラスター分析においてはこの指標の算出方法
には原則的に何の制限もつけられていないため、データ
の性質に適した算出方法をその都度考案しなければなら
ない。今回、相関係数と一致係数の二種類を類似性の指
標としてそれぞれクラスター分析を行ない、結果を比較
検討することとした。
うデータの性質にあわせ、不一致係数の手法の変形とし
て考案したものである。まず、先に抽出した印象語58
このデータに関する一致係数を得るために次の実験を行
った。
ものクラスタリングして、適当な数にまとめることであ
る。したがって、お互いの印象語が人間に対してどれく
らい同じ印象を与えるかということがクラスター分析に
おける類似性の指標となる。実験では、先に抽出した5
8個の印象語のリストを用意し、被験者に風景の写真を
見せ、その写真から受ける印象を印象語選択リストの中
から任意の数選んでもらうという方法をとった。この実
験をのべ300枚の写真について行った。
た58個の印象語につけた整理番号である。実験の結
果、各印象語が他の印象語と一緒に選ばれた回数を行列
の形で示してある。
成されている。
rc station)は全体を制御すると共に、ディ
スプレイにより視覚情報を提供し、マウス/キーボード
によってユーザは音場空間を移動することができる。
ニック(emsoniq)社製サンプラEPS−16を
用いる。このサンプラEPS−16もまたMIDI信号
による制御が可能であり、1MBのメモリに最大32種
類の音をデジタル録音し、16種類の音を同時に再生
し、8チャンネルの独立したラインから音声信号を出す
ことができる。前記EPS−16は専用のハードディス
クの接続が可能であり、大量の音データを蓄えておくこ
とができる。EPS−16plusの音声データのサン
プリングレイトは最高44.8MHzと、CDと同等の
音質を得ることができる。
た複数の音像を、1つの音場にまとめるために用いるM
IDIでの制御が可能な8チャンネルデジタルミキサー
である。8チャンネルのアナログ音声ラインを入力時に
A/D変換し、その後の様々な処理はDSPを用いてデ
ジタル信号のまま行なう。このために音質の劣化、ノイ
ズの発生を抑えることができる。さらに各チャンネル独
立にパンニング(左右音像定位)、リバーブ(残響効
果)イコライジング(周波数成分変更)等も可能であ
る。
装するのが困難なために、MIDIボードを実装したN
ECPC−9801VMをRS−232Cインタフェー
スを介して、サンプラEPS−16、DMP11を制御
する。これらMIDI機器を用いずに、ワークステーシ
ョンがこれらの機能をサポートしているのが望ましい
が、現在は一部の機能が提供されているのみである。例
えばサンプラEPS−16の代りにワークステーション
の外部記憶装置に音声データを蓄えることも可能だが、
音声データを2チャンネル以上の複数の独立したライン
から出力することはできない。今後マルチメディアの発
展により、これらの機能はワークステーションの機能の
一部として組み込まれる。
ンプラEPS−16からオーディオ(audio)を経
てDMP−11に入り、更にオーディオを経てステレオ
ヘッドホーンに入るようになっている。
は、図2のようにメインウインドウ1とその右側にある
5つのボタン即ちファイルボタン2(画像ファイル管
理)、編集ボタン3(画像編集)、音検索ボタン4(検
索条件指定)、アプリケーションボタン5及び終了ボタ
ン6から構成されている。
7とアイコン8で構成されている。そこでユーザはテン
キー(アプリケーション実行中は進行方向を示すボタン
のマウスによるクリックも可能)によってメインウイン
ドウ1上のユーザのアイコン8を動かし、風景画像7内
を自由に散策することができる。この場合にアイコン8
は、図3のように、例えばユーザの後姿となっており、
横向きや、前向きのアイコンは用意されていない。これ
は聞えてくる音源の方向と、ユーザの見ている方向を一
致させる為である。次にアイコンの操作方法は、テンキ
ーの8(符号a)を押すことによって前進し、テンキー
の2(符号b)を押すことによって後退し、テンキーの
4又は6(符号c、d)を押すことによって左右に移動
できるようにしてある。
さにより表現される、即ち図4の符号8a、8b、8
c、8d、8e、8fのように小さくして遠ざかる状態
を示す。
うにファイラーが現れ、メインウインドウ上に表示する
画像ファイルをマウスで選択することができる。このと
き、選択された画像ファイルに付属するオブジェクトの
位置などを記録したファイル(posファイル)がレン
トディレクトリに存在する時は、これを同時に読み込む
ので、読み込まれたposファイルの情報は、音検索部
に送られる。次に編集ボタン3を押すことにより編集モ
ードとなり、posファイルが既に存在している場合に
は、地平線やオブジェクトの種類を示すボタンが表示さ
れる。この時に、ユーザのアイコン8は編集の妨げにな
らないように非表示状態とする。編集モードは、風景画
像7の地平線やオブジェクトの新規登録または変更など
画像ファイル編集を対話式に行うことができる。
通りである。 1.画像上の位置 2.画像上の大きさ 3.オブジェクトの種類 4.推測される奥行
ェクトの位置と大きさを指定できる。またオブジェクト
の種類のリストは、図7のように木構造にしてあるの
で、リンクを辿るにつれて詳しく指定ができるようにし
てある。従ってユーザは好みに応じて自由に指定する。
例えば川というオブジェクトに対し、「川」と指定し、
もっと詳しく「急流」と指定することもできる。また単
に「水」と指定することもできる。但し画像上に「川」
が示されている場合に「水」を指定すると、条件によっ
ては「海」の音が選択されるおそれがある。
の前を0として相互のオブジェクトの重なり具合によっ
て0から100まで101段階の指定ができる。前記オ
ブジェクトの変更は、オブジェクトを削除してから再指
定により行う。
クトと他の風景画像をリンクで結ぶことであり、このボ
タンを押し、オブジェクトを指定すると、図5に示すよ
うなファイラーが表示されるので、マウスで選択するこ
とによりリンクさせることができる。
ーション実行中のみに限られる。
り、編集した情報をposファイルに保存することがで
きる。
代、季節、時刻、場所、天候、感情(画像から受ける印
象)があって、ユーザはこれらを任意に指定できるが、
総てを指定する必要はなく、必要に応じて条件を指定す
ればよい。
の音源を決定する。OKESの備えている音データベー
スを構成する各音源は、意味的なまとまりでグループ化
されている。これは、一つのオブジェクトに対してこと
なるグループの複数の音源を割り当てることを可能にす
るためである。この工夫によってより自然な音風景の構
築が可能になる。また、音源を決定するためのアルゴリ
ズムはファジイ理論を応用している。以下にその概要を
述べる。
となるのは、メンバシップ値である。ファジイデータベ
ースでは各データはすべてメンバシップ値を持ってい
る。前記のように、メンバシップ値が0のときその条件
に対してそのデータは全く当てはまらず、逆にメンバシ
ップ値が1のときはその条件に対してぴったり適合する
ことを示す。したがってすべてのメンバシップ値は0か
ら1までの間の値をもつ。
どの客観的な条件に対するメンバシップ値は、基本的に
は生物事典などをもとに定めたが、直接記述のないもの
は主観で定めた。印象語に対するメンバシップ値は、ア
ンケートを行ない、その結果によって決定した。アンケ
ートは、被験者に様々な音を聞いてもらい、その音から
受ける印象を印象語選択リストの中から任意の数選んで
もらうという方法をとった。この実験を被験者20人に
対して行ない、その印象語が選ばれる確率をその印象語
に対するメンバシップ値とした。例えば、「ウミネコの
声」を聞いて20人中15人の人が「騒がしい」という
印象語を選んだならば、「ウミネコの声」の「騒がし
い」に対するメンバシップ値は15/20=0.75と
なる。
のすべての音源に、すべてのユーザによる入力条件に対
するメンバシップ値が決定されている。
データベースの各音源のメンバシップ値を考慮して、ユ
ーザの要求に対して各音源がどの程度適しているかを計
算する。この値をその音源のユーザの要求に対する満足
度と呼ぶ。この満足度に基づいて最適な音源が決定され
る(表2)。
べての条件に対するメンバシップ値の平均をとる方法で
計算されるが、検索結果に矛盾を生じさせないために制
限が設けられている。以下にその過程をしめす。
プ値が0の音源を検索の対象外とする。 ・対象となる各音源に対してユーザが指定したすべての
条件に対するメンバシップ値の平均値をその音源の満足
度とする。 ・グループの中で最も満足度の高い音源から順に音源を
決定する。
のに滝の音がする」「牧場で波の音がする」「冬なのに
セミがないている」といった矛盾した音源が選択される
のを防ぎ自然な音風景を構築する。
築部に送信される。
ジェクトの種類・位置とユーザの指定した条件及びユー
ザの現在位置から音像の左右定位、距離感を計算し音源
を立体的に配置し、音風景を構築する。
し、ユーザの現在位置とソース・オブジェクトの位置か
ら、それらの音像の定位に関するパラメータを計算す
る。本システムで採用している音像定位に関するパラメ
ータは以下の4種である。
自乗に反比例する。
きくする。 ・前後 ユーザの背後から聴こえるべき音は、ローパスフィルタ
を用いてこもった音にする。
生するためのハードウエアは、PC−9801VMを介
して、MIDI信号により制御される。
Iデータは、個々が6バイトの情報であり、以下の構造
を持っている。第1、2バイトは、制御するMIDI機
器に割り当てられたチャンネル番号である。現システム
では、サンプラEPS−16plusが1chから8c
h、DMP−11が10chにチャンネル番号が割り当
てられている。第2、3バイトは、制御するべき機能の
番号であり、第4、5バイトがその機能のパラメータで
ある。これらの値はMIDI機器側で決められており、
それを用いている。
部で計算された音像定位のための各パラメータを、図9
のデータフォーマットでMIDI信号に変換する。
データを、SUN4Sparc StationのRS
−232Cポートから出力する。
9600ボーである。また、本システムではハンドシェ
イクなどのエラー防止措置は行なっていない。このた
め、マシンの負荷状態によっては通信エラーが頻発する
場合もある。この通信エラーの対策はMIDI信号中継
部で行なっている。
S−232Cポートから入力されたMIDIデータを、
MIDIボードに転送する。
じていないため、MIDI信号中継部では若干のエラー
対策を講じている。現在のところ使用するMIDIチャ
ンネル、コントロールナンバー、コントロールパラメー
タは限られているので、スパークステーションからの信
号が使用している以外の範囲のものであれば、その信号
はMIDI機器には送信しない。さらに、RS−232
Cの入力バッファをクリアしてエラーが生じた以降のデ
ータも送信しない。これによってある程度の通信エラー
を防ぐことはできるが、完全ではない。
決定された音源を専用のハードディスクから読み込み、
音像位置計算部によって計算されたパラメータによりD
MP−11がそれぞれの音源を立体的に配置する。音源
の数は、ハードウエアの制約のため最大8つまでと限定
されている。ユーザはその音像をヘッドフォンを通じて
聞くことになる。また、ユーザの位置のみ変更された場
合は、DMP−11のみが音像を変化させる。
行パンフレットを試作した。このOKES旅行パンフレ
ットは、既成のPOSファイルのある数種類の風景画像
で構成される。このOKES旅行パンフレットの概念図
を図10に示す。図中9は森、13は海である。
像に存在する特定のオブジェクトとその他の風景画像が
リンクで結んであり、そのオブジェクトをマウスでクリ
ックすることにより、様々な風景画像間を仮想的に旅行
できる。OKES旅行パンフレットの実行画面を図11
に示す。図中9は森、10は川、11は滝である。
キーボード/マウスの両方でアイコンを操作でき、仮想
空間内を散策することができる。興味のある音が聞こえ
てきた場合、または、行ってみたい場所がある場合は、
“オブジェクトの表示”ボタン12を押す。これによ
り、図11のようにオブジェクトのボタンが表示され、
これをマウスでクリックすると、リンク先が指定されて
いれば、そのリンク先の風景画像がメインウインドウ上
に表示される。
旅行先の風景画像とそのイメージを盛り込んだ音風景で
構成された仮想空間内をリンクを辿りながら自由に散策
することができる。
観的印象を音風景によって仮想空間に表現することによ
り、ユーザの感覚に沿った音風景を表現し、ユーザを仮
想空間内へ導き入れる効果がある。従って選定された条
件内における各種経験を付与することができるので選定
した条件下におけるシミュレーションを行うことができ
る効果がある。
を示すブロック図。
図。
Claims (6)
- 【請求項1】 静止画像の仮想空間に客観条件と、主観
条件から指定し得る立体的音響のマルチ音データベース
がセットされ、ユーザの指示(入力)に基づき画像上を
移動するアイコンの位置に対応して、前記指定された音
声が自動的に取出されることを特徴とした静止画像の仮
想空間に臨場感を醸成する為の音声補完方法。 - 【請求項2】 客観条件は、時代、季節、時間、場所及
び天候としたことを特徴とする請求項1記載の静止画像
の仮想空間に臨場感を醸成する為の音声補完方法。 - 【請求項3】 主観条件は、荒々しい、淋しい、強い、
弱い、リラックス、怒り、悲しみ、恐れ、喜び、楽しみ
などを人の感情に関する条件としたことを特徴とする請
求項1記載の静止画像の仮想空間に臨場感を醸成する為
の音声補完方法。 - 【請求項4】 画像インタフェース部と音検索部及び音
風景構築部により構成したことを特徴とする静止画像の
仮想空間に臨場感を醸成する為の音声補完システム。 - 【請求項5】 画像インタフェース部は、メインウイン
ドウと、画像ファイル管理ボタン、画像認識ボタン、音
検索ボタン、アプリケーションボタン及びシステム終了
ボタンとしたことを特徴とする請求項4記載の静止画像
の仮想空間に臨場感を醸成する為の音声補完システム。 - 【請求項6】 メインウインドウは、画像を写すウイン
ドウと、画像内を自由に移動できるアイコンよりなるこ
とを特徴とした請求項5記載の静止画像の仮想空間に臨
場感を醸成する為の音声補完システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11097395A JP3743893B2 (ja) | 1995-05-09 | 1995-05-09 | 静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11097395A JP3743893B2 (ja) | 1995-05-09 | 1995-05-09 | 静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08305829A true JPH08305829A (ja) | 1996-11-22 |
JP3743893B2 JP3743893B2 (ja) | 2006-02-08 |
Family
ID=14549195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11097395A Expired - Fee Related JP3743893B2 (ja) | 1995-05-09 | 1995-05-09 | 静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3743893B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000171956A (ja) * | 1998-12-09 | 2000-06-23 | Fuji Photo Film Co Ltd | 感光材料の処理状態の判定方法及び補正方法 |
KR20000054150A (ko) * | 2000-05-24 | 2000-09-05 | 전연택 | 3차원 가상공간에서 애니메이션을 구현하는 시스템 |
KR100403942B1 (ko) * | 2000-05-24 | 2003-11-01 | 전연택 | 3차원 가상공간내에서 목적물 선택시 동영상을 구현하는시스템 |
JP2005045779A (ja) * | 2003-07-02 | 2005-02-17 | Fuji Xerox Co Ltd | オーディオ装置を管理する方法およびインタフェース・ツール、並びにオーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品 |
KR100543562B1 (ko) * | 2001-02-23 | 2006-01-20 | 육호준 | 인터넷을 이용한 버츄얼 리얼리티 학습교재 시스템 및이를 이용한 학습방법 |
JP2006285422A (ja) * | 2005-03-31 | 2006-10-19 | Denso It Laboratory Inc | シーン推定装置及びシーン画像抽出方法並びに音声再生装置 |
WO2008075338A1 (en) * | 2006-12-19 | 2008-06-26 | Sandisk Il Ltd | Storage media for associating image areas with audio recordings |
JP2009301477A (ja) * | 2008-06-17 | 2009-12-24 | Yahoo Japan Corp | コンテンツ編集装置、方法及びプログラム |
JP2011086302A (ja) * | 2010-11-24 | 2011-04-28 | Victor Co Of Japan Ltd | 楽曲検索再生装置、楽曲検索再生方法、及び楽曲検索再生プログラム |
JP2019105931A (ja) * | 2017-12-11 | 2019-06-27 | ヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
-
1995
- 1995-05-09 JP JP11097395A patent/JP3743893B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000171956A (ja) * | 1998-12-09 | 2000-06-23 | Fuji Photo Film Co Ltd | 感光材料の処理状態の判定方法及び補正方法 |
KR20000054150A (ko) * | 2000-05-24 | 2000-09-05 | 전연택 | 3차원 가상공간에서 애니메이션을 구현하는 시스템 |
KR100403942B1 (ko) * | 2000-05-24 | 2003-11-01 | 전연택 | 3차원 가상공간내에서 목적물 선택시 동영상을 구현하는시스템 |
KR100543562B1 (ko) * | 2001-02-23 | 2006-01-20 | 육호준 | 인터넷을 이용한 버츄얼 리얼리티 학습교재 시스템 및이를 이용한 학습방법 |
JP4501556B2 (ja) * | 2003-07-02 | 2010-07-14 | 富士ゼロックス株式会社 | オーディオ装置を管理する方法、装置及びプログラム |
JP2005045779A (ja) * | 2003-07-02 | 2005-02-17 | Fuji Xerox Co Ltd | オーディオ装置を管理する方法およびインタフェース・ツール、並びにオーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品 |
JP4634842B2 (ja) * | 2005-03-31 | 2011-02-16 | 株式会社デンソーアイティーラボラトリ | 風景推定装置 |
JP2006285422A (ja) * | 2005-03-31 | 2006-10-19 | Denso It Laboratory Inc | シーン推定装置及びシーン画像抽出方法並びに音声再生装置 |
WO2008075338A1 (en) * | 2006-12-19 | 2008-06-26 | Sandisk Il Ltd | Storage media for associating image areas with audio recordings |
TWI384375B (zh) * | 2006-12-19 | 2013-02-01 | Sandisk Il Ltd | 用以使圖像區域與音頻記錄相關聯的裝置及方法 |
JP2009301477A (ja) * | 2008-06-17 | 2009-12-24 | Yahoo Japan Corp | コンテンツ編集装置、方法及びプログラム |
JP2011086302A (ja) * | 2010-11-24 | 2011-04-28 | Victor Co Of Japan Ltd | 楽曲検索再生装置、楽曲検索再生方法、及び楽曲検索再生プログラム |
JP2019105931A (ja) * | 2017-12-11 | 2019-06-27 | ヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3743893B2 (ja) | 2006-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0843168A2 (en) | An information processing apparatus, an information processing method, and a medium for use in a three-dimensional virtual reality space sharing system | |
Begault et al. | 3-D sound for virtual reality and multimedia | |
US8356077B2 (en) | Linking users into live social networking interactions based on the users' actions relative to similar content | |
CN101765823B (zh) | 感知上下文的共享内容表示 | |
JP2003526292A (ja) | メディアツールを備えた通信システムとその方法 | |
WO2001091109A1 (en) | Interactive voice communication method and system for information and entertainment | |
JPH10207684A (ja) | 3次元仮想現実空間共有システムにおける情報処理装置、情報処理方法および媒体 | |
US20220246135A1 (en) | Information processing system, information processing method, and recording medium | |
JP3743893B2 (ja) | 静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステム | |
Sodnik et al. | Spatial auditory human-computer interfaces | |
CN108269460B (zh) | 一种电子屏幕的阅读方法、***及终端设备 | |
CN109241329A (zh) | 用于ar场景的音乐检索方法、装置、设备及存储介质 | |
Kimura et al. | A Digital Platform for Sharing Collective Human Hearing. | |
Nazemi et al. | Sound design: a procedural communication model for VE | |
CN114520950B (zh) | 音频输出方法、装置、电子设备及可读存储介质 | |
JPH0744575A (ja) | 音声情報検索システム及び装置 | |
Sacks | Digital Voices: Negotiating Global Forms & Local Identity in Performance Poetry from Cape Town | |
JPH0793367A (ja) | 音声情報検索システム及び装置 | |
Kimura et al. | Case studies to enhance collectively sharing human hearing: ambient sounds memory and mindful speaker | |
CN113961680A (zh) | 基于人机交互的会话处理方法及装置、介质、电子设备 | |
FR2956515A1 (fr) | Procede de navigation dans un contenu sonore | |
CN110209870A (zh) | 音乐日志生成方法、装置、介质和计算设备 | |
JP7517750B2 (ja) | 結婚式における音楽選曲のための自動選曲システム | |
Stewart et al. | Spatial auditory display in music search and browsing applications | |
Rumsey | Sonification, assistive listening, and soundscapes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050705 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050803 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051108 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081202 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |