JPH0993700A - 映像音声再生装置 - Google Patents

映像音声再生装置

Info

Publication number
JPH0993700A
JPH0993700A JP7250978A JP25097895A JPH0993700A JP H0993700 A JPH0993700 A JP H0993700A JP 7250978 A JP7250978 A JP 7250978A JP 25097895 A JP25097895 A JP 25097895A JP H0993700 A JPH0993700 A JP H0993700A
Authority
JP
Japan
Prior art keywords
video
head
audio
sound
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7250978A
Other languages
English (en)
Other versions
JP3796776B2 (ja
Inventor
Yuji Yamada
裕司 山田
Kiyofumi Inanaga
潔文 稲永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP25097895A priority Critical patent/JP3796776B2/ja
Priority to US08/715,083 priority patent/US5959597A/en
Priority to KR1019960041359A priority patent/KR100445513B1/ko
Priority to CN96121166A priority patent/CN1104137C/zh
Publication of JPH0993700A publication Critical patent/JPH0993700A/ja
Application granted granted Critical
Publication of JP3796776B2 publication Critical patent/JP3796776B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 従来の映像音声再生装置は小型化が困難であ
り、かつ特殊なソースを必要としていたので、高価であ
った。 【解決手段】 音声再生部２は、回転角速度センサ１６
での検出結果に応じて上記入力音声を頭部装着部１５装
着者の頭外に定位させ、かつ音像方向の頭部回転運動へ
の追随を防いで該音像方向を視聴環境の一定方向に固定
させる演算を行う音声信号処理部５を備える。映像再生
部１０は、回転角速度センサ１６での検出結果に応じて
上記入力映像を頭部装着部１５装着者の視聴環境の一定
方向に固定させる映像信号処理部１２を備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、頭部に装着するこ
とにより映像及び音声を視聴できる映像音声再生装置に
関する。
【０００２】
【従来の技術】従来、映像音声再生システムにおける現
実感の再現は、大画面映像、マルチスピーカ再生による
系の大型化が主であったが、近時、図２２に示すよう
に、小型化された頭部装着型の映像表示部１０１とそれ
に付加する音声再生部１０２によるパーソナル化、小型
化が図られた映像音声再生装置１００が用いられるよう
になった。
【０００３】映像表示部１０１は、図２３に示すよう
に、映像入力端子１０３から映像入力信号が供給された
駆動回路１０４により駆動されて映像を表示する。
【０００４】音声再生部１０２は、同じく図に示すよう
に、音声入力端子１０５から入力された音声入力信号を
増幅器１０６Ｌ及び１０６Ｒで増幅して、左耳用発音体
１０７Ｌ及び右耳用発音体１０７Ｒに供給し、装着者に
音声を与えている。
【０００５】ここで、音声再生部１０２は、音像を装着
者の頭内に定位させているので、上記映像表示部１０１
が映し出す映像と一致することなく現実感の再現という
意味では大変不自然であった。
【０００６】そこで、体の動きに応じて上記映像及び音
声をリアルタイムで更新し、更に音声においては現実に
近い音場感を例えばディジタル信号処理ユニットにより
畳み込んで現実に近い視聴環境を再現する試みが行われ
ている。
【０００７】
【発明が解決しようとする課題】ところで、上述したよ
うな試みでは、特に音声処理において莫大な数の信号処
理を必要とし、それ自体で頭部に装着できる大きさには
なり得ず、かつ動き検出手段も高価なものを使用しなけ
ればならず実用的ではなかった。
【０００８】また、仮に、音像の頭外定位を実現して音
声において現実に近い音場感を得ることができたとして
も、映像系が従来通り頭部の動きに追従して視聴環境内
で移動した場合、音像位置と映像位置の間には、大きな
ずれが発生し、不自然な映像音声再生となってしまう。
【０００９】また、特殊なソースを用いて映像内容を頭
部の動きに応じて更新する場合でも映像系、音声系とも
に莫大な装置を必要とし、また高価なシステムになって
しまう。
【００１０】本発明に係る映像音声再生装置は、上記実
情に鑑みてなされたものであり、特殊なソースを不要と
しながらも安価に音像位置と映像位置を一致させること
のできる映像音声再生装置の提供を目的とする。
【００１１】
【課題を解決するための手段】本発明に係る映像音声再
生装置は、上記課題を解決するために、音声再生手段の
音声信号処理部に再生音像を頭外に定位させ、かつ音像
方向を頭部の回転運動にかかわらず視聴環境の一定方向
に固定させるような信号処理を行わせ、映像再生手段の
映像信号処理部に映像知覚位置を上記頭部の回転運動に
応じて視聴環境の一定方向に固定させるような信号処理
を行わせる。
【００１２】また、本発明に係る映像音声再生装置は、
上記課題を解決するために、音声再生手段の音声信号処
理部に複数の音声入力信号に２系統のインパルス応答を
畳み込む二つのディジタルフィルタの各出力に上記頭部
回転運動に応じた頭部回転角度に基づいて再生音像が一
定方向に固定されるように時間差又は位相差、或いはレ
ベル差又は周波数特性を付加させし、映像再生手段の映
像信号処理部に入力映像信号に対して該入力映像信号の
映像知覚位置を上記頭部回転角度に応じて視聴環境の一
定方向に固定する信号処理を施させる。
【００１３】また、本発明に係る映像音声再生装置は、
上記課題を解決するために、頭部装着部上を除いた場所
に配設された映像音声信号生成手段に上記回転角検出手
段で検出された頭部の回転運動に応じた位置情報を基
に、視聴環境を固定した音声信号及び映像信号を頭部装
着部上の二つの発音体と映像表示部に出力させる。
【００１４】
【発明の実施の形態】以下、本発明に係る映像音声再生
装置のいくつかの実施の形態について図面を参照しなが
ら説明する。
【００１５】先ず、第１の実施の形態は、音像の頭外定
位を実現して入力音声を再生する音声再生部２と、映像
の一定方向への固定を実現して入力映像を再生する映像
再生部１０と、頭部の回転運動を検出する回転角速度セ
ンサ１６とを例えばヘッドバンド又はヘルメット状の頭
部装着部１５に一体的に備えて成る頭部装着型映像音声
再生装置１である。
【００１６】音声再生部２は、回転角速度センサ１６で
の検出結果に応じて上記入力音声を頭部装着部１５装着
者の頭外に定位させ、かつ音像方向の頭部回転運動への
追随を防いで該音像方向を視聴環境の一定方向に固定さ
せる演算を行う音声信号処理部５を備える。音声信号入
力端子３から入力された音声信号は、Ａ／Ｄ変換器４で
ディジタル信号に変換されてからこの音声信号処理部５
に供給される。音声信号処理部５からの出力結果は、左
右それぞれの耳用に対応したＤ／Ａ変換器６L及び６Rに
出力される。このＤ／Ａ変換器６L及び６Rでアナログ信
号に変換された音声信号は、ヘッドホン駆動用の左右そ
れぞれの耳用に対応した増幅器７L及び７Rを介して左右
の耳の位置に配設される左耳用発音体８Lと右耳用発音
体８Ｒに供給される。
【００１７】映像再生部１０は、回転角速度センサ１６
での検出結果に応じて上記入力映像を頭部装着部１５装
着者の視聴環境の一定方向に固定させる映像信号処理部
１２を備える。映像信号入力端子１１から入力された映
像信号は、この映像信号処理部１２に供給される。この
映像信号処理部１２で処理された映像信号は、映像表示
駆動部１３Ｌ及び映像表示駆動部１３Rを介して左右両
眼の前方近傍に配置される左眼用映像表示部１４Lと右
眼用映像表示部１４Rに供給される。
【００１８】回転角速度センサ１６は、頭部装着部１５
装着者の頭部の回転角速度を検出し、該検出結果をマイ
クロプロセッサ１７に供給する。マイクロプロセッサ１
７は、頭部装着部１５装着者の正面方向からの回転運動
角度を計算し、該計算結果を音声信号処理部５及び映像
信号処理部１２に供給する。
【００１９】ここで、音声信号処理部５は、図２に示す
ように、入力端子２０1、２０2を介して受け取った２チ
ャンネルの入力音声信号に、実際の２個の音源から頭部
装着部１５装着者の両耳に至る頭部伝達関数を使ったイ
ンパルス応答を畳み込み演算する４個のディジタルフィ
ルタ２１L、２１R、２２L及び２２Rと、この２チャンネ
ルのうちＬ、Ｒ極性の同じ出力同士を加算する一対の加
算器２３L及び２３Rと、この一対の加算器２３L及び２
３Rに接続される一対の時間差付加回路２４L及び２４R
と、この一対の時間差付加回路２４L及び２４Rに接続さ
れる一対のレベル差付加回路２５L及び２５Rとを備え、
上記回転角速度センサ１６及びマイクロプロセッサ１７
を介して得られた回転運動角度に応じて上記一対の時間
差付加回路２４L及び２４Rと上記一対のレベル差付加回
路２５L及び２５Rとで付加する時間差及びレベル差の増
減方向を逆にする。
【００２０】具体的に、この音声信号処理部５では、図
３に示すような状態を想定して、発音体８L、８Rに音声
信号を供給している。すなわち、入力音声信号は、正面
範囲１８０゜に定位させるべきものとして音源３０1、
音源３０2からの２チャンネルを考慮した。
【００２１】先ず、入力端子２０1及び２０2より入力さ
れたディジタル音声信号には、それぞれ初期状態におい
て前方のある方向に定位するのに相当する音源３０1、
音源３０2から両耳への頭部伝達関数に相当するインパ
ルスレスポンスがディジタルフィルタ２１L、２１R、２
２L及び２２Rによって畳み込まれ、Ｌ側出力が加算器２
３Lで加算されて時間差付加回路２４L及びレベル差付加
回路２５Lを介して出力端子２６Lから出力され、Ｒ側出
力が加算器２３Rで加算されて時間差付加回路２４R及び
レベル差付加回路２５Rを介して出力端子２６Rから出力
される。
【００２２】ここで、音源３０1、音源３０2から聴取者
Ｍの両耳ｌ，ｒへの頭部伝達関数は、図３に示すような
ＨLl、ＨLr、ＨRl、ＨRrが考慮される。そして、Ｌチャ
ンネル、Ｒチャンネルの各々のスピーカから出力される
信号をＳL、ＳRとすると、左耳ｌにはＳLＨLl＋ＳRＨRl
が、右耳ｒにはＳRＨRr＋ＳLＨLrが供給されるように、
インパルスレスポンスがディジタルフィルタ２１L、２
１R、２２L及び２２Rによって畳み込まれた音声が発音
体８L及び８Rによって頭部装着部１５装着者の両耳に与
えられる。
【００２３】なお、聴取者Ｍが頭部を例えば左側に動か
すと、左耳ｌは音源３０1及び３０2から遠ざかることに
なり、右耳ｒは音源３０1及び３０2に近づくことにな
る。このため、左耳ｌと右耳ｒに達する音声入力信号に
は時間差及びレベル差が生ずることになる。この時間差
及びレベル差を生じさせるのが上記一対の時間差付加回
路２４L及び２４Rと、上記一対のレベル差付加回路２５
L及び２５Rである。
【００２４】Ｌ側用の時間差付加回路２４Lで付加され
る遅延時間は、図４の遅延時間特性の一点鎖線の特性カ
ーブＴbで示され、Ｒ側用の時間差付加回路２４Rで付加
される遅延時間は、図４の遅延時間特性の破線の特性カ
ーブＴaで示される。特性カーブＴa及びＴbは聴取者Ｍ
の頭部の回転方向に対して全く逆の増減方向を持つ曲線
となっている。これにより聴取者Ｍが前方１８０゜の範
囲内に置かれた音源からの音を頭を左右に回転させなが
ら聞いた場合と同様の音源から両耳までの時間変化が入
力端子２０1及び２０2から入力された信号に付加される
ことになる。
【００２５】また、Ｌ側用のレベル差付加回路２５Lで
付加されるレベル差は、図５の相対レベル特性の破線の
特性カーブＬaで示され、Ｒ側用のレベル差付加回路２
５Rで付加されるレベル差は、図５の相対レベル特性の
一点鎖線の特性カーブＬbで示される。この図５は、頭
の回転位置が０゜の状態からの相対レベルを示してい
る。特性カーブＬa及びＬbは聴取者Ｍの頭部の回転方向
に対して全く逆の増減方向を持つ曲線となっている。す
なわち、レベル差付加回路２５Lでは特性カーブＬaのレ
ベル変化、レベル差付加回路２５Rでは特性カーブＬbの
レベル変化が付加されるので前方の音源を実際に聞くの
と同様の音量変化が入力端子２０1及び２０2からの入力
信号に付加される。
【００２６】以上より、音声再生部２により再生される
音声信号は実際の音を頭を動かしながら聞く場合と同様
の変化をし、このため受聴環境に対して頭外の一定方向
に前方を含めて定位することになる。また、上記２チャ
ンネル以上の複数の音声信号を用いれば、任意の位置に
音像が定位する立体的な音場再生が可能となる。
【００２７】次に、映像信号処理部１２は、図６に示す
ように、入力端子３１を介して受け取った映像入力信号
をＡ／Ｄ変換器３２でディジタル信号に符号化して画像
メモリ３３上に格納し、映像の表示位置を頭部の回転角
度に応じて変化するように処理する。
【００２８】画像メモリ３３に符号化映像信号である映
像データを格納する格納アドレスは、マイクロプロセッ
サ１７で計算された回転運動角度に応じてメモリコント
ローラ３７により決定される。このため、画像メモリ３
３は、上記映像データを表示エリアの一部として取り込
む。映像データが取り込まれない画像メモリ３３には黒
色或いは他の一定色を表示するデータが保存される。Ｄ
／Ａ変換器３４は画像メモリ３３全体が表示されるよう
な映像信号として上記映像データをアナログ信号に変換
する。この映像信号は映像出力増幅器３５を介して出力
端子３６から図１に示す映像表示駆動部１３L及び１３R
に供給される。そして、映像表示部１４L及び１４Rに表
示される。このため、画像メモリ３３上での映像データ
配置位置が頭部の回転角度に応じて変化し、両眼の前方
近傍に配置された映像表示部１４L及び１４R上には視聴
環境の一定方向に固定されたような映像が表示される。
【００２９】ここで、映像表示部１４L及び１４R上の表
示エリアは、図７に示すような構成となっている。すな
わち、表示エリアは６４０×４８０ドットであり、各ド
ットに画像メモリ３３の独立した記憶エリアが対応して
いる。ここで、各ドットに対して確保する記憶容量は、
ディジタル信号として扱う場合のビット長、カラー表示
有り無し等で決まってくる。
【００３０】上記表示エリアの中で、映像データをさら
に３２０×２００ドットの解像度で限定表示する場合を
考慮する。先ず、上記表示エリアの左上隅の座標を
（０、０）とし、上記限定表示エリアの初期状態での左
上隅の座標を（ｘ1，ｙ1）とする。頭部が左に回転した
場合、映像が視聴環境の一定位置にとどまるためには映
像位置は上記限定表示エリア上で右方向つまり（ｘ2、
ｙ1）「ただし、ｘ2＞ｘ1」に移動しなければならな
い。ここで、移動量ｘ2−ｘ1は頭部の回転角度θ（ra
d）と頭部回転中心から表示装置までの距離ｒで決定
し、θが小さいときはおよそｘ2−ｘ1＝ｒθで計算され
る。これを実現するためメモリコントローラ３７は映像
データを表示エリア上の座標が（ｘ2、ｙ1）、（ｘ2、
ｙ1＋２００）、（ｘ2＋３２０、ｙ1＋３２０）、（ｘ2
＋３２０、ｙ1）で囲まれる領域に対応する画像メモリ
３３上に格納位置を移動させる。
【００３１】以上、本発明の第１の実施の形態である頭
部装着型映像音声再生装置１は、マイクロプロセッサ１
７で計算された頭部の回転運動角度に応じて音声信号処
理部５と映像信号処理部１２とで音像定位位置及び映像
位置を頭外及び視聴環境の一定方向にとどまるよう信号
処理するので、従来のように音像定位位置と映像位置が
重なり両者の不一致による違和感を解消でき、表示装置
上に映し出される映像上の発音源と実際の音像の位置を
常に一致させることができる。さらに映像と音像の相乗
効果により音声だけの場合に比べてより明確な音像定位
が得られリアルな映像音声再生が可能となる。
【００３２】なお、この頭部装着型映像音声再生装置１
では、音声再生部２の音声信号処理部５を図８、図１０
及び図１２のように構成してもよい。
【００３３】図８に示す音声信号処理部５は、図２に示
した一対のレベル差付加回路２５L及び２５Rの代わりに
一対の周波数特性制御回路２７L及び２７Rを一対の時間
差付加回路２４L及び２４Rの出力側に接続してなる。
【００３４】ここで、一対の周波数特性制御回路２７L
及び２７Rは、図９に示すような周波数特性を頭部装着
部装着者の頭部の回転角度に応じて上記入力信号に与え
て、周波数特性を制御するものである。頭部を正面前方
に固定したまま（０゜と図示する。）であれば実線で示
すように周波数ｆが高くなってもレスポンスは一定であ
るが、例えば右側に９０゜回転した場合と左側に９０゜
回転した場合では、周波数ｆが高くなるに従いレポンス
差が生じる。頭部を右側に９０゜回転した場合（＋９０
゜と図示する。）、一点鎖線で示すように、周波数ｆが
高くなるほどレスポンスは上昇する。これに対して、頭
部を左側に９０゜回転した場合（−９０゜と図示す
る。）、破線で示すように、周波数ｆが高くなるほどレ
スポンスは減少する。両者は頭部を正面方向に固定した
際の実線で示すレスポンス特性を軸にして上下対称とな
っている。
【００３５】したがって、図８に示した音声信号処理部
５は、前方２チャンネルの２個の音源からの入力信号
に、一対の時間差付加回路２４L及び２４Rで頭部回転角
度に応じて付加する時間差の増減方向を逆にして与え、
一対の周波数特性制御回路２７L及び２７Rで頭部回転角
度に応じて制御する周波数特性の変化方向を逆にするの
で、前方音声信号に対して実際の音源を音を頭を動かし
ながら聞くのと同等の両耳間の時間差、及び周波数特性
を実現できるので、あらゆる方向に良好な頭外音像定位
を実現できる。
【００３６】次に、図１０に示す音声信号処理部５は、
図２に示した一対の時間差付加回路２４L及び２４Rの代
わりに一対の位相差付加回路２８L及び２８Rを一対のレ
ベル差付加回路２５L及び２５Rの入力側に接続してな
る。
【００３７】ここで、一対の位相差付加回路２８L及び
２８Rは、図１１に示すような位相変化特性に応じた位
相差を装着者の頭部の回転角度に応じて上記入力信号に
与える。頭部を正面前方に固定したままで（０゜と図示
する。）であれば実線で示すような位相差θとなるが、
例えば頭部が右側に９０゜回転した場合と左側に９０゜
回転した場合では、位相差が左右にシフトする。頭部を
右側に９０゜回転した場合（＋９０゜と図示する。）、
一点鎖線で示すように位相は進む。これに対して、頭部
を左側に９０゜回転した場合（−９０゜と図示す
る。）、破線で示すように位相は遅れる。
【００３８】したがって、図１０に示した音声信号処理
部５を用いた頭部装着型映像音声再生装置１によれば、
前方２チャンネルの音源からの入力信号に、一対の位相
差付加回路２８L及び２８Rで頭部回転角度に応じて付加
する位相差の増減方向を逆にして与え、一対のレベル差
付加回路２５L及び２５Rで頭部回転角度に応じて付加す
るレベル差の増減方向を逆にして与えるので、前方音声
信号に対して実際の音源を音を頭を動かしながら聞くの
と同等の両耳間の位相差特性、及びレベル差特性を再現
できるので、あらゆる方向に良好な頭外音像定位を実現
できる。
【００３９】さらに次に、図１２に示す音声信号処理部
５は、図８に示した一対の時間差付加回路２４L及び２
４Rの代わりに一対の位相差付加回路２８L及び２８Rを
一対の周波数特性制御回路２７L及び２７Rの入力側に接
続してなる。
【００４０】ここで、一対の位相差付加回路２８L及び
２８Rは、図１１に示すような位相変化特性に応じた位
相差を頭部装着型映像音声再生装置１装着者の回転角度
に応じて上記入力信号に与える。
【００４１】また、一対の周波数特性制御回路２７L及
び２７Rは、図９に示すような周波数特性を上記装置１
装着者の頭部の回転角度に応じて上記入力信号に与え
て、周波数特性を制御するものである。
【００４２】したがって、図１２に示した音声信号処理
部５を用い頭部装着型映像音声再生装置１によれば、前
方２チャンネルの２個の音源からの入力信号に、一対の
位相差付加回路２８L及び２８R、第２の一対の位相差付
加回路３１L及び３１Rで頭部回転角度に応じて付加する
位相差の増減方向を逆にして与え、第１の一対の周波数
特性制御回路２８L及び２８R、第２の一対の周波数特性
制御回路２９L及び２９Rで頭部回転角度に応じて制御す
る周波数特性の変化方向を逆にするので、前方音声信号
に対しても、後方音声信号に対しても実際の音源を音を
頭を動かしながら聞くのと同等の両耳間の位相差、及び
周波数特性を実現できるので、あらゆる方向に良好な頭
外音像定位を実現できる。
【００４３】ここで、図１に示した回転角速度センサ１
６について説明しておく。回転角速度センサ１６は、頭
部装着部１５を装着している装着者の頭部の回転角速度
を検出する。特に、第１の実施の形態となる頭部装着型
映像音声再生装置では、回転角速度センサ１６として図
１３に示すような圧電振動ジャイロ装置８０を用いてい
る。この圧電振動ジャイロ装置８０は、運動体の揺動運
動を圧電素子により検出する装置である。図１３におい
て、正方形断面の振動用四角柱からなる振動用圧電素子
８１は種々の振動体から構成される。この振動用圧電素
子８１の対向する２面には、検出用圧電素子８２及び８
３、駆動用圧電素子８４及び８５が取り付けられてい
る。
【００４４】駆動用圧電素子８４及び８５には駆動用信
号源８６が接続され、交番信号を供給するように構成さ
れている。検出用圧電素子８２及び８３の出力は、差動
増幅器８７に供給される。この差動増幅器８７の差動出
力と駆動用信号源８６の出力とが乗算器又は位相検波器
８８に供給され、乗算又は位相検波される。乗算器又は
位相検波器８８の出力は、図１に示すマイクロプロセッ
サ１７に供給される。
【００４５】このように構成された圧電ジャイロ装置８
０は、以下のように動作する。先ず、駆動用圧電素子８
４及び８５に振動用圧電素子８１の固有振動周波数の交
番信号を印加すると、振動用圧電素子８１は図示の振動
波形に基づいて強制振動される。この振動は一定のモー
ドで共振を発生させるものである。
【００４６】この場合、外力が加わらない状態では、検
出用圧電素子８２及び８３の出力はないが、振動用圧電
素子８１に対して軸方向に角速度ωの回転力が加わる
と、コリオリの力により、搬送波としての強制振動用の
交番信号が振幅変調され、検出信号となって検出され
る。この場合の振幅の大きさは、軸に及ぼされる回転の
角速度ωに比例し、回転方向は駆動用信号に対する検出
信号の位相ずれ方向に対応する。
【００４７】従って、振幅変調された検出信号と、駆動
用信号との積をとり、その信号を低域フィルタとしての
帯域制限フィルタで搬送波成分を除去し、検出信号とす
ることが行われている。
【００４８】また、回転角速度センサ１６は、図１４に
示すようなアナログ角度検出器９０でもよい。このアナ
ログ角度検出器９０は、頭部装着部１５に設けられ、頭
部の動きを検出する。アナログ角度検出器９０では、頭
部装着部１５の中央部にＣＤＳやフォトダイオード等の
光の強さにより抵抗値が変化する受光素子からなる受光
器９１を取り付けている。この受光器９１と対向して電
球や発光ダイオード等の発光器９３が設けられていて、
この発光器９３により一定の強さの光を受光器９１に向
けて照射するようになっている。
【００４９】その際、この発光器９３の投射光の通路間
に回転角度のより投射光の透過度が変化するような可動
シャッター９２が設けられており、この可動シャッター
９２は磁針９４と共に回転するようになっている。従っ
て、受光器９１に一定の電流を流すとき、受光器９１の
受光素子両端の電圧は磁針９４の示す南北方向を基準と
して、頭部装着部１５装着者の方向を含む頭の動きを示
すアナログ出力が取り出される。
【００５０】また、回転角速度センサ１６は、図１５に
示すようなディジタル角度検出器９５でもよい。このデ
ィジタル角度検出器９５は、頭部装着部１５に設けら
れ、頭部の動きを検出する。このディジタル角度検出器
９５では、頭部装着部１５の中央部にロータリーエンコ
ーダ９６が、その入力軸が垂直となるように設けられて
いると共に、その入力軸に、磁針９７が設けられてい
る。従って、ロータリーエンコーダ９６からは、磁針９
７の示す南北方向を基準として、頭部装着部１５装着者
の方向を含む頭の動きを示す出力が取り出される。
【００５１】また、回転角速度センサ１６は、前方或い
は周囲に置かれた発光器と頭部装着部１５に設けられた
少なくとも２個の光強度センサの出力比により回転角を
算出するようにしてもよい。
【００５２】また、この回転角速度センサ１６は、頭部
装着部１５上の離れた２カ所に取り付けられたマイクロ
ホンで、前方或いは周囲に置かれた超音波発振器とから
断続的に発生されるバースト信号を、読み取りそれぞれ
の受信信号の時間差から回転角度を算出するようにして
もよい。
【００５３】次に、第２の実施の形態について説明す
る。この第２の実施の形態は、図１６に示すように、音
像の頭外定位を実現して入力音声を再生する音声再生部
４２と、映像の一定方向への固定を実現して入力映像を
再生する映像再生部４８と、頭部の回転運動を検出する
回転角速度センサ４５とを頭部装着部４７に一体的に備
えて成り、映像再生部４８に表示する映像を両眼視差を
利用した立体映像とした頭部装着型映像音声再生装置４
０である。
【００５４】音声再生部４２の構成は、第１の実施の形
態の音声再生部１０と同様である。すなわち、音声信号
処理部５を図２、図８、図１０又は図１２のように構成
し、入力端子４３を介して入力された入力音声信号に上
述した音声信号処理を施し、Ｄ／Ａ変換及び増幅器を介
して発音体４４L及び４４Rに供給する。
【００５５】映像再生部４８には、図１７に示すように
同一被写体５５を両眼カメラ（左用）５６L及び両眼カ
メラ（右用）５６Rにより撮影して得られた両眼視差の
生じた左目用の映像信号及び右目用の映像信号が入力端
子４９L及び４９Rを介して入力される。左目用の映像信
号は、左目用の映像信号処理部５０Lに供給され、ここ
で回転角速度センサ４５での検出結果に応じて視聴環境
の一定方向に固定されるように処理される。また、右目
用の映像信号は、右目用の映像信号処理部５０Rに供給
され、ここで上記検出結果に応じて視聴環境の一定方向
に固定されるように処理される。すなわち、映像信号処
理部５０L及び映像信号処理部５０Rは、頭部の回転角度
に応じて上記左目用の映像信号及び上記右目用の映像信
号の表示位置が映像表示部５２L及び映像表示部５２Rで
変化するように処理する。頭部が右側に回転していると
きは上記左目用の映像信号及び上記右目用の映像信号の
フレーム合成位置は映像表示部５２L及び映像表示部５
２R内で左側に移動し、逆に頭部が左側に回転している
ときは上記フレーム合成位置は映像表示部５２L及び映
像表示部５２R内で右側に移動する。このため映像は、
視聴環境内で一定方向にとどまっているように見える。
又、映像信号は上述したように両眼視差を写すので遠近
感のある立体的な映像として知覚される。
【００５６】なお、映像信号処理部５０L及び５０Rは、
上記図６に示したと同様の構成である。また、映像表示
部５２L及び５２Rの表示エリアは、上記図７に示したと
同様の構成である。ここでは説明を省略する。
【００５７】以上、本発明の第２の実施の形態である頭
部装着型映像音声再生装置４０は、マイクロプロセッサ
４６で計算された頭部の回転運動角度に応じて音声信号
処理部と映像信号処理部５０L及び５０Rとで音像定位位
置及び両眼視差の生じている映像位置を頭外及び視聴環
境の一定方向にとどまるように信号処理するので、従来
のように音像定位位置と映像位置が重なり両者の不一致
による違和感を解消でき、ディスプレイ上に立体的に映
し出される映像上の発音源と実際の音像の位置を常に一
致させることができる。さらに立体映像と音像の相乗効
果により音声だけの場合に比べてより明確な音像定位が
得られリアルな立体映像音声再生が可能となる。
【００５８】次に、第３の実施の形態について説明す
る。この第３の実施の形態は、上記図１に示した頭部装
着型映像音声再生装置１と同様の構成となるが、映像信
号処理部１２が映像信号の一部を選択的に出力するよう
な映像信号処理を行う。
【００５９】つまり、回転角速度センサ１６が検出した
回転角速度からマイクロプロセッサ１７が計算した頭部
回転角度に応じて、映像表示部１４L及び１４Rに表示さ
れる内容があたかも視聴環境の一定方向に固定している
かのように変化する。
【００６０】このような映像エリアの選択の様子を図１
８を参照しながら説明する。初期状態で映像信号処理部
１２が映像表示部１４L及び１４Rに映像信号内容全エリ
ア５７の内、表示エリア５８を出力していた後、視聴者
の頭部が右に回転すると映像信号処理部１２は連続的に
その回転角度に見合った映像である表示エリア５９を映
像表示部１４L及び１５Rに出力する。逆に頭部がこの状
態から左側に回転した場合は表示エリア５８の方向に向
かう。
【００６１】映像信号処理部１２は、上記図６に示した
と同様の構成となるが、上記第１の実施の形態が映像デ
ータを画像メモリ３３上に展開する方法をそのメモリ３
３の一部としたのに対して、映像データを画像メモリ３
３の全領域に格納し、実際の表示エリアをその中の一部
を切り出して表示している。
【００６２】音声再生部２の構成及び動作は、図１に示
した音声再生部２と同様であるのでここでは説明を省略
する。
【００６３】このように、映像信号処理部１２は、表示
内容を視聴環境内で一定方向にとどめておくので、この
第３の実施の形態は映像と音像方向を一致した映像音声
再生を可能とする。
【００６４】次に、第４の実施の形態について説明す
る。この第４の実施の形態は、図１９に示すように、頭
部装着部６５とは別に設けた映像音声信号生成部６１に
頭部装着部６５装着者の位置情報を入力し、該位置情報
に応じて映像信号及び音声信号を映像音声環境が固定す
るように出力する頭部装着型映像音声再生装置６０であ
る。
【００６５】頭部装着部６５に設けられた回転角速度セ
ンサ６６により検出された頭部回転角度はマイクロプロ
セッサ６７に入力されここで位置情報制御信号に変換さ
れる。この位置情報制御信号は、位置情報出力端子６８
を介して映像音声信号生成部６１に供給される。
【００６６】映像音声信号生成部６１は上記位置情報制
御信号に応じて頭部装着部６５装着者の位置情報を知
り、映像信号及び音声信号の内容を更新する。ここで、
映像音声信号生成部６１は、映像信号をコンピュータグ
ラフィック等の手法により合成して出力すると共に、音
声信号を予め大規模メモリ等に記憶し、該大規模メモリ
から選択的に抽出して出力する。このため、映像音声信
号生成部６１は、上記頭部装着部６５装着者の頭部位置
に応じて更新した上記コンピュータグラフィック等の手
法により合成した上記映像信号を映像入力端子６２を介
して映像表示駆動部６３L及び６３Rに供給する。また、
映像音声信号生成部６１は、上記頭部装着部６５装着者
の頭部位置に応じて更新した上記大規模メモリから選択
的に抽出した上記音声信号を音声入力端子６９を介して
音声再生部７０に供給する。
【００６７】音声再生部７０は、上記音声信号に対して
図１の音声再生部１が行ったと同様の音声信号処理を施
し、頭部装着部６５にヘッドホンを構成するように配設
されている発音体７１L及び７１Rに供給する。したがっ
て、音声信号は視聴者の頭部の動きに応じて音像が頭外
の一定位置に固定されるように処理される。また、複数
の音声信号を用いることにより任意の位置に複数の音像
が定位する立体的な音場再生が可能となる。
【００６８】一方、映像入力端子６２を介して上記映像
信号が入力された映像表示駆動部６３L及び６３Rは、上
記映像信号を上記頭部装着部６５にあって両目の近傍の
位置となるように配設された映像表示部６４L及び６４R
に供給する。映像表示部６４L及び６４Rは、上記映像信
号をその内容自体が視聴環境内で固定されるように表示
する。すなわち、頭部が右側に回転しているときは映像
は右側にパンするような映像内容となり、逆に頭部が左
側に回転しているときは映像は左側にパンして移動する
内容になる。このため、表示内容は視聴環境内で一定方
向にとどまっているように見える。
【００６９】このように、第４の実施の形態となる頭部
装着型映像音声再生装置６０は、映像及び音場が親近感
も含めて映像上の発音源に実際の音像が定位するように
構成できるので極めてリアリティーの高い映像音声再生
が可能となる。
【００７０】次に、第５の実施の形態について説明す
る。この第５の実施の形態は、上記第３の実施の形態と
同様に上記図１に示した頭部装着型映像音声再生装置１
のような構成となり、映像信号処理部１２が映像信号の
一部を選択的に出力するような映像信号処理を行うと共
に、表示エリアが映像信号内容の限界に達した場合は映
像及び音像定位位置を頭の動きと同期させ視聴環境に対
して回転させる。
【００７１】すなわち、初期状態で映像信号処理部１２
が映像表示部１４L及び１４Rに映像信号内容全エリア５
７の内、表示エリア５８を出力していた後、視聴者の頭
部が右に回転すると映像信号処理部１２は連続的にその
回転角度に見合った映像である表示エリア５９を映像表
示部１４L及び１５Rに出力する。逆に頭部がこの状態か
ら左側に回転した場合は表示エリア５８の方向に向か
う。
【００７２】ここで、図２０に示すように、表示エリア
８５が映像信号内容全エリア５７の限界に達した場合
は、その時点で映像及び音像定位位置は頭部の動きと同
期して視聴環境に対して回転すなわち頭部に対して固定
して動き表示エリア８７となり、この状態で頭部が逆方
向に回転した場合はまた、映像信号内容全エリア５７が
許す限り映像、音像共に視聴環境に対して固定される。
【００７３】このように、視聴者が通常既存の映画等の
ソフトをこの第５の実施の形態を装着して鑑賞するよう
な場合、すべての範囲内で映像及び音声が固定される必
要はなく、例えば図２１に示すような視聴者Ｍの前方Ｆ
の一定範囲内Ｗで上記映像位置の固定を実現すれば実用
上充分な範囲で映像位置と音像位置が固定されることに
なり、この範囲内Ｗで表示内容は視聴環境内で一定方向
にとどまっているように見え、映像と音像方向が一致し
た映像音声再生が可能となる。また、音声信号に対する
頭部の動きによる両耳間の時間差及びレベル差も実音源
を聞くのと同様に付加されるので音像は頭外のしかも前
方向も含めた状態で定位が可能となる。
【００７４】なお、上記音声入力信号は、ワイヤレスで
頭部装着部上の上記音声再生手段に供給されてもよい。
また、上記映像入力信号は、ワイヤレスで頭部装着部上
の上記映像再生手段に供給されてもよい。
【００７５】
【発明の効果】本発明に係る映像音声再生装置は、音声
再生手段の音声信号処理部に再生音像を頭外に定位さ
せ、かつ音像方向を頭部の回転運動にかかわらず視聴環
境の一定方向に固定させるような信号処理を行わせ、映
像再生手段の映像信号処理部に映像知覚位置を上記頭部
の回転運動に応じて視聴環境の一定方向に固定させるよ
うな信号処理を行わせるので、音像を頭外、特に従来定
位が難しいとされた前方方向に対して定位可能とする。
また映像位置が一定位置にとまるので音像定位位置と映
像位置が重なり両者の不一致による違和感を解消でき
る。さらに映像と音像の相乗効果により音声だけの場合
に比べてより明確な音像定位が得られリアルな映像音声
再生が可能となる。さらにまた、音像頭外定位処理を簡
単な構成の信号処理で実現できるので、可搬性にすぐれ
た廉価な装置を小型に構成できる。
【００７６】また、入力させる映像信号に両眼視差をも
たせてあれば、遠近間のある立体的な映像を再生するこ
とができ、従来のように音像定位位置と映像位置が重な
り両者の不一致による違和感を解消でき、ディスプレイ
上に立体的に映し出される映像上の発音源と実際の音像
の位置を常に一致させることができる。さらに立体映像
と音像の相乗効果により音声だけの場合に比べてより明
確な音像定位が得られリアルな立体映像音声再生が可能
となる。
【００７７】また、映像再生手段は、映像信号の一部を
選択的に表示できるので、頭部の一定範囲の動きに対し
て視聴者の見ている映像量を減らすことなく音像定位位
置と映像位置の視聴環境に対する固定化を実現できる。
【００７８】また、この発明によれば例えばコンピュー
タグラフィックのようにリアルタイムで映像を合成でき
るシステムに応用し映像内容自体の内容を頭部の回転運
動に応じて更新して表示できるようにしたので頭部の一
定範囲の動きに対して視聴者の見ている映像量を減らす
ことなく音像定位位置と映像質の視聴環境に対する固定
化を実現できる。
【００７９】また、音声再生手段、映像再生手段は、頭
部の動きに応じて正面方向を中心としてある範囲内での
み音像方向を視聴環境の一定方向に固定させ、その範囲
を越えた場合は頭部の動きに応じて音声方向を移動させ
るようにできるので、頭の動きに応じて表示内容が変化
することの無い映像を見る場合にも音像方向を視聴環境
の一定方向に固定する範囲の限定を行っているので、映
像方向と音像方向が大きくずれることがなく、かつ動的
な音声信号処理による音像の前方定位を可能とし例えば
映画鑑賞のような広い映像表示範囲を必要とせず通常動
きの少ない状態で鑑賞する映像音声ソースでも充分なリ
アリティと臨場感を持った映像音声再生を容易とする。
【００８０】また、本発明では頭部装着部に回転検出手
段及び音声再生手段を備え、頭部の動きを検出し、正面
方向を中心としてある範囲内でのみ映像方向と音像方向
とが視聴環境の一定方向に固定しているかのように変化
させ、その範囲を越えた場合は頭部の動きに応じて映像
方向、音像方向共に移動するので、頭部の動きに応じて
表示内容の変化する映像の持つ情報容量が限られている
場合にも頭部の回転運動範囲を限定して場合には映像方
向と音像方向を視聴環境の一定方向に固定することがで
きる。また、動的な音声信号処理による音像の前方定位
を可能とし、例えば映画鑑賞のような広い映像表示範囲
を必要とせず通常の動きの少なく状態で鑑賞するシステ
ムには充分なリアリティと臨場感ある映像音声再生を容
易に構成できる。
【００８１】また、音声再生手段を頭部装着部に内蔵す
ることにより、バイノーラル録音等の特殊な録音によら
ないで従来の普通の音声信号ソースを持つ映像音声信号
をそのまま入力して頭外定位を持った臨場感ある音声再
生が可能となり、可搬性にすぐれた仮想現実システムを
小型に構成できる。
【００８２】また、回転角検出手段のかわりに、または
同時に位置検出手段を頭部装着部に設けることにより、
装着者が回転した場合の制御だけでなく、その視聴環境
において位置を移動した場合の映像、音像制御も可能と
なりよりリアリティのある仮想現実システムを小型に構
成できる。
【図面の簡単な説明】
【図１】本発明に係る映像音声再生装置の第１の実施の
形態の概略構成を示すブロック図である。
【図２】上記第１の実施の形態に用いられる音声信号処
理部の詳細な構成を示すブロック図である。
【図３】上記第１の実施の形態に用いられる音声信号処
理部が想定している聴取環境を示す模式図である。
【図４】上記第１の実施の形態に用いられる音声信号処
理部の時間差付加回路で付加される遅延時間の特性図で
ある。
【図５】上記第１の実施の形態に用いられる音声信号処
理部のレベル差付加回路で付加されるレベル差の特性図
である。
【図６】上記第１の実施の形態に用いられる映像信号処
理部の詳細な構成を示すブロック図である。
【図７】上記第１の実施の形態に用いられる映像再生部
の表示エリアの模式図である。
【図８】上記音声信号処理部が時間差付加回路と周波数
特性制御回路を用いた場合のブロック図である。
【図９】上記周波数特性制御回路で行われる周波数制御
の特性図である。
【図１０】上記音声信号処理部が位相差付加回路とレベ
ル差付加回路を用いた場合のブロック図である。
【図１１】上記位相差付加回路で付加される位相差の変
化特性図である。
【図１２】上記音声信号処理部が位相差付加回路と周波
数特性制御回路を用いた場合のブロック図である。
【図１３】上記第１の実施の形態で使われる回転角速度
センサに適用できる圧伝振動ジャイロ装置の概略構成図
である。
【図１４】上記第１の実施の形態で使われる回転角速度
センサに適用できるアナログ角度検出器の概略構成図で
ある。
【図１５】上記第１の実施の形態で使われる回転角速度
センサに適用できるディジタルグ角度検出器の概略構成
図である。
【図１６】本発明に係る映像音声再生装置の第２の実施
の形態の概略構成を示すブロック図である。
【図１７】上記第２の実施の形態に入力される両眼視差
の生じた映像信号を説明するための模式図である。
【図１８】上記第３の実施の形態の映像再生部の動作を
説明するための模式図である。
【図１９】本発明に係る映像音声再生装置の第４の実施
の形態を説明するための模式図である。
【図２０】本発明に係る映像音声再生装置の第５の実施
の形態の映像再生部の動作を説明するための模式図であ
る。
【図２１】上記第５の実施の形態の動作を説明するため
の模式図である。
【図２２】従来の頭部装着型映像音声再生装置の模式図
である。
【図２３】従来の映像音声再生装置のブロック図であ
る。
【符号の説明】
１ 頭部装着型映像音声再生装置 ２ 音声再生部 ５ 音声信号処理部 １０ 映像再生部 １２ 映像信号処理部 １４ 映像表示部 １５ 頭部装着部 １６ 回転角速度センサ １７ マイクロプロセッサ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｓ 7/00 Ｈ０４Ｓ 7/00 Ｆ

Claims (29)

    【特許請求の範囲】
  1. 【請求項１】 両耳に対向するように配置した二つの発
    音体から音声信号を再生する音声再生手段と、両眼の前
    方近傍に映像を表示する映像再生手段と、頭部の回転運
    動を検出する回転角検出手段とを頭部装着部に配設して
    なる映像音声再生装置であって、 上記音声再生手段は音声信号処理部を有し、該音声信号
    処理部に再生音像を頭外に定位させ、かつ音像方向の頭
    部回転運動への追随を防いで該音像方向を視聴環境の一
    定方向に固定させるような信号処理を行わせ、 上記映像再生手段は映像信号処理部を有し、該映像信号
    処理部に映像知覚位置を上記頭部の回転運動に応じて視
    聴環境の一定方向に固定させるような変化をさせること
    を特徴とする映像音声再生装置。
  2. 【請求項２】 上記映像再生手段は、左右異なった映像
    を両眼の前方近傍に表示することを特徴とする請求項１
    記載の映像音声再生装置。
  3. 【請求項３】 上記映像再生手段は、上記回転角検出手
    段により検出された頭部回転運動に応じて映像入力信号
    の一部を選択的に表示することを特徴とする請求項１記
    載の映像音声再生装置。
  4. 【請求項４】 上記映像入力信号は、上記回転角度検出
    部により検出された頭部回転運動に応じて表示内容を視
    聴環境の一定方向に固定するように変化することを特徴
    とする請求項１記載の映像音声再生装置。
  5. 【請求項５】 上記音声再生手段は、上記回転角検出部
    で検出された頭部回転運動が一定範囲内にあるときには
    上記音声信号処理部に音像方向を一定方向に固定させ、
    上記頭部回転運動が上記範囲外にあるときには上記音声
    信号処理部に音像方向を頭の動きと同期して移動させる
    信号処理を行わせ、上記映像再生手段は上記範囲の内外
    にかかわらず頭部の動きに同期して移動することを特徴
    とする請求項１記載の映像音声再生装置。
  6. 【請求項６】 上記音声再生手段及び上記映像再生手段
    は、上記回転角検出部で検出された頭部回転運動が一定
    範囲内にあるときには音像方向及び映像方向を一定方向
    に固定させ、上記頭部回転運動が上記範囲外にあるとき
    には音像方向及び映像方向を頭部の動きと同期させて移
    動させることを特徴とする請求項１記載の映像音声再生
    装置。
  7. 【請求項７】 上記回転角検出手段の代わり、或いは同
    時に位置検出手段を上記頭部装着部に設け、頭部の位置
    による音像の定位位置の補正を行えるようにしたことを
    特徴とする請求項１記載の映像音声再生装置。
  8. 【請求項８】 上記回転角検出手段には角速度センサで
    ある圧電振動ジャイロを用いることを特徴とする請求項
    １記載の映像音声再生装置。
  9. 【請求項９】 上記回転角検出手段には地磁気方位セン
    サを用いることを特徴とする請求項１記載の映像音声再
    生装置。
  10. 【請求項１０】 上記回転角検出手段は、前方或いは周
    囲に置かれた発光手段と上記頭部装着部に設けられた少
    なくとも２個の光強度センサの出力比により頭部回転運
    動を算出することを特徴とする請求項１記載の映像音声
    再生装置。
  11. 【請求項１１】 上記位置検出手段は、前方或いは周囲
    に置かれた発光手段と上記頭部装着部に設けられた少な
    くとも２個の光強度センサの出力比により頭部位置を算
    出することを特徴とする請求項７記載の映像音声再生装
    置。
  12. 【請求項１２】 上記回転角検出手段及び上記位置検出
    手段は、前方或いは周囲に置かれた発光手段と上記頭部
    装着部に設けられた少なくとも２個の光強度センサの出
    力比により頭部回転運動及び頭部位置を算出することを
    特徴とする請求項７記載の映像音声再生装置。
  13. 【請求項１３】 上記音声入力信号は、ワイヤレスで頭
    部装着部上の上記音声再生手段に供給される事を特徴と
    する請求項１記載の映像音声再生装置。
  14. 【請求項１４】 上記映像入力信号は、ワイヤレスで頭
    部装着部上の上記映像再生手段に供給される事を特徴と
    する請求項１記載の映像音声再生装置。
  15. 【請求項１５】 両耳に対向するように配置した二つの
    発音体から音声信号を再生する音声再生手段と、両眼の
    前方近傍に映像を表示する映像再生手段と、頭部の回転
    運動を検出する回転角検出手段とを頭部装着部に配設し
    てなる映像音声再生装置であって、 上記音声再生手段は、複数の音声入力信号に２系統のイ
    ンパルス応答を畳み込む二つのディジタルフィルタの各
    出力に上記頭部回転運動に応じた頭部回転角度に基づい
    て時間差又は位相差、或いはレベル差又は周波数特性を
    付加する音声信号処理部を備え、 上記映像再生手段は、入力映像信号に対して該入力映像
    信号の映像知覚位置を上記頭部回転角度に応じて視聴環
    境の一定方向に固定する信号処理を施す映像信号処理部
    を備えることを特徴とする映像音声再生装置。
  16. 【請求項１６】 上記映像再生手段は、左右異なった映
    像を両眼の前方近傍に表示することを特徴とする請求項
    １５記載の映像音声再生装置。
  17. 【請求項１７】 上記映像再生手段は、上記回転角検出
    手段により検出された頭部回転運動に応じて映像入力信
    号の一部を選択的に表示させることを特徴とする請求項
    １５記載の映像音声再生装置。
  18. 【請求項１８】 上記映像入力信号は、上記回転角度検
    出部により検出された頭部回転運動に応じて表示内容を
    視聴環境の一定方向に固定するように変化することを特
    徴とする請求項１５記載の映像音声再生装置。
  19. 【請求項１９】 上記音声再生手段は、上記回転角検出
    部で検出された頭部回転運動が一定範囲内にあるときに
    は上記音声信号処理部に音像方向を一定方向に固定さ
    せ、上記頭部回転運動が上記範囲外にあるときには上記
    音声信号処理部に音像方向を頭の動きと同期して移動さ
    せる信号処理を行わせることを特徴とする請求項１５記
    載の映像音声再生装置。
  20. 【請求項２０】 上記音声再生手段及び上記映像再生手
    段は、上記回転角検出部で検出された頭部回転運動が一
    定範囲内にあるときには音像方向及び映像方向を一定方
    向に固定させ、上記頭部回転運動が上記範囲外にあると
    きには音像方向及び映像方向を頭部の動きと同期させて
    移動することを特徴とする請求項１５記載の映像音声再
    生装置。
  21. 【請求項２１】 上記回転角検出手段の代わり、或いは
    同時に位置検出手段を頭部装着部に設け、頭部の位置に
    よる音像の定位位置の補正を行えるようにしたことを特
    徴とする請求項１５記載の映像音声再生装置。
  22. 【請求項２２】 上記回転角検出手段には角速度センサ
    である圧電振動ジャイロを用いることを特徴とする請求
    項１５記載の映像音声再生装置。
  23. 【請求項２３】 上記回転角検出手段には地磁気方位セ
    ンサを用いることを特徴とする請求項１５記載の映像音
    声再生装置。
  24. 【請求項２４】 上記回転角検出手段は、前方或いは周
    囲に置かれた発光手段と上記頭部装着部に設けられた少
    なくとも２個の光強度センサの出力比により頭部回転運
    動を算出するようにしたことを特徴とする請求項１５記
    載の映像音声再生装置。
  25. 【請求項２５】 上記位置検出手段は、前方或いは周囲
    に置かれた発光手段と上記頭部装着部に設けられた少な
    くとも２個の光強度センサの出力比により頭部位置を算
    出するようにしたことを特徴とする請求項２１記載の映
    像音声再生装置。
  26. 【請求項２６】 上記回転角検出手段及び上記位置検出
    手段は、前方或いは周囲に置かれた発光手段と上記頭部
    装着部に設けられた少なくとも２個の光強度センサの出
    力比により頭部回転運動及び頭部位置を算出することを
    特徴とする請求項２１記載の映像音声再生装置。
  27. 【請求項２７】 上記音声入力信号は、ワイヤレスで頭
    部装着部上の上記音声再生手段に供給される事を特徴と
    する請求項１５記載の映像音声再生装置。
  28. 【請求項２８】 上記映像入力信号は、ワイヤレスで頭
    部装着部上の上記映像再生手段に供給される事を特徴と
    する請求項１５記載の映像音声再生装置。
  29. 【請求項２９】 両耳に対向するように配置した二つの
    発音体と、両眼の前方近傍で映像を表示する映像表示部
    と、頭部の回転運動を検出する回転角検出手段を頭部装
    着部に配設してなる映像音声再生装置であって、 上記回転角検出手段で検出された頭部の回転運動に応じ
    た頭部位置情報を基に、視聴環境を固定した音声信号を
    上記二つの発音体に出力すると共に、視聴環境を固定し
    た映像信号を上記映像表示部に出力する映像音声信号生
    成手段を上記頭部装着部上を除いた場所に配設してなる
    こと特徴とする映像音声再生装置。
JP25097895A 1995-09-28 1995-09-28 映像音声再生装置 Expired - Fee Related JP3796776B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP25097895A JP3796776B2 (ja) 1995-09-28 1995-09-28 映像音声再生装置
US08/715,083 US5959597A (en) 1995-09-28 1996-09-19 Image/audio reproducing system
KR1019960041359A KR100445513B1 (ko) 1995-09-28 1996-09-20 영상음성재생장치
CN96121166A CN1104137C (zh) 1995-09-28 1996-09-27 图象/音频再现***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25097895A JP3796776B2 (ja) 1995-09-28 1995-09-28 映像音声再生装置

Publications (2)

Publication Number Publication Date
JPH0993700A true JPH0993700A (ja) 1997-04-04
JP3796776B2 JP3796776B2 (ja) 2006-07-12

Family

ID=17215861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25097895A Expired - Fee Related JP3796776B2 (ja) 1995-09-28 1995-09-28 映像音声再生装置

Country Status (4)

Country Link
US (1) US5959597A (ja)
JP (1) JP3796776B2 (ja)
KR (1) KR100445513B1 (ja)
CN (1) CN1104137C (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045619A1 (fr) * 1999-01-28 2000-08-03 Sony Corporation Dispositif source sonore virtuelle et appareil acoustique comportant un tel dispositif
GB2352151A (en) * 1998-03-31 2001-01-17 Lake Technology Ltd Headtracked processing for headtracked playback of audio signals
KR100533136B1 (ko) * 1998-01-22 2005-12-01 소니 가부시끼 가이샤 음성재생장치, 이어폰장치 및 이를 위한 신호처리장치
KR100818660B1 (ko) * 2007-03-22 2008-04-02 광주과학기술원 근거리 모델을 위한 3차원 음향 생성 장치
JP2010041425A (ja) * 2008-08-05 2010-02-18 Yamaha Corp 音響再生装置およびプログラム
JP2010147529A (ja) * 2008-12-16 2010-07-01 Sony Corp 情報処理システムおよび情報処理方法
JP2011216963A (ja) * 2010-03-31 2011-10-27 Sony Corp 信号処理装置および方法、並びにプログラム
JP2015136100A (ja) * 2013-12-19 2015-07-27 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
JP2017028465A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
WO2017022467A1 (ja) * 2015-08-06 2017-02-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017079457A (ja) * 2015-10-19 2017-04-27 このみ 一色 携帯情報端末、情報処理装置、及びプログラム
JP2017097306A (ja) * 2015-11-27 2017-06-01 株式会社リコー ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイシステムにおける表示制御方法
JPWO2017175366A1 (ja) * 2016-04-08 2018-08-30 株式会社日立製作所 映像表示装置および映像表示方法
JP2019523607A (ja) * 2016-08-01 2019-08-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 空間化オーディオを用いた複合現実システム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197825A (ja) * 1997-01-10 1998-07-31 Sharp Corp 頭部搭載型ディスプレイ
TW362207B (en) * 1997-05-08 1999-06-21 Shimadzu Corp Display system
US6839041B2 (en) * 2001-08-01 2005-01-04 Thermwood Corporation Virtual reality viewing system and method
US20040091120A1 (en) * 2002-11-12 2004-05-13 Kantor Kenneth L. Method and apparatus for improving corrective audio equalization
JP4642400B2 (ja) * 2004-07-20 2011-03-02 オリンパス株式会社 情報表示システム
GB0427450D0 (en) * 2004-12-15 2005-01-19 Bp Oil Int Process
JP5272409B2 (ja) * 2005-09-29 2013-08-28 株式会社ニコン コンテンツ再生システム
JP4557035B2 (ja) * 2008-04-03 2010-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び記録媒体
JP4735993B2 (ja) * 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
EP2396977B1 (en) * 2009-02-13 2019-04-10 Koninklijke Philips N.V. Head tracking for mobile applications
EP2288178B1 (en) * 2009-08-17 2012-06-06 Nxp B.V. A device for and a method of processing audio data
JP5499633B2 (ja) 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US8587631B2 (en) * 2010-06-29 2013-11-19 Alcatel Lucent Facilitating communications using a portable communication device and directed sound output
KR20120053587A (ko) * 2010-11-18 2012-05-29 삼성전자주식회사 디스플레이장치 및 그 사운드 제어방법
PL2475193T3 (pl) * 2011-01-05 2014-06-30 Advanced Digital Broadcast Sa Sposób odtwarzania treści multimedialnej zawierającej audio i stereoskopowe video
NL2006997C2 (en) 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.
US8183997B1 (en) 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
GB2501767A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Noise cancelling headset
GB2501768A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
JP5958646B2 (ja) * 2013-04-24 2016-08-02 日産自動車株式会社 車両用音響制御装置、車両用音響制御方法
CN105229722B (zh) * 2013-05-17 2017-10-10 三菱电机株式会社 视频合成装置及方法
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
US10269184B2 (en) 2014-07-23 2019-04-23 Sony Corporation Information processing apparatus, information processing method, and image display system
US9967668B2 (en) * 2014-08-21 2018-05-08 Eears LLC Binaural recording system and earpiece set
CN105120421B (zh) * 2015-08-21 2017-06-30 北京时代拓灵科技有限公司 一种生成虚拟环绕声的方法和装置
CN108762496B (zh) * 2015-09-24 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN105216715A (zh) * 2015-10-13 2016-01-06 湖南七迪视觉科技有限公司 一种汽车驾驶员视觉辅助增强***
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP6701673B2 (ja) * 2015-10-30 2020-05-27 セイコーエプソン株式会社 ヘッドマウントディスプレイ
US9918177B2 (en) * 2015-12-29 2018-03-13 Harman International Industries, Incorporated Binaural headphone rendering with head tracking
CN108886653B (zh) * 2016-04-20 2020-07-28 华为技术有限公司 一种耳机声道控制方法、相关设备及***
US11182930B2 (en) 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
WO2017191631A1 (en) 2016-05-02 2017-11-09 Waves Audio Ltd. Head tracking with adaptive reference
KR102278229B1 (ko) * 2017-04-04 2021-07-16 캐논 가부시끼가이샤 전자기기 및 그 제어 방법
DE102017208600B4 (de) * 2017-05-22 2024-07-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bereitstellung eines räumlich wahrnehmbaren Akustiksignals für einen Zweiradfahrer
CN107192562B (zh) * 2017-06-07 2020-02-07 哈尔滨工业大学（威海） 减振器异响故障快速定位及诊断试验装置
EP3422151A1 (en) 2017-06-30 2019-01-02 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US10375506B1 (en) * 2018-02-28 2019-08-06 Google Llc Spatial audio to enable safe headphone use during exercise and commuting
EP3985482A1 (en) * 2020-10-13 2022-04-20 Koninklijke Philips N.V. Audiovisual rendering apparatus and method of operation therefor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4446480A (en) * 1981-12-14 1984-05-01 The United States Of America As Represented By The Secretary Of The Navy Head position and orientation sensor
GB2143948B (en) * 1983-07-23 1986-08-06 Ferranti Plc Apparatus for determining the direction of a line of sight
US4649504A (en) * 1984-05-22 1987-03-10 Cae Electronics, Ltd. Optical position and orientation measurement techniques
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5222059A (en) * 1988-01-06 1993-06-22 Lucasfilm Ltd. Surround-sound system with motion picture soundtrack timbre correction, surround sound channel timbre correction, defined loudspeaker directionality, and reduced comb-filter effects
US4897715A (en) * 1988-10-31 1990-01-30 General Electric Company Helmet display
US5457641A (en) * 1990-06-29 1995-10-10 Sextant Avionique Method and apparatus for determining an orientation associated with a mobile system, especially a line of sight inside a helmet visor
JP3247126B2 (ja) * 1990-10-05 2002-01-15 テキサス インスツルメンツ インコーポレイテツド 可搬型可視表示装置を提供する方法並びに装置
US5647016A (en) * 1995-08-07 1997-07-08 Takeyama; Motonari Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100533136B1 (ko) * 1998-01-22 2005-12-01 소니 가부시끼 가이샤 음성재생장치, 이어폰장치 및 이를 위한 신호처리장치
GB2352151A (en) * 1998-03-31 2001-01-17 Lake Technology Ltd Headtracked processing for headtracked playback of audio signals
GB2352151B (en) * 1998-03-31 2003-03-26 Lake Technology Ltd Headtracked processing for headtracked playback of audio signals
US6766028B1 (en) 1998-03-31 2004-07-20 Lake Technology Limited Headtracked processing for headtracked playback of audio signals
KR100713666B1 (ko) * 1999-01-28 2007-05-02 소니 가부시끼 가이샤 가상음원장치 및 이것을 이용한 음향장치
US7917236B1 (en) 1999-01-28 2011-03-29 Sony Corporation Virtual sound source device and acoustic device comprising the same
WO2000045619A1 (fr) * 1999-01-28 2000-08-03 Sony Corporation Dispositif source sonore virtuelle et appareil acoustique comportant un tel dispositif
KR100818660B1 (ko) * 2007-03-22 2008-04-02 광주과학기술원 근거리 모델을 위한 3차원 음향 생성 장치
JP2010041425A (ja) * 2008-08-05 2010-02-18 Yamaha Corp 音響再生装置およびプログラム
US8644531B2 (en) 2008-12-16 2014-02-04 Sony Corporation Information processing system and information processing method
JP2010147529A (ja) * 2008-12-16 2010-07-01 Sony Corp 情報処理システムおよび情報処理方法
JP2011216963A (ja) * 2010-03-31 2011-10-27 Sony Corp 信号処理装置および方法、並びにプログラム
US9661437B2 (en) 2010-03-31 2017-05-23 Sony Corporation Signal processing apparatus, signal processing method, and program
JP2015136100A (ja) * 2013-12-19 2015-07-27 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
JP2017028465A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
WO2017022467A1 (ja) * 2015-08-06 2017-02-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JPWO2017022467A1 (ja) * 2015-08-06 2018-05-24 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10656900B2 (en) 2015-08-06 2020-05-19 Sony Corporation Information processing device, information processing method, and program
JP2017079457A (ja) * 2015-10-19 2017-04-27 このみ 一色 携帯情報端末、情報処理装置、及びプログラム
JP2017097306A (ja) * 2015-11-27 2017-06-01 株式会社リコー ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイシステムにおける表示制御方法
JPWO2017175366A1 (ja) * 2016-04-08 2018-08-30 株式会社日立製作所 映像表示装置および映像表示方法
JP2019523607A (ja) * 2016-08-01 2019-08-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 空間化オーディオを用いた複合現実システム

Also Published As

Publication number Publication date
JP3796776B2 (ja) 2006-07-12
CN1158047A (zh) 1997-08-27
KR970019732A (ko) 1997-04-30
US5959597A (en) 1999-09-28
KR100445513B1 (ko) 2004-12-04
CN1104137C (zh) 2003-03-26

Similar Documents

Publication Publication Date Title
JP3796776B2 (ja) 映像音声再生装置
US5796843A (en) Video signal and audio signal reproducing apparatus
JP3577798B2 (ja) ヘッドホン装置
JP3422026B2 (ja) オーディオ再生装置
JP3385725B2 (ja) 映像を伴うオーディオ再生装置
JP4735993B2 (ja) 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
US5566241A (en) Method and apparatus for presentation of on-line directional sound
US20100328423A1 (en) Method and apparatus for improved mactching of auditory space to visual space in video teleconferencing applications using window-based displays
US20100328419A1 (en) Method and apparatus for improved matching of auditory space to visual space in video viewing applications
EP1408718A1 (en) Sound image localizer
JPH09284676A (ja) 身体の動きに同期した映像及び音声処理方法と映像表示装置
JPH08191419A (ja) 頭部装着型表示システム
JP2005500721A5 (ja)
CN110999328B (zh) 装置以及相关联的方法
US20020071661A1 (en) Audio and video reproduction apparatus
JP6580516B2 (ja) 処理装置および画像決定方法
JP6538003B2 (ja) アクチュエータ装置
JPH06269096A (ja) 音像制御装置
JPH06105400A (ja) ３次元空間再現システム
JP3091629B2 (ja) 立体映像表示装置
KR102284914B1 (ko) 프리셋 영상이 구현되는 사운드 트랙킹 시스템
JPH08140200A (ja) 立体音像制御装置
JP3573797B2 (ja) ステレオ音声再生装置
Cohen et al. From whereware to whence-and whitherware: Augmented audio reality for position-aware services
JP2947456B2 (ja) サラウンド信号処理装置及び映像音声再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees