JPH0993700A - 映像音声再生装置 - Google Patents
映像音声再生装置Info
- Publication number
- JPH0993700A JPH0993700A JP7250978A JP25097895A JPH0993700A JP H0993700 A JPH0993700 A JP H0993700A JP 7250978 A JP7250978 A JP 7250978A JP 25097895 A JP25097895 A JP 25097895A JP H0993700 A JPH0993700 A JP H0993700A
- Authority
- JP
- Japan
- Prior art keywords
- video
- head
- audio
- sound
- rotation angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Stereophonic Arrangements (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
Abstract
り、かつ特殊なソースを必要としていたので、高価であ
った。 【解決手段】 音声再生部2は、回転角速度センサ16
での検出結果に応じて上記入力音声を頭部装着部15装
着者の頭外に定位させ、かつ音像方向の頭部回転運動へ
の追随を防いで該音像方向を視聴環境の一定方向に固定
させる演算を行う音声信号処理部5を備える。映像再生
部10は、回転角速度センサ16での検出結果に応じて
上記入力映像を頭部装着部15装着者の視聴環境の一定
方向に固定させる映像信号処理部12を備える。
Description
とにより映像及び音声を視聴できる映像音声再生装置に
関する。
実感の再現は、大画面映像、マルチスピーカ再生による
系の大型化が主であったが、近時、図22に示すよう
に、小型化された頭部装着型の映像表示部101とそれ
に付加する音声再生部102によるパーソナル化、小型
化が図られた映像音声再生装置100が用いられるよう
になった。
に、映像入力端子103から映像入力信号が供給された
駆動回路104により駆動されて映像を表示する。
に、音声入力端子105から入力された音声入力信号を
増幅器106L及び106Rで増幅して、左耳用発音体
107L及び右耳用発音体107Rに供給し、装着者に
音声を与えている。
者の頭内に定位させているので、上記映像表示部101
が映し出す映像と一致することなく現実感の再現という
意味では大変不自然であった。
声をリアルタイムで更新し、更に音声においては現実に
近い音場感を例えばディジタル信号処理ユニットにより
畳み込んで現実に近い視聴環境を再現する試みが行われ
ている。
うな試みでは、特に音声処理において莫大な数の信号処
理を必要とし、それ自体で頭部に装着できる大きさには
なり得ず、かつ動き検出手段も高価なものを使用しなけ
ればならず実用的ではなかった。
声において現実に近い音場感を得ることができたとして
も、映像系が従来通り頭部の動きに追従して視聴環境内
で移動した場合、音像位置と映像位置の間には、大きな
ずれが発生し、不自然な映像音声再生となってしまう。
部の動きに応じて更新する場合でも映像系、音声系とも
に莫大な装置を必要とし、また高価なシステムになって
しまう。
情に鑑みてなされたものであり、特殊なソースを不要と
しながらも安価に音像位置と映像位置を一致させること
のできる映像音声再生装置の提供を目的とする。
生装置は、上記課題を解決するために、音声再生手段の
音声信号処理部に再生音像を頭外に定位させ、かつ音像
方向を頭部の回転運動にかかわらず視聴環境の一定方向
に固定させるような信号処理を行わせ、映像再生手段の
映像信号処理部に映像知覚位置を上記頭部の回転運動に
応じて視聴環境の一定方向に固定させるような信号処理
を行わせる。
上記課題を解決するために、音声再生手段の音声信号処
理部に複数の音声入力信号に2系統のインパルス応答を
畳み込む二つのディジタルフィルタの各出力に上記頭部
回転運動に応じた頭部回転角度に基づいて再生音像が一
定方向に固定されるように時間差又は位相差、或いはレ
ベル差又は周波数特性を付加させし、映像再生手段の映
像信号処理部に入力映像信号に対して該入力映像信号の
映像知覚位置を上記頭部回転角度に応じて視聴環境の一
定方向に固定する信号処理を施させる。
上記課題を解決するために、頭部装着部上を除いた場所
に配設された映像音声信号生成手段に上記回転角検出手
段で検出された頭部の回転運動に応じた位置情報を基
に、視聴環境を固定した音声信号及び映像信号を頭部装
着部上の二つの発音体と映像表示部に出力させる。
装置のいくつかの実施の形態について図面を参照しなが
ら説明する。
位を実現して入力音声を再生する音声再生部2と、映像
の一定方向への固定を実現して入力映像を再生する映像
再生部10と、頭部の回転運動を検出する回転角速度セ
ンサ16とを例えばヘッドバンド又はヘルメット状の頭
部装着部15に一体的に備えて成る頭部装着型映像音声
再生装置1である。
の検出結果に応じて上記入力音声を頭部装着部15装着
者の頭外に定位させ、かつ音像方向の頭部回転運動への
追随を防いで該音像方向を視聴環境の一定方向に固定さ
せる演算を行う音声信号処理部5を備える。音声信号入
力端子3から入力された音声信号は、A/D変換器4で
ディジタル信号に変換されてからこの音声信号処理部5
に供給される。音声信号処理部5からの出力結果は、左
右それぞれの耳用に対応したD/A変換器6L及び6Rに
出力される。このD/A変換器6L及び6Rでアナログ信
号に変換された音声信号は、ヘッドホン駆動用の左右そ
れぞれの耳用に対応した増幅器7L及び7Rを介して左右
の耳の位置に配設される左耳用発音体8Lと右耳用発音
体8Rに供給される。
での検出結果に応じて上記入力映像を頭部装着部15装
着者の視聴環境の一定方向に固定させる映像信号処理部
12を備える。映像信号入力端子11から入力された映
像信号は、この映像信号処理部12に供給される。この
映像信号処理部12で処理された映像信号は、映像表示
駆動部13L及び映像表示駆動部13Rを介して左右両
眼の前方近傍に配置される左眼用映像表示部14Lと右
眼用映像表示部14Rに供給される。
装着者の頭部の回転角速度を検出し、該検出結果をマイ
クロプロセッサ17に供給する。マイクロプロセッサ1
7は、頭部装着部15装着者の正面方向からの回転運動
角度を計算し、該計算結果を音声信号処理部5及び映像
信号処理部12に供給する。
ように、入力端子201、202を介して受け取った2チ
ャンネルの入力音声信号に、実際の2個の音源から頭部
装着部15装着者の両耳に至る頭部伝達関数を使ったイ
ンパルス応答を畳み込み演算する4個のディジタルフィ
ルタ21L、21R、22L及び22Rと、この2チャンネ
ルのうちL、R極性の同じ出力同士を加算する一対の加
算器23L及び23Rと、この一対の加算器23L及び2
3Rに接続される一対の時間差付加回路24L及び24R
と、この一対の時間差付加回路24L及び24Rに接続さ
れる一対のレベル差付加回路25L及び25Rとを備え、
上記回転角速度センサ16及びマイクロプロセッサ17
を介して得られた回転運動角度に応じて上記一対の時間
差付加回路24L及び24Rと上記一対のレベル差付加回
路25L及び25Rとで付加する時間差及びレベル差の増
減方向を逆にする。
3に示すような状態を想定して、発音体8L、8Rに音声
信号を供給している。すなわち、入力音声信号は、正面
範囲180゜に定位させるべきものとして音源301、
音源302からの2チャンネルを考慮した。
れたディジタル音声信号には、それぞれ初期状態におい
て前方のある方向に定位するのに相当する音源301、
音源302から両耳への頭部伝達関数に相当するインパ
ルスレスポンスがディジタルフィルタ21L、21R、2
2L及び22Rによって畳み込まれ、L側出力が加算器2
3Lで加算されて時間差付加回路24L及びレベル差付加
回路25Lを介して出力端子26Lから出力され、R側出
力が加算器23Rで加算されて時間差付加回路24R及び
レベル差付加回路25Rを介して出力端子26Rから出力
される。
Mの両耳l,rへの頭部伝達関数は、図3に示すような
HLl、HLr、HRl、HRrが考慮される。そして、Lチャ
ンネル、Rチャンネルの各々のスピーカから出力される
信号をSL、SRとすると、左耳lにはSLHLl+SRHRl
が、右耳rにはSRHRr+SLHLrが供給されるように、
インパルスレスポンスがディジタルフィルタ21L、2
1R、22L及び22Rによって畳み込まれた音声が発音
体8L及び8Rによって頭部装着部15装着者の両耳に与
えられる。
すと、左耳lは音源301及び302から遠ざかることに
なり、右耳rは音源301及び302に近づくことにな
る。このため、左耳lと右耳rに達する音声入力信号に
は時間差及びレベル差が生ずることになる。この時間差
及びレベル差を生じさせるのが上記一対の時間差付加回
路24L及び24Rと、上記一対のレベル差付加回路25
L及び25Rである。
る遅延時間は、図4の遅延時間特性の一点鎖線の特性カ
ーブTbで示され、R側用の時間差付加回路24Rで付加
される遅延時間は、図4の遅延時間特性の破線の特性カ
ーブTaで示される。特性カーブTa及びTbは聴取者M
の頭部の回転方向に対して全く逆の増減方向を持つ曲線
となっている。これにより聴取者Mが前方180゜の範
囲内に置かれた音源からの音を頭を左右に回転させなが
ら聞いた場合と同様の音源から両耳までの時間変化が入
力端子201及び202から入力された信号に付加される
ことになる。
付加されるレベル差は、図5の相対レベル特性の破線の
特性カーブLaで示され、R側用のレベル差付加回路2
5Rで付加されるレベル差は、図5の相対レベル特性の
一点鎖線の特性カーブLbで示される。この図5は、頭
の回転位置が0゜の状態からの相対レベルを示してい
る。特性カーブLa及びLbは聴取者Mの頭部の回転方向
に対して全く逆の増減方向を持つ曲線となっている。す
なわち、レベル差付加回路25Lでは特性カーブLaのレ
ベル変化、レベル差付加回路25Rでは特性カーブLbの
レベル変化が付加されるので前方の音源を実際に聞くの
と同様の音量変化が入力端子201及び202からの入力
信号に付加される。
音声信号は実際の音を頭を動かしながら聞く場合と同様
の変化をし、このため受聴環境に対して頭外の一定方向
に前方を含めて定位することになる。また、上記2チャ
ンネル以上の複数の音声信号を用いれば、任意の位置に
音像が定位する立体的な音場再生が可能となる。
ように、入力端子31を介して受け取った映像入力信号
をA/D変換器32でディジタル信号に符号化して画像
メモリ33上に格納し、映像の表示位置を頭部の回転角
度に応じて変化するように処理する。
像データを格納する格納アドレスは、マイクロプロセッ
サ17で計算された回転運動角度に応じてメモリコント
ローラ37により決定される。このため、画像メモリ3
3は、上記映像データを表示エリアの一部として取り込
む。映像データが取り込まれない画像メモリ33には黒
色或いは他の一定色を表示するデータが保存される。D
/A変換器34は画像メモリ33全体が表示されるよう
な映像信号として上記映像データをアナログ信号に変換
する。この映像信号は映像出力増幅器35を介して出力
端子36から図1に示す映像表示駆動部13L及び13R
に供給される。そして、映像表示部14L及び14Rに表
示される。このため、画像メモリ33上での映像データ
配置位置が頭部の回転角度に応じて変化し、両眼の前方
近傍に配置された映像表示部14L及び14R上には視聴
環境の一定方向に固定されたような映像が表示される。
示エリアは、図7に示すような構成となっている。すな
わち、表示エリアは640×480ドットであり、各ド
ットに画像メモリ33の独立した記憶エリアが対応して
いる。ここで、各ドットに対して確保する記憶容量は、
ディジタル信号として扱う場合のビット長、カラー表示
有り無し等で決まってくる。
に320×200ドットの解像度で限定表示する場合を
考慮する。先ず、上記表示エリアの左上隅の座標を
(0、0)とし、上記限定表示エリアの初期状態での左
上隅の座標を(x1,y1)とする。頭部が左に回転した
場合、映像が視聴環境の一定位置にとどまるためには映
像位置は上記限定表示エリア上で右方向つまり(x2、
y1)「ただし、x2>x1」に移動しなければならな
い。ここで、移動量x2−x1は頭部の回転角度θ(ra
d)と頭部回転中心から表示装置までの距離rで決定
し、θが小さいときはおよそx2−x1=rθで計算され
る。これを実現するためメモリコントローラ37は映像
データを表示エリア上の座標が(x2、y1)、(x2、
y1+200)、(x2+320、y1+320)、(x2
+320、y1)で囲まれる領域に対応する画像メモリ
33上に格納位置を移動させる。
部装着型映像音声再生装置1は、マイクロプロセッサ1
7で計算された頭部の回転運動角度に応じて音声信号処
理部5と映像信号処理部12とで音像定位位置及び映像
位置を頭外及び視聴環境の一定方向にとどまるよう信号
処理するので、従来のように音像定位位置と映像位置が
重なり両者の不一致による違和感を解消でき、表示装置
上に映し出される映像上の発音源と実際の音像の位置を
常に一致させることができる。さらに映像と音像の相乗
効果により音声だけの場合に比べてより明確な音像定位
が得られリアルな映像音声再生が可能となる。
では、音声再生部2の音声信号処理部5を図8、図10
及び図12のように構成してもよい。
した一対のレベル差付加回路25L及び25Rの代わりに
一対の周波数特性制御回路27L及び27Rを一対の時間
差付加回路24L及び24Rの出力側に接続してなる。
及び27Rは、図9に示すような周波数特性を頭部装着
部装着者の頭部の回転角度に応じて上記入力信号に与え
て、周波数特性を制御するものである。頭部を正面前方
に固定したまま(0゜と図示する。)であれば実線で示
すように周波数fが高くなってもレスポンスは一定であ
るが、例えば右側に90゜回転した場合と左側に90゜
回転した場合では、周波数fが高くなるに従いレポンス
差が生じる。頭部を右側に90゜回転した場合(+90
゜と図示する。)、一点鎖線で示すように、周波数fが
高くなるほどレスポンスは上昇する。これに対して、頭
部を左側に90゜回転した場合(−90゜と図示す
る。)、破線で示すように、周波数fが高くなるほどレ
スポンスは減少する。両者は頭部を正面方向に固定した
際の実線で示すレスポンス特性を軸にして上下対称とな
っている。
5は、前方2チャンネルの2個の音源からの入力信号
に、一対の時間差付加回路24L及び24Rで頭部回転角
度に応じて付加する時間差の増減方向を逆にして与え、
一対の周波数特性制御回路27L及び27Rで頭部回転角
度に応じて制御する周波数特性の変化方向を逆にするの
で、前方音声信号に対して実際の音源を音を頭を動かし
ながら聞くのと同等の両耳間の時間差、及び周波数特性
を実現できるので、あらゆる方向に良好な頭外音像定位
を実現できる。
図2に示した一対の時間差付加回路24L及び24Rの代
わりに一対の位相差付加回路28L及び28Rを一対のレ
ベル差付加回路25L及び25Rの入力側に接続してな
る。
28Rは、図11に示すような位相変化特性に応じた位
相差を装着者の頭部の回転角度に応じて上記入力信号に
与える。頭部を正面前方に固定したままで(0゜と図示
する。)であれば実線で示すような位相差θとなるが、
例えば頭部が右側に90゜回転した場合と左側に90゜
回転した場合では、位相差が左右にシフトする。頭部を
右側に90゜回転した場合(+90゜と図示する。)、
一点鎖線で示すように位相は進む。これに対して、頭部
を左側に90゜回転した場合(−90゜と図示す
る。)、破線で示すように位相は遅れる。
部5を用いた頭部装着型映像音声再生装置1によれば、
前方2チャンネルの音源からの入力信号に、一対の位相
差付加回路28L及び28Rで頭部回転角度に応じて付加
する位相差の増減方向を逆にして与え、一対のレベル差
付加回路25L及び25Rで頭部回転角度に応じて付加す
るレベル差の増減方向を逆にして与えるので、前方音声
信号に対して実際の音源を音を頭を動かしながら聞くの
と同等の両耳間の位相差特性、及びレベル差特性を再現
できるので、あらゆる方向に良好な頭外音像定位を実現
できる。
5は、図8に示した一対の時間差付加回路24L及び2
4Rの代わりに一対の位相差付加回路28L及び28Rを
一対の周波数特性制御回路27L及び27Rの入力側に接
続してなる。
28Rは、図11に示すような位相変化特性に応じた位
相差を頭部装着型映像音声再生装置1装着者の回転角度
に応じて上記入力信号に与える。
び27Rは、図9に示すような周波数特性を上記装置1
装着者の頭部の回転角度に応じて上記入力信号に与え
て、周波数特性を制御するものである。
部5を用い頭部装着型映像音声再生装置1によれば、前
方2チャンネルの2個の音源からの入力信号に、一対の
位相差付加回路28L及び28R、第2の一対の位相差付
加回路31L及び31Rで頭部回転角度に応じて付加する
位相差の増減方向を逆にして与え、第1の一対の周波数
特性制御回路28L及び28R、第2の一対の周波数特性
制御回路29L及び29Rで頭部回転角度に応じて制御す
る周波数特性の変化方向を逆にするので、前方音声信号
に対しても、後方音声信号に対しても実際の音源を音を
頭を動かしながら聞くのと同等の両耳間の位相差、及び
周波数特性を実現できるので、あらゆる方向に良好な頭
外音像定位を実現できる。
6について説明しておく。回転角速度センサ16は、頭
部装着部15を装着している装着者の頭部の回転角速度
を検出する。特に、第1の実施の形態となる頭部装着型
映像音声再生装置では、回転角速度センサ16として図
13に示すような圧電振動ジャイロ装置80を用いてい
る。この圧電振動ジャイロ装置80は、運動体の揺動運
動を圧電素子により検出する装置である。図13におい
て、正方形断面の振動用四角柱からなる振動用圧電素子
81は種々の振動体から構成される。この振動用圧電素
子81の対向する2面には、検出用圧電素子82及び8
3、駆動用圧電素子84及び85が取り付けられてい
る。
号源86が接続され、交番信号を供給するように構成さ
れている。検出用圧電素子82及び83の出力は、差動
増幅器87に供給される。この差動増幅器87の差動出
力と駆動用信号源86の出力とが乗算器又は位相検波器
88に供給され、乗算又は位相検波される。乗算器又は
位相検波器88の出力は、図1に示すマイクロプロセッ
サ17に供給される。
0は、以下のように動作する。先ず、駆動用圧電素子8
4及び85に振動用圧電素子81の固有振動周波数の交
番信号を印加すると、振動用圧電素子81は図示の振動
波形に基づいて強制振動される。この振動は一定のモー
ドで共振を発生させるものである。
出用圧電素子82及び83の出力はないが、振動用圧電
素子81に対して軸方向に角速度ωの回転力が加わる
と、コリオリの力により、搬送波としての強制振動用の
交番信号が振幅変調され、検出信号となって検出され
る。この場合の振幅の大きさは、軸に及ぼされる回転の
角速度ωに比例し、回転方向は駆動用信号に対する検出
信号の位相ずれ方向に対応する。
用信号との積をとり、その信号を低域フィルタとしての
帯域制限フィルタで搬送波成分を除去し、検出信号とす
ることが行われている。
示すようなアナログ角度検出器90でもよい。このアナ
ログ角度検出器90は、頭部装着部15に設けられ、頭
部の動きを検出する。アナログ角度検出器90では、頭
部装着部15の中央部にCDSやフォトダイオード等の
光の強さにより抵抗値が変化する受光素子からなる受光
器91を取り付けている。この受光器91と対向して電
球や発光ダイオード等の発光器93が設けられていて、
この発光器93により一定の強さの光を受光器91に向
けて照射するようになっている。
に回転角度のより投射光の透過度が変化するような可動
シャッター92が設けられており、この可動シャッター
92は磁針94と共に回転するようになっている。従っ
て、受光器91に一定の電流を流すとき、受光器91の
受光素子両端の電圧は磁針94の示す南北方向を基準と
して、頭部装着部15装着者の方向を含む頭の動きを示
すアナログ出力が取り出される。
示すようなディジタル角度検出器95でもよい。このデ
ィジタル角度検出器95は、頭部装着部15に設けら
れ、頭部の動きを検出する。このディジタル角度検出器
95では、頭部装着部15の中央部にロータリーエンコ
ーダ96が、その入力軸が垂直となるように設けられて
いると共に、その入力軸に、磁針97が設けられてい
る。従って、ロータリーエンコーダ96からは、磁針9
7の示す南北方向を基準として、頭部装着部15装着者
の方向を含む頭の動きを示す出力が取り出される。
は周囲に置かれた発光器と頭部装着部15に設けられた
少なくとも2個の光強度センサの出力比により回転角を
算出するようにしてもよい。
装着部15上の離れた2カ所に取り付けられたマイクロ
ホンで、前方或いは周囲に置かれた超音波発振器とから
断続的に発生されるバースト信号を、読み取りそれぞれ
の受信信号の時間差から回転角度を算出するようにして
もよい。
る。この第2の実施の形態は、図16に示すように、音
像の頭外定位を実現して入力音声を再生する音声再生部
42と、映像の一定方向への固定を実現して入力映像を
再生する映像再生部48と、頭部の回転運動を検出する
回転角速度センサ45とを頭部装着部47に一体的に備
えて成り、映像再生部48に表示する映像を両眼視差を
利用した立体映像とした頭部装着型映像音声再生装置4
0である。
態の音声再生部10と同様である。すなわち、音声信号
処理部5を図2、図8、図10又は図12のように構成
し、入力端子43を介して入力された入力音声信号に上
述した音声信号処理を施し、D/A変換及び増幅器を介
して発音体44L及び44Rに供給する。
同一被写体55を両眼カメラ(左用)56L及び両眼カ
メラ(右用)56Rにより撮影して得られた両眼視差の
生じた左目用の映像信号及び右目用の映像信号が入力端
子49L及び49Rを介して入力される。左目用の映像信
号は、左目用の映像信号処理部50Lに供給され、ここ
で回転角速度センサ45での検出結果に応じて視聴環境
の一定方向に固定されるように処理される。また、右目
用の映像信号は、右目用の映像信号処理部50Rに供給
され、ここで上記検出結果に応じて視聴環境の一定方向
に固定されるように処理される。すなわち、映像信号処
理部50L及び映像信号処理部50Rは、頭部の回転角度
に応じて上記左目用の映像信号及び上記右目用の映像信
号の表示位置が映像表示部52L及び映像表示部52Rで
変化するように処理する。頭部が右側に回転していると
きは上記左目用の映像信号及び上記右目用の映像信号の
フレーム合成位置は映像表示部52L及び映像表示部5
2R内で左側に移動し、逆に頭部が左側に回転している
ときは上記フレーム合成位置は映像表示部52L及び映
像表示部52R内で右側に移動する。このため映像は、
視聴環境内で一定方向にとどまっているように見える。
又、映像信号は上述したように両眼視差を写すので遠近
感のある立体的な映像として知覚される。
上記図6に示したと同様の構成である。また、映像表示
部52L及び52Rの表示エリアは、上記図7に示したと
同様の構成である。ここでは説明を省略する。
部装着型映像音声再生装置40は、マイクロプロセッサ
46で計算された頭部の回転運動角度に応じて音声信号
処理部と映像信号処理部50L及び50Rとで音像定位位
置及び両眼視差の生じている映像位置を頭外及び視聴環
境の一定方向にとどまるように信号処理するので、従来
のように音像定位位置と映像位置が重なり両者の不一致
による違和感を解消でき、ディスプレイ上に立体的に映
し出される映像上の発音源と実際の音像の位置を常に一
致させることができる。さらに立体映像と音像の相乗効
果により音声だけの場合に比べてより明確な音像定位が
得られリアルな立体映像音声再生が可能となる。
る。この第3の実施の形態は、上記図1に示した頭部装
着型映像音声再生装置1と同様の構成となるが、映像信
号処理部12が映像信号の一部を選択的に出力するよう
な映像信号処理を行う。
回転角速度からマイクロプロセッサ17が計算した頭部
回転角度に応じて、映像表示部14L及び14Rに表示さ
れる内容があたかも視聴環境の一定方向に固定している
かのように変化する。
8を参照しながら説明する。初期状態で映像信号処理部
12が映像表示部14L及び14Rに映像信号内容全エリ
ア57の内、表示エリア58を出力していた後、視聴者
の頭部が右に回転すると映像信号処理部12は連続的に
その回転角度に見合った映像である表示エリア59を映
像表示部14L及び15Rに出力する。逆に頭部がこの状
態から左側に回転した場合は表示エリア58の方向に向
かう。
と同様の構成となるが、上記第1の実施の形態が映像デ
ータを画像メモリ33上に展開する方法をそのメモリ3
3の一部としたのに対して、映像データを画像メモリ3
3の全領域に格納し、実際の表示エリアをその中の一部
を切り出して表示している。
した音声再生部2と同様であるのでここでは説明を省略
する。
内容を視聴環境内で一定方向にとどめておくので、この
第3の実施の形態は映像と音像方向を一致した映像音声
再生を可能とする。
る。この第4の実施の形態は、図19に示すように、頭
部装着部65とは別に設けた映像音声信号生成部61に
頭部装着部65装着者の位置情報を入力し、該位置情報
に応じて映像信号及び音声信号を映像音声環境が固定す
るように出力する頭部装着型映像音声再生装置60であ
る。
ンサ66により検出された頭部回転角度はマイクロプロ
セッサ67に入力されここで位置情報制御信号に変換さ
れる。この位置情報制御信号は、位置情報出力端子68
を介して映像音声信号生成部61に供給される。
御信号に応じて頭部装着部65装着者の位置情報を知
り、映像信号及び音声信号の内容を更新する。ここで、
映像音声信号生成部61は、映像信号をコンピュータグ
ラフィック等の手法により合成して出力すると共に、音
声信号を予め大規模メモリ等に記憶し、該大規模メモリ
から選択的に抽出して出力する。このため、映像音声信
号生成部61は、上記頭部装着部65装着者の頭部位置
に応じて更新した上記コンピュータグラフィック等の手
法により合成した上記映像信号を映像入力端子62を介
して映像表示駆動部63L及び63Rに供給する。また、
映像音声信号生成部61は、上記頭部装着部65装着者
の頭部位置に応じて更新した上記大規模メモリから選択
的に抽出した上記音声信号を音声入力端子69を介して
音声再生部70に供給する。
図1の音声再生部1が行ったと同様の音声信号処理を施
し、頭部装着部65にヘッドホンを構成するように配設
されている発音体71L及び71Rに供給する。したがっ
て、音声信号は視聴者の頭部の動きに応じて音像が頭外
の一定位置に固定されるように処理される。また、複数
の音声信号を用いることにより任意の位置に複数の音像
が定位する立体的な音場再生が可能となる。
信号が入力された映像表示駆動部63L及び63Rは、上
記映像信号を上記頭部装着部65にあって両目の近傍の
位置となるように配設された映像表示部64L及び64R
に供給する。映像表示部64L及び64Rは、上記映像信
号をその内容自体が視聴環境内で固定されるように表示
する。すなわち、頭部が右側に回転しているときは映像
は右側にパンするような映像内容となり、逆に頭部が左
側に回転しているときは映像は左側にパンして移動する
内容になる。このため、表示内容は視聴環境内で一定方
向にとどまっているように見える。
装着型映像音声再生装置60は、映像及び音場が親近感
も含めて映像上の発音源に実際の音像が定位するように
構成できるので極めてリアリティーの高い映像音声再生
が可能となる。
る。この第5の実施の形態は、上記第3の実施の形態と
同様に上記図1に示した頭部装着型映像音声再生装置1
のような構成となり、映像信号処理部12が映像信号の
一部を選択的に出力するような映像信号処理を行うと共
に、表示エリアが映像信号内容の限界に達した場合は映
像及び音像定位位置を頭の動きと同期させ視聴環境に対
して回転させる。
が映像表示部14L及び14Rに映像信号内容全エリア5
7の内、表示エリア58を出力していた後、視聴者の頭
部が右に回転すると映像信号処理部12は連続的にその
回転角度に見合った映像である表示エリア59を映像表
示部14L及び15Rに出力する。逆に頭部がこの状態か
ら左側に回転した場合は表示エリア58の方向に向か
う。
85が映像信号内容全エリア57の限界に達した場合
は、その時点で映像及び音像定位位置は頭部の動きと同
期して視聴環境に対して回転すなわち頭部に対して固定
して動き表示エリア87となり、この状態で頭部が逆方
向に回転した場合はまた、映像信号内容全エリア57が
許す限り映像、音像共に視聴環境に対して固定される。
ソフトをこの第5の実施の形態を装着して鑑賞するよう
な場合、すべての範囲内で映像及び音声が固定される必
要はなく、例えば図21に示すような視聴者Mの前方F
の一定範囲内Wで上記映像位置の固定を実現すれば実用
上充分な範囲で映像位置と音像位置が固定されることに
なり、この範囲内Wで表示内容は視聴環境内で一定方向
にとどまっているように見え、映像と音像方向が一致し
た映像音声再生が可能となる。また、音声信号に対する
頭部の動きによる両耳間の時間差及びレベル差も実音源
を聞くのと同様に付加されるので音像は頭外のしかも前
方向も含めた状態で定位が可能となる。
頭部装着部上の上記音声再生手段に供給されてもよい。
また、上記映像入力信号は、ワイヤレスで頭部装着部上
の上記映像再生手段に供給されてもよい。
再生手段の音声信号処理部に再生音像を頭外に定位さ
せ、かつ音像方向を頭部の回転運動にかかわらず視聴環
境の一定方向に固定させるような信号処理を行わせ、映
像再生手段の映像信号処理部に映像知覚位置を上記頭部
の回転運動に応じて視聴環境の一定方向に固定させるよ
うな信号処理を行わせるので、音像を頭外、特に従来定
位が難しいとされた前方方向に対して定位可能とする。
また映像位置が一定位置にとまるので音像定位位置と映
像位置が重なり両者の不一致による違和感を解消でき
る。さらに映像と音像の相乗効果により音声だけの場合
に比べてより明確な音像定位が得られリアルな映像音声
再生が可能となる。さらにまた、音像頭外定位処理を簡
単な構成の信号処理で実現できるので、可搬性にすぐれ
た廉価な装置を小型に構成できる。
たせてあれば、遠近間のある立体的な映像を再生するこ
とができ、従来のように音像定位位置と映像位置が重な
り両者の不一致による違和感を解消でき、ディスプレイ
上に立体的に映し出される映像上の発音源と実際の音像
の位置を常に一致させることができる。さらに立体映像
と音像の相乗効果により音声だけの場合に比べてより明
確な音像定位が得られリアルな立体映像音声再生が可能
となる。
選択的に表示できるので、頭部の一定範囲の動きに対し
て視聴者の見ている映像量を減らすことなく音像定位位
置と映像位置の視聴環境に対する固定化を実現できる。
タグラフィックのようにリアルタイムで映像を合成でき
るシステムに応用し映像内容自体の内容を頭部の回転運
動に応じて更新して表示できるようにしたので頭部の一
定範囲の動きに対して視聴者の見ている映像量を減らす
ことなく音像定位位置と映像質の視聴環境に対する固定
化を実現できる。
部の動きに応じて正面方向を中心としてある範囲内での
み音像方向を視聴環境の一定方向に固定させ、その範囲
を越えた場合は頭部の動きに応じて音声方向を移動させ
るようにできるので、頭の動きに応じて表示内容が変化
することの無い映像を見る場合にも音像方向を視聴環境
の一定方向に固定する範囲の限定を行っているので、映
像方向と音像方向が大きくずれることがなく、かつ動的
な音声信号処理による音像の前方定位を可能とし例えば
映画鑑賞のような広い映像表示範囲を必要とせず通常動
きの少ない状態で鑑賞する映像音声ソースでも充分なリ
アリティと臨場感を持った映像音声再生を容易とする。
段及び音声再生手段を備え、頭部の動きを検出し、正面
方向を中心としてある範囲内でのみ映像方向と音像方向
とが視聴環境の一定方向に固定しているかのように変化
させ、その範囲を越えた場合は頭部の動きに応じて映像
方向、音像方向共に移動するので、頭部の動きに応じて
表示内容の変化する映像の持つ情報容量が限られている
場合にも頭部の回転運動範囲を限定して場合には映像方
向と音像方向を視聴環境の一定方向に固定することがで
きる。また、動的な音声信号処理による音像の前方定位
を可能とし、例えば映画鑑賞のような広い映像表示範囲
を必要とせず通常の動きの少なく状態で鑑賞するシステ
ムには充分なリアリティと臨場感ある映像音声再生を容
易に構成できる。
ることにより、バイノーラル録音等の特殊な録音によら
ないで従来の普通の音声信号ソースを持つ映像音声信号
をそのまま入力して頭外定位を持った臨場感ある音声再
生が可能となり、可搬性にすぐれた仮想現実システムを
小型に構成できる。
同時に位置検出手段を頭部装着部に設けることにより、
装着者が回転した場合の制御だけでなく、その視聴環境
において位置を移動した場合の映像、音像制御も可能と
なりよりリアリティのある仮想現実システムを小型に構
成できる。
形態の概略構成を示すブロック図である。
理部の詳細な構成を示すブロック図である。
理部が想定している聴取環境を示す模式図である。
理部の時間差付加回路で付加される遅延時間の特性図で
ある。
理部のレベル差付加回路で付加されるレベル差の特性図
である。
理部の詳細な構成を示すブロック図である。
の表示エリアの模式図である。
特性制御回路を用いた場合のブロック図である。
の特性図である。
ル差付加回路を用いた場合のブロック図である。
化特性図である。
数特性制御回路を用いた場合のブロック図である。
センサに適用できる圧伝振動ジャイロ装置の概略構成図
である。
センサに適用できるアナログ角度検出器の概略構成図で
ある。
センサに適用できるディジタルグ角度検出器の概略構成
図である。
の形態の概略構成を示すブロック図である。
の生じた映像信号を説明するための模式図である。
説明するための模式図である。
の形態を説明するための模式図である。
の形態の映像再生部の動作を説明するための模式図であ
る。
の模式図である。
である。
る。
Claims (29)
- 【請求項1】 両耳に対向するように配置した二つの発
音体から音声信号を再生する音声再生手段と、両眼の前
方近傍に映像を表示する映像再生手段と、頭部の回転運
動を検出する回転角検出手段とを頭部装着部に配設して
なる映像音声再生装置であって、 上記音声再生手段は音声信号処理部を有し、該音声信号
処理部に再生音像を頭外に定位させ、かつ音像方向の頭
部回転運動への追随を防いで該音像方向を視聴環境の一
定方向に固定させるような信号処理を行わせ、 上記映像再生手段は映像信号処理部を有し、該映像信号
処理部に映像知覚位置を上記頭部の回転運動に応じて視
聴環境の一定方向に固定させるような変化をさせること
を特徴とする映像音声再生装置。 - 【請求項2】 上記映像再生手段は、左右異なった映像
を両眼の前方近傍に表示することを特徴とする請求項1
記載の映像音声再生装置。 - 【請求項3】 上記映像再生手段は、上記回転角検出手
段により検出された頭部回転運動に応じて映像入力信号
の一部を選択的に表示することを特徴とする請求項1記
載の映像音声再生装置。 - 【請求項4】 上記映像入力信号は、上記回転角度検出
部により検出された頭部回転運動に応じて表示内容を視
聴環境の一定方向に固定するように変化することを特徴
とする請求項1記載の映像音声再生装置。 - 【請求項5】 上記音声再生手段は、上記回転角検出部
で検出された頭部回転運動が一定範囲内にあるときには
上記音声信号処理部に音像方向を一定方向に固定させ、
上記頭部回転運動が上記範囲外にあるときには上記音声
信号処理部に音像方向を頭の動きと同期して移動させる
信号処理を行わせ、上記映像再生手段は上記範囲の内外
にかかわらず頭部の動きに同期して移動することを特徴
とする請求項1記載の映像音声再生装置。 - 【請求項6】 上記音声再生手段及び上記映像再生手段
は、上記回転角検出部で検出された頭部回転運動が一定
範囲内にあるときには音像方向及び映像方向を一定方向
に固定させ、上記頭部回転運動が上記範囲外にあるとき
には音像方向及び映像方向を頭部の動きと同期させて移
動させることを特徴とする請求項1記載の映像音声再生
装置。 - 【請求項7】 上記回転角検出手段の代わり、或いは同
時に位置検出手段を上記頭部装着部に設け、頭部の位置
による音像の定位位置の補正を行えるようにしたことを
特徴とする請求項1記載の映像音声再生装置。 - 【請求項8】 上記回転角検出手段には角速度センサで
ある圧電振動ジャイロを用いることを特徴とする請求項
1記載の映像音声再生装置。 - 【請求項9】 上記回転角検出手段には地磁気方位セン
サを用いることを特徴とする請求項1記載の映像音声再
生装置。 - 【請求項10】 上記回転角検出手段は、前方或いは周
囲に置かれた発光手段と上記頭部装着部に設けられた少
なくとも2個の光強度センサの出力比により頭部回転運
動を算出することを特徴とする請求項1記載の映像音声
再生装置。 - 【請求項11】 上記位置検出手段は、前方或いは周囲
に置かれた発光手段と上記頭部装着部に設けられた少な
くとも2個の光強度センサの出力比により頭部位置を算
出することを特徴とする請求項7記載の映像音声再生装
置。 - 【請求項12】 上記回転角検出手段及び上記位置検出
手段は、前方或いは周囲に置かれた発光手段と上記頭部
装着部に設けられた少なくとも2個の光強度センサの出
力比により頭部回転運動及び頭部位置を算出することを
特徴とする請求項7記載の映像音声再生装置。 - 【請求項13】 上記音声入力信号は、ワイヤレスで頭
部装着部上の上記音声再生手段に供給される事を特徴と
する請求項1記載の映像音声再生装置。 - 【請求項14】 上記映像入力信号は、ワイヤレスで頭
部装着部上の上記映像再生手段に供給される事を特徴と
する請求項1記載の映像音声再生装置。 - 【請求項15】 両耳に対向するように配置した二つの
発音体から音声信号を再生する音声再生手段と、両眼の
前方近傍に映像を表示する映像再生手段と、頭部の回転
運動を検出する回転角検出手段とを頭部装着部に配設し
てなる映像音声再生装置であって、 上記音声再生手段は、複数の音声入力信号に2系統のイ
ンパルス応答を畳み込む二つのディジタルフィルタの各
出力に上記頭部回転運動に応じた頭部回転角度に基づい
て時間差又は位相差、或いはレベル差又は周波数特性を
付加する音声信号処理部を備え、 上記映像再生手段は、入力映像信号に対して該入力映像
信号の映像知覚位置を上記頭部回転角度に応じて視聴環
境の一定方向に固定する信号処理を施す映像信号処理部
を備えることを特徴とする映像音声再生装置。 - 【請求項16】 上記映像再生手段は、左右異なった映
像を両眼の前方近傍に表示することを特徴とする請求項
15記載の映像音声再生装置。 - 【請求項17】 上記映像再生手段は、上記回転角検出
手段により検出された頭部回転運動に応じて映像入力信
号の一部を選択的に表示させることを特徴とする請求項
15記載の映像音声再生装置。 - 【請求項18】 上記映像入力信号は、上記回転角度検
出部により検出された頭部回転運動に応じて表示内容を
視聴環境の一定方向に固定するように変化することを特
徴とする請求項15記載の映像音声再生装置。 - 【請求項19】 上記音声再生手段は、上記回転角検出
部で検出された頭部回転運動が一定範囲内にあるときに
は上記音声信号処理部に音像方向を一定方向に固定さ
せ、上記頭部回転運動が上記範囲外にあるときには上記
音声信号処理部に音像方向を頭の動きと同期して移動さ
せる信号処理を行わせることを特徴とする請求項15記
載の映像音声再生装置。 - 【請求項20】 上記音声再生手段及び上記映像再生手
段は、上記回転角検出部で検出された頭部回転運動が一
定範囲内にあるときには音像方向及び映像方向を一定方
向に固定させ、上記頭部回転運動が上記範囲外にあると
きには音像方向及び映像方向を頭部の動きと同期させて
移動することを特徴とする請求項15記載の映像音声再
生装置。 - 【請求項21】 上記回転角検出手段の代わり、或いは
同時に位置検出手段を頭部装着部に設け、頭部の位置に
よる音像の定位位置の補正を行えるようにしたことを特
徴とする請求項15記載の映像音声再生装置。 - 【請求項22】 上記回転角検出手段には角速度センサ
である圧電振動ジャイロを用いることを特徴とする請求
項15記載の映像音声再生装置。 - 【請求項23】 上記回転角検出手段には地磁気方位セ
ンサを用いることを特徴とする請求項15記載の映像音
声再生装置。 - 【請求項24】 上記回転角検出手段は、前方或いは周
囲に置かれた発光手段と上記頭部装着部に設けられた少
なくとも2個の光強度センサの出力比により頭部回転運
動を算出するようにしたことを特徴とする請求項15記
載の映像音声再生装置。 - 【請求項25】 上記位置検出手段は、前方或いは周囲
に置かれた発光手段と上記頭部装着部に設けられた少な
くとも2個の光強度センサの出力比により頭部位置を算
出するようにしたことを特徴とする請求項21記載の映
像音声再生装置。 - 【請求項26】 上記回転角検出手段及び上記位置検出
手段は、前方或いは周囲に置かれた発光手段と上記頭部
装着部に設けられた少なくとも2個の光強度センサの出
力比により頭部回転運動及び頭部位置を算出することを
特徴とする請求項21記載の映像音声再生装置。 - 【請求項27】 上記音声入力信号は、ワイヤレスで頭
部装着部上の上記音声再生手段に供給される事を特徴と
する請求項15記載の映像音声再生装置。 - 【請求項28】 上記映像入力信号は、ワイヤレスで頭
部装着部上の上記映像再生手段に供給される事を特徴と
する請求項15記載の映像音声再生装置。 - 【請求項29】 両耳に対向するように配置した二つの
発音体と、両眼の前方近傍で映像を表示する映像表示部
と、頭部の回転運動を検出する回転角検出手段を頭部装
着部に配設してなる映像音声再生装置であって、 上記回転角検出手段で検出された頭部の回転運動に応じ
た頭部位置情報を基に、視聴環境を固定した音声信号を
上記二つの発音体に出力すると共に、視聴環境を固定し
た映像信号を上記映像表示部に出力する映像音声信号生
成手段を上記頭部装着部上を除いた場所に配設してなる
こと特徴とする映像音声再生装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25097895A JP3796776B2 (ja) | 1995-09-28 | 1995-09-28 | 映像音声再生装置 |
US08/715,083 US5959597A (en) | 1995-09-28 | 1996-09-19 | Image/audio reproducing system |
KR1019960041359A KR100445513B1 (ko) | 1995-09-28 | 1996-09-20 | 영상음성재생장치 |
CN96121166A CN1104137C (zh) | 1995-09-28 | 1996-09-27 | 图象/音频再现*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25097895A JP3796776B2 (ja) | 1995-09-28 | 1995-09-28 | 映像音声再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0993700A true JPH0993700A (ja) | 1997-04-04 |
JP3796776B2 JP3796776B2 (ja) | 2006-07-12 |
Family
ID=17215861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25097895A Expired - Fee Related JP3796776B2 (ja) | 1995-09-28 | 1995-09-28 | 映像音声再生装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5959597A (ja) |
JP (1) | JP3796776B2 (ja) |
KR (1) | KR100445513B1 (ja) |
CN (1) | CN1104137C (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000045619A1 (fr) * | 1999-01-28 | 2000-08-03 | Sony Corporation | Dispositif source sonore virtuelle et appareil acoustique comportant un tel dispositif |
GB2352151A (en) * | 1998-03-31 | 2001-01-17 | Lake Technology Ltd | Headtracked processing for headtracked playback of audio signals |
KR100533136B1 (ko) * | 1998-01-22 | 2005-12-01 | 소니 가부시끼 가이샤 | 음성재생장치, 이어폰장치 및 이를 위한 신호처리장치 |
KR100818660B1 (ko) * | 2007-03-22 | 2008-04-02 | 광주과학기술원 | 근거리 모델을 위한 3차원 음향 생성 장치 |
JP2010041425A (ja) * | 2008-08-05 | 2010-02-18 | Yamaha Corp | 音響再生装置およびプログラム |
JP2010147529A (ja) * | 2008-12-16 | 2010-07-01 | Sony Corp | 情報処理システムおよび情報処理方法 |
JP2011216963A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | 信号処理装置および方法、並びにプログラム |
JP2015136100A (ja) * | 2013-12-19 | 2015-07-27 | ジーエヌ リザウンド エー/エスGn Resound A/S | 選択可能な知覚空間的な音源の位置決めを備える聴覚装置 |
JP2017028465A (ja) * | 2015-07-21 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム |
WO2017022467A1 (ja) * | 2015-08-06 | 2017-02-09 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP2017079457A (ja) * | 2015-10-19 | 2017-04-27 | このみ 一色 | 携帯情報端末、情報処理装置、及びプログラム |
JP2017097306A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社リコー | ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイシステムにおける表示制御方法 |
JPWO2017175366A1 (ja) * | 2016-04-08 | 2018-08-30 | 株式会社日立製作所 | 映像表示装置および映像表示方法 |
JP2019523607A (ja) * | 2016-08-01 | 2019-08-22 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 空間化オーディオを用いた複合現実システム |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10197825A (ja) * | 1997-01-10 | 1998-07-31 | Sharp Corp | 頭部搭載型ディスプレイ |
TW362207B (en) * | 1997-05-08 | 1999-06-21 | Shimadzu Corp | Display system |
US6839041B2 (en) * | 2001-08-01 | 2005-01-04 | Thermwood Corporation | Virtual reality viewing system and method |
US20040091120A1 (en) * | 2002-11-12 | 2004-05-13 | Kantor Kenneth L. | Method and apparatus for improving corrective audio equalization |
JP4642400B2 (ja) * | 2004-07-20 | 2011-03-02 | オリンパス株式会社 | 情報表示システム |
GB0427450D0 (en) * | 2004-12-15 | 2005-01-19 | Bp Oil Int | Process |
JP5272409B2 (ja) * | 2005-09-29 | 2013-08-28 | 株式会社ニコン | コンテンツ再生システム |
JP4557035B2 (ja) * | 2008-04-03 | 2010-10-06 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
JP4735993B2 (ja) * | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
EP2396977B1 (en) * | 2009-02-13 | 2019-04-10 | Koninklijke Philips N.V. | Head tracking for mobile applications |
EP2288178B1 (en) * | 2009-08-17 | 2012-06-06 | Nxp B.V. | A device for and a method of processing audio data |
JP5499633B2 (ja) | 2009-10-28 | 2014-05-21 | ソニー株式会社 | 再生装置、ヘッドホン及び再生方法 |
US8823782B2 (en) | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
US8854531B2 (en) * | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
US9247286B2 (en) * | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
US8964013B2 (en) * | 2009-12-31 | 2015-02-24 | Broadcom Corporation | Display with elastic light manipulator |
US8587631B2 (en) * | 2010-06-29 | 2013-11-19 | Alcatel Lucent | Facilitating communications using a portable communication device and directed sound output |
KR20120053587A (ko) * | 2010-11-18 | 2012-05-29 | 삼성전자주식회사 | 디스플레이장치 및 그 사운드 제어방법 |
PL2475193T3 (pl) * | 2011-01-05 | 2014-06-30 | Advanced Digital Broadcast Sa | Sposób odtwarzania treści multimedialnej zawierającej audio i stereoskopowe video |
NL2006997C2 (en) | 2011-06-24 | 2013-01-02 | Bright Minds Holding B V | Method and device for processing sound data. |
US8183997B1 (en) | 2011-11-14 | 2012-05-22 | Google Inc. | Displaying sound indications on a wearable computing system |
GB2501767A (en) * | 2012-05-04 | 2013-11-06 | Sony Comp Entertainment Europe | Noise cancelling headset |
GB2501768A (en) | 2012-05-04 | 2013-11-06 | Sony Comp Entertainment Europe | Head mounted display |
US9213403B1 (en) | 2013-03-27 | 2015-12-15 | Google Inc. | Methods to pan, zoom, crop, and proportionally move on a head mountable display |
JP5958646B2 (ja) * | 2013-04-24 | 2016-08-02 | 日産自動車株式会社 | 車両用音響制御装置、車両用音響制御方法 |
CN105229722B (zh) * | 2013-05-17 | 2017-10-10 | 三菱电机株式会社 | 视频合成装置及方法 |
US9146618B2 (en) | 2013-06-28 | 2015-09-29 | Google Inc. | Unlocking a head mounted device |
JP2015125502A (ja) * | 2013-12-25 | 2015-07-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム |
US10269184B2 (en) | 2014-07-23 | 2019-04-23 | Sony Corporation | Information processing apparatus, information processing method, and image display system |
US9967668B2 (en) * | 2014-08-21 | 2018-05-08 | Eears LLC | Binaural recording system and earpiece set |
CN105120421B (zh) * | 2015-08-21 | 2017-06-30 | 北京时代拓灵科技有限公司 | 一种生成虚拟环绕声的方法和装置 |
CN108762496B (zh) * | 2015-09-24 | 2020-12-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105216715A (zh) * | 2015-10-13 | 2016-01-06 | 湖南七迪视觉科技有限公司 | 一种汽车驾驶员视觉辅助增强*** |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
JP6701673B2 (ja) * | 2015-10-30 | 2020-05-27 | セイコーエプソン株式会社 | ヘッドマウントディスプレイ |
US9918177B2 (en) * | 2015-12-29 | 2018-03-13 | Harman International Industries, Incorporated | Binaural headphone rendering with head tracking |
CN108886653B (zh) * | 2016-04-20 | 2020-07-28 | 华为技术有限公司 | 一种耳机声道控制方法、相关设备及*** |
US11182930B2 (en) | 2016-05-02 | 2021-11-23 | Waves Audio Ltd. | Head tracking with adaptive reference |
WO2017191631A1 (en) | 2016-05-02 | 2017-11-09 | Waves Audio Ltd. | Head tracking with adaptive reference |
KR102278229B1 (ko) * | 2017-04-04 | 2021-07-16 | 캐논 가부시끼가이샤 | 전자기기 및 그 제어 방법 |
DE102017208600B4 (de) * | 2017-05-22 | 2024-07-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Bereitstellung eines räumlich wahrnehmbaren Akustiksignals für einen Zweiradfahrer |
CN107192562B (zh) * | 2017-06-07 | 2020-02-07 | 哈尔滨工业大学(威海) | 减振器异响故障快速定位及诊断试验装置 |
EP3422151A1 (en) | 2017-06-30 | 2019-01-02 | Nokia Technologies Oy | Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality |
US10375506B1 (en) * | 2018-02-28 | 2019-08-06 | Google Llc | Spatial audio to enable safe headphone use during exercise and commuting |
EP3985482A1 (en) * | 2020-10-13 | 2022-04-20 | Koninklijke Philips N.V. | Audiovisual rendering apparatus and method of operation therefor |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4028725A (en) * | 1976-04-21 | 1977-06-07 | Grumman Aerospace Corporation | High-resolution vision system |
US4446480A (en) * | 1981-12-14 | 1984-05-01 | The United States Of America As Represented By The Secretary Of The Navy | Head position and orientation sensor |
GB2143948B (en) * | 1983-07-23 | 1986-08-06 | Ferranti Plc | Apparatus for determining the direction of a line of sight |
US4649504A (en) * | 1984-05-22 | 1987-03-10 | Cae Electronics, Ltd. | Optical position and orientation measurement techniques |
US4817149A (en) * | 1987-01-22 | 1989-03-28 | American Natural Sound Company | Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization |
US5222059A (en) * | 1988-01-06 | 1993-06-22 | Lucasfilm Ltd. | Surround-sound system with motion picture soundtrack timbre correction, surround sound channel timbre correction, defined loudspeaker directionality, and reduced comb-filter effects |
US4897715A (en) * | 1988-10-31 | 1990-01-30 | General Electric Company | Helmet display |
US5457641A (en) * | 1990-06-29 | 1995-10-10 | Sextant Avionique | Method and apparatus for determining an orientation associated with a mobile system, especially a line of sight inside a helmet visor |
JP3247126B2 (ja) * | 1990-10-05 | 2002-01-15 | テキサス インスツルメンツ インコーポレイテツド | 可搬型可視表示装置を提供する方法並びに装置 |
US5647016A (en) * | 1995-08-07 | 1997-07-08 | Takeyama; Motonari | Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew |
-
1995
- 1995-09-28 JP JP25097895A patent/JP3796776B2/ja not_active Expired - Fee Related
-
1996
- 1996-09-19 US US08/715,083 patent/US5959597A/en not_active Expired - Lifetime
- 1996-09-20 KR KR1019960041359A patent/KR100445513B1/ko not_active IP Right Cessation
- 1996-09-27 CN CN96121166A patent/CN1104137C/zh not_active Expired - Lifetime
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100533136B1 (ko) * | 1998-01-22 | 2005-12-01 | 소니 가부시끼 가이샤 | 음성재생장치, 이어폰장치 및 이를 위한 신호처리장치 |
GB2352151A (en) * | 1998-03-31 | 2001-01-17 | Lake Technology Ltd | Headtracked processing for headtracked playback of audio signals |
GB2352151B (en) * | 1998-03-31 | 2003-03-26 | Lake Technology Ltd | Headtracked processing for headtracked playback of audio signals |
US6766028B1 (en) | 1998-03-31 | 2004-07-20 | Lake Technology Limited | Headtracked processing for headtracked playback of audio signals |
KR100713666B1 (ko) * | 1999-01-28 | 2007-05-02 | 소니 가부시끼 가이샤 | 가상음원장치 및 이것을 이용한 음향장치 |
US7917236B1 (en) | 1999-01-28 | 2011-03-29 | Sony Corporation | Virtual sound source device and acoustic device comprising the same |
WO2000045619A1 (fr) * | 1999-01-28 | 2000-08-03 | Sony Corporation | Dispositif source sonore virtuelle et appareil acoustique comportant un tel dispositif |
KR100818660B1 (ko) * | 2007-03-22 | 2008-04-02 | 광주과학기술원 | 근거리 모델을 위한 3차원 음향 생성 장치 |
JP2010041425A (ja) * | 2008-08-05 | 2010-02-18 | Yamaha Corp | 音響再生装置およびプログラム |
US8644531B2 (en) | 2008-12-16 | 2014-02-04 | Sony Corporation | Information processing system and information processing method |
JP2010147529A (ja) * | 2008-12-16 | 2010-07-01 | Sony Corp | 情報処理システムおよび情報処理方法 |
JP2011216963A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | 信号処理装置および方法、並びにプログラム |
US9661437B2 (en) | 2010-03-31 | 2017-05-23 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
JP2015136100A (ja) * | 2013-12-19 | 2015-07-27 | ジーエヌ リザウンド エー/エスGn Resound A/S | 選択可能な知覚空間的な音源の位置決めを備える聴覚装置 |
JP2017028465A (ja) * | 2015-07-21 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム |
WO2017022467A1 (ja) * | 2015-08-06 | 2017-02-09 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JPWO2017022467A1 (ja) * | 2015-08-06 | 2018-05-24 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US10656900B2 (en) | 2015-08-06 | 2020-05-19 | Sony Corporation | Information processing device, information processing method, and program |
JP2017079457A (ja) * | 2015-10-19 | 2017-04-27 | このみ 一色 | 携帯情報端末、情報処理装置、及びプログラム |
JP2017097306A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社リコー | ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイシステムにおける表示制御方法 |
JPWO2017175366A1 (ja) * | 2016-04-08 | 2018-08-30 | 株式会社日立製作所 | 映像表示装置および映像表示方法 |
JP2019523607A (ja) * | 2016-08-01 | 2019-08-22 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 空間化オーディオを用いた複合現実システム |
Also Published As
Publication number | Publication date |
---|---|
JP3796776B2 (ja) | 2006-07-12 |
CN1158047A (zh) | 1997-08-27 |
KR970019732A (ko) | 1997-04-30 |
US5959597A (en) | 1999-09-28 |
KR100445513B1 (ko) | 2004-12-04 |
CN1104137C (zh) | 2003-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3796776B2 (ja) | 映像音声再生装置 | |
US5796843A (en) | Video signal and audio signal reproducing apparatus | |
JP3577798B2 (ja) | ヘッドホン装置 | |
JP3422026B2 (ja) | オーディオ再生装置 | |
JP3385725B2 (ja) | 映像を伴うオーディオ再生装置 | |
JP4735993B2 (ja) | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 | |
US5566241A (en) | Method and apparatus for presentation of on-line directional sound | |
US20100328423A1 (en) | Method and apparatus for improved mactching of auditory space to visual space in video teleconferencing applications using window-based displays | |
US20100328419A1 (en) | Method and apparatus for improved matching of auditory space to visual space in video viewing applications | |
EP1408718A1 (en) | Sound image localizer | |
JPH09284676A (ja) | 身体の動きに同期した映像及び音声処理方法と映像表示装置 | |
JPH08191419A (ja) | 頭部装着型表示システム | |
JP2005500721A5 (ja) | ||
CN110999328B (zh) | 装置以及相关联的方法 | |
US20020071661A1 (en) | Audio and video reproduction apparatus | |
JP6580516B2 (ja) | 処理装置および画像決定方法 | |
JP6538003B2 (ja) | アクチュエータ装置 | |
JPH06269096A (ja) | 音像制御装置 | |
JPH06105400A (ja) | 3次元空間再現システム | |
JP3091629B2 (ja) | 立体映像表示装置 | |
KR102284914B1 (ko) | 프리셋 영상이 구현되는 사운드 트랙킹 시스템 | |
JPH08140200A (ja) | 立体音像制御装置 | |
JP3573797B2 (ja) | ステレオ音声再生装置 | |
Cohen et al. | From whereware to whence-and whitherware: Augmented audio reality for position-aware services | |
JP2947456B2 (ja) | サラウンド信号処理装置及び映像音声再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |