JP3687099B2 - 映像信号及び音響信号の再生装置 - Google Patents
映像信号及び音響信号の再生装置 Download PDFInfo
- Publication number
- JP3687099B2 JP3687099B2 JP52111795A JP52111795A JP3687099B2 JP 3687099 B2 JP3687099 B2 JP 3687099B2 JP 52111795 A JP52111795 A JP 52111795A JP 52111795 A JP52111795 A JP 52111795A JP 3687099 B2 JP3687099 B2 JP 3687099B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- listener
- sound
- video signal
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
技術分野
本発明は、例えば、映像を見ながらヘッドホンによる音響信号の再生を行う映像信号及び音響信号の再生装置に関する。
背景技術
従来から、リスナの両耳を覆うようにして頭部にヘッドホンを装着して、両耳から音響信号を聴取するヘッドホンによる音響信号の再生方法がある。このヘッドホンによる音響信号の再生方法は、信号源からの信号が仮にステレオ信号であっても、再生される音像がリスナの頭の中にこもる、いわゆる頭内定位の現象が生じる。
一方ヘッドホンによる音響信号の再生方式の一つにバイノーラル収音再生方式がある。このバイノーラル収音再生方式とは、以下のような方式をいう。リスナの頭部を想定したダミーヘッドの左右両耳の穴にダミーヘッド・マイクロホンと呼ばれるマイクロホンを設ける。このダミーヘッドマイクロホンにより信号源からの音響信号を収音する。このようにして収音された音響信号を、実際にリスナがヘッドホンを装着して再生すると、信号源からの音声をそのまま聞いているような臨場感が得られる。このようなバイノーラル収音再生方式によれば、収音再生音像の方向感、定位感及び臨場感などを向上させることができる。しかしながらこのようなバイノーラル再生を行うためには、音源信号としてダミーヘッド・マイクロホンで収音した、スピーカ再生用とは異なる特殊なソースとしての信号源が必要とされた。
そこで上述のバイノーラル収音再生方式を応用して、例えば一般のステレオ信号をヘッドホンにより、スピーカ再生と同じような頭部外（スピーカ位置）に定位させた再生効果を得ることが考えられ、これにより、ヘッドホンでもスピーカ再生と同じ効果が得られ、しかもヘッドホンによる外部に音をもらさない効果も得られるようになった。しかし、スピーカによるステレオ再生の場合には、リスナが頭（顔）の方向を変えても、音像の絶対的な方向及び位置は変化せず、リスナの感じる音像の相対的な方向及び位置が変化する。これに対し、ヘッドホンによるバイノーラル再生の場合には、リスナが頭（顔）の方向を変えても、リスナの感じる音像の相対的な方向及び位置は変化しない。このためバイノーラル再生であっても、リスナが頭（顔）の方向を変える場合には音場はリスナの頭の中に形成されてしまい、特に、音像をリスナの前方に定位させる、いわゆる前方定位させることが難しかった。しかも、この場合には音像が頭部上方に上昇し、特に不自然なものになりがちであった。
これに対して、特公昭４２−２２７号公報記載のヘッドホン再生方法によれば、次のようなヘッドホンによるバイノーラル再生方法が考えられている。すなわち、音像の方向感及び定位感は、左耳及び右耳の聴取する音の音量差、時間差、位相差等により決定されるので、上記公報のシステムは、左及び右チャンネルのオーディオ信号ラインに、レベル制御回路及び可変遅延回路をそれぞれ設けると共に、リスナの頭の向きを検出し、その検出信号により各チャンネルのオーディオ信号のレベル制御回路及び可変遅延回路を制御するようにしたものである。
しかし、上記特公昭４２−２２７号公報記載のヘッドホン再生方法においては、リスナの頭の向きの検出信号そのものによりモータを駆動し、このモータによりレベル制御回路及び可変遅延回路の可変抵抗器及び可変コンデンサをアナログ信号により機械的に制御しているので、リスナが頭の向きを変えてからヘッドホンに供給される各チャンネルのオーディオ信号の音量差及び時間差を変化させるまでに時間の遅れを生じてしまい、リスナの頭の動きに充分に対応できなかった。
また、上記特公昭４２−２２７号公報記載のヘッドホン再生方法においては、音量差及び時間差を変化させるとき、その変化特性は、音源とリスナとの相対的な位置関係や、リスナの頭部の形状及び耳介の形状などに基づいて決定しなければならない。すなわち、ある一つの変化特性にした場合には、音源とリスナとの位置関係が固定されてしまい、距離感、音源間距離を変化させることが出来ず、また、リスナにより頭部及び耳介の形状が異なるので、効果の程度がばらついてしまうことがあった。しかも、仮想音源位置から両耳に至る伝達関数を測定する際の音源固有の特性、および用いるヘッドホン固有の特性の補正を施す手段については述べられていなかった。特に、用いるヘッドホンによって特性が大きく違ってしまうので、再生状態が変化してしまう。また、映像信号を伴う音響信号の再生については、述べられていなかった。
更に、特公昭５４−１９２４２号公報記載の立体再生方式によれば、リスナの頭の向きとヘッドホンに供給される各チャンネルのオーディオ信号の音量差及び時間差相互の変化量の関係を連続的に求められることが記載されている。
しかし、上記特公昭５４−１９２４２号公報記載の立体再生方式においては、オーディオ信号の音量差及び時間差相互の変化量の関係を連続的に求めて、これを記憶させるためには膨大な容量のメモリを設けなくてはならず、実現が極めて困難であった。しかも、仮想音源位置から両耳に至る伝達関数を測定する際の音源固有の特性、および用いるヘッドホン固有の特性の補正を施す手段については述べられていなかった。また、映像信号を伴う音響信号の再生については、述べられていなかった。
またさらに、本発明と同一出願人による特開平０１−１１２９００号公報記載のオーディオ再生装置には、これらオーディオ信号の音量差及び時間差相互の変化量の相互の関係を連続的ではなく離散的にデータを求めて、オーディオ信号を処理する装置が記載されている。
しかし、上記特開平０１−１１２９００号公報記載のオーディオ再生装置では、アナログ、ディジタル信号処理のどちらにも適用できるような原理的な概念が示されているのみで、アナログまたはディジタル信号処理を用い、実際の商品に適用する際の具体性に欠けている。しかも、仮想音源位置から両耳に至る伝達関数を測定する際の音源固有の特性、および用いるヘッドホン固有の特性の補正を施す手段については述べられていなかった。また、映像信号を伴う音響信号の再生については、述べられていなかった。
またさらに、本発明と同一出願人による特開平０３−２１４８９７号公報記載の音響信号再生装置には、各仮想音源位置から両耳に至る伝達関数を固定し、信号処理した後に、各耳に供給される信号のレベル及び遅延時間を頭の回転角に応じて制御することにより、構成が簡単になり、大幅なメモリの節約ができることが述べられている。また、映像信号を伴う音響信号の再生については、述べられていなかった。
このように上述した従来のヘッドホン再生方法、立体再生方式、オーディオ再生装置および音響信号再生装置は、信号処理に大容量のメモリを必要とし、ディジタル信号処理でなければ実施できないにもかかわらず、その具体的な信号処理、実用化のための具体的手段、方法が示されていないので、実用化するのが困難であるという不都合があった。
また、従来のヘッドホン再生方法、立体再生方式、オーディオ再生装置および音響信号再生装置は、任意の方向、特にリスナの正面に再生音像を定位させることが難しいという不都合があった。
また、人間は、視覚情報を基にして音響信号を認識し、この視覚情報により音像の定位が影響されるにもかかわらず、従来のヘッドホン再生方法、立体再生方式、オーディオ再生装置および音響信号再生装置は、音響信号のみを対象にしていて、映像信号を伴う音響信号の再生については何も述べれていないという不都合があった。
発明の開示
本発明は、かかる点に鑑みてなされたものであり、映像に対応するように音響信号の再生音像の位置を定位させる映像信号及び音響信号の再生装置の提供を第１の目的とする。
本発明は、かかる点に鑑みてなされたものであり、仮想音源に対応するように音響信号の再生音像の位置を定位させる音響信号の再生装置の提供を第２の目的とする。
第１の発明の映像信号及び音響信号の再生装置は、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２の発明の映像信号及び音響信号の再生装置は、検出手段は、信号源からの映像信号及び音響信号とともに出力される位置情報を抽出する抽出手段を備え、抽出手段からの出力信号が制御手段に供給されるものである。これによれば、位置情報を抽出する抽出手段からの出力信号が制御手段に供給され、予め映像信号及び音響信号とともに信号源から供給された位置情報に基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により信号源から供給された位置情報に基づいて再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第３の発明の映像信号及び音響信号の再生装置は、検出手段は、聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段を備え、位置検出手段からの検出信号が制御手段に供給されるものである。これによれば、聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段からの検出信号が制御手段に供給され、聴取者の映像信号再生手段に対する相対的移動の検出信号に基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により聴取者の映像信号再生手段に対する相対的移動の検出信号に基づいて再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第４の発明の映像信号及び音響信号の再生装置は、位置検出手段は、音響信号再生手段に設けられているものである。これによれば、容易に聴取者の映像信号再生手段に対する相対的移動を検出し、映像信号再生手段により聴取者の映像信号再生手段に対する相対的移動の検出信号に基づいて再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第５の発明の映像信号及び音響信号の再生装置は、位置検出手段は、少なくとも基準方向に対する聴取者の頭部の回転情報及び基準位置に対する聴取者の頭部の接近または離隔の情報に基づいて、角度検出手段からの角度情報の座標を変更するようにしたものである。これによれば、基準方向に対する聴取者の頭部の回転情報及び基準位置に対する聴取者の頭部の接近または離隔の情報に基づいて、角度検出手段からの角度情報の座標を変更し、再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第６の発明の映像信号及び音響信号の再生装置は、位置検出手段は、少なくとも基準方向に対する聴取者の頭部の回転情報及び基準位置に対する接近または離隔の情報を、角度検出手段からの角度情報に付加することによって角度検出手段からの角度情報を変更するようにしたものである。これによれば、基準方向に対する聴取者の頭部の回転情報及び基準位置に対する聴取者の頭部の接近または離隔の情報を角度検出手段からの角度情報に付加することにより、角度検出手段からの角度情報の座標を変更し、再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第７の発明の映像信号及び音響信号の再生装置は、角度検出手段は、リセットスイッチを備えているとともに、角度検出手段はリセットスイッチがオン操作されたときに聴取者が向いている方向に基準方向が設定されるようにしたものである。これによれば、角度検出手段はリセットスイッチがオン操作されたときに聴取者が向いている方向に基準方向が設定され、この基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第８の発明の映像信号及び音響信号の再生装置は、角度検出手段には、聴取者が予め定められた基準方向に向いたときに、その方向を基準方向に設定するようにしたものである。これによれば、角度検出手段は聴取者が予め定められた基準方向に向いたときに、その方向が基準方向に設定され、この基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第９の発明の映像信号及び音響信号の再生装置は、音響信号再生手段は、リセットスイッチを備え、聴取者が音響信号再生手段を装着したときにリセットスイッチが操作されて、角度検出手段に映像信号再生手段の画面の正面方向を基準方向に設定されるものである。これによれば、音響信号再生手段はリセットスイッチを備え、聴取者が音響信号再生手段を装着したときにリセットスイッチが操作されて、角度検出手段に映像信号再生手段の画面の正面方向に基準方向が設定され、この基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第１０の発明の映像信号及び音響信号の再生装置は、この装置は、更に映像信号再生手段の表示部の大きさに基づく信号をデータとする入力手段を備え、入力手段からの信号は、アドレス信号生成手段に供給され、アドレス信号生成手段は、角度検出手段からの角度に対応した信号、検出手段からの出力信号及び入力手段によって入力されたデータに対応するアドレス信号を生成するものである。これによれば、基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成された角度検出手段からの角度に対応した信号、検出手段からの出力信号及び入力手段によって入力されたデータに対応するアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第１１の発明の映像信号及び音響信号の再生装置は、角度検出手段は、聴取者の基準方向に対する上方及び下方の回転角度をあわせて検出するとともに、音響信号再生手段は、角度検出手段によって検出された上下方向の回転角度にあわせて記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて制御手段によって補正された音響信号を再生することにより、映像信号再生手段により再生された映像に対応する方向に任意の複数の再生音像が定位するものである。これによれば、基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの聴取者の基準方向に対する上方及び下方の回転角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第１２の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、聴取者の頭部に装着可能であり、聴取者の両眼に対向して設けられ、聴取者の両眼から所定距離離れた位置に再生映像が投影されるものである。これによれば、角度検出手段からの角度に対応した信号に基づいて、アドレス信号生成手段のアドレス信号により記憶手段のアドレスを指定し、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、音響信号を制御手段においてインパルスレスポンスまたは制御信号により補正し、音響信号を聴取者の頭部運動に対してリアルタイムで補正し、音響信号再生手段により制御手段で補正した音響信号を映像信号再生手段の映像信号の再生により聴取者の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数の再生音像が定位するように再生することができる。
第１３の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、聴取者の頭部に装着される頭部装着体と、頭部装着体の聴取者の両眼に対応する位置に各々配される一対の表示部を備えているものである。これによれば、映像信号再生手段は、聴取者の左右両眼に対応する位置に一対の左表示部および右表示部を有するので、左表示部および右表示部により、聴取者の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第１４の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、更に聴取者の両眼と一対の表示部との間に各々配された一対の矩形状の非球面のレンズを備えているものである。これによれば、映像信号再生手段は、聴取者の左右両眼に対応する位置に矩形非球面の左右の接眼レンズを介して左表示部および右表示部を有するので、左表示部および右表示部に写る画像を拡大して、左表示部および右表示部の前方であって、聴取者の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第１５の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、聴取者の頭部に装着される頭部装着体と、頭部装着体の聴取者の両眼に対応する位置に各々配される一対の虚像式ディスプレイユニットを備えているものである。これによれば、映像信号再生手段は、聴取者の左右両眼に対応する位置に一対の左虚像式ディスプレイユニットおよび右虚像式ディスプレイユニットを有するので、左虚像式ディスプレイユニットおよび右虚像式ディスプレイユニットにより、聴取者の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第２６の発明の映像信号及び音響信号の再生装置は、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２７の発明の映像信号及び音響信号の再生装置は、記憶手段には、聴取者の頭部の基準方向に対する仮想音源位置から聴取者の頭部の動きに対応した両耳に至るインパルスレスポンスを測定し、インパルスレスポンスを記憶し、または聴取者が識別できる角度毎に、聴取者の頭部の基準方向に対する仮想音源位置から聴取者の両耳に至る音響信号の時間差及びレベル差を測定し、測定した結果に基づいて信号源からの音響信号の時間差及びレベル差を表す制御信号が記憶されている。これによれば、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に制御信号を読み出して信号源からの音響信号を補正するとともに、検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される制御信号を変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２８の発明の映像信号及び音響信号の再生装置は、この装置は、更に記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出すために記憶手段に供給するアドレス信号を生成するアドレス信号生成手段を備えているものである。これによれば、角度検出手段からの聴取者の角度情報に基づいて、アドレス信号生成手段から記憶手段にアドレス信号を供給し、記憶手段から選択的にインパルスレスポンスまたは制御信号を読み出して信号源からの音響信号を補正するとともに、検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出されるインパルスレスポンスまたは制御信号を変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２９の発明の映像信号及び音響信号の再生装置は、検出手段は、信号源からの映像信号及び音響信号とともに出力される位置情報を抽出する抽出手段を備え、抽出手段からの出力信号が制御手段に供給されるものである。これによれば、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの信号源の映像信号及び音響信号とともに出力される位置情報を抽出する抽出手段からの出力信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第３０の発明の映像信号及び音響信号の再生装置は、検出手段は、聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段を備え、位置検出手段からの検出信号が制御手段に供給されるものである。これによれば、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第３１の発明の映像信号及び音響信号の再生装置は、位置検出手段は、音響信号再生手段に設けられているものである。これによれば、容易に聴取者の映像信号再生手段に対する相対的移動を検出し、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
【図面の簡単な説明】
第１図はこの発明の映像信号及び音響信号の再生装置の一実施例のブロック図である。
第２図はこの発明の映像信号及び音響信号の再生装置の一実施例のディジタル角度検出器の構成を示す図である。
第３図はこの発明の映像信号及び音響信号の再生装置の一実施例のアナログ角度検出器の構成を示す図である。
第４図はこの発明の映像信号及び音響信号の再生装置の一実施例のインパルスレスポンスのテーブルデータを示す図である。
第５図はこの発明の映像信号及び音響信号の再生装置の一実施例のインパルスレスポンスの測定を説明する図である。
第６図はこの発明の映像信号及び音響信号の再生装置の一実施例の制御データのテーブルデータを示す図である。
第７図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第８図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第９図はこの発明の映像信号及び音響信号の再生装置の一実施例のスピーカ配置のシミュレーションを示す図である。
第１０図はこの発明の映像信号及び音響信号の再生装置の一実施例の音響信号および映像信号の収録および再生を示すブロック図である。
第１１図はこの発明の映像信号及び音響信号の再生装置の一実施例の再生音像の位置を説明する図である。
第１２図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１３図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１４図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１５図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１６図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１７図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１８図はこの発明の映像信号及び音響信号の再生装置の他の実施例の虚像式ディスプレイの動作原理を示す図である。
第１９図はこの発明の映像信号及び音響信号の再生装置の他の実施例の虚像式ディスプレイの外観を示す図である。
第２０図はこの発明の映像信号及び音響信号の再生装置の他の実施例のスピーカの配置のシミュレーションを示す図である。
第２１図はこの発明の映像信号及び音響信号の再生装置の他の実施例の１チャンネルモノラル再生用のスピーカ配置のシミュレーションを示す図である。
第２２図はこの発明の映像信号及び音響信号の再生装置の他の実施例の２チャンネルステレオ再生用のスピーカ配置のシミュレーションを示す図である。
第２３図はこの発明の映像信号及び音響信号の再生装置の他の実施例の３チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
第２４図はこの発明の映像信号及び音響信号の再生装置の他の実施例の４チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
第２５図はこの発明の映像信号及び音響信号の再生装置の他の実施例の５チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
第２６図はこの発明の映像信号及び音響信号の再生装置の他の実施例の前方５チャンネル、後方２チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
発明を実施するための最良の形態
以下本発明に係る映像信号及び音響信号の再生装置の一実施例について、第１図から第１１図に従い詳細に説明する。
本発明の実施例の映像信号及び音響信号の再生装置は、再生音像位置情報を有する映像信号及び音響信号を映像を見ながらヘッドホンで再生する際に、本来スピーカで再生する場合に予め定められた位置関係に置かれるべきスピーカから音が再生されるのと同等の定位感、音場感等を、ヘッドホンで再生しても得られるようにしたものであり、特に、映像に対応する方向に、再生音像位置情報に基づいて複数の再生音像が定位するようにし、しかも、この再生音像の位置情報の座標を変更するようにしたものである。
すなわち、本発明の実施例の映像信号及び音響信号の再生装置は、ステレオ等で収音された多チャンネルであって、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号及び音響信号を、映像を見ながらヘッドホンで再生するシステムに用いるものである。特に各チャンネルに記録あるいは伝送されるディジタル化された音響信号をヘッドホン等で再生する際に、複数チャンネルの再生音像を、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて映像に対応する位置に定位させるようにし、しかも、この再生音像の位置情報の座標を変更するようにしたものである。
第１図において、この発明の映像信号及び音響信号の再生装置の例を示す。なお、ここでは入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生装置６２に供給される。
符号１は映像を含むディジタルオーディオディスク（例えば光学ビデオディスク）やディジタル衛星放送等の多チャンネルのディジタルステレオ信号源を示す。符号２はアナログレコード、アナログ放送等のアナログステレオ信号源を示す。ここで、分離回路６１から供給される音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。ディジタルステレオ信号源１およびアナログステレオ信号源２は、供給される音響信号からそれぞれＬ，Ｒ２チャンネルのディジタル音響信号およびアナログ音響信号に分離するか、または４〜７チャンネルのディジタル音響信号およびアナログ音響信号を生成する。
ディジタルステレオ信号源１およびアナログステレオ信号源２から供給されるディジタル音響信号およびアナログ音響信号は、いずれも再生音像位置情報を有する映像信号から分離されたものである。映像信号は収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有するものである。符号３はこれらアナログ音響信号をディジタル音響信号に変換するためのＡ／Ｄ変換器である。
このような、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する音響信号を生成する手段としては、例えば、本出願人と同一出願人および同一発明者による平成３年１１月２６日特許出願の「収録方式および再生方式」がある。
その構成は、第１０図において示すように、第１の音源１００に対してこの音を収音するマイクロホン１０４と、マイクロホン１０４の位置および第１の音源１００の音源位置またはいずれか一方の位置を示す位置情報検出装置１０３を有する。また、第２の音源１０１に対してこの音を収音するマイクロホン１０６と、マイクロホン１０６の位置および第２の音源１０１の音源位置またはいずれか一方の位置を示す位置情報検出装置１０５を有する。これらの音響信号と対応する位置信号とをそれぞれマルチプレクサ１０９、１１０において多重化し、それぞれ対応する音響信号と位置信号とを同じチャネルに多重化記録する。この際の音響信号と位置信号との多重化は、周波数多重化、時分割多重化、あるいはその他の多重化方式を用いても良い。
さらに、他の音源１０２に対してこの音を収音するマイクロホン１０７、１０８が設けられている。マルチプレクサ１０９、１１０の出力およびマイクロホン１０７、１０８の出力は、収録信号処理記憶装置１１２に供給される。この収録信号処理記憶装置１１２において、音響信号と位置信号とが同じ音声チャンネルにマルチプレクシングされた状態で記録される。
また、マイクロホン１０４、１０６、１０７、１０８による収音と同時に、カメラ１１１により音源１００、１０１、１０２を含む風景を撮像し、この映像信号も収録信号処理記憶装置１１２において記録する。収録信号処理記憶装置１１２に記憶された各信号は、編集装置１１３を介して、音および映像再生装置１１４により再生される。このように、位置情報をも音響信号と対応して同じチャンネルに多重化記録するので、再生時において、再生装置により位置を考慮した再生が可能となり、再生画像内の音源位置に実音像を生成する。なお、第１０図に示す音および映像再生装置１１４は、第１図に示す映像信号及び音響信号の再生装置に対応する。
また、第１０図において、収音したい個々の、例えばＮ個の音源に対して独立にマイクロホンを設置し、そのマイクロホンの内、位置情報が必要なＭ個（ただし、Ｎ＞Ｍとする。）のマイクロホンの位置情報を、音声信号チャンネルとは独立のチャンネルに同時出力するようにしても良い。
また、この場合の位置情報は、絶対位置情報であっても、あるいは、例えば、音場における予め定めた基準位置に対する相対位置情報であっても良い。更に、この位置情報は、直角座標系ではなく、例えば、極座標系でも良い。
第１図において、このＡ／Ｄ変換器３は多チャンネルの場合にはチャンネル数だけ設けられる。符号４は切替器であり、ディジタルで入力された信号もアナログで入力された信号も同等に、かつ一定のサンプリング周波数および量子化ビット数で表されるディジタル信号として扱われる。ここでは、２チャンネルの切り替えのみを示したが、多チャンネルの場合にも同様にチャンネル数だけ設けられる。
これらのディジタル信号列のうち左のディジタル信号Ｌは、畳み込み積分器５に供給される。ここでは、畳み込み積分器５に付属するメモリ６には、リスナ２３の現在頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る一定のサンプリング周波数および量子化ビット数で表されるディジタル記録された一組のインパルスレスポンスが記憶されている。ディジタル信号列は、畳み込み積分器５において、このメモリ６より読み出されたインパルスレスポンスとリアルタイムで畳み込み積分される。また、畳み込み積分器７およびメモリ８は右のディジタル信号Ｒのクロストーク成分を供給する。
上記と同様に右のディジタル信号Ｒは、畳み込み積分器１１に供給される。ここでは、畳み込み積分器１１に付属するメモリ１２には、リスナ２３の現在頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る一定のサンプリング周波数および量子化ビット数で表されるディジタル記録された一組のインパルスレスポンスが記憶されている。ディジタル信号列は、畳み込み積分器１１において、このメモリ１２より読み出されたインパルスレスポンスとリアルタイムで畳み込み積分される。また、畳み込み積分器９およびメモリ１０は左のディジタル信号Ｌのクロストーク成分を供給する。
また、畳み込み積分器７、メモリ８、畳み込み積分器１１、メモリ１２においても上述と同様にインパルスレスポンスと畳み込み積分が行なわれる。このように、畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２においてインパルスレスポンスと畳み込み積分が行なわれたディジタル信号列は、加算器１５、１６にそれぞれ供給される。加算器１５、１６で加算された２チャンネルのディジタル信号は補正回路１７、１８により、用いる音源およびヘッドホン固有の特性等を除くように補正され、Ｄ／Ａ変換器１９、２０でアナログ信号に変換され、電力増幅器２１、２２で増幅された後に、ヘッドホン２４に供給される。
上例では、メモリ６、８、１０、１２にインパルスレスポンスが記憶されている例を示したが、第７図に示すように構成しても良い。なお、ここでは音響信号の処理のみを示すが、映像信号の処理は第１図に示したものと同様であるので、その説明を省略する。つまり、畳み込み積分器５、７、９、１１に付属するメモリ６、８、１０、１２に、基準方向に対して固定された頭部の、仮想音源位置から両耳に至る一対のディジタル記録されたインパルスレスポンスを記憶させる。ディジタル信号列はこのインパルスレスポンスとリアルタイムで畳み込み積分される。メモリ３５には、頭部の基準方向に対する仮想音源位置から両耳に至る両耳間の時間差、レベル差を表す制御信号を記憶させる。
そして、この畳み込み積分された各チャンネルのディジタル信号の各々に対して、更に検出された基準方向に対する頭部運動を、一定単位角度毎あるいは予め定められた角度毎に、方向を含む大きさを表すディジタルアドレス信号に変換し、このアドレス信号により予めメモリ３５に記憶された制御信号を読みだし、制御装置５０、５１、５２、５３において、リアルタイムで補正し、変更するようにして、その結果を加算器１５、１６に供給するようにしても良い。
また、第８図に示すように、このインパルスレスポンスとリアルタイムで畳み込み積分されたディジタル信号列を加算器１５、１６に供給し、加算器１５、１６からの２チャンネルのディジタル信号に対して、更に検出された基準方向に対する頭部運動を、一定単位角度毎あるいは予め定められた角度毎に、方向を含む大きさを表すディジタルアドレス信号に変換し、このアドレス信号により予めメモリ３５に記憶された制御信号を読みだし、制御装置５４、５６において、リアルタイムで補正し、変更するようにしても良い。なお、ここでも音響信号の処理のみを示すが、映像信号の処理は第１図に示したものと同様であるので、その説明を省略する。
ここで、第７図及び第８図において、制御装置５０、５１、５２、５３、５４、５６としては、可変遅延装置と可変レベル制御器、あるいは多バンドに分割されたグラフィックイコライザ等の周波数帯域毎のレベル制御器との組み合わせで構成することができる。また、メモリ３５に記憶されている情報は、リスナ２３の頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る両耳間の時間差及びレベル差等を表すインパルスレスポンスでも良い。この場合には、上述の制御装置は、ＩＩＲ、あるいはＦＩＲの可変ディジタルフィルターで構成すれば良い。このようにして制御装置により、空間情報が与えられる。
第１図、第７図及び第８図において、補正回路１７、１８により、用いる音源及びヘッドホンの固有の特性が補正され、かつ頭部の動きに対して変化の与えられたディジタル信号はＤ／Ａ変換器１９、２０でアナログ信号に変換され、電力増幅器２１、２２で増幅された後に、ヘッドホン２４に供給される。
この場合、用いる音源及びヘッドホンの固有の特性を補正する補正回路１７、１８は、アナログ信号処理、ディジタル信号処理のいずれでも良く、ワイヤレスタイプのヘッドホンの場合にはヘッドホン本体内部に設けるようにしてもよい。また、この補正回路１７、１８は、必ずしもヘッドホン本体に設けなくとも良く、例えば、ヘッドホンのコードに設けても良く、装置本体とヘッドホンのコードとを接続するコネクター部以降のいずれに設けても良い。さらに、本体内部の制御装置以降に設けても良い。
ここで、ディジタル角度検出器２８はリスナ２３の頭部の動きを検出するものであり、第２図において、ディジタル角度検出器２８の詳細な構成が示されている。第２図では、そのディジタル角度検出器２８として地磁気の水平分力を利用する場合が示されている。第２図においては、角度検出信号をディジタル信号として取り出す例が示されている。
まず、基準方向に対するリスナ２３の頭部運動を、一定単位角度毎あるいは、予め定められた角度毎に離散的情報として取り出す例として、頭部中央位置にロータリーエンコーダー３０が、その入力軸が垂直となるように設けられていると共に、その入力軸に、磁針２９が設けられている。従って、ロータリーエンコーダー３０からは、磁針２９の示す南北方向を基準として、リスナ２３の方向を含む頭の動きを示す出力が取り出される。このロータリーエンコーダー３０はヘッドホン２４のヘッドバンド２７に取り付けたが、ヘッドバンド２７から独立した取り付け装置上に設けても良い。
そして、第１図において、このディジタル角度検出器２８のロータリーエンコーダー３０の出力が検出回路３１、３２に供給され、検出回路３１からは、リスナ２３が頭を時計方向に回したときと、反時計方向に回したときで、「０」または「１」に変化する方向信号Ｓｄが取り出され、検出回路３２からは、リスナ２３が頭の向きを変えたとき、その変えた角度に比例した数のパルスがＰａ、例えば、２度変化する毎に１つのパルスＰａが出力される。
そして、信号Ｓｄが、アップダウンカウンタ３３のカウント方向入力Ｕ／Ｄに供給されると共に、パルスＰａがアップダウンカウンタ３３のクロック入力（カウント入力）ＣＫに供給され、そのカウント出力がリスナ２３の頭の向きと大きさを表すディジタルアドレス信号に変換され、アドレス制御回路３４を通じてメモリ６、８、１０、１２にアドレス信号として供給される。
そしてメモリ６、８、１０、１２内のテーブルの該当するアドレスから、予め、メモリ６、８、１０、１２に記憶されているリスナ２３の頭部の基準方向に対する仮想音源位置からリスナ２３の両耳に至るディジタル記録されたインパルスレスポンスが読み出され、同時に畳み込み積分器５、７、９、１１において、各チャンネルのディジタル化された音響信号とこのインパルスレスポンスとの畳み込み積分が行われ、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行われる。
一方、符号３８はアナログ角度検出器を示すものであり、その詳細な構成は第３図に示されている。第３図では、角度検出出力をアナログ信号として取り出す例が示されている。リスナ２３の頭部中央にＣＤＳやフォトダイオード等の光の強さにより抵抗値が変化する受光素子からなる受光器４１が取り付けられている。この受光器４１と対向して電球や発光ダイオード等の発光器３９が設けられていて、この発光器３９により一定の強さの光を受光器４１に向けて照射するようになっている。
その際、この発光器３９の投射光の通路間に回転角度により投射光の透過度が変化するような可動シャッター４０が設けられており、この可動シャッター４０は磁針２９と共に回転するようになっている。従って、受光器４１に一定の電流を流すとき、受光器４１の受光素子両端の電圧は磁針２９の示す南北方向を基準として、リスナ２３の方向を含む頭の動きを示すアナログ出力が取り出される。このアナログ角度検出器３８は、ヘッドホン２４のヘッドバンド２７に取り付けたが、ヘッドバンド２７から独立した装置上に設けても良い。
第１図において、アナログ角度検出器２８のアナログ出力は増幅器４２で増幅された後に、Ａ／Ｄ変換器４３に加えられ、このディジタル出力は切替器４４を介してアドレス制御回路３４に供給される。アドレス制御回路３４では基準方向に対するリスナ２３の頭部運動を一定角度あるいは予め定められた角度毎の方向を含む大きさを表すディジタルアドレス信号を生成し、メモリ６、８、１０、１２にアドレス信号として供給される。
そして、第１図においては、メモリ６、８、１０、１２内のテーブルの該当するアドレスから、予めメモリ６、８、１０、１２に記憶されているリスナ２３の頭部の基準方向に対する仮想音源位置からリスナ２３の両耳に至るディジタル記録されたインパルスレスポンスが読みだされ、畳み込み積分器５、７、９、１１により各チャンネルのディジタル化された音響信号と畳み込み積分され、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行なわれる。
また、第７図においては、メモリ３５内のテーブルの該当するアドレスから、予めメモリ３５に記憶されているリスナ２３の頭部の基準方向に対する仮想音源位置からリスナ２３の両耳に至るディジタル記録された両耳間の時間差及びレベル差等を表す制御信号が読みだされ、畳み込み積分器５、７、９、１１および付属するメモリ６、８、１０、１２によりインパルスレスポンスとの畳み込み積分がおこなわれた各チャンネルのディジタル化された音響信号と、制御装置５０、５１、５２、５３において、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行なわれる。第８図においては、加算器１５、１６により加算された２チャンネルのディジタル音響信号と、制御装置５４、５６において、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行なわれる。この場合、制御信号は上述と同様である。
今、第４図にメモリ６、８、１０、１２内のテーブルデータを示す。すなわち第５図に示すように、リスナ２３の前方に左前方及び右前方のスピーカ４５Ｌ、４５Ｒが配置されている場合、この左および右のスピーカ４５Ｌ、４５Ｒの設置位置から、リスナ２３の両耳に至るインパルスレスポンスとして
を考えるとき、メモリ６、８、１０、１２にはこれらを表すインパルスレスポンスがディジタル記録されている。
ここで、ｈmn（ｔ）はｍスピーカ位置から、ｎ耳に至るインパルスレスポンスであり、IImn（ω）はｍスピーカ位置から、ｎに至る伝達関数であり、ωは角周波数２πｆであり、ｆは周波数である。
一方、第６図に、メモリ３５内のテーブルの制御信号の制御データの一例を示す。この制御データは、第７図および第８図に示した制御装置に供給されるものである。すなわち、メモリ３５に記憶された制御信号のテーブルには、両耳間の時間差：ΔＴIJ（θ）及び両耳間のレベル差：ΔＬIJ（θ）が記憶されている（ただし、ＩＪ＝ＬＬ，ＬＲ，ＲＬ，ＲＲ，・・・）。これらの制御信号は上述した制御装置５０〜５４、５６に供給される。
これらの制御装置５０〜５４、５６は可変遅延装置と可変レベル制御器、あるいは多バンドに分割されたグラフィックイコライザ等の周波数帯域毎のレベル制御器との組み合わせで構成することができる。また、メモリ３５に記憶されている情報は、リスナ２３の頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る両耳間の時間差及びレベル差等を表すインパルスレスポンスでも良い。メモリ３５に記憶される内容は、制御装置５０〜５４、５６に対応したデータ構造を有している。この場合には、上述の制御装置は、ＩＩＲ、あるいはＦＩＲの可変ディジタルフィルターで構成すれば良い。
この場合の両耳間の時間差及び両耳間のレベル差を表す制御信号を測定する音源としてはスピーカを用いてもよい。またリスナ２３の各耳の収音位置に関しては、外耳道入り口から鼓膜位置までの間の何れの位置でもよい。
だだし、この位置は、後で述べる、用いるヘッドホンの固有の特性等を打ち消すための補正特性を求める位置と等しいことが要求される。
このようなインパルスレスポンスを考えたとき、角度：θを単位角度毎に、例えば２°ずつ変化させたときのディジタル記録したインパルスレスポンスがメモリ３５のテーブルの１番地毎に書き込まれている。この角度は、リスナ２３が頭部を回転させたときに、左右両耳で頭部の回転した角度を識別できる角度毎にする。
また、ヘッドホン２４のヘッドバンド２７上には、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置を検出する位置検出器６３が設けられている。この位置検出器６３は、例えば、映像信号再生装置６２のスクリーンからの漏洩磁束を検出する三次元的に配された３つの検出コイルや、速度または加速度ピックアップ等を用いることができる。また、位置情報の検出は、例えば、基準位置で校正された三次元の位置検出を行うジャイロスコープの出力を用いる方法、衛星（ＧＰＳ）等の衛星電波を用いる方法、複数個の超音波発音源からの距離を測定する方法を用いても良い。
位置検出器６３からの位置検出信号は検出回路６４に供給される。検出回路６４は位置検出器６３からの位置検出信号に基づいて、アドレス制御回路３４のアドレスを切り替える制御信号を切替器３６に供給する。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
なお第１図、第７図および第８図において、符号３７はセンターリセットスイッチであり、これをオンしたとき、アップダウンカウンタ３３の値は“オール０”にリセットされ、このときメモリ６、８、１０、１２、３５のテーブルはθ＝０のアドレスが選択される。つまり、このセンターリセットスイッチ３７がオンされると、リスナ２３が現在向いている方向が音源の正面方向とされる。
この実施例の映像信号及び音響信号の再生装置はこのように構成され、以下のような動作をする。入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生装置６２に供給される。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。多チャンネルディジタルステレオ信号源１からのディジタルオーディオ信号、あるいは多チャンネルアナログステレオ信号源２に入力されたアナログオーディオ信号をＡ／Ｄ変換器３によりディジタル信号に変換した各チャンネルのオーディオ信号が、切替器４で選択される。
この場合、ディジタルオーディオ信号およびアナログオーディオ信号は、それぞれ映像信号から分離された音響信号である。また、音響信号は収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する。ここで、第１図の場合は、ディジタル信号列は、畳み込み積分器５、７、９、１１において、メモリ６、８、１０、１２より読み出されたインパルスレスポンスとリアルタイムで畳み込み積分され、加算器１５、１６に供給される。以下、第７図、第８図においても同様とする。
第７図の場合は、畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２により予めインパルスレスポンスとの畳み込み積分器を行なった各チャンネルのディジタル化された音響信号は、制御装置５０、５１、５２、５３において、メモリ３５より読み出された制御信号により補正され、変更され、加算器１５、１６に供給される。
第８図の場合は、加算器１５、１６からの２チャンネルのディジタル信号は制御装置５４、５６において、メモリ３５より読み出された制御信号により補正され、変更される。この２チャンネルのディジタル信号はＤ／Ａ変換器１９、２０でアナログ信号に変換され、電力増幅器２１、２２で増幅された後に、ヘッドホン２４に供給される。
このようにしてヘッドホン２４を装着したリスナ２３は音響信号を聴取することができる。そして、ディジタル角度検出器２８およびアナログ角度検出器３８においてリスナ２３の基準方向に対する頭部運動を一定角度あるいは予め定められた角度毎に検出し、アドレス制御回路３４において方向を含む大きさを表すディジタルアドレス信号に変換する。
このアドレス信号により予めメモリ３５に記憶されている頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは制御信号を読み出す。畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６において、このインパレスレスポンスまたは制御信号と音響信号とをリアルタイムで補正し変更する。
この畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６、加算器１５、１６により、音場としての空間情報を持った両耳への２チャンネルのディジタル信号に変換され、補正回路１７、１８により、用いる音源及びヘッドホンの特性等が補正され、電力増幅器２１、２２で電力増幅された後、ヘッドホン２４に供給される。これにより、あたかもその仮想音源位置に置かれたスピーカから再生音が聞こえるような再生効果を実現することができるものである。
上例では特に、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置を検出する位置検出器６３からの位置検出信号が検出回路６４に供給される。検出回路６４は位置検出器６３からの位置検出信号に基づいて、アドレス制御回路３４のアドレスを切り替える制御信号を切替器３６に供給する。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
これにより、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置に対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
また映像信号再生装置６２のスクリーンの画面サイズに対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２の画面サイズが切り替えられたときにも、切り替えられた画面サイズのスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
上例では、位置検出器６３からの位置情報によりアドレス制御回路３４の切替器３６を切り替え、メモリ内のテーブルを読み出す相対アドレスを変えることにより、音場位置を動かすようにする例を示したが、メモリ内のテーブルを予め複数個用意しておき、位置検出器６３からの位置情報により位置情報が変更されたときのインパルスレスポンスまたは制御信号を読み出し、時間とレベルを変えることにより、あたかも位置が変わったようにリスナ２３に認識させるようにしても良い。
上例の第１図、第７図および第８図ではリスナ２３が単数の場合のみを示したが、リスナ２３が複数人いる場合には、第７図の畳み込み演算器５、７、９、１１以降を端子により分岐し、または、第８図の加算器１５、１６以降を端子により分岐するようにしても良い。
この場合、畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２において空間情報を持ったディジタル信号に補正された後で、個々のリスナの頭部回転に応じて信号処理を行えば良く、高価なＡ／Ｄ変換器３や畳み込み積分器５、７、９、１１を人数分用いる必要がない。
これにより、ヘッドホン２４、ディジタル角度検出器２８、および角度検出の信号処理のための検出回路３１、３２、アップダウンカウンタ３３、アドレス制御回路３４、メモリ３５、制御装置５０〜５３、５４、５６をリスナの数だけ用意すれば良く、安価に複数のリスナに対して同時に音響信号を供給することができる。
そして、この場合、リスナ２３が頭を動かすと、ディジタル角度検出器２８またはアナログ角度検出器３８により、その向きに従ったディジタル信号、またはアナログ信号が得られ、これによりその信号はリスナ２３の頭の向きに従った値となる。この値がアドレス制御回路３４を通じてメモリ３５にアドレス信号として供給される。
メモリ３５からは、第４図のテーブルに対応したデータのうち、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは第６図に示した両耳間の時間差及び両耳間のレベル差を表す制御信号が取りだされ、このデータが畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６に供給される。
アナログ角度検出器３８を用いた場合では、この出力が増幅器４２で増幅された後、Ａ／Ｄ変換器３３によりリスナ２３の頭の向きに従ったディジタル信号に変換され、アドレス制御回路３４を通じてメモリ３５にアドレス信号として供給され、ディジタル角度検出器２８の場合と同様にしてリスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは第６図に示した両耳間の時間差及び両耳間のレベル差を表す制御信号が取りだされ、このデータが畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６に供給される。
ここで、補正回路１７、１８は、音源、音場および用いるヘッドホン特有の補正特性のいずれか一つまたは複数の組み合せ、またはすべてを有するものである。従って、これらの補正を含むディジタル信号処理を一度で実行するので、リアルタイムで信号処理をすることができる。
このようにして、ヘッドホン２４に供給されるオーディオ信号Ｌ，Ｒは、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは両耳間の時間差及び両耳間のレベル差を表す制御信号との補正が行なわれれるので、複数個のスピーカが仮想音源位置に置かれてスピーカで再生しているような音場感を得ることが出来る。
更にメモリ３５のテーブルにディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号が取りだされ、このデータが畳み込み積分器５、７、９、１１およびメモリ６、８、１０、１２により予め畳み込まれたディジタル信号に対して、制御装置５０、５１、５２、５３で補正するように、純電子的に供給されるので、リスナ２３の頭の向きに対するオーディオ信号の特性の変化に遅れを生じることがなく、不自然さを生じることはない。
なおこの時、残響回路１３、１４による残響信号もヘッドホン２４に供給されるので、リスニングルームやコンサートホールにおける広がり感が付加され、優れたステレオ音場感を得ることができる。
また、上例では、ヘッドホン２４に信号線を介して直接接続する例を示したが、第７図の畳み込み演算器５、７、９、１１以降に変調器および送信機を設け、ヘッドホン２４側に受信機および復調器を設け、受信機および復調器により受信し、または、第８図の加算器１５、１６以降に変調器および送信機を設け、ヘッドホン２４側に受信器および復調器を設け、受信機および復調器により受信して、ワイヤレスで再生するようにしても良い。
更に、角度θの変化に対するリスナ２３の頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号の変化量を、テーブルにより標準値よりも大きく、あるいは小さくなるようにしておくことにより、リスナ２３の頭の向きに対する音像の位置の変化量が異なるので、これによりリスナ２３から音像までの距離感などを変更したり、画面サイズに対応することが出来る。
また、残響回路１３、１４による残響信号を付加していると共に、この残響信号はホールの壁などによる反射音や残響音の様に聞こえるので、あたかも有名なコンサートホールで音楽を聞いているかの様な臨場感を得ることが出来る。
第１１図において再生音像の位置を示す。第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報により音像の指向性が制御され、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９に対応する各音源を指向するように方向制御される。これにより、ＴＶモニタ１１５の画面１１６の音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
このとき、第９図に示すように、例えば、ヘッドホン２４の内側に位置情報変更器９３を設け、ヘッドホン２４をリスナ２３が装着すると、スイッチがオンになり、リスナ２３が、基準方向に対して回転し、または基準位置に対して近づいたり離れたりすると、これに伴い、第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報の座標を変更することができる。つまり、第１１図において、ＴＶモニタ１１５の画面１１６の変更された音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された変更された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
ここで、第９図および第１１図において示した、ヘッドホン２４の内側に設けられた位置情報変更器９３は、第１図、第７図および第８図において示した位置検出器６３および検出回路６４に対応するものである。また、第９図および第１１図において示したＴＶモニタ９２、１１５は、第１図、第７図および第８図において示した映像信号再生装置６２に対応するものである。
上述において、基準方向および基準位置はＴＶモニタ９２に対応させても良く、任意に変更しても良い。この位置情報変更器９３は、簡単な入力装置、例えばパソコンでも良い。
また、位置情報変更器９３は、第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報の座標のうちの特定の一部を変更して、変更した位置情報を元の位置情報に付加するようにしても良い。
上例によれば、角度検出手段としてのディジタル角度検出器２８およびアナログ角度検出器３８からの角度に対応した信号に基づいて、アドレス信号変換手段としてのアドレス制御回路３４のアドレス信号により記憶手段としてのメモリ６、８、１０、１２またはメモリ３５のアドレスを指定し、記憶手段としてのメモリ６、８、１０、１２またはメモリ３５に記憶されたインパルスレスポンスまたは制御信号を読み出し、音響信号を制御手段としての畳み込み積分器５、７、９、１１、または制御装置５０、５１、５２、５３、５４、５６においてインパルスレスポンスまたは制御信号により補正し、音響信号を上記一人または複数の聴取者２３の頭部運動に対してリアルタイムで補正し、音響再生手段としてのヘッドホン２４において映像再生手段としての映像信号再生装置６２、ＴＶモニタ９２、１１５により再生された映像に対応する位置に、収音時のマイクロホン１０４、１０６、１０７、１０８の位置および音源１００、１０１、１０２の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて複数の再生音像が定位するように、制御手段としての畳み込み積分器５、７、９、１１、または制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生し、再生音像位置情報変更手段としての位置情報変更器９３により聴取者２３の頭部の動きに対応して、再生音像位置情報の座標を変えるようにして、双方向で再生音像を定位させることができる。
また、上例によれば、再生音像位置情報変更手段としての位置情報変更器９３は、少なくとも基準方向に対する回転情報および基準位置に対する接近または離隔の情報に基づいて、再生音像位置情報の座標を変更するようにしたので、聴取者が移動することによって、再生音像の座標を移動させることができる。
また、上例によれば、再生音像位置情報変更手段としての位置情報変更器９３は、少なくとも基準方向に対する回転情報および基準位置に対する接近または離隔の情報を、再生音像位置情報の座標に付加して変更するようにしたので、聴取者が移動することによって、一部の再生音像の座標を移動させることができる。
また、第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報により音像の指向性を制御し、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９の位置に複数の再生音像が一対一に対応して定位するようにしてもよい。
これにより、ＴＶモニタ１１５の画面１１６の音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
上例によれば、ヘッドホン２４は、収音時の複数のマイクロホン１０４、１０６、１０７、１０８の位置および複数の音源１００、１０１、１０２の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて、ＴＶモニタ９２、１１５により再生された映像の複数の被写体１１７、１１８、１１９の位置に複数の再生音像が一対一に対応して定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、再生された映像の複数の被写体１１７、１１８、１１９の位置から、あたかもその音が発せられるように実音像を形成することができる。
また、第１０図において、映像信号による映像は、音源１００、１０１、１０２を含むものであり、位置情報検出装置１０３、１０５による音源位置情報により音像の指向性を制御し、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９の位置に複数の再生音像が対応して定位するようにしてもよい。
これにより、ＴＶモニタ１１５の画面１１６の音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
上例によれば、映像信号による映像は、音源１００、１０１、１０２を含むものであり、ヘッドホン２４は、収音時の音源１００、１０１、１０２の位置を示す再生音像位置情報に基づいて、ＴＶモニタ９２、１１５により再生された映像の音源１００、１０１、１０２の位置に再生音像が定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、再生された映像の音源１００、１０１、１０２の位置から、あたかもその音が発せられるように実音像を形成することができる。
また、第１０図において、マイクロホン１０４、１０６、１０７、１０８の位置は、映像信号による映像の場面によって変えるものであり、位置情報検出装置１０３、１０５によるマイク位置情報により音像の指向性を制御し、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９の位置に複数の再生音像が対応して定位するようにしてもよい。
これにより、ＴＶモニタ１１５の画面１１６のマイク位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源のマイク位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
また、上例によれば、マイクロホン１０４、１０６、１０７、１０８の位置は、映像信号による映像の場面によって変えるものであり、ヘッドホン２４は、収音時のマイクロホン１０４、１０６、１０７、１０８の位置を示す再生音像位置情報に基づいて、ＴＶモニタ９２、１１５により再生された映像のマイクロホン１０４、１０６、１０７、１０８の位置の方向に再生音像が定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、再生された映像のマイクロホン１０４、１０６、１０７、１０８の位置の方向から、あたかもその音が発せられるように実音像を形成することができる。
また、このとき、第９図において示すように、ヘッドホン２４にリセットスイッチ９０を設け、リスナ２３がこれを押すことにより、頭部回転の基準位置を設定する。また、ヘッドホン２４の内側にリセットスイッチ９１を設け、頭部にヘッドホン２４を装着したとき、装着した一定期間にリセットがかかるようにしても良い。
上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリセットスイッチ９０を有し、リセットスイッチ９０をオンしたときにリスナ２３が向いている方向を基準方向に設定するようにしたので、リセットスイッチ９０の作動により任意の方向を正面に設定することができる。
また、上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリスナ２３が予め定められた基準方向に向いたときにその方向を基準方向に設定するようにしたので、予め定められた方向を基準方向に自動的に設定することができる。
また、上例によれば、ヘッドホン２４はリセットスイッチ９１を有し、リスナ２３がヘッドホン２４を装着したとき、ディジタル角度検出器２８、アナログ角度検出器３８はＴＶモニタ９２の画面の正面の方向を基準方向に設定するようにしたので、ヘッドホン２４の装着により、常に映像の画面を正面に設定することができる。
また、第９図、第１１図において、ＴＶモニタ９２、１１５は、例えば、映画用スクリーンとしても良い。この場合、シネマスコープサイズ、ビスタサイズ等の複数の画面サイズを有し、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいてこの画面サイズに対応して、それぞれ、再生音像を定位させるようにしても良い。この場合、位置情報変更器９３に第１図、第７図および第８図に示した入力端子６５を設け、入力端子６５に画面サイズに基づく切り替え信号を入力するようにすればよい。
上例によれば、スクリーンは複数の画面サイズを有し、ヘッドホン２４は画面サイズに対応するようにして、スクリーンにより再生された映像に対応する方向に、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいてメモリ３５あるいはメモリ６、８、１０、１２のテーブルの種類、もしくは読み出す変化量を変えることにより、複数の再生音像が定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、スクリーンの画面サイズが変わっても、映像に対応する方向に複数の再生音像を定位させるようにすることができる。
また、第９図、第１１図において、ＴＶモニタ９２、１１５またはスクリーンは、例えば、リスナ２３の前方および後方、左方および右方に配置するようにして、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいてこの画面の映像に対応するように、それぞれ、再生音像を定位させるようにしても良い。
上例の場合には、特にゲーム機において、映像の動く方向から映像の移動に対応して、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて再生音像を定位させる用途に最適なものである。また、この再生音像の位置を双方向で定位させることができる。
更に、上述においては、リスナ２３の頭の水平面内における向きについてのみ考慮したが垂直面内および、これらと直交する面内における向きについても同様に処理することも出来る。
さらに、第４図のデータは、次にようにして得ることができる。すなわちヘッドホン２４で再生したときに好ましい再生音場となるよう、適当な室内に、必要なチャンネル数のインパルス音源とダミーヘッドマイクロホンを定められた位置に配置する。この場合のインパルスを測定する音源としてはスピーカを用いてもよい。
またダミーヘッドの各耳の収音位置に関しては、外耳道入り口から鼓膜位置までの間の何れの位置でもよいが、用いるヘッドホンの固有の特性を打ち消すための補正特性を求める位置と等しいことが要求される。
また制御信号の測定は、各チャンネルのスピーカ位置よりインパルス音を放射し、一定角度：Δθ毎にダミーヘッドの各耳に設けられたマイクロホンで収音することにより得られる。従ってある角度：θ１においては、１つのチャンネル毎に１組のインパルスレスポンスが得られることになるから、仮に５チャンネルの信号源の場合は、１つの角度毎に５組、すなわち１０種の制御信号が得られることになる。従って、これらのレスポンスにより、左右両耳間の時間差及びレベル差を表す制御信号が得られる。
また音源、音場、用いるヘッドホンの固有の特性等を打ち消すための補正特性を求める方法は以下のようにしても良い。音場のインパルスレスポンスの収音を行なったダミーヘッドマイクロホンと同一のものを用い、用いるヘッドホンをダミーヘッドに装着し、ヘッドホン入力からダミーヘッドの各耳のマイクロホン間のインパルスレスポンスの逆特性となるようなインパルスレスポンスを計算で求める。
あるいはＬＭＳアルゴリズム等の適応処理を用いてヘッドホン固有の補正値としての目標値に近づくように直接求めてもよい。具体的なヘッドホン固有の特性の補正は、オーディオ入力信号が加えられてから、ヘッドホンに信号が加えられるまでの間の任意の部分で、時間領域の処理としては求めた補正特性を表すインパルスレスポンスとの畳み込み積分を行なうことにより、またアナログ的にはＤ／Ａ変換後、逆特性のアナログフィルターを通すことにより実現できる。
またメモリ３５におけるテーブルは１組とし、アドレス制御回路３４においてそのテーブルに対するアドレスの指定を変更して複数組のテーブルがある場合と同様に制御データを得ることも出来る。
更に、テーブルのデータは、リスナ２３の一般的な頭の向きの範囲に限ってもよく、また、角度θは、例えば、θ＝０°付近では０．５°おきに設定しておき、｜θ≧４５°｜では３°おきに設定するというように、向きによって角度θの間隔を異ならせてもよい。上述したように、リスナが頭部回転の角度を識別できる角度毎でよい。更に、ヘッドホン２４の代わりに、リスナ２３の両耳の近くに配置したスピーカでもよい。
上述したいずれの例においても、入力されるオーディオ信号は、多チャンネルのステレオ等で収音されたディジタル記録された信号、およびアナログ記録された信号のどちらに対しても適応でき、またリスナ２３の頭の動きを検出する角度検出手段に関しては、ディジタル信号で出力されるもの、およびアナログ信号で出力されるもののどちらに対しても適用できる。
また、リスナ２３の頭の動きに同期させてヘッドホン２４に供給されるオーディオ信号の特性を変更するとき、リスナ２３の頭の動きに対し連続的にではなく、人間の聴覚特性に合わせ、人間の識別できる必要十分な適当な一定単位角度毎あるいは予め定められた角度毎にメモリ３５のテーブルから読みだして行なっているので、リスナ２３の頭の向きに対して必要十分な変更内容についてのみ演算を行なえば、連続的に変更をしたのと同じ効果を得ることが出来る。従って、メモリ３５の容量の節約が図れ、かつ演算の処理速度に関しても必要以上に高速演算の必要がなくなる。
また、リスナ２３の頭の回転に左右されず、常に一定方向の固定された音源からのバイノーラル特性が得られるので、極めて自然な頭外定位感が得られる。
また、メモリ３５のテーブルに従って、ディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号で表される特性を、畳み込む積分器５、７、９、１１およびメモリ６、８、１０、１２において予めインパルスレスポンスが畳み込まれたディジタル信号に対して、純電子式に補正を行ない制御しているので特性劣化が少なく、かつリスナ２３の頭の動きに対するオーディオ信号の特性の変化に遅れを生じることがないので、従来のシステムにおけるような不自然さを生じさせることはない。
また、角度θの変化に対する両耳間の時間差及び両耳間のレベル差を表す制御信号の変化量を、テーブルによって標準値よりも大きく、あるいは小さくなるようにしておくことにより、リスナ２３の頭の向きに対する音像の位置の変化量が異なるので、これによりリスナ２３から音像までの距離感などを変更したり、画面サイズに対応することができる。
また、残響回路１３、１４により必要に応じ適切な残響信号が付加されるので、あたかも有名なコンサートホールで音楽を聞いているような臨場感を得ることが出来る。
上述した例によれば、複数のリスナ２３の個々の頭部回転に応じて両耳間の時間差及び両耳間のレベル差を表す制御信号による補正を行うことにより複数のヘッドホン２４で同時に再生することができ、高価なＡ／Ｄ変換器３や、畳み込み積分器５、７、９、１１を複数のリスナ２３の数だけ用意する必要がなく、極めて安価に構成することができる。
さらに、上例において、頭部回転検出器に振動ジャイロを用いてもよい。このようにすることにより、頭部回転検出器を小型で軽量、かつ低消費電力で長寿命、しかも取扱いが簡便で安価に構成することができる。
さらに、振動ジャイロは、慣性力を利用せず、コリオリ力によって動作しているので、リスナ２３の頭部の回転中心近傍に設置する必要がなく、回転検出部のいずれの場所に取り付けてもよいので、構成および組み立てを簡単にすることができる。
以下本発明に係る映像信号及び音響信号の再生装置の他の実施例について、第１２図から第１４図に従い詳細に説明する。
本発明の実施例の映像信号及び音響信号の再生装置は、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号及び音響信号を映像を見ながらヘッドホンで再生する際に、本来スピーカで再生する場合に予め定められた位置関係に置かれるべきスピーカから音が再生されるのと同等の定位感、音場感等を、ヘッドホンで再生しても得られるようにしたものであり、特に、映像に対応する方向に、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて複数の再生音像が定位するようにしたものである。
すなわち、本発明の実施例の映像信号及び音響信号の再生装置は、ステレオ等で収音された多チャンネルであって、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号及び音響信号を、映像を見ながらヘッドホンで再生するシステムに用いるものである。特に各チャンネルに記録あるいは伝送されるディジタル化された音響信号をヘッドホン等で再生する際に、複数チャンネルの再生音像を、予め定められた収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて映像に対応する位置に定位させるようにしたものである。
第１２図において、この発明の映像信号及び音響信号の再生装置の例を示す。なお、第１２図から第１４図は、第１図、第７図および第８図に対応するものであり、ここでは第１２図から第１４図が、第１図、第７図および第８図と異なる点を説明し、共通する点の構成及び動作の説明を省略する。
この例においては、第１２図、第１３図及び第１４図のいずれにおいても、映像信号は映像信号再生装置６２に供給されると共に、位置情報抽出回路６６に供給される。位置情報抽出回路６６は、予め映像信号と共に供給される再生音像位置情報を抽出する回路である。この再生音像位置情報は、例えば映像信号再生装置６２のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置である。
位置情報抽出装置６６からの位置情報は、アドレス制御回路３４のアドレスを切り替える切替器３６に供給される。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
この実施例の映像信号及び音響信号の再生装置はこのように構成され、以下のような動作をする。入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生装置６２に供給される。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。この場合、ディジタルオーディオ信号およびアナログオーディオ信号は、それぞれ収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号から分離された音響信号である。
上例では特に、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な再生音像位置情報が位置情報抽出回路６６からアドレス制御回路３４に供給される。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。アドレス制御回路３４は切替器３６の切り替えによりアドレスを切り替えるようにする。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、再生音像位置情報または画面サイズの変更に対応して再生音像の位置を変えるように、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
これにより、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置に対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
また映像信号再生装置６２のスクリーンの画面サイズに対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２の画面サイズが切り替えられたときにも、切り替えられた画面サイズのスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
このようにして、ヘッドホン２４に供給されるオーディオ信号Ｌ，Ｒは、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは両耳間の時間差及び両耳間のレベル差を表す制御信号との補正が行なわれれるので、映像に相応して再生音像を定位させて、複数個のスピーカが仮想音源位置に置かれてスピーカで再生しているような音場感を得ることが出来る。
以下本発明に係る映像信号及び音響信号の再生装置の他の実施例について、第１５図から第２６図に従い詳細に説明する。
本発明の実施例の映像信号及び音響信号の再生装置は、音響信号を映像を見ながらヘッドホンで再生する際に、本来スピーカで再生する場合に予め定められた位置関係に置かれるべきスピーカから音が再生されるのと同等の定位感、音場感等を、ヘッドホンで再生しても得られるようにしたものであり、特に、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数の再生音像が定位するようにしたものである。
すなわち、本発明の実施例の映像信号及び音響信号の再生装置は、ステレオ等で収音された多チャンネルの音響信号を映像を見ながらヘッドホンで再生するシステムに用いるものである。特に予め定められた位置関係（例えば、リスナの前方右、前方左、中央、その他である。）に各音像を定位させる目的で各チャンネルに記録あるいは伝送されるディジタル化された音響信号をヘッドホン等で再生する際に、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数チャンネルの再生音像を定位させるようにしたものである。
第１５図において、この発明の映像信号及び音響信号の再生装置の例を示す。なお、第１５図から第１７図は、第１２図、第１３図および第１４図に対応するものであり、ここでは第１５図から第１７図が、第１２図、第１３図および第１４図と異なる点を説明し、共通する点の構成及び動作の説明を省略する。
入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生回路６７に供給される。映像信号再生回路６７は映像信号の所定の再生前処理を行い、虚像式ディスプレイ１９３に映像信号を供給する。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。
ここで、この例においては、第１５図、第１６図及び第１７図のいずれにおいても、映像信号は位置情報抽出回路６６に供給される。位置情報抽出回路６６は、予め映像信号と共に供給される再生音像位置情報を抽出する回路である。この再生音像位置情報は、例えば虚像式ディスプレイ１９３のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置である。
そして、映像信号は映像信号再生回路６７において映像信号の所定の再生前処理を経た後に、リスナ２３に装着された虚像式ディスプレイ１９３に供給される。
この実施例の映像信号及び音響信号の再生装置はこのように構成され、以下のような動作をする。入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生回路６７に供給される。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。
上例では特に、第１５図、第１６図及び第１７図のいずれにおいても、予め定められた虚像式ディスプレイ１９３のスクリーンとリスナ２３との距離や角度等の相対的な位置情報が位置情報抽出回路６６からアドレス制御回路３４に供給される。また、虚像式ディスプレイ１９３のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。アドレス制御回路３４は切替器３６の切り替えによりアドレスを切り替えるようにする。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、虚像式ディスプレイ１９３のスクリーンとリスナ２３との距離や角度等の相対的な位置、また虚像式ディスプレイ１９３のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
これにより、予め定められた虚像式ディスプレイ１９３のスクリーンとリスナ２３との距離や角度等の相対的な位置に対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば虚像式ディスプレイ１９３のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
また虚像式ディスプレイ１９３のスクリーンの画面サイズに対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば虚像式ディスプレイ１９３の画面サイズが切り替えられたときにも、切り替えられた画面サイズのスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
このようにして、ヘッドホン２４に供給されるオーディオ信号Ｌ，Ｒは、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは両耳間の時間差及び両耳間のレベル差を表す制御信号との補正が行なわれれるので、複数個のスピーカが仮想音源位置に置かれてスピーカで再生しているような音場感を得ることが出来る。
このとき、虚像式ディスプレイ１９３には、ディジタル角度検出器２８またはアナログ角度検出器３８によるリスナ２３の基準方向に対する頭部運動の情報が供給されている。従って、リスナ２３が、頭部を回転させたときに、この情報に基づいて、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された画像を、あたかも角度を変えて見ているようにして連続して変化して見えるようにしても良い。
更に、角度θの変化に対するリスナ２３の頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号の変化量を、テーブルにより標準値よりも大きく、あるいは小さくなるようにしておくことにより、リスナ２３の頭の向きに対する音像の位置の変化量が異なるので、これによりリスナ２３から音像までの距離感などを変更することが出来る。そして映像信号及び音響信号の再生装置に用いる虚像式ディスプレイの、聴取者２３の左右両眼から所定距離だけ離れた位置に投影された再生映像の画面サイズに合わせた変更も、この変化量で対応可能となる。
第１８図において、この発明の映像信号および音響信号の再生装置の他の実施例の虚像式ディスプレイの動作原理を示す。虚像式ディスプレイ１９３は、リスナ２３の右眼１８０の前方にレンズ１８２を介して液晶表示装置（以下「ＬＣＤ」という。）１８４を配置し、左眼１８１の前方にレンズ１８３を介してＬＣＤ１８５を配置し、ＬＣＤ１８４および１８５に表示された再生画像をレンズ１８２および１８３により拡大し、ＬＣＤ１８４および１８５の前方に虚像１８７が映し出されるようにして再生されるものである。
つまり、ＬＣＤ１８４および１８５に映し出された画像情報が、接眼レンズとしてのレンズ１８２および１８３を通して虚像となり、右眼１８０および左眼１８１から別々の情報として脳に入り、そこで重ね合わせて一つの像となる。ここで、両眼の生理的に安静な位置になるように両眼から１〜１．５メートル先に虚像１８７を写すように、装置に眼のより角としての輻軸角１８６を与えている。
この場合、ＬＣＤ１８４および１８５は、この発明の出願人が独自に開発したものであり、きめの細かい精細な画像を再現する、小型で高密度な、０．７インチ、１０．３万画素のＬＣＤである。このＬＣＤを右眼１８０および左眼１８１に対して各１枚ずつ、２枚のＬＣＤ１８４および１８５を採用することにより、大画面を虚像１８７として再生することができる。また、立体画像としての３Ｄモニターとしての使用も可能である。２ＤはＬＣＤ１８４および１８５に映し出された同じ画像、３Ｄは視差を持った画像とすることにより実現することができる。
また、本体の小型、軽量化を図るために、レンズ１８２および１８３には、この発明の出願人が独自に開発した小型、高倍率な矩形非球面プラスチックレンズを採用した。これにより、ＬＣＤ１８４および１８５に写る画像を拡大する際の歪みを抑え、すみずみまでシャープな映像を再生することができる。
第１９図において、この発明の映像信号及び音響信号の再生装置の他の実施例の虚像式ディスプレイの外観を示す。虚像式ディスプレイ１９３は、レンズ１８２および１８３、ＬＣＤ１８４および１８５を有するスコープ１９４をリスナ２３の左右両眼を覆うようにして配置し、アーム１９６でリスナ２３の頭部に装着するものである。この場合、額パッド１９５はリスナ２３の額を支持し、アジャスター１９７で装着の強度を調節することができる。
上例では、虚像式ディスプレイ１９３は、ヘッドホン２４とは別体である例を示したが、虚像式ディスプレイ１９３のアーム１９６とヘッドホン２４のヘッドバンド２７とが固定され、一体として構成するようにしても良い。
上例によれば、映像再生手段としての虚像式ディスプレイ１９３は、リスナ２３の左右両眼に対応する位置に左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４を有するので、左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４により、リスナ２３の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
また、上例によれば、映像再生手段としての虚像式ディスプレイ１９３は、リスナ２３の左右両眼に対応する位置に矩形非球面の左右の接眼レンズ１８２、１８３を介して左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４を有するので、左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４に写る画像を拡大して、左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４の前方であって、リスナ２３の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第２０図から第２６図にこの発明の映像信号および音響信号の再生装置の他の実施例のスピーカの配置のシミュレーションを示す。第２０図において、音響信号に伴う映像信号による映像を映し出す虚像の位置１９２の方向を正面とする。このとき、スピーカの配置のシミュレーションは、以下のようになる。まず、リスナ２３の左右の両耳２３Ｌ，２３Ｒを結ぶ直線より前方のＡの範囲にスピーカが配置されたように音像が定位する。次に、リスナ２３の左右の両耳２３Ｌ，２３Ｒを結ぶ直線上のＢの範囲にスピーカが配置されたように音像が定位する。さらに、リスナ２３の左右の両耳２３Ｌ，２３Ｒを結ぶ直線より後方のＣの範囲にスピーカが配置されたように音像が定位する。
上例によれば、音響再生手段としてのヘッドホン２４は映像信号再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向であって、リスナ２３の前方および後方に複数の再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、複数の再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。
つまり、この場合、虚像の位置１９２の映像の位置が前方であれば前方に、後方であれば後方に、左方であれば左方に、右方であれば右方に再生音像を定位させるようにするのである。また、映像が進行する場合には、映像の進行に対応して再生音像を移動させて、所定位置に定位させるようにするのである。
このとき、虚像式ディスプレイ１９３には、ディジタル角度検出器２８またはアナログ角度検出器３８によるリスナ２３の基準方向に対する頭部運動の情報が供給されている。従って、リスナ２３が、頭部を回転させたときに、この情報に基づいて、リスナ２３の左右両眼から所定距離だけ離れた虚像の位置１９２に投影された画像を、あたかも角度を変えて見ているようにして連続して変化して見えるようにしても良い。
また、このとき、ヘッドホン２４にリセットスイッチ１９０を設け、リスナ２３がこれを押すことにより、頭部回転の基準位置を設定する。また、ヘッドホン２４の内側にリセットスイッチ１９１を設け、頭部にヘッドホン２４を装着したとき、リセットがかかるようにしても良い。また、リスナ２３が予め定められた基準方向に向いたときにその方向を基準方向に設定するようにしても良い。
上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリセットスイッチ１９０を有し、リセットスイッチ１９０をオンしたときにリスナ２３が向いている方向を基準方向に設定するようにしたので、リセットスイッチ１９０の作動により任意の方向を正面に設定することができる。
また、上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリスナ２３が予め定められた基準方向に向いたときにその方向を基準方向に設定するようにしたので、予め定められた方向を基準方向に自動的に設定することができる。
また、上例によれば、ヘッドホン２４はリセットスイッチ１９１を有し、リスナ２３がヘッドホン２４を装着したとき、ディジタル角度検出器２８、アナログ角度検出器３８は虚像の位置１９２の画面の正面の方向を基準方向に設定するようにしたので、ヘッドホン２４の装着により、常に映像の画面を正面に設定することができる。上例では、ヘッドホン２４にリセットスイッチ１９０、１９１を設ける例を示したが、虚像式ディスプレイ１９３に設けるようにしても良い。
スピーカ配置のシミュレーションは、具体的には、第２１図〜第２６図に示すようになる。１チャンネルのモノラル再生用のスピーカ配置のシミュレーションは、第２１図に示すようになる。つまり、リスナ２３が位置する客席２１０の前方に、映像を映し出す虚像の位置２１１が配置される。このとき、客席２１０の前方で、虚像の位置２１１の中央にセンタースピーカＣが配置されたように再生音像が定位するように音響の再生をする。
また、２チャンネルのステレオ再生用のスピーカ配置のシミュレーションは、第２２図に示すようになる。つまり、リスナ２３が位置する客席２２０の前方に、映像を映し出す虚像の位置２２１が配置される。このとき、客席２２０の前方で、虚像の位置２２１の左方および右方に左スピーカＬおよび右スピーカＲが配置されたように再生音像が定位するように音響の再生をする。
また、３チャンネルの再生用のスピーカ配置のシミュレーションは、第２３図に示すようになる。つまり、リスナ２３が位置する客席２３０の前方に、映像を映し出す虚像の位置２３１が配置される。このとき、客席２３０の前方で、虚像の位置２３１の中央にセンタースピーカＣが配置され、虚像の位置２３１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、センタースピーカＣの付近にサブウーハスピーカＷが配置されたように再生音像が定位するように音響の再生をする。
また、４チャンネルの再生用のスピーカ配置のシミュレーションは、第２４図に示すようになる。つまり、リスナ２３が位置する客席２４０の前方に、映像を映し出す虚像の位置２４１が配置される。このとき、客席２４０の前方で、虚像の位置２４１の中央にセンタースピーカＣが配置され、虚像の位置２４１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、さらに、客席２４０の後方正面左右および、後方左右両側面にサラウンドスピーカＳが配置され、センタースピーカＣの付近にサブウーハスピーカＷが配置されたように再生音像が定位するように音響の再生をする。
また、５チャンネルの再生用のスピーカ配置のシミュレーションは、第２５図に示すようになる。つまり、リスナ２３が位置する客席２５０の前方に、映像を映し出す虚像の位置２５１が配置される。このとき、客席２５０の前方で、虚像の位置２５１の中央にセンタースピーカＣが配置され、虚像の位置２５１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、さらに、客席２５０の後方正面左および後方左側面にサラウンド左スピーカＳLが配置され、客席２５０の後方正面右および後方右側面にサラウンド左スピーカＳRが配置され、センタースピーカＣの付近にサブウーハスピーカＷが配置されたように再生音像が定位するように音響の再生をする。
上例によれば、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向であって、リスナ２３の前方中央、前方右、前方左、後方右および後方左に５チャンネルの再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方中央、前方右、前方左、後方右および後方左の５チャンネルの再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。また、更に、サブウーハチャンネルとして、低域再生音のみを再生するチャンネルを、例えばセンタースピーカ付近に設けても良い。また、８チャンネル以上でも良い。
また、前方５チャンネル、後方２チャンネルの再生用のスピーカ配置のシミュレーションは、第２６図に示すようになる。つまり、リスナ２３が位置する客席２６０の前方に、映像を映し出す虚像の位置２６１が配置される。このとき、客席２６０の前方で、虚像の位置２６１の中央にセンタースピーカＣが配置され、虚像の位置２６１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、さらに、センタースピーカＣと左スピーカＬとの間に左エキストラスピーカＬEを配置し、センタースピーカＣと右スピーカＲとの間に右エキストラスピーカＲEを配置し、客席２６０の後方左側面にサラウンド左スピーカＳLが配置され、客席２６０の後方右側面にサラウンド左スピーカＳRが配置されたように再生音像が定位するように音響の再生をする。更に、サブウーハチャンネルとして、低域再生音のみを再生するチャンネルのサブウーハスピーカＷを、例えばセンタースピーカＣ付近に設けても良い。また、８チャンネルスピーカＸを設けても良く、更に８チャンネル以上でも良い。
上例によれば、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向であって、リスナ２３の前方中央、前方右、前方左、前方右中央、前方左中央、後方右および後方左に７チャンネルの再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方中央、前方右、前方左、前方右中央、前方左中央、後方右および後方左の７チャンネルの再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。また、更に、サブウーハチャンネルとして、低域再生音のみを再生するチャンネルを、例えばセンタースピーカ付近に設けても良い。また、８チャンネル以上でも良い。
また、第２０図〜第２６図において、虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１は、例えば、光学系としてのレンズ１８２および１８３を調整することにより、シネマスコープサイズ、ビスタサイズ等の複数の画面サイズを有し、この画面サイズに対応して、それぞれ、再生音像を定位させるようにしても良い。このとき、第１５図、第１６図及び第１７図において、画面サイズに基づく切り替え信号を入力端子６５に入力するようにする。
また、虚像式ディスプレイ１９３には、ディジタル角度検出器２８またはアナログ角度検出器３８によるリスナ２３の基準方向に対する頭部運動の情報が供給されている。従って、リスナ２３が、頭部を回転させたときに、この情報に基づいて、第２１図から第２６図において、リスナ２３の左右両眼から所定距離だけ離れた虚像の位置２１１、２２１、２３１、２４１、２５１、２６１に投影された画像を、あたかも角度を変えて見ているようにして連続して変化して見えるようにしても良い。
上例によれば、虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１は複数の画面サイズを有し、ヘッドホン２４は画面サイズに対応するようにして、虚像式ディスプレイ１９３によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に、複数の再生音像が定位するように、メモリおよび畳み込み積分器５、６、７、８、９、１０、１１、１２、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１の画面サイズが変わっても、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数の再生音像を定位させるようにすることができる。
また、第２０図〜第２６図において、虚像式ディスプレイ１９３は、例えば、リスナ２３の前方および後方、左方および右方に配置するようにして、この虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１の画面の映像に対応するように、それぞれ、再生音像を定位させるようにしても良い。
また、第２０図〜第２６図において、虚像式ディスプレイ１９３は、リスナ２３を覆うようにして、リスナ２３の前方および後方、左方および右方、上方および下方に配置するようにして、このこの虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１の画面の映像に対応するように、それぞれ、再生音像を定位させるようにしても良い。
上例の場合には、特にゲーム機において、映像の動く方向から映像の移動に対応して、再生音像を定位させる用途に最適なものである。
上例によれば、映像再生手段としての虚像式ディスプレイ１９３はリスナ２３を覆うように、少なくともリスナ２３の前方および後方、右方および左方に配置され、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に任意の複数の再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方および後方、右方および左方の複数の再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。
更に、上述においては、リスナ２３の頭の水平面内における向きについてのみ考慮したが垂直面内および、これらと直交する面内における向きについても同様に処理することも出来る。
上例によれば、角度検出手段としてのディジタル角度検出器２８、アナログ角度検出器３８は、リスナ２３の基準方向に対する上方および下方の回転角度を併せて検出し、映像再生手段としての虚像式ディスプレイ１９３はリスナ２３を覆うように、少なくともリスナ２３の前方および後方、右方および左方、上方および下方に配置され、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に任意の複数の再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方および後方、右方および左方、上方および下方の複数の再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。
産業上の利用の可能性
この発明の映像信号及び音響信号の再生装置は、特に、ゲーム機において、映像の動く方向から映像の移動に対応して、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて再生音像を定位させる用途に最適なものである。また、この再生音像の位置を双方向で定位させる用途に適用することができる。
本発明は、例えば、映像を見ながらヘッドホンによる音響信号の再生を行う映像信号及び音響信号の再生装置に関する。
背景技術
従来から、リスナの両耳を覆うようにして頭部にヘッドホンを装着して、両耳から音響信号を聴取するヘッドホンによる音響信号の再生方法がある。このヘッドホンによる音響信号の再生方法は、信号源からの信号が仮にステレオ信号であっても、再生される音像がリスナの頭の中にこもる、いわゆる頭内定位の現象が生じる。
一方ヘッドホンによる音響信号の再生方式の一つにバイノーラル収音再生方式がある。このバイノーラル収音再生方式とは、以下のような方式をいう。リスナの頭部を想定したダミーヘッドの左右両耳の穴にダミーヘッド・マイクロホンと呼ばれるマイクロホンを設ける。このダミーヘッドマイクロホンにより信号源からの音響信号を収音する。このようにして収音された音響信号を、実際にリスナがヘッドホンを装着して再生すると、信号源からの音声をそのまま聞いているような臨場感が得られる。このようなバイノーラル収音再生方式によれば、収音再生音像の方向感、定位感及び臨場感などを向上させることができる。しかしながらこのようなバイノーラル再生を行うためには、音源信号としてダミーヘッド・マイクロホンで収音した、スピーカ再生用とは異なる特殊なソースとしての信号源が必要とされた。
そこで上述のバイノーラル収音再生方式を応用して、例えば一般のステレオ信号をヘッドホンにより、スピーカ再生と同じような頭部外（スピーカ位置）に定位させた再生効果を得ることが考えられ、これにより、ヘッドホンでもスピーカ再生と同じ効果が得られ、しかもヘッドホンによる外部に音をもらさない効果も得られるようになった。しかし、スピーカによるステレオ再生の場合には、リスナが頭（顔）の方向を変えても、音像の絶対的な方向及び位置は変化せず、リスナの感じる音像の相対的な方向及び位置が変化する。これに対し、ヘッドホンによるバイノーラル再生の場合には、リスナが頭（顔）の方向を変えても、リスナの感じる音像の相対的な方向及び位置は変化しない。このためバイノーラル再生であっても、リスナが頭（顔）の方向を変える場合には音場はリスナの頭の中に形成されてしまい、特に、音像をリスナの前方に定位させる、いわゆる前方定位させることが難しかった。しかも、この場合には音像が頭部上方に上昇し、特に不自然なものになりがちであった。
これに対して、特公昭４２−２２７号公報記載のヘッドホン再生方法によれば、次のようなヘッドホンによるバイノーラル再生方法が考えられている。すなわち、音像の方向感及び定位感は、左耳及び右耳の聴取する音の音量差、時間差、位相差等により決定されるので、上記公報のシステムは、左及び右チャンネルのオーディオ信号ラインに、レベル制御回路及び可変遅延回路をそれぞれ設けると共に、リスナの頭の向きを検出し、その検出信号により各チャンネルのオーディオ信号のレベル制御回路及び可変遅延回路を制御するようにしたものである。
しかし、上記特公昭４２−２２７号公報記載のヘッドホン再生方法においては、リスナの頭の向きの検出信号そのものによりモータを駆動し、このモータによりレベル制御回路及び可変遅延回路の可変抵抗器及び可変コンデンサをアナログ信号により機械的に制御しているので、リスナが頭の向きを変えてからヘッドホンに供給される各チャンネルのオーディオ信号の音量差及び時間差を変化させるまでに時間の遅れを生じてしまい、リスナの頭の動きに充分に対応できなかった。
また、上記特公昭４２−２２７号公報記載のヘッドホン再生方法においては、音量差及び時間差を変化させるとき、その変化特性は、音源とリスナとの相対的な位置関係や、リスナの頭部の形状及び耳介の形状などに基づいて決定しなければならない。すなわち、ある一つの変化特性にした場合には、音源とリスナとの位置関係が固定されてしまい、距離感、音源間距離を変化させることが出来ず、また、リスナにより頭部及び耳介の形状が異なるので、効果の程度がばらついてしまうことがあった。しかも、仮想音源位置から両耳に至る伝達関数を測定する際の音源固有の特性、および用いるヘッドホン固有の特性の補正を施す手段については述べられていなかった。特に、用いるヘッドホンによって特性が大きく違ってしまうので、再生状態が変化してしまう。また、映像信号を伴う音響信号の再生については、述べられていなかった。
更に、特公昭５４−１９２４２号公報記載の立体再生方式によれば、リスナの頭の向きとヘッドホンに供給される各チャンネルのオーディオ信号の音量差及び時間差相互の変化量の関係を連続的に求められることが記載されている。
しかし、上記特公昭５４−１９２４２号公報記載の立体再生方式においては、オーディオ信号の音量差及び時間差相互の変化量の関係を連続的に求めて、これを記憶させるためには膨大な容量のメモリを設けなくてはならず、実現が極めて困難であった。しかも、仮想音源位置から両耳に至る伝達関数を測定する際の音源固有の特性、および用いるヘッドホン固有の特性の補正を施す手段については述べられていなかった。また、映像信号を伴う音響信号の再生については、述べられていなかった。
またさらに、本発明と同一出願人による特開平０１−１１２９００号公報記載のオーディオ再生装置には、これらオーディオ信号の音量差及び時間差相互の変化量の相互の関係を連続的ではなく離散的にデータを求めて、オーディオ信号を処理する装置が記載されている。
しかし、上記特開平０１−１１２９００号公報記載のオーディオ再生装置では、アナログ、ディジタル信号処理のどちらにも適用できるような原理的な概念が示されているのみで、アナログまたはディジタル信号処理を用い、実際の商品に適用する際の具体性に欠けている。しかも、仮想音源位置から両耳に至る伝達関数を測定する際の音源固有の特性、および用いるヘッドホン固有の特性の補正を施す手段については述べられていなかった。また、映像信号を伴う音響信号の再生については、述べられていなかった。
またさらに、本発明と同一出願人による特開平０３−２１４８９７号公報記載の音響信号再生装置には、各仮想音源位置から両耳に至る伝達関数を固定し、信号処理した後に、各耳に供給される信号のレベル及び遅延時間を頭の回転角に応じて制御することにより、構成が簡単になり、大幅なメモリの節約ができることが述べられている。また、映像信号を伴う音響信号の再生については、述べられていなかった。
このように上述した従来のヘッドホン再生方法、立体再生方式、オーディオ再生装置および音響信号再生装置は、信号処理に大容量のメモリを必要とし、ディジタル信号処理でなければ実施できないにもかかわらず、その具体的な信号処理、実用化のための具体的手段、方法が示されていないので、実用化するのが困難であるという不都合があった。
また、従来のヘッドホン再生方法、立体再生方式、オーディオ再生装置および音響信号再生装置は、任意の方向、特にリスナの正面に再生音像を定位させることが難しいという不都合があった。
また、人間は、視覚情報を基にして音響信号を認識し、この視覚情報により音像の定位が影響されるにもかかわらず、従来のヘッドホン再生方法、立体再生方式、オーディオ再生装置および音響信号再生装置は、音響信号のみを対象にしていて、映像信号を伴う音響信号の再生については何も述べれていないという不都合があった。
発明の開示
本発明は、かかる点に鑑みてなされたものであり、映像に対応するように音響信号の再生音像の位置を定位させる映像信号及び音響信号の再生装置の提供を第１の目的とする。
本発明は、かかる点に鑑みてなされたものであり、仮想音源に対応するように音響信号の再生音像の位置を定位させる音響信号の再生装置の提供を第２の目的とする。
第１の発明の映像信号及び音響信号の再生装置は、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２の発明の映像信号及び音響信号の再生装置は、検出手段は、信号源からの映像信号及び音響信号とともに出力される位置情報を抽出する抽出手段を備え、抽出手段からの出力信号が制御手段に供給されるものである。これによれば、位置情報を抽出する抽出手段からの出力信号が制御手段に供給され、予め映像信号及び音響信号とともに信号源から供給された位置情報に基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により信号源から供給された位置情報に基づいて再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第３の発明の映像信号及び音響信号の再生装置は、検出手段は、聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段を備え、位置検出手段からの検出信号が制御手段に供給されるものである。これによれば、聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段からの検出信号が制御手段に供給され、聴取者の映像信号再生手段に対する相対的移動の検出信号に基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により聴取者の映像信号再生手段に対する相対的移動の検出信号に基づいて再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第４の発明の映像信号及び音響信号の再生装置は、位置検出手段は、音響信号再生手段に設けられているものである。これによれば、容易に聴取者の映像信号再生手段に対する相対的移動を検出し、映像信号再生手段により聴取者の映像信号再生手段に対する相対的移動の検出信号に基づいて再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第５の発明の映像信号及び音響信号の再生装置は、位置検出手段は、少なくとも基準方向に対する聴取者の頭部の回転情報及び基準位置に対する聴取者の頭部の接近または離隔の情報に基づいて、角度検出手段からの角度情報の座標を変更するようにしたものである。これによれば、基準方向に対する聴取者の頭部の回転情報及び基準位置に対する聴取者の頭部の接近または離隔の情報に基づいて、角度検出手段からの角度情報の座標を変更し、再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第６の発明の映像信号及び音響信号の再生装置は、位置検出手段は、少なくとも基準方向に対する聴取者の頭部の回転情報及び基準位置に対する接近または離隔の情報を、角度検出手段からの角度情報に付加することによって角度検出手段からの角度情報を変更するようにしたものである。これによれば、基準方向に対する聴取者の頭部の回転情報及び基準位置に対する聴取者の頭部の接近または離隔の情報を角度検出手段からの角度情報に付加することにより、角度検出手段からの角度情報の座標を変更し、再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第７の発明の映像信号及び音響信号の再生装置は、角度検出手段は、リセットスイッチを備えているとともに、角度検出手段はリセットスイッチがオン操作されたときに聴取者が向いている方向に基準方向が設定されるようにしたものである。これによれば、角度検出手段はリセットスイッチがオン操作されたときに聴取者が向いている方向に基準方向が設定され、この基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第８の発明の映像信号及び音響信号の再生装置は、角度検出手段には、聴取者が予め定められた基準方向に向いたときに、その方向を基準方向に設定するようにしたものである。これによれば、角度検出手段は聴取者が予め定められた基準方向に向いたときに、その方向が基準方向に設定され、この基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第９の発明の映像信号及び音響信号の再生装置は、音響信号再生手段は、リセットスイッチを備え、聴取者が音響信号再生手段を装着したときにリセットスイッチが操作されて、角度検出手段に映像信号再生手段の画面の正面方向を基準方向に設定されるものである。これによれば、音響信号再生手段はリセットスイッチを備え、聴取者が音響信号再生手段を装着したときにリセットスイッチが操作されて、角度検出手段に映像信号再生手段の画面の正面方向に基準方向が設定され、この基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第１０の発明の映像信号及び音響信号の再生装置は、この装置は、更に映像信号再生手段の表示部の大きさに基づく信号をデータとする入力手段を備え、入力手段からの信号は、アドレス信号生成手段に供給され、アドレス信号生成手段は、角度検出手段からの角度に対応した信号、検出手段からの出力信号及び入力手段によって入力されたデータに対応するアドレス信号を生成するものである。これによれば、基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成された角度検出手段からの角度に対応した信号、検出手段からの出力信号及び入力手段によって入力されたデータに対応するアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第１１の発明の映像信号及び音響信号の再生装置は、角度検出手段は、聴取者の基準方向に対する上方及び下方の回転角度をあわせて検出するとともに、音響信号再生手段は、角度検出手段によって検出された上下方向の回転角度にあわせて記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて制御手段によって補正された音響信号を再生することにより、映像信号再生手段により再生された映像に対応する方向に任意の複数の再生音像が定位するものである。これによれば、基準方向に対する聴取者の頭部の動きに対応して、角度検出手段からの聴取者の基準方向に対する上方及び下方の回転角度に対応した信号と検出手段からの出力信号とに基づいて、アドレス信号生成手段によって生成されたアドレス信号により記憶手段のアドレスを指定することによって、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて音響信号を聴取者の映像信号再生手段の仮想音源に対する相対的移動及び聴取者の頭部の運動に対してリアルタイムで補正することによって、映像信号再生手段により再生された映像に対応する方向に複数の再生音像が定位するように信号源からの音響信号を補正し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第１２の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、聴取者の頭部に装着可能であり、聴取者の両眼に対向して設けられ、聴取者の両眼から所定距離離れた位置に再生映像が投影されるものである。これによれば、角度検出手段からの角度に対応した信号に基づいて、アドレス信号生成手段のアドレス信号により記憶手段のアドレスを指定し、記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、音響信号を制御手段においてインパルスレスポンスまたは制御信号により補正し、音響信号を聴取者の頭部運動に対してリアルタイムで補正し、音響信号再生手段により制御手段で補正した音響信号を映像信号再生手段の映像信号の再生により聴取者の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数の再生音像が定位するように再生することができる。
第１３の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、聴取者の頭部に装着される頭部装着体と、頭部装着体の聴取者の両眼に対応する位置に各々配される一対の表示部を備えているものである。これによれば、映像信号再生手段は、聴取者の左右両眼に対応する位置に一対の左表示部および右表示部を有するので、左表示部および右表示部により、聴取者の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第１４の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、更に聴取者の両眼と一対の表示部との間に各々配された一対の矩形状の非球面のレンズを備えているものである。これによれば、映像信号再生手段は、聴取者の左右両眼に対応する位置に矩形非球面の左右の接眼レンズを介して左表示部および右表示部を有するので、左表示部および右表示部に写る画像を拡大して、左表示部および右表示部の前方であって、聴取者の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第１５の発明の映像信号及び音響信号の再生装置は、映像信号再生手段は、聴取者の頭部に装着される頭部装着体と、頭部装着体の聴取者の両眼に対応する位置に各々配される一対の虚像式ディスプレイユニットを備えているものである。これによれば、映像信号再生手段は、聴取者の左右両眼に対応する位置に一対の左虚像式ディスプレイユニットおよび右虚像式ディスプレイユニットを有するので、左虚像式ディスプレイユニットおよび右虚像式ディスプレイユニットにより、聴取者の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第２６の発明の映像信号及び音響信号の再生装置は、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２７の発明の映像信号及び音響信号の再生装置は、記憶手段には、聴取者の頭部の基準方向に対する仮想音源位置から聴取者の頭部の動きに対応した両耳に至るインパルスレスポンスを測定し、インパルスレスポンスを記憶し、または聴取者が識別できる角度毎に、聴取者の頭部の基準方向に対する仮想音源位置から聴取者の両耳に至る音響信号の時間差及びレベル差を測定し、測定した結果に基づいて信号源からの音響信号の時間差及びレベル差を表す制御信号が記憶されている。これによれば、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に制御信号を読み出して信号源からの音響信号を補正するとともに、検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される制御信号を変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２８の発明の映像信号及び音響信号の再生装置は、この装置は、更に記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出すために記憶手段に供給するアドレス信号を生成するアドレス信号生成手段を備えているものである。これによれば、角度検出手段からの聴取者の角度情報に基づいて、アドレス信号生成手段から記憶手段にアドレス信号を供給し、記憶手段から選択的にインパルスレスポンスまたは制御信号を読み出して信号源からの音響信号を補正するとともに、検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出されるインパルスレスポンスまたは制御信号を変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第２９の発明の映像信号及び音響信号の再生装置は、検出手段は、信号源からの映像信号及び音響信号とともに出力される位置情報を抽出する抽出手段を備え、抽出手段からの出力信号が制御手段に供給されるものである。これによれば、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの信号源の映像信号及び音響信号とともに出力される位置情報を抽出する抽出手段からの出力信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第３０の発明の映像信号及び音響信号の再生装置は、検出手段は、聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段を備え、位置検出手段からの検出信号が制御手段に供給されるものである。これによれば、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
第３１の発明の映像信号及び音響信号の再生装置は、位置検出手段は、音響信号再生手段に設けられているものである。これによれば、容易に聴取者の映像信号再生手段に対する相対的移動を検出し、角度検出手段からの聴取者の角度情報に基づいて、記憶手段から選択的に補正データを読み出して信号源からの音響信号を補正するとともに、検出手段からの聴取者の頭部に装着されて聴取者の映像信号再生手段に対する相対的移動を検出する位置検出手段からの検出信号に基づいて角度検出手段からの聴取者の角度情報に基づいて記憶手段から読み出される補正データを変更し、映像信号再生手段により再生された映像に対応する位置に複数の再生音像が定位するように、制御手段で補正された音響信号を再生することができる。
【図面の簡単な説明】
第１図はこの発明の映像信号及び音響信号の再生装置の一実施例のブロック図である。
第２図はこの発明の映像信号及び音響信号の再生装置の一実施例のディジタル角度検出器の構成を示す図である。
第３図はこの発明の映像信号及び音響信号の再生装置の一実施例のアナログ角度検出器の構成を示す図である。
第４図はこの発明の映像信号及び音響信号の再生装置の一実施例のインパルスレスポンスのテーブルデータを示す図である。
第５図はこの発明の映像信号及び音響信号の再生装置の一実施例のインパルスレスポンスの測定を説明する図である。
第６図はこの発明の映像信号及び音響信号の再生装置の一実施例の制御データのテーブルデータを示す図である。
第７図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第８図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第９図はこの発明の映像信号及び音響信号の再生装置の一実施例のスピーカ配置のシミュレーションを示す図である。
第１０図はこの発明の映像信号及び音響信号の再生装置の一実施例の音響信号および映像信号の収録および再生を示すブロック図である。
第１１図はこの発明の映像信号及び音響信号の再生装置の一実施例の再生音像の位置を説明する図である。
第１２図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１３図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１４図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１５図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１６図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１７図はこの発明の映像信号及び音響信号の再生装置の他の実施例のブロック図である。
第１８図はこの発明の映像信号及び音響信号の再生装置の他の実施例の虚像式ディスプレイの動作原理を示す図である。
第１９図はこの発明の映像信号及び音響信号の再生装置の他の実施例の虚像式ディスプレイの外観を示す図である。
第２０図はこの発明の映像信号及び音響信号の再生装置の他の実施例のスピーカの配置のシミュレーションを示す図である。
第２１図はこの発明の映像信号及び音響信号の再生装置の他の実施例の１チャンネルモノラル再生用のスピーカ配置のシミュレーションを示す図である。
第２２図はこの発明の映像信号及び音響信号の再生装置の他の実施例の２チャンネルステレオ再生用のスピーカ配置のシミュレーションを示す図である。
第２３図はこの発明の映像信号及び音響信号の再生装置の他の実施例の３チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
第２４図はこの発明の映像信号及び音響信号の再生装置の他の実施例の４チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
第２５図はこの発明の映像信号及び音響信号の再生装置の他の実施例の５チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
第２６図はこの発明の映像信号及び音響信号の再生装置の他の実施例の前方５チャンネル、後方２チャンネル再生用のスピーカ配置のシミュレーションを示す図である。
発明を実施するための最良の形態
以下本発明に係る映像信号及び音響信号の再生装置の一実施例について、第１図から第１１図に従い詳細に説明する。
本発明の実施例の映像信号及び音響信号の再生装置は、再生音像位置情報を有する映像信号及び音響信号を映像を見ながらヘッドホンで再生する際に、本来スピーカで再生する場合に予め定められた位置関係に置かれるべきスピーカから音が再生されるのと同等の定位感、音場感等を、ヘッドホンで再生しても得られるようにしたものであり、特に、映像に対応する方向に、再生音像位置情報に基づいて複数の再生音像が定位するようにし、しかも、この再生音像の位置情報の座標を変更するようにしたものである。
すなわち、本発明の実施例の映像信号及び音響信号の再生装置は、ステレオ等で収音された多チャンネルであって、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号及び音響信号を、映像を見ながらヘッドホンで再生するシステムに用いるものである。特に各チャンネルに記録あるいは伝送されるディジタル化された音響信号をヘッドホン等で再生する際に、複数チャンネルの再生音像を、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて映像に対応する位置に定位させるようにし、しかも、この再生音像の位置情報の座標を変更するようにしたものである。
第１図において、この発明の映像信号及び音響信号の再生装置の例を示す。なお、ここでは入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生装置６２に供給される。
符号１は映像を含むディジタルオーディオディスク（例えば光学ビデオディスク）やディジタル衛星放送等の多チャンネルのディジタルステレオ信号源を示す。符号２はアナログレコード、アナログ放送等のアナログステレオ信号源を示す。ここで、分離回路６１から供給される音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。ディジタルステレオ信号源１およびアナログステレオ信号源２は、供給される音響信号からそれぞれＬ，Ｒ２チャンネルのディジタル音響信号およびアナログ音響信号に分離するか、または４〜７チャンネルのディジタル音響信号およびアナログ音響信号を生成する。
ディジタルステレオ信号源１およびアナログステレオ信号源２から供給されるディジタル音響信号およびアナログ音響信号は、いずれも再生音像位置情報を有する映像信号から分離されたものである。映像信号は収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有するものである。符号３はこれらアナログ音響信号をディジタル音響信号に変換するためのＡ／Ｄ変換器である。
このような、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する音響信号を生成する手段としては、例えば、本出願人と同一出願人および同一発明者による平成３年１１月２６日特許出願の「収録方式および再生方式」がある。
その構成は、第１０図において示すように、第１の音源１００に対してこの音を収音するマイクロホン１０４と、マイクロホン１０４の位置および第１の音源１００の音源位置またはいずれか一方の位置を示す位置情報検出装置１０３を有する。また、第２の音源１０１に対してこの音を収音するマイクロホン１０６と、マイクロホン１０６の位置および第２の音源１０１の音源位置またはいずれか一方の位置を示す位置情報検出装置１０５を有する。これらの音響信号と対応する位置信号とをそれぞれマルチプレクサ１０９、１１０において多重化し、それぞれ対応する音響信号と位置信号とを同じチャネルに多重化記録する。この際の音響信号と位置信号との多重化は、周波数多重化、時分割多重化、あるいはその他の多重化方式を用いても良い。
さらに、他の音源１０２に対してこの音を収音するマイクロホン１０７、１０８が設けられている。マルチプレクサ１０９、１１０の出力およびマイクロホン１０７、１０８の出力は、収録信号処理記憶装置１１２に供給される。この収録信号処理記憶装置１１２において、音響信号と位置信号とが同じ音声チャンネルにマルチプレクシングされた状態で記録される。
また、マイクロホン１０４、１０６、１０７、１０８による収音と同時に、カメラ１１１により音源１００、１０１、１０２を含む風景を撮像し、この映像信号も収録信号処理記憶装置１１２において記録する。収録信号処理記憶装置１１２に記憶された各信号は、編集装置１１３を介して、音および映像再生装置１１４により再生される。このように、位置情報をも音響信号と対応して同じチャンネルに多重化記録するので、再生時において、再生装置により位置を考慮した再生が可能となり、再生画像内の音源位置に実音像を生成する。なお、第１０図に示す音および映像再生装置１１４は、第１図に示す映像信号及び音響信号の再生装置に対応する。
また、第１０図において、収音したい個々の、例えばＮ個の音源に対して独立にマイクロホンを設置し、そのマイクロホンの内、位置情報が必要なＭ個（ただし、Ｎ＞Ｍとする。）のマイクロホンの位置情報を、音声信号チャンネルとは独立のチャンネルに同時出力するようにしても良い。
また、この場合の位置情報は、絶対位置情報であっても、あるいは、例えば、音場における予め定めた基準位置に対する相対位置情報であっても良い。更に、この位置情報は、直角座標系ではなく、例えば、極座標系でも良い。
第１図において、このＡ／Ｄ変換器３は多チャンネルの場合にはチャンネル数だけ設けられる。符号４は切替器であり、ディジタルで入力された信号もアナログで入力された信号も同等に、かつ一定のサンプリング周波数および量子化ビット数で表されるディジタル信号として扱われる。ここでは、２チャンネルの切り替えのみを示したが、多チャンネルの場合にも同様にチャンネル数だけ設けられる。
これらのディジタル信号列のうち左のディジタル信号Ｌは、畳み込み積分器５に供給される。ここでは、畳み込み積分器５に付属するメモリ６には、リスナ２３の現在頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る一定のサンプリング周波数および量子化ビット数で表されるディジタル記録された一組のインパルスレスポンスが記憶されている。ディジタル信号列は、畳み込み積分器５において、このメモリ６より読み出されたインパルスレスポンスとリアルタイムで畳み込み積分される。また、畳み込み積分器７およびメモリ８は右のディジタル信号Ｒのクロストーク成分を供給する。
上記と同様に右のディジタル信号Ｒは、畳み込み積分器１１に供給される。ここでは、畳み込み積分器１１に付属するメモリ１２には、リスナ２３の現在頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る一定のサンプリング周波数および量子化ビット数で表されるディジタル記録された一組のインパルスレスポンスが記憶されている。ディジタル信号列は、畳み込み積分器１１において、このメモリ１２より読み出されたインパルスレスポンスとリアルタイムで畳み込み積分される。また、畳み込み積分器９およびメモリ１０は左のディジタル信号Ｌのクロストーク成分を供給する。
また、畳み込み積分器７、メモリ８、畳み込み積分器１１、メモリ１２においても上述と同様にインパルスレスポンスと畳み込み積分が行なわれる。このように、畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２においてインパルスレスポンスと畳み込み積分が行なわれたディジタル信号列は、加算器１５、１６にそれぞれ供給される。加算器１５、１６で加算された２チャンネルのディジタル信号は補正回路１７、１８により、用いる音源およびヘッドホン固有の特性等を除くように補正され、Ｄ／Ａ変換器１９、２０でアナログ信号に変換され、電力増幅器２１、２２で増幅された後に、ヘッドホン２４に供給される。
上例では、メモリ６、８、１０、１２にインパルスレスポンスが記憶されている例を示したが、第７図に示すように構成しても良い。なお、ここでは音響信号の処理のみを示すが、映像信号の処理は第１図に示したものと同様であるので、その説明を省略する。つまり、畳み込み積分器５、７、９、１１に付属するメモリ６、８、１０、１２に、基準方向に対して固定された頭部の、仮想音源位置から両耳に至る一対のディジタル記録されたインパルスレスポンスを記憶させる。ディジタル信号列はこのインパルスレスポンスとリアルタイムで畳み込み積分される。メモリ３５には、頭部の基準方向に対する仮想音源位置から両耳に至る両耳間の時間差、レベル差を表す制御信号を記憶させる。
そして、この畳み込み積分された各チャンネルのディジタル信号の各々に対して、更に検出された基準方向に対する頭部運動を、一定単位角度毎あるいは予め定められた角度毎に、方向を含む大きさを表すディジタルアドレス信号に変換し、このアドレス信号により予めメモリ３５に記憶された制御信号を読みだし、制御装置５０、５１、５２、５３において、リアルタイムで補正し、変更するようにして、その結果を加算器１５、１６に供給するようにしても良い。
また、第８図に示すように、このインパルスレスポンスとリアルタイムで畳み込み積分されたディジタル信号列を加算器１５、１６に供給し、加算器１５、１６からの２チャンネルのディジタル信号に対して、更に検出された基準方向に対する頭部運動を、一定単位角度毎あるいは予め定められた角度毎に、方向を含む大きさを表すディジタルアドレス信号に変換し、このアドレス信号により予めメモリ３５に記憶された制御信号を読みだし、制御装置５４、５６において、リアルタイムで補正し、変更するようにしても良い。なお、ここでも音響信号の処理のみを示すが、映像信号の処理は第１図に示したものと同様であるので、その説明を省略する。
ここで、第７図及び第８図において、制御装置５０、５１、５２、５３、５４、５６としては、可変遅延装置と可変レベル制御器、あるいは多バンドに分割されたグラフィックイコライザ等の周波数帯域毎のレベル制御器との組み合わせで構成することができる。また、メモリ３５に記憶されている情報は、リスナ２３の頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る両耳間の時間差及びレベル差等を表すインパルスレスポンスでも良い。この場合には、上述の制御装置は、ＩＩＲ、あるいはＦＩＲの可変ディジタルフィルターで構成すれば良い。このようにして制御装置により、空間情報が与えられる。
第１図、第７図及び第８図において、補正回路１７、１８により、用いる音源及びヘッドホンの固有の特性が補正され、かつ頭部の動きに対して変化の与えられたディジタル信号はＤ／Ａ変換器１９、２０でアナログ信号に変換され、電力増幅器２１、２２で増幅された後に、ヘッドホン２４に供給される。
この場合、用いる音源及びヘッドホンの固有の特性を補正する補正回路１７、１８は、アナログ信号処理、ディジタル信号処理のいずれでも良く、ワイヤレスタイプのヘッドホンの場合にはヘッドホン本体内部に設けるようにしてもよい。また、この補正回路１７、１８は、必ずしもヘッドホン本体に設けなくとも良く、例えば、ヘッドホンのコードに設けても良く、装置本体とヘッドホンのコードとを接続するコネクター部以降のいずれに設けても良い。さらに、本体内部の制御装置以降に設けても良い。
ここで、ディジタル角度検出器２８はリスナ２３の頭部の動きを検出するものであり、第２図において、ディジタル角度検出器２８の詳細な構成が示されている。第２図では、そのディジタル角度検出器２８として地磁気の水平分力を利用する場合が示されている。第２図においては、角度検出信号をディジタル信号として取り出す例が示されている。
まず、基準方向に対するリスナ２３の頭部運動を、一定単位角度毎あるいは、予め定められた角度毎に離散的情報として取り出す例として、頭部中央位置にロータリーエンコーダー３０が、その入力軸が垂直となるように設けられていると共に、その入力軸に、磁針２９が設けられている。従って、ロータリーエンコーダー３０からは、磁針２９の示す南北方向を基準として、リスナ２３の方向を含む頭の動きを示す出力が取り出される。このロータリーエンコーダー３０はヘッドホン２４のヘッドバンド２７に取り付けたが、ヘッドバンド２７から独立した取り付け装置上に設けても良い。
そして、第１図において、このディジタル角度検出器２８のロータリーエンコーダー３０の出力が検出回路３１、３２に供給され、検出回路３１からは、リスナ２３が頭を時計方向に回したときと、反時計方向に回したときで、「０」または「１」に変化する方向信号Ｓｄが取り出され、検出回路３２からは、リスナ２３が頭の向きを変えたとき、その変えた角度に比例した数のパルスがＰａ、例えば、２度変化する毎に１つのパルスＰａが出力される。
そして、信号Ｓｄが、アップダウンカウンタ３３のカウント方向入力Ｕ／Ｄに供給されると共に、パルスＰａがアップダウンカウンタ３３のクロック入力（カウント入力）ＣＫに供給され、そのカウント出力がリスナ２３の頭の向きと大きさを表すディジタルアドレス信号に変換され、アドレス制御回路３４を通じてメモリ６、８、１０、１２にアドレス信号として供給される。
そしてメモリ６、８、１０、１２内のテーブルの該当するアドレスから、予め、メモリ６、８、１０、１２に記憶されているリスナ２３の頭部の基準方向に対する仮想音源位置からリスナ２３の両耳に至るディジタル記録されたインパルスレスポンスが読み出され、同時に畳み込み積分器５、７、９、１１において、各チャンネルのディジタル化された音響信号とこのインパルスレスポンスとの畳み込み積分が行われ、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行われる。
一方、符号３８はアナログ角度検出器を示すものであり、その詳細な構成は第３図に示されている。第３図では、角度検出出力をアナログ信号として取り出す例が示されている。リスナ２３の頭部中央にＣＤＳやフォトダイオード等の光の強さにより抵抗値が変化する受光素子からなる受光器４１が取り付けられている。この受光器４１と対向して電球や発光ダイオード等の発光器３９が設けられていて、この発光器３９により一定の強さの光を受光器４１に向けて照射するようになっている。
その際、この発光器３９の投射光の通路間に回転角度により投射光の透過度が変化するような可動シャッター４０が設けられており、この可動シャッター４０は磁針２９と共に回転するようになっている。従って、受光器４１に一定の電流を流すとき、受光器４１の受光素子両端の電圧は磁針２９の示す南北方向を基準として、リスナ２３の方向を含む頭の動きを示すアナログ出力が取り出される。このアナログ角度検出器３８は、ヘッドホン２４のヘッドバンド２７に取り付けたが、ヘッドバンド２７から独立した装置上に設けても良い。
第１図において、アナログ角度検出器２８のアナログ出力は増幅器４２で増幅された後に、Ａ／Ｄ変換器４３に加えられ、このディジタル出力は切替器４４を介してアドレス制御回路３４に供給される。アドレス制御回路３４では基準方向に対するリスナ２３の頭部運動を一定角度あるいは予め定められた角度毎の方向を含む大きさを表すディジタルアドレス信号を生成し、メモリ６、８、１０、１２にアドレス信号として供給される。
そして、第１図においては、メモリ６、８、１０、１２内のテーブルの該当するアドレスから、予めメモリ６、８、１０、１２に記憶されているリスナ２３の頭部の基準方向に対する仮想音源位置からリスナ２３の両耳に至るディジタル記録されたインパルスレスポンスが読みだされ、畳み込み積分器５、７、９、１１により各チャンネルのディジタル化された音響信号と畳み込み積分され、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行なわれる。
また、第７図においては、メモリ３５内のテーブルの該当するアドレスから、予めメモリ３５に記憶されているリスナ２３の頭部の基準方向に対する仮想音源位置からリスナ２３の両耳に至るディジタル記録された両耳間の時間差及びレベル差等を表す制御信号が読みだされ、畳み込み積分器５、７、９、１１および付属するメモリ６、８、１０、１２によりインパルスレスポンスとの畳み込み積分がおこなわれた各チャンネルのディジタル化された音響信号と、制御装置５０、５１、５２、５３において、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行なわれる。第８図においては、加算器１５、１６により加算された２チャンネルのディジタル音響信号と、制御装置５４、５６において、現在、リスナ２３の頭部が向いている方向の補正がリアルタイムで行なわれる。この場合、制御信号は上述と同様である。
今、第４図にメモリ６、８、１０、１２内のテーブルデータを示す。すなわち第５図に示すように、リスナ２３の前方に左前方及び右前方のスピーカ４５Ｌ、４５Ｒが配置されている場合、この左および右のスピーカ４５Ｌ、４５Ｒの設置位置から、リスナ２３の両耳に至るインパルスレスポンスとして
ここで、ｈmn（ｔ）はｍスピーカ位置から、ｎ耳に至るインパルスレスポンスであり、IImn（ω）はｍスピーカ位置から、ｎに至る伝達関数であり、ωは角周波数２πｆであり、ｆは周波数である。
一方、第６図に、メモリ３５内のテーブルの制御信号の制御データの一例を示す。この制御データは、第７図および第８図に示した制御装置に供給されるものである。すなわち、メモリ３５に記憶された制御信号のテーブルには、両耳間の時間差：ΔＴIJ（θ）及び両耳間のレベル差：ΔＬIJ（θ）が記憶されている（ただし、ＩＪ＝ＬＬ，ＬＲ，ＲＬ，ＲＲ，・・・）。これらの制御信号は上述した制御装置５０〜５４、５６に供給される。
これらの制御装置５０〜５４、５６は可変遅延装置と可変レベル制御器、あるいは多バンドに分割されたグラフィックイコライザ等の周波数帯域毎のレベル制御器との組み合わせで構成することができる。また、メモリ３５に記憶されている情報は、リスナ２３の頭部が向いている方向の、頭部の基準方向に対する、仮想音源位置から両耳に至る両耳間の時間差及びレベル差等を表すインパルスレスポンスでも良い。メモリ３５に記憶される内容は、制御装置５０〜５４、５６に対応したデータ構造を有している。この場合には、上述の制御装置は、ＩＩＲ、あるいはＦＩＲの可変ディジタルフィルターで構成すれば良い。
この場合の両耳間の時間差及び両耳間のレベル差を表す制御信号を測定する音源としてはスピーカを用いてもよい。またリスナ２３の各耳の収音位置に関しては、外耳道入り口から鼓膜位置までの間の何れの位置でもよい。
だだし、この位置は、後で述べる、用いるヘッドホンの固有の特性等を打ち消すための補正特性を求める位置と等しいことが要求される。
このようなインパルスレスポンスを考えたとき、角度：θを単位角度毎に、例えば２°ずつ変化させたときのディジタル記録したインパルスレスポンスがメモリ３５のテーブルの１番地毎に書き込まれている。この角度は、リスナ２３が頭部を回転させたときに、左右両耳で頭部の回転した角度を識別できる角度毎にする。
また、ヘッドホン２４のヘッドバンド２７上には、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置を検出する位置検出器６３が設けられている。この位置検出器６３は、例えば、映像信号再生装置６２のスクリーンからの漏洩磁束を検出する三次元的に配された３つの検出コイルや、速度または加速度ピックアップ等を用いることができる。また、位置情報の検出は、例えば、基準位置で校正された三次元の位置検出を行うジャイロスコープの出力を用いる方法、衛星（ＧＰＳ）等の衛星電波を用いる方法、複数個の超音波発音源からの距離を測定する方法を用いても良い。
位置検出器６３からの位置検出信号は検出回路６４に供給される。検出回路６４は位置検出器６３からの位置検出信号に基づいて、アドレス制御回路３４のアドレスを切り替える制御信号を切替器３６に供給する。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
なお第１図、第７図および第８図において、符号３７はセンターリセットスイッチであり、これをオンしたとき、アップダウンカウンタ３３の値は“オール０”にリセットされ、このときメモリ６、８、１０、１２、３５のテーブルはθ＝０のアドレスが選択される。つまり、このセンターリセットスイッチ３７がオンされると、リスナ２３が現在向いている方向が音源の正面方向とされる。
この実施例の映像信号及び音響信号の再生装置はこのように構成され、以下のような動作をする。入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生装置６２に供給される。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。多チャンネルディジタルステレオ信号源１からのディジタルオーディオ信号、あるいは多チャンネルアナログステレオ信号源２に入力されたアナログオーディオ信号をＡ／Ｄ変換器３によりディジタル信号に変換した各チャンネルのオーディオ信号が、切替器４で選択される。
この場合、ディジタルオーディオ信号およびアナログオーディオ信号は、それぞれ映像信号から分離された音響信号である。また、音響信号は収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する。ここで、第１図の場合は、ディジタル信号列は、畳み込み積分器５、７、９、１１において、メモリ６、８、１０、１２より読み出されたインパルスレスポンスとリアルタイムで畳み込み積分され、加算器１５、１６に供給される。以下、第７図、第８図においても同様とする。
第７図の場合は、畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２により予めインパルスレスポンスとの畳み込み積分器を行なった各チャンネルのディジタル化された音響信号は、制御装置５０、５１、５２、５３において、メモリ３５より読み出された制御信号により補正され、変更され、加算器１５、１６に供給される。
第８図の場合は、加算器１５、１６からの２チャンネルのディジタル信号は制御装置５４、５６において、メモリ３５より読み出された制御信号により補正され、変更される。この２チャンネルのディジタル信号はＤ／Ａ変換器１９、２０でアナログ信号に変換され、電力増幅器２１、２２で増幅された後に、ヘッドホン２４に供給される。
このようにしてヘッドホン２４を装着したリスナ２３は音響信号を聴取することができる。そして、ディジタル角度検出器２８およびアナログ角度検出器３８においてリスナ２３の基準方向に対する頭部運動を一定角度あるいは予め定められた角度毎に検出し、アドレス制御回路３４において方向を含む大きさを表すディジタルアドレス信号に変換する。
このアドレス信号により予めメモリ３５に記憶されている頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは制御信号を読み出す。畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６において、このインパレスレスポンスまたは制御信号と音響信号とをリアルタイムで補正し変更する。
この畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６、加算器１５、１６により、音場としての空間情報を持った両耳への２チャンネルのディジタル信号に変換され、補正回路１７、１８により、用いる音源及びヘッドホンの特性等が補正され、電力増幅器２１、２２で電力増幅された後、ヘッドホン２４に供給される。これにより、あたかもその仮想音源位置に置かれたスピーカから再生音が聞こえるような再生効果を実現することができるものである。
上例では特に、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置を検出する位置検出器６３からの位置検出信号が検出回路６４に供給される。検出回路６４は位置検出器６３からの位置検出信号に基づいて、アドレス制御回路３４のアドレスを切り替える制御信号を切替器３６に供給する。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
これにより、映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置に対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
また映像信号再生装置６２のスクリーンの画面サイズに対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２の画面サイズが切り替えられたときにも、切り替えられた画面サイズのスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
上例では、位置検出器６３からの位置情報によりアドレス制御回路３４の切替器３６を切り替え、メモリ内のテーブルを読み出す相対アドレスを変えることにより、音場位置を動かすようにする例を示したが、メモリ内のテーブルを予め複数個用意しておき、位置検出器６３からの位置情報により位置情報が変更されたときのインパルスレスポンスまたは制御信号を読み出し、時間とレベルを変えることにより、あたかも位置が変わったようにリスナ２３に認識させるようにしても良い。
上例の第１図、第７図および第８図ではリスナ２３が単数の場合のみを示したが、リスナ２３が複数人いる場合には、第７図の畳み込み演算器５、７、９、１１以降を端子により分岐し、または、第８図の加算器１５、１６以降を端子により分岐するようにしても良い。
この場合、畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２において空間情報を持ったディジタル信号に補正された後で、個々のリスナの頭部回転に応じて信号処理を行えば良く、高価なＡ／Ｄ変換器３や畳み込み積分器５、７、９、１１を人数分用いる必要がない。
これにより、ヘッドホン２４、ディジタル角度検出器２８、および角度検出の信号処理のための検出回路３１、３２、アップダウンカウンタ３３、アドレス制御回路３４、メモリ３５、制御装置５０〜５３、５４、５６をリスナの数だけ用意すれば良く、安価に複数のリスナに対して同時に音響信号を供給することができる。
そして、この場合、リスナ２３が頭を動かすと、ディジタル角度検出器２８またはアナログ角度検出器３８により、その向きに従ったディジタル信号、またはアナログ信号が得られ、これによりその信号はリスナ２３の頭の向きに従った値となる。この値がアドレス制御回路３４を通じてメモリ３５にアドレス信号として供給される。
メモリ３５からは、第４図のテーブルに対応したデータのうち、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは第６図に示した両耳間の時間差及び両耳間のレベル差を表す制御信号が取りだされ、このデータが畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６に供給される。
アナログ角度検出器３８を用いた場合では、この出力が増幅器４２で増幅された後、Ａ／Ｄ変換器３３によりリスナ２３の頭の向きに従ったディジタル信号に変換され、アドレス制御回路３４を通じてメモリ３５にアドレス信号として供給され、ディジタル角度検出器２８の場合と同様にしてリスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは第６図に示した両耳間の時間差及び両耳間のレベル差を表す制御信号が取りだされ、このデータが畳み込み積分器５、７、９、１１、メモリ６、８、１０、１２または制御装置５０、５１、５２、５３、５４、５６に供給される。
ここで、補正回路１７、１８は、音源、音場および用いるヘッドホン特有の補正特性のいずれか一つまたは複数の組み合せ、またはすべてを有するものである。従って、これらの補正を含むディジタル信号処理を一度で実行するので、リアルタイムで信号処理をすることができる。
このようにして、ヘッドホン２４に供給されるオーディオ信号Ｌ，Ｒは、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは両耳間の時間差及び両耳間のレベル差を表す制御信号との補正が行なわれれるので、複数個のスピーカが仮想音源位置に置かれてスピーカで再生しているような音場感を得ることが出来る。
更にメモリ３５のテーブルにディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号が取りだされ、このデータが畳み込み積分器５、７、９、１１およびメモリ６、８、１０、１２により予め畳み込まれたディジタル信号に対して、制御装置５０、５１、５２、５３で補正するように、純電子的に供給されるので、リスナ２３の頭の向きに対するオーディオ信号の特性の変化に遅れを生じることがなく、不自然さを生じることはない。
なおこの時、残響回路１３、１４による残響信号もヘッドホン２４に供給されるので、リスニングルームやコンサートホールにおける広がり感が付加され、優れたステレオ音場感を得ることができる。
また、上例では、ヘッドホン２４に信号線を介して直接接続する例を示したが、第７図の畳み込み演算器５、７、９、１１以降に変調器および送信機を設け、ヘッドホン２４側に受信機および復調器を設け、受信機および復調器により受信し、または、第８図の加算器１５、１６以降に変調器および送信機を設け、ヘッドホン２４側に受信器および復調器を設け、受信機および復調器により受信して、ワイヤレスで再生するようにしても良い。
更に、角度θの変化に対するリスナ２３の頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号の変化量を、テーブルにより標準値よりも大きく、あるいは小さくなるようにしておくことにより、リスナ２３の頭の向きに対する音像の位置の変化量が異なるので、これによりリスナ２３から音像までの距離感などを変更したり、画面サイズに対応することが出来る。
また、残響回路１３、１４による残響信号を付加していると共に、この残響信号はホールの壁などによる反射音や残響音の様に聞こえるので、あたかも有名なコンサートホールで音楽を聞いているかの様な臨場感を得ることが出来る。
第１１図において再生音像の位置を示す。第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報により音像の指向性が制御され、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９に対応する各音源を指向するように方向制御される。これにより、ＴＶモニタ１１５の画面１１６の音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
このとき、第９図に示すように、例えば、ヘッドホン２４の内側に位置情報変更器９３を設け、ヘッドホン２４をリスナ２３が装着すると、スイッチがオンになり、リスナ２３が、基準方向に対して回転し、または基準位置に対して近づいたり離れたりすると、これに伴い、第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報の座標を変更することができる。つまり、第１１図において、ＴＶモニタ１１５の画面１１６の変更された音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された変更された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
ここで、第９図および第１１図において示した、ヘッドホン２４の内側に設けられた位置情報変更器９３は、第１図、第７図および第８図において示した位置検出器６３および検出回路６４に対応するものである。また、第９図および第１１図において示したＴＶモニタ９２、１１５は、第１図、第７図および第８図において示した映像信号再生装置６２に対応するものである。
上述において、基準方向および基準位置はＴＶモニタ９２に対応させても良く、任意に変更しても良い。この位置情報変更器９３は、簡単な入力装置、例えばパソコンでも良い。
また、位置情報変更器９３は、第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報の座標のうちの特定の一部を変更して、変更した位置情報を元の位置情報に付加するようにしても良い。
上例によれば、角度検出手段としてのディジタル角度検出器２８およびアナログ角度検出器３８からの角度に対応した信号に基づいて、アドレス信号変換手段としてのアドレス制御回路３４のアドレス信号により記憶手段としてのメモリ６、８、１０、１２またはメモリ３５のアドレスを指定し、記憶手段としてのメモリ６、８、１０、１２またはメモリ３５に記憶されたインパルスレスポンスまたは制御信号を読み出し、音響信号を制御手段としての畳み込み積分器５、７、９、１１、または制御装置５０、５１、５２、５３、５４、５６においてインパルスレスポンスまたは制御信号により補正し、音響信号を上記一人または複数の聴取者２３の頭部運動に対してリアルタイムで補正し、音響再生手段としてのヘッドホン２４において映像再生手段としての映像信号再生装置６２、ＴＶモニタ９２、１１５により再生された映像に対応する位置に、収音時のマイクロホン１０４、１０６、１０７、１０８の位置および音源１００、１０１、１０２の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて複数の再生音像が定位するように、制御手段としての畳み込み積分器５、７、９、１１、または制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生し、再生音像位置情報変更手段としての位置情報変更器９３により聴取者２３の頭部の動きに対応して、再生音像位置情報の座標を変えるようにして、双方向で再生音像を定位させることができる。
また、上例によれば、再生音像位置情報変更手段としての位置情報変更器９３は、少なくとも基準方向に対する回転情報および基準位置に対する接近または離隔の情報に基づいて、再生音像位置情報の座標を変更するようにしたので、聴取者が移動することによって、再生音像の座標を移動させることができる。
また、上例によれば、再生音像位置情報変更手段としての位置情報変更器９３は、少なくとも基準方向に対する回転情報および基準位置に対する接近または離隔の情報を、再生音像位置情報の座標に付加して変更するようにしたので、聴取者が移動することによって、一部の再生音像の座標を移動させることができる。
また、第１０図において示した位置情報検出装置１０３、１０５によるマイク位置情報および音源位置情報により音像の指向性を制御し、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９の位置に複数の再生音像が一対一に対応して定位するようにしてもよい。
これにより、ＴＶモニタ１１５の画面１１６の音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
上例によれば、ヘッドホン２４は、収音時の複数のマイクロホン１０４、１０６、１０７、１０８の位置および複数の音源１００、１０１、１０２の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて、ＴＶモニタ９２、１１５により再生された映像の複数の被写体１１７、１１８、１１９の位置に複数の再生音像が一対一に対応して定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、再生された映像の複数の被写体１１７、１１８、１１９の位置から、あたかもその音が発せられるように実音像を形成することができる。
また、第１０図において、映像信号による映像は、音源１００、１０１、１０２を含むものであり、位置情報検出装置１０３、１０５による音源位置情報により音像の指向性を制御し、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９の位置に複数の再生音像が対応して定位するようにしてもよい。
これにより、ＴＶモニタ１１５の画面１１６の音源位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源の画像位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
上例によれば、映像信号による映像は、音源１００、１０１、１０２を含むものであり、ヘッドホン２４は、収音時の音源１００、１０１、１０２の位置を示す再生音像位置情報に基づいて、ＴＶモニタ９２、１１５により再生された映像の音源１００、１０１、１０２の位置に再生音像が定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、再生された映像の音源１００、１０１、１０２の位置から、あたかもその音が発せられるように実音像を形成することができる。
また、第１０図において、マイクロホン１０４、１０６、１０７、１０８の位置は、映像信号による映像の場面によって変えるものであり、位置情報検出装置１０３、１０５によるマイク位置情報により音像の指向性を制御し、対応する音がＴＶモニタ１１５の表示部としての画面１１６に再生された被写体１１７、１１８、１１９の各位置にこの被写体１１７、１１８、１１９の位置に複数の再生音像が対応して定位するようにしてもよい。
これにより、ＴＶモニタ１１５の画面１１６のマイク位置に対応する位置のビームが指向した位置に実音像位置が規定され、ＴＶモニタ１１５の画面１１６に表示された音源のマイク位置からあたかもその音が発するように、ＴＶモニタ１１５において実音像を形成することができる。
また、上例によれば、マイクロホン１０４、１０６、１０７、１０８の位置は、映像信号による映像の場面によって変えるものであり、ヘッドホン２４は、収音時のマイクロホン１０４、１０６、１０７、１０８の位置を示す再生音像位置情報に基づいて、ＴＶモニタ９２、１１５により再生された映像のマイクロホン１０４、１０６、１０７、１０８の位置の方向に再生音像が定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、再生された映像のマイクロホン１０４、１０６、１０７、１０８の位置の方向から、あたかもその音が発せられるように実音像を形成することができる。
また、このとき、第９図において示すように、ヘッドホン２４にリセットスイッチ９０を設け、リスナ２３がこれを押すことにより、頭部回転の基準位置を設定する。また、ヘッドホン２４の内側にリセットスイッチ９１を設け、頭部にヘッドホン２４を装着したとき、装着した一定期間にリセットがかかるようにしても良い。
上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリセットスイッチ９０を有し、リセットスイッチ９０をオンしたときにリスナ２３が向いている方向を基準方向に設定するようにしたので、リセットスイッチ９０の作動により任意の方向を正面に設定することができる。
また、上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリスナ２３が予め定められた基準方向に向いたときにその方向を基準方向に設定するようにしたので、予め定められた方向を基準方向に自動的に設定することができる。
また、上例によれば、ヘッドホン２４はリセットスイッチ９１を有し、リスナ２３がヘッドホン２４を装着したとき、ディジタル角度検出器２８、アナログ角度検出器３８はＴＶモニタ９２の画面の正面の方向を基準方向に設定するようにしたので、ヘッドホン２４の装着により、常に映像の画面を正面に設定することができる。
また、第９図、第１１図において、ＴＶモニタ９２、１１５は、例えば、映画用スクリーンとしても良い。この場合、シネマスコープサイズ、ビスタサイズ等の複数の画面サイズを有し、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいてこの画面サイズに対応して、それぞれ、再生音像を定位させるようにしても良い。この場合、位置情報変更器９３に第１図、第７図および第８図に示した入力端子６５を設け、入力端子６５に画面サイズに基づく切り替え信号を入力するようにすればよい。
上例によれば、スクリーンは複数の画面サイズを有し、ヘッドホン２４は画面サイズに対応するようにして、スクリーンにより再生された映像に対応する方向に、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいてメモリ３５あるいはメモリ６、８、１０、１２のテーブルの種類、もしくは読み出す変化量を変えることにより、複数の再生音像が定位するように、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、スクリーンの画面サイズが変わっても、映像に対応する方向に複数の再生音像を定位させるようにすることができる。
また、第９図、第１１図において、ＴＶモニタ９２、１１５またはスクリーンは、例えば、リスナ２３の前方および後方、左方および右方に配置するようにして、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいてこの画面の映像に対応するように、それぞれ、再生音像を定位させるようにしても良い。
上例の場合には、特にゲーム機において、映像の動く方向から映像の移動に対応して、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて再生音像を定位させる用途に最適なものである。また、この再生音像の位置を双方向で定位させることができる。
更に、上述においては、リスナ２３の頭の水平面内における向きについてのみ考慮したが垂直面内および、これらと直交する面内における向きについても同様に処理することも出来る。
さらに、第４図のデータは、次にようにして得ることができる。すなわちヘッドホン２４で再生したときに好ましい再生音場となるよう、適当な室内に、必要なチャンネル数のインパルス音源とダミーヘッドマイクロホンを定められた位置に配置する。この場合のインパルスを測定する音源としてはスピーカを用いてもよい。
またダミーヘッドの各耳の収音位置に関しては、外耳道入り口から鼓膜位置までの間の何れの位置でもよいが、用いるヘッドホンの固有の特性を打ち消すための補正特性を求める位置と等しいことが要求される。
また制御信号の測定は、各チャンネルのスピーカ位置よりインパルス音を放射し、一定角度：Δθ毎にダミーヘッドの各耳に設けられたマイクロホンで収音することにより得られる。従ってある角度：θ１においては、１つのチャンネル毎に１組のインパルスレスポンスが得られることになるから、仮に５チャンネルの信号源の場合は、１つの角度毎に５組、すなわち１０種の制御信号が得られることになる。従って、これらのレスポンスにより、左右両耳間の時間差及びレベル差を表す制御信号が得られる。
また音源、音場、用いるヘッドホンの固有の特性等を打ち消すための補正特性を求める方法は以下のようにしても良い。音場のインパルスレスポンスの収音を行なったダミーヘッドマイクロホンと同一のものを用い、用いるヘッドホンをダミーヘッドに装着し、ヘッドホン入力からダミーヘッドの各耳のマイクロホン間のインパルスレスポンスの逆特性となるようなインパルスレスポンスを計算で求める。
あるいはＬＭＳアルゴリズム等の適応処理を用いてヘッドホン固有の補正値としての目標値に近づくように直接求めてもよい。具体的なヘッドホン固有の特性の補正は、オーディオ入力信号が加えられてから、ヘッドホンに信号が加えられるまでの間の任意の部分で、時間領域の処理としては求めた補正特性を表すインパルスレスポンスとの畳み込み積分を行なうことにより、またアナログ的にはＤ／Ａ変換後、逆特性のアナログフィルターを通すことにより実現できる。
またメモリ３５におけるテーブルは１組とし、アドレス制御回路３４においてそのテーブルに対するアドレスの指定を変更して複数組のテーブルがある場合と同様に制御データを得ることも出来る。
更に、テーブルのデータは、リスナ２３の一般的な頭の向きの範囲に限ってもよく、また、角度θは、例えば、θ＝０°付近では０．５°おきに設定しておき、｜θ≧４５°｜では３°おきに設定するというように、向きによって角度θの間隔を異ならせてもよい。上述したように、リスナが頭部回転の角度を識別できる角度毎でよい。更に、ヘッドホン２４の代わりに、リスナ２３の両耳の近くに配置したスピーカでもよい。
上述したいずれの例においても、入力されるオーディオ信号は、多チャンネルのステレオ等で収音されたディジタル記録された信号、およびアナログ記録された信号のどちらに対しても適応でき、またリスナ２３の頭の動きを検出する角度検出手段に関しては、ディジタル信号で出力されるもの、およびアナログ信号で出力されるもののどちらに対しても適用できる。
また、リスナ２３の頭の動きに同期させてヘッドホン２４に供給されるオーディオ信号の特性を変更するとき、リスナ２３の頭の動きに対し連続的にではなく、人間の聴覚特性に合わせ、人間の識別できる必要十分な適当な一定単位角度毎あるいは予め定められた角度毎にメモリ３５のテーブルから読みだして行なっているので、リスナ２３の頭の向きに対して必要十分な変更内容についてのみ演算を行なえば、連続的に変更をしたのと同じ効果を得ることが出来る。従って、メモリ３５の容量の節約が図れ、かつ演算の処理速度に関しても必要以上に高速演算の必要がなくなる。
また、リスナ２３の頭の回転に左右されず、常に一定方向の固定された音源からのバイノーラル特性が得られるので、極めて自然な頭外定位感が得られる。
また、メモリ３５のテーブルに従って、ディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号で表される特性を、畳み込む積分器５、７、９、１１およびメモリ６、８、１０、１２において予めインパルスレスポンスが畳み込まれたディジタル信号に対して、純電子式に補正を行ない制御しているので特性劣化が少なく、かつリスナ２３の頭の動きに対するオーディオ信号の特性の変化に遅れを生じることがないので、従来のシステムにおけるような不自然さを生じさせることはない。
また、角度θの変化に対する両耳間の時間差及び両耳間のレベル差を表す制御信号の変化量を、テーブルによって標準値よりも大きく、あるいは小さくなるようにしておくことにより、リスナ２３の頭の向きに対する音像の位置の変化量が異なるので、これによりリスナ２３から音像までの距離感などを変更したり、画面サイズに対応することができる。
また、残響回路１３、１４により必要に応じ適切な残響信号が付加されるので、あたかも有名なコンサートホールで音楽を聞いているような臨場感を得ることが出来る。
上述した例によれば、複数のリスナ２３の個々の頭部回転に応じて両耳間の時間差及び両耳間のレベル差を表す制御信号による補正を行うことにより複数のヘッドホン２４で同時に再生することができ、高価なＡ／Ｄ変換器３や、畳み込み積分器５、７、９、１１を複数のリスナ２３の数だけ用意する必要がなく、極めて安価に構成することができる。
さらに、上例において、頭部回転検出器に振動ジャイロを用いてもよい。このようにすることにより、頭部回転検出器を小型で軽量、かつ低消費電力で長寿命、しかも取扱いが簡便で安価に構成することができる。
さらに、振動ジャイロは、慣性力を利用せず、コリオリ力によって動作しているので、リスナ２３の頭部の回転中心近傍に設置する必要がなく、回転検出部のいずれの場所に取り付けてもよいので、構成および組み立てを簡単にすることができる。
以下本発明に係る映像信号及び音響信号の再生装置の他の実施例について、第１２図から第１４図に従い詳細に説明する。
本発明の実施例の映像信号及び音響信号の再生装置は、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号及び音響信号を映像を見ながらヘッドホンで再生する際に、本来スピーカで再生する場合に予め定められた位置関係に置かれるべきスピーカから音が再生されるのと同等の定位感、音場感等を、ヘッドホンで再生しても得られるようにしたものであり、特に、映像に対応する方向に、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて複数の再生音像が定位するようにしたものである。
すなわち、本発明の実施例の映像信号及び音響信号の再生装置は、ステレオ等で収音された多チャンネルであって、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号及び音響信号を、映像を見ながらヘッドホンで再生するシステムに用いるものである。特に各チャンネルに記録あるいは伝送されるディジタル化された音響信号をヘッドホン等で再生する際に、複数チャンネルの再生音像を、予め定められた収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて映像に対応する位置に定位させるようにしたものである。
第１２図において、この発明の映像信号及び音響信号の再生装置の例を示す。なお、第１２図から第１４図は、第１図、第７図および第８図に対応するものであり、ここでは第１２図から第１４図が、第１図、第７図および第８図と異なる点を説明し、共通する点の構成及び動作の説明を省略する。
この例においては、第１２図、第１３図及び第１４図のいずれにおいても、映像信号は映像信号再生装置６２に供給されると共に、位置情報抽出回路６６に供給される。位置情報抽出回路６６は、予め映像信号と共に供給される再生音像位置情報を抽出する回路である。この再生音像位置情報は、例えば映像信号再生装置６２のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置である。
位置情報抽出装置６６からの位置情報は、アドレス制御回路３４のアドレスを切り替える切替器３６に供給される。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
この実施例の映像信号及び音響信号の再生装置はこのように構成され、以下のような動作をする。入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生装置６２に供給される。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。この場合、ディジタルオーディオ信号およびアナログオーディオ信号は、それぞれ収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報を有する映像信号から分離された音響信号である。
上例では特に、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な再生音像位置情報が位置情報抽出回路６６からアドレス制御回路３４に供給される。また、映像信号再生装置６２のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。アドレス制御回路３４は切替器３６の切り替えによりアドレスを切り替えるようにする。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置、また映像信号再生装置６２のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、再生音像位置情報または画面サイズの変更に対応して再生音像の位置を変えるように、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
これにより、予め定められた映像信号再生装置６２のスクリーンとリスナ２３との距離や角度等の相対的な位置に対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
また映像信号再生装置６２のスクリーンの画面サイズに対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば映像信号再生装置６２の画面サイズが切り替えられたときにも、切り替えられた画面サイズのスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
このようにして、ヘッドホン２４に供給されるオーディオ信号Ｌ，Ｒは、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは両耳間の時間差及び両耳間のレベル差を表す制御信号との補正が行なわれれるので、映像に相応して再生音像を定位させて、複数個のスピーカが仮想音源位置に置かれてスピーカで再生しているような音場感を得ることが出来る。
以下本発明に係る映像信号及び音響信号の再生装置の他の実施例について、第１５図から第２６図に従い詳細に説明する。
本発明の実施例の映像信号及び音響信号の再生装置は、音響信号を映像を見ながらヘッドホンで再生する際に、本来スピーカで再生する場合に予め定められた位置関係に置かれるべきスピーカから音が再生されるのと同等の定位感、音場感等を、ヘッドホンで再生しても得られるようにしたものであり、特に、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数の再生音像が定位するようにしたものである。
すなわち、本発明の実施例の映像信号及び音響信号の再生装置は、ステレオ等で収音された多チャンネルの音響信号を映像を見ながらヘッドホンで再生するシステムに用いるものである。特に予め定められた位置関係（例えば、リスナの前方右、前方左、中央、その他である。）に各音像を定位させる目的で各チャンネルに記録あるいは伝送されるディジタル化された音響信号をヘッドホン等で再生する際に、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数チャンネルの再生音像を定位させるようにしたものである。
第１５図において、この発明の映像信号及び音響信号の再生装置の例を示す。なお、第１５図から第１７図は、第１２図、第１３図および第１４図に対応するものであり、ここでは第１５図から第１７図が、第１２図、第１３図および第１４図と異なる点を説明し、共通する点の構成及び動作の説明を省略する。
入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生回路６７に供給される。映像信号再生回路６７は映像信号の所定の再生前処理を行い、虚像式ディスプレイ１９３に映像信号を供給する。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。
ここで、この例においては、第１５図、第１６図及び第１７図のいずれにおいても、映像信号は位置情報抽出回路６６に供給される。位置情報抽出回路６６は、予め映像信号と共に供給される再生音像位置情報を抽出する回路である。この再生音像位置情報は、例えば虚像式ディスプレイ１９３のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置である。
そして、映像信号は映像信号再生回路６７において映像信号の所定の再生前処理を経た後に、リスナ２３に装着された虚像式ディスプレイ１９３に供給される。
この実施例の映像信号及び音響信号の再生装置はこのように構成され、以下のような動作をする。入力端子６０から映像信号及び音響信号が入力され、分離回路６１で音響信号と映像信号とが分離される。映像信号は映像信号再生回路６７に供給される。分離回路６１で分離された音響信号がディジタル音響信号であればディジタルステレオ信号源１に供給され、アナログ音響信号であればアナログステレオ信号源２に供給される。
上例では特に、第１５図、第１６図及び第１７図のいずれにおいても、予め定められた虚像式ディスプレイ１９３のスクリーンとリスナ２３との距離や角度等の相対的な位置情報が位置情報抽出回路６６からアドレス制御回路３４に供給される。また、虚像式ディスプレイ１９３のスクリーンの画面サイズに基づく切り替え信号も入力端子６５から切替器３６に供給される。アドレス制御回路３４は切替器３６の切り替えによりアドレスを切り替えるようにする。
上述したテーブルは、メモリ３５に対して例えば３組設けられると共に、その組毎に、虚像式ディスプレイ１９３のスクリーンとリスナ２３との距離や角度等の相対的な位置、また虚像式ディスプレイ１９３のスクリーンの画面サイズ等に対応してデータの値が異なるようになされている。そして、その３組のテーブルのうちの最適な１つのテーブルが、アドレス制御回路３４の切替器３６の切り替えによるアドレスの切り替えに従って選択される。
これにより、予め定められた虚像式ディスプレイ１９３のスクリーンとリスナ２３との距離や角度等の相対的な位置に対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば虚像式ディスプレイ１９３のスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
また虚像式ディスプレイ１９３のスクリーンの画面サイズに対応して、アドレス制御回路３４のアドレスが切り替えられ、最適なテーブルが選択され、再生音像の位置を例えば虚像式ディスプレイ１９３の画面サイズが切り替えられたときにも、切り替えられた画面サイズのスクリーン上における収音時のマイクの位置および音源の位置またはいずれか一方の位置に対応させることができる。
このようにして、ヘッドホン２４に供給されるオーディオ信号Ｌ，Ｒは、リスナ２３の頭の向きに対応した頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録されたインパレスレスポンスまたは両耳間の時間差及び両耳間のレベル差を表す制御信号との補正が行なわれれるので、複数個のスピーカが仮想音源位置に置かれてスピーカで再生しているような音場感を得ることが出来る。
このとき、虚像式ディスプレイ１９３には、ディジタル角度検出器２８またはアナログ角度検出器３８によるリスナ２３の基準方向に対する頭部運動の情報が供給されている。従って、リスナ２３が、頭部を回転させたときに、この情報に基づいて、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された画像を、あたかも角度を変えて見ているようにして連続して変化して見えるようにしても良い。
更に、角度θの変化に対するリスナ２３の頭部の基準方向に対する仮想音源位置から両耳に至るディジタル記録された両耳間の時間差及び両耳間のレベル差を表す制御信号の変化量を、テーブルにより標準値よりも大きく、あるいは小さくなるようにしておくことにより、リスナ２３の頭の向きに対する音像の位置の変化量が異なるので、これによりリスナ２３から音像までの距離感などを変更することが出来る。そして映像信号及び音響信号の再生装置に用いる虚像式ディスプレイの、聴取者２３の左右両眼から所定距離だけ離れた位置に投影された再生映像の画面サイズに合わせた変更も、この変化量で対応可能となる。
第１８図において、この発明の映像信号および音響信号の再生装置の他の実施例の虚像式ディスプレイの動作原理を示す。虚像式ディスプレイ１９３は、リスナ２３の右眼１８０の前方にレンズ１８２を介して液晶表示装置（以下「ＬＣＤ」という。）１８４を配置し、左眼１８１の前方にレンズ１８３を介してＬＣＤ１８５を配置し、ＬＣＤ１８４および１８５に表示された再生画像をレンズ１８２および１８３により拡大し、ＬＣＤ１８４および１８５の前方に虚像１８７が映し出されるようにして再生されるものである。
つまり、ＬＣＤ１８４および１８５に映し出された画像情報が、接眼レンズとしてのレンズ１８２および１８３を通して虚像となり、右眼１８０および左眼１８１から別々の情報として脳に入り、そこで重ね合わせて一つの像となる。ここで、両眼の生理的に安静な位置になるように両眼から１〜１．５メートル先に虚像１８７を写すように、装置に眼のより角としての輻軸角１８６を与えている。
この場合、ＬＣＤ１８４および１８５は、この発明の出願人が独自に開発したものであり、きめの細かい精細な画像を再現する、小型で高密度な、０．７インチ、１０．３万画素のＬＣＤである。このＬＣＤを右眼１８０および左眼１８１に対して各１枚ずつ、２枚のＬＣＤ１８４および１８５を採用することにより、大画面を虚像１８７として再生することができる。また、立体画像としての３Ｄモニターとしての使用も可能である。２ＤはＬＣＤ１８４および１８５に映し出された同じ画像、３Ｄは視差を持った画像とすることにより実現することができる。
また、本体の小型、軽量化を図るために、レンズ１８２および１８３には、この発明の出願人が独自に開発した小型、高倍率な矩形非球面プラスチックレンズを採用した。これにより、ＬＣＤ１８４および１８５に写る画像を拡大する際の歪みを抑え、すみずみまでシャープな映像を再生することができる。
第１９図において、この発明の映像信号及び音響信号の再生装置の他の実施例の虚像式ディスプレイの外観を示す。虚像式ディスプレイ１９３は、レンズ１８２および１８３、ＬＣＤ１８４および１８５を有するスコープ１９４をリスナ２３の左右両眼を覆うようにして配置し、アーム１９６でリスナ２３の頭部に装着するものである。この場合、額パッド１９５はリスナ２３の額を支持し、アジャスター１９７で装着の強度を調節することができる。
上例では、虚像式ディスプレイ１９３は、ヘッドホン２４とは別体である例を示したが、虚像式ディスプレイ１９３のアーム１９６とヘッドホン２４のヘッドバンド２７とが固定され、一体として構成するようにしても良い。
上例によれば、映像再生手段としての虚像式ディスプレイ１９３は、リスナ２３の左右両眼に対応する位置に左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４を有するので、左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４により、リスナ２３の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
また、上例によれば、映像再生手段としての虚像式ディスプレイ１９３は、リスナ２３の左右両眼に対応する位置に矩形非球面の左右の接眼レンズ１８２、１８３を介して左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４を有するので、左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４に写る画像を拡大して、左液晶表示部としてのＬＣＤ１８５および右液晶表示部としてのＬＣＤ１８４の前方であって、リスナ２３の左右両眼から所定距離だけ離れた位置に再生映像を投影することができる。
第２０図から第２６図にこの発明の映像信号および音響信号の再生装置の他の実施例のスピーカの配置のシミュレーションを示す。第２０図において、音響信号に伴う映像信号による映像を映し出す虚像の位置１９２の方向を正面とする。このとき、スピーカの配置のシミュレーションは、以下のようになる。まず、リスナ２３の左右の両耳２３Ｌ，２３Ｒを結ぶ直線より前方のＡの範囲にスピーカが配置されたように音像が定位する。次に、リスナ２３の左右の両耳２３Ｌ，２３Ｒを結ぶ直線上のＢの範囲にスピーカが配置されたように音像が定位する。さらに、リスナ２３の左右の両耳２３Ｌ，２３Ｒを結ぶ直線より後方のＣの範囲にスピーカが配置されたように音像が定位する。
上例によれば、音響再生手段としてのヘッドホン２４は映像信号再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向であって、リスナ２３の前方および後方に複数の再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、複数の再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。
つまり、この場合、虚像の位置１９２の映像の位置が前方であれば前方に、後方であれば後方に、左方であれば左方に、右方であれば右方に再生音像を定位させるようにするのである。また、映像が進行する場合には、映像の進行に対応して再生音像を移動させて、所定位置に定位させるようにするのである。
このとき、虚像式ディスプレイ１９３には、ディジタル角度検出器２８またはアナログ角度検出器３８によるリスナ２３の基準方向に対する頭部運動の情報が供給されている。従って、リスナ２３が、頭部を回転させたときに、この情報に基づいて、リスナ２３の左右両眼から所定距離だけ離れた虚像の位置１９２に投影された画像を、あたかも角度を変えて見ているようにして連続して変化して見えるようにしても良い。
また、このとき、ヘッドホン２４にリセットスイッチ１９０を設け、リスナ２３がこれを押すことにより、頭部回転の基準位置を設定する。また、ヘッドホン２４の内側にリセットスイッチ１９１を設け、頭部にヘッドホン２４を装着したとき、リセットがかかるようにしても良い。また、リスナ２３が予め定められた基準方向に向いたときにその方向を基準方向に設定するようにしても良い。
上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリセットスイッチ１９０を有し、リセットスイッチ１９０をオンしたときにリスナ２３が向いている方向を基準方向に設定するようにしたので、リセットスイッチ１９０の作動により任意の方向を正面に設定することができる。
また、上例によれば、ディジタル角度検出器２８、アナログ角度検出器３８はリスナ２３が予め定められた基準方向に向いたときにその方向を基準方向に設定するようにしたので、予め定められた方向を基準方向に自動的に設定することができる。
また、上例によれば、ヘッドホン２４はリセットスイッチ１９１を有し、リスナ２３がヘッドホン２４を装着したとき、ディジタル角度検出器２８、アナログ角度検出器３８は虚像の位置１９２の画面の正面の方向を基準方向に設定するようにしたので、ヘッドホン２４の装着により、常に映像の画面を正面に設定することができる。上例では、ヘッドホン２４にリセットスイッチ１９０、１９１を設ける例を示したが、虚像式ディスプレイ１９３に設けるようにしても良い。
スピーカ配置のシミュレーションは、具体的には、第２１図〜第２６図に示すようになる。１チャンネルのモノラル再生用のスピーカ配置のシミュレーションは、第２１図に示すようになる。つまり、リスナ２３が位置する客席２１０の前方に、映像を映し出す虚像の位置２１１が配置される。このとき、客席２１０の前方で、虚像の位置２１１の中央にセンタースピーカＣが配置されたように再生音像が定位するように音響の再生をする。
また、２チャンネルのステレオ再生用のスピーカ配置のシミュレーションは、第２２図に示すようになる。つまり、リスナ２３が位置する客席２２０の前方に、映像を映し出す虚像の位置２２１が配置される。このとき、客席２２０の前方で、虚像の位置２２１の左方および右方に左スピーカＬおよび右スピーカＲが配置されたように再生音像が定位するように音響の再生をする。
また、３チャンネルの再生用のスピーカ配置のシミュレーションは、第２３図に示すようになる。つまり、リスナ２３が位置する客席２３０の前方に、映像を映し出す虚像の位置２３１が配置される。このとき、客席２３０の前方で、虚像の位置２３１の中央にセンタースピーカＣが配置され、虚像の位置２３１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、センタースピーカＣの付近にサブウーハスピーカＷが配置されたように再生音像が定位するように音響の再生をする。
また、４チャンネルの再生用のスピーカ配置のシミュレーションは、第２４図に示すようになる。つまり、リスナ２３が位置する客席２４０の前方に、映像を映し出す虚像の位置２４１が配置される。このとき、客席２４０の前方で、虚像の位置２４１の中央にセンタースピーカＣが配置され、虚像の位置２４１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、さらに、客席２４０の後方正面左右および、後方左右両側面にサラウンドスピーカＳが配置され、センタースピーカＣの付近にサブウーハスピーカＷが配置されたように再生音像が定位するように音響の再生をする。
また、５チャンネルの再生用のスピーカ配置のシミュレーションは、第２５図に示すようになる。つまり、リスナ２３が位置する客席２５０の前方に、映像を映し出す虚像の位置２５１が配置される。このとき、客席２５０の前方で、虚像の位置２５１の中央にセンタースピーカＣが配置され、虚像の位置２５１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、さらに、客席２５０の後方正面左および後方左側面にサラウンド左スピーカＳLが配置され、客席２５０の後方正面右および後方右側面にサラウンド左スピーカＳRが配置され、センタースピーカＣの付近にサブウーハスピーカＷが配置されたように再生音像が定位するように音響の再生をする。
上例によれば、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向であって、リスナ２３の前方中央、前方右、前方左、後方右および後方左に５チャンネルの再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方中央、前方右、前方左、後方右および後方左の５チャンネルの再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。また、更に、サブウーハチャンネルとして、低域再生音のみを再生するチャンネルを、例えばセンタースピーカ付近に設けても良い。また、８チャンネル以上でも良い。
また、前方５チャンネル、後方２チャンネルの再生用のスピーカ配置のシミュレーションは、第２６図に示すようになる。つまり、リスナ２３が位置する客席２６０の前方に、映像を映し出す虚像の位置２６１が配置される。このとき、客席２６０の前方で、虚像の位置２６１の中央にセンタースピーカＣが配置され、虚像の位置２６１の左方および右方に左スピーカＬおよび右スピーカＲが配置され、さらに、センタースピーカＣと左スピーカＬとの間に左エキストラスピーカＬEを配置し、センタースピーカＣと右スピーカＲとの間に右エキストラスピーカＲEを配置し、客席２６０の後方左側面にサラウンド左スピーカＳLが配置され、客席２６０の後方右側面にサラウンド左スピーカＳRが配置されたように再生音像が定位するように音響の再生をする。更に、サブウーハチャンネルとして、低域再生音のみを再生するチャンネルのサブウーハスピーカＷを、例えばセンタースピーカＣ付近に設けても良い。また、８チャンネルスピーカＸを設けても良く、更に８チャンネル以上でも良い。
上例によれば、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向であって、リスナ２３の前方中央、前方右、前方左、前方右中央、前方左中央、後方右および後方左に７チャンネルの再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方中央、前方右、前方左、前方右中央、前方左中央、後方右および後方左の７チャンネルの再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。また、更に、サブウーハチャンネルとして、低域再生音のみを再生するチャンネルを、例えばセンタースピーカ付近に設けても良い。また、８チャンネル以上でも良い。
また、第２０図〜第２６図において、虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１は、例えば、光学系としてのレンズ１８２および１８３を調整することにより、シネマスコープサイズ、ビスタサイズ等の複数の画面サイズを有し、この画面サイズに対応して、それぞれ、再生音像を定位させるようにしても良い。このとき、第１５図、第１６図及び第１７図において、画面サイズに基づく切り替え信号を入力端子６５に入力するようにする。
また、虚像式ディスプレイ１９３には、ディジタル角度検出器２８またはアナログ角度検出器３８によるリスナ２３の基準方向に対する頭部運動の情報が供給されている。従って、リスナ２３が、頭部を回転させたときに、この情報に基づいて、第２１図から第２６図において、リスナ２３の左右両眼から所定距離だけ離れた虚像の位置２１１、２２１、２３１、２４１、２５１、２６１に投影された画像を、あたかも角度を変えて見ているようにして連続して変化して見えるようにしても良い。
上例によれば、虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１は複数の画面サイズを有し、ヘッドホン２４は画面サイズに対応するようにして、虚像式ディスプレイ１９３によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に、複数の再生音像が定位するように、メモリおよび畳み込み積分器５、６、７、８、９、１０、１１、１２、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１の画面サイズが変わっても、リスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に複数の再生音像を定位させるようにすることができる。
また、第２０図〜第２６図において、虚像式ディスプレイ１９３は、例えば、リスナ２３の前方および後方、左方および右方に配置するようにして、この虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１の画面の映像に対応するように、それぞれ、再生音像を定位させるようにしても良い。
また、第２０図〜第２６図において、虚像式ディスプレイ１９３は、リスナ２３を覆うようにして、リスナ２３の前方および後方、左方および右方、上方および下方に配置するようにして、このこの虚像の位置１９２、２１１、２２１、２３１、２４１、２５１、２６１の画面の映像に対応するように、それぞれ、再生音像を定位させるようにしても良い。
上例の場合には、特にゲーム機において、映像の動く方向から映像の移動に対応して、再生音像を定位させる用途に最適なものである。
上例によれば、映像再生手段としての虚像式ディスプレイ１９３はリスナ２３を覆うように、少なくともリスナ２３の前方および後方、右方および左方に配置され、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に任意の複数の再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方および後方、右方および左方の複数の再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。
更に、上述においては、リスナ２３の頭の水平面内における向きについてのみ考慮したが垂直面内および、これらと直交する面内における向きについても同様に処理することも出来る。
上例によれば、角度検出手段としてのディジタル角度検出器２８、アナログ角度検出器３８は、リスナ２３の基準方向に対する上方および下方の回転角度を併せて検出し、映像再生手段としての虚像式ディスプレイ１９３はリスナ２３を覆うように、少なくともリスナ２３の前方および後方、右方および左方、上方および下方に配置され、音響再生手段としてのヘッドホン２４は映像再生手段としての虚像式ディスプレイ１９３の映像信号の再生によりリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に任意の複数の再生音像が定位するように、制御手段としてのメモリ６、８、１０、１２、畳み込み積分器５、７、９、１１、制御装置５０、５１、５２、５３、５４、５６で補正した音響信号を再生するので、前方および後方、右方および左方、上方および下方の複数の再生音像をリスナ２３の左右両眼から所定距離だけ離れた位置に投影された再生映像に対応する方向に定位させるようにすることができる。
産業上の利用の可能性
この発明の映像信号及び音響信号の再生装置は、特に、ゲーム機において、映像の動く方向から映像の移動に対応して、収音時のマイクの位置および音源の位置またはいずれか一方の位置を示す再生音像位置情報に基づいて再生音像を定位させる用途に最適なものである。また、この再生音像の位置を双方向で定位させる用途に適用することができる。
Claims (21)
- 聴取者の頭部の基準方向に対する仮想音源位置から聴取者の両耳に至るインパルスレスポンスを聴取者の頭部の動きに対応づけて記録し、または聴取者が識別できる角度毎に、聴取者の頭部の基準方向に対する仮想音源位置から聴取者の両耳に至る音響信号の時間差及びレベル差を表す制御信号を記憶した記憶手段と、
上記基準方向に対する少なくともひとりの聴取者の頭部の運動を所定角度毎に検出して信号を出力する少なくともひとつの角度検出手段と、
映像信号再生手段で再生される仮想音源と聴取者の頭部との相対的移動を検出する検出手段と、
上記角度検出手段からの角度に対応した信号と上記検出手段からの出力信号とに基づいて、上記記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出すために上記記憶手段に供給するアドレス信号を生成するアドレス信号生成手段と、
上記アドレス信号生成手段によって生成されたアドレス信号により上記記憶手段のアドレスを指定することによって、上記記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出し、上記記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて信号源から供給される音響信号をリアルタイムで補正して再生音響信号を得る制御手段と、
聴取者の頭部に装着可能で、上記制御手段で得られる再生音響信号を供給され、上記映像信号再生手段により再生された映像に対応する方向に再生音像が定位するように、この再生音響信号を再生する音響信号再生手段と
を備えていることを特徴とする映像信号及び音響信号の再生装置。 - 上記検出手段は、映像信号および音響信号とともに供給される位置情報を抽出する抽出手段を備え、上記抽出手段からの出力信号が上記制御手段に供給されることを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記検出手段は、聴取者の頭部に装着されて聴取者の上記映像信号再生手段に対する相対的移動を検出する位置検出手段を備え、上記位置検出手段からの検出信号が上記制御手段に供給されることを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記位置検出手段は、上記音響信号再生手段に設けられていることを特徴とする請求の範囲第３項記載の映像信号及び音響信号の再生装置。
- 上記位置検出手段は、少なくとも上記基準方向に対する聴取者の頭部の回転情報及び上記基準位置に対する聴取者の頭部の接近または離隔の情報に基づいて、上記角度検出手段からの角度情報の座標を変更するようにしたことを特徴とする請求の範囲第３項記載の映像信号及び音響信号の再生装置。
- 上記位置検出手段は、少なくとも上記基準方向に対する聴取者の頭部の回転情報及び上記基準位置に対する接近または離隔の情報を、上記角度検出手段からの角度情報に付加することによって上記角度検出手段からの角度情報を変更するようにしたことを特徴とする請求の範囲第３項記載の映像信号及び音響信号の再生装置。
- 上記角度検出手段は、リセットスイッチを備えているとともに、上記角度検出手段は上記リセットスイッチが操作されたときに聴取者が向いている方向に基準方向が設定されるようにしたことを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記角度検出手段には、聴取者が予め定められた基準方向に向いたときに、その方向を基準方向に設定するようにしたことを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記音響信号再生手段は、リセットスイッチを備え、聴取者が上記音響信号再生手段を装着したときに上記リセットスイッチが操作されて、上記角度検出手段に上記映像信号再生手段の画面の正面方向を基準方向に設定されることを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記装置は、更に上記映像信号再生手段の表示部の大きさに基づく信号をデータとする入力手段を備え、上記入力手段からの信号は、上記アドレス信号生成手段に供給され、上記アドレス信号生成手段は、上記角度検出手段からの角度に対応した信号、上記検出手段からの出力信号及び上記入力手段によって入力されたデータに対応するアドレス信号を生成することを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記角度検出手段は、聴取者の基準方向に対する上方及び下方の回転角度をあわせて検出するとともに、上記音響信号再生手段は、上記角度検出手段によって検出された上下方向の回転角度にあわせて上記記憶手段から読み出されたインパルスレスポンスまたは制御信号に基づいて上記制御手段によって補正された音響信号を再生することにより、上記映像信号再生手段により再生された映像に対応する方向に任意の再生音像が定位することを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記映像信号再生手段は、聴取者の頭部に装着可能であり、聴取者の両眼に対向して設けられ、聴取者の両眼から所定距離離れた位置に再生映像が投影されるものであることを特徴とする請求の範囲第１項記載の映像信号及び音響信号の再生装置。
- 上記映像信号再生手段は、聴取者の頭部に装着される頭部装着体と、上記頭部装着体の聴取者の両眼に対応する位置に各々配される一対の表示部を備えていることを特徴とする請求の範囲第１２項記載の映像信号及び音響信号の再生装置。
- 上記映像信号再生手段は、更に聴取者の両眼と上記一対の表示部との間に各々配された一対の矩形状の非球面のレンズを備えていることを特徴とする請求の範囲第１３項記載の映像信号及び音響信号の再生装置。
- 上記映像信号再生手段は、聴取者の頭部に装着される頭部装着体と、上記頭部装着体の聴取者の両眼に対応する位置に各々配される一対の虚像式ディスプレイユニットを備えていることを特徴とする請求の範囲第１２項記載の映像信号及び音響信号の再生装置。
- 仮想音源位置に対する少なくともひとりの聴取者の頭部の運動を所定角度毎に検出して信号を出力する少なくともひとつの角度検出手段と、
映像信号再生手段で再生される仮想音源と聴取者の頭部との相対的移動を検出する検出手段と、
基準方向に対して聴取者の頭部が回転したときに、信号源から供給される音響信号が再生されたときの音像が上記仮想音源位置に定位するように上記信号源からの音響信号を補正する補正データが記憶された記憶手段と、
上記角度検出手段からの聴取者の角度情報に基づいて、上記記憶手段から選択的に補正データを読み出し、この補正データに対して上記検出手段からの検出信号に基づいて変更を加えて、上記信号源からの音響信号を補正して再生音響信号を得る制御手段と、
聴取者の頭部に装着可能で、上記制御手段で得られる再生音響信号が供給され、上記映像信号再生手段により再生された映像に対応する方向に再生音像が定位するように、この再生音響信号を再生する音響信号再生手段と
を備えていることを特徴とする映像信号及び音響信号の再生装置。 - 上記記憶手段には、聴取者の頭部の基準方向に対する仮想音源位置から聴取者の両耳に至るインパルスレスポンスを聴取者の頭部の動きに対応づけて記録し、または聴取者が識別できる角度毎に、聴取者の頭部の基準方向に対する仮想音源位置から聴取者の両耳に至る音響信号の時間差及びレベル差を表す制御信号が記憶されていることを特徴とする請求の範囲第１６項記載の映像信号及び音響信号の再生装置。
- 上記装置は、更に上記記憶手段に記憶されたインパルスレスポンスまたは制御信号を読み出すために上記記憶手段に供給するアドレス信号を生成するアドレス信号生成手段を備えていることを特徴とする請求の範囲第１７項記載の映像信号及び音響信号の再生装置。
- 上記検出手段は、上記信号源からの映像信号及び音響信号とともに出力される位置情報を抽出する抽出手段を備え、上記抽出手段からの出力信号が上記制御手段に供給されることを特徴とする請求の範囲第１６項記載の映像信号及び音響信号の再生装置。
- 上記検出手段は、聴取者の頭部に装着されて聴取者の上記映像信号再生手段に対する相対的移動を検出する位置検出手段を備え、上記位置検出手段からの検出信号が上記制御手段に供給されることを特徴とする請求の範囲第１６項記載の映像信号及び音響信号の再生装置。
- 上記位置検出手段は、上記音響信号再生手段に設けられていることを特徴とする請求の範囲第２０項記載の映像信号及び音響信号の再生装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1760294 | 1994-02-14 | ||
| JP1760194 | 1994-02-14 | ||
| JP3497594 | 1994-03-04 | ||
| JP3725494 | 1994-03-08 | ||
| PCT/JP1995/000197 WO1995022235A1 (fr) | 1994-02-14 | 1995-02-14 | Systeme de reproduction visuelle et sonore |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3687099B2 true JP3687099B2 (ja) | 2005-08-24 |
Family
ID=27456807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP52111795A Expired - Lifetime JP3687099B2 (ja) | 1994-02-14 | 1995-02-14 | 映像信号及び音響信号の再生装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5796843A (ja) |
| EP (1) | EP0695109B1 (ja) |
| JP (1) | JP3687099B2 (ja) |
| WO (1) | WO1995022235A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI453451B (zh) * | 2011-06-15 | 2014-09-21 | Dolby Lab Licensing Corp | 擷取與播放源於多音源的聲音之方法 |
| JP2017503375A (ja) * | 2013-11-14 | 2017-01-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1051888A (ja) * | 1996-05-28 | 1998-02-20 | Sony Corp | スピーカ装置および音声再生システム |
| JPH114966A (ja) * | 1996-10-01 | 1999-01-12 | Sony Computer Entateimento:Kk | ゲーム機用操作装置及びゲーム装置 |
| US7085387B1 (en) | 1996-11-20 | 2006-08-01 | Metcalf Randall B | Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources |
| KR0185021B1 (ko) * | 1996-11-20 | 1999-04-15 | 한국전기통신공사 | 다채널 음향시스템의 자동 조절장치 및 그 방법 |
| JPH10211358A (ja) * | 1997-01-28 | 1998-08-11 | Sega Enterp Ltd | ゲーム装置 |
| JPH11220797A (ja) * | 1998-02-03 | 1999-08-10 | Sony Corp | ヘッドホン装置 |
| GB2351425A (en) * | 1999-01-20 | 2000-12-27 | Canon Kk | Video conferencing apparatus |
| US6239348B1 (en) * | 1999-09-10 | 2001-05-29 | Randall B. Metcalf | Sound system and method for creating a sound event based on a modeled sound field |
| JP4737804B2 (ja) * | 2000-07-25 | 2011-08-03 | ソニー株式会社 | 音声信号処理装置及び信号処理装置 |
| JP4679699B2 (ja) * | 2000-08-01 | 2011-04-27 | ソニー株式会社 | 音声信号処理方法及び音声信号処理装置 |
| JP4304845B2 (ja) * | 2000-08-03 | 2009-07-29 | ソニー株式会社 | 音声信号処理方法及び音声信号処理装置 |
| EP1194006A3 (en) * | 2000-09-26 | 2007-04-25 | Matsushita Electric Industrial Co., Ltd. | Signal processing device and recording medium |
| JP2002171460A (ja) * | 2000-11-30 | 2002-06-14 | Sony Corp | 再生装置 |
| WO2002052895A1 (de) * | 2000-12-22 | 2002-07-04 | Harman Audio Electronic Systems Gmbh | Anordnung zur auralisation eines lautsprechers in einem abhörraum bei beliebigen eingangssignalen |
| JP2002199500A (ja) * | 2000-12-25 | 2002-07-12 | Sony Corp | 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体 |
| AUPR333001A0 (en) * | 2001-02-23 | 2001-03-22 | Lake Technology Limited | Sonic terrain and audio communicator |
| WO2004032351A1 (en) * | 2002-09-30 | 2004-04-15 | Electro Products Inc | System and method for integral transference of acoustical events |
| US7333622B2 (en) * | 2002-10-18 | 2008-02-19 | The Regents Of The University Of California | Dynamic binaural sound capture and reproduction |
| US20070009120A1 (en) * | 2002-10-18 | 2007-01-11 | Algazi V R | Dynamic binaural sound capture and reproduction in focused or frontal applications |
| US20040091120A1 (en) * | 2002-11-12 | 2004-05-13 | Kantor Kenneth L. | Method and apparatus for improving corrective audio equalization |
| JP2006086921A (ja) * | 2004-09-17 | 2006-03-30 | Sony Corp | オーディオ信号の再生方法およびその再生装置 |
| US7636448B2 (en) * | 2004-10-28 | 2009-12-22 | Verax Technologies, Inc. | System and method for generating sound events |
| EP1675432A1 (de) * | 2004-12-27 | 2006-06-28 | Siemens Aktiengesellschaft | Mobiles Kommunikationsendgerät zum Erzeugen einer ortsfesten virtuellen Schallquelle |
| EP1851656A4 (en) * | 2005-02-22 | 2009-09-23 | Verax Technologies Inc | SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA |
| US7612793B2 (en) * | 2005-09-07 | 2009-11-03 | Polycom, Inc. | Spatially correlated audio in multipoint videoconferencing |
| JP5067595B2 (ja) * | 2005-10-17 | 2012-11-07 | ソニー株式会社 | 画像表示装置および方法、並びにプログラム |
| TW200717402A (en) * | 2005-10-31 | 2007-05-01 | Asustek Comp Inc | Monitor with prompting sound effects |
| WO2007112756A2 (en) * | 2006-04-04 | 2007-10-11 | Aalborg Universitet | System and method tracking the position of a listener and transmitting binaural audio data to the listener |
| GB2437399B (en) * | 2006-04-19 | 2008-07-16 | Big Bean Audio Ltd | Processing audio input signals |
| US7792674B2 (en) * | 2007-03-30 | 2010-09-07 | Smith Micro Software, Inc. | System and method for providing virtual spatial sound with an audio visual player |
| KR100947027B1 (ko) * | 2007-12-28 | 2010-03-11 | 한국과학기술원 | 가상음장을 이용한 다자간 동시 통화 방법 및 그 기록매체 |
| JP4849121B2 (ja) * | 2008-12-16 | 2012-01-11 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
| US20100223552A1 (en) * | 2009-03-02 | 2010-09-02 | Metcalf Randall B | Playback Device For Generating Sound Events |
| JP2011101229A (ja) * | 2009-11-06 | 2011-05-19 | Sony Corp | 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置 |
| US10158958B2 (en) * | 2010-03-23 | 2018-12-18 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| EP2550809B8 (en) * | 2010-03-23 | 2016-12-14 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| JP5672741B2 (ja) * | 2010-03-31 | 2015-02-18 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| KR101652401B1 (ko) * | 2010-09-07 | 2016-08-31 | 삼성전자주식회사 | 입체 영상 디스플레이 장치 및 입체 영상 표시 방법 |
| US8183997B1 (en) * | 2011-11-14 | 2012-05-22 | Google Inc. | Displaying sound indications on a wearable computing system |
| US10448161B2 (en) | 2012-04-02 | 2019-10-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field |
| WO2014161995A1 (en) | 2013-04-05 | 2014-10-09 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
| KR101799294B1 (ko) | 2013-05-10 | 2017-11-20 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
| KR102356246B1 (ko) * | 2014-01-16 | 2022-02-08 | 소니그룹주식회사 | 음성 처리 장치 및 방법, 그리고 프로그램 |
| US9226090B1 (en) * | 2014-06-23 | 2015-12-29 | Glen A. Norris | Sound localization for an electronic call |
| JP6522105B2 (ja) * | 2015-03-04 | 2019-05-29 | シャープ株式会社 | 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体 |
| CN105260016B (zh) * | 2015-09-24 | 2018-06-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105407443B (zh) | 2015-10-29 | 2018-02-13 | 小米科技有限责任公司 | 录音方法及装置 |
| EP3322200A1 (en) * | 2016-11-10 | 2018-05-16 | Nokia Technologies OY | Audio rendering in real time |
| CN110572760B (zh) * | 2019-09-05 | 2021-04-02 | Oppo广东移动通信有限公司 | 电子设备及其控制方法 |
| CN114422935B (zh) * | 2022-03-16 | 2022-09-23 | 荣耀终端有限公司 | 音频处理方法、终端及计算机可读存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5944198A (ja) * | 1982-09-06 | 1984-03-12 | Matsushita Electric Ind Co Ltd | ヘツドホン装置 |
| US4952024A (en) * | 1986-08-29 | 1990-08-28 | Gale Thomas S | Three-dimensional sight and sound reproduction apparatus for individual use |
| US4817149A (en) * | 1987-01-22 | 1989-03-28 | American Natural Sound Company | Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization |
| JP2751166B2 (ja) * | 1987-10-26 | 1998-05-18 | ソニー株式会社 | ヘッドホン装置 |
| JP2964514B2 (ja) * | 1990-01-19 | 1999-10-18 | ソニー株式会社 | 音響信号再生装置 |
| US5495534A (en) * | 1990-01-19 | 1996-02-27 | Sony Corporation | Audio signal reproducing apparatus |
| JP2605450B2 (ja) * | 1990-05-08 | 1997-04-30 | ヤマハ株式会社 | 音像定位装置 |
| US5469511A (en) * | 1990-10-05 | 1995-11-21 | Texas Instruments Incorporated | Method and apparatus for presentation of on-line directional sound |
| DE69113199T2 (de) | 1990-10-05 | 1996-02-22 | Texas Instruments Inc | Verfahren und Gerät zur Erzeugung einer tragbaren optischen Anzeige. |
| JPH04192066A (ja) * | 1990-11-27 | 1992-07-10 | Matsushita Electric Works Ltd | 商品疑似体験ショウルームシステム |
| JP3003322B2 (ja) * | 1991-09-30 | 2000-01-24 | ソニー株式会社 | 映像表示装置 |
| JPH05115099A (ja) * | 1991-10-22 | 1993-05-07 | Nippon Telegr & Teleph Corp <Ntt> | 頭外定位ヘツドホン受聴装置 |
| JPH05168097A (ja) * | 1991-12-16 | 1993-07-02 | Nippon Telegr & Teleph Corp <Ntt> | 頭外音像定位ステレオ受聴器受聴方法 |
| JP2741817B2 (ja) * | 1992-03-06 | 1998-04-22 | 日本電信電話株式会社 | 頭外定位ヘッドホン受聴装置 |
| US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| US5526183A (en) * | 1993-11-29 | 1996-06-11 | Hughes Electronics | Helmet visor display employing reflective, refractive and diffractive optical elements |
-
1995
- 1995-02-14 EP EP95907878A patent/EP0695109B1/en not_active Expired - Lifetime
- 1995-02-14 US US08/513,806 patent/US5796843A/en not_active Expired - Lifetime
- 1995-02-14 JP JP52111795A patent/JP3687099B2/ja not_active Expired - Lifetime
- 1995-02-14 WO PCT/JP1995/000197 patent/WO1995022235A1/ja active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI453451B (zh) * | 2011-06-15 | 2014-09-21 | Dolby Lab Licensing Corp | 擷取與播放源於多音源的聲音之方法 |
| JP2017503375A (ja) * | 2013-11-14 | 2017-01-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0695109A1 (en) | 1996-01-31 |
| US5796843A (en) | 1998-08-18 |
| EP0695109A4 (en) | 2004-12-22 |
| EP0695109B1 (en) | 2011-07-27 |
| WO1995022235A1 (fr) | 1995-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3687099B2 (ja) | 映像信号及び音響信号の再生装置 | |
| EP0674467B1 (en) | Audio reproducing device | |
| JP3385725B2 (ja) | 映像を伴うオーディオ再生装置 | |
| JP3796776B2 (ja) | 映像音声再生装置 | |
| US7817806B2 (en) | Sound pickup method and apparatus, sound pickup and reproduction method, and sound reproduction apparatus | |
| KR100878457B1 (ko) | 음상정위 장치 | |
| JP4735993B2 (ja) | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 | |
| US5272757A (en) | Multi-dimensional reproduction system | |
| JP3637596B2 (ja) | オーディオ再生装置およびヘッドホン | |
| KR100331192B1 (ko) | 사용자의머리회전을검출하기위한수단을갖춘헤드폰장치 | |
| CA2295092C (en) | System for producing an artificial sound environment | |
| JP5986426B2 (ja) | 音響処理装置、音響処理方法 | |
| WO2020035335A1 (en) | Methods for obtaining and reproducing a binaural recording | |
| JP2003032776A (ja) | 再生システム | |
| JP5754595B2 (ja) | トランスオーラルシステム | |
| JP4744695B2 (ja) | 仮想音源装置 | |
| US20130243201A1 (en) | Efficient control of sound field rotation in binaural spatial sound | |
| JP2671329B2 (ja) | オーディオ再生装置 | |
| JP3573797B2 (ja) | ステレオ音声再生装置 | |
| EP0549836A1 (en) | Multi-dimensional sound reproduction system | |
| JP2893780B2 (ja) | 音響信号再生装置 | |
| NO20200013A1 (en) | Multi-channel binaural recording and dynamic playback | |
| JPH06165285A (ja) | 多次元音再生装置及びオーディオ信号再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050530 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080617 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120617 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130617 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |