JP2012060349A - 立体映像表示装置 - Google Patents

立体映像表示装置 Download PDF

Info

Publication number
JP2012060349A
JP2012060349A JP2010200699A JP2010200699A JP2012060349A JP 2012060349 A JP2012060349 A JP 2012060349A JP 2010200699 A JP2010200699 A JP 2010200699A JP 2010200699 A JP2010200699 A JP 2010200699A JP 2012060349 A JP2012060349 A JP 2012060349A
Authority
JP
Japan
Prior art keywords
video
eye
depth
sound
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010200699A
Other languages
English (en)
Inventor
Kenji Yanagihara
謙志 柳原
Takashi Abe
貴志 阿部
Ryuji Matsui
龍司 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010200699A priority Critical patent/JP2012060349A/ja
Publication of JP2012060349A publication Critical patent/JP2012060349A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】映像の深度と音の深度とを自動的に合わせることのできる立体映像表示装置を提供すること。
【解決手段】複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に,表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置において,左目映像と右目映像との水平方向の表示位置のズレ量(映像の深度)を算出し,少なくとも2チャンネルの前記音声信号に前記算出された表示位置のズレ量に対応する予め定められた差分(音の深度)を生じさせる。例えば,複数の音声信号の再生時の音量,残響効果,高域の減衰量,サラウンド成分の残響効果,サラウンド成分の大きさなどを変化させることが考えられる。
【選択図】図8

Description

本発明は,表示位置が異なる左目映像及び右目映像を表示させることにより立体映像を視聴させる立体映像表示装置に関し,特に,映像の深度(立体感)と音の深度(立体感)とを合わせるための技術に関するものである。
従来から,表示位置が異なる左目映像及び右目映像を交互に液晶パネルに表示する立体映像表示装置(以下,表示装置という)が知られている。そして,視聴者は,その立体映像表示装置の左目映像及び右目映像の表示の切り替えに連動して視聴者の左目及び右目の視界を交互に有効化させる立体表示メガネ(以下,3Dメガネという)を用いることで立体映像を視聴することができる(例えば,特許文献1参照)。また,立体表示メガネを用いるのではなく,かまぼこ状のレンチキュラレンズを用いて視聴者の左目と右目とに異なる表示素子を見せることにより立体映像を視聴させる立体映像表示装置(例えば,特許文献2参照)や,視差バリアを用いて立体映像を視聴させる立体映像表示装置も知られている。
ここで,このような立体映像表示装置で表示される立体映像の深度,即ち映像の飛び出し量や奥行き量は,左目映像及び右目映像の表示位置のズレ量によって異なる。
一方,少なくとも2チャンネル以上の音声信号を複数のスピーカで個別に再生することで,音に奥行き(立体感)を持たせるサラウンド技術が知られている。具体的には,5.1ch,7.1ch,9.1chなどの複数チャンネルに対応する音声信号各々を,視聴者の前方や後方に配置された複数のスピーカで個別に再生するリアルサラウンドがある。また,視聴者の前方左側及び前方右側に配置された2つのスピーカにより擬似的にサラウンドを実現する擬似サラウンドも知られている。なお,以下では,音の奥行き(立体感)の程度を音の深度という。
特開2010−62767号公報 特開平07−298303号公報
しかしながら,立体映像表示装置によって表示される映像の深度と該立体映像表示装置によって再生される音の深度との程度が異なると,立体映像視聴時に十分な臨場感が得られない。
従って,本発明は上記事情に鑑みてなされたものであり,その目的とするところは,映像の深度と音の深度とを自動的に合わせることのできる立体映像表示装置を提供することにある。
上記目的を達成するために本発明は,複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に,表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置に適用されるものであって,前記左目映像と前記右目映像との水平方向の表示位置のズレ量を算出する映像ズレ量算出手段と,少なくとも2チャンネルの前記音声信号に前記映像ズレ量算出手段により算出された前記表示位置のズレ量に対応する予め定められた差分を生じさせる音声差分調整手段とを備えてなることを特徴とする立体映像表示装置として構成される。
本発明によれば,音の深度(立体感)と映像の深度(立体感)とを自動的に合わせることができるため,より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
具体的に,遠方の音は,近傍の音に比べて相対的に,直達音に対する反射音の割合や遅延が大きい。そのため,前記音声差分調整手段が,少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の再生時の残響効果に,前記表示位置のズレ量に対応する予め定められた差分を生じさせるものであることが考えられる。また,前記音声差分算出手段が,少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の差分により求まるサラウンド成分の残響効果を変化させることにより,該2チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものであってもよい。
また,前後方向での音量の差異を明確にすることで音の奥行きを表現することができる。そのため,前記音声差分調整手段が,少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の再生時の音量に,前記表示位置のズレ量に対応する予め定められた差分を生じさせるものであることが考えられる。
さらに,前方左側及び前方右側のスピーカで再生される音の差分であるサラウンド成分を強調すれば,音の広がりを表現することができる。そのため,前記音声差分算出手段が,少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の差分により求まるサラウンド成分の大きさを変化させることにより,該2チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものであることが考えられる。
また,離れたところにある音は高域が減衰して聞こえる。そのため,前記音声差分調整手段が,少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の高域の減衰量に,前記表示位置のズレ量に対応する予め定められた差分を生じさせるものであることが考えられる。
なお,本発明に係る立体映像表示装置は,例えば前記左目映像及び前記右目映像を交互に表示させる立体映像表示手段と,前記左目映像及び前記右目映像の切り替えに連動して左目及び右目の視界を有効及び無効に切り替える立体表示メガネとを更に備えてなることにより,該立体表示メガネを用いる視聴者に立体映像を視聴させるものである。
本発明によれば,音の深度(立体感)と映像の深度(立体感)とを自動的に合わせることができるため,より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
本発明の実施の形態に係るテレビジョン受像機Xの概略構成を表すブロック図。 映像ズレ量の算出手法の一例を説明するための図。 映像ズレ量の算出手法の一例を説明するための図。 映像ズレ量の算出手法の一例を説明するための図。 映像ズレ量の算出手法の一例を説明するための図。 映像ズレ量の算出手法の一例を説明するための図。 本発明の実施の形態に係るテレビジョン受像機Xで実行される音声深度制御処理の手順の一例を説明するためのフローチャート。 深度対応情報の一例を示す図。 残響音付加回路300の一例を示す図。 深度対応情報の他の例を示す図。 実施例2に係るテレビジョン受像機X1の概略構成を表すブロック図。
以下添付図面を参照しながら,本発明の実施の形態について説明し,本発明の理解に供する。尚,以下の実施の形態は,本発明を具体化した一例であって,本発明の技術的範囲を限定する性格のものではない。
まず,図1に示すブロック図を用いて,本発明の実施の形態に係るテレビジョン受像機Xの概略構成について説明する。
本発明の実施の形態に係るテレビジョン受像機Xは,表示位置が異なる左目映像及び右目映像を交互に切り替えて表示させることにより視聴者に立体映像を視聴させる立体映像表示装置である。もちろん,本発明に係る立体映像表示装置は,テレビジョン受像機に限らず,例えばパソコンに接続されるディスプレイ装置であってもよい。
図1に示すように,テレビジョン受像機Xは,チューナ1a,1b,外部入力部2,映像切替回路3,映像処理回路4a,立体映像処理回路4b,RF通信回路5,LCD制御回路6,液晶表示部7,制御回路8,リモコンインターフェース(I/F)回路9,リモコン9a,音声切替回路10,音声処理回路11,アンプ12,スピーカ装置13,3DメガネY(立体表示メガネ)などを具備している。なお,テレビジョン受像機Xは,ここで説明する構成要素以外にも,一般的なテレビジョン受像機が有する構成要素を備えている。
制御回路8は,演算手段であるMPU8a,そのMPU8aによって実行される制御プログラムが予め格納されるROM8b(EPROM),MPU8aが各種の処理を実行する際の作業記憶領域として利用されるEEPROM8cなどを備え,当該テレビジョン受像機X全体を統括的に制御する。
リモコンインターフェース回路9は,当該テレビジョン受像機Xの操作用のリモコン9aから,赤外線伝送などの無線伝送によって,リモコン9aに対するユーザの操作入力の内容を取得し,その操作入力の内容を制御回路8に伝送するものである。例えば,リモコン9aには,テレビジョン受像機Xで視聴するテレビジョン放送のチャンネル選択や音量調節,電源ON/OFFなどの各種操作を行う一般的な操作キー9bが設けられている。また,リモコン9aには,テレビジョン受像機Xの表示映像を立体映像及び平面映像のいずれかに切り替えるための表示切替キー9cが設けられている。もちろん,リモコン9aの操作によって表示されるメニュー画面上の操作により立体映像及び平面映像の切替操作が可能な構成であってもよい。
RF通信回路5は,3DメガネYとの間で無線周波数(RF)通信方式による無線伝送を行うことにより各種のデータを伝送するRF送信回路及びRF受信回路を有している。なお,RF通信回路5を利用してリモコン9aとの間でRF通信方式によるデータ通信が行われることも他の実施例として考えられる。
チューナ1a,1b各々は,地上デジタル放送やBS・CS放送などの各種テレビジョン放送の複数チャンネル分の映像信号及びその映像と同期した音声信号が重畳された信号(以下,放送信号という)を放送受信アンテナ20により受信する。そしてチューナ1a,1bは,制御回路8から指示された放送チャンネルの信号を前記放送信号から抽出(選局)するとともに,その抽出信号の検波によって映像信号及び音声信号を取り出し,その映像信号及び音声信号の各々を映像切替回路3及び音声切替回路10各々へ伝送する。
また,外部入力部2は,外部から入力されるコンポジット方式の映像信号及び音声信号や,セパレート方式の映像信号及び音声信号(いわゆるS端子の信号)等の外部入力映像信号及び外部入力音声信号を,映像切替回路3及び音声切替回路10各々へ伝送するインターフェースである。外部入力部2には,例えばDVDレコーダやブルーレイレコーダ,ハードディスクレコーダなどが接続される。
音声切替回路10は,チューナ1a,1b各々からの音声信号及び外部入力部2からの音声信号のうちの任意の音声信号を制御回路8からの指示に従って選択し,その選択した音声信号を音声処理回路11に伝送する。
音声処理回路11は,制御回路8からの指示に従って,音声切替回路10から伝送される音声信号に対して各種信号処理(例えば,イコライズ処理やサラウンド処理等)を行うものである。また,音声処理回路11は,入力される音声信号が6チャンネルの音声信号を含む5.1chのサラウンド音声信号である場合,その6チャンネルの音声信号をそれぞれの再生位置に対応するスピーカ装置13のスピーカ各々に出力する。
アンプ12は,音声処理回路11による各種信号処理後の音声信号を,制御回路8からの音量指示に従って増幅或いは減衰させる処理を行い,処理後の各音声信号をスピーカ装置13へ伝送するものである。具体的に,アンプ12には,スピーカ装置13に設けられた複数のスピーカ毎に対応して音声信号の増幅及び減衰を調整する複数のアンプが含まれている。
スピーカ装置13は,テレビジョン受像機Xを視聴する視聴者の前方中央に配置されたセンタースピーカ131Cと,前方左側に配置された左フロントスピーカ131Lと,前方右側に配置された右フロントスピーカ131Rと,前方右側又は前方左側に配置されたウーファー131Wと,後方左側に配置された左サラウンドスピーカ132Lと,後方右側に配置された右サラウンドスピーカ132Rとを備える5.1chのサラウンドシステムである。例えば,アンプ12及びスピーカ装置13は,RCA接続やHDMI接続,光接続などによってテレビジョン受像機Xに接続される。もちろん,スピーカ装置13は,2チャンネル以上の音声信号に対応する複数のスピーカを有するものであれば,7.1chや9.1chなどに対応するものであってもよい。
テレビジョン受像機Xでは,音声処理回路11から入力される複数チャンネルの音声信号に基づいて,スピーカ装置13の前記スピーカ各々で個別に音声を再生させることにより,音に深度(立体感)を持たせるサラウンド再生が実現される。なお,テレビジョン受像機Xにスピーカ装置13が接続されていない場合には,該テレビジョン受像機Xに内蔵された不図示の内蔵ステレオスピーカ等によって音声が出力される。もちろん,テレビジョン受像機Xでは,音声信号の出力先をスピーカ装置13と前記内蔵ステレオスピーカとの間で切り替えることも可能である。
一方,映像切替回路3は,チューナ1a,1b各々から入力される映像信号及び外部入力部2から入力される映像信号のうち任意の映像信号を制御回路8からの指示に従って選択し,その選択した映像信号を映像処理回路4aに伝送する。
映像処理回路4aは,映像切替回路3から伝送された映像信号に対して各種信号処理を行うものである。具体的に,映像処理回路4aは,映像信号のA/D変換や,A/D変換後の映像信号から水平同期信号及び垂直同期信号の分離,その同期信号に位相同期したクロック信号の生成,A/D変換後の映像信号からの輝度信号及び色信号の分離,所定の画質改善処理等を行い,その処理後の映像信号を立体映像処理回路4bに出力する。
立体映像処理回路4bは,映像処理回路4aから入力された映像信号が立体映像信号である場合,その立体映像信号をそのままLCD制御回路6に出力する。ここに,前記立体映像信号は,液晶表示部7における表示位置が所定量異なる左目映像及び右目映像を交互に表示させるための映像信号である。具体的に,前記立体映像信号は,左目フレーム画像及び右目フレーム画像が1フレームの半分の時間ごとに交互に合成されたものである。もちろん,テレビジョン受像機Xでは,立体映像信号に含まれた左目フレーム画像又は右目フレーム画像の一方のみを表示させることやその中間の画像を生成して表示させることにより,視聴者に平面映像を視聴させることも可能である。
また,立体映像処理回路4bは,映像処理回路4aから入力された映像信号が平面映像信号である場合,制御回路8からの制御指令に従って,映像処理回路4aから入力された平面映像信号をそのままLCD制御回路6に出力する平面映像表示モードと,前記平面映像信号に基づく映像をユーザに立体的に視聴させるための前記立体映像信号を生成してLCD制御回路6に出力する立体映像表示モードとのいずれかを実行する。なお,前記平面映像表示モードと前記立体映像表示モードとの切り替えはリモコン9aの表示切替キー9cによって行われる。具体的に,前記立体映像表示モードにおいて,立体映像処理回路4bは,映像の1フレームごとの画像を左右に少しずらすことにより予め設定されたズレ量が生じた左目フレーム画像及び右目フレーム画像を生成する。そして,立体映像処理回路4bは,その左目フレーム画像及び右目フレーム画像を1フレームの半分の時間ごとに交互に合成することにより,前記左目映像及び前記右目映像を交互に表示させるための立体映像信号を生成し,その立体映像信号をLCD制御回路6に出力する。なお,例えば寒色系の要素画像は背景(空や海など)である可能性が高いため,立体映像処理回路4bが,寒色系の要素画像には奥行きが生じ,暖色系の要素画像は飛び出すように,前記左目映像及び前記右目映像の表示位置のズレ量を調整することも考えられる。
ここで,前記左目映像及び前記右目映像によって液晶表示部7で表示される立体映像の深度,即ち映像の飛び出し量や奥行き量は,前記左目映像と前記右目映像との水平方向のズレ量によって変化する。具体的には,前記左目映像と前記右目映像との水平方向のズレ量が大きいほど映像の深度が深くなり立体感が高まる。
LCD制御回路6は,立体映像処理回路4bから入力される平面映像信号又は立体映像信号や,垂直同期信号,水平同期信号などに基づいて液晶表示部7に映像を表示させる。具体的に,LCD制御回路6は,前記立体映像信号が入力された場合,該立体映像信号に基づいて,液晶表示部7に前記左目映像及び前記右目映像を交互に表示させることにより,視聴者に立体映像を視聴させる。ここに,係る処理を実行するときのLCD制御回路6が立体映像表示手段に相当する。
液晶表示部7は,液晶パネルやバックライト装置などを備えており,LCD制御回路6から出力される映像信号に基づく映像を液晶パネルに表示するものである。なお,前記バックライト装置は,前記液晶パネルの後方側にマトリクス状に配置された多数のLEDや複数の冷陰極管(蛍光管)により該液晶パネルを背後から照明するものである。
3DメガネYは,ユーザの左目の視界の有効及び無効(光の透過及び遮蔽)を切り替える液晶層を有する左目シャッタ及び右目シャッタを備えている。そして,3DメガネYは,テレビジョン受像機XのRF通信回路5とのRF通信によって受信される同期信号により,テレビジョン受像機Xで表示される左目映像及び右目映像の表示に連動して左目シャッタ及び右目シャッタを交互に開閉させ,左目及び右目の視界を交互に切り替えて有効化させる。これにより,3DメガネYを用いる視聴者に立体映像を視聴させることができる。なお,本実施の形態では,3DメガネYを用いる視聴者に対して立体映像を視聴させるテレビジョン受像機Xを例に挙げて説明するが,3Dメガネを用いない構成であってもよい。
そして,本実施の形態に係るテレビジョン受像機Xは,液晶表示部7で表示される映像の深度(立体感)に応じて,スピーカ装置13によって再生される音の深度(立体感)を自動的に調整する点に特徴を有している。以下,この点について詳説する。
テレビジョン受像機Xにおいて,立体映像処理回路4bは,前記立体映像信号に基づいて液晶表示部7で表示される映像の深度として,左目映像及び右目映像の水平方向のズレ量を算出する深度算出機能を有している。ここに,係る算出処理を実行するときの立体映像処理回路4bが映像ズレ量算出手段に相当する。もちろん,前記深度算出機能が制御回路8などの制御手段によって実行されるソフトウェア処理によって具現されてもよい。
ここで,図2〜図6を参照しつつ,立体映像処理回路4bが有する深度算出機能の一例について説明する。なお,図2は,左目フレーム画像及び右目フレーム画像から生成される中点フレーム画像の一例を示すものである。
まず,立体映像処理回路4bは,図2に示すように,入力された立体映像信号又は立体映像処理回路4bで生成した立体映像信号に含まれる左目映像のフレーム画像と右目映像のフレーム画像とに基づいて,視聴者の左目及び右目の中間にあると仮想した中目から見た中点フレーム画像を生成する。なお,この中点フレーム画像の生成手法については,例えば連続する二つのフレーム画像の動きベクトルに基づいてそのフレーム画像の間に挿入する補間フレーム画像を生成する場合に用いられる従来技術などを応用すればよい。
そして,立体映像処理回路4bは,前記左目映像と前記右目映像との水平方向の表示位置のズレ量を算出する。具体的に,立体映像処理回路4bは,前記左目映像のフレーム画像及び前記右目映像のフレーム画像それぞれと前記中点フレーム画像との画面全体におけるズレ量の分布を表す深度スペクトラムを取得し,該深度スペクトラムに基づいて前記左目映像と前記右目映像との水平方向の表示位置のズレ量の平均値を算出する。
ここに,図3,図4は液晶表示部7で表示される映像に奥行きがある場合,図5,図6は液晶表示部7で表示される映像が飛び出すものである場合の例を示している。
ここでは,図3,図5に示すように,左目に「−」を割り当て,右目に「+」を割り当てると共に,中点フレーム画像に対する左方向のズレ量にマイナス(−)符号を割り当て,右方向のズレ量にプラス(+)符号を割り当てるものとする。前記中点フレーム画像に対するズレ量は,例えば画素数や距離などで表せばよい。
この場合,前記中点フレーム画像と前記左目フレーム画像及び前記右目フレーム画像それぞれとのズレ量は,右目又は左目に割り当てられた符号と,前記中点フレーム画像に対する右方向又は左方向のズレ量との積で求まるベクトルによって表すことができる。
まず,図3,図4を用いて,映像が奥行き方向に深度を有する場合について説明する。
図3(a)に示すように,立体映像処理回路4bは,図2に示した前記中点フレーム画像と前記左目フレーム画像との水平方向のズレ量を示すベクトルL1,前記中点フレーム画像と前記右目フレーム画像との水平方向のズレ量を示すベクトルR1を算出する。例えば,図3(a)に示す例で,左目フレーム画像の中点フレーム画像に対する左方向のズレ量が「2」であるとすると,ベクトルL1は,「−1」×「−2」=2となる。また,右目フレーム画像の中点フレーム画像に対する右方向のズレ量が「2」であるとすると,ベクトルR1は,「+1」×「2」=2となる。
そして,立体映像処理回路4bは,画像全体について各画素ごとや要素画像ごとに水平方向のベクトル(ズレ量)を算出することにより深度スペクトラムを取得する。具体的に,立体映像に奥行きがある場合には,図4(a)に示すように前記深度スペクトラムのプラス成分が多くなる。
一方,図3(b)に示す例は,図3(a)に示した例に比べて映像の奥行き量(深度)が少ない場合である。具体的に,図3(b)に示す例では,前記中点フレーム画像に対するズレ量が半分である。即ち,左目フレーム画像の中点フレーム画像に対する左方向のズレ量が「1」であり,ベクトルL2は「−1」×「−1」=1である。また,右目フレーム画像の中点フレーム画像に対する右方向のズレ量が「1」であり,ベクトルR2は「+1」×「1」=1である。この場合にも立体映像に奥行きがあるため,前記深度スペクトラムでは,図4(b)に示すようにマイナス成分よりプラス成分が多くなる。但し,図4(a)に比べればそのプラス成分は少なくなる。
次に,図5,図6を用いて,映像が飛び出す方向に深度を有する場合について説明する。
図5(a)に示すように,立体映像処理回路4bは,図2に示した前記中点フレーム画像と前記左目フレーム画像との水平方向のズレ量を示すベクトルL3,前記中点フレーム画像と前記右目フレーム画像との水平方向のズレ量を示すベクトルR3を算出する。例えば,図5(a)に示す例で,左目フレーム画像の中点フレーム画像に対する右方向のズレ量が「2」であるとすると,ベクトルL3は,「−1」×「2」=−2となる。また,右目フレーム画像の中点フレーム画像に対する左方向のズレ量が「2」であるとすると,ベクトルR1は,「+1」×「−2」=−2となる。
そして,立体映像処理回路4bは,画像全体について各画素ごとや要素画像ごとに水平方向のベクトル(ズレ量)を算出することにより深度スペクトラムを取得する。具体的に,立体映像が飛び出すものである場合には,図6(a)に示すように前記深度スペクトラムのマイナス成分が多くなる。
一方,図5(b)に示す例は,図5(a)に示した例に比べて映像の飛び出し量(深度)が少ない場合である。具体的に,図5(b)に示す例では,前記中点フレーム画像に対するズレ量が半分である。即ち,左目フレーム画像の中点フレーム画像に対する右方向のズレ量が「1」であり,ベクトルL4は「−1」×「1」=−1である。また,右目フレーム画像の中点フレーム画像に対する左方向のズレ量が「1」であり,ベクトルR4は「+1」×「−1」=−1である。この場合に立体映像が飛び出すものであるため,前記深度スペクトラムでは,図6(b)に示すようにプラス成分よりマイナス成分が多くなる。但し,図6(a)に比べればそのマイナス成分は少なくなる。
このように算出された深度スペクトラムを参照すれば,図4に示すように,深度スペクトラムにプラス成分が多いものは奥行き方向に深度のある映像であり,図6に示すように,深度スペクトラムにマイナス成分が多いものは飛び出す方向に深度のある映像であることがわかる。
また,図4(a)に示す深度スペクトラムの方が,図4(b)に示す深度スペクトラムよりもプラス成分が多く,映像の奥行き方向の深度が深いことがわかる。同じく,図6(a)に示す深度スペクトラムの方が,図6(b)に示す深度スペクトラムよりもマイナス成分が多く,映像の飛び出す方向の深度が深いことがわかる。
そこで,深度算出部46は,前記深度スペクトラムを算出した後,その深度スペクトラムの平均値を映像の深度を示す指標として算出し,制御回路8に入力する。そして,制御回路8は,その映像の深度に基づいて後述の音声深度制御処理における音声信号の調整を行う。
以下,図7のフローチャートに従って,本実施の形態に係るテレビジョン受像機Xで実行される音声深度制御処理について説明する。なお,図中のS1,S2,…は処理手順(ステップ)番号を示している。ここに,当該音声深度制御処理を実行するときの制御回路8が音声深度調整手段に相当する。また,当該映像深度制御処理における各処理は制御回路8に限らず立体映像処理回路4bで実行されるものであってもよい。
(ステップS1)
まず,ステップS1において,制御回路8は,液晶表示部7で立体映像が表示されるか否かを判断する。ここで,立体映像が表示されると判断されると(S1のYes側),処理はステップS2に移行する。
具体的に,制御回路8は,立体映像処理回路4bから立体映像信号が出力されている旨の通知がなされている場合に,立体映像が表示されると判断する。もちろんこれに限らず,制御回路8は,リモコン9aの表示切替キー9cによって立体表示が選択されている場合や,映像切替回路3で選択された映像コンテンツに立体映像である旨の情報が含まれている場合に,立体映像が表示されると判断してもよい。
(ステップS2〜S3)
次に,ステップS2において,制御回路8は,映像処理回路4bを制御することにより,前述したように左目映像及び右目映像を含む前記立体映像信号に基づいて,左目映像及び右目映像の水平方向のズレ量,即ち液晶表示部7で表示される映像の深度を算出する。
続いて,制御回路8は,ステップS3において,左目映像及び右目映像の水平方向のズレ量(映像の深度)と音の深度との関係が予め定められた深度対応情報に基づいて,前記ステップS2で算出された映像の深度に対応する音の深度を特定する。なお,前記深度対応情報は,制御回路8のROM8bなどに予め記憶されていればよい。
ここに,図8は,前記深度対応情報の一例を示すグラフである。図8に示す前記深度対応情報では,映像の深度と音の深度とが所定の傾きを有する比例関係にあることが定められている。即ち,前記深度対応情報では,映像の深度が深いほど音の深度が深くなることが定められている。
従って,制御回路8は,前記深度対応情報に基づいて,映像の深度が深いほど音の深度が深くなるように,前記ステップS2で算出された映像の深度に応じた音の深度を特定する。
(ステップS4)
そして,ステップS4において,制御回路8は,前記ステップS3で特定された音の深度で視聴者に音声を聴かせるように,音声処理回路11やアンプ12を制御する。具体的に,制御回路8は,少なくとも2チャンネルの前記音声信号に,前記ステップS2で算出された表示位置のズレ量(映像の深度)に対応する予め定められた差分を生じさせる。
例えば,遠方の音は,近傍の音に比べて相対的に直達音に対する反射音の割合が大きく,また反射音の遅延も大きい。即ち,スピーカ装置13において,前方に配置されたスピーカに対して後方に配置されたスピーカの音声再生時の残響効果が大きいほど,視聴者に知覚される音に深い立体感を持たせることができる。
そこで,制御回路8は,音声処理回路11を制御することにより,前記ステップS3で設定された音の深度が深いほど,センタースピーカ131Cに比べて他のスピーカ(左フロントスピーカ131L,右フロントスピーカ131R,左サラウンドスピーカ132L,右サラウンドスピーカ132R)による音声信号の再生時の残響効果が大きくなるように,各チャンネルに対応する音声信号を調整する。具体的には,制御回路8のROM8b等に,音の深度とセンタースピーカ131C及び他のスピーカに対応する残響効果の差分との関係が予め定められた音声対応情報が記憶されており,制御回路8がその音声対応情報に従って音声信号を調整することが考えられる。
このように構成されたテレビジョン受像機Xでは,制御回路8によって前記音声深度制御処理が実行されることにより,液晶表示部7で表示される映像の深度とスピーカ装置13で再生される音の深度とが自動的に合わせられるため,より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
なお,制御回路8は,音の深度が深いほど,センタースピーカ131C,左フロントスピーカ131L,右フロントスピーカ131R等に比べて,左サラウンドスピーカ132L,右サラウンドスピーカ132R等による音声信号の再生時の残響効果を高くしてもよい。要するに,制御回路8は,視聴者の前方に配置されるスピーカと後方に配置されるスピーカとに対応する少なくとも2チャンネルの音声信号の再生時の残響効果に,左目映像及び右目映像の水平方向のズレ量(映像の深度)に対応する予め定められた差分を生じさせることで,音の深度を映像の深度に合わせることが可能である。なお,表示される映像が平面映像であるか立体映像であるかに応じて音に深度(立体感)を持たせるか否かを単純に切り替えることも考えられる。
ところで,音声処理回路11は,その制御回路8からの指示に従って,残響音のレベルをダイナミックに上げることやFIRフィルタのTAP数を長くすることにより残響効果を調整することが可能である。また,残響効果の調整手法はこれに限らず,例えば音声処理回路11が図9に示すように音声信号に残響音を付加する残響音付加回路300を備えており,その残響音付加回路300において,減衰器(ATT:Attenuator)301からの出力を遅延させる遅延回路302の遅延時間を設定変更して長くすること等によっても残響効果を高めることができる。
なお,本実施の形態では,立体映像処理回路4bにおいて,前記深度スペクトラムにおけるズレ量の平均値を,前記左目映像と前記右目映像との水平方向の表示位置のズレ量(映像の深度)として算出する場合を例に挙げて説明したがこれに限らない。
例えば,立体映像処理回路4bにおいて,前記深度スペクトラムの積分値などを算出することも考えられる。また,立体映像処理回路4bにおいて,最も視聴者の目に付きやすい液晶表示部7の中央部近傍に表示される映像のみについて,前記左目映像と前記右目映像との水平方向の表示位置のズレ量の平均値や積分値などを算出することも考えられる。さらに,液晶表示部7の中央部の映像とその周辺部の映像とに異なる重み付けを設定しておき,算出される映像の深度の深さに与える影響の程度に差をつけることも考えられる。
また,本実施の形態では,前記中点フレーム画像を基準として映像の奥行き方向又は飛び出す方向の深度を算出する場合を例に挙げて説明した。一方,例えば左目フレーム画像と右目フレーム画像との水平方向のズレ量が最も大きい領域や最も小さい領域(表示される立体映像において最も手前又は奥となる表示面)を基準面として,他の領域についてはその基準面に対する相対的な映像の深度を算出することも考えられる。この場合には,映像の深度を前記基準面に対する奥行き方向又は飛び出す方向のいずれか一方の深度だけで捉えることができる。また,例えば左目フレーム画像又は右目フレーム画像のいずれか一方を基準として用いることも考えられる。
本実施例1では,前記実施の形態で説明したテレビジョン受像機Xにおいて採用することのできる音の深度の調整手法の他の例について説明する。
ここに,図10は,前記深度対応情報の他の例を示すグラフであって,図10(a)は映像の深度とサラウンド成分のレベルとの関係,図10(b)は映像の深度とフロント成分のレベルとの関係を示している。ここに,サラウンド成分とは,左サラウンドスピーカ132L,右サラウンドスピーカ132Rのいずれか一方又は両方に対応するものである。また,フロント成分とは,センタースピーカ131C,左フロントスピーカ131L,右フロントスピーカ131Rのいずれか一つ又は複数に対応するものである。
図10(a)に示す前記深度対応情報では,映像の深度が奥行き方向(凹側)に大きくなる程,サラウンド成分のレベルが大きくなる関係にあることが定められている。また,図10(b)に示す前記深度対応情報では,映像の深度が飛び出す方向(凸側)に大きくなる程,フロント成分のレベルが大きくなる関係にあることが定められている。
そして,制御回路8は,音声処理回路11やアンプ12を制御することにより,映像の深度が奥行き方向に大きい程,左サラウンドスピーカ132L,右サラウンドスピーカ132Rで再生されるサラウンド成分のレベルが大きく,センタースピーカ131C,左フロントスピーカ131L,右フロントスピーカ131Rで再生されるフロント成分のレベルが小さくなるように各スピーカに入力される音声信号を調整する。また,制御回路8は,映像の深度が飛び出す方向に大きい程,左サラウンドスピーカ132L,右サラウンドスピーカ132Rで再生されるサラウンド成分のレベルが小さく,センタースピーカ131C,左フロントスピーカ131L,右フロントスピーカ131Rで再生されるフロント成分のレベルが大きくなるように各スピーカに入力される音声信号を調整する。もちろん,このとき調整の対象となるスピーカは,前記深度対応情報で定められた関係が成立するものであれば,その組み合わせは任意に定めておくことが可能である。例えば,センタースピーカ131Cと左サラウンドスピーカ132Lや右サラウンドスピーカ132Rとの音量差のみを相対的に調整してもよい。
このように,制御回路8が,映像の深度に対応して,少なくとも視聴者の前方及び後方それぞれに配置されるスピーカ各々に対応する2チャンネルの前記音声信号の再生時の音量に,前記表示位置のズレ量に対応する予め定められた差分を生じさせることで,前記ステップS2で算出された映像の深度に適した音の深度(立体感)を生じさせることができる。
ところで,離れたところにある音は高域が減衰して聞こえる。そこで,制御回路8は,音声処理回路11を制御することにより,スピーカ装置13のスピーカ各々により再生される音声における高音の減衰量を調整することも考えられる。なお,高域の音の減衰量の調整は,例えば制御回路8がスピーカ装置13のスピーカ各々に対応して設けられるローパスフィルターのフィルタ係数を変更して,通過させる周波数や高域周波数の減衰量の設定値などを調整することで実現することができる。
例えば,制御回路8は,センタースピーカ131Cに比べて,他のスピーカ(左フロントスピーカ131L,右フロントスピーカ131R,左サラウンドスピーカ132L,右サラウンドスピーカ132R)で再生される音声の高域の音が減衰するように前記音声信号を調整することで,音の深度を深くすることができる。また,センタースピーカ131C,左フロントスピーカ131L,右フロントスピーカ131Rに比べて,左サラウンドスピーカ132L,右サラウンドスピーカ132Rに対応する音声における高域の音を減衰させてもよい。もちろん,センタースピーカ131Cに比べて左サラウンドスピーカ132Lや右サラウンドスピーカ132Rに対応する音声における高域の音を減衰させてもよい。
このように,制御回路8は,少なくとも視聴者の前方及び後方それぞれに配置されるスピーカに対応する2チャンネルの前記音声信号の高域の減衰量に,前記表示位置のズレ量に対応する差分を生じさせることで,前記ステップS2で算出された映像の深度に適した音の深度(立体感)を生じさせることができる。
テレビジョン受像機Xでは,スピーカ装置13が5.1chのサラウンドシステムである場合を例に挙げて説明したが,本発明は,少なくとも2ch以上の音声信号を個別に再生する2つ以上のスピーカによってサラウンド又は擬似サラウンド(仮想サラウンド)を実現する立体映像表示装置に適用することができる。
本実施例1では,図11に示すように,スピーカ装置13が,視聴者の前方左側に配置された左フロントスピーカ231Lと,前方右側に配置された右フロントスピーカ231Rとを有しており,該左フロントスピーカ231L,右フロントスピーカ231Rによって擬似サラウンドが具現されるテレビジョン受像機X1を例に挙げて説明する。
ここに,擬似サラウンドとは,左フロントスピーカ231L,右フロントスピーカ231Rの二つのスピーカから個別の音声を出力することで,視聴者に錯覚を生じさせて擬似的にサラウンド再生を実現することをいう。例えば,2chの音声信号の一方の逆位相の音声信号を他方の音声信号に重ねて出力することが考えられる。また,5.1chなどのサラウンド音声信号を2chの音声信号にダウンミックスして出力する場合も含まれる。
このように構成されたテレビジョン受像機X1では,制御回路8が,スピーカ装置13で再生される音の深度を,左フロントスピーカ231L,右フロントスピーカ231Rに対応する音声信号の再生時の残響効果に,前記表示位置のズレ量に対応する差分を生じさせることによって調整することが考えられる。
具体的に,左フロントスピーカ231Lから右フロントスピーカ231Rの音声信号を引いたサラウンド成分に所定のゲインを掛けてその右フロントスピーカ231Rの音声信号から減算し,右フロントスピーカ231Rから左フロントスピーカ231Lの音声信号を引いたサラウンド成分に所定のゲインを掛けてその左フロントスピーカ231Lの音声信号から減算する構成を考える。
この場合,制御回路8が,前記表示位置のズレ量に応じて前記サラウンド成分の残響効果をダイナミックに増加させることが考えられる。なお,前述したように,残響効果を調整する手法としては,残響音のレベルを上げることやFIRフィルタのTAP数を長くすることにより,残響効果を高めることができる。また,前述したように図9に示す残響音付加回路300において,減衰器(ATT:Attenuator)301からの出力を遅延させる遅延回路302の遅延時間を設定変更して長くすること等によっても残響効果を高めることができる。
このように,制御回路8は,少なくとも視聴者の前方左側及び前方右側それぞれに配置されるスピーカに対応する2チャンネルの前記音声信号の差分により求まるサラウンド成分の残響効果を変化させ,左フロントスピーカ231L及び右フロントスピーカ231Rに対応する音声信号に前記表示位置のズレ量に対応する差分を生じさせることによっても,前記ステップS2で算出された映像の深度に適した音の深度(立体感)を生じさせることが可能である。
また,同様の構成において,制御回路8が,前記表示位置のズレ量に応じて前記サラウンド成分のゲインをダイナミックに増加させてサラウンド成分を強調させ,左フロントスピーカ231L及び右フロントスピーカ231Rに対応する音声信号に前記表示位置のズレ量に対応する差分を生じさせることによっても,音の広がりを出して音の深度を深くすることが可能である。なお,この場合,制御回路8は,前記サラウンド成分のゲインを減少させることにより前記サラウンド成分を弱めて音の深度を浅くすることも可能である。
本発明は,テレビジョン受像機やディスプレイ装置などの立体映像表示装置への利用が可能である。
1a,1b:チューナ
2:外部入力部
3:映像切替回路
4a:映像処理回路
4b:立体映像処理回路
5:RF通信回路
6:LCD制御回路
7:液晶表示部
8:制御回路
8a:MPU
8b:ROM
8c:EEPROM
9:リモコンインターフェース回路
9a:リモコン
9b:操作キー
9c:表示切替キー
10:音声切替回路
11:音声処理回路
12:アンプ
13:スピーカ装置
131L:左フロントスピーカ
131R:右フロントスピーカ
131C:センタースピーカ
132L:左サラウンドスピーカ
132R:右サラウンドスピーカ
231L:左フロントスピーカ
231R:右フロントスピーカ
300:残響音付加回路
301:減衰器
302:遅延回路
S1,S2,…,:処理手順(ステップ)番号
X:テレビジョン受像機(本発明に係る立体映像表示装置の一例)
Y:3Dメガネ

Claims (7)

  1. 複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に,表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置であって,
    前記左目映像と前記右目映像との水平方向の表示位置のズレ量を算出する映像ズレ量算出手段と,
    少なくとも2チャンネルの前記音声信号に前記映像ズレ量算出手段により算出された前記表示位置のズレ量に対応する予め定められた差分を生じさせる音声差分調整手段と,
    を備えてなることを特徴とする立体映像表示装置。
  2. 前記音声差分調整手段が,少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の再生時の残響効果に,前記表示位置のズレ量に対応する予め定められた差分を生じさせるものである請求項1に記載の立体映像表示装置。
  3. 前記音声差分算出手段が,少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の差分により求まるサラウンド成分の残響効果を変化させることにより,該2チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものである請求項1に記載の立体映像表示装置。
  4. 前記音声差分調整手段が,少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の再生時の音量に,前記表示位置のズレ量に対応する予め定められた差分を生じさせるものである請求項1に記載の立体映像表示装置。
  5. 前記音声差分算出手段が,少なくとも視聴者の前方左側及び前方右側それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の差分により求まるサラウンド成分の大きさを変化させることにより,該2チャンネルの前記音声信号に前記表示位置のズレ量に対応する差分を生じさせるものである請求項1に記載の立体映像表示装置。
  6. 前記音声差分調整手段が,少なくとも視聴者の前方及び後方それぞれに配置される前記スピーカに対応する2チャンネルの前記音声信号の高域の減衰量に,前記表示位置のズレ量に対応する予め定められた差分を生じさせるものである請求項1に記載の立体映像表示装置。
  7. 前記左目映像及び前記右目映像を交互に表示させる立体映像表示手段と,前記左目映像及び前記右目映像の切り替えに連動して左目及び右目の視界を有効及び無効に切り替える立体表示メガネとを更に備えてなる請求項1〜6のいずれかに記載の立体映像表示装置。
JP2010200699A 2010-09-08 2010-09-08 立体映像表示装置 Pending JP2012060349A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010200699A JP2012060349A (ja) 2010-09-08 2010-09-08 立体映像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010200699A JP2012060349A (ja) 2010-09-08 2010-09-08 立体映像表示装置

Publications (1)

Publication Number Publication Date
JP2012060349A true JP2012060349A (ja) 2012-03-22

Family

ID=46056927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010200699A Pending JP2012060349A (ja) 2010-09-08 2010-09-08 立体映像表示装置

Country Status (1)

Country Link
JP (1) JP2012060349A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267440A1 (en) * 2010-04-29 2011-11-03 Heejin Kim Display device and method of outputting audio signal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105400A (ja) * 1992-09-17 1994-04-15 Olympus Optical Co Ltd 3次元空間再現システム
JPH08102999A (ja) * 1994-09-30 1996-04-16 Nissan Motor Co Ltd 立体音響再生装置
JPH08140200A (ja) * 1994-11-10 1996-05-31 Sanyo Electric Co Ltd 立体音像制御装置
JP2004048751A (ja) * 2002-07-08 2004-02-12 Samsung Electronics Co Ltd 多チャンネル立体音響サウンドの生成方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105400A (ja) * 1992-09-17 1994-04-15 Olympus Optical Co Ltd 3次元空間再現システム
JPH08102999A (ja) * 1994-09-30 1996-04-16 Nissan Motor Co Ltd 立体音響再生装置
JPH08140200A (ja) * 1994-11-10 1996-05-31 Sanyo Electric Co Ltd 立体音像制御装置
JP2004048751A (ja) * 2002-07-08 2004-02-12 Samsung Electronics Co Ltd 多チャンネル立体音響サウンドの生成方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267440A1 (en) * 2010-04-29 2011-11-03 Heejin Kim Display device and method of outputting audio signal
US8964010B2 (en) * 2010-04-29 2015-02-24 Lg Electronics Inc. Display device and method of outputting audio signal

Similar Documents

Publication Publication Date Title
US8665321B2 (en) Image display apparatus and method for operating the same
US8767051B2 (en) Display apparatus, 3D glasses, and display system including the same
RU2559748C2 (ru) Дисплей и устройство вывода звука
US20130038611A1 (en) Image conversion device
US20110157327A1 (en) 3d audio delivery accompanying 3d display supported by viewer/listener position and orientation tracking
JP2012015774A (ja) 立体視映像処理装置および立体視映像処理方法
US9097903B2 (en) 3D display device and selective image display method thereof
US20140362198A1 (en) Stereoscopic Video Processor, Stereoscopic Video Processing Method and Stereoscopic Video Processing Program
JP2012533205A (ja) ディスプレイ装置の画面サイズを利用した信号処理方法及び装置
US20120230525A1 (en) Audio device and audio system
JP2011216937A (ja) 立体画像表示装置
US20140015941A1 (en) Image display apparatus, method for displaying image and glasses apparatus
JPH10150608A (ja) デジタル放送システムのユーザ側端末
EP3491840B1 (en) Image display apparatus
JP4960517B1 (ja) 映像表示装置及び映像表示方法
US8929556B2 (en) Audio-signal processing device and method for processing audio signal
JP5505637B2 (ja) 立体表示装置および立体表示装置の表示方法
JP2008312096A (ja) 音響再生装置及びテレビ受像機
JPH0851698A (ja) サラウンド信号処理装置及び映像音声再生装置
KR101661956B1 (ko) 음향 설정에 대응하는 3d 오브젝트를 제공하는 영상표시장치 및 그 동작 제어방법
WO2011125726A1 (ja) 立体映像表示装置、立体映像表示システム
JP2012060349A (ja) 立体映像表示装置
JP2011259298A (ja) 3次元音声出力装置
JP5025786B2 (ja) 画像処理装置、及び画像処理方法
US20120224700A1 (en) Sound image control device and sound image control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140318