JP5599063B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP5599063B2
JP5599063B2 JP2010278091A JP2010278091A JP5599063B2 JP 5599063 B2 JP5599063 B2 JP 5599063B2 JP 2010278091 A JP2010278091 A JP 2010278091A JP 2010278091 A JP2010278091 A JP 2010278091A JP 5599063 B2 JP5599063 B2 JP 5599063B2
Authority
JP
Japan
Prior art keywords
pop
image
video
out amount
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010278091A
Other languages
English (en)
Other versions
JP2012129710A (ja
Inventor
栄治 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010278091A priority Critical patent/JP5599063B2/ja
Priority to US13/323,623 priority patent/US9118893B2/en
Publication of JP2012129710A publication Critical patent/JP2012129710A/ja
Application granted granted Critical
Publication of JP5599063B2 publication Critical patent/JP5599063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、例えば、立体視トレーニングなどに用いて好適な表示制御装置、表示制御方法及びプログラムに関する。
視聴者の両眼に異なる画像を見せることにより、立体映像を視聴できる表示ディスプレイが知られている。このような表示ディスプレイでは、左目用及び右目用の映像上で被写体が距離に応じてずれた位置に配置され、この視差を利用して立体視トレーニングを行わせることができる。左右の画像を同じ表示面上に表示する方法としては、視差バリア、偏光フィルタ、時分割等の方法が実現されている。
しかしながら、視聴する立体映像が切り替わる際に、奥行き感が急激に変化するため、視聴による疲労が蓄積されやすい。そこで、このような視聴疲労を防ぐための方法として、画像本編よりも視差の少ない補間映像を生成し、画像表示前に視差が漸次変更されるような補間立体映像を表示する方法が提案されている(例えば、特許文献1参照)。これにより、補間映像によって急激な視差変化が緩和され、疲労を軽減することができるようにしている。また、操作者が繰り返し動作によって疲労を感じるときに検知スイッチを押すことにより、再生画像の切換タイミングを遅くして擬似的に繰り返し動作の周期を長くして操作者の疲労を軽減する方法も提案されている(例えば、特許文献2参照)。
特開2009−239389号公報 特開平8−191460号公報
しかしながら、特許文献1に記載の方法においては、立体映像が切り換わる時の映像コンテンツの内容によっては、冒頭部を補間画像と置き換えてしまうために、冒頭のシーンは立体感に欠けたものになってしまう。また、特許文献2に記載の方法においては、切換え時の映像コンテンツに動体を含む場合に、再生画の切換えタイミングを遅くすることによって映像内の動体速度も遅くなってしまい、違和感のある映像になる場合がある。
本発明は前述の問題点に鑑み、視聴による疲労の蓄積を軽減できるようにするとともに、映像の品質を維持できるようにすることを目的としている。
本発明の表示制御装置は、視聴者の右目用の画像と左目用の画像とを表示することによって、被写体の視差により生じる被写体の飛び出し量を算出して前記視聴者から見て立体的な映像を表示する表示制御装置であって、前記立体的な映像に係る映像データを入力する入力手段と、前記入力手段によって入力された映像データから前記飛び出し量の変化を検出する検出手段と、前記検出手段により飛び出し量の変化を検出した場合に、前記入力手段によって入力された映像データにおいて前記飛び出し量が変化した領域を判定する判定手段と、前記判定手段により判定された領域に対して、所定の期間にボケを付加した映像を生成する生成手段と、前記生成手段によって生成された映像を表示装置に表示する表示制御手段とを備えたことを特徴とする。
本発明によれば、映像の品質が低下しないようにして視差の変化を緩和することができ、映像が切り替わった時の視聴による疲労を低減できる。
実施形態に係る表示制御装置の機能構成例を示すブロック図である。 切り換える前に表示される映像コンテンツの一例を示す図である。 切り換えた後に表示される映像コンテンツの一例を示す図である。 映像コンテンツの飛び出し量の変化例を示す図である。 初期の立体視トレーニング画像の一例を示す図である。 中期の立体視トレーニング画像の一例を示す図である。 後期の立体視トレーニング画像の一例を示す図である。 オブジェクトリストの構成例を示す図である。 実施形態に係る表示制御装置の詳細な構成例を示すブロック図である。 立体視トレーニング画像の生成手順の一例を示すフローチャートである。 飛び出し量を検出する処理手順の一例を示すフローチャートである。
以下、添付の図面を参照しながら、本発明の好適な実施形態について説明する。本実施形態では、立体視トレーニングにおいて、映像コンテンツの表示画面からの飛び出し量を検出して、表示を切り替える時に映像の飛び出し変化量が大きい領域の映像をぼかして、徐々にぼかしを解消して映像を表示する例について説明する。ここで、飛び出し量とは、右目用及び左目用の映像上で被写体が距離に応じてずれた位置に配置されることによって生じる視差に基づいて、視聴者が立体的な映像として視聴した場合にその被写体が手前に飛び出て見える量のことを指す。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
図1は、本実施形態に係る表示制御装置10の機能構成例を示すブロック図である。
図1において、映像受信部11は、放送波やビデオ信号等、外部から映像コンテンツのデータ(映像データ)を入力する。ボケ手法指示部12は、ボケ画像を生成する必要があるようなユーザからの操作指示を入力すると、後述するボケ量制御部15へボケ画像を生成する発動条件を通知する。
ここで、ボケ手法指示部12からボケ画像を生成する発動条件を通知する場合とは、例えば地上波のチャンネルを切り換えた時や、地上波からビデオ信号等へ切り換わる時などが挙げられる。また、映像受信部11で受信している映像コンテンツにおいて地上波のシーンが切り換わる場合や、指定したコンテンツの時間に到達した場合もボケ画像を生成する発動条件とする。さらに、指定した画面内の領域でボケ画像の生成を発動させるような設定も可能である。映像編集等では、ボケを発生させる時間を指定したり、映像コンテンツの結合箇所などを選択させたりすることができる。
飛び出し量検出部13は、映像コンテンツの飛び出し量の変化を検出する。ボケ領域判定部14は、後述するボケ量制御部15から指示された閾値以上に飛び出し量の変化がある領域を抽出し、ボケ画像を生成する領域として判定する。ボケ量制御部15は、ボケ画像の生成、及び立体視トレーニングの機能全体の制御を行う。また、ボケ量制御部15は、ボケ手法指示部12から通知されたボケ画像を生成する発動条件と一致し、かつ飛び出し量検出部13で検出した飛び出し量の変化が一定値以上である場合に、ボケ領域判定部14へ閾値を通知する。
ボケ量制御部15からボケ領域判定部14へ指示する閾値は、飛び出し量の差に応じて立体視トレーニングの所要時間や映像フレーム毎の飛び出し量変化の度合に基づいて時々刻々と変化させる。例えば、閾値は時間とともにボケ度合いを減衰させるよう変化させる。そこで、ボケ領域判定部14は、ボケ量制御部15から指示された閾値以上に飛び出し量の変化がある領域を抽出し、飛び出し量の差異毎の領域をボケ量制御部15へ通知する。
ボケ量制御部15は、ボケ領域判定部14から通知された領域に対して、映像にボケを生成する。ボケの強弱はボケ領域判定部14から通知された飛び出し量の差異が大きい領域ほど強くぼかした映像を生成する。ボケ量制御部15は、ボケ領域判定部14へ指示する閾値を時々刻々と変化させ、前述の処理を繰り返すことにより時間経過と共にボケを除々に解除したり、除々にボケを小さくしたりして映像を生成するよう制御する。出力部16は、映像受信部11で受信した映像、またはボケ量制御部15でボケを生成した映像を表示部に出力する手段である。
図9は、本実施形態の表示制御装置10の詳細な構成例を示すブロック図である。
図9において、ボケ手法指示部12は、リモコン受光部93、キースイッチ入力部94及びトレーニング設定入力部95から構成されている。
リモコン受光部93は、赤外光を受信してデコードすることにより操作コマンドを取り出す。キースイッチ入力部94は、放送チャンネルやビデオポートの切替え、音量調整など、各種操作を行うためのキースイッチである。トレーニング設定入力部95は、前述したようなボケ画像を生成する発動条件を受信する。また、ボケ手法指示部12は、タッチパネルなどを用いて構成してもよく、タッチパネルやマウス等のポインティングデバイスを用いて情報を入力するようにしてもよい。
映像受信部11は、チューナ90、外部機器入力インタフェース91及び入力セレクタ92から構成されている。チューナ90は、アンテナやケーブルから入力された放送波から所望の放送チャンネルの信号を抽出して復調する。また、復調されたストリームデータのデコードを行い、ベースバンドの映像データを出力する。
外部機器入力インタフェース91は、外部から映像データを入力するためのものである。具体的に外部機器入力インタフェース91は、例えば、アナログコンポジット信号やアナログコンポーネント信号、HDMIやDVI等のデジタルビデオ信号規格のインタフェースで構成され、各種の映像データを入力する。入力セレクタ92は、チューナ90または外部機器入力インタフェース91から映像データを入力し、指定された映像データのみを選択して出力する。
出力部16は、高画質化処理部97、表示パネル制御部98及び表示パネル99から構成されている。高画質化処理部97は、ボケ量制御部15から映像データを入力し、入力した映像データに対して拡大縮小や輪郭補正、色補正等の画像処理を施す。表示パネル制御部98は、画像処理が施された映像データを入力して表示パネル99に映像を表示するための制御を行う。このとき、表示パネル99の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて表示画面データを読み出して出力する。また、信号電圧レベルの変換や補助信号の作成も行う。表示パネル99は、液晶やプラズマ、投射、CRT、有機EL等の任意の表示方式で構成される。
また、図示されていないが、本実施形態に係る表示制御装置10には、コンテンツに含まれる音声データを再生するための音声処理部、アンプ、スピーカ等も含まれている。
以下、本実施形態における表示制御の動作例を説明する。本実施形態では、表示を切り替える時に徐々に最深・最浅深度に移動するグラフィックスを表示する例について説明する。
図2は、表示コンテンツを切り換える前に表示される映像コンテンツの一例を示す図である。図2において、建物オブジェクト21、22が画面上に同列に並んでおり、建物オブジェクト23が映像コンテンツ内で最前面に表示されている。これらのオブジェクトは、右目用の画像と左目用の画像とが重なるように表示される。
図3は、表示コンテンツを切り換えた後に表示される映像コンテンツの一例を示す図である。図3において、山オブジェクト32が遠景にあり、手前に家オブジェクト31、さらに手前に球オブジェクト33、さらに手前に人オブジェクト34が配置されている。
図4は、映像コンテンツの飛び出し量の変化例を示す図である。
図4において、横軸は時間経過を示し、右に移動するほど時間が経過していることを示している。縦軸は立体映像コンテンツの画面からの飛び出し量を示し、上に移動するほど映像コンテンツの画面からの飛び出し量が大きいことを示している。
飛び出し量41は、図2の建物オブジェクト23の画面からの飛び出し量を示しており、図2に示す画面における最大飛び出し量である。飛び出し量42は図3の人オブジェクト34の飛び出し量を示し、飛び出し量43は球オブジェクト33の飛び出し量を示している。また、飛び出し量44は家オブジェクト31の飛び出し量を示し、飛び出し量45は山オブジェクト32の飛び出し量を示している。点線46は映像コンテンツが切り替わった時間を示し、点線46を境に画面に表示されている映像コンテンツが図2に示すものから図3に示すものに切り替わったことを示している。
図4において、建物オブジェクト23の飛び出し量41と球オブジェクト33の飛び出し量43とはほぼ等しい。一方、建物オブジェクト23の飛び出し量41と家オブジェクト31の飛び出し量44との差異は、球オブジェクト33の場合よりも大きい。同様に、山オブジェクト32の飛び出し量45、人オブジェクト34の飛び出し量42という順に建物オブジェクト23の飛び出し量41との差異が大きくなっている。
図2に示す映像コンテンツから図3に示す映像コンテンツに表示を切り替えようとした場合には、建物オブジェクト23の飛び出し量41よりも人オブジェクト34の飛び出し量42の方がはるかに大きい。このことから、人オブジェクト34を注視すると、表示画面上での視差が急激に変化する。このように、人オブジェクト34が近景に突然現れると、ユーザの融合限界を超えてしまい、立体視できなくなったり、疲労を招いたりしてしまう可能性がある。
こうした場合に本実施形態では、映像コンテンツを切り替える時に飛び出し量が変化した領域の映像をぼかし、ボケ量を徐々に少なくする。以下、このような急激な視差変化を緩和するためにボケを生成した画像のことを、立体視トレーニング画像と称して説明を行う。
次に、図10のフローチャートを参照しながら、立体視トレーニング画像を生成する機能(以下、トレーニング機能と称す)が発動した際の画像生成処理の手順について説明する。トレーニング機能が発動されると、トレーニング機能が発動する前後における画像の飛び出し量を検出する。そして、両者の飛び出し量の差が閾値以上の場合は、トレーニング機能が発動した後の画像から閾値以上の飛び出し量を持った領域を抽出し、抽出した領域をぼかし、徐々にボケを解除しながら映像コンテンツを表示する。なお、トレーニング機能の発動は、例えば、トレーニング設定入力部95で受信した設定条件と合致した場合に発動される。例えば、設定条件として「コンテンツの切換え時」が設定されていた場合、映像受信部11で受信している映像コンテンツが異なるコンテンツへ切り換わった時に、図10に示すフローチャートの処理が開始される。このとき、ボケ量制御部15により飛び出し量の最初の閾値が設定される。
図10は、立体視トレーニング画像を生成する処理手順の一例を示すフローチャートである。
まず、ステップS101において、飛び出し量検出部13は、トレーニング機能の発動前の画像の飛び出し量を検出し、ステップS102において、トレーニング機能の発動後の画像の飛び出し量を検出する。なお、画像の飛び出し量を検出する詳細な手順については後述する。次に、ステップS103において、ボケ領域判定部14は、トレーニング機能が発動する前後における画像の飛び出し量の差が閾値以上である領域を含むか否かを判定する。この判定の結果、閾値以上である領域を含む場合はステップS104へ進み、閾値以上である領域がない場合は処理を終了する。
次に、ステップS104において、ボケ量制御部15は、立体視トレーニングのトレーニングプランを生成する。立体視トレーニングのプランとしては、飛び出し量の差に応じてトレーニング機能の所要時間や映像フレーム毎の飛び出し量の変化の度合いを設定する。例えば、飛び出し量の差を3段階に分け、少ない場合は1秒、中程度が2秒、多い場合は3秒、というように時間設定を行う。なお、トレーニング機能の所要時間を設定する際に、キーボード等から直接時間を指定できるようにしてもよい。
次に、ステップS105において、ボケ領域判定部14は、トレーニング機能の発動後の画像内において飛び出し量の差が所定値以上(閾値以上)の領域を検出する。そして、ステップS106において、ボケ量制御部15は、ステップS105で検出された閾値以上の領域に対してボケ画像を生成する。例えば、ボケ画像の生成方法としてローパスフィルタなどを用い、高周波成分を取り除くことによってボケ画像を生成する。このとき、平準化フィルタ、ガウシアンフィルタ、モーションフィルタ等の各種フィルタをユーザにより選択できるようにしてもよい。また、ボケ量に関しては、飛び出し量の差異が大きい領域ほど高周波成分をカットすることにより大きくぼかした画像を生成する。
次に、ステップS107において、ボケ量制御部15は、ステップS104で生成したトレーニングプランに基づいて閾値を変更する。例えば、初期状態での飛び出し量の差の閾値が「2」、発動前の画像の飛び出し量が「1」、発動後の画像の飛び出し量の最大が「9」、トレーニングプランの時間設定が2秒であるとする。この場合、トレーニング機能の発動後における画像の飛び出し量が「3」以上の領域、すなわち飛び出し量が「3」から「9」へ変化した領域はボケを生成する領域と判定される。また、1秒間という期間に60フレームの画像を処理する場合、トレーニングプランの時間設定が2秒であるため、1フレーム当たり閾値に加算する値は、(9−3)/(60*2)=0.05と算出される。
次に、ステップS108において、ボケ量制御部15は、トレーニング機能が終了したかどうかを判定し、トレーニング機能が終了していない場合はステップS105へ戻り、トレーニング機能が終了している場合は処理を終了する。なお、トレーニング機能の終了判定には、ステップS104で生成されたトレーニングプランから経過時間を計測して判定する場合や、ステップS107で再設定された閾値以上の領域の有無により判定する場合等がある。
以上の処理により、トレーニング機能の発動時に、トレーニング機能の発動前後における画像の飛び出し量を検出し、両者の飛び出し量の差が閾値以上の場合、発動後の画像から閾値以上の飛び出し量を持った領域の抽出を行う。その後、抽出した領域の画像をぼかした画像を生成し、徐々にボケを解除するように画像を生成する。そして、出力部16により、ぼかした画像のデータが入力され、映像コンテンツとして表示パネル99に表示される。
次に、図11のフローチャートを参照しながら、図10のステップS101及びS102における飛び出し量を検出する処理の詳細な手順を説明する。この処理では、まず、映像コンテンツの製作者から指示があるか否かを判定し、指示がある場合はその指示に従う。また、深度を指定する映像フォーマットである場合は、深度データを用い、それ以外の場合は、画像内の各オブジェクトの視差量から飛び出し量を検出する。
図11は、飛び出し量検出部13による、図10のステップS101及びS102における飛び出し量を検出する処理手順の一例を示すフローチャートである。
まず、ステップS1101において、製作者の指示情報があるか否かを判定する。製作者の指示情報は、例えば映像データに付随するヘッダ情報に含まれている場合や、ボケ手法指示部12を介して入力される場合などがある。この判定の結果、指示情報がある場合はステップS1102へ進み、指示情報がない場合はステップS1104へ進む。
ステップS1102においては、映像データに付随するヘッダ情報等から指示データを取得する。なお、通信ネットワークを介して、コンテンツ提供者のサーバから指示データを取得するようにしてもよい。次に、ステップS1103においては、取得した指示データに基づいて飛び出し量を決定し、処理を終了する。
一方、ステップS1104においては、映像データが深度を指定する映像フォーマットか否かを判定する。ここで、深度を指定する映像フォーマットとは、映像中のオブジェクト毎に画面からの深さ方向を示す深度(depth)情報を持った映像フォーマットである。この判定の結果、深度を指定する映像フォーマットである場合はステップS1105へ進み、深度を指定する映像フォーマットでない場合はステップS1107へ進む。
ステップS1105においては、受信した映像コンテンツからオブジェクト毎の深度情報を取得する。次に、ステップS1106においては、取得した深度情報から、オブジェクト毎の飛び出し量を決定し、処理を終了する。
一方、ステップS1107においては、映像コンテンツの画面内からオブジェクトを抽出する。なお、オブジェクトの抽出方法は公知の任意の技術を用いることができ、輪郭線を追跡して抽出するようにしてもよいし、色分布を検出して抽出するようにしてもよい。
次に、ステップS1108において、左右画像のオブジェクトのマッチングを行う。すなわち、左目用画面で抽出したオブジェクトが右目用画面のどこにあるかをマッチングして探索する。そして、ステップS1109において、左右画像で抽出されたオブジェクトの位置の差分から視差量を検出する。オブジェクトの視差量はオブジェクトの中心位置の差を用いてもよいし、各特徴点の視差量の平均値を用いてもよい。次に、ステップS1110において、オブジェクトリストを生成し、検出結果を追加する。
図8は、オブジェクトリストの構成例を示す図である。オブジェクトリストには、オブジェクト毎にその位置と視差量との情報が記録される。図8において、欄81はオブジェクトIDであり、オブジェクト毎に割当てられるID番号である。欄82は左目用画面におけるオブジェクトのX座標であり、欄83はオブジェクトの左目用画面におけるY座標である。また、欄84は左右画像の視差量であり、欄85は後述するステップS1112で決定される、画面からの飛び出し量である。
図11に戻り、次に、ステップS1111において、画面内で全てのオブジェクトについて以上の処理を行ったか否かを判定し、全てのオブジェクトについて終了した場合はステップS1112へ進み、そうでない場合はステップS1107へ戻る。そして、ステップS1112において、オブジェクトリストに基づいてオブジェクト毎の飛び出し量を決定し、処理を終了する。
なお、オブジェクト自体に大きな奥行きを持つ場合は深度が大きく変化するため、オブジェクトを深度が近い箇所に複数に分割し、オブジェクトリストへ登録する。例えば、遠景を撮影した風景などにおいて、道路が手前から奥に向かって続いている場合、道路を深度が近い箇所毎に複数分割し、オブジェクトリストへ登録する。以上のような手順により、図3に示す例では、人オブジェクト34が最も飛び出し量が大きく、球オブジェクト33、家オブジェクト31、山オブジェクト32の順に画面からの飛び出し量が大きいオブジェクトとして検出される。
図5〜図7は、立体視トレーニング画像として、図3に示す画像に一部ボケを加えた画像の一例を示す図である。図3と共通の要素には同一番号を付し、説明を省略する。
図5は、立体視トレーニング画像の初期画像の一例を示す図である。図5において、家オブジェクト51は図3の家オブジェクト31にボケを付加した画像である。同様に山オブジェクト52は図3の山オブジェクト32にボケを付加した画像であり、人オブジェクト54は図3の人オブジェクト34にボケを付加した画像である。また、各オブジェクトのボケ量は、球オブジェクト33との飛び出し量の差異が大きいほどボケ量が大きい。一方、建物オブジェクト23の飛び出し量41と球オブジェクト33の飛び出し量43とがほぼ等しいため、球オブジェクト33にはボケが付加されていない。
図6は、図5に示す画像から時間が経過した後の立体視トレーニング画像の一例を示す図である。
図6において、家オブジェクト61は、図5に示す家オブジェクト51よりもボケ量が少なく、山オブジェクト62は、図5に示す山オブジェクト52よりもボケ量が少ない。同様に、人オブジェクト64は、図5に示す人オブジェクト54よりもボケ量が少ない。このように図5に示す画像と図6に示す画像との間で、ボケ量が連続的に変化するオブジェクトが複数存在している。
図7は、図6に示す画像からさらに時間が経過した後の立体視トレーニング画像の一例を示す図である。
図7において、山オブジェクト72は、図6に示す山オブジェクト62よりもさらにボケ量が少ない。同様に、人オブジェクト74は、図6に示した人オブジェクト64よりもさらにボケ量が少ない。一方、家オブジェクト31は、時間の経過に伴って閾値が大きくなった結果、飛び出し量の差異が閾値未満となり、ボケがなくなっている。このように、図6に示す画像と図7に示す画像との間で、ボケ量が連続的に変化するオブジェクトが複数存在している。
さらに時間が経過し、トレーニング機能が終了すると、図3とほぼ同一の画像となり、図7に示す画像からさらに時間が経過した立体視トレーニングの終了画像となる。このように図7に示す画像と図3に示す画像との間で、ボケ量が連続的に変化するオブジェクトが複数存在している。
図5〜図7に示したように、飛び出し量の差異が大きい領域をぼかし、飛び出し量の差異が小さい領域から除々にボケを解消した画像を表示して、表示コンテンツが切り換わった時に視差が急激に変化しないようにすることができる。これにより、立体視トレーニングによって新しい表示コンテンツに切り換えた場合の視線の急激な移動をなくすことができる。また、本実施形態においては、表示コンテンツが切り替わった時に立体視トレーニング画像を生成している。一方、同一コンテンツにおいてシーンチェンジが発生する場面において立体視トレーニング画像を生成するようにしてもよい。
なお、飛び出し量の検出に用いる映像は冒頭または所定時間後の映像フレームでもよく、決められた枚数の映像フレームの各飛び出し量の平均値を用いるようにしてもよい。なお、冒頭シーンの全体を用いるようにしてもよい。また、立体視トレーニング画像を生成する際に、ボケを解除するペースとしては直線的でもよく、曲線的に解除するペースを上昇させるようにしてもよい。映像コンテンツのシーン中で深度が変化している場合には、ボケを解除するペースも深度の変化に応じるようにしてもよい。
一方、視聴者を撮影するカメラを設けるとともに、視聴者の顔情報を記憶し、公知の顔認識機能を用いて視聴者が誰であるかを検出して視聴者毎に立体視トレーニング画像のボケを生成する速度を切り換えるようにしてもよい。また、視聴者を撮影するカメラを設けて視聴者と表示パネル99との距離を測定し、測定した距離に応じて、ボケを生成する閾値の大きさを変えるようにしてもよい。例えば、距離が近い場合は飛び出し量の閾値を小さくし、飛び出し量の変化が少しでもある領域をぼかし、除々にボケを解消する。一方、距離が遠い場合は飛び出し量の閾値を大きくし、飛び出し量の変化が大きい領域だけをぼかし、除々にボケを解消する。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
11 映像受信部
13 飛び出し量検出部
14 ボケ領域判定部
15 ボケ量制御部
16 出力部

Claims (9)

  1. 視聴者の右目用の画像と左目用の画像とを表示することによって、被写体の視差により生じる被写体の飛び出し量を算出して前記視聴者から見て立体的な映像を表示する表示制御装置であって、
    前記立体的な映像に係る映像データを入力する入力手段と、
    前記入力手段によって入力された映像データから前記飛び出し量の変化を検出する検出手段と、
    前記検出手段により飛び出し量の変化を検出した場合に、前記入力手段によって入力された映像データにおいて前記飛び出し量が変化した領域を判定する判定手段と、
    前記判定手段により判定された領域に対して、所定の期間にボケを付加した映像を生成する生成手段と、
    前記生成手段によって生成された映像を表示装置に表示する表示制御手段とを備えたことを特徴とする表示制御装置。
  2. 前記生成手段は、時間が経過するに従って前記ボケが少なくなるような映像を生成することを特徴とする請求項1に記載の表示制御装置。
  3. 前記判定手段は、前記飛び出し量が所定値以上に変化した領域を判定することを特徴とする請求項1又は2に記載の表示制御装置。
  4. 前記検出手段は、前記飛び出し量の変化を被写体ごとに検出し、
    前記生成手段は、前記検出手段によって被写体ごとに検出された変化量に応じて、被写体ごとに異なる期間にボケを付加した映像を生成することを特徴とする請求項1〜3の何れか1項に記載の表示制御装置。
  5. 前記検出手段は、異なる映像データが前記入力手段によって入力された際、または前記入力された映像データにおけるシーンチェンジの際に、前記飛び出し量の変化を検出することを特徴とする請求項1〜4の何れか1項に記載の表示制御装置。
  6. 前記生成手段によりボケを付加した映像を生成するための条件を設定する設定手段をさらに備え、
    前記生成手段は、ボケを生成する領域または時間が前記設定手段により設定された条件を満たした場合に、ボケを付加した映像を生成することを特徴とする請求項1〜4の何れか1項に記載の表示制御装置。
  7. 前記検出手段は、映像の最大飛び出し量に基づいて前記飛び出し量の変化を検出することを特徴とする請求項1〜6の何れか1項に記載の表示制御装置。
  8. 視聴者の右目用の画像と左目用の画像とを表示することによって、被写体の視差により生じる前記被写体の飛び出し量を算出して前記視聴者から見て立体的な映像を表示する表示制御方法であって、
    前記立体的な映像に係る映像データを入力する入力工程と、
    前記入力工程において入力された映像データから前記飛び出し量の変化を検出する検出工程と、
    前記検出工程において飛び出し量の変化を検出した場合に、前記入力工程において入力された映像データにおいて前記飛び出し量が変化した領域を判定する判定工程と、
    前記判定工程において判定された領域に対して、所定の期間にボケを付加した映像を生成する生成工程と、
    前記生成工程において生成された映像を表示装置に表示する表示制御工程とを備えたことを特徴とする表示制御方法。
  9. 視聴者の右目用の画像と左目用の画像とを表示することによって、被写体の視差により生じる前記被写体の飛び出し量を算出して前記視聴者から見て立体的な映像を表示する表示制御装置を制御するためのプログラムであって、
    前記立体的な映像に係る映像データを入力する入力工程と、
    前記入力工程において入力された映像データから前記飛び出し量の変化を検出する検出工程と、
    前記検出工程において飛び出し量の変化を検出した場合に、前記入力工程において入力された映像データにおいて前記飛び出し量が変化した領域を判定する判定工程と、
    前記判定工程において判定された領域に対して、所定の期間にボケを付加した映像を生成する生成工程と、
    前記生成工程において生成された映像を表示装置に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
JP2010278091A 2010-12-14 2010-12-14 表示制御装置、表示制御方法及びプログラム Active JP5599063B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010278091A JP5599063B2 (ja) 2010-12-14 2010-12-14 表示制御装置、表示制御方法及びプログラム
US13/323,623 US9118893B2 (en) 2010-12-14 2011-12-12 Display control apparatus, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010278091A JP5599063B2 (ja) 2010-12-14 2010-12-14 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012129710A JP2012129710A (ja) 2012-07-05
JP5599063B2 true JP5599063B2 (ja) 2014-10-01

Family

ID=46198981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010278091A Active JP5599063B2 (ja) 2010-12-14 2010-12-14 表示制御装置、表示制御方法及びプログラム

Country Status (2)

Country Link
US (1) US9118893B2 (ja)
JP (1) JP5599063B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927508B2 (ja) * 2014-04-15 2016-06-01 株式会社サンセイアールアンドディ 遊技機
JP5927507B2 (ja) * 2014-04-15 2016-06-01 株式会社サンセイアールアンドディ 遊技機
US11300807B2 (en) * 2017-12-05 2022-04-12 University Of Tsukuba Image display device, image display method, and image display system
US11002971B1 (en) 2018-08-24 2021-05-11 Apple Inc. Display device with mechanically adjustable optical combiner
EP3983910A1 (en) * 2019-09-09 2022-04-20 Apple Inc. Computer-generated reality recorder
WO2022259363A1 (en) * 2021-06-08 2022-12-15 Nec Corporation Training data generation apparatus, training data generation method, and program

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3182009B2 (ja) * 1992-12-24 2001-07-03 日本電信電話株式会社 両眼立体視装置
JPH08191460A (ja) 1995-01-09 1996-07-23 Olympus Optical Co Ltd 立体映像再生装置
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
US20030090485A1 (en) * 2001-11-09 2003-05-15 Snuffer John T. Transition effects in three dimensional displays
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP4608563B2 (ja) 2008-03-26 2011-01-12 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
JP5284731B2 (ja) * 2008-09-02 2013-09-11 オリンパスメディカルシステムズ株式会社 立体画像撮影表示システム
JP5327524B2 (ja) * 2009-02-27 2013-10-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
WO2012037075A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays

Also Published As

Publication number Publication date
US20120147156A1 (en) 2012-06-14
US9118893B2 (en) 2015-08-25
JP2012129710A (ja) 2012-07-05

Similar Documents

Publication Publication Date Title
JP5933931B2 (ja) 設定メニューを表示する方法及び対応するデバイス
EP2469866B1 (en) Information processing apparatus, information processing method, and program
KR101621528B1 (ko) 디스플레이장치 및 그 3d 영상신호 표시방법
JP5599063B2 (ja) 表示制御装置、表示制御方法及びプログラム
US20130038611A1 (en) Image conversion device
KR101911250B1 (ko) 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
RU2598989C2 (ru) Устройство отображения трехмерного изображения и способ отображения для такового
JP2012083412A (ja) 画像処理装置、画像処理方法、およびプログラム
EP2384010A2 (en) Method for controlling operations of image display apparatus and shutter glasses used for the image display apparatus
JP4996720B2 (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
JP2011216937A (ja) 立体画像表示装置
JP2012173683A (ja) 表示制御装置、情報表示装置、及び表示制御方法
JP2012080294A (ja) 電子機器、映像処理方法、及びプログラム
US20120224035A1 (en) Electronic apparatus and image processing method
JP5500972B2 (ja) 放送受信装置及びその制御方法
US8855472B2 (en) Video editing apparatus, video editing method, program, and integrated circuit
US20140160257A1 (en) Video signal processing apparatus
US20150103150A1 (en) Information processing method and electronic device
US20120013718A1 (en) Electronic apparatus and image processing method
JP2014207492A (ja) 立体映像表示装置
US9253477B2 (en) Display apparatus and method for processing image thereof
WO2012117462A1 (ja) 立体映像処理装置および方法ならびに立体映像表示装置
KR101804912B1 (ko) 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
JP2013102270A (ja) 画像処理装置、画像処理方法及びプログラム
JP5490252B2 (ja) 立体画像処理装置、立体画像表示装置及び立体画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140808

R151 Written notification of patent or utility model registration

Ref document number: 5599063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151