JP6002043B2 - 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 - Google Patents
立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 Download PDFInfo
- Publication number
- JP6002043B2 JP6002043B2 JP2012552206A JP2012552206A JP6002043B2 JP 6002043 B2 JP6002043 B2 JP 6002043B2 JP 2012552206 A JP2012552206 A JP 2012552206A JP 2012552206 A JP2012552206 A JP 2012552206A JP 6002043 B2 JP6002043 B2 JP 6002043B2
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic
- parallax
- parallax map
- accuracy
- stereoscopic intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
まず、本発明にかかる一態様の基礎となった知見について説明する。
発明者らは、以上の知見を基礎に、以下に示す発明の一態様を得るに至った。
以下では、本発明の実施の形態について、図面を参照しながら説明する。
まず始めに、本実施の形態にかかる立体視強度調整装置の使用形態について説明する。
図2は、立体視映像再生時の左目用画像および右目用画像の出力例を示す図である。
立体視映像の飛び出し度合いや引っ込み度合いは、立体視映像を表示するディスプレイのサイズに依存する。そのため、コンテンツオーサーは、コンテンツが視聴されるディスプレイのサイズを想定し、そのディスプレイサイズで視聴した場合に最適な飛び出し度合いおよび引っ込み度合いが得られるように、立体視映像のコンテンツを作成する。
図3および図4は、左目用画像および右目用画像のシフト量(視差量)と、立体視映像の飛び出し度合いおよび引っ込み度合いとの関係を示す図である。
この数式(1)に示される関係から、左目用画像および右目用画像のシフト量pは、下記の数式(2)のように表される。
図4は、飛び出し立体視の場合における、左目用画像および右目用画像のシフト量(視差量)と、立体視映像の飛び出し度合いの関係を示す図である。図4を参照するに、左目瞳孔、右目瞳孔、および結像点の三点からなる三角形と、左目用画像に含まれる物体Aの表示位置、右目用画像に含まれる物体Aの表示位置、および結像点からなる三角形の相似関係から、視聴位置から結像位置までの距離Sと、視聴位置からディスプレイまでの距離Zと、左目用画像・右目用画像間のシフト量pと、基線長IPDとの間には、引っ込み立体視の場合と同様に、上述の数式(1)および数式(2)の関係が成り立つ。
図5は、ディスプレイサイズと、ディスプレイ上で画像のシフト量との関係を示す図である。
また、ディスプレイのアスペクト比m:nは、ディスプレイの横幅widthと、ディスプレイの高さとを用いて下記の数式(4)のように表される。
上記の数式(3)および数式(4)から、ディスプレイの横幅widthは、下記の数式(5)のように表される。
ここで、物体をディスプレイから、視聴位置からディスプレイまでの距離に対して10%飛び出させる場合を考えると、S=0.9Zとなる。従って、ディスプレイ上での画像のシフト量psは、以下のようになる。
1インチは2.54cmであることから、例えば、50インチのディスプレイ上での画像のシフト量は6ピクセルとなる。これに対し、例えば、5インチのディスプレイ上での画像のシフト量は63ピクセルとなる。
図6は、視聴する物体の飛び出し位置および引っ込み位置への視差角の一例を示す図である。
また、シフト量pを2倍した値2pは、輻輳角βを用いて以下のように表される。
また、飛び出し立体視の場合における基線長IPDは、輻輳角θを用いて以下のように表される。
以上より、シフト量pを2倍した値2pは、輻輳角βとθを用いて、下記の数式(7)のように表される。
また、図3および図6を参照するに、引っ込み立体視の場合における基線長IPDは、輻輳角αを用いて以下のように表される。
また、シフト量pを2倍した値2pは、輻輳角αを用いて以下のように表される。
また、引っ込み立体視の場合における基線長IPDは、輻輳角θを用いて以下のように表される。
以上より、シフト量pを2倍した値2pは、輻輳角αとθを用いて、下記の数式(8)のように表される。
上記の数式(7)および数式(8)において、ディスプレイ上での輻輳角θの値は、視聴位置からディスプレイまでの距離Zと、基線長(瞳孔間距離)IPDから定まる。例えば、視聴位置からディスプレイの距離が1200mm、基線長(瞳孔間距離)が65mmの場合、ディスプレイ上での輻輳角θは、2.86度となる。
DIBR(Depth Image Based Rendering)(画素シフト処理とも呼ばれる)とは、画像データを構成する各画素の座標を、視差マップに基づき水平方向にシフトすることにより、元の画像データとは異なる視点の画像を生成し、多視点の画像からなる立体視画像を生成する技術である。
本図に示すように、立体視強度を強調する場合には、視差マップに示される視差量または奥行き方向の距離を拡大して、視差調整画像を生成する。これにより、物体の飛び出し位置はより手前に移動し、物体の引っ込み位置はより奥に移動し、立体視映像の立体視強度が強調される。また、立体視強度を抑制する場合には、視差マップに示される視差量または奥行き方向の距離を縮小して、視差調整画像を生成する。これにより、物体の飛び出し位置は奥に移動し、物体の引っ込み位置は手前に移動し、立体視映像の立体視強度が抑制される。
図8は、立体視強度調整装置10の構成の一例を示すブロック図である。本図に示されるように、立体視強度調整装置10は、ユーザ入力部100、コンテンツ再生モジュール200、視差情報調整モジュール300、立体視強度制御モジュール400、表示制御モジュール500、視差情報保持メモリ600、視差マップ生成エンジン700、レンダリングエンジン800、イメージメモリ900、イメージデコーダ1000、左目用プレーン1100、右目用プレーン1200、出力切替器1300を含んで構成される。また、視差情報調整モジュール300は、指示取得部310、視差特定部320を含んで構成される。また、立体視強度制御モジュール400は、左右画像取得部410、画像補正部420、視差マップ取得部430、視差マップ評価部440、視差マップ調整部450、DIBR実行部460を含んで構成される。また、表示制御モジュール500は、機器情報取得部510、出力設定部520を含んで構成される。以下、各構成部について説明する。
ユーザ入力部100は、ユーザからの入力を受け付ける機能を有する。具体的には、ユーザ入力部100は、立体視映像の再生命令や、立体視強度の調整命令や、ユーザが希望する立体視強度の程度を示すパラメータなどの入力を受け付ける。ユーザ入力部100は、これらの命令やパラメータを受け付けた場合、後述のコンテンツ再生モジュール200または視差情報調整モジュール300に、受け付けた命令やパラメータを配送する。
コンテンツ再生モジュール200は、ユーザ入力部100から受けた立体視映像の再生命令や立体視強度の調整命令等に従い、立体視映像の再生指示や立体視映像の立体視強度の調整の指示を出す。
視差情報調整モジュール300は、指示取得部310、視差特定部320を含み、ユーザ入力部100から受けた立体視強度の程度を示すパラメータに従い、ユーザが所望する飛び出し量および引っ込み量に対応する視差量を示す視差情報を生成・調整する機能を有する。
指示取得部310は、ユーザ入力部100から立体視強度の程度を示すパラメータを取得する機能を有する。ここで、立体視強度の程度を示すパラメータとは、例えば、視差角の上限値を示すものであってもよい。また、「強」「中」「弱」といった立体視強度の度合いを示すものであってもよい。また、視聴位置からディスプレイまでの距離に対する最大の飛び出し量の割合または最大の引っ込み量の割合を示すものであってもよい。また、立体視の融合限界の視差角を示すものであってもよい。
視差特定部320は、指示取得部310で取得した立体視強度の程度を示すパラメータを、視差量の上限値に変換する機能を有する。
立体視強度制御モジュール400は、左右画像取得部410、画像補正部420、視差マップ取得部430、視差マップ評価部440、視差マップ調整部450、DIBR実行部460を含み、立体視映像を取得し、取得した立体視映像の立体視強度の調整を行う機能を有する。
左右画像取得部410は、イメージメモリ900に格納されている画像のうち、コンテンツ再生モジュール200が指示した左目用画像および右目用画像を取得する機能を有する。
画像補正部420は、視差マップを生成しやすくするために、左右画像取得部410で取得した左目用画像および右目用画像を補正する機能を有する。具体的には、左目用画像および右目用画像を水平方向に揃える処理や、歪みを除去する処理等を行う。
視差マップ取得部430は、視差マップ生成エンジン700が生成した左目用画像・右目用画像間の視差量または奥行き方向の距離を示す視差マップを取得する機能を有する。
視差マップ評価部440は、視差マップ取得部430が取得した視差マップの精度を評価する機能を有する。
視差マップ調整部450は、視差情報保持メモリ600に保持されている視差情報に従い、視差マップに示される視差量を調整する機能を有する。具体的には、視差マップ調整部450は、視差マップが有する視差量の最大値と、視差情報が示す視差量の上限値とを比較する。視差マップが有する視差量の最大値が、視差情報が示す視差量の上限値を超える場合、視差マップ調整部450は、視差マップが有する視差量の最大値が、視差情報が示す視差量の上限値を超えないように、視差マップに示す視差量を変更する。視差量の変更は、図13に示した視差マップの画素値と視差量との関係を示す一次直線の傾きを切り替えることにより行う。
DIBR実行部460は、視差マップ調整部450から出力された視差マップを用いて、左目用画像の各画素の座標をシフトすることにより視差調整画像(右目用画像)を生成する機能を有する。
表示制御モジュール500は、機器情報取得部510、出力設定部520を含み、立体視映像の表示制御を行う機能を有する。
機器情報取得部510は、立体視映像を表示するディスプレイのサイズ、ディスプレイの解像度、2D/3D対応等の表示能力等の機器情報を取得する機能を有する。
出力設定部520は、(1)1枚のプレーンを1回のみ出力することにより2D出力を行う、(2)1枚の同じプレーンを左目用、右目用に2回出力することにより、3D出力であるが見た目は2Dに見えるようにする、(3)2枚のプレーンをそれぞれ左目用、右目用に出力することにより3D出力を行う、のいずれの出力を行うかを示す設定を、後述する出力切替器1300に対して行なう機能を有する。
レンダリングエンジン800は、立体視強度制御モジュール400により立体視強度が調整された右目用画像および左目用画像を、左目用プレーン1100および右目用プレーン1200に書き込む機能をもつ。
イメージメモリ900は、立体視映像を構成する左目用画像および右目用画像の画像データを格納する機能を有する。
イメージデコーダ1000は、イメージメモリ900に格納された画像データをデコードする機能を有する。
左目用プレーン1100は、イメージメモリ900から出力された左目用画像、または立体視強度制御モジュール400により立体視強度が調整された画像を格納する機能を有する。また、右目用プレーン1200は、イメージメモリ900から出力された右目用画像、または立体視強度制御モジュール400により立体視強度が調整された画像を格納する機能を有する。
出力切替器1300は、出力部520による設定に応じて、左目用プレーン1100および右目用プレーン1200に格納された情報の出力を切り替える機能を有する。
<立体視強度調整処理>
図14は、立体視強度調整装置10による立体視強度調整処理の流れを示すフローチャートである。
図15は、視差マップの精度の評価処理の流れを示すフローチャートである。
実施の形態2にかかる立体視強度調整装置は、実施の形態1にかかる立体視強度調整装置10と同様に、視差マップの精度およびディスプレイのサイズを用いて視差マップが有する視差量を変更し立体視強度の調整を行うものであるが、視差マップの精度に応じて、立体視強度の調整方法を切り替える点において異なる。視差マップの精度に応じて、視差マップを用いたDIBRによる立体視強度調整手段か、視差マップを用いないプレーンシフトによる立体視強度調整手段かを選択するため、誤って算出された視差を用いた立体視強度の調整により、立体視映像が変形することを防ぐことができる。このため、視聴者にとって違和感の少ない、立体視強度の調整が可能となる。
図16は、実施の形態2にかかる立体視強度調整装置20の構成の一例を示すブロック図である。本図に示されるように、立体視強度調整装置20は、ユーザ入力部100、コンテンツ再生モジュール200、視差情報調整モジュール300、立体視強度制御モジュール400、表示制御モジュール500、視差情報保持メモリ600、視差マップ生成エンジン700、レンダリングエンジン800、イメージメモリ900、イメージデコーダ1000、左目用プレーン1100、右目用プレーン1200、出力切替器1300を含んで構成される。また、視差情報調整モジュール300は、指示取得部310、視差特定部320を含んで構成される。また、立体視強度制御モジュール400は、左右画像取得部410、画像補正部420、視差マップ取得部430、視差マップ評価部440、立体視強度調整方法選択部1400、視差マップ調整部450、DIBR実行部460、プレーンシフト実行部1500を含んで構成される。また、表示制御モジュール500は、機器情報取得部510、出力設定部520を含んで構成される。実施の形態1にかかる立体視強度調整装置10と同じ構成については、同符号を付し、説明を省略する。以下では、立体視強度調整装置10とは異なる構成について説明する。
立体視強度調整方法選択部1400は、視差マップの精度の評価に応じて、立体視強度を調整する方法を選択する機能を有する。具体的には、立体視強度調整方法選択部1400は、視差マップの精度の評価が高い場合、視差マップを用いたDIBRによる立体視強度の調整を選択し、視差マップ調整部450およびDIBR実行部460にDIBR処理の実行命令を送信する。また、立体視強度調整方法選択部1400は、視差マップの精度の評価が低い場合、視差マップを用いないプレーンシフトによる立体視強度の調整を選択し、後述するプレーンシフト実行部1500にプレーンシフト処理の実行命令を送信する。
プレーンシフト実行部1500は、左目用画像および右目用画像に対してプレーンシフト処理を行う機能を有する。プレーンシフト処理とは、左目用画像および右目用画像を左右に一様にシフトさせて立体視強度を調整する技術である。
図18は、立体視強度調整装置20による立体視強度調整処理の流れを示すフローチャートである。実施の形態1にかかる立体視強度調整処理と同じ処理については、同符号を付し、説明を省略する。
図19は、プレーンシフト処理の流れを示すフローチャートである。
上記の立体視強度調整処理において、立体視強度調整後の立体視映像が適切であるか否かの判断をユーザに求めてもよい。
実施の形態3にかかる立体視強度調整装置は、実施の形態1にかかる立体視強度調整装置10と同様に、視差マップの精度およびディスプレイのサイズを用いて視差マップが有する視差量を変更し立体視強度の調整を行うものであるが、視差マップの精度の評価が低い場合において、以前に視差マップを生成した手法とは別の手法により、視差マップの再取得を行なう点において異なる。
図21は、実施の形態3にかかる立体視強度調整装置30の構成の一例を示すブロック図である。本図に示されるように、立体視強度調整装置30は、ユーザ入力部100、コンテンツ再生モジュール200、視差情報調整モジュール300、立体視強度制御モジュール400、表示制御モジュール500、視差情報保持メモリ600、視差マップ生成エンジン1700、レンダリングエンジン800、イメージメモリ900、イメージデコーダ1000、左目用プレーン1100、右目用プレーン1200、出力切替器1300を含んで構成される。また、視差情報調整モジュール300は、指示取得部310、視差特定部320を含んで構成される。また、立体視強度制御モジュール400は、左右画像取得部410、画像補正部420、視差マップ取得部1600、視差マップ評価部440、視差マップ調整部450、DIBR実行部460を含んで構成される。また、表示制御モジュール500は、機器情報取得部510、出力設定部520を含んで構成される。実施の形態1にかかる立体視強度調整装置10と同じ構成については、同符号を付し、説明を省略する。以下では、立体視強度調整装置10とは異なる構成について説明する。
視差マップ取得部1600は、視差マップ生成エンジン1700が生成した左目用画像・右目用画像間の視差量または奥行き方向の距離を示す視差マップを取得する機能を有する。また、取得した視差マップの精度の評価が低い場合には、視差マップ生成エンジン1700に対し、以前に視差マップを生成した手法とは別の手法による視差マップの生成を要求する機能を有する。
視差マップ生成エンジン1700は、視差マップ取得部1600からの要求に応じて、視差マップを生成する機能を有する。視差マップの再生成を要求された場合、視差マップ生成エンジン1700は、以前に視差マップを生成した手法とは別の手法により視差マップを生成する。
図22は、立体視強度調整装置30による立体視強度調整処理の流れを示すフローチャートである。実施の形態1にかかる立体視強度調整処理と同じ処理については、同符号を付し、説明を省略する。
実施の形態4では、立体視ビデオストリームの立体視強度の調整を可能とする立体視強度調整装置の構成について説明する。
デマルチプレクサ1800は、トランスポートストリームの多重分離を行い、GOPを構成するビデオフレームと、オーディオフレームとを得る。そしてデマルチプレクサ1800は、ビデオフレームをビデオデコーダ1900に出力し、オーディオフレームをオーディオデコーダ(図示せず)に出力する。
ビデオデコーダ1900は、デマルチプレクサ1800から出力されたビデオフレームを復号して、非圧縮形式のピクチャを左目用プレーン2000および右目用プレーン2100に書き込む。また、立体視強度の調整を行なう場合、ビデオデコーダ1900は、左右画像取得部410に復号後の非圧縮形式のピクチャを送信する。
左目用プレーン2000は、ビデオデコーダ1900から出力された左目用画像、または立体視強度制御モジュール400により立体視強度が調整された画像を格納する機能を有する。また、右目用プレーン2100は、ビデオデコーダ1900から出力された右目用画像、または立体視強度制御モジュール400により立体視強度が調整された画像を格納する機能を有する。
出力切替器2200は、出力部520による設定に応じ、左目用プレーン2000および右目用プレーン2100に格納された情報の出力を切り替える機能を有する。
加算器2300は、出力切替器1300および出力切替器2200から出力されたピクチャデータを合成して出力する機能を有する。
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
2 記録媒体
3 操作装置
4 表示装置
5 3D眼鏡
10、20、30、40 立体視強度調整装置
100 ユーザ入力部
200 コンテンツ再生モジュール
300 視差情報調整モジュール
310 指示取得部
320 視差特定部
400 立体視強度制御モジュール
410 左右画像取得部
420 画像補正部
430 視差マップ取得部
440 視差マップ評価部
450 視差マップ調整部
460 DIBR実行部
500 表示制御モジュール
510 機器情報取得部
520 出力設定部
600 視差情報保持メモリ
700 視差マップ生成エンジン
800 レンダリングエンジン
900 イメージメモリ
1000 イメージデコーダ
1100 左目用プレーン
1200 右目用プレーン
1300 出力切替器
1400 立体視強度調整方法選択部
1500 プレーンシフト実行部
1600 視差マップ取得部
1700 視差マップ生成エンジン
1800 デマルチプレクサ
1900 ビデオデコーダ
2000 左目用プレーン
2100 右目用プレーン
2200 出力切替部
2300 加算器
Claims (20)
- 立体視映像の立体視強度を調整する立体視強度調整装置であって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得部と、
前記視差マップの精度を判定する精度判定部と、
前記立体視映像の立体視強度を調整する立体視強度調整部とを備え、
前記立体視強度調整部は、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とする立体視強度調整装置。 - 前記精度判定部は、前記視差マップに示される視差の値から定まる前記立体視映像のオクルージョン量を用いて、前記視差マップの精度を判定し、
前記立体視強度調整部は、前記立体視映像のオクルージョン量が所定の強度以上である場合を条件に、視差マップを用いた画素シフト処理を選択し、前記立体視映像のオクルージョン量が所定の強度以下である場合を条件にプレーンシフト処理を選択する
ことを特徴とする請求項1に記載の立体視強度調整装置。 - 前記立体視映像のオクルージョン量は、視差角に基づくものであり、
前記精度判定部は、前記視差マップに示される視差の値を用いて視差角を算出し、算出した視差角と所定の閾値とを比較することにより、前記視差マップの精度を判定する
ことを特徴とする請求項2に記載の立体視強度調整装置。 - 前記視差マップ取得部は、メインビューデータとサブビューデータとの間で対応点探索を行なうことで視差マップを生成し、
前記精度判定部は、前記視差マップ取得部による対応点探索工程において生じたエラー量を用いて、前記視差マップの精度を判定し、
前記立体視強度調整部は、視差マップ全体における精度が所定の精度以上である場合を条件に視差マップを用いた画素シフト処理を選択し、視差マップ全体における精度が所定の精度以下である場合を条件にプレーンシフト処理を選択する
ことを特徴とする請求項1または2のいずれかに記載の立体視強度調整装置。 - 前記エラー量は、対応点探索において、対応点が検出されなかった画素、および複数の対応点候補が検出された画素の数であり、
前記精度判定部は、前記視差マップ取得部による対応点探索において、対応点が検出されなかった画素、および複数の対応点候補が検出された画素の数と、所定の閾値とを比較することにより、前記視差マップの精度を判定する
ことを特徴とする請求項4に記載の立体視強度調整装置。 - 前記立体視強度調整装置は、さらに、
前記立体視映像を表示する画面のサイズを取得する画面サイズ取得部を備え、
前記立体視強度調整部による画素シフト処理は、
前記画面のサイズと前記視差マップの精度を用いて、前記視差マップが有する視差量を変更し、
変更した視差量に対応する画素数で、メインビューデータの各画素の座標をシフトすることにより、サブビューデータを再生成する
ことを特徴とする請求項1に記載の立体視強度調整装置。 - 前記精度判定部は、前記視差マップの前景領域および後景領域における精度を判定し、
前記立体視強度調整部による画素シフト処理は、
前記視差マップの後景領域の精度が所定の精度以下である場合、前記視差マップの後景領域が有する視差量を無効とする
ことを特徴とする請求項6に記載の立体視強度調整装置。 - 前記精度判定部は、前記視差マップの前景領域および後景領域における精度を判定し、
前記立体視強度調整部による画素シフト処理は、
前記視差マップの前景領域の精度が所定の精度以下である場合、前記視差マップの前景領域が有する視差量を平均化する
ことを特徴とする請求項6に記載の立体視強度調整装置。 - 前記立体視強度調整部による画素シフト処理は、
前記視差マップの前景領域に含まれる被写体の輪郭を抽出し、当該輪郭の抽出の精度が所定の精度以上である場合を条件に、前記視差マップの前景領域が有する視差量の平均化を実行する
ことを特徴とする請求項8に記載の立体視強度調整装置。 - 前記精度判定部は、前記視差マップに示される視差の値から定まる前記立体視映像の立体視強度を用いて、前記視差マップの精度を判定し、
前記立体視強度調整部による画素シフト処理は、前記立体視映像の立体視強度が所定の強度以上である場合、前記視差マップが有する視差量を低減する
ことを特徴とする請求項6に記載の立体視強度調整装置。 - 前記立体視強度調整部による画素シフト処理は、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以内におさまるように、視差マップが有する視差量を変更する
ことを特徴とする請求項10に記載の立体視強度調整装置。 - 前記立体視強度調整部による画素シフト処理は、立体視映像の飛び出し量および引っ込み量と、視聴距離との比が、予め定めた固定値になるように、視差マップが有する視差量を変更する
ことを特徴とする請求項6に記載の立体視強度調整装置。 - 前記立体視強度調整部による画素シフト処理は、
前記画面サイズが所定のサイズ以上である場合には、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以内におさまるように、視差マップが有する視差量を変更し、
前記画面サイズが所定のサイズ以下である場合には、前記画面のサイズに対する立体視映像の飛び出し量および引っ込み量が、予め定めた視差角以上、立体視の融合限界の視差角以内におさまるように、視差マップが有する視差量を変更する
ことを特徴とする請求項6に記載の立体視強度調整装置。 - 前記立体視強度調整装置は、さらに、
左目用のプレーンおよび右目用のプレーンを含むプレーンと、
前記プレーンに、ビューデータを書き込むレンダリングエンジンとを備え、
前記レンダリングエンジンは、
視差マップ全体における精度が所定の精度以上である場合には、立体視強度調整後のメインビューデータおよびサブビューデータを前記プレーンに書き込み、
視差マップ全体における精度が所定の精度以下である場合には、立体視強度調整前のメインビューデータを左目用のプレーンおよび右目用のプレーンの両方に書き込む
ことを特徴とする請求項1に記載の立体視強度調整装置。 - 前記視差マップ取得部は、
前記視差マップの精度が所定の精度以下である場合には、視差マップの再取得を行なう
ことを特徴とする請求項1に記載の立体視強度調整装置。 - 前記視差マップ取得部は、
以前に視差マップを生成した手法とは別の手法により、視差マップの再取得を行なう
ことを特徴とする請求項15に記載の立体視強度調整装置。 - 立体視映像の立体視強度を調整する立体視強度調整方法であって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、
前記視差マップの精度を判定する精度判定ステップと、
前記立体視映像の立体視強度を調整する立体視強度調整ステップとを備え、
前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とする立体視強度調整方法。 - 立体視映像の立体視強度を調整する立体視強度調整処理をコンピュータに実行させるプログラムであって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、
前記視差マップの精度を判定する精度判定ステップと、
前記立体視映像の立体視強度を調整する立体視強度調整ステップとをコンピュータに実行させ、
前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とするプログラム。 - 立体視映像の立体視強度を調整する立体視強度調整処理に用いる集積回路であって、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得手段と、
前記視差マップの精度を判定する精度判定手段と、
前記立体視映像の立体視強度を調整する立体視強度調整手段とを備え、
前記立体視強度調整手段は、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とする集積回路。 - 立体視映像の立体視強度を調整する立体視強度調整処理をコンピュータに実行させるプログラムを記録した記録媒体であって、
前記プログラムは、
立体視映像を構成するメインビューデータおよびサブビューデータの組みの各画素の視差の値を示す視差マップを取得する視差マップ取得ステップと、
前記視差マップの精度を判定する精度判定ステップと、
前記立体視映像の立体視強度を調整する立体視強度調整ステップとをコンピュータに実行させ、
前記立体視強度調整ステップは、視差マップを用いた画素シフト処理、およびプレーンシフト処理を、前記視差マップの精度に応じて択一的に選択して実行する
ことを特徴とするプログラムを記録した記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011101419 | 2011-04-28 | ||
JP2011101419 | 2011-04-28 | ||
PCT/JP2012/002786 WO2012147329A1 (ja) | 2011-04-28 | 2012-04-24 | 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012147329A1 JPWO2012147329A1 (ja) | 2014-07-28 |
JP6002043B2 true JP6002043B2 (ja) | 2016-10-05 |
Family
ID=47071860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012552206A Expired - Fee Related JP6002043B2 (ja) | 2011-04-28 | 2012-04-24 | 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130063576A1 (ja) |
JP (1) | JP6002043B2 (ja) |
CN (1) | CN102918861A (ja) |
WO (1) | WO2012147329A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5723721B2 (ja) * | 2010-09-28 | 2015-05-27 | 富士フイルム株式会社 | 立体画像編集装置および立体画像編集方法 |
WO2013114887A1 (en) * | 2012-02-02 | 2013-08-08 | Panasonic Corporation | Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information |
CN104012088B (zh) | 2012-11-19 | 2016-09-28 | 松下知识产权经营株式会社 | 图像处理装置以及图像处理方法 |
WO2014083752A1 (ja) * | 2012-11-30 | 2014-06-05 | パナソニック株式会社 | 別視点画像生成装置および別視点画像生成方法 |
WO2014204362A1 (en) * | 2013-06-19 | 2014-12-24 | Telefonaktiebolaget L M Ericsson (Publ) | Depth range adjustment of a 3d video to match the depth range permissible by a 3d display device |
JP2015149547A (ja) * | 2014-02-05 | 2015-08-20 | ソニー株式会社 | 画像処理方法、画像処理装置、及び電子機器 |
US20170039645A1 (en) | 2015-08-05 | 2017-02-09 | The Toronto-Dominion Bank | Systems and methods for automatically generating order data based on social media messaging |
WO2017120552A1 (en) * | 2016-01-06 | 2017-07-13 | Meta Company | Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component |
JP2018169517A (ja) * | 2017-03-30 | 2018-11-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像モジュールおよび撮像装置の制御方法 |
US10735707B2 (en) * | 2017-08-15 | 2020-08-04 | International Business Machines Corporation | Generating three-dimensional imagery |
CN108520232B (zh) * | 2017-08-16 | 2020-07-24 | 威盛电子股份有限公司 | 立体环景影片产生方法及装置 |
US10733706B2 (en) * | 2018-01-07 | 2020-08-04 | Htc Corporation | Mobile device, and image processing method for mobile device |
CN108629763B (zh) * | 2018-04-16 | 2022-02-01 | 海信集团有限公司 | 一种视差图的评判方法、装置及终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004221700A (ja) * | 2003-01-09 | 2004-08-05 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2009276906A (ja) * | 2008-05-13 | 2009-11-26 | Panasonic Corp | 走行情報提供装置 |
JP2010226500A (ja) * | 2009-03-24 | 2010-10-07 | Toshiba Corp | 立体画像表示装置および立体画像表示方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4149037B2 (ja) * | 1998-06-04 | 2008-09-10 | オリンパス株式会社 | 映像システム |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
KR101185870B1 (ko) * | 2005-10-12 | 2012-09-25 | 삼성전자주식회사 | 3d 입체 영상 처리 장치 및 방법 |
JP2010045584A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
CN102239506B (zh) * | 2008-10-02 | 2014-07-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
US8335425B2 (en) * | 2008-11-18 | 2012-12-18 | Panasonic Corporation | Playback apparatus, playback method, and program for performing stereoscopic playback |
JP5249149B2 (ja) * | 2009-07-17 | 2013-07-31 | 富士フイルム株式会社 | 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム |
JP2011060116A (ja) * | 2009-09-11 | 2011-03-24 | Fujifilm Corp | 画像処理装置 |
-
2012
- 2012-04-24 CN CN2012800015311A patent/CN102918861A/zh active Pending
- 2012-04-24 WO PCT/JP2012/002786 patent/WO2012147329A1/ja active Application Filing
- 2012-04-24 JP JP2012552206A patent/JP6002043B2/ja not_active Expired - Fee Related
- 2012-04-24 US US13/642,008 patent/US20130063576A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004221700A (ja) * | 2003-01-09 | 2004-08-05 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2009276906A (ja) * | 2008-05-13 | 2009-11-26 | Panasonic Corp | 走行情報提供装置 |
JP2010226500A (ja) * | 2009-03-24 | 2010-10-07 | Toshiba Corp | 立体画像表示装置および立体画像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2012147329A1 (ja) | 2012-11-01 |
CN102918861A (zh) | 2013-02-06 |
US20130063576A1 (en) | 2013-03-14 |
JPWO2012147329A1 (ja) | 2014-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6002043B2 (ja) | 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 | |
JP5414947B2 (ja) | ステレオ撮影装置 | |
JP5320524B1 (ja) | ステレオ撮影装置 | |
US8116557B2 (en) | 3D image processing apparatus and method | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
KR101502362B1 (ko) | 영상처리 장치 및 방법 | |
US7660472B2 (en) | System and method for managing stereoscopic viewing | |
JP5291755B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
US8373745B2 (en) | Image processing apparatus, image display apparatus, image apparatus, and image processing method | |
JP5546633B2 (ja) | 立体画像再生装置、立体画像再生システム及び立体画像再生方法 | |
JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
US9338426B2 (en) | Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method | |
JP5486697B2 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
US9602797B2 (en) | Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP5820985B2 (ja) | 立体画像処理装置および立体画像処理方法 | |
JP5502211B2 (ja) | 立体画像処理装置および立体画像処理方法 | |
JP5861114B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP5750457B2 (ja) | 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法 | |
US20160014389A1 (en) | Image processing method and image processing device | |
TWI536832B (zh) | 用於嵌入立體影像的系統、方法及其軟體產品 | |
JP2013081105A (ja) | 撮像装置およびその制御方法 | |
JP2014204299A (ja) | 撮像装置および撮像装置の制御方法 | |
WO2013186881A1 (ja) | 立体視画像生成方法および立体視画像生成システム | |
JP2013090170A (ja) | 立体視映像再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140606 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6002043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |