JP2014030259A

JP2014030259A - ３次元映像表示装置

Info

Publication number: JP2014030259A
Application number: JP2013215576A
Authority: JP
Inventors: Tatsuo Saishu; 首達夫最
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-10-16
Filing date: 2013-10-16
Publication date: 2014-02-13
Anticipated expiration: 2032-07-27
Also published as: JP5661893B2

Abstract

【課題】視聴者の顔の角度が変化した場合でも、正常な立体視を行うことができる３次元映像表示装置を提供する。
【解決手段】第１方向と第１方向に直交する第２方向とに沿って画素がマトリクス状に配列された表示パネルと、表示パネルに対向して設けられ、第２方向に対して傾くように直線状に延びるとともに第１方向に配列する複数の光学的開口を有し、光学的開口の傾きが第１方向に対して右上がりと左上がりに切り替え可能な光線制御素子と、視聴者の両眼を検出する検出部と、検出された両眼を結ぶ直線の第１方向に対する傾き角が閾値より大きい場合に光学的開口の傾きを切り替えるように光線制御素子を制御する制御部と、光線制御素子の切り替えに対応し画素のマッピングを変更する画素マッピング生成部と、傾き角が閾値よりさらに大きい閾値を超える場合に光線制御素子の切り替えを伴わずに画素のマッピングを変更する画素マッピング生成部と、を備える。
【選択図】図１

Description

本発明の実施形態は、３次元映像表示装置に関する。

一般に、立体視用のメガネを必要としない裸眼方式の３次元映像表示装置は、画素がマトリクス状に配列された表示面を有する表示パネルと、この表示パネルの前面或いは背面に設けられ表示パネルの画素からの光線を制御し、一方向（例えば水平方向、または水平方向から所定角度傾いた方向）に視差を付与する光学的開口を有する光線制御素子と、を備えている。

このような３次元映像表示装置においては、視聴者の両眼の中心を結ぶ直線が水平方向または水平方向から少し傾いているように、視聴者の頭部が位置している場合には、正常な立体視が可能である。

しかし、視聴者の両眼の中心を結ぶ直線が水平方向からかなり傾いている場合、例えば大画面の前で視聴者が寝転びながら視聴する場合には、視聴者は２次元映像を視聴することになり、正常な立体視ができなかった。

また、逆視状態になることなく正常に立体視できる視域が狭いため、視聴者の目の位置を検出し、視聴者の視聴位置に応じて合成した立体映像を表示することが行われていた。

しかし、視聴者の両眼の中心を結ぶ直線が水平方向からかなり傾いている場合、例えば視聴者が寝転びながら視聴する場合には、正常な立体視を行うことができなかった。

画面そのものを縦横のいずれかに回して使用する携帯機器では、縦配置、横配置の切り替えに応じて、立体視用のバリアを縦配置、横配置に切り替えできるものが知られている。

しかし、ジャイロセンサによる方向検出を利用した縦横２段階の切り替えに限定され、裸眼方式では小型画面のみに適する２眼式に限定されていた。

特許第２９５０４６０号公報

本実施形態は、視聴者の顔の角度が変化した場合でも、正常な立体視を行うことができる３次元映像表示装置を提供する。

本実施形態による３次元映像表示装置は、第１方向と前記第１方向に直交する第２方向とに沿って画素がマトリクス状に配列された表示パネルと、前記表示パネルに対向して設けられ、前記第２方向に対して傾くように直線状に延びるとともに前記第１方向に配列する複数の光学的開口を有し、前記光学的開口の傾きが前記第１方向に対して右上がりと左上がりに切り替え可能な光線制御素子と、視聴者の両眼を検出する検出部と、検出された前記両眼を結ぶ直線の前記第１方向に対する傾き角が閾値より大きい場合に前記光学的開口の傾きを切り替えるように前記光線制御素子を制御する制御部と、前記光線制御素子の切り替えに対応し画素のマッピングを変更する画素マッピング生成部であって、前記傾き角が前記閾値よりさらに大きい閾値を超える場合に前記光線制御素子の切り替えを伴わずに画素のマッピングを変更する画素マッピング生成部と、を備える。

第１実施形態による３次元映像表示装置を示すブロック図。アクティブ光線制御素子の一例を説明する図。図３（ａ）乃至３（ｃ）は、視聴者の顔の傾きを説明する図。第２実施形態による３次元映像表示装置を示すブロック図。図５（ａ）乃至５（ｄ）は、画素マッピングを説明する図。図６（ａ）、６（ｂ）は第２実施形態の効果を説明する図。第３実施形態による３次元映像表示装置を示すブロック図。第４実施形態による３次元映像表示装置を示すブロック図。図９（ａ）乃至９（ｃ）は、第４実施形態における視差画像の視差方向の補正を説明する図。図１０（ａ）、１０（ｂ）は、視聴者が複数人いる場合における斜めレンズの選択を説明する図。

以下に、実施形態について図面を参照して詳細に説明する。

（第１実施形態）
第１実施形態による３次元映像表示装置を図１に示す。この第１実施形態の３次元映像表示装置は、立体視用のメガネ等を必要としない裸眼方式の３次元映像表示装置であり、画素がマトリクス状に（水平方向および垂直方向に沿って）配列された表示面を有する表示パネル１０と、この表示パネル１０の前面あるいは背面に設けられ１方向に視差を付与する光学的開口を有する光線制御素子１２と、視聴者の顔および両眼の位置を検出する検出部１４と、視聴者の顔の傾き角度を算出する角度算出部１６と、外部からの画像信号を受ける画像入力部１８と、制御部２０とを備えている。

表示パネル１０は、液晶表示パネル、プラズマ表示パネル、有機ＥＬパネル等を用いることができる。光線制御素子１２は、視差を付与する光学的開口が表示パネル１０の水平方向に配列され、光学的開口の延在する方向（視差が付与される方向）が表示パネル１０の垂直方向に対して傾いた少なくとも２種類の角度に切り替え可能な機能を有するアクティブ光線制御素子である。このアクティブ光線制御素子としては、アクティブレンズ、ＧＲＩＮ(Gradient Index）レンズ、アクティブバリア、パターン拡散板バックライト、線光源アレイ等が挙げられる。

検出部１４は、視聴者の顔および両眼の位置を検出するものであって、カメラ等が用いられる。この検出部１４は、例えば表示パネル１０の枠に設けられる。

角度算出部１６は、検出部１４によって検出された視聴者の両眼の位置に基づいて、視聴者の両眼の中心を結ぶ直線の、水平方向に対する傾き角を算出し、この算出された角度が所定の閾値（例えば、＋３０°〜＋４５°、−３０°〜−４５°の範囲の値）を超えている場合に、視聴者が正常な立体視を行うことができる修正角度値を決定する。この修正角度値は、第１実施形態においては、光線制御素子１２の視差方向、すなわち光学的開口の配列方向の、表示パネル１０の垂直方向に対する修正傾き角度である。

制御部２０は、光線制御素子１２を駆動制御する駆動制御部２２と、画素マッピング生成部２４と、画像入力部１８に入力された画像から多視差画像を生成する多視差画像生成部２６と、画像出力部２８と、を備えている。駆動制御部２２は、角度算出部１６によって決定された修正角度値に基づいて、光線制御素子１２の視差方向が修正角度値となるように駆動制御する。画素マッピング生成部２４は、角度算出部１６によって算出された修正角度値に基づいて、画素マッピングの角度補正を行う。多視差画像生成部２６は、画像入力部１８に入力された画像が２次元画像である場合には、この２次元画像からデプス情報を検出し、このデプス情報を用いて、上記２次元画像から３次元画像を表示するのに必要な多視差画像を生成する。また、画像入力部１８に入力された画像が３次元画像を表示するための多視差画像である場合には、表示パネル１０に表示するに適した多視差画像に変換する。

画像出力部２８は、多視差画像生成部２６によって生成された多視差画像を用いて、画素マッピング生成部２４によって生成された画素マッピングにしたがって表示パネル１０に表示するに適した画像、すなわち各光線制御素子に対応した要素画像が並んだ画像形式に変換し、表示パネル１０に送り表示させる。

次に、図２を参照してアクティブ光線制御素子１０の一例について説明する。アクティブレンズやアクティブバリアの場合は、２枚のガラス基板１０ａ、１０ｂの間に液晶層を挟む構造が一般的である。ガラス基板には、光学的開口の延びる方向と同じ方向に延びる細い電極が、光学的開口の並ぶ周期と同じ周期で形成される。電極は各光学的開口につき１つまたは複数で、透明電極のみか、補助的な金属電極が併用される場合もある。例えば両基板１０ａ、１０ｂの電極の方向が異なるように構成することにより、光学的開口の角度の切り替えが可能である。この場合、一方の基板の電極に全面一定のコモン電圧を印加し、他方の電極に駆動電圧を印加することにより、２種類の角度、例えば、水平方向に対して、右上がりおよび左上がりのどちらかを選択することができる。ＧＲＩＮレンズの場合は、両基板に細かい電極を、必要であればそれぞれ２層構造で敷き詰めたような構造であってもよい。アクティブバリアの場合は、両基板に開口部あるいは遮光部に相当する電極を設ければよく、必要であれば２層構造で面を埋め尽くすような電極構造であってもよい。また、一方のガラス基板が分割のない面電極で、他方が上記のように分割されたような、１方向の光学的開口のみに対応したアクティブレンズやアクティブバリアを、多層に重ねた構成であってもよい。そのほか、２種類以上の角度が切り替え可能であれば、パターン拡散板バックライト、線光源アレイであってもよい。光線制御素子１２の角度は１０°〜１５°程度のものが多く知られている。しかし、本実施形態のような角度補正を行うためには、ある程度大きい角度のほうが望ましい。また、アクティブ光線制御素子１２は、２次元画像、すなわち視差を付与する効果をオフにした状態にも切り替えできることが望ましい。

図３（ａ）乃至３（ｃ）は、視聴者１００の顔の傾きを説明する図である。図３（ａ）は、視聴者１００の顔が表示パネル１０に対して正常な場合、すなわち視聴者１００の両眼を結ぶ直線が表示パネル１０の垂直方向に対して直交する場合を示している。図３（ｂ）、３（ｃ）は、視聴者１００の顔が大きく傾いている場合を示している。図３（ｂ）は顔が正方向（反時計方向）に傾いている場合を示し、図３（ｃ）は顔が負方向（時計方向）に傾いている場合を示している。図３（ｂ）、３（ｃ）のように顔の傾きが大きい場合に本実施形態の補正を行うことが効果的である。角度が正方向であるか負方向であるかによって、異なる補正を行う。顔が正方向に閾値を超えて傾いている場合は、光線制御素子の傾きを左上がりの方向に切り替え、顔が負方向に閾値を超えて傾いている場合は、光線制御素子の傾きを右上がりの方向に切り替える。同時に画素マッピングも光線制御素子の傾きに合うものに切り替える。多段階に切り替え可能な構成である場合も同様に画素マッピングを光線制御素子の傾きに合うものに切り替える。

以上説明したように、本実施形態によれば、視聴者の顔の角度が表示パネル１０に対して変化した場合でも、顔の傾き角を検出し、検出した傾き角が所定の閾値を超えている場合に、アクティブ光線制御素子１２の視差方向を変化させるので、視聴者が正常な立体視が可能となるように、画像を表示することができる。このため、視聴者が寝転んでいる状態でも正常な立体視が可能となる。なお、本実施形態の光線制御素子の代わりに、２次元のレンズアレイや２次元ピンホールアレイを用いれば、本実施形態のような角度の切り替えを行わなくても、視聴者の顔の角度によらず立体視が可能である。しかし、この場合、解像度が低下するという問題がある。本実施形態の構成によれば、解像度を低下させることなく、視聴者の顔の角度によらず立体視が可能となる。

（第２実施形態）
第２実施形態の３次元映像表示装置を図４に示す。この第２実施形態の３次元映像表示装置は、図１に示す第１実施形態の３次元映像表示装置において、光線制御素子１２、角度算出部１６、および制御部２０をそれぞれ、光線制御素子１２Ａ、角度算出部１６Ａ、および制御部２０Ａに置き換えた構成となっている。

光線制御部１２Ａは１方向に視差を付与する光学的開口を有しているが、光線制御素子１２と異なり、光学的開口の延在する方向（視差を付与する方向）を変更することができない。

角度算出部１６Ａは、検出部１４によって検出された視聴者の両眼の位置に基づいて、視聴者の両眼の中心を結ぶ直線の、水平方向に対する傾き角を算出し、この算出された角度が所定の閾値（例えば、＋３０°〜＋４５°、−３０°〜−４５°の範囲の値）を超えている場合に、視聴者が正常な立体視を行うことができる修正角度値を決定する。この修正角度値は、第２実施形態においては、光線制御素子１２の視差方向の傾き角度に対して画素マッピングをずらす修正傾き角度である。

制御部２０Ａは、図１に示す制御部２０において、駆動制御部２２を削除した構成となっている。画素マッピング生成部２４は、角度算出部１６Ａによって算出された修正角度値に基づいて、画素マッピングの角度補正を行う。視差画像生成部２６によって生成された視差画像は、画素マッピング生成部２４によって生成された画素マッピングを用いて画像出力部２８において出力画像に変換され、表示パネル１０に表示される。

図５（ａ）乃至５（ｄ）は、画面を視聴者側から見た場合の、視差方向（視域領域の分割方向）を示した図である。図５（ａ）乃至５（ｄ）は、斜線を横切る方向に、異なる方向の視差画像が見える、すなわち運動視差があることを示している。通常は図５（ａ）または図５（ｂ）に示すように、光線制御素子の光学的開口の並ぶ方向に視差方向（視域領域の分割方向）をとる。図５（ａ）は光線制御素子の開口が延在する方向が左上から右下方向３０に傾いている場合を示し、図５（ｂ）は光線制御素子の開口が延在する方向が右上から左下方向に傾いている場合を示す。しかし、図３（ｂ）、３（ｃ）のように顔が傾いている場合はそれぞれ、図５（ｃ）、５（ｄ）のように視域領域の分割方向を補正する。これは画素マッピングの角度補正、すなわち光線制御素子１２の角度、すなわち並ぶ方向３０の傾き角度に対してわずかに画素マッピングの角度をずらすことによって行う。例えば、図５（ａ）に示す（ａ１）、（ａ２）、（ａ３）の位置の画素マッピングを、画素マッピング生成部２４によって、図５（ｃ）に示す（ｂ１）、（ｂ２）、（ｂ３）に変更する場合を考える。この場合、図５（ａ）に示す（ａ１）、（ａ２）、（ａ３）の位置の画素マッピングはそれぞれ図６（ａ）に示す（ａ１）、（ａ２）、（ａ３）となり、図５（ｃ）に示す（ｂ１）、（ｂ２）、（ｂ３）の位置の画素マッピングはそれぞれ図６（ｂ）に示す（ｂ１）、（ｂ２）、（ｂ３）となる。図６（ａ）、６（ｂ）からわかるように、光線制御素子の光学的開口（例えばレンズ）と画素の物理的な位置関係は図６（ａ）、図６（ｂ）で変わらないが、光学的開口に対して割り当てられる画素領域（例えば、６視差の場合、視差番号５．５〜０．０〜・・・〜５．５の範囲）のずれが図６（ｂ）のほうが大きくなり、表示パネルの表示画面の上下方向に対する視域のずれが大きくなる。
このため、視域領域の角度（視域の分布角度）が大きくなり、顔の傾きが大きい場合にそれに近い角度にとることができる。視距離によっても視差方向が変わるため、顔の角度と同時に顔の位置（視距離方向）も検出して補正することが望ましい。なお、光線制御素子の光学的開口（例えばレンズ）の並ぶ方向３０が図５（ｂ）に示す場合には、画素マッピング生成部２４によって図５（ｄ）に示すように変化させる。

以上説明したように、第２実施形態によれば、視聴者の顔の傾き角度が所定の閾値を超えた場合に、画素マッピング生成部２４によって視域の分布角度を変更する。これにより、視聴者が正常な立体視が可能となるように、画像を表示することができる。このため、視聴者が寝転んでいる状態でも正常な立体視が可能となる。また、第１実施形態の場合と同様に、解像度を低下させることなく、視聴者の顔の角度によらず立体視が可能となる。

（第３実施形態）
第３実施形態による３次元映像表示装置を図７に示す。この第３実施形態の３次元映像表示装置は、図１に示す第１実施形態の３次元映像表示装置において、角度算出部１６および制御部２０をそれぞれ、角度算出部１６Ｂおよび制御部２０Ｂに置き換えた構成となっている。

制御部２０Ｂは、制御部２０と同様、画素マッピング生成部２４を設けた構成となっている。角度算出部１６Ｂは、第１実施形態と同様に光線制御素子１２の視差方向の、表示パネル１０の垂直方向に対する修正傾き角度を算出するとともに、第２実施形態と同様に光線制御素子１２の視差方向の傾き角度に対して画素マッピングをずらす修正傾き角度をも算出する。

したがって、第３実施形態においては、第１実施形態と同様に、光線制御素子１２の視差方向の切り替えを行うとともに、第２実施形態と同様に、視域の分布角度の切り替えも行う構成となっている。傾き角が光線制御素子を切り替える閾値よりさらに大きい閾値を超える場合に、光線制御素子の切り替えを伴わずに画素のマッピングを変更してもよい。
例えば、光線制御素子の視差方向の切り替えが、左傾きと右傾きの２段階であり、画素マッピングによる視域の分布角度の切り替えが、さらに細かく多段階であるような構成が効果的である。

この第３実施形態も、第１および第２実施形態と同様に、視聴者の顔が傾いていた状態でも、視聴者が正常な立体視が可能となるように、画像を表示することができる。このため、視聴者が寝転んでいる状態でも正常な立体視が可能となる。また、解像度を低下させることなく、視聴者の顔の角度によらず立体視が可能となる。

（第４実施形態）
第４実施形態による３次元映像表示装置を図８に示す。この第４実施形態の３次元映像表示装置は、図４に示す第２実施形態の３次元映像表示装置において、角度算出部１６Ａおよび制御部２０Ａをそれぞれ、角度算出部１６Ｃおよび制御部２０Ｃに置き換えた構成となっている。

制御部２０Ｃは、制御部２０Ａにおいて、角度算出部１６Ａから画素マッピング生成部２４への入力を削除するとともに視差画像生成部２６を視差画像生成部２６Ａに置き換えた構成となっている。角度算出部１６Ｃは、検出部１４によって検出された視聴者の両眼の位置に基づいて、視聴者の両眼の中心を結ぶ直線の、水平方向に対する傾き角を算出し、この算出された角度が所定の閾値（例えば、＋３０°〜＋４５°、−３０°〜−４５°の範囲の値）を超えている場合に、視聴者が正常な立体視を行うことができる修正角度値を決定する。この修正角度値は、第３実施形態においては、視差画像の視差方向の補正角度である。

視差画像生成部２６Ａは、角度算出部１６Ｃによって算出された修正角度値に基づいて、各視差画像の視差方向の補正を行う。各視差画像は、画像出力部２８において出力画像に変換され、表示パネル１０に表示される。

図９（ａ）乃至９（ｃ）は、視差方向の異なる各視点画像の例を示しており、矢印が視差方向を示している。図３（ａ）乃至３（ｃ）の場合に対応して、図９（ａ）乃至９（ｃ）に示すような各視差画像を生成すればよい。これは２次元画像あるいは３次元画像からデプスマップを生成し、そのデプスマップをもとに、角度算出部１６Ｃで決定された角度にしたがって、視差方向に角度をつけた各視差画像を視差画像生成部２６Ａにおいて生成すればよい。

以上説明したように、第４実施形態によれば、視聴者の顔の傾き角度が所定の閾値を超えた場合に、視差画像生成部２６Ａによって視差画像の視差方向の切り替えが行われる。
これにより、視聴者が正常な立体視が可能となるように、画像を表示することができる。
このため、視聴者が寝転んでいる状態でも正常な立体視が可能となる。また、第１実施形態の場合と同様に、解像度を低下させることなく、視聴者の顔の角度によらず立体視が可能となる。

この第４実施形態の視差画像の視差方向の切り替えを、第１乃至第３実施形態と組み合わせてもよい。

上記第１乃至第４実施形態において、視聴者が複数人おり、複数人の顔の高さが違うとき、合う方の斜めレンズを選択する機能をもたせてもよい。図１０（ａ）、図１０（ｂ）において、斜線と斜線の間が１つの視域（ローブ）、すなわち一連の運動視差が観察できる領域を示している。例えば２名の顔の高さが図１０（ａ）、１０（ｂ）に示すような場合は、図１０（ａ）では、２名の顔がともに視域中央にあるが、図１０（ｂ）では２名の顔が視域境界（図の斜線）にかかってしまう。このため、図１０（ａ）に示すほうが好ましい。

また、視聴者が一人で傾きのない時（デフォルト）はモアレ少ない方のレンズ傾きとしておくような機能を持たせてもよい。外光の状況により、外光の影響の小さい方のレンズ傾きを選択する機能を持たせてもよい。

なお、眼鏡方式の３次元映像表示装置であっても、視差画像（各視点画像）の視差方向の調整は効果があるが、２眼限定であるため、入力画像がステレオ画像である場合は補正しないほうが映像の劣化が少ない。

以上説明したように、各実施形態によれば、視聴者の顔の角度が変化した場合でも、正常な立体視を行うことが可能な３次元映像表示装置を提供することができ、視聴者が寝転びながら視聴する場合に対応できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…表示パネル、１２〜１２Ａ…光線制御素子、１４…検出部、１６〜１６Ｃ…角度算出部、１８…画像入力部、２０〜２０Ｃ…制御部、２２…駆動部、２４…画素マッピング生成部、２６〜２６Ａ…視差画像生成部、２８…画像出力部。

Claims

第１方向と前記第１方向に直交する第２方向とに沿って画素がマトリクス状に配列された表示パネルと、
前記表示パネルに対向して設けられ、前記第２方向に対して傾くように直線状に延びるとともに前記第１方向に配列する複数の光学的開口を有し、前記光学的開口の傾きが前記第１方向に対して右上がりと左上がりに切り替え可能な光線制御素子と、
視聴者の両眼を検出する検出部と、
検出された前記両眼を結ぶ直線の前記第１方向に対する傾き角が閾値より大きい場合に前記光学的開口の傾きを切り替えるように前記光線制御素子を制御する制御部と、
前記光線制御素子の切り替えに対応し画素のマッピングを変更する画素マッピング生成部であって、前記傾き角が前記閾値よりさらに大きい閾値を超える場合に前記光線制御素子の切り替えを伴わずに画素のマッピングを変更する画素マッピング生成部と、
を備える３次元映像表示装置。
前記傾き角が前記閾値より大きい場合に視差画像の視差方向を切り替える視差画像生成部を更に備える請求項１記載の３次元映像表示装置。