JP5356429B2

JP5356429B2 - ３次元映像表示装置および３次元映像表示方法

Info

Publication number: JP5356429B2
Application number: JP2011023197A
Authority: JP
Inventors: 首達夫最; 山雄三平
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-02-04
Filing date: 2011-02-04
Publication date: 2013-12-04
Anticipated expiration: 2031-02-04
Also published as: US20120200677A1; TW201234046A; US8964006B2; JP2012163709A; CN102630022A; KR101283201B1; CN102630022B; TWI446007B; KR20120090744A

Description

本発明の実施形態は、３次元映像表示装置および３次元映像表示方法に関する。

動画表示が可能な３次元映像表示装置、所謂３次元ディスプレイには、種々の方式が知られている。近年、特にフラットパネルタイプで、且つ専用の眼鏡等を必要としない方式の要望が高くなっている。このタイプの３次元映像表示装置には、直視型或いは投影型の液晶表示装置やプラズマ表示装置などのような画素位置が固定されている表示パネル（以下、表示装置ともいう）の直前に表示パネルからの光線を制御して観察者に向ける光線制御素子を設置する方式が知られている。

光線制御素子は、光線制御素子上の同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、スリットアレイ或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイ或いはフライアイレンズアレイが用いられる。光線制御素子を用いる方式は、さらに、２眼式、多眼式、超多眼式（多眼式の超多眼条件）、インテグラルイメージングに分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。

このうちインテグラルイメージング方式は、視点位置の自由度が高く、楽に立体視できるという特徴があり、水平視差のみで垂直視差のないタイプでは、解像度の高い表示装置の実現も比較的容易である。これに対し、２眼方式や多眼方式では、立体視できる視点位置の範囲、すなわち視域が狭く、見にくいという問題があるが、３次元映像表示装置としての構成としては最も単純であり、表示画像も簡単に作成できる。

このようなスリットアレイやレンチキュラーシートを用いた直視型裸眼３次元映像表示装置においては、光線制御素子の開口部の周期構造と平面表示装置の画素の周期構造が干渉することによるモアレや色モアレが発生しやすい。その対策として、光線制御素子の開口部の延びる方向を斜めに傾ける方法が知られている。しかし、光線制御素子の開口部に傾きを与えるだけでは、モアレは完全に解消できないことから、拡散成分を追加してモアレを解消する方法も提案されている。しかし、この方法は、視差情報（見る角度によって見え方が変わる画像情報）の分離を悪くすることから、画質の低下が避けられない。光線制御素子の開口部を斜めにした場合、光線制御素子と画素の位置関係の周期性が高ければ、モアレが発生しやすく、周期性が低ければモアレは発生しにくい。周期性が低い場合、３次元映像表示のために映像データを並び替えて配置する処理が複雑となり、回路規模や必要なメモリが大きくなる問題がある。また、メモリを削減する並び替えのマッピングが知られている。

上述したように、光線制御素子を斜めに設置した従来の３次元映像表示装置にあっては、モアレの解消と画像処理の効率化の両立に問題がある。

特表２００１−５０１０７３号公報特開２００５−８６４１４号公報特許第４４７６９０５号公報

ＳＩＤ０４Ｄｉｇｅｓｔ１４３８（２００４）

本発明の一実施形態が解決しようとする課題は、光線制御素子を斜めに設置した３次元映像表示装置において、モアレの解消と画像処理の効率化の両立が可能な３次元映像表示装置およびその表示方法を提供することである。

本実施形態の３次元映像表示装置は、第１の方向とこの第１の方向に直交する第２の方向とに沿って画素がマトリクス状に配列された表示部と、前記表示部に対向して設置され、前記第２の方向に略直線状に延び、前記第１の方向に配列されている多数の光学的開口部を備えた光線制御素子と、を備え、Ｍを１以上の整数とすると、前記画素は第１の方向に並ぶＭ色成分を持つＭ個のサブ画素に分割されており、前記光学的開口部の第１の方向の周期をＰ、前記光学的開口部の第２の方向の周期をＱ、前記画素の第１の方向の周期をＡ、前記画素の第２の方向の周期をＢとすると、Ｑ／Ｂは整数Ｎであり、Ｍ×Ｐ／Ａは非整数であり、（Ｑ／Ｂ）／（Ｐ／Ａ）は非整数であることを特徴とする。

一実施形態による３次元映像表示装置を概略的に示す斜視図。図２（ａ）、２（ｂ）は一実施形態にかかる光線制御素子を概略的に示す斜視図。図３（ａ）乃至３（ｃ）は一実施形態による３次元映像表示装置における要素画像ピッチＰｅと光線制御素子の光学的開口部ピッチＰｓと光線制御素子ギャップｄと視距離Ｌと視域幅Ｗの関係を示す模式図。図４（ａ）乃至４（ｃ）は一実施形態による平行光線の組を持つ条件の１次元インテグラルイメージング方式、および多眼方式の視差画像と立体画像の構成方法を示す図。第１実施形態において用いられる、画素と光線制御素子の位置関係を示す図。第２実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係の一例を示す図。第３実施形態において用いられる、画素と光線制御素子の位置関係の一例を示す図。第４実施形態において用いられる、画素と光線制御素子の位置関係の一例を示す図。比較例において用いられる、画素と光線制御素子の位置関係を示す図。第５実施形態において用いられる、画素と光線制御素子の位置関係の一例を示す図。一実施形態において用いられる、画素と光線制御素子の位置関係、角度、周期の組み合わせの例と、それぞれの場合のマップサイズ（必要列数）およびモアレシミュレーション結果を示す図。比較例において用いられる、画素と光線制御素子の位置関係、角度、周期の組み合わせの例と、それぞれの場合のマップサイズ（必要列数）およびモアレシミュレーション結果を示す図。一実施形態において用いられる、画素と光線制御素子の位置関係および各サブ画素に割り当てられる視差番号の一例を示す図。一実施形態において用いられる、画素と光線制御素子の位置関係および各サブ画素に割り当てられる視差番号の別の例を示す図。図１５（ａ）、１５（ｂ）は、一実施形態における多視点映像から出力映像への並べ替え処理のマッピングの例を示す図。

以下、図面を参照して、一実施形態による３次元映像表示装置を詳細に説明する。

各実施形態による３次元映像表示装置の概要について図１乃至図４（ｃ）を参照して説明する。インテグラルイメージング方式においても、また、多眼方式においても、通常は、視距離が有限であるため、その視距離における透視投影画像が実際に見えるように表示画像が作成される。

図１は、各実施形態の３次元映像表示装置の全体を概略的に示す斜視図である。図１に示す３次元映像を表示する表示装置は、平面映像としての視差合成画像を表示する平面映像表示部３３１を備えている。この平面映像表示部３３１の前面には、この表示部３３１からの光線を制御する光線制御素子３３２が設けられている。この光線制御素子３３２としては図２（ａ）に示すレンチキュラーシート３３４、図２（ｂ）に示すスリットアレイ板３３３、または電気的にレンズ効果やスリットをオンまたはオフできるスイッチャブル型（アクティブ型）の光線制御素子がある。ここで、光線制御素子３３２は、光学的開口を備え、光線制御素子がレンチキュラーシート３３４であれば、光学的開口は、各シリンドリカルレンズに相当し、光線制御素子がスリットアレイ板３３３であれば、光学的開口は、スリットアレイ板３３３に設けられた各スリットに相当する。この光線制御素子３３２の光学的開口は、３次元映像が表示される視域に向けられる表示部３３１からの光線を実質的に制限し、表示部３３１上に表示される２次元的な映像を構成する各要素画像に対応して設けられている。従って、表示部３３１上に表示される出力映像は、光線制御素子３３２の光学的開口の数に対応した数の要素画像から構成されている。その結果、要素画像が夫々光線制御素子３３２の光学的開口を介して視域内の空間に向けて投影されることによって３次元映像が３次元映像表示装置の前面或いは背面に表示される。また、以下の実施形態においては、この光学的開口は、開口（レンズまたはスリット）の延在する方向が平面映像表示装置の縦方向の画素列に対して傾いて配置される。なお、図２（ａ）、２（ｂ）において、Ｐｓは光学的開口部の水平ピッチを示し、図２（ｂ）において、Ｐｐはスリットの幅を示す。また、スイッチャブル型の光線制御素子は、例えば、液晶層を一対の基板で挟み、一対の基板のうちの一方の基板に周期的に配列された電極と、他方の基板上に形成された電極との間に電圧を印加することにより、液晶層に電界分布を生成して液晶層の配向を変化させ、レンズとして作用する屈折率分布を生成するものや、液晶などで構成された複屈折レンズに入力する偏光を別の液晶セルで切り替えるものなどがある。

図３（ａ）乃至３（ｃ）は、３次元映像表示装置の全体を概略的に示す斜視図である。必要に応じ、スペーサ（ガラス基板、樹脂基板、フィルム、拡散シート等あるいはその組み合わせ）が平面画像表示部３３１と光線制御素子３３２の間に設けられる。図３（ａ）は３次元映像表示装置の前面と、駆動部３１０、多視点画像記憶／入力部３１２、および画像処理部３１４からなる制御部とを示す正面図である。図３（ｂ）は３次元映像表示装置の画像配置を示す平面図であり、図３（ｃ）は３次元映像表示装置の側面図である。図１乃至図２（ｂ）に示すように、３次元映像表示装置は、液晶表示素子などの平面映像表示部３３１および光学的開口を有する光線制御素子３３２を備えている。

この３次元映像表示装置においては、水平方向の視角３４１及び垂直方向の視角３４２の範囲内において、眼の位置から光線制御素子３３２を介して表示装置３３１を観察して平面映像表示部３３１の前面及び背面に立体像を観察することができる。ここでは、平面映像表示部３３１の画素数は、正方形となる最小単位の画素群で数えた場合の個数である。一例として横方向（水平方向）が３８４０画素であり、縦方向（垂直方向）が２１６０画素であり、各最小単位の画素群は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサブ画素を含んでいるものとする。

図３（ｂ）において、光線制御素子３３２と視距離面３４３との間の視距離Ｌ、光線制御素子の光学的開口部の水平方向のピッチＰｓ、光線制御素子と平面映像表示部とのギャップｄが定められれば、要素画像のピッチＰｅが視距離面３４３上の視点から光学的開口中心を表示面上に投影した間隔により決定される。符号３４６は、視点位置と各光学的開口中心とを結ぶ線を示し、視域幅Ｗは表示装置の表示面上で要素画像同士が重なり合わないという条件から決定される。既に説明したように、要素画像とは、光線制御素子３３２の、ある光学的開口を通過して光線制御素子３３２と視距離面３４３との間の視域に向けられる光線束を発生するサブ画素の集合によって表示される２次元的な合成画像（最終的な出力映像である視差合成画像の一部）に相当する。複数の要素画像が表示部３３１に表示されてこれが投影されることによって３次元映像が表示される。

この視差合成画像は、駆動回路３１０からの表示信号で平面映像表示部３３１が駆動されて平面映像表示部３３１に表示される。この駆動回路３１０は、多視点映像群あるいはそれから構成される連結画像などを圧縮して立体画像データとして記憶するまたは入力される多視点画像記憶／入力部３１２をその周辺装置として具備している。また、駆動回路３１０は、この多視点画像記憶／入力部３１２からの映像データを視差合成画像に変換し、画素データを抽出する画像処理部３１４をその周辺装置として具備している。

光学的開口の水平ピッチＰｓあるいはその整数倍がサブ画素ピッチＰｐの整数倍に定められている平行光線１次元インテグラルイメージング方式においては、各光学的開口に対応して定められる立体画像の表示に寄与する要素画像の平均ピッチＰｅあるいはその整数倍は、サブ画素ピッチＰｐの整数倍とはならず、整数よりわずかに大きくなるような端数を伴う。光学的開口の水平ピッチＰｓあるいはその整数倍がサブ画素ピッチＰｐの整数倍に定められていない（平行光線群を形成しない）広義の１次元インテグラルイメージング方式にあっても、一般的に要素画像の平均ピッチＰｅあるいはその整数倍は、同様にサブ画素ピッチＰｐの整数倍からずれた端数を伴う。これに対して、多眼方式では、要素画像の平均ピッチＰｅあるいはその整数倍は、サブ画素ピッチＰｐの整数倍に定められる。光線制御素子の光学的開口が画素列に対してｔａｎ^−１（１／Ｓ）の角度に斜めに設置される１次元インテグラルイメージング方式において、光学的開口の水平ピッチＰｓをサブ画素水平ピッチＰｐで除した値とＳの積を、さらに色成分数（通常は３）で除した値（整数）を「視差数」と呼ぶことにする。例えばｔａｎ^−１（１／４）の角度で、Ｐｓ／Ｐｐ＝１２であれば、視差数は１２×４／３＝１６であり、ｔａｎ^−１（１／６）の角度で、Ｐｓ／Ｐｐ＝４．５であれば、視差数は４．５×６／３＝９である。

図４（ａ）乃至４（ｃ）は、平行光線の組を持つ条件の１次元インテグラルイメージング方式、および多眼方式の視差画像と立体画像の構成方法を示している。表示される物体（被写体）４２１は、実際に３次元映像表示装置の光線制御素子が置かれる面と同じ位置にある投影面４２２に投影される。このとき、図４（ａ）に示すように、１次元インテグラルイメージング方式においては垂直方向透視投影、水平方向平行投影になるように、投影面と平行で正面（上下方向の中央）にありかつ視距離面内にある投影中心線４２３に向かう投影線４２５に沿って投影される。投影線は、水平方向は互いに交わらないが、垂直方向は投影中心線において交わる。各投影方向は視差番号に対応するが、各方向は等角度ではなく、視距離面（投影中心線）上で等間隔になるようにする。すなわちカメラを投影中心線上で等間隔に平行移動（向きは一定）して撮影することに相当する。多眼の場合の投影法では、投影中心点について透視投影される。なお、１次元インテグラルイメージング方式であっても、多眼の場合と同様に通常の透視投影であっても、立体像にわずかにひずみが生じる点以外に実質的に問題はない。このように投影された各視差成分画像４２６は、画素列ごとに分割され、必要に応じ補間処理を行い、図４（ｃ）に示すように光線制御素子の水平ピッチＰｓに対応する間隔を置いて、互いに分離して視差合成画像４２７上に配置される。各光学的開口は斜め方向であるため、視差成分画像４２６上の同一列は、視差合成画像上でおおむね垂直方向に配置されるが、各部分において光学的開口にあうように斜めに配置される。各視差成分画像は、視差合成画像上でインターリーブ状に配置され、要素画像アレイを形成する。

（第１実施形態）
第１実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係の一例を図５に示す。斜線が光線制御素子の光学的開口の中間線、すなわち光線制御素子がレンズアレイの場合はレンズ境界、スリットアレイの場合はスリットの中間線を表す。光線制御素子の傾斜角度は、画素列に対してｔａｎ^−１（９／１．６）（＝ｔａｎ^−１（１／５．６２５））である。各画素は横方向に並ぶ３色成分（Ｒ、Ｇ、Ｂ）を持つ３個のサブ画素に分割されており、光学的開口部の横周期Ｐ、すなわち図５に示す斜線の横方向の間隔は画素の横方向のピッチ（横周期）Ａに対して整数倍ではなく１．６倍であり、光学的開口部の縦周期Ｑ、すなわち図５に示す斜線の縦方向の間隔は画素の縦方向のピッチ（縦周期）Ｂに対して整数倍、すなわち９倍である（Ｎ＝（Ｑ／Ｂ）＝９）。また、（Ｎ／（Ｐ／Ａ））、すなわち９／１．６（＝５．６２５）は整数でなく、すなわち非整数であり、２×９／１．６も整数でなく、すなわち非整数である。このように、光学的開口部の縦周期を画素の縦周期の整数倍（９倍）にすることにより、入力された多視点映像を平面映像表示部に出力する映像に並べ替えるマッピングが、多視点映像の視点番号と座標に関し、出力する映像において９画素行分の周期となり、マッピングに必要なメモリが９行分で済む。なお、マッピングについては、後で詳細に説明する。

また、本実施形態においては、光学的開口部の横周期Ｐｓは、画素の横周期Ｐｐの整数倍でないため、光線制御素子と画素の位置関係の周期性が、モアレが解消する程度に低い。更に、光学的開口部は、光学的開口部の横周期Ｐの５倍が、画素の横周期Ａの８倍と一致する。すなわち、Ｐ／Ａを整数倍したとき整数になる最小の値は８である。この値は、９／２（＝Ｎ／２）以上、９×１０（＝Ｎ×１０）以下という条件を満たしている。

このように、光学的開口部の横周期の整数倍が画素の横周期の整数倍と一致する周期を小さすぎず大きすぎない、画素の整数列分にするとともに、光学的開口部の縦周期を画素の整数行分にすることにより、周期性が、モアレが解消する程度に低く、画像並べ替え処理のマッピングに必要なメモリが画素の整数（９）行×整数（８）列分で済むという利点がある。

以上のような構成を採用することより、モアレ解消と画像処理の効率化の両立が可能となる。Ｍを１以上の整数とし、画素が水平方向（横方向）にＭ色成分を持つＭ個のサブ画素を有しているとする。この第１実施形態および後述する第２乃至第５実施形態においては、Ｍは３となる。すると、横方向に光学的開口部の１横周期、縦方向に（Ｎ／（Ｐ／Ａ））画素行の範囲には、Ｎ×Ｍすなわち９×３＝２７個のサブ画素が存在する。このため、１視点分に３色成分を割り当てると、９視点分の割り当てが可能であり、９視点の画像の各１画素分（３色成分を持つ）の情報をこの範囲にマッピングすることが適切である。２視点分の入力画像しかない場合は、２視点の画像を適切に９視点分に変換処理し、９視点の場合と同様にマッピングすればよい。

なお、第１実施形態においては、平面映像表示装置に設けられるカラーフィルタは図５からわかるように縦ストライプ配列となっており、このことは、以下の第２乃至第４実施形態においても同様である。

（第２実施形態）
第２実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係を図６に示す。この第２実施形態においては、第１実施形態の場合と同様、光線制御素子の光学的開口部は縦方向が画素９行分の周期であるが、第１実施形態とは、光学的開口部の傾斜角度が異なっているとともに横周期が異なる。光線制御素子の傾斜角度は、画素列に対してｔａｎ^−１（９／１．５６５２２）（＝ｔａｎ^−１（１／５．７５））である。画素は横方向に並ぶ３色成分（Ｒ、Ｇ、Ｂ）を持つ３個のサブ画素に分割されており、光学的開口部の横周期Ｐ、すなわち図６に示す斜線の横方向の間隔は画素の横周期Ａに対して整数倍ではなく１．５６５２２倍であり、光学的開口部の縦周期Ｑ、すなわち図６に示す斜線の縦方向の間隔は画素の縦周期Ｂに対して整数倍、すなわち９倍である（Ｎ＝（Ｑ／Ｂ）＝９）。また、Ｎ／（Ｐ／Ａ）、すなわち９／１．５６５２２（＝５．７５）は整数でなく、その２倍である２×９／１．５６５２２も整数でない。また、光学的開口部は、光学的開口部の横周期Ｐの２３倍が、画素の横周期Ａの３６倍と一致する。すなわち、Ｐ／Ａを整数倍したとき整数になる最小の値は３６である。この値は、９／２（＝Ｎ／２）以上、９×１０（＝Ｎ×１０）以下という条件を満たしている。

このように、光学的開口部の横周期の整数倍が画素の横周期の整数倍と一致する周期を小さすぎず大きすぎない、画素の整数列分にするとともに、光学的開口部の縦周期を画素の縦周期の整数倍にすることにより、周期性が、モアレが解消する程度に低く、画像並べ替え処理のマッピングに必要なメモリが画素の整数（９）行×整数（３６）列分で済むという利点がある。

以上のような構成を採用することより、モアレ解消と画像処理の効率化の両立が可能となる。横方向に光学的開口部の１横周期、縦方向に（Ｎ／（Ｐ／Ａ））画素行の範囲には、Ｎ×Ｍすなわち９×３＝２７個のサブ画素が存在する。このため、１視点分に３色成分を割り当てると、９視点分の割り当てが可能であり、９視点の画像の各１画素分（３色成分を持つ）の情報をこの範囲にマッピングすることが適切である。２視点分の入力画像しかない場合は、２視点の画像を適切に９視点分に変換処理し、９視点の場合と同様にマッピングすればよい。

（第３実施形態）
第３実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係を図７に示す。この第３実施形態においては、第１および第２実施形態の場合と同様に、光線制御素子の光学的開口部は縦方向が画素９行分の周期であるが、第１および第２実施形態とは、光学的開口部の傾斜角度が異なっているとともに横周期が異なる。光線制御素子の傾斜角度は、画素列に対してｔａｎ^−１（９／１．５５１７２）（＝ｔａｎ^−１（１／５．８））である。画素は横方向に並ぶ３色成分（Ｒ、Ｇ、Ｂ）を持つ３個のサブ画素に分割されており、光学的開口部の横周期Ｐ、すなわち図７に示す斜線の横方向の間隔は画素の横周期Ａに対して整数倍ではなく１．５５１７２倍であり、光学的開口部の縦周期Ｑ、すなわち図７に示す斜線の縦方向の間隔は画素の縦周期Ｂに対して整数倍、すなわち９倍である（Ｎ＝（Ｑ／Ｂ）＝９）。また、Ｎ／（Ｐ／Ａ）、すなわち９／１．５５１７２（＝５．８）は整数でなく、その２倍も整数でない。また、光学的開口部は、光学的開口部の横周期の２９倍が、画素の横周期の４５倍と一致する。すなわち、Ｐ／Ａを整数倍したとき整数になる最小の値は４５である。この値は、９／２（＝Ｎ／２）以上、９×１０（＝Ｎ×１０）以下という条件を満たしている。

このように、光学的開口部の横周期の整数倍が画素の横周期の整数倍と一致する周期を小さすぎず大きすぎない、画素の整数列分にするとともに、光学的開口部の縦周期を画素の縦周期の整数倍にすることにより、周期性が、モアレが解消する程度に低く、画像並べ替え処理のマッピングに必要なメモリが画素の整数（９）行×整数（４５）列分で済むという利点がある。

（第４実施形態）
第４実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係を図８に示す。この第４実施形態においては、第１乃至第３実施形態の場合と同様、光線制御素子の光学的開口部は縦方向が画素９行分の周期を有しているが、第１乃至第３実施形態の場合とは、光学的開口部の傾斜角度が異なっているとともに横周期が異なる。光学的開口部の傾斜角度は、画素列に対してｔａｎ^−１（９／１．５４２８６）（＝ｔａｎ^−１（１／５．８３３））である。画素は横方向に並ぶ３色成分（Ｒ、Ｇ、Ｂ）を持つ３個のサブ画素に分割されており、光学的開口部の横周期Ｐ、すなわち図８に示す斜線の横方向の間隔は画素の横周期Ａに対して整数倍ではなく１．５４２８６倍であり、光学的開口部の縦周期Ｑ、すなわち図８に示す斜線の縦方向の間隔は画素の縦周期Ｂに対して整数倍、すなわち９倍である（Ｎ＝（Ｑ／Ｂ）＝９）。また、Ｎ／（Ｐ／Ａ）、すなわち９／１．５４２８６（＝５．８３３）は整数でなく、その２倍も整数でない。また、光学的開口部は、光学的開口部の横周期の３５倍が、画素の横周期の５４倍と一致する。すなわち、Ｐ／Ａを整数倍したとき整数になる最小の値は５４である。この値は、９／２（＝Ｎ／２）以上、９×１０（＝Ｎ×１０）以下という条件を満たしている。

このように、光学的開口部の横周期の整数倍が画素の横周期の整数倍と一致する周期を小さすぎず大きすぎない、画素の整数列分にするとともに、光学的開口部の縦周期を画素の縦周期の整数倍にすることにより、周期性が、モアレが解消する程度に低く、画像並べ替え処理のマッピングに必要なメモリが画素の整数（９）行×整数（５４）列分で済むという利点がある。

（比較例）
比較例による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係を図９に示す。この比較例においては、第１乃至第４実施形態の場合と同様、光線制御素子の光学的開口部は縦方向が画素の９行分の周期を有しているが、第１乃至第４実施形態の場合とは、光学的開口部の傾斜角度が異なっているとともに横周期が異なる。光線制御素子の傾斜角度は、画素列に対してｔａｎ^−１（９／１．５）（＝ｔａｎ^−１（１／６））である。画素は横方向に並ぶ３色成分（Ｒ、Ｇ、Ｂ）を持つ３個のサブ画素に分割されており、光学的開口部の横周期Ｐ、すなわち図９に示す斜線の横方向の間隔は画素の横周期Ａに対して整数倍でなく１．５倍であり、光学的開口部の縦周期Ｑ、すなわち図９に示す斜線の縦方向の間隔は画素の縦周期Ｂに対して整数、すなわち９倍である（Ｎ＝（Ｑ／Ｂ）＝９）。しかし、Ｎ／（Ｐ／Ａ）、すなわち９／１．５（＝６）は整数であり、その２倍も整数である。また、光学的開口部は、光学的開口部の横周期の２倍が画素の横周期の３倍と一致する。すなわち、Ｐ／Ａを整数倍したとき整数になる最小の値は３である。この値は、９／２（＝Ｎ／２）以上、９×１０（＝Ｎ×１０）以下という条件を満たしていない。このように周期性が高すぎるとモアレが発生するため好ましくない。

（第５実施形態）
第５実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係を図１０に示す。この第５実施形態においては、第１乃至第４実施形態の場合と異なり、光線制御素子の光学的開口部は縦方向が画素の４行分の周期を有している。光学的開口部の傾斜角度は、画素列に対してｔａｎ^−１（４／０．７０５８８）（＝ｔａｎ^−１（１／５．６６７））である。画素は横方向に並ぶ３色成分（Ｒ、Ｇ、Ｂ）を持つ３個のサブ画素に分割されており、光学的開口部の横周期Ｐ、すなわち図１０に示す斜線の横方向の間隔は画素の横周期Ａに対して整数倍ではなく０．７０５８８倍であり、光学的開口部の縦周期Ｑ、すなわち図１０に示す斜線の縦方向の間隔は画素の縦周期Ｂに対して整数倍、すなわち４倍である（Ｎ＝（Ｑ／Ｂ）＝４）。また、Ｎ／（Ｐ／Ａ）、すなわち４／０．７０５８８（＝５．６６７）は整数でなく、その２倍も整数でない。また、光学的開口部は、光学的開口部の横周期の３倍が画素の横周期の３倍と一致する。すなわち、Ｐ／Ａを整数倍したとき整数になる最小の値は３である。この値は、４／２（＝Ｎ／２）以上、４×１０（＝Ｎ×１０）以下という条件を満たしている。

このように、光学的開口部の横周期の整数倍が画素の横周期の整数倍と一致する周期を小さすぎず大きすぎない、画素の整数列分にするとともに、光学的開口部の縦周期を画素の縦周期の整数倍にすることにより、周期性が、モアレが解消する程度に低く、画像並べ替え処理のマッピングに必要なメモリが画素の整数（４）行×整数（３）列分で済むという利点がある。

以上のような構成を採用することより、モアレ解消と画像処理の効率化の両立が可能となる。横方向に光学的開口部の１横周期、縦方向に（Ｎ／（Ｐ／Ａ））画素行の範囲には、Ｎ×Ｍすなわち４×３＝１２個のサブ画素が存在する。このため、１視点分に３色成分を割り当てると、４視点分の割り当てが可能であり、４視点の画像の各１画素分（３色成分を持つ）の情報をこの範囲にマッピングすることが適切である。２視点分の入力画像しかない場合は、２視点の画像を適切に４視点分に変換処理し、４視点の場合と同様にマッピングすればよい。

（シミュレーション結果）
一実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の周期、位置関係、角度（傾斜角度）の組み合わせの例と、それぞれの場合のマップサイズ（必要列数）およびモアレシミュレーション結果を図１１に示す。このうちＬＣＭ（Ｐ，Ａ）の列が、Ｐ／Ａを整数倍したとき整数になる最小の値を表しており、モアレの発生を抑制するためにはＮ／２以上が望ましく、マッピングに必要なメモリ容量を節約するためには、１０×Ｎ以下のものが特に好ましい。マップサイズが小さく特に好ましいものは、［ｍａｐｓｉｚｅ］の列に２重丸で示したが、メモリサイズに特に制約がない場合は丸で示したものも問題ない。右端の「ｍｏｉｒｅ」の列に、モアレの抑制効果が特に高いものを２重丸で示し、モアレが２重丸の場合よりは残るが許容範囲以下になるものを丸で示した。モアレが特に抑制される構成は、（Ｑ／Ｂ）／（Ｐ／Ａ）の値が、視差数×（０．５５〜０．８）の範囲、あるいは視差数×（１．２５〜１．４５）前後の範囲である。特に好ましくは視差数×（０．６〜０．６５）の範囲、あるいは視差数×（１．４〜１．４５）の範囲である。視差数が大きい値の場合、視差数を適当な整数で除した値について、上記の範囲が好ましい範囲となる。

図１２は、比較例による３次元映像表示装置において用いられる、画素と光線制御素子の周期、位置関係、角度（傾斜角度）の組み合わせの例と、それぞれの場合のマップサイズ（必要列数）およびモアレシミュレーション結果である。これらは（Ｐ／Ａ）／（Ｑ／Ｂ）あるいは２×（Ｐ／Ａ）／（Ｑ／Ｂ）が整数であるため周期性が高すぎてモアレが発生し易く、好ましくない。右端の「ｍｏｉｒｅ」の列に、モアレが特に発生しやすいものを「×」で示し、モアレが発生しやすいものを「△」で示した。モアレが特に発生しやすい構成は、（Ｑ／Ｂ）／（Ｐ／Ａ）の値が、視差数×（０．８〜１．２）前後の範囲である。視差数が大きい値の場合、視差数を適当な整数で除した値について、上記の範囲が好ましくない範囲となる。

図１３および図１４は、一実施形態による３次元映像表示装置において用いられる、画素と光線制御素子の位置関係および各サブ画素に割り当てられる視差番号（視点番号）の例を示す図である。図１３および図１４に示す光線制御素子の傾斜角度やピッチはそれぞれ図７および図５と同じである。矢印で示した点は、光線制御素子の各光学的開口部の中間線が、縦方向に隣接して並ぶ２つの緑色のサブ画素の実質的な中点に位置する箇所である。この２つの緑色のサブ画素には、９視差の０から８までの視差番号のうち両端の０と８が割り当てられている。サブ画素に割り当てられる視差番号が整数の場合は、多視点映像のうち単独の視点の映像からのみ画素がマッピングされ割り当てられる。他の多くのサブ画素には、整数でない視差番号が割り当てられているが、整数でない場合は、多視点映像のうち２つの隣接する視点の映像から画素が、視差番号の数字の割合に応じて平均化され割り当てられる。２つの視点からの画素を平均化することは、視差画像間の補間処理にあたり、映像がわずかに劣化するため、補間処理を行わない、すなわち整数の視差番号が割り当てられているサブ画素が多いことが望ましい。ただし整数の視差番号が割り当てられているサブ画素が多すぎる場合は、周期性が高くなりすぎ、モアレが発生しやすくなる。モアレを抑制するために周期性をある程度落とした構成では、整数の視差番号が割り当てられているサブ画素は限られた割合となる。図１４に示す例では、整数の視差番号が割り当てられているサブ画素は、ＲＧＢ各色で均等に現れるが、図１３に示す例では、ＲＧＢのうち１色だけしか整数の視差番号とならない。このような場合は、整数の視差番号が割り当てられるサブ画素の色が、ＲＧＢのうち視認性の高く重要な色成分である緑色（G）になるように構成することが、画質の向上につながる。図１３、１４に示す場合はともに、少なくとも一部の緑色のサブ画素は単独の視点の映像の画素からのみマッピングされる構成である。

図１５（ａ）、１５（ｂ）は、一実施形態による３次元映像表示装置において用いられる多視点映像から出力映像への並べ替え処理のマッピングを示す概略図である。基本的なマッピング方法は、特許第４４７６９０５号公報のものと類似している。図１５（ａ）に示すＮ＝９の例では、左側に示した９視点の多視点映像のそれぞれ斜線を施した３行の領域が、右側に示した出力映像の９行の領域にマッピングされる。出力画像の各サブ画素にマッピングされる、多視点映像の視点番号と座標は、９行周期の配置となっている。マッピングが９行周期であることから、マッピングに必要なメモリが９行分で済む。さらに、図１１に示したように、マッピングの列周期ＬＣＭ（Ｐ、Ａ）が小さいものは、９行×ＬＣＭ（Ｐ、Ａ）列分のマッピングを周期的に用いることにより、さらに必要なメモリを削減することができる。なお、９視点の多視点画像は、入力された２視点以上の多視点映像から変換処理されて生成されたものであってもよい。

図１５（ｂ）に示すＮ＝４の例では、左側に示した４視点の多視点映像のそれぞれ斜線を施した２行の領域が、右側に示した出力映像の４行の領域にマッピングされる。出力画像の各サブ画素にマッピングされる、多視点映像の視点番号と座標は、４行周期の配置となっている。マッピングが４行周期であることから、マッピングに必要なメモリが４行分で済む。なお、４視点の多視点画像は、入力された２視点以上の多視点映像から変換処理されて生成されたものであってもよい。

以上の方法により、光線制御素子を斜めに設置した３次元映像表示装置において、光線制御素子と画素の位置関係の周期性が、モアレが解消する程度に低く、画像並べ替え処理のマッピングに必要なメモリがＮ行分で済む程度に高いため、モアレ解消と画像処理の効率化の両立が可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

３３１平面画像表示部
３３２光線制御素子
３３３スリットアレイ板
３３４レンチキュラーシート
３３５画素
３４１水平方向の視角
３４２垂直方向の視角
３４３視距離面
３４６視点と光学的開口中心を結ぶ線
４２１表示される物体（被写体）
４２２投影面
４２３投影中心線
４２４投影面上に投影された被写体
４２５投影線
４２９カメラ（視点）

Claims

第１の方向と前記第１の方向に直交する第２の方向とに沿って画素がマトリクス状に配列された表示部と、
前記表示部に対向して設置され、前記第１の方向および前記第２の方向と交差する第３の方向に直線状に延び、前記第３の方向と直交する方向に配列する複数の光学的開口部として機能する光線制御素子と、
を備え、
Ｍを１以上の整数とすると、前記画素は第１の方向に並ぶＭ色成分を持つＭ個のサブ画素に分割されており、前記光学的開口部の第１の方向の周期をＰ、前記光学的開口部の第２の方向の周期をＱ、前記画素の第１の方向の周期をＡ、前記画素の第２の方向の周期をＢとすると、Ｑ／Ｂは整数Ｎであり、Ｍ×Ｐ／Ａは非整数であり、（Ｑ／Ｂ）／（Ｐ／Ａ）は非整数であることを特徴とする３次元映像表示装置。
２×（Ｑ／Ｂ）／（Ｐ／Ａ）は非整数であることを特徴とする請求項１記載の３次元映像表示装置。
Ｐ／Ａを整数倍したとき整数になる最小の値が、Ｎ／２以上、Ｎ×１０以下であることを特徴とする請求項１または２記載の３次元映像表示装置。
前記表示部の、前記画素はＲサブ画素、Ｇサブ画素、Ｂサブ画素からなり、
Ｇサブ画素に割り当てられる視差番号が整数となるように前記光学的開口部が機能することを特徴とする請求項２または３記載の３次元映像表示装置。
請求項１乃至４のいずれかに記載の３次元映像表示装置を用いて３次元映像を表示する３次元映像表示方法であって、
視点数が２以上の多視点映像を前記表示部に出力する映像に並べ替えるマッピングを行うステップを備え、前記マッピングは、多視点映像の視差番号と前記第１の方向における座標とに関し、出力する映像においてＮ画素行分の周期であるように行うことを特徴とする３次元映像表示方法。
請求項１乃至４のいずれかに記載の３次元映像表示装置を用いて３次元映像を表示する３次元映像表示方法であって、
視点数Ｎの多視点映像を前記表示部に出力する映像に並べ替えるマッピングを行うステップを備え、前記マッピングは、多視点映像の視差番号と前記第１の方向における座標とに関し、前記マッピングの周期が出力する映像においてＮ画素行分の周期であるように行うことを特徴とする３次元映像表示方法。