JPWO2013021505A1 - 立体画像表示装置 - Google Patents

立体画像表示装置 Download PDF

Info

Publication number
JPWO2013021505A1
JPWO2013021505A1 JP2013527832A JP2013527832A JPWO2013021505A1 JP WO2013021505 A1 JPWO2013021505 A1 JP WO2013021505A1 JP 2013527832 A JP2013527832 A JP 2013527832A JP 2013527832 A JP2013527832 A JP 2013527832A JP WO2013021505 A1 JPWO2013021505 A1 JP WO2013021505A1
Authority
JP
Japan
Prior art keywords
display
image
stereoscopic
display device
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013527832A
Other languages
English (en)
Other versions
JP5858044B2 (ja
Inventor
敏郎 大櫃
敏郎 大櫃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2013021505A1 publication Critical patent/JPWO2013021505A1/ja
Application granted granted Critical
Publication of JP5858044B2 publication Critical patent/JP5858044B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/371Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

表示装置(10)の表示面(10a)に隣接して、表示素子の配設方向に沿って、複数の平凸面レンズ(111)を、表示面(10a)からの距離を変化させて連続して並べて配置したレンズシート(11)と、表示対象についての視差点毎の立体表示用画像を複数視点毎に格納する格納部(138)と、人体の視覚器官の姿勢変更量を検知する検知部(31)と、検知された姿勢変更量に応じて、格納部(138)から立体表示用画像を視点毎に選択する選択部(32)と、選択された前記立体表示用画像を前記表示装置(10)に表示させる表示制御部とをそなえるように構成することにより、視聴者が表示装置の前においてその姿勢変更を行なった場合においても立体画像を視認することができるようにする。

Description

本発明は、立体画像表示装置に関する。
隣接した2つのカメラで撮影された画像の視差を利用して立体視が可能な画像を生成する立体画像生成装置がある。立体視画像生成装置は、例えば、隣接した2つのカメラで撮影した画像のうち、一方のカメラによる画像を左眼用画像として、他方のカメラによる画像を右眼用画像として、生成して表示する。
同一の対象物に対して、左眼用画像における位置と、右眼用画像における位置との差を、視差という。画像内に存在する2つの対象物で、視差量が異なることにより、一方の対象物が他方の対象物に対して手前又は奥に存在するように見える。視差量は、視差の大きさである。
図32は立体視画像の例を示す図である。この図32において、画像910が左眼用画像であり、画像920が右眼用画像である。ここで、左眼用画像である画像910、及び右眼用画像である画像920には、それぞれ、物体A、物体B、物体Cが存在する。画像910及び画像920との間における、これらの物体の視差により、図32の立体画像を見る者には、手前から、物体A、物体B、物体Cが存在するように見える。
特開2005−176004号公報 特開2008−66086号公報 特開2007−041425号公報 特開平06−301033号公報 特開2000−98119号公報 特開平04−035192号公報 社団法人電子情報技術産業協会、ディスプレイ装置用語集
また、立体画像生成装置には、液晶ディスプレイ等の表示装置にレンチキュラー状のレンズシートを設置することにより、専用の眼鏡を使用することなく、左眼及び右眼にそれぞれ異なった映像を認識させるものもある。
図33はレンズシートを用いた従来の立体画像生成装置の構造を模式的に示す上面図である。この図33に示す例においては、液晶ディスプレイ901にレンズシート902を装着した従来の立体画像生成装置900の正面に利用者(視聴者)903がいる。
視聴者903と液晶ディスプレイ901の中心部902a付近におけるレンズシートまでの距離Aと、装置正面における視聴者903と液晶ディスプレイ901の周辺部902b付近におけるレンズシート902までの距離Bとは距離が異なる。
このような従来の立体画像生成装置900の正面位置において、その液晶ディスプレイ901の中心部902a付近においては、立体映像として認識できる。しかしながら、利用者903がその頭頂部TPを中心に頭部を左右のいずれかの方向に振って(回動させて)、周辺部902b付近を見るとレンズシート902(液晶ディスプレイ901)までの距離が異なるため、映像はぶれて見え、立体映像として認識することは困難である。
従来の立体画像表示装置におけるレンズシートの結像(焦点)距離について、図34を参照しながら説明する。まず、一般的な凸レンズにおける焦点距離においては、以下の式(1)が公式として成り立つ。
1/f = (n−1)(1/R1 − 1/R2)
+ (n−1)x(n−1)/n × t/R1R2 ・・・(1)
ただし、
f:焦点距離
n:レンズの屈折率
R1:画素側からみた曲率半径
R2:視聴者側からみた曲率半径
t:レンズの厚さ
とする。
ここで、平凸面レンズはカマボコ状の平凸レンズであるので、R2は無限大の数値となるため、“1/R2”はゼロとなる。
また、同様に、“t/R1R2”についても、R2が無限大であるためゼロになる。従って、上記式(1)は、
1/f = (n−1)(1/R1)
となる。又、ここで、nはレンズを構成する素材による固定値となる。従って、R1に依存してfが決定する。
そして、焦点距離すなわちRGB各画素が結像する位置とはレンズから視聴者までの距離aであるので、f = aである。
従って、視聴者が3D映像を結像できる位置はfであり、そのfの数値はR1によって決定され、又、このR1は画素からレンズまでの距離bに依存される。
しかしながら、図33に示した従来の立体画像生成装置900においては、液晶ディスプレイ901とレンズシート902との距離bは一定であり、従って、3D映像の結像位置を制御するためには、レンズシート902のレンズの曲率半径を適宜変更する必要がある。
しかしながら、一般的な液晶ディスプレイの画素ピッチは0.418mm程度であり、この精度でレンズアレイをそなえたレンズシートを作成するには、10−8mmオーダでのレンズ加工精度が必要とされる。
従って、レンズの曲率半径を微細に変更してレンズシート902を作成することは加工精度上、困難であり、非現実的である。
本件開示の技術は、視聴者が表示装置の前においてその姿勢変更を行なった場合においても立体画像を視認することができる立体画像生成装置を提供することを課題とする。
なお、前記目的に限らず、後述する発明を実施するための最良の形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
上記の目的を達成するために、この立体画像表示装置は、複数種類の表示素子を繰り返し連続して配置した表示面を有する表示装置と、前記表示装置の表示面に隣接して、前記表示素子が繰り返し連続して配置される配設方向に沿って、一方の面に突出する凸部をそなえるとともに他方の面が平面として構成された複数の平凸面レンズを、前記表示面からの距離を変化させて連続して並べて配置したレンズシートと、表示対象についての視差点毎の立体表示用画像を複数視点毎に格納する格納部と、人体の視覚器官の姿勢変更量を検知する検知部と、前記検知部により検知された前記姿勢変更量に応じて、前記格納部から前記立体表示用画像を視点毎に選択する選択部と、前記選択部によって選択された前記立体表示用画像を前記表示装置に表示させる表示制御部とをそなえる。
開示の立体画像表示装置は、視聴者の眼に立体表示用画像を結像させることができる。
実施形態の一例としての立体画像表示装置の構成を模式的に示す図である。 実施形態の一例としての立体画像表示装置の表示装置の表示素子の配列の例を示す図である。 実施形態の一例としての立体画像表示装置のレンズシートの構成を模式的に示す断面図である。 実施形態の一例としての立体画像表示装置における表示装置に対するレンズシートの取り付けの例を示す図である。 実施形態の一例としての立体画像表示装置の表示制御装置のハードウェア構成を模式的に示す図である。 (a),(b),(c)は、それぞれ視聴者の顔の向きとその顔画像とを示す図である。 実施形態の一例としての立体画像表示装置におけるダイアログボックスを例示する図である。 実施形態の一例としての立体画像表示装置における機能構成を模式的に示すブロック図である。 (a),(b)は実施形態の一例としての立体画像表示装置における立体表示用画像を例示する図である。 実施形態の一例としての立体画像表示装置における、表示対象の立体画像データのフォーマットイメージを示す図である。 サイドバイサイドの立体画像フォーマットを模式的に示す図である。 立体表示用画像のデータイメージを例示する図である。 実施形態の一例としての立体画像表示装置における立体画像の表示イメージ図である。 実施形態の一例としての立体画像表示装置における表示面の画素配列とレンズシートとの関係を示す図である。 本立体画像表示装置における画素群の配列とレンズシートとの関係を説明する図である。 実施形態の一例としての立体画像表示装置における表示装置の表示面と再生画像表示領域との関係を示す図である。 実施形態の一例としての立体画像表示装置における立体表示用画像の表示手法を説明するフローチャートである。 実施形態の一例としての立体画像表示装置におけるダイアログボックスを例示する図である。 (a),(b)は実施形態の一例としての立体画像表示装置の表示装置に対して、異なる2箇所に視聴者の頭部位置を仮定した立体表示用画像を表示した例を示す図である。 立体表示用画像が4重に表示されている表示装置を正常な立体表示用画像として結像するための補正手法を説明するためのフローチャートである。 実施形態の一例としての立体画像表示装置における表示装置,レンズシート及び視聴者の関係を模式的に示す図である。 実施形態の一例としての立体画像表示装置における表示装置,レンズシート及び視聴者の関係を模式的に示す図である。 (a),(b)はそれぞれ視聴者の姿勢と眼及び表示装置との位置関係を示す図である。 (a),(b),(c)は視聴者の頭の移動に伴って変化する両眼の位置と結像距離を示す図である。 は実施形態の一例としての立体画像表示装置における左右の各眼の角度と、各眼が結像に用いるレンズシートの場所との関係図を示す図である。 実施形態の一例としての立体画像表示装置におけるレンズシートを説明する上面図である。 フラットなレンズシートをそなえる表示装置に、異なる2箇所に視聴者の頭部位置を仮定した立体表示用画像を表示した例を示す図である。 表示装置及びレンズシートと視聴者の左右の眼の位置との関係を示す図である。 結像距離を例示する図である。 実施形態の一例としての立体画像表示装置における回頭角度と画素範囲と画素−レンズ間距離との関係を例示する図である。 実施形態の変形例としての立体画像表示装置の構成を模式的に示す図である。 立体視画像の例を示す図である。 レンズシートを用いた従来の立体画像生成装置の構造を模式的に示す上面図である。 従来の立体画像表示装置におけるレンズシートの結像距離を説明するための図である。
以下、図面を参照して本発明の実施の形態を説明する。
図1は実施形態の一例としての立体画像表示装置1の構成を模式的に示す図、図2はその表示装置10の表示素子の配列の例を示す図である。又、図3は実施形態の一例としての立体画像表示装置1のレンズシート11の構成を模式的に示す断面図、図4は表示装置10に対するレンズシート11の取り付けの例を示す図である。
本立体画像表示装置1においては、表示面10aにレンズシート11を取り付けた表示装置10に対向するように視聴者が位置し(例えば、図21参照)、その表示面10aに立体表示用画像を表示させることにより、視聴者に表示対象物の立体画像が見える。
ここで、本立体画像表示装置1で表示される立体画像(3D映像)は、動画であっても静止画像であってもよい。
そして、視聴者がその位置において、その体の特定の部位(例えば、首や背骨)を軸に頭部を左右いずれかの方向に回動させることにより、その頭部の回動に応じて、表示対象物の側面部の立体表示用画像のデータ(回り込み映像)を表示装置10に表示させる(図13参照)。これにより、視聴者の頭部の回動に応じて、表示装置10に表示された立体画像が回転して見える、回り込み3D表示機能を実現し、円形立体視聴イメージ効果を得ることができる。
実施形態の一例としての立体画像表示装置1は、図1に示すように、表示装置10,レンズシート11,カメラ12及び表示制御装置13をそなえる。
表示装置10は、例えば、液晶ディスプレイであり、表示制御装置13からの制御に従って、その表示面10aに画像を表示する。
本実施形態においては、立体画像表示装置1が、例えば27インチ以上の大型の液晶ディスプレイをそなえたディスクトップ型パソコンである例について示す。すなわち、表示装置10は、27インチ以上の液晶ディスプレイである。
本立体画像表示装置1においては、この表示装置10に立体画像が表示される。立体画像には左眼用画像及び右眼用画像を含む。
表示面10aは平面として形成され、この表示面10aには複数の色画素の素子(表示素子)が、表示面10aの水平方向及び水平方向と直交する方向に配列されている。表示面10aに表示される画像を構成する複数の画素は、それぞれ表示素子によって表現される。
具体的には、各画素は複数の色画素を含む。色画素の例は、例えば、赤(R;Red),緑(G;Green)及び青(B;Blue)の光の三原色をなす色画素であり、表示面10aにおいては、これらの色画素の素子が配列方向に所定の順序で繰り返し配置されている。又、配列方向に直行する方向には、同一種類の色画素が連続して配置されている。各画素の境界部分には、ブラックマトリクスを配置してもよい。そして、表示面10aにおいて、連続するR,G,Bの3つの色画素の素子によって一つの画素が表される。
図2に示す例においては、例えば、1Lの画素は、R1(赤),G1(緑),B1(青)の各画素を含む。2R,3L等の画素についても同様である。以下、便宜上、表示面10aにおいて、これらの複数種類の色画素が繰り返し配置される方向を配列方向といい、図2においては、紙面左右方向が配列方向である。
なお、図2に示す例においては、1つの画素の色画素が、画素の配列方向(本実施形態においては水平方向)に対して非平行に配置されているが、これに限定されるものではなく、種々変形して実施することができる。1つの画素の色画素は、画素の配列方向に対して平行に配置されてもよい。
レンズシート11は、図3に示すように、複数のカマボコ状の平凸面レンズ111を表示面10aの配列方向に沿って連続してそなえるレンズアレイとして形成されている。すなわち、レンズシート11は、細長いカマボコ状の凸レンズを同一方向に向けて連続して並べたレンチキュラーレンズ状に構成されている。
このレンズシート11は、表示装置10の表示面10a側において、各平凸面レンズ111において突出する凸レンズ111aとは反対側の面(以下、裏面111bという)を表示装置10の表示面10aに対向させて配置されている。
また、平凸面レンズ111における凸レンズ111aの両側には、図3に示すように、平面状のレンズ溝部111cが形成されている。
そして、レンズシート11において、各平凸面レンズ111の凸レンズ111aの光軸は、互いに平行に配置されており、これにより、各平凸面レンズ111が同一方向を向いて形成されている。
また、レンズシート11において、各平凸面レンズ111は、その配列方向において、表示面10aにおける1画素に対応している。これにより、各平凸面レンズ111には、表示面10a側において対向する各画素から照射される光がそれぞれ入射される。又、各平凸面レンズ111の裏面111bに入射された光は、それぞれ凸レンズ111aから出射され、所定の焦点距離の位置に結像する。
各平凸面レンズ111は、同一の材質で形成されるとともに、凸レンズ111aの曲率や凸レンズ111aから裏面111bまでの距離等、互いに同じ形状をそなえ、それぞれのf値が等しい。
また、図3に示すように、各平凸面レンズ111は、その配列方向における中央位置で表示装置10の表示面10aに最も近く、又、配列方向における両端部で表示装置10の表示面10aから最も遠ざかるように、表示面10aとの距離が変化するように階段状に配置されている。すなわち、その配列方向において、表示面10aの画素からレンズシート11の裏面111bまでの距離は均一ではなく、特に、表示装置10の配列方向における中央部から端部までの半面においては、各画素から平凸面レンズ111の裏面111bまでの距離は異なる。
これにより、表示装置10の配列方向における中央部から端部までの半面において、表示面10aから出力され、各平凸面レンズ111を通過する光は、互いに異なる位置に結像する。
このように、レンズシート11は、平凸面レンズ111の突出方向(レンズアレイ方向)が一定で、表示装置10の表示面10aにある画素と平凸面レンズ111までの距離が段階的に変化する湾曲構造(凹面構造)として構成されている。
また、レンズシート11は、図4に示すように、表示装置10の表示面10aの前方(視聴者側)の所定位置に固定して取り付けられる。表示装置10へのレンズシート11の取り付けは、例えば、図示しないフック等に固定することにより行なう。又、例えば表示装置10には、レンズシート11の取り付けを検知するセンサ(図示省略)がそなえられており、レンズシート11が取り付けられているか否かの情報を表示制御装置13に通知する。更に、レンズシート11には、当該レンズシート11の種類等を識別するための3DパネルID(識別情報)をそなえる。
例えば、レンズシート11に3DパネルIDを格納した非接触IDタグをそなえるとともに、表示装置10にIDタグのリーダをそなえ、これにより、表示装置10は3DパネルIDを取得することができる
表示装置10は、取得した3DパネルIDを表示制御装置13に送信する。
本立体画像表示装置1においては、表示面10aの1画素に1レンズアレイ(1つの平凸面レンズ111)を対応させるので、1画素の光線は光の強さ(光量)を落とすことなく、且つ、正確な焦点距離aを持って結像することができる。
カメラ12は、視聴者の顔面を撮像する撮像装置(撮像部)であり、例えば、表示装置10の上部等、視聴者の正面位置に対向するように取り付けられ、視聴者の顔(特に両眼)を撮影する。このカメラ12としては、例えば、PC(Personal Computer)にそなえられるウェブカメラを用いることができる。なお、カメラ12は、例えば、表示装置10のフレーム(図示省略)等に埋め込まれてもよく、その配置は適宜変更して実施することができる。
このカメラ12によって撮影された画像は、表示制御装置13に送信される。そして、カメラ12は、立体画像表示に際して、撮影した画像を表示制御装置13に対して、常時送信し続けることが望ましい。
図5は実施形態の一例としての立体画像表示装置1の表示制御装置13のハードウェア構成を模式的に示す図である。
表示制御装置13は、図5に示すように、例えば、CPU(Central Processing Unit)131,LAN(Local Area Network)カード132,チューナ133,グラフィック・アクセラレータ134,チップセット135,メモリ136,オーディオコントローラ137,HDD(Hard Disk Drive)138,ブルーレイディスク(Blu-ray Disc)ドライブ139及びキーボードコントローラ140をそなえる情報処理装置(コンピュータ)として構成される。
グラフィック・アクセラレータ134は、表示装置10が接続され、この表示装置10に対して画像表示を行なわせるための画像表示制御インタフェースである。LANカード132はインターネット141等のネットワークに接続するためのインタフェースカードであり、チューナ133は外部アンテナ142が接続され、TV番組を受信し、デコード等の処理を行ない映像データとして表示装置10に表示させる。
メモリ136は、例えばRAM(Random Access Memory)やROM(Read Only Memory)等の記憶装置であり、CPU131が実行もしくは使用する各種プログラムやデータを格納する。
オーディオコントローラ137は、スピーカ143が接続され、このスピーカ143に対する音声データの出力を制御する。
HDD138は記憶装置であり、CPU131が実行もしくは使用するOS(Operating System)や各種プログラム、データ等を格納する。又、このHDD138やメモリ136には、表示装置10に表示される各種画像データ(映像データ,立体画像データ)も格納される。
そして、このHDD138には、後述の如く、立体表示対象(表示対象)について予め作成された立体画像データが格納されている。すなわち、HDD138は、表示対象についての視差点毎の立体表示用画像を複数視点毎に格納する格納部として機能する。
ブルーレイディスクドライブ139は、ブルーレイディスクを再生する。なお、このブルーレイディスクに、表示装置10に表示される各種画像データ(映像データ,立体画像データ)を格納してもよい。
キーボードコントローラ140はキーボード144やマウス145等の入力装置が接続され、これらのキーボード144やマウス145とCPU131と間のデータのやり取りを制御する。チップセット135には、これらの各部がバス等を介して接続され、CPU131とこれら各部との通信を制御する。又、表示制御装置13には、カメラ12も接続され、このカメラ12によって撮像された視聴者の顔の画像を受信する。
CPU131は、HDD138やメモリ136に格納されたプログラムを実行することにより各種機能を実現する処理装置である。
CPU131は、例えば、画像再生アプリケーション(回り込み時再生アプリ)を実行することにより、動画像や静止画像等のコンテンツ(回り込み時再生アプリ映像)を表示装置10の表示面10aに表示させる。
また、本立体画像表示装置1において、CPU131は、図1に示すように、検知部31,選択部32及び表示制御部33として機能する。又、上述した画像再生アプリケーションには、検知部31,選択部32及び表示制御部33としての機能も含まれる。
なお、これらの検知部31,選択部32及び表示制御部33としての機能を実現するためのプログラム(画像再生アプリケーション)は、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW等),磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
検知部31,選択部32及び表示制御部33としての機能を実現する際には、内部記憶装置(本実施形態ではメモリ136)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではCPU131)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。又、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、立体画像表示装置1がコンピュータとしての機能を有しているのである。
図6(a),(b),(c)は、視聴者の顔の向きとその顔画像300とを示す図であり、図6(a)は視聴者が正面を向いている状態の顔の向きとその顔画像300aを示している。又、図6(b)は視聴者が右に向いた状態の顔の向きとその顔画像300bを示しており、図6(c)は視聴者が左に向いた状態の顔の向きとその顔画像300cを示している。
これらの図6(a),(b),(c)における顔画像300は、カメラ12によって撮像され、USBケーブル等の通信手段により、表示制御装置13に送信されたものである。
なお、以下、顔画像を示す符号としては、複数の顔画像のうち1つを特定する必要があるときには符号300a,300b,300cを用いるが、任意の顔画像を指すときには符号300を用いる。又、この顔画像300は動画像であっても静止画像であってもよい。
検知部31は、カメラ12によって撮像された視聴者の顔画像300を分析して、この顔画像300から両眼(瞳)の位置を認識し、この両眼の位置に基づいて視聴者の顔の向きや両眼の間隔距離を判断する。
そして、検知部31は、この両眼の位置や、間隔距離の変位を検知することにより、視聴者の首を軸とする頭部の回転量を検知する。すなわち、検知部31は、人体の視覚器官の姿勢変更量を検知する。
検知部31は、視聴者の頭の回転方向が左右どちらかであるかを判断する。この際、顔認証や視聴者の視聴位置を確認する必要はない。例えば、視聴者の両眼の瞳の色を入力データとして、例えばカメラ12によって撮像された顔画像300における位置関係で判断することができる。
検知部31は、顔画像300において両眼の存在だけを対象物として認識すればよく、例えば、両眼を追尾するような高解像度でフレームレートが高いカメラをそなえる必要はなく、又は、赤外線カメラのような視聴者の視聴位置/距離を把握する高機能なシステム構成も不要である。これはカメラ12による撮像画像において両眼が右または左に移動する判断で顔が左右どちらに傾いたかを判断すればよいからである。そして、これにより、本装置を低コストで実現することができる。
検知部31は、視聴者の両眼の位置の認識を、両眼の形あるいは色で行なう。例えば、色で両眼の認識を行なう場合には、黒眼であるならそのコントラスト等によって行なう。
また、両眼の位置の認識は映像認識で行なってもよい。カメラ12によって撮像された顔画像300に基づいて、検知部31は、頭部の回転量やその角度を認識する。そして、検知部31は、カメラ12によって撮像された顔画像300と、後述する基本感間隔距離と比較する。
検知部31は、視聴者の顔の向き認識を開始するに際して、図7に示すようなダイアログボックスを表示装置10に表示させる。
図7は実施形態の一例としての立体画像表示装置1におけるダイアログボックスを例示する図である。
視聴者がこのダイアログボックスのメッセージに応じて、表示装置10との距離が予め規定された位置において、表示装置10(カメラ12)に正対し、キーボード144やマウス145を操作して“OK”を選択すると、顔の向き検出が開始される。
検知部31は、視聴者の両眼を、顔画像300中における一定の距離を隔てて位置する黒丸として検出し、認識する。
これにより、先ず、図6(a)に示すように、視聴者が正面を向いている状態の顔の画像300aが撮影される。このように、規定位置において視聴者が正面を向いている(正対している;回転角度0゜)状態での両眼の位置が基本位置であり、又、この状態での両眼の間隔が基本間隔距離dである。すなわち、検知部31は、視聴者の正面を向いている状態の顔画像300aに基づき、両眼の基本位置及び基本間隔距離を認識する。
また、検知部31は、カメラ12から送信される顔画像300を常時、分析し、顔画像300中における両眼の位置の変化や両眼間隔の変化を認識する。そして、一定量の両眼の移動と同時に両眼の間隔が短くなったことを検知すると、その検知をもって視聴者の頭部が回転したと認識する。
例えば、検知部31は、新たに取得した顔画像300における両眼の位置を、先に認識した両眼の基本位置と比較することにより、視聴者の顔の回転方向(左右のいずれの方向に回転しているか)を判断する。又、検知部31は、新たに取得した顔画像300における両眼の間隔を、先に認識した両眼の基本間隔距離と比較することにより、視聴者の顔の回転量を判断する。
図6(b),(c)に示すように、視聴者の頭部が首を回転軸として左右のいずれかの方向に回転した場合には、顔画像300b,300cに示すように、両眼の間隔距離d′,d″は、図6(a)の顔画像300aにおける基本間隔距離dと比較して狭くなる。そして、視聴者の頭部の回転角度が大きくなるほど、この両眼の間隔距離d′,d″は小さくなる。
これにより、検知部31は、例えば、顔画像300において測定した両眼の間隔距離を基本間隔距離dと比較することにより、視聴者の頭部の回転量を把握することができる。
本実施形態においては、上述の如く、顔画像300において測定した両眼の間隔距離を基本間隔距離dと比較することにより、視聴者の頭部の回転量を把握する。このように、視聴者の頭の回転方向左右どちらかであること、そして表示装置10の正面からどれくらいの角度を持って傾いているかを表す情報をセンサ情報という。
本実施形態においては、例えば、測定した両眼の間隔距離と基本間隔距離dとの比や差分を予め設定した閾値と比較することにより、視聴者の頭部の回転量をレベルで表す。
例えば、視聴者が表示面10aに正対している状態(回転角度0゜;レベル0)から、視聴者が左右いずれかの方向に真横を向いた状態(回転角度90゜)までの間を、所定数n(例えばn=20)のレベル(例えば、0〜19)に分割し、検知部31は、測定した両眼の間隔距離に基づき、視聴者の頭部の回転角度がいずれのレベルであるかを判断する。又、これらのレベル分けは、左右方向のそれぞれについて行なう。
検知部31は、検出した結果を、回転方向(右もしくは左)及び傾きレベルn(nは例えば、0〜19の自然数)として、選択部32に通知する。なお、検知部31は、選択部32からのデータ要求に応じてレベルを通知してもよい。選択部32は、検知部31から通知されるレベル情報(数値)に基づいて、表示する画素群を決定する。
また、検知部31は、例えば、視聴者の頭部の回転の向きや、表示面10aの正面からどれぐらいの角度を持って回転しているかを示す情報、判断結果としてのレベル値を選択部32に通知する。
選択部32は、検知部31が視聴者の頭部が回転したと認識すると、この検知部31によって検知されたレベル値(回転量)に応じて、HDD138から、そのレベル値に応じた立体表示用画像(左眼用立体表示用画像及び右眼用立体表示用画像)を選択する。
また、HDD138においては、レンズシート11の種類(3DパネルID)に応じて複数種類の立体表示用画像が格納されており、選択部32は、レンズシート11の3DパネルIDに合った立体表示用画像を選択する。
この選択部32によって選択された立体表示用画像は、表示制御部33によって表示制御装置13に表示される。すなわち、表示装置10に表示される画像(画素群)が視聴者の頭部の回転移動に合わせて変更される。
なお、両眼の移動は検知されたが、両眼の間隔が変更されない場合には、視聴者は表示装置10に対向した状態で、そのまま左右のいずれか方向に移動しただけである。このような場合には、表示装置10に表示される立体表示用画像(画素群)は変更されない。
図8は実施形態の一例としての立体画像表示装置1における機能構成を模式的に示すブロック図である。
この図8に示すように、カメラ12による視聴者の顔画像300の出力が行なわれ(A10)、次に、検知部31による視聴者の頭部の回転検知処理が行なわれる(A20)。回転検知処理においては、視聴者の両眼の基本位置及び基本間隔距離の認識が行なわれ、この基本間隔距離が両眼距離基準値として用いられる。回転検知処理の結果はレベル通知として通知され、再生処理に移行する(A30)。又、レベル通知は、選択部32によるデータ要求に応じて行なってもよい。
再生処理においては、選択部32が、通知されたレベルに基づいて、HDD138に格納されている立体表示用画像を選択し、表示制御部33がその立体表示用画像の画素群を表示装置10に表示させる(A40)。
次に、立体表示用画像としての画素群配列について説明する。本立体画像表示装置1においては、立体表示用画像はレベルに応じて切り替えられる。
図9(a),(b)は実施形態の一例としての立体画像表示装置1における立体表示用画像を例示する図であり、図9(a)はレベル0での立体表示用画像を例示する図、図9(b)はレベル1の立体表示用画像を例示する図である。
HDD138には、予め、図9(a),(b)に示すような、左眼用の立体表示用画像(左眼用立体表示用画像)40Lと右眼用の立体表示用画像(右眼用立体表示用画像)40Rとがレベル毎(複数視点毎)に格納されている。
左眼用立体表示用画像40Lは、表示面10aに表示される画像であって、視聴者の左眼(第1の視点)に焦点距離が合い結像される画素の集合であり、画素群配列として構成される。又、右眼用立体表示用画像40Rは、表示面10aに表示される画像であって、視聴者の右眼(第2の視点)に焦点距離が合い結像される画素の集合であり、画素群配列として構成される。
これらの左眼用立体表示用画像40Lと右眼用立体表示用画像40Rとは、所定の視差が設けられている。これにより、視聴者においては、左眼に左眼用立体表示用画像が結像され、右眼に右眼用立体表示用画像が結像された状態で、その立体表示用画像を立体的に視認することができる。
以下、視差がある複数の視点をそれぞれ視差点という。本立体画像表示装置1においては、両眼視差による両眼視差立体視を実現し、視聴者の右眼及び左眼がそれぞれ視差点となる。すなわち、HDD138は、視差点としての左眼及び右眼のそれぞれに対応させて、互いに視差を有して作成された左眼用立体表示用画像及び右眼用立体表示用画像を格納している。
また、この立体表示用画像は、表示対象を、その外周における複数位置からそれぞれ表わす画像であり、例えば、表示対象の外周を水平面に沿って所定角度間隔で複数撮影した画像である。又、この所定角度間隔は、上述したレベルの数に応じて定められ、例えば、“所定角度=360/レベルの数”で求められる。すなわち、上述したレベルの数を多くすることにより、より多くの立体表示用画像が生成される。
立体表示用画像は、表示対象物についての、当該表示対象物の外観をその外周上における複数の位置(視点)から表す画像である。例えば、表示対象物の、正面位置(角度0゜)から見た画像と、その正面位置から表示対象の周囲を右側から20゜,40゜,60゜,80゜の各角度位置(視点)から見た画像と、表示対象の周囲を左側から20゜,40゜,60゜,80゜の各角度位置(視点)から見た画像が含まれる。
これらの、表示対象物についての視点毎の外観の画像は、後述する選択部32によって、検知部31により求められたレベル値に基づいて選択され、表示装置10に表示される。そこで、各立体表示用画像には、例えば、予め対応するレベル値を関連付けてHDD138に格納することが望ましい。
また、選択部32は、表示対象物について、検知部31により求められたレベル値に対応する立体表示用画像がない場合には、求められたレベル値の値に最も近い立体表示用画像を選択する等、適宜変更して実施することができる。
図9(a),(b)に示す例においては、便宜上、表示面10aに表示される左眼用立体表示用画像40L及び右眼用立体表示用画像40Rのうち、3×4の12個分の表示素子の配列をそれぞれ抽出して示している。
検知部31が視聴者の頭部の姿勢がレベル0(回転角度0゜)であると検知すると、選択部32が、図9(a)に示すような、レベル0に相当する立体表示用画像を取得する。
図9(a)に例示する、レベル0の左眼用立体表示用画像40Lを構成する画素群の配列においては、(R,G,B)=(L3Rk0,L3Gk0,L3Bk0)で1つの画素が示され、又、これに隣接して、(R,G,B)=(L4Rk0,L4Gk0,L4Bk0)で1つの画素が示される。
同様に、その右眼用立体表示用画像40Rを構成する画素群の配列においては、(R,G,B)=(R3Rk0,R3Gk0,R3Bk0)で1つの画素が示され、又、この画素に隣接して、(R,G,B)=(R4Rk0,R4Gk0,R4Bk0)で1つの画素が示される。
そして、このようなレベル0の状態において、検知部31が視聴者の頭部が左にレベル1だけ回転したことを検知すると、選択部32は、図9(b)に示すような、レベル1に相当する立体表示用画像を取得して、表示装置10へ表示させる立体表示用画像の切り替えを行なう。
図9(b)に例示する、レベル1の左眼用立体表示用画像40Lを構成する画素群の配列においては、(R,G,B)=(L3Rl1,L3Gl1,L3Bl1)で1つの画素が示され、又、これに隣接して、(R,G,B)=(L4Rl1,L4Gl1,L4Bl1)で1つの画素が示される。
同様に、その右眼用立体表示用画像40Rを構成する画素群の配列においては、(R,G,B)=(R3Rl1,R3Gl1,R3Bl1)で1つの画素が示され、又、この画素に隣接して、(R,G,B)=(R4Rl1,R4Gl1,R4Bl1)で1つの画素が示される。
図10は実施形態の一例としての立体画像表示装置1における、表示対象の立体画像データ(3D映像データ)のフォーマットイメージを示す図であり、視聴者が立体表示用画像として見る表示対象物のイメージを表している。この図10においては表示対象物A,Bをそなえた複数の立体画像データ41a,41b,41cを示している。これらの立体画像データ41a,41b,41cは時間経過に従って変化してもよい。
立体画像データ41aは、視聴者が正面向き(回転角度0゜)の状態で表示される画像を示す。又、立体画像データ41bは、視聴者が左に角度aだけ回転した状態で表示される画像を示し、立体画像データ41bは、視聴者が左に角度bだけ回転した状態で表示される画像を示す。ただし、a<bとする。
HDD138には、立体表示用画像として、これらの立体画像データ41a,41b,41cのそれぞれについての左眼用立体表示用画像40L及び右眼用立体表示用画像40Rが格納される。
そして、例えば、立体画像データ41aの視聴者正面の映像(左眼用立体表示用画像40L及び右眼用立体表示用画像40R)を表示している状態において、検知部31が、視聴者が左にレベル1だけ傾いたことを検知すると、選択部32は、レベル1に相当する立体画像データ41bの左眼用立体表示用画像40L及び右眼用立体表示用画像40Rを選択して、表示制御部33に表示させる。
さらに、検知部31が、視聴者が左にレベル2だけ傾いたことを検知すると、選択部32は、レベル2に相当する立体画像データ41cの左眼用立体表示用画像40L及び右眼用立体表示用画像40Rを選択して、表示制御部33に表示させる。
また、これらの立体画像データ41a,41b,41cにおいて、対象物Aは回転方向の視差情報はあるが対象物として移動はせず、又、対象物Bは回転方向の視差情報はないが、対象物としては移動をするため時間の経過とともに対象物は移動をする。
立体表示用画像としては、これらの3つの立体画像データ41a,41b,41cを、例えば同時に1つの動画データとして持ってもよく、種々のフォーマットのデータとして用いてもよい。
図11はサイドバイサイドの立体画像フォーマットを模式的に示す図である。サイドバイサイドの立体画像フォーマットにおいては、左眼における結像映像(以下、L側映像と記述)と右眼における結像映像(以下、R側映像と記述)とが1フレーム内に存在する。そして、これらのL側映像とR側映像とを互いに異なった映像フレームとして、視聴者は視聴する。
図12は立体表示用画像のデータイメージを例示する図であり、立体映像再生表示における回り込み対応の立体表示用画像のデータイメージ図を示す。この図12に示す例においては、立体表示用画像のデータとして、視差情報と回り込み対象物の追加情報とをそなえる。すなわち、サイドバイサイドとしての視差情報を有する映像データに加えて、回り込み対象物だけの追加情報を1フレームの差分情報として持つ。そして、表示制御部33が、この差分情報によって回り込み映像を作り出してもよい。
この図12に示す立体表示用画像のデータは、図11に示すサイドバイサイドの立体表示用画像フォーマットに追加して、映像同期をする回り込み映像も入力される。視差量に応じてその立体表示用画像フォーマットは追加されるが、図12に示すように1フレーム全てに回り込みデータは存在する必要はない。すなわち、回り込み対象の追加情報は、回り込み情報がある対象物だけが必要な情報である。
よって、追加されるデータにおいては、回り込みが発生する対象物だけのデータでもよいため、追加されるデータのサイズは図11に示すサイドバイサイドの立体表示用画像フォーマットに追加情報だけを追加するフォーマットとなるため、データ増分が少なくてすみ、その映像処理にかかる計算は少なく、リアルタイムでの再生が可能である。これにより、視聴者が頭部を回転させると、図12の回り込みデータにおける対象物に関し、異なったデータを表示するため図13に示すような映像効果が可能になる。この回り込みとは深さ方向に依存するものといえ、映像の側面データを表示することはより映像の深さ方向を感じるものである。
次に、実施形態の一例としての立体画像表示装置1における立体画像の表示イメージを図13に示すイメージ図を用いて説明する。
この図13においては表示対象物A,B,Cをそなえた複数の立体画像データ41a,41b,41cを示している。
立体画像データ41aは、視聴者が正面向き(回転角度0゜)の状態で表示される画像を示す。又、立体画像データ41bは、視聴者が左に角度aだけ回転した状態で表示される画像を示し、立体画像データ41bは、視聴者が左に角度bだけ回転した状態で表示される画像を示す。ただし、a<bとする。
なお、図13に示す例においては、対象物A,対象物B,対象物C,の順で奥行きの視差量が多いものとする。
検知部31により、視聴者の頭部の回転がない、すなわち、視聴者が正面を向いていると判断された場合は、立体画像データ41aを対象物A,対象物B及び対象物Cの全てを両眼における視差量で表示する。例えば、図12に示すサイドバイサイドの立体画像フォーマットとして表示する。
また、検知部31により、視聴者の頭部が回転し、例えば視聴者が左に角度a(b)だけその頭部を回転していると判断された場合は、立体画像データ41b(41c)を、例えば、図12に示す立体画像フォーマットにより表示し、対象物Aを水平面上において回り込んで見た状態で表示する。
表示制御部33は、選択部32によって選択された立体表示用画像を表示装置10に表示させる制御を行なう。すなわち、立体表示用画像を構成する画素を表示面10aの表示素子に対応させて画素の表示を行なわせる。なお、画像を表示装置10に表示させる手法は、既知の種々の手法を用いて実現することができ、その詳細な説明は省略する。
次に、本立体画像表示装置1における表示装置10の表示面10aにおける画素配列について説明する。
図14は実施形態の一例としての立体画像表示装置1における表示面10aの画素配列とレンズシート11との関係を示す図である。
この図14に示す例においては、レンズシート11の凸レンズ111a及びレンズ溝部111cを表示面10aの画素配列の方向に対して斜めに配置する例を示す。表示装置10の表示面10a上では、色画素の素子(表示素子)は、表示面10aに対して水平方向(図15の横方向;配列方向)及び、水平方向に対して直交する方向(図14の縦方向)に配列される。図15の例では、表示装置10の画像素子の配列の縦方向に対して、斜め方向(非平行の方向)に凸レンズ111a及びレンズ溝部111cを配置する。凸レンズ111aの方向は、レンズ溝部111cの方向に対して平行に配置される。これにともなって、表示装置10で表示する各画素は、斜め方向に色画素を配置する。なお、この図14に示す例においては、便宜上、同一の画素を形成する色画素に対して、同一のアルファベットを識別符号として付している。
例えば、この図15に示す例においては、色画素であるR2_C、G2_C、B2_Cが、1つの画素(画素C)を形成する。又、他の色画素についても同様である。各画素における色画素の方向と各レンズ部の方向とは、平行である。図14の例では、斜め方向に1つの画素が配置される。
例えば、画素Cから出た光は、そのほとんどが同一の凸レンズ111aに入射され、当該レンズにより利用者の、予め規定された左右いずれかの眼の位置で結像される。他の画素についても同様である。又、左眼用画像の画素と右眼用画像の画素とは、交互に配置される。
図14の例では、横方向の画素は、2次元画像に比べて4分の3に減少する。一方、図15の例では、縦方向の画素は、2次元画像に比べて3分の1に減少する。1つの画素のR、G、Bの色画素を横方向に配置した場合、横方向の画素が2次元画像に比べて4分の1に減少する。このとき、縦方向の画素は、減少しない。図14のように、レンズを斜め方向に配置し、1つの画素を斜め方向に配置することにより、横方向のみ解像度が下がることを防ぐことができる。縦方向及び横方向の解像度が下がるほうが、横方向のみの解像度が下がることに比べ、画質の劣化が少なくみえる。
また、例えば、図14に示す画素群を表示装置10の表示面10aの左上の一部とすると、色画素R4_AとR3_B, G3_B, R1_J, G4_Kは、同一の画素についてのR,G,Bが揃わない状態となっている。しかしながら、後述の如く、例えば、表示制御部33が、これらのR,G,Bの色画素が揃わない表示装置10の端部分をマスクして表示させない制御を行なうことにより、その影響を阻止することができる。
次に、本立体画像表示装置1における画素群の配列とレンズシート11との関係について、図15を参照しながら説明する。
上述の如く、レンズシート11の各平凸面レンズ111は同様の構成をそなえており、互いに同一の焦点距離を有する。しかしながら、レンズシート11を構成する複数のレンズアレイ111を階段状に配置することにより、表示装置10の表示面10aと各平凸面レンズ111の裏面111bとの距離がそれぞれ異なり、これにより視聴者までの焦点距離が異なる。
そして、表示装置10の表示面10aに、左眼用立体表示用の画素群21と右眼用立体表示用の画素群22とが表示される。
図15に示す例においては、レンズシート11において、焦点距離Aのレンズアレイ111と焦点距離Bのレンズアレイ111があるものとする。なお、焦点距離Aは焦点距離Bに対して遠いものとする。
そして、例えば、左眼用立体表示用の画素群21における素子L3R,L3G,L3Bによって表される画素(L3R,L3G,L3B)が焦点距離Aのレンズアレイ111によって視聴者の左眼に結像する。同様に、右眼用立体表示用の画素群22における素子R3R,R3G,R3Bによって表される画素(R3R,R3G,R3B)が焦点距離Bのレンズアレイ111によって視聴者の右眼に結像する。
図16は実施形態の一例としての立体画像表示装置1における表示装置10の表示面10aと再生画像表示領域との関係を示す図である。上述の如く、表示装置10は、27インチ以上の液晶ディスプレイであるものとする。このような27インチ程度の液晶ディスプレイの解像度は、例えば、2560×1440である。
ここで、例えば、ブルーレイ(Blu-ray)ディスクに録画されている映像の解像度は1920×1080であるため、再生アプリケーションによりブルーレイの映像を再生しても表示装置10全体には表示できない。
このように表示装置10の解像度は再生アプリによって再生されるコンテンツの解像度1920x1080より大きく、このため、図16に示すように、表示装置10の表示面10aにおいては、視聴者から見て映像を表示しない視聴範囲外領域10bが存在する。
そこで、本立体画像表示装置1においては、表示制御部33は、立体表示用画像を表示面10aに表示させるに際して、この視聴範囲外領域10bを用いて立体表示用画像を表示させる。
すなわち、視聴者の頭部の回転角度に応じて、視聴者の眼が向いている側の視聴範囲外領域10bの画像素子を用いて、表示対象物の側面部の立体表示用画像のデータ(回り込み映像)をその傾き方向に応じて表示させる。なお、このような視聴範囲外領域10bの画像素子を用いた拡張表示は、視聴者が表示面10aに正対している状態(回転角度0゜;レベル0)では行われず、検知部31により視聴者の頭部の回動が検知された場合に行なわれる。
先ず、上述の如く構成された実施形態の一例としての立体画像表示装置1における立体表示用画像の表示手法を、図17に示すフローチャート(ステップS10〜S120)に従って説明する。又、図18は実施形態の一例としての立体画像表示装置1におけるダイアログボックスを例示する図である。
本立体画像表示装置1において、画像再生アプリケーションが起動されると(ステップS10)、画像再生アプリケーションは、先ず、表示装置10にレンズシート11(3Dシート)が取り付けられているか否かを確認する(ステップS20)。例えば、画像再生アプリケーションは、表示装置10におけるレンズシート11の取り付けを検知するセンサの検知結果に基づき、レンズシート11が取り付けられているか否かの判断を行なう(ステップS30)。
この判断の結果、レンズシート11が表示装置10に取り付けられていない場合には(ステップS30のNOルート参照)、表示装置10に図18に示すような、立体画像表示を行なうことができない旨を示すダイアログボックスを表示させて(ステップS120)、処理を終了する。なお、このステップS120の後に処理を終了させる代わりに、ステップS20に戻ってもよく、適宜変形して実施することができる。
また、レンズシート11が表示装置10に取り付けられている場合には(ステップS30のYESルート参照)、その取り付けられているレンズシート11の3DパネルIDを確認して、レンズシート11の種類を確認する(ステップS40)。
検知部31は、カメラ12により撮像した視聴者の顔画像300に基づき、両瞳の位置及び間隔のデータを取得する(ステップS50)。
ここで、取得された両眼の間隔が、画像再生アプリケーションに予め基準データとして持つ間隔範囲に入っているかを確認し(ステップS60)、取得された両眼の間隔が基準データに含まれなかった場合には(ステップS60のNOルート参照)、回り込み3D表示機能をオフにして(ステップS70)、処理を終了する。
また、取得された両眼の間隔が画像再生アプリケーションに予め基準データとして持つ間隔範囲に入っている場合には(ステップS60のYESルート参照)、検知部31は、視聴者の頭部の向きが正面、右向き、左向きのどれであるかを確認し(ステップS80)、又、頭部が回動している場合には、そのレベルを求める。
選択部32は、検知部31によって求められたレベル値に基づいて、HDD138から、レンズシート11の3DパネルIDに対応する立体表示用画像であって、そのレベルに対応する立体表示用画像を選択する(ステップS90)。選択部32は、選択した立体表示用画像をHDD138から読み出し、表示制御装置13に渡すことにより、その立体表示用画像を表示装置10に表示させ、3D映像コンテンツを表示させる(ステップS100)。
その後、検知部31はセンサ情報が変更されたかを確認し(ステップS110)、センサ情報が変更されない場合には(ステップS110のNOルート参照)、ステップS110を繰り返し行なう。又、センサ情報が変更された場合には(ステップS110のYESルート参照)、ステップS80に戻る。なお、このステップS110におけるセンサ情報の確認は所定期間毎に繰り返し監視される。
図19(a),(b)は実施形態の一例としての立体画像表示装置1の表示装置10に対して、異なる2箇所に視聴者の頭部位置を仮定した立体表示用画像を表示した例を示す図である。図19(a)は2箇所の仮定頭部位置のうち一方の仮定頭部位置から表示装置10を見た状態を示す図、図19(b)は2箇所の仮定頭部位置のいずれとも異なる位置から表示装置10を見た状態を示す図である。
図19(b)においては、視聴者の第1の仮定頭部位置で結像するための右眼用立体表示用画像41R′及び左眼用立体表示用画像41L′と、視聴者の第2の仮定頭部位置で結像するための右眼用立体表示用画像41R″及び左眼用立体表示用画像41L″が示されている。
そして、正常視聴位置である、第1の仮定頭部位置もしくは第2の仮定頭部位置から表示装置10を見ると、図19(a)に示すように、視聴者の眼には、その視点位置に応じたいずれかの立体表示用画像が正しく結像する。
また、正常視聴位置以外の位置、すなわち、第1の仮定頭部位置及び第2の仮定頭部位置のいずれでもない位置から表示装置10を見ると、図19(b)に示すように、いずれの左眼用立体表示用画像41L′,41L″や、右眼用立体表示用画像41R′,41R″も結像することができず、4重の表示となる。なお、図19(b)に示すように、立体表示用画像ではない対象物については、4重にはならない。
そして、この図19(b)に示すような、立体表示用画像が4重に表示されている表示装置10を正常な立体表示用画像として結像するための補正手法を、図20に示すフローチャート(ステップB10〜B50)に従って説明する。
先ず、視聴者は、表示装置10の前に位置し、顔を任意の方向に向ける。すると表示装置10及びレンズシート11と視聴者の各眼までの距離も変わる。すると、図19(b)に示すように回転方向の視差情報を持つ立体映像となる対象物はその焦点距離が規定値ではなくなり4重に見える。
ここで、視聴者の両眼の位置情報はカメラ12により撮像され、検知部31により判別される。
すなわち、センサ情報の変更が確認され(ステップB10)、検知部31は視聴者の両眼の移動方向を確認し(ステップB20)、又、両眼の間隔距離を測定する(ステップB30)。
検知部31は、測定した両眼の間隔距離に基づいて、視聴者の頭部の回転量をレベル値で表し、選択部32が、このレベル値に応じた立体表示用画像(左眼用立体表示用画像及び右眼用立体表示用画像)を選択する(ステップB40)。
そして、表示制御部33が、この選択部32によって選択された立体表示用画像を表示装置10に表示させる(ステップB50)。
これにより、表示装置10には、視聴者の新たな位置に応じた立体表示用画像が表示装置10され、この視聴者の新たな位置に応じた平凸面レンズ111を用いて結像され、視聴者は、図19(a)に示すような立体表示用画像を見ることができる。
図21及び図22はそれぞれ実施形態の一例としての立体画像表示装置1における表示装置10,レンズシート11及び視聴者の関係を模式的に示す図である。これらの図21及び図22を用いて、本立体画像表示装置1において視聴者において結像するレンズアレイが切り替わる処理を説明する。
なお、これらの図21,図22中において、表示装置10やレンズシート11は簡略化して示している。
図21に示すように、表示面10aにレンズシート11を取り付けた表示装置10に対向するように視聴者が位置し、表示装置10に表示される立体表示用画像が視聴者の両眼に結像し、立体画像を見ることができる。
レンズシート11は複数の平凸面レンズ111を互いに平行に円弧状に並べて配置することにより、表示装置10の表示面10aに対する距離を階段状に変化する湾曲構造をそなえる。
この視聴者の位置は、例えば、キーボード144やマウス145を操作可能な着座位置であり、視聴者の両眼と表示面10aとの距離が予め設定された推奨視聴距離となるように設定された推奨位置である。
図21,図22におけるHは表示面10a上の画素群と、その画素群を結像するレンズシート11の平凸面レンズ111の裏面111bまでの距離である。又、Aは表示装置10の正面から視聴者までの距離であり、この距離Aは変わらないものとする。
図21に示す状態においては、視聴者は、(1a,3a)の平凸面レンズ111の組み合わせで3D画像を結像/視聴している。すなわち、符号1aで示す平凸面レンズ111の右眼立体表示用画像の画素が視聴者の右眼に結像し、符号3aで示す平凸面レンズ111の左眼立体表示用画像の画素が視聴者の左眼に結像して、視聴者は立体表示用画像を認識する。
次に、図22に示すように、視聴者がその頭部を、首を軸に左方向に回転させる。この図22に示す状態においては、先に、視聴者は、(1b,3b)の平凸面レンズ111の組み合わせで3D画像を結像/視聴し、更に、視聴者が頭部を左方向に回転させることにより、視聴者は、(2b,4b)の平凸面レンズ111の組み合わせで3D画像を結像/視聴する。
ここで、符号2bで示す平凸面レンズ111と視聴者の右眼との距離と、符号4bで示す平凸面レンズ111と視聴者の左眼との距離とは異なる。
しかしながら、レンズシート11においては、平凸面レンズ111毎に表示装置10との距離Hが異なるように湾曲構造をしているため、視聴者の左右の眼に、それぞれ焦点距離を合わせることができる。
そして、本立体画像表示装置1においては、カメラ12及び検知部31により視聴者の眼の結像距離が変更されたことを判断する。選択部32がこの視聴者の頭部の角度に応じた立体表示用画像をHDD138から取得し、表示面10aに表示させることにより、新たに表示された立体表示用画像は、移動後の視聴者の眼に結像される。
すなわち、符号2bで示す平凸面レンズ111の右眼立体表示用画像の画素が視聴者の右眼に結像し、符号4bで示す平凸面レンズ111の左眼立体表示用画像の画素が視聴者の左眼に結像して、視聴者はその頭部を回動させた状態でも立体表示用画像を認識することができる。
そして、このような視聴者の頭部の回転動作に伴い、視聴者に結像する画像は、例えば、図13に示すような、立体画像データ41aから立体画像データ41bへ、更には立体画像データ41cへ切り替えられ、回り込み3D表示機能が実現される。
このように、視聴者の頭部の姿勢すなわち、両眼の位置に合わせて、それに応じた画素配列の画素群を表示面10aに表示させることにより、奥行き感あるいは飛び出し感がある立体画像を視聴者の眼に結像させることができる。
なお、図22に示す例においては、図21に示す状態において視聴範囲外領域10bとなっていた左側の部分にも立体表示用画像の画素群を表示させることにより、左側に向かって頭部を回動した視聴者にも立体表示用画像の提供を行なうことができる。
また、例えば、図22において、視聴者が、(2b,4b)の平凸面レンズ111の組み合わせで3D画像を結像/視聴している状態においては、(2b,4b)以外の平凸面レンズ111に画素群を表示しても視聴者は結像できない。ただし、平凸面レンズ111と視聴者の両眼の距離が合えば結像は可能となる。
そこで、図22に示す状態において、さらに視聴者の頭部の位置の次の状態(レベル)を予め予測するとともに、その予測されるレベルに対応する、表示対象物についての立体表示用画像を取得し、予測される平凸面レンズ111に対して、取得した立体表示用画像を表示させてもよい。
次に、レンズシート11の形状と視聴者の頭の位置との関係について説明する。なお、以下、視聴者が左側へ頭を回動させる例について示す。
図23(a),(b)はそれぞれ視聴者の姿勢と眼及び表示装置10との位置関係を示す図である。図23(a)は視聴者が表示装置10に正対した状態を示す上面図、図23(b)は図23(a)に示した状態から左側へ頭を回動した状態を示す上面図である。
図24(a),(b),(c)は視聴者の頭の移動に伴って変化する両眼の位置と結像距離を示す図である。図24(a)表示装置10に正対した状態を示す図、図24(b)は左側に第1の角度で頭を回動した状態を示す図、図24(c)は左側に第2の角度で頭を回動した状態を示す図である。なお、これらの図24(a),(b),(c)中においては、レンズシート11の図示を省略している。
例えば、人の両眼の間隔Cを70mm(C=70mm)とし、又、視聴者が頭の回動を行なう際には、例えば、その背骨付近を中心軸として、両肩ごと水平に回動するものとする。これは、人が左右のいずれか一方の側(例えば左側)に向かって頭を回動するときに、その回動方向の側の眼(例えば左眼)について、表示装置10までの距離を変えずに行なうことは、人間工学的に無理があるからである。従って、以下、図23(a),(b)に示すように、両肩を結ぶ線の中心(背骨と仮定)を中心軸Oとして回転をするものとする。
ここで、図23(a),(b)に示すように、両眼の中間位置から中心軸までの距離Bを150mm(B=150mm)とするものとし、又、表示装置10の表示面10aと並行な平行に対して、頭(体)を傾けた回転角度(以下、回頭角度もしくは単に角度という場合がある)をθであらわす。
例えば、角度θが、0゜、20゜、40゜の各場合について例示する。
θ=0゜の場合は、図23(a)に示すように、表示装置10に正対する状態であるため、左右の眼は表示装置10に対して同じ距離である。
θ=20゜の場合は、図23(b)に示すように、表示装置10に対して左側に20゜傾けた状態であるので、左眼の位置は、右眼の位置に対して、表示装置10からC×tan20離れた状態となる。
C×tan20=70mm×tan20≒25
すなわち、右眼に対して左眼は25mmプラスして表示装置10から離れる。
さらに、中心軸Oを中心とする回転であるので両眼の位置は、表示装置10からB−B×cos20離れた状態となる
すなわち、B−B×cos20=150−150cos20≒10mmが加算される。
従って、図24(b)に示すように、視聴者の頭を左側に20゜回動させた場合においては(XX=20)、表示面10aと右眼との距離J3=1000+10=1010であり、又、表示面10aと左眼との距離J3=1000+10+25=1035である。
θ=40゜の場合も同様に、左眼の位置は、右眼の位置に対して、表示装置10からC×tan40離れた状態となる。
C×tan40=70mm×tan40≒35
すなわち、右眼に対して左眼は35mmプラスして表示装置10から離れる。
さらに、中心軸Oを中心とする回転であるので両眼の位置は、表示装置10からB−B×cos40離れた状態となる
すなわち、B−B×cos40=150−150cos40≒35mmが加算される。
これらに基づき、上記の変数(θ、B,C)と視聴者正面における結像距離Jによって、左眼(右眼)と表示装置10の表示面10aとの距離XYを、以下の式(2)で表すことができる。
XY=J+E(C×tanθ)+(J−C×cosθ)・・・(2)
ただし、E :∈{0,1}であり、例えば、0は右,1は左とする。
また、θ≠0とする。
この式(2)によって、表示装置10と各眼までの距離を視聴者の頭部の回転角度θによって表すことができる。
また、レンズシート11から視聴者の両眼までの距離をD、表示装置10の表示面10aの画素とレンズシート11との距離をG,平凸面レンズ111におけるレンズの厚さをhとすると、以下の式(3)が成立する。
1/R1=1/D+1/(G+h) ・・・(3)
なお、この式(3)の詳細については後述する。
上記式(3)より、以下の式(4)が得られる。
1/R1=1/XY+1/(G+h) ・・・(4)
なお、R1は平凸面レンズ111の曲率半径であり固定値である。又、hは平凸面レンズ111のレンズの厚さであり固定値である。
上記の2つの式(2),(4)より、画素−レンズ距離Gは視聴者の頭部の回転角度θで表すことができる。よって、その回転角度に応じたGを設定することは、このGによってレンズシートを段階的に遠ざかる湾局構造を定義するものであるため、それが回転角度で定義できるというアルゴリズムに相当する。
例えば、表示装置10が1920×1020(ピクセル,画素)の解像度を有する液晶ディスプレイと仮定する。表示装置10の表示面10aの中心において、画素とレンズアレイ111とは4.025mm離れて載置される。
このような構成において、視聴者の頭部が20゜左へ傾いた状態について例示する。
図23(b)に示す例において、θ1=θ2とする。点O,点X,点Yからなる三角形について、α+θ3=90゜であるため、θ1=θ3となる。
そして、視聴者が頭を左側にθ2回動させた場合には、視聴者の右眼は表示面10aにおけるS=1000mm×tanθ2左側の位置を見ることになる。例えば、視聴者が頭を左側に20゜回動させた場合には、視聴者の右眼は表示面10aにおけるS=1000mm×tan(20゜)=364mm左側の位置を見ることになる。
ここで、1920×1020の液晶ディスプレイにおいては、1画素の水平方向サイズが0.412mmであり、又、R,G,Bの3種類の色画素をそなえているものとする。
表示装置10の左側半面について考えると、その水平方向には(1920/2)×3=2880個の画素がある。従って、その水平方向の寸法は、2880×0.412=1192mmとなる。
1192/364≒3.3となり、視聴者が左側に40゜回動させた時の右眼は、表示装置10の表示面10aの左半面について、3分割した(40゜,60゜,80゜)画面の中心を見ることになる。
そして、さらに視聴者の頭部が回転すると、右眼においても表示装置10からの焦点距離が遠ざかるため、θ=20゜のときに左眼で焦点距離が合うレンズアレイの範囲において、次は右眼で焦点距離が合うことになる。
例えば、20゜頭を回動させる度に異なった映像を見せる立体画像表示装置1について考える。表示装置10に正対(角度=0゜)した視聴者が、左側に頭を20゜,40゜,60゜,80゜と回動させていく。この時、左眼の結像距離は、回頭角度0゜の時に1m、回頭角度20゜の時にBm、回頭角度40゜の時にCm、回頭角度60゜の時にDm、回頭角度80゜の時にEmとする。この場合において、右眼の結像距離は、回頭角度0゜の時に1m、回頭角度20゜の時にAm、回頭角度40゜の時にBm、回頭角度60゜の時にCm、回頭角度80゜の時にDmとなる。
以下、頭部の回動に伴い、焦点距離が合う眼の切り替わりが繰り返される。これにより、左右の眼が順次に焦点距離が合うレンズシート構造を提供できる。
また、図24(a)に示す状態においては左右の眼はどちらも表示装置10に対して同じ距離(結像距離)J1である。
そして、視聴者が左側に頭部を回動し、第1の角度(θ=XX゜)となった場合には、図24(b)に示すように、左右の眼で異なる結像距離(右眼:J2,左眼:J3)になる。なお、頭部の回動により、右眼も表示装置10から遠ざかるため、いずれの結像距離も図24(a)に示す状態の焦点距離J1とは異なる。
さらに、左側に頭部を回動し、第2の角度(θ=YY゜)となった場合には、図24(c)に示すように、左眼の結像距離はJ4となり、又、その右眼の結像距離が、図24(b)の状態での左眼の結像距離J3に合った状態になる。頭部の回転はカメラ12により検知されるため、回り込み時再生アプリはそれに応じた画素群配列をする。すなわち、視聴者の頭部の回転量に応じた立体表示用画像の表示を行なう。
図25は実施形態の一例としての立体画像表示装置1における左右の各眼の角度と、各眼が結像に用いるレンズシート11の場所との関係図を示す図である。
なお、この図25に示す例においては、便宜上、表示装置10の左半分について示し、視聴者の頭部を左側に回動する例について示す。本立体画像表示装置1においては、上述のごとく、視聴者の頭部の回転に応じて、レンズアレイ111の結像距離は変わり、又、その頭部の回転に応じて、左眼用、右眼用の各映像データの画素群配列も変わる。このため、視聴者は違和感なく、回転映像を視聴できる。
例えば、表示装置10に正対(角度0゜)の状態で左眼への結像に使用するレンズシート11の領域α1が、更に、頭部を回動させて角度XX゜となった状態の右眼への結像に用いられる。
また、この角度XX゜の状態で左眼への結像に使用したレンズシート11の領域α2が、更に、頭部を回動させて角度XXX゜となった状態の右眼への結像に用いられる。
図26は実施形態の一例としての立体画像表示装置1におけるレンズシート11を説明する上面図である。上述の如く、レンズシート11は、複数のレンズアレイ111を、その左右の両各端部に行くほど、表示装置10の表示面10aからの距離が遠くなるような湾曲構造をそなえている。
そして、このレンズシート11を上方から見た際におけるその表面の曲面の形状S1は、図26に示すように、視聴者が本立体画像表示装置1において、首を回動させた時に両眼が通過する軌跡Y1と、同じもしくはほぼ同じ形状をそなえる。
これにより、例えば、図26に示す例において、視聴者が表示装置10に正対(回転角度0;レベル0)した状態(位置P0参照)での、その右眼とレンズシート11との距離DL0と、視聴者が所定角度だけ右側に頭を傾けた状態(位置P1参照)での、その右眼とレンズシート11との距離DL1とは等しくなる。
そこで、上記式(2),(4)に基づき、焦点距離が軌道Y1上の各点に合うように、表示装置10とレンズシート11との距離G、すなわち、表示面10aと平凸面レンズ111との距離を調整することにより、本立体画像表示装置1のレンズシート11を実現することができる。
次ぎに、参考までに、平凸面レンズ111を湾曲させずにフラットなレンズシートとして構成して、表示装置10の表示面10aに沿って配置した場合において、図19(b)と同様に、異なる2箇所に視聴者の頭部位置を仮定した立体表示用画像を表示した場合について説明する。
図27はフラットなレンズシートをそなえる表示装置に、異なる2箇所に視聴者の頭部位置を仮定した立体表示用画像を表示した例を示す図である。
視聴者が正面向き(回転角度0゜)の状態においては、立体画像データ42aが表示される。この状態において、視聴者の頭部を例えば左側に回動させると、レンズシートは湾曲していないのだから、始めに、視聴者の左眼と液晶ディスプレイの距離が遠くなり、立体画像データ42bのように、結果として左眼による結像ができなく映像が二重に見える。
この状態のまま、さらに視聴者の頭部を回動させる、頭部の回転に応じて右眼も液晶ディスプレイから遠ざかり、その結果、立体画像データ42cのように、右眼でも二重に見えるため表示イメージでは4重に見えることになる。
このように、実施形態の一例としての立体画像表示装置1によれば、表示装置10の前で視聴者がその頭部を首を軸に回転させると、検知部31が、カメラ12によって撮像した視聴者の顔画像300に基づいて、両眼の位置を認識し、視聴者の頭部の回転量を検知する。
そして、選択部32が、HDD138から、この頭部の回転量に応じた立体表示用画像を選択して、表示画面に表示させることにより、視聴者の眼に立体表示用画像を結像させることができる。
すなわち、表示装置10の前において視聴者がその頭部を回動させて、表示装置10と視聴者の眼との距離が変化した場合であっても、視聴者の眼に立体表示用画像を結像させることができ、回り込み3D表示機能を実現し、円形立体視聴イメージ効果を得ることができる。
視聴者の位置は変更することなく、その位置のままで頭を回動させて回り込み映像を認識するできる構成が可能である。
また、回り込み3D表示機能を実現するに際して、カメラ12で視聴者の顔画像300を撮影することで実現することができ、高価な光線制御部を有する光学ユニット/システム構成をそなえる必要がなく、製造コストを低減することができる。
つまり、3D映像をリアルタイムでかつ低コストで視聴者の見る位置によって異なる映像を正確な焦点距離をもって実現することができる。
図28は表示装置及びレンズシートと視聴者の左右の眼の位置との関係を示す図であり、便宜上、フラットなレンズシートをそなえた例について示す。
さて、一般化されているレンズの法則によれば、図28に示すように、視聴者の左右の眼の間の距離をE、表示装置10における画素間の距離をP、レンズシート11から視聴者の両眼までの距離をD、表示面10aからレンズシート11までの距離(画素−レンズ距離)をGとする。又、レンズシート11において隣り合う平凸面レンズ111の頂点間の距離をQとする。この場合において、
E:P = D:G
2PD = Q(D+G)
1/D+1/G = 1/f
が成立する。
これにより、レンズシート11が3D映像を結像する焦点距離fは、既存の2D表示のパソコンで使用する液晶ディスプレイのP値やf値が変更されても、既存の表示装置10を使用することによる低コストの構成であるため、Q値もP値と同様に固定値である。
このときのGを変更したときの焦点距離の違いを図28に例示する。なお、本例においては、表示面10aからレンズシート11までの距離Gの値には、平凸面レンズ111の厚さhが加算されるものとする。すなわち、G=G+hとなる。
そして、
1/f = (n−1)/R1
も成立し、同様にn=2と仮定すると、前記式(3)が成立する。すなわち、
1/R1=1/D+1/(G+h) ・・・(3)
である。ここで、平凸面レンズ111の厚さhは固定値であり、仮に1mmとすると、同様に第一の焦点距離A、同じ0.418mm内の幅において、(A+0.05m)の焦点距離、及び、(A+2(0.05m))の焦点距離という複数の焦点距離をレンズの曲率半径R1を変えないとするなら、その関係は、Dを視聴者までの結像距離とすると、Gで求めることができる。
例えば、h=1mm, R1を約5mmとするとG=3.016mmで焦点距離(結像距離)Dは1000mmと設定ができる。同様にしてGを変数とした結像距離を、図29に例示する。
この図29に示すように、画素(表示面10a)とレンズシート11との距離Gの小数点以下3桁目の値を変化させることより、結像距離(焦点距離)Dの値を変化させることができる。
例えば、画面サイズが23インチで、1920×1080の解像度(ピクセル,画素)の表示装置10において、画素ピッチは0.418mmとして設計される。従って、この図29に例示する画素−レンズ距離Gの精度は容認できるものであり、画素−レンズ距離Gにより結像距離を制御する本願手法は実現できる手段であることがわかる。
すなわち、湾曲構造を有するレンズシート11を表示装置10の表示面10aに取り付けることにより、表示面10aにおける位置に応じて異なる焦点距離を混在させる手法を容易に実現することができ、例えば、既存のコンピュータのディスプレイ装置に容易に適用することができる。
次に、本立体画像表示装置1におけるレンズシート11の形成手法について説明する。前述の如く、レンズシート11は複数の平凸面レンズ111を横方向に並べることにより構成される(図3参照)。
なお、各平凸面レンズ111においては、n本の平凸面レンズ111によりレンズシート11が構成されるものとする。そして、表示装置10の正面において、視聴者が表示面10aから、例えば1.00m離れた位置で本立体画像表示装置1を視聴するものと仮定する。
先ず、レンズシート11の横方向における中心に位置するn/2番目の平凸面レンズ111において、フラットに形成された表示面10a上の画素と平凸面レンズ111との距離は4.025mmである。従って、図4に示したように、レンズシート11を表示装置10に取り付けた場合に、端からn/2番目の平凸面レンズ111は、表示装置10の表示面10aから4.025mm離れた位置に配置されるよう位置決めされる。
レンズシート11において、当該レンズシート11を構成する各平凸面レンズ111の表示装置10からの距離は、前述した式(2),(4)に基づいて決定される。そして、レンズシート11において、当該レンズシート11を構成する平凸面レンズ111は、画素−レンズ距離が、表示面10aの中心位置からその両側端部に向かうに従って、表示面10aから徐々に遠くなるように配置される。
例えば、頭部を一方の側方向(左側)に20゜頭を回動させる度に異なった映像を見せる場合について考える。すなわち、20゜,40゜,60゜及び80゜以上の5段階で回動させる場合について考える。
図30は実施形態の一例としての立体画像表示装置1における回頭角度と画素範囲と画素−レンズ間距離との関係を例示する図である。この図30に示す例においては、例えば、1920×1080の解像度(ピクセル,画素)の表示装置10の表示面10aの左右方向における半分の領域(画素000−960)について、便宜上、示している。ここで、表示面10aの左右方向における中心の画素を“000”とする一方で、その端部の画素を“960”と表す。すなわち、この画素の値が大きいほど表示面10aの左右方向における端部に位置し、画素の値が小さいほど表示面10aの中心部に位置することを示す。
また、この図30に示す例においては、表示面10aの水平方向において、回頭角度の段階数(5段階)に応じて5つの領域に分割し、各領域に互いに異なる画素−レンズ距離を設定している。
この図30は、回頭角度、画素範囲及び画素−レンズ距離を示している。ここで回頭角度は、視聴者の頭部の回動角度であり、画素範囲は、その回頭角度において視聴者の視野に主に(中心的に)入ってくる表示面10aの画素の範囲(水平方向,左右方向)を示す。又、画素−レンズ距離は、それらの画素と、当該画素に対面するレンズシート11の平凸面レンズ111との間の距離を示す。
また、この図30は、表示面10aの左右方向における中心位置においては、画素−レンズ距離4.025であり、表示面10aの端部位置においては画素−レンズ距離4.026となるレンズシート11の構成を示す。
この図30に示す例においては、例えば、表示面10aに正対している状態では(回頭角度=0゜)、表示面10aの中心付近の画素000−191が視聴者に主に視認されることを示す。同様に、例えば、視聴者が頭部を回動させ、回頭角度が40゜の状態においては、表示面10aの画素384−566が視聴者に主に視認される。そして、これらの画素384−566に対面するレンズシート11の平凸面レンズ111が表示面10aから4.02550離れていることを示す。
なお、この図30に示す例において、各画素範囲での画素−レンズ距離を一定とするように構成してもよく、又、画素範囲間で連続的に変化させてもよく、適宜変更して実施することができる。
また、上述した例においては、画素とレンズシート11との距離を1.00mとした場合について示しているが、例えば、表示装置10として大型のディスプレイモニタを用いる場合には、視聴者正面の視聴位置が表示面10aから遠くなる。この場合、レンズシート11の縁辺部の湾曲の度合いは大きくなり、それに応じて、表示装置10の解像度・回転方向の視差情報が増え、これに伴い画素−レンズ距離も詳細になる。
そして、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態においては、表示装置10が27インチ以上の液晶ディスプレイである例について説明しているが、これに限定されるものではなく、より小さいディスプレイを表示装置10として用いてもよい。
図31は実施形態の変形例としての立体画像表示装置1の構成を模式的に示す図である。
以下、立体画像表示装置1が11.6インチ程度の液晶ディスプレイをそなえるノートブック型パソコンであって、表示装置10が11.6インチ程度の比較的小型の液晶ディスプレイである場合について説明する。
このような液晶ディスプレイは、1人で使用することを前提として設計されたパーソナル機器であるため、液晶ディスプレイのサイズが人間の一般的な視野範囲に含まれる。
このため、上述した実施形態の如く、視聴者(操作者)の頭部を首を軸に回転する動作を行なうと、視線が液晶パネルから外れてしまう。
そこで、本変形例においては、検知部31は、視聴者の両眼の間隔距離に基づいて頭部の回転量を検知する代わりに、瞳の移動量を検知する。すなわち、検知部31は、人体の視覚器官の姿勢変更の検知として、瞳の移動量を検知する。
このような、瞳の移動量の検知部も、カメラ12により視聴者の顔画像300を撮像することにより実現することができる。
検知部31は、視聴者が表示面10aに正対し、真っ直ぐに表示面10aの中央部付近を見ている状態(回転角度0゜;レベル0)から、表示面10aの端部付近を見ている状態までの間を、所定数n(例えばn=10)のレベル(例えば、0〜9)に分割し、測定した瞳の移動量がいずれのレベルであるかを判断する。
そして、この検知部31によるレベル判断を行なった移行は、前述した実施形態と同様の処理を行なうことにより、立体表示用画像による回り込み3D表示機能を実現することができる。
ただし、本変形例の立体画像表示装置1においては、表示装置10の表示面10aのサイズが小さいので、図16に示すような視聴範囲外領域10bは存在しない。
従って、本変形例においては、表示制御部33は、立体表示用画像を表示面10aの全体を用いて表示させる。
本変形例においては、検知部31が瞳の移動量を検知する。よって、上述した実施形態実施の形態1と異なり、表示面10aから右眼までの焦点距離Aと左眼までの焦点距離Bとの数値はさほど変わらないが、表示面10aの周辺になるにつれて、その差は広がる。従って、湾曲構造を有するレンズシート11により左右の眼の焦点距離を変更することができ、視聴者は正確に3D映像を認識できる。画素配列については実施の形態1と同等なため説明は省略する。
なお、上述した実施形態に関わらず、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態においては、カメラ12を用いて視聴者の顔画像を撮像することにより顔画像300を生成し、この顔画像300に基づいて視聴者の両眼の位置等の確認を行なっているが、これに限定されるものではなく、カメラ12以外のセンサモジュールにより視聴者の両眼の位置等の確認を行なってもよい。
なお、本発明の各実施形態が開示されていれば、本発明の立体画像表示装置を当業者によって実施・製造することが可能である。
1 立体画像表示装置
10 表示装置
10a 表示面
11 レンズシート
12 カメラ
13 表示制御装置
31 検知部
32 選択部
33 表示制御部
40L 左眼用立体表示用画像
40R 右眼用立体表示用画像
41a,41b,41c 立体画像データ
111 平凸面レンズ
111a 凸レンズ
111b 裏面
132 LAN
133 チューナ
134 グラフィックアクセラレータ
135 チップセット
136 メモリ
137 オーディオコントローラ
138 HDD(格納部)
139 ブルーレイディスクドライブ
140 キーボードコントローラ
141 インターネット
142 外部アンテナ
143 スピーカ
144 キーボード
145 マウス
300,300a,300b,300c 顔画像

Claims (4)

  1. 複数種類の表示素子を定義を繰り返し連続して配置した表示面を有する表示装置との表示面に隣接して、前記表示素子が繰り返し連続して配置される配設方向に沿って、一方の面に突出する凸部をそなえるとともに他方の面が平面として構成された複数の平凸面レンズを、前記表示面からの距離を変化させて連続して並べて配置したレンズシートと、
    表示対象についての視差点毎の立体表示用画像を複数視点毎に格納する格納部と、
    人体の視覚器官の姿勢変更量を検知する検知部と、
    前記検知部により検知された前記姿勢変更量に応じて、前記格納部から前記立体表示用画像を視点毎に選択する選択部と、
    前記選択部によって選択された前記立体表示用画像を前記表示装置に表示させる表示制御部とをそなえることを特徴とする、立体画像表示装置。
  2. 前記表示装置の表示面が平面形状を有し、
    前記レンズシートが、前記配列方向に沿って湾曲する形状を有し、前記配列方向における中央部付近において前記表示面に最も近く、且つ、前記中央部付近から前記表示面の端部にかけて前記表示面から遠くなることを特徴とする、請求項1記載の立体画像表示装置。
  3. 前記格納部が、視差点としての左眼及び右眼のそれぞれに対応させて、互いに視差を有して作成された左眼用立体表示用画像及び右眼用立体表示用画像を、前記表示対象の外周における複数の視点毎に格納することを特徴とする、請求項1又は2記載の立体画像表示装置。
  4. 撮像部をそなえ、
    前記検知部が、前記撮像部によって撮像された前記視聴者の顔面の画像に基づき、前記両眼の位置及び間隔を認識することにより、前記姿勢変更量を検知することを特徴とする、請求項1〜3のいずれか1項に記載の立体画像表示装置。
JP2013527832A 2011-08-11 2011-08-11 立体画像表示装置 Expired - Fee Related JP5858044B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/068391 WO2013021505A1 (ja) 2011-08-11 2011-08-11 立体画像表示装置

Publications (2)

Publication Number Publication Date
JPWO2013021505A1 true JPWO2013021505A1 (ja) 2015-03-05
JP5858044B2 JP5858044B2 (ja) 2016-02-10

Family

ID=47668050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013527832A Expired - Fee Related JP5858044B2 (ja) 2011-08-11 2011-08-11 立体画像表示装置

Country Status (4)

Country Link
US (1) US9116359B2 (ja)
JP (1) JP5858044B2 (ja)
CN (1) CN103733118B (ja)
WO (1) WO2013021505A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700269B (zh) 2016-04-11 2019-05-03 京东方科技集团股份有限公司 一种显示装置
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US9165535B2 (en) * 2012-09-27 2015-10-20 Google Inc. System and method for determining a zoom factor of content displayed on a display device
US20160321810A1 (en) * 2015-04-28 2016-11-03 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation sensor, electronic device with optical navigation function and operation method thereof
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
CN106383416B (zh) * 2016-12-02 2019-05-31 宁波视睿迪光电有限公司 一种显示装置及其制作方法
CN107249125A (zh) * 2017-06-22 2017-10-13 上海玮舟微电子科技有限公司 一种裸眼3d显示方法及装置
TW201919393A (zh) * 2017-11-09 2019-05-16 英屬開曼群島商麥迪創科技股份有限公司 立體成像顯示系統及顯示立體影像的顯示方法
KR20210110443A (ko) * 2020-02-28 2021-09-08 삼성디스플레이 주식회사 표시 장치
JP2022140895A (ja) 2021-03-15 2022-09-29 オムロン株式会社 導光板デバイス

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174127A (ja) * 1996-12-13 1998-06-26 Sanyo Electric Co Ltd 立体表示方法および立体表示装置
JP2009509177A (ja) * 2005-06-07 2009-03-05 リアルデー オートステレオスコピック視域の角度範囲の制御
JP2009058889A (ja) * 2007-09-03 2009-03-19 Fujifilm Corp 立体画像表示装置及びその作成方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3921061A1 (de) 1989-06-23 1991-01-03 Hertz Inst Heinrich Wiedergabeeinrichtung fuer dreidimensionale wahrnehmung von bildern
JP2955327B2 (ja) 1990-05-25 1999-10-04 日本放送協会 三次元画像表示装置
JPH06301033A (ja) * 1993-04-16 1994-10-28 Toshiba Corp 液晶表示装置
JPH08116556A (ja) 1994-10-14 1996-05-07 Canon Inc 画像処理方法および装置
US6608622B1 (en) 1994-10-14 2003-08-19 Canon Kabushiki Kaisha Multi-viewpoint image processing method and apparatus
JP4220028B2 (ja) * 1998-09-28 2009-02-04 大日本印刷株式会社 液晶プロジェクタ
AU6182200A (en) 1999-08-02 2001-02-19 Comoc Corporation Microlens array and display comprising microlens array
JP2002107508A (ja) 2000-07-26 2002-04-10 Comoc:Kk マイクロレンズアレイおよびマイクロレンズアレイを用いた表示装置
JP3899241B2 (ja) 2001-06-13 2007-03-28 シャープ株式会社 画像表示システム、画像表示方法、プログラムおよび記録媒体
JP2003131607A (ja) 2001-10-26 2003-05-09 Fuji Xerox Co Ltd 画像表示装置
JP2004279743A (ja) 2003-03-17 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> 三次元表示装置
JP4345467B2 (ja) * 2003-12-12 2009-10-14 セイコーエプソン株式会社 3次元映像表示装置
JP2007041425A (ja) * 2005-08-05 2007-02-15 Hitachi Displays Ltd 3次元画像表示装置
JP4779893B2 (ja) * 2006-09-06 2011-09-28 大日本印刷株式会社 面光源装置と透過型表示装置
JP2008170841A (ja) 2007-01-15 2008-07-24 Epson Imaging Devices Corp 電気光学装置及び電子機器
JP5117613B1 (ja) * 2011-12-09 2013-01-16 株式会社東芝 映像処理装置および映像処理方法ならびに記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174127A (ja) * 1996-12-13 1998-06-26 Sanyo Electric Co Ltd 立体表示方法および立体表示装置
JP2009509177A (ja) * 2005-06-07 2009-03-05 リアルデー オートステレオスコピック視域の角度範囲の制御
JP2009058889A (ja) * 2007-09-03 2009-03-19 Fujifilm Corp 立体画像表示装置及びその作成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6011046420; 坂本祥、他: '"湾曲スクリーンを用いた立体表示の研究"' 映像情報メディア学会技術報告 Vol.31, No. 31, 20070629, p.23-26 *

Also Published As

Publication number Publication date
JP5858044B2 (ja) 2016-02-10
CN103733118B (zh) 2015-11-25
CN103733118A (zh) 2014-04-16
US20140152556A1 (en) 2014-06-05
US9116359B2 (en) 2015-08-25
WO2013021505A1 (ja) 2013-02-14

Similar Documents

Publication Publication Date Title
JP5858044B2 (ja) 立体画像表示装置
US9191661B2 (en) Virtual image display device
WO2010061689A1 (ja) 表示装置、端末装置および表示方法
US9477305B2 (en) Stereoscopic image display apparatus and computer-readable recording medium storing program thereon
JP6200328B2 (ja) 表示装置
JP2012010085A (ja) 立体表示装置及び立体表示装置の制御方法
CN104836998A (zh) 显示设备及其控制方法
KR20140067575A (ko) 삼차원 이미지 구동 방법 및 이를 수행하는 입체 영상 표시 장치
US11448898B2 (en) Floating image system
US11973926B2 (en) Multiview autostereoscopic display using lenticular-based steerable backlighting
US11917119B2 (en) 2D image capture system and display of 3D digital image
KR101980297B1 (ko) 3차원 vr 영상 처리 장치, 방법 및 프로그램
US20140139427A1 (en) Display device
US20210297647A1 (en) 2d image capture system, transmission &amp; display of 3d digital image
JP5017234B2 (ja) 裸眼立体視システム
KR101954263B1 (ko) 디스플레이 장치 및 그의 다시점 영상 제공 방법
US20150234196A1 (en) Image display apparatus, lenticular lens, and image display method
JP7140954B2 (ja) 立体表示装置、立体表示方法、および、立体表示プログラム
JP2006276277A (ja) 立体画像表示装置
TWI826033B (zh) 影像顯示方法與3d顯示系統
US20220317465A1 (en) Method for rendering data of three-dimensional image adapted to eye position and display system
CN115220240A (zh) 适应眼睛位置的立体影像数据的产生方法与显示***
KR20140045715A (ko) 렌즈부, 및 이를 구비하는 영상표시장치
TW201201042A (en) Display system and suggestion system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151130

R150 Certificate of patent or registration of utility model

Ref document number: 5858044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees