JP2012090256A - 画像表示装置及び撮像装置 - Google Patents

Abstract

【課題】 画像表示装置の傾きに応じた画像の立体視表示を容易な構成で、且つ、最適な状態で観察する。
【解決手段】 人間の視差を利用した第１画像の立体視表示を行うことが可能な表示部と、立体視表示における奥行き距離を変更する処理を、第１画像に対して施す画像処理部と、処理が施された第１画像を表示部に表示させる表示制御部と、を備えたことを特徴とする。
【選択図】 図３

Description

本発明は、画像を立体視表示することが可能な画像表示装置及び撮像装置に関する。

近年、画像を立体視表示する技術が種々提案されている。この立体視表示の元になる画像（以下、三次元画像）は、人間の視差を利用した撮影により取得される一対の画像を合成する、又は平面視される画像（以下、二次元画像）から生成される一対の画像を合成することで生成される。この三次元画像の立体視表示は、人間の目の位置が一対の画像を撮影した位置となる場合に最適な状態で観察することができ、また、立体視表示における奥行き感を味わうことができる。このような立体視表示を最適な状態で観察できるように、検出した人物の位置に応じて画像表示装置の傾きを自動的に調整する技術が提案されている（特許文献１参照）。

特開２００６−２１１４５３号公報

しかしながら、特許文献１の場合、画像表示装置の傾きを自動的に調整する機構を設けることで画像表示装置が大型化してしまう。また、このような機構では、画像表示装置の傾きをユーザの姿勢の微妙な変化に合わせて調整することが困難であり、画像の立体視表示を最適な状態で観察しにくい。また、画像表示装置において画像の立体視表示を行う場合、手や指など、ユーザの体の一部が立体視表示の知覚面にかかる、又は知覚面よりも奥側に位置する場合も生じる。このような場合、立体視表示における物体の立体感が損なわれ、違和感のある立体視表示となってしまう。

本発明は、画像の立体視表示を容易な構成で、且つ、最適な状態で観察することができるようにした画像表示装置及び撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の画像表示装置は、人間の視差を利用した第１画像の立体視表示を行うことが可能な表示部と、前記立体視表示における奥行き距離を変更する処理を、前記第１画像に対して施す画像処理部と、前記処理が施された前記第１画像を前記表示部に表示させる表示制御部と、を備えたことを特徴とする。

また、装置の傾きを検出する傾き検出部を備え、前記画像処理部は、前記傾き検出部により検出された前記装置の傾きに基づいて、前記第１画像に対する前記処理を実行するものである。

また、前記奥行き距離を変更する際に操作される操作部を備え、前記画像処理部は、前記操作部の操作に基づいて、前記第１画像に対する前記処理を実行するものである。この場合、前記操作部の操作により変更された前記奥行き距離を記憶する記憶部を備え、前記画像処理部は、前記記憶部に記憶された前記奥行き距離となるように、前記第１画像に対する前記処理を実行することが好ましい。

また、前記立体視表示において前記第１画像が知覚される面は、前記表示部の表示面に対して所定の角度傾斜しており、前記所定の角度は、前記画像処理部による前記処理を行うことで変更されるものである。この場合、前記立体視表示において前記第１画像が知覚される面は、前記第１画像を観察する人間の両眼視差量が前記立体視表示における融像限界の範囲を外れた場合に、前記表示部の表示面となることが好ましい。また、前記立体視表示において前記第１画像が知覚される面は、前記所定の角度が予め設定された閾値を超過した場合に、前記表示部の表示面となることが好ましい。

また、前記画像処理部は、人物が接触する位置に基づいて、前記第１画像が知覚される面を前記所定の角度傾斜させるときの回転中心の位置を設定するものである。この場合、前記画像処理部は、前記人物が同時に複数の位置で接触されたときに、前記複数の位置の中間の位置を通る直線を、前記第１画像が知覚される面を前記所定の角度傾斜させるときの回転中心として設定するものである。また、この他に、前記画像処理部は、前記人物が同時に複数の位置で接触されたときに、前記複数の位置のいずれかの位置を通る直線を、前記第１画像が知覚される面を前記所定の角度傾斜させるときの回転中心として設定するものである。

また、前記表示面における人物の接触した位置を検知する位置検知部を備え、前記画像処理部は、前記位置検知部により検知された人物の位置に基づいて、前記第１画像を縮小し、前記表示部は、前記画像処理部により縮小された前記第１画像を表示するものである。

また、前記画像処理部は、変更された前記奥行き距離に基づいて、前記第１画像の幅を調整するものである。

また、前記第１画像は、前記表示部の全領域を用いて表示されるものである。

また、前記第１画像は、前記表示部の一部の領域を用いて表示されるものである。

また、前記画像処理部は、前記第１画像に含まれる構造物の領域に前記処理を実行することで、前記第１画像に含まれる前記構造物の奥行き距離を変更するものである。

また、前記画像処理部は、入力操作を行う領域が前記第１画像に含まれる場合、少なくとも前記入力操作を行う領域以外の領域に対して前記処理を実行するものである。

また、前記画像処理部は、立体視表示される構造物が前記第１画像に含まれる場合、前記構造物以外の領域に対して前記処理を実行することで、前記構造物における奥行き距離を維持したまま、前記第１画像における奥行き距離を変更するものである。

また、人物の接触を検知する検知部を備え、前記画像処理部は、前記検知部による前記人物の接触の有無に基づいて、前記第１画像に対する前記処理を実行するものである。この場合、前記表示制御部は、前記検知部により前記人物の接触を検知できない場合に、前記表示部による前記第１画像の表示を停止することが好ましい。

また、前記第１画像とは異なる第２画像を撮像する撮像部を備え、前記画像処理部は、前記撮像部により撮像された前記第２画像に含まれる人物の顔の位置に基づいて、前記第１画像に対する前記処理を実行するものである。この場合、前記表示制御部は、前記撮像部により撮像された前記第２画像から人物の顔を検出できない場合に、前記表示部による前記第１画像の表示を停止することが好ましい。

また、前記撮像部は、前記立体視表示において前記第１画像が知覚される面を撮影範囲とした前記第２画像を取得することが可能であり、前記撮像部により撮像された前記第２画像に含まれる人物の手の位置と、前記立体視表示に含まれる操作部の位置とに基づいて、前記操作部が操作されたか否かを判定する判定部と、前記判定部により前記操作部が操作されたと判定された場合に、前記操作部の操作に基づいた制御を実行する制御部とを、さらに備えていることが好ましい。

この場合、前記撮像部における撮影範囲は、前記立体視表示において前記第１画像が知覚される面のうち、前記表示部の表示面よりも前方に突出する領域からなることが好ましい。

また、入力操作を行うタッチパネルと、前記画像処理部により変更された前記立体視表示における奥行き距離に基づいて、前記タッチパネルにおける検出感度を変更する感度変更部と、を備えていることが好ましい。

また、前記タッチパネルにより入力操作が行われたことを検知したときに、入力操作される物体に対して風を送風する送風装置、又は水滴を吐出する吐出装置を備えるものである。

また、装置が位置する高さを検出する高さ検出部を、備え、前記画像処理部は、前記高さ検出部により検出された前記装置が位置する高さに基づいて、前記第１画像に対する前記処理を実行するものである。

また、前記表示部の前面に位置する障害物を検知する障害物検知部と、前記障害物検知部による前記障害物の検知に基づいて、前記表示部から前記障害物までの距離を算出する算出部と、をさらに備え、前記画像処理部は、前記算出部により算出される距離が前記第１画像における奥行き距離以下となる場合に、前記第１画像における奥行き距離を変更するものである。

この場合、前記算出部は、前記表示部の表示面における前記障害物の位置を算出し、前記画像処理部は、前記第１画像のうち、前記障害物に対応した位置にある構造物に対する奥行き距離を変更するものである。

また、前記画像処理部は、前記第１画像全体に対する奥行き距離を変更するものである。

また、前記立体視表示において前記第１画像が知覚される面を、前記表示部の周縁部の奥行き距離が前記表示部の中心部の奥行き距離よりも短く設定される湾曲面、又は屈曲面からなるものである。

この場合、人物の接触を検知する検知部を備え、前記検知部による前記人物の接触を検知したときに、前記人物の接触を検知した位置近傍における前記第１画像が知覚される面の奥行き距離を零（０）に設定するものである。

また、前記検知部により検知される人物の接触位置の移動により、前記表示部の中心部の奥行き距離を変化させるものである。

また、本発明の撮像装置は、上述したいずれかに記載の画像表示装置を備えたことを特徴とする。

本発明によれば、画像表示装置の傾きに応じた画像の立体視表示を容易な構成で、且つ、最適な状態で観察できる。

画像表示装置の構成を示す機能ブロック図である。 三次元画像を表示する場合の処理の流れを示すフローチャートである。 画像表示装置の表示面と立体視表示される三次元画像の知覚面との関係において、（ａ）は画像表示装置が水平状態となる場合、（ｂ）は画像表示装置を角度α（＝θ_０）傾斜させた場合、（ｃ）は画像表示装置を角度α（＞θ_０）傾斜させた場合を示す図である。 （ａ）は知覚面の回転中心をユーザ側の端部とした場合、（ｂ）は知覚面の回転中心をユーザ側の端部とは反対側の端部とした場合について説明する図である。 （ａ）は、ｘ方向において左手の親指と右手の親指とが同一位置にあるときの回転中心の位置、（ｂ）は左手の親指と右手の親指とが異なる位置にあるときの回転中心の位置を示す図である。 左手の親指の位置と右手の親指の位置とが異なるときに、回転中心の位置を示す図である。 （ａ）は、水平状態に保持した画像表示装置を示す図、（ｂ）は、ｘ方向の軸を回転中心として傾斜させた画像表示装置を示す図である。 （ａ）は、両手の親指が表示面にかかる場合の親指の位置と、表示した三次元画像の大きさとを示す図、（ｂ）は表示面にかかる親指の位置に応じて、三次元画像を表示する領域を縮小した場合の図である。 （ａ）は、立体視表示における奥行き距離により表示される物体の大きさの変化を示す図、（ｂ）は、実際に物体を移動させたときの物体の大きさを示す図である。 表示面における三次元画像の大きさを示す図である。 （ａ）は画像表示装置の表示領域をキーボード表示エリア及びテキスト入力エリアとから構成した場合を示す平面図、（ｂ）は表示される各エリアに表示される画像の表示面の状態を示す図である。 （ａ）はｘ方向の略中央を把持した場合に立体視表示における知覚面を湾曲面としたときの図、（ｂ）は画像表示装置の４隅のうち、対向する２隅を把持した場合に立体視表示における知覚面を湾曲面としたときの図、（ｃ）は知覚面を表示部の奥側に湾曲させた湾曲面としたときの図である。 （ａ）は画像表示装置の側面にポイントセンサを設けた場合、（ｂ）は画像表示装置の側面に感圧センサを設けた場合を示す図である。 （ａ）は画像表示装置に表示される操作ボタンの配置の一例を示す平面図、（ｂ）は（ａ）に示す各操作ボタンを立体視表示した場合の各操作ボタンの奥行き距離を示す図である。 三次元画像に含まれるオブジェクトを画像表示装置の傾きに併せて回転させるときの図である。 タッチパネルの感度と、立体視表示される三次元画像の知覚面との関係を示す図である。 送風装置を設けた画像表示装置を示す図である。 表示面に対して知覚面よりも指が近くに位置する状態を示す図である。 （ａ）は表示面に対して指が知覚面よりも遠い位置にある状態を示す図、（ｂ）は指の移動に合わせて知覚面の位置を変化させた場合を示す図である。 三次元位置計測を可能とする撮像部を備えた画像表示装置の構成を示す機能ブロック図である。 三次元位置計測を可能とする撮像部と、立体視表示される三次元画像の知覚面との関係を示す図である。 傾斜センサの他に、気圧センサを備えた画像表示装置の構成を示す機能ブロック図である。 レンキュラレンズを備えた表示部と人物の位置との関係を示す図である。 （ａ）は複数の画像を画像表示装置にて同時に表示したときに、人物が画像表示装置の正面に位置した場合に観察される画像を示す図、（ｂ）は人物が画像表示装置の正面からずれて位置した場合に観察される画像を示す図である。 （ａ）は表示する三次元画像の視差量を変化させるときに、人物が画像表示装置の正面に位置した場合に観察される画像を示す図、（ｂ）は人物が画像表示装置の正面からずれて位置した場合に観察される画像を示す図である。 本発明の画像表示装置を用いた撮像装置の電気的構成を示す機能ブロック図である。 撮像装置の表示面と知覚面との関係において、（ａ）は撮像装置の表示面がｙｚ平面に平行な面となる場合、（ｂ）は撮像装置を角度δ（＝θ_０）傾斜させた場合、（ｃ）は撮像装置を角度δ（＞θ_０）傾斜させた場合を示す図である。 撮像装置の表示面と知覚面との関係において、（ａ）は撮像装置の表示面がｙｚ平面と平行となる面となる場合、（ｂ）は撮像装置をｚ方向に移動させた場合、（ｃ）は（ｂ）の状態から撮像装置をさらにｚ方向に移動させた場合を示す図である。

以下、本実施形態の画像表示装置について説明する。なお、本実施形態における画像表示装置１０は、ユーザが手に取り操作ができる画像表示装置である。この画像表示装置１０は、画像の平面視表示や立体視表示を行うことができる画像表示装置１０からなる。以下、平面視表示される画像を二次元画像、立体視表示される画像を三次元画像と称して説明する。なお、三次元画像の立体視表示は、観察するユーザの両眼視差を利用したものである。

図１に示すように、画像表示装置１０は、コントローラ１１、画像処理部１２、表示制御部１３、画像記憶部１４、表示部１５、傾斜センサ１６、タッチパネル１７等から構成される。なお、コントローラ１１、画像処理部１２、表示制御部１３及び画像記憶部１４は、バス１８を介して接続される。なお、図１に示す画像表示装置１０は、本実施形態を説明する一例であり、例えば、メモリカード、光学ディスクや磁気ディスクなどを着脱できる画像表示装置であってもよい。

コントローラ１１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備えている。ＣＰＵがＲＯＭに記憶される制御プログラムを実行することで、コントローラ１１は画像表示装置１０の各部を制御する。このコントローラ１１には傾斜センサ１６、タッチパネル１７からの信号が入力される。コントローラ１１は、傾斜センサ１６、タッチパネル１７からの信号を受けて、これら信号に基づいた制御を実行する。

画像処理部１２は、画像記憶部１４に記憶された二次元画像から三次元画像を生成する。周知のように、三次元画像における立体視表示は、左目用の画像（以下、左目用画像）、右目用の画像（以下、右目用画像）を撮影した位置が、人間の左目及び右目の位置と一致する場合に最適な状態で観察することができる。この画像処理部１２は、画像表示装置１０の傾斜角α、人間の両眼視差量を用いて、画像記憶部１４から読み出した二次元画像を元にした左目用画像、右目用画像をそれぞれ生成する。これら画像を生成した後、画像処理部１２は、左目用画像及び右目用画像のそれぞれに対して、パースペクティブを無くすような補正処理を実行する。このパースペクティブを無くす補正処理は、斜めから撮影したステレオ画像の背景のパースを補正した画像を撮影時と同じ角度から観察した場合に、人間の両眼視差以上の奥行き感を生じさせる効果（ファントムグラフ）を与えるために施される処理である。この処理の後、画像処理部１２は、これら画像を合成する。これら画像の合成により、三次元画像が生成される。

この画像処理部１２により生成される三次元画像を表示すると、上述したファントムグラフの効果により、立体視表示される三次元画像が知覚される面（以下、知覚面）Ｓが水平状態にある画像表示装置１０の表示面１０ａに対して角度θ_０傾斜した状態で観察される（図３（ａ）参照）。ここで、水平状態とは、画像表示装置１０の表示面１０ａが図３（ａ）中ｘｙ平面と平行な面となる状態を示す。上述した角度θ_０は、コントローラ１１によって自動的に算出される値であってもよいし、予め実験、統計などにより求められる値であってもよい。

なお、上述した二次元画像から三次元画像を生成する方法や、パースペクティブをなくす補正を行う方法については、特許第３５７９６８３号公報に開示されていることから、ここでは、その詳細を省略する。

表示制御部１３は、画像処理部１２で生成された三次元画像や、画像記憶部１４から読み出された二次元画像や三次元画像を用いて、表示部１５に対する表示制御を実行する。

画像記憶部１４は、二次元画像や三次元画像が単数、又は複数記憶される。この画像記憶部１４は、画像表示装置１０に内蔵されるハードディスクや、ＳＲＡＭやＤＲＡＭなどのＩＣメモリが挙げられる。

表示部１５は、画像記憶部１４に記憶される二次元画像や三次元画像の他、画像処理部１２により生成された三次元画像を表示する。なお、表示部１５の表示方式としては、アナグリフ、偏光めがねや液晶シャッターめがねなどの眼鏡方式や、パララックスバリア方式やレンチキュラレンズ方式などの裸眼式など、三次元画像の立体視表示を行うことができるものであれば、適宜の方式を用いることが可能である。

傾斜センサ１６は、例えばジャイロセンサが用いられる。この傾斜センサ１６は、画像表示装置１０が傾斜しているか否かを検知する。この傾斜センサ１６の検知により出力される信号（以下、検知信号）は、コントローラ１１に入力される。コントローラ１１は、傾斜センサ１６から出力された検知信号に基づいて、画像表示装置１０の傾斜角αを算出する。このコントローラ１１により算出された傾斜角αは、画像処理部１２に出力される。

タッチパネル１７は、表示部１５の上面に配置される。このタッチパネル１７としては、抵抗膜方式、赤外線方式、表面弾性波方式、静電容量方式などの方式のいずれかが用いられる。なお、このタッチパネル１７を操作することで、該操作に基づいた信号（以下、操作信号）がコントローラ１１に向けて出力される。コントローラ１１は、タッチパネル１７から出力される操作信号に基づいた制御を実行する。

次に、上述した画像表示装置１０を用いて三次元画像を表示するときの処理の流れについて、図２のフローチャートを参照して説明する。

ステップＳ１０１は、三次元画像を表示するか否かを判定する処理である。ユーザによりタッチパネル１７が操作されると、その操作信号がタッチパネル１７からコントローラ１１に向けて出力される。コントローラ１１は、タッチパネル１７から出力された操作信号を受けて、該操作信号に基づく制御を実行する。このタッチパネル１７からの操作信号が、三次元画像を表示する旨の信号であれば、コントローラ１１は、ステップＳ１０１の判定処理をＹｅｓとする。この場合、ステップＳ１０２に進む。一方、タッチパネル１７からの操作信号が三次元画像を表示する旨の信号でない場合、コントローラ１１は、ステップＳ１０１の判定処理をＮｏとする。この場合、コントローラ１１は、タッチパネル１７から出力された信号に基づく処理を実行する。これら処理を実行した後、図２のフローチャートの処理が終了する。なお、図２のフローチャートにおいては、三次元画像を表示しない場合の処理については省略してある。

ステップＳ１０２は、画像表示装置の傾斜角αを算出する処理である。上述したように、この画像表示装置１０は、ユーザが手に取り操作ができる画像表示装置１０である。つまり、画像表示装置１０は水平状態、又は該水平状態から所定の角度α傾斜した状態で使用される。傾斜センサ１６は、画像表示装置１０が傾斜している否かを検知し、その検知信号をコントローラ１１に出力する。コントローラ１１は、この検知信号を受けて、画像表示装置１０の傾斜角αを算出する。

ステップＳ１０３は、算出された傾斜角αが閾値を超過するか否かを判定する処理である。コントローラ１１は、ステップＳ１０２で算出した傾斜角αと、予め設定された閾値とを比較する。例えば算出した傾斜角αが閾値を超過する場合、コントローラ１１はステップＳ１０３の判定処理をＹｅｓとし、ステップＳ１０４に進む。一方、算出した傾斜角αが閾値以下となる場合、コントローラ１１はステップＳ１０３の判定処理をＮｏとし、ステップＳ１０５に進む。

ステップＳ１０４は、閾値を傾斜角αとした三次元画像を生成する処理である。ステップＳ１０３において、コントローラ１１は傾斜角αが閾値を超過していると判定している。この場合、コントローラ１１は、閾値を傾斜角αとして設定し、設定した傾斜角αを画像処理部１２に出力する。画像処理部１２は二次元画像を画像記憶部１４から読み出す。そして、画像処理部１２は、読み出した二次元画像、傾斜角α及び人間の両眼視差量を用いて、三次元画像を生成する。

一方、ステップＳ１０３において、算出した傾斜角αが閾値以下であると判定された場合、ステップＳ１０５に進む。

ステップＳ１０５は、傾斜角αに基づいた三次元画像を生成する処理である。コントローラ１１は、算出した傾斜角αを画像処理部１２に出力する。画像処理部１２は二次元画像を画像記憶部１４から読み出す。そして、画像処理部１２は、読み出した二次元画像、傾斜角α及び人間の両眼視差量を用いて、三次元画像を生成する。

ステップＳ１０６は、生成された三次元画像を表示する処理である。上述したステップＳ１０４、又はステップＳ１０５の処理を実行することにより、三次元画像が生成される。画像処理部１２により生成された三次元画像は、画像処理部１２から表示制御部１３に出力される。表示制御部１３は、三次元画像を表示部１５に出力することで、表示部１５に三次元画像が表示される。

ステップＳ１０７は、三次元画像の表示を終了するか否かを判定する処理である。ユーザによりタッチパネル１７が操作されると、その操作信号がタッチパネル１７からコントローラ１１に向けて出力される。コントローラ１１は、タッチパネル１７からの操作信号が三次元画像の表示を終了する旨の信号である場合に、このステップＳ１０７の判定をＹｅｓとする。この判定が行われた場合には、三次元画像の表示が終了する。

一方、タッチパネル１７からの操作信号が三次元画像の表示を終了する旨の信号でない場合には、ステップＳ１０７の判定をＮｏとし、ステップＳ１０２に進む。この場合には、再度、ステップＳ１０２からステップＳ１０７の処理が繰り返され、三次元画像が表示される。なお、この三次元画像の表示の際に、画像表示装置１０の傾斜角αが変化する場合には、変化する傾斜角αにあわせた三次元画像が生成され、逐次表示される。

例えば、図３（ａ）に示すように、画像表示装置１０が水平状態となる場合、立体視表示される三次元画像の知覚面Ｓは、画像表示装置１０の表示面１０ａに対して角度θ（＝θ_０）傾斜した状態となる。なお、図３においては、表示面１０ａのｘ方向における中点Ｃを通るｙ方向の軸を回転中心として、反時計方向に角度θ傾斜させた場合を示している。この場合、知覚面Ｓは、表示面１０ａのｘ方向においてユーザ側の端部から中点Ｃにわたる領域が表示面１０ａよりも後方に位置するように、また、表示面１０ａの中点Ｃからユーザ側とは反対側の端部にわたる領域が表示面１０ａよりも前方に位置するように観察される。

図３（ｂ）は、水平状態にある画像表示装置１０を角度α（＝θ_０）傾斜させた場合を示す。上述したように、画像表示装置１０が傾斜した角度αに関係なく、立体視表示される三次元画像の知覚面Ｓは、画像表示装置１０が水平状態となるときに立体視表示される三次元画像の知覚面Ｓと同一の面となる。つまり、図３（ｂ）の状態では、知覚面Ｓは画像表示装置１０の表示面１０ａと同一面となる。

図３（ｃ）は、水平状態にある画像表示装置１０を角度α（＞θ_０）傾斜させた場合を示す。この場合、三次元画像は、立体視表示における知覚面Ｓが、画像表示装置１０が水平状態となるときに立体視表示される三次元画像の知覚面Ｓとなるように生成される。この場合、三次元画像の知覚面Ｓは、水平状態の画像表示装置１０の表示面１０ａに対して半時計方向に角度θ_０傾斜した面となる。つまり、三次元画像の知覚面Ｓは、表示面１０ａのｘ方向における中点Ｃからユーザ側の端部にわたる領域が表示面１０ａよりも前方に位置し、また、表示面１０ａのｘ方向における中点Ｃからユーザ側とは反対側の端部にわたる領域が表示面１０ａよりも後方に位置するように観察される。

このように、画像表示装置１０を傾斜させた場合に立体視表示される三次元画像の知覚面Ｓは、画像表示装置１０が水平状態となるときに立体視表示される三次元画像の知覚面Ｓとなるように生成される。つまり、画像表示装置１０を傾斜させることで、三次元画像における立体視表示の奥行き距離が変更される。これにより、画像表示装置１０による画像の観察時に、誤って画像表示装置１０を傾斜させたとしても、三次元画像の立体視表示を最適な状態で観察することが可能となる。また、表示させる三次元画像を画像表示装置１０の傾斜角αに基づいて生成することから、観察する人物の位置に応じて表示部を傾斜させるなどの機構を新たに設ける必要が無く、一般的な画像表示装置の構成で対応することが可能となる。

本実施形態では、立体視表示される三次元画像の知覚面Ｓを、表示面１０ａのｘ方向の中点Ｃを通るｙ方向の軸を回転中心として反時計方向に角度θ_０傾斜させた面としているが、これに限定する必要はなく、例えば、図４（ａ）に示すように、表示面１０ａにおけるｘ方向の両端部のうち、ユーザ側の端部Ｅ１を通るｙ方向の軸を回転中心として、反時計方向に角度θ_０傾斜させた面を知覚面Ｓとすることも可能である。また、図４（ｂ）に示すように、表示面１０ａにおけるｘ方向の両端部のうち、ユーザ側の端部Ｅ１とは反対側の端部Ｅ２を通るｙ方向の軸を回転中心として、反時計方向に角度θ_０傾斜させた面を知覚面Ｓとすることも可能である。さらに、表示面１０ａにおけるｘ方向の任意の位置を通るｙ方向の軸を回転中心として反時計方向に角度θ_０傾斜させた面を知覚面Ｓとすることも可能である。

ここで、表示面１０ａにおけるｘ方向の任意の位置を通るｙ方向の軸を回転中心として反時計方向に角度θ_０傾斜させた面を知覚面Ｓとする場合、ユーザの指の位置に基づいて回転中心の位置を決定することも可能である。ユーザは画像表示装置１０のｙ方向の両端部をそれぞれ把持することで画像表示装置１０を保持する。このときに、ユーザの左手又は右手のいずれか一方の指が表示面１０ａにかかる場合がある。このような場合、タッチパネル１７は表示面１０ａにかかる左手Ｌ１又は右手Ｒ１の指の位置を検知する。このタッチパネル１７によって検出される左手Ｌ１又は右手Ｒ１の指の位置に基づいて回転中心を決定する。詳細には、タッチパネル１７から出力される検知信号から検知位置を示す位置情報が算出されるので、コントローラ１１は、この位置情報を用いて、左手Ｌ１の指の位置と右手Ｒ１の指の位置とがｘ方向において同一位置となるか否かを判定する。

図５（ａ）に示すように、ｘ方向における左手Ｌ１の親指の位置と右手Ｒ１の親指の位置とが略同一位置にある場合には、検出される左手Ｌ１の親指の位置と、右手Ｒ１の親指の位置とを結ぶ直線を回転中心の軸ＡＸとして設定する。

また、図５（ｂ）に示すように、ｘ方向における左手Ｌ１の親指の位置と右手Ｒ１の親指の位置とが異なる位置となる場合、コントローラ１１は、左手Ｌ１の指の位置と右手Ｒ１の指の位置とがｘ方向において同一位置ではないと判定する。この場合、コントローラ１１は、ｘ方向における左手Ｌ１の親指の位置（点線ｘ１で示す座標）と右手Ｒ１の親指の位置（点線ｘ２で示す座標）の中点の座標を求める。そして、コントローラ１１は、この中点を通る直線を回転中心の軸ＡＸとして設定する。

なお、知覚面Ｓをｙ方向の軸を回転中心にして図３中半時計方向に傾斜させた面とする場合には、人間の胴体から離れて位置している指の位置を回転中心の軸ＡＸとして設定してもよい。ここで、図６においては右手Ｒ１の親指の位置が離れているので、ｘ方向における右手Ｒ１の親指の位置を回転中心の軸ＡＸとして設定する。また、知覚面Ｓをｙ方向の軸を回転中心にして図３中時計方向に傾斜させた面とする場合には、人間の胴体に知覚位置にある指の位置を回転中心の軸ＡＸとして設定することも可能である。

なお、画像表示装置１０を片手で掴む場合には、画像表示装置１０を掴む手の親指の位置をタッチパネル１７にて検出した上で、コントローラ１１は、検出された親指の位置に基づいて回転中心となる軸ＡＸを設定すればよい。

本実施形態では、立体視表示される三次元画像の知覚面Ｓをｙ方向の軸を回転中心として傾斜させた面としているが、知覚面Ｓをｙ方向の軸を回転中心として傾斜させた面とする必要はなく、ｘ方向の軸を回転中心として傾斜させた面とする、或いは、ｘ方向の軸及びｙ方向の軸のそれぞれを回転中心として傾斜させた面とすることも可能である。

以下、水平状態にある画像表示装置１０をｙ方向に角度β傾斜させた場合について説明する。図７（ａ）に示すように、画像表示装置１０を水平状態に保持した場合に立体視表示される三次元画像の知覚面Ｓを基準とする。図７（ａ）においては、水平状態の画像表示装置１０の表示面１０ａと三次元画像の知覚面Ｓとが同一平面となる場合を示している。この状態から、図７（ｂ）に示すように、ユーザが画像表示装置１０をｘ方向の軸を回転中心として半時計方向に角度β傾斜させる。画像表示装置１０のコントローラ１１は、傾斜センサ１６により検出される検出信号に基づいて、画像表示装置１０の傾斜角βを算出する。画像処理部１２は、算出した傾斜角βの他に、読み出した二次元画像及び人間の視差量を用いて三次元画像を生成する。表示制御部１３は、生成された三次元画像を表示部１５に表示する。これにより、三次元画像の立体視表示が実行される。この立体視表示における三次元画像の知覚面Ｓは、画像表示装置１０を水平状態に保持した場合に立体視表示される三次元画像の知覚面Ｓと同一面となる。

この場合、画像表示装置１０をｘ方向の軸を回転中心として半時計方向に角度β傾斜させているが、画像表示装置１０をｘ方向の軸を回転中心として時計方向に角度β傾斜させる場合も同様の処理が行われる。

図７においては、説明上、水平状態の画像表示装置１０の表示面１０ａと三次元画像の知覚面Ｓとが同一平面となる場合を示しているが、これに限定される必要はなく、図３に示すように、三次元画像の知覚面Ｓが、水平状態の画像表示装置１０の表示面１０ａに対してｙ方向の軸を回転中心として半時計方向に傾斜している場合であってもよい。また、三次元画像の知覚面Ｓを水平面（ｘｙ平面）としているが、これに限定される必要はなく、三次元画像の知覚面Ｓをｘ方向の軸を回転中心として傾斜させてもよい。

本実施形態では、画像表示装置１０の傾斜角αが閾値を超過する場合には、閾値を傾斜角αに設定した上で、設定された傾斜角αを考慮した三次元画像を生成しているが、これに限定される必要はなく、画像表示装置１０の傾斜角αが閾値を超過する場合には三次元画像の生成を行わなくてもよい。この場合、左目用画像及び右目用画像のみを生成し、生成された左目用画像及び右目用画像を交互に表示してもよいし、画像記憶部１４から読み出した二次元画像を表示してもよい。この場合、二次元画像は平面視されることから、画像が知覚される知覚面Ｓは、表示面１０ａと同一平面になる。

また、この他に、画像表示装置１０の傾斜角αと閾値との比較を行わずに、傾斜角αを考慮した三次元画像を生成し、この生成された三次元画像を表示すればよい。例えば画像表示装置１０の傾斜角αが閾値を超過した場合には、ユーザは三次元画像の立体視表示を観察することはできず、三次元画像が平面視される。つまり、三次元画像が知覚される面は画像表示装置１０の表示面１０ａとなる。

本実施形態では、画像表示装置１０の傾斜角αを考慮して三次元画像を生成し、三次元画像の立体視表示を最適な状態でユーザに観察させるようにしているが、画像表示装置１０の傾斜角αだけでなく、観察するユーザの両眼視差量（視角度）を考慮することも必要である。両眼視差量を考慮する場合、画像表示装置１０の傾斜角αが閾値を超過するか否かの判定だけでなく、観察するユーザの両眼の視角度が、融像限界の範囲から外れているか否かを判定する。なお、融像限界は、立体視表示を最適に観察できる視角度に対して視角度１度の範囲となる。

例えば画像表示装置１０の傾斜角αが閾値以下となる場合には、画像表示装置１０を傾斜させたときの視角度を算出し、算出された視角度が融像限界の範囲に含まれているか否かを判定する。この判定で、融像限界の範囲に含まれている場合には、観察するユーザの両眼視差量（視角度）、画像表示装置１０の傾斜角αに基づいて、二次元画像から三次元画像を生成する。一方、融像限界の範囲を外れている場合には、例えば観察するユーザの両眼視差量の融像限界（上限値、又は下限値のいずれかの値）、画像表示装置１０の傾斜角αに基づいて、二次元画像から三次元画像を生成する。

また、画像表示装置１０の傾斜角αが閾値を超過する場合も、同様にして、観察するユーザの両眼視差量である視角度が融像限界の範囲に含まれるか否かの判定を行い、この判定結果に基づいて、三次元画像を生成すればよい。

なお、観察するユーザの両眼視差量が融像限界の範囲から外れる場合であっても、両眼視差量及び画像表示装置１０の傾斜角αに基づいた三次元画像を生成し、生成された三次元画像をそのまま表示部に表示してもよい。この場合も、三次元画像の立体視表示を観察することができず、三次元画像が平面視される。つまり、立体視表示される三次元画像の知覚面Ｓは画像表示装置１０の表示面１０ａとなる。また、このような場合、三次元画像の生成を行わずに、元になる二次元画像を表示してもよいし、融像限界における両眼視差量、画像表示装置１０の傾斜角αに基づいて左目用画像及び右目用画像を生成し、これら画像を交互に表示してもよい。

本実施形態では、画像表示装置１０における三次元画像の表示領域については、その詳細は述べていないが、表示部１５の表示領域全てを用いて三次元画像を表示してもよいし、表示部１５の表示領域の一部を用いて三次元画像を表示してもよい。

例えば、表示部１５の表示領域を全て用いて三次元画像を表示する場合、ユーザが画像表示装置１０を把持したときに指がタッチパネル１７に触れる場合がある。このような場合、タッチパネル１７に触れる指により画像表示装置１０の表示部１５に表示される三次元画像の知覚面Ｓに影響を与え、立体視表示に違和感を与えてしまう。

図８（ａ）に示すように、画像表示装置１０の表示部１５の符号で示す領域２５が三次元画像を表示する領域である。この領域全体を用いて三次元画像を表示している場合に人間の指が触れると、タッチパネル１７により指が触れた位置が検出される。なお、図８（ａ）においては、左手Ｌ２の親指及び右手Ｒ２の親指の双方がタッチパネル１７に検出される場合を示している。これを受けて、コントローラ１１は、表示部１５に表示している三次元画像の元になるデータに対して縮小処理を行う旨の指示を画像処理部１２に行う。画像処理部１２は三次元画像の元になるデータに対して縮小処理を実行する。ここで、データの縮小処理における縮小率は、人間の指がタッチパネル１７に触れていない範囲内で三次元画像を表示できる縮尺である。また、画像処理部１２は、縮小処理の際に、三次元画像の縦横比を固定にして縮小処理を行う。表示制御部１３は、縮小処理されたデータを用いて表示部１５に三次元画像を表示する。なお、図８（ｂ）に示す領域２６が縮小処理された三次元画像が表示される領域である。これにより、タッチパネル１７に触れる指により画像表示装置１０の表示部１５に表示される三次元画像の知覚面Ｓに影響を与え、立体視表示に違和感を与えてしまうことが防止される。

ところで、画像表示装置１０において三次元画像を表示する場合、立体視表示における物体の大きさは、画像表示装置１０の表示部１５に表示される三次元画像の大きさで固定される。図９（ａ）に示すように、物体Ｏが表示面１０ａに表示される場合と、物体Ｏが表示面１０ａよりも前方（手前側）に表示される場合（符号Ｏ’の位置の場合）とを比べると、物体Ｏは表示面１０ａよりも手前側に表示される場合に小さく観察される。また、物体Ｏが表示面１０ａに表示される場合と、物体Ｏが表示面１０ａよりも後方（奥側）に表示される場合（符号Ｏ”の位置の場合）とを比べると、物体Ｏは表示面１０ａよりも奥側に表示される場合に大きく観察される。一方、図９（ｂ）に示すように、実際の空間では、所定位置にある物体Ｏを図９（ｂ）中点線の位置まで近づけると物体が大きく認識される。また、所定位置にある物体Ｏを図９（ｂ）中二点鎖線の位置まで遠ざけると物体Ｏが小さく認識される。

つまり、画像表示装置１０における立体視表示における物体の大きさ変化は、実際に物体を見る場合の大きさ変化と異なるので、立体視表示が不自然なものとなりやすい。このような不自然さを解消するために、図１０に示すように、例えば、知覚面Ｓが表示面１０ａよりも奥側に位置する場合には知覚面Ｓの幅を短く（縮小）し、知覚面Ｓが表示面１０ａよりも手前側に位置する場合には知覚面Ｓの幅を長く（拡大）する。つまり、立体視表示における知覚面Ｓの幅を奥行き情報に合わせて調整する。この場合、例えば知覚面Ｓを縮小すると、立体視表示における解像度も低下するので、表示させる三次元画像の種類に合わせて立体視表示させる三次元画像の縮尺、立体視表示の際に生成される知覚面の傾斜角度、該知覚面を生成する際の回転中心となる軸の位置などを変更すればよい。

例えば文字は解像度が必要となることから、文字を立体視表示する場合には、文字に対する縮小率を他の物体よりも小さく設定する。また、画像のスライドショーを立体視表示する場合には、スライドショー自体が詳細な表現は必要がないことから、知覚面が画像表示装置の表示面よりも奥に傾斜させても適切に表示できる角度に立体視表示における知覚面の傾斜角度を設定する。

以下、表示部１５の表示領域の一部を用いて三次元画像を表示する場合について説明する。図１１（ａ）に示すように、画像表示装置１０の表示領域３１には、文字入力を行うキーボード（ソフトキーボード）を表示する領域（以下、キーボード表示エリア）３２と、入力された文字を表示する領域（以下、テキスト入力エリア）３３とが設けられる。この場合、キーボード表示エリア３２に表示させるソフトキーボードの画像（以下、キーボード画像）を二次元画像とする。画像処理部１２は、テキスト入力エリア３３に表示させる画像（以下、テキスト入力画像）として三次元画像を生成する。キーボード画像及びテキスト画像は画像処理部１２により合成され、表示制御部１３に出力される。表示制御部１３により表示部１５に合成された画像を出力することで、合成された画像、つまりキーボード画像とテキスト入力画像とが表示部１５に表示される。

表示部１５に生成された画像を表示した場合、キーボード画像は二次元画像であることから、ユーザは平面視表示されたキーボード画像を観察することになる。一方、テキスト入力画像は三次元画像であることから、ユーザは立体視表示されたテキスト入力画像を観察することになる。

図１１（ｂ）に示すように、例えばテキスト入力画像は、その知覚面Ｓが例えば水平状態となる画像表示装置１０の表示面１０ａに対して角度θ傾斜した状態となるように生成されている。これにより、ユーザは、画像表示装置１０の表示領域３１のうち、テキスト入力エリア３３に表示される三次元画像の立体視表示を最適な状態で観察することができる。なお、キーボード表示エリア３２と、テキスト入力エリア３３とを設けた場合について説明しているが、これに限定される必要はなく、二次元画像と三次元画像との双方を同時に表示する場合であれば、このような処理を行うことが可能である。

ここで、表示部１５における表示領域全体を用いて三次元画像を表示する場合、表示部１５の外周縁においては、立体視表示の効果が薄れてしまうことが多い。また、ユーザが画像表示装置１０を把持したときに指が表示部１５にかかることで立体視表示の効果が薄れてしまう場合がある。このため、表示部１５の表示領域全体を用いて立体視表示を行う場合には、表示領域の外周縁部における奥行き情報（奥行き距離）が０となるように、立体視表示における知覚面Ｓを設定してもよい。この場合、知覚面Ｓとしては、断面が円弧状又は楕円弧状からなる湾曲面、断面が台形状、三角形状からなる屈曲面のいずれかの形状となることが好ましい。以下、知覚面Ｓが、円弧状の湾曲面から構成される場合について説明する。

ここで、画像表示装置１０においてはタッチパネル１７を備えていることから、ユーザの指をタッチパネル１７にて検出した場合には、タッチパネル１７にて検出された領域における奥行き距離を０とし、その他の領域における奥行き距離を調整する。例えば立体視表示における知覚面Ｓを湾曲面とする場合には、ユーザの指がかかっていない領域における知覚面Ｓの曲率を高くする。この場合、タッチパネル１７にて検出されるユーザの左手の指及び右手の指の位置に基づいて、知覚面Ｓを湾曲面とする際の軸方向を設定する。画像処理部１２は、二次元画像、人間の視差量及び湾曲面の軸方向、及び表示部の大きさなどに基づいて、立体視表示における知覚面Ｓが湾曲面となる三次元画像を生成する。

図１２（ａ）に示すように、ユーザの左手Ｌ３の親指、及び右手Ｒ３の親指がタッチパネル１７の長手方向（ｘ方向）の中央部分にて検出された場合には、画像処理部１２は、ｙ方向の両端部の奥行き距離を０に設定し、他の領域においては奥行き距離が強調されるように三次元画像を生成する。これにより、三次元画像の立体視表示における知覚面Ｓがｙ方向を軸方向にし、表示面１０ａの手前側（前面側）に突出する湾曲面として観察される。なお、ユーザの左手Ｌ３の親指、及び右手Ｒ３の親指がタッチパネル１７の短手方向（ｙ方向）の中央部分にて検出された場合には、ｘ方向の両端部の奥行き距離を０に設定し、他の領域においては奥行き距離が強調されるように三次元画像を生成する。この場合、図示は省略するが、三次元画像の立体視表示における知覚面Ｓがｘ方向を軸方向とし、表示面１０ａの手前側（前面側）に突出する湾曲面として観察される。

また、図１２（ｂ）に示すように、ユーザの左手Ｌ３の親指及び右手Ｒ３の親指がタッチパネル１７の四隅のうちの対向する２隅の位置で検出された場合には、画像処理部１２は、タッチパネル１７により検出される２隅の奥行き距離を０に設定し、他の領域においては奥行き距離が強調されるように三次元画像を生成する。これにより、三次元画像の立体視表示における知覚面Ｓが、タッチパネル１７にて未検出となる２隅を結ぶ直線を軸方向とし、表示面１０ａの手前側（前面側）に突出する湾曲面として観察される。

なお、これら場合、知覚面Ｓを表示面１０ａの手前側（前面側）に突出する湾曲面としているが、これに限定される必要はなく、図１２（ｃ）に示すように、知覚面Ｓを表示面１０ａの奥側（背面側）に入り込む湾曲面としてもよい。

ここで、画像表示装置１０を保持するユーザの指が移動する場合もある。このように、タッチパネル１７の周縁からユーザの指がかかる位置までの距離が変化する場合には、立体視表示における知覚面Ｓである湾曲面の曲率を変化させることも可能である。

なお、画像表示装置１０においては、タッチパネル１７を備えていない場合もある。図１３（ａ）に示すように、このようなタッチパネル１７を備えていない画像表示装置１０において知覚面Ｓを湾曲面として観察させる場合には、例えば画像表示装置１０の側面にポイントセンサ３４を複数、所定間隔を空けて配置し、このポイントセンサ３４により画像表示装置１０を把持する手を検出する。ここで、ポイントセンサ３４は、画像表示装置１０の側面のそれぞれに対して、左側端部、中央部、右側端部の３カ所にそれぞれ設けることが好ましい。

この場合も、ポイントセンサ３４にてユーザの手を検知した場合には、画像表示装置１０の表示面１０ａのうち、ポイントセンサ３４により検知された位置に対して設定される所定の領域に対する奥行き距離を０に設定し、他の領域に対する奥行き距離が強調されるように、三次元画像を生成する。このように、生成された三次元画像を表示した場合にも、タッチパネル１７を用いた場合と同様に、立体視表示における知覚面Ｓを湾曲面として、ユーザに観察させることができる。

また、図１３（ｂ）に示すように、画像表示装置１０の側面にポイントセンサ３４を設ける代わりに、感圧センサ３５を設けることも可能である。

本実施形態では、三次元画像全体を立体視表示させる場合について説明しているが、これに限定される必要はなく、画像中に含まれるオブジェクトのみを立体視表示させることも可能である。図１４（ａ）に示すように、例えば画像表示装置１０に表示される複数の操作ボタン３６，３７，３８に対する三次元画像をそれぞれ生成し、これら三次元画像を表示する。このとき、図１４（ｂ）に示すように、各操作ボタン３６，３７，３８の三次元画像は、各操作ボタン３６，３７，３８の上面の中心を通る平面Ｐと、画像表示装置１０の表示面１０ａとのなす角度θが、ユーザが立体視表示を最適に観察できる角度となるように、各操作ボタン３６，３７，３８の高さ（奥行き距離）をそれぞれ調整した画像とすればよい。なお、このような場合も、画像表示装置１０が傾斜したときには、その傾斜角を考慮して、それぞれの操作ボタンに対する三次元画像を生成する必要がある。

本実施形態では、二次元画像から生成される三次元画像を生成し、該三次元画像を画像表示装置１０にて表示しているが、これに限定される必要はなく、画像記憶部１４に記憶される画像が三次元画像であっても、本実施形態を適用することができる。この場合、両眼視差などの情報を三次元画像に付帯させておき、観察するユーザの両眼視差量、画像表示装置１０の傾斜角αを用いて、表示させる三次元画像を補正すればよい。

また、画像記憶部１４に記憶された三次元画像を表示する場合、該三次元画像に含まれるオブジェクトを画像表示装置１０の傾斜角に応じて傾斜させることも可能である。図１５に示すように、水平状態となる画像表示装置１０に三次元画像を表示すると、三次元画像に含まれるオブジェクト４０が、ユーザには立体視表示にて観察される。このとき、知覚面Ｓは、画像表示装置１０の表示面１０ａに対して角度θ傾斜した状態とする。例えば画像表示装置１０を、図１５中実線で示される位置から図１５中一点鎖線で示される位置（符号１０’の位置）まで角度γ傾斜させる場合を考える。このとき、立体視表示にて観察されるオブジェクト４０は、オブジェクト４０の中心Ｄを通るｙ方向の軸を回転中心として、実線で示す位置から点線で示す位置（符号４０’の位置）まで角度γ反時計方向に傾斜するように表示される。

この場合、三次元画像に含まれるオブジェクト４０を、画像表示装置１０の傾斜角γと同一の角度、傾斜（回転）させているが、これに加えて、例えば画像表示装置１０を傾斜させたことにより生じるユーザの両眼視差量の変化を、三次元画像を生成したときに用いた両眼視差量に付加する処理を行うことで、三次元画像を補正することも可能である。

なお、画像表示装置１０が傾斜したときに、表示される三次元画像に含まれるオブジェクトを、その立体視表示において、画像表示装置１０の傾斜角γに併せて傾斜させているが、これに限定される必要はなく、例えば画像表示装置１０を傾斜させたときに、三次元画像に含まれるオブジェクト以外の領域に対する奥行き距離を変化させることも可能である。

本実施形態では、タッチパネル１７については、詳細には触れていないが、例えば静電容量方式や電磁誘導方式のタッチパネルを用いる場合には、知覚面と、画像表示装置の表示面とがなす角度に応じて、タッチパネルにおける検出感度を変化させることも可能である。以下、本実施形態と同一の箇所については、同一の符号を付して説明する。

図１６に示すように、水平状態の画像表示装置１０において、立体視表示される三次元画像の知覚面Ｓは、画像表示装置１０の表示面１０ａに対して角度θ傾斜した状態で観察される。このように観察される知覚面Ｓにあわせて、タッチパネル１７の検出感度を設定する。これにより、ユーザが知覚面Ｓに指を伸ばせば、タッチパネル１７に触れなくとも入力操作が行われたことが検知されるので、タッチパネル１７に触れることなしに、入力操作を実行することができる。なお、画像表示装置１０が傾斜した場合には、その傾斜角にあわせて三次元画像が生成されるので、これに合わせて、タッチパネル１７の検出感度を調整すればよい。

このようにタッチパネル１７の検出感度を設定することで、ユーザは立体視表示における知覚面Ｓまで指を伸ばせば、タッチパネル１７に触れずに入力操作を行うことができる。しかしながら、このような入力操作は、ユーザにとっては入力操作の感覚がなく、逆に入力操作を行いづらくさせてしまうという欠点がある。そこで、ユーザが入力操作を行った際に、その感覚をユーザに与えるようにしてもよい。

図１７に示すように、タッチパネル１７に複数の穴４１を二次元状に設け、画像表示装置１０の内部に、これら穴４１から送風装置４２を設ける。なお、送風装置４２は、タッチパネル１７に設けられる穴４１のそれぞれに対応して設けても、複数の穴のうちの一部の穴に対応して設けてもよく、それぞれの穴４１から風を吹き出す構成であれば、必ずしも複数の穴５０の数に対応した数設ける必要はない。

上述したように、画像表示装置１０において三次元画像を表示したときには、ユーザには、画像表示装置１０の表示面１０ａに対して角度θ傾斜した知覚面Ｓにて立体視表示が観察される。この立体視表示が行われているときに、ユーザが知覚面Ｓまで指を伸ばすと、タッチパネル１７により指が検知される。このタッチパネル１７により指が検知されると、コントローラ１１はタッチパネル１７の検知信号二基づく位置座標を求める。コントローラ１１は、求めた位置座標に対応する送風装置４２を駆動させる。これにより、指が検知された位置にある穴４１を介して風が吹き出される。ここで、穴４１から吹き出される風の強さは、表示面１０ａから指までの距離に応じて変化するようにしてもよいし、一定の強さであってもよい。

なお、上述した送風装置４２は、画像表示装置１０の内部構造によっては配置することが困難となる場合もあるので、表示面１０ａの外周部分から風を吹き出すように送風装置を設ける場合も可能である。この場合、タッチパネル１７により検出される指の位置や高さに応じて、吹き出す風の向きを調整し、指に向けて風を当てるようにする。これにより、入力操作の操作感をユーザに与えることができ、入力操作時の違和感を低減させることができる。

なお、この場合、吹き出した風により、入力操作の操作感をユーザに与えるようにしているが、これに限定する必要はなく、水滴を吐出する装置を設け、指に向けて水滴を吐出することで、入力操作の操作感をユーザに与えることも可能である。

また、この他に、磁力を利用して入力操作時の操作感を生じさせることも可能である。例えば画像表示装置１０の表示面１０ａ近傍に、コイルなどの磁力を発生させる磁力発生手段を設ける。ユーザが画像表示装置１０を操作する場合、指先に磁性体を備えた手袋をして操作する。この場合、ユーザが指を画像表示装置１０に近づけると、タッチパネル１７により指が検知される。タッチパネル１７による指が検知されると、磁力発生手段は、磁性体に対して斤力を発生させるように磁力を発生させる。これにより、ユーザの指には斤力が加わることになり、入力操作時の操作感をユーザに与えることが可能となる。

このような立体視表示における知覚面Ｓに対して入力操作を行う場合、ユーザの指が知覚面Ｓよりも表示面１０ａに近い位置となる場合がある。

図１８に示すように、ユーザの指Ｆが立体視表示における知覚面Ｓの位置よりも画像表示装置１０に近くなる場合、立体視表示においては指Ｆにより隠れて観察できない領域（図中、領域ａ１）、片眼のみ視差がついて観察される領域（図中、領域ａ２，ａ３）、知覚面Ｓにおいて観察される領域（図中、領域ａ４，ａ５）の３つの領域が現れる。このように、指Ｆにより隠れて観察できない領域が生じることで、三次元画像の立体視表示における物体の立体感が損なわれてしまう。

そこで、画像表示装置１０に設けられたタッチパネル１７によりユーザの指Ｆを検知することで、表示面１０ａにおける指Ｆの位置座標及び表示面１０ａから指Ｆまでの距離を求め、表示面１０ａに対して指Ｆが知覚面Ｓよりも近くにある場合には、表示面１０ａに対して知覚面Ｓが指Ｆよりも近くなるように三次元画像における奥行き距離を変更する。なお、この奥行き距離の変更は、指Ｆの位置に該当する物体に対してのみ行ってもよいし、画像全体に対して行ってもよい。この場合、タッチパネル１７としては、静電容量式のタッチパネルが用いられる。

以下、画像表示装置１０の表示面１０ａから立体視表示における表示面Ｓまでの距離をＤ１とした場合について説明する。上述したように、ユーザが画像表示装置１０の表示面１０ａに向けて指Ｆを伸ばすと、タッチパネル１７により検知される。コントローラ１１は、タッチパネル１７からの検知信号を受けて、表示面１０ａ上における位置（座標）及び、表示面１０ａから指Ｆまでの距離Ｄを算出する。

そして、コントローラ１１は、算出した距離Ｄと、画像表示装置１０の表示面１０ａから立体視表示における表示面Ｓまでの距離Ｄ１とを比較する。例えば、算出した距離Ｄが画像表示装置１０の表示面１０ａから立体視表示における表示面Ｓまでの距離Ｄ１以上となる（Ｄ≧Ｄ１）となる場合には、コントローラ１１は、画像処理部１２により生成される三次元画像の奥行き距離を変更しないと判定する。この場合、画像表示装置１０の表示面１０ａから立体視表示における表示面Ｓまでの距離Ｄ１は、そのまま維持される。

一方、算出した距離Ｄが画像表示装置１０の表示面１０ａから立体視表示における表示面Ｓまでの距離Ｄ１未満となる（Ｄ＜Ｄ１）となる場合には、コントローラ１１は、画像処理部１２により生成される三次元画像の奥行き距離を変更すると判定する。この場合、コントローラ１１は、画像処理部１２に対して三次元画像を生成する信号と算出した距離Ｄの情報とを出力する。これを受けて、画像処理部１２は、入力される距離Ｄの情報を用いて、新たな三次元画像を生成し、表示制御部１３に出力する。表示制御部１３は、生成された三次元画像を表示部１５に表示する。

図１９（ａ）に示すように、例えばユーザの指Ｆが表示面から距離Ｄ（Ｄ＞Ｄ１）の位置にある場合、画像表示装置１０に表示される三次元画像は知覚面Ｓにて観察される。そして、ユーザが指Ｆを表示面Ｓに近づけていき、表示面１０ａからユーザの指Ｆまでの距離Ｄが表示面１０ａから立体視表示における知覚面Ｓの距離Ｄ１と等しくなる（図１９（ｂ）の実線の位置）までは、画像表示装置１０に表示される三次元画像は知覚面Ｓにて表示される。図１９（ｂ）に示すように、ユーザが指Ｆを表示面１０ａに向けて移動させると、指Ｆの移動に伴って知覚面Ｓも表示面１０ａに向けて移動する。つまり、表示面１０ａから立体視表示における知覚面Ｓの距離Ｄ１の間で指Ｆを移動させた場合には、表示面１０ａから指Ｆまでの距離Ｄにあわせて、表示面１０ａから立体視表示における知覚面Ｓまでの距離も変化する。

なお、指Ｆが画像表示装置１０の表示面１０ａに触れたときに指Ｆの移動が停止される。このとき、三次元画像における立体視表示の知覚面Ｓは表示面１０ａと一致する。指Ｆが画像表示装置１０の表示面１０ａに触れた場合、表示部１５において表示される画像としては三次元画像を表示してもよいし、三次元画像の元になる二次元画像であってもよい。

このように、移動する指Ｆから表示面１０ａまの距離に応じて、知覚面Ｓの奥行き距離を変更することで、移動する指Ｆが知覚面Ｓよりも表示面１０ａの近くに位置する状態がなくなるので、三次元画像の立体視表示における立体感を損ねることを防止することができる。

本実施形態では、画像表示装置１０の傾斜角αに応じた三次元画像を生成することで、ユーザが三次元画像の立体視表示を最適な状態で観察できるようにしているが、画像表示装置の傾斜角の他に、画像表示装置を使用するユーザの状態に基づいて、三次元画像を生成することも可能である。図２０及び図２１に示すように、画像表示装置４５に撮像部４６を設ける。この撮像部４６として、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子と、広角用のレンズとから構成する。なお、図２０は、撮像部４６を備えた画像表示装置４５の電気的構成を示しているが、本実施形態と同一の機能を有する箇所については、本実施形態と同一の符号を付して記載している。

例えば、画像表示装置４５による画像表示を行うときには、撮像部４６によって画像が取得される。取得された画像はコントローラ４７に入力される。コントローラ４７は、例えば被写体抽出処理などの手法を用いて、取得された画像に含まれる人物を抽出する。例えば人物が抽出された場合には、コントローラ４７は、抽出された人物の位置や、画像表示装置４５から人物までの距離や画像における人物の位置を算出する。また、コントローラ４７には傾斜センサ１６からの信号が入力されるので、コントローラ４７は画像表示装置４５の傾斜角αを算出する。コントローラ４７は、算出した人物までの距離や人物の位置、傾斜角αを画像処理部４８に出力する。また、コントローラ４７は、これら値から、立体視表示を最適な状態で観察できる角度（画像表示装置４５の表示面４５ａと、知覚面Ｓとのなす角度）θを求める。

コントローラ４７は、算出した角度θを画像処理部４８に出力する。このとき、画像表示装置４５が傾斜した場合には、その傾斜角も画像処理部４８に出力する。画像処理部４８は、これら値を用いて、画像記憶部１４から読み出した二次元画像から三次元画像を生成する。この生成された三次元画像を表示部１５により表示することで、ユーザは、三次元画像の立体視表示を最適な状態で観察することが可能になる。

なお、撮像部４６における撮像は、所定時間を空けて連続的に実行されている。例えば撮像部４６により連続的に得られる画像から人物が抽出されない場合が複数回連続したとき（言い換えれば、所定時間人物が検出されない場合）には、コントローラ４７は画像表示装置４５が使用されていないと判定する。この場合、コントローラ４７は、表示部１５による画像表示を停止し、省電力モードに移行させる。

なお、上述した撮像部４６を有する画像表示装置４５が、三次元位置計測の機能を有する場合には、タッチパネル１７などの操作入力部は必ずしも必要ではない。ここで、撮像部４６としては、単眼式、２眼式、距離画像センサなど適宜の構成を有する撮像部が挙げられる。

例えば表示部１５により操作パネルの三次元画像を表示したときには、ユーザには操作パネルが立体視表示により観察される（図２１においては知覚面Ｓ上に操作パネルが観察される）。なお、立体視表示される操作パネルの位置（ｘ、ｙ、ｚ座標における座標値）は、知覚面Ｓと画像表示装置４５の表示面４５ａとのなす角度θなどを用いることでコントローラ４７により算出される。また、コントローラ４７は、撮像部４６から所定時間を空けて出力される画像から、画像表示装置４５を使用する人物の顔の位置や、手の位置（三次元座標値）を算出する。そして、コントローラ４７は、算出した手の位置（三次元座標値）と、立体視表示される操作パネルの位置（三次元座標値）とが一致しているか否かを判定する。例えば人物の手の位置と操作パネルの位置とが一致すると判定した場合には、コントローラ４７は操作パネルが操作されたと判定し、該操作に基づく処理を実行する。一方、これら位置が一致しない場合には、コントローラ４７は操作パネルが操作されていないと判定する。

なお、立体視表示される三次元画像の知覚面Ｓは、必ずしも画像表示装置４５の表示面４５ａよりも前方に位置するように観察されるとは限らない。図２１に示すように、例えば立体視表示される三次元画像の知覚面Ｓの一部が、画像表示装置４５の表示面４５ａよりも前方側に位置するように観察される場合、その範囲を撮影範囲Ａとした撮像を撮像部４６にて実行すればよい。

また、画像表示装置４５に撮像部４６を設ける代わりに、画像表示装置４５を使用する人物が接触したこと、或いは人物に掴まれたことを検知する接触センサや感圧センサなどを備えることも可能である。この場合、人物が画像表示装置に触れる位置に複数配置する。これらセンサから出力される信号に基づいて、画像表示装置の使用状態を推定し、推定した画像表示装置の使用状態から、表示する三次元画像を生成する。この場合も、上述したセンサのいずれかからも信号が出力されない場合には、画像表示装置における画像表示を停止し、所謂省電力モードに移行させればよい。また、上述した撮像部と、接触センサや感圧センサとの双方を画像表示装置に設けることも可能である。

本実施形態では、画像表示装置の傾斜角が変化した場合であっても、立体視表示される三次元画像の知覚面Ｓが常に一定の面となる（固定される）ように三次元画像が生成されている。このため、画像表示装置が傾くと、画像表示装置の表示面と知覚面Ｓとのなす角度θ、言い換えれば、立体視表示における奥行き距離が変化する。このような立体視表示における奥行き距離の変化をユーザが望まない場合もあることから、この立体視表示における奥行き距離を固定できる、つまり、画像表示装置の表示面と知覚面Ｓとのなす角度θを固定できるようにしてもよい。この場合、立体視表示における奥行き距離を固定するか否か（言い換えれば、画像表示装置の表示面と知覚面Ｓとのなす角度θを固定するか否か）は、ユーザにより選択させればよい。

また、本実施形態では、水平状態にある画像表示装置の表示面と、知覚面Ｓとがなす角度θを、予め事件や統計などにより得られる値としているが、この角度θは、ユーザの入力操作により調整できるようにしてもよい。なお、このユーザによる入力操作としては、タッチパネルや操作ボタン、ジョグダイヤルなどによる操作が挙げられる。このユーザの入力操作により角度θを調整した場合には、角度θを記憶しておく。また、以降の処理では、この角度θを用いて三次元画像を生成すればよいことから、ユーザの好む傾斜角度で三次元画像の立体視表示を観察することができるようになる。

本実施形態では、画像表示装置の傾きに基づいて、立体視表示における奥行き距離を変更しているが、画像表示装置の傾きの他に、鉛直方向における画像表示装置の位置を考慮して、立体視表示における奥行き距離を変更することも可能である。なお、鉛直方向とは、例えばｚ方向である。

図２２は、鉛直方向における画像表示装置の位置を検出する手段として気圧センサを備えた画像表示装置５０の構成を示す。以下、本実施形態と同一の箇所については、同一の符号を付して説明する。なお、鉛直方向における画像表示装置５０の位置を検出することができるのであれば、気圧センサに限定する必要はない。この場合、傾斜センサ１６により画像表示装置５０の傾きを検知する。また、気圧センサ５１により鉛直方向における画像表示装置５０の位置を検知する。これらセンサからは、検知信号がそれぞれコントローラ５２に向けて出力される。

コントローラ５２は、これら検知信号から画像表示装置５０の傾斜角及びｚ方向における画像表示装置５０の位置を算出する。そして、算出した値を画像処理部５３に出力する。画像処理部５３は、画像表示装置５０の傾斜角、鉛直方向における画像表示装置５０の位置、人間の両眼視差量を用いて、画像記憶部１４から読み出した二次元画像から三次元画像を生成する。この生成された三次元画像は、表示制御部１３に出力される。これにより、画像表示装置５０の傾斜及び鉛直方向における画像表示装置５０の位置を考慮して生成された三次元画像が表示部１５に表示される。なお、この三次元画像の立体視表示は、画像表示装置５０の傾斜角及び鉛直方向における画像表示装置５０の位置によって、その奥行き距離が変化するので、ユーザは三次元画像の立体視表示を最適な状態で観察することが可能となる。

なお、画像表示装置５０の傾斜角及び画像表示装置５０の位置を考慮して三次元画像を生成しているが、これに限定される必要はなく、画像表示装置５０の位置のみを考慮した三次元画像を生成することも可能である。

本実施形態では、画像表示装置における立体視表示の知覚面Ｓを画像表示装置の傾斜角が変化しても一定となるように、画像表示装置に表示させる三次元画像における視差量を調整しているが、これに限定される必要はなく、ユーザが画像表示装置を観察する位置に応じて視差を変えるようにしてもよい。

例えば画像表示装置の正面では目的の画像が見られるようにし、画像表示装置の正面からずれた位置では目的の画像ではなく、他の画像を表示する場合について説明する。なお、画像表示装置については符号５５を付して説明し、本実施形態と同一の実施形態となる箇所については、同一の符号を付して説明する。ここで、画像表示装置５５の表示方式としてレンチキュラ方式を用いた場合について説明する。なお、画像表示装置５５の表示方式として、パララックスバリア方式を用いた場合であってもよい。

図２３に示すように、表示部１５にレンチキュラレンズ５６を横方向に一定ピッチで複数設ける。１つのレンズキュラレンズ５６に対して６個の表示エリア１５ａ〜１５ｆが対応付けられるように表示部１５の表示領域を分割する。これら表示エリアのうち、表示エリア１５ａ，１５ｃ，１５ｅを左眼用の表示エリアとし、表示エリア１５ｂ，１５ｄ，１５ｆを右眼用の表示エリアとする。ここで、表示エリア１５ａ，１５ｂは画像Ａの一部分を表示する領域、表示エリア１５ｃ，１５ｄは画像Ｂの一部分を表示する領域、表示エリア１５ｅ，１５ｆは画像Ｃの一部分を表示する領域である。なお、レンチキュラレンズ１つに対する表示エリアの数は上記に限定される必要はなく、適宜設定されるものである。

このような構成の表示部１５の場合、表示エリア１５ａに表示される画像Ａの左眼用画像はレンチキュラレンズ５６によって屈折され、図中左側に位置する人物Ｈ１の左眼ＬＨ１で観察される。また、表示エリア１５ｂに表示される画像Ａの右眼用画像は、レンチキュラレンズ５６によって屈折され、図中左側に位置する人物Ｈ１の右眼ＲＨ１で観察される。

また、画像Ｂの左眼用画像は、表示エリア１５ｃに表示される画像Ｂの左眼用画像はレンチキュラレンズ５６によって屈折され、正面に位置する人物Ｈ２の左眼ＬＨ２で観察される。また、表示エリア１５ｄに表示される画像Ｂの右眼用画像はレンチキュラレンズ５６によって屈折され、正面にいる人物Ｈ２の右眼ＲＨ２で観察される。

さらに、表示エリア１５ｅに表示される画像Ｃの左眼用画像は、レンチキュラレンズ５６によって屈折され、正面から図中右側にいる人物Ｈ３の左眼ＬＨ３で観察される。また、表示エリア１５ｆに表示される画像Ｃの右眼用画像はレンチキュラレンズ５６によって屈折され、正面から図中右側にいる人物Ｈ３の右眼ＲＨ３で観察される。

画像表示装置５５の表示部１５において画像Ａ及び画像Ｃとしてスノーノイズ画像を表示し、画像Ｂとしてぬいぐるみの画像とした場合には、人物の位置によって観察できる画像が変化する。図２４（ａ）に示すように、正面に位置した人物Ｈ２は、画像Ａである、ぬいぐるみの画像の立体視表示を観察することができる。一方、図２４（ｂ）に示すように、正面から左側に又は右側に位置した人物Ｈ１，Ｈ３は、ぬいぐるみの画像の立体視表示を観察することができず、スノーノイズ画像を観察することになる。これによれば、ユーザ以外の人物にユーザが観察したい画像を見られることを防止できる。なお、画像Ａ及び画像Ｃとして表示する画像は、スノーノイズ画像の他に、ブルー画像やブラック画像や、のぞき見をしていることを警告するための警告画像など、適宜の画像が挙げられる。

また、この他に、以下の方法も挙げられる。例えば画像表示装置５５に撮像部５７を設け、この撮像部５７からの画像信号から、画像表示装置を観察する人物の位置を特定する。撮像部５７から出力される画像信号から、人物Ｈ４が画像表示装置５５の正面にいると判定された場合には、画像表示装置５５は立体視が可能な視差量を用いて三次元画像を生成し、表示する。この場合、図２５（ａ）に示すように、人物Ｈ４は、例えばぬいぐるみの画像など、三次元画像の立体視表示を観察することができる。

一方、人物が画像表示装置５５の正面からずれた位置にいる場合には、画像表示装置５５は、立体視が可能な視差量ではなく、観察者が画像表示装置の正面からどのくらいずれているかを判定し、その判定結果に基づいた視差量となるように、三次元画像を生成する。図２５（ｂ）に示すように、人物Ｈ４が正面の位置（点線で示す位置）から角度Φずれた位置（実線で示す位置）にいる場合には、ぬいぐるみの画像が表示されるが、この場合、ぬいぐるみの画像において視差があわない、言い換えれば、ぬいぐるみの画像がぶれて見える。この場合、画像表示装置５５の正面からのずれ量が大きいほど、視差量が大きくなるように三次元画像を生成すればよい。これにより、ユーザ以外の人物にユーザが観察したい画像を見られることを防止できる。

なお、三次元画像を表示することで、立体視表示を行っているが、これに限定される必要はなく、二次元画像を表示してもよい。

本実施形態では、画像表示装置を例に取り上げているが、これに限定される必要はなく、上述した画像表示装置を備えた撮像装置、携帯型電話機などの携帯型情報通信機器、携帯型ゲーム機器などに応用することができる。以下、本発明の画像表示装置の構成を備えた撮像装置を例に挙げて説明する。

図２６に示すように、撮像装置６０は、撮像光学系６１、撮像素子６２、レンズ駆動機構６３、ドライバ６４、Ａ／Ｄ変換部６５、バッファメモリ６６、画像処理回路６７、表示制御回路６８、表示装置６９、接続Ｉ／Ｆ７０、ＣＰＵ７１、内蔵メモリ７２、レリーズボタン７３、操作部７４、傾斜センサ７５、気圧センサ７６などにより構成される。なお、Ａ／Ｄ変換部６５、バッファメモリ６６、画像処理回路６７、表示制御回路６８、接続Ｉ／Ｆ７０、ＣＰＵ７１及び内蔵メモリ７２は、バス７７を介して電気的に接続される。

撮像装置６０は、接続Ｉ／Ｆ７０を介して記憶媒体７８を装着させることが可能である。この記憶媒体７８としては、例えばメモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどの他に、例えば外付け用のハードディスクドライブなど、撮像装置６０の外部に設けられるものであってもよい。

撮像光学系６１は、複数のレンズから構成され、撮像素子６２の撮像面上に被写体像を結像させる。この撮像光学系６１は、不図示のフォーカスレンズとズームレンズとを含む。フォーカスレンズはレンズ駆動機構６３により光軸（Ｌ）方向に進退駆動されることで、撮像光学系６１におけるフォーカス調節が行われる。また、ズームレンズもレンズ駆動機構６３により光軸（Ｌ）方向に進退駆動されることで、撮像光学系６１のズーム調節が行われる。

撮像素子６２は、例えばＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサなどによって構成される。ドライバ６４は、ＣＰＵ７１から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子６２へ供給する。撮像素子６２は、供給された駆動信号によって電荷蓄積（撮像）や蓄積電荷の読み出しが制御される。ＣＰＵ７１は、被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて撮像素子６２の電荷蓄積時間、撮像光学系６１における絞り、および撮像素子６２より出力される画像信号の増幅度などを決定する。この撮像素子６２から読み出された画像信号は、Ａ／Ｄ変換部６５にて、アナログの画像信号からデジタルの画像信号に変換された後、バッファメモリ６６に書き込まれる。

画像処理回路６７は、ＣＰＵ７１からの指令に応じた入力信号に対して、色補間、ホワイトバランス、ガンマ変換等の画像処理を施す。この画像処理後のデータが画像（画像データ）となる。この画像処理回路６７は、表示装置６９に再生画像を表示させるために必要な解像度変換（画素数変換）処理を画像データに施し、解像度変換処理後の画像データを表示制御回路６８へ出力する。なお、電子ズーム処理を行う際にも、画像処理回路６７は画像データに対して解像度（画素数）変換処理を施す。以下、画像データを画像と称して説明する。

なお、表示装置６９において三次元画像を表示する場合、画像処理回路６７は、上述した処理に加えて、ＣＰＵ７１によって算出される撮像装置６０の傾斜角δ、鉛直方向における撮像装置６０の位置、人間の両眼視差量を用いて、バッファメモリ６６に一時記憶された二次元画像から三次元画像を生成する。なお、バッファメモリ６６に一時記憶される画像としては、撮影待機状態時に得られるスルー画像、撮影時に得られる静止画像や動画像の他に、記憶媒体７８から読み出した画像も含まれる。

表示制御回路６８は、ＣＰＵ７１からの指令に応じて、画像処理回路６７から入力される画像に所定の信号処理を施して表示装置６９へ出力する。なお、表示装置６９としては、ＬＣＤやＥＬディスプレイ、或いはＣＲＴディスプレイなどが挙げられる。

レリーズボタン７３や操作部７４は、その操作時に、操作内容に応じた操作信号をＣＰＵ７１へ出力する。ＣＰＵ７１は、レリーズボタン７３の押下操作に基づくレリーズ操作信号が入力されると、撮像素子６２から読み出される画像信号の中で、撮像画面内にあらかじめ設定されているフォーカス検出領域に対応する信号を用いて公知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。

操作部７４はズーム操作部を備えている。ＣＰＵ７１は、ズーム操作に基づくズーム操作信号が操作部７４から入力されると、上述したレンズ駆動指令を発生し、レンズ駆動機構６３にズームレンズを進退駆動させる。これにより、撮像素子６２の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。内蔵メモリ７２は、ＣＰＵ７１によって実行される制御プログラムや該制御プログラムを実行したときに使用されるデータなどが記憶される。

傾斜センサ７５は、撮像装置６０の傾きを検知するセンサである。この傾斜センサ７５からの検知信号は、ＣＰＵ７１に入力される。ＣＰＵ７１は、傾斜センサ７５からの検知信号に基づいて撮像装置６０の傾斜角を算出する。

気圧センサ７６は、鉛直方向における撮像装置６０の位置を検知するセンサである。この気圧センサ７６からの検知信号は、ＣＰＵ７１に入力される。ＣＰＵ７１は、気圧センサ７６からの検知信号に基づいて、鉛直方向における撮像装置６０の位置を算出する。

例えば撮像装置６０の表示装置６９に三次元画像を表示する場合について説明する。ＣＰＵ７１には、傾斜センサ７５や気圧センサ７６からの検知信号が逐次入力されている。これを受けて、ＣＰＵ７１は、撮像装置６０の傾斜角δや撮像装置６０の位置を算出する。なお、算出された撮像装置６０の傾斜角δや撮像装置６０の位置を画像処理回路６７に出力する。画像処理回路６７は、撮像装置６０の傾斜角δ、撮像装置６０の位置、人間の両眼視差量などを用いて、バッファメモリ６６に一時記憶された画像（二次元画像）から三次元画像を生成する。そして、画像処理回路６７は、生成された三次元画像を表示制御回路６８に出力する。表示制御回路６８は、三次元画像を表示装置６９に出力する。これにより、三次元画像が表示装置６９に表示される。

図２７（ａ）は、撮像装置６０の表示装置６９の表示面６９ａがｙｚ平面と平行な面となるときの、表示面６９ａと立体視表示される三次元画像の知覚面Ｓとを示す。このときの、表示面６９ａと立体視表示される三次元画像の知覚面Ｓとのなす角度θを角度θ_０とする。

図２７（ｂ）は、撮像装置６０をｙ方向の軸を回転中心として角度δ（＝θ_０）時計方向に傾斜させた場合を示す。上述したように、三次元画像は、その知覚面Ｓが基準となる三次元画像の知覚面Ｓ（図２７（ａ）に示す知覚面Ｓ）となるように生成されている。つまり、撮像装置の傾斜角δが角度θ_０となる場合には、表示装置６９の表示面６９ａと立体視表示における三次元画像の知覚面Ｓとが同一面となる。

図２７（ｃ）は、撮像装置６０をｙ方向の軸を回転中心として角度δ（＞θ_０）時計方向に傾斜させた場合を示す。この場合も、三次元画像は、その知覚面Ｓが基準となる三次元画像の知覚面Ｓ（図２７（ａ）に示す知覚面Ｓ）となるように生成されている。一方、撮像装置６０は角度δ（＞θ_０）時計方向に傾斜していることから、立体視表示される三次元画像の知覚面Ｓは、表示装置６９の表示面６９ａに対して反時計方向にθ傾斜した状態となる。

このように、撮像装置６０を傾斜させた角度δに関係なく、立体視表示される三次元画像の知覚面Ｓは固定される。つまり、撮像装置６０を傾斜させる角度δによって、三次元画像の立体視表示における奥行き距離を変化させることができる。これにより、ユーザが三次元画像の立体視表示を最適な状態で観察することが可能となる。

また、撮像装置６０を傾けずに、撮像装置６０を上方向（ｚ方向）に移動させた場合を考える。以下、撮像装置６０の表示装置６９の表示面６９ａがｙｚ平面と平行な面となる場合について考える。図２８（ａ）に示す撮像装置６０の位置を基準とすると、この位置では、立体視表示される三次元画像の知覚面Ｓは表示装置６９の表示面６９ａに対して時計方向に角度θ傾斜した状態となる。

図２８（ｂ）に示すように、基準とする位置から撮像装置６０を所定量ｚ方向に移動させると、表示装置６９の表示面６９ａと立体視表示される三次元画像の知覚面Ｓとが同一面となる状態に変化する。図２８（ｃ）に示すように、撮像装置６０をさらにｚ方向に移動させると、立体視表示される三次元画像の知覚面Ｓは、表示装置６９の表示面６９ａに対して反時計方向に角度θ傾斜した状態に変化する。つまり、撮像装置６９をｚ方向に移動させるだけで、立体視表示される三次元画像の知覚面Ｓの奥行き距離が変化する。この場合も、ユーザが三次元画像の立体視表示を最適な状態で観察することが可能となる。

なお、図２７及び図２８においては、撮像装置６０の傾斜角、鉛直方向における撮像装置の位置のいずれか一方に応じて、立体視表示における奥行き距離を変化させているが、これに限定される必要はなく、撮像装置の傾斜角及び鉛直方向における撮像装置の位置の双方を考慮して、立体視表示における奥行き距離を変更することも可能である。なお、この場合、撮像装置の傾斜方向は、ｙ方向の軸を回転中心とする他に、ｚ方向の軸を回転中心とする、又はｙｚ平面上に含まれる直線を回転中心としてもよい。

また、上記構成に加えて、ユーザを撮像する撮像部を撮像装置に設け、この撮像部により撮像された画像からユーザの顔から撮像装置までの距離を求め、撮像装置の傾斜角、鉛直方向における撮像装置の位置、人間の両眼視差量の他に、求めた距離を考慮した三次元画像を生成することも可能である。

１０，４５，５０，５５…画像表示装置、１１，４７，５２…コントローラ、１２，４８，５３…画像処理部、１３…表示制御部、１４…画像記憶部、１５…表示部、１６，７５…傾斜センサ、１７…タッチパネル、４６，５７…撮像部、５１，７６…気圧センサ、６０…撮像装置、６７…画像処理回路、６８…表示制御回路、６９…表示装置、７１…ＣＰＵ

Claims (33)

1. 人間の視差を利用した第１画像の立体視表示を行うことが可能な表示部と、
   前記立体視表示における奥行き距離を変更する処理を、前記第１画像に対して施す画像処理部と、
   前記処理が施された前記第１画像を前記表示部に表示させる表示制御部と、
   を備えたことを特徴とする画像表示装置。
2. 請求項１に記載の画像表示装置において、
   装置の傾きを検出する傾き検出部を備え、
   前記画像処理部は、前記傾き検出部により検出された前記装置の傾きに基づいて、前記第１画像に対する前記処理を実行することを特徴とする画像表示装置。
3. 請求項１に記載の画像表示装置において、
   前記奥行き距離を変更する際に操作される操作部を備え、
   前記画像処理部は、前記操作部の操作に基づいて、前記第１画像に対する前記処理を実行することを特徴とする画像表示装置。
4. 請求項３に記載の画像表示装置において、
   前記操作部の操作により変更された前記奥行き距離を記憶する記憶部を備え、
   前記画像処理部は、前記記憶部に記憶された前記奥行き距離となるように、前記第１画像に対する前記処理を実行することを特徴とする画像表示装置。
5. 請求項１から請求項４のいずれか１項に記載の画像表示装置において、
   前記立体視表示において前記第１画像が知覚される面は、前記表示部の表示面に対して所定の角度傾斜しており、
   前記所定の角度は、前記画像処理部による前記処理を行うことで変更されることを特徴とする画像表示装置。
6. 請求項５に記載の画像表示装置において、
   前記立体視表示において前記第１画像が知覚される面は、前記第１画像を観察する人間の両眼視差量が前記立体視表示における融像限界の範囲を外れた場合に、前記表示部の表示面となることを特徴とする画像表示装置。
7. 請求項５に記載の画像表示装置において、
   前記立体視表示において前記第１画像が知覚される面は、前記所定の角度が予め設定された閾値を超過した場合に、前記表示部の表示面となることを特徴とする画像表示装置。
8. 請求項５から請求項７のいずれか１項に記載の画像表示装置において、
   前記画像処理部は、人物が接触する位置に基づいて、前記第１画像が知覚される面を前記所定の角度傾斜させるときの回転中心の位置を設定することを特徴とする画像表示装置。
9. 請求項８に記載の画像表示装置において、
   前記画像処理部は、前記人物が同時に複数の位置で接触されたときに、前記複数の位置の中間の位置を通る直線を、前記第１画像が知覚される面を前記所定の角度傾斜させるときの回転中心として設定することを特徴とする画像表示装置。
10. 請求項８に記載の画像表示装置において、
    前記画像処理部は、前記人物が同時に複数の位置で接触されたときに、前記複数の位置のいずれかの位置を通る直線を、前記第１画像が知覚される面を前記所定の角度傾斜させるときの回転中心として設定することを特徴とする画像表示装置。
11. 請求項１に記載の画像表示装置において、
    前記表示面における人物の接触した位置を検知する位置検知部を備え、
    前記画像処理部は、前記位置検知部により検知された人物の位置に基づいて、前記第１画像を縮小し、
    前記表示部は、前記画像処理部により縮小された前記第１画像を表示することを特徴とする画像表示装置。
12. 請求項１に記載の画像表示装置において、
    前記画像処理部は、変更された前記奥行き距離に基づいて、前記第１画像の幅を調整することを特徴とする画像表示装置。
13. 請求項１に記載の画像表示装置において、
    前記第１画像は、前記表示部の全領域を用いて表示されることを特徴とする画像表示装置。
14. 請求項１に記載の画像表示装置において、
    前記第１画像は、前記表示部の一部の領域を用いて表示されることを特徴とする画像表示装置。
15. 請求項１に記載の画像表示装置において、
    前記画像処理部は、前記第１画像に含まれる構造物の領域に前記処理を実行することで、前記第１画像に含まれる前記構造物の奥行き距離を変更することを特徴とする画像表示装置。
16. 請求項１に記載の画像表示装置において、
    前記画像処理部は、入力操作を行う領域が前記第１画像に含まれる場合、少なくとも前記入力操作を行う領域以外の領域に対して前記処理を実行することを特徴とする画像表示装置。
17. 請求項１に記載の画像表示装置において、
    前記画像処理部は、前記立体視表示される構造物が前記第１画像に含まれる場合、前記構造物以外の領域に対して前記処理を実行することで、前記構造物における奥行き距離を維持したまま、前記第１画像における奥行き距離を変更することを特徴とする画像表示装置。
18. 請求項１に記載の画像表示装置において、
    人物の接触を検知する検知部を備え、
    前記画像処理部は、前記検知部による前記人物の接触の有無に基づいて、前記第１画像に対する前記処理を実行することを特徴とする画像表示装置。
19. 請求項１８に記載の画像表示装置において、
    前記表示制御部は、前記検知部により前記人物の接触を検知できない場合に、前記表示部による前記第１画像の表示を停止することを特徴とする画像表示装置。
20. 請求項１に記載の画像表示装置において、
    前記第１画像とは異なる第２画像を撮像する撮像部を備え、
    前記画像処理部は、前記撮像部により撮像された前記第２画像に含まれる人物の顔の位置に基づいて、前記第１画像に対する前記処理を実行することを特徴とする画像表示装置。
21. 請求項２０に記載の画像表示装置において、
    前記表示制御部は、前記撮像部により撮像された前記第２画像から人物の顔を検出できない場合に、前記表示部による前記第１画像の表示を停止することを特徴とする画像表示装置。
22. 請求項２０又は請求項２１に記載の画像表示装置において、
    前記撮像部は、前記立体視表示において前記第１画像が知覚される面を撮影範囲とした前記第２画像を取得することが可能であり、
    前記撮像部により撮像された前記第２画像に含まれる人物の手の位置と、前記立体視表示に含まれる操作部の位置とに基づいて、前記操作部が操作されたか否かを判定する判定部と、
    前記判定部により前記操作部が操作されたと判定された場合に、前記操作部の操作に基づいた制御を実行する制御部とを、さらに備えていることを特徴とする画像表示装置。
23. 請求項２２に記載の画像表示装置において、
    前記撮像部における撮影範囲は、前記立体視表示において前記第１画像が知覚される面のうち、前記表示部の表示面よりも前方に突出する領域からなることを特徴とする画像表示装置。
24. 請求項１に記載の画像表示装置において、
    入力操作を行うタッチパネルと、
    前記画像処理部により変更された前記立体視表示における奥行き距離に基づいて、前記タッチパネルにおける検出感度を変更する感度変更部と、を備えていることを特徴とする画像表示装置。
25. 請求項２４に記載の画像表示装置において、
    前記タッチパネルにより入力操作が行われたことを検知したときに、入力操作される物体に対して風を送風する送風装置、又は水滴を吐出する吐出装置を備えたことを特徴とする画像表示装置。
26. 請求項１に記載の画像表示装置において、
    装置が位置する高さを検出する高さ検出部を、備え、
    前記画像処理部は、前記高さ検出部により検出された前記装置が位置する高さに基づいて、前記第１画像に対する前記処理を実行することを特徴とする画像表示装置。
27. 請求項１に記載の画像表示装置において、
    前記表示部の前面に位置する障害物を検知する障害物検知部と、
    前記障害物検知部による前記障害物の検知に基づいて、前記表示部から前記障害物までの距離を算出する算出部と、をさらに備え、
    前記画像処理部は、前記算出部により算出される距離が前記第１画像における奥行き距離以下となる場合に、前記第１画像における奥行き距離を変更することを特徴とする画像表示装置。
28. 請求項２７に記載の画像表示装置において、
    前記算出部は、前記表示部の表示面における前記障害物の位置を算出し、
    前記画像処理部は、前記第１画像のうち、前記障害物に対応した位置にある構造物に対する奥行き距離を変更することを特徴とする画像表示装置。
29. 請求項２７に記載の画像表示装置において、
    前記画像処理部は、前記第１画像全体に対する奥行き距離を変更することを特徴とする画像表示装置。
30. 請求項１から請求項４のいずれか１項に記載の画像表示装置において、
    前記立体視表示において前記第１画像が知覚される面を、前記表示部の周縁部の奥行き距離が前記表示部の中心部の奥行き距離よりも短く設定される湾曲面、又は屈曲面からなることを特徴とする画像表示装置。
31. 請求項３０に記載の画像表示装置において、
    人物の接触を検知する検知部を備え、
    前記検知部による前記人物の接触を検知したときに、前記人物の接触を検知した位置近傍における前記第１画像が知覚される面の奥行き距離を零（０）に設定することを特徴とする画像表示装置。
32. 請求項３１に記載の画像表示装置において、
    前記検知部により検知される人物の接触位置の移動により、前記表示部の中心部の奥行き距離を変化させることを特徴とする画像表示装置。
33. 請求項１から請求項３２のいずれか１項に記載の画像表示装置を備えたことを特徴とする撮像装置。

Images