JP2007156757A - 表示装置 - Google Patents

Abstract

【課題】発熱量が少なく、静音化及び小型化が可能であって、且つ高解像度の画像の取り込みを可能とし得る表示装置を提供する。
【解決手段】光透過性を有する表示パネル２と、撮像ユニットとを備えた表示装置を用いる。各撮像ユニットは、結像光学系を有する撮像部４１ａ及び４２ａ（又は４２ａ及び４２ｂ）と、画像選択部とを備える。撮像部４１ａと４１ｂとは（又は４２ａと４２ｂとは）、観察者側から表示パネル２に入射し、そして、表示パネル２及び結像光学系を通過する光を受光して、表示パネル２の表示領域内の同一の領域における観察者側の状態を撮像する。画像選択部は、撮像部４１ａ及び４１ｂ（又は４２ａ及び４２ｂ）それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、それを撮像画像とする。
【選択図】図１

Description

本発明は、表示装置、特には画像入力機能を供えた表示装置に関する。

近年、表示装置の分野においては、表示機能に加え、入力機能をも兼ね備えた表示装置が普及してきている。このような表示装置の一例としては、タッチパネル付の表示装置が挙げられる（例えば、特許文献１参照。）。特許文献１に開示の表示装置は、プロジェクタが照射した光を表示領域へと導き、導かれた光のうち表示領域上に置かれたユーザの指で反射された光をＣＣＤカメラで受光することによってタッチ位置の検出を行なっている。

また、タッチパネル付の表示装置の他に、画像そのものを取り込むことができるように構成された液晶表示装置も開示されている（例えば、特許文献２参照）。特許文献２に開示された液晶表示装置は、アクティブマトリクス基板上にマトリクス状に配置された複数個のフォトダイオードを備えており、これにより、表示画面上の物体の画像を取り込んでいる。
特開２００１−３５０５８６号公報（第１図） 特開２００４−１５９２７３号公報（第２図−第３図）

しかしながら、特許文献１に開示の表示装置においては、プロジェクタを使用する必要があるため、電源ファンによる騒音が大きいという問題、発熱量が大きいという問題、装置全体を小型化できないという問題がある。

また、特許文献２に開示の液晶表示装置は、画像の取り込みを可能とする構成を備えているが、結像光学系を備えていないため、特許文献２に開示の液晶表示装置において、鮮明な取り込み画像を得ることは不可能である。特許文献２の液晶表示装置には、高解像度の取り込みを行なうことが不可能であるという問題がある。

本発明の目的は、上記問題を解消し、発熱量が少なく、静音化及び小型化が可能であって、且つ高解像度の画像の取り込みを可能とし得る表示装置を提供することにある。

上記目的を達成するために本発明における表示装置は光透過性を有する表示パネルと、撮像ユニットとを備え、前記撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備え、前記複数の撮像部それぞれは、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する光を受光して、前記表示パネルの表示領域内の同一の領域における観察者側の状態を撮像し、前記画像選択部は、前記複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、選択した画像のデータを外部に出力することを特徴とする。

以上のように本発明における表示装置によれば、液晶表示パネルやＥＬ表示パネルといった光透過性の表示パネルを用いて画像を表示できるため、発熱量の減少化、静音化及び小型化を達成できる。更に、本発明における表示装置においては、撮像部が結像光学系を備えるため、従来の入力機能を備えた表示装置に比べて、高解像度の画像の取り込みを達成できる。

本発明における表示装置は光透過性を有する表示パネルと、撮像ユニットとを備え、前記撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備え、前記複数の撮像部それぞれは、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する光を受光して、前記表示パネルの表示領域内の同一の領域における観察者側の状態を撮像し、前記画像選択部は、前記複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、選択した画像のデータを外部に出力することを特徴とする。

上記特徴により、本発明における表示装置によれば、発熱量の減少化、静音化及び小型化を図ることができ、更に、高解像度の画像の取り込みが可能となる。また、本発明における表示装置では、一つの領域が複数の撮像部によって撮像され、撮像された各画像のうち白とびが少ない画像が当該領域の撮像画像として出力される。このため、外部から表示領域に指向性が高い光が入射した場合に、撮像画像に白とびが生じるのを抑制できる。

また、上記本発明における表示装置は、前記表示パネルの観察者側へ検出光を出射する検出光源部を備え、前記複数の撮像部それぞれが、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する前記検出光を受光して、前記表示領域内の同一の領域における観察者側の状態を撮像する態様とするのが好ましい。上記態様によれば、撮像画像の解像度の向上を図ることができる。

また、上記本発明における表示装置においては、前記複数の撮像部は、前記表示パネルの裏側における、前記表示パネルの厚み方向において前記表示領域と重なる領域の周辺に、前記複数の撮像部のうちの一部の撮像部の撮像方向と、他の一部の撮像部の撮像方向とが、観察者側から見たときに交差するように配置されている態様とするのも好ましい。上記態様によれば、観察者側から入射した指向性が高い光（環境光）が、複数の撮像部全てに同時に入射するのを抑制できるため、撮像部が撮像した全ての画像に白とびが生じてしまう事態を回避できる。つまり、上記態様によれば、撮像画像に白とびが生じるのをよりいっそう抑制できる。

更に、上記本発明における表示装置は、前記撮像ユニットを複数個備え、前記複数個の撮像ユニットそれぞれは、前記表示領域内の異なる領域を撮像対象とし、各撮像ユニットに備えられた前記複数の撮像部は、それらを備える撮像ユニットが撮像対象としている領域の観察者側の状態を撮像する態様とするのも好ましい。上記態様によれば、一つの撮像ユニットが撮像対象とする領域の面積を小さくできるため、撮像部それぞれの撮像領域を狭くすることができる。よって、撮像ユニットが単一である場合に比べて、各撮像部が求める光学的撮像距離（焦点距離）を短くすることができ、表示装置の薄型化を図ることができる。

また、この場合においては、前記複数個の撮像ユニットそれぞれの撮像対象となる領域のうち、隣接する領域同士が部分的に重なり合っているのが好ましい。これにより、被写体の位置の認識を正確に行うことができる。

また、上記本発明における表示装置においては、前記検出光源部が、７００ｎｍ以上の波長の光を出射し、前記複数の撮像部それぞれが、７００ｎｍ以上の波長の光のみを受光するのが好ましく、特には、前記検出光源部が、８００ｎｍ以上１０００ｎｍ以下の波長の光を照射し、前記複数の撮像部それぞれが、８００ｎｍ以上の波長の光のみを受光するのが好ましい。このような場合は、可視光によるノイズを除去でき、更なる撮像画像の高解像度化を図ることができる。

更に、上記本発明における表示装置においては、前記表示パネルは、液晶表示パネルであっても良いし、ＥＬ表示パネルであっても良い。

（実施の形態１）
以下、本発明の実施の形態１における表示装置について、図１〜図６を参照しながら説明する。最初に、本実施の形態１における表示装置の全体構成について図１〜図４を用いて説明する。

図１は、本発明の実施の形態１における表示装置の概略構成を示す断面図である。図２は、図１に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。図３は、図１及び図２に示した撮像部の概略構成を示す断面図である。図４は、図１及び図２に示した検出光源部の概略構成を示す図であり、図４（ａ）は検出光の出射方向に沿って切断した断面図、図４（ｂ）は正面図である。

図１及び図２に示すように、本実施の形態１における表示装置は、光透過性を有する表示パネル２と、撮像ユニットとを備えている。撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備えている。本実施の形態１においては、撮像部４１ａ及び４１ｂを有する第１の撮像ユニットと、撮像部４２ａ及び４２ｂを有する第２の撮像ユニットと、撮像部４３ａ及び４３ｂを有する第３の撮像ユニットと、撮像部４４ａ及び４４ｂを有する第４の撮像ユニットとが備えられている。なお、図１及び図２においては、画像選択部の図示は省略している。画像選択部については図５及び図６を用いて後述する。また、図１においては、図示の関係上、撮像部４３ａ〜４４ｂについては図示を省略している。

また、図２に示すように、本実施の形態１においては、第１の撮像ユニット〜第４の撮像ユニットは、表示パネル２の表示領域３内の異なる領域をそれぞれ撮像対象としている。具体的には、第１の撮像ユニットは領域Ａを撮像対象とし、撮像領域（２）は領域Ｂを撮像対象としている。更に、第３の撮像ユニットは領域Ｃを撮像対象とし、第４の撮像ユニットは領域Ｄを撮像対象としている。

更に、同一の撮像ユニットに備えられた複数の撮像部は、それらを備える撮像ユニットが撮像対象としている領域の観察者側の状態を撮像する。即ち、同一の撮像ユニットに備えられた複数の撮像部は、同一の領域の観察者側の状態を撮像する。よって、本実施の形態１においては、領域Ａの観察者側の状態は、撮像部４１ａと４１ｂとによって撮像され、領域Ｂの観察者側の状態は、撮像部４２ａと４２ｂとによって撮像される。また、領域Ｃの観察者側の状態は、撮像部４３ａと４３ｂとによって撮像され、領域Ｄの観察者側の状態は、撮像部４４ａと４４ｂとによって撮像される。但し、各撮像ユニットが撮像対象とする領域は、被写体１の位置の認識が正確に行われるようにするため、図２に示すように、隣接する領域同士が部分的に重なり合うように設定するのが好ましい。

また、本実施の形態１において、表示パネル２は液晶表示パネルであり、表示装置は液晶表示装置である。表示パネル２の裏面側には、表示パネル２を照明するためのバックライト装置５が配置されている。表示パネル２は、アクティブマトリクス基板２ｃと、液晶層２ｂと、フィルタ基板（対向基板）２ａとを備えている。液晶層２ｂは、アクティブマトリクス基板２ｃとフィルタ基板２ａとによって挟み込まれている。液晶層２ｂを封止するためのシールについては、図示を省略している。また、フィルタ基板２ａ及びアクティブマトリクス基板２ｃそれぞれにおける液晶層２ｂ側の反対側の面には、図示していないが、偏光板が設けられている。

アクティブマトリクス基板２ｃには、マトリクス状に配置された複数のアクティブ素子（図示せず）が形成されている。アクティブ素子は画素を構成しており、画素が設けられた領域と厚み方向（図１中の太線の矢印で示す）において重なる領域が、表示領域３となっている。また、アクティブマトリクス基板２ｃには、図示していないが、ゲート駆動回路やソース駆動回路といった駆動回路が設けられている。フィルタ基板２ａには、各画素に対応する複数のカラーフィルタ（図示せず）や、対向電極が形成されている。

なお、表示パネル２は、光透過性を備えたものであれば良い。表示パネル２としては、その他、ＥＬ表示パネルが挙げられる。表示パネル２がＥＬ表示パネルである場合は、ＥＬ表示パネルが自発光であるため、バックライト装置を配置する必要はない。更に、この場合は、表示パネル２は、例えば、透明基板上に、透明電極（アノード）となるＩＴＯ（Indium Tin Oxide）膜、正孔輸送層、電子輸送層、背面電極（カソード）等を順に積層して構成される。

バックライト装置５は、直下型のバックライト装置であり、複数の蛍光ランプ６と、光学層１３とを備えている。複数の蛍光ランプ６は、バスタブ型の筐体８に、互いに平行な状態で配置されている（図２参照）。また、筐体８の内面には反射シートが貼付されている。光学層１３は、拡散板９、拡散シート１０、プリズムシート１１、反射／偏光シート１２を順に積層して形成されている。

このように、本実施の形態１においては、表示装置は、液晶表示装置である。よって、撮像部４１ａ〜４４ｂは、バックライト装置５からの照明光への悪影響を考慮して、表示パネルの裏面側であって、表示パネル２の厚み方向において表示領域３と重なる領域の周辺に配置されている。但し、この場合、撮像部４１ａ〜４４ｂは斜め方向から撮像を行わなければならないため、撮像された画像に台形歪みが発生する可能性がある。このため、本実施の形態１においては、撮像部４１ａ〜４４ｂにシフト光学系を備えさせている。

具体的には、図３に示すように、撮像部４１ａ〜４４ｂは、結像光学系を構成するレンズ素子３０と、レンズ素子３０によって結像された像を受光する固体撮像素子３２と、光学フィルタ３１とを備えている。固体撮像素子３２は、ＣＣＤ固体撮像素子や、ＭＯＳ型固体撮像素子といった固体撮像素子である。光学フィルタ３１は、後述する検出光のみを固体撮像素子３２に導くために設けられており、本実施の形態１では、赤外領域以上の波長の光のみを透過させるハイパスフィルタである。

また、レンズ素子３０と固体撮像素子３２とは、いわゆるシフト光学系を構成している。つまり、固体撮像素子３２及びレンズ素子３０は、固体撮像素子３２の受光面の中心を通る法線３２ａとレンズ素子３０の光軸３０ａとが平行となり、且つ、光軸３０ａが法線３２ａからシフトした状態でフレーム３３に保持されている。更に、図１に示したように、撮像部４１ａ〜４４ｂそれぞれは、固体撮像素子３２の受光面が表示領域３に対して平行となり、且つ、固体撮像素子３２の法線３２ａがレンズ素子３０の光軸３０ａよりも表示領域３の外側に位置するように配置される。

このように、本実施の形態１では、撮像部４１ａ〜４４ｂは、シフト光学系を採用しているため、斜め方向からの撮像であっても、固体撮像素子３２の受光面には、台形歪みの少ない像が結像される。本実施の形態１によれば、撮像部４１ａ〜４４ｂが撮像した画像において台形歪みの発生は抑制される。

なお、図２及び図３に示す矢印は、各撮像部の撮像方向を示している。撮像方向は、固体撮像素子３２の受光面の中心と撮像対象となる領域の中心とを結ぶ線に沿った方向である。また、本実施の形態１では、撮像部４１ａ〜４４ｂは、表示領域３上及びその近傍に存在するものを被写体１として撮像する。よって、撮像部４１ａ〜４４ｂのレンズ素子３０（結像光学系）の合焦範囲は、表示パネル２の表面近傍、例えば、表示領域３から観察者側に１ｃｍの範囲内に設定するのが好ましい。

また、本実施の形態１では、撮像部４１ａ〜４４ｂの光学的撮像距離（結像光学系の焦点距離）を稼ぐため、表示パネル２とバックライト装置５とは、従来の液晶表示装置に比べて距離を置いて配置される。具体的には、表示パネル２とバックライト装置５とは、フレーム２０によって、一定の距離Ｌを置いて保持されており、これらの間には空洞が存在している。また、撮像部４１ａ〜４４ｂもフレーム２０に保持されている。

例えば、表示パネル２の大きさが、３０インチ程度であるならば、表示パネル２とバックライト装置５との距離Ｌは１５ｃｍ程度に設定される。表示パネル２とバックライト装置５との間には、表示装置の強度を高めるため、透明の樹脂材料を充填する等しても良い。

更に、表示パネル２とバックライト装置５との距離が大きいため、図１及び図２に示すように、バックライト装置５は、その発光領域の面積が表示領域３の面積よりも大きくなるように構成するのが好ましい。これは、表示パネル２とバックライト装置５との距離が大きいと、表示パネル２の照射領域が減少する傾向にあるからである。

また、本実施の形態１においては、撮像ユニット毎に、異なる領域を撮像対象としている。このため、単一の撮像ユニットによって表示領域３全体を撮像する場合に比べて、一つの撮像ユニットが撮像する領域を狭くすることができ、撮像部４１ａ〜４４ｂが求める光学的撮像距離を短くすることができる。よって、単一の撮像ユニットしか設けられない場合に比べて、表示パネル２とバックライト装置５との間の距離Ｌを短くでき、表示装置の薄型化を図ることができる。

また、図１及び図２に示すように、本実施の形態１においては、表示装置は、表示パネル２の観察者側に検出光を出射する検出光源部７を備えている。図４に示すように、本実施の形態１において、検出光源部７は、検出光を出射する複数個の光源２１を備えている。各光源２１は、それぞれの出射方向が一致するように並列に配置されている。また、各光源２１は、波長が赤外領域にある光を出射する発光ダイオードである。なお、２２は、検出光源部７のフレームであり、２３は、各光源２１をフレーム２２に固定する樹脂製の固定部材である。また、２４は、透明の樹脂材料によって形成された導光路である。

更に、図２に示すように、本実施の形態１では、検出光の光量ロスを少なくするため、検出光源部７は、表示パネル２の観察者側において、表示領域３の周辺に複数個配置されている。具体的には、検出光源部７は、４つ配置されており、各検出光源部７は、表示領域３のいずれかの辺に沿って、表示領域３を囲むように配置されている。但し、検出光源部７の数は特に限定されるものではない。例えば、検出光源部７の数が２つであって、対向する２辺にのみ検出光源部７が配置された態様であっても良い。また、検出光源部７は、表示パネル２の裏面側に、検出光の出射方向を観察者側に向けた状態で配置することもできるが、照射効率の点から、図１及び図２に示すように、表示パネル２の観察者側に配置するのが好ましい。

このように、本実施の形態１においては、表示装置が検出光源部７を備えているため、検出光源部７から出射された検出光は、表示領域３上又はその近傍に存在する被写体１で反射される。更に、反射された検出光は、表示パネル２の観察者側から表示パネル２に入射し、そして、表示パネル２及び結像光学系（図３参照）を通過する。本実施の形態１では、撮像部４１ａ〜４４ｂは、この表示パネル２及び結像光学系を通過した検出光を受光し、これによって、撮像対象となる領域の観察者側の状態を撮像する。

よって、本実施の形態における表示装置によれば、発熱量の減少化、静音化及び小型化を達成でき、しかも、撮像部４１ａ〜４４ｂが結像光学系を備えるため、従来の入力機能を備えた表示装置に比べて、高解像度の画像の取り込みを達成できる。

ところで、表示装置は、様々な環境で使用されるため、外部から表示領域３に指向性が高い環境光が入射することがある。このような光としては、例えば、太陽光が挙げられ、検出光と同様に波長が赤外領域にあるものも存在する。よって、このような光が表示領域に入射した場合は、撮像された画像に白とびが発生してしまい、画像の品質が低下してしまう。なお、白とびとは、画像を構成する画素の一部の輝度が閾値を超えてしまい、画像の一部又は全部が白っぽくなってしまうことをいう。

このため、本実施の形態１においては、上述したように、一つの撮像対象となる領域を複数の撮像部によって角度を変えて撮像が行われている。例えば、図２に示す領域Ａに指向性の高い光が入射した場合において、撮像部４１ａが撮像した画像には大きな白とびが発生しているが、撮像部４１ｂが撮像した画像には目立った白とびが発生していない場合がある。このとき、撮像部４１ｂが撮像した画像を領域Ａの撮像画像とすれば、品質低下の少ない撮像画像を得ることができる。

よって、上述したように各撮像ユニットは、撮像部に加えて、画像選択部を備えている。画像選択部は、複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、それを撮像画像としている。

更に、図２に示すように、各撮像ユニットにおいては、二つの撮像部は、一方の撮像部の撮像方向と、他方の撮像部の撮像方向とが、観察者側から見たときに交差するように配置されている。このため、観察者側から入射した指向性が高い環境光が、一方の撮像部と他方の撮像部とに同時に入射するのを抑制できるため、両方の撮像部が撮像した画像に白とびが生じてしまう事態を回避でき、白とびの少ない撮像画像を容易に得ることができる。

また、観察者側から見たときにおける、一方の撮像部の撮像方向と他方の撮像部の撮像方向とのなす角度は、表示装置に入射する環境光の入射角度を考慮して決定すれば良い。但し、両方の撮像部への環境光の同時入射をより効果的に抑制するためには、観察者側から見たときにおける、一方の撮像部の撮像方向と他方の撮像部の撮像方向とのなす角度は、図２に示すように、９０度であるのが好ましい。また、両者のなす角度を９０度とするときは、図２に示すように、表示領域３の直交する２辺に合わせて、撮像部を配置するのが好ましい。

また、本実施の形態１においては、表示装置は、更に制御装置を備えており、各撮像ユニットによって得られた画像に対して画像処理等を行なっている。ここで、画像選択部による画像選択処理と、制御装置による画像処理とについて説明する。先ず、制御装置の構成について図５を用いて説明する。図５は、図１及び図２に示す表示装置に備えられた制御装置の構成を示すブロック図である。

図５に示すように、本実施の形態１においては、第１の撮像ユニット〜第４の撮像ユニット毎に、画像選択部４５〜４８が備えられている。例えば、画像選択部４５は、撮像部４１ａ及び４１ｂそれぞれが撮像した画像を互いに比較する。具体的には、画像選択部４５は、画像毎に、輝度が閾値以上となった画素の数を計測し、計測した値を比較する。次に、画像選択部４５は、輝度が閾値以上となった画素が最も少ない画像を選択する。更に、画像選択部４５は、選択した画像を撮像画像とし、選択した画像の撮像データを画像入力制御装置１０５に出力する。

なお、選択の基準となる輝度の閾値は、工場出荷段階で予め設定されていても良いし、表示装置の利用者が任意に設定できる態様となっていても良い。また、画像選択部は、単一であって、各撮像ユニットが共有する態様であっても良い。

また、図５に示すように、本実施の形態１における表示装置１１０は、撮像部４が出力した撮像データに基づいて画像処理等を行う制御装置１０９を備えている。制御装置１０９は、主に、画像処理装置１００と、画像入力制御部１０５と、表示制御部１０７とを備えている。また、制御装置１０９は、外部装置１０８に接続されている。外部装置１０８としては、例えば、パーソナルコンピュータ、ゲーム機器、テレビチューナ、ＤＶＤプレイヤー、更には家庭電化製品等の表示装置に映像信号を出力する各種機器が挙げられる。

画像入力制御部１０５は、外部装置１０８の制御信号による指示に応じて、第１の撮像ユニット〜第４の撮像ユニットに撮像データの出力を求める。第１の撮像ユニット〜第４の撮像ユニットそれぞれは、画像入力制御部１０５から制御信号によって出力要請が通知されると、選択した画像の撮像データを画像入力制御部１０５へと出力する。画像入力制御部１０５は、第１の撮像ユニット〜第４の撮像ユニット毎にメモリ１０６に撮像データを一旦記憶させた後、各撮像データを画像処理装置１００へと出力する。また、画像入力制御部１０５は、外部装置１０８の制御信号による指示に応じて、各撮像ユニットの撮像部に対して、撮像の指示、感度設定、解像度設定等を行うこともできる。

画像処理装置１００に入力された各撮像データは、先ず、画像合成部１０１によって合成され、一つの画像データとされ、ノイズ除去部１０２へと送られる。ノイズ除去部１０２は、先ず、画像合成部１０１が出力した画像データから、オフセット成分を減算する。更に、ノイズ除去部１０２は、オフセット成分の除去後の画像データから、表示成分の除去を行う。その後、ノイズ除去部１０２は、得られた画像データを画像認識部１０３へと出力する。

ここで、オフセット成分とは、バックライト装置５（図１参照）から照射された後、表示装置１１０の構成部材の表面や構成部材間の界面等で反射され、撮像部４１ａ〜４４ｂの固体撮像素子３２（図３参照）に入射した光量成分をいう。また、表示成分とは、表示パネル２を介して外部から撮像部４１ａ〜４４ｂに入射した光量成分をいう。表示成分は、表示領域３（図１及び図２参照）に表示される画像によって変動する。

表示成分は、設定された基準データから算出され、算出された値を用いて上記の処理が行われる。オフセット成分は予め設定され、画像処理装置１００が備えるメモリ（図示せず）に格納されている。表示成分を算出するための基準データも同様に予め設定され、画像処理装置１００が備えるメモリ（図示せず）に格納されている。

オフセット成分の設定は、例えば、次の手順によって行うことができる。先ず、表示領域３への外部からの光の入射が遮断された状態とする。例えば、表示装置を暗室に配置することによって、または、検出光を透過させるが、可視光を透過させないシートや暗幕によって表示領域３を覆うことによって行う。更に、表示領域３上に被写体となる物体が存在しない状態とする。

次に、バックライト装置５の光源６の点灯と検出光源部７による検出光の照射とを行い、このときに第１の撮像ユニット〜第４の撮像ユニットが出力する撮像データを取得する。このとき取得された撮像データ、即ち上記状態で撮像部４１ａ〜４４ｂの固体撮像素子３２に入射した光量成分が、オフセット成分となる。オフセット成分の設定は、表示装置の工場出荷段階で行うこともできるし、使用を開始した後にユーザが随時行うこともできる。

また、表示成分を算出するための基準データの設定は、例えば次の手順によって行なうことができる。先ず、表示装置１１０の設置環境下において、表示領域３上に被写体となる物体が存在しない状態とする。次に、外光成分が表示パネル２を介して撮像部４１ａ〜４４ｂに入射したときに、これらが出力する撮像データの最大値および最小値、即ち、表示パネル２が白表示状態時及び黒表示状態にある時の撮像データを取得する。次に、取得された撮像データから、表示装置１１０の設置環境下における、外光成分の入射による表示成分の出力幅を算出する。このとき算出された出力幅のデータが、表示成分を算出するためのデータ（基準データ）となる。上述した設定作業は、表示装置１１０の使用環境が同じであれば、設置時に一度行えばそれで良い。

また、表示成分は、表示装置１１０を使用している状況下で、映像信号から得られる表示画像の階調レベルと、予め算出された出力幅（基準データ）とから算出される。上述した表示成分の除去は、具体的には、次の手順によって行われる。先ず、ノイズ除去部１０２は、外部装置１０８から出力された映像信号から、表示画像の階調レベルを抽出し、抽出した階調レベルと基準データとから表示成分を算出する。次に、ノイズ除去部１０２は、このとき各撮像ユニットが出力した撮像データから表示成分を減算する。また、上述のように、表示成分は、表示領域に表示される画像によって変動することから、表示状態の変化に応じて随時表示成分を算出する必要がある。

また、画像認識部１０３は、ノイズ除去が行われた画像データに基づいて、被写体の画像及び位置を特定し、これらを画像データとして外部装置１０８へと出力する。外部装置１０８は、入力された画像データを用いて各種の処理を行い、処理が反映された映像信号を表示制御部１０７へと出力する。外部装置１０８が行う処理としては、例えば、外部装置１０８がパーソナルコンピュータであるならば、カーソルの移動処理やクリック動作処理等が挙げられる。更に、表示制御部１０７は、映像信号に基づいて制御信号を生成し、これを表示パネル２の駆動回路（図示せず）に出力する。

次に、撮像ユニット及び制御装置で行われる処理について図６を用いて説明する。図６は、図１及び図２に示す表示装置で行われる処理を示す流れ図である。図６に示す処理は、撮像部４１ａ〜４１ｂが撮像を行う度に、つまり、１フレーム毎に実施される。

図６に示すように、先ず、画像入力制御部１０５が第１の撮像ユニット〜第４の撮像ユニットに撮像データの出力を指示すると、全ての撮像部４１ａ〜４４ｂは撮像を行い、撮像した画像を対応する画像選択部４５〜４８に出力する（ステップＳ１）
次に、各画像選択部は、対応する撮像部が撮像した画像について、輝度が閾値以上となった画素の数を計測する（ステップＳ２）。続いて、各画像選択部は、対応する撮像部が撮像した画像について、ステップＳ２で計測した値を比較する（ステップＳ３）。例えば、画像選択部４６は、撮像部４２ａが撮像した画像と撮像部４２ｂが撮像した画像とを比較する。

次に、各画像選択部は、輝度が閾値以上となっている画素の数が少ない方の画像を、撮像対象とする領域の画像として選択し（ステップＳ４）、選択した画像（選択画像）を画像入力制御装置１０５に出力する（ステップＳ５）。この後、上述したように、画像入力制御部１０５は、第１の撮像ユニット〜第４の撮像ユニット毎に、メモリ１０６に選択画像の撮像データを一旦記憶させ、その後、各撮像データを画像処理装置１００に出力する。

なお、輝度が閾値以上となっている画素が両方の画像において存在しない場合は、画像選択部が、例えば、ステップＳ４において、最高輝度と最低輝度の比、即ちコントラスト比の高い方の画像を選択する態様としても良い。この態様によれば、後述の画像処理における処理を行い易いものとできる。

更に、表示領域３の垂直方向の辺に沿って配置された撮像部といったように、予め優先的に選択される撮像部を設定しておき、輝度が閾値以上となっている画素が存在しない場合は、優先順位が高い撮像部が撮像した画像が選択されるようにしても良い。また、上述したコントラスト比の比較を行い、コントラスト比が同じである場合に、優先順位が高い撮像部が撮像した画像が選択される態様であっても良い。なお、撮像部の優先順位は、表示パネルの大きさや、表示装置の用途等を鑑みて適宜設定できる。

次に、画像合成部１０１は、画像合成を行い、選択画像を一つの画像とし、得られた一つの画像の画像データをノイズ除去部１０２に出力する（ステップＳ６）。更に、ノイズ除去部１０２は、上述のノイズ除去を行い、ノイズが除去された画像の画像データを画像認識部１０３に出力する（ステップＳ７）。その後、画像認識部１０３は、ノイズが除去された画像の中から、被写体の画像とその位置とを特定し、位置情報と共に被写体の画像の画像データを外部装置１０８へと出力する（ステップＳ８）。

以上のステップＳ１〜Ｓ８により、被写体１の撮像は終了する。なお、ステップＳ１〜Ｓ８は、設定された回数で連続して行われる場合もあるし、画像入力部１０５が指示を行ったときのみ行われる場合もある。

以上のように、本実施の形態１における表示装置において、表示領域３内の撮像対象となる領域が複数の撮像部によって撮像され、撮像された各画像のうち白とびが少ない画像が当該領域の撮像画像とされる。このため、本実施の形態１における表示装置によれば、外部から表示領域に指向性が高い光が入射した場合に、撮像画像に白とびが生じるのを抑制できる。

本実施の形態１において、制御装置１０９は、例えば、ＣＰＵを内蔵したＩＣチップによって提供できる。ＩＣチップは、例えば、ＦＰＣを介して表示パネル２に接続された基板上に搭載できる。この場合、ＩＣチップに内蔵されたＣＰＵは、表示制御部１０７、画像入力制御部１０５、及び画像処理装置１００として機能することができる。また、画像選択部４５は、ＣＰＵを内蔵したＩＣチップによっても提供できるし、カウンタ回路と比較回路とを内蔵したＩＣチップによっても提供できる。

（実施の形態２）
次に、本発明の実施の形態２における表示装置について、図７〜図１１を参照しながら説明する。最初に、本実施の形態２における表示装置の全体構成について図７〜図９を用いて説明する。

図７は、本発明の実施の形態２における表示装置の概略構成を示す断面図である。図８は、図７に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。図９は、図７及び図８に示した撮像部の概略構成を示す断面図である。

図７及び図８に示すように、本実施の形態２における表示装置は、撮像部５１ａ〜５４ａを備えており、この点で、実施の形態１における表示装置と異なっている。なお、この点以外については、本実施の形態２における表示装置は、実施の形態１における表示装置と同様に構成されている。以下、相違点について説明する。

図９に示すように、撮像部５１ａ〜５４ｂにおいては、実施の形態１において図３に示した撮像部４１ａ〜４４ｂと異なり、レンズ素子３４と、固体撮像素子３２とによってシフト光学系が構成されていない。本実施の形態２においては、レンズ素子３４及び固体撮像素子３２は、レンズ素子３４の光軸３４ａと固体撮像素子３２の受光面の中心を通る法線３２ａとが一致するように、フレーム３５に保持されている。

このため、撮像部５１ａ〜５４ｂは、図１及び図２に示すように、撮像方向を撮像対象となる領域に向けて傾斜させた状態で配置されている。なお、本実施の形態２では、撮像方向は、レンズ素子３４の光軸３４ａと固体撮像素子３２の受光面の中心を通る法線３２ａとに一致する。

このように、本実施の形態２では、撮像部５１ａ〜５５ｂにおいてシフト光学系が採用されていないため、実施の形態１に比べて、結像光学系を構成するレンズ系の小径化や、結像光学系の簡略化を図ることができ、更には、設計コストの低減を図ることができる。但し、撮像部５１ａ〜５５ｂにおいて、シフト光学系を採用していないため、各撮像部が撮像した画像は、台形状に歪んでしまう。このため、本実施の形態２においては、後述するように、制御装置によって、台形状に歪んだ撮像画像が矩形状に補正される。

ここで、本実施の形態２における制御装置による画像処理について説明する。先ず、制御装置の構成について図１０を用いて説明する。図１０は、図７及び図８に示す表示装置に備えられた制御装置の構成を示すブロック図である。図１１は、図７及び図８に示す表示装置で行われる処理を示す流れ図である。

図１０に示すように、本実施の形態２における制御装置１０９は、画像処理装置１００が、画像補正部１０４を備えており、この点で、実施の形態１における制御装置と異なっている。本実施の形態２においては、画像入力制御部１０５が出力した各撮像ユニットの撮像データについて、先ず、画像補正部１０４によって台形歪みの補正が行われ、その後、画像合成、オフセット成分及び表示成分の除去（ノイズ除去）、画像認識が行われる。

つまり、本実施の形態２においては、図１１に示すように、画像選択部４５〜４８が選択画像の撮像データを出力すると（ステップＳ５）、画像補正部１０４が各選択画像の歪みの補正を行い（ステップＳ９）、その後、実施の形態１と同様に、ステップＳ６〜Ｓ８が実行される。

具体的には、画像補正部１０４は、台形状の撮像画像の上底、下底、高さを算出する。上底、下底、高さの算出は、撮像部５１ａ〜５４ｂの位置、撮像領域の大きさ及び位置から算出できる。また、上底、下底、高さの算出は、予め表示領域３に複数個の目印を配置しておき、撮像画像に含まれる目印に基づいて行うこともできる。

次に、画像補正部１０４は、撮像画像の上底及び下底のうち短い方が大きい方と同じになるように、走査線の位置に応じて倍率を変えながら、撮像画像を拡大する。また、走査線方向に垂直な方向（高さ方向）については、画像補正部１０４は、高さが本来の高さとなるように、撮像画像を拡大又は縮小する。なお、本来の高さは、撮像領域の大きさから予め設定される。

このように、本実施の形態２においては、撮像部５１ａ〜５１ｂにおいてシフト光学系を採用しないことによる問題は、撮像後の画像処理によって解消している。また、本実施の形態２においても、表示領域３上にある被写体１の光学像は結像光学系によって受光面に結像される。よって、本実施の形態２における表示装置を用いた場合も、実施の形態１と同様に、従来比べて鮮明な光学像を得ることができ、高解像度の画像の取り込みを達成できる。更に、本実施の形態２においても、各撮像ユニットが複数の撮像部を備えているため、外部から表示領域に指向性が高い光が入射した場合に、撮像画像に白とびが生じるのを抑制できる。

本発明において「結像光学系」とは、表示パネルの表面近傍と撮像部の受光面とに焦点を有し、表示パネルの表面近傍の像を受光面に結像させるレンズ系をいう。よって、図３及び図９の例では、結像光学系は、レンズ素子のみによって構成されているが、複数のレンズ素子を備えたレンズ群で構成されていても良い。但し、図３に示したシフト光学系を構成する場合は、結像光学系は、斜め光が蹴られずにレンズ系を透過するように設計されている必要がある。この場合、結像光学系は、シフト光学系が構成されない場合に比べて、大口径のレンズ系によって構成する必要がある。

また、本発明において、一つの撮像ユニットが備える撮像部の数は、特に限定されるものでない。一つの撮像部が、３個以上の撮像部を備える態様であっても良い。撮像部の数は、撮像対象とする領域の大きさや、撮像可能な範囲を考慮して適宜設定できる。更に、一つの表示領域に配置される撮像ユニットの数も限定されるものではない。一つの表示領域に対して一つの撮像ユニットが配置された態様であっても良い。また、一つの表示領域が実施の形態１及び２に示した４分割以外の数に分割された場合、分割数に合わせて複数個の撮像ユニットを配置すれば良い。

以上のように、本発明の表示装置は、入力機能を備えており、パーソナルコンピュータ、テレビ、ゲーム機器等の表示装置として有用であり、産業上の利用可能性を有している。

図１は、本発明の実施の形態１における表示装置の概略構成を示す断面図である。 図２は、図１に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。 図３は、図１及び図２に示した撮像部の概略構成を示す断面図である。 図４は、図１及び図２に示した検出光源部の概略構成を示す図であり、図４（ａ）は検出光の出射方向に沿って切断した断面図、図４（ｂ）は正面図である。 図５は、図１及び図２に示す表示装置に備えられた制御装置の構成を示すブロック図である。 図６は、図１及び図２に示す表示装置で行われる処理を示す流れ図である。 図７は、本発明の実施の形態２における表示装置の概略構成を示す断面図である。 図８は、図７に示す表示装置を構成する撮像部と表示パネルとの位置関係を示す平面図である。 図９は、図７及び図８に示した撮像部の概略構成を示す断面図である。 図１０は、図７及び図８に示す表示装置に備えられた制御装置の構成を示すブロック図である。 図１１は、図７及び図８に示す表示装置で行われる処理を示す流れ図である。

符号の説明

１ 被写体
２ 表示パネル
２ａ フィルタ基板
２ｂ 液晶層
２ｃ アクティブマトリクス基板
３ 表示領域
５ バックライト装置
６ 蛍光ランプ
７ 検出光源部
８ 筐体
９ 拡散板
１０ 拡散シート
１１ プリズムシート
１２ 反射／偏光シート
１３ 光学層
２０ 表示装置のフレーム
２１ 検出光源部の光源
２２ 検出光源部フレーム
２３ 固定部材
２４ 導光路
３０、３４ レンズ素子（結像光学系）
３０ａ、３４ａ 光軸
３１ 光学フィルタ
３２ 固体撮像素子
３２ａ 固体撮像素子の受光面の中心を通る法線
３３、３５ 撮像部のフレーム
４１ａ、４１ｂ 撮像領域Ａを撮像する撮像部
４２ａ、４２ｂ 撮像領域Ｂを撮像する撮像部
４３ａ、４３ｂ 撮像領域Ｃを撮像する撮像部
４４ａ、４４ｂ 撮像領域Ｄを撮像する撮像部
４５〜４８、５５〜５８ 画像選択部
５１ａ、５１ｂ 撮像領域Ａを撮像する撮像部
５２ａ、５２ｂ 撮像領域Ｂを撮像する撮像部
５３ａ、５３ｂ 撮像領域Ｃを撮像する撮像部
５４ａ、５４ｂ 撮像領域Ｄを撮像する撮像部
１００ 画像処理装置
１０１ 画像合成部
１０２ ノイズ除去部
１０３ 画像認識部
１０４ 画像補正部
１０５ 画像入力制御部
１０６ メモリ
１０７ 表示制御部
１０８ 外部装置
１０９ 制御装置
１１０ 表示装置

Claims (8)

1. 光透過性を有する表示パネルと、撮像ユニットとを備え、
   前記撮像ユニットは、結像光学系を有する複数の撮像部と、画像選択部とを備え、
   前記複数の撮像部それぞれは、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する光を受光して、前記表示パネルの表示領域内の同一の領域における観察者側の状態を撮像し、
   前記画像選択部は、前記複数の撮像部それぞれが撮像した画像を互いに比較し、輝度が閾値を超えた画素が最も少ない画像を選択し、選択した画像のデータを外部に出力することを特徴とする表示装置。
2. 前記表示パネルの観察者側へ検出光を出射する検出光源部を備え、
   前記複数の撮像部それぞれが、観察者側から前記表示パネルに入射し、且つ、前記表示パネル及び前記結像光学系を通過する前記検出光を受光して、前記表示領域内の同一の領域における観察者側の状態を撮像する請求項１に記載の表示装置。
3. 前記複数の撮像部は、前記表示パネルの裏側における、前記表示パネルの厚み方向において前記表示領域と重なる領域の周辺に、前記複数の撮像部のうちの一部の撮像部の撮像方向と、他の一部の撮像部の撮像方向とが、観察者側から見たときに交差するように配置されている請求項１または２に記載の表示装置。
4. 前記撮像ユニットを複数個備え、
   前記複数個の撮像ユニットそれぞれは、前記表示領域内の異なる領域を撮像対象とし、
   各撮像ユニットに備えられた前記複数の撮像部は、それらを備える撮像ユニットが撮像対象としている領域の観察者側の状態を撮像する請求項１に記載の表示装置。
5. 前記複数個の撮像ユニットそれぞれの撮像対象となる領域のうち、隣接する領域同士が部分的に重なり合っている請求項４に記載の表示装置。
6. 前記検出光源部が、７００ｎｍ以上の波長の光を出射し、
   前記複数の撮像部それぞれが、７００ｎｍ以上の波長の光のみを受光する請求項２に記載の表示装置。
7. 前記検出光源部が、８００ｎｍ以上１０００ｎｍ以下の波長の光を照射し、
   前記複数の撮像部それぞれが、８００ｎｍ以上の波長の光のみを受光する請求項６に記載の表示装置。
8. 前記表示パネルが、液晶表示パネルまたはＥＬ表示パネルである請求項１〜請求項７のいずれかに記載の表示装置。

Images