JP5181792B2 - 表示装置および検出方法 - Google Patents

Description

本発明は、光量検出によって被検出物が表示画面にタッチしたか否か等を検出する技術に関する。

近年、液晶パネルのような表示装置の画素内に光センサを配置させ、光により表示画面から情報の入力を可能にしたものが開発されている。この表示装置の画素内における光センサは、例えばフォトダイオードとキャパシタとを有し、フォトダイオードでの受光量に応じてキャパシタの電荷量を変化させ、キャパシタの両端の電圧を検出することによって、当該光センサの受光量を検出する構成となっている。
このような構成において、指が表示画面にタッチしたか否かの判別精度や、座標位置の算出精度を高めるために、撮影された画像のエッジを検出するとともに、当該エッジ画像を用いて物体が表示画面にタッチしたか否かを判別する技術が提案されている（例えば特許文献１参照）。
特開２００６−２４４４４６号公報

しかしながら、上記技術では、パネル面にタッチしたときに指が膨らんだ状態を検出して、タッチ操作がなされたと判別するので、指以外の弾力性のない被検出物のタッチを判別することができない。
本発明は、このような事情に鑑みてなされたもので、その目的の一つは、弾力性のない被検出物が表示画面にタッチしたか否かを検出することが可能な表示装置および検出方法を提供することにある。

上記目的を達成するために本発明に係る表示装置は、画像を表示画面に表示する複数の表示画素と、前記表示画素に応じて設けられ、各々が入射光量を検出する第１光センサおよび第２光センサと、前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、前記第１光センサ及び第２光センサを用いて第１期間にそれぞれ検出した第１検出結果及び第２検出結果を記憶する記憶回路と、前記第１期間の後の第２期間に、前記第１光センサ及び第２光センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較する比較回路と、この比較結果に基づいて、被検出物が表示画面にタッチしたか否かを判別する判別回路と、を具備することを特徴とする。本発明によれば、被検出物が表示画面にタッチしたのを第１および第２センサの検出結果から判別する。
本発明において、光学部材として遮光部材やレンズ層などが適用可能である。ここで、光学部材として遮光部材を用いる場合、当該光学部材は、前記第２方向から前記第１光センサに入射する光を遮るとともに、前記第１方向から前記第２光センサに入射する光を遮る構成が好ましい。さらに、前記遮光部材は、前記第１および第２光センサの隣接境界において開口する開口部を有する構成としても良く、特に、前記表示画素の視認または背面方向からみたときに、前記第１および第２光センサに対する前記遮光部材の開口部の中心線は、前記第１および第２光センサの隣接境界線に一致した構成とするのが好ましい。
また、本発明において、前記複数の表示画素の間を遮光するブラックマトリクスを有し、前記ブラックマトリクスが前記遮光部材を兼用する構成としても良い。
一方、光学部材としてレンズ層を用いる場合、当該レンズ層は、前記第１および第２光センサの入射側に設けられ、前記入射側に凸のレンズ層である構成が好ましい。これにより光センサの検出精度を向上させることが可能となる。

なお、本発明は、表示装置のみならず、表示装置の検出方法としても概念することが可能である。検出方法として概念する場合、前記第１光センサにより検出される像と前記第２光センサにより検出される像とが接近する場合であって像の移動速度が異なるとき、移動速度の小さい方の像を検出した光センサの入射方向から被検出物が接近している判別しても良いし、前記第１光センサにより検出される像と前記第２光センサにより検出される像との距離が予め定められた閾値よりも小さくなったときに、被検出物が表示画面にタッチしたと判別しても良い。

以下、本発明の実施形態について図面を参照して説明する。
この実施形態に係る表示装置は、例えばカー・ナビゲーション・システムの表示部分であり、車両のダッシュボード中央に配置するものである。なお、この説明において運転席側および助手席側は、車両の進行方向に向かって右側を運転席側（左側を助手席側）とした右ハンドル車を基準としている。このため、逆に表示装置からみると、左側が運転席側（右側が助手席側）となる。

図１は、この表示装置１の構成を示す図である。なお、カー・ナビゲーション・システムのうち、表示および入力以外の構成については、本発明とは直接関係しないので省略している。
この図に示されるように、表示装置１は、制御回路１０、Ｙドライバ１２、Ｘドライバ１４、Ｙドライバ１６、読出回路１８、判別回路２０および表示パネル１００を有する。
このうち、表示パネル１００では、画素１１０がマトリクス状に配列している。

ここで、画素１１０について、図２を参照して説明する。
画素１１０は、実際には、図１に示されるようにマトリクス状に配列するが、図２は、マトリクス状に配列する画素のうち、任意の１つの画素を抜き出して示すものである。
なお、マトリクス状の配列において、走査線１１２がＸ方向に延在して１行分の画素１１０で共用され、データ線１１４がＹ方向に延在して１列分で共用されている。同様に、制御線１４２、１４３がＸ方向に延在して１行分で共用され、読出線１４４Ｒ、１４４Ｌの対がＹ方向に延在して１列分で共用されている。

図２に示されるように、画素１１０は、表示系１２０と、光センサ１３０Ｒ、１３０Ｌとに分かれている。
このうち、表示系（表示画素）１２０は、ｎチャネル型のトランジスタ１２２と液晶素子１２４と蓄積容量１２６とを有する。トランジスタ１２２のゲート電極は走査線１１２に接続され、ソース電極がデータ線１１４に接続され、ドレイン電極は液晶素子１２４の一端たる画素電極と蓄積容量１２６の一端とに共通接続されている。液晶素子１２４の他端は、電圧Ｖcomに保たれるとともに、各画素１１０にわたって共通接続されたコモン電極１２８である。
なお、本実施形態では、蓄積容量１２６の他端についても、各画素１１０について電圧Ｖcomに保たれているので、電気的にみてコモン電極１２８に共通接続されているものとして扱っている。

液晶素子１２４は、透過型であり、周知のように、トランジスタ１２２のドレイン電極に接続された画素電極と各画素１１０にわたって共通なコモン電極とで液晶を挟持して、画素電極とコモン電極とで保持された電圧の実効値に応じた透過率となる。
このような液晶素子１２４において、走査線１１２がしきい値以上の電圧に相当するＨレベルになると、トランジスタ１２２がオン状態となって、データ線１１４に供給された電圧が画素電極に印加される。このため、走査線１１２がＨレベルとなったときに、データ線１１４を階調に応じた電圧にすると、液晶素子１２４には、当該階調に応じた電圧と電圧Ｖcomとの差電圧が書き込まれる。なお、走査線１１２がＬレベルになると、トランジスタ１２２がオフするが、液晶素子１２４に書き込まれた差電圧は、液晶素子１２４自体の電圧保持性および並列接続された蓄積容量１２６によって保持されるので、液晶素子１２４は、保持した差電圧に応じた透過率となる。

光センサ１３０Ｒ、１３０Ｌの電気的な構成は互いに共通である。このため、光センサ１３０Ｒを例にとって説明すると、当該光センサ１３０Ｒは、トランジスタ１３１、１３２、１３３と、ｐｉｎ型の光ダイオード１３４と、センサ容量１３５とを有する。トランジスタ１３１は、センサ容量１３５に電圧をプリチャージさせるものであり、そのゲート電極は制御線１４２に接続され、そのソース電極は電圧Ｐreを給電する給電線に接続され、そのドレイン電極は光ダイオード１３４のカソード、センサ容量１３５の一端およびトランジスタ１３２のゲート電極にそれぞれ接続されている。光ダイオード１３４とセンサ容量１３５とは、トランジスタ１３１のドレイン電極（トランジスタ１３２のゲート電極）と、電圧基準の接地電位Ｇndとの間で並列接続されている。トランジスタ１３２のソース電極は電位Ｇndに接地され、そのドレイン電極は、読み出し用のトランジスタ１３３のソース電極に接続されている。トランジスタ１３３のゲート電極は制御線１４３に接続され、そのドレイン電極は読出線１４４Ｒに接続されている。

ここで、光ダイオード１３４の受光層は、トランジスタ１２２、１３１、１３２、１３３の能動層と同層で形成されている。詳細には、光ダイオード１３４は、ｐ層、ｉ層、ｎ層からなるｐｉｎ構造を有するが、これらの層は、トランジスタ１２２、１３１、１３２、１３３の能動層と同層で形成されている。これにより、トランジスタ１２２の形成工程により、トランジスタ１３１、１３２、１３３および光ダイオード１３４も併せて形成することが可能となる。

光センサ１３０Ｒにおいて、まず、制御線１４２がＨレベルになると、トランジスタ１３１がオンするので、センサ容量１３５に電圧Ｐreがプリチャージされる。制御線１４２がＬレベルになってトランジスタ１３１がオフすると、光ダイオード１３４には、入射光量が多くなるにつれて逆バイアス方向にリーク電流が多く流れるので、センサ容量１３５の保持電圧がプリチャージ電圧Ｐreから減少する。詳細には、センサ容量１３５の一端は、光ダイオード１３４のリーク電流が少なければほぼプリチャージ電圧Ｐreを維持し、リーク電流が多くなるにつれて電圧ゼロに近づく。
このとき、読出線１４４Ｒを所定電圧にプリチャージした後、制御線１４３をＨレベルにすると、トランジスタ１３３がオンするので、トランジスタ１３２のドレイン電極が読出線１４４Ｒに接続される。光ダイオード１３４への入射光量が少なく、センサ容量１３５の一端がほぼプリチャージ電圧Ｐreに保たれているのであれば、トランジスタ１３２がほぼオン状態となるので、読出線１４４Ｒはプリチャージ電圧から電圧ゼロに向かって急激に変化する。一方、光ダイオード１３４への入射光量が多く、センサ容量１３５の一端がリーク電流によってほぼ電圧ゼロであれば、トランジスタ１３２がほぼオフ状態になるので、読出線１４４Ｒはプリチャージ電圧からほとんど変化しない。

したがって、制御線１４２をＨレベルからＬレベルとし、その後、制御線１４３をＨレベルにしたときに、読出線１４４Ｒがプリチャージ電圧から変化するか否かによって、制御線１４２（１４３）と読出線１４４Ｒとの交差に対応する光センサ１３０Ｒに対して入射光量が多いか、少ないかを判別することができる。
なお、ここでは光センサ１３０Ｒについて説明しているが、光センサ１３０Ｌについても同様である。すなわち、制御線１４２をＨレベルからＬレベルとし、その後、制御線１４３をＨレベルにしたときに、読出線１４４Ｌがプリチャージ電圧から変化するか否かによって、制御線１４２（１４３）と読出線１４４Ｌとの交差に対応する光センサ１３０Ｌに対して入射光量が多いか、少ないかを判別することができる。

図２において、走査線１１２、制御線１４２、１４３は、すべての異なる場合について説明したが、一部を兼用することが可能である。同様に、データ線１１４、電圧Ｐreの給電線は、すべて異なる場合について説明したが、一部を兼用することが可能である。
また、実施形態では、１つの表示系１２０に対して１組の光センサ１３０Ｒ、１３０Ｌを有する構成としているが、例えば４つの表示系１２０に対して１組の光センサ１３０Ｒ、１３０Ｌというように、例えば複数個の表示系に対して１組としても良いし、また、２つの表示系１２０に対して１組の光センサ１３０Ｒ、１３０Ｌを設けても良い。

説明を図１に戻すと、制御回路１０は、Ｙドライバ１２、Ｘドライバ１４、Ｙドライバ１６および読出回路１８を制御するものである。
Ｙドライバ１２は、制御回路１０による制御にしたがって、表示パネル１００における走査線１１２を順番に選択して、選択した走査線にＨレベルとし、それ以外の走査線をＬレベルとするものである。Ｘドライバ１４は、選択された走査線に位置する画素１１０の階調に応じた電圧を、データ線１１４に印加するものである。
なお、Ｘドライバ１４は、図示省略した上位制御回路から表示すべき画像信号の供給を受け、これを表示に適合させた電圧に変換してデータ線に供給する。

Ｙドライバ１６は、制御回路１０による制御にしたがって、表示パネル１００における制御線１４２をＨレベルからＬレベルとした後、対をなす制御線１４３をＨレベルとする動作を、画素１１０の１行ずつ順番に実行するものである。
検出回路を兼用する読出回路１８は、各列の読出線１４４Ｒ、１４４Ｌをプリチャージした後に電圧を読み出して、読み出した電圧がプリチャージ電圧から変化したか否かを検出するものである。詳細には、読出回路１８は、読出線の電圧がプリチャージ電圧から電圧ゼロに変化すれば、当該読出線の列と、Ｙドライバ１６において制御対象となっている行とで規定される画素の光センサへの入射光量が多いと検出し、読出線の電圧がプリチャージ電圧から変化しなければ、当該読出線の列と制御対象となっている行とで規定される画素の光センサへの入射光量が少ないと検出する。

したがって、走査線１１２を順番に選択するとともに、選択された走査線に位置する画素の階調に応じた電圧をデータ線１１４に印加することにより、表示系１２０の液晶素子１２４に当該階調に応じた電圧を保持させることができる。
一方、制御線１４２、１４３を順番に一対（行）ずつ制御するとともに、各行の制御の都度、各列の読出線１４４Ｒ、１４４Ｌの電圧変化を判別することにより、光センサへの入射光量の大小を、全画素分について検出することができる。
なお、制御線１４２、１４３を１行目から最終行目まで制御するのに要する期間をセンサフレーム期間と称する。この実施形態では、走査線１１２と、制御線１４２・１４３とは、別個独立させているので、センサフレームの期間は、画像の表示に要する垂直走査期間とは無関係である。

判別回路２０は、光センサ１３０Ｒ、１３０Ｌの検出結果の全画素分について数フレームの期間分記憶するとともに、その記憶内容から後述する手順にしたがって表示パネル１００への操作状態を判別するものである。したがって、判別回路２０は、記憶回路、比較回路の機能も兼用することになる。

図３は、表示パネル１００の上方向を紙面上方向として背面方向（観察方向の反対側）からみたときに、画素１１０のマトリクス配列に対する遮光部材（ブラックマトリクス）の配置を示す平面図である。この図では、表示パネル１００の背面方向（すなわち、後述する図６の下側）からみているので、左側が運転席側となり、右側が助手席側となる。なお、観察側からみたときは、図３において左右反転となる。
図１や図３に示されるように、画素１１０は、縦および横方向に連続して配置したマトリクス配列となっている。
ここで、１つの画素１１０についての表示系１２０は矩形形状であり、また、光センサ１３０Ｒ、１３０Ｌの１組は、表示系１２０の下方において横方向に並んで配列している。

遮光部材１５０は、図３においてハッチングで付されているように配置している。すなわち、遮光部材１５０は、表示系１２０の形状に合わせた開口部１５２と、光センサ１３０Ｒ、１３０Ｌに合わせた矩形形状の開口部１５４とを有している。図３において、光センサ１３０Ｒ、１３０Ｌが交互に配置されている。そして、図３の左より光センサ１３０Ｒ、１３０Ｌの順に並ぶ箇所では、光センサ１３０Ｒと１３０Ｌに跨るように遮光部材１５０が設けられている。一方、図３の左より光センサ１３０Ｌ、１３０Ｒの順に並ぶ箇所では、光センサ１３０Ｌと１３０Ｒに跨るように開口部１５４が設けられている。ここで、図３のように、同じ画素１１０における光センサ１３０Ｒ、１３０Ｌの境界と、遮光部材１５０における矩形形状の中心線１３８とが一致するように、遮光部材１５０が設けられる。また、遮光部材１５０は、同じ画素１１０に含まれる光センサ１３０Ｒ、１３０Ｌの境界線を含むように開口する開口部１５４を有し、隣接する画素１１０における光センサ１３０Ｌ、１３０Ｒの境界を遮光する構成となっていてもよい。

図４は、表示パネル１００の上方向を紙面手前方向として表示パネル１００の断面構成を示す図である。遮光部材１５０は、この図に示されるように、光センサ１３０Ｒ、１３０Ｌよりも観察側に設けられるので、光センサ１３０Ｒは、運転席側に向かって開口し、助手席側に向かう方向が遮光され、反対に、光センサ１３０Ｌは、助手席側に向かって開口し、運転席側に向かう方向が遮光される。このため、光センサ１３０Ｒは、助手席側方向からの光を入射せずに、運転席側方向からの光を入射し、光センサ１３０Ｌは、運転席側方向からの光を入射せずに、助手席側方向からの光を入射する。
なお、光センサ１３０Ｒへの入射光線の延長線は運転席に集約され、光センサ１３０Ｌへの入射光線の延長線は助手席に集約されるようにするため、光センサ１３０Ｒ、１３０Ｌのピッチｐや、光センサに対する遮光部材１５０の開口部の幅Ｗを、表示パネル１００の中央から両端に向かうにつれて変化させても良い。
また、本実施形態のように液晶素子１２４を透過型とする場合や、後述する半透過半反射型とする場合、バックライトにより照射された光が液晶素子１２４を透過する。このときに、バックライトによる照射光がトランジスタ１２４の能動層および光ダイオード１３４の受光層に入射しないように、上記遮光部材１５０とは異なる層による遮光膜が、能動層（受光層）とバックライトとの間に設けられる。

次に、このような光センサ１３０Ｒ、１３０Ｌを用いて、表示パネル１００への操作を検出する原理について説明する。図６は、表示パネル１００の上方からみたときに、指のような被検出物を球体として、その接近を示す図であり、図７は、その接近における光量変化を示す図である。
まず、比較的外部が明るい状態において、表示パネル１００から運転席側・助手席側にかけて指のような被検出物が存在するとき、当該被検出物の影が生じ、すなわち背景に対して暗くなる部分が生じて、光センサ１３０Ｒ、１３０Ｌによって検出される。一方、夜間やトンネル走行などのように比較的外部が暗い場合、バックライト（図示省略）による照射光が被検出物で反射して、光センサ１３０Ｒ、１３０Ｌに入射するので、被検出物による像は、背景に対して逆に明るくなる。
このため、外部が明るい場合にも暗い場合にも、光量が背景部分と比較して減少・増加した部分のうち、光センサ１３０Ｒにより特定されるものをＲ像、光センサ１３０Ｌにより特定されるものをＬ像として扱えば良いことになる。

次に、図６に示されるように、被検出物が助手席側から表示パネル１００に接近する場合に、当該指が（ａ）、（ｂ）、（ｃ）の地点を経る、と考えられる。この場合に、光センサ１３０Ｒにより特定されるＲ像、および、光センサ１３０Ｌにより特定されるＬ像は、図７の（ａ）、（ｂ）、（ｃ）で示されるようなものとなることが考えられる。
すなわち、被検出物が表示パネル１００に接近するにつれて、Ｒ像とＬ像とは互いに近づき、被検出物が表示パネル１００に触れた状態に至ると、Ｒ像とＬ像とはほぼ重なる、と考えられる。
ここで、被検出物が表示パネル１００に助手席側から接近する場合であれば、Ｒ像とＬ像との移動速度を比較したとき、Ｒ像の移動速度の方がＬ像の移動速度よりも大きくなると考えられる。反対に、図示はしていないが、被検出物が表示パネル１００に運転席側から接近する際にＲ像とＬ像との移動速度を比較したとき、Ｌ像の移動速度の方がＲ像の移動速度よりも大きくなると考えられる。
また、図６（ｂ）から（ｄ）までに示されるように、被検出物が表示パネル１００に対して等距離を保った状態で平行移動したとき、図８に示されるように、Ｒ像、Ｌ像も移動するが、Ｒ像とＬ像との距離は一定値を保ち変化しない、と考えられる。

なお、光センサ１３０Ｒ、１３０Ｌが検出する光の入射方向は互いに異なり、また、遮光部材１５０と光センサ１３０Ｒ、１３０Ｌとの距離は、遮光部材１５０と表示パネル１００の表面（タッチ面）との距離と比較して極めて小さい。このため、光センサ１３０Ｒ、１３０Ｌとでは一種の視差が生じて、被検出物が表示パネル１００に触れた状態にあっても、Ｒ像とＬ像とが完全に重なることはない。
例えば、実際の表示パネル１００において、画素１１０の配列ピッチを４０μｍとしたとき、光センサ１３０Ｒ、１３０Ｌのピッチｐは２０μｍとなる。このとき、図４に示されるように、液晶層の厚み（光センサと遮光部材との距離）ｄを５μｍ、観察側基板の厚さＤをその１００倍の５００μｍとしたとき、パネル表面に被検出物が位置しているときのＲ像とＬ像との視差ｑはセンサピッチｐの１００倍の２０００μｍとなる。
このため、Ｒ像とＬ像とがずれていても、その差が２０００μｍ程度以内であれば、被検出物が表示パネル１００に触れた状態にある、と判別して良いことになる。

図５は、この検出手順を具体的に示すフローチャートである。
判別回路２０は、まず、光センサ１３０Ｒ、１３０Ｌの検出結果を全画素分について取得したとき、ステップＳａ１において、当該検出結果を、次回のステップＳａ１を実行するときの比較のために記憶するとともに、１センサフレーム期間前に取得した検出結果を読み出し、今回と前回とを比較して、状態変化が発生しているか否かを判別する。なお、光センサ１３０Ｒ、１３０Ｌの検出結果を全画素分について取得するとしたが、全ての画素でなくてもよい。
ステップＳａ１がはじめて実行される場合には、１センサフレーム期間前に取得した結果が記憶されていないので、１センサフレーム分記憶してから上記判別を行うものとする。

変化していないと判別すれば、「Ｎｏ」となって、１センサフレーム期間が経過したときの次回に備える。一方、変化していると判別すれば「Ｙｅｓ」となって、処理手順は、ステップＳａ２に移行する。
なお、このステップＳａ１の実行タイミングは、光センサ１３０Ｒ、１３０Ｌの検出結果を全画素分について取得したときである。したがって、本実施形態では、ステップＳａ１は、センサフレームの期間周期で実行される。

判別回路２０は、ステップＳａ１において判別した状態変化がＲ像またはＬ像の移動であるか否かを判別する（ステップＳａ２）。
ここで、状態変化がＲ像またはＬ像の移動でなければ、それは指等の被検出物の動きに以外による状態変化である。このため、判別回路２０は、判別結果を「Ｎｏ」として、１センサフレーム期間が経過したときの次回に備える。
一方、ステップＳａ２において状態変化がＲ像またはＬ像の移動であるとき、判別回路２０は、判別結果を「Ｙｅｓ」として、Ｒ像およびＬ像の同士の距離が、前回と比較して変化したか否かを判別する（ステップＳａ３）。

Ｒ像およびＬ像の同士の距離が変化していなければ、すなわち一定であれば、図８の（ｂ）から（ｄ）に示したように、それは、指が表示パネル１００に対して等距離を保った状態で平行移動したときの動作であるから、判別回路２０は、判別結果を「Ｎｏ」であるとして、１センサフレーム期間が経過したときの次回に備える。
一方、ステップＳａ３においてＲ像およびＬ像の同士の距離が変化していると判別すれば、判別回路２０は、さらに、当該距離の変化が縮小方向であるか否かを（ステップＳａ４）。

当該距離の変化が縮小方向になければ、すなわち拡大であれば、それは、指（被検出物）が表示パネル１００から離れる動作である。このため、判別回路２０は、ステップＳａ４における判別結果が「Ｎｏ」として、ステップＳａ６において被検出物が表示パネル１００から離反する動作であると判別し、この後、１センサフレーム期間が経過したときの次回に備える。
一方、当該距離の変化が縮小方向にあれば、それは、指が表示パネル１００に接近する動作である。このため、判別回路２０は、ステップＳａ４における判別結果が「Ｙｅｓ」として、ステップＳａ５において被検出物が表示パネル１００に接近する動作であると判別し、さらに、ステップＳａ７において、Ｌ像の移動距離がＲ像の移動距離と比較して小さいか否かを判別する。
なお、本実施形態では、指が表示パネル１００から離反する動作であると判別したとき（ステップＳａ６）または指が表示パネル１００に接近する動作であると判別したときに、その判別のみでは、なんら制御を実行しないが、例えば、表示画面を変更するような制御を実行させても良い。

Ｌ像の移動距離がＲ像の移動距離よりも小さければ、それは、被検出物が助手席側から接近していることを示している。このため、判別回路２０は、判別結果を「Ｙｅｓ」として、ステップＳａ８において被検出物が助手席側から接近している旨を判別する。
一方、Ｌ像の移動距離がＲ像の移動距離よりも小さくなければ、それは、被検出物が運転席側から接近してことを示している。このため、判別回路２０は、判別結果を「Ｎｏ」として、ステップＳａ９において被検出物が運転席側から接近している旨を判別する。

そして、ステップＳａ８またはＳａ９の後、判別回路２０は、図７（ｃ）に示されるようなＲ像とＬ像との距離ｎが視差を考慮して予め設定した閾値よりも小さいか否かを判別する（ステップＳａ１０）。Ｒ像およびＬ像の距離が閾値よりも小さければ、判別回路２０は、ステップＳａ１１において、被検出物が表示パネル１００にタッチしたものと判別して、所定の制御を実行する。例えば、判別回路２０は、例えばタッチされたと判別すると、Ｒ像の重心とＬ像の重心との中間座標を、タッチ中心座標として算出し、その座標と、タッチ操作された旨とをカー・ナビゲーション・システムを上位制御回路に通知する。
これにより、当該タッチ操作に合わせた処理が実行される。なお、このタッチ操作に合わせた処理としては、例えば、表示画面を切り替える、映像・ラジオなどの制御する、タッチ操作がなされた座標がアイコン表示位置に一致していれば、当該アイコンに応じた処理を実行する、などが考えられる。ステップＳａ１１の後、処理手順がステップＳａ１に戻り、センサフレーム期間が経過したときの次回の判別に備える。
一方、Ｒ像とＬ像との距離が閾値以上であれば、被検出物が表示パネル１００に接近するものの、表示パネルに未だタッチしていないことを意味する。このため、判別回路２０は、１センサフレーム期間が経過したときの次回に備える。
このように、判別回路２０は、光センサ１３０Ｒ、１３０Ｌの検出結果が全画素分について取得される毎に、ステップＳａ１〜Ｓａ１１の処理を繰り返し実行する。

このようなステップＳａ１〜Ｓａ１１の処理において、運転席側および助手席側に着座している者が表示パネル１００に対して指等を接近させると、ステップＳａ１〜Ｓａ４の判別結果がいずれも「Ｙｅｓ」となる。さらに、助手席側からの接近であれば、ステップＳａ７の判別結果が「Ｙｅｓ」となり、運転席側からの接近であれば、ステップＳａ７の判別結果が「Ｎｏ」となる。そして、指等が表示パネル１００に触れる程度にまで近づくと、ステップＳａ１０の判別結果が「Ｙｅｓ」となり、近づいていなければ、ステップＳａ１０の判別結果が「Ｎｏ」となる。
なお、なんら動作をしなければ、あるいは、接近または離反動作を停止するなどして、１センサフレーム前と状態変化がなければ、ステップＳａ１の判別結果が「Ｎｏ」となる。また、なんらかの動作をしても、表示パネル１００に対して等距離を保った状態で指等をパネル面に対して平行移動したとき、ステップＳａ３の判別結果が「Ｎｏ」となる。
さらに、状態変化があっても、Ｒ像およびＬ像の距離が拡大する方向に変化していれば、指等が表示パネル１００から離れる動作であるとして判別される（ステップＳａ５）。
また、ここでは、Ｒ像、Ｌ像の距離変化を判別対象としているが、この距離変化は、１センサフレーム前との比較において求めるものであるから、Ｒ像、Ｌ像の移動速度を検出していることと実質的に等しい。したがって、Ｒ像、Ｌ像の移動速度を直接求めて、比較対象としても良い。

このように本実施形態では、光センサ１３０ＲによるＲ像および光センサ１３０ＬによるＬ像の時間的な変化によって、いずれの方向から指等が接近・離反しているのかを検出している。さらに、Ｒ像とＬ像との距離が閾値よりも小さくなったとときに、タッチ操作がなされたと判別しているので、被検出物の弾力性は必要でない。このため、本実施形態では、硬質のタッチペンなどによるタッチ操作についても判別が可能である。

なお、本実施形態では、１画素において光センサ１３０Ｒ、１３０Ｌの１組を設けているが、タッチ時における画像のエッジの広がりは無関係であるので、光センサの配列密度は、それほど要求されない。このため、上述したように、複数画素に対して１組の割合で光センサ１３０Ｒ、１３０Ｌを設けても良い。また、１センサフレームにおいて、一部の画素についてのみ、光センサ１３０Ｒ、１３０Ｌの検出結果を取得するようにしても良い。

また、上述したように本実施形態では、指等の接近・離反のみならず、表示パネル１００に対して等距離を保った状態での平行移動を検出することができる。詳細には、上記ステップＳａ３における判別結果が「Ｎｏ」となって、その状態が所定のセンサフレーム数だけ連続したときに、指等が表示パネル１００に対して等距離を保った状態で平行移動したことを検出することができる。さらに、そのＬ像、Ｒ像における移動方向、移動量を求めて、指等の平行移動方向、移動量も検出することができる。
このため、表示する画像を、検出した平行移動の操作、および、平行移動量に応じて変更制御、例えば地図画像やメニュー画面のスクロール方向、スクロール量を制御しても良い。

実施形態では、光センサ１３０Ｒに対して、助手席側に向かう方向からの光を遮断し、運転席側の方向からの光を入射させ、光センサ１３０Ｌに対して、運転席側方向からの光を遮断し、助手席側の方向からの光を入射させる機能を実現する光学部材の一例として、遮光部材１５０を例示したが、同様な機能は、遮光部材１５０以外であっても実現することができる。例えば、遮光部材１５０に代えて、図９に示されるようにレンズ層１６０を用いても実現することができる。ここで、レンズ層１６０は、図において上に凸であって紙面垂直方向に延在する断面半円筒形状のレンズを、光センサ１３０Ｒ、１３０Ｌの１列毎に配置したレンチキュラーレンズ１６０ａと、層部分１６０ｂとを含む。ここで、各レンズにおいて最も突出すべき部分が平面的に形成されており、この平面部分が表示パネル１００を構成する観察側の透明基板１０２に接触している。なお、透明基板１０２における接触面のうち、レンチキュラーレンズ１６０ａとの間隙が層部分１６０ｂであり、その屈折率は、レンチキュラーレンズ１６０ａを構成する材質の屈折率よりも低くなるように設定されている。
このようなレンズ層１６０によれば、レンチキュラーレンズ１６０ａにおいて突出すべき部分が平面的に形成されているので、層の厚みを小さくすることができる上に、光センサ１３０Ｒに対して運転席側の方向からの光をより多く光センサ１３０に入射させ、光センサ１３０Ｌに対して助手席側の方向からの光をより多く入射させることができるので、検出感度を向上させることも可能となる。
なお、図９に示されるように、図３において開口部１５４に対応する部分は、レンズ形状にする必要がなく、平坦部にしてもよい。すなわち、図９において、光センサ１３０Ｒ、１３０Ｌが交互に配置されている。そして、図９の左より光センサ１３０Ｒ、１３０Ｌの順に並ぶ箇所では、レンズ形状が設けられている。一方、図９の左より光センサ１３０Ｌ、１３０Ｒの順に並ぶ箇所では、光センサ１３０Ｌと１３０Ｒに跨るように平坦部が設けられている。光センサ１３０Ｌもしくは光センサ１３０Ｒとの位置関係により、この平坦部に対応する箇所に入射する光は、その光の方向が制限される。また、図９の左より光センサ１３０Ｒ、１３０Ｌの順に並ぶ箇所では、レンズにより光の方向が制限される。

実施形態における光ダイオード１３４の受光層については、アモルファスシリコン層で形成しても良い。詳細には、光ダイオードの第１電極を、トランジスタ１３１等のソース・ドレイン電極と同層で形成し、光ダイオードの受光層を第１電極の上に設けたアモルファスシリコン層で形成し、光ダイオードの第２電極を、画素電極と同層で形成して、第１電極、受光層、第２電極を縦方向（基板垂直方向）に揃えて設けても良い。このような光ダイオードは、受光層となるアモルファスシリコン層を追加するのみで形成することが可能となる。

実施形態において、遮光部材１５０については、ブラックマトリクスで兼用した構成としたが、液晶素子１２４を反射型または半透過半反射型とする場合には、反射層をパターニングして用いても良い。

さらに、表示系１２０を１種類のみとしたが、運転席側方向にのみ例えばナビゲーション画像を表示させるものと、助手席側方向にのみ他の画像を表示させるものとの２種類用意して、それぞれ異なる画像を表示させても良い。
ここで、運転席側方向と助手席側方向とで異なる画像を表示させる場合に、助手席側からタッチ操作がなされたと判別したとき、運転席側方向の画像の変更を禁止して、助手席側方向の画像だけを変更し、反対に、運転席側からタッチ操作がなされたと判別したとき、助手席側方向の画像の変更を禁止して、運転席側方向の画像だけを変更する構成が好ましい。このような構成によれば、タッチ操作をした者への画像だけが変更制御されるので、タッチ操作がなされた方向と変更制御される画像との食い違いを防止することが可能となる。
また、画素の配列はいわゆる１行において半画素分シフトさせたモザイク配列として、表示解像度を改善しても良い。

なお、上述した実施形態では、指等が表示パネル１００に触れた状態と同視できる場合にタッチ操作がなされたと判断したが、閾値を若干大きくして、ある程度まで至近距離に達した段階で、すなわち、いずれかの方向からの指等が接近したことを検出した段階でタッチ操作がなされたと判断しても良い。
また、上述した実施形態では、表示パネル１００を液晶表示装置として説明したが、他の表示装置、例えば有機ＥＬ装置や、プラズマディスプレイ装置などにおいて、各画素に同様な光センサ１３０Ｒ、１３０Ｌを組み込むことによって、同様に接近方向およびタッチ操作を検出することが可能である。
表示装置を適用した電子機器機としては、上述したカー・ナビゲーション・システムのほかにも、携帯電話機や、デジタルスチルカメラや、テレビ、ビューファインダ型、モニタ直視型のビデオテープレコーダ、カーナビゲーション装置、ページャ、電子手帳、電卓、ワードプロセッサ、ワークステーション、テレビ電話、ＰＯＳ端末などのように、タッチ操作を検出する必要のある機器等などが挙げられる。

本発明の実施形態に係る表示装置の構成を示す図である。 同表示装置の画素の一例を示す図である。 同表示装置における画素と遮光部材との配置を示す図である。 同表示装置における光学的な経路を示す図である。 同表示装置における操作検出を示すフローチャートである。 同表示装置における操作検出を示す図である。 同表示装置における操作検出を示す図である。 同表示装置における操作検出を示す図である。 同表示装置における光センサとレンズ層と位置関係を示す図である。

符号の説明

１０…制御回路、１２、１６…Ｙドライバ、１４…Ｘドライバ、１８…読出回路、２０…判別回路、１１０…画素、１１２…走査線、１１４…データ線、１２０…表示系、１２４…液晶素子、１３０Ｒ、１３０Ｌ…光センサ、１３４…光ダイオード、１４２、１４３…制御線、１４４Ｒ、１４４Ｌ…読出線、１５０…遮光部材

Claims (10)

1. 画像を表示画面に表示する複数の表示画素と、
   前記表示画素に応じて設けられ、各々が入射光量を検出する第１光センサおよび第２光センサと、
   前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、
   前記第１光センサ及び第２光センサを用いて第１期間にそれぞれ検出した第１検出結果及び第２検出結果を記憶する記憶回路と、
   前記第１期間の後の第２期間に、前記第１光センサ及び第２光センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較する比較回路と、
   この比較結果に基づいて、被検出物が表示画面にタッチしたか否かを判別する判別回路と、
   を具備することを特徴とする表示装置。
2. 前記光学部材は、前記第２方向から前記第１光センサに入射する光を遮るとともに、前記第１方向から前記第２光センサに入射する光を遮る遮光部材である
   ことを特徴とする請求項１に記載の表示装置。
3. 前記遮光部材は、前記第１および第２光センサの隣接境界において開口する開口部を有する
   ことを特徴とする請求項２に記載の表示装置。
4. 前記表示画素の視認または背面方向からみたときに、前記第１および第２光センサに対する前記遮光部材の開口部の中心線は、前記第１および第２光センサの隣接境界線に一致している
   ことを特徴とする請求項３に記載の表示装置。
5. 前記複数の表示画素の間を遮光するブラックマトリクスを有し、
   前記ブラックマトリクスが前記遮光部材を兼用する
   ことを特徴とする請求項２に記載の表示装置。
6. 前記光学部材は、前記第１および第２光センサの入射側に設けられ、前記入射側に凸のレンズ層である
   ことを特徴とする請求項１に記載の表示装置。
7. 画像を表示画面に表示する複数の表示画素と、
   前記表示画素に対応して設けられ、各々が入射光量をそれぞれ検出する第１光センサおよび第２光センサと、
   前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、
   を有する表示装置における検出方法であって、
   第１期間において、前記第１光センサ及び第２光センサを用いてそれぞれ検出した第１検出結果及び第２検出結果を記憶し、
   前記第１期間の後の第２期間に、前記第１光センサ及び第２光センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較し、
   この比較結果に基づいて、被検出物が表示画面にタッチしたか否かを判別する
   ことを特徴とする検出方法。
8. 前記第１乃至４検出結果に基づいて、前記第１光センサにより検出される像と前記第２光センサにより検出される像とが接近していると判断した場合には、
   前記第３検出結果を第１検出結果と比較した際に、前記第１光センサにより検出される像の移動速度を求め、
   前記第４検出結果を第２検出結果と比較した際に、前記第２光センサにより検出される像の移動速度を求め、
   前記第１光センサにより検出される像の移動速度が前記第２光センサにより検出される像の移動速度よりも小さい場合には、第１方向から被検出物が接近していると判別し、
   前記第２光センサにより検出される像の移動速度が前記第１光センサにより検出される像の移動速度よりも小さい場合には、第２方向から被検出物が接近していると判別する
   ことを特徴とする請求項７に記載の検出方法。
9. 前記第１光センサにより検出される像と前記第２光センサにより検出される像との距離が予め定められた閾値よりも小さくなったときに、被検出物が表示画面にタッチしたと判別する
   ことを特徴とする請求項７に記載の検出方法。
10. 画像を表示画面に表示する複数の表示画素と、
    前記表示画素に対応して設けられ、各々が入射光量をそれぞれ検出する第１光センサおよび第２光センサと、
    前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、
    を有する表示装置における検出方法であって、
    第１期間において、前記第１光センサ及び第２光センサを用いてそれぞれ検出した第１検出結果及び第２検出結果を記憶し、
    前記第１期間の後の第２期間に、前記第１光センサ及び第２光センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較し、
    この比較結果に基づいて、被検出物が接近、離反、あるいは平行移動のいずれを行ったかを判別する
    ことを特徴とする検出方法。

Images