JP5232924B2 - 表示装置及び表示装置の制御方法 - Google Patents

Description

本発明は、表示装置に関し、特に、表示パネルに複数の光センサを設けた表示装置に関する。

近年、指やペンなどで画面に触れることにより操作可能な電子機器が普及している。また、表示画面内のタッチ位置を検出する方法として、表示パネルに複数の光センサを設け、指などが画面に接近したときにできる影像や反射像を光センサを用いて検知する方法が知られている。また、表示データにかかわらず高い精度でタッチ位置を検出するために、表示装置に赤外光を出射する赤外バックライトを設け、赤外光による反射像を光センサを用いて検知する方法も知られている。

このような光センサ付き表示装置には、赤外バックライト以外にも、光センサから読み出した信号をデジタル信号に変換するＡ／Ｄ変換器や、得られたデジタル信号に基づきタッチ位置を求める認識処理部などが設けられる。このため、光センサ付き表示装置には、光センサを備えていない表示装置と比べて消費電力が大きいという問題がある。

そこで、消費電力を削減する方法の１つとして、光センサ付き表示装置に通常モードと待機モードを設け、待機モードでは認識処理部を停止するとともに、回路の動作を停止させたり、回路の動作速度を遅くしたりする方法が考えられる。これに関連して、日本特開２００６−２０１７６３号公報には、表示パネルに光感知部と接触感知部を設けた表示装置において、接触感知部からの出力信号に基づき、所定時間接触しなかったと判断したときに待機モードに移行し、接触したと判断したときに通常モードに移行することが記載されている。

日本特開２００６−２０１７６３号公報

しかしながら、日本特開２００６−２０１７６３号公報に記載の表示装置は、指が接触感知部に感知されたときに、待機モードから通常モードに移行する。言い換えると、この表示装置は、指が画面に接近しても、指が画面に接触するまでは、待機モードのままである。このため、この表示装置には、待機モードから通常モードに移行するタイミングが遅いために、待機モードを脱出してタッチ位置を検出するまでに時間がかかるという問題がある。

この点、光感知部によって指を感知すれば速やかに待機モードを脱出することができるが、待機モードのままで光感知部により指が感知されたか否かを判定することは困難であり、特に低照度環境下では、光感知部により感知されるべき照度変化がより小さくなるため、上記判定はより困難となる。すなわち、待機モードにおいても画像の表示は行われるので、特に低照度環境下では画像表示に起因するノイズによって誤判定が生じやすくなる。

それ故に、本発明は、誤判定が抑制されかつ速やかに待機モードを脱出してタッチ位置を素早く検出できる光センサ付き表示装置を提供することを目的とする。

本発明の第１の局面は、複数の光センサを備えた表示装置であって、
２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
少なくとも１つの単位期間毎に与えられる表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部と、
通常モードか待機モードかを判定し、通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるモード制御部と、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第１の比較対象画像を記憶する画像記憶部とを備え、
前記モード制御部は、前記第１の比較対象画像が記憶される時点での単位期間を第１番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも１つにおいて前記光センサから読み出した信号に基づく第２の比較対象画像が、前記第１の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。

本発明の第２の局面は、本発明の第１の局面において、
前記モード制御部は、前記第２の比較対象画像を、前記奇数番目の単位期間の少なくとも１つと、偶数番目の単位期間の少なくとも１つとにおいてそれぞれ前記光センサから読み出した信号に基づく２つ以上の画像を平均化することにより得ることを特徴とする。

本発明の第３の局面は、本発明の第２の局面において、
前記モード制御部は、連続する２つの単位期間においてそれぞれ前記光センサから読み出した信号に基づく２つの画像を平均化することにより、前記第２の比較対象画像を得ることを特徴とする。

本発明の第４の局面は、本発明の第１の局面において、
前記モード制御部は、前記奇数番目の単位期間において前記光センサから読み出した信号に基づく画像を前記第２の比較対象画像とし、前記奇数番目の単位期間毎に、前記第１の比較対象画像から前記第２の比較対象画像が変化したか否かを判定することを特徴とする。

本発明の第５の局面は、本発明の第４の局面において、
前記画像記憶部は、前記第１番目の単位期間に続く第２番目の単位期間において、前記光センサから読み出した信号に基づく第３の比較対象画像をさらに記憶し、
前記モード制御部は、偶数番目の単位期間において前記光センサから読み出した信号に基づく画像を第４の比較対象画像とし、前記第４の比較対象画像が前記第３の比較対象画像から所定以上変化し、かつ前記第２の比較対象画像が前記第１の比較対象画像から所定以上変化したと判定される場合に待機モードから通常モードに移行することを特徴とする。

本発明の第６の局面は、本発明の第１の局面において、
前記駆動回路は、前記単位期間が偶数番目であるか奇数番目であるかを示す識別ビットを出力し、
前記モード制御部は、前記駆動回路から出力される識別ビットに基づき、前記光センサから読み出した信号に基づく画像が奇数番目の単位期間におけるものであるか否かを識別することを特徴とする。

本発明の第７の局面は、本発明の第１の局面において、
前記モード制御部は、前記第１の比較対象画像と前記第２の比較対象画像とを画素毎に比較し、当該画素値の差が第１の閾値以上である画素の個数が第２の閾値以上であるときに、待機モードから通常モードに移行することを特徴とする。

本発明の第８の局面は、本発明の第１の局面において、
前記比較対象画像は、前記認識対象画像よりも少ない画素数を有することを特徴とする。

本発明の第９の局面は、本発明の第８の局面において、
前記比較対象画像は、前記認識対象画像から画素値を間引いた画像であることを特徴とする。

本発明の第１０の局面は、本発明の第１の局面において、
前記駆動回路は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を前記光センサから読み出すことを特徴とする。

本発明の第１１の局面は、２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部とを備えた表示装置の制御方法であって、
表示データに応じた信号を前記画素回路に書き込むステップと、
受光量に応じた信号を前記光センサから読み出すステップと、
通常モードか待機モードかを判定するステップと、
通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるステップと、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第１の比較対象画像を記憶するステップとを備え、
前記判定するステップでは、前記第１の比較対象画像が記憶される時点での単位期間を第１番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも１つにおいて前記光センサから読み出した信号に基づく第２の比較対象画像が、前記第１の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。

上記本発明の第１または第１１の局面によれば、通常モードか待機モードかを判定し、待機モードでは認識処理部の動作を停止させることにより、表示装置の消費電力を削減することができる。また、光センサから読み出した信号に基づく比較対象画像が待機モードに移行したときから所定以上変化したときに通常モードに移行することにより、検知対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。さらに、第１の比較対象画像が記憶される時点での単位期間を第１番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも１つにおいて光センサから読み出した信号に基づく第２の比較対象画像が、第１の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行するので、（典型的には表示のための駆動により生じる電位変動の結果）単位期間毎に光センサの光量の検出量が異なることがあっても誤判定を抑制することができる。

上記本発明の第２の局面によれば、第２の比較対象画像が２つ以上の画像を平均化することにより得られるので、偶数番目の単位期間および奇数番目の単位期間で、それぞれ生じるべき電位変動等による光センサにおける光量の検出量のずれが平均化され、上記ずれによる誤検知を抑制または解消することができる。

上記本発明の第３の局面によれば、連続する２つの単位期間において得られる２つの画像が平均化されるので、連続する偶数番目の単位期間および奇数番目の単位期間で、それぞれ生じるべき電位変動等によるずれを完全にまたは大きく相殺することができ、上記ずれによる誤検知を大きく抑制または解消することができる。

上記本発明の第４の局面によれば、第１番目の単位期間において記憶される第１の比較対象画像と偶奇を合わせた奇数番目の単位期間において光センサから読み出した信号に基づく画像を第２の比較対象画像とするので、上記電位変動等によるずれの量または方向が同一または類似する画像同士で比較されることになり、簡単な構成で誤検知を抑制または解消することができる。

上記本発明の第５の局面によれば、画像記憶部により第１番目および第２番目の単位期間において第１および第３の比較対象画像がそれぞれ記憶され、これらと偶奇を合わせた単位期間において光センサから読み出した信号に基づく第２または第４の比較対象画像が比較されるので、上記ノイズによる誤検知を確実に抑制または解消することができる。

上記本発明の第６の局面によれば、単位期間が偶数番目であるか奇数番目であるかを示す識別ビットに基づき、光センサから読み出した信号に基づく画像が奇数番目の単位期間におけるものであるか否かが識別されるので、一般的な識別ビットを利用した簡易な構成で誤検知を抑制または解消することができる。

上記本発明の第７の局面によれば、２枚の比較対象画像を画素ごとに比較し、画素値の差が第１の閾値以上である画素の個数が第２の閾値以上であるときに通常モードに移行することにより、検知対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。

上記本発明の第８の局面によれば、認識対象画像よりも画素数が少ない比較対象画像を用いてモード判定処理を行うことにより、モード判定処理に必要なメモリ量と計算量を削減することができる。

上記本発明の第９の局面によれば、認識対象画像から画素値を間引いた画像を比較対象画像とすることにより、平均値算出処理などを行うことなく、比較対象画像を容易に生成することができる。

上記本発明の第１０の局面によれば、待機モードでは駆動回路の動作速度を遅くすることにより、モード判定処理に必要な比較対象画像を生成しながら、表示装置の消費電力を削減することができる。

本発明の第１の実施形態に係る液晶表示装置の構成を示すブロック図である。 上記実施形態に係る液晶表示装置の液晶パネルの詳細な構成を示すブロック図である。 上記実施形態に係る液晶表示装置のタイミングチャートである。 上記実施形態における液晶パネルの断面とバックライトの配置位置を示す図である。 上記実施形態における影像を検知する方法の原理を示す図である。 上記実施形態における反射像を検知する方法の原理を示す図である。 上記実施形態における指の影像を含むスキャン画像の例を示す図である。 上記実施形態における指の影像と指の腹の反射像を含むスキャン画像の例を示す図である。 上記実施形態におけるモード制御部の動作を示すフローチャートである。 上記実施形態における間引き画像比較部の詳細な構成を示すブロック図である。 本発明の第２の実施形態に係る液晶表示装置における間引き画像比較部の詳細な構成を示すブロック図である。 本発明の第３の実施形態に係る液晶表示装置の構成を示すブロック図である。 本発明の第３の実施形態に係る液晶表示装置におけるモード制御部の動作を示すフローチャートである。 上記実施形態における間引き画像比較部の詳細な構成を示すブロック図である。

＜１． 第１の実施形態＞
＜１．１ 全体的な構成および動作＞
図１は、本発明の第１の実施形態に係る液晶表示装置の構成を示すブロック図である。図１に示す液晶表示装置１０は、センサ内蔵液晶パネル１１（以下、単に液晶パネルという）、表示データ処理回路１２、Ａ／Ｄ変換器１３、センサデータ処理回路１４、および、バックライト１５を備えている。液晶パネル１１は、パネル駆動回路１６と画素アレイ１７を含んでいる。画素アレイ１７には、複数の画素回路１と複数の光センサ２が２次元状に設けられる。

液晶表示装置１０には、外部から表示データＤ１が入力される。表示データ処理回路１２は、表示データＤ１に対して必要に応じて色補正処理やフレームレート変換処理などを行い、表示データＤ２を出力する。パネル駆動回路１６は、画素回路１に対して表示データＤ２に応じた電圧を書き込む。これにより、液晶パネル１１には表示データＤ２に基づく画像が表示される。

バックライト１５は、バックライト電源回路（図示せず）から供給された電源電圧に基づき、液晶パネル１１の背面に光（バックライト光）を照射する。バックライト１５は、白色光を出射する白色バックライト１８と、赤外光を出射する赤外バックライト１９とを含んでいる。白色バックライト１８は画像表示のために設けられ、赤外バックライト１９はタッチ位置の検出のために設けられている。

パネル駆動回路１６は、画素回路１に電圧を書き込む動作に加えて、光センサ２から受光量に応じた電圧を読み出す動作を行う。光センサ２の出力信号（以下、センサ出力信号という）は、液晶パネル１１の外部に出力される。Ａ／Ｄ変換器１３は、アナログのセンサ出力信号をデジタル信号に変換する。

センサデータ処理回路１４は、スキャン画像生成部２１、認識処理部２２、ホストインターフェイス部２３（以下、ホストＩ／Ｆ部２３という）、モード制御部２４、間引き画像メモリ２５、制御レジスタ２６、および間引き画像比較部２７を含んでいる。

スキャン画像生成部２１は、Ａ／Ｄ変換器１３から出力されたデジタル信号に基づき、デジタル画像（以下、スキャン画像という）を生成する。このスキャン画像には、液晶パネル１１の表面付近にある検知すべき物体（例えば、指やペンなど。以下、対象物という）の像が含まれていることがある。認識処理部２２は、スキャン画像に対して対象物を検知するための認識処理を行い、スキャン画像内での対象物の位置を求め、タッチ位置を示す座標データＣｏを出力する。認識処理部２２から出力された座標データＣｏは、ホストＩ／Ｆ部２３を経由してホスト（図示せず）に対して出力される。

図２は、液晶パネル１１の詳細な構成を示すブロック図である。図２に示すように、画素アレイ１７は、ｍ本の走査信号線Ｇ１〜Ｇｍ、３ｎ本のデータ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎ、および、（ｍ×３ｎ）個の画素回路１を備えている。これに加えて画素アレイ１７は、（ｍ×ｎ）個の光センサ２、ｍ本のセンサ読み出し線ＲＷ１〜ＲＷｍ、および、ｍ本のセンサリセット線ＲＳ１〜ＲＳｍを備えている。

走査信号線Ｇ１〜Ｇｍは、互いに平行に配置される。データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎは、走査信号線Ｇ１〜Ｇｍと直交するように互いに平行に配置される。センサ読み出し線ＲＷ１〜ＲＷｍとセンサリセット線ＲＳ１〜ＲＳｍは、走査信号線Ｇ１〜Ｇｍと平行に配置される。

画素回路１は、走査信号線Ｇ１〜Ｇｍとデータ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎの交点近傍に１個ずつ設けられる。画素回路１は、列方向（図２では縦方向）にｍ個ずつ、行方向（図２では横方向）に３ｎ個ずつ、全体として２次元状に配置される。画素回路１は、何色のカラーフィルタを設けるかによって、Ｒ画素回路１ｒ、Ｇ画素回路１ｇおよびＢ画素回路１ｂに分類される。これら３種類の画素回路は、Ｇ、Ｂ、Ｒの順に行方向に並べて配置され、３個で１個の画素を形成する。

画素回路１は、ＴＦＴ（Thin Film Transistor）３と液晶容量４を含んでいる。このＴＦＴ３は、例えば多結晶シリコンを用いて形成され、液晶容量４は後述する２つの電極により挟まれた液晶層で構成される。ＴＦＴ３のゲート端子は走査信号線Ｇｉ（ｉは１以上ｍ以下の整数）に接続され、ソース端子はデータ信号線ＳＲｊ、ＳＧｊ、ＳＢｊ（ｊは１以上ｎ以下の整数）のいずれかに接続され、ドレイン端子は液晶容量４の一方の電極である画素電極に接続される。また液晶容量４の他方の電極は、各画素に共通的に設けられる共通電極に接続される。この共通電極には、共通電極電圧が印加される。以下、Ｒ画素回路１ｒに接続されたデータ信号線ＳＲ１〜ＳＲｎをＲデータ信号線、Ｂ画素回路１ｂに接続されたデータ信号線ＳＢ１〜ＳＢｎをＢデータ信号線という。なお、画素回路１は補助容量を含んでいてもよい。

画素回路１の光透過率（サブ画素の輝度）は、画素回路１に書き込まれた電圧によって定まる。走査信号線Ｇｉとデータ信号線ＳＸｊ（ＸはＲ、Ｇ、Ｂのいずれか）に接続された画素回路１に或る電圧を書き込むためには、走査信号線Ｇｉにハイレベル電圧（ＴＦＴ３をオン状態にする電圧）を印加し、データ信号線ＳＸｊに書き込むべき電圧を印加すればよい。表示データＤ２に応じた電圧を画素回路１に書き込むことにより、サブ画素の輝度を所望のレベルに設定することができる。

ここで、一般な液晶表示装置では、液晶の劣化を抑えると共に表示品位を維持するために交流化駆動が行われている。本実施形態では、具体的には画素液晶への印加電圧の正負極性を１走査信号線毎かつ１フレーム毎にも反転させるいわゆるライン反転駆動方式が採用されるものとする。なお、上記ライン反転駆動方式に代えて、画素液晶への印加電圧の正負極性を１フレーム毎にのみ反転させる駆動方式であるフレーム反転駆動方式や、１走査信号線毎かつ１映像信号線毎に（さらに１フレーム毎にも）反転させるいわゆるドット反転駆動方式が採用されてもよい。

また本実施形態では、映像信号線の電圧の振幅を抑えるために、交流化駆動に応じて共通電極の電位をも変化させている。したがって、偶数番目のフレームと奇数番目のフレームとにおいて或る画素が同じ階調で表示されている場合であっても、当該画素に対応する画素電極の電位が大きく異なる。このことに起因して光センサ２に検出ノイズが生じる。詳しくは後述する。

光センサ２は、コンデンサ５、フォトダイオード６およびセンサプリアンプ７を含み、画素ごとに設けられる。コンデンサ５の一方の電極は、フォトダイオード６のカソード端子に接続される（以下、この接続点を節点Ｐという）。コンデンサ５の他方の電極はセンサ読み出し線ＲＷｉに接続され、フォトダイオード６のアノード端子はセンサリセット線ＲＳｉに接続される。センサプリアンプ７は、ゲート端子が節点Ｐに接続され、ドレイン端子がＲデータ信号線ＳＲｊに接続され、ソース端子がＢデータ信号線ＳＢｊに接続されたＴＦＴで構成される。

センサ読み出し線ＲＷｉやＢデータ信号線ＳＢｊなどに接続された光センサ２で光量を検知するためには、まず、センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉに所定の電圧（ここでは０Ｖ）を印加する。そうすればフォトダイオード６に順方向電流が流れ、コンデンサ５の蓄積電荷がリセットされる。その後、センサリセット線ＲＳｉに所定の負電圧を印加すると、フォトダイオード６に逆バイアスが生じる。そのため、フォトダイオード６に光が入射すると、入射光量に応じた電流がフォトダイオード６に流れ、節点Ｐの電圧は流れた電流の分だけ低下する。その後、所定のタイミングでセンサ読み出し線ＲＷｉに高い電圧を印加して節点Ｐの電圧を持ち上げ、センサプリアンプ７のゲート電圧を閾値以上にした上でＲデータ信号線ＳＲｊに電源電圧ＶＤＤを印加すると、節点Ｐの電圧はセンサプリアンプ７で増幅され、Ｂデータ信号線ＳＢｊには増幅後の電圧が出力される。したがって、Ｂデータ信号線ＳＢｊの電圧に基づき、光センサ２で検知された光量を求めることができる。

もっとも、光センサ２の近傍には画素電極が存在しており、フォトダイオード６のカソード端子に接続される節点Ｐとの間には寄生容量が存在する。そして画素電極の電位は、偶数番目のフレームと奇数番目のフレームとで大きく変化する場合がある。また、光センサ２の近傍には共通電極も存在しており、同様に節点Ｐとの間に寄生容量が存在する。そして共通電極の電位も同様に偶数番目のフレームと奇数番目のフレームとで変化する。

例えばノーマリブラック型の液晶表示装置では、最大階調である白表示の場合には画素電極と共通電極との電位差を最大にするため、画素電極へ印加される電位は共通電極電位とは逆方向に変化し、最小階調である黒表示の場合には画素電極と共通電極との電位差を最小にするため画素電極へ印加される電位は共通電極電位と同方向に変化する。したがって連続する２フレームで同一の画像が表示される場合でも、白表示を行う画素に対応する画素電極と、黒表示を行う画素に対応する画素電極とでは、隣接する偶数番目のフレームと奇数番目のフレームとにおいて電位変化の方向が逆であって、電位変動量の差が最も大きくなる。このような電位変動は、上記寄生容量を介して節点Ｐの電位を様々に変化させる。したがって、同一の光量が検知される場合であっても、偶数番目のフレームと奇数番目のフレームとで節点Ｐの電位は異なることがある。

このように、上記一定電圧が与えられた後、フォトダイオード６に光が入射することにより低下する節点Ｐの電圧は、当該フォトダイオード６に同一量の光が入射した場合であっても、偶数番目のフレームと奇数番目のフレームとで異なることがあり、Ｂデータ信号線ＳＢｊの電圧に基づき、求められた光センサ２で検知された光量は、上記変動分のノイズを含むことになる。そして低照度環境下では、このノイズにより誤検知が生じやすい。本実施形態ではその誤検知を解消することができる構成となっている。詳しくは後述する。

画素アレイ１７の周辺には、走査信号線駆動回路３１、データ信号線駆動回路３２、センサ行駆動回路３３、ｐ個（ｐは１以上ｎ以下の整数）のセンサ出力アンプ３４、出力制御回路３５、および、複数のスイッチ３６〜３９が設けられる。これらの回路は、図１ではパネル駆動回路１６に相当する。

データ信号線駆動回路３２は、３ｎ本のデータ信号線に対応して３ｎ個の出力端子を有する。Ｂデータ信号線ＳＢ１〜ＳＢｎとこれに対応したｎ個の出力端子との間にはスイッチ３６が１個ずつ設けられ、Ｒデータ信号線ＳＲ１〜ＳＲｎとこれに対応したｎ個の出力端子との間にはスイッチ３７が１個ずつ設けられる。Ｂデータ信号線ＳＢ１〜ＳＢｎはｐ本ずつのグループに分けられ、グループ内でｋ番目（ｋは１以上ｐ以下の整数）のＢデータ信号線とｋ番目のセンサ出力アンプ３４の入力端子との間にはスイッチ３８が１個ずつ設けられる。Ｒデータ信号線ＳＲ１〜ＳＲｎと電源電圧ＶＤＤとの間にはスイッチ３９が１個ずつ設けられる。図２に含まれるスイッチ３６〜３９の個数はいずれもｎ個である。

液晶表示装置１０では、１ライン時間（１水平同期期間）は、或る走査信号線が選択状態となっている間、対応する各画素回路に信号（表示データに応じた電圧信号）を書き込む（有効）表示期間と、当該或る走査信号線が非選択状態に遷移した時点から次の走査信号線が選択状態となるまでの間（この期間は帰線期間とも呼ばれる）、光センサからの信号（受光量に応じた電圧信号）の読み出しや、光センサ回路内をリセットするセンサ動作期間とに分割される。

ここで図２に示す回路は上記（有効）表示期間と帰線期間中のセンサ動作期間とで異なる動作を行う。すなわち、表示期間では、スイッチ３６、３７はオン状態、スイッチ３８、３９はオフ状態となる。これに対してセンサ動作期間では、スイッチ３６、３７はオフ状態、スイッチ３９はオン状態となり、スイッチ３８はＢデータ信号線ＳＢ１〜ＳＢｎがグループごとに順にセンサ出力アンプ３４の入力端子に接続されるように時分割でオン状態となる。

表示期間では、走査信号線駆動回路３１とデータ信号線駆動回路３２が動作する。走査信号線駆動回路３１は、タイミング制御信号Ｃ１に従い、走査信号線Ｇ１〜Ｇｍの中から１ライン時間ごとに１本の走査信号線を選択し、選択した走査信号線にはハイレベル電圧を印加し、残りの走査信号線にはローレベル電圧を印加する。データ信号線駆動回路３２は、表示データ処理回路１２から出力された表示データＤＲ、ＤＧ、ＤＢに基づき、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎを線順次方式で駆動する。より詳細には、データ信号線駆動回路３２は、表示データＤＲ、ＤＧ、ＤＢを少なくとも１行分ずつ記憶し、１ライン時間ごとに１行分の表示データに応じた電圧をデータ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する。なお、データ信号線駆動回路３２は、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎを点順次方式で駆動してもよい。

センサ動作期間では、センサ行駆動回路３３、センサ出力アンプ３４、および、出力制御回路３５が動作する。センサ行駆動回路３３は、タイミング制御信号Ｃ２に従い、センサ読み出し線ＲＷ１〜ＲＷｍとセンサリセット線ＲＳ１〜ＲＳｍの中から１ライン時間ごとに信号線を１本ずつ選択し、選択したセンサ読み出し線とセンサリセット線には所定の読み出し用電圧とリセット用電圧を印加し、それ以外の信号線には選択時と異なる電圧を印加する。センサ出力アンプ３４は、スイッチ３８によって選択された電圧を増幅し、センサ出力信号ＳＳ１〜ＳＳｐとして出力する。出力制御回路３５の動作については後述する。

図３は、液晶表示装置１０のタイミングチャートである。図３に示すように、垂直同期信号Ｖｓｙｎｃは１フレーム時間ごとにローレベルからハイレベルへ立ち上がる。また水平同期信号Ｈｓｙｎｃは１ライン時間ごとにローレベルからハイレベルへ立ち上がる。ここで前述したように、１ライン時間は表示期間とセンサ動作期間に分割される。

表示期間では、スイッチ３６、３７がオン状態になり、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎはいずれもデータ信号線駆動回路３２に接続される。最初の表示期間では、まず走査信号線Ｇ１の電圧がハイレベルになり、次の表示期間では走査信号線Ｇ２の電圧がハイレベルになり、それ以降は走査信号線Ｇ３〜Ｇｍの電圧が順にハイレベルになる。走査信号線Ｇｉの電圧がハイレベルである間、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎには、走査信号線Ｇｉに接続された３ｎ個の画素回路１に書き込むべき電圧が印加される。

センサ動作期間では、スイッチ３９がオン状態になり、スイッチ３８は時分割でオン状態になる。このため、Ｒデータ信号線ＳＲ１〜ＳＲｎには電源電圧ＶＤＤが固定的に印加され、Ｂデータ信号線ＳＢ１〜ＳＢｎは時分割でセンサ出力アンプ３４の入力端子に接続される。最初のセンサ動作期間では、まずセンサ読み出し線ＲＷ１が選択される。なお、前フレームにおいてセンサリセット線ＲＳ１が選択されてから本フレームにおいてセンサ読み出し線ＲＷ１が選択されるまでの間が光量を検出するためのセンシング期間となり、この期間中の受光量に応じた電圧が後述するように読み出される。次のセンサ動作期間ではセンサ読み出し線ＲＷ２とセンサリセット線ＲＳ１が選択され、それ以降はセンサ読み出し線ＲＷ３〜ＲＷｍとセンサリセット線ＲＳ２〜ＲＳ（ｍ−１）が１組ずつ順に選択され、最後にセンサリセット線ＲＳｍが選択される。選択されたセンサ読み出し線とセンサリセット線には、それぞれ、読み出し用電圧とリセット用電圧が印加される。センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉが選択されている間、Ｂデータ信号線ＳＢ１〜ＳＢｎには、センサ読み出し線ＲＷｉに接続されたｎ個の光センサ２で検知された光量に応じた電圧が出力される。なお、後述する待機モードでは、センサ読み出し線ＲＷ１〜ＲＷｍとセンサリセット線ＲＳ１〜ＲＳｍのうち、一部の信号線のみが１組ずつ順に選択される。また、上記Ｂデータ信号線ＳＢ１〜ＳＢｎに出力される、センサ読み出し線ＲＷｉに接続されたｎ個の光センサ２で検知された光量に応じた電圧は、同一の光量が与えられる場合であっても、前述したように偶数番目のフレームと奇数番目のフレームとで変動する場合がある。

図４は、液晶パネル１１の断面とバックライト１５の配置位置を示す図である。液晶パネル１１は、２枚のガラス基板４１ａ、４１ｂの間に液晶層４２を挟み込んだ構造を有する。一方のガラス基板４１ａには３色のカラーフィルタ４３ｒ、４３ｇ、４３ｂ、遮光膜４４、対向電極４５などが設けられ、他方のガラス基板４１ｂには画素電極４６、データ信号線４７、光センサ２などが設けられる。図４では、光センサ２に含まれるフォトダイオード６は、青色カラーフィルタ４３ｂを設けた画素電極４６の近傍に設けられている。ガラス基板４１ａ、４１ｂの対向する面には配向膜４８が設けられ、他方の面には偏光板４９が設けられる。液晶パネル１１の２枚の面のうちガラス基板４１ａ側の面が表面になり、ガラス基板４１ｂ側の面が背面になる。

液晶表示装置１０は、表示画面内のタッチ位置を検知するときに、影像を検知する方法と反射像（あるいは、影像と反射像の両方）を検知する方法のいずれかを使用する。図５Ａは影像を検知する方法の原理を示す図であり、図５Ｂは反射像を検知する方法の原理を示す図である。影像を検知する方法（図５Ａ）では、フォトダイオード６を含む光センサ２は、ガラス基板４１ａや液晶層４２などを透過した外光５１を検知する。このときに指などの対象物５３が液晶パネル１１の表面付近にあると、光センサ２に入射すべき外光５１が対象物５３によって遮られる。したがって、光センサ２を用いて、外光５１による対象物５３の影像を検知することができる。

反射像を検知する方法（図５Ｂ）では、フォトダイオード６を含む光センサ２は、バックライト光５２の反射光を検知する。より詳細には、バックライト１５から出射されたバックライト光５２は、液晶パネル１１を透過して液晶パネル１１の表面から外部に出る。このときに対象物５３が液晶パネル１１の表面付近にあると、バックライト光５２は対象物５３で反射する。例えば、人間の指の腹は光をよく反射する。バックライト光５２の反射光は、ガラス基板４１ａや液晶層４２などを透過して光センサ２に入射する。したがって、光センサ２を用いて、バックライト光５２による対象物５３の反射像を検知することができる。

また、上記２つの方法を併用すれば、影像と反射像の両方を検知することができる。すなわち、光センサ２を用いて、外光５１による対象物５３の影像と、バックライト光５２による対象物５３の反射像とを同時に検知することができる。

図６Ａおよび図６Ｂは、指の像を含むスキャン画像の例を示す図である。図６Ａに示すスキャン画像は指の影像を含み、図６Ｂに示すスキャン画像は指の影像と指の腹の反射像を含む。センサデータ処理回路１４は、このようなスキャン画像に対して画像認識処理を行い、タッチ位置を示す座標データＣｏを出力する。

以下、液晶表示装置１０における動作モードの切り替えについて説明する。液晶表示装置１０は、消費電力を削減するために通常モードと待機モードを有し、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりする。具体的には、通常モードでは、パネル駆動回路１６はすべての光センサ２から信号を読み出し、Ａ／Ｄ変換器１３はすべてのセンサ出力信号をデジタル値に変換し、認識処理部２２は認識処理を行い、赤外バックライト１９は点灯する。これに対して待機モードでは、パネル駆動回路１６は一部の光センサ２から信号を読み出し、Ａ／Ｄ変換器１３は一部のセンサ出力信号をデジタル値に変換し、認識処理部２２は動作を停止し、赤外バックライト１９は消灯する。

上記モード制御を行うために、センサデータ処理回路１４は、モード制御部２４、間引き画像メモリ２５、制御レジスタ２６、および間引き画像比較部２７を含んでいる。モード制御部２４は、通常モードか待機モードかを判定するモード判定処理、通常モードにおいて回路の動作を制御する通常モード制御処理、および、待機モードにおいて回路の動作を制御する待機モード制御処理を行う。間引き画像メモリ２５は、通常モードから待機モードに移行するときに、光センサ２から読み出した信号に基づく比較対象画像を記憶する画像記憶部として機能する。

制御レジスタ２６は、モード制御部２４の動作に必要な各種のパラメータを記憶している。具体的には、制御レジスタ２６は、第１の閾値ＴＨ１、第２の閾値ＴＨ２、第１のタイマー値ＴＭ１、第２のタイマー値ＴＭ２、抽出範囲ＥＲなどを記憶している。２個の閾値ＴＨ１、ＴＨ２および２個のタイマー値ＴＭ１、ＴＭ２はモード判定処理に使用され、抽出範囲ＥＲは待機モード制御処理に使用される。制御レジスタ２６に記憶されるパラメータは、ホストからホストＩ／Ｆ部２３を経由して設定される。

間引き画像比較部２７は、待機モード時において、間引き画像メモリ２５に記憶された間引き画像と、スキャン画像生成部２１から出力されるスキャン画像に基づき２フレーム分の間引き画像を平均化することにより生成した新たな間引き画像とを画素毎に比較し、画素値の差が制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを求める。また通常モードでは動作を停止する。この間引き画像比較部２７の詳しい構成については後述する。

なお、本実施形態において間引き画像比較部２７は、モード制御部２４とは独立した構成要素として記載しているが、モード制御部２４によって間引き画像比較部２７の全ての動作が行われてもよく、間引き画像比較部２７は広義のモード制御部に含まれるとも言える。このことは以下の各実施形態においても同様である。

このように間引き画像比較部２７により求められた個数Ｎは、モード制御部２４に与えられ、モード制御部２４により待機モードを解除するか否かが判定される。このような判定動作を含むモード制御部２４の動作について、図７を参照して詳しく説明する。

＜１．２ モード制御部の動作＞
図７は、モード制御部２４の動作を示すフローチャートである。モード制御部２４は、まず、制御レジスタ２６に記憶された第１のタイマー値ＴＭ１を設定してタイマーを起動する（ステップＳ１１）。次に、モード制御部２４は、通常モード制御処理を行う（ステップＳ１２）。ステップＳ１２では、モード制御部２４から出力される制御信号（図１に破線で示す信号）によって、認識処理部２２は動作を開始し、パネル駆動回路１６はすべての光センサ２から信号を読み出し、Ａ／Ｄ変換器１３はすべてのセンサ出力信号をデジタル値に変換し、赤外バックライト１９は点灯する。

次に、モード制御部２４は、認識処理部２２から座標データＣｏが出力されたか否かを調べる（ステップＳ１３）。モード制御部２４の処理は、座標データＣｏが出力されたときにはステップＳ１４へ進み、座標データＣｏが出力されていないときにはステップＳ１５へ進む。前者の場合、モード制御部２４は、制御レジスタ２６に記憶された第１のタイマー値ＴＭ１を設定してタイマーを再起動し（ステップＳ１４）、ステップＳ１３の処理へ進む。後者の場合、モード制御部２４は、タイマーがタイムアウトしたか否かを調べる（ステップＳ１５）。タイマーがタイムアウトしていないときには、モード制御部２４の処理はステップＳ１３へ進む。タイマーがタイムアウトしたときには、モード制御部２４の処理は、通常モードから待機モードへ移行するために、ステップＳ２１へ進む。

通常モードから待機モードに移行するときに、モード制御部２４は、スキャン画像から画素値を間引いた画像（以下、間引き画像という）を生成し、間引き画像を間引き画像メモリ２５に書き込む（ステップＳ２１）。次に、モード制御部２４は、待機モード制御処理を行う（ステップＳ２２）。ステップＳ２２では、モード制御部２４から出力される制御信号によって、認識処理部２２は動作を停止し、パネル駆動回路１６は一部の光センサ２から信号を読み出し、Ａ／Ｄ変換器１３は一部のセンサ出力信号をデジタル値に変換し、赤外バックライト１９は消灯する。

より詳細には、モード制御部２４から出力される制御信号には、通常モードか待機モードかを示すモード制御信号が含まれている。図２に示すように、液晶パネル１１に供給されたモード制御信号ＭＣは、センサ行駆動回路３３と出力制御回路３５に入力される。待機モードのセンサ動作期間では、センサ行駆動回路３３は、センサ読み出し線ＲＷ１〜ＲＷｍとセンサリセット線ＲＳ１〜ＲＳｍのうち、一部の信号線のみを１組ずつ順に選択する。このとき出力制御回路３５は、一部のセンサ出力アンプ３４のみからセンサ出力信号ＳＳ１〜ＳＳｐが出力されるように制御する。また、Ａ／Ｄ変換器１３は、一部の光センサ２から読み出した信号をデジタル信号に変換する。

モード制御部２４は、ステップＳ２２において、制御レジスタ２６に記憶された抽出範囲ＥＲに基づき、処理範囲を示す制御信号を出力してもよい。例えば、制御レジスタ２６に記憶された抽出範囲ＥＲが表示画面の下半分を示すときには、モード制御部２４は、パネル駆動回路１６とＡ／Ｄ変換器１３に対して、表示画面の下半分を処理すべきことを示す制御信号を出力する。パネル駆動回路１６は、この制御信号に基づき、画素アレイ１７の下半分に配置された光センサ２から信号を読み出す。Ａ／Ｄ変換器１３は、このときに光センサ２から読み出した信号をデジタル信号に変換する。

このようにパネル駆動回路１６は、モード制御部２４による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を光センサ２から読み出す。また、Ａ／Ｄ変換器１３は、モード制御部２４による判定結果に従い、待機モードでは通常モードよりも少ない頻度でデジタル値への変換を行う。この結果、待機モードでは、スキャン画像生成部２１からは、通常モードに出力されるスキャン画像から画素値を間引いた間引き画像が繰り返し出力される。なお、待機モードで出力される間引き画像は、ステップＳ２１で生成される間引き画像と同じ光センサ２から読み出した信号に基づくものとする。

次に、モード制御部２４は、間引き画像メモリ２５に記憶された間引き画像と、２フレーム分の間引き画像を平均化することにより生成した新たな間引き画像との画素値の差が制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを、間引き画像比較部２７から受け取る（ステップＳ２３）。このような画素の個数Ｎを算出するための間引き画像比較部２７の詳しい構成については後述する。

続いてモード制御部２４は、ステップＳ２３で求めた個数Ｎと制御レジスタ２６に記憶された第２の閾値ＴＨ２とを比較する（ステップＳ２４）。モード制御部２４の処理は、Ｎ≧ＴＨ２のときにはステップＳ２５へ進み、Ｎ＜ＴＨ２のときにはステップＳ２３へ進む。前者の場合、モード制御部２４は、制御レジスタ２６に記憶された第２のタイマー値ＴＭ２を設定してタイマーを起動し（ステップＳ２５）、待機モードから通常モードへ移行するために、ステップＳ１２の処理へ進む。ただし、第２のタイマー値ＴＭ２は、第１のタイマー値ＴＭ１よりも小さいものとする。

このようにモード制御部２４は、座標データＣｏが出力されない状態が所定時間続いたときに（第１のタイマー値ＴＭ１だけ時間が経過したときに）、通常モードから待機モードに移行する。また、モード制御部２４は、新たに供給された間引き画像が間引き画像メモリ２５に記憶された間引き画像（通常モードから待機モードに移行するときに記憶された間引き画像）から所定以上変化したときに、待機モードから通常モードに遷移する。また、モード制御部２４は、待機モードから通常モードに移行した直後では、以前から通常モードであるときに比べて、より短い時間だけ座標データＣｏが出力されない状態が続いたときに（第２のタイマー値ＴＭ２だけ時間が経過したときに）、通常モードから待機モードに移行する。次に、間引き画像比較部２７の詳しい構成および動作について図８を参照して説明する。

＜１．３ 間引き画像比較部の構成および動作＞
図８は、間引き画像比較部の詳細な構成を示すブロック図である。図８に示す間引き画像比較部２７は、前述したように待機モード時のみに動作するものであって、フレームメモリ２７１、平均化処理部２７２、画素数算出部２７３、およびフレーム管理部２７４を含んでいる。

フレームメモリ２７１は、前述したように待機モードにおいてスキャン画像生成部２１から出力される新たな間引き画像を１フレーム分記憶し、記憶した画像を次のフレームにおいて平均化処理部２７２に与える。

平均化処理部２７２は、スキャン画像生成部２１から出力される新たな間引き画像と、フレームメモリ２７１から与えられる１フレーム前の間引き画像とを、画素毎に平均化する処理を行う。この処理は、具体的には間引き画像を構成する各画素の画素値に対応する光センサ２から読み出した検出値を２フレーム分で平均化するものである。平均化された画素値は画素数算出部２７３に与えられる。なおここでは説明の便宜のため、連続する２フレームの間引き画像を一括して平均化するように記載しているが、画素毎に平均値を算出し当該平均値を画素毎に出力する構成であってもよい。

フレーム管理部２７４は、外部から与えられる信号に表示データＤ１とともに含まれる（各フレームの開始時点を示すパルスを含む）図３に示す垂直同期信号Ｖｓｙｎｃに基づき、待機モードにおける最初のフレームを検出し、当該最初のフレームの開始時点から当該フレームの終了時点までの間、キャンセル信号Ｓｃを画素数算出部２７３に与える。このキャンセル信号Ｓｃは、誤検出を防ぐために、画素数算出部２７３による後述する画素数検出動作を無効化する（具体的にはＮ＝０を出力させる）ものである。

すなわち、待機モードにおける最初のフレームに含まれる間引き画像は、平均化処理部２７２において比較されるべき新たな間引き画像であるが、当該時点においてフレームメモリ２７１に記憶されている間引き画像は、前回の待機モードが終了する直前に記憶された無関係な間引き画像である。よって、このフレームメモリ２７１に記憶されている間引き画像が上記計算に使用されると、誤検出を生じる可能性が高い。よって、この誤検出の発生は上記キャンセル信号Ｓｃによって防止される。なお、フレーム管理部２７４によって各フレームの開始時点を検出することにより、フレームメモリ２７１や平均化処理部２７２の処理タイミングを制御してもよい。

画素数算出部２７３は、間引き画像メモリ２５から受け取った、通常モードから待機モードに移行するときに記憶される間引き画像と、平均化処理部２７２から受け取った、２フレーム分の画素値が平均化された新たな間引き画像との画素値の差が、制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを算出し、この個数Ｎをモード制御部２４へ出力する。ただし、この計算処理は、フレーム管理部２７４からのキャンセル信号Ｓｃが受け付けられている間、すなわち待機モードにおける最初のフレームに含まれる間引き画像が上記計算の対象となっている間はキャンセルされ、モード制御部２４へＮ＝０が出力される。なおここでも説明の便宜のため、２つの間引き画像を一括して計算対象とするように記載しているが、画素毎に上記差を算出し当該差が第１の閾値ＴＨ１以上である画素を順に計数することにより、個数Ｎを算出する構成であってもよい。

このように、平均化処理部２７２によって２フレーム分の画素値を平均化することにより、同一の光量が与えられる場合であっても偶数番目のフレームと奇数番目のフレームとで異なることがある光センサ２で検知された光量に相当する画素値を平均化することができる。その結果、前述した電位変動によるノイズが当該画素値に含まれている場合、偶数番目または奇数番目のいずれかのフレームにおける画素値だけでは第１の閾値ＴＨ１以上となる場合であっても、平均化されることによって第１の閾値ＴＨ１未満にすることができるので、上記ノイズによる誤検知を抑制または解消することができる。特に、本実施形態のようにフレーム毎に液晶への印加電圧の極性を反転する駆動を行う場合には、上記平均化処理によって、上記電位変動分を完全にまたは大きく相殺することができ、上記ノイズによる誤検知を大きく抑制または解消することができる。また、或る１つのフレームに対応する画素値のみが何らかの突発的なノイズによる影響を受ける場合であっても、上記平均化処理によって当該ノイズによる影響を緩和することができる。

なお、上記構成は、連続する２フレーム分の画素値を平均化することができる構成であれば種々の変形が可能であり、また２フレーム分以上の画素値を平均化する構成であってもよい。例えば、平均化した画素値をフレームメモリ２７１に再度書き戻す（上書きする）ことにより、直前までのフレームにおける間引き画像の画素値の平均値と、今回（現在）のフレームにおける間引き画像の画素値とを（例えば所定の重み付けで）平均化する構成であってもよい。

このように、本実施形態では、間引き画像メモリ２５に間引き画像が記憶される時点（通常モードから待機モードに移行する時点）のフレームを第１番目のフレームとするとき、少なくとも第３番目のフレームを含む奇数番目のフレームの画素値を（平均化処理において）考慮することにより、上記ノイズによる影響を抑制または解消することができる。なお、２フレームまたはそれ以上のフレームからなる単位期間毎に液晶への印加電圧の極性を反転する駆動を行う場合には、上記奇数番目のフレームを上記奇数番目の単位期間に置き換えれば、同様に上記ノイズによる影響を抑制または解消することができ、この点は以下の各実施形態においても同様である。

＜１．４ 効果＞
以下、本実施形態に係る液晶表示装置１０の効果を説明する。本実施形態に係る液晶表示装置１０は、センサ内蔵液晶パネル１１と、パネル駆動回路１６と、認識処理部２２と、モード制御部２４と、間引き画像メモリ２５とを備えている。モード制御部２４は、通常モードか待機モードかを判定し、通常モードでは認識処理部２２を動作させ、待機モードでは認識処理部２２の動作を停止させる。間引き画像メモリ２５は、通常モードから待機モードに移行するときに間引き画像を記憶し、モード制御部２４は、新たに供給された間引き画像が間引き画像メモリ２５に記憶された間引き画像から所定以上変化したときに、待機モードから通常モードに移行する。特に、モード制御部２４は、間引き画像メモリ２５に記憶された間引き画像と新たに供給された間引き画像に基づく平均化された間引き画像とを画素ごとに比較し、画素値の差が第１の閾値ＴＨ１以上である画素の個数が第２の閾値ＴＨ２以上であるときに、待機モードから通常モードに移行する。

このように通常モードか待機モードかを判定し、待機モードでは認識処理部２２の動作を停止させることにより、液晶表示装置１０の消費電力を削減することができる。また、間引き画像が待機モードに移行したときから所定以上変化したときに通常モードに移行することにより、対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。さらに、２フレーム分の間引き画像を平均化して比較することにより、偶数番目のフレームおよび奇数番目のフレームで、生じるべき前述した電位変動によるノイズが平均化され、上記ノイズによる誤検知を抑制または解消することができる。

さらに、間引き画像は、スキャン画像よりも少ない画素数を有する。このような間引き画像を用いてモード判定処理を行うことにより、モード判定処理に必要なメモリ量と計算量を減らすことができる。さらにまた、間引き画像は、スキャン画像から画素値を間引いた画像である。このような間引き画像は、容易に生成することができる。

以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記平均化処理で上記ノイズによる誤検知を抑制または解消することにより、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。

＜２． 第２の実施形態＞
＜２．１ 全体的な構成および動作＞
本発明の第２の実施形態に係る液晶表示装置の全体的な構成は、図１に示す第１の実施形態とほぼ同様であるので、同一の構成要素には同一の符号を付してその説明を省略する。また、その動作、特にモード制御部２４の動作も図７に示す第１の実施形態の場合とほぼ同様であるので、その説明を省略する。

本実施形態における間引き画像比較部２７は、第１の実施形態における場合とは、偶数番目および奇数番目のフレームでの画素値の平均化処理は行わず、間引き画像メモリ２５に記憶される間引き画像に対応するフレームが偶数番目であるかまたは奇数番目であるかに合わせて画素数Ｎを算出する点が異なる。以下、この間引き画像比較部２７の詳細な構成および動作について、図９を参照して説明する。

＜２．２ 間引き画像比較部の構成および動作＞
図９は、間引き画像比較部の詳細な構成を示すブロック図である。図９に示す間引き画像比較部２７は、第１の実施形態において前述したように待機モード時のみに動作するものであって、画素数算出部２７３およびフレーム管理部２７５を含んでいる。

フレーム管理部２７５は、第１の実施形態におけるフレーム管理部２７４と同様に、外部から与えられる信号に表示データＤ１とともに含まれる（各フレームの開始時点を示すパルスを含む）垂直同期信号Ｖｓｙｎｃに基づき、待機モードにおける最初のフレームを検出し、当該最初のフレームの開始時点から次のフレーム（２番目のフレーム）の終了時点までの間、キャンセル信号Ｓｃを画素数算出部２７３に与える。その後、４番目、６番目、とそれ以降偶数番目のフレームの開始時点から終了時点までの間、キャンセル信号Ｓｃを画素数算出部２７３に与える。なお、このような動作は２番目のフレーム以降、１フレーム分の間を空けて、次の１フレーム分の間キャンセル信号Ｓｃを画素数算出部２７３に与えることを繰り返すことにより容易に実現することができる。

このキャンセル信号Ｓｃは、第１の実施形態の場合と同様、最初のフレームが画素数算出部２７３における上記計算に使用されることを防止するものであるとともに、最初のフレームを第１番目のフレームとするときの偶数番目のフレームについても上記計算に使用されることを防止するものである。なおここでの偶数番目のフレームは表示データＤ１におけるフレーム構成とは無関係である。このように偶数番目のフレームを計算に使用しないのは、以下の理由による。すなわちフレーム毎に液晶への印加電圧の極性を反転する駆動が行われる結果、偶数番目または奇数番目のフレーム毎に上記ノイズの原因となる（前述の寄生容量を介した）電位変動は逆方向に生じる。その結果、上記変動分を含むノイズは、光センサ２で検知された光量に相当する画素値に対して、同じ偶数番目のフレーム同士または同じ奇数番目のフレーム同士では（表示画像が変化しない場合）それぞれほぼ同様の影響を与えるが、偶数番目と奇数番目との組み合わせとなる異なるフレーム同士では異なる影響を与えるので、異なるフレーム同士を（間引き画像比較部２７において）比較すると上記ノイズの影響が大きくなる。したがって、最初のフレームを奇数番目のフレームとし、偶数番目のフレームを上記計算に使用しないことにより、上記ノイズの影響を小さくすることができるので、上記ノイズによる誤検出を防ぐことができる。

画素数算出部２７３は、間引き画像メモリ２５から受け取った、通常モードから待機モードに移行するときに記憶される間引き画像と、スキャン画像生成部２１から受け取った新たな間引き画像との画素値の差が、制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを算出し、この個数Ｎをモード制御部２４へ出力する。ただし、この計算処理は、フレーム管理部２７４からのキャンセル信号Ｓｃが受け付けられている間、すなわち待機モードにおける最初のフレームに含まれる間引き画像が上記計算の対象となっている間、および偶数番目のフレームに含まれる間引き画像が上記計算の対象となっている間はキャンセルされ、モード制御部２４へＮ＝０が出力される。

このように、フレーム管理部２７５によって、間引き画像メモリ２５に記憶される間引き画像が取得されたフレームと異なるフレーム（ここでは偶数番目のフレーム）において生成される新たな間引き画像を、画素数算出部２７３における上記計算の対象としないことにより、前述した電位変動によるノイズの影響を小さくすることができるので、上記ノイズによる誤検知を抑制または解消することができる。

＜２．３ 効果＞
以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記計算の対象とする新たな間引き画像を、間引き画像メモリ２５に記憶される間引き画像が取得されたフレームと同じ奇数番目のフレームに限定することにより、より簡単な構成で上記ノイズによる誤検知を抑制または解消することができ、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。

＜３． 第３の実施形態＞
＜３．１ 全体的な構成および動作＞
図１０は、第３の実施形態に係る液晶表示装置の構成を示すブロック図である。この図１０に示す本液晶表示装置の全体的な構成は、Ａ／Ｄ変換器１３０、間引き画像比較部２８、間引き画像メモリ２９、およびモード制御部２４を除き、図１に示す第１の実施形態とほぼ同様であるので、同一の構成要素には同一の符号を付してその説明を省略する。

図１０に示すＡ／Ｄ変換器１３０は、周知の（駆動回路チップなどに搭載される）フレーム識別ビット付与機能を有しており、第１の実施形態のＡ／Ｄ変換器１３と同様に、光センサ２からのアナログのセンサ出力信号をデジタル信号に変換するとともに、当該出力デジタル信号に現フレームが偶数番目のフレームか奇数番目のフレームかを識別するためのフレーム識別ビットを付与する。なお、フレーム識別ビットは、Ａ／Ｄ変換器とは異なる回路により付与されてもよい。このフレーム識別ビットが付与されたデジタル信号Ｄｓはセンサデータ処理回路１４のスキャン画像生成部２１および間引き画像比較部２８に与えられる。

また図１０に示す間引き画像メモリ２９は、第１および第２の実施形態における間引き画像メモリ２９と同様、通常モードから待機モードに移行するときに、光センサ２から読み出した信号に基づく比較対象画像を記憶するとともに、次のフレームにおける光センサ２から読み出した信号に基づく比較対象画像を記憶する。これら記憶された比較対象画像は間引き画像比較部２８に与えられる。この間引き画像比較部２８の動作については後述するものとし、まずモード制御部２４の動作について図１１を参照して説明する。

＜３．２ モード制御部の動作＞
図１１は、モード制御部２４の動作を示すフローチャートである。この図１１に示すステップＳ１１〜Ｓ２４、Ｓ２５の処理内容は、前述した第１の実施形態における図７に示す処理内容と同じであるので、同一の番号を付してその説明を省略する。本実施形態では、この第１の実施形態の場合とは異なって、ステップＳ２４における処理とステップＳ２５における処理との間に、新たにステップＳ３３、Ｓ３４の処理を行っている。また、ステップＳ２３、Ｓ２４における処理は同一であるが、第１の実施形態の場合とは異なる機能を有している。以下、これらを含む処理の流れについて説明する。

前述したように待機モード処理が行われた後（Ｓ２２）、モード制御部２４は、間引き画像メモリ２９に記憶された間引き画像と新たな間引き画像との画素値の差が制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを、間引き画像比較部２８から受け取る（ステップＳ２３）。この処理内容は第１の実施形態と同一であるが、間引き画像比較部２８において行われた計算は、間引き画像メモリ２９に記憶された２つの間引き画像のうち、現フレームが偶数番目であるか奇数番目であるかの種別（以下「偶奇の種別」と称する）を合わせた間引き画像と新たな間引き画像との画素値の差を求めるものである。この間引き画像比較部２８の動作については後述する。

続いてモード制御部２４は、ステップＳ２３で求めた個数Ｎと制御レジスタ２６に記憶された第２の閾値ＴＨ２とを比較する（ステップＳ２４）。モード制御部２４の処理は、Ｎ≧ＴＨ２のときにはステップＳ３３へ進み、Ｎ＜ＴＨ２のときにはステップＳ２３へ進む。

次にモード制御部２４は、次のフレームにおいてステップＳ２３と同一の処理、すなわち間引き画像メモリ２９に記憶された間引き画像と新たな間引き画像との画素値の差が制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを、間引き画像比較部２８から受け取る（ステップＳ３３）。ここでの間引き画像比較部２８において行われた計算も前述と同様、間引き画像メモリ２９に記憶された２つの間引き画像のうち、現フレームの偶奇の種別を合わせた間引き画像と新たな間引き画像との画素値の差を求めるものであるが、ステップＳ２３における場合とは現フレームの偶奇の種別が異なっている。

続いてモード制御部２４は、ステップＳ３３で求めた個数Ｎと制御レジスタ２６に記憶された第２の閾値ＴＨ２とを比較する（ステップＳ３４）。モード制御部２４の処理は、Ｎ≧ＴＨ２のときにはステップＳ２５へ進み、Ｎ＜ＴＨ２のときにはステップＳ２３へ進む。ステップＳ２５における処理およびそれ以降の処理の流れは第１の実施形態の場合と同一である。

このようにモード制御部２４は、（或るフレームにおいて）新たに供給された間引き画像が間引き画像メモリ２５に記憶された間引き画像（通常モードから待機モードに移行するときに記憶された間引き画像）から所定以上変化したときに、待機モードから通常モードに直ちに遷移するのではなく、その次のフレームについても同様に新たに供給された間引き画像が間引き画像メモリ２５に記憶された（偶奇の種別を合わせた）間引き画像から所定以上変化したときに、待機モードから通常モードに遷移する。

ここで本実施形態における間引き画像比較部２８は、第２の実施形態における場合とは、間引き画像メモリ２５に記憶される間引き画像に対応するフレームが偶数番目である場合と奇数番目である場合とに分けてそれぞれ画素数Ｎを算出する点が異なる。以下、この間引き画像比較部２８の詳細な構成および動作について、図１２を参照して説明する。

＜３．３ 間引き画像比較部の構成および動作＞
図１２は、間引き画像比較部の詳細な構成を示すブロック図である。図１２に示す間引き画像比較部２８は、第１および第２の実施形態において前述したように待機モード時のみに動作するものであって、画素数算出部２８３およびフレーム識別ビット抽出部２８５を含んでいる。

フレーム識別ビット抽出部２８５は、図１０に示すＡ／Ｄ変換器１３０からデジタル信号Ｄｓを受け取り、当該信号に付与されているフレーム識別ビットを抽出し、現フレームが偶数番目のフレームか奇数番目のフレームかを識別する。識別された偶奇の種別は偶奇種別信号Ｓｅｏとして画素数算出部２８３に与えられる。

なお、第１または第２の実施形態におけるフレーム管理部２７４、２７５は、現フレームに対応する新たな間引き画像の偶奇の種別を判定することにより待機モードに移行する最初のフレームの偶奇の種別を判定してもよいので、これらの機能の一部をフレーム識別ビット抽出部２８５の機能に置き換えることも可能である。

画素数算出部２８３は、間引き画像メモリ２９から受け取った、通常モードから待機モードに移行するときに記憶される間引き画像およびその次のフレームにおいて記憶される間引き画像のうち、偶奇種別信号Ｓｅｏに基づき（現フレームに）偶奇の種別を合わせた間引き画像と、スキャン画像生成部２１から受け取った新たな間引き画像との画素値の差が、制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを算出し、この個数Ｎをモード制御部２４へ出力する。ただし、この計算処理は、待機モードにおける最初のフレームに含まれる間引き画像が上記計算の対象となっている間、および偶数番目のフレームに含まれる間引き画像が上記計算の対象となっている間はキャンセルされ、モード制御部２４へＮ＝０が出力される。なおキャンセル動作は、第１または第２の実施形態におけるフレーム管理部２７４、２７５におけるキャンセル信号Ｓｃと同様の機能を含み、同様の作用を有するためその説明は省略する。

このように、フレーム管理部２７５によって、間引き画像メモリ２５に記憶される間引き画像が取得されたフレームとは偶奇が異なるフレームにおいて生成される新たな間引き画像を、画素数算出部２８３における上記計算の対象としないことにより、前述した電位変動によるノイズの影響を小さくすることができるので、上記ノイズによる誤検知を抑制または解消することができる。また、偶数番目のフレームと奇数番目のフレームとでそれぞれ上記計算を行い、その双方の間引き画像が共に所定以上変化したときに、待機モードから通常モードに遷移するので、検出を正確にして誤検知をさらに確実に抑制または解消することができる。

もっとも、偶数番目のフレームと奇数番目のフレームとのいずれかのみで上記計算を行い、その一方の間引き画像が所定以上変化したときに、待機モードから通常モードに遷移するように構成してもよい。そうすれば、速やかに待機モードを脱出でき、間引き画像メモリ２９を小さくすることができ、かつ処理を簡単にすることができる。

＜３．４ 効果＞
以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記計算の対象とする新たな間引き画像の偶奇の種別を、間引き画像メモリ２５に記憶される間引き画像が取得されたフレームと合わせて計算することにより、上記ノイズによる誤検知を確実に抑制または解消することにより、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。

＜４． 変形例＞
上記各実施形態に係る液晶表示装置については、待機モードに移行するときに記憶される画像を第１番目として、続く奇数番目のフレームを比較対象のための画像とするものであれば、各種の変形例を構成することができる。このような構成であれば、同一の光量が検知される場合に偶数番目のフレームと奇数番目のフレームとで節点Ｐの電位に対応する光量の検出量が異なることがあっても、誤判定を抑制することができる。

なお、本発明の液晶表示装置は、ホストから入力された信号に応じて通常モードから待機モードに（あるいは逆方向に）移行する機能を有していてもよい。また、間引き画像メモリ２５に記憶される間引き画像は、通常モードから待機モードに移行するときに記憶される画像であれば、通常モードの最後に生成される画像でもよく、待機モードの先頭で生成される画像でもよい。

本発明は、表示パネルに複数の光センサを設けた画像表示装置に適用されるものであって、通常モードと消費電力低減のための待機モードとが適宜切り替えられる液晶表示装置などの画像表示装置に適している。

１…画素回路
２…光センサ
１０…液晶表示装置
１１…センサ内蔵液晶パネル
１２…表示データ処理回路
１３、１３０…Ａ／Ｄ変換器
１４…センサデータ処理回路
１５…バックライト
１６…パネル駆動回路
１７…画素アレイ
１８…白色バックライト
１９…赤外バックライト
２１…スキャン画像生成部
２２…認識処理部
２３…ホストＩ／Ｆ部
２４…モード制御部
２５、２９…間引き画像メモリ
２６…制御レジスタ
２７、２８…間引き画像比較部
２７１…フレームメモリ
２７２…平均化処理部
２７３…画素数算出部
２７４、２７５、２８３…フレーム管理部
２８５…フレーム識別ビット抽出部

Claims (11)

1. 複数の光センサを備えた表示装置であって、
   ２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
   少なくとも１つの単位期間毎に与えられる表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
   前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部と、
   通常モードか待機モードかを判定し、通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるモード制御部と、
   通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第１の比較対象画像を記憶する画像記憶部とを備え、
   前記モード制御部は、前記第１の比較対象画像が記憶される時点での単位期間を第１番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも１つにおいて前記光センサから読み出した信号に基づく第２の比較対象画像が、前記第１の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする、表示装置。
2. 前記モード制御部は、前記第２の比較対象画像を、前記奇数番目の単位期間の少なくとも１つと、偶数番目の単位期間の少なくとも１つとにおいてそれぞれ前記光センサから読み出した信号に基づく２つ以上の画像を平均化することにより得ることを特徴とする、請求項１に記載の表示装置。
3. 前記モード制御部は、連続する２つの単位期間においてそれぞれ前記光センサから読み出した信号に基づく２つの画像を平均化することにより、前記第２の比較対象画像を得ることを特徴とする、請求項２に記載の表示装置。
4. 前記モード制御部は、前記奇数番目の単位期間において前記光センサから読み出した信号に基づく画像を前記第２の比較対象画像とし、前記奇数番目の単位期間毎に、前記第１の比較対象画像から前記第２の比較対象画像が変化したか否かを判定することを特徴とする、請求項１に記載の表示装置。
5. 前記画像記憶部は、前記第１番目の単位期間に続く第２番目の単位期間において、前記光センサから読み出した信号に基づく第３の比較対象画像をさらに記憶し、
   前記モード制御部は、偶数番目の単位期間において前記光センサから読み出した信号に基づく画像を第４の比較対象画像とし、前記第４の比較対象画像が前記第３の比較対象画像から所定以上変化し、かつ前記第２の比較対象画像が前記第１の比較対象画像から所定以上変化したと判定される場合に待機モードから通常モードに移行することを特徴とする、請求項４に記載の表示装置。
6. 前記駆動回路は、前記単位期間が偶数番目であるか奇数番目であるかを示す識別ビットを出力し、
   前記モード制御部は、前記駆動回路から出力される識別ビットに基づき、前記光センサから読み出した信号に基づく画像が奇数番目の単位期間におけるものであるか否かを識別することを特徴とする、請求項１に記載の表示装置。
7. 前記モード制御部は、前記第１の比較対象画像と前記第２の比較対象画像とを画素毎に比較し、当該画素値の差が第１の閾値以上である画素の個数が第２の閾値以上であるときに、待機モードから通常モードに移行することを特徴とする、請求項１に記載の表示装置。
8. 前記比較対象画像は、前記認識対象画像よりも少ない画素数を有することを特徴とする、請求項１に記載の表示装置。
9. 前記比較対象画像は、前記認識対象画像から画素値を間引いた画像であることを特徴とする、請求項８に記載の表示装置。
10. 前記駆動回路は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を前記光センサから読み出すことを特徴とする、請求項１に記載の表示装置。
11. ２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部とを備えた表示装置の制御方法であって、
    表示データに応じた信号を前記画素回路に書き込むステップと、
    受光量に応じた信号を前記光センサから読み出すステップと、
    通常モードか待機モードかを判定するステップと、
    通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるステップと、
    通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第１の比較対象画像を記憶するステップとを備え、
    前記判定するステップでは、前記第１の比較対象画像が記憶される時点での単位期間を第１番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも１つにおいて前記光センサから読み出した信号に基づく第２の比較対象画像が、前記第１の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする、表示装置の制御方法。

Images