JP4390002B2 - 表示装置およびその制御方法 - Google Patents

Description

本発明は、液晶表示ディスプレイ、有機ＥＬ（electro-luminescence）ディスプレイなどに適用して好適な表示装置に関し、たとえば、表示領域（パネル）に受光素子を有しパネルに接触または近接する物体の位置などの情報を取得する表示装置およびその制御方法に関するものである。

表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。

このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するように構成されている。したがって、このようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

また、本出願人はたとえば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
特開２００４−１２７２７２号公報

上記特許文献１に記載されている表示装置を利用すれば、たとえば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示光（検出対象光）を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

しかしながら、この種の表示装置において、たとえばパネル表面に指先などが接近しているかを判定するためには、受光(Input)の機能が働いていることが条件となる。そのため、仮に長時間指先で操作することがなくとも、受光のための電力を常に消費することとなる。この不要な電力消費は、特にバッテリ駆動される携帯機器には不向きとなる。

本発明は、簡易な構成で物体の位置などを検出することが可能であることはもとより、不要な電力消費を抑止することが可能な表示装置およびその制御方法を提供することにある。

本発明の第１の観点の表示装置は、表示機能と受光撮像機能とを有する表示パネルと、上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、上記第１の画像処理部の処理結果に基づき、上記第１の画像処理より処理負荷の大きい第２の画像処理を行う第２の画像処理部と、上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を上記スリープ状態から復帰させる制御部とを有する。

本発明の第２の観点は、表示機能と受光撮像機能とを有する表示パネルを有する表示装置の制御方法であって、上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を第１の画像処理部を用いて行う第１のステップと、上記第１の画像処理の処理結果に基づき、少なくとも上記被検出体の上記表示パネルの表示領域における位置情報を得るための上記第１の画像処理より処理負荷の大きい第２の画像処理を第２の画像処理部を用いて行う第２のステップと、上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を上記スリープ状態から復帰させる第３のステップとを有する。

本発明によれば、受光撮像機能による撮像画像が第１の画像処理部に供給される。第１の画像処理部では、撮像画像に対する第１の画像処理結果に基づいて検出対象である被検出体が検出されたか否かが判断され、その旨を示す検出信号が生成されて制御部に供給される。制御部では、第１の画像処理部による検出信号に応じて第２の画像処理部の動作が制御される。そして、第２の画像処理部の処理は不要と判断した場合、第２の画像処理部がスリープ状態に制御される。

また、本発明の第３の観点の表示装置は、複数の表示素子と複数の受光センサとを表示領域の内側に有する表示パネルと、上記複数の受光センサからの出力に基づき上記表示パネルに接触または近接する物体を検出するための第1の画像処理を行う第１の画像処理部と、上記第１の画像処理部からの出力に対して、少なくとも検出された上記物体の上記表示領域における位置情報を得るための２の画像処理を行う第２の画像処理部と、上記第１の画像処理部の上記物体の検出結果に応じて上記第２の画像処理部の処理が不要な場合は、上記第２の画像処理部をスリープ状態に制御する制御部とを有する。

本発明によれば、簡易な構成で物体の位置などを検出することが可能であり、しかも不要な電力消費を抑止することができる。

以下、本発明の実施の形態について、図面に関連付けて説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る携帯表示装置１の全体構成を示すブロック図である。

本携帯表示装置１は、Ｉ／Ｏディスプレイシステム２および機器コントローラ（アプリケーション処理部）３を主構成要素として有している。

Ｉ／Ｏディスプレイシステム２は、Ｉ／Ｏディスプレイパネル２０、バックライト２１、およびＩ／Ｏディスプレイシステム集積化回路（以下、ディスプレイＩＣという）２２により構成されている。

本実施形態に係る表示装置１は、表示と並行してディスプレイ表面の撮像も可能なＩ／Ｏディスプレイシステム２において、以下の特徴的な機能を有する。
１）：ディスプレイのバックライト２１を高速でオン（ON）／オフ（OFF）して得られた２枚の受光画像から、外光の影響を除去し、ディスプレイ表面に接触もしくは接近している検出対象物として、たとえば指先のみが明るい画像を、画像処理により生成する機能を有する。
２）：１）と並行して、ディスプレイのバックライト２１をオフ（OFF）したときの受光画像から、外光を積極的に利用した、影検出処理を行い、表面に接触もしくは接近している指先が明るくなるように処理した画像を、画像処理により生成する機能を有する。
３）：１），２）を同時並列的に処理し、指先が明るくなるよう処理した画像を取得する機能を有する。
以上の１）〜３）の処理を専用のハードウェア画像処理部で行い、３）の結果から指先が画面上に接触もしくは接近していることを判断する。
４）：ハードウェア画像処理部の処理結果を元に、本システム専用のソフトウェア画像処理部（ＭＰＵ）におけるソフトウェア画像処理により、検出すべき指先の数、座標、面積、領域の情報を計算する機能を有する。

そして、表示装置１のＩ／Ｏディスプレイシステム２は、省電力化を図るための以下の機能を有する。
５）：一定時間以上指先を検出しない場合、ソフトウェア画像処理は不要と判断し、自動的に処理用のＭＰＵをスリープさせる機能を有する。
６）：ＭＰＵスリープ中、受光および画像処理を通常よりまばらな間隔で行い、消費電力を低減させる機能を有する。
７）：ＭＰＵがスリープした後、ハードウェア画像処理部が指先の接近を判定した場合、ＭＰＵの処理を復帰させ、受光・画像処理の間隔も通常の状態に戻す機能を有する。
８）：本システムを組み込んだ機器のアプリケーションが、一時的に指先などの入力検知を必要としない場合に、本システム内のＭＰＵおよび、受光用の機能の電源を遮断し、消費電力を削減できる機能を有する。この場合、ＭＰＵをスリープモードに入れるための手順を適切に行うための機能を有している。

Ｉ／Ｏディスプレイパネル２０は、たとえば複数の画素（表示素子）が全面にわたってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有する。さらに、後述するように、このＩ／Ｏディスプレイパネル２０に接触または近接する物体を撮像する機能（撮像機能）を有する。また、バックライト２１は、たとえば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の光源として機能し、後述するようにＩ／Ｏディスプレイパネル２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うように制御される。

ディスプレイＩＣ２２は、表示ドライブ回路２３、受光ドライブ回路２４、ハードウェア画像処理部（第１の画像処理部）２５、ソフトウェア画像処理部（第２の画像処理部）２６、および省電力制御部２７を有している。

表示ドライブ回路２３は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）。

受光ドライブ回路２４は、Ｉ／Ｏディスプレイパネル２０において受光データが得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）。なお、受光ドライブ回路２４は、各画素での受光データは、たとえばフレーム単位で図示しないフレームメモリに蓄積し、撮像画像として第１の画像処理部２５に出力する。

第１の画像処理部（ハードウェア画像処理部）２５は、ディスプレイのバックライト２１を高速でオン（ON）／オフ（OFF）して得られた２枚の受光画像（バックライト２１をオン／オフして得られた２枚の受光画像）から、外光の影響を除去し、Ｉ／Ｏディスプレイパネル２０の表面側に接触もしくは接近している指先のみが明るい画像を、画像処理により生成する第１の処理としての反射検出処理（明滅差分処理）を行う。
第１の画像処理部２５は、ディスプレイ自発光オフ（OFF）の受光画像から、外光を積極的に利用した、影検出処理を行い、表面に接触もしくは接近している指先が明るくなるように処理した画像を、画像処理により生成する第２の処理としての影検出処理を行う。第１の画像処理部２５は、反射検出処理（第１の処理）と影検出処理（第２の処理）とを同時並列的に処理し、指先が明るくなるよう処理した画像を取得する。
そして、第１の画像処理部２５は、反射検出処理（第１の処理）と影検出処理（第２の処理）のよる画像を合成処理（第３の処理）した後、被検出体である指が接近したことを検出する指接近検出処理（第４の処理）を行う。第１の画像処理部２５は、画像処理結果を第２の画像処理部２６に出力して、指接近検出処理結果として指接近検出信号Ｓ２５（find obj）を省電力制御部２７に出力する。
指接近検出信号Ｓ２５は他の処理部を介して省電力制御部２７に供給されてもよく、その指接近検出信号Ｓ２５も第１の画像処理部２５から省電力制御部２７に出力される検出信号に含まれる。

図２は、本実施形態に係る第１の画像処理部（ハードウェア画像処理部）２５の処理を示すフローチャートである。また、図３は、図２における指接近検出処理の処理を示すフローチャートである。

第１の画像処理部２５は、図２に示すように、反射検出処理（第１の処理）と影検出処理（第２の処理）とを同時並列的に処理し（ＳＴ１，ＳＴ２）、反射検出処理（第１の処理）と影検出処理（第２の処理）による画像を合成処理（第３の処理）した後（ＳＴ３）、指接近検出処理を行う（ＳＴ４）。
第１の画像処理部２５は、ステップＳＴ４の指接近検出処理において、ノイズ削減のため、合成処理後の画像に対する平滑化処理を行った後（ＳＴ４１）、閾値以上のＮ×Ｎの領域があるか否かを判定する（ＳＴ４２）。
第１の画像処理部２５は、ステップＳＴ４２において、領域があると判定すると、被検出体である指が接近しそれを検出したものとして指接近検出信号Ｓ２５（find obj）をハイレベルで省電力制御部２７に出力する。
第１の画像処理部２５は、ステップＳＴ４２において、領域がないと判定すると、被検出体である指が接近していないものとして指接近検出信号Ｓ２５（find obj）をローレベルで省電力制御部２７に出力する。

第２の画像処理部（ソフトウェア画像処理部，ＭＰＵ））２６は、第１の画像処理部（ハードウェア画像処理部）２５の処理結果を元に、ソフトウェア画像処理により、検出すべき指先の数、座標、面積、領域の情報を計算し、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得する。
第２の画像処理部２６の処理は、第１の画像処理部２５の処理より負荷が重く電力消費が大きいことから、省電力制御部２７により省電力モード時には、オフ状態に制御される。第２の画像処理部２６の処理結果は機器コントローラ３に供給される。
なお、第１および第２の画像処理部の処理の詳細については後述する。

省電力制御部２７は、第１の画像処理部２５による指接近検出信号Ｓ２５（find obj）を受けて第２の画像処理部２６のオン／オフ制御を行う。省電力制御部２７は、指接近検出信号Ｓ２５（find obj）を受けて、一定時間以上指先を検出しないと判断した場合、ソフトウェア画像処理は不要と判断し、自動的に処理用の第２の画像処理部２６（ＭＰＵ）をスリープさせる。
省電力制御部２７は、ＭＰＵスリープ中、受光および画像処理を通常よりまばらな間隔で行い、消費電力を低減させる。省電力制御部２７は、ＭＰＵがスリープした後、第１の画像処理部（ハードウェア画像処理部）２５が指先の接近を検出したと判定した場合、ＭＰＵの処理を復帰させ、受光・画像処理の間隔も通常の状態に戻す。
また、省電力制御部２７は、本システムを組み込んだ機器のアプリケーションが、一時的に指先などの入力検知を必要としない場合に、本システム内のＭＰＵおよび、受光用の機能の電源を遮断し、消費電力を削減できる機能を有し、この場合、ＭＰＵをスリープモードに入れるための手順を適切に行うための機能を有している。
省電力制御部２７は、ＭＰＵをスリープさせるには、たとえばＭＰＵのクロックイネーブル信号MPU clk enを非アクティブとなるように制御する。この省電力制御部２７の省電力制御については後で詳述する。

本実施形態において、省電力制御を行う理由を以下に示す。
Ｉ／Ｏディスプレイシステム２において、表面に指先などが接近しているかを判定するためには、受光(Input)の機能が働いていることが条件となる。そのため、仮に長時間指先で操作することがなくとも、受光のための電力を常に消費することとなると、携帯機器には不向きとなる。
実際の使用状態を考えると、画面に対する操作というのは、常に行われるとは限らない。たとえば、デジタルカメラの表示パネルに本Ｉ／Ｏディスプレイシステム２を応用した場合を考えると、撮影時には画面を操作する頻度は少なく、再生時や、カメラの設定などを操作するときに、画面への操作は集中的に行われると考えられる。

本実施形態のＩ／Ｏディスプレイシステム２において、受光側の情報処理には大きく３つの機能ブロック、すなわち受光用アナログ回路およびデジタル変換部、第１の画像処理部（ハードウェア画像処理部）２５、および第２の画像処理部（ソフトウェア画像処理部(ＭＰＵ)２６を有している。これら３つのブロックを常に動作させ続けることは、携帯機器においては、電力消費の点から現実的でない。
特に、第２の画像処理部２６の画像処理ソフトウェアを駆動するのは、本当に精密な演算が必要なときであって、Ｉ／Ｏディスプレイパネル２０に対して操作が行われているのかどうかの判定程度は第１の画像処理部（ハードウェア画像処理部）２５までで可能である。
そこで、本実施形態においては、不要な電力消費を抑止するために、省電力制御部２７で第２の画像処理部２６の動作を制御している。

機器コントローラ３は、第２の画像処理部２６による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行する。機器コントローラ３は、たとえば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。
なお、この機器コントローラ３で生成される表示データは表示ドライブ回路２３に供給される。

次に、図４に関連付けてＩ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２０１、表示用Ｈドライバ２０２、表示用Ｖドライバ２０３、センサ用Ｖドライバ２０４、およびセンサ読み出し用Ｈドライバ２０５を有している。

表示エリア（センサエリア）２０１は、バックライト２１からの光を変調して表示光を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、表示素子（発光素子）である液晶素子と後述する受光素子（撮像素子）とがそれぞれマトリクス状に配置されている。但し、受光素子の数は表示素子の数と異なるように、たとえば、表示素子に対して間欠的に配置しても構わない。

表示用Ｈドライバ２０２は、表示ドライブ回路２３から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２０３と共に表示エリア２０１内の各画素の液晶素子を線順次駆動する。

センサ読み出し用Ｈドライバ２０５は、センサ用Ｖドライバ２０４と共に表示エリア（センサエリア）２０１内の各画素の受光素子を線順次駆動し、受光信号を取得する。

次に、図５に関連付けて、表示エリア２０１における各画素の詳細構成例について説明する。この図５に示した画素３１は、表示素子である液晶素子と受光素子とから構成されている。

具体的には、表示素子側には、水平方向に延在するゲート電極線３１ｈと垂直方向に延在するドレイン電極線３１ｉとの交点に薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などからなるスイッチング素子３１ａが配置され、このスイッチング素子３１ａと対向電極との間に液晶を含む画素電極３１ｂが配置されている。
そして、ゲート電極線３１ｈを介して供給される駆動信号に基づいてスイッチング素子３１ａがオン・オフ動作し、オン状態のときにドレイン電極線３１ｉを介して供給される表示信号に基づいて画素電極３１ｂに画素電圧が印加され、表示状態が設定される。

一方、表示素子に隣接する受光素子側には、たとえばフォトダイオードなどからなる受光用のセンサ３１ｃが配置され、センサ３１ｃには電源電圧ＶＤＤが供給される。また、この受光センサ３１ｃには、リセットスイッチ３１ｄとキャパシタ３１ｅが接続され、リセットスイッチ３１ｄによってリセットされながら、キャパシタ３１ｅにおいて受光量に対応した電荷が蓄積されるように構成されている。
そして、蓄積された電荷は読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して信号出力用電極線３１ｊに供給され、外部に出力される。また、リセットスイッチ３１ｄのオン・オフ動作はリセット電極線３１ｋにより供給される信号により制御され、読み出しスイッチ３１ｇのオン・オフ動作は、読出し制御電極線３１mにより供給される信号により制御される。

次に、図６を関連付けて、表示エリア２０１内の各画素とセンサ読み出し用Ｈドライバ２０５との接続関係について説明する。この表示エリア２０１では、赤（Ｒ）用の画素３１と、緑（Ｇ）用の画素３２と、青（Ｂ）用の画素３３とが並列に配置されている。

各画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたキャパシタに蓄積された電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅され、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Ｈドライバ２０５に供給される。
なお、各信号出力用電極線には定電流源４１ａ，４１ｂ，４１ｃがそれぞれ接続され、センサ読み出し用Ｈドライバ２０５で感度良く受光量に対応した信号が検出される。

次に、本実施の形態の表示装置の動作について詳細に説明する。

まず、この表示装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明し、次に、省電力制御部２７の省電力制御動作について説明する。

この表示撮像装置では、機器コントローラ３から供給される表示データに基づいて、表示ドライブ回路２３において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイパネル２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト２１も表示ドライブ回路２３によって駆動され、Ｉ／Ｏディスプレイパネル２０と同期した点灯・消灯動作が行われる。

ここで、図７に関連付けて、バックライト２１のオン・オフ状態とＩ／Ｏディスプレイパネル２０の表示状態との関係について説明する。

まず、たとえば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト２１が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト２１が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示される。

このように、各フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射される有光期間となっている。

ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（たとえば、指先などがある場合、受光ドライブ回路２４による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路２４に供給される。受光ドライブ回路２４では、１フレーム分の画素の受光信号が蓄積され、撮像画像として第１の画像処理部２５に出力される。

そして第２の画像処理部２６では、この撮像画像に基づいて、後で詳述する所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。

次に、図８および図９に関連付けて、省電力制御部２７の省電力制御動作について説明する。図８は、本実施形態に係る省電力シーケンスの状態遷移図である。また、図９（Ａ）〜（Ｈ）は、省電力制御のパルスシーケンスを示す図である。
図９（Ａ）は指接近検出信号find objを、図９（Ｂ）は指検出信号finger detを、図９（Ｃ）はセンサディセイブル信号sensor disableを、図９（Ｄ）は状態（state）を、図９（Ｅ）はスリープ移行信号prepare sleepを、図９（Ｆ）はＭＰＵクロックイネーブル信号MPU clk enを、図９（Ｇ）はセンサ休止期間sensor 5fpsを、図９（Ｈ）はセンサアクティブ信号sensor activeを、それぞれ示している。

本実施形態においては、ＭＰＵをスリープさせる、復帰させる動作には、決まった手順が必要であるため、これを満たす図８に示すような状態遷移を実現している。一方、ＭＰＵスリープ中に指先などの接近を検知するためのハードウェアおよびアルゴリズムが必要である。ＭＰＵで行っているような、ラベリングなどの高度な処理はハードウェアには向かないため、簡略化した専用のアルゴリズムを用意している（図３）。
本実施形態においては、これら全てを満たすシステムとして、省電力のための動作モードおよび状態遷移制御、判定用ハードウェアを用意し、電力消費が増大することを抑止している。

本実施形態においては、図８に示すように、省電力機能を実現するための３つの動作モードを定義した。

フル動作モードは、常に受光用センサを動作させている状態で、Ｉ／Ｏディスプレイパネル２０の動作としてみると、操作に対する反応が最も良い状態である。通常１秒間に６０回画面上のセンサ情報を処理する。なおセンサの走査は、バックライトON/OFFの２枚の画像を得るため、２倍の１秒間に１２０回となる。

それに対し、間欠動作モードは、１秒間に１回から数回程度しかセンサの処理を行わず、センサの読み取りに消費される電力、画像処理に消費される電力、ＭＰＵに消費される電力を削減している。フル動作モードにあるＩ／Ｏディスプレイシステム２に対し、一定時間以上何の操作もないと、自動的に内部のＭＰＵをスリープ状態に移行させ、この間欠動作モードに入る。

さらに、機器コントローラ３が、Ｉ／Ｏディスプレイの機能を使用しなくても良いと判断した場合には、センサOFFモードへと移行する。
機器コントローラ３からはセンサディセイブルsensor_disableとして明示的に通知指示される。この信号が通知されると、Ｉ／Ｏディスプレイシステム２は画像処理用のＭＰＵをスリープに移行させる手続きをとった後、センサをオフ（OFF）にし、最も電力消費の少ない状態になる。
センサディセイブルSensor_disableが解除されると、Ｉ／Ｏディスプレイシステム２はまず間欠動作モードへと移行する。

第1の画像処理部（ハードウェア画像処理部）２５には、ＭＰＵ（第２の画像処理部）の判定に頼らずに指の接近を検出するための機能が備えられている。この指接近検出は、ハードウェア画像処理の結果から、ある一定の大きさ以上の明るい領域を見つけると、それを指の可能性ありとして、省電力制御部２７に伝える。
省電力制御部２７は、この信号が真になると、ＭＰＵがスリープ状態にあるときは、動作状態に移行させ、また、センサ駆動回路、画像処理ハードウェアを間欠動作モードからフル動作モードへと移行させる。

以上の構成を用いて、必要なときにのみフル動作モードを利用して、機器の消費電力を削減することを実現することが可能である。

＜消費電力・反応の早さについて＞
フル動作モード、間欠動作モードの選択、および間欠動作モード時の動作間隔によって、反応の早さ、消費電力が変わってくる。
携帯機器においては、消費電力は重要な項目であり、一方消費電力に余裕があるシステムの場合は、反応の早さに重点を置くべきである。
携帯機器への実装例として、センサ処理１組（バックライトON/OFFの２回走査で１組）を１フレームとして、フル動作＝６０フレーム／秒、間欠動作＝２フレーム／秒を標準の構成として提案する。
この場合、間欠動作モードでは、フル動作モードの約 1/30以下の電力消費となる（ＭＰＵをスリープさせる分、さらに低い電力となる）。
間欠動作時のより速い反応を実現させるためには、たとえば間欠動作モードを10フレーム／秒とすることで、０．１秒以内の反応となり、ほぼ人間には気づかれない速さでフル動作モードへと移行することができる一方、間欠動作時の消費電力は、標準に比べ１／６倍程度消費することとなる。

以上、本実施形態に係る基本的な構成および省電力制御について説明した。以下では、本実施形態に係る画像処理についてより具体的に説明する。

次に、図１０〜図２６に関連付けて、本発明の特徴的部分の１つである、画像処理による指先等のＩ／Ｏディスプレイパネル２０に接触または近接する物体（近接物体）の抽出処理（指先抽出処理）について詳細に説明する。ここで図１０は、この画像処理部による指先抽出処理を流れ図で表したものであり、図１１は、この指先抽出処理の一部をタイミング図で表したものである。

まず、表示１フレーム期間の前半期間であるバックライト２１がオフの期間（無光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ａ（影画像）が取得される（図１０のステップＳＴ１１、図１１）。

次に、表示１フレーム期間の後半期間であるバックライト２１がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図１１）。
そして、この画像Ｂと画像Ａとの差分画像Ｃに基づく指先抽出処理（差分画像指先抽出処理）がたとえば第１の画像処理部２５に行われる（ステップＳＴ１２）。

また、この差分画像指先抽出処理と並行して、画像Ａ（影画像）に基づく指先抽出処理（影画像指先抽出処理）が第１の画像処理部２５によって行われる（ステップＳＴ１３、図１０）。

次に、第１の画像処理部２５は、ステップＳＴ１２において差分画像指先抽出処理によって指先が抽出できた（指先等の近接物体の位置、形状または大きさなどの情報が取得できた）かどうかを判断する（ステップＳＴ１４）。
抽出できたと判断した場合（ステップＳＴ１４：Ｙ）、第２の画像処理部２６は、差分画像指先抽出処理による抽出結果を採用すると決定し（ステップＳＴ１５）、最終結果を機器コントローラ３に出力する（ステップＳＴ１７）。

一方、抽出できなかったと判断した場合（ステップＳＴ１４：Ｎ）、第２の画像処理部２６は、影画像指先抽出処理による抽出結果を採用すると決定し（ステップＳＴ１６）、最終結果を機器コントローラ３に出力する（ステップＳＴ１７）。

このようにして、本実施形態に係る画像処理（ハードウェアおよびソフトウェアを含む）差分画像指先抽出処理を主、影画像指先抽出処理を従として、これら両抽出処理を考慮して、最終的に一方の抽出処理による抽出結果が選択される。

次に、差分画像指先抽出処理および影画像指先抽出処理の詳細について説明する。

まず、図１２〜図１７に関連付けて、差分画像指先抽出処理の詳細について説明する。図１２は、この差分画像指先抽出処理の詳細を流れ図で表したものである。

まず、前述したように、表示１フレーム期間の後半期間であるバックライト２１がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図１２のステップＳＴ１２１、図１１）。

次に、第２の画像処理部２６は、この画像Ｂと、バックライト２１がオフの期間（無光期間）における撮像により得られた画像Ａ（影画像）との差分画像Ｃを生成する（ステップＳＴ１２２）。

そして、第２の画像処理部２６は、生成された差分画像の重心を判定する演算処理を行い（ステップＳＴ１２３）、接触（近接）中心の特定を行う（ステップＳＴ１２４）。

このようにして、差分画像指先抽出処理では、表示光を利用した画像Ｂと表示光を利用しないで外光を利用した画像Ａとの差分画像Ｃに基づいて指先の抽出処理が行われるため、図１３に示した差分画像Ｃの写真画像例のように、外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体が検出される。

具体的には、たとえば図１４（Ａ）に断面図で示したように、入射する外光が強い場合には、バックライト２１を点灯させた状態での受光出力電圧Ｖon１は、図１４（Ｂ）に示したように、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト２１を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。

また、図１５（Ａ）に断面図で示したように、入射する外光が弱い（ほとんどない）状態では、バックライト２１を点灯させた状態での受光出力電圧Ｖon２は、図１５（Ｂ）に示したように、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト２１を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。

このように、図１４および図１５を比較すると判るように、パネルの表示エリア２０１に接触していない個所では、外光がある場合とない場合とで、受光出力電圧が大きく異なっている。ところが、指が接触している個所では、外光の有無に関係なく、バックライトの点灯時の電圧値Ｖｂと、バックライトの消灯時の電圧値Ｖｃとが、ほぼ同じような状態となっている。

よって、バックライト２１の点灯時の電圧と消灯時の電圧との差を検出して、電圧値Ｖｂと電圧値Ｖｃとの差のように、一定以上の差がある個所が、接触した個所または近接した個所であると判断することができ、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触または近接が検出されるようになっている。

また、図１６（Ａ），（Ｂ）に示したように、受光出力電圧の検出に必要なダイナミックレンジについては、以下のように決定される。ここで、図１６（Ａ）は、パネルの表示エリア２０１の接触状態を示したもので、指ｆでパネル表面を触れているとともに、反射率がほぼ１００％の円形の物体ｍを、表示エリア２０１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光出力電圧は、図１６（Ｂ）に示す状態となる。また、図１６（Ｂ）において、電圧Ｖon３はバックライトを点灯させた状態での受光出力電圧であり、電圧Ｖoff３はバックライトを消灯させた状態での受光出力電圧である。

図１６（Ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト点灯時に検出される電圧値Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。よって、観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよいことが判る。

また、この差分画像指先抽出処理では、図１７（Ａ）〜（Ｄ）に示した画像（それぞれ、画像Ａ〜Ｃ、および画像Ｃの２値化画像）からわかるように、Ｉ／Ｏディスプレイパネル２０の表示エリア２０１上に同時に配置された複数の接触または近接する物体についても、同様にそれぞれの物体に関する位置、形状または大きさなどの情報が取得できる。

次に、図１８〜図２５に関連付けて、影画像指先抽出処理の詳細について説明する。図１８は、この影画像指先抽出処理の詳細を流れ図で表したものであり、図１９は、影画像指先抽出処理の際の状況を斜視図で表したものである。

まず、第１の画像処理部２５または第２の画像処理部２６は、すでに取得された画像Ａ（影画像）の反転画像（−Ａ）を生成する（ステップＳＴ１３１）。また、画像処理部１４は、もとの画像Ａの移動平均画像ＭＡを生成する（ステップＳＴ１３２）。

この移動平均画像ＭＡの生成は、具体的にはたとえば図２３（Ａ），（Ｂ）に示したように、画像Ａにおいて、一の注目画素３０Ａおよびその周辺画素からなる画素領域３０（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセルの画素領域）において、画素データの平均化演算処理を行うと共に、たとえば図２４に示したように、その演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして、平均化演算処理を撮像画像全体について行う。
また、この平均化演算処理の際の画素領域３０の大きさ（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセル）は、検出対象の物体として予想される大きさ（ターゲットサイズａ）に基づいて設定する（たとえば、ターゲットサイズａと同程度の大きさに設定する）のが望ましい。
詳細は後述するが、このような大きさとすることで、たとえば図２０に示した画像２０Ａ（後述する画像Ｄまたは画像Ｅに対応）のように、近接物体である指先に加えて拳の部分についても検出（符号６０Ａの部分）されるようなことが回避されるからである。
なお、たとえば図２５に示したように、平均化演算処理の際に必要となる実際の撮像領域５０の外側の領域５１の画素データについては、たとえば撮像領域５０の外周部分の画素データをそのままコピーして適用するようにすればよい。

次に、第１の画像処理部２５または第２の画像処理部２６は、移動平均画像ＭＡから、後に（ステップＳＴ１３６において）利用する所定の閾値ＴＨを算出する（ステップＳＴ１３３）。具体的には、移動平均画像ＭＡにおける最も明るい（最も画素データの大きい）画素の画素データと、もとの画像Ａにおける最も暗い（最も画素データの小さい）画素の画素データとに基づいて（たとえば、これらの画素データの平均を取って）閾値ＴＨを求める。
なお、最も明るい（最も画素データの大きい）画素の画素データについては、表示エリア２０１の四隅には同時に近接物体が配置されることは通常ないものとして、これら四隅の画素の画素データの平均値を割り当てるようにしてもよい。

次に、第２の画像処理部２６は、生成した移動平均画像ＭＡの反転画像（−ＭＡ）を生成し（ステップＳＴ１３４）、もとの画像Ａの反転画像（−Ａ）とこの移動平均画像ＭＡの反転画像（−ＭＡ）との差分画像、すなわち移動平均画像ＭＡともとの画像Ａとの差分画像である差分画像Ｄ＝（−Ａ）−（−ＭＡ）＝ＭＡ−Ａを生成する（ステップＳＴ１３５）。そして、第２の画像処理部２６は、画像Ｄの各画素データからステップＳＴ１３３において算出した閾値ＴＨを減算した画像Ｅ＝Ｄ−ＴＨを生成する（ステップＳＴ１３６）。

ここで、図２１に示した画像Ｄ，Ｅおよび図２２に示したこれら画像Ｄ，Ｅにおける受光出力電圧波形例Ｇｄ，Ｇｅのように、ターゲットサイズａと同程度の大きさである指先部分が検出される一方、指先よりも大きい拳部分については検出されないようになる。
なお、図２２に示した受光出力電圧波形例Ｇａ，Ｇ（−ａ），Ｇｍａ，Ｇ（−ｍａ）はそれぞれ、もとの画像Ａ，その反転画像（−Ａ），移動平均画像ＭＡ，その反転画像（−ＭＡ）における受光出力電圧波形例に対応する。

次に、第２の画像処理部２６は、前述の差分画像指先抽出処理の場合と同様にして、この画像Ｅに基づいて重心計算処理（ステップＳＴ１３７）および接触（近接）中心の特定処理（ステップＳＴ１３８）を行う。

このようにして、影画像指先抽出処理では、外光を利用して撮像された画像Ａの移動平均画像ＭＡと、もとの画像Ａとの差分画像Ｄに基づいて指先の抽出処理が行われる。このため、前述のようにターゲットサイズと同程度の大きさの物体のみが検出されると共に、表示光が出射されていないような場合（たとえば、表示素子である液晶素子が半透過型の液晶素子である場合において屋外で利用する場合のように、バックライト２１が常時オフ状態になる場合や、黒画像がＩ／Ｏディスプレイパネル２０に表示されている場合など）にも、近接物体の検出が行われる。

なお、この影画像指先抽出処理においても、差分画像指先抽出処理の場合と同様に、Ｉ／Ｏディスプレイパネル２０の表示エリア２０１上に同時に配置された複数の接触または近接する物体について、それぞれの物体に関する位置、形状または大きさなどの情報が取得できるように構成されている。

このようにして本実施の形態の表示装置では、以上説明した差分画像指先抽出処理および影画像指先抽出処理を考慮して、これらのうちの一方による近接物体の検出結果が最終結果として第２の画像処理部２６から機器コントローラ３に出力される。

図２６は、これら差分画像指先抽出処理および影画像指先抽出処理による指先抽出処理の特徴を比較して表したものである。この図において、「○」はその条件下での指先抽出が得意であることを、「△」はその条件下での指先抽出処理が状況によって得意・不得意が変動することを、「×」はその状況下では原則として指先抽出処理が不得意であることを、それぞれ表している。
この図から判るように、周囲が明るい環境のときには差分画像指先抽出処理のほうが指先抽出処理が得意であることから指先抽出処理による抽出結果が採用されると考えられる一方、バックライト２１が消灯していて表示光が出射されていない場合や黒表示状態のときには、差分画像指先抽出処理では抽出ができない場合が生じ、その場合には影画像指先抽出処理による抽出結果が採用されると考えられる。

次に、図２７〜図３０に関連付けて、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、機器コントローラ３によるアプリケーションプログラム実行例について、いくつか説明する。

まず、図２７（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。

また、図２７（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。

また、図２８に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、たとえばズームインなどの指示を行うことができる。
また、このような指示ができることで、たとえばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。

また、たとえば図２９に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。
すなわち、図２９に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。
このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、たとえば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。

また、たとえば図３０に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。
この場合には、毛筆の細かいタッチまで認識して実現することが可能である。通常の手書き認識の場合には、たとえば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。

以上のように本実施の形態では、表示光を利用した近接物体の撮像により得られる画像Ｂ（表示光利用画像）と、近接物体の影の撮像により得られる画像Ａ（影画像）との差分画像Ｃを生成すると共に、これら画像Ａ（影画像）および差分画像Ｃを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたので、たとえば周囲の状況や表示光の輝度などのそのときの使用状況によらず、物体の検出を行うことが可能となる。

また、画像Ａに基づいて移動平均画像ＭＡを生成し、この移動平均画像ＭＡともとの画像Ａとの差分画像Ｄ、そしてこの差分画像Ｄの各画素データから閾値ＴＨを減算した画像Ｅを利用して検出すると共に、平均化演算処理の際の画素領域３０の大きさを、検出対象の物体として予想される大きさ（ターゲットサイズ）と同程度としたので、たとえばターゲットサイズと同程度の大きさである指先部分を検出するようにし、指先よりも大きい拳部分については検出されないようにすることができ、より確実な検出処理を行うことが可能となる。

また、一の動作周期（１表示フレーム期間）内において、画像Ａ（影画像）の取得を画像Ｂ（表示光利用画像）の取得よりも先に行うようにしたので、たとえば図１１に示したように、差分画像指先抽出処理を行うまでに演算処理に時間を要する移動平均画像ＭＡの演算を行う時間を確保することができ、逆に画像Ｂの取得を画像Ａの取得よりも先に行うように構成した場合と比べ、全体として短時間で処理を行うことが可能となる。

なお、本実施の形態では、差分画像指先抽出処理を主とすると共に影画像指先抽出処理を従とするように構成したが、場合によっては、逆に差分画像指先抽出処理を従とすると共に影画像指先抽出処理を主として構成してもよい。

［第２の実施の形態］
図３１は、本発明の第２の実施の形態に係る携帯表示装置の全体構成を示すブロック図である。

図１の表示装置１のＩ／Ｏディスプレイシステム２は、指先が明るくなるようハードウェアにより処理された画像から、最終的に座標・面積までを求めるＭＰＵ・ソフトウェアまでをパネルのシステムとしてまとめ構成を有している。機器コントローラ３は、この座標・面積の情報を元に、操作を実現する。コントローラの負担の少ない構成である。

これに対して、図３１の表示装置１ＡのＩ／Ｏディスプレイシステム２Ａは、指先が明るくなるようハードウェアにより処理された画像から、指先が接近しているか否かを判定する判定回路までをパネルのシステムとしてまとめた構成を有している。その後の座標・面積の計算は、機器コントローラ３側で行う。この場合、消費電力削減は、パネルのセンサの動作間隔を切り替えることで実現する。またパネルシステムからは、指先が接近しているかの情報と、画像処理の結果が、機器コントローラ３側に送られる。

このように本実施形態としては、実施する機器によってハードウェア構成を若干変更させることが可能である。また本構成を用いて、消費電力の削減と、反応の早さのどちらに重点を置くかを選択することができる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。
本実施の形態の表示撮像装置は、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。

図３２は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、前述した実施の形態と同様にして画像Ａ（影画像）が取得されると（ステップＳＴ２１）、図２６に示した比較表からも判るように、第２の画像処理部２６によって、その状況によって指先抽出処理が確実に行われるようなほうの処理が選択的に行われる（ステップＳＴ２２〜ＳＴ２６）。

具体的には、バックライトが常時オフ状態のとき、黒画像が表示されているとき、周囲が暗くない環境の場合には、影画像指先抽出処理（ステップＳＴ２６）が選択的に実行されて、最終結果が出力される（ステップＳＴ２７）。なお、周囲が暗いかどうかは、画像Ａ（影画像）での画素データの大小によって判断され、画素データが非常に小さい場合には、周囲が非常に暗い環境であると判断される。

一方、逆に、バックライトが常時オフ状態ではないとき、黒画像が表示されていないとき、周囲が非常に暗い環境の場合には、差分画像指先抽出処理（ステップＳＴ２５）が選択的に実行されて、最終結果が出力される（ステップＳＴ２７）。

以上のように本実施の形態では、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたので、それぞれの指先抽出処理のうちの適したほうを適用することができ、より様々な使用状況に対応して確実に抽出処理を行うことが可能となる。

［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。
本実施の形態の表示撮像装置は、どのような場合でも図２および図３に示したように、第１の画像処理部２５において差分画像指先抽出処理および影画像指先抽出処理の両方を行い、画像Ａ（影画像）および差分画像Ｃの合成画像を利用して、指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。

図３３は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、第１の実施の形態と同様にして画像Ａ（影画像）が取得されると（ステップＳＴ２１）、重心計算および接触（近接）中心の特定処理を除いて、差分画像指先抽出処理および影画像指先抽出処理がそれぞれ実行される（ステップＳＴ３２，ＳＴ３３）。

次に、たとえば図３４に示したように、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅが生成される（ステップＳＴ３４）。なお、αは、所定の重み付け係数を表している。

そして、その後は前述の実施の形態と同様に、第２の画像処理部２６において、重心計算処理（ステップＳＴ３５）、接触（近接）中心の特定処理（ステップＴＳ３６）および最終結果の出力処理（ステップＳＴ３７）が行われる。

以上のように本実施の形態では、どのような場合でも差分画像指先抽出処理および影画像指先抽出処理の両方を行い、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅを生成し、この合成画像Ｆに基づいて指先抽出処理を行うようにしたので、たとえば図３４に示したように、より鮮明に指先などの画像を検出することができ、より確実に抽出処理を行うことが可能となる。

以上、第１〜第４の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

たとえば、本発明の移動平均画像の生成処理では、平均化画像処理を行い際に、対象とする画素を間引いて演算を行うようにし、処理を軽減するようにしてもよい。たとえば図３５（Ａ），（Ｂ）に示したように、最初に注目画素を一の画素方向に沿って順次移動させつつ、この一の画素方向上の画素に対して平均化演算処理を行い、その後、注目画素を他の一の画素方向に沿って順次移動させつつ、この他の一の画素方向上の画素に対して平均化演算処理を行うようにしてもよい。また、たとえば図３６（Ａ），（Ｂ）に示したような演算回路７０〜７３を用いて、所定の方向へのドット加算処理を行うようにしてもよい。

また、上記実施の形態では、原画像Ａから移動平均画像ＭＡを生成すると共に、この移動平均演算処理の際の画素領域５０の大きさを検出対象の物体として予想される大きさ（ターゲットサイズａ）を基に設定することにより、移動平均画像ＭＡにおいて、画素領域３０よりも大きい、すなわち画素領域５０よりも空間周波数の高い画素データ（この場合、指先画像）を除去し、この移動平均画像ＭＡと原画像Ａとの差分を取ることにより、最終的に画素領域５０よりも空間周波数の低い画素データ（この場合、影画像）を除去し、空間周波数の高い画素データ（この場合、指先画像）を抽出するようにしている。つまり、上記実施の形態では、このような高域通過フィルタの一例かつ最も簡便かつ高速処理の可能な方法として、移動平均画像ＭＡと原画像Ａとの差分を取る方法について説明している。よって、上記実施の形態で説明した方法には限定されず、他の高域通過フィルタを用いて、一度に低域通過フィルタ処理と差分処理の両方の処理を行うようにしてもよい。

また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、たとえ有機ＥＬ（Electro Luminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネルを構成するようにしてもよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。

本発明の第１の実施の形態に係る携帯表示装置の全体構成を示すブロック図である。 本実施形態に係る第１の画像処理部（ハードウェア画像処理部）の処理を示すフローチャートである。 図２における指接近検出処理の処理を示すフローチャートである。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 各画素の構成例を表す回路図である。 各画素とセンサ読み出し用Ｈドライバとの接続関係を説明するための回路図である。 バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。 本実施形態に係る省電力シーケンスの状態遷移図である。 省電力制御のパルシーケンスを示す図である。 第１の実施の形態に係る指先抽出処理を表す流れ図である。 図１０における各抽出処理について説明するためのタイミング図である。 図１１に示した差分画像指先抽出処理の詳細を表す流れ図である。 差分画像指先抽出処理について説明するための構成図である。 外光が明るい場合の差分画像指先抽出処理について説明するための図である。 外光が暗い場合の差分画像指先抽出処理について説明するための図である。 差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。 検出対象の指先が同時に複数存在する場合の差分画像指先抽出処理について説明するための構成図である。 図１１に示した影画像指先検出処理の詳細を表す流れ図である。 影画像指先検出処理の概念について説明するための斜視図である。 影画像指先検出処理による撮像画像の一例を表す摸式図である。 影画像指先抽出処理について説明するための構成図である。 影画像指先抽出処理による受光信号について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 差分画像指先抽出処理と影画像指先抽出処理とについて比較説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 本発明の第２の実施の形態に係る携帯表示装置の全体構成を示すブロック図である。 第３の実施の形態に係る指先抽出処理の流れ示すフローチャートである。 第４の実施の形態に係る指先抽出処理の流れ示すフローチャートである。 図３３に示した画像合成処理について説明するための構成図である。 本発明の他の実施形態例に係る移動平均画像の生成処理について説明するための図である。 本発明の他の実施形態例に係る移動平均画像の生成処理について説明するための図である。

符号の説明

１，１Ａ・・・携帯表示装置、２，２Ａ・・・、Ｉ／Ｏディスプレイシステム、２０・・・Ｉ／Ｏディスプレイシステム、２１・・・バックライト、２２・・・Ｉ／Ｏディスプレイシステム集積化回路（ディスプレイＩＣ）、２３・・・表示ドライブ回路、２４・・・受光ドライブ回路、２５・・・ハードウェア画像処理部（第１の画像処理部）、２６・・・ソフトウェア画像処理部（第２の画像処理部）、２７・・・省電力制御部、３・・・機器コントローラ（アプリケーション処理部）、２０１・・・表示エリア（センサエリア）、２０２・・・表示用Ｈドライバ、２０３・・・表示用Ｖドライバ、２０４・・・センサ用Ｖドライバ、２５・・・センサ読み出し用Ｈドライバ、３０・・・演算画素領域、３１〜３３・・・画素、４１ａ〜４１ｃ・・・定電流源、５０・・・表示用領域、５１・・・演算用領域。

Claims (24)

1. 表示機能と受光撮像機能とを有する表示パネルと、
   上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、
   上記第１の画像処理部の処理結果に基づき、上記第１の画像処理より処理負荷の大きい第２の画像処理を行う第２の画像処理部と、
   上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を上記スリープ状態から復帰させる制御部と
   を有する表示装置。
2. 上記表示パネルは上記表示機能および上記受光撮像機能を当該表示パネルの表示領域の内側に有する
   請求項１記載の表示装置。
3. 上記制御部は、上記第２の画像処理部がスリープ状態の場合に、上記受光撮像機能および上記第１の画像処理部の画像処理を非スリープ状態の場合よりまばらな間隔で行うように制御する
   請求項１または２記載の表示装置。
4. 上記制御部は、上記第２の画像処理部をスリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を復帰させると 共に、上記第１の画像処理部の画像処理の間隔も非スリープ状態の間隔に戻す
   請求項３に記載の表示装置。
5. 上記第２の画像処理部は、上記第２の画像処理により、少なくとも上記被検出体の上記表示パネルの表示領域における位置情報を得る
   請求項１から４のいずれか一に記載の表示装置。
6. 上記第２の画像処理部は、上記第２の画像処理によりラベリング処理を行い、上記位置情報に加え、上記被検出体の数を求める
   請求項５記載の表示装置。
7. 上記制御部は、機器のアプリケーションが、一時的に被検出体の入力検知を必要としない場合に、上記第２の画像処理部および受光撮像機能の電源を遮断する
   請求項１から６のいずれか一に記載の表示装置。
8. 上記第１の画像処理部は、上記第1の画像処理により得られた画像の明るさが所定閾値以上である領域情報に基づき上記被検出体の上記表示パネルへの接近を検出する
   請求項１から７のいずれか一に記載の表示装置。
9. 上記表示パネルは明滅可能な自発光部を有し、
   上記第１の画像処理部は、上記自発光部をオン（ON）／オフ（OFF）して得られた２枚の受光画像を処理して上記領域情報を得る
   請求項８記載の表示装置。
10. 上記第１の画像処理部は、
    自発光部をオン（ON）／オフ（OFF）して得られた２枚の受光画像から、外光の影響を除去し、上記被検出体が周囲より明るい画像を、画像処理により生成する第１の処理と、
    上記自発光部のオフ（OFF）の受光画像から影検出処理を行い、上記被検出体が明るくなるように処理した画像を、画像処理により生成する第２の処理と、を行い、
    上記第１および第２の処理により得られた画像を合成して、上記被検出体の上記表示パネルへの接近を検出する
    請求項１から６のいずれか一に記載の表示装置。
11. 上記第２の画像処理部は、
    上記影画像および上記差分画像を用いて、上記被検出体の位置、形状または大きさの少なくとも１つに関する情報を取得する機能を有する
    請求項７記載の表示装置。
12. 複数の表示素子と複数の受光センサとを表示領域の内側に有する表示パネルと、
    上記複数の受光センサからの出力に基づき検出対象である物体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、
    上記第１の画像処理部からの出力に対して、少なくとも検出された上記物体の数および上記表示領域における位置情報を得るための第２の画像処理を行う第２の画像処理部と、
    上記第１の画像処理部による上記物体が接近したか否かの検出結果に応じて、上記第２の画像処理部の処理が不要な場合は上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第２の画像処理部の処理が必要な場合は上記第２の画像処理部の処理を上記スリープ状態から復帰させる制御部と
    を有する表示装置。
13. 上記複数の表示素子と複数の受光センサとがそれぞれマトリクス状に配置されている
    請求項１２記載の表示装置。
14. 上記制御部は、上記第２の画像処理部がスリープ状態の場合に、上記第１の画像処理部の画像処理を非スリープ状態の場合よりまばらな間隔で行うように制御する
    請求項１２または１３記載の表示装置。
15. 上記制御部は、上記第２の画像処理部をスリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を復帰させると共に、上記第１の画像処理部の画像処理の間隔も非スリープ状態の間隔に戻す
    請求項１４に記載の表示装置。
16. 所定のアプリケーションソフトに応じた処理を実行する機器コントローラをさらに有し、
    上記制御部は、上記機器コントローラが上記物体の検知を必要としない場合に、上記第２の画像処理部をスリープ状態に制御する
    請求項１２から１５のいずれか一に記載の表示装置。
17. 上記制御部は、上記機器コントローラが上記物体の検知を必要としない場合に、上記第２の画像処理部をスリープ状態にした後に当該第２の画像処理部に供給される電源を遮断する
    請求項１６記載の表示装置。
18. 上記第1の画像処理により得られた画像の明るさが所定閾値以上である領域情報に基づき上記被検出体の上記表示パネルへの接近を検出する
    請求項１２から１７のいずれか一に記載の表示装置。
19. 複数の表示素子と複数のセンサとを表示領域の内側に有する表示パネルと、
    上記複数のセンサからの出力に基づき検出対象である物体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、
    上記第１の画像処理部からの出力に対して、少なくとも検出された上記物体の数および上記表示領域における位置情報を得るための第２の画像処理を行う第２の画像処理部と、
    上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理をスリープ状態から復帰させる制御部と
    を有する表示装置。
20. 上記複数の表示素子と複数の受光センサとがそれぞれマトリクス状に配置されている
    請求項１９記載の表示装置。
21. 上記制御部は、上記第２の画像処理部がスリープ状態の場合に、上記第１の画像処理部の画像処理を非スリープ状態の場合よりまばらな間隔で行うように制御する
    請求項１９または２０記載の表示装置。
22. 上記制御部は、上記第２の画像処理部をスリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を復帰させると共に、上記第１の画像処理部の画像処理の間隔も非スリープ状態の間隔に戻す
    請求項２１に記載の表示装置。
23. 表示機能と受光撮像機能とを有する表示パネルを有する表示装置の制御方法であって、
    上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を第１の画像処理部を用いて行う第１のステップと、
    上記第１の画像処理の処理結果に基づき、少なくとも上記被検出体の上記表示パネルの表示領域における位置情報を得るための上記第１の画像処理より処理負荷の大きい第２の画像処理を第２の画像処理部を用いて行う第２のステップと、
    上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部をスリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を復帰させる第３のステップと
    を有する表示装置の制御方法。
24. 複数の表示素子と複数の受光センサとを表示領域の内側に有する表示パネルを有する表示装置の制御方法であって、
    上記複数の受光センサからの出力に基づき検出対象である物体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１のステップと、
    上記第１の画像処理の処理結果に基づき、少なくとも検出された上記物体の数および上記表示領域における位置情報を得るための第２の画像処理を第２の画像処理部を用いて行う第２のステップと、
    上記第１のステップにおける上記物体が接近したか否かの検出結果に応じて上記第２の画像処理が不要な場合は、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部をスリープ状態に制御した後、上記第２の画像処理部の処理が必要な場合は上記第２の画像処理部の処理を復帰させる第３のステップと
    を有する表示装置の制御方法。

Images