JP4390002B2 - Display device and control method thereof - Google Patents
Display device and control method thereof Download PDFInfo
- Publication number
- JP4390002B2 JP4390002B2 JP2008063005A JP2008063005A JP4390002B2 JP 4390002 B2 JP4390002 B2 JP 4390002B2 JP 2008063005 A JP2008063005 A JP 2008063005A JP 2008063005 A JP2008063005 A JP 2008063005A JP 4390002 B2 JP4390002 B2 JP 4390002B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- processing unit
- image
- display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Position Input By Displaying (AREA)
- Liquid Crystal Display Device Control (AREA)
- Liquid Crystal (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、液晶表示ディスプレイ、有機ＥＬ（electro-luminescence）ディスプレイなどに適用して好適な表示装置に関し、たとえば、表示領域（パネル）に受光素子を有しパネルに接触または近接する物体の位置などの情報を取得する表示装置およびその制御方法に関するものである。 The present invention relates to a display device suitable for application to a liquid crystal display, an organic EL (electro-luminescence) display, and the like. For example, the position of an object that has a light receiving element in a display region (panel) and is in contact with or close to the panel. The present invention relates to a display device that acquires the information and a control method thereof.
表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。 A technique for detecting the position of an object in contact with or close to the display surface of a display device is known. Among them, a representative and widely used technique is a display device provided with a touch panel.
このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するように構成されている。したがって、このようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。 There are various types of touch panels, but a type that detects a capacitance is one of the most popular touch panels. This type is configured to detect changes in the surface charge of the panel by touching the touch panel with a finger and detect the position of the object. Therefore, the user can operate intuitively by using such a touch panel.
また、本出願人はたとえば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
上記特許文献１に記載されている表示装置を利用すれば、たとえば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示光（検出対象光）を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
If the display device described in
しかしながら、この種の表示装置において、たとえばパネル表面に指先などが接近しているかを判定するためには、受光(Input)の機能が働いていることが条件となる。そのため、仮に長時間指先で操作することがなくとも、受光のための電力を常に消費することとなる。この不要な電力消費は、特にバッテリ駆動される携帯機器には不向きとなる。 However, in this type of display device, for example, in order to determine whether a fingertip or the like is approaching the panel surface, it is necessary that the light receiving (Input) function is working. Therefore, even if it is not operated with a fingertip for a long time, power for light reception is always consumed. This unnecessary power consumption is particularly unsuitable for battery-powered portable devices.
本発明は、簡易な構成で物体の位置などを検出することが可能であることはもとより、不要な電力消費を抑止することが可能な表示装置およびその制御方法を提供することにある。 An object of the present invention is to provide a display device capable of detecting the position of an object or the like with a simple configuration and capable of suppressing unnecessary power consumption and a control method thereof.
本発明の第１の観点の表示装置は、表示機能と受光撮像機能とを有する表示パネルと、上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、上記第１の画像処理部の処理結果に基づき、上記第１の画像処理より処理負荷の大きい第２の画像処理を行う第２の画像処理部と、上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を上記スリープ状態から復帰させる制御部とを有する。 The first aspect of the display device of the present invention includes a display panel having a display function and a light receiving imaging function, the detected member, which is a detection target Ri by the above light receiving image pickup function is whether the approaching to the display panel a first image processing unit that performs first image processing for detecting, based on the processing result of the first image processing unit, performs the second image processing large of the first image processing than the processing load When the second image processing unit and the first image processing unit do not detect the approach of the detected object for a predetermined time or more, the second image processing unit is controlled to be in a sleep state, and After the second image processing unit is controlled to the sleep state, when the first image processing unit detects the approach of the detected object, the processing of the second image processing unit is returned from the sleep state. And a control unit.
本発明の第２の観点は、表示機能と受光撮像機能とを有する表示パネルを有する表示装置の制御方法であって、上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を第１の画像処理部を用いて行う第１のステップと、上記第１の画像処理の処理結果に基づき、少なくとも上記被検出体の上記表示パネルの表示領域における位置情報を得るための上記第１の画像処理より処理負荷の大きい第２の画像処理を第２の画像処理部を用いて行う第２のステップと、上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を上記スリープ状態から復帰させる第３のステップとを有する。 The second aspect of the present invention is a control method of a display device having a display panel having a display function and a light receiving imaging function, the detected member that is a detection target Ri by the above light receiving image pickup function on the display panel Based on the first step of performing the first image processing for detecting whether or not the first approach is performed using the first image processing unit and the processing result of the first image processing , at least the detected object A second step of using a second image processing unit to perform a second image processing having a processing load greater than that of the first image processing for obtaining positional information in the display area of the display panel ; When the image processing unit does not detect the approach of the detected object for a predetermined time or more, the second image processing unit is controlled to be in the sleep state, and the second image processing unit is controlled to be in the sleep state. After the first image processing And a third step of returning the processing of the second image processing unit from the sleep state when the unit detects the approach of the detected object .
本発明によれば、受光撮像機能による撮像画像が第１の画像処理部に供給される。第１の画像処理部では、撮像画像に対する第１の画像処理結果に基づいて検出対象である被検出体が検出されたか否かが判断され、その旨を示す検出信号が生成されて制御部に供給される。制御部では、第１の画像処理部による検出信号に応じて第２の画像処理部の動作が制御される。そして、第２の画像処理部の処理は不要と判断した場合、第２の画像処理部がスリープ状態に制御される。 According to the present invention, a captured image by the light receiving imaging function is supplied to the first image processing unit. In the first image processing unit, it is determined based on the first image processing result with respect to the captured image whether or not the detected object to be detected has been detected, and a detection signal indicating that fact is generated and sent to the control unit. Supplied. In the control unit, the operation of the second image processing unit is controlled in accordance with the detection signal from the first image processing unit. When it is determined that the processing of the second image processing unit is unnecessary, the second image processing unit is controlled to be in the sleep state.
また、本発明の第３の観点の表示装置は、複数の表示素子と複数の受光センサとを表示領域の内側に有する表示パネルと、上記複数の受光センサからの出力に基づき上記表示パネルに接触または近接する物体を検出するための第1の画像処理を行う第１の画像処理部と、上記第１の画像処理部からの出力に対して、少なくとも検出された上記物体の上記表示領域における位置情報を得るための２の画像処理を行う第２の画像処理部と、上記第１の画像処理部の上記物体の検出結果に応じて上記第２の画像処理部の処理が不要な場合は、上記第２の画像処理部をスリープ状態に制御する制御部とを有する。 According to a third aspect of the present invention, there is provided a display device having a display panel having a plurality of display elements and a plurality of light receiving sensors inside a display area, and contacting the display panel based on outputs from the plurality of light receiving sensors. Alternatively, a first image processing unit that performs first image processing for detecting an adjacent object, and at least a position of the detected object in the display region with respect to an output from the first image processing unit When the second image processing unit that performs the second image processing for obtaining information and the processing of the second image processing unit according to the detection result of the object of the first image processing unit is unnecessary, And a control unit that controls the second image processing unit to a sleep state.
本発明によれば、簡易な構成で物体の位置などを検出することが可能であり、しかも不要な電力消費を抑止することができる。 According to the present invention, the position of an object can be detected with a simple configuration, and unnecessary power consumption can be suppressed.
以下、本発明の実施の形態について、図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る携帯表示装置１の全体構成を示すブロック図である。
[First Embodiment]
FIG. 1 is a block diagram showing an overall configuration of a
本携帯表示装置１は、Ｉ／Ｏディスプレイシステム２および機器コントローラ（アプリケーション処理部）３を主構成要素として有している。
The
Ｉ／Ｏディスプレイシステム２は、Ｉ／Ｏディスプレイパネル２０、バックライト２１、およびＩ／Ｏディスプレイシステム集積化回路（以下、ディスプレイＩＣという）２２により構成されている。
The I /
本実施形態に係る表示装置１は、表示と並行してディスプレイ表面の撮像も可能なＩ／Ｏディスプレイシステム２において、以下の特徴的な機能を有する。
１）：ディスプレイのバックライト２１を高速でオン（ON）／オフ（OFF）して得られた２枚の受光画像から、外光の影響を除去し、ディスプレイ表面に接触もしくは接近している検出対象物として、たとえば指先のみが明るい画像を、画像処理により生成する機能を有する。
２）：１）と並行して、ディスプレイのバックライト２１をオフ（OFF）したときの受光画像から、外光を積極的に利用した、影検出処理を行い、表面に接触もしくは接近している指先が明るくなるように処理した画像を、画像処理により生成する機能を有する。
３）：１），２）を同時並列的に処理し、指先が明るくなるよう処理した画像を取得する機能を有する。
以上の１）〜３）の処理を専用のハードウェア画像処理部で行い、３）の結果から指先が画面上に接触もしくは接近していることを判断する。
４）：ハードウェア画像処理部の処理結果を元に、本システム専用のソフトウェア画像処理部（ＭＰＵ）におけるソフトウェア画像処理により、検出すべき指先の数、座標、面積、領域の情報を計算する機能を有する。
The
1): Detection of contact or approaching the display surface by removing the influence of external light from two received light images obtained by turning on / off the
2) In parallel with 1), shadow detection processing using positive external light is performed from the received light image when the
3) It has a function of processing images 1) and 2) simultaneously and in parallel to acquire an image processed so that the fingertip is brightened.
The above processing 1) to 3) is performed by a dedicated hardware image processing unit, and it is determined from the result of 3) that the fingertip is in contact with or approaching the screen.
4) A function for calculating the number, coordinates, area, and region information of the fingertips to be detected by software image processing in the software image processing unit (MPU) dedicated to this system based on the processing result of the hardware image processing unit Have
そして、表示装置１のＩ／Ｏディスプレイシステム２は、省電力化を図るための以下の機能を有する。
５）：一定時間以上指先を検出しない場合、ソフトウェア画像処理は不要と判断し、自動的に処理用のＭＰＵをスリープさせる機能を有する。
６）：ＭＰＵスリープ中、受光および画像処理を通常よりまばらな間隔で行い、消費電力を低減させる機能を有する。
７）：ＭＰＵがスリープした後、ハードウェア画像処理部が指先の接近を判定した場合、ＭＰＵの処理を復帰させ、受光・画像処理の間隔も通常の状態に戻す機能を有する。
８）：本システムを組み込んだ機器のアプリケーションが、一時的に指先などの入力検知を必要としない場合に、本システム内のＭＰＵおよび、受光用の機能の電源を遮断し、消費電力を削減できる機能を有する。この場合、ＭＰＵをスリープモードに入れるための手順を適切に行うための機能を有している。
The I /
5): When a fingertip is not detected for a certain time or more, it is determined that software image processing is unnecessary, and the MPU for processing is automatically set to sleep.
6): During MPU sleep, light reception and image processing are performed at sparser intervals than usual to have a function of reducing power consumption.
7): After the MPU sleeps, when the hardware image processing unit determines the approach of the fingertip, the MPU process is restored, and the light reception / image processing interval is returned to the normal state.
8): When the application of the device incorporating this system temporarily does not require input detection such as fingertips, the MPU in this system and the light receiving function can be shut off to reduce power consumption. It has a function. In this case, it has a function for appropriately performing a procedure for putting the MPU into the sleep mode.
Ｉ／Ｏディスプレイパネル２０は、たとえば複数の画素（表示素子）が全面にわたってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有する。さらに、後述するように、このＩ／Ｏディスプレイパネル２０に接触または近接する物体を撮像する機能（撮像機能）を有する。また、バックライト２１は、たとえば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の光源として機能し、後述するようにＩ／Ｏディスプレイパネル２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うように制御される。
The I /
ディスプレイＩＣ２２は、表示ドライブ回路２３、受光ドライブ回路２４、ハードウェア画像処理部（第１の画像処理部）２５、ソフトウェア画像処理部（第２の画像処理部）２６、および省電力制御部２７を有している。
The display IC 22 includes a
表示ドライブ回路２３は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）。
The
受光ドライブ回路２４は、Ｉ／Ｏディスプレイパネル２０において受光データが得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）。なお、受光ドライブ回路２４は、各画素での受光データは、たとえばフレーム単位で図示しないフレームメモリに蓄積し、撮像画像として第１の画像処理部２５に出力する。
The light
第１の画像処理部（ハードウェア画像処理部）２５は、ディスプレイのバックライト２１を高速でオン（ON）／オフ（OFF）して得られた２枚の受光画像（バックライト２１をオン／オフして得られた２枚の受光画像）から、外光の影響を除去し、Ｉ／Ｏディスプレイパネル２０の表面側に接触もしくは接近している指先のみが明るい画像を、画像処理により生成する第１の処理としての反射検出処理（明滅差分処理）を行う。
第１の画像処理部２５は、ディスプレイ自発光オフ（OFF）の受光画像から、外光を積極的に利用した、影検出処理を行い、表面に接触もしくは接近している指先が明るくなるように処理した画像を、画像処理により生成する第２の処理としての影検出処理を行う。第１の画像処理部２５は、反射検出処理（第１の処理）と影検出処理（第２の処理）とを同時並列的に処理し、指先が明るくなるよう処理した画像を取得する。
そして、第１の画像処理部２５は、反射検出処理（第１の処理）と影検出処理（第２の処理）のよる画像を合成処理（第３の処理）した後、被検出体である指が接近したことを検出する指接近検出処理（第４の処理）を行う。第１の画像処理部２５は、画像処理結果を第２の画像処理部２６に出力して、指接近検出処理結果として指接近検出信号Ｓ２５（find obj）を省電力制御部２７に出力する。
指接近検出信号Ｓ２５は他の処理部を介して省電力制御部２７に供給されてもよく、その指接近検出信号Ｓ２５も第１の画像処理部２５から省電力制御部２７に出力される検出信号に含まれる。
The first image processing unit (hardware image processing unit) 25 receives two received light images (on / off of the backlight 21) obtained by turning on / off the
The first
The first
The finger approach detection signal S25 may be supplied to the power saving
図２は、本実施形態に係る第１の画像処理部（ハードウェア画像処理部）２５の処理を示すフローチャートである。また、図３は、図２における指接近検出処理の処理を示すフローチャートである。 FIG. 2 is a flowchart showing processing of the first image processing unit (hardware image processing unit) 25 according to the present embodiment. FIG. 3 is a flowchart showing the finger approach detection process in FIG.
第１の画像処理部２５は、図２に示すように、反射検出処理（第１の処理）と影検出処理（第２の処理）とを同時並列的に処理し（ＳＴ１，ＳＴ２）、反射検出処理（第１の処理）と影検出処理（第２の処理）による画像を合成処理（第３の処理）した後（ＳＴ３）、指接近検出処理を行う（ＳＴ４）。
第１の画像処理部２５は、ステップＳＴ４の指接近検出処理において、ノイズ削減のため、合成処理後の画像に対する平滑化処理を行った後（ＳＴ４１）、閾値以上のＮ×Ｎの領域があるか否かを判定する（ＳＴ４２）。
第１の画像処理部２５は、ステップＳＴ４２において、領域があると判定すると、被検出体である指が接近しそれを検出したものとして指接近検出信号Ｓ２５（find obj）をハイレベルで省電力制御部２７に出力する。
第１の画像処理部２５は、ステップＳＴ４２において、領域がないと判定すると、被検出体である指が接近していないものとして指接近検出信号Ｓ２５（find obj）をローレベルで省電力制御部２７に出力する。
As shown in FIG. 2, the first
In the finger approach detection process in step ST4, the first
If the first
If the first
第２の画像処理部（ソフトウェア画像処理部，ＭＰＵ））２６は、第１の画像処理部（ハードウェア画像処理部）２５の処理結果を元に、ソフトウェア画像処理により、検出すべき指先の数、座標、面積、領域の情報を計算し、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得する。
第２の画像処理部２６の処理は、第１の画像処理部２５の処理より負荷が重く電力消費が大きいことから、省電力制御部２７により省電力モード時には、オフ状態に制御される。第２の画像処理部２６の処理結果は機器コントローラ３に供給される。
なお、第１および第２の画像処理部の処理の詳細については後述する。
The second image processing unit (software image processing unit, MPU)) 26 determines the number of fingertips to be detected by software image processing based on the processing result of the first image processing unit (hardware image processing unit) 25. The coordinates, area, and area information are calculated, and information (position coordinate data, data regarding the shape and size of the object, etc.) relating to an object that is in contact with or close to the I /
Since the processing of the second
Details of the processing of the first and second image processing units will be described later.
省電力制御部２７は、第１の画像処理部２５による指接近検出信号Ｓ２５（find obj）を受けて第２の画像処理部２６のオン／オフ制御を行う。省電力制御部２７は、指接近検出信号Ｓ２５（find obj）を受けて、一定時間以上指先を検出しないと判断した場合、ソフトウェア画像処理は不要と判断し、自動的に処理用の第２の画像処理部２６（ＭＰＵ）をスリープさせる。
省電力制御部２７は、ＭＰＵスリープ中、受光および画像処理を通常よりまばらな間隔で行い、消費電力を低減させる。省電力制御部２７は、ＭＰＵがスリープした後、第１の画像処理部（ハードウェア画像処理部）２５が指先の接近を検出したと判定した場合、ＭＰＵの処理を復帰させ、受光・画像処理の間隔も通常の状態に戻す。
また、省電力制御部２７は、本システムを組み込んだ機器のアプリケーションが、一時的に指先などの入力検知を必要としない場合に、本システム内のＭＰＵおよび、受光用の機能の電源を遮断し、消費電力を削減できる機能を有し、この場合、ＭＰＵをスリープモードに入れるための手順を適切に行うための機能を有している。
省電力制御部２７は、ＭＰＵをスリープさせるには、たとえばＭＰＵのクロックイネーブル信号MPU clk enを非アクティブとなるように制御する。この省電力制御部２７の省電力制御については後で詳述する。
The power
The power
The power
In order to put the MPU to sleep, the power saving
本実施形態において、省電力制御を行う理由を以下に示す。
Ｉ／Ｏディスプレイシステム２において、表面に指先などが接近しているかを判定するためには、受光(Input)の機能が働いていることが条件となる。そのため、仮に長時間指先で操作することがなくとも、受光のための電力を常に消費することとなると、携帯機器には不向きとなる。
実際の使用状態を考えると、画面に対する操作というのは、常に行われるとは限らない。たとえば、デジタルカメラの表示パネルに本Ｉ／Ｏディスプレイシステム２を応用した場合を考えると、撮影時には画面を操作する頻度は少なく、再生時や、カメラの設定などを操作するときに、画面への操作は集中的に行われると考えられる。
The reason why power saving control is performed in the present embodiment will be described below.
In the I /
Considering the actual usage state, operations on the screen are not always performed. For example, considering the case where the present I /
本実施形態のＩ／Ｏディスプレイシステム２において、受光側の情報処理には大きく３つの機能ブロック、すなわち受光用アナログ回路およびデジタル変換部、第１の画像処理部（ハードウェア画像処理部）２５、および第２の画像処理部（ソフトウェア画像処理部(ＭＰＵ)２６を有している。これら３つのブロックを常に動作させ続けることは、携帯機器においては、電力消費の点から現実的でない。
特に、第２の画像処理部２６の画像処理ソフトウェアを駆動するのは、本当に精密な演算が必要なときであって、Ｉ／Ｏディスプレイパネル２０に対して操作が行われているのかどうかの判定程度は第１の画像処理部（ハードウェア画像処理部）２５までで可能である。
そこで、本実施形態においては、不要な電力消費を抑止するために、省電力制御部２７で第２の画像処理部２６の動作を制御している。
In the I /
In particular, the image processing software of the second
Therefore, in the present embodiment, the power saving
機器コントローラ３は、第２の画像処理部２６による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行する。機器コントローラ３は、たとえば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。
なお、この機器コントローラ３で生成される表示データは表示ドライブ回路２３に供給される。
The
The display data generated by the
次に、図４に関連付けてＩ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２０１、表示用Ｈドライバ２０２、表示用Ｖドライバ２０３、センサ用Ｖドライバ２０４、およびセンサ読み出し用Ｈドライバ２０５を有している。
Next, a detailed configuration example of the I /
表示エリア（センサエリア）２０１は、バックライト２１からの光を変調して表示光を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、表示素子（発光素子）である液晶素子と後述する受光素子（撮像素子）とがそれぞれマトリクス状に配置されている。但し、受光素子の数は表示素子の数と異なるように、たとえば、表示素子に対して間欠的に配置しても構わない。
A display area (sensor area) 201 is a region that modulates light from the
表示用Ｈドライバ２０２は、表示ドライブ回路２３から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２０３と共に表示エリア２０１内の各画素の液晶素子を線順次駆動する。
The
センサ読み出し用Ｈドライバ２０５は、センサ用Ｖドライバ２０４と共に表示エリア（センサエリア）２０１内の各画素の受光素子を線順次駆動し、受光信号を取得する。
The sensor
次に、図５に関連付けて、表示エリア２０１における各画素の詳細構成例について説明する。この図５に示した画素３１は、表示素子である液晶素子と受光素子とから構成されている。
Next, a detailed configuration example of each pixel in the
具体的には、表示素子側には、水平方向に延在するゲート電極線３１ｈと垂直方向に延在するドレイン電極線３１ｉとの交点に薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などからなるスイッチング素子３１ａが配置され、このスイッチング素子３１ａと対向電極との間に液晶を含む画素電極３１ｂが配置されている。
そして、ゲート電極線３１ｈを介して供給される駆動信号に基づいてスイッチング素子３１ａがオン・オフ動作し、オン状態のときにドレイン電極線３１ｉを介して供給される表示信号に基づいて画素電極３１ｂに画素電圧が印加され、表示状態が設定される。
Specifically, on the display element side, a
Then, the switching
一方、表示素子に隣接する受光素子側には、たとえばフォトダイオードなどからなる受光用のセンサ３１ｃが配置され、センサ３１ｃには電源電圧ＶＤＤが供給される。また、この受光センサ３１ｃには、リセットスイッチ３１ｄとキャパシタ３１ｅが接続され、リセットスイッチ３１ｄによってリセットされながら、キャパシタ３１ｅにおいて受光量に対応した電荷が蓄積されるように構成されている。
そして、蓄積された電荷は読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して信号出力用電極線３１ｊに供給され、外部に出力される。また、リセットスイッチ３１ｄのオン・オフ動作はリセット電極線３１ｋにより供給される信号により制御され、読み出しスイッチ３１ｇのオン・オフ動作は、読出し制御電極線３１mにより供給される信号により制御される。
On the other hand, on the light receiving element side adjacent to the display element, a
The accumulated charge is supplied to the signal
次に、図６を関連付けて、表示エリア２０１内の各画素とセンサ読み出し用Ｈドライバ２０５との接続関係について説明する。この表示エリア２０１では、赤（Ｒ）用の画素３１と、緑（Ｇ）用の画素３２と、青（Ｂ）用の画素３３とが並列に配置されている。
Next, the connection relationship between each pixel in the
各画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたキャパシタに蓄積された電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅され、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Ｈドライバ２０５に供給される。
なお、各信号出力用電極線には定電流源４１ａ，４１ｂ，４１ｃがそれぞれ接続され、センサ読み出し用Ｈドライバ２０５で感度良く受光量に対応した信号が検出される。
The charges accumulated in the capacitors connected to the
Each signal output electrode line is connected to a constant
次に、本実施の形態の表示装置の動作について詳細に説明する。 Next, the operation of the display device of this embodiment will be described in detail.
まず、この表示装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明し、次に、省電力制御部２７の省電力制御動作について説明する。
First, a basic operation of the display device, that is, an image display operation and an object imaging operation will be described, and then a power saving control operation of the power saving
この表示撮像装置では、機器コントローラ３から供給される表示データに基づいて、表示ドライブ回路２３において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイパネル２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト２１も表示ドライブ回路２３によって駆動され、Ｉ／Ｏディスプレイパネル２０と同期した点灯・消灯動作が行われる。
In this display imaging apparatus, a display drive signal is generated in the
ここで、図７に関連付けて、バックライト２１のオン・オフ状態とＩ／Ｏディスプレイパネル２０の表示状態との関係について説明する。
Here, the relationship between the on / off state of the
まず、たとえば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト２１が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト２１が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示される。
First, for example, when an image is displayed with a frame period of 1/60 seconds, the
このように、各フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射される有光期間となっている。
As described above, the first half period of each frame period is a non-light period in which display light is not emitted from the I /
ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（たとえば、指先などがある場合、受光ドライブ回路２４による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路２４に供給される。受光ドライブ回路２４では、１フレーム分の画素の受光信号が蓄積され、撮像画像として第１の画像処理部２５に出力される。
Here, when there is an object in contact with or close to the I / O display panel 20 (for example, a fingertip or the like), the light receiving element of each pixel in the I /
そして第２の画像処理部２６では、この撮像画像に基づいて、後で詳述する所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。
The second
次に、図８および図９に関連付けて、省電力制御部２７の省電力制御動作について説明する。図８は、本実施形態に係る省電力シーケンスの状態遷移図である。また、図９（Ａ）〜（Ｈ）は、省電力制御のパルスシーケンスを示す図である。
図９（Ａ）は指接近検出信号find objを、図９（Ｂ）は指検出信号finger detを、図９（Ｃ）はセンサディセイブル信号sensor disableを、図９（Ｄ）は状態（state）を、図９（Ｅ）はスリープ移行信号prepare sleepを、図９（Ｆ）はＭＰＵクロックイネーブル信号MPU clk enを、図９（Ｇ）はセンサ休止期間sensor 5fpsを、図９（Ｈ）はセンサアクティブ信号sensor activeを、それぞれ示している。
Next, the power saving control operation of the power saving
FIG. 9A shows a finger approach detection signal find obj, FIG. 9B shows the finger detection signal finger. FIG. 9C shows a sensor disable signal sensor. FIG. 9D shows the state, FIG. 9E shows the sleep transition signal prepare. FIG. 9F shows the MPU clock enable signal MPU. clk en, Fig. 9 (G) is the sensor rest period sensor 5fps, Fig. 9 (H) shows the sensor active signal sensor active is shown respectively.
本実施形態においては、ＭＰＵをスリープさせる、復帰させる動作には、決まった手順が必要であるため、これを満たす図８に示すような状態遷移を実現している。一方、ＭＰＵスリープ中に指先などの接近を検知するためのハードウェアおよびアルゴリズムが必要である。ＭＰＵで行っているような、ラベリングなどの高度な処理はハードウェアには向かないため、簡略化した専用のアルゴリズムを用意している（図３）。
本実施形態においては、これら全てを満たすシステムとして、省電力のための動作モードおよび状態遷移制御、判定用ハードウェアを用意し、電力消費が増大することを抑止している。
In the present embodiment, since a predetermined procedure is required for the operation of causing the MPU to sleep or return, the state transition as shown in FIG. 8 that satisfies this is realized. On the other hand, hardware and an algorithm for detecting the approach of a fingertip or the like during MPU sleep are required. Since advanced processing such as labeling as performed by the MPU is not suitable for hardware, a simplified dedicated algorithm is prepared (FIG. 3).
In the present embodiment, an operation mode for power saving, state transition control, and determination hardware are prepared as a system that satisfies all of these, and the increase in power consumption is suppressed.
本実施形態においては、図８に示すように、省電力機能を実現するための３つの動作モードを定義した。 In the present embodiment, as shown in FIG. 8, three operation modes for realizing the power saving function are defined.
フル動作モードは、常に受光用センサを動作させている状態で、Ｉ／Ｏディスプレイパネル２０の動作としてみると、操作に対する反応が最も良い状態である。通常１秒間に６０回画面上のセンサ情報を処理する。なおセンサの走査は、バックライトON/OFFの２枚の画像を得るため、２倍の１秒間に１２０回となる。
The full operation mode is a state in which the light receiving sensor is always operated, and the response to the operation is the best when viewed as the operation of the I /
それに対し、間欠動作モードは、１秒間に１回から数回程度しかセンサの処理を行わず、センサの読み取りに消費される電力、画像処理に消費される電力、ＭＰＵに消費される電力を削減している。フル動作モードにあるＩ／Ｏディスプレイシステム２に対し、一定時間以上何の操作もないと、自動的に内部のＭＰＵをスリープ状態に移行させ、この間欠動作モードに入る。
In contrast, the intermittent operation mode performs sensor processing only once to several times per second, reducing power consumed for reading the sensor, power consumed for image processing, and power consumed by the MPU. is doing. If no operation is performed on the I /
さらに、機器コントローラ３が、Ｉ／Ｏディスプレイの機能を使用しなくても良いと判断した場合には、センサOFFモードへと移行する。
機器コントローラ３からはセンサディセイブルsensor_disableとして明示的に通知指示される。この信号が通知されると、Ｉ／Ｏディスプレイシステム２は画像処理用のＭＰＵをスリープに移行させる手続きをとった後、センサをオフ（OFF）にし、最も電力消費の少ない状態になる。
センサディセイブルSensor_disableが解除されると、Ｉ／Ｏディスプレイシステム２はまず間欠動作モードへと移行する。
Further, when the
The
When the sensor disable Sensor_disable is canceled, the I /
第1の画像処理部（ハードウェア画像処理部）２５には、ＭＰＵ（第２の画像処理部）の判定に頼らずに指の接近を検出するための機能が備えられている。この指接近検出は、ハードウェア画像処理の結果から、ある一定の大きさ以上の明るい領域を見つけると、それを指の可能性ありとして、省電力制御部２７に伝える。
省電力制御部２７は、この信号が真になると、ＭＰＵがスリープ状態にあるときは、動作状態に移行させ、また、センサ駆動回路、画像処理ハードウェアを間欠動作モードからフル動作モードへと移行させる。
The first image processing unit (hardware image processing unit) 25 has a function for detecting the approach of a finger without depending on the determination of the MPU (second image processing unit). In this finger approach detection, when a bright area of a certain size or larger is found from the result of hardware image processing, it is transmitted to the power saving
When this signal becomes true, the power saving
以上の構成を用いて、必要なときにのみフル動作モードを利用して、機器の消費電力を削減することを実現することが可能である。 With the above configuration, it is possible to reduce the power consumption of the device by using the full operation mode only when necessary.
＜消費電力・反応の早さについて＞
フル動作モード、間欠動作モードの選択、および間欠動作モード時の動作間隔によって、反応の早さ、消費電力が変わってくる。
携帯機器においては、消費電力は重要な項目であり、一方消費電力に余裕があるシステムの場合は、反応の早さに重点を置くべきである。
携帯機器への実装例として、センサ処理１組（バックライトON/OFFの２回走査で１組）を１フレームとして、フル動作＝６０フレーム／秒、間欠動作＝２フレーム／秒を標準の構成として提案する。
この場合、間欠動作モードでは、フル動作モードの約 1/30以下の電力消費となる（ＭＰＵをスリープさせる分、さらに低い電力となる）。
間欠動作時のより速い反応を実現させるためには、たとえば間欠動作モードを10フレーム／秒とすることで、０．１秒以内の反応となり、ほぼ人間には気づかれない速さでフル動作モードへと移行することができる一方、間欠動作時の消費電力は、標準に比べ１／６倍程度消費することとなる。
<About power consumption and quick response>
The speed of reaction and power consumption vary depending on the selection of the full operation mode and the intermittent operation mode and the operation interval in the intermittent operation mode.
In portable devices, power consumption is an important item, while for systems with sufficient power consumption, emphasis should be placed on quick response.
As an example of mounting on a portable device, one set of sensor processing (one set with two scans of backlight ON / OFF) is set as one frame, and full operation = 60 frames / second, intermittent operation = 2 frames / second is a standard configuration Propose as.
In this case, in the intermittent operation mode, the power consumption is about 1/30 or less that of the full operation mode (the power consumption is further reduced by making the MPU sleep).
In order to realize a faster response during intermittent operation, for example, by setting the intermittent operation mode to 10 frames / second, the response will be within 0.1 seconds, and the full operation mode will not be noticed by humans. On the other hand, the power consumption during intermittent operation is about 1/6 times that of the standard.
以上、本実施形態に係る基本的な構成および省電力制御について説明した。以下では、本実施形態に係る画像処理についてより具体的に説明する。 The basic configuration and power saving control according to this embodiment have been described above. Hereinafter, the image processing according to the present embodiment will be described more specifically.
次に、図１０〜図２６に関連付けて、本発明の特徴的部分の１つである、画像処理による指先等のＩ／Ｏディスプレイパネル２０に接触または近接する物体（近接物体）の抽出処理（指先抽出処理）について詳細に説明する。ここで図１０は、この画像処理部による指先抽出処理を流れ図で表したものであり、図１１は、この指先抽出処理の一部をタイミング図で表したものである。
Next, in relation to FIGS. 10 to 26, an object (proximity object) extraction process (proximity object) that touches or approaches the I /
まず、表示１フレーム期間の前半期間であるバックライト２１がオフの期間（無光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ａ（影画像）が取得される（図１０のステップＳＴ１１、図１１）。
First, in the first half of the
次に、表示１フレーム期間の後半期間であるバックライト２１がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図１１）。
そして、この画像Ｂと画像Ａとの差分画像Ｃに基づく指先抽出処理（差分画像指先抽出処理）がたとえば第１の画像処理部２５に行われる（ステップＳＴ１２）。
Next, in the period in which the
Then, a fingertip extraction process (difference image fingertip extraction process) based on the difference image C between the image B and the image A is performed, for example, in the first image processing unit 25 (step ST12).
また、この差分画像指先抽出処理と並行して、画像Ａ（影画像）に基づく指先抽出処理（影画像指先抽出処理）が第１の画像処理部２５によって行われる（ステップＳＴ１３、図１０）。 In parallel with the difference image fingertip extraction process, a fingertip extraction process (shadow image fingertip extraction process) based on the image A (shadow image) is performed by the first image processing unit 25 (step ST13, FIG. 10).
次に、第１の画像処理部２５は、ステップＳＴ１２において差分画像指先抽出処理によって指先が抽出できた（指先等の近接物体の位置、形状または大きさなどの情報が取得できた）かどうかを判断する（ステップＳＴ１４）。
抽出できたと判断した場合（ステップＳＴ１４：Ｙ）、第２の画像処理部２６は、差分画像指先抽出処理による抽出結果を採用すると決定し（ステップＳＴ１５）、最終結果を機器コントローラ３に出力する（ステップＳＴ１７）。
Next, the first
If it is determined that the extraction has been completed (step ST14: Y), the second
一方、抽出できなかったと判断した場合（ステップＳＴ１４：Ｎ）、第２の画像処理部２６は、影画像指先抽出処理による抽出結果を採用すると決定し（ステップＳＴ１６）、最終結果を機器コントローラ３に出力する（ステップＳＴ１７）。
On the other hand, if it is determined that the extraction has failed (step ST14: N), the second
このようにして、本実施形態に係る画像処理（ハードウェアおよびソフトウェアを含む）差分画像指先抽出処理を主、影画像指先抽出処理を従として、これら両抽出処理を考慮して、最終的に一方の抽出処理による抽出結果が選択される。 In this way, image processing (including hardware and software) differential image fingertip extraction processing according to the present embodiment is mainly performed, shadow image fingertip extraction processing is subordinate, and both extraction processing is considered, and finally The extraction result by the extraction process is selected.
次に、差分画像指先抽出処理および影画像指先抽出処理の詳細について説明する。 Next, details of the difference image fingertip extraction process and the shadow image fingertip extraction process will be described.
まず、図１２〜図１７に関連付けて、差分画像指先抽出処理の詳細について説明する。図１２は、この差分画像指先抽出処理の詳細を流れ図で表したものである。 First, the details of the differential image fingertip extraction process will be described with reference to FIGS. FIG. 12 is a flowchart showing details of the differential image fingertip extraction process.
まず、前述したように、表示１フレーム期間の後半期間であるバックライト２１がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図１２のステップＳＴ１２１、図１１）。
First, as described above, in the period in which the
次に、第２の画像処理部２６は、この画像Ｂと、バックライト２１がオフの期間（無光期間）における撮像により得られた画像Ａ（影画像）との差分画像Ｃを生成する（ステップＳＴ１２２）。
Next, the second
そして、第２の画像処理部２６は、生成された差分画像の重心を判定する演算処理を行い（ステップＳＴ１２３）、接触（近接）中心の特定を行う（ステップＳＴ１２４）。
Then, the second
このようにして、差分画像指先抽出処理では、表示光を利用した画像Ｂと表示光を利用しないで外光を利用した画像Ａとの差分画像Ｃに基づいて指先の抽出処理が行われるため、図１３に示した差分画像Ｃの写真画像例のように、外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体が検出される。 Thus, in the differential image fingertip extraction process, the fingertip extraction process is performed based on the differential image C between the image B using display light and the image A using external light without using display light. Like the photographic image example of the difference image C shown in FIG. 13, the influence of the brightness of the external light is removed, and the proximity object is detected without being affected by the brightness of the external light.
具体的には、たとえば図１４（Ａ）に断面図で示したように、入射する外光が強い場合には、バックライト２１を点灯させた状態での受光出力電圧Ｖon１は、図１４（Ｂ）に示したように、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト２１を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。
Specifically, for example, as shown in the cross-sectional view of FIG. 14A, when the incident external light is strong, the received light output voltage Von1 in a state where the
また、図１５（Ａ）に断面図で示したように、入射する外光が弱い（ほとんどない）状態では、バックライト２１を点灯させた状態での受光出力電圧Ｖon２は、図１５（Ｂ）に示したように、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト２１を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。
Further, as shown in the sectional view of FIG. 15A, in the state where the incident external light is weak (almost), the light reception output voltage Von2 in the state where the
このように、図１４および図１５を比較すると判るように、パネルの表示エリア２０１に接触していない個所では、外光がある場合とない場合とで、受光出力電圧が大きく異なっている。ところが、指が接触している個所では、外光の有無に関係なく、バックライトの点灯時の電圧値Ｖｂと、バックライトの消灯時の電圧値Ｖｃとが、ほぼ同じような状態となっている。
As can be seen from a comparison of FIGS. 14 and 15, the light receiving output voltage is greatly different between the case where there is no external light and the case where there is no external light at a portion not in contact with the
よって、バックライト２１の点灯時の電圧と消灯時の電圧との差を検出して、電圧値Ｖｂと電圧値Ｖｃとの差のように、一定以上の差がある個所が、接触した個所または近接した個所であると判断することができ、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触または近接が検出されるようになっている。
Therefore, a difference between a voltage when the
また、図１６（Ａ），（Ｂ）に示したように、受光出力電圧の検出に必要なダイナミックレンジについては、以下のように決定される。ここで、図１６（Ａ）は、パネルの表示エリア２０１の接触状態を示したもので、指ｆでパネル表面を触れているとともに、反射率がほぼ１００％の円形の物体ｍを、表示エリア２０１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光出力電圧は、図１６（Ｂ）に示す状態となる。また、図１６（Ｂ）において、電圧Ｖon３はバックライトを点灯させた状態での受光出力電圧であり、電圧Ｖoff３はバックライトを消灯させた状態での受光出力電圧である。
In addition, as shown in FIGS. 16A and 16B, the dynamic range necessary for detecting the received light output voltage is determined as follows. Here, FIG. 16A shows a contact state of the
図１６（Ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト点灯時に検出される電圧値Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。よって、観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよいことが判る。 As shown in FIG. 16B, a voltage higher than the voltage value Vd detected when the backlight is turned on is a level Vy that does not require observation at a place where an object m having a reflectance of almost 100% is present, and is below that level. The range Vx is a dynamic range necessary for detection. Therefore, it can be seen that the signal of level Vy that does not require observation may overflow and be regarded as having the same intensity.
また、この差分画像指先抽出処理では、図１７（Ａ）〜（Ｄ）に示した画像（それぞれ、画像Ａ〜Ｃ、および画像Ｃの２値化画像）からわかるように、Ｉ／Ｏディスプレイパネル２０の表示エリア２０１上に同時に配置された複数の接触または近接する物体についても、同様にそれぞれの物体に関する位置、形状または大きさなどの情報が取得できる。
Further, in this differential image fingertip extraction process, as can be seen from the images shown in FIGS. 17A to 17D (binary images of the images A to C and C, respectively), the I / O display panel For a plurality of contacts or adjacent objects that are simultaneously arranged on the 20
次に、図１８〜図２５に関連付けて、影画像指先抽出処理の詳細について説明する。図１８は、この影画像指先抽出処理の詳細を流れ図で表したものであり、図１９は、影画像指先抽出処理の際の状況を斜視図で表したものである。 Next, the details of the shadow image fingertip extraction process will be described with reference to FIGS. FIG. 18 is a flowchart showing details of the shadow image fingertip extraction process, and FIG. 19 is a perspective view showing the situation during the shadow image fingertip extraction process.
まず、第１の画像処理部２５または第２の画像処理部２６は、すでに取得された画像Ａ（影画像）の反転画像（−Ａ）を生成する（ステップＳＴ１３１）。また、画像処理部１４は、もとの画像Ａの移動平均画像ＭＡを生成する（ステップＳＴ１３２）。
First, the first
この移動平均画像ＭＡの生成は、具体的にはたとえば図２３（Ａ），（Ｂ）に示したように、画像Ａにおいて、一の注目画素３０Ａおよびその周辺画素からなる画素領域３０（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセルの画素領域）において、画素データの平均化演算処理を行うと共に、たとえば図２４に示したように、その演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして、平均化演算処理を撮像画像全体について行う。
また、この平均化演算処理の際の画素領域３０の大きさ（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセル）は、検出対象の物体として予想される大きさ（ターゲットサイズａ）に基づいて設定する（たとえば、ターゲットサイズａと同程度の大きさに設定する）のが望ましい。
詳細は後述するが、このような大きさとすることで、たとえば図２０に示した画像２０Ａ（後述する画像Ｄまたは画像Ｅに対応）のように、近接物体である指先に加えて拳の部分についても検出（符号６０Ａの部分）されるようなことが回避されるからである。
なお、たとえば図２５に示したように、平均化演算処理の際に必要となる実際の撮像領域５０の外側の領域５１の画素データについては、たとえば撮像領域５０の外周部分の画素データをそのままコピーして適用するようにすればよい。
Specifically, for example, as shown in FIGS. 23A and 23B, the moving average image MA is generated in the pixel area 30 (in this case, which includes one
In addition, the size of the pixel region 30 (in this case, (2a + 1) pixels × (2a + 1) pixels) at the time of the averaging calculation processing is based on the size (target size a) expected as an object to be detected. It is desirable to set (for example, set to the same size as the target size a).
Although details will be described later, by setting the size as described above, for example, an
For example, as shown in FIG. 25, for the pixel data of the
次に、第１の画像処理部２５または第２の画像処理部２６は、移動平均画像ＭＡから、後に（ステップＳＴ１３６において）利用する所定の閾値ＴＨを算出する（ステップＳＴ１３３）。具体的には、移動平均画像ＭＡにおける最も明るい（最も画素データの大きい）画素の画素データと、もとの画像Ａにおける最も暗い（最も画素データの小さい）画素の画素データとに基づいて（たとえば、これらの画素データの平均を取って）閾値ＴＨを求める。
なお、最も明るい（最も画素データの大きい）画素の画素データについては、表示エリア２０１の四隅には同時に近接物体が配置されることは通常ないものとして、これら四隅の画素の画素データの平均値を割り当てるようにしてもよい。
Next, the first
For the pixel data of the brightest pixel (the pixel data having the largest pixel data), it is assumed that an adjacent object is not usually placed at the four corners of the
次に、第２の画像処理部２６は、生成した移動平均画像ＭＡの反転画像（−ＭＡ）を生成し（ステップＳＴ１３４）、もとの画像Ａの反転画像（−Ａ）とこの移動平均画像ＭＡの反転画像（−ＭＡ）との差分画像、すなわち移動平均画像ＭＡともとの画像Ａとの差分画像である差分画像Ｄ＝（−Ａ）−（−ＭＡ）＝ＭＡ−Ａを生成する（ステップＳＴ１３５）。そして、第２の画像処理部２６は、画像Ｄの各画素データからステップＳＴ１３３において算出した閾値ＴＨを減算した画像Ｅ＝Ｄ−ＴＨを生成する（ステップＳＴ１３６）。
Next, the second
ここで、図２１に示した画像Ｄ，Ｅおよび図２２に示したこれら画像Ｄ，Ｅにおける受光出力電圧波形例Ｇｄ，Ｇｅのように、ターゲットサイズａと同程度の大きさである指先部分が検出される一方、指先よりも大きい拳部分については検出されないようになる。
なお、図２２に示した受光出力電圧波形例Ｇａ，Ｇ（−ａ），Ｇｍａ，Ｇ（−ｍａ）はそれぞれ、もとの画像Ａ，その反転画像（−Ａ），移動平均画像ＭＡ，その反転画像（−ＭＡ）における受光出力電圧波形例に対応する。
Here, like the images D and E shown in FIG. 21 and the received light output voltage waveform examples Gd and Ge in these images D and E shown in FIG. 22, the fingertip portion having the same size as the target size a is shown. On the other hand, the fist portion larger than the fingertip is not detected.
The received light output voltage waveform examples Ga, G (−a), Gma, and G (−ma) shown in FIG. 22 are the original image A, its inverted image (−A), the moving average image MA, and its This corresponds to an example of a received light output voltage waveform in an inverted image (-MA).
次に、第２の画像処理部２６は、前述の差分画像指先抽出処理の場合と同様にして、この画像Ｅに基づいて重心計算処理（ステップＳＴ１３７）および接触（近接）中心の特定処理（ステップＳＴ１３８）を行う。
Next, the second
このようにして、影画像指先抽出処理では、外光を利用して撮像された画像Ａの移動平均画像ＭＡと、もとの画像Ａとの差分画像Ｄに基づいて指先の抽出処理が行われる。このため、前述のようにターゲットサイズと同程度の大きさの物体のみが検出されると共に、表示光が出射されていないような場合（たとえば、表示素子である液晶素子が半透過型の液晶素子である場合において屋外で利用する場合のように、バックライト２１が常時オフ状態になる場合や、黒画像がＩ／Ｏディスプレイパネル２０に表示されている場合など）にも、近接物体の検出が行われる。
In this way, in the shadow image fingertip extraction process, the fingertip extraction process is performed based on the difference image D between the moving average image MA of the image A captured using external light and the original image A. . Therefore, as described above, only an object having the same size as the target size is detected and no display light is emitted (for example, a liquid crystal element as a display element is a transflective liquid crystal element). In the case where the
なお、この影画像指先抽出処理においても、差分画像指先抽出処理の場合と同様に、Ｉ／Ｏディスプレイパネル２０の表示エリア２０１上に同時に配置された複数の接触または近接する物体について、それぞれの物体に関する位置、形状または大きさなどの情報が取得できるように構成されている。
In this shadow image fingertip extraction process, as in the case of the difference image fingertip extraction process, a plurality of touching or adjacent objects simultaneously arranged on the
このようにして本実施の形態の表示装置では、以上説明した差分画像指先抽出処理および影画像指先抽出処理を考慮して、これらのうちの一方による近接物体の検出結果が最終結果として第２の画像処理部２６から機器コントローラ３に出力される。
In this way, in the display device according to the present embodiment, in consideration of the differential image fingertip extraction process and the shadow image fingertip extraction process described above, the detection result of the proximity object by one of these is the second result as the final result. The image is output from the
図２６は、これら差分画像指先抽出処理および影画像指先抽出処理による指先抽出処理の特徴を比較して表したものである。この図において、「○」はその条件下での指先抽出が得意であることを、「△」はその条件下での指先抽出処理が状況によって得意・不得意が変動することを、「×」はその状況下では原則として指先抽出処理が不得意であることを、それぞれ表している。
この図から判るように、周囲が明るい環境のときには差分画像指先抽出処理のほうが指先抽出処理が得意であることから指先抽出処理による抽出結果が採用されると考えられる一方、バックライト２１が消灯していて表示光が出射されていない場合や黒表示状態のときには、差分画像指先抽出処理では抽出ができない場合が生じ、その場合には影画像指先抽出処理による抽出結果が採用されると考えられる。
FIG. 26 shows a comparison of the characteristics of the fingertip extraction processing by the difference image fingertip extraction processing and the shadow image fingertip extraction processing. In this figure, “○” indicates that the fingertip extraction is good at that condition, “△” indicates that the fingertip extraction process under that condition varies depending on the situation, “×” Indicates that, in principle, the fingertip extraction process is not good at that situation.
As can be seen from this figure, when the environment is bright, the difference image fingertip extraction process is better at the fingertip extraction process, so the extraction result by the fingertip extraction process is considered to be adopted, while the
次に、図２７〜図３０に関連付けて、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、機器コントローラ３によるアプリケーションプログラム実行例について、いくつか説明する。
Next, in connection with FIG. 27 to FIG. 30, some application program execution examples by the
まず、図２７（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。
First, the example shown in FIG. 27A is an example in which the surface of the I /
また、図２７（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。
Further, the example shown in FIG. 27B is for gesture recognition using a hand shape. Specifically, the shape of the
また、図２８に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、たとえばズームインなどの指示を行うことができる。
また、このような指示ができることで、たとえばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。
In the example shown in FIG. 28, the
In addition, since such an instruction can be given, for example, an operation in which the I /
また、たとえば図２９に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。
すなわち、図２９に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。
このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、たとえば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。
For example, as shown in FIG. 29, an image in which contact or proximity is detected by preparing a plurality of I /
That is, as shown in FIG. 29, two I / O display panels are prepared, and the bill of the
In this way, the drawing state is transmitted as a moving image, and there is a possibility of a new communication tool by sending handwritten characters and figures to the other party. As such an example, for example, it is assumed that the I /
また、たとえば図３０に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。
この場合には、毛筆の細かいタッチまで認識して実現することが可能である。通常の手書き認識の場合には、たとえば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。
Further, for example, as shown in FIG. 30, the
In this case, it is possible to recognize and realize even a fine touch of a brush. In the case of normal handwriting recognition, for example, in some digitizers, a special pen tilt is realized by electric field detection, but in this example, it is more realistic by detecting the contact surface itself of a real writing brush. Information can be input in a sense.
以上のように本実施の形態では、表示光を利用した近接物体の撮像により得られる画像Ｂ（表示光利用画像）と、近接物体の影の撮像により得られる画像Ａ（影画像）との差分画像Ｃを生成すると共に、これら画像Ａ（影画像）および差分画像Ｃを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたので、たとえば周囲の状況や表示光の輝度などのそのときの使用状況によらず、物体の検出を行うことが可能となる。 As described above, in the present embodiment, the difference between the image B (display light use image) obtained by imaging the proximity object using display light and the image A (shadow image) obtained by imaging the shadow of the proximity object. Since the image C is generated and information on at least one of the position, shape, or size of the proximity object is detected in consideration of the image A (shadow image) and the difference image C, for example, It is possible to detect an object regardless of the current usage condition such as the luminance of display light.
また、画像Ａに基づいて移動平均画像ＭＡを生成し、この移動平均画像ＭＡともとの画像Ａとの差分画像Ｄ、そしてこの差分画像Ｄの各画素データから閾値ＴＨを減算した画像Ｅを利用して検出すると共に、平均化演算処理の際の画素領域３０の大きさを、検出対象の物体として予想される大きさ（ターゲットサイズ）と同程度としたので、たとえばターゲットサイズと同程度の大きさである指先部分を検出するようにし、指先よりも大きい拳部分については検出されないようにすることができ、より確実な検出処理を行うことが可能となる。
Further, a moving average image MA is generated based on the image A, a difference image D between the moving average image MA and the original image A, and an image E obtained by subtracting a threshold value TH from each pixel data of the difference image D are used. Since the size of the
また、一の動作周期（１表示フレーム期間）内において、画像Ａ（影画像）の取得を画像Ｂ（表示光利用画像）の取得よりも先に行うようにしたので、たとえば図１１に示したように、差分画像指先抽出処理を行うまでに演算処理に時間を要する移動平均画像ＭＡの演算を行う時間を確保することができ、逆に画像Ｂの取得を画像Ａの取得よりも先に行うように構成した場合と比べ、全体として短時間で処理を行うことが可能となる。 In addition, in one operation cycle (one display frame period), the image A (shadow image) is acquired before the image B (display light use image) is acquired. As described above, it is possible to secure the time for performing the calculation of the moving average image MA that requires time for the calculation process until the difference image fingertip extraction process is performed, and conversely, the acquisition of the image B is performed before the acquisition of the image A. Compared with the case where it comprises in this way, it becomes possible to process in a short time as a whole.
なお、本実施の形態では、差分画像指先抽出処理を主とすると共に影画像指先抽出処理を従とするように構成したが、場合によっては、逆に差分画像指先抽出処理を従とすると共に影画像指先抽出処理を主として構成してもよい。 In this embodiment, the difference image fingertip extraction process is mainly used and the shadow image fingertip extraction process is subordinate. However, in some cases, the difference image fingertip extraction process is subordinate and the shadow image fingertip extraction process is subordinate. The image fingertip extraction process may be mainly configured.
［第２の実施の形態］
図３１は、本発明の第２の実施の形態に係る携帯表示装置の全体構成を示すブロック図である。
[Second Embodiment]
FIG. 31 is a block diagram showing an overall configuration of a portable display device according to the second embodiment of the present invention.
図１の表示装置１のＩ／Ｏディスプレイシステム２は、指先が明るくなるようハードウェアにより処理された画像から、最終的に座標・面積までを求めるＭＰＵ・ソフトウェアまでをパネルのシステムとしてまとめ構成を有している。機器コントローラ３は、この座標・面積の情報を元に、操作を実現する。コントローラの負担の少ない構成である。
The I /
これに対して、図３１の表示装置１ＡのＩ／Ｏディスプレイシステム２Ａは、指先が明るくなるようハードウェアにより処理された画像から、指先が接近しているか否かを判定する判定回路までをパネルのシステムとしてまとめた構成を有している。その後の座標・面積の計算は、機器コントローラ３側で行う。この場合、消費電力削減は、パネルのセンサの動作間隔を切り替えることで実現する。またパネルシステムからは、指先が接近しているかの情報と、画像処理の結果が、機器コントローラ３側に送られる。
On the other hand, the I / O display system 2A of the display device 1A in FIG. 31 has a panel from an image processed by hardware so that the fingertip is bright, to a determination circuit that determines whether the fingertip is approaching. It has the composition put together as a system. Subsequent calculation of coordinates and area is performed on the
このように本実施形態としては、実施する機器によってハードウェア構成を若干変更させることが可能である。また本構成を用いて、消費電力の削減と、反応の早さのどちらに重点を置くかを選択することができる。 As described above, in the present embodiment, the hardware configuration can be slightly changed depending on the device to be implemented. In addition, this configuration can be used to select whether to focus on reducing power consumption or speed of reaction.
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。
本実施の形態の表示撮像装置は、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described.
The display imaging apparatus according to the present embodiment selects one of the difference image fingertip extraction process and the shadow image fingertip extraction process based on a predetermined index, and performs the fingertip extraction process based on the selected image. Is. Since other configurations and operations are the same as those in the first embodiment, description thereof will be omitted as appropriate.
図３２は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、前述した実施の形態と同様にして画像Ａ（影画像）が取得されると（ステップＳＴ２１）、図２６に示した比較表からも判るように、第２の画像処理部２６によって、その状況によって指先抽出処理が確実に行われるようなほうの処理が選択的に行われる（ステップＳＴ２２〜ＳＴ２６）。
FIG. 32 is a flowchart showing the fingertip extraction process of the present embodiment. As can be seen from this figure, when the image A (shadow image) is acquired in the same manner as in the above-described embodiment (step ST21), the second image processing is performed as can be seen from the comparison table shown in FIG. The
具体的には、バックライトが常時オフ状態のとき、黒画像が表示されているとき、周囲が暗くない環境の場合には、影画像指先抽出処理（ステップＳＴ２６）が選択的に実行されて、最終結果が出力される（ステップＳＴ２７）。なお、周囲が暗いかどうかは、画像Ａ（影画像）での画素データの大小によって判断され、画素データが非常に小さい場合には、周囲が非常に暗い環境であると判断される。 Specifically, when the backlight is always off, when a black image is displayed, or in an environment where the surroundings are not dark, the shadow image fingertip extraction process (step ST26) is selectively executed, The final result is output (step ST27). Whether or not the surrounding is dark is determined by the size of the pixel data in the image A (shadow image). If the pixel data is very small, it is determined that the environment is very dark.
一方、逆に、バックライトが常時オフ状態ではないとき、黒画像が表示されていないとき、周囲が非常に暗い環境の場合には、差分画像指先抽出処理（ステップＳＴ２５）が選択的に実行されて、最終結果が出力される（ステップＳＴ２７）。 On the other hand, the difference image fingertip extraction process (step ST25) is selectively executed when the backlight is not always off, when the black image is not displayed, or when the surroundings are very dark. The final result is output (step ST27).
以上のように本実施の形態では、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたので、それぞれの指先抽出処理のうちの適したほうを適用することができ、より様々な使用状況に対応して確実に抽出処理を行うことが可能となる。 As described above, in the present embodiment, one of the differential image fingertip extraction process and the shadow image fingertip extraction process is selected based on a predetermined index, and the fingertip extraction process is performed based on the selected image. Therefore, a suitable one of the fingertip extraction processes can be applied, and the extraction process can be surely performed in accordance with various usage situations.
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。
本実施の形態の表示撮像装置は、どのような場合でも図２および図３に示したように、第１の画像処理部２５において差分画像指先抽出処理および影画像指先抽出処理の両方を行い、画像Ａ（影画像）および差分画像Ｃの合成画像を利用して、指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described.
As shown in FIGS. 2 and 3, the display imaging apparatus of the present embodiment performs both the difference image fingertip extraction process and the shadow image fingertip extraction process in the first
図３３は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、第１の実施の形態と同様にして画像Ａ（影画像）が取得されると（ステップＳＴ２１）、重心計算および接触（近接）中心の特定処理を除いて、差分画像指先抽出処理および影画像指先抽出処理がそれぞれ実行される（ステップＳＴ３２，ＳＴ３３）。 FIG. 33 is a flowchart showing the fingertip extraction process of the present embodiment. As can be seen from this figure, when the image A (shadow image) is acquired in the same manner as in the first embodiment (step ST21), the difference image is obtained except for the calculation of the center of gravity and the identification processing of the contact (proximity) center. A fingertip extraction process and a shadow image fingertip extraction process are executed (steps ST32 and ST33).
次に、たとえば図３４に示したように、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅが生成される（ステップＳＴ３４）。なお、αは、所定の重み付け係数を表している。 Next, for example, as shown in FIG. 34, a composite image F = α × C + E of the difference image C generated by the difference image fingertip extraction process and the image E generated by the shadow image fingertip extraction process is generated. (Step ST34). Α represents a predetermined weighting coefficient.
そして、その後は前述の実施の形態と同様に、第２の画像処理部２６において、重心計算処理（ステップＳＴ３５）、接触（近接）中心の特定処理（ステップＴＳ３６）および最終結果の出力処理（ステップＳＴ３７）が行われる。
After that, in the second
以上のように本実施の形態では、どのような場合でも差分画像指先抽出処理および影画像指先抽出処理の両方を行い、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅを生成し、この合成画像Ｆに基づいて指先抽出処理を行うようにしたので、たとえば図３４に示したように、より鮮明に指先などの画像を検出することができ、より確実に抽出処理を行うことが可能となる。 As described above, in this embodiment, the difference image fingertip extraction process and the shadow image fingertip extraction process are both performed in any case, and the difference image C generated by the difference image fingertip extraction process and the shadow image fingertip extraction process are performed. Since the composite image F = α × C + E with the image E generated in step S3 is generated and the fingertip extraction process is performed based on the composite image F, for example, as shown in FIG. The image can be detected, and the extraction process can be performed more reliably.
以上、第１〜第４の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。 Although the present invention has been described with reference to the first to fourth embodiments, the present invention is not limited to these embodiments, and various modifications can be made.
たとえば、本発明の移動平均画像の生成処理では、平均化画像処理を行い際に、対象とする画素を間引いて演算を行うようにし、処理を軽減するようにしてもよい。たとえば図３５（Ａ），（Ｂ）に示したように、最初に注目画素を一の画素方向に沿って順次移動させつつ、この一の画素方向上の画素に対して平均化演算処理を行い、その後、注目画素を他の一の画素方向に沿って順次移動させつつ、この他の一の画素方向上の画素に対して平均化演算処理を行うようにしてもよい。また、たとえば図３６（Ａ），（Ｂ）に示したような演算回路７０〜７３を用いて、所定の方向へのドット加算処理を行うようにしてもよい。
For example, in the moving average image generation process of the present invention, when performing the averaged image process, calculation may be performed by thinning out target pixels. For example, as shown in FIGS. 35 (A) and 35 (B), the pixel of interest is first moved sequentially along one pixel direction, and an averaging calculation process is performed on the pixels in the one pixel direction. Thereafter, the averaging calculation process may be performed on the pixels on the other pixel direction while sequentially moving the target pixel along the other pixel direction. Further, for example, dot addition processing in a predetermined direction may be performed using
また、上記実施の形態では、原画像Ａから移動平均画像ＭＡを生成すると共に、この移動平均演算処理の際の画素領域５０の大きさを検出対象の物体として予想される大きさ（ターゲットサイズａ）を基に設定することにより、移動平均画像ＭＡにおいて、画素領域３０よりも大きい、すなわち画素領域５０よりも空間周波数の高い画素データ（この場合、指先画像）を除去し、この移動平均画像ＭＡと原画像Ａとの差分を取ることにより、最終的に画素領域５０よりも空間周波数の低い画素データ（この場合、影画像）を除去し、空間周波数の高い画素データ（この場合、指先画像）を抽出するようにしている。つまり、上記実施の形態では、このような高域通過フィルタの一例かつ最も簡便かつ高速処理の可能な方法として、移動平均画像ＭＡと原画像Ａとの差分を取る方法について説明している。よって、上記実施の形態で説明した方法には限定されず、他の高域通過フィルタを用いて、一度に低域通過フィルタ処理と差分処理の両方の処理を行うようにしてもよい。
Further, in the above embodiment, the moving average image MA is generated from the original image A, and the size of the
また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、たとえ有機ＥＬ（Electro Luminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネルを構成するようにしてもよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。
Further, in the above-described embodiment, the case where the display element is a liquid crystal element and the light receiving element is separately provided in the I /
１，１Ａ・・・携帯表示装置、２，２Ａ・・・、Ｉ／Ｏディスプレイシステム、２０・・・Ｉ／Ｏディスプレイシステム、２１・・・バックライト、２２・・・Ｉ／Ｏディスプレイシステム集積化回路（ディスプレイＩＣ）、２３・・・表示ドライブ回路、２４・・・受光ドライブ回路、２５・・・ハードウェア画像処理部（第１の画像処理部）、２６・・・ソフトウェア画像処理部（第２の画像処理部）、２７・・・省電力制御部、３・・・機器コントローラ（アプリケーション処理部）、２０１・・・表示エリア（センサエリア）、２０２・・・表示用Ｈドライバ、２０３・・・表示用Ｖドライバ、２０４・・・センサ用Ｖドライバ、２５・・・センサ読み出し用Ｈドライバ、３０・・・演算画素領域、３１〜３３・・・画素、４１ａ〜４１ｃ・・・定電流源、５０・・・表示用領域、５１・・・演算用領域。
DESCRIPTION OF
Claims (24)
上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、
上記第１の画像処理部の処理結果に基づき、上記第１の画像処理より処理負荷の大きい第２の画像処理を行う第２の画像処理部と、
上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を上記スリープ状態から復帰させる制御部と
を有する表示装置。 A display panel having a display function and a light-receiving imaging function;
A first image processing unit for the detected body performs a first image processing for detecting whether close to the display panel which is a detection target Ri by the above light receiving image pickup function,
A second image processing unit for performing a second image processing having a processing load larger than that of the first image processing based on a processing result of the first image processing unit;
When the first image processing unit does not detect the approach of the detected object for a predetermined time or longer, the second image processing unit is controlled to be in a sleep state, and the second image processing unit is And a control unit configured to return the processing of the second image processing unit from the sleep state when the first image processing unit detects the approach of the detection target after controlling to the sleep state .
請求項１記載の表示装置。 The display panel display device according to claim 1, wherein having the display function and the light receiving image pickup function inside the display region of the display panel.
請求項１または２記載の表示装置。 The control unit performs control so that when the second image processing unit is in a sleep state , the light receiving imaging function and the image processing of the first image processing unit are performed at sparser intervals than in a non-sleep state. The display device according to claim 1 or 2 .
請求項３に記載の表示装置。 The controller may, after controlling the second image processing unit to the sleep state, when the first image processing unit detects the approach of the detection object, the return processing of the second image processing unit The display device according to claim 3, wherein the image processing interval of the first image processing unit is also returned to the non-sleep state interval .
請求項１から４のいずれか一に記載の表示装置。 The display device according to any one of claims 1 to 4, wherein the second image processing unit obtains position information of at least the detection object in the display area of the display panel by the second image processing .
請求項５記載の表示装置。 The display device according to claim 5, wherein the second image processing unit performs a labeling process by the second image processing and obtains the number of the detected objects in addition to the position information .
請求項１から６のいずれか一に記載の表示装置。 The control unit shuts off the power supply of the second image processing unit and the light receiving imaging function when an application of the device temporarily does not require input detection of the detection target . the display device according to scratch.
請求項１から７のいずれか一に記載の表示装置。 The first image processing unit detects the approach of the detected object to the display panel based on region information in which the brightness of an image obtained by the first image processing is a predetermined threshold value or more. The display device according to any one of 7 to 7 .
上記第１の画像処理部は、上記自発光部をオン（ON）／オフ（OFF）して得られた２枚の受光画像を処理して上記領域情報を得る
請求項８記載の表示装置。 The display panel has a self-luminous part that can blink,
The display device according to claim 8, wherein the first image processing unit obtains the region information by processing two received light images obtained by turning on / off the self-light-emitting unit .
自発光部をオン（ON）／オフ（OFF）して得られた２枚の受光画像から、外光の影響を除去し、上記被検出体が周囲より明るい画像を、画像処理により生成する第１の処理と、
上記自発光部のオフ（OFF）の受光画像から影検出処理を行い、上記被検出体が明るくなるように処理した画像を、画像処理により生成する第２の処理と、を行い、
上記第１および第２の処理により得られた画像を合成して、上記被検出体の上記表示パネルへの接近を検出する
請求項１から６のいずれか一に記載の表示装置。 The first image processing unit includes:
First, the influence of external light is removed from two received light images obtained by turning on and off the self-light-emitting unit, and an image in which the detected object is brighter than the surroundings is generated by image processing. 1 processing and
A shadow detection process is performed from an OFF received light image of the self-light-emitting unit, and a second process is performed to generate an image processed by the image process so that the detected object is brightened .
By combining the images obtained by the first and second processing, the display device according to any one of claims 1 to 6 for detecting access to the display panel of the detection object.
上記影画像および上記差分画像を用いて、上記被検出体の位置、形状または大きさの少なくとも１つに関する情報を取得する機能を有する
請求項７記載の表示装置。 The second image processing unit
The display device according to claim 7, wherein the display device has a function of acquiring information related to at least one of a position, a shape, and a size of the detected object using the shadow image and the difference image.
上記複数の受光センサからの出力に基づき検出対象である物体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、
上記第１の画像処理部からの出力に対して、少なくとも検出された上記物体の数および上記表示領域における位置情報を得るための第２の画像処理を行う第２の画像処理部と、
上記第１の画像処理部による上記物体が接近したか否かの検出結果に応じて、上記第２の画像処理部の処理が不要な場合は上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第２の画像処理部の処理が必要な場合は上記第２の画像処理部の処理を上記スリープ状態から復帰させる制御部と
を有する表示装置。 A display panel having a plurality of display elements and a plurality of light receiving sensors inside the display area;
A first image processing unit that performs first image processing for detecting whether an object to be detected has approached the display panel based on outputs from the plurality of light receiving sensors;
The output from the first image processing unit, a second image processing unit for performing second image processing to obtain the position information in the number and the display region of at least the detected the object,
When the processing of the second image processing unit is unnecessary according to the detection result of whether or not the object has approached by the first image processing unit , the second image processing unit is controlled to be in a sleep state . In addition, after the second image processing unit is controlled to the sleep state, the control unit that returns the processing of the second image processing unit from the sleep state when the processing of the second image processing unit is necessary. And a display device.
請求項１２記載の表示装置。 The display device according to claim 12, wherein the plurality of display elements and the plurality of light receiving sensors are respectively arranged in a matrix.
請求項１２または１３記載の表示装置。 The control unit, when the second image processing unit is in sleep claim 12 or 13 controls to perform with scattered intervals than the image processing of the first image processing section of the non-sleeping state The display device described.
請求項１４に記載の表示装置。 The controller may, after controlling the second image processing unit to the sleep state, when the first image processing unit detects the approach of the detection object, the return processing of the second image processing unit back to the allowed Rutotomoni, spacing interval or non-sleep state of the image processing of the first image processing unit
The display device according to claim 14 .
上記制御部は、上記機器コントローラが上記物体の検知を必要としない場合に、上記第２の画像処理部をスリープ状態に制御するThe control unit controls the second image processing unit to a sleep state when the device controller does not require detection of the object.
請求項１２から１５のいずれか一に記載の表示装置。The display device according to any one of claims 12 to 15.
請求項１６記載の表示装置。The display device according to claim 16.
請求項１２から１７のいずれか一に記載の表示装置。The display device according to claim 12.
上記複数のセンサからの出力に基づき検出対象である物体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１の画像処理部と、A first image processing unit that performs first image processing for detecting whether an object to be detected has approached the display panel based on outputs from the plurality of sensors;
上記第１の画像処理部からの出力に対して、少なくとも検出された上記物体の数および上記表示領域における位置情報を得るための第２の画像処理を行う第２の画像処理部と、A second image processing unit that performs second image processing for obtaining at least the number of detected objects and positional information in the display area, with respect to the output from the first image processing unit;
上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部を上記スリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理をスリープ状態から復帰させる制御部とWhen the first image processing unit does not detect the approach of the detected object for a predetermined time or longer, the second image processing unit is controlled to be in a sleep state, and the second image processing unit is A control unit configured to return the processing of the second image processing unit from the sleep state when the first image processing unit detects the approach of the detected object after controlling to the sleep state;
を有する表示装置。A display device.
請求項１９記載の表示装置。The display device according to claim 19.
請求項１９または２０記載の表示装置。The display device according to claim 19 or 20.
請求項２１に記載の表示装置。The display device according to claim 21.
上記受光撮像機能により検出対象である被検出体が上記表示パネルに接近したか否かを検出するための第1の画像処理を第１の画像処理部を用いて行う第１のステップと、A first step of performing first image processing using the first image processing unit for detecting whether or not an object to be detected has approached the display panel by the light receiving imaging function;
上記第１の画像処理の処理結果に基づき、少なくとも上記被検出体の上記表示パネルの表示領域における位置情報を得るための上記第１の画像処理より処理負荷の大きい第２の画像処理を第２の画像処理部を用いて行う第２のステップと、Based on the processing result of the first image processing, the second image processing having a processing load larger than that of the first image processing for obtaining at least positional information of the detection object in the display area of the display panel A second step performed using the image processing unit of
上記第１の画像処理部が、所定時間以上、上記被検出体の接近を検出しなかった場合、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部をスリープ状態に制御した後、上記第１の画像処理部が上記被検出体の接近を検出した場合、上記第２の画像処理部の処理を復帰させる第３のステップと When the first image processing unit does not detect the approach of the detected object for a predetermined time or more, the second image processing unit is controlled to sleep and the second image processing unit is set to sleep. A third step of returning the processing of the second image processing unit when the first image processing unit detects the approach of the detected object after the control to the state;
を有する表示装置の制御方法。A method for controlling a display device.
上記複数の受光センサからの出力に基づき検出対象である物体が上記表示パネルに接近したか否かを検出するための第1の画像処理を行う第１のステップと、A first step of performing first image processing for detecting whether or not an object to be detected has approached the display panel based on outputs from the plurality of light receiving sensors;
上記第１の画像処理の処理結果に基づき、少なくとも検出された上記物体の数および上記表示領域における位置情報を得るための第２の画像処理を第２の画像処理部を用いて行う第２のステップと、Second image processing is performed using the second image processing unit to obtain at least the number of detected objects and position information in the display area based on the processing result of the first image processing. Steps,
上記第１のステップにおける上記物体が接近したか否かの検出結果に応じて上記第２の画像処理が不要な場合は、上記第２の画像処理部をスリープ状態に制御すると共に、上記第２の画像処理部をスリープ状態に制御した後、上記第２の画像処理部の処理が必要な場合は上記第２の画像処理部の処理を復帰させる第３のステップとWhen the second image processing is not required according to the detection result of whether or not the object has approached in the first step, the second image processing unit is controlled to be in a sleep state and the second A third step of returning the processing of the second image processing unit when the processing of the second image processing unit is necessary after the image processing unit is controlled to sleep.
を有する表示装置の制御方法。A method for controlling a display device.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008063005A JP4390002B2 (en) | 2007-03-16 | 2008-03-12 | Display device and control method thereof |
| US12/048,088 US8638317B2 (en) | 2007-03-16 | 2008-03-13 | Display apparatus and method for controlling the same |
| CN2008100850941A CN101266743B (en) | 2007-03-16 | 2008-03-17 | Display apparatus and method for controlling the same |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007069515 | 2007-03-16 | ||
| JP2008063005A JP4390002B2 (en) | 2007-03-16 | 2008-03-12 | Display device and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008262548A JP2008262548A (en) | 2008-10-30 |
| JP4390002B2 true JP4390002B2 (en) | 2009-12-24 |
Family
ID=39984943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008063005A Expired - Fee Related JP4390002B2 (en) | 2007-03-16 | 2008-03-12 | Display device and control method thereof |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4390002B2 (en) |
| CN (1) | CN101266743B (en) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4626860B2 (en) * | 2009-01-30 | 2011-02-09 | 株式会社デンソー | Operating device |
| JP2010129059A (en) * | 2008-12-01 | 2010-06-10 | Denso Corp | Display device |
| KR101613327B1 (en) | 2009-02-27 | 2016-04-18 | 가부시키가이샤 재팬 디스프레이 | Display device, touch panel, and electronic equipment |
| JP5246794B2 (en) * | 2009-05-26 | 2013-07-24 | 株式会社ジャパンディスプレイウェスト | Information input device, information input method, information input / output device, information input program, and electronic device |
| US20120105404A1 (en) * | 2009-06-24 | 2012-05-03 | Sharp Kabushiki Kaisha | Display device with light sensors |
| JP2011086179A (en) * | 2009-10-16 | 2011-04-28 | Sony Corp | Device and method for inputting information, information input/output device, information input program, and electronic apparatus |
| WO2011083609A1 (en) * | 2010-01-08 | 2011-07-14 | シャープ株式会社 | Display device with optical sensor |
| WO2011111508A1 (en) * | 2010-03-12 | 2011-09-15 | Semiconductor Energy Laboratory Co., Ltd. | Method for driving input circuit and method for driving input-output device |
| US20110242043A1 (en) * | 2010-04-06 | 2011-10-06 | Mark Yarvis | Device with capacitive touchscreen panel and method for power management |
| JP5857416B2 (en) * | 2011-02-28 | 2016-02-10 | 株式会社ニコン | Imaging device |
| US9213436B2 (en) * | 2012-06-20 | 2015-12-15 | Amazon Technologies, Inc. | Fingertip location for gesture input |
| US8744418B2 (en) * | 2012-08-31 | 2014-06-03 | Analog Devices, Inc. | Environment detection for mobile devices |
| US9692875B2 (en) | 2012-08-31 | 2017-06-27 | Analog Devices, Inc. | Grip detection and capacitive gesture system for mobile devices |
| JP5927092B2 (en) * | 2012-09-19 | 2016-05-25 | シャープ株式会社 | CONTROL DEVICE, CONTROL DEVICE CONTROL METHOD, ELECTRONIC DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM |
| CN102954836B (en) * | 2012-10-26 | 2015-04-15 | 京东方科技集团股份有限公司 | Ambient light sensor, user applying device and display device |
| US10139869B2 (en) | 2014-07-23 | 2018-11-27 | Analog Devices, Inc. | Capacitive sensors for grip sensing and finger tracking |
| US20190094590A1 (en) * | 2016-03-07 | 2019-03-28 | Sharp Kabushiki Kaisha | Liquid crystal display device with built-in touch sensor, and drive method therefor |
| KR102662029B1 (en) * | 2016-08-01 | 2024-05-03 | 삼성전자주식회사 | Method for processing event signal and event-based sensor performing the same |
| JP2022002376A (en) | 2020-06-22 | 2022-01-06 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04211819A (en) * | 1990-03-23 | 1992-08-03 | Matsushita Electric Ind Co Ltd | Information processor |
| JP2002259040A (en) * | 2001-03-02 | 2002-09-13 | Ricoh Co Ltd | Output device for optical coordinate information |
| JP2004070195A (en) * | 2002-08-09 | 2004-03-04 | Toto Ltd | Touch panel |
| JP2005295399A (en) * | 2004-04-02 | 2005-10-20 | Smk Corp | Touch panel input device |
| JP4618026B2 (en) * | 2005-07-12 | 2011-01-26 | ソニー株式会社 | Display device and detection method using display device for displaying and receiving light |
-
2008
- 2008-03-12 JP JP2008063005A patent/JP4390002B2/en not_active Expired - Fee Related
- 2008-03-17 CN CN2008100850941A patent/CN101266743B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008262548A (en) | 2008-10-30 |
| CN101266743B (en) | 2010-12-29 |
| CN101266743A (en) | 2008-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4390002B2 (en) | Display device and control method thereof | |
| JP4835578B2 (en) | Display imaging apparatus, object detection program, and object detection method | |
| US8638317B2 (en) | Display apparatus and method for controlling the same | |
| US8610670B2 (en) | Imaging and display apparatus, information input apparatus, object detection medium, and object detection method | |
| JP4270248B2 (en) | Display imaging apparatus, information input apparatus, object detection program, and object detection method | |
| US8319749B2 (en) | Image pickup apparatus, display-and-image-pickup apparatus and image pickup processing apparatus | |
| US8665223B2 (en) | Display device and method providing display contact information based on an amount of received light | |
| JP4915367B2 (en) | Display imaging apparatus and object detection method | |
| US8390578B2 (en) | Sensing device, display device, electronic apparatus, and sensing method | |
| JP4257221B2 (en) | Display device and information terminal device | |
| WO2010047256A1 (en) | Imaging device, display image device, and electronic device | |
| JP2011086179A (en) | Device and method for inputting information, information input/output device, information input program, and electronic apparatus | |
| JP5247139B2 (en) | Display device and method, program, and electronic apparatus | |
| JP2009193481A (en) | Sensing device, display device, electronic apparatus, and sensing method | |
| JP2009193482A (en) | Sensing device, display device, electronic apparatus, and sensing method | |
| JP4645658B2 (en) | Sensing device, display device, electronic device, and sensing method | |
| TW201421280A (en) | Gesture recognition apparatus and complex optical apparatus | |
| US20110254784A1 (en) | Controlling method and information processing apparatus | |
| JP2006243927A (en) | Display device | |
| CN107968939B (en) | Display screen processing method and device, storage medium and electronic device | |
| JP5271936B2 (en) | Display device and display method | |
| JP4788755B2 (en) | Display imaging apparatus, object detection program, and object detection method | |
| JP2009199204A (en) | Electro-optical device, control method thereof, and electronic equipment | |
| CN107589842B (en) | Composite optical device | |
| JP2011198258A (en) | Information input device, information input/output device and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090508 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |