JP4770844B2 - Sensing device, display device, and electronic device - Google Patents

Sensing device, display device, and electronic device Download PDF

Info

Publication number
JP4770844B2
JP4770844B2 JP2008035641A JP2008035641A JP4770844B2 JP 4770844 B2 JP4770844 B2 JP 4770844B2 JP 2008035641 A JP2008035641 A JP 2008035641A JP 2008035641 A JP2008035641 A JP 2008035641A JP 4770844 B2 JP4770844 B2 JP 4770844B2
Authority
JP
Japan
Prior art keywords
screen
light
threshold value
mode
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008035641A
Other languages
Japanese (ja)
Other versions
JP2009193482A (en
Inventor
岳人 茅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008035641A priority Critical patent/JP4770844B2/en
Priority to KR1020090008826A priority patent/KR20090089254A/en
Priority to US12/368,729 priority patent/US8390578B2/en
Priority to TW098104712A priority patent/TW200943147A/en
Publication of JP2009193482A publication Critical patent/JP2009193482A/en
Application granted granted Critical
Publication of JP4770844B2 publication Critical patent/JP4770844B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Description

本発明は、指やペン等の対象物が画面に触れた位置を検出するセンシング装置、表示装置および電子機器に関する。 The present invention includes a sensing device for detecting the position of an object such as a finger or a pen touches the screen, relates to a display device and electronic equipment.

特許文献１には、指やライトペンで指示された画面上の座標位置を検出する液晶表示装置が記載されている。この液晶表示装置は、入射光を撮像する画像読取センサ３３を画素ごとに備え、指やライトペンを画面に近づけたり接触させたときの撮像データの変化から、座標位置を検出する。
特開２００４−３１８８１９号公報 Patent Document 1 describes a liquid crystal display device that detects a coordinate position on a screen designated by a finger or a light pen. This liquid crystal display device includes an image reading sensor 33 that captures incident light for each pixel, and detects a coordinate position from a change in imaging data when a finger or a light pen is brought close to or in contact with the screen.
JP 2004-318819 A

ところで、特許文献１に記載された液晶表示装置では、座標位置の検出を常に同じ周期で行っている。したがって、タッチ入力が長時間ない場合であっても、タッチ入力がある場合と同じ周期で各画像読取センサ３３から撮像データを読み出さなければならず、余計な電力消費が生じてしまう。   By the way, in the liquid crystal display device described in Patent Document 1, the coordinate position is always detected at the same cycle. Therefore, even when there is no touch input for a long time, imaging data must be read from each image reading sensor 33 in the same cycle as when there is a touch input, and extra power consumption occurs.

本発明は、上述した課題に鑑みてなされたものであり、タッチ判定やタッチ位置の検出を高い精度で行うことが可能でありつつ、消費電力を低減可能なセンシング装置、表示装置および電子機器を提供することを課題とする。 The present invention has been made in view of the problems described above, the touch determination or detect while it is possible to carry out with high accuracy for a touch position, capable of reducing sensing device power consumption, display device and electronic equipment It is an issue to provide.

上述した課題を解決するため、本発明に係るセンシング装置は、対象物が画面に触れた位置を検出するセンシング装置において、前記画面上に配列され、入射される光量に応じた大きさの第１検出信号を各々生成する複数のセンサと、前記複数のセンサから前記第１検出信号を第１周期で読み出す通常モードと、前記複数のセンサから前記第１検出信号を前記第１周期より長い第２周期で読み出す低消費モードとで動作可能な読出手段と、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったか否かを判定するために設定された第１閾値と、前記対象物が前記画面に非接触であるか否かを判定するために設定された第２閾値とを使用可能であり、前記読出手段によって読み出された前記各第１検出信号を、前記第１閾値と前記第２閾値のどちらか一方と比較して、２値化された第２検出信号を各々生成する２値化手段と、前記２値化手段によって前記各第１検出信号が前記第１閾値と比較されて前記第２検出信号が各々生成された場合、前記各第２検出信号に基づいて、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことを検知し、前記２値化手段によって前記各第１検出信号が前記第２閾値と比較されて前記第２検出信号が各々生成された場合、前記各第２検出信号に基づいて、前記対象物が前記画面に非接触であることを検知する検知手段と、前記２値化手段によって前記各第１検出信号が前記第２閾値と比較されて前記第２検出信号が各々生成された場合、前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、前記通常モードと前記低消費モードとの間の移行を管理するとともに前記第１閾値と前記第２閾値との変更を管理し、前記低消費モードにおいて、前記検知手段によって前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことが検知されると、前記通常モードへ移行するように前記読出手段を制御するとともに、前記各第１検出信号を前記第２閾値と比較して前記第２検出信号を各々生成するように前記２値化手段を制御し、前記通常モードにおいて、所定時間連続して前記検知手段によって前記対象物が前記画面に非接触であることが検知されると、前記低消費モードへ移行させるように前記読出手段を制御するとともに、前記各第１検出信号を前記第１閾値と比較して前記第２検出信号を各々生成するように前記２値化手段を制御する制御手段と、を備えることを特徴とする。 In order to solve the above-described problem, a sensing device according to the present invention is a sensing device that detects a position where an object touches a screen, and is arranged on the screen and has a first size that corresponds to the amount of incident light. A plurality of sensors each generating detection signals; a normal mode in which the first detection signals are read from the plurality of sensors in a first period; and a second mode in which the first detection signals from the plurality of sensors are longer than the first period. Reading means operable in a low-consumption mode for reading periodically, and set to determine whether or not the object has approached the screen and the distance between the object and the screen has reached a certain distance or less. The first threshold value and a second threshold value set for determining whether or not the object is not in contact with the screen can be used, and each of the first threshold values read by the reading means can be used. Detection signal A binarization unit that generates a binarized second detection signal in comparison with one of the first threshold and the second threshold, and the binarization unit converts each first detection signal into a binarization unit. When each of the second detection signals is generated by being compared with the first threshold value, the object approaches the screen and the distance between the object and the screen is constant based on each second detection signal. When the second detection signal is generated by comparing the first detection signal with the second threshold value by the binarization means, the second detection signal is detected. Based on the detection means for detecting that the object is not in contact with the screen, and the binarization means compares the first detection signals with the second threshold value, so that the second detection signals are When each is generated, based on each second detection signal, the previous Detecting means for detecting a position where an object is in contact with the screen; managing transition between the normal mode and the low consumption mode; and managing a change between the first threshold value and the second threshold value. In the low consumption mode, when it is detected by the detection means that the object approaches the screen and the distance between the object and the screen reaches a certain distance or less, the mode is shifted to the normal mode. And controlling the reading means and controlling the binarizing means to generate the second detection signals by comparing the first detection signals with the second threshold value, and in the normal mode, When the detection unit detects that the object is not in contact with the screen continuously for a predetermined time, the reading unit is controlled to shift to the low consumption mode, and each of the first detections is performed. And control means for controlling the binarization means so as to generate the second detection signals by comparing the output signal with the first threshold value, respectively .

本発明によれば、通常モードにおいて、対象物が画面に非接触であることを所定時間連続して検知すると、読出手段の動作を低消費モードに移行させる。読出手段は、低消費モードの場合、通常モードの場合より長い第２周期で、画面上に配列された総てのセンサから第１検出信号を読み出す。一方、低消費モードにおいて、対象物が画面に近づいて対象物と画面との距離が一定の距離以下に至ったことを検知すると、読出手段の動作を通常モードに移行させる。読出手段は、通常モードの場合、低消費モードの場合より短い第１周期で、画面上に配列された総てのセンサから第１検出信号を読み出す。 According to the present invention, in the normal mode, when it is continuously detected for a predetermined time that the object is not in contact with the screen, the operation of the reading unit is shifted to the low consumption mode. In the low consumption mode, the reading means reads the first detection signals from all the sensors arranged on the screen with a second period longer than that in the normal mode. On the other hand, in the low consumption mode, when it is detected that the object has approached the screen and the distance between the object and the screen has become a certain distance or less, the operation of the reading unit is shifted to the normal mode. In the normal mode, the reading means reads the first detection signals from all the sensors arranged on the screen in a first cycle shorter than that in the low consumption mode .

したがって、対象物が画面に非接触であることを所定時間連続して検知してから、次に対象物が画面の近くまで接近したことを検知するまでの間は、低消費モードで動作し、通常モードの場合に比べ、１画面分の第１検出信号を読み出す頻度を減らすことができる。例えば、単位時間当たりの１画面分の第１検出信号の読出回数を、通常モードの場合は６０回、低消費モードの場合は１０回となるように第１周期と第２周期を設定した場合、低消費モードの場合は、通常モードの場合に比べ、１画面分の第１検出信号を読み出す頻度を１／６に減らすことができる。このため、第１検出信号の読み出しや２値化信号の生成に要する処理負荷を軽減することができ、その分だけ電力消費を低減することができる。一方、対象物が画面の近くまで接近したことを検知してから、次に対象物が画面に非接触であることを所定時間連続して検知するまでの間は、通常モードで動作し、低消費モードの場合よりも１画面分の第１検出信号を読み出す頻度を高くすることで、タッチ判定やタッチ位置の検出に関する時間的な分解能を高め、タッチ判定やタッチ位置の検出を高い精度で行うことが可能になる。特に、読出手段の動作を低消費モードから通常モードに移行させるタイミングを、対象物が画面に接触したことを検知したときではなく、対象物と画面との距離が一定の距離以下になったことを検知したときにすることで、対象物が実際に画面に触れる前に、タッチ判定やタッチ位置の検出に関する精度を高めておくことができる。  Therefore, it operates in the low-consumption mode between the time that the object is not touching the screen for a predetermined time continuously until the next time that the object approaches the screen. Compared with the normal mode, the frequency of reading the first detection signal for one screen can be reduced. For example, when the first cycle and the second cycle are set so that the number of readings of the first detection signal for one screen per unit time is 60 in the normal mode and 10 in the low consumption mode. In the low consumption mode, compared with the normal mode, the frequency of reading the first detection signal for one screen can be reduced to 1/6. For this reason, the processing load required for reading the first detection signal and generating the binarized signal can be reduced, and power consumption can be reduced accordingly. On the other hand, after detecting that the object is close to the screen until the next time that the object is not touching the screen continuously for a predetermined time, it operates in the normal mode. By increasing the frequency of reading the first detection signal for one screen than in the consumption mode, the temporal resolution for touch determination and touch position detection is increased, and touch determination and touch position detection are performed with high accuracy. It becomes possible. In particular, the timing of shifting the reading means operation from the low-consumption mode to the normal mode is not when the object touches the screen, but the distance between the object and the screen is below a certain distance. By detecting when the object is actually touching the screen, it is possible to improve the accuracy of touch determination and touch position detection.

なお、「画面上に配列され」とは、例えば、複数のセンサを備えたタッチパネルを画面上に貼り付けている場合に加え、後述する実施形態に記載しているように複数のセンサを表示パネルに内蔵している場合を含む。また、「対象物」とは、例えば、指やタッチペン等である。   Note that “arranged on the screen” means that, for example, in addition to a case where a touch panel including a plurality of sensors is pasted on the screen, a plurality of sensors are displayed on the display panel as described in an embodiment described later. Including the case of being built in. The “object” is, for example, a finger or a touch pen.

また、上述したいずれかのセンシング装置において、前記複数のセンサは、ｍ（２以上の整数）本の走査線とｎ（２以上の整数）本の読出線との交差に対応して前記画面上に配列され、入射される光量に応じた大きさの第１検出信号を各々生成するｍ×ｎ個のセンサであって、前記読出手段は、前記ｍ×ｎ個のセンサから前記第１検出信号を前記第１周期で読み出す通常モードと、連続して並ぶＭ（２以上で前記ｍ以下の整数）本の前記走査線と、連続して並ぶＮ（２以上で前記ｎ以下の整数）本の前記読出線とに対応し、前記ｍ×ｎ個未満となる前記センサから前記第１検出信号を前記第１周期より長い前記第２周期で読み出す低消費モードとで動作可能である構成であってもよい。 In any one of the sensing devices described above, the plurality of sensors may correspond to an intersection of m (an integer greater than or equal to 2) scanning lines and n (an integer greater than or equal to 2) readout lines on the screen. Mxn sensors each generating a first detection signal having a magnitude corresponding to the amount of incident light, wherein the reading means receives the first detection signal from the mxn sensors. a normal mode for reading in the first cycle, and the scanning lines of (the following integers m 2 or more) the M arranged in succession, (below the n 2 or more integer) continuously lined n number of Corresponding to the readout line, it is configured to be operable in a low consumption mode in which the first detection signal is read out in the second period longer than the first period from the sensor that is less than m × n. Also good.

この構成であれば、読出手段は、低消費モードの場合、画面上に配列されたｍ×ｎ個のセンサのうち、連続して並ぶＭ本の走査線と連続して並ぶＮ本の読出線に対応するセンサのみから第１検出信号を第２周期で読み出す。したがって、低消費モードの場合は、通常モードの場合よりも１画面分の第１検出信号を読み出す周期を長くすることができることに加え、画面上に配列された一部のセンサのみから第１検出信号を読み出すので、第１検出信号を読み出すセンサの個数を減らすことができ、より一層の低消費電力化を図ることができる。   With this configuration, in the low-consumption mode, the reading unit includes N reading lines arranged continuously with M scanning lines arranged continuously among the m × n sensors arranged on the screen. The first detection signal is read out from only the sensor corresponding to the second period. Accordingly, in the low-consumption mode, the period for reading out the first detection signal for one screen can be made longer than that in the normal mode, and the first detection is performed only from a part of the sensors arranged on the screen. Since the signal is read, the number of sensors that read the first detection signal can be reduced, and the power consumption can be further reduced.

また、上述したセンシング装置において、出射光の光量を調整可能な光源を複数備え、前記画面の背面に設けられたバックライトと、前記読出手段によって読み出された複数の前記第１検出信号に基づいて環境光の照度を算出し、算出した照度が所定値未満の場合であって、かつ前記低消費モードの場合、当該低消費モードにおいて前記第１検出信号が読み出される前記センサが配列されたエリアに対応する前記光源の出射光の光量を、他の前記光源の出射光の光量より増やす調整手段とを備える構成であってもよい。   The sensing device includes a plurality of light sources capable of adjusting the amount of emitted light, based on a backlight provided on the back surface of the screen and the plurality of first detection signals read by the reading unit. The area in which the sensor from which the first detection signal is read in the low consumption mode is arranged when the illuminance of the ambient light is calculated and the calculated illuminance is less than a predetermined value and in the low consumption mode. The light source of the said light source corresponding to 1 may be provided with the adjustment means which increases the light quantity of the emitted light from the light quantity of the other said light source.

後述する実施形態にも記載しているように、センシング装置の周囲が明るい場合は、画面上に生じる影によって対象物が画面の近くまで接近したことを検知する。一方、センシング装置の周囲が暗い場合は、対象物によって反射されるバックライトの光によって、対象物が画面の近くまで接近したことを検知する。このため、センシング装置の周囲が暗い場合は、バックライトの発光輝度が弱いと接近したことを検知しづらい。したがって、上記の構成を採用すると、センシング装置の周囲が暗い場合であっても、対象物が画面の近くまで接近したことをより検知しやすくできる。また、画面のうち、低消費モードの場合に第１検出信号を読み出すセンサが配列されたエリアについてのみ、バックライトからの光を強めているので、無駄な電力消費を極力抑えることができる。   As described in the embodiments described later, when the surroundings of the sensing device are bright, it is detected that an object has approached near the screen by a shadow generated on the screen. On the other hand, when the surroundings of the sensing device are dark, it is detected that the object has approached near the screen by the light of the backlight reflected by the object. For this reason, when the surroundings of the sensing device are dark, it is difficult to detect the approach when the light emission luminance of the backlight is weak. Therefore, when the above configuration is adopted, even when the surroundings of the sensing device are dark, it can be more easily detected that the object has approached near the screen. Moreover, since the light from the backlight is intensified only in the area of the screen where the sensors that read the first detection signal in the low power consumption mode are arranged, wasteful power consumption can be suppressed as much as possible.

また、上述したいずれかのセンシング装置において、前記複数のセンサは、複数の走査線と複数の読出線との交差に対応して前記画面上に配列され、入射される光量に応じた大きさの前記第１検出信号を各々生成し、前記読出手段は、前記通常モードの場合、前記複数の走査線の各々を順次選択し、前記低消費モードの場合、前記複数の走査線をＬ（２以上の整数）本ごとに１本の割合で順次選択する選択手段を備え、前記選択手段によって選択された前記走査線に対応する前記センサから前記複数の読出線を介して前記第１検出信号を各々読み出す構成であってもよい。   Further, in any of the sensing devices described above, the plurality of sensors are arranged on the screen in correspondence with intersections of the plurality of scanning lines and the plurality of readout lines, and have a size corresponding to the amount of incident light. Each of the first detection signals is generated, and the reading means sequentially selects each of the plurality of scanning lines in the normal mode, and sets the plurality of scanning lines to L (two or more) in the low consumption mode. A selection means for sequentially selecting each one of the lines at a rate of one, and each of the first detection signals from the sensor corresponding to the scanning line selected by the selection means via the plurality of readout lines. It may be configured to read.

この構成であれば、選択手段は、低消費モードの場合、複数の走査線をＬ本ごとに１本の割合で順次選択する。したがって、低消費モードの場合は、通常モードの場合よりも１画面分の第１検出信号を読み出す周期を長くすることができることに加え、第１検出信号を読み出すセンサの個数を１／Ｌに減らすことができるので、より一層の低消費電力化を図ることができる。   With this configuration, the selection unit sequentially selects a plurality of scanning lines at a rate of one for every L lines in the low consumption mode. Therefore, in the low consumption mode, the period for reading the first detection signals for one screen can be made longer than in the normal mode, and the number of sensors for reading the first detection signals is reduced to 1 / L. Therefore, the power consumption can be further reduced.

また、本発明に係る表示装置は、上述したいずれかのセンシング装置と、画像を表示する表示部とを備えることを特徴とする。この表示装置には、例えば、液晶素子やＯＬＥＤ素子を用いた表示装置が含まれる。また、上述した表示装置は、前記検出手段によって検出された位置の軌跡を示す画像を生成して前記表示部に表示する表示制御手段を備える構成であってもよい。   In addition, a display device according to the present invention includes any one of the sensing devices described above and a display unit that displays an image. This display device includes, for example, a display device using a liquid crystal element or an OLED element. The display device described above may include a display control unit that generates an image indicating a locus of a position detected by the detection unit and displays the image on the display unit.

また、本発明に係る電子機器は、上述した表示装置を備えることを特徴とする。この電子機器には、例えば、パーソナルコンピュータや携帯電話機、携帯情報端末等が含まれる。   In addition, an electronic apparatus according to the present invention includes the above-described display device. Examples of the electronic apparatus include a personal computer, a mobile phone, a portable information terminal, and the like.

上記のセンシング装置によれば、高い精度でのタッチ判定やタッチ位置の検出と、消費電力の低減とを行うことができる。  According to the above sensing device, it is possible to perform touch determination and touch position detection with high accuracy and reduce power consumption.

以下の各実施形態では、本発明に係るセンシング装置を透過型の液晶表示装置に適用した場合について説明する。
＜１．第１実施形態＞
図１は、第１実施形態に係る液晶表示装置１の構成を示すブロック図である。 In the following embodiments, a case where the sensing device according to the present invention is applied to a transmissive liquid crystal display device will be described.
<1. First Embodiment>
FIG. 1 is a block diagram showing the configuration of the liquid crystal display device 1 according to the first embodiment.

同図に示すように、液晶表示装置１は、液晶パネルＡＡ、制御回路３００、画像処理回路４００、調光回路７００、およびバックライト８００を備える。液晶パネルＡＡは、スイッチング素子として薄膜トランジスタ（Thin Film Transistor）を形成した素子基板と対向基板とを互いに電極形成面を対向させ、かつ一定の間隙を保って貼付したものであり、この間隙に液晶が挟持される。また、液晶パネルＡＡは、その素子基板上に、画像表示領域Ａ、走査線駆動回路１００、データ線駆動回路２００、センサ用走査回路５００、および受光信号処理回路６００を備える。画像表示領域Ａには、ｍ（行）×ｎ（列）個の画素回路Ｐ１がマトリクス状に形成され、各画素回路Ｐ１は走査線駆動回路１００とデータ線駆動回路２００に電気的に接続される。   As shown in the figure, the liquid crystal display device 1 includes a liquid crystal panel AA, a control circuit 300, an image processing circuit 400, a dimming circuit 700, and a backlight 800. In the liquid crystal panel AA, an element substrate on which a thin film transistor is formed as a switching element and a counter substrate are attached to each other with the electrode forming surfaces facing each other and maintaining a certain gap. It is pinched. The liquid crystal panel AA includes an image display region A, a scanning line driving circuit 100, a data line driving circuit 200, a sensor scanning circuit 500, and a light reception signal processing circuit 600 on the element substrate. In the image display area A, m (row) × n (column) pixel circuits P1 are formed in a matrix, and each pixel circuit P1 is electrically connected to the scanning line driving circuit 100 and the data line driving circuit 200. The

制御回路３００は、走査線駆動回路１００とデータ線駆動回路２００に対し、クロック信号や各種の制御信号を供給する。画像処理回路４００は、入力画像データＤinに画像処理を施して出力画像データＤoutを生成し、これをデータ線駆動回路２００に出力する。走査線駆動回路１００は、マトリクス状に配列する画素回路Ｐ１を行単位で順次選択する。また、データ線駆動回路２００は、走査線駆動回路１００によって順次選択される１行分（ｎ個）の画素回路Ｐ１の各々に対し、データ信号を供給する。液晶パネルＡＡの背面にはバックライト８００が設けられ、調光回路７００は、制御回路３００の制御の下、環境光の照度（液晶表示装置１の周囲の明るさ）に応じた輝度でバックライト８００を発光させる。バックライト８００からの光は液晶パネルＡＡ（画像表示領域Ａ）を介して射出される。前述したように、画像表示領域Ａには複数の画素回路Ｐ１がマトリクス状に配列しているため、データ線駆動回路２００から供給されるデータ信号の電圧レベルに応じて画素回路Ｐ１ごとに透過率が制御される。これによって光変調による階調表示が可能となり、画像表示領域Ａに画像が表示される。   The control circuit 300 supplies a clock signal and various control signals to the scanning line driving circuit 100 and the data line driving circuit 200. The image processing circuit 400 performs image processing on the input image data Din to generate output image data Dout, and outputs this to the data line driving circuit 200. The scanning line driving circuit 100 sequentially selects the pixel circuits P1 arranged in a matrix in units of rows. The data line driving circuit 200 supplies a data signal to each of one row (n) of pixel circuits P1 that are sequentially selected by the scanning line driving circuit 100. A backlight 800 is provided on the back surface of the liquid crystal panel AA, and the dimming circuit 700 is controlled by the control circuit 300 with a brightness corresponding to the illuminance of ambient light (brightness around the liquid crystal display device 1). Make 800 light. Light from the backlight 800 is emitted through the liquid crystal panel AA (image display area A). As described above, since the plurality of pixel circuits P1 are arranged in a matrix form in the image display area A, the transmittance for each pixel circuit P1 according to the voltage level of the data signal supplied from the data line driving circuit 200. Is controlled. As a result, gradation display by light modulation becomes possible, and an image is displayed in the image display area A.

また、液晶表示装置１はタッチ入力機能を備えており、画像表示領域Ａには画素回路Ｐ１ごとに光検出回路Ｏ１が設けられている。より具体的に説明すると、画像表示領域Ａには、Ｘ方向に延在するｍ本の走査線と、Ｙ方向に延在するｎ本の読出線とが形成され、走査線と読出線との交差に対応して、ｍ（行）×ｎ（列）個の光検出回路Ｏ１が配置される。各光検出回路Ｏ１は、光センサを備え、入射光の光量に応じた信号レベルの受光信号を出力する。制御回路３００は、センサ用走査回路５００に対し、クロック信号や走査用の制御信号を供給する。また、制御回路３００は、受光信号処理回路６００に対し、クロック信号や受光信号処理用の制御信号を供給する。センサ用走査回路５００は、マトリクス状に配列する光検出回路Ｏ１を、走査信号Ｙ１，Ｙ２，Ｙ３，…，Ｙｍを用いて順次選択する。受光信号処理回路６００は、センサ用走査回路５００によって順次選択される１行分（ｎ個）の光検出回路Ｏ１からｎ本の読出線を介して受光信号Ｘ１，Ｘ２，Ｘ３，Ｘ４，…，Ｘｎを読み出し、これを制御回路３００に供給する。   Further, the liquid crystal display device 1 has a touch input function, and the image display area A is provided with a light detection circuit O1 for each pixel circuit P1. More specifically, in the image display area A, m scanning lines extending in the X direction and n readout lines extending in the Y direction are formed. Corresponding to the intersection, m (rows) × n (columns) photodetection circuits O1 are arranged. Each photodetection circuit O1 includes an optical sensor and outputs a light reception signal having a signal level corresponding to the amount of incident light. The control circuit 300 supplies a clock signal and a scanning control signal to the sensor scanning circuit 500. The control circuit 300 supplies a clock signal and a control signal for light reception signal processing to the light reception signal processing circuit 600. The sensor scanning circuit 500 sequentially selects the photodetection circuits O1 arranged in a matrix using the scanning signals Y1, Y2, Y3,. The light reception signal processing circuit 600 receives light reception signals X1, X2, X3, X4,... Via n readout lines from one row (n pieces) of photodetection circuits O1 sequentially selected by the sensor scanning circuit 500. Xn is read and supplied to the control circuit 300.

ところで、例えば、日中の自然光の下に液晶表示装置１がある場合等、液晶表示装置１の周囲が明るい場合は、画像表示領域Ａ（表示画面）において、指やタッチペンの接触した部分が影となり、この部分の受光量が他の部分の受光量よりも低下する。つまり、指やタッチペンが表示画面に対してある程度接近すると表示画面上に淡い影ができ、指やタッチペンがさらに表示画面に接近するにつれ影が徐々に濃くなる。この際、表示画面において影ができた部分にある光検出回路Ｏ１（光センサ）の受光量は、影が濃くなるにつれ徐々に低下する。逆に、夜間の暗い環境の下に液晶表示装置１がある場合等、液晶表示装置１の周囲が暗い場合は、バックライト８００からの光が指やタッチペンによって反射されるため、表示画面において指やタッチペンが接触した部分の受光量が他の部分の受光量よりも増加する。つまり、指やタッチペンが表示画面に対してある程度接近すると、バックライト８００からの光が指やタッチペンによって反射され、表示画面上には反射光の当たる部分ができる。この部分の反射光の強さは、指やタッチペンがさらに表示画面に接近するにつれ徐々に大きくなる。この際、表示画面において反射光が当たっている部分にある光検出回路Ｏ１（光センサ）の受光量は、指やタッチペンの接近に伴って反射光が強くなるほど増加する。   By the way, for example, when the surroundings of the liquid crystal display device 1 are bright, such as when the liquid crystal display device 1 is under natural daylight, a portion of the image display area A (display screen) touched by a finger or a touch pen is shadowed. Thus, the amount of light received at this portion is lower than the amount of light received at other portions. That is, when a finger or touch pen approaches the display screen to some extent, a light shadow is formed on the display screen, and the shadow gradually increases as the finger or touch pen further approaches the display screen. At this time, the amount of light received by the light detection circuit O1 (light sensor) in the shadowed portion of the display screen gradually decreases as the shadow becomes darker. On the contrary, when the surroundings of the liquid crystal display device 1 are dark, such as when the liquid crystal display device 1 is in a dark environment at night, the light from the backlight 800 is reflected by the finger or the touch pen. And the amount of light received at the part touched by the touch pen is larger than the amount of light received at other parts. That is, when the finger or touch pen approaches the display screen to some extent, the light from the backlight 800 is reflected by the finger or touch pen, and a portion where the reflected light strikes is formed on the display screen. The intensity of the reflected light at this portion gradually increases as the finger or the touch pen further approaches the display screen. At this time, the amount of light received by the light detection circuit O1 (light sensor) in the portion of the display screen where the reflected light strikes increases as the reflected light becomes stronger as the finger or the touch pen approaches.

したがって、制御回路３００では、画像表示領域Ａに備わるｍ×ｎ個の光検出回路Ｏ１から読み出した１画面分の受光信号に基づいて、指やタッチペンが表示画面に接触しているか否か（タッチの有無）を判定することができる。また、制御回路３００では、１画面分の受光信号に基づいて、指やタッチペンが表示画面の近くまで接近しているか否か（接近の有無）を判定することができる。なお、接近の有無を判定できる距離は、各光検出回路Ｏ１の受光量から指やタッチペンの影または反射光を検知し得る距離となる。   Therefore, the control circuit 300 determines whether or not a finger or a touch pen is in contact with the display screen based on the light reception signals for one screen read from the m × n light detection circuits O1 provided in the image display area A (touch). Presence or absence) can be determined. Further, the control circuit 300 can determine whether or not the finger or the touch pen is approaching to the vicinity of the display screen based on the light reception signal for one screen (presence / absence of approach). In addition, the distance which can determine the presence or absence of an approach becomes a distance which can detect the shadow of a finger | toe or a touch pen, or reflected light from the light-receiving amount of each photon detection circuit O1.

具体的に説明すると、制御回路３００では、まず、読み出した１画面分の受光信号について、受光信号ごとにその信号レベルを閾値と比較して２値化信号に変換する（２値化処理）。なお、この２値化処理の際に使用する閾値は、大別すると２つある。１つは、タッチ判定用の閾値Ｔである。この閾値Ｔは、受光信号の信号レベルが、指やタッチペンを表示画面に接触させたときの受光量のレベルに到達しているか否かを判定するためのものである。もう１つは、接近判定用の閾値Ｓである。この閾値Ｓは、受光信号の信号レベルが、指やタッチペンを画面の近くまで接近させたときの受光量のレベルに到達しているか否かを判定するためのものである。例えば、タッチ判定用の閾値Ｔは、表示画面上において指やタッチペンが実際に接触した部分にある光検出回路Ｏ１の受光量（受光信号の信号レベル）について多数のサンプルデータを取得することで、取得したサンプルデータに基づいてその値を設定することができる。同様に接近判定用の閾値Ｓについても、表示画面上において指やタッチペンが実際に接近した部分にある光検出回路Ｏ１の受光量について多数のサンプルデータを取得することで、取得したサンプルデータに基づいてその値を設定することができる。   Specifically, the control circuit 300 first converts the read light-receiving signal for one screen into a binarized signal by comparing the signal level of each received light signal with a threshold value (binarization processing). Note that the thresholds used in the binarization process are roughly divided into two. One is a threshold value T for touch determination. This threshold value T is for determining whether or not the signal level of the received light signal has reached the level of the received light amount when a finger or a touch pen is brought into contact with the display screen. The other is a threshold value S for approach determination. This threshold value S is for determining whether or not the signal level of the received light signal has reached the level of the received light amount when the finger or the touch pen is brought close to the screen. For example, the threshold value T for touch determination is obtained by acquiring a lot of sample data regarding the amount of light received (the signal level of the light reception signal) of the light detection circuit O1 in the portion where the finger or the touch pen actually contacts on the display screen. The value can be set based on the acquired sample data. Similarly, the threshold value S for approach determination is also obtained based on the acquired sample data by acquiring a large number of sample data for the amount of light received by the light detection circuit O1 in the part where the finger or the touch pen actually approaches on the display screen. Can set the value.

つまり、上述した２値化処理の際に閾値としてタッチ判定用の閾値Ｔを使用した場合、制御回路３００では、各受光信号の信号レベルが、指やタッチペンを表示画面に接触させたときの受光量のレベルに到達しているか否かを判定することになり、到達している場合と、到達していない場合とで異なる信号値を有する２値化信号に変換することになる。一方、上述した２値化処理の際に閾値として接近判定用の閾値Ｓを使用した場合、制御回路３００では、各受光信号の信号レベルが、指やタッチペンを表示画面の近くまで接近させたときの受光量のレベルに到達しているか否かを判定ことになり、到達している場合と、到達していない場合とで異なる信号値を有する２値化信号に変換することになる。なお、１画面分の受光信号はｍ×ｎ個あるので、これに対応して２値化信号もｍ×ｎ個生成される。   That is, when the threshold value T for touch determination is used as the threshold value in the binarization process described above, in the control circuit 300, the signal level of each light reception signal is light reception when a finger or a touch pen is brought into contact with the display screen. Whether or not the level of the quantity has been reached is determined, and the signal is converted into a binary signal having different signal values depending on whether the level has been reached or not. On the other hand, when the threshold value S for approach determination is used as the threshold value in the binarization process described above, in the control circuit 300, when the signal level of each light reception signal brings the finger or the touch pen close to the display screen It is determined whether or not the level of the received light amount is reached, and is converted into a binarized signal having different signal values depending on whether or not the level is reached. Since there are m × n light reception signals for one screen, m × n binarized signals are also generated correspondingly.

また、実際には、液晶表示装置１の周囲が明るい場合と暗い場合で異なる閾値を使用する必要がある。つまり、タッチ判定用の閾値Ｔとして、液晶表示装置１の周囲が明るい場合に使用する閾値Ｔ１と、液晶表示装置１の周囲が暗い場合に使用する閾値Ｔ２が必要になる。また、接近判定用の閾値Ｓについても同様に、液晶表示装置１の周囲が明るい場合に使用する閾値Ｓ１と、液晶表示装置１の周囲が暗い場合に使用する閾値Ｓ２が必要になる。これらのタッチ判定用の閾値Ｔ１，Ｔ２と、接近判定用の閾値Ｓ１，Ｓ２は、液晶表示装置１内に備わるメモリ（図示略）に記憶されている。   In practice, it is necessary to use different threshold values depending on whether the periphery of the liquid crystal display device 1 is bright or dark. That is, as the threshold value T for touch determination, a threshold value T1 used when the periphery of the liquid crystal display device 1 is bright and a threshold value T2 used when the periphery of the liquid crystal display device 1 is dark are necessary. Similarly, the threshold S for approach determination requires a threshold S1 used when the periphery of the liquid crystal display device 1 is bright and a threshold S2 used when the periphery of the liquid crystal display device 1 is dark. The touch determination threshold values T1 and T2 and the approach determination threshold values S1 and S2 are stored in a memory (not shown) provided in the liquid crystal display device 1.

例えば、液晶表示装置１の周囲が明るく、表示画面において指やタッチペンの接触した部分が影になる場合について考えてみる。図２（ａ）に示すように、各受光信号の信号レベルは"０"（暗）〜"１００"（明）までの範囲内の値をとる一方、タッチ判定用の閾値Ｔ１は"１０"、接近判定用の閾値Ｓ１は"２０"に設定されているものとする。この場合、制御回路３００では、上述した２値化処理の際に閾値としてタッチ判定用の閾値Ｔ１を使用していれば、信号レベルが"１０"未満の受光信号を２値化信号"１"へ変換する一方、信号レベルが"１０"以上の受光信号を２値化信号"０"へ変換する。また、制御回路３００では、上述した２値化処理の際に閾値として接近判定用の閾値Ｓ１を使用していれば、信号レベルが"２０"未満の受光信号を２値化信号"１"へ変換する一方、信号レベルが"２０"以上の受光信号を２値化信号"０"へ変換する。   For example, let us consider a case where the periphery of the liquid crystal display device 1 is bright and a portion of the display screen that is touched by a finger or a touch pen becomes a shadow. As shown in FIG. 2A, the signal level of each light reception signal takes a value in the range from “0” (dark) to “100” (bright), while the threshold value T1 for touch determination is “10”. It is assumed that the threshold value S1 for approach determination is set to “20”. In this case, in the control circuit 300, if the threshold value T1 for touch determination is used as the threshold value in the above-described binarization process, the received light signal having a signal level of less than “10” is binarized signal “1”. On the other hand, a received light signal having a signal level of “10” or higher is converted into a binary signal “0”. Further, in the control circuit 300, when the threshold value S1 for approach determination is used as the threshold value in the binarization process described above, the light reception signal having a signal level of less than “20” is changed to the binary signal “1”. On the other hand, a received light signal having a signal level of “20” or higher is converted into a binary signal “0”.

次に、液晶表示装置１の周囲が暗く、表示画面において指やタッチペンが接触した部分が反射光によって明るくなる場合について考えてみる。図２（ｂ）に示すように、各受光信号の信号レベルは、液晶表示装置１の周囲が明るい場合と同様に、"０"（暗）〜"１００"（明）までの範囲内の値をとる一方、タッチ判定用の閾値Ｔ２は"６５"、接近判定用の閾値Ｓ２は"５０"に設定されているものとする。この場合、制御回路３００では、上述した２値化処理の際に閾値としてタッチ判定用の閾値Ｔ２を使用していれば、信号レベルが"６５"以上の受光信号を２値化信号"１"へ変換する一方、信号レベルが"６５"未満の受光信号を２値化信号"０"へ変換する。また、制御回路３００では、上述した２値化処理の際に閾値として接近判定用の閾値Ｓ２を使用していれば、信号レベルが"５０"以上の受光信号を２値化信号"１"へ変換する一方、信号レベルが"５０"未満の受光信号を２値化信号"０"へ変換する。   Next, consider the case where the periphery of the liquid crystal display device 1 is dark and the portion of the display screen that is touched by a finger or a touch pen is brightened by reflected light. As shown in FIG. 2B, the signal level of each light reception signal is a value within the range from “0” (dark) to “100” (bright), as in the case where the periphery of the liquid crystal display device 1 is bright. On the other hand, the threshold value T2 for touch determination is set to “65”, and the threshold value S2 for approach determination is set to “50”. In this case, in the control circuit 300, if the threshold value T2 for touch determination is used as the threshold value in the binarization process described above, the received light signal having a signal level of “65” or higher is binarized signal “1”. On the other hand, a received light signal having a signal level of less than “65” is converted into a binary signal “0”. Further, in the control circuit 300, if the threshold value S2 for approach determination is used as the threshold value in the binarization process described above, a light reception signal having a signal level of “50” or more is changed to the binary signal “1”. On the other hand, the received light signal whose signal level is less than “50” is converted into a binary signal “0”.

図３は、このような２値化処理によって得られる１画面分の２値化信号について示す模式図である。同図に示す例では、画像表示領域Ａ（表示画面）において（２,２），（２,３），（３,２），（３,３）の部分に配置された４個の光検出回路Ｏ１から読み出した各受光信号について、２値化信号の値が"１"になっている。上述したように２値化信号の値が"１"になる部分は、例えば、２値化処理の際に閾値としてタッチ判定用の閾値Ｔ１を使用した場合であれば、受光信号の信号レベルが"１０"未満となるタッチされた部分であり、２値化処理の際に閾値として接近判定用の閾値Ｓ１を使用した場合であれば、受光信号の信号レベルが"２０"未満となる影の部分である。また、２値化処理の際に閾値としてタッチ判定用の閾値Ｔ２を使用した場合であれば、受光信号の信号レベルが"６５"以上となるタッチされた部分であり、２値化処理の際に閾値として接近判定用の閾値Ｓ２を使用した場合であれば、受光信号の信号レベルが"５０"以上となる反射光の強い部分である。   FIG. 3 is a schematic diagram showing a binarized signal for one screen obtained by such binarization processing. In the example shown in the figure, in the image display area A (display screen), four light detections arranged in the portions (2, 2), (2, 3), (3, 2), (3, 3) For each light reception signal read from the circuit O1, the value of the binarized signal is “1”. As described above, the portion where the value of the binarized signal is “1” is, for example, when the threshold value T1 for touch determination is used as the threshold value in the binarization process, and the signal level of the light reception signal is If it is a touched part that is less than “10” and the threshold value S1 for proximity determination is used as a threshold value in the binarization process, the shadow level where the signal level of the received light signal is less than “20” is used. Part. Further, if the threshold value T2 for touch determination is used as a threshold value in the binarization process, it is a touched portion where the signal level of the light reception signal is “65” or more. If the threshold value S2 for approach determination is used as the threshold value, the light receiving signal is a portion of strong reflected light where the signal level is “50” or more.

したがって、制御回路３００では、２値化処理の際に閾値としてタッチ判定用の閾値Ｔ（Ｔ１またはＴ２）を使用した場合であれば、１画面分の２値化信号の中に信号値が"１"となる２値化信号が含まれている場合に、タッチがあると判定する一方、信号値が"１"となる２値化信号が含まれていない場合に、タッチがないと判定することができる。また、制御回路３００では、２値化処理の際に閾値として接近判定用の閾値Ｓ（Ｓ１またはＳ２）を使用した場合であれば、１画面分の２値化信号の中に信号値が"１"となる２値化信号が含まれている場合に、接近していると判定する一方、信号値が"１"となる２値化信号が含まれていない場合に、接近していないと判定することができる。このように制御回路３００では、２値化処理の際に使用する閾値を変更することで、タッチ判定と接近判定の２つを行うことができる。   Therefore, in the control circuit 300, if the threshold value T (T1 or T2) for touch determination is used as the threshold value in the binarization process, the signal value is included in the binarized signal for one screen. It is determined that there is a touch when a binary signal that is “1” is included, while it is determined that there is no touch when a binary signal that is “1” is not included. be able to. Further, in the control circuit 300, when the threshold value S (S1 or S2) for approach determination is used as a threshold value in the binarization process, the signal value is included in the binarized signal for one screen. When a binarized signal that is “1” is included, it is determined that the vehicle is approaching. On the other hand, when a binary signal that has a signal value of “1” is not included, the signal is not approaching. Can be determined. As described above, the control circuit 300 can perform both touch determination and approach determination by changing the threshold value used in the binarization process.

また、制御回路３００では、タッチがあると判定した場合に、２値化信号の値が"１"となる光検出回路Ｏ１の配列位置（Ｘ,Ｙ）から、指やタッチペンによる表示画面上のタッチ位置を検出する。例えば、図３に示した例では、２値化信号の値が"１"となる４個の光検出回路Ｏ１（２,２），（２,３），（３,２），（３,３）の部分がタッチ位置として検出される。   When the control circuit 300 determines that there is a touch, the control circuit 300 starts from the arrangement position (X, Y) of the light detection circuit O1 at which the value of the binarized signal is “1” on the display screen with a finger or a touch pen. Detect touch position. For example, in the example shown in FIG. 3, four photodetection circuits O1 (2,2), (2,3), (3,2), (3, The part 3) is detected as the touch position.

なお、例えば、表示画面上にごみ等が付着して小さな影ができてしまうことがある。また、タッチ入力を意図せずに手のひら全体で表示画面に触れてしまうようなこともある。これらを指やタッチペンによる表示画面へのタッチと誤判定しないよう、制御回路３００では、１画面分の２値化信号のうち、信号値が"１"となる２値化信号の個数を計数し、計数値に基づいてタッチの有無を判定することができる。例えば、制御回路３００では、上述した計数値が所定値以上の場合にタッチがあると判定する一方、計数値が所定値未満の場合にタッチがないと判定してもよい。また、例えば、指やタッチペンの接触面積と、表示画面における光検出回路Ｏ１の配列密度から、指やタッチペンが表示画面に接触した場合に信号値が"１"となる２値化信号の個数の上限値と下限値を設定し、これをメモリに記憶しておく。そして、制御回路３００では、上述した計数値がメモリに記憶された上限値と下限値によって定まる範囲内の値である場合に、タッチがあると判定する一方、計数値が上述した範囲内の値でない場合に、タッチがないと判定してもよい。さらに、信号値が"１"となる複数の２値化信号について、これに対応する光検出回路Ｏ１が隣接しているか否かを考慮するようにしてもよい。また、１画面分の各２値化信号の値を、対応する光検出回路Ｏ１の配列に従って並べ、"１"の部分を黒、"０"の部分を白とした２値画像を作成し、この２値画像の黒の部分の形状が、楕円形や円形（指やタッチペンを表示画面に接触させたときの接触面の形状）であるかを考慮するようにしてもよい。   For example, dust or the like may adhere to the display screen and a small shadow may be formed. In addition, there is a case where the entire palm touches the display screen without intending touch input. The control circuit 300 counts the number of binarized signals whose signal value is “1” among the binarized signals for one screen so that these are not erroneously determined as touches on the display screen with a finger or a touch pen. The presence or absence of touch can be determined based on the count value. For example, the control circuit 300 may determine that there is a touch when the above-described count value is equal to or greater than a predetermined value, and may determine that there is no touch when the count value is less than the predetermined value. Further, for example, from the contact area of the finger or the touch pen and the arrangement density of the light detection circuits O1 on the display screen, the number of binarized signals whose signal value is “1” when the finger or the touch pen touches the display screen. An upper limit value and a lower limit value are set and stored in the memory. The control circuit 300 determines that there is a touch when the above-described count value is within a range determined by the upper limit value and the lower limit value stored in the memory, while the count value is a value within the above-described range. If not, it may be determined that there is no touch. Furthermore, for a plurality of binarized signals having a signal value “1”, it may be considered whether or not the corresponding photodetector circuit O1 is adjacent. Further, the binarized signal values for one screen are arranged in accordance with the arrangement of the corresponding photodetection circuit O1, and a binary image is created in which "1" is black and "0" is white. You may make it consider whether the shape of the black part of this binary image is an ellipse or circular (shape of a contact surface when a finger | toe or a touch pen is made to contact a display screen).

さらに、以上説明したタッチ判定の場合と同様に接近判定についても、信号値が"１"となる２値化信号の個数を計数し、計数値に基づいて接近の有無を判定することができる。例えば、制御回路３００では、上述した計数値が所定値以上の場合に接近していると判定する一方、計数値が所定値未満の場合に接近していないと判定してもよい。また、例えば、指やタッチペンを表示画面に接近させたときにできる影や反射光の当たる部分の面積と、光検出回路Ｏ１の配列密度から、指やタッチペンが表示画面に接近した場合に信号値が"１"となる２値化信号の個数の上限値と下限値を設定し、これをメモリに記憶しておく。そして、制御回路３００では、上述した計数値が上限値と下限値によって定まる範囲内の値である場合に、接近していると判定する一方、計数値が上述した範囲内の値でない場合に、接近していないと判定してもよい。さらに、信号値が"１"となる複数の２値化信号について、これに対応する光検出回路Ｏ１が隣接しているか否かを考慮するようにしてもよい。また、タッチ判定の場合と同様に、１画面分の２値化信号に基づいて、"１"の部分を黒、"０"の部分を白とした２値画像を作成し、この２値画像の黒の部分の形状が、指やタッチペンを表示画面に接近させたときにできる影や反射光の当たる部分の形状に似ているか否かを考慮するようにしてもよい。   Further, similarly to the touch determination described above, also in the approach determination, it is possible to count the number of binarized signals whose signal value is “1”, and determine whether there is an approach based on the count value. For example, the control circuit 300 may determine that it is approaching when the above-described count value is greater than or equal to a predetermined value, and may determine that it is not approaching when the count value is less than the predetermined value. Further, for example, when the finger or the touch pen approaches the display screen, the signal value when the finger or the touch pen approaches the display screen from the area of the portion where the shadow or reflected light hits when the finger or the touch pen approaches the display screen and the arrangement density of the light detection circuits O1 An upper limit value and a lower limit value of the number of binarized signals for which becomes “1” are set and stored in the memory. In the control circuit 300, when the above-described count value is a value within a range determined by the upper limit value and the lower limit value, the control circuit 300 determines that it is approaching, while when the count value is not a value within the above-described range, You may determine not approaching. Furthermore, for a plurality of binarized signals having a signal value “1”, it may be considered whether or not the corresponding photodetector circuit O1 is adjacent. Similarly to the case of touch determination, based on the binarized signal for one screen, a binary image in which “1” is black and “0” is white is created. It may be considered whether or not the shape of the black portion is similar to the shape of the shadow or reflected light hit when a finger or touch pen is brought close to the display screen.

なお、タッチ判定の場合と接近判定の場合では、信号値が"１"となる２値化信号の個数が異なる（例えば、接近時にできる影は、タッチ時にできる影（接触面積）よりも大きい）。したがって、タッチ判定の場合と接近判定の場合では、計数値と比較する上限値や下限値等の値が異なる。また、指やタッチペンの接近や接触に伴って表示画面上に生じる影の大きさと反射光の当たる部分の大きさは異なる。したがって、液晶表示装置１の周囲が明るい場合と暗い場合でも、計数値と比較する上限値や下限値等の値が異なる。   Note that the number of binarized signals whose signal value is “1” is different between the touch determination and the approach determination (for example, the shadow that can be made when approaching is larger than the shadow that can be made when touching (contact area)). . Therefore, in the case of touch determination and the case of approach determination, values such as an upper limit value and a lower limit value to be compared with the count value are different. In addition, the size of the shadow that appears on the display screen as the finger or touch pen approaches or comes in contact is different from the size of the portion that receives the reflected light. Therefore, even when the periphery of the liquid crystal display device 1 is bright and dark, the values such as the upper limit value and the lower limit value compared with the count value are different.

ところで、液晶表示装置１では、［１］画像表示領域Ａに備わる総ての光検出回路Ｏ１から受光信号を読み出し、［２］読み出した１画面分の受光信号に基づいてタッチ判定や接近判定を行い、［３］タッチがあると判定した場合にはそのタッチ位置を検出する、という［１］〜［３］までのタッチ入力機能に関する１サイクル分の処理を、６０Ｈｚまたは１０Ｈｚごとに行う。液晶表示装置１は、タッチ入力機能に関する動作モードとして通常モードと低消費モードを備えており、上述した１サイクル分の処理を通常モードであれば６０Ｈｚごとに、低消費モードであれば１０Ｈｚごとに行う。   By the way, in the liquid crystal display device 1, [1] light reception signals are read from all the light detection circuits O1 provided in the image display area A, and [2] touch determination and approach determination are performed based on the read light reception signals for one screen. [3] A process for one cycle related to the touch input function from [1] to [3] is performed every 60 Hz or 10 Hz, that is, when it is determined that there is a touch, the touch position is detected. The liquid crystal display device 1 includes a normal mode and a low consumption mode as operation modes related to the touch input function, and the processing for one cycle described above is performed every 60 Hz in the normal mode, and every 10 Hz in the low consumption mode. Do.

このため制御回路３００では、１サイクル分の処理を通常モードであれば６０Ｈｚごとに、また低消費モードであれば１０Ｈｚごとに行うことができるよう、センサ用走査回路５００と受光信号処理回路６００を制御して各光検出回路Ｏ１から受光信号を読み出す。例えば、通常モードの場合には、低消費モードの場合の１／６の時間で１画面分の各受光信号（ｍ×ｎ個）を読み出すことができるよう、センサ用走査回路５００においてｍ本の走査線を選択するタイミングが制御される一方、受光信号処理回路６００においてｎ本の読出線を使用して受光信号を読み出すタイミングが制御される。これにより１画面分の受光信号（ｍ×ｎ個）は、通常モードであれば１秒間に６０回の割合で読み出され、低消費モードであれば１秒間に１０回の割合で読み出されることになる。   Therefore, in the control circuit 300, the sensor scanning circuit 500 and the received light signal processing circuit 600 are arranged so that processing for one cycle can be performed every 60 Hz in the normal mode and every 10 Hz in the low consumption mode. The light reception signal is read out from each photodetection circuit O1 under control. For example, in the normal mode, m scanning light receiving signals (m × n) for one screen can be read out in one-sixth the time in the low consumption mode in the sensor scanning circuit 500. While the timing for selecting the scanning line is controlled, the timing for reading the received light signal using the n readout lines in the received light signal processing circuit 600 is controlled. As a result, light reception signals (m × n) for one screen are read out at a rate of 60 times per second in the normal mode, and read out at a rate of 10 times per second in the low consumption mode. become.

なお、タッチ入力機能に関する１サイクル分の処理には、上述したようにタッチの有無や接近の有無を判定する処理や、タッチ位置を検出する処理が含まれるため、１画面分の受光信号（ｍ×ｎ個）を読み出す実時間は、１サイクル分の処理を行う１周期分の時間よりも短い時間となる。例えば、１画面分の受光信号を読み出す実時間は、通常モードであれば１６．６ｍｓよりも短い所定の時間幅に設定され、低消費モードであれば１００ｍｓよりも短い所定の時間幅に設定される。   Note that the processing for one cycle related to the touch input function includes the processing for determining the presence or absence of touch and the presence or absence of approach and the processing for detecting the touch position as described above. The actual time for reading (× n) is shorter than the time for one cycle in which processing for one cycle is performed. For example, the actual time for reading the light reception signal for one screen is set to a predetermined time width shorter than 16.6 ms in the normal mode, and is set to a predetermined time width shorter than 100 ms in the low consumption mode. The

また、制御回路３００では、複数の受光信号に基づいて環境光の照度を算出し、算出した照度が所定値以上の場合は、液晶表示装置１の周囲が明るい場合であると判別する一方、算出した照度が所定値未満の場合は、液晶表示装置１の周囲が暗い場合であると判別する。なお、環境光の照度は、例えば、１画面分の受光信号についてその信号レベルの平均値を求めることによって算出される。また、１画面分の受光信号を総て使用せずとも、例えば、画像表示領域Ａの四隅に位置する所定数の光検出回路Ｏ１から読み出した受光信号を使用してもよいし、画像表示領域Ａの中央に位置する所定数の光検出回路Ｏ１から読み出した受光信号を使用してもよい。また、制御回路３００は、算出した環境光の照度を示すデータを調光回路７００に出力する。これによって調光回路７００は、環境光の照度に応じた輝度でバックライト８００を発光させる。   In addition, the control circuit 300 calculates the illuminance of the ambient light based on the plurality of light reception signals. If the calculated illuminance is greater than or equal to a predetermined value, it is determined that the surroundings of the liquid crystal display device 1 are bright. If the illuminance is less than the predetermined value, it is determined that the surrounding of the liquid crystal display device 1 is dark. The illuminance of the ambient light is calculated, for example, by obtaining an average value of the signal levels of the light reception signals for one screen. In addition, for example, light reception signals read from a predetermined number of light detection circuits O1 located at the four corners of the image display area A may be used without using all the light reception signals for one screen. A light reception signal read from a predetermined number of photodetection circuits O1 located at the center of A may be used. Further, the control circuit 300 outputs data indicating the calculated illuminance of the ambient light to the dimming circuit 700. As a result, the dimming circuit 700 causes the backlight 800 to emit light with a luminance corresponding to the illuminance of the ambient light.

また、制御回路３００では、検出したタッチ位置の軌跡を示す画像を生成し、この画像を、指やタッチペンによって描かれた文字や絵等の手書き画像として画像表示領域Ａに表示することができる。この場合には、制御回路３００によって生成された手書き画像のデータが入力画像データＤinとして画像処理回路４００に供給される。   In addition, the control circuit 300 can generate an image indicating the locus of the detected touch position, and display this image in the image display area A as a handwritten image such as a character or a picture drawn with a finger or a touch pen. In this case, handwritten image data generated by the control circuit 300 is supplied to the image processing circuit 400 as input image data Din.

図４は、本実施形態に係るモード切替処理１，２の流れを示すフローチャートである。
同図（ａ）に示すモード切替処理１は、動作モードが通常モードである場合に実行される。なお、液晶表示装置１では、例えば、ユーザによってタッチ入力機能をオンにすることが指示されると、タッチ入力の受付を開始した後、動作モードを通常モードに移行させる。あるいは基本的に総ての操作を指やタッチペンによるタッチ入力で行う液晶表示装置１であれば、電源スイッチが押されて初期処理を終えた後に、タッチ入力の受付を開始して動作モードを通常モードに移行させる。前述したように通常モードでは、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われている。制御回路３００では、まず、新たに読み出した１画面分の受光信号（ｍ×ｎ個）に基づいて、タッチの有無、すなわち指やタッチペンが表示画面に接触しているか、それとも非接触であるかを判定する（ステップＳ１０１）。 FIG. 4 is a flowchart showing the flow of the mode switching processes 1 and 2 according to the present embodiment.
The mode switching process 1 shown in FIG. 5A is executed when the operation mode is the normal mode. In the liquid crystal display device 1, for example, when the user instructs to turn on the touch input function, the operation mode is shifted to the normal mode after the reception of the touch input is started. Alternatively, in the case of the liquid crystal display device 1 that basically performs all operations by touch input with a finger or a touch pen, after the power switch is pressed and the initial process is completed, reception of touch input is started and the operation mode is set to normal. Switch to mode. As described above, in the normal mode, processing for one cycle related to the touch input function is performed every 60 Hz. In the control circuit 300, first, based on the newly read light reception signals (m × n) for one screen, the presence / absence of touch, that is, whether the finger or the touch pen is in contact with the display screen or not in contact Is determined (step S101).

具体的には前述したように、まず、制御回路３００では、１画面分の各受光信号について、その信号レベルをタッチ判定用の閾値Ｔ（詳細には閾値Ｔ１またはＴ２）と比較し、２値化信号に変換する。なお、ここで使用する閾値Ｔは、基本的に、後述するモード切替処理２のステップＳ２０３で設定されるが、環境光の測定結果に基づいて、液晶表示装置１の周囲が明るい状態から暗い状態に変化した場合や、逆に暗い状態から明るい状態に変化した場合は、閾値Ｔ１と閾値Ｔ２の間で適宜変更される。つまり、液晶表示装置１の周囲が明るい場合であれば閾値Ｔ１が使用され、液晶表示装置１の周囲が暗い場合であれば閾値Ｔ２が使用される。次いで、制御回路３００では、生成した１画面分の２値化信号（ｍ×ｎ個）について、例えば、信号値が"１"となる２値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、タッチがあると判定する一方（ステップＳ１０１：ＮＯ）、計数値が上述した範囲内の値でない場合に、タッチがないと判定する（ステップＳ１０１：ＹＥＳ）。なお、前述したように計数値と比較する上限値や下限値の値は、タッチ判定の場合と接近判定の場合、あるいは液晶表示装置１の周囲が明るい場合と暗い場合で異なる。   Specifically, as described above, first, the control circuit 300 compares the signal level of each light reception signal for one screen with a threshold value T for touch determination (specifically, a threshold value T1 or T2) to obtain a binary value. Converted into a digitized signal. Note that the threshold T used here is basically set in step S203 of the mode switching process 2 described later, but based on the measurement result of the ambient light, the surroundings of the liquid crystal display device 1 are in a dark state from a bright state. In the case of changing to, or conversely changing from a dark state to a bright state, it is appropriately changed between the threshold value T1 and the threshold value T2. That is, the threshold value T1 is used when the periphery of the liquid crystal display device 1 is bright, and the threshold value T2 is used when the periphery of the liquid crystal display device 1 is dark. Next, the control circuit 300 counts, for example, the number of binarized signals whose signal value is “1” for the generated binarized signals (m × n) for one screen, and the count value is stored in the memory. When the value is within the range determined by the stored upper limit value and lower limit value, it is determined that there is a touch (step S101: NO), but when the count value is not within the above range, there is no touch. (Step S101: YES). As described above, the upper limit value and the lower limit value to be compared with the count value are different in the touch determination and the approach determination, or when the periphery of the liquid crystal display device 1 is bright and dark.

ステップＳ１０１においてタッチがあると判定した場合は、モード切替処理１を終える。この場合、動作モードは通常モードのままである。また、このようにタッチがあると判定した場合、制御回路３００では、モード切替処理１を終えた後、タッチ位置の検出を行う。このタッチ位置の検出の際には、ステップＳ１０１においてタッチの有無を判定する際に生成した１画面分の２値化信号（ｍ×ｎ個）が使用される。   If it is determined in step S101 that there is a touch, the mode switching process 1 ends. In this case, the operation mode remains the normal mode. If it is determined that there is a touch in this way, the control circuit 300 detects the touch position after the mode switching process 1 is completed. When detecting the touch position, the binarized signals (m × n) for one screen generated when the presence / absence of the touch in step S101 is determined.

一方、ステップＳ１０１においてタッチがないと判定した場合、制御回路３００では、タッチがないとの判定結果を連続して得ている状態が所定時間（例えば５分）継続しているか否かを判定する（ステップＳ１０２）。前述したように通常モードでは、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われているので、ステップＳ１０１の判定結果は６０Ｈｚごとに得られる。したがって、制御回路３００では、タッチがないとの判定結果を連続して得ている回数を計数し、この計数値が上述した所定時間に相当する回数に到達したか否かを判定すればよい。なお、所定時間は、６０秒や３０分等、任意の時間幅に設定することができる。   On the other hand, if it is determined in step S101 that there is no touch, the control circuit 300 determines whether or not the state where the determination result that there is no touch is continuously obtained is continued for a predetermined time (for example, 5 minutes). (Step S102). As described above, in the normal mode, processing for one cycle related to the touch input function is performed every 60 Hz, and therefore the determination result of step S101 is obtained every 60 Hz. Therefore, the control circuit 300 may count the number of times that the determination result that there is no touch is continuously obtained and determine whether or not the counted value has reached the number of times corresponding to the predetermined time described above. The predetermined time can be set to an arbitrary time width such as 60 seconds or 30 minutes.

ステップＳ１０２において所定時間継続していないと判定した場合は、モード切替処理１を終える。この場合も動作モードは通常モードのままである。一方、ステップＳ１０２において所定時間継続していると判定した場合、制御回路３００では、動作モードを通常モードから低消費モードに切替える（ステップＳ１０３）。これによりタッチ入力機能に関する１サイクル分の処理を行う周期が６０Ｈｚから１０Ｈｚに変更される。このように制御回路３００では、通常モードにおいて、指やタッチペンが表示画面に非接触であることを所定時間連続して検知すると、動作モードを低消費モードに切替える。   When it is determined in step S102 that the predetermined time has not been continued, the mode switching process 1 is finished. Also in this case, the operation mode remains the normal mode. On the other hand, when it is determined in step S102 that the predetermined time has continued, the control circuit 300 switches the operation mode from the normal mode to the low consumption mode (step S103). As a result, the cycle for performing processing for one cycle related to the touch input function is changed from 60 Hz to 10 Hz. As described above, the control circuit 300 switches the operation mode to the low consumption mode when it is continuously detected for a predetermined time that the finger or the touch pen is not in contact with the display screen in the normal mode.

なお、動作モードを低消費モードに切替える際には、動作モードの切替え（→低消費モード）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００では、この制御信号を受信すると、１画面分の受光信号を読み出す周期が１０Ｈｚとなるようにｍ本の走査線の各々を選択するタイミングを変更し、低消費モードの動作を開始する。同様に受光信号処理回路６００でも制御信号の受信に応じて、１画面分の受光信号を読み出す周期が１０Ｈｚとなるようにｎ本の読出線を使用して受光信号を読み出すタイミングを変更し、低消費モードの動作を開始する。これにより、１０Ｈｚごとに新たな１画面分の受光信号（ｍ×ｎ個）が読み出されるようになる。   When the operation mode is switched to the low consumption mode, a control signal instructing switching of the operation mode (→ low consumption mode) is sent from the control circuit 300 to the sensor scanning circuit 500 and the light reception signal processing circuit 600. When the sensor scanning circuit 500 receives this control signal, the timing for selecting each of the m scanning lines is changed so that the period of reading the light reception signal for one screen is 10 Hz, and the operation in the low consumption mode is performed. Start. Similarly, in response to the reception of the control signal, the light reception signal processing circuit 600 also changes the timing of reading the light reception signal using n readout lines so that the period of reading the light reception signal for one screen is 10 Hz. Start consumption mode operation. As a result, a new light reception signal (m × n) for one screen is read every 10 Hz.

ところで、指やタッチペンが表示画面に非接触であることを所定時間連続して検知した場合、すなわちタッチ入力が所定時間ない場合とは、基本的に、指やタッチペンが表示画面から比較的離れた位置にある場合である。したがって、このように指やタッチペンが表示画面から比較的離れた位置にある場合には、次に指やタッチペンが表示画面の近くまで接近したときに、動作モードを低消費モードから通常モードに切替えてやればよい。このため制御回路３００では、動作モードを低消費モードに切替えた後、２値化処理の際に使用する閾値を、タッチ判定用の閾値Ｔから接近判定用の閾値Ｓに変更する（ステップＳ１０４）。   By the way, when it is continuously detected that the finger or the touch pen is not in contact with the display screen for a predetermined time, that is, when there is no touch input for the predetermined time, the finger or the touch pen is basically relatively distant from the display screen. This is the case. Therefore, when the finger or touch pen is relatively far from the display screen in this way, the next time the finger or touch pen approaches the display screen, the operation mode is switched from the low consumption mode to the normal mode. Do it. Therefore, in the control circuit 300, after the operation mode is switched to the low consumption mode, the threshold used in the binarization process is changed from the threshold T for touch determination to the threshold S for approach determination (step S104). .

前述したように、液晶表示装置１内のメモリには、タッチ判定用の閾値Ｔ１，Ｔ２と接近判定用の閾値Ｓ１，Ｓ２が記憶されているので、制御回路３００では、環境光の測定結果に基づいて液晶表示装置１の周囲の明るさを判別し、液晶表示装置１の周囲が明るい場合は、メモリから接近判定用の閾値Ｓ１を読み出し、この閾値Ｓ１を２値化処理の際に使用する閾値として設定する。また、制御回路３００では、液晶表示装置１の周囲が暗い場合は、メモリから接近判定用の閾値Ｓ２を読み出し、この閾値Ｓ２を２値化処理の際に使用する閾値として設定する。つまり、ステップＳ１０４に示す処理により、２値化処理の際に使用する閾値は、液晶表示装置１の周囲が明るい場合であれば、タッチ判定用の閾値Ｔ１"１０"から接近判定用の閾値Ｓ１"２０"に変更される。また、液晶表示装置１の周囲が暗い場合であれば、タッチ判定用の閾値Ｔ２"６５"から接近判定用の閾値Ｓ２"５０"に変更される。   As described above, since the threshold values T1 and T2 for touch determination and the threshold values S1 and S2 for proximity determination are stored in the memory in the liquid crystal display device 1, the control circuit 300 displays the ambient light measurement result. Based on this, the brightness of the surroundings of the liquid crystal display device 1 is discriminated. When the surroundings of the liquid crystal display device 1 are bright, the threshold value S1 for approach determination is read from the memory, and this threshold value S1 is used in the binarization process. Set as threshold. Further, when the periphery of the liquid crystal display device 1 is dark, the control circuit 300 reads the threshold value S2 for approach determination from the memory, and sets the threshold value S2 as a threshold value used in the binarization process. That is, according to the process shown in step S104, the threshold value used in the binarization process is the threshold value S1 for approach determination from the threshold value T1 “10” for touch determination if the surroundings of the liquid crystal display device 1 are bright. It is changed to “20”. Further, if the periphery of the liquid crystal display device 1 is dark, the threshold value T2 “65” for touch determination is changed to the threshold value S2 “50” for approach determination.

一方、図４（ｂ）に示すモード切替処理２は、動作モードが低消費モードである場合に実行される。前述したように低消費モードでは、タッチ入力機能に関する１サイクル分の処理が１０Ｈｚごとに行われている。制御回路３００では、まず、新たに読み出した１画面分の受光信号（ｍ×ｎ個）に基づいて、接近の有無、すなわち指やタッチペンが表示画面の近くまで接近しているか否かを判定する（ステップＳ２０１）。   On the other hand, the mode switching process 2 shown in FIG. 4B is executed when the operation mode is the low consumption mode. As described above, in the low consumption mode, processing for one cycle related to the touch input function is performed every 10 Hz. First, the control circuit 300 determines whether or not there is an approach, that is, whether or not the finger or the touch pen is close to the display screen, based on the newly received light reception signals (m × n) for one screen. (Step S201).

具体的には前述したように、まず、制御回路３００では、１画面分の各受光信号について、その信号レベルを接近判定用の閾値Ｓ（詳細には閾値Ｓ１またはＳ２）と比較し、２値化信号に変換する。なお、ここで使用する閾値Ｓは、基本的に、前述したモード切替処理１のステップＳ１０４で設定されるが、環境光の測定結果に基づいて、液晶表示装置１の周囲が明るい状態から暗い状態に変化した場合や、逆に暗い状態から明るい状態に変化した場合は、閾値Ｓ１と閾値Ｓ２の間で適宜変更される。つまり、液晶表示装置１の周囲が明るい場合であれば閾値Ｓ１が使用され、液晶表示装置１の周囲が暗い場合であれば閾値Ｓ２が使用される。次いで、制御回路３００では、生成した１画面分の２値化信号（ｍ×ｎ個）について、例えば、信号値が"１"となる２値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、接近していると判定する一方（ステップＳ２０１：ＹＥＳ）、計数値が上述した範囲内の値でなかった場合に、接近していないと判定する（ステップＳ２０１：ＮＯ）。なお、前述したように計数値と比較する上限値や下限値の値は、タッチ判定の場合と接近判定の場合、あるいは液晶表示装置１の周囲が明るい場合と暗い場合で異なる。   Specifically, as described above, first, the control circuit 300 compares the signal level of each light reception signal for one screen with the threshold value S for approach determination (specifically, the threshold value S1 or S2) to obtain a binary value. Converted into a digitized signal. Note that the threshold value S used here is basically set in step S104 of the mode switching process 1 described above, but based on the measurement result of the ambient light, the surroundings of the liquid crystal display device 1 are in a dark state from a bright state. In the case of changing to, or conversely changing from a dark state to a bright state, it is appropriately changed between the threshold value S1 and the threshold value S2. That is, the threshold value S1 is used when the periphery of the liquid crystal display device 1 is bright, and the threshold value S2 is used when the periphery of the liquid crystal display device 1 is dark. Next, the control circuit 300 counts, for example, the number of binarized signals whose signal value is “1” for the generated binarized signals (m × n) for one screen, and the count value is stored in the memory. When it is a value within the range determined by the stored upper limit value and lower limit value, while determining that it is approaching (step S201: YES), when the count value is not a value within the range described above, It determines with not approaching (step S201: NO). As described above, the upper limit value and the lower limit value to be compared with the count value are different in the touch determination and the approach determination, or when the periphery of the liquid crystal display device 1 is bright and dark.

ステップＳ２０１において接近していないと判定した場合は、モード切替処理２を終える。この場合、動作モードは低消費モードのままである。一方、ステップＳ２０１において接近していると判定した場合、制御回路３００では、動作モードを低消費モードから通常モードに切替える（ステップＳ２０２）。これによりタッチ入力機能に関する１サイクル分の処理を行う周期が１０Ｈｚから６０Ｈｚに変更される。このように制御回路３００では、低消費モードにおいて、指やタッチペンが表示画面の近くまで接近したことを検知すると、動作モードを通常モードに切替える。   When it determines with not approaching in step S201, the mode switching process 2 is complete | finished. In this case, the operation mode remains in the low consumption mode. On the other hand, if it is determined in step S201 that the vehicle is approaching, the control circuit 300 switches the operation mode from the low consumption mode to the normal mode (step S202). Thereby, the cycle for performing processing for one cycle related to the touch input function is changed from 10 Hz to 60 Hz. As described above, when the control circuit 300 detects that the finger or the touch pen is close to the display screen in the low consumption mode, the control circuit 300 switches the operation mode to the normal mode.

なお、動作モードを通常モードに切替える際には、動作モードの切替え（→通常モード）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００では、この制御信号を受信すると、１画面分の受光信号を読み出す周期が６０Ｈｚとなるようにｍ本の走査線の各々を選択するタイミングを変更し、通常モードの動作を開始する。同様に受光信号処理回路６００でも制御信号の受信に応じて、１画面分の受光信号を読み出す周期が６０Ｈｚとなるようにｎ本の読出線を使用して受光信号を読み出すタイミングを変更し、通常モードの動作を開始する。これにより、６０Ｈｚごとに新たな１画面分の受光信号（ｍ×ｎ個）が読み出されるようになる。   When the operation mode is switched to the normal mode, a control signal instructing switching of the operation mode (→ normal mode) is sent from the control circuit 300 to the sensor scanning circuit 500 and the light reception signal processing circuit 600. When the sensor scanning circuit 500 receives this control signal, the timing for selecting each of the m scanning lines is changed so that the period for reading the received light signal for one screen is 60 Hz, and the operation in the normal mode is started. To do. Similarly, in the light reception signal processing circuit 600, in response to reception of the control signal, the timing for reading the light reception signal using n readout lines is changed so that the period for reading the light reception signal for one screen is 60 Hz. Start mode operation. As a result, a new light reception signal (m × n) for one screen is read every 60 Hz.

ところで、このように指やタッチペンが表示画面の近くまで接近したことを検知した場合とは、ユーザがまさにこれからタッチ入力を行おうとしている場合である。したがって、指やタッチペンが表示画面に接触する可能性が極めて高いので、タッチ判定やタッチ位置の検出に備える必要がある。このため、制御回路３００では、動作モードを通常モードに切替えた後、２値化処理の際に使用する閾値を、接近判定用の閾値Ｓからタッチ判定用の閾値Ｔに変更する（ステップＳ２０３）。   By the way, the case where it is detected that the finger or the touch pen has approached the display screen in this way is a case where the user is about to perform touch input. Therefore, since the possibility that a finger or a touch pen touches the display screen is extremely high, it is necessary to prepare for touch determination and detection of a touch position. For this reason, in the control circuit 300, after switching the operation mode to the normal mode, the threshold used in the binarization process is changed from the threshold S for approach determination to the threshold T for touch determination (step S203). .

前述したように、液晶表示装置１内のメモリには、タッチ判定用の閾値Ｔ１，Ｔ２と接近判定用の閾値Ｓ１，Ｓ２が記憶されているので、制御回路３００では、環境光の測定結果に基づいて液晶表示装置１の周囲の明るさを判別し、液晶表示装置１の周囲が明るい場合は、メモリからタッチ判定用の閾値Ｔ１を読み出し、この閾値Ｔ１を２値化処理の際に使用する閾値として設定する。また、制御回路３００では、液晶表示装置１の周囲が暗い場合は、メモリからタッチ判定用の閾値Ｔ２を読み出し、この閾値Ｔ２を２値化処理の際に使用する閾値として設定する。つまり、ステップＳ２０３に示す処理により、２値化処理の際に使用する閾値は、液晶表示装置１の周囲が明るい場合であれば、接近判定用の閾値Ｓ１"２０"からタッチ判定用の閾値Ｔ１"１０"に変更される。また、液晶表示装置１の周囲が暗い場合であれば、接近判定用の閾値Ｓ２"５０"からタッチ判定用の閾値Ｔ２"６５"に変更される。   As described above, since the threshold values T1 and T2 for touch determination and the threshold values S1 and S2 for proximity determination are stored in the memory in the liquid crystal display device 1, the control circuit 300 displays the ambient light measurement result. Based on this, the brightness of the surroundings of the liquid crystal display device 1 is discriminated. When the surroundings of the liquid crystal display device 1 are bright, the threshold value T1 for touch determination is read from the memory and used in the binarization process. Set as threshold. Further, when the periphery of the liquid crystal display device 1 is dark, the control circuit 300 reads a threshold value T2 for touch determination from the memory, and sets the threshold value T2 as a threshold value used in the binarization process. That is, according to the process shown in step S203, the threshold value used in the binarization process is the threshold value T1 for touch determination from the threshold value S1 “20” for proximity determination if the periphery of the liquid crystal display device 1 is bright. It is changed to “10”. If the surroundings of the liquid crystal display device 1 are dark, the threshold value S2 “50” for approach determination is changed to the threshold value T2 “65” for touch determination.

なお、前述したように通常モードの場合、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われているので、この１サイクル分の処理によってタッチ位置を検出した場合、制御回路３００では、検出したタッチ位置に基づき、必要に応じて手書き画像の表示を更新する。   As described above, in the normal mode, processing for one cycle related to the touch input function is performed every 60 Hz. Therefore, when the touch position is detected by processing for one cycle, the control circuit 300 detects the touch position. Based on the touched position, the display of the handwritten image is updated as necessary.

図５は、モード切替処理１，２の概要を説明するための図である。
図５（ａ）および図５（ｂ）に示すように、画像表示領域Ａ（表示画面）には、「お絵かき」ボタンと「写真」ボタンが表示されている。例えば、指やタッチペン５０によって「お絵かき」ボタンの部分がタッチされると、タッチ入力によって手書きの絵を入力することができるようになる。また、指やタッチペン５０によって「写真」ボタンの部分がタッチされると、メモリに保存されている複数の写真画像を表示画面上にスライド表示させることができるようになる。図５（ａ）の左側に示すように、指やタッチペン５０が表示画面に触れている場合は、動作モードが通常モードとなる。この場合は、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われる。また、図５（ａ）の右側に示すように、指やタッチペン５０を表示画面に接触させていない状態が所定時間以上継続すると、動作モードが低消費モードに切替わる。この場合は、タッチ入力機能に関する１サイクル分の処理が１０Ｈｚごとに行われる。また、図５（ｂ）に示すように、低消費モードに移行した後、指やタッチペン５０が表示画面の近くまで接近したことを検知すると、動作モードが通常モードに切替わる。 FIG. 5 is a diagram for explaining an overview of the mode switching processes 1 and 2.
As shown in FIGS. 5A and 5B, an “drawing” button and a “photo” button are displayed in the image display area A (display screen). For example, when the “drawing” button is touched with a finger or the touch pen 50, a handwritten picture can be input by touch input. Further, when the “photo” button is touched with a finger or the touch pen 50, a plurality of photo images stored in the memory can be slid on the display screen. As shown on the left side of FIG. 5A, when the finger or the touch pen 50 is touching the display screen, the operation mode is the normal mode. In this case, processing for one cycle related to the touch input function is performed every 60 Hz. Further, as shown on the right side of FIG. 5A, when the state in which the finger or the touch pen 50 is not in contact with the display screen continues for a predetermined time or longer, the operation mode is switched to the low consumption mode. In this case, processing for one cycle related to the touch input function is performed every 10 Hz. Also, as shown in FIG. 5B, after the transition to the low-consumption mode, when it is detected that the finger or the touch pen 50 is close to the display screen, the operation mode is switched to the normal mode.

このように本実施形態によれば、制御回路３００では、指やタッチペン５０が表示画面に非接触であることを所定時間連続して検知すると、動作モードを通常モードから低消費モードに移行させる。この場合、センサ用走査回路５００と受光信号処理回路６００は、１画面分の受光信号（ｍ×ｎ個）を１０Ｈｚごとに読み出す。また、制御回路３００では、指やタッチペン５０が表示画面の近くまで接近したことを検知すると、動作モードを低消費モードから通常モードに移行させる。この場合、センサ用走査回路５００と受光信号処理回路６００は、１画面分の受光信号（ｍ×ｎ個）を６０Ｈｚごとに読み出す。   As described above, according to the present embodiment, when the control circuit 300 continuously detects that the finger or the touch pen 50 is not in contact with the display screen for a predetermined time, the control mode 300 shifts the operation mode from the normal mode to the low consumption mode. In this case, the sensor scanning circuit 500 and the received light signal processing circuit 600 read out received light signals (m × n) for one screen every 10 Hz. In addition, when the control circuit 300 detects that the finger or the touch pen 50 is close to the display screen, the control circuit 300 shifts the operation mode from the low consumption mode to the normal mode. In this case, the sensor scanning circuit 500 and the received light signal processing circuit 600 read out received light signals (m × n) for one screen every 60 Hz.

したがって、指やタッチペン５０が表示画面に非接触であることを所定時間連続して検知してから、次に指やタッチペン５０が表示画面の近くまで接近したことを検知するまでの間は、低消費モードで動作し、通常モードの場合に比べ、１画面分の受光信号を読み出す頻度を１／６に減らすことができる。このため、受光信号の読み出しや２値化処理に要する処理負荷を大幅に軽減することが可能となり、液晶表示装置１の電力消費を低減することができる。一方、指やタッチペン５０が表示画面の近くまで接近したことを検知してから、次に指やタッチペン５０が表示画面に非接触であることを所定時間連続して検知するまでの間は、通常モードで動作し、低消費モードの場合よりも１画面分の受光信号を読み出す頻度を高くすることで、タッチ判定やタッチ位置の検出に関する時間的な分解能を高め、タッチ判定やタッチ位置の検出を高い精度で行うことが可能になる。特に、動作モードを低消費モードから通常モードに移行させるタイミングを、タッチを検知したときではなく接近を検知したときにすることで、指やタッチペン５０が実際に画面に触れる前に、タッチ判定やタッチ位置の検出に関する精度を高めておくことができる。   Therefore, the period from when the finger or the touch pen 50 is detected to be in non-contact with the display screen continuously for a predetermined time until the next time that the finger or the touch pen 50 approaches the display screen is detected is low. It operates in the consumption mode, and the frequency of reading the light reception signal for one screen can be reduced to 1/6 compared to the normal mode. For this reason, it is possible to significantly reduce the processing load required for reading the received light signal and binarization processing, and to reduce the power consumption of the liquid crystal display device 1. On the other hand, after detecting that the finger or the touch pen 50 is close to the display screen, until the next time that the finger or the touch pen 50 is not in contact with the display screen is continuously detected for a predetermined time period, By operating in the mode and increasing the frequency of reading the light reception signal for one screen than in the low-consumption mode, the temporal resolution for touch determination and touch position detection is improved, and touch determination and touch position detection are performed. It becomes possible to carry out with high accuracy. In particular, when the operation mode is shifted from the low-consumption mode to the normal mode when an approach is detected instead of when a touch is detected, a touch determination or a touch determination is performed before the finger or the touch pen 50 actually touches the screen. The accuracy regarding the detection of the touch position can be increased.

なお、タッチ入力機能に関する１サイクル分の処理を行う周期を、通常モードの場合は１２０Ｈｚ、低消費モードの場合は６０Ｈｚとしてもよい。要は、通常モードの場合の周期を低消費モードの場合の周期よりも短くしてやればよい。   Note that the cycle for performing processing for one cycle related to the touch input function may be 120 Hz in the normal mode and 60 Hz in the low consumption mode. In short, the period in the normal mode may be made shorter than the period in the low consumption mode.

＜２．第２実施形態＞
次に、図６〜図８を参照して第２実施形態に係る液晶表示装置について説明する。
上述した第１実施形態では、タッチ入力機能に関する１サイクル分の処理を通常モードであれば６０Ｈｚごとに、低消費モードであれば１０Ｈｚごとに行う場合について説明した。本実施形態では、さらに、低消費モードにおいて、画像表示領域Ａに備わる総ての光検出回路Ｏ１（ｍ×ｎ個）からではなく、予め定められた一部分の光検出回路Ｏ１のみから受光信号を読み出す場合について説明する。なお、本実施形態に係る液晶表示装置の構成は、図１〜図５を参照して説明した第１実施形態の液晶表示装置１と概ね同様に構成されているため、第１実施形態と同じ符号を使用するものとする。また、第１実施形態と共通する部分についてはその説明を省略する。 <2. Second Embodiment>
Next, a liquid crystal display device according to a second embodiment will be described with reference to FIGS.
In the first embodiment described above, a case has been described in which processing for one cycle related to the touch input function is performed every 60 Hz in the normal mode and every 10 Hz in the low consumption mode. In the present embodiment, furthermore, in the low consumption mode, the light reception signal is received not from all the light detection circuits O1 (m × n) provided in the image display area A but only from a predetermined part of the light detection circuits O1. A case of reading will be described. The configuration of the liquid crystal display device according to this embodiment is substantially the same as that of the liquid crystal display device 1 of the first embodiment described with reference to FIGS. 1 to 5, and is the same as that of the first embodiment. A sign shall be used. Further, description of portions common to the first embodiment is omitted.

本実施形態に係る液晶表示装置１は、上述した第１実施形態の場合と同様に、動作モードとして通常モードと低消費モードを備えている。通常モードの場合、センサ用走査回路５００と受光信号処理回路６００は、６０Ｈｚごとに、画像表示領域Ａに備わる総ての光検出回路Ｏ１（ｍ×ｎ個）から受光信号を読み出す。一方、低消費モードの場合、センサ用走査回路５００と受光信号処理回路６００は、１０Ｈｚごとに、画像表示領域Ａに備わる光検出回路Ｏ１（ｍ×ｎ個）のうち、予め定められた一部分の光検出回路Ｏ１のみから受光信号を読み出す。   As in the case of the first embodiment described above, the liquid crystal display device 1 according to the present embodiment includes a normal mode and a low consumption mode as operation modes. In the normal mode, the sensor scanning circuit 500 and the light reception signal processing circuit 600 read light reception signals from all the light detection circuits O1 (m × n) provided in the image display area A every 60 Hz. On the other hand, in the low-consumption mode, the sensor scanning circuit 500 and the light reception signal processing circuit 600 are a predetermined part of the light detection circuits O1 (m × n) provided in the image display area A every 10 Hz. A light reception signal is read out only from the light detection circuit O1.

このため１画面分の受光信号の個数は、通常モードであればｍ×ｎ個になるが、低消費モードであればｍ×ｎ個未満になる。例えば、低消費モードの場合に受光信号を読み出すエリアが画像表示領域Ａの下半分に定められている場合、低消費モードでは、１画面分の受光信号としてｍ×ｎ／２個の受光信号を読み出すことになる。また、このように通常モードの場合は、１画面分の受光信号がｍ×ｎ個あるので、前述した２値化処理の際に生成される１画面分の２値化信号の個数もｍ×ｎ個になるが、低消費モードの場合は、１画面分の受光信号がｍ×ｎ個未満となるので、例えば、低消費モードの場合に読み出される１画面分の受光信号がｍ×ｎ／２個であれば、２値化処理の際に生成される１画面分の２値化信号の個数もｍ×ｎ／２個になる。   For this reason, the number of received light signals for one screen is mxn in the normal mode, but less than mxn in the low consumption mode. For example, when the area where the light reception signal is read is determined in the lower half of the image display area A in the low consumption mode, m × n / 2 light reception signals are received as the light reception signals for one screen in the low consumption mode. Will be read. In the normal mode as described above, since there are m × n light reception signals for one screen, the number of binarization signals for one screen generated in the above-described binarization process is also m × n. In the low consumption mode, the number of received light signals for one screen is less than m × n. Therefore, for example, the received light signal for one screen read in the low consumption mode is m × n / If there are two, the number of binarized signals for one screen generated in the binarization process is also m × n / 2.

図６は、本実施形態に係る通常モードと低消費モードについて説明するための図である。なお、同図に示す画面表示列は、指やタッチペン５０によるタッチ入力によって手書きの絵を作成するための画像編集ソフトウェアの編集画面である。表示画面の上側には、手書入力エリアＢが設けられている。この手書入力エリアＢに指やタッチペン５０によって手書きの絵を入力することができる。また、手書入力エリアＢの下方には、図中、点線で示す操作ボタン表示エリアＣが設けられている。この操作ボタン表示エリアＣには、画像編集ソフトウェアを起動した直後の段階であれば、同図に示すように「白黒」，「カラー」，「開く」という３つの操作ボタンが表示される。ユーザは、画像編集ソフトウェアを起動すると、まず、操作ボタン表示エリアＣに表示されている操作ボタンの部分にタッチして、白黒モードで絵の入力を開始するのか、カラーモードで絵の入力を開始するのか、あるいは既に保存してある手書き画像を読み出して編集を開始するのか等を選択する。操作ボタン表示エリアＣにおいてこのような選択操作が行われると、手書入力エリアＢに絵を描くことが可能になる。   FIG. 6 is a diagram for explaining the normal mode and the low consumption mode according to the present embodiment. The screen display sequence shown in the figure is an editing screen of image editing software for creating a handwritten picture by touch input with a finger or the touch pen 50. A handwriting input area B is provided on the upper side of the display screen. A handwritten picture can be input to the handwriting input area B with a finger or the touch pen 50. Further, below the handwriting input area B, an operation button display area C indicated by a dotted line in the figure is provided. In this operation button display area C, at the stage immediately after starting the image editing software, three operation buttons “monochrome”, “color”, and “open” are displayed as shown in FIG. When the user starts the image editing software, the user first touches the operation button portion displayed in the operation button display area C to start the picture input in the monochrome mode or the picture input in the color mode. Or whether to start editing by reading a handwritten image already stored. When such a selection operation is performed in the operation button display area C, a picture can be drawn in the handwriting input area B.

また、画像編集ソフトウェアの実行中に、例えば５分間タッチ入力がないと、液晶表示装置１では消費電力の削減を図るため、手書入力エリアＢの部分の表示を停止する。これにより手書入力エリアＢの部分は全面が黒色（または白色）となる。この際、操作ボタン表示エリアＣには、上述した３つの操作ボタンの代わりに、例えば、「編集再開」，「保存」，「終了」という３つの操作ボタンが表示される。ユーザは、手書き画像の入力を再開する場合であれば「編集再開」ボタンにタッチする。また、入力した手書き画像を保存する場合であれば「保存」ボタンにタッチする。また、入力した手書き画像を保存せずに画像編集ソフトウェアを終了する場合であれば「終了」ボタンにタッチする。このように、一旦、手書入力エリアＢの部分の表示を停止すると、以降、何らかの操作を行う際に、ユーザは必ず操作ボタン表示エリアＣの部分にタッチすることになる。したがって、手書入力エリアＢの部分の表示を停止している期間中は、操作ボタン表示エリアＣの部分についてのみタッチ判定や接近判定を行えばよい。このため、本実施形態に係る液晶表示装置１では、手書入力エリアＢの部分の表示を停止してない場合は、動作モードを通常モードにする一方、手書入力エリアＢの部分の表示を停止している場合は、動作モードを低消費モードにする。   In addition, during the execution of the image editing software, for example, if there is no touch input for 5 minutes, the liquid crystal display device 1 stops displaying the portion of the handwriting input area B in order to reduce power consumption. As a result, the entire handwriting input area B is black (or white). At this time, in the operation button display area C, for example, three operation buttons such as “resume editing”, “save”, and “end” are displayed instead of the three operation buttons described above. The user touches the “resume editing” button when resuming input of the handwritten image. If the input handwritten image is to be saved, the “save” button is touched. If the image editing software is to be terminated without saving the input handwritten image, the “end” button is touched. As described above, once the display of the handwriting input area B is stopped, the user always touches the operation button display area C when performing any operation thereafter. Therefore, during the period when the display of the handwriting input area B is stopped, only the touch button display area C may be touched or approached. Therefore, in the liquid crystal display device 1 according to the present embodiment, when the display of the handwriting input area B is not stopped, the operation mode is set to the normal mode, while the display of the handwriting input area B is displayed. When the operation is stopped, the operation mode is set to the low consumption mode.

図６に示す例の場合、画像表示領域Ａ（表示画面）には、２４０本の走査線と１８０本の読出線が設けられている。センサ用走査回路５００は、通常モードの場合、２４０本の走査線を１本ずつ順次選択する。つまり、走査線１，走査線２，走査線３，…，走査線２３８，走査線２３９，走査線２４０の順に走査線を１本ずつ順次選択する。これに対し、低消費モードの場合、センサ用走査回路５００は、操作ボタン表示エリアＣの部分に対応する走査線２０１から走査線２４０までの計４０本の走査線のみを１本ずつ順次選択する。つまり、走査線２０１，走査線２０２，走査線２０３，…，走査線２３８，走査線２３９，走査線２４０の順に４０本の走査線のみを選択し、走査線１から走査線２００までの残りの２００本の走査線は選択しない。なお、図６に示す例の場合、受光信号処理回路６００は、通常モードの場合であっても低消費モードの場合であっても、１８０本の読出線を総て使用して受光信号の読み出しを行う。   In the example shown in FIG. 6, the image display area A (display screen) is provided with 240 scanning lines and 180 readout lines. In the normal mode, the sensor scanning circuit 500 sequentially selects 240 scanning lines one by one. That is, scanning lines are sequentially selected one by one in the order of scanning line 1, scanning line 2, scanning line 3,..., Scanning line 238, scanning line 239, and scanning line 240. On the other hand, in the low consumption mode, the sensor scanning circuit 500 sequentially selects only a total of 40 scanning lines from the scanning line 201 to the scanning line 240 corresponding to the operation button display area C one by one. . That is, only 40 scanning lines are selected in the order of scanning line 201, scanning line 202, scanning line 203,..., Scanning line 238, scanning line 239, and scanning line 240, and the remaining lines from scanning line 1 to scanning line 200 are selected. 200 scan lines are not selected. In the case of the example shown in FIG. 6, the light reception signal processing circuit 600 uses all of the 180 readout lines to read out the light reception signal in both the normal mode and the low consumption mode. I do.

その結果、図６に示す例の場合、通常モードであれば、６０Ｈｚごとに、２４０本の走査線と１８０本の読出線に対応する計４３２００個の光検出回路Ｏ１（すなわち画像表示領域Ａに備わる総ての光検出回路Ｏ１）から受光信号を読み出すことになる。この場合、１画面分の受光信号の個数は４３２００個になる。一方、低消費モードの場合は、１０Ｈｚごとに、走査線２０１から走査線２４０までの４０本の走査線と１８０本の読出線に対応する計７２００個の光検出回路Ｏ１（すなわち操作ボタン表示エリアＣの部分に配列された光検出回路Ｏ１）のみから受光信号を読み出すことになる。この場合、１画面分の受光信号の個数は７２００個となり、通常モードの場合の１／６になる。   As a result, in the case of the example shown in FIG. 6, in the normal mode, a total of 43200 photodetector circuits O1 (that is, in the image display area A corresponding to 240 scanning lines and 180 readout lines every 60 Hz). The light reception signal is read out from all the light detection circuits O1) provided. In this case, the number of received light signals for one screen is 43200. On the other hand, in the low power consumption mode, a total of 7200 light detection circuits O1 (that is, operation button display areas) corresponding to 40 scanning lines from scanning line 201 to scanning line 240 and 180 readout lines every 10 Hz. The light reception signal is read out only from the photodetection circuit O1) arranged in the portion C. In this case, the number of received light signals for one screen is 7200, which is 1/6 of the normal mode.

また、図７は、図６に示した手書入力エリアＢと操作ボタン表示エリアＣの配置を上下から左右に置き換えたものである。この図７に示す例の場合においても、通常モードの場合は、６０Ｈｚごとに、画像表示領域Ａに備わる総ての光検出回路Ｏ１（４３２００個）から受光信号を読み出すことになる。一方、低消費モードの場合は、１０Ｈｚごとに、操作ボタン表示エリアＣの部分に配列された光検出回路Ｏ１のみから受光信号を読み出すことになる。つまり、図７に示す例において低消費モードの場合、センサ用走査回路５００は、通常モードの場合と変わらず２４０本の総ての走査線を１本ずつ順次選択することになるが、受光信号処理回路６００は、１８０本の読出線のうち、操作ボタン表示エリアＣの部分に対応する読出線１から読出線５０までの計５０本の読出線のみを使用して受光信号の読み出しを行うことになる。その結果、図７に示す例において低消費モードの場合は、１０Ｈｚごとに、２４０本の走査線と５０本の読出線に対応する計１２０００個の光検出回路Ｏ１のみから受光信号を読み出すことになる。この場合、１画面分の受光信号の個数は１２０００個となり、通常モードの場合の１／３．６になる。   FIG. 7 shows the arrangement of the handwriting input area B and the operation button display area C shown in FIG. Also in the case of the example shown in FIG. 7, in the normal mode, the light reception signals are read from all the light detection circuits O1 (43200) provided in the image display area A every 60 Hz. On the other hand, in the low consumption mode, the light reception signal is read out only from the photodetection circuit O1 arranged in the operation button display area C every 10 Hz. That is, in the example shown in FIG. 7, in the low power consumption mode, the sensor scanning circuit 500 sequentially selects all 240 scanning lines one by one as in the normal mode. The processing circuit 600 reads the received light signal using only a total of 50 readout lines from the readout line 1 to the readout line 50 corresponding to the operation button display area C among the 180 readout lines. become. As a result, in the case of the low consumption mode in the example shown in FIG. 7, the received light signal is read out from only a total of 12,000 photodetector circuits O1 corresponding to 240 scanning lines and 50 readout lines every 10 Hz. Become. In this case, the number of received light signals for one screen is 12000, which is 1 / 3.6 that of the normal mode.

なお、図６および図７に示した例の他、例えば、低消費モードの場合は、１０Ｈｚごとに、走査線１から走査線６０までの６０本の走査線と、読出線１から読出線９０までの９０本の読出線とに対応する計５４００個の光検出回路Ｏ１のみから受光信号を読み出す構成であってもよい。この場合、低消費モードにおいて、センサ用走査回路５００は、走査線１から走査線６０までの６０本の走査線のみを１本ずつ順次選択する一方、受光信号処理回路６００は、読出線１から読出線９０までの計９０本の読出線のみを使用して受光信号の読み出しを行う。   In addition to the examples shown in FIGS. 6 and 7, for example, in the case of the low power consumption mode, 60 scanning lines from scanning line 1 to scanning line 60 and readout line 1 to readout line 90 are provided every 10 Hz. The configuration may be such that the received light signals are read out only from a total of 5400 photodetector circuits O1 corresponding to the 90 readout lines up to. In this case, in the low-consumption mode, the sensor scanning circuit 500 sequentially selects only 60 scanning lines from the scanning line 1 to the scanning line 60 one by one, while the received light signal processing circuit 600 starts from the readout line 1. The received light signal is read out using only a total of 90 readout lines up to the readout line 90.

このようにセンサ用走査回路５００は、通常モードの場合、総ての走査線を１本ずつ順次選択するが、低消費モードの場合は、操作ボタン表示エリアＣの部分に対応する複数の走査線（例えば、図６に示した例では走査線２０１〜走査線２４０）のみを１本ずつ順次選択する。また、受光信号処理回路６００は、通常モードの場合、総ての読出線を使用して受光信号の読み出しを行うが、低消費モードの場合は、操作ボタン表示エリアＣの部分に対応する複数の読出線（例えば、図７に示した例では読出線１〜読出線５０）のみを使用して受光信号の読み出しを行う。   Thus, the sensor scanning circuit 500 sequentially selects all the scanning lines one by one in the normal mode, but in the low consumption mode, the plurality of scanning lines corresponding to the portion of the operation button display area C is selected. For example, only the scanning lines 201 to 240 in the example shown in FIG. 6 are sequentially selected one by one. Further, in the normal mode, the light reception signal processing circuit 600 reads out the light reception signal using all the readout lines. In the low consumption mode, the light reception signal processing circuit 600 reads a plurality of signals corresponding to the operation button display area C. The received light signal is read using only the readout lines (for example, readout lines 1 to 50 in the example shown in FIG. 7).

図８は、本実施形態に係るモード切替処理３，４の流れを示すフローチャートである。
同図（ａ）に示すモード切替処理３は、動作モードが通常モードである場合に実行される。なお、液晶表示装置１では、例えば、ユーザによって上述した画像編集ソフトウェアが起動されると、タッチ入力の受付を開始した後、動作モードを通常モードに移行させる。また、前述したように通常モードでは、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われていることに加え、画像表示領域Ａに備わる総ての光検出回路Ｏ１から受光信号が読み出されている。 FIG. 8 is a flowchart showing the flow of the mode switching processes 3 and 4 according to the present embodiment.
The mode switching process 3 shown in FIG. 5A is executed when the operation mode is the normal mode. In the liquid crystal display device 1, for example, when the above-described image editing software is activated by the user, the operation mode is shifted to the normal mode after the acceptance of touch input is started. Further, as described above, in the normal mode, in addition to the processing for one cycle related to the touch input function being performed every 60 Hz, the light reception signal is read from all the light detection circuits O1 provided in the image display area A. Has been.

また、図８（ａ）に示すモード切替処理３のフローチャートのうち、ステップＳ３０１，Ｓ３０２，Ｓ３０４については、第１実施形態において説明したモード切替処理１（図４（ａ）参照）のステップＳ１０１，Ｓ１０２，Ｓ１０４と基本的に同じ処理を行っているため、ここでは説明を簡略化している。   Further, in the flowchart of the mode switching process 3 shown in FIG. 8A, for steps S301, S302, and S304, step S101 of the mode switching process 1 (see FIG. 4A) described in the first embodiment is performed. Since basically the same processing as S102 and S104 is performed, the description is simplified here.

制御回路３００では、まず、新たに読み出した１画面分の受光信号（ｍ×ｎ個）に基づいて、タッチの有無、すなわち指やタッチペン５０が表示画面に接触しているか、それとも非接触であるかを判定する（ステップＳ３０１）。また、ステップＳ３０１においてタッチがないと判定した場合、制御回路３００では、タッチがないとの判定結果を連続して得ている状態が所定時間（例えば５分）継続しているか否かを判定する（ステップＳ３０２）。そして、ステップＳ３０２において所定時間継続していると判定した場合、制御回路３００では、動作モードを通常モードから低消費モードに切替える（ステップＳ３０３）。このように制御回路３００では、通常モードにおいて、指やタッチペン５０が表示画面に非接触であることを所定時間連続して検知すると、動作モードを低消費モードに切替える。   In the control circuit 300, first, based on the newly read light reception signals (m × n) for one screen, the presence or absence of touch, that is, whether the finger or the touch pen 50 is in contact with the display screen, or is not in contact. Is determined (step S301). If it is determined in step S301 that there is no touch, the control circuit 300 determines whether or not a state in which a determination result indicating that there is no touch is continuously obtained for a predetermined time (for example, 5 minutes). (Step S302). If it is determined in step S302 that the operation has continued for a predetermined time, the control circuit 300 switches the operation mode from the normal mode to the low consumption mode (step S303). As described above, when the control circuit 300 continuously detects that the finger or the touch pen 50 is not in contact with the display screen in the normal mode for a predetermined time, the control circuit 300 switches the operation mode to the low consumption mode.

なお、動作モードを低消費モードに切替える際には、動作モードの切替え（→低消費モード）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００と受光信号処理回路６００は、この制御信号を受信すると、通常モードの場合の動作を中止し、低消費モードの場合の動作を開始する。例えば、図６に示した例において、低消費モードの場合に選択される走査線は、走査線２０１から走査線２４０までの４０本のみである。したがって、センサ用走査回路５００は、４０本の走査線を選択する周期が１０Ｈｚとなるように各走査線を選択するタイミングを変更し、変更したタイミングに従って、走査線２０１，走査線２０２，走査線２０３，…，走査線２３８，走査線２３９，走査線２４０を１本ずつ順次選択していく。また、受光信号処理回路６００は、１８０本の読出線を使用して受光信号を読み出すタイミングを、センサ用走査回路５００が走査線を選択するタイミングに応じて変更し、変更したタイミングに従って受光信号の読み出しを行う。   When the operation mode is switched to the low consumption mode, a control signal instructing switching of the operation mode (→ low consumption mode) is sent from the control circuit 300 to the sensor scanning circuit 500 and the light reception signal processing circuit 600. Upon receiving this control signal, the sensor scanning circuit 500 and the light reception signal processing circuit 600 stop the operation in the normal mode and start the operation in the low consumption mode. For example, in the example shown in FIG. 6, only 40 scanning lines from the scanning line 201 to the scanning line 240 are selected in the low consumption mode. Therefore, the sensor scanning circuit 500 changes the timing for selecting each scanning line so that the cycle for selecting 40 scanning lines is 10 Hz, and the scanning line 201, the scanning line 202, and the scanning line are changed according to the changed timing. 203,..., Scanning line 238, scanning line 239, and scanning line 240 are sequentially selected one by one. In addition, the light reception signal processing circuit 600 changes the timing of reading the light reception signal using the 180 readout lines in accordance with the timing at which the sensor scanning circuit 500 selects the scanning line, and the light reception signal of the light reception signal is changed according to the changed timing. Read.

また、図７に示した例において、低消費モードの場合に選択される走査線は、２４０本の総ての走査線である。したがって、センサ用走査回路５００は、２４０本の走査線を選択する周期が１０Ｈｚとなるように各走査線を選択するタイミングを変更し、変更したタイミングに従って、走査線１，走査線２，走査線３，…，走査線２３８，走査線２３９，走査線２４０を１本ずつ順次選択していく。また、受光信号処理回路６００は、計１８０本の読出線のうち、読出線１から読出線５０までの５０本の走査線のみを使用して受光信号を読み出すタイミングを、センサ用走査回路５００が走査線を選択するタイミングに応じて変更し、変更したタイミングに従って５０本の走査線のみを使用して受光信号の読み出しを行う。   In the example shown in FIG. 7, the scanning lines selected in the low power consumption mode are all 240 scanning lines. Therefore, the sensor scanning circuit 500 changes the timing for selecting each scanning line so that the cycle for selecting 240 scanning lines is 10 Hz, and the scanning line 1, the scanning line 2, and the scanning line are changed according to the changed timing. 3, ..., the scanning line 238, the scanning line 239, and the scanning line 240 are sequentially selected one by one. The light receiving signal processing circuit 600 uses the sensor scanning circuit 500 to read out the light receiving signal using only 50 scanning lines from the reading line 1 to the reading line 50 out of a total of 180 reading lines. The received light signal is read using only 50 scanning lines according to the changed timing according to the timing for selecting the scanning line.

このように動作モードを通常モードから低消費モードに切替えると、センサ用走査回路５００と受光信号処理回路６００は、１０Ｈｚごとに、１画面分の受光信号として、操作ボタン表示エリアＣの部分に配列された光検出回路Ｏ１のみから受光信号を読み出すことになる。また、このようにして動作モードを通常モードから低消費モードへ切替えた後、制御回路３００は、２値化処理の際に使用する閾値を、タッチ判定用の閾値Ｔから接近判定用の閾値Ｓに変更する（ステップＳ３０４）。   When the operation mode is switched from the normal mode to the low consumption mode in this way, the sensor scanning circuit 500 and the light reception signal processing circuit 600 are arranged in the operation button display area C as light reception signals for one screen every 10 Hz. The received light signal is read out only from the detected light detection circuit O1. In addition, after switching the operation mode from the normal mode to the low consumption mode in this way, the control circuit 300 changes the threshold value used in the binarization processing from the threshold value T for touch determination to the threshold value S for approach determination. (Step S304).

一方、図８（ｂ）に示すモード切替処理４は、動作モードが低消費モードである場合に実行される。前述したように低消費モードでは、タッチ入力機能に関する１サイクル分の処理が１０Ｈｚごとに行われていることに加え、１画面分の受光信号として、操作ボタン表示エリアＣの部分に配列された光検出回路Ｏ１のみから受光信号が読み出されている。なお、図８（ｂ）に示すモード切替処理４のフローチャートのうち、ステップＳ４０１，Ｓ４０３については、第１実施形態において説明したモード切替処理２（図４（ｂ）参照）のステップＳ２０１，Ｓ２０３と基本的に同じ処理を行っているため、ここでは説明を簡略化している。   On the other hand, the mode switching process 4 shown in FIG. 8B is executed when the operation mode is the low consumption mode. As described above, in the low consumption mode, processing for one cycle related to the touch input function is performed every 10 Hz, and in addition, the light arranged in the operation button display area C as a light reception signal for one screen. The light reception signal is read from only the detection circuit O1. In the flowchart of the mode switching process 4 shown in FIG. 8B, steps S401 and S403 are the same as the steps S201 and S203 of the mode switching process 2 (see FIG. 4B) described in the first embodiment. Since the same processing is basically performed, the description is simplified here.

制御回路３００では、まず、新たに読み出した１画面分の受光信号に基づいて、接近の有無、すなわち指やタッチペン５０が表示画面（操作ボタン表示エリアＣ）の近くまで接近しているか否かを判定する（ステップＳ４０１）。   In the control circuit 300, first, based on the newly received light reception signal for one screen, whether or not there is an approach, that is, whether or not the finger or the touch pen 50 is approaching close to the display screen (operation button display area C). Determination is made (step S401).

具体的には前述したように、まず、制御回路３００では、１画面分の各受光信号について、その信号レベルを接近判定用の閾値Ｓ（詳細には閾値Ｓ１またはＳ２）と比較し、２値化信号に変換する。次いで、制御回路３００では、生成した１画面分（操作ボタン表示エリアＣ分）の２値化信号について、例えば、信号値が"１"となる２値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、接近していると判定する一方（ステップＳ４０１：ＹＥＳ）、計数値が上述した範囲内の値でなかった場合に、接近していないと判定する（ステップＳ４０１：ＮＯ）。なお、結局、上述したステップＳ４０１では、表示画面のうち操作ボタン表示エリアＣの部分についてのみ、接近の有無を判定していることになる。   Specifically, as described above, first, the control circuit 300 compares the signal level of each light reception signal for one screen with the threshold value S for approach determination (specifically, the threshold value S1 or S2) to obtain a binary value. Converted into a digitized signal. Next, the control circuit 300 counts, for example, the number of binarized signals whose signal value is “1” for the generated binarized signals for one screen (for the operation button display area C). When the value is within the range determined by the upper limit value and the lower limit value stored in the memory, it is determined that the vehicle is approaching (step S401: YES), but the count value is not within the above-described range. Is not approaching (step S401: NO). After all, in step S401 described above, it is determined whether or not there is an approach only for the operation button display area C in the display screen.

ステップＳ４０１において接近していないと判定した場合は、モード切替処理４を終える。一方、ステップＳ４０１において接近していると判定した場合、制御回路３００では、動作モードを低消費モードから通常モードに切替える（ステップＳ４０２）。このように制御回路３００では、低消費モードにおいて、指やタッチペン５０が表示画面（操作ボタン表示エリアＣ）の近くまで接近したことを検知すると、動作モードを通常モードに切替える。   If it is determined in step S401 that the vehicle is not approaching, the mode switching process 4 ends. On the other hand, if it is determined in step S401 that the vehicle is approaching, the control circuit 300 switches the operation mode from the low consumption mode to the normal mode (step S402). As described above, when the control circuit 300 detects that the finger or the touch pen 50 has approached the display screen (operation button display area C) in the low consumption mode, the operation mode is switched to the normal mode.

また、動作モードを通常モードに切替える際には、動作モードの切替え（→通常モード）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００と受光信号処理回路６００は、この制御信号を受信すると、低消費モードの場合の動作を中止し、通常モードの場合の動作を開始する。例えば、図６および図７に示したいずれの例においても、通常モードの場合は、２４０本の総ての走査線と１８０本の総ての読出線を使用する。したがって、センサ用走査回路５００は、２４０本の走査線を選択する周期が６０Ｈｚとなるように各走査線を選択するタイミングを変更し、変更したタイミングに従って、走査線１，走査線２，走査線３，…，走査線２３８，走査線２３９，走査線２４０を１本ずつ順次選択していく。また、受光信号処理回路６００は、１８０本の読出線を使用して受光信号を読み出すタイミングを、センサ用走査回路５００が走査線を選択するタイミングに応じて変更し、変更したタイミングに従って受光信号の読み出しを行う。   When the operation mode is switched to the normal mode, a control signal instructing switching of the operation mode (→ normal mode) is sent from the control circuit 300 to the sensor scanning circuit 500 and the received light signal processing circuit 600. Upon receiving this control signal, the sensor scanning circuit 500 and the light reception signal processing circuit 600 stop the operation in the low consumption mode and start the operation in the normal mode. For example, in any of the examples shown in FIGS. 6 and 7, in the normal mode, 240 scanning lines and 180 readout lines are used. Therefore, the sensor scanning circuit 500 changes the timing for selecting each scanning line so that the cycle for selecting 240 scanning lines is 60 Hz, and the scanning line 1, the scanning line 2, and the scanning line are changed according to the changed timing. 3, ..., the scanning line 238, the scanning line 239, and the scanning line 240 are sequentially selected one by one. In addition, the light reception signal processing circuit 600 changes the timing of reading the light reception signal using the 180 readout lines in accordance with the timing at which the sensor scanning circuit 500 selects the scanning line, and the light reception signal of the light reception signal is changed according to the changed timing. Read.

このように動作モードを低消費モードから通常モードに切替えると、センサ用走査回路５００と受光信号処理回路６００は、６０Ｈｚごとに、画像表示領域Ａに備わる総ての光検出回路Ｏ１（ｍ×ｎ個）から受光信号を読み出すことになる。また、このようにして動作モードを低消費モードから通常モードへ切替えた後、制御回路３００は、２値化処理の際に使用する閾値を、接近判定用の閾値Ｓからタッチ判定用の閾値Ｔに変更する（ステップＳ４０３）。   When the operation mode is switched from the low-consumption mode to the normal mode in this way, the sensor scanning circuit 500 and the light reception signal processing circuit 600 cause all the photodetection circuits O1 (m × n) provided in the image display area A every 60 Hz. The received light signal is read out from the In addition, after switching the operation mode from the low-consumption mode to the normal mode in this way, the control circuit 300 changes the threshold value used in the binarization process from the threshold value S for proximity determination to the threshold value T for touch determination. (Step S403).

このように本実施形態によれば、センサ用走査回路５００と受光信号処理回路６００は、低消費モードの場合、画像表示領域Ａに備わる総ての光検出回路Ｏ１（ｍ×ｎ個）からではなく、操作ボタン表示エリアＣの部分に配列された光検出回路Ｏ１のみから受光信号を読み出す。したがって、低消費モードの場合には、通常モードの場合に比べ、１画面分の受光信号を読み出す頻度を１／６（６０Ｈｚ→１０Ｈｚ）に減らすことができることに加え、受光信号を読み出す光検出回路Ｏ１の個数を、第１実施形態の場合に比べ、図６に示す例の場合であれば１／６に減らすことができ、また、図７に示す例の場合であれば１／３．６に減らすことができるので、より一層の低消費電力化を図ることができる。   As described above, according to the present embodiment, the sensor scanning circuit 500 and the light reception signal processing circuit 600 are not detected from all the light detection circuits O1 (m × n) provided in the image display area A in the low consumption mode. Rather, the light reception signal is read out only from the photodetection circuit O1 arranged in the operation button display area C. Therefore, in the low power consumption mode, the frequency of reading the light reception signal for one screen can be reduced to 1/6 (60 Hz → 10 Hz), and the light detection circuit for reading the light reception signal, compared to the normal mode. Compared to the first embodiment, the number of O1 can be reduced to 1/6 in the case of the example shown in FIG. 6, and 1 / 3.6 in the case of the example shown in FIG. Therefore, the power consumption can be further reduced.

＜３．第３実施形態＞
次に、図９および図１０を参照して第３実施形態に係る液晶表示装置について説明する。上述した第１実施形態では、タッチ入力機能に関する１サイクル分の処理を通常モードであれば６０Ｈｚごとに、低消費モードであれば１０Ｈｚごとに行う場合について説明した。本実施形態では、さらに、低消費モードにおいて、走査線を１０本ごとに１本の割合で選択する場合について説明する。なお、本実施形態に係る液晶表示装置の構成は、図１〜図５を参照して説明した第１実施形態の液晶表示装置１と概ね同様に構成されているため、第１実施形態と同じ符号を使用するものとする。また、第１実施形態と共通する部分についてはその説明を省略する。 <3. Third Embodiment>
Next, a liquid crystal display device according to a third embodiment will be described with reference to FIGS. In the first embodiment described above, a case has been described in which processing for one cycle related to the touch input function is performed every 60 Hz in the normal mode and every 10 Hz in the low consumption mode. In the present embodiment, a case will be described in which one scanning line is selected for every ten scanning lines in the low consumption mode. The configuration of the liquid crystal display device according to this embodiment is substantially the same as that of the liquid crystal display device 1 of the first embodiment described with reference to FIGS. 1 to 5, and is the same as that of the first embodiment. A sign shall be used. Further, description of portions common to the first embodiment is omitted.

本実施形態に係る液晶表示装置１は、上述した第１実施形態の場合と同様に、動作モードとして通常モードと低消費モードを備えている。センサ用走査回路５００は、通常モードの場合、画像表示領域Ａに設けられた総ての走査線（ｍ本）を１本ずつ順次選択するが、低消費モードの場合は、ｍ本の走査線を１０本ごとに１本の割合で順次選択する。これにより通常モードの場合は、６０Ｈｚごとに、画像表示領域Ａに備わる総ての光検出回路Ｏ１（ｍ×ｎ個）から受光信号を読み出すことになる。これに対し、低消費モードの場合は、１０Ｈｚごとに、ｍ×ｎ／１０個の光検出回路Ｏ１のみから受光信号を読み出すことになる。   As in the case of the first embodiment described above, the liquid crystal display device 1 according to the present embodiment includes a normal mode and a low consumption mode as operation modes. In the normal mode, the sensor scanning circuit 500 sequentially selects all the scanning lines (m lines) provided in the image display area A one by one, but in the low consumption mode, the m scanning lines. Are sequentially selected at a rate of one for every ten. As a result, in the normal mode, light reception signals are read out from all the light detection circuits O1 (m × n) provided in the image display area A every 60 Hz. On the other hand, in the low consumption mode, the light reception signal is read out from only m × n / 10 photodetection circuits O1 every 10 Hz.

また、このように通常モードの場合は、１画面分の受光信号がｍ×ｎ個あるので、前述した２値化処理の際に生成される１画面分の２値化信号の個数もｍ×ｎ個になるが、低消費モードの場合は、１画面分の受光信号がｍ×ｎ／１０個となるので、２値化処理の際に生成される１画面分の２値化信号の個数もｍ×ｎ／１０個となる。また、このように低消費モードの場合は、走査線の間引きによって１画面分の２値化信号の個数が通常モードの場合の１／１０になることから、例えば、信号値が"１"となる２値化信号の個数を計数し、計数値に基づいてタッチの有無や接近の有無を判定する場合には、動作モードが通常モードと低消費モードの場合とでも、計数値と比較する上限値や下限値等の値が異なることになる。   In the normal mode as described above, since there are m × n light reception signals for one screen, the number of binarization signals for one screen generated in the above-described binarization process is also m × n. In the low consumption mode, the number of light reception signals for one screen is m × n / 10, so the number of binarized signals for one screen generated during the binarization process. Also, m × n / 10. Further, in the case of the low consumption mode, the number of binarized signals for one screen becomes 1/10 of that in the normal mode due to the thinning of the scanning lines, so that, for example, the signal value is “1”. When the number of binarized signals is counted, and the presence / absence of touch or approach is determined based on the count value, the upper limit for comparison with the count value regardless of whether the operation mode is the normal mode or the low consumption mode Values such as values and lower limit values are different.

図９は、本実施形態に係る通常モードと低消費モードについて説明するための図である。なお、同図において表示画面（画像表示領域Ａ）には、４（行）×３（列）のマトリクス状に計１２個の表示ボタン"１"，"２"，"３"，…，"＊"，"０"，"＃"が表示されている。また、この例では、走査線１から走査線２４０までの計２４０本の走査線が画像表示領域Ａに設けられている。センサ用走査回路５００は、通常モードであれば、走査線１，走査線２，走査線３，…，走査線２３８，走査線２３９，走査線２４０の順に総ての走査線を１本ずつ順次選択する。また、通常モードの場合は、２４０本の走査線を選択する周期が６０Ｈｚに設定される。   FIG. 9 is a diagram for explaining the normal mode and the low consumption mode according to the present embodiment. In the figure, the display screen (image display area A) has a total of 12 display buttons “1”, “2”, “3”,..., In a 4 (row) × 3 (column) matrix. * “,” “0,” “#” is displayed. In this example, a total of 240 scanning lines from scanning line 1 to scanning line 240 are provided in the image display area A. In the normal mode, the sensor scanning circuit 500 sequentially scans all the scanning lines one by one in the order of scanning line 1, scanning line 2, scanning line 3,..., Scanning line 238, scanning line 239, and scanning line 240. select. In the normal mode, the cycle for selecting 240 scanning lines is set to 60 Hz.

これに対し、低消費モードの場合、センサ用走査回路５００は、２４０本の走査線を１０本ごとに１本の割合で順次選択する。例えば、センサ用走査回路５００は、走査線１０，走査線２０，走査線３０，…，走査線２２０，走査線２３０，走査線２４０を１本ずつ順次選択する。したがって、２４０本の走査線のうち２４本しか選択されず、残りの２１６本の走査線は選択されずに間引かれる。また、低消費モードの場合は、上述した２４本の走査線を選択する周期が１０Ｈｚに設定される。   On the other hand, in the low consumption mode, the sensor scanning circuit 500 sequentially selects 240 scanning lines at a rate of one for every ten scanning lines. For example, the sensor scanning circuit 500 sequentially selects the scanning line 10, the scanning line 20, the scanning line 30, ..., the scanning line 220, the scanning line 230, and the scanning line 240 one by one. Therefore, only 24 of the 240 scanning lines are selected, and the remaining 216 scanning lines are thinned out without being selected. In the case of the low consumption mode, the cycle for selecting the 24 scanning lines described above is set to 10 Hz.

図１０は、本実施形態に係るモード切替処理５，６の流れを示すフローチャートである。同図（ａ）に示すモード切替処理５は、動作モードが通常モードである場合に実行される。また、前述したように通常モードでは、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われていることに加え、画像表示領域Ａに備わる総ての光検出回路Ｏ１から受光信号が読み出されている。なお、図１０（ａ）に示すモード切替処理５のフローチャートのうち、ステップＳ５０１，Ｓ５０２，Ｓ５０４については、第１実施形態において説明したモード切替処理１（図４（ａ）参照）のステップＳ１０１，Ｓ１０２，Ｓ１０４と基本的に同じ処理を行っているため、ここでは説明を簡略化している。   FIG. 10 is a flowchart showing the flow of the mode switching processes 5 and 6 according to the present embodiment. The mode switching process 5 shown in FIG. 5A is executed when the operation mode is the normal mode. Further, as described above, in the normal mode, in addition to the processing for one cycle related to the touch input function being performed every 60 Hz, the light reception signal is read from all the light detection circuits O1 provided in the image display area A. Has been. In the flowchart of the mode switching process 5 shown in FIG. 10A, steps S501, S502, and S504 are the same as those in step S101 of the mode switching process 1 (see FIG. 4A) described in the first embodiment. Since basically the same processing as S102 and S104 is performed, the description is simplified here.

制御回路３００では、まず、新たに読み出した１画面分の受光信号（ｍ×ｎ個）に基づいて、タッチの有無、すなわち指やタッチペン５０が表示画面に接触しているか、それとも非接触であるかを判定する（ステップＳ５０１）。また、ステップＳ５０１においてタッチがないと判定した場合、制御回路３００では、タッチがないとの判定結果を連続して得ている状態が所定時間（例えば５分）継続しているか否かを判定する（ステップＳ５０２）。そして、ステップＳ５０２において所定時間継続していると判定した場合、制御回路３００では、動作モードを通常モードから低消費モードに切替える（ステップＳ５０３）。このように制御回路３００では、通常モードにおいて、指やタッチペン５０が表示画面に非接触であることを所定時間連続して検知すると、動作モードを低消費モードに切替える。   In the control circuit 300, first, based on the newly read light reception signals (m × n) for one screen, the presence or absence of touch, that is, whether the finger or the touch pen 50 is in contact with the display screen, or is not in contact. Is determined (step S501). When it is determined in step S501 that there is no touch, the control circuit 300 determines whether or not a state in which a determination result that there is no touch has been continuously obtained is continued for a predetermined time (for example, 5 minutes). (Step S502). If it is determined in step S502 that the operation has continued for a predetermined time, the control circuit 300 switches the operation mode from the normal mode to the low consumption mode (step S503). As described above, when the control circuit 300 continuously detects that the finger or the touch pen 50 is not in contact with the display screen in the normal mode for a predetermined time, the control circuit 300 switches the operation mode to the low consumption mode.

また、動作モードを低消費モードに切替える際には、動作モードの切替え（→低消費モード）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００と受光信号処理回路６００は、この制御信号を受信すると、通常モードの場合の動作を中止し、低消費モードの場合の動作を開始する。例えば、図９に示した例において、低消費モードの場合に選択される走査線は、通常モードの場合の１／１０となる２４本のみである。したがって、センサ用走査回路５００は、２４本の走査線を選択する周期が１０Ｈｚとなるように各走査線を選択するタイミングを変更し、変更したタイミングに従って、走査線１０，走査線２０，走査線３０，…，走査線２２０，走査線２３０，走査線２４０を１本ずつ順次選択していく。また、受光信号処理回路６００は、総ての読出線（ｎ本）を使用して受光信号を読み出すタイミングを、センサ用走査回路５００が走査線を選択するタイミングに応じて変更し、変更したタイミングに従って受光信号の読み出しを行う。   When the operation mode is switched to the low consumption mode, a control signal instructing switching of the operation mode (→ low consumption mode) is sent from the control circuit 300 to the sensor scanning circuit 500 and the received light signal processing circuit 600. Upon receiving this control signal, the sensor scanning circuit 500 and the light reception signal processing circuit 600 stop the operation in the normal mode and start the operation in the low consumption mode. For example, in the example shown in FIG. 9, the number of scanning lines selected in the low consumption mode is only 24, which is 1/10 of that in the normal mode. Therefore, the sensor scanning circuit 500 changes the timing for selecting each scanning line so that the cycle for selecting the 24 scanning lines is 10 Hz, and the scanning line 10, the scanning line 20, and the scanning line are changed according to the changed timing. 30,..., Scanning line 220, scanning line 230, and scanning line 240 are sequentially selected one by one. The received light signal processing circuit 600 changes the timing of reading the received light signal using all the readout lines (n lines) according to the timing at which the sensor scanning circuit 500 selects the scanning line. The received light signal is read in accordance with the above.

このように動作モードを通常モードから低消費モードに切替えると、センサ用走査回路５００と受光信号処理回路６００は、１０Ｈｚごとに、１画面分の受光信号として、ｍ×ｎ／１０個の光検出回路Ｏ１のみから受光信号を読み出すことになる。また、このようにして動作モードを通常モードから低消費モードへ切替えた後、制御回路３００は、２値化処理の際に使用する閾値を、タッチ判定用の閾値Ｔから接近判定用の閾値Ｓに変更する（ステップＳ５０４）。   As described above, when the operation mode is switched from the normal mode to the low consumption mode, the sensor scanning circuit 500 and the light reception signal processing circuit 600 detect m × n / 10 light detection signals as light reception signals for one screen every 10 Hz. The light reception signal is read out only from the circuit O1. In addition, after switching the operation mode from the normal mode to the low consumption mode in this way, the control circuit 300 changes the threshold value used in the binarization processing from the threshold value T for touch determination to the threshold value S for approach determination. (Step S504).

一方、図１０（ｂ）に示すモード切替処理６は、動作モードが低消費モードである場合に実行される。前述したように低消費モードでは、タッチ入力機能に関する１サイクル分の処理が１０Ｈｚごとに行われていることに加え、走査線の間引きによってｍ×ｎ／１０個の光検出回路Ｏ１から受光信号が読み出されている。なお、図１０（ｂ）に示すモード切替処理６のフローチャートのうち、ステップＳ６０１，Ｓ６０３については、第１実施形態において説明したモード切替処理２（図４（ｂ）参照）のステップＳ２０１，Ｓ２０３と基本的に同じ処理を行っているため、ここでは説明を簡略化している。   On the other hand, the mode switching process 6 shown in FIG. 10B is executed when the operation mode is the low consumption mode. As described above, in the low-consumption mode, in addition to the processing for one cycle related to the touch input function being performed every 10 Hz, light reception signals are output from the m × n / 10 light detection circuits O1 by thinning out the scanning lines. It has been read. Note that steps S601 and S603 in the flowchart of the mode switching process 6 shown in FIG. 10B are the same as steps S201 and S203 of the mode switching process 2 (see FIG. 4B) described in the first embodiment. Since the same processing is basically performed, the description is simplified here.

制御回路３００では、まず、新たに読み出した１画面分の受光信号（ｍ×ｎ／１０個）に基づいて、接近の有無、すなわち指やタッチペン５０が表示画面の近くまで接近しているか否かを判定する（ステップＳ６０１）。   In the control circuit 300, first, based on the newly received light reception signals (m × n / 10) for one screen, whether or not there is an approach, that is, whether or not the finger or the touch pen 50 is close to the display screen. Is determined (step S601).

具体的には前述したように、まず、制御回路３００では、１画面分の各受光信号について、その信号レベルを接近判定用の閾値Ｓ（詳細には閾値Ｓ１またはＳ２）と比較し、２値化信号に変換する。次いで、制御回路３００では、生成した１画面分の２値化信号（ｍ×ｎ／１０個）について、例えば、信号値が"１"となる２値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、接近していると判定する一方（ステップＳ６０１：ＹＥＳ）、計数値が上述した範囲内の値でなかった場合に、接近していないと判定する（ステップＳ６０１：ＮＯ）。なお、計数値と比較する上限値や下限値の値は、タッチ判定の場合と接近判定の場合や、液晶表示装置１の周囲が明るい場合と暗い場合に加え、動作モードが通常モードの場合と低消費モードの場合でも異なる。   Specifically, as described above, first, the control circuit 300 compares the signal level of each light reception signal for one screen with the threshold value S for approach determination (specifically, the threshold value S1 or S2) to obtain a binary value. Converted into a digitized signal. Next, the control circuit 300 counts, for example, the number of binarized signals whose signal value is “1” for the generated binarized signals (m × n / 10) for one screen, and the count value is When the value is within the range determined by the upper limit value and the lower limit value stored in the memory, it is determined that the vehicle is approaching (step S601: YES), but the count value is not within the above range. Is determined not to be approaching (step S601: NO). Note that the upper limit value and the lower limit value to be compared with the count value are the case of touch determination and approach determination, the case where the periphery of the liquid crystal display device 1 is bright and dark, and the case where the operation mode is the normal mode. It is different even in the low consumption mode.

ステップＳ６０１において接近していないと判定した場合は、モード切替処理６を終える。一方、ステップＳ６０１において接近していると判定した場合、制御回路３００では、動作モードを低消費モードから通常モードに切替える（ステップＳ６０２）。このように制御回路３００では、低消費モードにおいて、指やタッチペン５０が表示画面の近くまで接近したことを検知すると、動作モードを通常モードに切替える。   If it is determined in step S601 that the vehicle is not approaching, the mode switching process 6 ends. On the other hand, if it is determined in step S601 that the vehicle is approaching, the control circuit 300 switches the operation mode from the low consumption mode to the normal mode (step S602). As described above, when the control circuit 300 detects that the finger or the touch pen 50 is close to the display screen in the low consumption mode, the operation mode is switched to the normal mode.

また、動作モードを通常モードに切替える際には、動作モードの切替え（→通常モード）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００と受光信号処理回路６００は、この制御信号を受信すると、低消費モードの場合の動作を中止し、通常モードの場合の動作を開始する。例えば、図９に示した例において、通常モードの場合には２４０本の走査線の総てが選択される。したがって、センサ用走査回路５００は、２４０本の走査線を選択する周期が６０Ｈｚとなるように各走査線を選択するタイミングを変更し、変更したタイミングに従って、走査線１，走査線２，走査線３，…，走査線２３８，走査線２３９，走査線２４０の順に各走査線を順次選択していく。また、受光信号処理回路６００は、総ての読出線（ｎ本）を使用して受光信号を読み出すタイミングを、センサ用走査回路５００が走査線を選択するタイミングに応じて変更し、変更したタイミングに従って受光信号の読み出しを行う。   When the operation mode is switched to the normal mode, a control signal instructing switching of the operation mode (→ normal mode) is sent from the control circuit 300 to the sensor scanning circuit 500 and the received light signal processing circuit 600. Upon receiving this control signal, the sensor scanning circuit 500 and the light reception signal processing circuit 600 stop the operation in the low consumption mode and start the operation in the normal mode. For example, in the example shown in FIG. 9, all 240 scanning lines are selected in the normal mode. Therefore, the sensor scanning circuit 500 changes the timing for selecting each scanning line so that the cycle for selecting 240 scanning lines is 60 Hz, and the scanning line 1, the scanning line 2, and the scanning line are changed according to the changed timing. 3,..., Scanning lines 238, scanning lines 239, and scanning lines 240 are sequentially selected in this order. The received light signal processing circuit 600 changes the timing of reading the received light signal using all the readout lines (n lines) according to the timing at which the sensor scanning circuit 500 selects the scanning line. The received light signal is read in accordance with the above.

このように動作モードを低消費モードから通常モードに切替えると、センサ用走査回路５００と受光信号処理回路６００は、６０Ｈｚごとに、画像表示領域Ａに備わる総ての光検出回路Ｏ１（ｍ×ｎ個）から受光信号を読み出すことになる。また、このようにして動作モードを低消費モードから通常モードへ切替えた後、制御回路３００は、２値化処理の際に使用する閾値を、接近判定用の閾値Ｓからタッチ判定用の閾値Ｔに変更する（ステップＳ６０３）。   When the operation mode is switched from the low-consumption mode to the normal mode in this way, the sensor scanning circuit 500 and the light reception signal processing circuit 600 cause all the photodetection circuits O1 (m × n) provided in the image display area A every 60 Hz. The received light signal is read out from the In addition, after switching the operation mode from the low-consumption mode to the normal mode in this way, the control circuit 300 changes the threshold value used in the binarization process from the threshold value S for proximity determination to the threshold value T for touch determination. (Step S603).

このように本実施形態によれば、センサ用走査回路５００は、低消費モードの場合、走査線を１０本ごとに１本の割合で順次選択する。したがって、低消費モードの場合には、通常モードの場合に比べ、１画面分の受光信号を読み出す頻度を１／６（６０Ｈｚ→１０Ｈｚ）に減らすことができることに加え、受光信号を読み出す光検出回路Ｏ１の個数を、第１実施形態の場合に比べて１／１０に減らすことができるので、より一層の低消費電力化を図ることができる。   As described above, according to the present embodiment, the sensor scanning circuit 500 sequentially selects one scanning line for every ten scanning lines in the low consumption mode. Therefore, in the low power consumption mode, the frequency of reading the light reception signal for one screen can be reduced to 1/6 (60 Hz → 10 Hz), and the light detection circuit for reading the light reception signal, compared to the normal mode. Since the number of O1 can be reduced to 1/10 compared to the case of the first embodiment, the power consumption can be further reduced.

なお、センサ用走査回路５００は、低消費モードにおいて、走査線を２本ごとに１本の割合で、あるいは１５本ごとに１本の割合で順次選択する構成であってもよい。このようにセンサ用走査回路５００は、低消費モードにおいて、走査線をＬ（２以上でｍ以下の整数）本ごとに１本の割合で順次選択することが可能である。   The sensor scanning circuit 500 may be configured to sequentially select one scanning line for every two lines or one for every 15 scanning lines in the low power consumption mode. Thus, the sensor scanning circuit 500 can sequentially select one scanning line for every L (an integer of 2 or more and m or less) scanning lines in the low consumption mode.

＜４．電子機器＞
次に、上述した第１〜第３実施形態に係る液晶表示装置１を適用した電子機器について説明する。図１１に、液晶表示装置１を適用したモバイル型のパーソナルコンピュータの構成を示す。パーソナルコンピュータ２０００は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置１と、本体部２０１０とを備える。また、本体部２０１０には、電源スイッチ２００１とキーボード２００２が設けられている。 <4. Electronic equipment>
Next, an electronic apparatus to which the liquid crystal display device 1 according to the first to third embodiments described above is applied will be described. FIG. 11 shows a configuration of a mobile personal computer to which the liquid crystal display device 1 is applied. The personal computer 2000 includes the liquid crystal display device 1 as a display unit and a touch input unit, and a main body 2010. Further, the main body 2010 is provided with a power switch 2001 and a keyboard 2002.

図１２に、液晶表示装置１を適用した携帯電話機の構成を示す。携帯電話機３０００は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置１と、複数の操作ボタン３００１と、スクロールボタン３００２とを備える。スクロールボタン３００２を操作することで、液晶表示装置１に表示される画面がスクロールされる。   FIG. 12 shows a configuration of a mobile phone to which the liquid crystal display device 1 is applied. The cellular phone 3000 includes a liquid crystal display device 1 as a display unit and a touch input unit, a plurality of operation buttons 3001, and a scroll button 3002. By operating the scroll button 3002, the screen displayed on the liquid crystal display device 1 is scrolled.

図１３に、液晶表示装置１を適用した携帯情報端末（ＰＤＡ：Personal Digital Assistants）の構成を示す。携帯情報端末４０００は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置１と、複数の操作ボタン４００１と、電源スイッチ４００２とを備える。操作ボタン４００１を操作すると、住所録やスケジュール帳といった各種の情報が液晶表示装置１に表示される。   FIG. 13 shows a configuration of a personal digital assistant (PDA) to which the liquid crystal display device 1 is applied. The portable information terminal 4000 includes a liquid crystal display device 1 as a display unit and a touch input unit, a plurality of operation buttons 4001, and a power switch 4002. When the operation button 4001 is operated, various types of information such as an address book and a schedule book are displayed on the liquid crystal display device 1.

なお、液晶表示装置１が適用される電子機器としては、図１１〜図１３に示すものの他、デジタルスチルカメラ、カーナビゲーション装置、電子手帳、ワードプロセッサ、ワークステーション、テレビ電話、ＰＯＳ端末、ＡＴＭ（Automated Teller Machine：現金自動預け払い機）、自動販売機等が挙げられる。そして、これらの各種電子機器の表示ユニットおよびタッチ入力ユニットとして、前述した液晶表示装置１が適用可能である。また、特に携帯機器の場合は、本発明を適用して余計な電力消費を抑えることで、一回の充電（あるいは１回の電池交換）で動作可能な時間を延ばすことができる。   Electronic devices to which the liquid crystal display device 1 is applied include those shown in FIGS. 11 to 13, a digital still camera, a car navigation device, an electronic notebook, a word processor, a workstation, a video phone, a POS terminal, an ATM (Automated). Teller Machine: automatic teller machine) and vending machines. And the liquid crystal display device 1 mentioned above is applicable as a display unit and touch input unit of these various electronic devices. In particular, in the case of a portable device, by applying the present invention to suppress unnecessary power consumption, it is possible to extend the operable time by one charge (or one battery replacement).

＜５．変形例＞
本発明は上述した実施形態に限定されるものではなく、例えば、以下に述べる各種の変形が可能である。 <5. Modification>
The present invention is not limited to the above-described embodiments, and for example, various modifications described below are possible.

（１）上述した実施形態でも説明したように、液晶表示装置１の周囲が明るい場合は、表示画面上に生じる影によって指やタッチペン５０が表示画面の近くまで接近したことを検知する。一方、液晶表示装置１の周囲が暗い場合は、指やタッチペン５０によって反射されるバックライト８００の光によって、指やタッチペン５０が表示画面の近くまで接近したことを検知する。このため、液晶表示装置１の周囲が暗い場合は、バックライト８００の発光輝度が弱いと接近したことを検知しにくい。そこで、上述した第２実施形態において、バックライト８００として、いわゆるスキャンバックライトを採用し、液晶表示装置１の周囲が暗い場合であって、かつ動作モードが低消費モードの場合は、操作ボタン表示エリアＣの部分を照明する光源についてのみ、他の光源よりも出射光の光量を増やすようにしてもよい。   (1) As described in the above-described embodiment, when the periphery of the liquid crystal display device 1 is bright, it is detected that the finger or the touch pen 50 has approached the display screen by a shadow generated on the display screen. On the other hand, when the surroundings of the liquid crystal display device 1 are dark, it is detected by the light of the backlight 800 reflected by the finger or the touch pen 50 that the finger or the touch pen 50 has approached near the display screen. For this reason, when the periphery of the liquid crystal display device 1 is dark, it is difficult to detect that the liquid crystal display device 1 is approaching when the light emission luminance of the backlight 800 is weak. Therefore, in the above-described second embodiment, a so-called scan backlight is employed as the backlight 800, and the operation button is displayed when the surroundings of the liquid crystal display device 1 are dark and the operation mode is the low consumption mode. Only for the light source that illuminates the area C, the amount of emitted light may be increased more than other light sources.

具体的に説明すると、まず、スキャンバックライトは、出射光の光量を調整可能な光源を複数備える。例えば、スキャンバックライトは、第１光源，第２光源，第３光源の３つの光源を備えるものとする。これらの第１〜第３光源は、表示画面上において照明する領域が各々異なる。図６に示した表示画面を例に説明すると、例えば、この表示画面をＸ方向に延びる３つの帯状の領域（上段領域［走査線１〜走査線８０］，中段領域［走査線８１〜走査線１６０］，下段領域［走査線１６１〜走査線２４０］）に区分したとき、第１光源からの出射光は上段領域を照らし、第２光源からの出射光は中段領域を照らし、第３光源からの出射光は下段領域を照らす。制御回路３００では、複数の受光信号に基づいて環境光の照度を算出し、算出した照度が所定値未満の場合に、液晶表示装置１の周囲が暗い場合であると判別する。このように液晶表示装置１の周囲が暗い場合であると判別した場合であって、かつ低消費モードの場合、制御回路３００は、算出した環境光の照度を示すデータを調光回路７００に出力する際に、第３光源についてのみ出射光の光量を所定量だけ増やすよう調光回路７００に指示する。この指示に従って調光回路７００は、第１光源と第２光源については、環境光の照度に応じた出射光の光量となるよう調整を行う一方、第３光源については、制御回路３００から指示された所定量だけ第１光源や第２光源よりも出射光の光量を増加させる。   More specifically, first, the scan backlight includes a plurality of light sources capable of adjusting the amount of emitted light. For example, the scan backlight includes three light sources, a first light source, a second light source, and a third light source. These first to third light sources have different illumination areas on the display screen. The display screen shown in FIG. 6 will be described as an example. For example, the display screen is divided into three strip-shaped regions (upper region [scanning line 1 to scanning line 80], middle region [scanning line 81 to scanning line] extending in the X direction. 160] and lower region [scanning line 161 to scanning line 240]), the emitted light from the first light source illuminates the upper region, the emitted light from the second light source illuminates the middle region, and from the third light source. The outgoing light illuminates the lower region. The control circuit 300 calculates the illuminance of the ambient light based on the plurality of light reception signals, and determines that the surrounding of the liquid crystal display device 1 is dark when the calculated illuminance is less than a predetermined value. As described above, when it is determined that the surrounding of the liquid crystal display device 1 is dark and in the low consumption mode, the control circuit 300 outputs data indicating the calculated illuminance of the ambient light to the dimming circuit 700. In this case, the dimming circuit 700 is instructed to increase the amount of emitted light by a predetermined amount only for the third light source. In accordance with this instruction, the dimming circuit 700 adjusts the first light source and the second light source so that the amount of emitted light is in accordance with the illuminance of the ambient light, while the third light source is instructed by the control circuit 300. The amount of emitted light is increased by a predetermined amount compared to the first light source and the second light source.

以上の構成によれば、図６に示した表示画面上において、液晶表示装置１の周囲が暗く、かつ低消費モードの場合に、操作ボタン表示エリアＣの部分を含んだ下段領域についてのみ、スキャンバックライトからの光を強めることができる。したがって、液晶表示装置１の周囲が暗い場合であっても、指やタッチペン５０が表示画面（操作ボタン表示エリアＣ）の近くまで接近したことをより検知しやすくできる。また、操作ボタン表示エリアＣの部分を照明する第３光源についてのみ出射光の光量を増やせばよいので、表示画面全体の輝度を上げずに済む。よって、無駄な電力消費を抑えることができる。なお、スキャンバックライトは、エッジライト方式を採用してもよいし、直下型方式を採用してもよい。   According to the above configuration, only the lower region including the operation button display area C is scanned on the display screen shown in FIG. 6 when the periphery of the liquid crystal display device 1 is dark and in the low consumption mode. The light from the backlight can be strengthened. Therefore, even when the periphery of the liquid crystal display device 1 is dark, it can be more easily detected that the finger or the touch pen 50 approaches the display screen (operation button display area C). Further, since it is only necessary to increase the amount of emitted light for only the third light source that illuminates the operation button display area C, it is not necessary to increase the brightness of the entire display screen. Therefore, useless power consumption can be suppressed. The scan backlight may adopt an edge light method or a direct type.

（２）上述した各実施形態では、指やタッチペン５０が表示画面の近くまで接近したことを検知すると、動作モードを低消費モードから通常モードに切替える場合について説明したが、指やタッチペン５０が表示画面に接触したことを検知した場合に、動作モードを低消費モードから通常モードに切替える構成であってもよい。また、上述した各実施形態では、タッチ入力が所定時間ないことを検知すると、動作モードを通常モードから低消費モードに切替える場合について説明したが、指やタッチペン５０が表示画面の近くまで接近していないことを所定時間連続して検知した場合に、動作モードを通常モードから低消費モードに切替える構成であってもよい。   (2) In each of the above-described embodiments, the case where the operation mode is switched from the low-consumption mode to the normal mode when it is detected that the finger or the touch pen 50 has approached the display screen has been described. When it is detected that the screen is touched, the operation mode may be switched from the low consumption mode to the normal mode. In each of the above-described embodiments, the case where the operation mode is switched from the normal mode to the low consumption mode when it is detected that there is no touch input for a predetermined time has been described. However, the finger or the touch pen 50 is close to the display screen. The configuration may be such that the operation mode is switched from the normal mode to the low-consumption mode when it is detected continuously for a predetermined time.

（３）上述した各実施形態において、走査線の総数ｍと読出線の総数ｎは、ともに２以上の整数であればよい。また、上述した第２実施形態において低消費モードの場合に選択される走査線の数Ｍは、２以上でｍ以下の整数であればよい。同様に上述した第２実施形態において低消費モードの場合に使用される読出線の数Ｎは、２以上でｎ以下の整数であればよい。   (3) In each of the embodiments described above, the total number m of scanning lines and the total number n of readout lines may be integers of 2 or more. In the second embodiment described above, the number M of scanning lines selected in the low consumption mode may be an integer greater than or equal to 2 and less than or equal to m. Similarly, the number N of read lines used in the low consumption mode in the second embodiment described above may be an integer greater than or equal to 2 and less than or equal to n.

（４）上述した各実施形態では、１画素（画素回路Ｐ１）ごとに光検出回路Ｏ１を備える構成としたが、例えば、上下左右の４つの画素（画素回路Ｐ１）ごとに光検出回路Ｏ１を１つ備える構成であってもよい。また、光検出回路Ｏ１の配列パターンは、マトリクス状に限定されない。例えば、市松模様（チェス柄）における黒（または白）の配列パターンとなるように、画像表示領域Ａに各光検出回路Ｏ１を形成してもよい。   (4) In each of the above-described embodiments, each pixel (pixel circuit P1) includes the photodetection circuit O1. For example, the photodetection circuit O1 is provided for each of the four pixels (pixel circuit P1) on the upper, lower, left, and right sides. The structure provided with one may be sufficient. Further, the arrangement pattern of the light detection circuits O1 is not limited to a matrix. For example, each photodetection circuit O1 may be formed in the image display area A so as to have a black (or white) arrangement pattern in a checkered pattern (chess pattern).

（５）本発明に係る表示装置は、半透過型や反射型の液晶表示装置、あるいはＯＬＥＤ（Organic Light Emitting Diode：有機発光ダイオード）素子を用いた表示装置であってもよい。ＯＬＥＤ素子は、光の透過量を変化させる液晶素子とは異なり、それ自体が発光する電流駆動型の発光素子である。また、本発明に係る表示装置は、液晶素子やＯＬＥＤ素子以外の電気光学素子を用いた表示装置であってもよい。なお、電気光学素子とは、電気信号（電流信号または電圧信号）の供給によって透過率や輝度といった光学的特性が変化する素子である。例えば、無機ＥＬ（ElectroLuminescence）や発光ポリマー等の発光素子を用いた表示パネルや、着色された液体と当該液体に分散された白色の粒子とを含むマイクロカプセルを電気光学物質として用いた電気泳動表示パネル、極性が相違する領域ごとに異なる色に塗り分けられたツイストボールを電気光学物質として用いたツイストボールディスプレイパネル、黒色トナーを電気光学物質として用いたトナーディスプレイパネル、あるいはヘリウムやネオン等の高圧ガスを電気光学物質として用いたプラズマディスプレイパネル等を備えた表示装置に対しても本発明を適用することができる。   (5) The display device according to the present invention may be a transflective or reflective liquid crystal display device or a display device using an OLED (Organic Light Emitting Diode) element. Unlike a liquid crystal element that changes the amount of light transmitted, the OLED element is a current-driven light-emitting element that emits light. The display device according to the present invention may be a display device using an electro-optical element other than a liquid crystal element or an OLED element. Note that an electro-optical element is an element whose optical characteristics such as transmittance and luminance change when an electric signal (current signal or voltage signal) is supplied. For example, an electrophoretic display using a display panel using a light emitting element such as inorganic EL (ElectroLuminescence) or a light emitting polymer, or a microcapsule containing a colored liquid and white particles dispersed in the liquid as an electro-optical material Panels, twist ball display panels using twist balls painted in different colors for areas of different polarity as electro-optical materials, toner display panels using black toner as electro-optical materials, or high pressure such as helium or neon The present invention can also be applied to a display device including a plasma display panel using gas as an electro-optical material.

（６）本発明に係るセンシング装置は、いわゆるジェスチャー機能を備え、指やタッチペン５０によって線や簡単な図形等が画面上に描かれると、その形に対応する操作コマンド（例えば、スクロール、次のページに進む、前のページに戻る、ペースト、コピー、削除、元に戻す等）を特定し、特定した操作コマンドに応じた処理を行うコンピュータ装置にも適用可能である。この場合は、指やタッチペン５０によって描かれた線や図形を示す画像を表示する必要はない。このように本発明に係るセンシング装置において、検出したタッチ位置の軌跡を示す画像を生成し、これを表示することは必須ではない。   (6) The sensing device according to the present invention has a so-called gesture function. When a line or a simple figure is drawn on the screen by a finger or the touch pen 50, an operation command (for example, scroll, next) corresponding to the shape is drawn. It is also possible to apply to a computer device that specifies processing such as advance to page, return to previous page, paste, copy, delete, restore, etc. In this case, it is not necessary to display an image showing a line or a figure drawn with a finger or the touch pen 50. As described above, in the sensing device according to the present invention, it is not essential to generate and display an image indicating the locus of the detected touch position.

第１実施形態に係る液晶表示装置１の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a liquid crystal display device 1 according to a first embodiment. 第１実施形態に係り、タッチ判定用の閾値Ｔ１，Ｔ２と接近判定用の閾値Ｓ１，Ｓ２について説明するための図である。It is a figure for demonstrating threshold value T1, T2 for touch determination, and threshold value S1, S2 for approach determination concerning 1st Embodiment. 第１実施形態に係り、１画面分の２値化信号について示す模式図である。FIG. 4 is a schematic diagram illustrating a binarized signal for one screen according to the first embodiment. 第１実施形態に係るモード切替処理１，２の流れを示すフローチャートである。It is a flowchart which shows the flow of the mode switching processes 1 and 2 which concern on 1st Embodiment. 第１実施形態に係り、モード切替処理１，２の概要を説明するための図である。It is a figure for demonstrating the outline | summary of the mode switching process 1 and 2 concerning 1st Embodiment. 第２実施形態に係る通常モードと低消費モードについて説明するための図（その１）である。It is FIG. (1) for demonstrating the normal mode and low consumption mode which concern on 2nd Embodiment. 第２実施形態に係る通常モードと低消費モードについて説明するための図（その２）である。It is FIG. (2) for demonstrating the normal mode and low consumption mode which concern on 2nd Embodiment. 第２実施形態に係るモード切替処理３，４の流れを示すフローチャートである。It is a flowchart which shows the flow of the mode switching processes 3 and 4 which concern on 2nd Embodiment. 第３実施形態に係る通常モードと低消費モードについて説明するための図である。It is a figure for demonstrating the normal mode and low consumption mode which concern on 3rd Embodiment. 第３実施形態に係るモード切替処理５，６の流れを示すフローチャートである。It is a flowchart which shows the flow of the mode switching processes 5 and 6 which concern on 3rd Embodiment. 本発明に係る電子機器の具体例／パーソナルコンピュータ２０００を示す斜視図である。FIG. 11 is a perspective view showing a specific example of an electronic apparatus / personal computer 2000 according to the present invention. 本発明に係る電子機器の具体例／携帯電話機３０００を示す斜視図である。FIG. 11 is a perspective view showing a specific example of an electronic apparatus / mobile phone 3000 according to the present invention. 本発明に係る電子機器の具体例／携帯情報端末４０００を示す斜視図である。FIG. 11 is a perspective view showing a specific example of an electronic device / portable information terminal 4000 according to the present invention.

１…液晶表示装置、１００…走査線駆動回路、２００…データ線駆動回路、３００…制御回路、４００…画像処理回路、５００…センサ用走査回路、６００…受光信号処理回路、７００…調光回路、８００…バックライト、ＡＡ…液晶パネル、Ａ…画像表示領域、Ｂ…手書入力エリア、Ｃ…操作ボタン表示エリア、Ｐ１…画素回路、Ｏ１…光検出回路、５０…タッチペン、２０００…パーソナルコンピュータ、３０００…携帯電話機、４０００…携帯情報端末。
DESCRIPTION OF SYMBOLS 1 ... Liquid crystal display device, 100 ... Scanning line drive circuit, 200 ... Data line drive circuit, 300 ... Control circuit, 400 ... Image processing circuit, 500 ... Scanning circuit for sensors, 600 ... Light reception signal processing circuit, 700 ... Light control circuit , 800 ... Backlight, AA ... Liquid crystal panel, A ... Image display area, B ... Handwriting input area, C ... Operation button display area, P1 ... Pixel circuit, O1 ... Photodetection circuit, 50 ... Touch pen, 2000 ... Personal computer 3000 ... mobile phone, 4000 ... portable information terminal.

Claims (7)

対象物が画面に触れた位置を検出するセンシング装置において、
前記画面上に配列され、入射される光量に応じた大きさの第１検出信号を各々生成する複数のセンサと、
前記複数のセンサから前記第１検出信号を第１周期で読み出す通常モードと、前記複数のセンサから前記第１検出信号を前記第１周期より長い第２周期で読み出す低消費モードとで動作可能な読出手段と、
前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったか否かを判定するために設定された第１閾値と、前記対象物が前記画面に非接触であるか否かを判定するために設定された第２閾値とを使用可能であり、前記読出手段によって読み出された前記各第１検出信号を、前記第１閾値と前記第２閾値のどちらか一方と比較して、２値化された第２検出信号を各々生成する２値化手段と、
前記２値化手段によって前記各第１検出信号が前記第１閾値と比較されて前記第２検出信号が各々生成された場合、前記各第２検出信号に基づいて、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことを検知し、前記２値化手段によって前記各第１検出信号が前記第２閾値と比較されて前記第２検出信号が各々生成された場合、前記各第２検出信号に基づいて、前記対象物が前記画面に非接触であることを検知する検知手段と、
前記２値化手段によって前記各第１検出信号が前記第２閾値と比較されて前記第２検出信号が各々生成された場合、前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、
前記通常モードと前記低消費モードとの間の移行を管理するとともに前記第１閾値と前記第２閾値との変更を管理し、前記低消費モードにおいて、前記検知手段によって前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことが検知されると、前記通常モードへ移行するように前記読出手段を制御するとともに、前記各第１検出信号を前記第２閾値と比較して前記第２検出信号を各々生成するように前記２値化手段を制御し、前記通常モードにおいて、所定時間連続して前記検知手段によって前記対象物が前記画面に非接触であることが検知されると、前記低消費モードへ移行させるように前記読出手段を制御するとともに、前記各第１検出信号を前記第１閾値と比較して前記第２検出信号を各々生成するように前記２値化手段を制御する制御手段と、
を備えることを特徴とするセンシング装置。 In a sensing device that detects the position where an object touches the screen,
A plurality of sensors arranged on the screen and each generating a first detection signal having a magnitude corresponding to the amount of incident light;
Operable in a normal mode in which the first detection signals are read from the plurality of sensors in a first cycle and a low consumption mode in which the first detection signals are read from the plurality of sensors in a second cycle longer than the first cycle. Reading means;
A first threshold value set for determining whether the object approaches the screen and the distance between the object and the screen has reached a certain distance or less; and the object does not contact the screen And the second threshold value set for determining whether or not the first detection signal read by the reading means can be used as either the first threshold value or the second threshold value. Binarizing means for generating each of the binarized second detection signals in comparison with either of the above,
When each of the first detection signals is compared with the first threshold value by the binarization means to generate the second detection signals, the object is displayed on the screen based on the second detection signals. It is detected that the distance between the object and the screen has reached a certain distance or less, and each of the first detection signals is compared with the second threshold value by the binarizing means, and the second detection signal is detected. Are respectively generated, based on the second detection signals, detecting means for detecting that the object is not in contact with the screen;
When each of the first detection signals is compared with the second threshold value by the binarizing means to generate the second detection signals, the object is displayed on the screen based on the second detection signals. Detecting means for detecting a position in contact;
The transition between the normal mode and the low consumption mode is managed and the change between the first threshold value and the second threshold value is managed. In the low consumption mode, the object is displayed on the screen by the detection means. When it is detected that the distance between the object and the screen has reached a certain distance or less, the reading means is controlled to shift to the normal mode, and each first detection signal is set to the first detection signal. The binarizing means is controlled so as to generate the second detection signals in comparison with a second threshold value, and the object does not contact the screen by the detecting means continuously for a predetermined time in the normal mode. Is detected, the reading means is controlled to shift to the low consumption mode, and each of the first detection signals is compared with the first threshold value to generate the second detection signals, respectively. And control means for controlling the binarizing means so that,
A sensing device comprising: 前記複数のセンサは、ｍ（２以上の整数）本の走査線とｎ（２以上の整数）本の読出線との交差に対応して前記画面上に配列され、入射される光量に応じた大きさの第１検出信号を各々生成するｍ×ｎ個のセンサであって、
前記読出手段は、前記ｍ×ｎ個のセンサから前記第１検出信号を前記第１周期で読み出す通常モードと、連続して並ぶＭ（２以上で前記ｍ以下の整数）本の前記走査線と、連続して並ぶＮ（２以上で前記ｎ以下の整数）本の前記読出線とに対応し、前記ｍ×ｎ個未満となる前記センサから前記第１検出信号を前記第１周期より長い前記第２周期で読み出す低消費モードとで動作可能である
ことを特徴とする請求項１に記載のセンシング装置。 The plurality of sensors are arranged on the screen corresponding to the intersection of m (an integer greater than or equal to 2) scanning lines and n (an integer greater than or equal to 2) readout lines, and according to the amount of incident light M × n sensors each generating a first detection signal of magnitude,
The reading means includes a normal mode for reading the first detection signal from the m × n sensors in the first period, and M (an integer greater than or equal to 2 and less than or equal to m) scanning lines arranged in succession. Corresponding to N (an integer greater than or equal to 2 and less than or equal to n) readout lines arranged in succession, and the first detection signal from the sensor that is less than m × n is longer than the first period. The sensing device according to claim 1, wherein the sensing device is operable in a low-consumption mode read in the second period. 出射光の光量を調整可能な光源を複数備え、前記画面の背面に設けられたバックライトと、
前記読出手段によって読み出された複数の前記第１検出信号に基づいて環境光の照度を算出し、算出した照度が所定値未満の場合であって、かつ前記低消費モードの場合、当該低消費モードにおいて前記第１検出信号が読み出される前記センサが配列されたエリアに対応する前記光源の出射光の光量を、他の前記光源の出射光の光量より増やす調整手段とを備える
ことを特徴とする請求項２に記載のセンシング装置。 A plurality of light sources capable of adjusting the amount of emitted light, a backlight provided on the back of the screen,
The illuminance of the ambient light is calculated based on the plurality of first detection signals read by the reading means, and the calculated low illuminance is less than a predetermined value and in the low consumption mode, the low consumption Adjusting means for increasing the amount of light emitted from the light source corresponding to an area in which the sensors from which the first detection signals are read in the mode are arranged to be larger than the amount of light emitted from the other light sources. The sensing device according to claim 2. 前記複数のセンサは、複数の走査線と複数の読出線との交差に対応して前記画面上に配列され、入射される光量に応じた大きさの前記第１検出信号を各々生成し、
前記読出手段は、
前記通常モードの場合、前記複数の走査線の各々を順次選択し、前記低消費モードの場合、前記複数の走査線をＬ（２以上の整数）本ごとに１本の割合で順次選択する選択手段を備え、
前記選択手段によって選択された前記走査線に対応する前記センサから前記複数の読出線を介して前記第１検出信号を各々読み出す
ことを特徴とする請求項１乃至３のうちいずれか１項に記載のセンシング装置。 The plurality of sensors are arranged on the screen corresponding to intersections of a plurality of scanning lines and a plurality of readout lines, respectively, and generate the first detection signals each having a magnitude corresponding to the amount of incident light.
The reading means includes
In the normal mode, each of the plurality of scanning lines is sequentially selected, and in the low consumption mode, the plurality of scanning lines are sequentially selected at a rate of one for every L (integer of 2 or more). With means,
4. The first detection signal is read out from the sensor corresponding to the scanning line selected by the selection unit through the plurality of readout lines, respectively. 5. Sensing device. 請求項１乃至４のうちいずれか１項に記載のセンシング装置と、
画像を表示する表示部と、
を備えることを特徴とする表示装置。 The sensing device according to any one of claims 1 to 4,
A display for displaying an image;
A display device comprising: 前記検出手段によって検出された位置の軌跡を示す画像を生成して前記表示部に表示する表示制御手段を備える
ことを特徴とする請求項５に記載の表示装置。 The display device according to claim 5, further comprising a display control unit that generates an image indicating a locus of the position detected by the detection unit and displays the image on the display unit. 請求項５または６に記載の表示装置を備えた電子機器。   An electronic apparatus comprising the display device according to claim 5.
JP2008035641A 2008-02-18 2008-02-18 Sensing device, display device, and electronic device Active JP4770844B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008035641A JP4770844B2 (en) 2008-02-18 2008-02-18 Sensing device, display device, and electronic device
KR1020090008826A KR20090089254A (en) 2008-02-18 2009-02-04 Sensing device, display device, electronic apparatus, and sensing method
US12/368,729 US8390578B2 (en) 2008-02-18 2009-02-10 Sensing device, display device, electronic apparatus, and sensing method
TW098104712A TW200943147A (en) 2008-02-18 2009-02-13 Sensing device, display device, electronic apparatus, and sensing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008035641A JP4770844B2 (en) 2008-02-18 2008-02-18 Sensing device, display device, and electronic device

Publications (2)

Publication Number Publication Date
JP2009193482A JP2009193482A (en) 2009-08-27
JP4770844B2 true JP4770844B2 (en) 2011-09-14

Family

ID=41075415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008035641A Active JP4770844B2 (en) 2008-02-18 2008-02-18 Sensing device, display device, and electronic device

Country Status (1)

Country Link
JP (1) JP4770844B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120465B2 (en) 2014-05-14 2018-11-06 Linfiny Corporation Information processing apparatus, information processing method, and program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086179A (en) * 2009-10-16 2011-04-28 Sony Corp Device and method for inputting information, information input/output device, information input program, and electronic apparatus
WO2011074292A1 (en) * 2009-12-15 2011-06-23 シャープ株式会社 Display device, display method, display program, recording medium
US8797306B2 (en) * 2010-01-08 2014-08-05 Sharp Kabushiki Kaisha Display device with optical sensors
WO2011089833A1 (en) 2010-01-20 2011-07-28 Semiconductor Energy Laboratory Co., Ltd. Display device
KR101107171B1 (en) * 2010-02-11 2012-01-25 삼성모바일디스플레이주식회사 Apparatus for touch sensing, display device and operating method for the same
EP2544079A4 (en) * 2010-03-05 2016-07-13 Nec Corp Portable terminal device
US8605059B2 (en) * 2010-07-02 2013-12-10 Semiconductor Energy Laboratory Co., Ltd. Input/output device and driving method thereof
KR101531125B1 (en) * 2011-04-08 2015-07-06 샤프 가부시키가이샤 Display device, electronic apparatus, method for controlling display device, and method for controlling electronic apparatus
TWI488096B (en) * 2012-06-05 2015-06-11 Acer Inc Driving method for touch panel and touch-sensing device thereof
JP5927092B2 (en) * 2012-09-19 2016-05-25 シャープ株式会社 CONTROL DEVICE, CONTROL DEVICE CONTROL METHOD, ELECTRONIC DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM
KR102553530B1 (en) * 2018-07-20 2023-07-10 엘지디스플레이 주식회사 Touch display panel, touch display device and method for driving thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244218A (en) * 2005-03-04 2006-09-14 Toshiba Matsushita Display Technology Co Ltd Display device with built-in sensor
JP2007011152A (en) * 2005-07-01 2007-01-18 Toshiba Matsushita Display Technology Co Ltd Flat display device
JP2007128497A (en) * 2005-10-05 2007-05-24 Sony Corp Display apparatus and method thereof
JP2007163891A (en) * 2005-12-14 2007-06-28 Sony Corp Display apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120465B2 (en) 2014-05-14 2018-11-06 Linfiny Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
JP2009193482A (en) 2009-08-27

Similar Documents

Publication Publication Date Title
JP4770844B2 (en) Sensing device, display device, and electronic device
JP4775386B2 (en) Sensing device, display device, electronic device, and sensing method
US8390578B2 (en) Sensing device, display device, electronic apparatus, and sensing method
JP4645658B2 (en) Sensing device, display device, electronic device, and sensing method
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
JP4557228B2 (en) Electro-optical device and electronic apparatus
JP4835578B2 (en) Display imaging apparatus, object detection program, and object detection method
JP4257221B2 (en) Display device and information terminal device
US8638317B2 (en) Display apparatus and method for controlling the same
US20100053107A1 (en) Information input device, information input method, information input/output device, and information input program
JP2008305087A (en) Display device
JP2008059254A (en) Display imaging apparatus, information input device, object detection program and object detection method
JP4161929B2 (en) Image display device and driving method of image display device
JP2010122936A (en) Sensing circuit, display and electronic apparatus
JP4720833B2 (en) Sensing device, display device, electronic device, and sensing method
JP5016896B2 (en) Display device
JP4605243B2 (en) Image display device and driving method of image display device
JP4270247B2 (en) Display imaging apparatus, object detection program, and object detection method
JP4919094B2 (en) Image display device and driving method of image display device
JP2009199204A (en) Electro-optical device, control method thereof, and electronic equipment
JP5109999B2 (en) Display device, electronic apparatus, and driving method of display device
JP2010191438A (en) Display device and display method
JP4788755B2 (en) Display imaging apparatus, object detection program, and object detection method
JP2010286875A (en) Electro-optical device, method for driving the same, and electronic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100526

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4770844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250