JP2009193481A - Sensing device, display device, electronic apparatus, and sensing method - Google Patents

Sensing device, display device, electronic apparatus, and sensing method Download PDF

Info

Publication number
JP2009193481A
JP2009193481A JP2008035640A JP2008035640A JP2009193481A JP 2009193481 A JP2009193481 A JP 2009193481A JP 2008035640 A JP2008035640 A JP 2008035640A JP 2008035640 A JP2008035640 A JP 2008035640A JP 2009193481 A JP2009193481 A JP 2009193481A
Authority
JP
Japan
Prior art keywords
screen
contact
period
reading
detection signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008035640A
Other languages
Japanese (ja)
Other versions
JP4775386B2 (en
Inventor
Takehito Kayano
岳人 茅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2008035640A priority Critical patent/JP4775386B2/en
Priority to KR1020090008826A priority patent/KR20090089254A/en
Priority to US12/368,729 priority patent/US8390578B2/en
Priority to TW098104712A priority patent/TW200943147A/en
Priority to CNA2009100076527A priority patent/CN101515213A/en
Publication of JP2009193481A publication Critical patent/JP2009193481A/en
Application granted granted Critical
Publication of JP4775386B2 publication Critical patent/JP4775386B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Power Sources (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To smoothly perform input by touching, while reducing power consumption. <P>SOLUTION: A plurality of light detecting circuits O1 (optical sensors) are formed on a screen corresponding to the intersections of a plurality of scanning lines with a plurality of reading lines. A scanning circuit 500 for a sensor to read a light receiving signal from each light detecting circuit O1 and a light receiving signal processing circuit 600 are arranged. It is determined whether a finger or a touch pen 50 is brought into contact with a display screen or not. When non-contact is determined as a result, processing for one cycle concerning a touch input function (reading of the light receiving signals for one screen, touch determination based on the read light receiving signals for one screen, and the detection of a touch position) is performed by 60 Hz. When contact is determined as a result, processing for one cycle concerning the touch input function is performed by 120 Hz. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、指やペン等の対象物が画面に触れた位置を検出するセンシング装置、表示装置、電子機器およびセンシング方法に関する。   The present invention relates to a sensing device, a display device, an electronic device, and a sensing method for detecting a position where an object such as a finger or a pen touches a screen.

特許文献１には、指やライトペンで指示された画面上の座標位置を検出する液晶表示装置が記載されている。この液晶表示装置は、入射光を撮像する画像読取センサ３３を画素ごとに備え、指やライトペンを画面に近づけたり接触させたときの撮像データの変化から、座標位置を検出する。   Patent Document 1 describes a liquid crystal display device that detects a coordinate position on a screen designated by a finger or a light pen. This liquid crystal display device includes an image reading sensor 33 that captures incident light for each pixel, and detects a coordinate position from a change in imaging data when a finger or a light pen is brought close to or in contact with the screen.

特開２００４−３１８８１９号公報JP 2004-318819 A

ところで、特許文献１に記載された液晶表示装置では、指やライトペンで指示された座標位置を常に同じ周期で検出している。このため、例えば、座標位置の検出周期が６０Ｈｚであった場合は、指やライトペンの高速な移動に追従することができず、タッチ入力によって手書き画像等をスムーズに入力することが困難になる。一方、座標位置の検出周期が１２０Ｈｚ程度であれば、指やライトペンの高速な移動にも十分に追従可能であるが、この場合には検出周期を短くした分だけ消費電力が増えてしまう。   By the way, in the liquid crystal display device described in Patent Document 1, the coordinate position designated by a finger or a light pen is always detected at the same cycle. For this reason, for example, when the detection cycle of the coordinate position is 60 Hz, it is impossible to follow high-speed movement of the finger or the light pen, and it becomes difficult to smoothly input a handwritten image or the like by touch input. . On the other hand, if the detection cycle of the coordinate position is about 120 Hz, it is possible to sufficiently follow the high-speed movement of the finger or the light pen, but in this case, the power consumption increases as the detection cycle is shortened.

本発明は、上述した課題に鑑みてなされたものであり、消費電力を低減しつつタッチ入力をスムーズに行うことが可能なセンシング装置、表示装置、電子機器およびセンシング方法を提供することを課題とする。   The present invention has been made in view of the above-described problems, and has an object to provide a sensing device, a display device, an electronic device, and a sensing method capable of smoothly performing touch input while reducing power consumption. To do.

上述した課題を解決するため、本発明に係るセンシング装置は、画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサと、前記複数のセンサから前記第１検出信号を所定の周期で読み出す読出手段と、前記読出手段によって読み出された前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成する２値化手段と、前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定する判定手段と、前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、前記判定手段の判定結果が非接触である場合、前記所定の周期が第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が接触である場合、前記所定の周期が前記第１周期より短い第２周期となるように前記読出手段を制御する制御手段と、を備えることを特徴とする。   In order to solve the above-described problem, a sensing device according to the present invention is arranged on a screen, and a first detection signal having a level according to a contact state of an object with the screen or a distance between the object and the screen. A plurality of sensors each generating a first detection signal from the plurality of sensors in a predetermined cycle, and a level of each first detection signal read by the reading means is compared with a threshold value. And binarization means for generating each of the binarized second detection signals, and determining whether the object is in contact with the screen or non-contact based on each of the second detection signals And a detection means for detecting a position where the object is in contact with the screen based on each second detection signal, and the determination result of the determination means is non-contact, the predetermined period is The reading so that it becomes the first cycle And a control means for controlling the reading means so that the predetermined period is a second period shorter than the first period when the determination result of the determination means is a contact. And

本発明によれば、読出手段は、対象物が画面に非接触である場合は、第１周期で、画面上に配列された総てのセンサから第１検出信号を読み出す一方、対象物が画面に接触している場合は、第１周期より短い第２周期で、画面上に配列された総てのセンサから第１検出信号を読み出す。
したがって、対象物が画面に非接触である場合（タッチ入力がない場合）は、対象物が画面に接触している場合（タッチ入力がある場合）に比べ、１画面分の第１検出信号を読み出す周期を長くすることができる。例えば、第１周期を６０Ｈｚ、第２周期を１２０Ｈｚに設定した場合、タッチ入力がない場合は、タッチ入力がある場合に比べ、１画面分の第１検出信号を読み出す頻度を１／２に減らすことができる。このため、第１検出信号の読み出しや２値化信号の生成に要する処理負荷を軽減することができ、その分だけ消費電力を低減することができる。一方、対象物が画面に接触している場合は、対象物が画面に非接触である場合に比べ、１画面分の第１検出信号を読み出す周期を短くして接触位置の検出に関する時間的な分解能を高め、対象物が高速で移動した場合であってもこれに十分に追従することが可能になる。このように本発明によれば、１画面分の第１検出信号を読み出す周期を変更可能にし、タッチ入力がある期間（対象物が画面に接触している期間）においてのみ、短い周期で１画面分の第１検出信号を読み出すようにしたので、消費電力を低減しつつ、対象物が高速で移動した場合であってもこれに追従してタッチ入力をスムーズに行うことが可能になる。 According to the present invention, when the object is not in contact with the screen, the reading means reads the first detection signal from all the sensors arranged on the screen in the first period, while the object is on the screen. If it is touching, the first detection signal is read out from all the sensors arranged on the screen in the second period shorter than the first period.
Therefore, when the object is not in contact with the screen (when there is no touch input), the first detection signal for one screen is obtained compared to when the object is in contact with the screen (when there is touch input). The read cycle can be lengthened. For example, when the first cycle is set to 60 Hz and the second cycle is set to 120 Hz, when there is no touch input, the frequency of reading the first detection signal for one screen is reduced by half compared to the case where there is a touch input. be able to. For this reason, the processing load required for reading the first detection signal and generating the binarized signal can be reduced, and the power consumption can be reduced accordingly. On the other hand, when the object is in contact with the screen, the period for reading out the first detection signal for one screen is shortened and the time for detecting the contact position is shorter than when the object is not in contact with the screen. Even when the resolution is increased and the object moves at high speed, it is possible to sufficiently follow this. As described above, according to the present invention, the cycle for reading out the first detection signals for one screen can be changed, and only one screen with a short cycle can be obtained only during a period of touch input (a period in which the object is in contact with the screen). Since the first detection signal is read out, it is possible to smoothly perform touch input following this even when the object moves at high speed while reducing power consumption.

なお、「画面上に配列され」とは、例えば、複数のセンサを備えたタッチパネルを画面上に貼り付けている場合に加え、後述する実施形態に記載しているように複数のセンサを表示パネルに内蔵している場合を含む。また、「対象物」とは、例えば、指やペン入力装置等である。また、抵抗膜方式や静電容量方式のタッチパネルを備える場合は、センサが生成する第１検出信号のレベルが「対象物の前記画面への接触状態」に応じたものとなり、後述する実施形態に記載しているように光センサを用いたものであれば、センサが生成する第１検出信号のレベルが「前記対象物と前記画面との距離に応じた」ものとなる。   Note that “arranged on the screen” means that, for example, in addition to a case where a touch panel including a plurality of sensors is pasted on the screen, a plurality of sensors are displayed on the display panel as described in an embodiment described later. Including the case of being built in. The “object” is, for example, a finger or a pen input device. In addition, when a resistive film type or capacitive type touch panel is provided, the level of the first detection signal generated by the sensor is in accordance with the “contact state of the object with the screen”. If an optical sensor is used as described, the level of the first detection signal generated by the sensor is “according to the distance between the object and the screen”.

また、上述したセンシング装置において、前記制御手段は、前記判定手段の判定結果が非接触である場合および前記判定手段の判定結果が所定時間未満連続して接触である場合、前記所定の周期が前記第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が前記所定時間以上連続して接触である場合、前記所定の周期が前記第１周期より短い前記第２周期となるように前記読出手段を制御する構成であってもよい。
この構成であれば、対象物が画面に接触し続けている時間が所定時間以上である場合にのみ、１画面分の第１検出信号を読み出す周期を第１周期より短い第２周期にすることができる。例えば、画面上に表示されているボタンを指やペン入力装置でタッチする場合のように、タッチ入力が僅かな時間で済むのであれば、対象物が画面に接触したことに応じて１画面分の第１検出信号を読み出す周期を第２周期にしても、すぐに第１周期に戻さなければならない。このため、周期の変更が煩雑になるだけで、かえって消費電力が増えてしまう。また、１画面分の第１検出信号を読み出す周期を短くすることで高い追従性を得ることができるが、このような高い追従性が必要となるのは、例えば、手書き文字や絵を入力している場合等、指やペン入力装置を画面に一定時間以上接触させ続けている場合である。したがって、対象物が画面に接触し続けている時間が所定時間以上である場合に、１画面分の第１検出信号を読み出す周期を短い周期（第２周期）にする構成であると、上述した問題を解消することができる。なお、所定時間は任意の時間幅に設定することができる。 Further, in the above-described sensing device, the control unit may determine that the predetermined period is when the determination result of the determination unit is non-contact and when the determination result of the determination unit is continuous contact for less than a predetermined time. When the reading unit is controlled to be in the first period, and the determination result of the determination unit is a contact for the predetermined time or longer, the predetermined period becomes the second period shorter than the first period. In this way, the reading means may be controlled.
With this configuration, the period for reading the first detection signal for one screen is set to the second period shorter than the first period only when the object continues to contact the screen for a predetermined time or more. Can do. For example, if the touch input needs only a short time, such as when a button displayed on the screen is touched with a finger or a pen input device, one screen is displayed according to the object touching the screen. Even if the period for reading the first detection signal is set to the second period, it must be immediately returned to the first period. For this reason, only the change of the period becomes complicated, and the power consumption increases. Moreover, high followability can be obtained by shortening the cycle for reading out the first detection signal for one screen, but such high followability is required, for example, by inputting handwritten characters or pictures. This is a case where the finger or the pen input device is kept in contact with the screen for a certain time or longer. Therefore, when the time during which the object continues to contact the screen is a predetermined time or longer, the cycle of reading the first detection signal for one screen is set to a short cycle (second cycle) as described above. The problem can be solved. The predetermined time can be set to an arbitrary time width.

また、本発明に係るセンシング装置は、画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサと、前記複数のセンサから前記第１検出信号を所定の周期で読み出す読出手段と、前記読出手段によって読み出された前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成する２値化手段と、前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定する判定手段と、前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、タッチ入力の受付を開始すると、前記所定の周期が第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が接触である場合、前記所定の周期が前記第１周期より短い第２周期となるように前記読出手段を制御する制御手段と、を備えることを特徴とする。   The sensing device according to the present invention is arranged on a screen, and generates a plurality of first detection signals each having a level corresponding to a contact state of the object with the screen or a distance between the object and the screen. Sensor, reading means for reading out the first detection signal from the plurality of sensors in a predetermined cycle, and the level of each first detection signal read by the reading means is compared with a threshold value, and binarized. Binarization means for generating the second detection signals, determination means for determining whether the object is in contact with the screen or non-contact based on the second detection signals, and the respective second detection signals. 2 based on the detection signal, detecting means for detecting a position where the object is in contact with the screen, and starting the acceptance of the touch input, the reading means is configured so that the predetermined period becomes the first period. Control and judgment of said judgment means If result is a contact, characterized in that it comprises a control means for said predetermined period to control the reading unit such that the shorter second period than the first period.

本発明によれば、読出手段は、タッチ入力の受付が開始されると、第１周期で、画面上に配列された総てのセンサから第１検出信号を読み出し、対象物が画面に接触している場合にのみ、第１周期より短い第２周期で、画面上に配列された総てのセンサから第１検出信号を読み出す。したがって、タッチ入力の受付が行われている期間では、１画面分の第１検出信号の読み出しが基本的に第１周期で行われ、対象物が画面に接触している期間においてのみ、１画面分の第１検出信号の読み出しが第１周期より短い第２周期で行われる。よって、タッチ入力がある期間（対象物が画面に接触している期間）においては、短い周期（第２周期）で１画面分の第１検出信号を読み出す一方、それ以外の期間においては長い周期（第１周期）で１画面分の第１検出信号を読み出すようにしたので、消費電力を低減しつつ、対象物が高速で移動した場合であってもこれに追従してタッチ入力をスムーズに行うことが可能になる。   According to the present invention, when the acceptance of the touch input is started, the reading means reads the first detection signal from all the sensors arranged on the screen in the first period, and the object touches the screen. The first detection signal is read from all the sensors arranged on the screen in the second period shorter than the first period only when Therefore, during the period when the touch input is accepted, the reading of the first detection signal for one screen is basically performed in the first cycle, and only when the target object is in contact with the screen, one screen is displayed. Minutes of the first detection signal is read out in a second period shorter than the first period. Therefore, in a period in which touch input is present (period in which the object is in contact with the screen), the first detection signal for one screen is read out in a short period (second period), while in the other periods, the first period is long. Since the first detection signal for one screen is read out in the (first period), even if the object moves at high speed while smoothly reducing the power consumption, touch input can be smoothly performed. It becomes possible to do.

また、上述したセンシング装置において、前記制御手段は、タッチ入力の受付を開始すると、前記所定の周期が前記第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が所定時間以上連続して接触である場合、前記所定の周期が前記第１周期より短い前記第２周期となるように前記読出手段を制御する構成であってもよい。
この構成であれば、対象物が画面に接触し続けている時間が所定時間以上である場合にのみ、１画面分の第１検出信号を読み出す周期を第１周期より短い第２周期にすることができる。 In the sensing device described above, when the control unit starts accepting touch input, the control unit controls the reading unit so that the predetermined cycle becomes the first cycle, and the determination result of the determination unit is a predetermined time. In the case of continuous contact as described above, the reading unit may be controlled so that the predetermined period becomes the second period shorter than the first period.
With this configuration, the period for reading the first detection signal for one screen is set to the second period shorter than the first period only when the object continues to contact the screen for a predetermined time or more. Can do.

また、本発明に係るセンシング装置は、画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサと、前記複数のセンサから前記第１検出信号を所定の周期で読み出す読出手段と、前記読出手段によって読み出された前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成する２値化手段と、前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定する判定手段と、前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、タッチ入力の受付を開始すると、前記所定の周期が第１周期より短い第２周期となるように前記読出手段を制御し、前記判定手段の判定結果が非接触である場合、前記所定の周期が前記第１周期となるように前記読出手段を制御する制御手段と、を備えることを特徴とする。   The sensing device according to the present invention is arranged on a screen, and generates a plurality of first detection signals each having a level corresponding to a contact state of the object with the screen or a distance between the object and the screen. Sensor, reading means for reading out the first detection signal from the plurality of sensors in a predetermined cycle, and the level of each first detection signal read by the reading means is compared with a threshold value, and binarized. Binarization means for generating the second detection signals, determination means for determining whether the object is in contact with the screen or non-contact based on the second detection signals, and the respective second detection signals. Based on the two detection signals, the detection unit that detects the position where the object is in contact with the screen and the start of acceptance of the touch input, the predetermined cycle becomes a second cycle shorter than the first cycle. To control the reading means, When the determination result of the determination means is a non-contact, characterized in that it comprises a control means for said predetermined period to control the reading unit so that the first period.

本発明によれば、読出手段は、タッチ入力の受付が開始されると、第１周期より短い第２周期で、画面上に配列された総てのセンサから第１検出信号を読み出し、対象物が画面に非接触である場合にのみ、第１周期で、画面上に配列された総てのセンサから第１検出信号を読み出す。したがって、タッチ入力の受付が行われている期間では、１画面分の第１検出信号の読み出しが基本的に第１周期より短い第２周期で行われ、対象物が画面に非接触である期間においてのみ、１画面分の第１検出信号の読み出しが第１周期で行われる。よって、タッチ入力がない期間（対象物が画面に非接触である期間）においては、長い周期（第１周期）で１画面分の第１検出信号を読み出す一方、それ以外の期間においては短い周期（第２周期）で１画面分の第１検出信号を読み出すようにしたので、消費電力を低減しつつ、対象物が高速で移動した場合であってもこれに追従してタッチ入力をスムーズに行うことが可能になる。   According to the present invention, when the acceptance of the touch input is started, the reading means reads the first detection signals from all the sensors arranged on the screen in the second period shorter than the first period, Only when is not in contact with the screen, the first detection signal is read from all the sensors arranged on the screen in the first period. Therefore, during the period in which the touch input is accepted, the reading of the first detection signal for one screen is basically performed in the second period shorter than the first period, and the object is not in contact with the screen. Only in, reading of the first detection signal for one screen is performed in the first cycle. Therefore, in a period in which there is no touch input (a period in which the object is not in contact with the screen), the first detection signal for one screen is read out with a long period (first period), while in other periods, the first detection signal is short. Since the first detection signal for one screen is read in (second period), even if the object moves at high speed, the touch input can be smoothly followed while reducing power consumption. It becomes possible to do.

また、上述したセンシング装置において、前記制御手段は、タッチ入力の受付を開始すると、前記所定の周期が前記第１周期より短い前記第２周期となるように前記読出手段を制御し、前記判定手段の判定結果が所定時間以上連続して非接触である場合、前記所定の周期が前記第１周期となるように前記読出手段を制御する構成であってもよい。
この構成であれば、対象物が画面に非接触である状態が所定時間以上継続している場合にのみ、１画面分の第１検出信号を読み出す周期を第２周期より長い第１周期にすることができる。例えば、指やペン入力装置によって手書き文字を入力する場合、次の字画に移る際に、指やペン入力装置が僅かな時間ではあるが画面から一旦離れてしまうため、このような場合にいちいち読み出し周期を変更していると、周期の変更が煩雑になり逆に消費電力が増えてしまう。したがって、非接触の状態が所定時間以上継続している場合に、１画面分の第１検出信号を読み出す周期を長い周期（第１周期）にする構成であると、上述した問題を解消することができる。なお、所定時間は任意の時間幅に設定することができる。 In the sensing device described above, when the control unit starts accepting a touch input, the control unit controls the reading unit so that the predetermined period is the second period shorter than the first period, and the determination unit When the determination result is non-contact continuously for a predetermined time or more, the reading unit may be controlled so that the predetermined period becomes the first period.
If it is this structure, the period which reads the 1st detection signal for 1 screen will be made into the 1st period longer than a 2nd period only when the state in which a target object is non-contact has continued for more than predetermined time. be able to. For example, when a handwritten character is input with a finger or a pen input device, the finger or the pen input device is temporarily removed from the screen for a short time when moving to the next stroke. If the period is changed, the change of the period becomes complicated and conversely power consumption increases. Therefore, when the non-contact state continues for a predetermined time or longer, the above-described problem is solved when the period for reading the first detection signal for one screen is set to a long period (first period). Can do. The predetermined time can be set to an arbitrary time width.

また、上述したセンシング装置は、前記制御手段によって前記所定の周期が前記第１周期となるように前記読出手段が制御される場合と、前記制御手段によって前記所定の周期が前記第２周期となるように前記読出手段が制御される場合とで、前記閾値を変更する変更手段を更に備える構成であってもよい。また、前記変更手段は、前記制御手段によって前記所定の周期が前記第１周期となるように前記読出手段が制御される場合、前記閾値として前記第１周期に応じた第１閾値を設定し、前記制御手段によって前記所定の周期が前記第２周期となるように前記読出手段が制御される場合、前記閾値として前記第２周期に応じた第２閾値を設定する構成であってもよい。
これは、後述する実施形態にも記載しているように、センサの種類等によっては、１画面分の第１検出信号を読み出す周期の変更に伴って第１検出信号の信号レベルが変わってしまうため、閾値を変更しないと、対象物が画面に接触しているか否かの判定を正確に行うことができなくなってしまうためである。 In the above-described sensing device, the reading unit is controlled by the control unit so that the predetermined cycle becomes the first cycle, and the predetermined cycle becomes the second cycle by the control unit. Thus, the configuration may further include a changing means for changing the threshold value when the reading means is controlled. In addition, when the reading unit is controlled by the control unit so that the predetermined period becomes the first period, the changing unit sets a first threshold value corresponding to the first period as the threshold value, When the reading unit is controlled so that the predetermined period becomes the second period by the control unit, a configuration may be adopted in which a second threshold value corresponding to the second period is set as the threshold value.
As described in the embodiments described later, the signal level of the first detection signal changes with the change of the cycle for reading the first detection signal for one screen depending on the type of sensor and the like. Therefore, unless the threshold value is changed, it is impossible to accurately determine whether or not the object is in contact with the screen.

また、上述したセンシング装置において、前記判定手段は、総ての前記第２検出信号のうち前記閾値によって定めた条件を充足する前記第２検出信号の個数を計数し、計数結果に基づいて対象物が前記画面に接触しているか非接触であるかを判定する構成であってもよい。
例えば、計数結果が１以上であれば、対象物が画面に接触していると判定してもよい。また、計数結果が所定値以上である場合や、計数結果が上限値と下限値によって定まる所定範囲内の値である場合に、対象物が画面に接触していると判定してもよい。後者の場合は誤判定を少なくすることができる。なお、「前記閾値によって定めた条件を充足する前記第２検出信号」には、例えば、信号レベルが閾値未満の第１検出信号に対応する第２検出信号、あるいは信号レベルが閾値以上の第１検出信号に対応する第２検出信号が該当する。 In the above-described sensing device, the determination unit counts the number of the second detection signals that satisfy the condition determined by the threshold among all the second detection signals, and based on the count result, the target object It may be configured to determine whether or not is in contact with the screen.
For example, if the counting result is 1 or more, it may be determined that the object is in contact with the screen. Further, when the counting result is equal to or greater than a predetermined value, or when the counting result is a value within a predetermined range determined by the upper limit value and the lower limit value, it may be determined that the object is in contact with the screen. In the latter case, erroneous determination can be reduced. The “second detection signal satisfying the condition determined by the threshold” includes, for example, a second detection signal corresponding to a first detection signal whose signal level is lower than the threshold, or a first detection signal whose signal level is equal to or higher than the threshold. The second detection signal corresponding to the detection signal is applicable.

また、本発明に係る表示装置は、上述したいずれかのセンシング装置と、画像を表示する表示部とを備えることを特徴とする。この表示装置には、例えば、液晶素子やＯＬＥＤ素子を用いた表示装置が含まれる。また、上述した表示装置は、前記検出手段によって検出された位置の軌跡を示す画像を生成して前記表示部に表示する表示制御手段を備える構成であってもよい。
また、本発明に係る電子機器は、上述した表示装置を備えることを特徴とする。この電子機器には、例えば、パーソナルコンピュータや携帯電話機、携帯情報端末等が含まれる。 In addition, a display device according to the present invention includes any one of the sensing devices described above and a display unit that displays an image. This display device includes, for example, a display device using a liquid crystal element or an OLED element. The display device described above may include a display control unit that generates an image indicating a locus of a position detected by the detection unit and displays the image on the display unit.
In addition, an electronic apparatus according to the present invention includes the above-described display device. Examples of the electronic apparatus include a personal computer, a mobile phone, a portable information terminal, and the like.

また、本発明に係るセンシング方法は、画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサを用いて、前記対象物が前記画面に接触している位置を検出するセンシング方法であって、前記複数のセンサから前記第１検出信号を所定の周期で読み出し、読み出した前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成し、前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定し、前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出し、前記判定した結果が非接触である場合、前記所定の周期が第１周期となるように前記各第１検出信号の読み出しを制御し、前記判定した結果が接触である場合、前記所定の周期が前記第１周期より短い第２周期となるように前記各第１検出信号の読み出しを制御することを特徴とする。   In addition, the sensing method according to the present invention includes a plurality of first detection signals that are arranged on a screen and each generate a first detection signal having a level corresponding to a contact state of the object with the screen or a distance between the object and the screen. A sensing method for detecting a position where the object is in contact with the screen by using a sensor, wherein the first detection signals are read out from the plurality of sensors at a predetermined cycle, and the respective first detections are read out. The level of the signal is compared with a threshold value to generate a binarized second detection signal, and based on each of the second detection signals, whether the object is in contact with the screen or not is determined. Determining, based on each of the second detection signals, detecting a position where the object is in contact with the screen, and when the determined result is non-contact, the predetermined period is the first period. Reading out the first detection signals Controls, when the judgment result is a contact, wherein said predetermined period to control the reading of the respective first detection signal so that the shorter second period than the first period.

以下の実施形態では、本発明に係るセンシング装置を透過型の液晶表示装置に適用した場合について説明する。
＜１．実施形態＞
図１は、本実施形態に係る液晶表示装置１の構成を示すブロック図である。
同図に示すように、液晶表示装置１は、液晶パネルＡＡ、制御回路３００、および画像処理回路４００を備える。液晶パネルＡＡは、スイッチング素子として薄膜トランジスタ（Thin Film Transistor）を形成した素子基板と対向基板とを互いに電極形成面を対向させ、かつ一定の間隙を保って貼付したものであり、この間隙に液晶が挟持される。また、液晶パネルＡＡは、その素子基板上に、画像表示領域Ａ、走査線駆動回路１００、データ線駆動回路２００、センサ用走査回路５００、および受光信号処理回路６００を備える。画像表示領域Ａには、ｍ（行）×ｎ（列）個の画素回路Ｐ１がマトリクス状に形成され、各画素回路Ｐ１は走査線駆動回路１００とデータ線駆動回路２００に電気的に接続される。 In the following embodiments, a case where the sensing device according to the present invention is applied to a transmissive liquid crystal display device will be described.
<1. Embodiment>
FIG. 1 is a block diagram showing a configuration of a liquid crystal display device 1 according to the present embodiment.
As shown in the figure, the liquid crystal display device 1 includes a liquid crystal panel AA, a control circuit 300, and an image processing circuit 400. In the liquid crystal panel AA, an element substrate on which a thin film transistor is formed as a switching element and a counter substrate are attached to each other with the electrode forming surfaces facing each other and maintaining a certain gap. It is pinched. The liquid crystal panel AA includes an image display region A, a scanning line driving circuit 100, a data line driving circuit 200, a sensor scanning circuit 500, and a light reception signal processing circuit 600 on the element substrate. In the image display area A, m (row) × n (column) pixel circuits P1 are formed in a matrix, and each pixel circuit P1 is electrically connected to the scanning line driving circuit 100 and the data line driving circuit 200. The

制御回路３００は、走査線駆動回路１００とデータ線駆動回路２００に対し、クロック信号や各種の制御信号を供給する。画像処理回路４００は、入力画像データＤinに画像処理を施して出力画像データＤoutを生成し、これをデータ線駆動回路２００に出力する。走査線駆動回路１００は、マトリクス状に配列する画素回路Ｐ１を行単位で順次選択する。また、データ線駆動回路２００は、走査線駆動回路１００によって順次選択される１行分（ｎ個）の画素回路Ｐ１の各々に対し、データ信号を供給する。なお、図示を省略しているが、液晶パネルＡＡの背面にはバックライトが設けられており、このバックライトからの光は画像表示領域Ａを介して射出される。前述したように、画像表示領域Ａには複数の画素回路Ｐ１がマトリクス状に配列しているため、データ線駆動回路２００から供給されるデータ信号の電圧レベルに応じて画素回路Ｐ１ごとに透過率が制御される。これによって光変調による階調表示が可能となり、画像表示領域Ａに画像が表示される。   The control circuit 300 supplies a clock signal and various control signals to the scanning line driving circuit 100 and the data line driving circuit 200. The image processing circuit 400 performs image processing on the input image data Din to generate output image data Dout, and outputs this to the data line driving circuit 200. The scanning line driving circuit 100 sequentially selects the pixel circuits P1 arranged in a matrix in units of rows. The data line driving circuit 200 supplies a data signal to each of one row (n) of pixel circuits P1 that are sequentially selected by the scanning line driving circuit 100. Although not shown, a backlight is provided on the back surface of the liquid crystal panel AA, and light from the backlight is emitted through the image display area A. As described above, since the plurality of pixel circuits P1 are arranged in a matrix form in the image display area A, the transmittance for each pixel circuit P1 according to the voltage level of the data signal supplied from the data line driving circuit 200. Is controlled. As a result, gradation display by light modulation becomes possible, and an image is displayed in the image display area A.

また、液晶表示装置１はタッチ入力機能を備えており、画像表示領域Ａには画素回路Ｐ１ごとに光検出回路Ｏ１が設けられている。より具体的に説明すると、画像表示領域Ａには、Ｘ方向に延在するｍ本の走査線と、Ｙ方向に延在するｎ本の読出線とが形成され、走査線と読出線との交差に対応して、ｍ（行）×ｎ（列）個の光検出回路Ｏ１が配置される。各光検出回路Ｏ１は、光センサを備え、入射光の光量に応じた信号レベルの受光信号を出力する。制御回路３００は、センサ用走査回路５００に対し、クロック信号や走査用の制御信号を供給する。また、制御回路３００は、受光信号処理回路６００に対し、クロック信号や受光信号処理用の制御信号を供給する。センサ用走査回路５００は、マトリクス状に配列する光検出回路Ｏ１を、走査信号Ｙ１，Ｙ２，Ｙ３，…，Ｙｍを用いて順次選択する。また、受光信号処理回路６００は、センサ用走査回路５００によって順次選択される１行分（ｎ個）の光検出回路Ｏ１からｎ本の読出線を介して受光信号Ｘ１，Ｘ２，Ｘ３，Ｘ４，…，Ｘｎを読み出し、これを制御回路３００に供給する。   Further, the liquid crystal display device 1 has a touch input function, and the image display area A is provided with a light detection circuit O1 for each pixel circuit P1. More specifically, in the image display area A, m scanning lines extending in the X direction and n readout lines extending in the Y direction are formed. Corresponding to the intersection, m (rows) × n (columns) photodetection circuits O1 are arranged. Each photodetection circuit O1 includes an optical sensor and outputs a light reception signal having a signal level corresponding to the amount of incident light. The control circuit 300 supplies a clock signal and a scanning control signal to the sensor scanning circuit 500. The control circuit 300 supplies a clock signal and a control signal for light reception signal processing to the light reception signal processing circuit 600. The sensor scanning circuit 500 sequentially selects the photodetection circuits O1 arranged in a matrix using the scanning signals Y1, Y2, Y3,. The light reception signal processing circuit 600 receives light reception signals X1, X2, X3, X4 from n photodetection circuits O1 corresponding to one row (n) sequentially selected by the sensor scanning circuit 500 via n readout lines. .., Xn are read out and supplied to the control circuit 300.

ところで、例えば、日中の自然光の下に液晶表示装置１がある場合等、液晶表示装置１の周囲が明るい場合は、画像表示領域Ａ（表示画面）において、指やタッチペンの接触した部分が影となり、この部分の受光量が他の部分の受光量よりも低下する。つまり、指やタッチペンが表示画面に対してある程度接近すると表示画面上に淡い影ができ、指やタッチペンがさらに表示画面に接近するにつれ影が徐々に濃くなる。この際、表示画面において影ができた部分にある光検出回路Ｏ１（光センサ）の受光量は、影が濃くなるにつれ徐々に低下する。逆に、夜間の暗い環境の下に液晶表示装置１がある場合等、液晶表示装置１の周囲が暗い場合は、バックライトからの光が指やタッチペンによって反射されるため、表示画面において指やタッチペンが接触した部分の受光量が他の部分の受光量よりも増加する。つまり、指やタッチペンが表示画面に対してある程度接近すると、バックライトからの光が指やタッチペンによって反射され、表示画面上には反射光の当たる部分ができる。この部分の反射光の強さは、指やタッチペンがさらに表示画面に接近するにつれ徐々に大きくなる。この際、表示画面において反射光が当たっている部分にある光検出回路Ｏ１（光センサ）の受光量は、指やタッチペンの接近に伴って反射光が強くなるほど増加する。   By the way, for example, when the surroundings of the liquid crystal display device 1 are bright, such as when the liquid crystal display device 1 is under natural daylight, a portion of the image display area A (display screen) touched by a finger or a touch pen is shadowed. Thus, the amount of light received at this portion is lower than the amount of light received at other portions. That is, when a finger or touch pen approaches the display screen to some extent, a light shadow is formed on the display screen, and the shadow gradually increases as the finger or touch pen further approaches the display screen. At this time, the amount of light received by the light detection circuit O1 (light sensor) in the shadowed portion of the display screen gradually decreases as the shadow becomes darker. Conversely, when the surroundings of the liquid crystal display device 1 are dark, such as when the liquid crystal display device 1 is in a dark environment at night, the light from the backlight is reflected by the finger or the touch pen. The amount of light received at the part touched by the touch pen is greater than the amount of light received at other parts. That is, when the finger or touch pen approaches the display screen to some extent, the light from the backlight is reflected by the finger or touch pen, and a portion where the reflected light strikes is formed on the display screen. The intensity of the reflected light at this portion gradually increases as the finger or the touch pen further approaches the display screen. At this time, the amount of light received by the light detection circuit O1 (light sensor) in the portion of the display screen where the reflected light strikes increases as the reflected light becomes stronger as the finger or the touch pen approaches.

したがって、制御回路３００では、画像表示領域Ａに備わるｍ×ｎ個の光検出回路Ｏ１から読み出した１画面分の受光信号に基づいて、指やタッチペンが表示画面に接触しているか否か、すなわちタッチの有無を判定することができる。   Therefore, the control circuit 300 determines whether or not a finger or a touch pen is in contact with the display screen based on the light reception signals for one screen read from the m × n light detection circuits O1 provided in the image display area A, that is, The presence or absence of touch can be determined.

具体的に説明すると、制御回路３００では、まず、読み出した１画面分の受光信号（ｍ×ｎ個）について、受光信号ごとにその信号レベルを閾値と比較して２値化信号に変換する（２値化処理）。なお、この２値化処理の際に使用する閾値は、受光信号の信号レベルが、指やタッチペンを表示画面に接触させたときの受光量のレベルに到達しているか否かを判定するためのものである。例えば、表示画面上において指やタッチペンが実際に接触した部分にある光検出回路Ｏ１の受光量（受光信号の信号レベル）について多数のサンプルデータを取得することで、取得したサンプルデータに基づいて閾値の値を設定することができる。つまり、上述した２値化処理において、制御回路３００では、各受光信号の信号レベルが、指やタッチペンを表示画面に接触させたときの受光量のレベルに到達しているか否かを判定することになり、到達している場合と、到達していない場合とで異なる信号値を有する２値化信号に変換することになる。なお、１画面分の受光信号はｍ×ｎ個あるので、これに対応して２値化信号もｍ×ｎ個生成される。また、実際には、液晶表示装置１の周囲が明るい場合と暗い場合で異なる閾値を使用する必要がある。つまり、液晶表示装置１の周囲が明るい場合に使用する閾値Ｔ１と、液晶表示装置１の周囲が暗い場合に使用する閾値Ｔ２が必要になる。   More specifically, the control circuit 300 first converts the read light reception signals (m × n) for one screen into a binary signal by comparing the signal level with a threshold value for each light reception signal ( Binarization process). The threshold used in the binarization process is for determining whether the signal level of the received light signal has reached the level of the received light amount when a finger or a touch pen is brought into contact with the display screen. Is. For example, by acquiring a large number of sample data for the amount of light received by the light detection circuit O1 (the signal level of the light reception signal) at the part where the finger or the touch pen actually touched on the display screen, the threshold is set based on the acquired sample data. Can be set. That is, in the binarization process described above, the control circuit 300 determines whether or not the signal level of each light reception signal has reached the level of the amount of light received when a finger or a touch pen is brought into contact with the display screen. Therefore, the signal is converted into a binarized signal having different signal values depending on whether it has reached or not reached. Since there are m × n light reception signals for one screen, m × n binarized signals are also generated correspondingly. In practice, it is necessary to use different threshold values depending on whether the periphery of the liquid crystal display device 1 is bright or dark. That is, the threshold value T1 used when the periphery of the liquid crystal display device 1 is bright and the threshold value T2 used when the periphery of the liquid crystal display device 1 is dark are required.

例えば、液晶表示装置１の周囲が明るく、表示画面において指やタッチペンの接触した部分が影になる場合について考えてみる。各受光信号の信号レベルは“０”（暗）〜“１００”（明）までの範囲内の値をとる一方、閾値Ｔ１は“１０”に設定されているものとする。この場合、制御回路３００では、信号レベルが“１０”未満の受光信号を２値化信号“１”へ変換する一方、信号レベルが“１０”以上の受光信号を２値化信号“０”へ変換する。次に、液晶表示装置１の周囲が暗く、表示画面において指やタッチペンが接触した部分が反射光によって明るくなる場合について考えてみる。各受光信号の信号レベルは、液晶表示装置１の周囲が明るい場合と同様に、“０”（暗）〜“１００”（明）までの範囲内の値をとる一方、閾値Ｔ２は“６５”に設定されているものとする。この場合、制御回路３００では、信号レベルが“６５”以上の受光信号を２値化信号“１”へ変換する一方、信号レベルが“６５”未満の受光信号を２値化信号“０”へ変換する。   For example, let us consider a case where the periphery of the liquid crystal display device 1 is bright and a portion of the display screen that is touched by a finger or a touch pen becomes a shadow. It is assumed that the signal level of each light reception signal takes a value in the range from “0” (dark) to “100” (bright), while the threshold T1 is set to “10”. In this case, the control circuit 300 converts the received light signal with a signal level less than “10” into a binarized signal “1”, while the received light signal with a signal level of “10” or higher into a binarized signal “0”. Convert. Next, consider the case where the periphery of the liquid crystal display device 1 is dark and the portion of the display screen that is touched by a finger or a touch pen is brightened by reflected light. The signal level of each light reception signal takes a value in the range from “0” (dark) to “100” (bright), as in the case where the periphery of the liquid crystal display device 1 is bright, while the threshold T2 is “65”. It is assumed that it is set to. In this case, the control circuit 300 converts a light reception signal having a signal level of “65” or higher into a binarized signal “1”, while a light reception signal having a signal level lower than “65” is converted into a binarized signal “0”. Convert.

図２は、このような２値化処理によって得られる１画面分の２値化信号について示す模式図である。同図に示す例では、画像表示領域Ａ（表示画面）において（２,２），（２,３），（３,２），（３,３）の部分に配置された４個の光検出回路Ｏ１から読み出した各受光信号について、２値化信号の値が“１”になっている。上述したように２値化信号の値が“１”になる部分は、液晶表示装置１の周囲が明るい場合であれば、受光信号の信号レベルが閾値Ｔ１“１０”未満となる影の部分、逆に、液晶表示装置１の周囲が暗い場合であれば、受光信号の信号レベルが閾値Ｔ２“６５”以上となる反射光の強い部分であり、表示画面において指やタッチペンが接触している部分になる。したがって、制御回路３００では、１画面分の２値化信号（ｍ×ｎ個）の中に信号値が“１”となる２値化信号が含まれている場合に、タッチがあると判定する一方、信号値が“１”となる２値化信号が含まれていない場合に、タッチがないと判定することができる。   FIG. 2 is a schematic diagram showing a binarized signal for one screen obtained by such binarization processing. In the example shown in the figure, in the image display area A (display screen), four light detections arranged in the portions (2, 2), (2, 3), (3, 2), (3, 3) For each light reception signal read from the circuit O1, the value of the binarized signal is “1”. As described above, the portion where the value of the binarized signal is “1” is a shadow portion where the signal level of the received light signal is less than the threshold T1 “10” if the periphery of the liquid crystal display device 1 is bright, On the other hand, if the periphery of the liquid crystal display device 1 is dark, it is a portion of the reflected light where the signal level of the received light signal is equal to or higher than the threshold value T2 “65”, and the portion where the finger or touch pen is in contact with the display screen become. Therefore, the control circuit 300 determines that there is a touch when a binarized signal (m × n) for one screen includes a binarized signal whose signal value is “1”. On the other hand, when the binarized signal whose signal value is “1” is not included, it can be determined that there is no touch.

また、制御回路３００では、タッチがあると判定した場合に、２値化信号の値が“１”となる光検出回路Ｏ１の配列位置（Ｘ,Ｙ）から、指やタッチペンによる表示画面上のタッチ位置を検出する。例えば、図２に示した例では、２値化信号の値が“１”となる４個の光検出回路Ｏ１（２,２），（２,３），（３,２），（３,３）の部分がタッチ位置として検出される。   When the control circuit 300 determines that there is a touch, the control circuit 300 starts from the arrangement position (X, Y) of the light detection circuit O1 at which the value of the binarized signal is “1” on the display screen with a finger or a touch pen. Detect touch position. For example, in the example shown in FIG. 2, four photodetection circuits O1 (2,2), (2,3), (3,2), (3, The part 3) is detected as the touch position.

なお、例えば、表示画面上にごみ等が付着して小さな影ができてしまうことがある。また、タッチ入力を意図せずに手のひら全体で表示画面に触れてしまうようなこともある。これらを指やタッチペンによる表示画面へのタッチと誤判定しないよう、制御回路３００では、１画面分の２値化信号のうち、信号値が“１”となる２値化信号の個数を計数し、計数値に基づいてタッチの有無を判定することができる。例えば、制御回路３００では、上述した計数値が所定値以上の場合にタッチがあると判定する一方、計数値が所定値未満の場合にタッチがないと判定してもよい。また、例えば、指やタッチペンの接触面積と、表示画面における光検出回路Ｏ１の配列密度から、指やタッチペンが表示画面に接触した場合に信号値が“１”となる２値化信号の個数の上限値と下限値を設定し、これをメモリに記憶しておく。そして、制御回路３００では、上述した計数値がメモリに記憶された上限値と下限値によって定まる範囲内の値である場合に、タッチがあると判定する一方、計数値が上述した範囲内の値でない場合に、タッチがないと判定してもよい。さらに、信号値が“１”となる複数の２値化信号について、これに対応する光検出回路Ｏ１が隣接しているか否かを考慮するようにしてもよい。また、１画面分の各２値化信号の値を、対応する光検出回路Ｏ１の配列に従って並べ、“１”の部分を黒、“０”の部分を白とした２値画像を作成し、この２値画像の黒の部分の形状が、楕円形や円形（指やタッチペンを表示画面に接触させたときの接触面の形状）であるかを考慮するようにしてもよい。   For example, dust or the like may adhere to the display screen and a small shadow may be formed. In addition, there is a case where the entire palm touches the display screen without intending touch input. The control circuit 300 counts the number of binarized signals whose signal value is “1” among the binarized signals for one screen so that these are not erroneously determined as touches on the display screen with a finger or a touch pen. The presence or absence of touch can be determined based on the count value. For example, the control circuit 300 may determine that there is a touch when the above-described count value is equal to or greater than a predetermined value, and may determine that there is no touch when the count value is less than the predetermined value. Further, for example, from the contact area of the finger or touch pen and the arrangement density of the light detection circuits O1 on the display screen, the number of binarized signals whose signal value becomes “1” when the finger or touch pen touches the display screen is calculated. An upper limit value and a lower limit value are set and stored in the memory. The control circuit 300 determines that there is a touch when the above-described count value is within a range determined by the upper limit value and the lower limit value stored in the memory, while the count value is a value within the above-described range. If not, it may be determined that there is no touch. Furthermore, regarding a plurality of binarized signals having a signal value “1”, it may be considered whether or not the corresponding photodetector circuit O1 is adjacent. Further, the binarized signal values for one screen are arranged in accordance with the arrangement of the corresponding photodetection circuit O1, and a binary image is created in which “1” is black and “0” is white. You may make it consider whether the shape of the black part of this binary image is an ellipse or circular (shape of a contact surface when a finger | toe or a touch pen is made to contact a display screen).

なお、指やタッチペンの接触に伴って表示画面上に生じる影の大きさと反射光の当たる部分の大きさとは異なる。したがって、液晶表示装置１の周囲が明るい場合と暗い場合では、計数値と比較する上限値や下限値等の値が異なる。   It should be noted that the size of the shadow generated on the display screen when the finger or the touch pen touches is different from the size of the portion where the reflected light strikes. Therefore, when the surroundings of the liquid crystal display device 1 are bright and dark, values such as an upper limit value and a lower limit value to be compared with the count value are different.

ところで、液晶表示装置１では、［１］画像表示領域Ａに備わる総ての光検出回路Ｏ１から受光信号を読み出し、［２］読み出した１画面分の受光信号に基づいてタッチの有無を判定し、［３］タッチがあると判定した場合にはそのタッチ位置を検出する、という［１］〜［３］までのタッチ入力機能に関する１サイクル分の処理を、６０Ｈｚまたは１２０Ｈｚごとに行う。液晶表示装置１は、タッチ入力機能に関する動作モードとして通常モードと高速モードを備えており、上述した１サイクル分の処理を通常モードであれば６０Ｈｚごとに、高速モードであれば１２０Ｈｚごとに行う。   By the way, in the liquid crystal display device 1, [1] light reception signals are read from all the light detection circuits O1 provided in the image display area A, and [2] the presence / absence of touch is determined based on the read light reception signals for one screen. [3] When it is determined that there is a touch, a process for one cycle related to the touch input function from [1] to [3], in which the touch position is detected, is performed every 60 Hz or 120 Hz. The liquid crystal display device 1 includes a normal mode and a high-speed mode as operation modes related to the touch input function, and performs the above-described processing for one cycle every 60 Hz in the normal mode and every 120 Hz in the high-speed mode.

このため制御回路３００では、１サイクル分の処理を通常モードであれば６０Ｈｚごとに、また高速モードであれば１２０Ｈｚごとに行うことができるよう、センサ用走査回路５００と受光信号処理回路６００を制御して各光検出回路Ｏ１から受光信号を読み出す。例えば、高速モードの場合には、通常モードの場合の半分の時間で１画面分の受光信号（ｍ×ｎ個）を読み出すことができるよう、センサ用走査回路５００においてｍ本の走査線の各々を選択するタイミングが制御される一方、受光信号処理回路６００においてｎ本の読出線を使用して受光信号を読み出すタイミングが制御される。これにより１画面分の受光信号（ｍ×ｎ個）は、通常モードであれば１秒間に６０回の割合で読み出され、高速モードであれば１秒間に１２０回の割合で読み出されることになる。   For this reason, the control circuit 300 controls the sensor scanning circuit 500 and the received light signal processing circuit 600 so that one cycle of processing can be performed every 60 Hz in the normal mode and every 120 Hz in the high speed mode. Then, the light reception signal is read from each photodetection circuit O1. For example, in the case of the high-speed mode, each of the m scanning lines is detected in the sensor scanning circuit 500 so that the light reception signals (m × n) for one screen can be read out in half the time in the normal mode. Is controlled, while the timing of reading the received light signal using the n readout lines in the received light signal processing circuit 600 is controlled. As a result, light reception signals (m × n) for one screen are read at a rate of 60 times per second in the normal mode, and at a rate of 120 times per second in the high speed mode. Become.

なお、タッチ入力機能に関する１サイクル分の処理には、上述したようにタッチの有無を判定する処理やタッチ位置を検出する処理が含まれるため、１画面分の受光信号（ｍ×ｎ個）を読み出す実時間は、１サイクル分の処理を行う１周期分の時間よりも短い時間となる。例えば、１画面分の受光信号を読み出す実時間は、通常モードであれば１６．６ｍｓよりも短い所定の時間幅に設定され、高速モードであれば８．３ｍｓよりも短い所定の時間幅に設定される。   Note that the processing for one cycle related to the touch input function includes the processing for determining the presence or absence of touch and the processing for detecting the touch position as described above, and therefore, the received light signals (m × n) for one screen are included. The actual time for reading is shorter than the time for one cycle in which processing for one cycle is performed. For example, the actual time for reading the received light signal for one screen is set to a predetermined time width shorter than 16.6 ms in the normal mode, and set to a predetermined time width shorter than 8.3 ms in the high speed mode. Is done.

また、制御回路３００では、複数の受光信号に基づいて環境光の照度を算出し、算出した照度が所定値以上の場合は、液晶表示装置１の周囲が明るい場合であると判別する一方、算出した照度が所定値未満の場合は、液晶表示装置１の周囲が暗い場合であると判別する。なお、環境光の照度は、例えば、１画面分の受光信号についてその信号レベルの平均値を求めることによって算出される。また、１画面分の受光信号を総て使用せずとも、例えば、画像表示領域Ａの四隅に位置する所定数の光検出回路Ｏ１から読み出した受光信号を使用してもよいし、画像表示領域Ａの中央に位置する所定数の光検出回路Ｏ１から読み出した受光信号を使用してもよい。   In addition, the control circuit 300 calculates the illuminance of the ambient light based on the plurality of light reception signals. If the calculated illuminance is greater than or equal to a predetermined value, it is determined that the surroundings of the liquid crystal display device 1 are bright. If the illuminance is less than the predetermined value, it is determined that the surrounding of the liquid crystal display device 1 is dark. The illuminance of the ambient light is calculated, for example, by obtaining an average value of the signal levels of the light reception signals for one screen. In addition, for example, light reception signals read from a predetermined number of light detection circuits O1 located at the four corners of the image display area A may be used without using all the light reception signals for one screen. A light reception signal read from a predetermined number of photodetection circuits O1 located at the center of A may be used.

また、制御回路３００では、検出したタッチ位置の軌跡を示す画像を生成し、この画像を、指やタッチペンによって描かれた文字や絵等の手書き画像として画像表示領域Ａに表示することができる。この場合には、制御回路３００によって生成された手書き画像のデータが入力画像データＤinとして画像処理回路４００に供給される。   In addition, the control circuit 300 can generate an image indicating the locus of the detected touch position, and display this image in the image display area A as a handwritten image such as a character or a picture drawn with a finger or a touch pen. In this case, handwritten image data generated by the control circuit 300 is supplied to the image processing circuit 400 as input image data Din.

図３は、本実施形態に係るモード切替処理１，２の流れを示すフローチャートである。
同図（ａ）に示すモード切替処理１は、動作モードが通常モードである場合に実行される。なお、液晶表示装置１では、例えば、ユーザによってタッチ入力機能をオンにすることが指示されると、タッチ入力の受付を開始した後、動作モードを通常モードに移行させる。あるいは基本的に総ての操作を指やタッチペンによるタッチ入力で行う液晶表示装置１であれば、電源スイッチが押されて初期処理を終えた後に、タッチ入力の受付を開始して動作モードを通常モードに移行させる。前述したように通常モードでは、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われている。制御回路３００では、まず、新たに読み出した１画面分の受光信号（ｍ×ｎ個）に基づいて、タッチの有無、すなわち指やタッチペンが表示画面に接触しているか、それとも非接触であるかを判定する（ステップＳ１０１）。 FIG. 3 is a flowchart showing the flow of the mode switching processes 1 and 2 according to the present embodiment.
The mode switching process 1 shown in FIG. 5A is executed when the operation mode is the normal mode. In the liquid crystal display device 1, for example, when the user instructs to turn on the touch input function, the operation mode is shifted to the normal mode after the reception of the touch input is started. Alternatively, in the case of the liquid crystal display device 1 that basically performs all operations by touch input with a finger or a touch pen, after the power switch is pressed and the initial process is completed, reception of touch input is started and the operation mode is set to normal. Switch to mode. As described above, in the normal mode, processing for one cycle related to the touch input function is performed every 60 Hz. In the control circuit 300, first, based on the newly read light reception signals (m × n) for one screen, the presence / absence of touch, that is, whether the finger or the touch pen is in contact with the display screen or is not in contact with it. Is determined (step S101).

具体的には前述したように、まず、制御回路３００では、１画面分の各受光信号について、その信号レベルを閾値（詳細には、後述する閾値Ｔ１60またはＴ２60）と比較し、２値化信号に変換する。なお、ここで使用する閾値は、基本的に、後述するモード切替処理２のステップＳ２０３で設定されるが、環境光の測定結果に基づいて、液晶表示装置１の周囲が明るい状態から暗い状態に変化した場合や、逆に暗い状態から明るい状態に変化した場合は、閾値Ｔ１60と閾値Ｔ２60の間で適宜変更される。つまり、液晶表示装置１の周囲が明るい場合であれば閾値Ｔ１60が使用され、液晶表示装置１の周囲が暗い場合であれば閾値Ｔ２60が使用される。次いで、制御回路３００では、生成した１画面分の２値化信号（ｍ×ｎ個）について、例えば、信号値が“１”となる２値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、タッチがあると判定する一方（ステップＳ１０１：ＹＥＳ）、計数値が上述した範囲内の値でない場合に、タッチがないと判定する（ステップＳ１０１：ＮＯ）。なお、前述したように計数値と比較する上限値や下限値の値は、液晶表示装置１の周囲が明るい場合と暗い場合で異なる。 Specifically, as described above, first, the control circuit 300 compares the signal level of each light reception signal for one screen with a threshold value (specifically, a threshold value T1 60 or T2 60 described later) to obtain a binary value. Converted into a digitized signal. Note that the threshold value used here is basically set in step S203 of the mode switching process 2 to be described later. Based on the measurement result of the ambient light, the periphery of the liquid crystal display device 1 is changed from a bright state to a dark state. When it changes, or conversely changes from a dark state to a bright state, it is appropriately changed between the threshold value T1 60 and the threshold value T2 60 . That is, the threshold value T1 60 is used when the periphery of the liquid crystal display device 1 is bright, and the threshold value T2 60 is used when the periphery of the liquid crystal display device 1 is dark. Next, the control circuit 300 counts, for example, the number of binarized signals whose signal value is “1” for the generated binarized signals (m × n) for one screen, and the count value is stored in the memory. While it is determined that there is a touch when the value is within a range determined by the stored upper limit value and lower limit value (step S101: YES), there is no touch when the count value is not within the above range. (Step S101: NO). As described above, the upper limit value and the lower limit value to be compared with the count value differ depending on whether the periphery of the liquid crystal display device 1 is bright or dark.

ステップＳ１０１においてタッチがないと判定した場合は、モード切替処理１を終える。この場合、動作モードは通常モードのままである。一方、ステップＳ１０１においてタッチがあると判定した場合、制御回路３００では、タッチがあるとの判定結果を連続して得ている状態が所定時間（例えば、０．２秒）以上継続しているか否かを判定する（ステップＳ１０２）。前述したように通常モードでは、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われているので、ステップＳ１０１の判定結果は６０Ｈｚごとに得られる。したがって、制御回路３００では、タッチがあるとの判定結果を連続して得ている回数を計数し、この計数値が上述した所定時間に相当する回数に到達したか否かを判定すればよい。なお、所定時間は、上述した０．２秒に限らず、例えば、１０秒や１分、５分等、任意の時間幅に設定することができる。   If it is determined in step S101 that there is no touch, the mode switching process 1 ends. In this case, the operation mode remains the normal mode. On the other hand, when it is determined in step S101 that there is a touch, whether or not the control circuit 300 continuously obtains the determination result that there is a touch continues for a predetermined time (for example, 0.2 seconds) or not. Is determined (step S102). As described above, in the normal mode, processing for one cycle related to the touch input function is performed every 60 Hz, and therefore the determination result of step S101 is obtained every 60 Hz. Therefore, the control circuit 300 may count the number of times that the determination result that there is a touch is continuously obtained, and determine whether or not the counted value has reached the number of times corresponding to the predetermined time described above. The predetermined time is not limited to the above-described 0.2 seconds, and can be set to an arbitrary time width such as 10 seconds, 1 minute, 5 minutes, or the like.

ステップＳ１０２において所定時間以上継続していないと判定した場合は、モード切替処理１を終える。この場合も動作モードは通常モードのままである。一方、ステップＳ１０２において所定時間以上継続していると判定した場合、制御回路３００では、動作モードを通常モードから高速モードに切替える（ステップＳ１０３）。これによりタッチ入力機能に関する１サイクル分の処理を行う周期が６０Ｈｚから１２０Ｈｚに変更される。このように制御回路３００では、通常モードにおいて、指やタッチペンが表示画面に接触し続けている時間を計時し、計時時間が所定時間以上となった場合に、動作モードを高速モードに切替える。   If it is determined in step S102 that it has not continued for a predetermined time or longer, the mode switching process 1 is finished. Also in this case, the operation mode remains the normal mode. On the other hand, if it is determined in step S102 that the operation has continued for a predetermined time or longer, the control circuit 300 switches the operation mode from the normal mode to the high speed mode (step S103). As a result, the cycle for performing processing for one cycle related to the touch input function is changed from 60 Hz to 120 Hz. As described above, the control circuit 300 measures the time during which the finger or the touch pen keeps touching the display screen in the normal mode, and switches the operation mode to the high-speed mode when the measured time exceeds a predetermined time.

なお、動作モードを高速モードに切替える場合には、周期の変更（→１２０Ｈｚ）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００では、この制御信号を受信すると、１画面分の受光信号を読み出す周期が１２０Ｈｚとなるようにｍ本の走査線の各々を選択するタイミングを変更し、高速モードの場合の動作を開始する。同様に受光信号処理回路６００でも制御信号の受信に応じて、１画面分の受光信号を読み出す周期が１２０Ｈｚとなるようにｎ本の読出線を使用して受光信号を読み出すタイミングを変更し、高速モードの場合の動作を開始する。これにより、１２０Ｈｚごとに新たな１画面分の受光信号（ｍ×ｎ個）が読み出されるようになる。   When the operation mode is switched to the high-speed mode, a control signal instructing a change in cycle (→ 120 Hz) is sent from the control circuit 300 to the sensor scanning circuit 500 and the received light signal processing circuit 600. When the sensor scanning circuit 500 receives this control signal, the timing for selecting each of the m scanning lines is changed so that the period for reading the received light signal for one screen is 120 Hz, and the operation in the high-speed mode is performed. To start. Similarly, in the light reception signal processing circuit 600, in response to the reception of the control signal, the timing for reading the light reception signal using n readout lines is changed so that the period for reading the light reception signal for one screen becomes 120 Hz, and the high speed is achieved. Start operation in mode. As a result, a new light reception signal (m × n) for one screen is read every 120 Hz.

また、制御回路３００では、動作モードを高速モードに切替えたことに応じて、２値化処理の際に使用する閾値の値を変更する（ステップＳ１０４）。動作モードを通常モード（６０Ｈｚ）から高速モード（１２０Ｈｚ）に切替えると、各受光信号の読み出し周期も短くなる。光検出回路Ｏ１は、受光量に応じた信号レベルの受光信号を出力するが、例えば、受光信号の読み出し周期が半分の時間になると、光検出回路Ｏ１内に備わるコンデンサに蓄積される電荷の量が半減してしまうため、出力される受光信号の信号レベルもその分だけ減ってしまう。このため、制御回路３００では、上述した２値化処理の際に使用する閾値の値を、高速モードの場合には通常モードの場合よりも下げる必要がある。   Further, the control circuit 300 changes the threshold value used in the binarization process in response to switching the operation mode to the high speed mode (step S104). When the operation mode is switched from the normal mode (60 Hz) to the high-speed mode (120 Hz), the read cycle of each received light signal is also shortened. The light detection circuit O1 outputs a light reception signal having a signal level corresponding to the amount of light received. For example, when the light reception signal read cycle reaches half time, the amount of charge accumulated in a capacitor provided in the light detection circuit O1. Therefore, the signal level of the received light reception signal is also reduced accordingly. For this reason, in the control circuit 300, it is necessary to lower the threshold value used in the above-described binarization processing in the high-speed mode than in the normal mode.

例えば、液晶表示装置１の周囲が明るい場合であって、かつ通常モード（６０Ｈｚ）の場合に使用する閾値を閾値Ｔ１60、液晶表示装置１の周囲が明るい場合であって、かつ高速モード（１２０Ｈｚ）の場合に使用する閾値を閾値Ｔ１120、液晶表示装置１の周囲が暗い場合であって、かつ通常モード（６０Ｈｚ）の場合に使用する閾値を閾値Ｔ２60、液晶表示装置１の周囲が暗い場合であって、かつ高速モード（１２０Ｈｚ）の場合に使用する閾値を閾値Ｔ２120としたとき、これらの閾値Ｔ１60，Ｔ１120，Ｔ２60，Ｔ２120は、動作モード（あるいは周期）や周囲の明るさに関する情報と対応付けられて液晶表示装置１内のメモリ（図示略）に記憶されている。したがって、制御回路３００では、環境光の測定結果に基づいて液晶表示装置１の周囲の明るさを判別し、液晶表示装置１の周囲が明るい場合は、メモリから閾値Ｔ１120を読み出し、この閾値Ｔ１120を２値化処理の際に使用する閾値として設定する。また、制御回路３００では、液晶表示装置１の周囲が暗い場合は、メモリから閾値Ｔ２120を読み出し、この閾値Ｔ２120を２値化処理の際に使用する閾値として設定する。つまり、ステップＳ１０４に示す処理により、２値化処理の際に使用する閾値は、液晶表示装置１の周囲が明るい場合であれば、閾値Ｔ１60から閾値Ｔ１120に変更される。また、液晶表示装置１の周囲が暗い場合であれば、閾値Ｔ２60から閾値Ｔ２120に変更される。 For example, when the surroundings of the liquid crystal display device 1 are bright and the threshold used in the normal mode (60 Hz) is the threshold T1 60 , the surroundings of the liquid crystal display device 1 are bright and the high-speed mode (120 Hz). ) Is the threshold value T1 120 , and the surroundings of the liquid crystal display device 1 are dark, and the threshold value used in the normal mode (60 Hz) is the threshold value T2 60 , and the surroundings of the liquid crystal display device 1 are dark. In this case, when the threshold used in the high-speed mode (120 Hz) is the threshold T2 120 , these thresholds T1 60 , T1 120 , T2 60 , and T2 120 are determined depending on the operation mode (or cycle) and the surroundings. It is stored in a memory (not shown) in the liquid crystal display device 1 in association with information on brightness. Therefore, the control circuit 300 discriminates the brightness around the liquid crystal display device 1 based on the measurement result of the ambient light. If the surroundings of the liquid crystal display device 1 are bright, the threshold value T1 120 is read from the memory, and the threshold value T1 120 is set as a threshold value used in the binarization process. Further, the control circuit 300, when the periphery of the liquid crystal display device 1 is dark, reads the threshold T2 120 from the memory and set as a threshold value using this threshold T2 120 during binarization. That is, the threshold value used in the binarization process is changed from the threshold value T1 60 to the threshold value T1 120 if the surroundings of the liquid crystal display device 1 are bright by the process shown in step S104. Further, in the case around the liquid crystal display device 1 is dark, it is changed from the threshold value T2 60 to the threshold T2 120.

なお、光検出回路Ｏ１における受光量の測定方法や、指やタッチペンが表示画面に接触したことを検知するセンサの種類によっては、ステップＳ１０４において閾値を変更しなくてもよい場合がある。このような場合には、ステップＳ１０３に示す処理を行った後、ステップＳ１０４に示す処理を行わずにモード切替処理１を終える。   Note that the threshold value may not be changed in step S104 depending on the method of measuring the amount of light received by the light detection circuit O1 and the type of sensor that detects that a finger or a touch pen touches the display screen. In such a case, after performing the process shown in step S103, the mode switching process 1 is terminated without performing the process shown in step S104.

また、図３（ａ）に示したモード切替処理１では、指やタッチペンが表示画面に接触し続けている時間を計時し、計時時間が所定時間以上となった場合に（ステップＳ１０２：ＹＥＳ）、動作モードを通常モードから高速モードに移行させるようにしたが、指やタッチペンが表示画面に接触していると判定すると（ステップＳ１０１：ＹＥＳ）、その接触時間には係らず、直ちに動作モードを通常モードから高速モードに移行させる構成であってもよい。   Further, in the mode switching process 1 shown in FIG. 3A, the time during which the finger or the touch pen keeps touching the display screen is counted, and when the measured time becomes a predetermined time or more (step S102: YES). The operation mode is changed from the normal mode to the high-speed mode. If it is determined that the finger or the touch pen is in contact with the display screen (step S101: YES), the operation mode is immediately switched regardless of the contact time. It may be configured to shift from the normal mode to the high-speed mode.

但し、例えば、画面上に表示されているボタンを指やタッチペンでタッチする場合のように、タッチ入力が僅かな時間で済むのであれば、指やタッチペンが表示画面に接触したことに応じて動作モードを高速モード（１２０Ｈｚ）に切替えても、すぐに通常モード（６０Ｈｚ）に戻さなければならない。このため、動作モードの切替えが煩雑になるだけで、かえって消費電力が増えてしまう。また、動作モードを高速モード（１２０Ｈｚ）にすることでタッチ位置の検出に関する時間的な分解能を高め、高い追従性を得ることができるが、このような高い追従性が必要となるのは、手書き文字や絵を入力している場合等、指やタッチペンを表示画面に一定時間以上接触させ続けている場合である。したがって、接触時間が所定時間以上となった場合に動作モードを通常モードから高速モードに移行させる構成であると、接触時間を考慮せず、指やタッチペンが表示画面に接触したことに応じて直ちに動作モードを通常モードから高速モードに移行させる場合に比べ、より一層の低消費電力化を図ることができる。   However, if touch input is only a short time, for example, when a button displayed on the screen is touched with a finger or a touch pen, it operates in response to the finger or touch pen touching the display screen. Even if the mode is switched to the high-speed mode (120 Hz), the normal mode (60 Hz) must be immediately restored. For this reason, only the operation mode switching becomes complicated, and the power consumption increases. In addition, by setting the operation mode to the high speed mode (120 Hz), the temporal resolution related to the detection of the touch position can be improved and high followability can be obtained. However, such high followability is required for handwriting. This is a case where a finger or a touch pen is kept in contact with the display screen for a predetermined time or longer, such as when characters or pictures are input. Therefore, if the operation mode is shifted from the normal mode to the high-speed mode when the contact time exceeds a predetermined time, the contact time is not taken into consideration and the finger or the touch pen immediately touches the display screen. Compared with the case where the operation mode is shifted from the normal mode to the high-speed mode, the power consumption can be further reduced.

一方、図３（ｂ）に示すモード切替処理２は、動作モードが高速モードである場合に実行される。前述したように高速モードでは、タッチ入力機能に関する１サイクル分の処理が１２０Ｈｚごとに行われている。制御回路３００では、まず、新たに読み出した１画面分の受光信号（ｍ×ｎ個）に基づいて、タッチの有無を判定する（ステップＳ２０１）。なお、ステップＳ２０１では、基本的に、前述したモード切替処理１のステップＳ１０１と同様の方法でタッチの有無を判定することになるが、相違するのは、２値化処理の際に使用する閾値が、Ｔ１60またはＴ２60ではなく、Ｔ１120またはＴ２120になる点である。 On the other hand, the mode switching process 2 shown in FIG. 3B is executed when the operation mode is the high speed mode. As described above, in the high-speed mode, processing for one cycle related to the touch input function is performed every 120 Hz. In the control circuit 300, first, the presence or absence of a touch is determined based on the newly read light reception signals (m × n) for one screen (step S201). In step S201, basically, the presence or absence of touch is determined in the same manner as in step S101 of the mode switching process 1 described above, but the difference is the threshold value used in the binarization process. Is not T1 60 or T2 60 but T1 120 or T2 120 .

すなわち、制御回路３００では、まず、１画面分の各受光信号について、その信号レベルを閾値Ｔ１120または閾値Ｔ２120と比較し、２値化信号に変換する。なお、ここで使用する閾値は、基本的に、前述したモード切替処理１のステップＳ１０４で設定されるが、環境光の測定結果に基づいて、液晶表示装置１の周囲が明るい状態から暗い状態に変化した場合や、逆に暗い状態から明るい状態に変化した場合は、閾値Ｔ１120と閾値Ｔ２120の間で適宜変更される。つまり、液晶表示装置１の周囲が明るい場合であれば閾値Ｔ１120が使用され、液晶表示装置１の周囲が暗い場合であれば閾値Ｔ２120が使用される。次いで、制御回路３００では、生成した１画面分の２値化信号（ｍ×ｎ個）について、例えば、信号値が“１”となる２値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、タッチがあると判定する一方（ステップＳ２０１：ＮＯ）、計数値が上述した範囲内の値でない場合に、タッチがないと判定する（ステップＳ２０１：ＹＥＳ）。なお、前述したように計数値と比較する上限値や下限値の値は、液晶表示装置１の周囲が明るい場合と暗い場合で異なる。 That is, the control circuit 300 first compares the signal level of each light reception signal for one screen with the threshold value T1 120 or the threshold value T2 120 and converts it to a binary signal. Note that the threshold value used here is basically set in step S104 of the mode switching process 1 described above. Based on the measurement result of the ambient light, the periphery of the liquid crystal display device 1 is changed from a bright state to a dark state. When it changes, or conversely changes from a dark state to a bright state, it is appropriately changed between the threshold value T1 120 and the threshold value T2 120 . That is, the threshold value T1 120 is used when the periphery of the liquid crystal display device 1 is bright, and the threshold value T2 120 is used when the periphery of the liquid crystal display device 1 is dark. Next, the control circuit 300 counts, for example, the number of binarized signals whose signal value is “1” for the generated binarized signals (m × n) for one screen, and the count value is stored in the memory. When the value is within the range determined by the stored upper limit value and lower limit value, it is determined that there is a touch (step S201: NO), but when the count value is not within the above range, there is no touch. (Step S201: YES). As described above, the upper limit value and the lower limit value to be compared with the count value differ depending on whether the periphery of the liquid crystal display device 1 is bright or dark.

ステップＳ２０１においてタッチがあると判定した場合は、モード切替処理２を終える。この場合、動作モードは高速モードのままである。一方、ステップＳ２０１においてタッチがないと判定した場合、制御回路３００では、動作モードを高速モードから通常モードに切替える（ステップＳ２０２）。これによりタッチ入力機能に関する１サイクル分の処理を行う周期が１２０Ｈｚから６０Ｈｚに変更される。このように制御回路３００では、高速モードにおいて、指やタッチペンが表示画面から離れたことを検知すると、動作モードを通常モードに切替える。   If it is determined in step S201 that there is a touch, the mode switching process 2 ends. In this case, the operation mode remains the high speed mode. On the other hand, if it is determined in step S201 that there is no touch, the control circuit 300 switches the operation mode from the high speed mode to the normal mode (step S202). As a result, the cycle for performing processing for one cycle related to the touch input function is changed from 120 Hz to 60 Hz. As described above, when the control circuit 300 detects that the finger or the touch pen has left the display screen in the high-speed mode, the operation mode is switched to the normal mode.

なお、動作モードを通常モードに切替える場合には、周期の変更（→６０Ｈｚ）を指示する制御信号が制御回路３００からセンサ用走査回路５００と受光信号処理回路６００に送られる。センサ用走査回路５００では、この制御信号を受信すると、１画面分の受光信号を読み出す周期が６０Ｈｚとなるようにｍ本の走査線の各々を選択するタイミングを変更し、通常モードの場合の動作を開始する。同様に受光信号処理回路６００でも制御信号の受信に応じて、１画面分の受光信号を読み出す周期が６０Ｈｚとなるようにｎ本の読出線を使用して受光信号を読み出すタイミングを変更し、通常モードの場合の動作を開始する。これにより、６０Ｈｚごとに新たな１画面分の受光信号（ｍ×ｎ個）が読み出されるようになる。   When the operation mode is switched to the normal mode, a control signal instructing a change in cycle (→ 60 Hz) is sent from the control circuit 300 to the sensor scanning circuit 500 and the received light signal processing circuit 600. When the sensor scanning circuit 500 receives this control signal, the timing for selecting each of the m scanning lines is changed so that the period for reading the light reception signal for one screen is 60 Hz, and the operation in the normal mode is performed. To start. Similarly, in the light reception signal processing circuit 600, in response to reception of the control signal, the timing for reading the light reception signal using n readout lines is changed so that the period for reading the light reception signal for one screen is 60 Hz. Start operation in mode. As a result, a new light reception signal (m × n) for one screen is read every 60 Hz.

また、制御回路３００では、動作モードを通常モードに切替えたことに応じて、２値化処理の際に使用する閾値の値を変更する（ステップＳ２０３）。前述したように液晶表示装置１内のメモリには、閾値Ｔ１60，Ｔ１120，Ｔ２60，Ｔ２120が記憶されているので、制御回路３００では、環境光の測定結果に基づいて液晶表示装置１の周囲の明るさを判別し、液晶表示装置１の周囲が明るい場合は、メモリから閾値Ｔ１60を読み出し、この閾値Ｔ１60を２値化処理の際に使用する閾値として設定する。また、制御回路３００では、液晶表示装置１の周囲が暗い場合は、メモリから閾値Ｔ２60を読み出し、この閾値Ｔ２60を２値化処理の際に使用する閾値として設定する。つまり、ステップＳ２０３に示す処理により、２値化処理の際に使用する閾値は、液晶表示装置１の周囲が明るい場合であれば、閾値Ｔ１120から閾値Ｔ１60に変更される。また、液晶表示装置１の周囲が暗い場合であれば、閾値Ｔ２120から閾値Ｔ２60に変更される。 In addition, the control circuit 300 changes the threshold value used in the binarization process in response to switching the operation mode to the normal mode (step S203). As described above, since the threshold values T1 60 , T1 120 , T2 60 , and T2 120 are stored in the memory in the liquid crystal display device 1, the control circuit 300 uses the liquid crystal display device 1 based on the measurement result of the ambient light. When the surroundings of the liquid crystal display device 1 are bright, the threshold value T1 60 is read from the memory, and this threshold value T1 60 is set as a threshold value used in the binarization process. Further, the control circuit 300, when the periphery of the liquid crystal display device 1 is dark, reads the threshold T2 60 from the memory is set as a threshold value using this threshold T2 60 during the binarization processing. That is, the threshold value used in the binarization process is changed from the threshold value T1 120 to the threshold value T1 60 if the surroundings of the liquid crystal display device 1 are bright by the process shown in step S203. Further, in the case around the liquid crystal display device 1 is dark, it is changed from the threshold value T2 120 to the threshold T2 60.

なお、光検出回路Ｏ１における受光量の測定方法や、指やタッチペンが表示画面に接触したことを検知するセンサの種類によっては、ステップＳ２０３において閾値を変更しなくてもよい場合がある。このような場合には、ステップＳ２０２に示す処理を行った後、ステップＳ２０３に示す処理を行わずにモード切替処理２を終える。   Note that the threshold value may not be changed in step S203 depending on the method of measuring the amount of light received by the light detection circuit O1 and the type of sensor that detects that a finger or a touch pen touches the display screen. In such a case, after performing the process shown in step S202, the mode switching process 2 ends without performing the process shown in step S203.

また、図３（ｂ）に示したモード切替処理２では、非接触であると判定すると（ステップＳ２０１：ＹＥＳ）、その継続時間には係らず、直ちに動作モードを高速モードから通常モードに移行させるようにしたが、ステップＳ２０１においてタッチの有無を判定した後、タッチがないとの判定結果を連続して得ている状態が所定時間（例えば、０．２秒）以上継続しているか否かを判定する構成として、非接触の状態が所定時間以上継続していると判定した場合に、動作モードを高速モードから通常モードに移行させる構成としてもよい。なお、ステップＳ２０１の判定結果は１２０Ｈｚごとに得られるので、制御回路３００では、タッチがないとの判定結果を連続して得ている回数を計数し、この計数値が上述した所定時間に相当する回数に到達したか否かを判定すればよい。   Further, in the mode switching process 2 shown in FIG. 3B, if it is determined that there is no contact (step S201: YES), the operation mode is immediately shifted from the high speed mode to the normal mode regardless of the duration. However, after determining whether or not there is a touch in step S201, it is determined whether or not a state in which a determination result that there is no touch is continuously obtained continues for a predetermined time (for example, 0.2 seconds) or not. As a configuration for determination, when it is determined that the non-contact state continues for a predetermined time or more, the operation mode may be shifted from the high speed mode to the normal mode. Since the determination result in step S201 is obtained every 120 Hz, the control circuit 300 counts the number of times the determination result that there is no touch is continuously obtained, and this count value corresponds to the predetermined time described above. It may be determined whether or not the number of times has been reached.

例えば、指やタッチペンによって手書き文字を入力する場合、次の字画に移る際に、指やタッチペンが僅かな時間ではあるが表示画面から一旦離れてしまうため、このような場合にいちいち動作モードを切替えていると、動作モードの切替えが煩雑になり逆に消費電力が増えてしまう。したがって、非接触の状態が所定時間以上継続している場合に動作モードを高速モードから通常モードに移行させる構成であると、継続時間を考慮せず、非接触であると判定したことに応じて直ちに動作モードを高速モードから通常モードに移行させる場合に比べ、より一層の低消費電力化を図ることができる。なお、所定時間は、上述した０．２秒に限らず、例えば、１０秒や５分、１０分等、任意の時間幅に設定することができる。   For example, when inputting handwritten characters with a finger or touch pen, when moving to the next stroke, the finger or touch pen temporarily leaves the display screen for a short time. If this is the case, the switching of the operation mode becomes complicated, and the power consumption increases. Therefore, when the non-contact state has continued for a predetermined time or longer, the operation mode is shifted from the high-speed mode to the normal mode. Compared with the case where the operation mode is immediately shifted from the high speed mode to the normal mode, the power consumption can be further reduced. The predetermined time is not limited to the above-described 0.2 seconds, and can be set to an arbitrary time width such as 10 seconds, 5 minutes, 10 minutes, or the like.

また、制御回路３００では、タッチ入力機能に関する１サイクル分の処理を通常モードであれば６０Ｈｚごとに、高速モードであれば１２０Ｈｚごとに行っており、この１サイクル分の処理によってタッチ位置を検出した場合に、検出したタッチ位置に基づいて手書き画像の表示を更新する。   Further, in the control circuit 300, processing for one cycle related to the touch input function is performed every 60 Hz in the normal mode and every 120 Hz in the high speed mode, and the touch position is detected by the processing for one cycle. In the case, the display of the handwritten image is updated based on the detected touch position.

図４は、モード切替処理１，２の概要を説明するための図である。
図４（ａ）および図４（ｂ）に示すように、画像表示領域Ａ（表示画面）の下方には、「書く」ボタンと「消す」ボタンが表示され、指やタッチペン５０によって「書く」ボタンの部分がタッチされると、その上方に設けられた手書入力領域Ｂに文字や絵等の手書き画像を入力することが可能になる。図４（ａ）の左側に示すように、指やタッチペン５０が表示画面（手書入力領域Ｂ）に触れていない場合は、動作モードが通常モードとなる。この場合は、タッチ入力機能に関する１サイクル分の処理が６０Ｈｚごとに行われる。また、図４（ａ）の右側に示すように、指やタッチペン５０を表示画面（手書入力領域Ｂ）に接触させた状態が所定時間以上継続すると、動作モードが高速モードに切替わる。この場合は、タッチ入力機能に関する１サイクル分の処理が１２０Ｈｚごとに行われる。また、図４（ｂ）に示すように、高速モードに移行した後、指やタッチペン５０が表示画面から離れると、動作モードが通常モードに切替わる。 FIG. 4 is a diagram for explaining an overview of the mode switching processes 1 and 2.
As shown in FIG. 4A and FIG. 4B, a “write” button and an “erase” button are displayed below the image display area A (display screen), and “write” is performed with a finger or the touch pen 50. When the button portion is touched, it becomes possible to input a handwritten image such as a character or a picture in a handwriting input area B provided above the button portion. As shown on the left side of FIG. 4A, when the finger or the touch pen 50 is not touching the display screen (handwriting input area B), the operation mode is the normal mode. In this case, processing for one cycle related to the touch input function is performed every 60 Hz. As shown on the right side of FIG. 4A, when the state in which the finger or the touch pen 50 is in contact with the display screen (handwriting input area B) continues for a predetermined time or more, the operation mode is switched to the high speed mode. In this case, processing for one cycle related to the touch input function is performed every 120 Hz. Further, as shown in FIG. 4B, when the finger or the touch pen 50 leaves the display screen after shifting to the high speed mode, the operation mode is switched to the normal mode.

このように本実施形態によれば、制御回路３００では、指やタッチペン５０が表示画面に接触し続けている時間を計時し、計時時間が所定時間未満の場合は、動作モードを通常モードにする。この場合、タッチ入力機能に関する１サイクル分の処理は６０Ｈｚごとに行われ、センサ用走査回路５００と受光信号処理回路６００は、１画面分の受光信号（ｍ×ｎ個）を６０Ｈｚごとに読み出す。また、制御回路３００では、計時時間が所定時間以上の場合は、動作モードを高速モードにする。この場合、タッチ入力機能に関する１サイクル分の処理は１２０Ｈｚごとに行われ、センサ用走査回路５００と受光信号処理回路６００は、１画面分の受光信号（ｍ×ｎ個）を１２０Ｈｚごとに読み出す。   As described above, according to the present embodiment, the control circuit 300 measures the time during which the finger or the touch pen 50 is in contact with the display screen, and when the time is less than the predetermined time, the operation mode is set to the normal mode. . In this case, processing for one cycle related to the touch input function is performed every 60 Hz, and the sensor scanning circuit 500 and the received light signal processing circuit 600 read out received light signals (m × n) for one screen every 60 Hz. Further, in the control circuit 300, when the measured time is equal to or longer than the predetermined time, the operation mode is set to the high speed mode. In this case, processing for one cycle related to the touch input function is performed every 120 Hz, and the sensor scanning circuit 500 and the received light signal processing circuit 600 read out received light signals (m × n) for one screen every 120 Hz.

したがって、指やタッチペン５０が表示画面に接触していない場合や、接触していてもその接触時間が所定時間未満の場合は、接触時間が所定時間以上の場合に比べ、１画面分の受光信号を読み出す頻度を１／２に減らすことができる。このため受光信号の読み出しや２値化処理に要する処理負荷を半減することが可能となり、液晶表示装置１の消費電力を低減することができる。一方、指やタッチペン５０が表示画面に所定時間以上接触している場合は、非接触の場合や接触時間が所定時間未満の場合に比べ、１画面分の受光信号を読み出す周期を短くしてタッチ位置の検出に関する時間的な分解能を高め、指やタッチペン５０が高速で移動した場合であってもこれに十分に追従することが可能になる。このように本実施形態によれば、１画面分の受光信号を読み出す周期を変更可能にし、指やタッチペン５０が表示画面に所定時間以上接触している場合においてのみ、短い周期で１画面分の受光信号を読み出すようにしたので、消費電力を低減しつつ、指やタッチペン５０が高速で移動した場合であってもこれに追従してタッチ入力をスムーズに行うことが可能になる。   Therefore, when the finger or the touch pen 50 is not in contact with the display screen, or when the finger or the touch pen 50 is in contact, the contact time is less than the predetermined time, the light reception signal for one screen is compared with the case where the contact time is longer than the predetermined time. Can be reduced to 1/2. For this reason, it becomes possible to halve the processing load required for reading out the received light signal and the binarization process, and the power consumption of the liquid crystal display device 1 can be reduced. On the other hand, when the finger or the touch pen 50 is in contact with the display screen for a predetermined time or longer, the period for reading the light reception signal for one screen is shortened compared to the case of non-contact or the contact time being less than the predetermined time. Even when the finger or the touch pen 50 moves at high speed, it is possible to sufficiently follow the temporal resolution related to the position detection. As described above, according to the present embodiment, it is possible to change the cycle of reading the light reception signal for one screen, and only for one screen in a short cycle only when the finger or the touch pen 50 is in contact with the display screen for a predetermined time or more. Since the light reception signal is read out, it is possible to smoothly perform touch input following the movement of the finger or the touch pen 50 even when the finger or the touch pen 50 moves at high speed while reducing power consumption.

また、本実施形態によれば、タッチ入力機能に関する１サイクル分の処理を常に同じ周期で行う場合は勿論のこと、上述した１サイクル分の処理を、例えば、図４に示したような手書入力用の画面を表示している期間においてのみ１２０Ｈｚで行い、それ以外の期間では６０Ｈｚで行う場合と比較しても、実際にタッチ入力が行われている期間（指やタッチペン５０が表示画面に接触している期間）においてのみ、１サイクル分の処理を１２０Ｈｚで行う構成であるため、より一層の低消費電力化が図れる。   Further, according to the present embodiment, the processing for one cycle related to the touch input function is always performed in the same cycle, and the processing for one cycle described above is performed, for example, as shown in FIG. The period when the touch input is actually performed (the finger or the touch pen 50 is displayed on the display screen) even when compared with the case where the input screen is displayed at 120 Hz only during the period during which the input screen is displayed and the other periods are performed at 60 Hz. Since only one cycle of processing is performed at 120 Hz only during the contact period), further reduction in power consumption can be achieved.

＜２．電子機器＞
次に、上述した液晶表示装置１を適用した電子機器について説明する。
図５に、液晶表示装置１を適用したモバイル型のパーソナルコンピュータの構成を示す。パーソナルコンピュータ２０００は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置１と、本体部２０１０とを備える。また、本体部２０１０には、電源スイッチ２００１とキーボード２００２が設けられている。
図６に、液晶表示装置１を適用した携帯電話機の構成を示す。携帯電話機３０００は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置１と、複数の操作ボタン３００１と、スクロールボタン３００２とを備える。スクロールボタン３００２を操作することで、液晶表示装置１に表示される画面がスクロールされる。
図７に、液晶表示装置１を適用した携帯情報端末（ＰＤＡ：Personal Digital Assistants）の構成を示す。携帯情報端末４０００は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置１と、複数の操作ボタン４００１と、電源スイッチ４００２とを備える。操作ボタン４００１を操作すると、住所録やスケジュール帳といった各種の情報が液晶表示装置１に表示される。
なお、液晶表示装置１が適用される電子機器としては、図５〜図７に示すものの他、デジタルスチルカメラ、カーナビゲーション装置、電子手帳、ワードプロセッサ、ワークステーション、テレビ電話、ＰＯＳ端末、ＡＴＭ（Automated Teller Machine：現金自動預け払い機）、自動販売機等が挙げられる。そして、これらの各種電子機器の表示ユニットおよびタッチ入力ユニットとして、前述した液晶表示装置１が適用可能である。また、特に携帯機器の場合は、本発明を適用して余計な電力消費を抑えることで、一回の充電（あるいは１回の電池交換）で動作可能な時間を延ばすことができる。 <2. Electronic equipment>
Next, an electronic apparatus to which the above-described liquid crystal display device 1 is applied will be described.
FIG. 5 shows a configuration of a mobile personal computer to which the liquid crystal display device 1 is applied. The personal computer 2000 includes the liquid crystal display device 1 as a display unit and a touch input unit, and a main body 2010. Further, the main body 2010 is provided with a power switch 2001 and a keyboard 2002.
FIG. 6 shows a configuration of a mobile phone to which the liquid crystal display device 1 is applied. The cellular phone 3000 includes a liquid crystal display device 1 as a display unit and a touch input unit, a plurality of operation buttons 3001, and a scroll button 3002. By operating the scroll button 3002, the screen displayed on the liquid crystal display device 1 is scrolled.
FIG. 7 shows a configuration of a personal digital assistant (PDA) to which the liquid crystal display device 1 is applied. The portable information terminal 4000 includes a liquid crystal display device 1 as a display unit and a touch input unit, a plurality of operation buttons 4001, and a power switch 4002. When the operation button 4001 is operated, various types of information such as an address book and a schedule book are displayed on the liquid crystal display device 1.
Electronic devices to which the liquid crystal display device 1 is applied include those shown in FIGS. 5 to 7, digital still cameras, car navigation devices, electronic notebooks, word processors, workstations, video phones, POS terminals, ATMs (Automated). Teller Machine: automatic teller machine) and vending machines. And the liquid crystal display device 1 mentioned above is applicable as a display unit and touch input unit of these various electronic devices. In particular, in the case of a portable device, by applying the present invention to suppress unnecessary power consumption, it is possible to extend the operable time by one charge (or one battery replacement).

＜３．変形例＞
本発明は上述した実施形態に限定されるものではなく、例えば、以下に述べる各種の変形が可能である。
（１）例えば、タッチ入力機能に関する１サイクル分の処理を行う周期を、通常モードの場合は３０Ｈｚ、高速モードの場合は１００Ｈｚとしてもよい。要は、高速モードの場合の周期を通常モードの場合の周期よりも短くしてやればよい。 <3. Modification>
The present invention is not limited to the above-described embodiments, and for example, various modifications described below are possible.
(1) For example, the cycle for performing processing for one cycle related to the touch input function may be 30 Hz in the normal mode and 100 Hz in the high-speed mode. In short, the cycle in the high-speed mode may be made shorter than the cycle in the normal mode.

（２）上述した実施形態では、通常モード（６０Ｈｚ）と高速モード（１２０Ｈｚ）を備え、タッチ入力の受付を開始すると通常モードに移行し、指やタッチペン５０が表示画面に接触したと判定した場合や、指やタッチペン５０が表示画面に接触し続けている時間が所定時間以上となった場合に、高速モードに移行する場合について説明した。しかしながら、例えば、タッチ入力の受付を開始すると、通常モードではなく高速モードに移行する構成であってもよい。また、通常モード（１２０Ｈｚ）と低速モード（６０Ｈｚ）を備え、タッチ入力の受付を開始すると通常モード（１２０Ｈｚ）に移行し、指やタッチペン５０が表示画面に接触していないと判定した場合や、このような非接触の状態が継続する時間を計時して計時時間が所定時間以上となった場合（タッチがないとの判定結果を連続して得ている回数を計数して計数値が所定回数以上となった場合）に、低速モード（６０Ｈｚ）に移行する構成であってもよい。 (2) In the embodiment described above, when the normal mode (60 Hz) and the high-speed mode (120 Hz) are provided, when the acceptance of the touch input is started, the mode is changed to the normal mode, and it is determined that the finger or the touch pen 50 touches the display screen. In addition, a case has been described in which the high-speed mode is shifted when the time during which the finger or the touch pen 50 is continuously in contact with the display screen is equal to or longer than the predetermined time. However, for example, when the acceptance of touch input is started, the configuration may be such that the mode is shifted to the high speed mode instead of the normal mode. In addition, when the normal mode (120 Hz) and the low speed mode (60 Hz) are provided, and the acceptance of the touch input is started, the mode is shifted to the normal mode (120 Hz), and it is determined that the finger or the touch pen 50 is not in contact with the display screen. When the time for which such a non-contact state continues is counted and the measured time is equal to or longer than the predetermined time (the number of times the determination result that there is no touch is continuously obtained is counted, and the count value is the predetermined number of times. In such a case, it may be configured to shift to the low speed mode (60 Hz).

（３）上述した実施形態では、１画素（画素回路Ｐ１）ごとに光検出回路Ｏ１を備える構成としたが、例えば、上下左右の４つの画素（画素回路Ｐ１）ごとに光検出回路Ｏ１を１つ備える構成であってもよい。また、光検出回路Ｏ１の配列パターンは、マトリクス状に限定されない。例えば、市松模様（チェス柄）における黒（または白）の配列パターンとなるように、画像表示領域Ａに各光検出回路Ｏ１を形成してもよい。また、画像表示領域Ａに設けられる走査線の総数ｍと読出線の総数ｎは、ともに２以上の整数であればよい。 (3) In the above-described embodiment, the light detection circuit O1 is provided for each pixel (pixel circuit P1). For example, one light detection circuit O1 is provided for each of the four pixels (pixel circuit P1) in the upper, lower, left, and right directions. It may be the composition provided. Further, the arrangement pattern of the light detection circuits O1 is not limited to a matrix. For example, each photodetection circuit O1 may be formed in the image display area A so as to have a black (or white) arrangement pattern in a checkered pattern (chess pattern). Further, the total number m of scanning lines and the total number n of readout lines provided in the image display area A may be integers of 2 or more.

（４）本発明に係る表示装置は、半透過型や反射型の液晶表示装置、あるいはＯＬＥＤ（Organic Light Emitting Diode：有機発光ダイオード）素子を用いた表示装置であってもよい。ＯＬＥＤ素子は、光の透過量を変化させる液晶素子とは異なり、それ自体が発光する電流駆動型の発光素子である。また、本発明に係る表示装置は、液晶素子やＯＬＥＤ素子以外の電気光学素子を用いた表示装置であってもよい。なお、電気光学素子とは、電気信号（電流信号または電圧信号）の供給によって透過率や輝度といった光学的特性が変化する素子である。例えば、無機ＥＬ（ElectroLuminescence）や発光ポリマー等の発光素子を用いた表示パネルや、着色された液体と当該液体に分散された白色の粒子とを含むマイクロカプセルを電気光学物質として用いた電気泳動表示パネル、極性が相違する領域ごとに異なる色に塗り分けられたツイストボールを電気光学物質として用いたツイストボールディスプレイパネル、黒色トナーを電気光学物質として用いたトナーディスプレイパネル、あるいはヘリウムやネオン等の高圧ガスを電気光学物質として用いたプラズマディスプレイパネル等を備えた表示装置に対しても本発明を適用することができる。 (4) The display device according to the present invention may be a transflective or reflective liquid crystal display device or a display device using an OLED (Organic Light Emitting Diode) element. Unlike a liquid crystal element that changes the amount of light transmitted, the OLED element is a current-driven light-emitting element that emits light. The display device according to the present invention may be a display device using an electro-optical element other than a liquid crystal element or an OLED element. Note that an electro-optical element is an element whose optical characteristics such as transmittance and luminance change when an electric signal (current signal or voltage signal) is supplied. For example, an electrophoretic display using a display panel using a light emitting element such as inorganic EL (ElectroLuminescence) or a light emitting polymer, or a microcapsule containing a colored liquid and white particles dispersed in the liquid as an electro-optical material Panels, twist ball display panels using twist balls painted in different colors for areas of different polarity as electro-optical materials, toner display panels using black toner as electro-optical materials, or high pressure such as helium or neon The present invention can also be applied to a display device including a plasma display panel using gas as an electro-optical material.

（５）例えば、抵抗膜方式や静電容量方式のタッチパネルを備えた表示装置に対しても本発明を適用することができる。また、本発明に係るセンシング装置は、いわゆるジェスチャー機能を備え、指やタッチペン５０によって線や簡単な図形等が画面上に描かれると、その形に対応する操作コマンド（例えば、スクロール、次のページに進む、前のページに戻る、ペースト、コピー、削除、元に戻す等）を特定し、特定した操作コマンドに応じた処理を行うコンピュータ装置にも適用可能である。この場合は、指やタッチペン５０によって描かれた線や図形を示す画像を表示する必要はない。このように本発明に係るセンシング装置において、検出したタッチ位置の軌跡を示す画像を生成し、これを表示することは必須ではない。 (5) For example, the present invention can be applied to a display device provided with a resistive film type or capacitive type touch panel. The sensing device according to the present invention has a so-called gesture function. When a line or a simple figure is drawn on the screen by a finger or the touch pen 50, an operation command (for example, scroll, next page) corresponding to the shape is drawn. , Return to the previous page, paste, copy, delete, undo, etc.), and can be applied to a computer device that performs processing according to the specified operation command. In this case, it is not necessary to display an image showing a line or a figure drawn with a finger or the touch pen 50. As described above, in the sensing device according to the present invention, it is not essential to generate and display an image indicating the locus of the detected touch position.

液晶表示装置１の構成を示すブロック図である。1 is a block diagram showing a configuration of a liquid crystal display device 1. FIG. １画面分の２値化信号について示す模式図である。It is a schematic diagram shown about the binarization signal for 1 screen. モード切替処理１，２の流れを示すフローチャートである。It is a flowchart which shows the flow of the mode switching processes 1 and 2. FIG. モード切替処理１，２の概要を説明するための図である。It is a figure for demonstrating the outline | summary of the mode switching processes 1 and 2. FIG. 本発明に係る電子機器の具体例／パーソナルコンピュータ２０００を示す斜視図である。FIG. 11 is a perspective view showing a specific example of an electronic apparatus / personal computer 2000 according to the present invention. 本発明に係る電子機器の具体例／携帯電話機３０００を示す斜視図である。FIG. 11 is a perspective view showing a specific example of an electronic apparatus / mobile phone 3000 according to the present invention. 本発明に係る電子機器の具体例／携帯情報端末４０００を示す斜視図である。FIG. 11 is a perspective view showing a specific example of an electronic device / portable information terminal 4000 according to the present invention.

符号の説明Explanation of symbols

１…液晶表示装置、１００…走査線駆動回路、２００…データ線駆動回路、３００…制御回路、４００…画像処理回路、５００…センサ用走査回路、６００…受光信号処理回路、ＡＡ…液晶パネル、Ａ…画像表示領域、Ｂ…手書入力領域、Ｐ１…画素回路、Ｏ１…光検出回路、５０…タッチペン、２０００…パーソナルコンピュータ、３０００…携帯電話機、４０００…携帯情報端末。   DESCRIPTION OF SYMBOLS 1 ... Liquid crystal display device, 100 ... Scanning line drive circuit, 200 ... Data line drive circuit, 300 ... Control circuit, 400 ... Image processing circuit, 500 ... Scanning circuit for sensors, 600 ... Light reception signal processing circuit, AA ... Liquid crystal panel, A ... Image display area, B ... Handwriting input area, P1 ... Pixel circuit, O1 ... Photodetection circuit, 50 ... Touch pen, 2000 ... Personal computer, 3000 ... Mobile phone, 4000 ... Mobile information terminal.

Claims (13)

画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサと、
前記複数のセンサから前記第１検出信号を所定の周期で読み出す読出手段と、
前記読出手段によって読み出された前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成する２値化手段と、
前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定する判定手段と、
前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、
前記判定手段の判定結果が非接触である場合、前記所定の周期が第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が接触である場合、前記所定の周期が前記第１周期より短い第２周期となるように前記読出手段を制御する制御手段と、
を備えることを特徴とするセンシング装置。 A plurality of sensors arranged on a screen, each generating a first detection signal of a level corresponding to a contact state of the object with the screen or a distance between the object and the screen;
Reading means for reading out the first detection signal from the plurality of sensors at a predetermined period;
Binarization means for generating a binarized second detection signal by comparing the level of each first detection signal read by the reading means with a threshold;
Determination means for determining whether an object is in contact with the screen or non-contact based on the second detection signals;
Detecting means for detecting a position where the object is in contact with the screen based on each second detection signal;
When the determination result of the determination unit is non-contact, the reading unit is controlled so that the predetermined period becomes the first period. When the determination result of the determination unit is contact, the predetermined period is Control means for controlling the reading means so as to have a second period shorter than the first period;
A sensing device comprising: 前記制御手段は、前記判定手段の判定結果が非接触である場合および前記判定手段の判定結果が所定時間未満連続して接触である場合、前記所定の周期が前記第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が前記所定時間以上連続して接触である場合、前記所定の周期が前記第１周期より短い前記第２周期となるように前記読出手段を制御する
ことを特徴とする請求項１に記載のセンシング装置。 When the determination result of the determination means is non-contact and when the determination result of the determination means is continuous contact for less than a predetermined time, the control means is configured so that the predetermined period becomes the first period. The reading means is controlled, and when the determination result of the determining means is a contact for a predetermined time or more, the reading means is controlled so that the predetermined period is the second period shorter than the first period. The sensing device according to claim 1. 画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサと、
前記複数のセンサから前記第１検出信号を所定の周期で読み出す読出手段と、
前記読出手段によって読み出された前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成する２値化手段と、
前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定する判定手段と、
前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、
タッチ入力の受付を開始すると、前記所定の周期が第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が接触である場合、前記所定の周期が前記第１周期より短い第２周期となるように前記読出手段を制御する制御手段と、
を備えることを特徴とするセンシング装置。 A plurality of sensors arranged on a screen, each generating a first detection signal of a level corresponding to a contact state of the object with the screen or a distance between the object and the screen;
Reading means for reading out the first detection signal from the plurality of sensors at a predetermined period;
Binarization means for generating a binarized second detection signal by comparing the level of each first detection signal read by the reading means with a threshold;
Determination means for determining whether an object is in contact with the screen or non-contact based on the second detection signals;
Detecting means for detecting a position where the object is in contact with the screen based on each second detection signal;
When the acceptance of the touch input is started, the reading unit is controlled so that the predetermined cycle becomes the first cycle. When the determination result of the determination unit is contact, the predetermined cycle is shorter than the first cycle. Control means for controlling the reading means so as to be in the second period;
A sensing device comprising: 前記制御手段は、タッチ入力の受付を開始すると、前記所定の周期が前記第１周期となるように前記読出手段を制御し、前記判定手段の判定結果が所定時間以上連続して接触である場合、前記所定の周期が前記第１周期より短い前記第２周期となるように前記読出手段を制御する
ことを特徴とする請求項３に記載のセンシング装置。 When the control means starts accepting touch input, the control means controls the reading means so that the predetermined period becomes the first period, and the determination result of the determination means is a continuous contact for a predetermined time or more. The sensing device according to claim 3, wherein the reading unit is controlled such that the predetermined period is the second period shorter than the first period. 画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサと、
前記複数のセンサから前記第１検出信号を所定の周期で読み出す読出手段と、
前記読出手段によって読み出された前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成する２値化手段と、
前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定する判定手段と、
前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、
タッチ入力の受付を開始すると、前記所定の周期が第１周期より短い第２周期となるように前記読出手段を制御し、前記判定手段の判定結果が非接触である場合、前記所定の周期が前記第１周期となるように前記読出手段を制御する制御手段と、
を備えることを特徴とするセンシング装置。 A plurality of sensors arranged on a screen, each generating a first detection signal of a level corresponding to a contact state of the object with the screen or a distance between the object and the screen;
Reading means for reading out the first detection signal from the plurality of sensors at a predetermined period;
Binarization means for generating a binarized second detection signal by comparing the level of each first detection signal read by the reading means with a threshold;
Determination means for determining whether an object is in contact with the screen or non-contact based on the second detection signals;
Detecting means for detecting a position where the object is in contact with the screen based on each second detection signal;
When the acceptance of the touch input is started, the reading unit is controlled so that the predetermined cycle is a second cycle shorter than the first cycle. When the determination result of the determination unit is non-contact, the predetermined cycle is Control means for controlling the reading means so as to be in the first period;
A sensing device comprising: 前記制御手段は、タッチ入力の受付を開始すると、前記所定の周期が前記第１周期より短い前記第２周期となるように前記読出手段を制御し、前記判定手段の判定結果が所定時間以上連続して非接触である場合、前記所定の周期が前記第１周期となるように前記読出手段を制御する
ことを特徴とする請求項５に記載のセンシング装置。 When the control means starts accepting touch input, the control means controls the reading means so that the predetermined period becomes the second period shorter than the first period, and the determination result of the determination means continues for a predetermined time or more. The sensing device according to claim 5, wherein, in the case of non-contact, the reading unit is controlled so that the predetermined period becomes the first period. 前記制御手段によって前記所定の周期が前記第１周期となるように前記読出手段が制御される場合と、前記制御手段によって前記所定の周期が前記第２周期となるように前記読出手段が制御される場合とで、前記閾値を変更する変更手段を備える
ことを特徴とする請求項１乃至６のうちいずれか１項に記載のセンシング装置。 When the reading means is controlled by the control means so that the predetermined period becomes the first period, the reading means is controlled by the control means so that the predetermined period becomes the second period. The sensing device according to claim 1, further comprising: a changing unit that changes the threshold value. 前記変更手段は、前記制御手段によって前記所定の周期が前記第１周期となるように前記読出手段が制御される場合、前記閾値として前記第１周期に応じた第１閾値を設定し、前記制御手段によって前記所定の周期が前記第２周期となるように前記読出手段が制御される場合、前記閾値として前記第２周期に応じた第２閾値を設定する
ことを特徴とする請求項７に記載のセンシング装置。 When the reading unit is controlled by the control unit so that the predetermined period becomes the first period, the changing unit sets a first threshold value corresponding to the first period as the threshold value, and the control unit The second threshold value corresponding to the second period is set as the threshold value when the reading unit is controlled so that the predetermined period becomes the second period by means. Sensing device. 前記判定手段は、総ての前記第２検出信号のうち前記閾値によって定めた条件を充足する前記第２検出信号の個数を計数し、計数結果に基づいて対象物が前記画面に接触しているか非接触であるかを判定する
ことを特徴とする請求項１乃至８のうちいずれか１項に記載のセンシング装置。 The determination means counts the number of the second detection signals satisfying the condition determined by the threshold among all the second detection signals, and whether the object is in contact with the screen based on the counting result It is determined whether it is non-contact. The sensing device according to any one of claims 1 to 8 characterized by things. 請求項１乃至９のうちいずれか１項に記載のセンシング装置と、
画像を表示する表示部と、
を備えることを特徴とする表示装置。 A sensing device according to any one of claims 1 to 9,
A display for displaying an image;
A display device comprising: 前記検出手段によって検出された位置の軌跡を示す画像を生成して前記表示部に表示する表示制御手段を備える
ことを特徴とする請求項１０に記載の表示装置。 The display device according to claim 10, further comprising a display control unit that generates an image indicating a locus of the position detected by the detection unit and displays the image on the display unit. 請求項１０または１１に記載の表示装置を備えた電子機器。   An electronic apparatus comprising the display device according to claim 10. 画面上に配列され、対象物の前記画面への接触状態または前記対象物と前記画面との距離に応じたレベルの第１検出信号を各々生成する複数のセンサを用いて、前記対象物が前記画面に接触している位置を検出するセンシング方法であって、
前記複数のセンサから前記第１検出信号を所定の周期で読み出し、
読み出した前記各第１検出信号のレベルを閾値と比較して、２値化された第２検出信号を各々生成し、
前記各第２検出信号に基づいて、対象物が前記画面に接触しているか非接触であるかを判定し、
前記各第２検出信号に基づいて、前記対象物が前記画面に接触している位置を検出し、
前記判定した結果が非接触である場合、前記所定の周期が第１周期となるように前記各第１検出信号の読み出しを制御し、前記判定した結果が接触である場合、前記所定の周期が前記第１周期より短い第２周期となるように前記各第１検出信号の読み出しを制御する
ことを特徴とするセンシング方法。
A plurality of sensors arranged on a screen and each generating a first detection signal at a level corresponding to a contact state of the object with the screen or a distance between the object and the screen; A sensing method for detecting a position in contact with a screen,
Reading the first detection signal from the plurality of sensors at a predetermined cycle,
A level of each read first detection signal is compared with a threshold value to generate a binarized second detection signal,
Based on each of the second detection signals, it is determined whether the object is in contact with the screen or non-contact,
Based on each second detection signal, a position where the object is in contact with the screen is detected,
When the determined result is non-contact, the reading of each first detection signal is controlled so that the predetermined period becomes the first period. When the determined result is contact, the predetermined period is The sensing method of controlling reading of each said 1st detection signal so that it may become a 2nd period shorter than the said 1st period.
JP2008035640A 2008-02-18 2008-02-18 Sensing device, display device, electronic device, and sensing method Expired - Fee Related JP4775386B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008035640A JP4775386B2 (en) 2008-02-18 2008-02-18 Sensing device, display device, electronic device, and sensing method
KR1020090008826A KR20090089254A (en) 2008-02-18 2009-02-04 Sensing device, display device, electronic apparatus, and sensing method
US12/368,729 US8390578B2 (en) 2008-02-18 2009-02-10 Sensing device, display device, electronic apparatus, and sensing method
TW098104712A TW200943147A (en) 2008-02-18 2009-02-13 Sensing device, display device, electronic apparatus, and sensing method
CNA2009100076527A CN101515213A (en) 2008-02-18 2009-02-16 Sensing device, display device, electronic apparatus and sensing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008035640A JP4775386B2 (en) 2008-02-18 2008-02-18 Sensing device, display device, electronic device, and sensing method

Publications (2)

Publication Number Publication Date
JP2009193481A true JP2009193481A (en) 2009-08-27
JP4775386B2 JP4775386B2 (en) 2011-09-21

Family

ID=41039682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008035640A Expired - Fee Related JP4775386B2 (en) 2008-02-18 2008-02-18 Sensing device, display device, electronic device, and sensing method

Country Status (2)

Country Link
JP (1) JP4775386B2 (en)
CN (1) CN101515213A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086179A (en) * 2009-10-16 2011-04-28 Sony Corp Device and method for inputting information, information input/output device, information input program, and electronic apparatus
WO2013179953A1 (en) * 2012-05-28 2013-12-05 シャープ株式会社 Electronic device and method for outputting detected information
JP2018173933A (en) * 2017-03-31 2018-11-08 株式会社デンソーウェーブ Information reading apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507934B (en) 2009-11-20 2015-11-11 Semiconductor Energy Lab Display device
US10345912B2 (en) 2011-03-07 2019-07-09 Lenovo (Beijing) Co., Ltd. Control method, control device, display device and electronic device
CN102681702B (en) * 2011-03-07 2015-11-25 联想(北京)有限公司 Control method, control device and electronic equipment
KR101531125B1 (en) * 2011-04-08 2015-07-06 샤프 가부시키가이샤 Display device, electronic apparatus, method for controlling display device, and method for controlling electronic apparatus
US9152255B2 (en) * 2011-05-03 2015-10-06 Htc Corporation Management and application methods and systems for touch-sensitive devices, and computer program products thereof
US9104272B2 (en) * 2011-05-23 2015-08-11 Sony Corporation Finger-on display detection
CN102411451B (en) * 2011-11-23 2018-07-13 南京中兴新软件有限责任公司 The signal processing method and device of touch screen
GB201203830D0 (en) * 2012-03-05 2012-04-18 Elliptic Laboratories As Touchless user interfaces
TWI488096B (en) * 2012-06-05 2015-06-11 Acer Inc Driving method for touch panel and touch-sensing device thereof
JP2015170139A (en) * 2014-03-07 2015-09-28 シナプティクス・ディスプレイ・デバイス合同会社 semiconductor device
US10121051B2 (en) * 2015-10-16 2018-11-06 Novatek Microelectronics Corp. Optical apparatus and a method for identifying an object
US10296142B2 (en) 2015-12-22 2019-05-21 Ricoh Company, Ltd. Information display device, system, and recording medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200148A (en) * 1993-12-28 1995-08-04 Dowa Mining Co Ltd Ultrasonic detection device
JPH08129444A (en) * 1994-10-31 1996-05-21 Sharp Corp Touch panel type input device
JP2006106844A (en) * 2004-09-30 2006-04-20 Seiko Epson Corp Data-capturing control method of touch panel and device therefor
JP2006244218A (en) * 2005-03-04 2006-09-14 Toshiba Matsushita Display Technology Co Ltd Display device with built-in sensor
JP2007011152A (en) * 2005-07-01 2007-01-18 Toshiba Matsushita Display Technology Co Ltd Flat display device
JP2007128497A (en) * 2005-10-05 2007-05-24 Sony Corp Display apparatus and method thereof
JP2007163891A (en) * 2005-12-14 2007-06-28 Sony Corp Display apparatus
JP2007524970A (en) * 2003-12-31 2007-08-30 スリーエム イノベイティブ プロパティズ カンパニー Touch detection with touch-down and lift-off sensitivity

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152932A (en) * 1995-11-30 1997-06-10 Toshiba Corp Method for driving input device, input device driving system and coordinate input system
CN1768322A (en) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 Display device and information terminal device
CN100397321C (en) * 2005-05-31 2008-06-25 富士通天株式会社 Map display device and map display method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200148A (en) * 1993-12-28 1995-08-04 Dowa Mining Co Ltd Ultrasonic detection device
JPH08129444A (en) * 1994-10-31 1996-05-21 Sharp Corp Touch panel type input device
JP2007524970A (en) * 2003-12-31 2007-08-30 スリーエム イノベイティブ プロパティズ カンパニー Touch detection with touch-down and lift-off sensitivity
JP2006106844A (en) * 2004-09-30 2006-04-20 Seiko Epson Corp Data-capturing control method of touch panel and device therefor
JP2006244218A (en) * 2005-03-04 2006-09-14 Toshiba Matsushita Display Technology Co Ltd Display device with built-in sensor
JP2007011152A (en) * 2005-07-01 2007-01-18 Toshiba Matsushita Display Technology Co Ltd Flat display device
JP2007128497A (en) * 2005-10-05 2007-05-24 Sony Corp Display apparatus and method thereof
JP2007163891A (en) * 2005-12-14 2007-06-28 Sony Corp Display apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086179A (en) * 2009-10-16 2011-04-28 Sony Corp Device and method for inputting information, information input/output device, information input program, and electronic apparatus
WO2013179953A1 (en) * 2012-05-28 2013-12-05 シャープ株式会社 Electronic device and method for outputting detected information
JP2018173933A (en) * 2017-03-31 2018-11-08 株式会社デンソーウェーブ Information reading apparatus

Also Published As

Publication number Publication date
JP4775386B2 (en) 2011-09-21
CN101515213A (en) 2009-08-26

Similar Documents

Publication Publication Date Title
JP4775386B2 (en) Sensing device, display device, electronic device, and sensing method
US8390578B2 (en) Sensing device, display device, electronic apparatus, and sensing method
JP4770844B2 (en) Sensing device, display device, and electronic device
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
JP4645658B2 (en) Sensing device, display device, electronic device, and sensing method
JP4257221B2 (en) Display device and information terminal device
JP4835578B2 (en) Display imaging apparatus, object detection program, and object detection method
US8638317B2 (en) Display apparatus and method for controlling the same
JP4270248B2 (en) Display imaging apparatus, information input apparatus, object detection program, and object detection method
JP2009205423A (en) Display imaging device and object detection method
JP4720833B2 (en) Sensing device, display device, electronic device, and sensing method
JP2010122936A (en) Sensing circuit, display and electronic apparatus
JP2009277112A (en) Method for specifying contact position of electronic equipment
KR102325806B1 (en) Display device and driving method thereof
JP2008117214A (en) Display device
KR101116769B1 (en) Input detection systems and methods for display panels with embedded photo sensors
JP4270247B2 (en) Display imaging apparatus, object detection program, and object detection method
JP5271936B2 (en) Display device and display method
JP2009199204A (en) Electro-optical device, control method thereof, and electronic equipment
KR101903415B1 (en) Display device with touch screen and method for driving the same
JP5109999B2 (en) Display device, electronic apparatus, and driving method of display device
JP4788755B2 (en) Display imaging apparatus, object detection program, and object detection method
US20240192793A1 (en) Methods and systems for pocket mode detection
JP2010286875A (en) Electro-optical device, method for driving the same, and electronic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100526

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110613

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees