JP4645658B2 - センシング装置、表示装置、電子機器およびセンシング方法 - Google Patents

センシング装置、表示装置、電子機器およびセンシング方法 Download PDF

Info

Publication number
JP4645658B2
JP4645658B2 JP2008035646A JP2008035646A JP4645658B2 JP 4645658 B2 JP4645658 B2 JP 4645658B2 JP 2008035646 A JP2008035646 A JP 2008035646A JP 2008035646 A JP2008035646 A JP 2008035646A JP 4645658 B2 JP4645658 B2 JP 4645658B2
Authority
JP
Japan
Prior art keywords
screen
threshold value
light
mode
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008035646A
Other languages
English (en)
Other versions
JP2009193483A (ja
Inventor
岳人 茅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008035646A priority Critical patent/JP4645658B2/ja
Priority to KR1020090008826A priority patent/KR20090089254A/ko
Priority to US12/368,729 priority patent/US8390578B2/en
Priority to TW098104712A priority patent/TW200943147A/zh
Publication of JP2009193483A publication Critical patent/JP2009193483A/ja
Application granted granted Critical
Publication of JP4645658B2 publication Critical patent/JP4645658B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、指やペン等の対象物が画面に触れた位置を検出するセンシング装置、表示装置、電子機器およびセンシング方法に関する。
特許文献1には、指やライトペンで指示された画面上の座標位置を検出する液晶表示装置が記載されている。この液晶表示装置は、入射光を撮像する画像読取センサ33を画素ごとに備え、指やライトペンを画面に近づけたり接触させたときの撮像データの変化から、座標位置を検出する。また、この液晶表示装置では、画素アレイ部1に配列された総ての画像読取センサ33から撮像データを読み出すのではなく、撮像データの読み出しを行方向については4行ごとに、列方向については3列ごとに行っている。
特開2004−318819号公報
ところで、特許文献1に記載された液晶表示装置では、撮像データの読み出し対象となる複数の画像読取センサ33が固定されており、常に同じ複数の画像読取センサ33から撮像データを読み出している。したがって、タッチ入力が長時間ない場合であっても、タッチ入力がある場合と同じ個数の画像読取センサ33から撮像データを読み出さなければならず、余計な電力消費が生じてしまう。
本発明は、上述した課題に鑑みてなされたものであり、消費電力を低減可能なセンシング装置、表示装置、電子機器およびセンシング方法を提供することを課題とする。
上述した課題を解決するため、本発明に係るセンシング装置は、対象物が画面に触れた位置を検出するセンシング装置において、m(2以上の整数)本の走査線とn(2以上の整数)本の読出線との交差に対応して前記画面上に配列され、入射される光量に応じた大きさの第1検出信号を各々生成するm×n個のセンサと、前記m×n個のセンサの各々から前記第1検出信号を読み出す通常読出モードと、連続して並ぶM(2以上で前記m以下の整数)本の前記走査線と、連続して並ぶN(2以上で前記n以下の整数)本の前記読出線とに対応し、前記m×n個未満となる前記センサの各々から前記第1検出信号を読み出す部分読出モードとで動作可能な読出手段と、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったか否かを判定するために設定された第1閾値と、前記対象物が前記画面に非接触であるか否かを判定するために設定された第2閾値とを使用可能であり、前記読出手段によって読み出された前記各第1検出信号を、前記第1閾値と前記第2閾値のどちらか一方と比較して、2値化された第2検出信号を各々生成する2値化手段と、前記2値化手段によって前記各第1検出信号が前記第1閾値と比較されて前記第2検出信号が各々生成された場合、前記各第2検出信号に基づいて、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことを検知し、前記2値化手段によって前記各第1検出信号が前記第2閾値と比較されて前記第2検出信号が各々生成された場合、前記各第2検出信号に基づいて、前記対象物が前記画面に非接触であることを検知する検知手段と、前記2値化手段によって前記各第1検出信号が前記第2閾値と比較されて前記第2検出信号が各々生成された場合、前記各第2検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、前記通常読出モードと前記部分読出モードとの間の移行を管理するとともに前記第1閾値と前記第2閾値との変更を管理し、前記部分読出モードにおいて、前記検知手段によって前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことが検知されると、前記通常読出モードへ移行するように前記読出手段を制御するとともに、前記各第1検出信号を前記第2閾値と比較して前記第2検出信号を各々生成するように前記2値化手段を制御し、前記通常読出モードにおいて、所定時間連続して前記検知手段によって前記対象物が前記画面に非接触であることが検知されると、前記部分読出モードへ移行させるように前記読出手段を制御するとともに、前記各第1検出信号を前記第1閾値と比較して前記第2検出信号を各々生成するように前記2値化手段を制御する制御手段と、を備えることを特徴とする。
本発明によれば、通常読出モードにおいて、対象物が画面に非接触であることを所定時間連続して検知すると、読出手段の動作を部分読出モードに移行させる。読出手段は、部分読出モードの場合、画面上に配列されたm×n個のセンサのうち、連続して並ぶM本の走査線と連続して並ぶN本の読出線に対応するセンサのみから第1検出信号を読み出す。一方、部分読出モードにおいて、対象物が画面に近づいて対象物と画面との距離が一定の距離以下に至ったことを検知すると、読出手段の動作を通常読出モードに移行させる。読出手段は、通常読出モードの場合、画面上に配列された総てのセンサ(m×n個)から第1検出信号を読み出す。
したがって、対象物が画面に非接触であることを所定時間連続して検知してから、次に対象物と画面との距離が一定の距離以下になったことを検知するまでの間は、読出手段を部分読出モードで動作させることになる。この場合は、画面上に配列された一部のセンサのみから第1検出信号を読み出すことになるので、第1検出信号を読み出すセンサの個数を減らすことができる。このため、第1検出信号の読み出しや2値化信号の生成に要する処理負荷を軽減することができ、その分だけ電力消費を低減することができる。一方、対象物と画面との距離が一定の距離以下になったことを検知してから、次に対象物が画面に非接触であることを所定時間連続して検知するまでの間は、読出手段を通常読出モードで動作させることになる。この場合は、画面上に配列された総てのセンサ(m×n個)から第1検出信号を読み出す。したがって、m×n個のセンサが画面全体に配列されている場合であれば、画面全体を対象にしたタッチ判定やタッチ位置の検出を行うことができる。特に、読出手段の動作を部分読出モードから通常読出モードに移行させるタイミングを、対象物が画面に接触したことを検知したときではなく、対象物と画面との距離が一定の距離以下になったことを検知したときにすることで、対象物が実際に画面に触れる前に、画面全体を対象にしたタッチ判定やタッチ位置の検出に移行することが可能になる。
なお、「画面上に配列され」とは、例えば、複数のセンサを備えたタッチパネルを画面上に貼り付けている場合に加え、後述する実施形態に記載しているように複数のセンサを表示パネルに内蔵している場合を含む。また、「対象物」とは、例えば、指やタッチペン等である。
また、上述したセンシング装置において、前記読出手段は、前記通常読出モードの場合、前記m本の走査線の各々を順次選択し、前記部分読出モードの場合、前記M本の前記走査線をL(2以上で前記M以下の整数)本ごとに1本の割合で順次選択する選択手段を備え、前記通常読出モードの場合、前記選択手段によって選択された前記走査線に対応する前記n個の前記センサから前記n本の読出線を介して前記第1検出信号を各々読み出し、前記部分読出モードの場合、前記選択手段によって前記走査線が選択されると、前記N本の前記読出線を介して対応する前記センサから前記第1検出信号を各々読み出す構成であってもよい。
この構成であれば、選択手段は、部分読出モードの場合、選択対象となるM本の走査線をL本ごとに1本の割合で順次選択する。したがって、部分読出モードの場合に第1検出信号を読み出すセンサの個数をさらに1/Lに減らすことができるので、より一層の低消費電力化を図ることができる。
また、上述したいずれかのセンシング装置において、出射光の光量を調整可能な光源を複数備え、前記画面の背面に設けられたバックライトと、前記読出手段によって読み出された複数の前記第1検出信号に基づいて環境光の照度を算出し、算出した照度が所定値未満の場合であって、かつ前記部分読出モードの場合、当該部分読出モードにおいて前記第1検出信号が読み出される前記センサが配列されたエリアに対応する前記光源の出射光の光量を、他の前記光源の出射光の光量より増やす調整手段とを備える構成であってもよい。
後述する実施形態にも記載しているように、センシング装置の周囲が明るい場合は、画面上に生じる影によって対象物が画面の近くまで接近したことを検知する。一方、センシング装置の周囲が暗い場合は、対象物によって反射されるバックライトの光によって、対象物が画面の近くまで接近したことを検知する。このため、センシング装置の周囲が暗い場合は、バックライトの発光輝度が弱いと接近したことを検知しづらい。したがって、上記の構成を採用すると、センシング装置の周囲が暗い場合であっても、対象物が画面の近くまで接近したことをより検知しやすくできる。また、画面のうち、部分読出モードの場合に第1検出信号を読み出すセンサが配列されたエリアについてのみ、バックライトからの光を強めているので、無駄な電力消費を極力抑えることができる。
また、本発明に係る表示装置は、上述したいずれかのセンシング装置と、画像を表示する表示部とを備えることを特徴とする。この表示装置には、例えば、液晶素子やOLED素子を用いた表示装置が含まれる。また、上述した表示装置は、前記検出手段によって検出された位置の軌跡を示す画像を生成して前記表示部に表示する表示制御手段を備える構成であってもよい。
また、本発明に係る電子機器は、上述した表示装置を備えることを特徴とする。この電子機器には、例えば、パーソナルコンピュータや携帯電話機、携帯情報端末等が含まれる。
また、本発明に係るセンシング方法は、m(2以上の整数)本の走査線とn(2以上の整数)本の読出線との交差に対応して画面上に配列され、入射される光量に応じた大きさの第1検出信号を各々生成するm×n個のセンサを用いて、対象物が前記画面に触れた位置を検出するセンシング方法であって、通常読出モードにおいて、前記m×n個のセンサの各々から前記第1検出信号を読み出し、前記対象物が前記画面に非接触であるか否かを判定するために設定された第2閾値と前記各第1検出信号とを比較して2値化された第2検出信号を各々生成し、前記各第2検出信号に基づいて、前記対象物が前記画面に接触している位置の検出を行い、前記各第2検出信号に基づいて、所定時間連続して前記対象物が前記画面に非接触であることを検知すると、部分読出モードへ移行し、前記部分読出モードにおいて、連続して並ぶM(2以上で前記m以下の整数)本の前記走査線と、連続して並ぶN(2以上で前記n以下の整数)本の前記読出線とに対応し、前記m×n個未満となる前記センサの各々から前記第1検出信号を読み出し、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったか否かを判定するために設定された第1閾値と前記各第1検出信号とを比較して2値化された第2検出信号を各々生成し、前記各第2検出信号に基づいて、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことを検知すると、前記通常読出モードへ移行することを特徴とする
上記のセンシング装置によれば、高い精度でのタッチ判定やタッチ位置の検出と、消費電力の低減とを行うことができる。
以下の第1,第2実施形態では、本発明に係るセンシング装置を透過型の液晶表示装置に適用した場合について説明する。
<1.第1実施形態>
図1は、第1実施形態に係る液晶表示装置1の構成を示すブロック図である。
同図に示すように、液晶表示装置1は、液晶パネルAA、制御回路300、画像処理回路400、調光回路700、およびバックライト800を備える。液晶パネルAAは、スイッチング素子として薄膜トランジスタ(Thin Film Transistor)を形成した素子基板と対向基板とを互いに電極形成面を対向させ、かつ一定の間隙を保って貼付したものであり、この間隙に液晶が挟持される。また、液晶パネルAAは、その素子基板上に、画像表示領域A、走査線駆動回路100、データ線駆動回路200、センサ用走査回路500、および受光信号処理回路600を備える。画像表示領域Aには、m(行)×n(列)個の画素回路P1がマトリクス状に形成され、各画素回路P1は走査線駆動回路100とデータ線駆動回路200に電気的に接続される。
制御回路300は、走査線駆動回路100とデータ線駆動回路200に対し、クロック信号や各種の制御信号を供給する。画像処理回路400は、入力画像データDinに画像処理を施して出力画像データDoutを生成し、これをデータ線駆動回路200に出力する。走査線駆動回路100は、マトリクス状に配列する画素回路P1を行単位で順次選択する。また、データ線駆動回路200は、走査線駆動回路100によって順次選択される1行分(n個)の画素回路P1の各々に対し、データ信号を供給する。液晶パネルAAの背面にはバックライト800が設けられ、調光回路700は、制御回路300の制御の下、環境光の照度(液晶表示装置1の周囲の明るさ)に応じた輝度でバックライト800を発光させる。バックライト800からの光は液晶パネルAA(画像表示領域A)を介して射出される。前述したように、画像表示領域Aには複数の画素回路P1がマトリクス状に配列しているため、データ線駆動回路200から供給されるデータ信号の電圧レベルに応じて画素回路P1ごとに透過率が制御される。これによって光変調による階調表示が可能となり、画像表示領域Aに画像が表示される。
また、液晶表示装置1はタッチ入力機能を備えており、画像表示領域Aには画素回路P1ごとに光検出回路O1が設けられている。より具体的に説明すると、画像表示領域Aには、X方向に延在するm本の走査線と、Y方向に延在するn本の読出線とが形成され、走査線と読出線との交差に対応して、m(行)×n(列)個の光検出回路O1が配置される。各光検出回路O1は、光センサを備え、入射光の光量に応じた信号レベルの受光信号を出力する。制御回路300は、センサ用走査回路500に対し、クロック信号や走査用の制御信号を供給する。また、制御回路300は、受光信号処理回路600に対し、クロック信号や受光信号処理用の制御信号を供給する。センサ用走査回路500は、マトリクス状に配列する光検出回路O1を、走査信号Y1,Y2,Y3,…,Ymを用いて順次選択する。受光信号処理回路600は、センサ用走査回路500によって順次選択される1行分(n個)の光検出回路O1からn本の読出線を介して受光信号X1,X2,X3,X4,…,Xnを読み出し、これを制御回路300に供給する。
なお、詳細については後述するが、液晶表示装置1は、受光信号の読出モードとして通常読出モードと部分読出モードを備えている。通常読出モードの場合、センサ用走査回路500と受光信号処理回路600は、画像表示領域Aに備わる総ての光検出回路O1(m×n個)から受光信号を読み出す。一方、部分読出モードの場合、センサ用走査回路500と受光信号処理回路600は、マトリクス状に配列するm×n個の光検出回路O1のうち、予め定められた一部分の光検出回路O1のみから受光信号を読み出す。また、制御回路300は、センサ用走査回路500と受光信号処理回路600を制御して、1画面分の受光信号を所定の周期(例えば60Hz)で読み出す。なお、1画面分の受光信号の個数は、通常読出モードであればm×n個になるが、部分読出モードであればm×n個未満になる。例えば、部分読出モードの場合に受光信号を読み出すエリアが画像表示領域Aの下半分に定められている場合、部分読出モードでは、1画面分の受光信号としてm×n/2個の受光信号を読み出すことになる。
ところで、例えば、日中の自然光の下に液晶表示装置1がある場合等、液晶表示装置1の周囲が明るい場合は、画像表示領域A(表示画面)において、指やタッチペンの接触した部分が影となり、この部分の受光量が他の部分の受光量よりも低下する。つまり、指やタッチペンが表示画面に対してある程度接近すると表示画面上に淡い影ができ、指やタッチペンがさらに表示画面に接近するにつれ影が徐々に濃くなる。この際、表示画面において影ができた部分にある光検出回路O1(光センサ)の受光量は、影が濃くなるにつれ徐々に低下する。逆に、夜間の暗い環境の下に液晶表示装置1がある場合等、液晶表示装置1の周囲が暗い場合は、バックライト800からの光が指やタッチペンによって反射されるため、表示画面において指やタッチペンが接触した部分の受光量が他の部分の受光量よりも増加する。つまり、指やタッチペンが表示画面に対してある程度接近すると、バックライト800からの光が指やタッチペンによって反射され、表示画面上には反射光の当たる部分ができる。この部分の反射光の強さは、指やタッチペンがさらに表示画面に接近するにつれ徐々に大きくなる。この際、表示画面において反射光が当たっている部分にある光検出回路O1(光センサ)の受光量は、指やタッチペンの接近に伴って反射光が強くなるほど増加する。
したがって、制御回路300では、1画面分の受光信号に基づいて、指やタッチペンが表示画面に接触しているか否か(タッチの有無)を判定することができる。また、制御回路300では、1画面分の受光信号に基づいて、指やタッチペンが表示画面の近くまで接近しているか否か(接近の有無)を判定することができる。なお、接近の有無を判定できる距離は、各光検出回路O1の受光量から指やタッチペンの影または反射光を検知し得る距離となる。
具体的に説明すると、制御回路300では、まず、読み出した1画面分の受光信号について、受光信号ごとにその信号レベルを閾値と比較して2値化信号に変換する(2値化処理)。なお、この2値化処理の際に使用する閾値は、大別すると2つある。1つは、タッチ判定用の閾値Tである。この閾値Tは、受光信号の信号レベルが、指やタッチペンを表示画面に接触させたときの受光量のレベルに到達しているか否かを判定するためのものである。もう1つは、接近判定用の閾値Sである。この閾値Sは、受光信号の信号レベルが、指やタッチペンを画面の近くまで接近させたときの受光量のレベルに到達しているか否かを判定するためのものである。例えば、タッチ判定用の閾値Tは、表示画面上において指やタッチペンが実際に接触した部分にある光検出回路O1の受光量(受光信号の信号レベル)について多数のサンプルデータを取得することで、取得したサンプルデータに基づいてその値を設定することができる。同様に接近判定用の閾値Sについても、表示画面上において指やタッチペンが実際に接近した部分にある光検出回路O1の受光量について多数のサンプルデータを取得することで、取得したサンプルデータに基づいてその値を設定することができる。
つまり、上述した2値化処理の際に閾値としてタッチ判定用の閾値Tを使用した場合、制御回路300では、各受光信号の信号レベルが、指やタッチペンを表示画面に接触させたときの受光量のレベルに到達しているか否かを判定することになり、到達している場合と、到達していない場合とで異なる信号値を有する2値化信号に変換することになる。一方、上述した2値化処理の際に閾値として接近判定用の閾値Sを使用した場合、制御回路300では、各受光信号の信号レベルが、指やタッチペンを表示画面の近くまで接近させたときの受光量のレベルに到達しているか否かを判定ことになり、到達している場合と、到達していない場合とで異なる信号値を有する2値化信号に変換することになる。なお、受光信号の読出モードが通常読出モードであれば、1画面分の受光信号はm×n個あるので、これに対応して2値化信号もm×n個生成される。一方、受光信号の読出モードが部分読出モードであれば、1画面分の受光信号はm×n個未満となるが、例えば、部分読出モードの場合に読み出される1画面分の受光信号がm×n/2個であれば、これに対応して2値化信号もm×n/2個生成される。
また、実際には、液晶表示装置1の周囲が明るい場合と暗い場合で異なる閾値を使用する必要がある。つまり、タッチ判定用の閾値Tとして、液晶表示装置1の周囲が明るい場合に使用する閾値T1と、液晶表示装置1の周囲が暗い場合に使用する閾値T2が必要になる。また、接近判定用の閾値Sについても同様に、液晶表示装置1の周囲が明るい場合に使用する閾値S1と、液晶表示装置1の周囲が暗い場合に使用する閾値S2が必要になる。これらのタッチ判定用の閾値T1,T2と、接近判定用の閾値S1,S2は、液晶表示装置1内に備わるメモリ(図示略)に記憶されている。
例えば、液晶表示装置1の周囲が明るく、表示画面において指やタッチペンの接触した部分が影になる場合について考えてみる。図2(a)に示すように、各受光信号の信号レベルは"0"(暗)〜"100"(明)までの範囲内の値をとる一方、タッチ判定用の閾値T1は"10"、接近判定用の閾値S1は"20"に設定されているものとする。この場合、制御回路300では、上述した2値化処理の際に閾値としてタッチ判定用の閾値T1を使用していれば、信号レベルが"10"未満の受光信号を2値化信号"1"へ変換する一方、信号レベルが"10"以上の受光信号を2値化信号"0"へ変換する。また、制御回路300では、上述した2値化処理の際に閾値として接近判定用の閾値S1を使用していれば、信号レベルが"20"未満の受光信号を2値化信号"1"へ変換する一方、信号レベルが"20"以上の受光信号を2値化信号"0"へ変換する。
次に、液晶表示装置1の周囲が暗く、表示画面において指やタッチペンが接触した部分が反射光によって明るくなる場合について考えてみる。図2(b)に示すように、各受光信号の信号レベルは、液晶表示装置1の周囲が明るい場合と同様に、"0"(暗)〜"100"(明)までの範囲内の値をとる一方、タッチ判定用の閾値T2は"65"、接近判定用の閾値S2は"50"に設定されているものとする。この場合、制御回路300では、上述した2値化処理の際に閾値としてタッチ判定用の閾値T2を使用していれば、信号レベルが"65"以上の受光信号を2値化信号"1"へ変換する一方、信号レベルが"65"未満の受光信号を2値化信号"0"へ変換する。また、制御回路300では、上述した2値化処理の際に閾値として接近判定用の閾値S2を使用していれば、信号レベルが"50"以上の受光信号を2値化信号"1"へ変換する一方、信号レベルが"50"未満の受光信号を2値化信号"0"へ変換する。
図3は、このような2値化処理によって得られる1画面分の2値化信号について示す模式図である。なお、同図に示す例は、受光信号の読出モードが通常読出モードの場合であって、1画面分の2値化信号がm×n個生成された場合である。この例では、画像表示領域A(表示画面)において(2,2),(2,3),(3,2),(3,3)の部分に配置された4個の光検出回路O1から読み出した各受光信号について、2値化信号の値が"1"になっている。上述したように2値化信号の値が"1"になる部分は、例えば、2値化処理の際に閾値としてタッチ判定用の閾値T1を使用した場合であれば、受光信号の信号レベルが"10"未満となるタッチされた部分であり、2値化処理の際に閾値として接近判定用の閾値S1を使用した場合であれば、受光信号の信号レベルが"20"未満となる影の部分である。また、2値化処理の際に閾値としてタッチ判定用の閾値T2を使用した場合であれば、受光信号の信号レベルが"65"以上となるタッチされた部分であり、2値化処理の際に閾値として接近判定用の閾値S2を使用した場合であれば、受光信号の信号レベルが"50"以上となる反射光の強い部分である。
したがって、制御回路300では、2値化処理の際に閾値としてタッチ判定用の閾値T(T1またはT2)を使用した場合であれば、1画面分の2値化信号の中に信号値が"1"となる2値化信号が含まれている場合に、タッチがあると判定する一方、信号値が"1"となる2値化信号が含まれていない場合に、タッチがないと判定することができる。また、制御回路300では、2値化処理の際に閾値として接近判定用の閾値S(S1またはS2)を使用した場合であれば、1画面分の2値化信号の中に信号値が"1"となる2値化信号が含まれている場合に、接近していると判定する一方、信号値が"1"となる2値化信号が含まれていない場合に、接近していないと判定することができる。このように制御回路300では、2値化処理の際に使用する閾値を変更することで、タッチ判定と接近判定の2つを行うことができる。
また、制御回路300では、タッチがあると判定した場合に、2値化信号の値が"1"となる光検出回路O1の配列位置(X,Y)から、指やタッチペンによる表示画面上のタッチ位置を検出する。例えば、図3に示した例では、2値化信号の値が"1"となる4個の光検出回路O1(2,2),(2,3),(3,2),(3,3)の部分がタッチ位置として検出される。
なお、例えば、表示画面上にごみ等が付着して小さな影ができてしまうことがある。また、タッチ入力を意図せずに手のひら全体で表示画面に触れてしまうようなこともある。これらを指やタッチペンによる表示画面へのタッチと誤判定しないよう、制御回路300では、1画面分の2値化信号のうち、信号値が"1"となる2値化信号の個数を計数し、計数値に基づいてタッチの有無を判定することができる。例えば、制御回路300では、上述した計数値が所定値以上の場合にタッチがあると判定する一方、計数値が所定値未満の場合にタッチがないと判定してもよい。また、例えば、指やタッチペンの接触面積と、表示画面における光検出回路O1の配列密度から、指やタッチペンが表示画面に接触した場合に信号値が"1"となる2値化信号の個数の上限値と下限値を設定し、これをメモリに記憶しておく。そして、制御回路300では、上述した計数値がメモリに記憶された上限値と下限値によって定まる範囲内の値である場合に、タッチがあると判定する一方、計数値が上述した範囲内の値でない場合に、タッチがないと判定してもよい。さらに、信号値が"1"となる複数の2値化信号について、これに対応する光検出回路O1が隣接しているか否かを考慮するようにしてもよい。また、1画面分の各2値化信号の値を、対応する光検出回路O1の配列に従って並べ、"1"の部分を黒、"0"の部分を白とした2値画像を作成し、この2値画像の黒の部分の形状が、楕円形や円形(指やタッチペンを表示画面に接触させたときの接触面の形状)であるかを考慮するようにしてもよい。
さらに、以上説明したタッチ判定の場合と同様に接近判定についても、信号値が"1"となる2値化信号の個数を計数し、計数値に基づいて接近の有無を判定することができる。例えば、制御回路300では、上述した計数値が所定値以上の場合に接近していると判定する一方、計数値が所定値未満の場合に接近していないと判定してもよい。また、例えば、指やタッチペンを表示画面に接近させたときにできる影や反射光の当たる部分の面積と、光検出回路O1の配列密度から、指やタッチペンが表示画面に接近した場合に信号値が"1"となる2値化信号の個数の上限値と下限値を設定し、これをメモリに記憶しておく。そして、制御回路300では、上述した計数値が上限値と下限値によって定まる範囲内の値である場合に、接近していると判定する一方、計数値が上述した範囲内の値でない場合に、接近していないと判定してもよい。さらに、信号値が"1"となる複数の2値化信号について、これに対応する光検出回路O1が隣接しているか否かを考慮するようにしてもよい。また、タッチ判定の場合と同様に、1画面分の2値化信号に基づいて、"1"の部分を黒、"0"の部分を白とした2値画像を作成し、この2値画像の黒の部分の形状が、指やタッチペンを表示画面に接近させたときにできる影や反射光の当たる部分の形状に似ているか否かを考慮するようにしてもよい。
なお、タッチ判定の場合と接近判定の場合では、信号値が"1"となる2値化信号の個数が異なる(例えば、接近時にできる影は、タッチ時にできる影(接触面積)よりも大きい)。したがって、タッチ判定の場合と接近判定の場合では、計数値と比較する上限値や下限値等の値が異なる。また、指やタッチペンの接近や接触に伴って表示画面上に生じる影の大きさと反射光の当たる部分の大きさは異なる。したがって、液晶表示装置1の周囲が明るい場合と暗い場合でも、計数値と比較する上限値や下限値等の値が異なる。
図4は、通常読出モードと部分読出モードについて説明するための図である。
なお、同図に示す画面表示列は、指やタッチペンによるタッチ入力によって手書きの絵を作成するための画像編集ソフトウェアの編集画面である。表示画面の上側には、手書入力エリアBが設けられている。この手書入力エリアBに指やタッチペンによって手書きの絵を入力することができる。また、手書入力エリアBの下方には、図中、点線で示す操作ボタン表示エリアCが設けられている。この操作ボタン表示エリアCには、画像編集ソフトウェアを起動した直後の段階であれば、同図に示すように「白黒」,「カラー」,「開く」という3つの操作ボタンが表示される。ユーザは、画像編集ソフトウェアを起動すると、まず、操作ボタン表示エリアCに表示されている操作ボタンの部分にタッチして、白黒モードで絵の入力を開始するのか、カラーモードで絵の入力を開始するのか、あるいは既に保存してある手書き画像を読み出して編集を開始するのか等を選択する。操作ボタン表示エリアCにおいてこのような選択操作が行われると、手書入力エリアBに絵を描くことが可能になる。
また、画像編集ソフトウェアの実行中に、例えば5分間タッチ入力がないと、液晶表示装置1は低消費電力モードに移行し、手書入力エリアBの部分の表示を停止する。これにより手書入力エリアBの部分は全面が黒色(または白色)となる。この際、操作ボタン表示エリアCには、上述した3つの操作ボタンの代わりに、例えば、「編集再開」,「保存」,「終了」という3つの操作ボタンが表示される。ユーザは、手書き画像の入力を再開する場合であれば「編集再開」ボタンにタッチする。また、入力した手書き画像を保存する場合であれば「保存」ボタンにタッチする。また、入力した手書き画像を保存せずに画像編集ソフトウェアを終了する場合であれば「終了」ボタンにタッチする。このように、一旦、低消費電力モードに移行すると、以降、何らかの操作を行う際に、ユーザは必ず操作ボタン表示エリアCの部分にタッチすることになる。したがって、低消費電力モードの期間中は、操作ボタン表示エリアCの部分についてのみタッチ判定や接近判定を行えばよい。このため、本実施形態に係る液晶表示装置1では、低消費電力モードに移行してない場合は、受光信号の読出モードを通常読出モードにする一方、低消費電力モードに移行したこと、すなわちタッチ入力が所定時間ないことに応じて、受光信号の読出モードを通常読出モードから部分読出モードに移行させる。
図4に示す例の場合、画像表示領域A(表示画面)には、240本の走査線と180本の読出線が設けられている。センサ用走査回路500は、通常読出モードの場合、240本の走査線を1本ずつ順次選択する。つまり、走査線1,走査線2,走査線3,…,走査線238,走査線239,走査線240の順に走査線を1本ずつ順次選択する。これに対し、部分読出モードの場合、センサ用走査回路500は、操作ボタン表示エリアCの部分に対応する走査線201から走査線240までの計40本の走査線のみを1本ずつ順次選択する。つまり、走査線201,走査線202,走査線203,…,走査線238,走査線239,走査線240の順に40本の走査線のみを選択し、走査線1から走査線200までの残りの200本の走査線は選択しない。なお、図4に示す例の場合、受光信号処理回路600は、通常読出モードの場合であっても部分読出モードの場合であっても、180本の読出線を総て使用して受光信号の読み出しを行う。
その結果、図4に示す例の場合、通常読出モードであれば、240本の走査線と180本の読出線に対応する計43200個の光検出回路O1(すなわち画像表示領域Aに備わる総ての光検出回路O1)から受光信号を読み出すことになる。この場合、1画面分の受光信号の個数は43200個になる。一方、部分読出モードの場合は、走査線201から走査線240までの40本の走査線と180本の読出線に対応する計7200個の光検出回路O1(すなわち操作ボタン表示エリアCの部分に配列された光検出回路O1)のみから受光信号を読み出すことになる。この場合、1画面分の受光信号の個数は7200個となり、通常読出モードの場合の1/6になる。
また、図5は、図4に示した手書入力エリアBと操作ボタン表示エリアCの配置を上下から左右に置き換えたものである。この図5に示す例の場合においても、通常読出モードの場合は、画像表示領域Aに備わる総ての光検出回路O1(43200個)から受光信号を読み出すことになる。一方、部分読出モードの場合は、操作ボタン表示エリアCの部分に配列された光検出回路O1のみから受光信号を読み出すことになる。つまり、図5に示す例において部分読出モードの場合、センサ用走査回路500は、通常読出モードの場合と変わらず240本の総ての走査線を1本ずつ順次選択することになるが、受光信号処理回路600は、180本の読出線のうち、操作ボタン表示エリアCの部分に対応する読出線1から読出線50までの計50本の読出線のみを使用して受光信号の読み出しを行うことになる。その結果、図5に示す例において部分読出モードの場合は、240本の走査線と50本の読出線に対応する計12000個の光検出回路O1のみから受光信号を読み出すことになる。この場合、1画面分の受光信号の個数は12000個となり、通常読出モードの場合の1/3.6になる。
なお、図4および図5に示した例の他、例えば、部分読出モードの場合は、走査線1から走査線60までの60本の走査線と、読出線1から読出線90までの90本の読出線とに対応する計5400個の光検出回路O1のみから受光信号を読み出す構成であってもよい。この場合、部分読出モードにおいて、センサ用走査回路500は、走査線1から走査線60までの60本の走査線のみを1本ずつ順次選択する一方、受光信号処理回路600は、読出線1から読出線90までの計90本の読出線のみを使用して受光信号の読み出しを行う。
このようにセンサ用走査回路500と受光信号処理回路600は、通常読出モードの場合と部分読出モードの場合で動作が異なる。センサ用走査回路500は、通常読出モードの場合、総ての走査線を1本ずつ順次選択するが、部分読出モードの場合は、操作ボタン表示エリアCの部分に対応する複数の走査線(例えば、図4に示した例では走査線201〜走査線240)のみを1本ずつ順次選択する。また、受光信号処理回路600は、通常読出モードの場合、総ての読出線を使用して受光信号の読み出しを行うが、部分読出モードの場合は、操作ボタン表示エリアCの部分に対応する複数の読出線(例えば、図5に示した例では読出線1〜読出線50)のみを使用して受光信号の読み出しを行う。このため制御回路300は、読出モードの切替えを指示する制御信号をセンサ用走査回路500と受光信号処理回路600に出力し、両回路500,600の動作を制御する。
また、液晶表示装置1では、1画面分の受光信号を読み出し、読み出した1画面分の受光信号に基づいてタッチの有無や接近の有無を判定し、タッチがあると判定した場合にはそのタッチ位置を検出する、というタッチ入力機能に関する1サイクル分の処理を所定の周期(例えば、120Hzや60Hz)ごとに行う。なお、本実施形態では、上述した1サイクル分の処理を60Hzごとに行っているものとする。また、タッチ入力機能に関する1サイクル分の処理には、上述したようにタッチの有無や接近の有無を判定する処理や、タッチ位置を検出する処理が含まれるため、1画面分の受光信号を読み出す実時間は、1サイクル分の処理を行う1周期分の時間よりも短い時間となる。例えば、上述したように1サイクル分の処理を60Hzごとに行っている場合であれば、1画面分の受光信号を読み出す実時間は、16.6msよりも短い所定の時間幅に設定される。
また、制御回路300では、複数の受光信号に基づいて環境光の照度を算出し、算出した照度が所定値以上の場合は、液晶表示装置1の周囲が明るい場合であると判別する一方、算出した照度が所定値未満の場合は、液晶表示装置1の周囲が暗い場合であると判別する。なお、環境光の照度は、例えば、1画面分の受光信号についてその信号レベルの平均値を求めることによって算出される。また、1画面分の受光信号を総て使用せずとも、例えば、画像表示領域Aの四隅に位置する所定数の光検出回路O1から読み出した受光信号を使用してもよいし、画像表示領域Aの中央に位置する所定数の光検出回路O1から読み出した受光信号を使用してもよい。また、制御回路300は、算出した環境光の照度を示すデータを調光回路700に出力する。これによって調光回路700は、環境光の照度に応じた輝度でバックライト800を発光させる。
また、制御回路300では、検出したタッチ位置の軌跡を示す画像を生成し、この画像を、指やタッチペンによって描かれた文字や絵等の手書き画像として画像表示領域Aに表示することができる。この場合には、制御回路300によって生成された手書き画像のデータが入力画像データDinとして画像処理回路400に供給される。
図6は、本実施形態に係るモード切替処理1,2の流れを示すフローチャートである。
同図(a)に示すモード切替処理1は、受光信号の読出モードが通常読出モードである場合に実行される。なお、液晶表示装置1では、例えば、ユーザによって上述した画像編集ソフトウェアが起動されると、タッチ入力の受付を開始した後、受光信号の読出モードを通常読出モードに移行させる。また、前述したように通常読出モードでは、画像表示領域Aに備わる総ての光検出回路O1から受光信号が読み出されている。制御回路300では、まず、新たに読み出した1画面分の受光信号(m×n個)に基づいて、タッチの有無、すなわち指やタッチペンが表示画面に接触しているか、それとも非接触であるかを判定する(ステップS101)。
具体的には前述したように、まず、制御回路300では、1画面分の各受光信号について、その信号レベルをタッチ判定用の閾値T(詳細には閾値T1またはT2)と比較し、2値化信号に変換する。なお、ここで使用する閾値Tは、基本的に、後述するモード切替処理2のステップS203で設定されるが、環境光の測定結果に基づいて、液晶表示装置1の周囲が明るい状態から暗い状態に変化した場合や、逆に暗い状態から明るい状態に変化した場合は、閾値T1と閾値T2の間で適宜変更される。つまり、液晶表示装置1の周囲が明るい場合であれば閾値T1が使用され、液晶表示装置1の周囲が暗い場合であれば閾値T2が使用される。次いで、制御回路300では、生成した1画面分の2値化信号(m×n個)について、例えば、信号値が"1"となる2値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、タッチがあると判定する一方(ステップS101:NO)、計数値が上述した範囲内の値でない場合に、タッチがないと判定する(ステップS101:YES)。なお、前述したように計数値と比較する上限値や下限値の値は、タッチ判定の場合と接近判定の場合、あるいは液晶表示装置1の周囲が明るい場合と暗い場合で異なる。
ステップS101においてタッチがあると判定した場合は、モード切替処理1を終える。この場合、受光信号の読出モードは通常読出モードのままである。また、このようにタッチがあると判定した場合、制御回路300では、モード切替処理1を終えた後、タッチ位置の検出を行う。このタッチ位置の検出の際には、ステップS101においてタッチの有無を判定する際に生成した1画面分の2値化信号(m×n個)が使用される。
一方、ステップS101においてタッチがないと判定した場合、制御回路300では、タッチがないとの判定結果を連続して得ている状態が所定時間(例えば5分)継続しているか否かを判定する(ステップS102)。前述したようにタッチ入力機能に関する1サイクル分の処理は60Hzごとに行われているので、ステップS101の判定結果は60Hzごとに得られる。したがって、制御回路300では、タッチがないとの判定結果を連続して得ている回数を計数し、この計数値が上述した所定時間に相当する回数に到達したか否かを判定すればよい。なお、所定時間は、例えば60秒や30分等、任意の時間幅に設定することができる。
ステップS102において所定時間継続していないと判定した場合は、モード切替処理1を終える。この場合も受光信号の読出モードは通常読出モードのままである。一方、ステップS102において所定時間継続していると判定した場合、制御回路300では、受光信号の読出モードを通常読出モードから部分読出モードに切替える(ステップS103)。このように制御回路300では、通常読出モードの場合、指やタッチペンが表示画面に非接触であることを所定時間連続して検知すると、受光信号の読出モードを部分読出モードに切替える。なお、受光信号の読出モードを部分読出モードに切替える際には、読出モードの切替え(→部分読出モード)を指示する制御信号が制御回路300からセンサ用走査回路500と受光信号処理回路600に送られる。
センサ用走査回路500と受光信号処理回路600は、この制御信号を受信すると、通常読出モードの場合の動作を中止し、部分読出モードの場合の動作を開始する。例えば、図4に示した例の場合、センサ用走査回路500は、部分読出モードの場合の動作を開始すると、走査線201から走査線240までの40本の走査線のみを1本ずつ順次選択する。また、図5に示した例の場合、受光信号処理回路600は、部分読出モードの場合の動作を開始すると、読出線1から読出線50までの50本の読出線のみを使用して受光信号の読み出しを行う。このように、受光信号の読出モードを通常読出モードから部分読出モードに切替えると、受光信号の読み出し対象となる光検出回路O1が、画像表示領域Aに備わる総ての光検出回路O1から、操作ボタン表示エリアCの部分に含まれる光検出回路O1のみに変更される。これによりセンサ用走査回路500と受光信号処理回路600は、表示画面のうち、操作ボタン表示エリアCの部分に配列された光検出回路O1のみから受光信号を読み出すことになる。
ところで、指やタッチペンが表示画面に非接触であることを所定時間連続して検知した場合、すなわちタッチ入力が所定時間ない場合とは、基本的に、指やタッチペンが表示画面から比較的離れた位置にある場合である。したがって、このように指やタッチペンが表示画面から比較的離れた位置にある場合には、次に指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近したときに、受光信号の読出モードを部分読出モードから通常読出モードに切替えてやればよい。このため制御回路300では、受光信号の読出モードを部分読出モードに切替えた後、2値化処理の際に使用する閾値を、タッチ判定用の閾値Tから接近判定用の閾値Sに変更する(ステップS104)。
前述したように、液晶表示装置1内のメモリには、タッチ判定用の閾値T1,T2と接近判定用の閾値S1,S2が記憶されているので、制御回路300では、環境光の測定結果に基づいて液晶表示装置1の周囲の明るさを判別し、液晶表示装置1の周囲が明るい場合は、メモリから接近判定用の閾値S1を読み出し、この閾値S1を2値化処理の際に使用する閾値として設定する。また、制御回路300では、液晶表示装置1の周囲が暗い場合は、メモリから接近判定用の閾値S2を読み出し、この閾値S2を2値化処理の際に使用する閾値として設定する。つまり、ステップS104に示す処理により、2値化処理の際に使用する閾値は、液晶表示装置1の周囲が明るい場合であれば、タッチ判定用の閾値T1"10"から接近判定用の閾値S1"20"に変更される。また、液晶表示装置1の周囲が暗い場合であれば、タッチ判定用の閾値T2"65"から接近判定用の閾値S2"50"に変更される。
一方、図6(b)に示すモード切替処理2は、受光信号の読出モードが部分読出モードである場合に実行される。前述したように部分読出モードでは、1画面分の受光信号として、操作ボタン表示エリアCの部分に配列された光検出回路O1のみから受光信号が読み出されている。制御回路300では、まず、新たに読み出した1画面分の受光信号に基づいて、接近の有無、すなわち指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近しているか否かを判定する(ステップS201)。
具体的には前述したように、まず、制御回路300では、1画面分の各受光信号について、その信号レベルを接近判定用の閾値S(詳細には閾値S1またはS2)と比較し、2値化信号に変換する。なお、ここで使用する閾値Sは、基本的に、前述したモード切替処理1のステップS104で設定されるが、環境光の測定結果に基づいて、液晶表示装置1の周囲が明るい状態から暗い状態に変化した場合や、逆に暗い状態から明るい状態に変化した場合は、閾値S1と閾値S2の間で適宜変更される。つまり、液晶表示装置1の周囲が明るい場合であれば閾値S1が使用され、液晶表示装置1の周囲が暗い場合であれば閾値S2が使用される。次いで、制御回路300では、生成した1画面分(操作ボタン表示エリアC分)の2値化信号について、例えば、信号値が"1"となる2値化信号の個数を計数し、計数値がメモリに記憶されている上限値と下限値によって定まる範囲内の値である場合に、接近していると判定する一方(ステップS201:YES)、計数値が上述した範囲内の値でなかった場合に、接近していないと判定する(ステップS201:NO)。なお、前述したように計数値と比較する上限値や下限値の値は、タッチ判定の場合と接近判定の場合、あるいは液晶表示装置1の周囲が明るい場合と暗い場合とで異なる。また、結局、上述したステップS201では、表示画面のうち操作ボタン表示エリアCの部分についてのみ、接近の有無を判定していることになる。
ステップS201において接近していないと判定した場合は、モード切替処理2を終える。この場合、受光信号の読出モードは部分読出モードのままである。一方、ステップS201において接近していると判定した場合、制御回路300では、受光信号の読出モードを部分読出モードから通常読出モードに切替える(ステップS202)。このように制御回路300では、部分読出モードの場合、指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近したことを検知すると、受光信号の読出モードを通常読出モードに切替える。なお、受光信号の読出モードを通常読出モードに切替える際には、読出モードの切替え(→通常読出モード)を指示する制御信号が制御回路300からセンサ用走査回路500と受光信号処理回路600に送られる。
センサ用走査回路500と受光信号処理回路600は、この制御信号を受信すると、部分読出モードの場合の動作を中止し、通常読出モードの場合の動作を開始する。その結果、センサ用走査回路500は総ての走査線を1本ずつ順次選択し、受光信号処理回路600は総ての読出線を使用して受光信号の読み出しを行う。したがって、受光信号の読出モードを部分読出モードから通常読出モードに切替えたことに応じて、画像表示領域Aに備わる総ての光検出回路O1から受光信号が読み出されることになる。
ところで、このように指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近したことを検知した場合とは、上述した画像編集ソフトウェアの実行中において低消費電力モードに移行した後、ユーザが何らかの操作を行うために操作ボタン表示エリアCの部分にタッチしようとしている場合である。したがって、指やタッチペンが表示画面に接触する可能性が極めて高いので、タッチ判定やタッチ位置の検出に備える必要がある。このため、制御回路300では、受光信号の読出モードを通常読出モードに切替えた後、2値化処理の際に使用する閾値を、接近判定用の閾値Sからタッチ判定用の閾値Tに変更する(ステップS203)。
前述したように、液晶表示装置1内のメモリには、タッチ判定用の閾値T1,T2と接近判定用の閾値S1,S2が記憶されているので、制御回路300では、環境光の測定結果に基づいて液晶表示装置1の周囲の明るさを判別し、液晶表示装置1の周囲が明るい場合は、メモリからタッチ判定用の閾値T1を読み出し、この閾値T1を2値化処理の際に使用する閾値として設定する。また、制御回路300では、液晶表示装置1の周囲が暗い場合は、メモリからタッチ判定用の閾値T2を読み出し、この閾値T2を2値化処理の際に使用する閾値として設定する。つまり、ステップS203に示す処理により、2値化処理の際に使用する閾値は、液晶表示装置1の周囲が明るい場合であれば、接近判定用の閾値S1"20"からタッチ判定用の閾値T1"10"に変更される。また、液晶表示装置1の周囲が暗い場合であれば、接近判定用の閾値S2"50"からタッチ判定用の閾値T2"65"に変更される。
なお、前述したように制御回路300では、タッチ入力機能に関する1サイクル分の処理を60Hzごとに行っている。この1サイクル分の処理によってタッチ位置を検出した場合、制御回路300では、検出したタッチ位置が手書入力エリアB内にあれば、このタッチ位置に基づいて手書き画像の表示を更新する。
このように本実施形態によれば、制御回路300では、指やタッチペンが表示画面に非接触であることを所定時間連続して検知すると、受光信号の読出モードを通常読出モードから部分読出モードに移行させる。この場合、センサ用走査回路500と受光信号処理回路600は、操作ボタン表示エリアCの部分に配列された光検出回路O1のみから受光信号を読み出す。また、制御回路300では、指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近したことを検知すると、受光信号の読出モードを部分読出モードから通常読出モードに移行させる。この場合、センサ用走査回路500と受光信号処理回路600は、画面上に備わる総ての光検出回路O1から受光信号を読み出す。
したがって、指やタッチペンが表示画面に非接触であることを所定時間連続して検知してから、次に指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近したことを検知するまでの間は、受光信号の読出モードが部分読出モードになる。この場合は、操作ボタン表示エリアCの部分に配列された光検出回路O1のみから受光信号を読み出すことになるので、受光信号を読み出す光検出回路O1の個数を減らすことができる。このため、受光信号の読み出しや2値化処理に要する処理負荷を大幅に軽減することが可能となり、液晶表示装置1の電力消費を低減することができる。一方、指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近したことを検知してから、次に指やタッチペンが表示画面に非接触であることを所定時間連続して検知するまでの間は、受光信号の読出モードが通常読出モードになる。この場合は、表示画面に配列された総ての光検出回路O1から受光信号を読み出す。したがって、表示画面全体を対象にしたタッチ判定やタッチ位置の検出を行うことが可能になる。特に、受光信号の読出モードを部分読出モードから通常読出モードに移行させるタイミングを、タッチを検知したときではなく接近を検知したときにすることで、指やタッチペンが実際に表示画面に触れる前に、表示画面全体を対象にしたタッチ判定やタッチ位置の検出に移行することが可能になる。
なお、走査線の総数mと読出線の総数nは、ともに2以上の整数であればよい。また、部分読出モードの場合に選択される走査線の数Mは、2以上でm以下の整数であればよい。同様に、部分読出モードの場合に使用される読出線の数Nは、2以上でn以下の整数であればよい。
<2.第2実施形態>
上述した第1実施形態において、センサ用走査回路500は、受光信号の読出モードが部分読出モードである場合に、選択対象となるM(2≦M≦m)本の走査線をL(2≦L≦M)本ごとに1本の割合で順次選択する構成であってもよい。
具体的に説明すると、例えば、図4に示した例において、センサ用走査回路500は、部分読出モードの場合に、走査線201から走査線240までの40本の走査線を、例えば2本ごとに1本の割合で順次選択する。この場合、センサ用走査回路500は、例えば、走査線201,走査線203,走査線205,…,走査線235,走査線237,走査線239の順に走査線を1本ずつ選択する。したがって、選択対象となる40本の走査線のうち20本しか選択されず、残りの20本の走査線は選択されずに間引かれる。また、図5に示した例であれば、センサ用走査回路500は、部分読出モードの場合に、走査線1から走査線240までの240本の走査線を、例えば10本ごとに1本の割合で順次選択する。この場合、センサ用走査回路500は、例えば、走査線10,走査線20,走査線30,…,走査線220,走査線230,走査線240の順に走査線を1本ずつ選択する。したがって、選択対象となる240本の走査線のうち24本しか選択されず、残りの216本の走査線は選択されずに間引かれる。
以上の構成であると、部分読出モードの場合に受光信号を読み出す光検出回路O1の個数を、第1実施形態の場合に比べてさらに1/Lに減らすことができるので、より一層の低消費電力化を図ることができる。
<3.電子機器>
次に、上述した液晶表示装置1を適用した電子機器について説明する。
図7に、液晶表示装置1を適用したモバイル型のパーソナルコンピュータの構成を示す。パーソナルコンピュータ2000は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置1と、本体部2010とを備える。また、本体部2010には、電源スイッチ2001とキーボード2002が設けられている。
図8に、液晶表示装置1を適用した携帯電話機の構成を示す。携帯電話機3000は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置1と、複数の操作ボタン3001と、スクロールボタン3002とを備える。スクロールボタン3002を操作することで、液晶表示装置1に表示される画面がスクロールされる。
図9に、液晶表示装置1を適用した携帯情報端末(PDA:Personal Digital Assistants)の構成を示す。携帯情報端末4000は、表示ユニットおよびタッチ入力ユニットとしての液晶表示装置1と、複数の操作ボタン4001と、電源スイッチ4002とを備える。操作ボタン4001を操作すると、住所録やスケジュール帳といった各種の情報が液晶表示装置1に表示される。
なお、液晶表示装置1が適用される電子機器としては、図7〜図9に示すものの他、デジタルスチルカメラ、カーナビゲーション装置、電子手帳、ワードプロセッサ、ワークステーション、テレビ電話、POS端末、ATM(Automated Teller Machine:現金自動預け払い機)、自動販売機等が挙げられる。そして、これらの各種電子機器の表示ユニットおよびタッチ入力ユニットとして、前述した液晶表示装置1が適用可能である。また、特に携帯機器の場合は、本発明を適用して余計な電力消費を抑えることで、一回の充電(あるいは1回の電池交換)で動作可能な時間を延ばすことができる。
<4.変形例>
本発明は上述した実施形態に限定されるものではなく、例えば、以下に述べる各種の変形が可能である。
(1)上述した第1実施形態でも説明したように、液晶表示装置1の周囲が明るい場合は、表示画面上に生じる影によって指やタッチペンが表示画面の近くまで接近したことを検知する。一方、液晶表示装置1の周囲が暗い場合は、指やタッチペンによって反射されるバックライト800の光によって、指やタッチペンが表示画面の近くまで接近したことを検知する。このため、液晶表示装置1の周囲が暗い場合は、バックライト800の発光輝度が弱いと接近したことを検知しにくい。そこで、バックライト800として、いわゆるスキャンバックライトを採用し、液晶表示装置1の周囲が暗い場合であって、かつ受光信号の読出モードが部分読出モードの場合は、操作ボタン表示エリアCの部分を照明する光源についてのみ、他の光源よりも出射光の光量を増やすようにしてもよい。
具体的に説明すると、まず、スキャンバックライトは、出射光の光量を調整可能な光源を複数備える。例えば、スキャンバックライトは、第1光源,第2光源,第3光源の3つの光源を備えるものとする。これらの第1〜第3光源は、表示画面上において照明する領域が各々異なる。図4に示した表示画面を例に説明すると、例えば、この表示画面をX方向に延びる3つの帯状の領域(上段領域[走査線1〜走査線80],中段領域[走査線81〜走査線160],下段領域[走査線161〜走査線240])に区分したとき、第1光源からの出射光は上段領域を照らし、第2光源からの出射光は中段領域を照らし、第3光源からの出射光は下段領域を照らす。制御回路300では、複数の受光信号に基づいて環境光の照度を算出し、算出した照度が所定値未満の場合に、液晶表示装置1の周囲が暗い場合であると判別する。このように液晶表示装置1の周囲が暗い場合であると判別した場合であって、かつ受光信号の読出モードが部分読出モードである場合、制御回路300は、算出した環境光の照度を示すデータを調光回路700に出力する際に、第3光源についてのみ出射光の光量を所定量だけ増やすよう調光回路700に指示する。この指示に従って調光回路700は、第1光源と第2光源については、環境光の照度に応じた出射光の光量となるよう調整を行う一方、第3光源については、制御回路300から指示された所定量だけ第1光源や第2光源よりも出射光の光量を増加させる。
以上の構成によれば、図4に示した表示画面上において、液晶表示装置1の周囲が暗く、かつ部分読出モードの場合に、操作ボタン表示エリアCの部分を含んだ下段領域についてのみ、スキャンバックライトからの光を強めることができる。したがって、液晶表示装置1の周囲が暗い場合であっても、指やタッチペンが表示画面(操作ボタン表示エリアC)の近くまで接近したことをより検知しやすくできる。また、操作ボタン表示エリアCの部分を照明する第3光源についてのみ出射光の光量を増やせばよいので、表示画面全体の輝度を上げずに済む。よって、無駄な電力消費を抑えることができる。なお、スキャンバックライトは、エッジライト方式を採用してもよいし、直下型方式を採用してもよい。
(2)上述した各実施形態では、指やタッチペンが表示画面の近くまで接近したことを検知すると、受光信号の読出モードを部分読出モードから通常読出モードに切替える場合について説明したが、指やタッチペンが表示画面に接触したことを検知した場合に、受光信号の読出モードを部分読出モードから通常読出モードに切替える構成であってもよい。また、上述した各実施形態では、タッチ入力が所定時間ないことを検知すると、受光信号の読出モードを通常読出モードから部分読出モードに切替える場合について説明したが、指やタッチペンが表示画面の近くまで接近していないことを所定時間連続して検知した場合に、受光信号の読出モードを通常読出モードから部分読出モードに切替える構成であってもよい。
(3)上述した各実施形態では、1画素(画素回路P1)ごとに光検出回路O1を備える構成としたが、例えば、上下左右の4つの画素(画素回路P1)ごとに光検出回路O1を1つ備える構成であってもよい。また、光検出回路O1の配列パターンは、マトリクス状に限定されない。例えば、市松模様(チェス柄)における黒(または白)の配列パターンとなるように、画像表示領域Aに各光検出回路O1を形成してもよい。
(4)本発明に係る表示装置は、半透過型や反射型の液晶表示装置、あるいはOLED(Organic Light Emitting Diode:有機発光ダイオード)素子を用いた表示装置であってもよい。OLED素子は、光の透過量を変化させる液晶素子とは異なり、それ自体が発光する電流駆動型の発光素子である。また、本発明に係る表示装置は、液晶素子やOLED素子以外の電気光学素子を用いた表示装置であってもよい。なお、電気光学素子とは、電気信号(電流信号または電圧信号)の供給によって透過率や輝度といった光学的特性が変化する素子である。例えば、無機EL(ElectroLuminescence)や発光ポリマー等の発光素子を用いた表示パネルや、着色された液体と当該液体に分散された白色の粒子とを含むマイクロカプセルを電気光学物質として用いた電気泳動表示パネル、極性が相違する領域ごとに異なる色に塗り分けられたツイストボールを電気光学物質として用いたツイストボールディスプレイパネル、黒色トナーを電気光学物質として用いたトナーディスプレイパネル、あるいはヘリウムやネオン等の高圧ガスを電気光学物質として用いたプラズマディスプレイパネル等を備えた表示装置に対しても本発明を適用することができる。
(5)本発明に係るセンシング装置は、いわゆるジェスチャー機能を備え、指やタッチペンによって線や簡単な図形等が画面上に描かれると、その形に対応する操作コマンド(例えば、スクロール、次のページに進む、前のページに戻る、ペースト、コピー、削除、元に戻す等)を特定し、特定した操作コマンドに応じた処理を行うコンピュータ装置にも適用可能である。この場合は、指やタッチペンによって描かれた線や図形を示す画像を表示する必要はない。このように本発明に係るセンシング装置において、検出したタッチ位置の軌跡を示す画像を生成し、これを表示することは必須ではない。
第1実施形態に係る液晶表示装置1の構成を示すブロック図である。 第1実施形態に係り、タッチ判定用の閾値T1,T2と接近判定用の閾値S1,S2について説明するための図である。 第1実施形態に係り、1画面分の2値化信号について示す模式図である。 第1実施形態に係る通常読出モードと部分読出モードについて説明するための図(その1)である。 第1実施形態に係る通常読出モードと部分読出モードについて説明するための図(その2)である。 第1実施形態に係るモード切替処理1,2の流れを示すフローチャートである。 本発明に係る電子機器の具体例/パーソナルコンピュータ2000を示す斜視図である。 本発明に係る電子機器の具体例/携帯電話機3000を示す斜視図である。 本発明に係る電子機器の具体例/携帯情報端末4000を示す斜視図である。
1…液晶表示装置、100…走査線駆動回路、200…データ線駆動回路、300…制御回路、400…画像処理回路、500…センサ用走査回路、600…受光信号処理回路、700…調光回路、800…バックライト、AA…液晶パネル、A…画像表示領域、B…手書入力エリア、C…操作ボタン表示エリア、P1…画素回路、O1…光検出回路、2000…パーソナルコンピュータ、3000…携帯電話機、4000…携帯情報端末。

Claims (7)

  1. 対象物が画面に触れた位置を検出するセンシング装置において、
    m(2以上の整数)本の走査線とn(2以上の整数)本の読出線との交差に対応して前記画面上に配列され、入射される光量に応じた大きさの第1検出信号を各々生成するm×n個のセンサと、
    前記m×n個のセンサの各々から前記第1検出信号を読み出す通常読出モードと、連続して並ぶM(2以上で前記m以下の整数)本の前記走査線と、連続して並ぶN(2以上で前記n以下の整数)本の前記読出線とに対応し、前記m×n個未満となる前記センサの各々から前記第1検出信号を読み出す部分読出モードとで動作可能な読出手段と、
    前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったか否かを判定するために設定された第1閾値と、前記対象物が前記画面に非接触であるか否かを判定するために設定された第2閾値とを使用可能であり、前記読出手段によって読み出された前記各第1検出信号を、前記第1閾値と前記第2閾値のどちらか一方と比較して、2値化された第2検出信号を各々生成する2値化手段と、
    前記2値化手段によって前記各第1検出信号が前記第1閾値と比較されて前記第2検出信号が各々生成された場合、前記各第2検出信号に基づいて、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことを検知し、前記2値化手段によって前記各第1検出信号が前記第2閾値と比較されて前記第2検出信号が各々生成された場合、前記各第2検出信号に基づいて、前記対象物が前記画面に非接触であることを検知する検知手段と、
    前記2値化手段によって前記各第1検出信号が前記第2閾値と比較されて前記第2検出信号が各々生成された場合、前記各第2検出信号に基づいて、前記対象物が前記画面に接触している位置を検出する検出手段と、
    前記通常読出モードと前記部分読出モードとの間の移行を管理するとともに前記第1閾値と前記第2閾値との変更を管理し、前記部分読出モードにおいて、前記検知手段によって前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことが検知されると、前記通常読出モードへ移行するように前記読出手段を制御するとともに、前記各第1検出信号を前記第2閾値と比較して前記第2検出信号を各々生成するように前記2値化手段を制御し、前記通常読出モードにおいて、所定時間連続して前記検知手段によって前記対象物が前記画面に非接触であることが検知されると、前記部分読出モードへ移行させるように前記読出手段を制御するとともに、前記各第1検出信号を前記第1閾値と比較して前記第2検出信号を各々生成するように前記2値化手段を制御する制御手段と、
    を備えることを特徴とするセンシング装置。
  2. 前記読出手段は、
    前記通常読出モードの場合、前記m本の走査線の各々を順次選択し、前記部分読出モードの場合、前記M本の前記走査線をL(2以上で前記M以下の整数)本ごとに1本の割合で順次選択する選択手段を備え、
    前記通常読出モードの場合、前記選択手段によって選択された前記走査線に対応する前記n個の前記センサから前記n本の読出線を介して前記第1検出信号を各々読み出し、前記部分読出モードの場合、前記選択手段によって前記走査線が選択されると、前記N本の前記読出線を介して対応する前記センサから前記第1検出信号を各々読み出す
    ことを特徴とする請求項1に記載のセンシング装置。
  3. 出射光の光量を調整可能な光源を複数備え、前記画面の背面に設けられたバックライトと、
    前記読出手段によって読み出された複数の前記第1検出信号に基づいて環境光の照度を算出し、算出した照度が所定値未満の場合であって、かつ前記部分読出モードの場合、当該部分読出モードにおいて前記第1検出信号が読み出される前記センサが配列されたエリアに対応する前記光源の出射光の光量を、他の前記光源の出射光の光量より増やす調整手段と、
    を備えることを特徴とする請求項1または請求項2に記載のセンシング装置。
  4. 請求項1乃至請求項3のいずれか1つに記載のセンシング装置と、
    画像を表示する表示部と、
    を備えることを特徴とする表示装置。
  5. 前記検出手段によって検出された位置の軌跡を示す画像を生成して前記表示部に表示する表示制御手段を備えることを特徴とする請求項4に記載の表示装置。
  6. 請求項4または請求項5に記載の表示装置を備えた電子機器。
  7. m(2以上の整数)本の走査線とn(2以上の整数)本の読出線との交差に対応して画面上に配列され、入射される光量に応じた大きさの第1検出信号を各々生成するm×n個のセンサを用いて、対象物が前記画面に触れた位置を検出するセンシング方法であって、
    通常読出モードにおいて、
    前記m×n個のセンサの各々から前記第1検出信号を読み出し、
    前記対象物が前記画面に非接触であるか否かを判定するために設定された第2閾値と前記各第1検出信号とを比較して2値化された第2検出信号を各々生成し、
    前記各第2検出信号に基づいて、前記対象物が前記画面に接触している位置の検出を行い、
    前記各第2検出信号に基づいて、所定時間連続して前記対象物が前記画面に非接触であることを検知すると、部分読出モードへ移行し、
    前記部分読出モードにおいて、
    連続して並ぶM(2以上で前記m以下の整数)本の前記走査線と、連続して並ぶN(2以上で前記n以下の整数)本の前記読出線とに対応し、前記m×n個未満となる前記センサの各々から前記第1検出信号を読み出し、
    前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったか否かを判定するために設定された第1閾値と前記各第1検出信号とを比較して2値化された第2検出信号を各々生成し、
    前記各第2検出信号に基づいて、前記対象物が前記画面に近づいて前記対象物と前記画面との距離が一定の距離以下に至ったことを検知すると、前記通常読出モードへ移行すること
    を特徴とするセンシング方法。
JP2008035646A 2008-02-18 2008-02-18 センシング装置、表示装置、電子機器およびセンシング方法 Expired - Fee Related JP4645658B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008035646A JP4645658B2 (ja) 2008-02-18 2008-02-18 センシング装置、表示装置、電子機器およびセンシング方法
KR1020090008826A KR20090089254A (ko) 2008-02-18 2009-02-04 센싱 장치, 표시 장치, 전자 기기 및, 센싱 방법
US12/368,729 US8390578B2 (en) 2008-02-18 2009-02-10 Sensing device, display device, electronic apparatus, and sensing method
TW098104712A TW200943147A (en) 2008-02-18 2009-02-13 Sensing device, display device, electronic apparatus, and sensing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008035646A JP4645658B2 (ja) 2008-02-18 2008-02-18 センシング装置、表示装置、電子機器およびセンシング方法

Publications (2)

Publication Number Publication Date
JP2009193483A JP2009193483A (ja) 2009-08-27
JP4645658B2 true JP4645658B2 (ja) 2011-03-09

Family

ID=41075416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008035646A Expired - Fee Related JP4645658B2 (ja) 2008-02-18 2008-02-18 センシング装置、表示装置、電子機器およびセンシング方法

Country Status (1)

Country Link
JP (1) JP4645658B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5350151B2 (ja) * 2009-09-08 2013-11-27 キヤノン株式会社 電子機器、その制御方法及びプログラム
JP2011086179A (ja) * 2009-10-16 2011-04-28 Sony Corp 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
JP4721238B2 (ja) * 2009-11-27 2011-07-13 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびコンピュータ読取可能な記録媒体
EP2365417A3 (en) * 2010-03-08 2015-04-29 Semiconductor Energy Laboratory Co, Ltd. Electronic device and electronic system
KR101840185B1 (ko) 2010-03-12 2018-03-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 회로를 구동하는 방법 및 표시 장치를 구동하는 방법
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
JP2012064201A (ja) * 2010-08-19 2012-03-29 Semiconductor Energy Lab Co Ltd 入出力装置及び入出力装置の駆動方法
JP2013003911A (ja) * 2011-06-17 2013-01-07 Sony Corp 電子機器、電子機器の制御方法およびプログラム
JP6177613B2 (ja) * 2013-07-29 2017-08-09 京セラ株式会社 端末装置および端末装置の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244218A (ja) * 2005-03-04 2006-09-14 Toshiba Matsushita Display Technology Co Ltd センサ内蔵表示装置
JP2007011152A (ja) * 2005-07-01 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP2007128497A (ja) * 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法
JP2007163891A (ja) * 2005-12-14 2007-06-28 Sony Corp 表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008505381A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244218A (ja) * 2005-03-04 2006-09-14 Toshiba Matsushita Display Technology Co Ltd センサ内蔵表示装置
JP2007011152A (ja) * 2005-07-01 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP2007128497A (ja) * 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法
JP2007163891A (ja) * 2005-12-14 2007-06-28 Sony Corp 表示装置

Also Published As

Publication number Publication date
JP2009193483A (ja) 2009-08-27

Similar Documents

Publication Publication Date Title
JP4770844B2 (ja) センシング装置、表示装置および電子機器
JP4775386B2 (ja) センシング装置、表示装置、電子機器およびセンシング方法
US8390578B2 (en) Sensing device, display device, electronic apparatus, and sensing method
JP4645658B2 (ja) センシング装置、表示装置、電子機器およびセンシング方法
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
JP4835578B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP4630744B2 (ja) 表示装置
JP4257221B2 (ja) 表示装置および情報端末装置
US8487886B2 (en) Information input device, information input method, information input/output device, and information input program
US8638317B2 (en) Display apparatus and method for controlling the same
JP2007248815A (ja) 電気光学装置および電子機器
JP2008059254A (ja) 表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法
JP4161929B2 (ja) 画像表示装置および画像表示装置の駆動方法
JP4720833B2 (ja) センシング装置、表示装置、電子機器およびセンシング方法
JP2010122936A (ja) センシング回路、表示装置および電子機器
JP4605243B2 (ja) 画像表示装置および画像表示装置の駆動方法
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP4919094B2 (ja) 画像表示装置および画像表示装置の駆動方法
JP5271936B2 (ja) 表示装置及び表示方法
JP2009199204A (ja) 電気光学装置、及びその制御方法、並びに電子機器
JP4788755B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP2010286875A (ja) 電気光学装置とその駆動方法と電子機器
CN115826787A (zh) 触控显示面板、触控检测方法及电子设备
JP5110000B2 (ja) 表示装置,電子機器および表示装置の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100526

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4645658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees