JP5274507B2

JP5274507B2 - タッチ動作認識方法及び装置

Info

Publication number: JP5274507B2
Application number: JP2010097873A
Authority: JP
Inventors: ▲ジャ▼昇具; 載信金; ▲ミン▼▲ジュン▼ 李; 熙▲チュル▼ ▲黄▼
Original assignee: Samsung Display Co Ltd
Current assignee: Samsung Display Co Ltd
Priority date: 2009-05-06
Filing date: 2010-04-21
Publication date: 2013-08-28
Anticipated expiration: 2030-04-21
Also published as: CN101882031A; JP2010262641A; EP2249233A3; KR20100120456A; KR101097309B1; US20100283756A1; CN101882031B; EP2249233A2

Description

本発明は、タッチ動作認識方法及び装置に係り、さらに詳細には、光センサーを利用した情報入力機能を備えた表示装置において、物体のタッチ動作をさらに正確に認識できる方法及び装置に関する。

一般的に、情報を認識させるディスプレイの機能は、単純に画面を鮮明に見せることに限定されていた。しかし、最近には、情報媒体を人間の手で直接タッチしながら情報を伝達したり習得したりする方式を多様に適用している。このような技術の一種として、タッチパネルディスプレイが、有用な技術として多様な方式を通じて具現されている。そのうち、タッチスクリーンパネル一体型液晶表示装置の製作技術が開発され、このようなタッチスクリーンパネル一体型液晶表示装置技術の応用範囲は、液晶表示パネル分野だけでなく、ディスプレイ全領域で適用されうる。特に、次世代ディスプレイ市場として注目されている有機発光ダイオード領域にも適用可能である。

光センサー方式のタッチパネルディスプレイ装置は、画素内に光センサーを配し、光によって画面で情報の入力を可能にしたものである。この種類の表示装置では、光センサーとして、例えば、フォトダイオードが利用され、各画素としては、フォトダイオードにキャパシタが接続される。そして、フォトダイオードでの受光量の変化によって、キャパシタの電荷量を変化させ、キャパシタの両端の電圧を検出することによって、撮像画像のデータを生成する。このような表示装置の応用として、タッチパネル機能やデジタイザー機能を備えたものが提案されている。タッチパネル機能は、画面上に投影された指などの物体が作る影を検出することによって、情報入力を行うことである。この場合、多様な画像認識アルゴリズムを通じて入力情報を認識しているが、画像認識アルゴリズムが複雑であり、かつ計算量が多く、ハードウェアに負担となる問題点がある。
また、光センサー方式のタッチパネルディスプレイ装置におけるタッチ動作、例えば、クリック、ダブルクリック、ドラッグにおける短所としては、実際に指を接触する前の影に対しても接触と誤認することによって、タッチ動作を正確に表せないという問題点があった。

本発明が解決しようとする課題は、光センサー方式の表示装置において、接触検出層を利用してタッチ如何を判断することによって、光センサー方式におけるタッチ動作を正確に認識できるタッチ動作認識方法及び装置を提供することである。

前記課題を達成するために、本発明の一実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、前記物体のタッチが行われた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するステップと、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するステップと、前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識するステップと、を含む。

望ましくは、前記制御ステップは、前記感知した結果による物体タッチ信号が第１臨界値以上であるか否かを判断するステップをさらに含み、前記物体タッチ信号が前記第１臨界値以上である場合、前記センサースキャン信号を出力することを特徴とする。
望ましくは、検出ステップは、前記物体のイメージを解析して、前記物体がタッチしたポイントの座標を計算することによって、タッチポイントを検出することを特徴とする。
望ましくは、前記タッチ動作は、ダブルクリックであることを特徴とする。
望ましくは、前記検出ステップは、前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、前記認識ステップは、前記２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする。
望ましくは、前記認識ステップは、前記時間間隔が第２臨界値以下であり、前記空間間隔が第３臨界値以下である場合、ダブルクリックで認識することを特徴とする。

前記他の課題を達成するために、本発明の他の実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するステップと、前記物体のタッチ如何を感知した結果から前記検出したタッチポイントに対する前処理を行うステップと、前記前処理したタッチポイントを基にして前記物体のタッチ動作を認識するステップと、を含む。

望ましくは、前処理ステップは、前記物体がタッチした時点を基準に、前記検出したタッチポイントを除外させる前処理を行うことを特徴とする。
望ましくは、前記タッチ動作は、ダブルクリックであることを特徴とする。
望ましくは、前記検出ステップは、前記物体のイメージを解析して、前記物体がタッチしたタッチポイントの座標を計算することによって、少なくとも２個以上のタッチポイントを検出し、前記前処理ステップは、前記少なくとも２個以上のタッチポイントを前記物体がタッチした時点を基準に除外させる前処理を行うことによって、２個のタッチポイントを検出することを特徴とする。
望ましくは、前記認識ステップは、前記検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする。

前記他の課題を達成するために、本発明の他の実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、前記物体のタッチが行われた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するタッチ判断部と、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するタッチポイント検出部と、前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備える。

望ましくは、前記タッチ判断部は、前記タッチ感知部から出力された物体タッチ信号が第１臨界値以上であるか否かを判断し、前記物体タッチ信号が前記第１臨界値以上である場合、センサースキャン信号を出力するように制御することを特徴とする。
望ましくは、前記タッチ動作がダブルクリックである場合、前記タッチポイント検出部は、前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、前記動作認識部は、前記タッチポイント検出部で検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする。
望ましくは、前記動作認識部は、前記２個のタッチポイントの時間間隔が第２臨界値以下であるか否かを判断する時間判断部と、前記２個のタッチポイントの空間間隔が第３臨界値以下であるか否かを判断する位置判断部と、前記時間判断部及び位置判断部の判断結果を基にして、タッチ動作がダブルクリックであるか否かを判断するダブルクリック判断部と、を備えることを特徴とする。

前記他の課題を達成するために、本発明の他の実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するタッチポイント検出部と、前記物体のタッチ如何を感知した結果から、前記検出したタッチポイントに対する前処理を行う前処理部と、前記前処理したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備える。

望ましくは、前記前処理部は、前記物体がタッチした時点を基準に、前記検出したタッチポイントを除外させることを特徴とする。

前記他の課題を達成するために、前記方法をコンピュータで実行させるためのプログラムを記録した記録媒体を備える。

本発明の一実施態様による表示装置に備えられた接触検出層を利用してタッチ如何を判断することによって、光センサー方式におけるタッチ動作を正確に認識できる。
また、光センサー方式のタッチパネルディスプレイ装置におけるダブルクリックを含むタッチ動作において、実際に指を接触する前の影に対しては、タッチポイントとして検出しないことによって、タッチ動作を正確に表せる。

本発明の一実施形態による、光によって画面に情報を入力する機能を備えた表示装置を示した図面である。本発明の他の実施形態による、タッチポイント検出装置を備えた表示装置の概略的な図面である。本発明の他の実施形態による、光によって画面に情報を入力する機能を備えた表示装置を示した図面である。本発明の他の実施形態による、タッチ動作認識装置の概略的なブロック図である。本発明の他の実施形態による、タッチ動作認識装置の概略的なブロック図である。本発明の他の実施形態による、タッチ動作認識装置におけるダブルクリック認識を説明するための図面である。本発明の他の実施形態による、タッチ動作認識装置におけるダブルクリック認識を説明するための図面である。本発明の他の実施形態による、タッチ動作認識装置におけるダブルクリック認識を説明するための図面である。図４及び図５に示された動作認識部の概略的なブロック図である。本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。

以下、添付した図面を参照して、本発明の望ましい実施形態に関する表示装置について詳細に説明する。本明細書に添付した図面を通じて、事実上同じ機能を行う部材に対しては、同じ図面符号を使用する。また、ディスプレイ装置をタッチする物体は、指と仮定して示して説明するが、これに限定されるものではない。

図１は、本発明の一実施形態による、光信号によって画面に情報を入力する機能を備えた表示装置を示した図面である。
図１には、多数の光センサー１１０を備えた表示装置１００が示されている。
表示装置１００は、光センサー１１０だけでなく、多数の薄膜トランジスタ（ＴＦＴ：ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ）及び多様なディスプレイ素子を備えうる。例えば、多数のＴＦＴを構成する電極、層（半導体層及び絶縁層）及び有機発光素子を備えうる。有機発光素子は、画素電極と、これに対向した対向電極と、画素電極（アノード電極）と対向電極（カソード電極）との間に介在された発光層を備える中間層と、を備える。本発明の望ましい実施形態において、外光によって指Ｆの影を感知するだけでなく、有機発光素子の発光によって指Ｆによって反射された光の信号も感知する構成である。また、本発明の望ましい実施形態では、有機発光素子を特定したが、有機発光素子だけでなく、他の平板ディスプレイ素子、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）を含む光センサー方式のタッチスクリーンディスプレイにも同様に適用できる。
光センサー１１０は、特定の物体、例えば、指Ｆを接触した場合、外部光源または内部光源による指Ｆによる光信号を検出する。例えば、光センサー１１０が所定値より明るい光を検出した場合には、信号処理部（図示せず）がハイレベル信号を出力し、所定値より暗い光を検出した場合には、ローレベル信号を出力する。望ましくは、光センサー１１０は、ＰＩＮ型光ダイオードで構成できる。

図２は、本発明の他の実施形態によるタッチポイント検出装置２３０を備えた表示装置の概略的な図面である。
図２には、光センサー２１０を備える表示装置２００、センサー信号読取部２２０及びタッチポイント検出装置２３０が示されている。
表示装置２００は、光センサー２１０と共に、複数の信号線と複数の走査線とが交差する地点に配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）で構成されたピクセルを含む。表示装置は、外部のホスト（図示せず）から伝送された画像信号に基づいて、画像を表示する表示機能を行う。
センサー信号読取部２２０は、表示装置の光センサー２１０が感知した信号を読み出してタッチポイント検出部２３０に出力する。
タッチポイント検出部２３０は、光センサー２１０が感知した信号を解析してタッチポイントを検出する。本発明の望ましい実施形態において、タッチポイント検出部２３０は、光センサー２１０が感知した信号から指影（ｆｉｎｇｅｒｓｈａｄｏｗ）イメージを作るが、指影イメージを生成するための信号処理部（図示せず）、例えば、ラインメモリ、階調化回路、２値化回路を備える。また、タッチポイント検出部２３０は、差分画像、エッジ画像及び多階調画像を利用して、指の接触座標の位置を計算する。例えば、差分画像またはエッジ画像を利用する場合、イメージの領域の面積が所定の臨界値以上である領域に対して、その領域の重心を指の位置座標と算出できる。本発明の望ましい実施形態では、指イメージ領域の重心を利用してポイントの座標を計算したが、これに限定されず、多様なイメージ解析方法を使用して座標を計算できる。

図３は、本発明のさらに他の実施形態による光信号によって画面に情報を入力する機能を備えた表示装置を示した図面である。ここで、表示装置は、物体、特に、指のタッチ如何を感知する接触判別用薄膜を備えている。
図３には、多数の光センサー１１０を備える光センサーアレイ層１１１、第１及び第２基板１０１，１０２、接触検出層１０４及び誘電体層１０５が示されている。
第２基板１０２上に光センサーアレイ層１１１が配される。第１基板と第２基板１０２との間には、多数の光センサー１１０だけでなく、多数のＴＦＴと多様なディスプレイ素子とが備えられうる。第１及び第２基板１０１，１０２は、ガラス材、金属材及びプラスチック材で形成されうる。また、本実施形態では、光センサーアレイ層１００に示されていないが、多数のＴＦＴを構成する電極、層（半導体層及び絶縁層）及び有機発光素子を備えうる。有機発光素子は、画素電極と、これに対向した対向電極と、画素電極（アノード電極）と対向電極（カソード電極）との間に介在された発光層を備える中間層と、を備える。

光センサー１１０は、特定物体、例えば、指が接触した場合、自然光源による指影イメージを解析することによって、タッチした地点の座標を計算するか、または光量を解析して２値画像を作り、これからタッチした地点の位置座標を解析するか、または内部光源によって反射された光量を解析して２値画像を作り、これからタッチした地点の位置座標を計算する。望ましくは、光センサー１１０は、ＰＩＮ型光ダイオードで構成できる。
接触検出層１０４は、第１基板１０１と誘電体層１０５との間に配される。接触検出層１０４は、透明薄膜で構成して透光率を高めることによって、ディスプレイ素子の効率を落とさない。また、接触検出層１０４は、パネル製造過程でパネル基板に内蔵するか、または追加的にディスプレイパネル基板上に生成することもある。接触検出層１０４は、指がタッチまたは接触する場合、指によるキャパシタンス変化を検出する。この場合、接触検出層１０４とパネルとは、キャパシタンスを形成するが、本実施形態では、接触検出層１０４と第１基板１０１との下に配されたカソード電極がキャパシタンスを形成するように構成される。ここで、カソード電極は、光センサーアレイ層１００に含まれた有機発光素子のカソード電極である。したがって、接触検出層１０４とキャパシタンスを形成するために追加の電極または層形成が不要である。

本発明の実施形態では、前述したように、接触検出層１０４を配することによって、光によって画面に情報を入力する機能を備えた表示装置において、光センサー１１０によって獲得したイメージの解析、例えば、エッジ検出を行い、エッジ画像が相互逆方向に移動するかを計算して接触如何を判定する複雑なイメージ解析を行わなくても、接触検出層１０４を通じて、指接触によるキャパシタンス変化を検出して簡単にタッチ如何を判別でき、光センサー１１０は、接触位置の座標を計算する過程のみを分離して行える。ここで、ホストまたは接触判断モジュール（図示せず）で、接触検出層１０４を通じて検出したキャパシタンス値が、既設定の臨界キャパシタンス値以上または以下である場合には、指が接触したと判断する。また、選択的に光センサー１１０の接触位置計算に、接触検出層１０４を通じて判別した指接触情報を利用することによって、接触位置の座標計算の負担を減らすこともできる。
従来の光によって画面に情報を入力する機能を備えた表示装置は、撮影された画像からエッジを検出し、検出されたエッジを利用して、物体が画面に接触したか否かを判定するが、エッジ毎に移動方向を調べて、相互逆方向に移動するエッジがある場合には、物体が画面に接触したと判断する。そして、物体が画面に接触したと判断した場合には、検出されたエッジの重心を求めて座標位置を計算する。しかし、本発明の実施形態では、物体、特に、指の接触如何を、前述した従来の画像処理方法より簡単な接触検出層を利用して検出するので、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）の計算量とメモリ負担とを減らせる。また、従来のイメージ分析方法で発生する実際の指接触ではない影による誤認識を防止することも可能である。

誘電体層１０５は、接触検出層１０４上に形成され、外部自然光が発光表示素子（図示せず）または光センサー１１０に入ることを遮断するか、または反射させる機能を行う。誘電体層１０５は、必要に応じて取り除いて構成されてもよい。
本発明の望ましい実施形態では、接触検出層１０４が、第１基板１０１と誘電体層１０５との間に配され、キャパシタンス方式でタッチ如何を判断すると説明したが、接触検出層１０４の数及び配置は、多様に構成でき、圧力による誘電率の変化を検出することによって、タッチ如何を判断してもよい。

図４は、本発明の他の実施形態によるタッチ動作認識装置２５０の概略的なブロック図である。
図４には、多数の光センサー２１０を備える表示パネル２００、表示パネル２００に内蔵されるか、または付着された接触検出層２３０、光センサー２１０にスキャン信号を提供するセンサースキャン部２４０、光センサー２１０が獲得したデータを読み取るセンサー信号読取部２２０及びタッチ動作認識装置２５０を備える。ここで、タッチ動作認識装置２５０は、タッチ感知部２５１、タッチ判断部２５２、タッチポイント検出部２５４及び動作認識部２５３を備える。
光センサー２１０は、特定物体、例えば、指が接触した場合、自然光源による指影イメージを解析することによって、タッチした地点の座標を計算するか、または光量を解析して２値画像を作り、これからタッチした地点の位置座標を解析するか、または内部光源によって反射された光量を解析して２値画像を作り、これからタッチした地点の位置座標を計算する。表示パネル２００は、光センサー２１０と共に複数の信号線と複数の走査線とが交差する地点に配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）で構成されたピクセルを含む。表示パネル２００は、外部のホスト（図示せず）から伝送された画像信号に基づいて、画像を表示する表示機能を行う。
接触検出層２３０は、表示画面に特定物体、特に、指の接触如何を検出し、検出した接触情報をタッチ動作認識装置２５０に出力する。本発明の前述した実施形態によって、このような接触情報は、キャパシタンスの変化率を含む。

センサースキャン部２４０は、タッチ判断部２５２が指が接触したと判断した場合、光センサー２１０を選択するスキャン信号を表示パネル２００に出力する。
センサー信号読取部２２０は、表示パネル２００の光センサー２１０が感知した信号を読み取ってタッチポイント検出部２５４に出力する。
タッチポイント検出部２５４は、光センサー２１０がセンシングした信号をセンサー情報読取部２２０を通じて入力され、接触した地点の位置座標を計算して、動作認識部２５２に出力する。
タッチ感知部２５１は、接触検出層２２０から接触情報を入力され、接触情報の変化量を測定する。タッチ感知部２５１は、このような指タッチまたは接触による接触情報の変化量、すなわち、キャパシタンスの変化量を測定する。
タッチ判断部２５２は、タッチ判断部２５１から接触情報の変化量を入力され、既設定の基準値と比較して、タッチまたは接触されたか否かを判断する。このような基準値は、ホスト（図示せず）から提供された既保存の値である。具体的に、タッチ判断部２５２は、タッチ感知部２５１で測定したキャパシタンス値が既保存の基準キャパシタンス値と比較して、特定割合で増加する場合、タッチされたと判断する。特に、タッチ判断部２５２は、タッチされたと判断した場合には、センサースキャン部２４０に光センサー２１０を選択するセンサースキャン信号を出力するように制御する。ここで、センサースキャン信号は、ローレベルやハイレベル信号でありうる。

図５は、本発明の他の実施形態によるタッチ動作認識装置の概略的なブロック図である。
図５には、多数の光センサー２１０を備える表示パネル２００、表示パネル２００に内蔵されるか、または付着された接触検出層２３０、光センサー２１０が獲得したデータを読み取るセンサー信号読取部２２０及びタッチ動作認識装置２５０を備える。ここで、タッチ動作認識装置２５０は、タッチ感知部２５１、タッチ判断部２５２、タッチポイント検出部２５４、前処理部２５５及び動作認識部２５３を備える。
ここで、前処理部２５５は、物体、特に、指がタッチした時点を基準に、タッチポイント検出部２５４で検出したタッチポイントを除外させる。ここで、指がタッチした時点は、タッチ判断部２５２で指がタッチしたと判断した時点についての時間情報を意味する。したがって、前処理部２５５は、タッチ判断部２５２から提供された時間情報を利用して、タッチポイント検出部２５４で検出した多数のタッチポイントのうち、時間情報の前後に検出されたタッチポイントを除外させる。したがって、実際にタッチした時点のタッチポイントのみで動作認識部２５３でタッチ動作を認識する。

図６ないし図８は、本発明の他の実施形態によるタッチ動作認識装置におけるダブルクリック認識を説明するための図面である。
光センサーで指影に対してポイントを検出する場合、手がパネルに着く前にポイントを抽出できる。図６には、パネルをタッチをする間の時間についての指動き６００と、検出したタッチポイントの動き６１０，６２０とが示されている。符号６００は、指とパネルとの距離を表したものであり、符号６１０及び符号６２０は、光センサーによって抽出されたタッチポイントの位置を表したものであり、符号６２０は、パネルを実際にタッチしたポイントである。
図６を参照すれば、指動き６００のうち、３番目から５番目までが実際にパネルをタッチした場合であり、１〜２番目、６〜７番目は、実際にタッチしていない場合である。この場合には、検出したタッチポイントの動き６１０，６２０のうち、符号６２０のみをタッチポイントと検出せねばならない。しかし、符号６１０もタッチポイントと検出することによって、タッチ動作を誤認してしまう問題点がある。

一般的に、ダブルクリックを具現するために、ユーザがパネルに指を２回接触する。図７は、これを図式化した図面である。
図７には、２回の指動き７００と、２回検出したタッチポイントの動き７１０とが示されている。本発明の望ましい実施形態によって、接触検出層で指のタッチ如何を感知して実際にタッチされたと判断した場合に、光センサーを駆動させるセンサースキャン信号を出力するように制御するため、図７に示されたように、実際に指が接触した場合にのみ、タッチポイントを２個検出する。したがって、それぞれのタッチポイント７１０の時間間隔と空間間隔とによって、ダブルクリックであるか否かを正確に判断できる。
光センサーを備えた表示装置で、指がパネルに着く前にポイントが抽出される問題点を解決するために、本発明の望ましい実施形態において、接触検出層を利用して、実際のタッチ如何を判断することによって、タッチ前の指影によるポイントを抽出しない。

図８を参照して、実際のタッチを判別するために、指がパネルに着く前に生じるタッチポイントを除外させることを説明する。
ダブルクリックを具現するための２回の指動き８００によって検出されたタッチポイント８１０，８２０のうち、実際にタッチしたポイントではないポイント８１０を除去せねばならない。したがって、本発明の望ましい実施形態では、接触検出層で実際のタッチ如何を判断し、判断した時間情報によってタッチポイント８１０を除外させる前処理を行う。ここで、除外させるタッチポイント８１０の数は、前処理過程によって異なって設定できる。このような過程によってタッチを認識し、各タッチでタッチ位置と時間とを求め、位置及び時間間隔が一定値以内である場合、ダブルクリックと認識する。

図９は、図４及び図５に示された動作認識部２５３の概略的なブロック図である。
図９を参照すれば、動作認識部２５３は、時間判断部２５６、位置判断部２５７及びダブルクリック判断部２５８を備える。
時間判断部２５６は、２個のタッチポイントの時間間隔が所定の臨界値以下であるか否かを判断する。ここで、臨界値は、任意に設定できる。時間間隔は、図７及び図８に示されている。
位置判断部２５７は、２個のタッチポイントの空間間隔が所定の臨界値以下であるか否かを判断する。ここで、臨界値は、任意に設定できる。空間間隔は、図７及び図８に示されている。
ダブルクリック判断部２５８は、時間判断部２５６及び位置判断部２５７の判断結果を基にしてタッチ動作がダブルクリックであるか否かを判断する。すなわち、時間間隔と空間間隔とがいずれも所定の臨界値以下である場合に、ダブルクリックと判断する。

図１０は、本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。
図１０を参照すれば、ステップ１０００で、接触検出層で指タッチを感知する。ステップ１００２で、指がタッチされたか否かを判断する。ここで、指のタッチ如何に対する判断は、タッチ感知信号、例えば、キャパシタンス変化量が所定の臨界値以上であるか否かを判断することによってなされる。ステップ１００２の判断結果、実際にタッチされた場合、ステップ１００４で、センサースキャン信号を出力するように制御する。センサースキャン信号によって、ステップ１００６で、光センサーが指のタッチを感知する。ステップ１００８で、光センサーから読み取られたセンサー信号によって、指イメージを生成する。ステップ１０１０で、指イメージからイメージ解析を通じてタッチポイントを検出する。ステップ１０１２で、タッチポイントを利用して、タッチ動作を認識する。

図１１は、本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。
図１１を参照すれば、ステップ１１００で、接触検出層で指タッチを感知する。ステップ１１０２で、光センサーで指タッチを感知する。ここで、ステップ１１０２は、ステップ１１００と共に行うこともある。ステップ１１０４で、光センサーが感知したセンサー信号を読み取って指イメージを生成する。ステップ１１０６で、指イメージからタッチポイントを検出する。ステップ１１０８で、ステップ１１００で感知した指タッチ時点を基準に、ステップ１１０６で検出したタッチポイントを前処理する。ここで、前処理は、ステップ１１０６で検出したタッチポイントのうち、タッチ時点以前または以後に検出したタッチポイントを除外させることを意味する。ステップ１１１０で、前処理されたタッチポイントを基にしてタッチ動作を認識する。

一方、本発明は、コンピュータで読取可能な記録媒体にコンピュータ可読コードで具現できる。コンピュータで読取可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての種類の記録装置を含む。
コンピュータで読取可能な記録媒体の例としては、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）形態に具現されるものを含む。また、コンピュータで読取可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、当業者によって容易に推論されうる。

以上、本発明について望ましい実施形態を中心に説明した。当業者は、本発明の本質的な特性から逸脱しない範囲で変形された形態を具現できるということが分かるであろう。したがって、前述した実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表われており、それと同等な範囲内にあるすべての差異点は、本発明に含まれていると解釈されねばならない。

本発明は、表示装置関連の技術分野に好適に適用可能である。

１００，２００表示装置
１１０，２１０光センサー
２２０センサー信号読取部
２３０タッチポイント検出部
２５０タッチ動作認識装置
２５１タッチ感知部
２５２タッチ判断部
２５３動作認識部
２５４タッチポイント検出部
２５５前処理部

Claims

光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法であって、
（ａ）前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、
（ｂ）前記物体のタッチが行われた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するステップと、
（ｃ）前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するステップと、
（ｄ）前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識するステップと、を含み、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算する、タッチ動作認識方法。
前記（ｂ）ステップは、
前記感知した結果による物体タッチ信号が、第１臨界値以上であるか否かを判断するステップをさらに含み、
前記物体タッチ信号が前記第１臨界値以上である場合、前記センサースキャン信号を出力することを特徴とする請求項１に記載のタッチ動作認識方法。
前記（ｃ）ステップは、
前記物体のイメージを解析して、前記物体がタッチしたポイントの座標を計算することによって、タッチポイントを検出することを特徴とする請求項１に記載のタッチ動作認識方法。
前記タッチ動作は、
ダブルクリックであることを特徴とする請求項１に記載のタッチ動作認識方法。
前記（ｃ）ステップは、
前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、
前記（ｄ）ステップは、
前記２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする請求項４に記載のタッチ動作認識方法。
前記（ｄ）ステップは、
前記時間間隔が第２臨界値以下であり、前記空間間隔が第３臨界値以下である場合、ダブルクリックと認識することを特徴とする請求項５に記載のタッチ動作認識方法。
光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法として、
（ａ）前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、
（ｂ）前記物体のタッチ如何を感知した後に、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するステップと、
（ｃ）前記物体のタッチ如何を感知した結果から前記検出したタッチポイントに対して、前記物体がタッチした時点を基準に、基準時点の前後に検出された前記タッチポイントを除外させる前処理を行うステップと、
（ｄ）前記前処理の結果、残ったタッチポイントを基にして、前記物体のタッチ動作を認識するステップと、を含み、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算する、タッチ動作認識方法。
前記タッチ動作は、
ダブルクリックであることを特徴とする請求項７に記載のタッチ動作認識方法。
前記（ｂ）ステップは、
前記物体のイメージを解析して、前記物体がタッチしたタッチポイントの座標を計算することによって少なくとも２以上のタッチポイントを検出し、
前記（ｃ）ステップは、
前記少なくとも２以上のタッチポイントを、前記物体がタッチした時点を基準に除外させる前処理を行うことによって、２個のタッチポイントを検出することを特徴とする請求項８に記載のタッチ動作認識方法。
前記（ｄ）ステップは、
前記検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする請求項９に記載のタッチ動作認識方法。
請求項１ないし１０のうちいずれか１項による方法をコンピュータで実行させるためのプログラムを記録した記録媒体。
光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置において、
前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、
前記物体がタッチされた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するタッチ判断部と、
前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するタッチポイント検出部と、
前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備え、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算するタッチ動作認識装置。
前記タッチ判断部は、
前記タッチ感知部から出力された物体タッチ信号が第１臨界値以上であるか否かを判断し、前記物体タッチ信号が前記第１臨界値以上である場合、センサースキャン信号を出力するように制御することを特徴とする請求項１２に記載のタッチ動作認識装置。
前記タッチ動作がダブルクリックである場合、
前記タッチポイント検出部は、
前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、
前記動作認識部は、
前記タッチポイント検出部で検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする請求項１３に記載のタッチ動作認識装置。
前記動作認識部は、
前記２個のタッチポイントの時間間隔が第２臨界値以下であるか否かを判断する時間判断部と、
前記２個のタッチポイントの空間間隔が第３臨界値以下であるか否かを判断する位置判断部と、
前記時間判断部及び位置判断部の判断結果を基にして、タッチ動作がダブルクリックであるか否かを判断するダブルクリック判断部と、を備えることを特徴とする請求項１４に記載のタッチ動作認識装置。
光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置において、
前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、
前記物体がタッチされた場合、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するタッチポイント検出部と、
前記物体のタッチ如何を感知した結果から前記検出したタッチポイントに対する前処理を行う前処理部と、
前記前処理したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備え、
前記前処理部は、
前記物体がタッチした時点を基準に、基準時点の前後に検出された前記タッチポイントを除外させ、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算することを特徴とするタッチ動作認識装置。