JP2012221494A - ディスプレイ装置及びそのオブジェクト表示方法 - Google Patents

ディスプレイ装置及びそのオブジェクト表示方法 Download PDF

Info

Publication number
JP2012221494A
JP2012221494A JP2012076766A JP2012076766A JP2012221494A JP 2012221494 A JP2012221494 A JP 2012221494A JP 2012076766 A JP2012076766 A JP 2012076766A JP 2012076766 A JP2012076766 A JP 2012076766A JP 2012221494 A JP2012221494 A JP 2012221494A
Authority
JP
Japan
Prior art keywords
touch sensing
input
touch
detected
sensing units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012076766A
Other languages
English (en)
Other versions
JP6027328B2 (ja
Inventor
Young-Ran Han
榮 蘭 韓
Hee-Won Lee
喜 元 李
Kyoung-Oh Choi
景 梧 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012221494A publication Critical patent/JP2012221494A/ja
Application granted granted Critical
Publication of JP6027328B2 publication Critical patent/JP6027328B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】第1及び第2タッチセンシング部から同時にユーザ入力が検知された場合、シングルタッチ入力か、マルチタッチ入力かを決定する入力方法の提供。
【解決手段】ディスプレイ装置100は、表示部150と、第1入力方式によるユーザ入力を検知する第1タッチセンシング部110と、第2入力方式によるユーザ入力を検知する第2タッチセンシング部120と、第1及び第2タッチセンシング部から検知された座標値を算出する座標算出部130と、第1及び第2タッチセンシング部から同時にユーザ入力が検知された場合、第1及び第2タッチセンシング部から検知された座標値を比較し、シングルタッチ入力か、マルチタッチ入力かを決定し、決定結果に従ってオブジェクトを表示部に表示するように制御する制御部140とを含む。
【選択図】図1

Description

本発明は、ディスプレイ装置及びそのオブジェクト表示方法に関し、より詳細には、多様な入力方式による複数個のタッチセンシング部を含むディスプレイ装置及びそのオブジェクト表示方法に関する。
ディスプレイ装置の入力手段として多様なタッチ方式が開発されてきた。特に、多様なタッチ方式のうち、IRセンシング部を含むデジタルペン(Digital Pen)方式は、より精密にかつ正確な地点の座標認識が可能であり、多くの分野で使われている。
具体的に、IRセンシング部を含むデジタルペン方式としては、PDPディスプレイ装置においてX軸及びY軸方向にスキャン放電してIR光を発生させた後、デジタルペンのIRセンシング部が当該位置から発せられるIR光を獲得し、その地点の座標値を伝送する方法(韓国特開第2009−0052606号を参照)があった。更に、他のデジタルペン方式としては、特定のDot Patternが描かれた表面をIRセンシング部の含まれたデジタルペンでキャプチャして空間上の座標を認識し、それを伝送する方法があった。
一方、デジタルペン方式のタッチパネルは、IRセンシング部を含むデジタルペンを用いるため、指や他の物体によってはタッチ認識が不可能であった。従って、ディスプレイ装置は指や他の物体によるタッチ認識ができるように、デジタルペン方式のタッチパネル以外に指や他の物体のタッチを認識することができる別の方式(例えば、静電式、感圧式、カメラ方式やIR方式等)のタッチパネルを併せて設置するようになった。
しかし、デジタルペン方式のタッチパネルと、その他の方式のタッチパネルを同時に使用する場合、一地点に複数個の座標値が検知されるという問題が生じることになる。具体的に、ユーザがデジタルペンをタッチセンシング部の表面に使う場合、デジタルペン入力方式のタッチパネルだけでなく、それとは異なる方式のタッチパネルも座標値を検知するようになる。この場合、ユーザはデジタルペンを用いて円滑にイベントを行うことができなくなってしまうという問題点が生じていた。
このような問題点を解決するための方法として、従来は二つのタッチパネルのうち、いずれか一方のタッチパネルにON/OFFモードを与える方法と、同時に入力された二つの座標値のうち、いずれか一方の座標値は無視し、他方の座標値(例えば、デジタルペン方式のタッチパネルによる座標値)のみを用いる方法が使われていた。しかし、いずれの方法も、デジタルペン方式による入力とデジタルペン方式以外の方式による入力とを同時に認識するマルチタッチ入力についてはサポートが不可能であった。
従って、多様な入力方式のタッチセンシング部の含まれたディスプレイ装置においてマルチタッチ入力がサポートできるような方策への模索が求められる。
韓国特開第2010−0129041号公報 日本特開平9−231006号公報 韓国特許登録第0510731号 韓国特許登録第0997437号
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、第1及び第2タッチセンシング部から同時にユーザ入力が検知された場合、第1及び第2タッチセンシング部から検知された座標値を比較し、シングルタッチ入力か、マルチタッチ入力かを決定するディスプレイ装置及びそのオブジェクト表示方法を提供することにある。
前記目的を達成するための本発明の一実施形態に係るディスプレイ装置は、オブジェクトを表示する表示部と、第1入力方式によるユーザ入力を検知する第1タッチセンシング部と、第2入力方式によるユーザ入力を検知する第2タッチセンシング部と、前記第1及び第2タッチセンシング部から検知された座標値を算出する座標算出部と、前記第1及び第2タッチセンシング部から同時にユーザ入力が検知された場合、前記第1及び第2タッチセンシング部から検知された座標値を比較し、シングルタッチ入力か、マルチタッチ入力かを決定し、前記決定結果に従って前記オブジェクトを前記表示部に表示するように制御する制御部とを含む。
そして、前記制御部は、前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離未満である場合、シングルタッチ入力に決定し、前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離以上である場合、マルチタッチ入力に決定してよい。
なお、前記シングルタッチ入力は、前記第1タッチセンシング部によって検知された座標値のみを表示してよい。
そして、前記シングルタッチ入力は、前記第1及び第2タッチセンシング部のうち、ユーザによって設定されたタッチセンシング部によって検知された座標値を表示してよい。
なお、前記マルチタッチ入力は、前記第1及び第2タッチセンシング部によって検知された座標値をすべて表示してよい。
そして、前記制御部は、前記第1及び第2タッチセンシング部のうち、いずれか一方のみからユーザ入力が検知された場合、検知されたタッチセンシング部の座標値を算出して前記制御部に出力してよい。
なお、前記第1入力方式は、IRセンシング部の含まれたデジタルペン入力方式であってよい。
そして、前記第2入力方式は、感圧式(Resistive)、カメラ方式、IR方式、光学式(Optical)タッチ方式及び超音波式のタッチ方式のうち、いずれか一つであってよい。
なお、前記ディスプレイ装置は、電子黒板であってよい。
一方、前記目的を達成するための本発明の一実施形態に係る第1入力方式による第1タッチセンシング部及び第2入力方式による第2タッチセンシング部を含むディスプレイ装置のオブジェクト表示方法は、前記第1及び第2タッチセンシング部のうち、少なくともいずれか一方によってユーザ入力を検知するステップと、前記第1及び第2タッチセンシング部のうち、少なくともいずれか一方によって検知されたユーザ入力を通じて座標値を算出するステップと、前記第1及び第2タッチセンシング部から同時にユーザ入力が検知された場合、前記第1及び第2タッチセンシング部から検知された座標値を比較し、シングルタッチ入力か、マルチタッチ入力かを決定するステップと、前記決定結果に従って前記オブジェクトを表示するステップとを含む。
そして、前記決定するステップは、前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離未満である場合、シングルタッチ入力に決定し、前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離以上である場合、マルチタッチ入力に決定してよい。
なお、前記表示するステップは、前記シングルタッチ入力に決定された場合、前記第1タッチセンシング部によって検知された座標値によって前記オブジェクトを表示してよい。
そして、前記第1及び第2タッチセンシング部のうち、いずれか一方によって算出された座標値をシングルタッチ入力による座標値に設定するステップを更に含み、前記表示ステップは、前記シングルタッチ入力に決定された場合、前記設定されたタッチセンシング部によって検知された座標値によって前記オブジェクトを表示してよい。
なお、前記表示するステップは、前記マルチタッチ入力に決定された場合、前記第1及び第2タッチセンシング部によって検知された座標値によって前記オブジェクトを表示してよい。
そして、前記第1及び第2タッチセンシング部のうち、いずれか一方のみからユーザ入力が検知された場合、検知されたタッチセンシング部の座標値を表示するステップを更に含んでよい。
なお、前記第1入力方式は、IRセンシング部の含まれたデジタルペン入力方式であってよい。
そして、前記第2入力方式は、感圧式(Resistive)、カメラ方式、IR方式、光学式(Optical)タッチ方式及び超音波式のタッチ方式のうち、いずれか一つであってよい。
なお、前記ディスプレイ装置は、電子黒板であってよい。
以上説明したように本発明によれば、本発明の多様な実施形態によると、デジタルペンだけでなく、指又は他の物体を用いてタッチを検知することができ、デジタルペンと指又は他の物体が同時にタッチされた場合、マルチタッチ入力までサポートすることができるようになる。
本発明の一実施形態に係るディスプレイ装置のブロック図を示す図である。 本発明の一実施形態に係るデジタルペンのみが入力された場合、座標値を算出するための方法を示す図である。 本発明の一実施形態に係るデジタルペンと指が同時に入力された場合、座標値を算出するための方法を示す図である。 本発明の一実施形態に係る指のみが入力された場合、座標値を算出するための方法を示す図である。 本発明の一実施形態に係る複数個のタッチパネルによって検知された座標値を用いてオブジェクトを表示する方法について説明するためのフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本発明について説明するうえで、関連の公知機能或いは構成に対する具体的な説明が本発明の趣旨に反すると判断される場合、その詳細な説明を省略する。
図1は、本発明の一実施形態に係るディスプレイ装置100のブロック図を示す図である。図1に示すように、ディスプレイ装置100は、第1タッチセンシング部110と、第2タッチセンシング部120と、座標算出部130と、制御部140及び表示部150を含む。このとき、第1タッチセンシング部110、第2タッチセンシング部120及び表示部150は、一つのディスプレイパネルで構成されてよい。
第1タッチセンシング部110は、IRセンシング部を含むデジタルペンを用いるデジタルペン方式のタッチセンシング部である。上述したように、デジタルペン方式は、パネルから発せられるIR光をデジタルペンのIRセンシング部が検知し、検知された地点をディスプレイ装置に伝送することにより、検知された地点の座標値を算出する方式である。
第2タッチセンシング部120は、デジタルペンを用いるデジタルペン方式以外の他の方式によるタッチセンシング部として、ユーザの指又はデジタルペン以外の他の物体を検知することができるタッチセンシング部である。このとき、第2タッチセンシング部120は、感圧式(Resistive)、カメラ方式、IR方式、光学式(Optical)タッチ方式及び超音波式のタッチ方式のうち、いずれか一つの方式によるタッチセンシング部であってよい。具体的に、感圧式のタッチセンシング部は、タッチスクリーンに加えられる物理的な圧力によってタッチスクリーンの内部の抵抗値と電流値の変化が生じるようになり、それに基づいてタッチされた地点の座標を測定する方式である。なお、カメラ方式は、ディスプレイ装置の角にカメラを設置し、タッチしようとする地点の位置を測定する方式である。なお、IR方式は、ディスプレイの角にIR発信部及びIR受信部を対向させるように設置し、タッチしようとする物体がIR光の受信を妨害する時点を把握して位置を測定する方式である。その他に、光学式方式及び超音波方式を用いて、ユーザの指又はデジタルペン以外の他の物体を検知することができる。
座標算出部130は、第1及び第2タッチセンシング部110、120のうち、少なくともいずれか一方によって検知されたユーザ入力を通じて座標値を算出する。このとき、座標算出部130は、多様な方式の入力方式によって検知されたユーザ入力の座標値を算出し、このような多様な方式の算出方法は、公知の技術として詳細な説明を省略する。
表示部150は、制御部140の制御に従って、座標算出部130から算出された座標値に対応する地点にオブジェクトを表示する。
制御部140は、座標算出部130によって算出された座標値に対応する地点にオブジェクトが表示されるように表示部150を制御する。
具体的に、制御部140は、第1及び第2タッチセンシング部110、120に同時にユーザ入力が検知されたか否かを判断する。このとき、第1及び第2タッチセンシング部110、120から同時にユーザ入力が検知された場合、制御部140は第1及び第2タッチセンシング部110、120から検知された座標値を比較し、シングルタッチ入力か、マルチタッチ入力かを決定する。具体的に、制御部140は、第1タッチセンシング部110及び第2タッチセンシング部120から検知された座標値間の距離を比較し、シングルタッチ入力か、マルチタッチ入力かを決定する。
具体的に、第1及び第2タッチセンシング部110、120から検知された座標値間の距離が予め設定された距離未満である場合、制御部140はシングルタッチ入力に決定し、第1及び第2タッチセンシング部110、120から検知された座標値間の距離が予め設定された距離以上である場合、制御部140はマルチタッチ入力に決定する。それは、第1及び第2タッチセンシング部110、120が座標値を算出する方式が異なるため、同じ地点をタッチするとしても、微小な差が生じるためである。従って、このような差を考慮し、両タッチセンシング部から検知された座標値間の距離が予め設定された距離以下である場合、制御部110は同一の地点をタッチしていると判断し、シングルタッチ入力に決定する。しかし、両タッチセンシング部から検知された座標値間の距離が予め設定された値以上である場合、制御部140は二つの地点をタッチしていると判断し、マルチタッチ入力に決定する。このとき、予め設定された距離は、両タッチセンシング部110、120から検知された座標値がほぼ同一の点であると判断され得るだけの距離として、0.5mmであってよい。しかし、このような距離は、一実施形態に過ぎず、別の値に設定されてよい。
なお、第1及び第2タッチセンシング部110、120から検知された座標値間の距離が予め設定された距離以下である場合であっても、制御部140はユーザにシングルタッチ入力の有無に対する確認を求めるために、“シングルタッチ入力の有無”を決定するためのUIを生成することができる。このとき、UIを通じて“シングルタッチ入力”であることを決定した場合、制御部140はユーザの入力をシングルタッチ入力に決定し、“マルチタッチ入力”であることを決定した場合、制御部140はユーザの入力をマルチタッチ入力に決定してよい。
なお、上述のシングルタッチ入力とは、両タッチセンシング部のうち、いずれか一方のタッチセンシング部から検知された座標値を表示することをいう。このとき、一方のタッチセンシング部はより精密な表現が可能なデジタルペン方式の第1タッチセンシング部110に優先権を与えることができる。しかし、それは一実施形態に過ぎず、ユーザによって設定されたタッチセンシング部から検知された座標値を表示することができる。なお、マルチタッチ入力とは、両タッチセンシング部から検知された座標値のすべてを表示するものである。
しかし、第1及び第2タッチセンシング部110、120のうち、いずれか一方のタッチセンシング部のみからユーザ入力が検知された場合、制御部140は検知されたタッチセンシング部の座標値を表示する。
以下では、図2ないし図4を参照しながら、制御部140が座標値を決定する多様な実施形態について説明する。このとき、図2ないし図4に示された第1タッチセンシング部110は、IRセンシング部を含むデジタルペン方式のタッチセンシング部であり、第2タッチセンシング部120は、角にカメラ121、122、123、124を備えるカメラ方式のタッチセンシング部である。しかし、第2タッチセンシング部120がカメラ方式のタッチセンシング部であることは一実施形態に過ぎず、感圧式、IR方式、光学式又は超音波方式のタッチセンシング部であってよい。
図2は、本発明の一実施形態に係るデジタルペン200のみが入力された場合、座標値を算出するための方法を示す図である。図2に示すように、複数のタッチセンシング部110、120にデジタルペン200を用いてタッチする場合、第1タッチセンシング部110及び第2タッチセンシング部120は同時にデジタルペン200を検知するようになる。
このとき、制御部150は、第1タッチセンシング部110及び第2タッチセンシング部120が同時にデジタルペン200を検知しているため、第1タッチセンシング部110から検知された座標値と、第2タッチセンシング部120から検知された座標値との間の距離を比較する。具体的に、第1タッチセンシング部110から検知された座標値である(x1、y1)と、第2タッチセンシング部120から検知された座標値である(x2、y2)の距離を比較する。このとき、デジタルペン200が第1タッチセンシング部110及び第2タッチセンシング部120の同一の地点をタッチしているため、(x1、y1)と(x2、y2)との間の距離は、予め設定された距離未満になる。従って、制御部140は、第1タッチセンシング部110及び第2タッチセンシング部120から検知された座標値が同一の地点をタッチしていると判断し、優先権の与えられた第1タッチセンシング部110の値のみを表示部150に表示するようになる。従って、両タッチセンシング部110、120がデジタルペン200をすべて検知するとしても、複数の座標値が表示されるわけではなく、精密な表現が可能であるため、優先権の与えられた第1タッチセンシング部110のみの座標値を表示できるようになる。
図3は、本発明の一実施形態に係るデジタルペン200と指300とが同時に入力された場合、座標値を算出するための方法を示す図である。図3に示すように、複数のタッチセンシング部110、120にデジタルペン200と指300を用いてタッチする場合、デジタルペン200は第1タッチセンシング部110及び第2タッチセンシング部120から検知され、指300は第2タッチセンシング部120から検知される。
図2において説明しているように、デジタルペン200が第1タッチセンシング部110及び第2タッチセンシング部120から同時に検知されるとしても、制御部150は両タッチセンシング部110、120から検知された座標値((x3、y3)、(x4、y4))間の距離が予め設定された距離未満であるため、第1タッチセンシング部110から検知された座標値のみが決定される。
しかし、デジタルペン200だけでなく、指300も同時に検知されているため、制御部200は第1タッチセンシング部110から検知されたデジタルペンの座標値と第2タッチセンシング部120から検知された指座標値とを比較する。具体的に、第1タッチセンシング部110から検知されたデジタルペンの座標値である(x3、y3)と第2タッチセンシング部120から検知された指の座標値(x5、y5)との距離を比較する。このとき、デジタルペン200がタッチした地点と指300がタッチした地点とが異なる地点であるため、(x3、y3)と(x5、y5)との間の距離は予め設定された距離以上となる。従って、制御部140は、第1タッチセンシング部110及び第2タッチセンシング部120から検知された座標値が相違している地点をタッチしていると判断し、両タッチセンシング部110、120から検知された座標値である(x3、y3)、(x5、y5)をすべて表示部150に表示するようになる。従って、異なる入力方式によって同時にタッチされるとしても、一つの入力方式のみが表示されるわけではなく、複数の入力方式をすべて表示できるマルチタッチ入力が可能となる。
図4は、本発明の一実施形態に係る指のみが入力された場合、座標値を算出するための方法を示す図である。図4に示すように、複数のタッチセンシング部110、120に指300を用いてタッチする場合、指300は第2タッチセンシング部120のみによって検知される。それは、指300にはIRセンシング部が含まれていないためである。
従って、制御部140は、第2タッチセンシング部120から検知された座標値(x6、y6)のみを表示部150に表示するようになる。
上述の多様な実施形態において説明したように、複数の入力方式を有する複数のタッチセンシング部が含まれるとしても、ディスプレイ装置100はデジタルペン及びデジタルペン以外の物体のうちいずれか一つによって入力された場合、シングルタッチ入力であると判断してよく、デジタルペン及びデジタルペン以外の物体がすべて入力された場合、マルチタッチ入力であると判断してよい。
図5は、本発明の一実施形態に係る複数個のタッチパネルによって検知された座標値を用いてオブジェクトを表示する方法について説明するためのフローチャートである。
まず、ディスプレイ装置100は、第1及び第2タッチセンシング部110、120のうち、少なくともいずれか一方を検知する(S510)。このとき、第1タッチセンシング部110は、IRセンシング部の含まれたデジタルペン方式のタッチセンシング部であり、第2タッチセンシング部110はデジタルペン方式以外の感圧式、カメラ方式、IR方式、光学式及び超音波方式のうち、いずれか一つの方式によるタッチセンシング部であってよい。
そして、ディスプレイ装置100は、第1及び第2タッチセンシング部110、120のうち、少なくともいずれか一方によって検知されたユーザ入力を通じて座標値を算出する(S520)。
その後、ディスプレイ装置100は、第1及び第2タッチセンシング部110、120から同時にユーザ入力が検知されたか否かを判断する(S530)。第1及び第2タッチセンシング部110、120から同時にユーザ入力が検知されなかった場合(S530−N)、即ち、第1及び第2タッチセンシング部110、120のうち、いずれか一方のタッチセンシング部のみからユーザ入力が検知された場合、ディスプレイ装置110は検知されたタッチセンシング部に対する座標値でオブジェクトを表示する。例えば、指を用いてタッチ入力を行った場合、第2タッチセンシング部120のみからユーザ入力が検知されるため、ディスプレイ装置110は第2タッチセンシング部によって検知された座標値でオブジェクトを表示する。
しかし、第1及び第2タッチセンシング部110、120から同時にユーザ入力が検知された場合(S530−Y)、ディスプレイ装置100は第1及び第2タッチセンシング部110、120から検知された座標の間の距離が所定距離以内であるか否かを判断する(S550)。即ち、ディスプレイ装置100は、第1及び第2タッチセンシング部110、120から検知された座標値が同一地点の座標値であるか否かを判断する。
第1及び第2タッチセンシング部110、120から検知された座標の間の距離が所定距離以内である場合(S550−Y)、ディスプレイ装置100はシングルタッチ入力に決定する(S580)。例えば、デジタルペン200が第1タッチセンシング部110及び第2タッチセンシング部120から同時に検知された場合、第1及び第2タッチセンシング部110、120から検知された座標値の距離は、所定距離以内となる。従って、ディスプレイ装置100は、同一地点に対するタッチ入力と認識し、シングルタッチ入力に決定する。
このとき、シングルタッチ入力は、両タッチセンシング部のうち、いずれか一方のタッチセンシング部から検知された座標値を表示する入力のことをいう。このとき、一方のタッチセンシング部は、より精密な表現が可能なデジタルペン方式の第1タッチセンシング部110に優先権を与えることができる。しかし、それは一実施形態に過ぎず、ユーザによって設定されたタッチセンシング部から検知された座標値を表示してよい。
シングルタッチ入力に決定されると、ディスプレイ装置100は第1タッチセンシング部から検知された座標値でオブジェクトを表示する(S590)。
第1及び第2タッチセンシング部110、120から検知された座標間の距離が所定距離以上である場合(S550−N)、ディスプレイ装置100はマルチタッチ入力に決定する(S560)。例えば、デジタルペン200が第1タッチセンシング部110に検知され、それと同時に、指が第2タッチセンシング部120によって検知された場合、第1及び第2タッチセンシング部110、120から検知された座標値の距離は、所定距離以上となる。従って、ディスプレイ装置100は、両タッチセンシングに対するタッチ入力が相違する地点に対するタッチ地点として認識し、マルチタッチ入力に決定する。
このとき、マルチタッチ入力とは、第1及び第2タッチセンシング部110、120から検知された座標値のすべてを表示する入力のことをいう。
マルチタッチ入力に決定されると、ディスプレイ装置100は第1タッチセンシング部110及び第2タッチセンシング部120から検知された座標値のすべてを用いてオブジェクトを表示する(S570)。
上述のような方法を通じて、デジタルペンだけでなく、指又は他の物体を用いてタッチを検知することができ、デジタルペンと指又は他の物体が同時にタッチされた場合、マルチタッチ入力までサポートできるようになる。
一方、本発明の一実施形態に係るディスプレイ装置100は、大画面の電子黒板であってよい。しかし、それは一実施形態に過ぎず、タッチセンシング部を用いてユーザ入力が可能なディスプレイ装置なら、本発明の技術的思想の適用が可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

  1. オブジェクトを表示する表示部と、
    第1入力方式によるユーザ入力を検知する第1タッチセンシング部と、
    第2入力方式によるユーザ入力を検知する第2タッチセンシング部と、
    前記第1及び第2タッチセンシング部から検知された座標値を算出する座標算出部と、
    前記第1及び第2タッチセンシング部から同時にユーザ入力が検知された場合、前記第1及び第2タッチセンシング部から検知された座標値を比較し、シングルタッチ入力か、マルチタッチ入力かを決定し、前記決定結果に従って前記オブジェクトを前記表示部に表示するように制御する制御部と
    を含むディスプレイ装置。
  2. 前記制御部は、
    前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離未満である場合、シングルタッチ入力に決定し、
    前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離以上である場合、マルチタッチ入力に決定することを特徴とする請求項1に記載のディスプレイ装置。
  3. 前記シングルタッチ入力は、
    前記第1タッチセンシング部によって検知された座標値のみを表示することを特徴とする請求項1又は2に記載のディスプレイ装置。
  4. 前記シングルタッチ入力は、
    前記第1及び第2タッチセンシング部のうち、ユーザによって設定されたタッチセンシング部によって検知された座標値を表示することを特徴とする請求項1又は2に記載のディスプレイ装置。
  5. 前記マルチタッチ入力は、
    前記第1及び第2タッチセンシング部によって検知された座標値をすべて表示することを特徴とする請求項1ないし4のいずれか一項に記載のディスプレイ装置。
  6. 前記制御部は、
    前記第1及び第2タッチセンシング部のうち、いずれか一方のみからユーザ入力が検知された場合、検知されたタッチセンシング部の座標値を算出して前記制御部に出力することを特徴とする請求項1ないし5のいずれか一項に記載のディスプレイ装置。
  7. 前記第1入力方式は、
    IRセンシング部の含まれたデジタルペン入力方式であることを特徴とする請求項1ないし6のいずれか一項に記載のディスプレイ装置。
  8. 前記第2入力方式は、
    感圧式(Resistive)、カメラ方式、IR方式、光学式(Optical)タッチ方式及び超音波式のタッチ方式のうち、いずれか一つであることを特徴とする請求項1ないし7のいずれか一項に記載のディスプレイ装置。
  9. 前記ディスプレイ装置は、
    電子黒板であることを特徴とする請求項1ないし8のいずれか一項に記載のディスプレイ装置。
  10. 第1入力方式による第1タッチセンシング部及び第2入力方式による第2タッチセンシング部を含むディスプレイ装置のオブジェクト表示方法において、
    前記第1及び第2タッチセンシング部のうち、少なくともいずれか一方によってユーザ入力を検知するステップと、
    前記第1及び第2タッチセンシング部のうち、少なくともいずれか一方によって検知されたユーザ入力を通じて座標値を算出するステップと、
    前記第1及び第2タッチセンシング部から同時にユーザ入力が検知された場合、前記第1及び第2タッチセンシング部から検知された座標値を比較し、シングルタッチ入力か、マルチタッチ入力かを決定するステップと、
    前記決定結果に従って前記オブジェクトを表示するステップと
    を含むオブジェクト表示方法。
  11. 前記決定するステップは、
    前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離未満である場合、シングルタッチ入力に決定し、
    前記第1及び第2タッチセンシング部から検知された座標値が予め設定された距離以上である場合、マルチタッチ入力に決定することを特徴とする請求項10に記載のオブジェクト表示方法。
  12. 前記表示するステップは、
    前記シングルタッチ入力に決定された場合、前記第1タッチセンシング部によって検知された座標値によって前記オブジェクトを表示することを特徴とする請求項10又は11に記載のオブジェクト表示方法。
  13. 前記第1及び第2タッチセンシング部のうち、いずれか一方によって算出された座標値をシングルタッチ入力による座標値に設定するステップを更に含み、
    前記表示ステップは、
    前記シングルタッチ入力に決定された場合、前記設定されたタッチセンシング部によって検知された座標値によって前記オブジェクトを表示することを特徴とする請求項10又は11に記載のオブジェクト表示方法。
  14. 前記表示するステップは、
    前記マルチタッチ入力に決定された場合、前記第1及び第2タッチセンシング部によって検知された座標値によって前記オブジェクトを表示することを特徴とする請求項10ないし13のいずれか一項に記載のオブジェクト表示方法。
  15. 前記第1及び第2タッチセンシング部のうち、いずれか一方のみからユーザ入力が検知された場合、検知されたタッチセンシング部の座標値を表示するステップを更に含むことを特徴とする請求項10ないし14のいずれか一項に記載のオブジェクト表示方法。
JP2012076766A 2011-04-05 2012-03-29 ディスプレイ装置及びそのオブジェクト表示方法 Expired - Fee Related JP6027328B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0031256 2011-04-05
KR1020110031256A KR101811636B1 (ko) 2011-04-05 2011-04-05 디스플레이 장치 및 이의 오브젝트 표시 방법

Publications (2)

Publication Number Publication Date
JP2012221494A true JP2012221494A (ja) 2012-11-12
JP6027328B2 JP6027328B2 (ja) 2016-11-16

Family

ID=45841176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012076766A Expired - Fee Related JP6027328B2 (ja) 2011-04-05 2012-03-29 ディスプレイ装置及びそのオブジェクト表示方法

Country Status (5)

Country Link
US (1) US9007345B2 (ja)
EP (1) EP2508965B1 (ja)
JP (1) JP6027328B2 (ja)
KR (1) KR101811636B1 (ja)
CN (1) CN102750028B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665202B2 (en) 2014-01-08 2017-05-30 Chunghwa Picture Tubes, Ltd. Touch panel circuit and operation method thereof

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI456458B (zh) * 2012-09-03 2014-10-11 Acer Inc 電子裝置以及相關之控制方法
JP5958215B2 (ja) * 2012-09-12 2016-07-27 富士通株式会社 情報端末装置、タッチ座標決定方法及びタッチ座標決定プログラム
KR20140046557A (ko) * 2012-10-05 2014-04-21 삼성전자주식회사 다점 입력 인식 방법 및 그 단말
US9836154B2 (en) * 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
US20140267181A1 (en) * 2013-03-14 2014-09-18 Research In Motion Limited Method and Apparatus Pertaining to the Display of a Stylus-Based Control-Input Area
KR102096861B1 (ko) * 2013-11-25 2020-04-06 엘지디스플레이 주식회사 통합 터치 시스템 및 표시장치
CN104375698A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种触控设备
KR102332468B1 (ko) * 2014-07-24 2021-11-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
CN105786265B (zh) * 2014-12-17 2018-09-25 中强光电股份有限公司 光学触控***、光幕产生模块及调整结构
CN104898996B (zh) * 2015-05-04 2022-04-22 联想(北京)有限公司 信息处理方法及电子设备
JP2017083973A (ja) * 2015-10-23 2017-05-18 富士通株式会社 表示端末装置、表示制御方法および表示制御プログラム
US20180373392A1 (en) * 2015-12-21 2018-12-27 Sony Corporation Information processing device and information processing method
KR102649009B1 (ko) * 2016-12-20 2024-03-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3882754A4 (en) 2019-01-03 2022-04-20 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
KR102359654B1 (ko) * 2019-12-10 2022-02-08 인천대학교 산학협력단 디지털 길이 측정 장치
KR20230018932A (ko) * 2021-07-30 2023-02-07 쿠팡 주식회사 전자 장치 및 그의 동작 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189110A (ja) * 1992-12-18 1994-07-08 Fuji Xerox Co Ltd 画像編集機能を備えた画像形成装置
JPH07334308A (ja) * 1994-06-06 1995-12-22 Nec Corp タッチパネルおよびこれを利用した座標検出装置
JP2004534974A (ja) * 2000-10-27 2004-11-18 エロ・タッチシステムズ・インコーポレイテッド 複数のタッチセンサを利用した接触確認式タッチスクリーン
JP2008165575A (ja) * 2006-12-28 2008-07-17 Mitsubishi Electric Corp タッチパネル装置
WO2010004381A1 (en) * 2008-07-07 2010-01-14 Nortel Networks Limited Multi-touch tochscreen incorporating pen tracking
JP2011081766A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置
JP2011081765A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190268A (ja) * 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
CN101057271A (zh) * 2004-07-15 2007-10-17 N-Trig有限公司 双模数字化器的自动转换
EP1787281A2 (en) * 2004-07-15 2007-05-23 N-Trig Ltd. Automatic switching for a dual mode digitizer
US7847789B2 (en) * 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
KR101394510B1 (ko) 2007-11-21 2014-05-14 엘지전자 주식회사 세탁물 처리기기의 전극센서 및 상기 전극센서를 포함하는세탁물 처리기기
KR101077854B1 (ko) * 2008-05-22 2011-10-31 (주)멜파스 복수의 접촉 입력을 감지하는 방법 및 장치
KR100910024B1 (ko) * 2008-10-13 2009-07-30 호감테크놀로지(주) 선형 적외선 발광체를 이용한 카메라 방식의 터치 스크린
CN101551728A (zh) * 2009-05-21 2009-10-07 友达光电股份有限公司 电阻式触控式面板的多点触控方法
CN101957683B (zh) * 2010-10-08 2012-09-05 汉王科技股份有限公司 双模输入设备和双模输入方法
US20120154295A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Cooperative use of plural input mechanisms to convey gestures
US9244545B2 (en) * 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189110A (ja) * 1992-12-18 1994-07-08 Fuji Xerox Co Ltd 画像編集機能を備えた画像形成装置
JPH07334308A (ja) * 1994-06-06 1995-12-22 Nec Corp タッチパネルおよびこれを利用した座標検出装置
JP2004534974A (ja) * 2000-10-27 2004-11-18 エロ・タッチシステムズ・インコーポレイテッド 複数のタッチセンサを利用した接触確認式タッチスクリーン
JP2008165575A (ja) * 2006-12-28 2008-07-17 Mitsubishi Electric Corp タッチパネル装置
WO2010004381A1 (en) * 2008-07-07 2010-01-14 Nortel Networks Limited Multi-touch tochscreen incorporating pen tracking
JP2011081766A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置
JP2011081765A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665202B2 (en) 2014-01-08 2017-05-30 Chunghwa Picture Tubes, Ltd. Touch panel circuit and operation method thereof

Also Published As

Publication number Publication date
US9007345B2 (en) 2015-04-14
CN102750028B (zh) 2017-06-23
KR101811636B1 (ko) 2017-12-27
CN102750028A (zh) 2012-10-24
EP2508965A3 (en) 2016-01-13
JP6027328B2 (ja) 2016-11-16
EP2508965A2 (en) 2012-10-10
US20120256880A1 (en) 2012-10-11
EP2508965B1 (en) 2017-12-20
KR20120113511A (ko) 2012-10-15

Similar Documents

Publication Publication Date Title
JP6027328B2 (ja) ディスプレイ装置及びそのオブジェクト表示方法
US10042386B2 (en) Information processing apparatus, information processing method, and program
EP2724215B1 (en) Touch sensor system
US9542904B2 (en) Electronic apparatus
TW201135553A (en) Contact sensitive device for detecting temporally overlapping traces
WO2011161312A1 (en) Apparatus and method for transferring information items between communications devices
KR101019254B1 (ko) 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
JP2015053033A (ja) 電子機器および座標検出方法
US20150253952A1 (en) Vehicle operation apparatus
EP2691841A1 (en) Method of identifying multi-touch scaling gesture and device using the same
JP5608295B2 (ja) 向い合う二つの辺の赤外線素子の配列を利用した赤外線タッチスクリーン装置
JP2012099005A (ja) 入力装置、入力方法および入力プログラム
CN104137034A (zh) 基于手势位置的输入模式
JP2010198290A (ja) 入力装置、ポインタの表示位置調整方法およびプログラム
TW201416909A (zh) 適於接觸控制及懸浮控制的觸控系統及其運作方法
JP2016015181A (ja) 押圧の度合いによって異なる機能を発動可能なユーザインタフェース装置、プログラム及び機能発動方法
KR101986660B1 (ko) 터치 센서가 구비된 곡면 디스플레이 장치
US20120062477A1 (en) Virtual touch control apparatus and method thereof
JP2012027532A (ja) 情報処理装置および情報処理方法
US20120182231A1 (en) Virtual Multi-Touch Control Apparatus and Method Thereof
US10175825B2 (en) Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
US11720198B2 (en) Electronic device and touch control method therefor
KR20200034348A (ko) 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
KR102235914B1 (ko) 터치스크린이 구비된 표시장치 및 그 구동 방법
KR101392673B1 (ko) 베젤 영역을 활용한 터치 제스처에 기초하여 원격기기를 원격제어 하기 위한 터치 감지 시스템 및 방법 그리고 원격제어 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161014

R150 Certificate of patent or registration of utility model

Ref document number: 6027328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees