JP2014044720A - ペン機能運用方法及びこれを支援するペン機能運用電子装置 - Google Patents

ペン機能運用方法及びこれを支援するペン機能運用電子装置 Download PDF

Info

Publication number
JP2014044720A
JP2014044720A JP2013173425A JP2013173425A JP2014044720A JP 2014044720 A JP2014044720 A JP 2014044720A JP 2013173425 A JP2013173425 A JP 2013173425A JP 2013173425 A JP2013173425 A JP 2013173425A JP 2014044720 A JP2014044720 A JP 2014044720A
Authority
JP
Japan
Prior art keywords
pen
function
information
gesture
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013173425A
Other languages
English (en)
Inventor
Hyun-Mi Park
賢 美 朴
Tae-Youn Kim
泰 延 金
Sae Gee Oh
セ ギ 呉
Jae Myung Li
宰 明 李
Jin Young Jeon
軫 泳 全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014044720A publication Critical patent/JP2014044720A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】多様な機能運用をペン入力基盤で支援できるペン機能運用方法及びこれを支援する電子装置を提供する。
【解決手段】本発明は、設定モードによってタッチ用ペンを認識するペン認識パネルと、前記ペン認識パネルと前記タッチ用ペンとの配置位置に関する情報及びタッチ用ペンに設けられたボタンの押圧状態情報のうち少なくとも1つを含むペン状態情報、現在活性化されている機能の種類情報、前記タッチ用ペンのジェスチャー入力動作によるジェスチャー認識情報を収集するか、または前記ペン状態情報及び前記ジェスチャー認識情報を収集する制御部と、前記設定モードによって収集された情報に該当するペン機能命令語を提供するペン機能テーブルを含む格納部と、前記ペン機能命令語に該当する機能実行による情報を出力する表示パネルとを含むペン機能運用システムと方法の構成を開示する。
【選択図】図1

Description

本発明は、ペン機能運用に係り、より詳しくはペン状態及び特定ジェスチャー入力のうち少なくとも1つによって多様なユーザ機能をさらに容易に且つ速やかに利用できるように支援するペン機能運用方法及びこれを支援する電子装置に関する。
携帯端末機は、移動性を有し幅広く使用されている。特に、携帯端末機のうち移動しながらも音声通話が可能な移動通信端末機は、国民の大多数が使用しているほどにその人気が非常に高い携帯端末機である。一方、携帯端末機は、移動通信機能の支援だけでなく、多様なユーザ機能、例えばファイル再生機能、ファイル検索機能、ファイル編集機能などを支援する。ユーザは、携帯端末機を利用して前述した多様な機能を運用できる。
ところが、携帯端末機の場合、持ち運びの利便性のためにそのサイズが制限されており、結果的に情報を表示する表示領域のサイズは、一般テレビモニターなどに比べて相対的小さいという特徴がある。このような小さいサイズの表示部を基盤に多様なユーザ入力を行うことは容易ではないという短所があった。これに対応して、従来、ユーザの指などのタッチ以外にスタイラスペンのようなペンを利用した入力手段を提供している。ユーザは、ペン入力手段を利用してさらに細密なタッチなどを利用できる。しかし、端末機の使用にあたって、指で処理可能な機能が良好に支援されているので、特別な場合を除いてペン入力手段を利用する事例はまれである。また、従来、ペン入力手段は、単純に表示部に出力された特定領域をタッチする水準にとどまっていた。このため、ペン入力手段を基盤にした端末機の多様な機能運用の要求がある。
本発明は、前述したような従来技術の問題点を解決するためになされたものであって、その目的とするところは多様な機能運用をペン入力基盤で支援できるようにするペン機能運用方法及びこれを支援する電子装置を提供することにある。
前記目的を達成するための本発明は、タッチ用ペンのジェスチャー入力動作により入力された特定機能活性化のためのキー命令語及び前記タッチ用ペンのジェスチャー入力動作に従い、前記キー命令語により活性化される機能に適用される機能支援情報を収集するペン認識パネルと、前記キー命令語に該当する機能を活性化し、前記機能支援情報を当該機能に適用する制御部とを含むことを特徴とするペン機能運用を支援する電子装置の構成を開示する。
本発明は、また、設定モードによってタッチ用ペンを認識するペン認識パネルと、前記ペン認識パネルと前記タッチ用ペンとの配置位置に関する情報及びタッチ用ペンに設けられたボタンの押圧状態情報のうち少なくとも1つを含むペン状態情報、現在活性化されている機能の種類情報、前記タッチ用ペンのジェスチャー入力動作によるジェスチャー認識情報を収集するか、または前記ペン状態情報及び前記ジェスチャー認識情報を収集する制御部と、前記設定モードによって前記収集された情報に該当するペン機能命令語を提供するペン機能テーブルを含む格納部と、前記ペン機能命令語に該当する機能実行による情報を出力する表示パネルと、を含むことを特徴とするペン機能運用を支援する電子装置の構成を開示する。
本発明は、また、タッチ用ペンのジェスチャー入力動作により入力された特定機能活性化のためのキー命令語及び前記タッチ用ペンのジェスチャー入力動作に従い、前記キー命令語により活性化される機能に適用されるための機能支援情報を収集する収集過程と、前記キー命令語に該当する機能を活性化し、前記機能支援情報を当該機能に適用する機能実行過程とを含むことを特徴とするペン機能運用方法の構成を開示する。
本発明は、また、端末機が設定モードによってタッチ用ペンを認識するペン認識パネルと前記タッチ用ペンとの配置位置に関する情報及びタッチ用ペンに設けられたボタンの押圧状態情報のうち少なくとも1つを含むペン状態情報、現在活性化されている機能の種類情報、前記タッチ用ペンのジェスチャー入力動作によるジェスチャー認識情報を収集するか、前記ペン状態情報及び前記ジェスチャー認識情報を収集するか、または前記ジェスチャー認識情報のみを収集する収集過程と、前記設定モードによってあらかじめ定義された特定ペン機能テーブルを参照して前記収集された情報に該当するペン機能命令語を確認する過程と、前記ペン機能命令語に該当する機能を実行する機能実行過程とを含むことを特徴とするペン機能運用方法の構成を開示する。
以上説明したように、本発明によるペン機能運用方法及びこれを支援する電子装置システムによれば、本発明は、ペン入力手段を利用して端末機の多様な機能運用をさらに容易に且つ速やかに実行できるようにする。
本発明の実施例によるペン機能運用システムの構成を概略的に示す図である。 ペン機能運用システムの構成のうち端末機の表示部の構成をさらに詳しく示す図である。 ペンの配置位置によるペン認識パネルの動作を説明するための図である。 本発明のペン機能運用システムの構成のうち端末機の構成をさらに詳しく示す図である。 図4の端末機の構成のうち制御部の構成をさらに詳しく示す図である。 本発明のペン機能運用方法を説明するためのフローチャートである。 本発明の実施例によるペン機能運用を説明するための画面例示図である。 本発明の実施例によるペン機能運用を説明するための画面例示図である。 本発明の他の実施例によるペン機能運用を説明するための図である。 本発明の他の実施例によるペン機能運用を説明するための図である。 本発明の他の実施例によるペン機能運用を説明するための図である。 本発明のさらに他の実施例によるペン機能運用を説明するための図である。 本発明のさらに他の実施例によるペン機能運用を説明するための図である。 本発明のさらに他の実施例によるペン機能運用を説明するための図である。 本発明のさらに他の実施例によるペン機能運用のうちチャットサービス関連説明のための図である。
以下、本発明の実施例を添付の図面に基づいて詳しく説明する。
実施例を説明するにあたって、本発明の属する技術分野でよく知られており、本発明と直接的に関連がない技術内容については、説明を省略する。また、実質的に同一の構成と機能を有する構成要素については、詳細な説明を省略する。
同様の理由で添付の図面において一部の構成要素は、誇張されるか、省略されるか、または概略的に図示され、各構成要素のサイズは、実際サイズを反映するものではない。したがって、本発明は、添付の図面に描かれた相対的なサイズや間隔によって制限されない。
図1は、本発明の実施例によるペン機能運用システムの構成を概略的に示す図であり、図2は、システムの構成のうち端末機100の表示部の構成をさらに詳しく示す図である。そして、図3は、本発明のシステム構成のうちタッチ用ペンの位置によるペン認識パネルの動作を説明するための図である。
図1ないし図3を参照すれば、本発明のペン機能運用システム10は、端末機100とタッチ用ペン200を含む。
このような構成を有する本発明のペン機能運用システム10は、タッチ用ペン200を保持した状態で端末機100の表示部140上に特定入力動作を実行するとき、タッチ用ペン200のペン状態及びタッチ用ペン200のジェスチャー認識を基盤に特定ペン機能命令語に該当するユーザ機能が実行されるように支援する。さらに、本発明のペン機能運用システム10は、タッチ用ペン200のペン状態及びタッチ用ペン200のジェスチャー認識とともに現在実行されている応用プログラムの種類情報を基盤に特定ペン機能命令語に該当するユーザ機能が実行されるようにする。これにより、本発明のペン機能運用システム10は、ユーザがタッチ用ペン200を利用して端末機の多様な入力動作をさらに簡単で且つ速やかに実行するようできる。
前記端末機100は、機能運用による画面を出力する表示パネル141と、タッチ用ペン200運用のためのペン認識パネル143とを含む。また、端末機100は、接触タッチイベントのためのタッチパネルをさらに含み、前記タッチパネルと表示パネル141及びペン認識パネル143を駆動するための駆動モジュールと、電源部及びその他端末機100を構成する多様な要素を実装する収納部とをさらに含む。前述した端末機100は、ペン認識パネル143で収集されるペンタッチイベントに該当するジェスチャーを認識してジェスチャー情報を収集し、また、タッチ用ペン200から伝達されるペン状態情報を収集する。そして、端末機100は、収集されたジェスチャー情報とペン状態情報を基盤にあらかじめ定義された特定ペン機能命令語に該当するユーザ機能運用を支援する。この際、端末機100は、現在活性化されている少なくとも1つの応用プログラムの種類によってあらかじめ定義された他の命令語に該当するユーザ機能運用を支援することもできる。前記端末機100の詳細構成及び機能運用については、後述する図面を参照してさらに詳しく説明する。
前記タッチ用ペン200は、ペンホルダー220と、ペンホルダー220の端部に配置されたペン先210と、ペン先210に隣接する領域のペンホルダー220内部に配置されるコイル230と、該コイル230によって発生する電磁気誘導値を変更できるボタン240とを含んで構成される。このような構成を有する本発明のタッチ用ペン200は、静電誘導方式を支援する構成として前記コイル230によってペン認識パネル143の一定地点に磁場を形成し、端末機100が当該磁場位置を検出し、タッチ地点を認識するように支援する。
ここで、ペン先210は、表示パネル141または表示パネル141の上部にタッチパネルが配置された場合、表示部140に接触する構成であって、タッチ用ペン200が表示部140上の特定地点を指示する。このようなペン先210は、ペンホルダー220の端部に配置され、コイル230がペン先210から一定距離をもって離隔した位置に配置されるので、タッチ用ペン200を保持した状態で書き込みなどの入力作業をする場合、ペン先210接触地点とコイル230による磁場形成地点との間の距離が一定に保たれる。ユーザは、前述した一定の距離を保った保持によってペン先210を表示パネル141の一定地点を指示しながら書き込みまたは絵描き作業、アイテムの選択と配置などの入力動作を実行する。特に、ユーザは、ペン先210を表示パネル141に接触した状態で特定ジェスチャー入力を実行できる。
前述したタッチ用ペン200は、端末機100のペン認識パネル143に一定距離以内に接近するようになれば、コイル230による磁場をペン認識パネル143の一定地点に発生させる。このために、端末機100は、ペン認識パネル143に形成される磁場スキャン作業をリアルタイムまたは一定周期で実行する。また、タッチ用ペン200運用モード活性化時点に端末機100のペン認識パネル143の活性化が実行される。特にタッチ用ペン200がペン認識パネル143に接近する近接距離によってペン認識パネル143は、当該ペン状態を異なって認識する。すなわちペン認識パネル143は、図3の301状況のように、表示パネル141から、またはペン認識パネル143から第1距離以内に位置する場合、タッチ用ペン200を接触状態として認識する。また、ペン認識パネル143は、図3の303状況のように、タッチ用ペン200が第1距離以上第2距離以下の範囲に配置された場合、タッチ用ペン200をホバリング(Hovering)状態として認識する。さらに、タッチ用ペン200がペン認識パネル143から第2距離以上で認識可能範囲内に位置する場合、エア(air)状態として認識する。このように端末機100のペン認識パネル143は、タッチ用ペン200との離隔距離によって多様なペン状態情報を提供する。
一方、タッチ用ペン200に設けられたボタン240は、ユーザによって押されることができ、ボタン240が押されることによって、特定信号値がタッチ用ペン200で発生し、ペン認識パネル143に伝達される。このために、ボタン240の隣接する領域には、特定キャパシタや追加コイルまたは静電誘導に変化を与える特定素子を配置し、ボタン240のタッチまたは押圧によって当該素子が前記コイル230に接続することによって、ペン認識パネル143で誘導される電磁気誘導値を変化させて、タッチ用ペン200のボタン240の押圧を認識するように設計する。または、ボタン240の押圧に該当する無線信号を発生させ、発生した無線信号を端末機100の別途領域に設けられた受信機に伝達するように設計することができ、端末機100は、受信された無線信号によってタッチ用ペン200のボタン240の押圧を認識する。
前述したように、前記端末機100は、前述したタッチ用ペン200の配置状態によって多様なペン状態情報を収集する。すなわち端末機100は、前記タッチ用ペン200が接触状態であるかまたはホバリング状態であるかに関する情報、タッチ用ペン200のボタン240が押されたかまたは初期状態を維持するかに関する情報などを受信する。端末機100は、タッチ用ペン200が提供するペン状態情報とタッチ用ペン200のコイル230によって入力されるジェスチャー入力動作に該当するジェスチャー認識情報を基に特定ペン機能命令語を生成し、当該命令語に該当する機能実行を支援する。
以上で説明したように、本発明のペン機能運用システム10は、端末機100とタッチ用ペン200との配置状態及びタッチ用ペン200の特定入力状態などを含むペン状態情報及びジェスチャー入力動作による多様なジェスチャー認識情報を基に端末機100が提供する多様な機能制御のための命令語をさらに容易に且つ速やかに生成及び運用する。そして、後述するが、本発明のペン機能運用システム10は、複合ジェスチャー認識情報に基づいて特定ペン状態で端末機100の特定機能運用をさらに速やかに実行する。または、本発明のペン機能運用システム10は、一定のペン状態とは独立的に、複合ジェスチャー認識を実行し、それによる機能実行を支援する。
図4は、本発明の実施例によるペン機能運用を支援するための端末機100の構成をさらに詳しく示す図である。
図4を参照すれば、本発明の端末機100は、通信部110、入力部120、オーディオ処理部130、表示パネル141、ペン認識パネル143、タッチパネル145、格納部150及び制御部160の構成を含む。ここで、本発明の端末機100は、タッチパネル145を含む形態で図示したが、本発明がこれに限定されるものではない。すなわち本発明の端末機100は、図1ないし図3で前述したように、タッチパネル145が除去された形態で提供されることもできる。この場合、端末機100は、タッチ用ペン200とペン認識パネル143のみを利用して端末機100運用のための入力信号生成を実行するか、または前記入力部120や通信部110などを基に入力信号を受信する。
前述した構成を有する本発明の端末機100は、ペン認識パネル143を基にタッチ用ペン200のペン状態情報及びジェスチャー入力動作に該当するジェスチャー認識情報を収集する。そして、端末機100は、収集されたペン状態情報及びジェスチャー認識情報にマッチングされ、あらかじめ定義された特定ペン機能命令語を確認し、当該ペン機能命令語による端末機機能支援を実行する。また、端末機100は、ペン状態情報及びジェスチャー認識情報だけでなく、現在活性化されている応用プログラムの機能種類に関する情報を収集し、前記ペン状態情報、ジェスチャー認識情報及び機能種類情報にマッピングされ、あらかじめ定義されたペン機能命令語を生成することもできる。または、端末機100は、ジェスチャー認識情報が複合ジェスチャー認識情報である場合、複合ジェスチャー認識情報による特定端末機の機能を実行するように支援する。
このために、ペン認識パネル143は、端末機100の一定位置に配置され、特定イベント発生によって、またはデフォルトで活性化状態を有する。ペン認識パネル143は、表示パネル141の下部に一定面積、例えば表示パネル141の表示領域をカバーする面積を持って設けられる。そして、ペン認識パネル143は、タッチ用ペン200の接近により、タッチ用ペン200の操作によるペン状態情報を受信し、これを制御部160に伝達する。また、ペン認識パネル143は、タッチ用ペン200のジェスチャー動作によるジェスチャー認識情報を受信し、これを制御部160に伝達する。
このようなペン認識パネル143は、前述したように、コイル230を有するタッチ用ペン200との電磁気誘導方式によってタッチ用ペン200の位置情報を受信できるように設けられた構成である。ペン認識パネル143は、タッチ用ペン200の接近間隔によってそれぞれ当該間隔に該当する電磁気誘導値を収集し、これを制御部160に伝達する。この際、伝達される電磁気誘導値は、ペン状態情報、すなわちタッチ用ペン200がペン認識パネル143からまたは表示パネル141やタッチパネル145から一定間隔をもって離隔された状態であるホバリング状態であるか、または表示パネル141やタッチパネル145に一定間隔で隣接する接触状態であるかに該当する情報である。
一方、タッチ用ペン200に設けられたボタン240の設計形態によって端末機100が収集するペン状態情報は、異なって具現される。すなわちボタン240が前述したように、コイル230によって形成される電磁気誘導値を変更する構造として設けられる場合、ボタン240入力に関するペン状態情報は、ペン認識パネル143が受信し、制御部160に伝達する。例えば、電磁気誘導値を変更する構造としてボタン240に選択的に接続されるキャパシタ、別途のコイルなどからなり、設計者の意図によってペン認識パネル143上での多様な形態の電磁気誘導値を変更できる特定素子が適用される。一方、ボタン240が別途の無線信号伝送構造として設けられる場合、端末機100は、ボタン240の入力による無線信号を受信できる受信装置をさらに含み、制御部160は、当該受信装置が受信する無線信号を基準としてボタン240の押圧状態を判断する。
前記タッチパネル145は、表示パネル141の上部または下部に配置され、タッチ物体のタッチによる静電容量の変化または抵抗や電圧の変化によるタッチ位置及びタッチ状態に関する情報を制御部160に伝達する。タッチパネル145は、表示パネル141の少なくとも一部領域に設けられ、設計方式によってペン認識パネル143が活性化される時点で不活性化される。すなわち本発明のタッチパネル145は、ペン状態情報及びジェスチャー認識情報またはペン状態情報とジェスチャー認識情報及び機能種類情報、または複合ジェスチャー認識情報などペン認識パネル143を基に命令語生成機能を支援する間不活性化状態を有する。
表示パネル141は、端末機100の運用に関連した多様な画面を出力する。例えば、表示パネル141は、端末機100の機能運用のための初期待機画面やメニュー画面、機能選択によるファイル検索画面、ファイル再生画面、放送受信画面、ファイル編集画面、ウェブページ接続画面、メモ作成画面、電子本閲覧画面、チャット画面、電子メールやメッセージ作成及び受信画面など多様な画面を当該機能活性化によって提供する。前述した表示パネル141が提供する画面は、それぞれ特定機能種類に関する情報を有し、この機能種類情報は、制御部160に伝達される。前記表示パネル141の各機能が活性化される場合、事前設定によってペン認識パネル143が活性化される。一方、ペン認識パネル143を通じて入力されるジェスチャー認識情報は、それに対応する形態で表示パネル141に出力される。例えば、ジェスチャー認識情報が特定模様に対応するジェスチャーである場合、表示パネル141には、当該模様に対応するイメージが出力される。ユーザは、この表示を確認しながら自分がどんなジェスチャーを入力したかを確認できる。
特に本発明のジェスチャー入力は、入力開始時点と入力完了時点をタッチ用ペン200のペン状態情報変化を基準として確認する。すなわちジェスチャー入力は、タッチ用ペン200が接触状態またはホバリング状態のうち少なくとも1つの状態で開始でき、入力完了時点は、接触状態またはホバリング状態のうちいずれか1つが解除される時点になる。これにより、ユーザは、タッチ用ペン200を利用して表示パネル141上にまたは表示パネル141から一定間隔をもって離隔された状態でジェスチャー入力動作を実行する。例えば、端末機100は、タッチ用ペン200が接触状態の範囲で動く場合、ジェスチャー入力として認識し、動きによるジェスチャー認識を実行する。
そして、端末機100は、タッチ用ペン200がホバリングとして認識される範囲内にある場合、動きによるジェスチャー入力は、認識しないが、継続的にジェスチャー入力のための有効動作として認識する。これにより、ユーザは、実際にジェスチャー入力のための動作を実行するためにタッチ用ペン200で表示パネル141を接触して動きを実行し、表示パネル141からタッチ用ペン200を離隔し、さらに接触して動く方式で複合的なジェスチャー入力を実行できる。
格納部150は、本発明の端末機100の運用に必要な多様なプログラムとデータを格納する。例えば、格納部150は、端末機100の運用に必要な運用体制などを格納し、その他、前述した表示パネル141上に出力される画面のための機能プログラムを格納する。特に格納部150は、本発明のペン機能運用のためのペン機能運用プログラム151を格納し、ペン機能運用プログラム151のためのペン機能テーブル153を格納する。
ペン機能運用プログラム151は、本発明のペン機能運用を支援するための多様なルーチンを含む。例えば、ペン機能運用プログラム151は、ペン認識パネル143の活性化条件を確認するルーチン、ペン認識パネル143の活性化時にタッチ用ペン200のペン状態情報を収集するルーチン、タッチ用ペン200の動きによるジェスチャーを認識し、ジェスチャー認識情報を収集するルーチンを含む。そして、ペン機能運用プログラム151は、収集されたペン状態情報とジェスチャー認識情報を基に特定ペン機能命令語を生成するルーチン、当該ペン機能命令語による機能を実行するルーチンを含む。また、ペン機能運用プログラム151は、現在活性化状態である機能の種類情報を収集するルーチンをさらに含み、収集された機能の種類情報とペン状態情報及びジェスチャー認識情報でマッピングされるペン機能命令語を生成するルーチン、当該ペン機能命令語による機能を実行するルーチンをさらに含む。また、ペン機能運用プログラム151は、入力されるジェスチャー入力動作が複合ジェスチャー認識情報のための入力動作である場合、入力動作をそれぞれ区分し、それぞれのサブジェスチャー認識情報として区分して認識するルーチン、区分されたサブジェスチャー認識情報を基に特定ペン機能命令語を生成するルーチン、生成されたペン機能命令語による機能を実行するルーチンを含む。
前述した説明において、ペン機能命令語を生成するルーチンは、格納部150に格納されたペン機能テーブル153を参照して命令語を生成する。ペン機能テーブル153は、設計者によって、またはプログラム開発者によってタッチ用ペン200による入力動作に該当する特定端末機機能運用がマッピングされたペン機能命令語を含むテーブルになる。特に、ペン機能テーブル153は、ペン状態情報及び機能の種類情報によって入力されるジェスチャー認識情報をそれぞれのペン機能命令語にマッピングすることによって、同一のジェスチャー認識情報であるとしても、ペン状態情報及び機能の種類によって異なって動作するように設定される。また、ペン機能テーブル153は、ペン状態情報及びジェスチャー認識情報に特定端末機の機能運用に該当するペン機能命令語が定義された情報を含む。ペン状態情報とジェスチャー認識情報だけで構成されたペン機能テーブル153は、現在活性化された機能の種類に関係なく、ペン状態情報とジェスチャー認識情報のみに基づいて特定機能運用を実行するように支援する。一方、ペン機能テーブル153は、複合ジェスチャー認識情報と、マッピングされたペン機能命令語とを含むことができる。複合ジェスチャー認識情報で構成されたペン機能テーブル153は、ペン状態情報や現在提供されている機能の種類に関係なく、入力される複合ジェスチャー認識情報のみを基に特定端末機機能支援を実行するように支援する。
以上説明したように、ペン機能テーブル153は、ペン状態情報と機能の種類情報及びジェスチャー認識情報がマッピングされたペン機能命令語を含む第1ペン機能テーブル、ペン状態情報とジェスチャー認識情報がマッピングされたペン機能命令語を含む第2ペン機能テーブル、複合ジェスチャー認識情報がマッピングされたペン機能命令語を含む第3ペン機能テーブルのうち少なくとも1つを含む。それぞれのペン機能命令語を含むペン機能テーブル153は、ユーザ設定や実行されている応用プログラムの種類によって選択的にまたは自動で適用される。例えば、ユーザは、第1ペン機能テーブルを利用すべきか、または第2ペン機能テーブルを利用すべきかを設定できる。それにより、端末機100は、設定によって特定ペン機能テーブルを基に入力動作に該当するジェスチャー認識処理をする。
また、端末機100は、設計方式によって、またはユーザ設定によって第1応用プログラムが活性化された場合には、第2ペン機能テーブルを適用するようにし、第2応用プログラムが活性化された場合には、第3ペン機能テーブルを適用するようにし、第3応用プログラムが活性化された場合には、第1ペン機能テーブルを適用するようにできる。このように本発明のペン機能テーブル153は、活性化されている機能の種類によって多様に適用される。前記ペン機能テーブル153の適用に関する例示については、後述する図面を参照してさらに詳しく説明する。
一方、前記通信部110は、前記端末機100が通信機能を支援する場合に含まれる。特に前記端末機100が移動通信機能を支援する場合、通信部110は、移動通信モジュールで構成される。通信部110は、通信機能が要求される端末機機能、例えばチャット機能、メッセージ送受信機能、通話機能などを実行し、通信部110が運用される過程でタッチ用ペン200からジェスチャー認識情報が収集されれば、制御部160の制御によってジェスチャー認識情報に該当するペン機能命令語実行を支援する。
このような通信部110は、端末機100の通信機能を支援しながら本発明のペン機能テーブル153の更新情報を外部から受信し、これを制御部160に伝達する。前述したペン機能テーブル153は、実行される応用プログラムによる端末機機能種類によって異なって設定されることを説明した。結果的に、端末機100が新しい機能を設置する場合、タッチ用ペン200の運用と関連した新しい設定が要求される。通信部110は、新しい機能のための、または以前に設置された機能のためのペン機能テーブル153が提供される場合、デフォルトで、またはユーザ要請によって当該ペン機能テーブル153に関する情報を受信する。
前記入力部120は、サイドキーや別途に設けられたタッチパッドなどで構成される。また、入力部120は、端末機100のターン−オンまたはターン−オフ実行のためのボタンキー、端末機100が支援する基本画面への戻りを支援するホームキーなどを含む。また、入力部120は、本発明のペン機能運用モード設定のための入力信号をユーザ制御によって生成し、これを制御部160に伝達する。すなわち入力部120は、別途にジェスチャー認識機能を実行することなく、ペンの位置認識と当該ペン位置によって機能を実行する基本ペン機能運用モード及び前述した多様なペン機能テーブル153のうちいずれか1つを基盤とするペン機能運用モードのうちいずれか1つを設定するための入力信号を生成する。当該入力信号によって端末機100は、特定ペン機能テーブル153を呼び出し、これを基にペン機能運用を支援する。
前記オーディオ処理部130は、端末機100のオーディオ信号出力のためのスピーカーSPK及びオーディオ信号収集のためのマイクMICのうち少なくとも1つを含む。このようなオーディオ処理部130は、本発明のペン機能運用モード設定を案内する案内音や効果音を設定によって出力する。そして、オーディオ処理部130は、ペン認識パネル143で特定ジェスチャー動作によるジェスチャー認識情報が収集されれば、ジェスチャー認識情報に該当する案内音や機能実行による効果音を出力する。オーディオ処理部130は、ジェスチャー入力動作時にリアルタイムで入力されるジェスチャーに対する効果音を出力する。さらに、オーディオ処理部130は、振動モジュールを制御し、ジェスチャー入力動作に対応する振動モジュールの振動サイズ調節を制御する。この際、オーディオ処理部130は、入力されるジェスチャー入力動作により振動サイズを異ならしめることができる。すなわちオーディオ処理部130は、実行すべきジェスチャー認識情報が異なる場合、それぞれのジェスチャー認識情報に該当する振動サイズを有するように制御する。オーディオ処理部130は、効果音出力過程でもジェスチャー認識情報の種類によって効果音のサイズや種類を異なって実行する。例えば、オーディオ処理部130は、現在実行されている機能と関連したジェスチャー認識情報が収集されれば、一定のサイズを有する振動や効果音を出力し、他の機能呼び出しのためのジェスチャー認識情報が収集されれば、相対的に大きいサイズの振動や効果音を出力する。
前記制御部160は、本発明の実施例によるペン機能運用を支援するための多様な構成を含み、この構成を基にペン機能運用のための信号処理とデータ処理及び機能運用を制御する。このために、制御部160は、図5に示されたような構成を含む。
図5は、本発明の制御部160の構成をさらに詳しく示す図である。
図5を参照すれば、本発明の制御部160は、機能種類確認部161、ペン状態確認部163、ジェスチャー認識部165、命令語生成部167及び機能実行部169の構成を含む。
機能種類確認部161は、端末機100で現在活性化されているユーザ機能の種類を確認する。特に機能種類確認部161は、現在表示パネル141上に出力されている画面と関連した機能の種類情報を収集する。すなわちマルチタスキング機能支援端末機100の場合、多数個の応用プログラムの活性化によって複数個の機能が活性化される。この場合、機能種類確認部161は、現在表示パネル141上に出力された画面と関連した機能の種類情報のみを収集し、これを命令語生成部167に提供する。この過程で機能種類確認部161は、表示パネル141上に出力された画面が複数個である場合、最上位レイヤーに出力された画面と関連した機能の種類情報を収集する。
ペン状態確認部163は、タッチ用ペン200の位置とボタン240の押圧などに該当する情報を収集する。前述したように、ペン状態確認部163は、ペン認識パネル143をスキャンして入力される電磁気誘導値の変化を検出し、これを基にタッチ用ペン200がホバリング状態であるか、接触状態であるか、ボタン押圧状態であるか、押圧解除状態であるかなどを確認し、それに対応するペン状態情報収集を実行する。収集されたペン状態情報は、命令語生成部167に提供される。
ジェスチャー認識部165は、タッチ用ペン200の動きによるジェスチャーを認識する。このようなジェスチャー認識部165は、タッチ用ペン200がホバリング状態にあるか、または接触状態にあるかを問わず、タッチ用ペン200の動きによるジェスチャー動作に対する認識を実行し、それによるジェスチャー認識情報を命令語生成部167に伝達する。一方、ジェスチャー認識部165が提供するジェスチャー認識情報は、1つのオブジェクトとして認識される単一ジェスチャー認識情報と、複数個のオブジェクトとして認識される複合ジェスチャー認識情報を含む。複合ジェスチャー認識情報は、ジェスチャー入力動作過程で区分される。
例えば、接触状態維持またはホバリング状態維持状態で持続的に発生する動きに該当する入力動作は、単一ジェスチャー認識情報を生成する。また、接続状態及びホバリング状態が変更されながら発生する動きに該当する入力動作は、複合ジェスチャー認識情報を生成する。または、ホバリング状態がエア状態に変更されながら動きが発生する場合、ジェスチャー認識部165は、複合ジェスチャー認識情報として認識する。または、ジェスチャー認識部165は、タッチ用ペン200がペン認識パネル143から認識可能な範囲から逸脱する境界を基準にして複数個のジェスチャー動作が発生する場合を複合ジェスチャー認識のための動作として判断する。タッチ用ペン200がペン認識パネル143から脱した境界基準のジェスチャー認識である場合、ジェスチャー認識部165は、別途ジェスチャー入力のためのボタンマップを出力することによって、ユーザがジェスチャー入力完了を指定できるように支援する。
命令語生成部167は、設定モードによって機能種類確認部161から伝達される機能種類情報、ペン状態確認部163から伝達されるペン状態情報、ジェスチャー認識部165から伝達されるジェスチャー認識情報のうち少なくとも1つを利用してペン機能命令語を生成する。この過程で、命令語生成部167は、多様なペン機能命令語を定義したペン機能テーブル153を参照する。特に命令語生成部167は、設定によって、または現在活性化されている機能種類によって前述したように、機能種類情報とペン状態情報及びジェスチャー認識情報に該当する第1ペン機能テーブルを参照するか、またはペン状態情報及びジェスチャー認識情報基盤の第2ペン機能テーブルを参照するか、またはジェスチャー認識情報基盤の第3ペン機能テーブルを参照する。命令語生成部167が生成したペン機能命令語は、機能実行部169に伝達される。
機能実行部169は、命令語生成部167が生成して伝達したペン機能命令語に該当する機能運用を制御する。このような機能実行部169は、現在活性化されている機能と関連した特定機能運用を行うか、または新しい機能を呼び出すか、または特定機能などを終了するように支援する。機能実行部169の機能運用と関連した説明は、後述する図面を参照してさらに詳しく説明する。
図6は、本発明の実施例によるペン機能運用方法を説明するためのフローチャートである。
図6を参照すれば、本発明のペン機能運用方法は、まず、601段階のように、電源部から電源が供給されれば、制御部160が供給された電源を利用して端末機100を利用可能な状態に維持するように制御する。そして、制御部160は、既定のスケジュール情報によって、または入力部120や入力機能のタッチパネル145から入力される入力信号によって、603段階のように特定機能を実行するように支援する。例えば、制御部160は、待機画面を表示パネル141に出力するか、またはメニュー画面を表示パネル141に出力する。または、制御部160は、特定の音楽ファイルを再生するように支援するか、またはウェブページ接続によるウェブページ画面出力を支援する。
次に、制御部160は、特定入力信号が発生すれば、605段階で、当該入力信号がペン入力イベントのためのものであるか確認する。すなわち制御部160は、ペン機能運用のための要請が発生するかを確認する。ペン機能運用のための要請発生は、ペン機能基盤に運用される機能を呼び出す入力信号が発生するか、またはペン機能運用のためのモード設定入力信号が発生した場合などに該当する。
605段階で、特定入力信号がペン入力イベントではない場合、制御部160は、607段階に分岐し、入力信号による特定機能実行を支援する。例えば、制御部160は、入力信号によって再生中のファイルを変更するか、またはファイル再生を中止するか、またはオーディオ信号のボリューム調節などの機能を実行する。605段階で、ペン入力イベントに該当する入力信号が発生すれば、制御部160は、609段階に分岐し、ペン状態情報、機能種類情報及びジェスチャー情報のうち少なくとも1つを収集し、収集された情報によるペン機能命令語を生成するように支援する。そして、制御部160は、611段階に進み、命令語による機能実行を支援する。前記ペン機能命令語実行による例示は、後述する図面を参照してさらに詳しく説明する。
一方、制御部160は、613段階で、ペン機能終了のための入力信号発生があるか否かを確認する。そして、制御部160は、ペン機能終了のための入力信号発生がない場合、605段階以前に分岐し、以下の過程を実行する。
以上説明したように、本発明の実施例によるペン機能運用方法は、端末機100のペン機能運用にあたって、ペン状態情報、機能種類情報及びジェスチャー認識情報のうち少なくとも1つを基にさらに多様な端末機100の機能運用をさらに速やかに且つ便利に行えるようにする。
図7及び図8は、本発明の実施例によるホバリングペン状態のペン機能運用を説明するための図である。
まず、図7を参照すれば、端末機100は、ユーザ要請によって特定ユーザ機能を活性化する。例えば、端末機100は、ユーザ制御によってウェブページ接続を実行し、それに対応して701画面のように当該ウェブページ接続画面を表示パネル141に出力する。このために、端末機100は、通信部110を活性化し、指定されたウェブページのアドレス情報を基盤にウェブページ接続を実行した後、当該ウェブページを提供するサーバーからウェブページ画面と関連した情報を受信して出力する。
一方、端末機100は、ウェブページ接続機能がペン機能運用によって制御されるように設計された機能である場合またはペン機能運用のための入力信号が発生した場合、ウェブページ画面を表示パネル141に出力しながらペン認識パネル143を活性化するように制御する。この過程で、端末機100は、設計方式によってタッチパネル145をも活性化するように制御する。ペン機能運用のためのペン認識パネル143が活性化されれば、ペン認識パネル143に電源が供給され、スキャンを通じて電磁気誘導によるタッチ用ペン200の入力動作が発生するか確認する。
この際、ユーザは、タッチ用ペン200を利用して端末機100の表示パネル141から一定間隔をもって離隔されたホバリング範囲内で特定ジェスチャー、例えば逆“v”字形に該当するジェスチャー動作を実行する。ホバリング範囲内で上端方向の折れ模様に該当するジェスチャー入力動作が発生すれば、ペン認識パネル143は、当該ジェスチャー入力動作に該当するジェスチャー認識を実行し、ジェスチャー認識情報を収集する。これと共に、端末機100は、タッチ用ペン200がペン認識パネル143のホバリング範囲内にあることに該当するペン状態情報を収集する。
701画面のように、ウェブページ画面が表示パネル141に出力されており、ホバリング状態で示した、ジェスチャー認識情報が収集されれば、端末機100は、当該状態に対するペン機能命令語をペン機能テーブル153を参照して確認する。そして、端末機100は、ペン機能テーブル153に定義したペン機能命令語により特定機能、例えば現在表示されるウェブページ画面の最上端に移動し、移動した画面を表示パネル141に出力するように支援する。
703画面のように、ウェブページ画面が表示パネル141に表示され、ホバリング状態で示した、“v”字形に該当するジェスチャー認識情報が収集されれば、端末機100は、ペン機能テーブル153を参照して当該ペン機能命令語を確認する。そして、端末機100は、当該ペン機能命令語により図示したように、ウェブページ画面の最下端画面を表示パネル141に出力する。
一方、図8を参照すれば、端末機100は、イーブックコンテンツ再生機能の活性化によってイーブックコンテンツ再生画面を表示パネル141に出力する。このために、端末機100は、イーブックコンテンツを格納部150に格納し、イーブックコンテンツ再生のためのメニューを提供するか、イーブックコンテンツを提供する特定サーバーとの接続チャンネルを形成し、当該サーバーが提供するイーブックコンテンツによる情報受信及び出力を支援する。
一方、イーブックコンテンツ再生機能がペン機能運用を支援するように設定された機能である場合またはペン機能運用のための入力信号が発生した場合、端末機100は、ペン認識パネル143を活性化するように制御する。ユーザは、イーブックコンテンツ再生画面が表示パネル141に出力された状態及び表示パネル141に接触しないホバリング状態で示した、タッチ用ペン200を利用して右から左に線を引くジェスチャー入力動作を実行する。端末機100は、当該タッチ用ペン200によるジェスチャー認識情報と、イーブックコンテンツ再生機能及びホバリング状態に対応するペン機能命令語をペン機能テーブル153から確認する。そして、端末機100は、ペン機能命令語により、例えばページめくりを実行する。
この過程で、端末機100は、図示したように、線引きに該当するイメージを表示パネル141に出力することによって、ユーザのジェスチャー入力動作がどんな形態で現われるかを確認するように支援する。また、端末機100は、タッチ用ペン200のミラーイメージ201を表示パネル141に出力することによって、現在タッチ用ペン200の状態がホバリング状態であることをユーザが認識するようにする。このようなタッチ用ペン200のミラーイメージ201は、前述した図7でも同様に適用されたものである。
一方、ユーザがタッチ用ペン200を利用して表示パネル141に接触した状態で線引きジェスチャー動作を実行したら、端末機100は、イーブックコンテンツ再生による機能種類情報、線引きジェスチャー認識情報及び表示パネル141接触に対応する接触状態に該当するペン機能命令語をペン機能テーブル153で確認する。そして、端末機100は、例えばペン機能命令語によりイーブックコンテンツの再生画面上で入力されたジェスチャー動作による線引き表示を実行する。ここで、タッチ用ペン200が接触状態の場合、端末機100は、ミラーイメージを除去することによって、タッチ用ペン200がペン認識パネル143に対して接触状態であることを認識できるようにする。
図9ないし図11は、本発明の他の実施例によるペン機能運用を説明するための図である。
まず、図9を参照すれば、端末機100は、既定のスケジュール情報によって、またはユーザ操作によって901画面のようにメニュー画面を表示パネル141に出力する。これと共に、端末機100は、当該メニュー画面提供機能がペン機能運用を支援するように設計されるか、ペン機能運用のための入力信号が受信された場合、ペン認識パネル143を活性化するように制御する。ユーザは、タッチ用ペン200を利用してメニュー画面が表示された表示パネル141上に特定ジェスチャー入力動作を実行する。この過程で、ユーザは、タッチ用ペン200に設けられたボタン240を押しながら、または押した後に、表示パネル141に接触した状態で特定ジェスチャー入力動作を実行する。
端末機100は、ユーザのジェスチャー入力動作を認識し、それに対応する情報を表示パネル141に出力するように支援する。これと共に、端末機100は、ボタン240の押圧及び表示パネル141の接触状態に対応するペン状態情報を収集する。そして、端末機100は、認識されたジェスチャー入力動作に該当するジェスチャー認識情報とペン状態情報に該当するペン機能命令語をペン機能テーブル153で確認する。その後、端末機100は、ペン機能命令語に該当する機能実行を実行する。
この過程で、端末機100が収集したジェスチャー認識情報は、複合ジェスチャー認識情報になる。複合ジェスチャー認識情報は、前述したように、複数個のオブジェクトに区分認識される情報である。すなわち901画面で記入された“@james”は、それぞれ“@”の第1オブジェクト910と“james”の第2オブジェクト920に区分して認識される。このために、ペン機能テーブル153には、前述した第1オブジェクト910及び第2オブジェクト920に関する情報を含むか、複数個のオブジェクトに区分される記入方式に対するルーチンが含まれる。記入方式の一例として、特定キー命令語に該当する第1オブジェクト910は、機能を呼び出すためのペン機能命令語、例えばシンボル(Symbol)や特殊文字になり、第1オブジェクト910の以後に認識される第2オブジェクト920は、当該機能に適用される機能支援情報に該当する。
例えば、901画面に記入された“@”第1オブジェクト910は、電子メール機能を呼び出すペン機能命令語になり、“james”第2オブジェクト920は、作成する電子メール受信の情報または受信者情報を検索する検索語になる。結果的に、901画面のように、複数個のオブジェクトを含む複合ジェスチャー認識情報が入力されれば、端末機100は、第2オブジェクト920である“james”として記入された全体電子メールアドレス情報を電話帳情報などで検索して収集し、第1オブジェクト910である“@”によって活性化された電子メール機能の受信者アドレス情報に記入するように支援する。
前述したように、端末機100は、タッチ用ペン200のペン状態情報及びジェスチャー認識情報を基にマッピングされたペン機能命令語により特定機能をさらに便利に且つ容易に実行するように支援する。特に前記端末機100は、現在活性化された機能に関係なく、入力されたジェスチャー認識情報とペン状態情報を基に特定機能をすぐ活性化し、利用できるように支援する。
一方、図10を参照すれば、本発明の端末機100は、ペン機能運用支援中に、複合ジェスチャー認識情報基盤のペン機能運用を支援する。これをさらに詳しく説明すれば、端末機100は、ユーザ制御によって、または既定のスケジュール情報によって図示するように、特定テキスト情報1010を表示パネル141上に出力する。ここで、前記テキスト情報1010は、メッセージ画面に提供される情報であるか、またはチャット画面に提供される情報であるか、またはウェブページ画面に提供される情報であるか、または特定文書閲覧画面に提供される情報など多様な機能に基づいて提供される情報である。
ここで、前記テキスト情報出力機能は、ペン機能運用を支援すると仮定する。端末機100は、ペン認識パネル143を活性化し、タッチ用ペン200が表示パネル141上に接触すれば、それによるタッチ用ペン200認識を実行する。この過程で図示するように、ユーザが複合ジェスチャー入力動作を実行すれば、端末機100は、テキスト情報1010上に複数個のオブジェクトに区分される複合ジェスチャー認識情報を収集する。すなわち端末機100は、テキスト情報1010のうち一部を指定する第2オブジェクト920と別途のキー命令語に該当する第1オブジェクト910をそれぞれ区分して認識する。
このために、端末機100は、前述した複合ジェスチャー入力動作認識のために多様な情報をあらかじめ定義したペン機能テーブル153を参照する。また、ペン機能テーブル153は、複数のオブジェクト記入方式に対するルーチンを含む。これにより、端末機100は、ペン機能テーブル153を参照して第2オブジェクト920に入力された四角形ボックスの一部テキスト情報を抽出し、第1オブジェクト910に入力された“?”に該当するペン機能命令語を抽出した後、抽出した一部テキスト情報に基づいてペン機能命令語に該当する検索機能を実行する。ここで、端末機100は、“?”に該当するオブジェクトが先に認識され、以後、テキスト情報1010のうち少なくとも一部テキスト情報を選択するためのオブジェクトが認識されても、同一の機能実行を支援する。
前述したように、本発明のペン機能運用を支援する端末機100は、ペン状態情報及び機能種類情報に関係なく、認識されたジェスチャー認識情報のみを基に特定ペン機能運用を支援する。
さらに、前記端末機100は、複合ジェスチャー認識情報基盤のペン機能運用に対してペン状態情報に基づいて適用される適用範囲を異なって調整することもできる。例を取って説明すれば、端末機100は、前述した検索機能の複合ジェスチャー認識情報が収集されれば、ペン状態情報を確認し、当該検索機能の検索範囲を決定する。すなわちタッチ用ペン200に設けられたボタン240が押された状態で複合ジェスチャー認識情報が収集されれば、端末機100は、複合ジェスチャー認識情報に該当する検索機能をウェブサーバー基盤で検索するように制御する。
また、タッチ用ペン200に設けられたボタン240が解除された状態で複合ジェスチャー認識情報が収集されれば、端末機100は、複合ジェスチャー認識情報に該当する検索機能を端末機100の格納部150に格納された情報に限定するか、現在活性化されたユーザ機能と関連した情報に限定する。このような範囲限定を通じて端末機100は、さらに多様な情報検索結果を提供するか、またはさらに迅速な情報検索結果を出力する。
前記端末機100が支援可能なジェスチャー認識情報は、図11に示したように、多様な形態を含む。このようなジェスチャー認識情報は、特定機能を運用するように定義される独立的な単一ジェスチャー認識情報に該当するペン機能命令語と、複合ジェスチャー認識情報に該当するペン機能命令語及びペン機能命令語により活性化される機能に適用される機能支援情報を含む。これをさらに詳しく説明すれば、端末機100は、ペン機能運用のための入力信号が発生すれば、ペン機能運用を支援するための機能が実行され、ペン機能による仮想ペンパッド147を表示パネル141に出力する。仮想ペンパッド147は、透明または半透明形態で表示パネル141に出力される。
一方、ユーザは、タッチ用ペン200を利用して仮想ペンパッド147上で特定ジェスチャー入力動作を実行する。この際、ユーザが実行したジェスチャー入力動作は、キー命令語に該当する単一ジェスチャー認識情報1110と、キー命令語及び機能支援情報を含む複合ジェスチャー認識情報1120を含む。キー命令語は、図示のように、特殊文字キーまたは特定キーパッドに提供されるキー値に対応する命令語になる。例えば、キー命令語は、図示のように、アットマーク(@)、疑問符、等号(equal)、シャープ、右側方向三角形、封筒模様、砂時計模様、豚の尾(pigtail)模様、リボン模様、吹き出し模様、クリップ模様、星模様などを含む。
アットマーク(@)は、電子メール送信と関連したキー命令語であり、疑問符は、検索関連キー命令語である。そして、等号は、数式計算と関連したキー命令語であって、等号以後に入力される数字及び演算符号による結果をすぐ計算して提供する。これにより、ユーザは、別途に電卓を呼び出すことなく、簡単な計算をすぐ実行できる。シャープは、プランナー機能と関連したキー命令語であって、スケジュール表またはプランナー機能活性化を支援し、シャープ以後に入力される数字情報を日付情報として認識し、当該日付のプランナー情報を呼び出すか、当該日付のプランナー情報記入のための画面支援を実行する。右側方向三角形は、ファイル再生と関連したキー命令語であって、右側方向三角形とともに入力される情報を音楽ファイルとして認識し、当該音楽ファイル検索及び実行をペン機能のジェスチャー入力を通じてすぐ実行できるようにする。
封筒模様は、文字メッセージ関連機能であって、当該封筒模様入力時に文字メッセージ機能を活性化し、一緒に入力された情報がある場合、前記封筒模様は、当該情報を送信者とするメッセージ作成画面を出力する。砂時計模様は、アラーム機能関連キー命令語であって、ジェスチャー認識情報として受信されれば、アラーム機能を活性化する。砂時計模様とともに一定数字情報が入力されれば、端末機100は、当該数字情報に該当する秒時間又は分時間経過後にアラームが実行される。
豚の尾(pigtail)模様は、通話機能のダイヤラーを呼び出すジェスチャー認識情報である。豚の尾模様とともに特定数字情報や名前情報が入力されれば、端末機100は、入力された数字情報または名前情報に該当する他の端末機に通話連結を実行する。リボン模様は、イーブックコンテンツ実行と関連したジェスチャー認識情報である。リボン模様がジェスチャー認識情報として認識されれば、端末機100は、イーブックコンテンツ関連機能を行う。例えば、端末機100は、格納部150に格納されたイーブックコンテンツのリストを表示パネル141に出力する。一方、リボン模様とともに特定文字や数字情報が記入されれば、端末機100は、記入された機能支援情報に該当するイーブックを検索し、当該イーブックコンテンツを再生する画面を表示パネル141に出力する。
吹き出し模様は、チャット機能と関連した機能を実行できるように設けられたジェスチャー認識情報である。吹き出し模様が入力されれば、端末機100は、チャット機能を活性化する。特に吹き出し模様入力とともに特定ユーザ名前情報を入力するか、または特定ユーザ端末機と関連した番号を入力する場合、端末機100は、当該ユーザ名前情報または関連番号に該当するユーザとのチャット機能をすぐ実行する。クリップ模様は、クリップボードを行うためのジェスチャー認識情報になる。タッチ用ペン200によって入力されるジェスチャー入力動作がクリップ模様に該当するジェスチャー認識情報として認識されれば、端末機100は、現在表示パネル141上に出力されているコンテンツをクリップボードに自動挿入するか、クリップボードを呼び出す。星模様は、‘お気に入り’リストを表示するためのジェスチャー認識情報になる。端末機100は、タッチ用ペン200によって入力されたジェスチャーが星模様に該当するジェスチャー認識情報として認識されれば、あらかじめ定義された‘お気に入り’リストを表示パネル141に出力する。
前述したように、端末機100は、多様なキー命令語に該当するジェスチャー認識情報が入力されれば、当該ジェスチャー認識情報に対応する機能活性化をする。さらに、端末機100は、機能支援情報がキー命令語とともに入力されれば、機能活性化とともに機能支援情報を基盤とする機能運用を支援する。
図12ないし図14は、本発明のさらに他の実施例によるペン機能運用を説明するための図である。
まず、図12を参照すれば、端末機100は、ユーザ制御によって、または特定機能実行によって1201画面のように表示パネル141に特定イメージまたは写真を出力する。これと共に、端末機100は、ペン機能運用をするためにペン認識パネル143を活性化する。前述した環境においてユーザは、タッチ用ペン200を利用して表示パネル141に接触した状態またはホバリング状態のうちいずれか1つの状態で図示したように、特定ジェスチャー入力動作を実行する。この際、ユーザは、タッチ用ペン200のボタン240を押圧状態に維持するか、または1回以上押圧する。
端末機100は、タッチ用ペン200のボタン240が押圧された状態に関する情報と接触状態またはホバリング状態のうちいずれか1つを含むペン状態情報と、ジェスチャー入力動作に該当するジェスチャー認識情報及び現在活性化されたイメージまたは写真出力機能の第1機能種類情報を収集する。前述した情報が収集された端末機100は、当該情報にマッピングされる第1ペン機能命令語をペン機能テーブル153で検索する。
ジェスチャー認識情報収集過程で、端末機100は、ジェスチャー入力動作に対応する類似のジェスチャー認識情報を収集する過程を実行する。すなわち図示の図面では、円と類似の形態の閉曲線を描くジェスチャー入力動作を示したが、端末機100は、このような円と類似の形態の閉曲線に該当するジェスチャー入力動作が発生すれば、ジェスチャー認識情報を“円(Circle)”として決定する。すなわち端末機100は、ジェスチャー入力動作により入力される情報を近似化する。このために、端末機100は、あらかじめ定義された特定文字や模様とジェスチャー入力動作により入力された情報を比較し、ジェスチャー入力動作に該当する情報を一定誤差率以内の文字や模様に該当するジェスチャー認識情報として決定する。
そして、端末機100は、第1ペン機能命令語に該当する機能実行によって1203画面のように第1オプションメニュー窓1210を出力する。この際、出力される第1オプションメニュー窓1210は、現在活性化されている機能に特化したメニュー窓になる。
一方、端末機100は、ユーザ制御によって、または特定機能実行によって図13の1301画面のように表示パネル141にウェブ接続画面を出力できる。これと共に、端末機100は、ペン機能運用をするためにペン認識パネル143を活性化する。前述した環境においてユーザは、タッチ用ペン200を利用して表示パネル141に接触した状態またはホバリング状態のうちいずれか1つの状態で図示したように特定ジェスチャー入力動作を実行する。この際、ユーザは、タッチ用ペン200のボタン240を押圧状態に維持するか、または1回以上押圧する。前記特定ジェスチャー入力動作は、図12に示したジェスチャー入力動作と同一の動作になる。
端末機100は、図12で説明した同一のペン状態情報とジェスチャー認識情報を収集するが、現在活性化されている第2機能種類情報に該当する第2ペン機能命令語検索をペン機能テーブル153を利用して実行する。第2ペン機能命令語が検索されれば、端末機100は、第2ペン機能命令語に該当する機能を実行する。これにより、端末機100は、1303画面のように、第2オプションメニュー窓1310を表示パネル141に出力する。第2オプションメニュー窓1310は、ウェブ接続機能に特化したメニュー窓になる。
図14は、メモ機能と関連したペン機能運用を説明するための図である。
端末機100は、ユーザ制御によってメモ機能を呼び出すことができ、この際、1401画面のように、あらかじめ格納された特定メモ情報を表示パネル141に出力する。この過程で端末機100は、当該メモ機能がペン機能を支援するように設計された場合またはペン機能運用のための入力信号が発生した場合、ペン機能運用のためにペン認識パネル143を活性化する。このような環境において端末機100は、図12及び図13で説明したようなペン状態情報及びペンジェスチャー情報をタッチ用ペン200の運用によって収集する。
端末機100は、ペン状態情報、ペンジェスチャー情報及び機能種類情報に該当する第3ペン機能命令語をペン機能テーブル153を利用して確認する。第3ペン機能命令語が確認されれば、端末機100は、第3ペン機能命令語による特定機能運用、例えば1403画面のように第3オプションメニュー窓1410を出力する。ここで、第3オプションメニュー窓1410は、第3ペン機能命令語にマッピングされた機能としてメモ機能に特化したメニュー窓に該当する。
以上説明したように、本発明の実施例による端末機100は、ペン状態情報及びペンジェスチャー情報が同一であるとしても、現在活性化されている機能種類情報が異なっている場合、互いに異なるペン機能命令語による機能を実行する。
図15は、本発明のさらに他の実施例によるペン機能運用のうちチャットサービス関連説明のための図である。
図15を参照すれば、端末機100は、電源が供給された状態で別途の入力信号がないか、別に実行される機能がない場合、1501画面のように、表示パネル141に電源が遮断された状態を有する。このような1501画面状態は、表示パネル141の電源供給が中止されたが、通信部110を活性化した状態になる。これにより、1501画面状態は、通信部110を通じて特定情報受信が発生する場合、当該情報出力ができる状態である。ここで、1501画面状態は、スリープ状態である。
一方、1501画面状態で通信部110が特定メッセージを受信する場合、端末機100は、1503画面のように、受信されたメッセージを表示パネル141の一定領域に出力する。これにより、受信されたメッセージは、表示パネル141のメッセージ通知領域1510に出力される。この際、出力されるメッセージ通知領域1510には、受信されたメッセージの一部内容が含まれる。例えば、メッセージ通知領域1510には、メッセージを送信した送信者情報と、送信者が記入した情報のうち少なくとも一部が含まれる。
一方、メッセージ受信通知機能がペン機能運用を支援するように設計された場合、ユーザは、1505画面のように、ペンを利用したテキスト入力を実行できる。この際、端末機100は、メッセージ通知領域1510が表示パネル141に出力維持された状態でタッチ用ペン200から入力されるジェスチャー入力動作に該当する情報を認識する。ここで、もし、出力後、一定時間が経過すれば消えるように設計されたメッセージ通知領域1510が表示パネル141で消えた場合には、タッチ用ペン200による入力機能を支援しないように設計する。
これにより、本発明の端末機100は、ペン機能運用支援などの特定目的にメッセージ通知領域1510の出力待機時間を調整する。このために、端末機100は、メッセージ通知領域1510の出力待機時間を調整できるメニュー画面を提供する。ユーザは、出力待機時間調整メニュー画面を利用してメッセージ通知領域1510の出力待機時間を自分の嗜好に合うように、または自分の返事記入能力に対応するように任意調整できる。別途任意調整がない場合、端末機100は、事前に設定された方式によってメッセージ通知領域1510の出力待機時間を定義する。
1505画面では、ユーザがメッセージ受信に対応して返事記入をメッセージ通知領域1510以外の領域に記入することを例にして説明した。しかし、本発明がこれに限定されるものではなく、本発明の端末機100は、メッセージ通知領域1510が出力されるうちに、またはメッセージ通知領域1510が出力された時点から一定時間以内に表示パネル141の特定領域に記入された情報を返事として認識する。例えば、ユーザは、メッセージ通知領域1510内に返事記入のためのジェスチャー入力動作を実行できる。
端末機100は、返事記入のためのジェスチャー入力動作に該当するジェスチャー認識情報が収集されれば、収集されたジェスチャー認識情報を受信されたメッセージに対応する情報として処理する。これをさらに詳しく説明すれば、端末機100は、ユーザの返事入力が完了すれば、バックグラウンドプロセッシングを通じて受信メッセージに対応する機能を活性化する。すなわち端末機100は、受信メッセージが文字メッセージである場合、文字メッセージ機能を活性化し、受信メッセージの送信者情報を自動抽出するとともに、記入されたジェスチャー認識情報を含む文字メッセージを作成し、自動送信するように制御する。
また、端末機100は、受信メッセージがチャットメッセージである場合、チャットメッセージ機能をバックグラウンドプロセッシングで活性化するように制御する。そして、端末機100は、メッセージ通知領域1510が出力されているうちに入力されたジェスチャー認識情報を受信されたチャットメッセージに対する応答メッセージとして自動伝送するように制御する。この過程で、端末機100は、受信されたチャットメッセージを含むチャットルームを開設するか、または受信されたチャットメッセージの送信者と関連して事前に開設したチャットルームに当該受信メッセージと応答メッセージを記入するように制御する。
前記端末機100は、電子メールの場合にも、文字メッセージサービスと同様に適用し、返事電子メールを送信する。すなわち受信された電子メールメッセージに対する速やかな返事伝送が要求される場合、端末機100は、メッセージ通知領域1510に表示された電子メールの送信者電子メール情報を抽出し、ユーザが入力したジェスチャー認識情報を電子メールの内容情報として含んで当該送信者に伝送するように制御する。
一方、前記返事入力が完了する時点は、タッチ用ペン200が表示パネル141から一定距離をもって離隔され、認識が不可能な場合であるか、またはあらかじめ定義された特定ジェスチャー、例えば、ピリオドに該当する情報が記入される時点になる。または、端末機100は、返事入力が始まれば、返事完了のためのボタンマップを表示パネル141に出力し、ユーザは、当該ボタンマップ選択を通じて返事入力完了を実行できる。
1505画面で、返事伝送が完了すれば、または返事入力が完了すれば、端末機100は、1501画面に自動復帰するか、または送受信されたメッセージ履歴を確認できるようにスリープ状態を解除し、1507画面のように、メッセージ送受信履歴画面を出力する。1507画面は、送受信されるメッセージの特性によって変わる。すなわち1507画面は、文字メッセージ送受信画面になることもでき、また、チャットルーム画面になることもできる。
一方、前述した説明においてメッセージ通知領域1510が出力される状態をスリープ状態として仮定して説明したが、本発明がこれに限定されるものではない。すなわち本発明のメッセージ通知領域1510は、表示パネル141に電源が供給されないスリープ状態以外に特定機能が活性化された状態の画面で表示パネル141の一定領域に出力される。結果的に、本発明のメッセージ通知に対応した返事機能は、スリープ状態でのメッセージ受信だけでなく、特定機能が活性化された状態でのメッセージ受信にも同様に適用できる。
前述した本発明の端末機100のペン機能運用支援は、一時的に活性化される特定ユーザ機能の種類に対して入力されるジェスチャー認識情報を処理できるように支援する。これにより、本発明の端末機100は、通信部110などから受信される通知(Notification)受信時にタッチ用ペン200を利用した速やかな入力機能を支援する。
以上説明したように、本発明の実施例によるペン機能運用システム及びペン機能運用方法は、タッチ用ペン200を利用する環境においてユーザがさらに多様ながらも便利な機能運用を実行できるようにタッチ用ペン200とマッピングされたペン機能テーブル153を支援する。これにより、ユーザは、現在活性化されている機能の種類情報、ペン状態情報及びジェスチャー認識情報のうち少なくとも1つを互いに連関させて、またはそれぞれ独立的に運用し、さらに多様な機能運用を実行できる。
一方、前述した端末機100は、その提供形態によって多様な追加モジュールをさらに含むことができる。すなわち前記端末機100は、通信端末機である場合、近距離通信のための近距離通信モジュール、前記端末機100の有線通信方式または無線通信方式によるデータ送受信のためのインターフェース、インターネットネットワークと通信してインターネット機能を実行するインターネット通信モジュール及びデジタル放送受信と再生機能を行うデジタル放送モジュールなどのように、前記で言及されない構成をさらに含むこともできる。このような構成要素は、デジタル機器のコンバージェンス(convergence) 傾向によって変形が非常に多様なので、すべて列挙することはできないが、前記言及された構成要素と同等な水準の構成要素が前記デバイスに追加してさらに含まれて構成される。また、本発明の端末機100は、その提供形態によって前述した構成から特定構成が除外されるか、他の構成に代替されてもよいことは勿論である。これは、本技術分野における通常の知識を有する者には、容易に理解される。
また、本発明の実施例による前記端末機100は、例えば、前記端末機100は、多様な通信システムに対応する通信プロトコル(communication protocols)に基づいて動作するすべての移動通信端末機(mobile communication terminals)を含めて、PMP(Portable Multimedia Player)、デジタル放送プレーヤー、PDA(Personal Digital Assistant)、音楽再生機(例えば、MP3プレーヤー)、携帯ゲーム端末、スマートフォン(Smart Phone)、ノートパソコン(Notebook)及びハンドヘルドパソコンなどすべての情報通信機器とマルチメディア及びそれに対する応用機器を含む。
一方、本明細書と図面を通じて本発明の好ましい実施例について説明し、特定用語が使用されたが、これは、ただ本発明の技術内容を容易に説明し、発明の理解を助けるための一般的な意味として使用されたものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施例以外にも本発明の技術的思想に基づく他の変形例が実施可能であるということは、本発明の属する技術分野における通常の知識を有する者に自明である。
100 端末機
110 通信部
120 入力部
130 オーディオ処理部
141 表示パネル
143 ペン認識パネル
145 タッチパネル
150 格納部
151 ペン機能運用プログラム
153 ペン機能テーブル
160 制御部
161 機能種類確認部
163 ペン状態確認部
165 ジェスチャー認識部
167 命令語生成部
169 機能実行部
200 タッチ用ペン
210 ペン先
220 ペンホルダー
230 コイル
240 ボタン

Claims (21)

  1. 端末機が設定モードによってタッチ用ペンを認識するペン認識パネルと前記タッチ用ペンとの配置位置に関する情報及びタッチ用ペンに設けられたボタンの押圧状態情報のうち少なくとも1つを含むペン状態情報、現在活性化されている応用プログラムの種類情報、及び前記タッチ用ペンのジェスチャー入力動作によるジェスチャー認識情報を収集するか、または
    前記ペン状態情報及び前記ジェスチャー認識情報を収集する収集過程と、
    前記設定モードによってあらかじめ定義された特定ペン機能テーブルを参照して前記収集された情報に該当するペン機能命令語を確認する過程と、
    前記ペン機能命令語に該当する機能を実行する機能実行過程とを含むことを特徴とするペン機能運用方法。
  2. 前記ペン状態情報は、
    前記タッチ用ペンが前記ペン認識パネルから第1距離以内にある接触状態情報、
    前記タッチ用ペンが前記ペン認識パネルから第1距離以上ないし第2距離以内に離隔された状態に配置されるホバリング状態情報、
    前記タッチ用ペンが前記ペン認識パネルから第2距離以上で認識可能範囲以内に配置されるエア状態情報、
    前記ボタンが押圧されたボタン押圧状態情報、及び
    前記ボタン押圧が解除された状態情報のうち少なくとも1つを含み、
    前記機能実行過程は、
    前記ホバリング状態で入力されるジェスチャー認識情報及び前記接触状態で入力されるジェスチャー認識情報に対して互いに異なる機能を実行する過程と、
    前記機能の種類情報によって同一のペン状態情報及びジェスチャー認識情報に対して互いに異なるオプションメニュー窓を出力する過程と、を含むことを特徴とする請求項1に記載のペン機能運用方法。
  3. 前記収集過程は、
    前記タッチ用ペンのジェスチャー入力動作により入力され、特定機能活性化のためにあらかじめ定義されたキー命令語を収集する過程であり、
    前記機能実行過程は、
    前記キー命令語に該当する特定機能を活性化する過程であることを特徴とする請求項1に記載のペン機能運用方法。
  4. 前記収集過程は、
    前記タッチ用ペンのジェスチャー入力動作により入力され、前記キー命令語により活性化される機能に適用される機能支援情報を収集する過程をさらに含み、
    前記機能実行過程は、
    前記機能支援情報を前記活性化された機能に自動で適用する過程であることを特徴とする請求項3に記載のペン機能運用方法。
  5. 前記収集過程は、
    通知情報またはメッセージ受信後に一定時間以内にジェスチャー入力動作が発生すれば、前記ジェスチャー入力動作を認識し、ジェスチャー認識情報を収集する過程を含み、
    前記機能実行過程は、
    前記収集されたジェスチャー認識情報を前記通知情報またはメッセージ情報に対する応答メッセージとして自動伝送する過程を含むことを特徴とする請求項1に記載のペン機能運用方法。
  6. 前記機能実行過程は、
    前記受信及び送信された応答メッセージと関連したメッセージ履歴画面を出力する過程をさらに含むことを特徴とする請求項5に記載のペン機能運用方法。
  7. 前記収集過程の前に、
    表示パネルに電源供給を遮断するスリープ状態または特定機能実行による画面を出力する状態を支援する過程をさらに含み、
    前記機能実行過程は、
    前記自動伝送後に前記スリープ状態または以前画面が出力された状態に自動復帰する過程をさらに含むことを特徴とする請求項5に記載のペン機能運用方法。
  8. タッチ用ペンのジェスチャー入力動作により入力された特定機能活性化のためのキー命令語及び前記タッチ用ペンのジェスチャー入力動作に従い、前記キー命令語により活性化される機能に適用されるための機能支援情報を収集する収集過程と、
    前記キー命令語に該当する機能を活性化し、前記機能支援情報を当該機能に適用する機能実行過程と、を含むことを特徴とするペン機能運用方法。
  9. 前記収集過程のために前記タッチ用ペンのジェスチャー入力動作認識のための仮想ペンパッドを表示パネルに出力する過程をさらに含むことを特徴とする請求項8に記載のペン機能運用方法。
  10. 前記機能実行過程は、
    前記キー命令語に該当するメッセージ、チャット、電子メール作成のうち少なくとも1つの機能を活性化し、前記機能支援情報を前記メッセージ、チャット、電子メールの受信者情報として自動適用する過程、
    前記キー命令語に該当する検索機能を活性化し、前記機能支援情報を前記検索機能の検索語として自動適用して検索する過程、
    前記キー命令語に該当するアラーム設定機能を活性化し、前記機能支援情報をアラーム設定時間として自動適用し、アラームを実行する過程、
    前記キー命令語に該当するファイル再生機能を活性化し、前記機能支援情報に該当するファイルを呼び出し、当該ファイルを自動再生する過程、
    前記キー命令語に該当するプランナー機能を活性化し、前記機能支援情報に該当する日付のスケジュール情報を出力するか、または前記機能支援情報に該当する日付のスケジュール入力を自動支援する過程、
    前記キー命令語に該当するダイヤラー機能を活性化し、前記機能支援情報を前記ダイヤラー機能に適用し、特定端末機と自動通話連結を実行する過程、
    前記キー命令語とともにジェスチャー入力動作で入力される機能支援情報に該当するイーブックコンテンツを自動で再生する過程、及び
    前記キー命令語とともにジェスチャー入力動作で入力される数字と演算符号に該当する演算を実行し、結果を出力する過程のうち少なくとも1つの過程を含むことを特徴とする請求項8に記載のペン機能運用方法。
  11. 設定モードによってタッチ用ペンを認識するペン認識パネルと、
    前記ペン認識パネルと前記タッチ用ペンとの配置位置に関する情報及びタッチ用ペンに設けられたボタンの押圧状態情報のうち少なくとも1つを含むペン状態情報、現在活性化されている応用プログラムの種類情報、前記タッチ用ペンのジェスチャー入力動作によるジェスチャー認識情報を収集するか、前記ペン状態情報及び前記ジェスチャー認識情報を収集する制御部と、
    前記設定モードによって前記収集された情報に該当するペン機能命令語を提供するペン機能テーブルを含む格納部と、
    前記ペン機能命令語に該当する機能実行による情報を出力する表示パネルと、を含むことを特徴とするペン機能運用電子装置。
  12. 前記ペン状態情報は、
    前記タッチ用ペンが前記ペン認識パネルから第1距離以内にある接触状態情報、
    前記タッチ用ペンが前記ペン認識パネルから第1距離以上ないし第2距離以内に離隔された状態に配置されるホバリング状態情報、
    前記タッチ用ペンが前記ペン認識パネルから第2距離以上で認識可能範囲以内に配置されるエア状態情報、
    前記ボタンが押されられたボタン押圧状態情報、及び
    前記ボタン押圧が解除された状態情報のうち少なくとも1つを含み、
    前記制御部は、
    前記ホバリング状態及び前記接触状態によって認識されたジェスチャー認識情報に対して互いに異なる機能が実行されるように制御し、前記機能の種類情報によって同一のペン状態情報及びジェスチャー認識情報に対して互いに異なるオプションメニュー窓を出力するように制御することを特徴とする請求項11に記載のペン機能運用電子装置。
  13. 前記制御部は、
    前記タッチ用ペンのジェスチャー入力動作により入力され、特定機能活性化のためにあらかじめ定義されたキー命令語に該当するジェスチャー認識情報が収集されれば、前記キー命令語に該当する特定機能を活性化するように制御することを特徴とする請求項11に記載のペン機能運用電子装置。
  14. 前記ペン認識パネルは、
    前記タッチ用ペンのジェスチャー入力動作により入力され、前記キー命令語により活性化される機能に適用される機能支援情報を収集し、
    前記制御部は、
    前記機能支援情報を前記活性化された機能に自動で適用することを特徴とする請求項13に記載のペン機能運用電子装置。
  15. 通知情報またはメッセージを受信する通信部をさらに含み、
    前記ペン認識パネルは、
    前記受信された通知情報またはメッセージ受信後に一定時間以内にジェスチャー入力動作に該当するジェスチャー認識情報を収集し、
    前記制御部は、
    前記収集されたジェスチャー認識情報を前記通知情報またはメッセージ情報に対する応答メッセージとして自動伝送するように制御することを特徴とする請求項11に記載のペン機能運用電子装置。
  16. 前記表示パネルは、
    前記受信及び送信された応答メッセージと関連したメッセージ履歴画面を出力することを特徴とする請求項15に記載のペン機能運用電子装置。
  17. 前記表示パネルは、
    スリープ状態による電源供給遮断画面または特定機能実行による画面を出力し、
    前記制御部は、
    前記自動伝送後に前記スリープ状態または以前画面が出力された状態に自動復帰するように制御することを特徴とする請求項15に記載のペン機能運用電子装置。
  18. タッチ用ペンのジェスチャー動作によって描かれる第1オブジェクト及び第2オブジェクトを収集するペン認識パネルと、
    前記第1オブジェクトがマッピングされた応用プログラムを活性化し、前記活性化された応用プログラムに前記第2オブジェクトが適用される機能を実行するように制御する制御部と、を含むことを特徴とするペン機能運用電子装置。
  19. 前記制御部は、
    メッセージ応用プログラムを指示する前記第1オブジェクト収集によってメッセージ応用プログラムを活性化し、一緒に入力された前記第2オブジェクトを前記メッセージ応用プログラムのメッセージ受信者情報として自動記入するように制御することを特徴とする請求項18に記載のペン機能運用電子装置。
  20. 前記制御部は、
    検索応用プログラムを指示する前記第1オブジェクト収集によって一緒に入力された前記第2オブジェクトを検索語として入力して自動検索するように制御することを特徴とする請求項18に記載のペン機能運用電子装置。
  21. 前記制御部は、
    通話応用プログラムを指示する前記第1オブジェクト収集によって通話応用プログラムを活性化し、一緒に入力された前記第2オブジェクトを受信者番号として適用して通話連結を実行することを特徴とする請求項18に記載のペン機能運用電子装置。
JP2013173425A 2012-08-24 2013-08-23 ペン機能運用方法及びこれを支援するペン機能運用電子装置 Pending JP2014044720A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0093192 2012-08-24
KR1020120093192A KR102084041B1 (ko) 2012-08-24 2012-08-24 펜 기능 운용 방법 및 시스템

Publications (1)

Publication Number Publication Date
JP2014044720A true JP2014044720A (ja) 2014-03-13

Family

ID=49084733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013173425A Pending JP2014044720A (ja) 2012-08-24 2013-08-23 ペン機能運用方法及びこれを支援するペン機能運用電子装置

Country Status (11)

Country Link
US (1) US9632595B2 (ja)
EP (1) EP2701056B1 (ja)
JP (1) JP2014044720A (ja)
KR (1) KR102084041B1 (ja)
CN (1) CN103631514B (ja)
AU (1) AU2013219227B2 (ja)
BR (1) BR112015003803A2 (ja)
CA (1) CA2881646A1 (ja)
RU (1) RU2015105939A (ja)
TW (1) TW201419053A (ja)
WO (1) WO2014030934A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210620A (ja) * 2014-04-25 2015-11-24 株式会社東芝 データ入力システム、アクティブスタイラスペンおよびアクティブスタイラスペンの制御方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594740B2 (en) 2008-06-11 2013-11-26 Pantech Co., Ltd. Mobile communication terminal and data input method
US9423890B2 (en) * 2013-06-28 2016-08-23 Lenovo (Singapore) Pte. Ltd. Stylus lexicon sharing
US9971412B2 (en) * 2013-12-20 2018-05-15 Lenovo (Singapore) Pte. Ltd. Enabling device features according to gesture input
US11256410B2 (en) 2014-01-22 2022-02-22 Lenovo (Singapore) Pte. Ltd. Automatic launch and data fill of application
KR101627411B1 (ko) * 2014-06-03 2016-06-03 주식회사 동부하이텍 스마트 기기 및 이를 제어하는 방법
US10817124B2 (en) * 2014-06-03 2020-10-27 Lenovo (Singapore) Pte. Ltd. Presenting user interface on a first device based on detection of a second device within a proximity to the first device
DE202015006141U1 (de) 2014-09-02 2015-12-14 Apple Inc. Elektronische Touch-Kommunikation
CN107003804B (zh) * 2014-11-21 2020-06-12 习得智交互软件开发公司 为提供原型设计工具的方法、***及可进行非暂时性的计算机解读的记录媒介
KR102336983B1 (ko) * 2014-12-30 2021-12-08 엘지전자 주식회사 필기 입력에 의해 이미지 데이터를 처리하는 펜 타입의 멀티 미디어 디바이스 및 그 제어 방법
CN104615925B (zh) * 2015-03-05 2017-09-19 广东欧珀移动通信有限公司 移动终端的屏幕固定方法及装置
US9639183B2 (en) * 2015-04-20 2017-05-02 Wacom Co., Ltd. System and method for bidirectional communication between stylus and stylus sensor controller
DK179292B1 (en) * 2015-06-07 2018-04-09 Apple Inc Devices, methods and graphical user interfaces for providing and interacting with notifications
CN104866201A (zh) * 2015-06-10 2015-08-26 三星电子(中国)研发中心 一种智能设备以及一种触发应用的编辑功能的方法
KR20170001036A (ko) 2015-06-25 2017-01-04 엘지전자 주식회사 전자 디바이스 및 그 제어방법
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
KR20170037158A (ko) * 2015-09-25 2017-04-04 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
US10732719B2 (en) * 2016-03-03 2020-08-04 Lenovo (Singapore) Pte. Ltd. Performing actions responsive to hovering over an input surface
CN108463788B (zh) * 2016-11-02 2021-08-10 深圳市汇顶科技股份有限公司 主动笔及基于主动笔的手势检测方法
US10496190B2 (en) 2017-01-25 2019-12-03 Microsoft Technology Licensing, Llc Redrawing a user interface based on pen proximity
US10423236B2 (en) 2017-05-25 2019-09-24 International Business Machines Corporation Using a wearable device to control characteristics of a digital pen
TWI627575B (zh) * 2017-10-03 2018-06-21 Touch method and system with mode switching function
JP2019096098A (ja) * 2017-11-24 2019-06-20 セイコーエプソン株式会社 画像表示装置及びその制御方法
CN108919983B (zh) * 2018-06-15 2021-10-26 广州视源电子科技股份有限公司 基于智能笔操作的书写启动方法及***
KR102458719B1 (ko) 2018-07-26 2022-10-25 삼성전자주식회사 사용자 입력을 지원하는 전자 장치 및 전자 장치의 제어 방법
KR20200095739A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 전자 장치 및 전자 장치의 기능과 스타일러스 펜의 동작을 맵핑하는 방법
KR20200095972A (ko) 2019-02-01 2020-08-11 삼성전자주식회사 버튼 입력에 기능을 맵핑하기 위한 전자 장치 및 방법
TWI758616B (zh) * 2019-07-11 2022-03-21 祥閎科技股份有限公司 安全互動系統及通訊顯示裝置
CN110320975B (zh) * 2019-07-12 2020-11-06 蒙城县辰洁面粉有限责任公司 一种可定时关机的儿童用平板护眼辅助设备
KR20210014397A (ko) 2019-07-30 2021-02-09 삼성전자주식회사 스타일러스 펜에 의한 제스처를 확인하는 전자 장치 및 그 동작 방법
KR20210014401A (ko) 2019-07-30 2021-02-09 삼성전자주식회사 스타일러스 펜에 의한 제스처를 확인하는 전자 장치 및 그 동작 방법
KR20210017099A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 스타일러스 펜을 인식하는 전자 장치 및 그 동작 방법
KR20220032343A (ko) * 2020-09-07 2022-03-15 삼성전자주식회사 전자 장치 및 전자 장치에서 인 에어 제스처를 처리하는 방법
KR20220051725A (ko) * 2020-10-19 2022-04-26 삼성전자주식회사 전자 펜 장치의 동작을 제어하기 위한 전자 장치, 전자 장치에서의 동작 방법 및 비일시적 저장 매체
CN112578988A (zh) * 2020-12-25 2021-03-30 青岛海信移动通信技术股份有限公司 移动终端及其显示界面的更新方法
KR20230023277A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 그 전자 펜의 입력 제어 방법
EP4332736A1 (en) 2021-08-10 2024-03-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling input of electronic pen thereof
CN113589739A (zh) * 2021-08-10 2021-11-02 四川长虹网络科技有限责任公司 非接触式控制装置及方法
CN116107469A (zh) * 2021-11-11 2023-05-12 荣耀终端有限公司 功能模式切换方法、电子设备及***
CN113821113B (zh) * 2021-11-22 2022-04-22 荣耀终端有限公司 电子设备和触控笔的交互方法、***和电子设备
US11726734B2 (en) 2022-01-13 2023-08-15 Motorola Mobility Llc Configuring an external presentation device based on an impairment of a user
US20240143598A1 (en) * 2022-10-31 2024-05-02 Global Relay Communications Inc. System and Method for Searching Electronic Records using Gestures

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249114A (ja) * 1995-03-15 1996-09-27 Matsushita Electric Ind Co Ltd ペン入力装置
JP2000122808A (ja) 1998-10-19 2000-04-28 Fujitsu Ltd 入力処理方法及び入力制御装置
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
JP4284855B2 (ja) * 2000-10-25 2009-06-24 ソニー株式会社 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
KR20040083788A (ko) 2003-03-25 2004-10-06 삼성전자주식회사 제스쳐 커맨드를 이용하여 프로그램을 구동시킬 수 있는휴대용 단말기 및 이를 이용한 프로그램 구동 방법
US20080109751A1 (en) * 2003-12-31 2008-05-08 Alias Systems Corp. Layer editor system for a pen-based computer
WO2005076115A2 (en) * 2004-01-30 2005-08-18 Hewlett-Packard Development Company, L.P. A digital pen
US7802202B2 (en) * 2005-03-17 2010-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
US7487461B2 (en) 2005-05-04 2009-02-03 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
CN101071344A (zh) * 2006-05-12 2007-11-14 深圳市巨龙科教高技术股份有限公司 一种用于交互电子白板的电子笔
US20100021022A1 (en) * 2008-02-25 2010-01-28 Arkady Pittel Electronic Handwriting
JP5519539B2 (ja) * 2008-02-28 2014-06-11 ニューヨーク・ユニバーシティ 処理装置に入力を与える方法及び装置、並びにセンサパッド
KR101020029B1 (ko) 2008-07-02 2011-03-09 삼성전자주식회사 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서터치를 이용한 키 입력 방법
US8536471B2 (en) * 2008-08-25 2013-09-17 N-Trig Ltd. Pressure sensitive stylus for a digitizer
CN102144206B (zh) 2008-09-03 2013-12-04 日本电气株式会社 姿势输入操作设备、方法、程序和便携式设备
EP2228711A3 (en) 2009-03-12 2014-06-04 Lg Electronics Inc. Mobile terminal and method for providing user interface thereof
KR101559178B1 (ko) * 2009-04-08 2015-10-12 엘지전자 주식회사 명령어 입력 방법 및 이를 적용한 이동 통신 단말기
CN101719035A (zh) * 2009-12-08 2010-06-02 清华大学 带有可按键和/或滚轮输入的触笔的pc触摸屏***
KR101623214B1 (ko) 2010-01-06 2016-05-23 삼성전자주식회사 다기능 펜 및 다기능 펜의 사용 방법
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20130106803A1 (en) * 2010-07-06 2013-05-02 T-Data Systems (S) Pte Ltd Data storage device with data input function
US8890818B2 (en) * 2010-09-22 2014-11-18 Nokia Corporation Apparatus and method for proximity based input
KR20120040970A (ko) 2010-10-20 2012-04-30 삼성전자주식회사 디스플레이에서 제스쳐를 인식하는 방법 및 그 장치
KR20140008985A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210620A (ja) * 2014-04-25 2015-11-24 株式会社東芝 データ入力システム、アクティブスタイラスペンおよびアクティブスタイラスペンの制御方法

Also Published As

Publication number Publication date
AU2013219227B2 (en) 2018-07-05
EP2701056B1 (en) 2021-10-27
CN103631514B (zh) 2019-07-05
KR102084041B1 (ko) 2020-03-04
KR20140026966A (ko) 2014-03-06
TW201419053A (zh) 2014-05-16
BR112015003803A2 (pt) 2017-07-04
US20140055426A1 (en) 2014-02-27
EP2701056A3 (en) 2016-01-20
US9632595B2 (en) 2017-04-25
RU2015105939A (ru) 2016-09-10
CN103631514A (zh) 2014-03-12
WO2014030934A1 (en) 2014-02-27
CA2881646A1 (en) 2014-02-27
AU2013219227A1 (en) 2014-03-13
EP2701056A2 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
JP2014044720A (ja) ペン機能運用方法及びこれを支援するペン機能運用電子装置
JP6263177B2 (ja) ユーザー端末のユーザーインターフェース装置及び方法
KR102070013B1 (ko) 컨텐츠 활용 기능 지원 방법 및 이를 지원하는 단말기
RU2669087C2 (ru) Способ и устройство управления тактильной отдачей инструмента ввода для терминала мобильной связи
KR102020345B1 (ko) 터치스크린을 구비하는 단말에서 홈 화면의 구성 방법 및 장치
JP6418725B2 (ja) 録音機能が連動されたメモ機能運用方法および装置
CN103973771B (zh) 用于共享部分web页的方法和***
EP2739021A1 (en) Mobile terminal and information handling method for the same
EP2302497A2 (en) Mobile terminal and display controlling method thereof
US20140015782A1 (en) Method for transmitting and receiving data between memo layer and application and electronic device using the same
US20110273379A1 (en) Directional pad on touchscreen
CN105630327B (zh) 便携式电子设备和控制可选元素的显示的方法
KR20130052151A (ko) 터치스크린을 구비한 휴대 단말기의 데이터 입력 방법 및 장치
JP5777645B2 (ja) 携帯端末機の文字入力方法及びこれをサポートする携帯端末機
US20140240262A1 (en) Apparatus and method for supporting voice service in a portable terminal for visually disabled people
EP2743816A2 (en) Method and apparatus for scrolling screen of display device
CN103294392A (zh) 用于在移动装置中编辑内容视图的方法和设备
WO2022241014A1 (en) Devices, methods, and graphical user interfaces for adjusting the provision of notifications
KR101677636B1 (ko) 이동단말기 및 그의 텍스트 편집 방법
KR20140092459A (ko) 메모 레이어와 어플리케이션 사이에 데이터를 주고 받는 방법 및 이를 구비한 전자장치
KR20140030398A (ko) 명령어 패드 운용 방법 및 이를 지원하는 단말기
KR20160042610A (ko) 이동 단말기 및 그 제어 방법
KR20140026719A (ko) 단말기의 기능 운용 방법 및 이를 지원하는 단말기
KR20140057039A (ko) 메시지 재알림 방법 및 이를 지원하는 단말기
KR20130140361A (ko) 터치스크린을 구비하는 단말에서 데이터 입력 방법 및 장치