JP4731873B2 - 仮想グラフィティを提供する装置及び方法並びにそのための記録媒体 - Google Patents

仮想グラフィティを提供する装置及び方法並びにそのための記録媒体 Download PDF

Info

Publication number
JP4731873B2
JP4731873B2 JP2004298168A JP2004298168A JP4731873B2 JP 4731873 B2 JP4731873 B2 JP 4731873B2 JP 2004298168 A JP2004298168 A JP 2004298168A JP 2004298168 A JP2004298168 A JP 2004298168A JP 4731873 B2 JP4731873 B2 JP 4731873B2
Authority
JP
Japan
Prior art keywords
graffiti
input
image
touch
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004298168A
Other languages
English (en)
Other versions
JP2005141731A (ja
Inventor
勝伊 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2005141731A publication Critical patent/JP2005141731A/ja
Application granted granted Critical
Publication of JP4731873B2 publication Critical patent/JP4731873B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

本発明は、携帯型(handheld)装置に関し、特に、スクリーンに情報をディスプレイすると共に使用者のスクリーンタッチによる使用者入力データを受けるためのタッチスクリーン(touch screen)ディスプレイ装置を用いて仮想グラフィティ(virtual graffiti)を提供する装置に関する。
通常、ＰＤＡ(Personal Digital Assistant)、ＰＤＡ機能と移動電話端末機能を融合したスマートフォン(smart phone)などの携帯型装置は、タッチパッド(touch pad)を使って使用者入力データを受ける。特に、スマートフォンのように３×４キー体系、すなわち０〜９の数字キー、＊、及び＃キーからなるキーボード(keypad)から使用者入力を受ける携帯型装置では、タッチパッドに使用者が文字を直接描いて入力する機能がほとんど必須とされている。これは、キーボードのキー数が制限されていることからキーボードのキーだけではあらゆる文字を效果的に入力することが極めて難しいためである。このように数字及び文字データ受信可能な携帯型装置には所定のデータ入力領域を持ち、このデータ入力領域をパーム(Palm)ＯＳ(Operating System)においては通常、“グラフィティ(Graffiti)”領域と呼ばれている。
第１世代のＰＤＡやスマートフォンでは、グラフィティ機能を実現すべく、図１及び図２に示すようにグラフィティ領域をタッチパッド上に印刷して提供してきた。図１は、タッチパッド１０２上に印刷されたグラフィティ領域１０８を備えたタッチスクリーンディスプレイ装置１００を例示する図であり、図２は、グラフィティ領域２０８が印刷されたタッチパッド２０２が、タッチスクリーンディスプレイ装置２００と物理的に分離されている構成を例示する図である。図１のタッチスクリーンディスプレイ装置１００と図２のタッチスクリーンディスプレイ装置２００は、通常、イメージをディスプレイするためのＬＣＤ(Liquid Crystal Display)パネル上に使用者入力のためのＴＳＰ(Touch-Sensitive Panel)が覆われた構造をそれぞれ持ち、したがって、それぞれのスクリーン１０４，２０４上に情報がディスプレイされると共に、スクリーン１０４，２０４の使用者タッチによる使用者入力を受ける。これらのスクリーン１０４，２０４には、各種アプリケーション実行に伴う情報が、使用者が目視しうるようにディスプレイされるが、その各種アプリケーションを実行させるためのアイコン１０６、２０６がディスプレイされている例が、図１及び図２に示されている。図１のグラフィティ領域１０８及び図２のグラフィティ領域２０８にはそれぞれ、グラフィティ機能のために使われるアイコン１１２，２１２と、使用者がスタイラス(stylus)ペンを使ったタッチ入力によりグラフィティを入力するグラフィティ入力ボックス１１０，２１０が印刷されている。
一方、最近ではソフトウェアプログラムを用いてグラフィティ領域を提供する、図３Ａに示すような仮想グフィティ技術が提案され、携帯電話の代用として益々好まれている傾向にある。この仮想グフィティ技術によれば、タッチスクリーンディスプレイ装置のスクリーン上に使用者が望むイメージを描くことができ、その描かれたイメージはスクリーン上にディスプレイされる。このようにソフトウェアプログラムを用いて仮想グラフィティを実現すると、柔軟なＧＵＩ(Graphic User Interface)を提供できるだけでなく、グラフィティ機能を使用しない時には図３Ｂのようにスクリーンから隠され、よって、スクリーンの使用効率を高めることができる。図３Ａ及び図３Ｂを参照すれば、グラフィティ領域３０４がタッチスクリーンディスプレイ装置３００のスクリーン３０２上にディスプレイされている。このスクリーン３０２には、図１及び図２のスクリーン１０４，２０４と同様に、各種アプリケーションを実行させるためのアイコン３０６がディスプレイされている。また、グラフィティ領域３０４は、図１及び図２のグラフィティ領域１０８，２０８と同様に、グラフィティ機能のために使用されるアイコン３１０と、使用者がスタイラスペンのようなデータ入力ツールを使って望むグラフィティを入力できるようにするグラフィティ入力ボックス３０８と、を含む。
しかしながら、グラフィティ領域を、図１及び２のように物理的に実現する方式も図３Ａ及び図３Ｂのようにソフトウェアプログラムを用いて実現する仮想グラフィティ方式も、グラフィティ領域のための別途の専用領域または空間が必要とされ、このようなグラフィティ領域が占める空間は、携帯型装置における製品の小型化及び軽量化において制限原因とされてきた。特に、ホルダータイプ(folder type)のスマートフォンのように縦横比が１：１のスクリーンを使用する携帯型装置ではグラフィティ機能を適用できず、小型キーボード(keyboard)を搭載する場合もあった。
したがって、本発明は、上記事情に鑑みて、大きさに制約がある携帯型装置においても有効にグラフィティ機能を実現しうる装置及び方法並びにこのための記録媒体を提供することを目的とする。
本発明の他の目的は、仮想グラフィティ領域を提供するための別途の空間を必要としない装置及び方法並びにこのための記録媒体を提供することにある。
本発明のさらに他の目的は、縦横比が１：１のスクリーンにおいても仮想グラフィティを提供しうる装置及び方法並びにこのための記録媒体を提供することにある。
本発明は、画面上にメーンスクリーンイメージをディスプレイすると共に、前記画面上のタッチによる使用者入力データを受けるためのタッチスクリーンディスプレイ装置の使用者のタッチ入力によりグラフィティ機能の実行を指示するためのアイコンイメージとグラフィティ入力領域とを含むグラフィティスクリーンイメージを、前記画面の一部に設定された仮想グラフィティ領域にメーンスクリーンイメージに重ねてディスプレイする。また、この前記メーンスクリーンイメージと該メーンスクリーンイメージに重ねてディスプレイされた前記仮想グラフィティ領域のグラフィティスクリーンイメージとが表示された画面上に対する使用者のタッチ入力を、そのタッチ位置、及びタッチ方式として一定時間内のタッチ入力の動作に基づいて、前記メーンスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力であるか、前記グラフィティスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力であるか、前記グラフィティ入力領域内のグラフィティ入力であるかを区別し、その区別に応じた入力を処理する。
本発明では、タッチスクリーンディスプレイ装置の画面の一部に設定された仮想グラフィティ領域に、使用者のタッチ入力によりグラフィティ機能の実行を指示するためのアイコンイメージとグラフィティ入力領域とを含むグラフィティスクリーンイメージをメーンスクリーンイメージに重ねてディスプレイし、メーンスクリーンイメージと該メーンスクリーンイメージに重ねてディスプレイされた仮想グラフィティ領域のグラフィティスクリーンイメージとが表示された画面上に対する使用者のタッチ入力をそのタッチ位置、及びタッチ方式として一定時間内のタッチ入力の動作に基づいて、前記メーンスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力であるか、前記グラフィティスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力であるか、前記グラフィティ入力領域内のグラフィティ入力であるかを区別し、その区別に応じた入力を処理するようになる。これにより、仮想グラフィティ領域にはアプリケーションまたは仮想グラフィティデータをディスプレイすることができ、このアプリケーションまたは仮想グラフィティデータを入力するための使用者タッチがアクティブ状態にありながら選択的に実行されうるので、仮想グラフティ領域を提供するための別途の空間を備えずにすみ、この結果、大きさに制約がある携帯型装置においても効率よくグラフィティ機能を実現することができ、１：１比率のスクリーンでも仮想グラフィティを提供することが可能になる。
以下、本発明の好ましい実施形態について、添付図面を参照しつつ詳細に説明する。下記の説明において、本発明の要旨を曖昧にするのを避けるために、関連した公知機能や構成についての詳細な説明は適宜省略するものとする。
図４Ａ及び図４Ｂを参照すれば、タッチスクリーンディスプレイ装置４００のスクリーン４０２上の一部領域が、仮想グラフィティ領域４０４に設定されて仮想グラフィティを提供している。本発明の実施形態によって仮想グラフィティがイネーブルされると、図４Ａに示すように、仮想グラフィティ領域４０４にはグラフィティスクリーンイメージとメーンスクリーンイメージが重なってディスプレイされ、仮想グラフィティがディセーブルされると、図４Ｂに示すように、メーンスクリーンイメージのみディスプレイされる。ここで、メーンスクリーンイメージは、従来の図１ないし図３Ｂのスクリーン１０４，２０４，３０２上にディスプレイされるものと同様に、ＯＳ(Operating System)や各種アプリケーションの実行に伴うイメージを意味し、グラフィティスクリーンイメージは、従来の図３Ａのグラフィティ領域３０４にディスプレイされるものと同様に、仮想グラフィティを提供するためにディスプレイされるイメージを意味する。ただし、図３Ａにおいてグラフィティ領域３０４は仮想グラフィティのための専用領域とされるのに対し、本発明の実施形態による図４Ａの仮想グラフィティ領域４０４は、スクリーン４０２の一部領域と重なる。これにより、図４Ａでは、各種アプリケーションを実行させるためのアイコンのうち一部のアイコン４０６はスクリーン４０２上にそのままディスプレイされる一方、残りのアイコン４１２はグラフィティスクリーンイメージと重なってディスプレイされる。すなわち、仮想グラフィティ領域４０４は、図３Ａと同様に、グラフィティ機能のために使用されるアイコン４１０と、使用者のスタイラスペンを使ったタッチ入力により生成されたグラフィティが入力されるグラフィティ入力ボックス４０８とを含み、これらはメーンスクリーンイメージと重なって半透明にディスプレイされる。
このような仮想グラフィティを提供するための装置を、図５に示す。図５において、タッチスクリーンディスプレイ装置５００は、図４Ａ及び図４Ｂのタッチスクリーンディスプレイ装置４００に相応する装置であって、イメージをディスプレイするためのＬＣＤ(Liquid Crystal Display)５０４と、使用者入力のためのＴＳＰ(Touch-Sensitive Panel)５０２とからなる。このタッチスクリーンディスプレイ装置５００は、上述したように、通常、ＬＣＤ５０４のパネル上にＴＳＰ５０２が覆われた構造を持ち、したがって、ＬＣＤ５０４のパネルにＴＳＰ５０２が覆われてなる図４Ａ及び図４Ｂに示すようなスクリーン４０２に、情報をディスプレイすると同時に、使用者のスクリーン４０２タッチによる使用者入力データを受ける。
このタッチスクリーンディスプレイ装置５００に接続される制御部５０６は、図４Ａの仮想グラフィティ領域４０４にグラフィティスクリーンイメージをメーンスクリーンイメージに重ねてディスプレイし、使用者のスクリーン４０２タッチにより生成される使用者入力データを、そのタッチ位置及び／またはタッチ方式によってアプリケーション実行入力とグラフィティ入力とに区分して認識し処理する。この制御部５０６は、Ａ／Ｄ(Analog-to-Digital)変換器５１２、メモリ５１４、ＤＭＡ(Direct Memory Access)コントローラー５２２、及びＬＣＤ(Liquid Crystal Display)コントローラー５２４が、ホストインターフェース５１０を介してＣＰＵ５０８に接続されてなる。
Ａ／Ｄ変換器５１２は、タッチスクリーンディスプレイ装置５００のＴＳＰ５０２と接続され、使用者のスクリーン４０２タッチにより生成されるアナログの使用者入力信号をデジタル信号に変換し、この信号をホストインターフェース５１０を介してＣＰＵ５０８に提供する。ディスプレイコントローラーであるＬＣＤコントローラー５２４は、タッチスクリーンディスプレイ装置５００のＬＣＤ５０４に接続されるとともに、ＤＭＡコントローラー５２２に接続され、ＤＭＡコントローラー５２２からビデオデータを受信してＬＣＤ５０４を駆動し、この受信したビデオデータに該当するイメージをスクリーン４０２にディスプレイさせる。
メモリ５１４は、第１及び第２のビデオバッファー５１６，５１８とグラフィティスクリーンメモリ５２０とからなり、ＣＰＵ５０８によりビデオデータを格納する。グラフィティスクリーンメモリ５２０には、上述のグラフィティスクリーンイメージのビデオデータが格納される。第１のビデオバッファー５１６には、スクリーン４０２上にディスプレイされたメーンスクリーンイメージのビデオデータが格納され、第２のビデオバッファー５１８には、メーンスクリーンイメージにグラフィティスクリーンイメージが重なったビデオデータが格納されるが、重なる領域はメーンスクリーンイメージの一部、すなわち図４Ａの仮想グラフィティ領域４０４に該当する。このように、第１及び第２のビデオバッファー５１６，５１８に格納されている各ビデオデータは、ＤＭＡコントローラー５２２がＣＰＵ５０８の制御に基づいて選択的に読み出してＬＣＤコントローラー５２４に印加する。
ＣＰＵ５０８は、Ａ／Ｄ変換器５１２から入力される使用者入力データを処理し、使用者入力データによって第１及び第２のビデオバッファー５１６，５１８のビデオデータを選択的に更新し、使用者の選択による仮想グラフィティ機能のイネーブルまたはディセーブル状態を示す情報に基づいてＤＭＡコントローラー５２２の選択的ビデオデータ読出しを制御する。
図５のように構成される装置においてＣＰＵ５０８のディスプレイアップデート処理を、図６を参照して説明し、仮想グラフィティを提供するためにスクリーン４０２上にイメージをティスプレイする方法を、図７を参照して説明する。ＣＰＵ５０８は、あらかじめ設定された条件にしたがって図６の処理を開始し、ステップＳ６００で、スクリーン４０２上にイメージをディスプレイする必要があるかどうか判断する。上述のＣＰＵ５０８の動作開始条件には様々なものがあり、例えば、使用者がスクリーンタッチ方法を用いてスクリーン４０２上に望むデータを入力した時、ＯＳ(Operating System)タイマーによる周期的ディスプレイアップデート時点になる時、各種アプリケーション実行によってディスプレイアップデートを遂行しなければならない時などがある。
ステップＳ６００で、ディスプレイアップデートが必要な時点であれば、ＣＰＵ５０８は、ステップＳ６０２で、第１のビデオバッファー５１６のデータを、図７(ａ)のようなメーンスクリーンイメージをもってアップデートする。これにより、第１のビデオバッファー５１６は、ＯＳ(Operating System)や現在実行されるアプリケーションによってスクリーン４０２上にディスプレイすべき所定イメージのビデオデータを格納するようになる。続いて、ステップＳ６０４で、仮想グラフィティがイネーブルされたか否かを確認する。仮想グラフィティのイネーブルまたはディセーブルは使用者によって選択されるが、使用者は、グラフィティ入力を遂行しない場合には仮想グラフィティをイネーブルさせ、そうでない場合には仮想グラフィティをディセーブルさせる。このように、使用者による仮想グラフィティのイネーブルまたはディセーブルの選択は、図３Ａ及び図３Ｂの方法と同様にして遂行すればいい。
ステップＳ６０４の確認結果、仮想グラフィティがイネーブルされた場合ならステップＳ６０６に進み、仮想グラフィティがディセーブルされた場合ならステップ６１４に進む。ステップＳ６０６では、第１のビデオバッファー５１６に格納されている図７(ａ)のようなメーンスクリーンイメージと、グラフィティスクリーンメモリ５２０に格納されている図７(ｂ)のようなグラフィティスクリーンイメージとを、アルファ(α)ブレンディング(alpha blending)により図７(ｃ)のように重ねた後に第２のビデオバッファー５１８に格納することによって、第２のビデオバッファー５１８をアップデートする。このとき、グラフィティスクリーンメモリ５２０には、図７(ｂ)のようなグラフィティスクリーンイメージが、ビットマップファイル(bitmap file)またはデータベース(database)の形態にあらかじめ格納されている。これにより、グラフィティスクリーンイメージをユーザーの望むイメージに取り替えることもでき、その模様、大きさ、色などを望むままにセッティングさせることができる。このセッティングは、例えば、通常のイメージセッティング方式と同様に、使用者セッティング窓(setting window)を通じて使用者が望むままに変更しうるように提供すればいい。また、使用者セッティング窓を通じて仮想グラフィティ領域４０４の位置や透明度もまた、使用者が望むままにセッティングしうるようにすることができる。このとき、セッティングされる透明度によって変わる所定の重畳比率でメーンスクリーンイメージとグラフィティスクリーンイメージのアルファ(α)ブレンディングがなされる。例えば、使用者の選択やデフォルト(default)値によりメーンスクリーンイメージに対するグラフィティスクリーンイメージの透明度が０．７と定められると、メーンスクリーンイメージのピクセル(pixel)値とグラフィティスクリーンイメージのピクセル値が７：３の割合でブレンディングされる。
上述の如く、第２のビデオバッファー５１８をアップデートした後には、ステップＳ６０８において、ストロークインキング(stroke inking)の必要有無をチェックする。ストロークインキングとは、使用者がスクリーン４０２上へのタッチ入力によりあるグラフィティを筆記する場合に、その筆記によるストロークを図７(ｄ)のように仮想グラフィティ領域４０４に表すための処理をいう。この場合、ストロークインキングのイネーブル／ディセーブル状態、色、透明度なども、使用者がセッティング窓を通じて自分の望むままにセッティングすることができる。もし、ストロークインキング処理がセッティングされており、使用者のタッチ入力によりスクリーン上に筆記がなされた場合なら、ステップ６１０で、使用者の筆記によるストロークインキングイメージを生成して第２のビデオバッファー５１８に格納した後に、ステップＳ６１２に進行する。これにより、図７(ｃ)のように、メーンスクリーンイメージとグラフィティスクリーンイメージが重なり合っているイメージに、図７(ｄ)のようにストロークインキングイメージが重なる。図７(ｄ)は、使用者がアラビア数字‘２’を書いたときに、ストロークインキングイメージ‘２’が重なり合った場合を示している。これと違い、ストロークインキング処理がセッティングされていないとか、使用者による筆記ができていない場合なら、ステップＳ６０８から直接ステップＳ６１２に進行する。
このステップＳ６１２では、第２のビデオバッファー５１８に格納されているビデオデータを、ＤＭＡコントローラー５２２を制御してＬＣＤコントローラー５２４に送ってディスプレイアップデートがなされるようにする。この場合、ステップＳ６１０のストロークインキング処理を遂行しないと、メーンスクリーンイメージとグラフィティスクリーンイメージが重なり合っている図７(ｃ)のようなイメージのビデオデータが、ＤＭＡコントローラー５２２によりＬＣＤコントローラー５２４に送られ、よって、スクリーン４０２には図７(ｃ)のようなイメージがディスプレイされる。一方、ステップＳ６１０のストロークインキング処理がなされた場合には、メーンスクリーンイメージとグラフィティスクリーンイメージが重なり合っているイメージに再びストロークインキングイメージが重なり合った図７(ｄ)のようなイメージのビデオデータが、ＤＭＡコントローラー５２２によりＬＣＤコントローラー５２４に送られ、よって、スクリーン４０２には図７(ｄ)のようなイメージがディスプレイされる。
一方、ステップＳ６０４のチェック結果、仮想グラフィティがディセーブルされた場合にはステップＳ６１４に進行し、第１のビデオバッファー５１６に格納されているビデオデータを、ＤＭＡコントローラー５２２を制御してＬＣＤコントローラー５２４に送ってディスプレイアップデートがなされるようにする。すなわち、図７(ａ)に示すようなメーンスクリーンイメージのみのビデオデータがＤＭＡコントローラー５２２によりＬＣＤコントローラー５２４に送られることによって、スクリーン４０２には図７(ａ)のように仮想グラフィティが隠されたイメージがディスプレイされる。
また、上述したように、仮想グラフィティ領域４０４には、メーンスクリーンイメージとグラフィティイメージが重なり合っており、したがって、スクリーン４０２上に仮想グラフィティ領域４０４に対する使用者のタッチ入力がある場合に、ＣＰＵ５０８は、使用者入力がアプリケーションを実行するための入力か、あるいは、グラフィティ入力かを区分して認識し処理しなければならない。このために、ＣＰＵ５０８は、タッチ位置及び／またはタッチ方式によってアプリケーション実行入力とグラフィティ入力を区分して認識し処理する。例えば、使用者がスタイラスペンでスクリーン４０２をタッチし、そのまま動かない状態に一定時間が経過する場合にはアプリケーション実行として認識する。すなわち、図４Ａにおいてメーンスクリーンイメージとグラフィティイメージが重なり合っている位置に存在するアプリケーションアイコン４１２を、使用者がスタイラスペンでタッチし、一定時間の間にスタイラスペンを離したり動かしたりしないと、アイコン４１２に対応するアプリケーションを実行することになる。これは、図４Ａの例示と違い、既にあるアプリケーションが実行されている状態にも同様に適用されるものであって、現在実行されているアプリケーションによってスクリーン４０２の仮想グラフィティ領域４０４にディスプレイされているボタン(button)などにも同様に適用される。ところが、使用者がスタイラスペンでスクリーン４０２をタッチし、一定時間が経過する前にそのスタイラスペンを動かしたり離したりすると、グラフィティ入力として認識する。すなわち、図４Ａにおいてメーンスクリーンイメージとグラフィティイメージが重なり合っている位置にあるアプリケーションアイコン４１２を使用者がスタイラスペンでタッチしたとしても、一定時間が経過する前にスタイラスペンを動かしたり離したりするとアイコン４１２を実行せずに、グラフィティ入力として認識する。このようにグラフィティ入力として認識する場合は、再びグラフィティ入力ボックス４０８上のタッチと、グラフィティアイコン４１０に対するタッチといった２つの場合に区分される。つまり、使用者がスタイラスペンでグラフィティ入力ボックス４０８内のある箇所をタッチし、一定時間が経過する前にスタイラスペンを動かしたり離したりすると、グラフィティを筆記するものとして認識し、使用者がスタイラスペンでアプリケーションアイコンとグラフィティアイコンが重なり合っている箇所やグラフィティアイコンのみ位置する箇所をタッチし、一定時間が経過する前にスタイラスペンを離すと、該当するグラフィティアイコンを実行させる。

次に、このようにＣＰＵ５０８が使用者タッチ入力を区分して認識し処理する例を、図８を参照して説明する。まず、ＣＰＵ５０８は、使用者のタッチ入力データを受けると(ステップＳ７００)、ステップＳ７０２で、タッチ位置が仮想グラフィティ領域４０４に含まれているか判断する。もし、タッチ位置が仮想グラフィティ領域４０４に含まれていなければ、当該タッチ入力データはアプリケーション実行のためのデータであるので、ステップＳ７０６に進行し、アプリケーション実行入力データとして認識して処理する。一方、タッチ位置が仮想グラフィティ領域４０４に含まれていれば、これは、上述したように、アプリケーション実行入力データにも、グラフィティ入力データにもなり得るので、ステップＳ７０４において固定タッチ時間が一定時間Ｔを超過するか確認する。ここで、固定タッチ時間とは、上述したように、使用者がスタイラスペンでスクリーン４０２をタッチし、スタイラスペンを離したり動かしたりすることなくそのまま保持する時間のことを意味する。もし、固定タッチ時間が一定時間Ｔを超過する場合は、アプリケーション実行入力であるのを意味するので、ステップＳ７０６に進行し、当該タッチ入力データをアプリケーション実行入力データとして認識し処理する。一方、固定タッチ時間が一定時間Ｔより短ければ、これは、グラフィティ筆記入力またはグラフィティアイコン実行入力であるので、ステップＳ７０８に進行してグラフィティ入力データとして認識し処理する。このとき、タッチ位置がグラフィティ入力ボックス４０８に含まれていると、グラフィティ筆記入力データとして認識し処理し、グラフィティ入力ボックス４０８を外れていると、該当するグラフィティアイコン４１０を実行する。
一方、以上の本発明の詳細な説明では具体的な実施形態に上げて説明したが、本発明の範囲を外れない限度内で種々の変形が可能であることは勿論である。特に、本発明に従う仮想グラフィティ提供方法は、ＣＰＵ(Central Processing Unit)と、スクリーンに情報をディスプレイすると同時に、使用者のスクリーンタッチにより生成される使用者入力データを受信するためのタッチスクリーンディスプレイとを備える装置のための実行プログラムが記録されたコンピュータ読出し可能記録媒体により提供されることもできる。のみならず、ストロークインキング処理を遂行する場合に、ストロークと背景色との区分がし易くなるように、ストロークの色と透明度を背景色に基づいて決定するように構成してもいい。したがって、本発明の範囲は、上述した具体的な実施形態に限定されてはいけなく、特許請求の範囲のみならず、この特許請求の範囲と均等なものによって定められるべきである。
タッチパッド上に印刷によりグラフィティ領域が提供される様子を示す例示図である。 タッチパッド上に印刷によりグラフィティ領域が提供される様子を示す例示図である。 ソフトウェアプログラムを用いて提供される仮想グラフィティがタッチスクリーンディスプレイ装置のスクリーン上にディスプレイされる様子を示す例示図である。 ソフトウェアプログラムを用いて提供される仮想グラフィティがタッチスクリーンディスプレイ装置のスクリーン上にディスプレイされる様子を示す例示図である。 本発明の実施形態に従ってタッチスクリーンディスプレイ装置のスクリーン上にディスプレイされる仮想グラフィティを示す例示図である。 本発明の実施形態に従ってタッチスクリーンディスプレイ装置のスクリーン上にディスプレイされる仮想グラフィティを示す例示図である。 本発明の実施形態に従う仮想グラフィティを提供するための装置を示すブロック構成図である。 本発明の実施形態に従うディスプレイアップデート処理を示すフローチャートである。 本発明の実施形態に従うディスプレイアップデート処理を示す例示図である。 本発明の実施形態に従う、使用者タッチ入力により生成されるデータ処理方法を示すフローチャートである。
符号の説明
４００，５００ タッチスクリーンディスプレイ装置
４０２ スクリーン
４０４ 仮想グラフィティ領域
４０６，４１０，４１２ アイコン
４０８ グラフィティ入力ボックス
５０２ ＴＳＰ
５０４ ＬＣＤ
５０６ 制御部
５０８ ＣＰＵ
５１０ ホストインターフェース
５１２ Ａ／Ｄ変換器
５１４ メモリ
５１６ 第１のビデオバッファー
５１８ 第２のビデオバッファー
５２０ グラフィティスクリーンメモリ
５２２ ＤＭＡコントローラー
５２４ ＬＣＤコントローラー

Claims (24)

  1. 仮想グラフィティを提供するための装置であって、
    画面上にメーンスクリーンイメージをディスプレイすると共に、前記画面上のタッチによる使用者入力データを受けるためのタッチスクリーンディスプレイ装置と、
    該タッチスクリーンディスプレイ装置と接続され、使用者のタッチ入力によりグラフィティ機能の実行を指示するためのアイコンイメージとグラフィティ入力領域とを含むグラフィティスクリーンイメージを、前記画面の一部に設定された仮想グラフィティ領域にメーンスクリーンイメージに重ねてディスプレイし、前記メーンスクリーンイメージと該メーンスクリーンイメージに重ねてディスプレイされた仮想グラフィティ領域のグラフィティスクリーンイメージとが表示された画面上に対する使用者のタッチ入力に基づいて、前記タッチ入力の固定持続時間が一定時間を超過する場合には、前記タッチ入力の位置に対する、前記メーンスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力と区別し、前記タッチ入力の位置が前記グラフィティスクリーンイメージ上で、前記タッチ入力の固定持続時間が一定時間より短く、前記タッチ入力の位置が前記グラフィティ入力領域内であれば、グラフィティ入力と区別し、前記タッチ入力の位置が前記グラフィティスクリーンイメージ上で、前記タッチ入力の固定持続時間が一定時間より短く、前記タッチ入力の位置が前記グラフィティ入力領域外であれば、前記グラフィティスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力と区別し、その区別に応じた入力を処理する制御部と、を備えることを特徴とする装置。
  2. 前記制御部が、前記仮想グラフィティを使用者の選択によってイネーブルまたはディセーブルさせることを特徴とする請求項１に記載の装置。
  3. 前記制御部が、前記仮想グラフィティ領域の位置、模様、透明度、大きさ及び色のうち、少なくともいずれか一つを使用者の選択によって変更することを特徴とする請求項１に記載の装置。
  4. 前記制御部が、前記仮想グラフィティ領域に対する使用者のタッチ入力によるストロークを、前記仮想グラフィティ領域に重ねてディスプレイすることを特徴とする請求項１に記載の装置。
  5. 前記制御部が、前記ストロークが背景色と区別されるように前記ストロークの色と透明度を前記背景色に基づいて決定することを特徴とする請求項４に記載の装置。
  6. 前記制御部が、
    入力されるビデオデータに対応するイメージを、前記タッチスクリーンディスプレイ装置にディスプレイさせるディスプレイコントローラーと、
    前記タッチスクリーンディスプレイ装置の画面上に対する使用者のタッチにより発生するアナログの使用者入力信号を、デジタル信号に変換するＡ／Ｄ(Analog-to-Digital)変換器と、
    前記グラフィティスクリーンイメージのビデオデータを格納するグラフィティスクリーンメモリと、前記メーンスクリーンイメージのビデオデータを格納する第１のビデオバッファーと、前記メーンスクリーンイメージに前記グラフィティスクリーンイメージが重なり合ったビデオデータを格納する第２のビデオバッファーとを備えるメモリと、
    前記第１及び第２のビデオバッファーに格納されている各ビデオデータを選択的に読み出して前記ディスプレイコントローラーに印加するＤＭＡ(Direct Memory Access)コントローラーと、
    前記Ａ／Ｄ変換器から入力される使用者入力データを処理し、該使用者入力データによって前記第１及び第２のビデオバッファーのビデオデータを選択的に更新し、前記使用者の選択による前記仮想グラフィティのイネーブルまたはディセーブル状態によって前記ＤＭＡコントローラーの選択的ビデオデータ読出しを制御するＣＰＵ(Central Processing Unit)と、
    前記ディスプレイコントローラーと前記メモリと前記ＤＭＡコントローラーに対する前記ＣＰＵのインターフェースを提供するホストインターフェースと、
    を備えることを特徴とする請求項１に記載の装置。
  7. 前記ＣＰＵが、前記仮想グラフィティがイネーブルされた場合には、前記第１のビデオバッファーをアップデートさせ、前記グラフィティスクリーンメモリのグラフィティスクリーンイメージを前記第１のビデオバッファーのメーンスクリーンイメージに重ねて前記第２のビデオバッファーをアップデートさせた後に、前記ＤＭＡコントローラーが前記第２のビデオバッファーのビデオデータを読み出して前記ディスプレイコントローラーに印加するように制御し、
    前記仮想グラフィティがディセーブルされた場合には、前記第１のビデオバッファーをアップデートさせた後に、前記ＤＭＡコントローラーが前記第１のビデオバッファーのビデオデータを読み出して前記ディスプレイコントローラーに印加するように制御することを特徴とする請求項６に記載の装置。
  8. 前記ＣＰＵが、前記仮想グラフィティ領域の位置、模様、透明度、大きさ及び色のうち、少なくともいずれか一つを使用者の選択によって変更することを特徴とする請求項７に記載の装置。
  9. 前記ＣＰＵが、前記仮想グラフィティがイネーブルされた状態で、前記使用者のタッチ入力によるストロークイメージを表すストロークインキングデータを、前記第２のビデオバッファーのビデオデータに重ねることを特徴とする請求項７に記載の装置。
  10. 前記ＣＰＵが、前記ストロークが背景色と区別されるように前記ストロークの色と透明度を前記背景色に基づいて決定することを特徴とする請求項９に記載の装置。
  11. 画面上にメーンスクリーンイメージをディスプレイすると共に、前記画面上のタッチによる使用者入力を受けるためのタッチスクリーンディスプレイ装置を用いて仮想グラフィティを提供するための方法であって、
    ａ)使用者のタッチ入力によりグラフィティ機能の実行を指示するためのアイコンイメージとグラフィティ入力領域とを含むグラフィティスクリーンイメージを、前記画面の一部に設定された仮想グラフィティ領域にメーンスクリーンイメージに重ねてディスプレイするステップと、
    ｂ)前記メーンスクリーンイメージと該メーンスクリーンイメージに重ねてディスプレイされた前記仮想グラフィティ領域のグラフィティスクリーンイメージとが表示された画面上に対する使用者のタッチ入力に基づいて、前記タッチ入力の固定持続時間が一定時間を超過する場合には、前記タッチ入力の位置に対する、前記メーンスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力と区別し、前記タッチ入力の位置が前記グラフィティスクリーンイメージ上で、前記タッチ入力の固定持続時間が一定時間より短く、前記タッチ入力の位置が前記グラフィティ入力領域内であれば、グラフィティ入力と区別し、前記タッチ入力の位置が前記グラフィティスクリーンイメージ上で、前記タッチ入力の固定持続時間が一定時間より短く、前記タッチ入力の位置が前記グラフィティ入力領域外であれば、前記グラフィティスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力と区別し、その区別に応じた入力を処理するステップと、
    を備えることを特徴とする方法。
  12. ｃ)前記仮想グラフィティを使用者の選択によってイネーブルまたはディセーブルさせるステップをさらに備えることを特徴とする請求項１１に記載の方法。
  13. ｄ)前記仮想グラフィティ領域の位置、模様、透明度、大きさ及び色のうち、少なくともいずれか一つを使用者の選択によって変更するステップをさらに備えることを特徴とする請求項１１に記載の方法。
  14. 前記ステップａ)が、
    ａ１)前記仮想グラフィティ領域に対する使用者のタッチ入力によるストロークを前記仮想グラフィティ領域に重ねてディスプレイするステップをさらに含むことを特徴とする請求項１１に記載の方法。
  15. 前記ステップａ)が、
    ａ２)前記ストロークが背景色と区別されるように前記ストロークの色と透明度を前記背景色に基づいて決定するステップをさらに含むことを特徴とする請求項１４に記載の方法。
  16. 前記ステップａ)が、
    ａ３)前記仮想グラフィティがイネーブルされた場合には、前記グラフィティスクリーンイメージを前記メーンスクリーンイメージに重ねたイメージにより前記タッチスクリーンディスプレイ装置のディスプレイをアップデートさせる第１のディスプレイアップデートステップと、
    ａ４)前記仮想グラフィティがディセーブルされた場合には、前記メーンスクリーンイメージにより前記タッチスクリーンディスプレイ装置のディスプレイをアップデートさせる第２のディスプレイアップデートステップと、
    を備えることを特徴とする請求項１２に記載の方法。
  17. ａ５)前記仮想グラフィティ領域の位置、模様、透明度、大きさ及び色のうち、少なくともいずれか一つを使用者の選択によって変更するステップをさらに備えることを特徴とする請求項１６に記載の方法。
  18. 前記ステップａ３)が、
    ａ３−１)前記使用者のタッチ入力によるストロークのイメージを表すストロークインキングデータを、前記グラフィティスクリーンイメージと前記メーンスクリーンイメージが重なり合ったイメージに重畳させることによって、前記タッチスクリーンディスプレイ装置のディスプレイをアップデートさせるステップをさらに含むことを特徴とする請求項１６に記載の方法。
  19. 前記ステップａ３)が、
    ａ３−２)前記ストロークが背景色と区別されるように前記ストロークの色と透明度を前記背景色に基づいて決定するステップをさらに含むことを特徴とする請求項１８に記載の方法。
  20. ＣＰＵ(Central Processing Unit)と、タッチスクリーンディスプレイ装置に情報をディスプレイすると共に、前記タッチスクリーンディスプレイ装置の画面上のタッチによる使用者入力データを受けるためのタッチスクリーンディスプレイ装置とを含む装置のための実行プログラムを格納するコンピュータ読出し可能記録媒体であって、
    ａ)使用者のタッチ入力によりグラフィティ機能の実行を指示するためのアイコンイメージとグラフィティ入力領域とを含むグラフィティスクリーンイメージを、前記画面の一部に設定された仮想グラフィティ領域にメーンスクリーンイメージに重畳させてディスプレイするステップと、
    ｂ)前記メーンスクリーンイメージと該メーンスクリーンイメージに重ねてディスプレイされた前記仮想グラフィティ領域のグラフィティスクリーンイメージとが表示された画面上に対する使用者のタッチ入力に基づいて、前記タッチ入力の固定持続時間が一定時間を超過する場合には、前記タッチ入力の位置に対する、前記メーンスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力と区別し、前記タッチ入力の位置が前記グラフィティスクリーンイメージ上で、前記タッチ入力の固定持続時間が一定時間より短く、前記タッチ入力の位置が前記グラフィティ入力領域内であれば、グラフィティ入力と区別し、前記タッチ入力の位置が前記グラフィティスクリーンイメージ上で、前記タッチ入力の固定持続時間が一定時間より短く、前記タッチ入力の位置が前記グラフィティ入力領域外であれば、前記グラフィティスクリーンイメージ内のアイコンイメージに対応するアプリケーション実行指示入力と区別し、その区別に応じた入力を処理するステップと、
    を備えてなる方法を具現するための実行プログラムを格納したコンピュータ読出し可能記録媒体。
  21. 前記ステップａ)が、
    ａ１)前記仮想グラフィティがイネーブルされた場合には、前記グラフィティスクリーンイメージを前記メーンスクリーンイメージに重ねたイメージにより前記タッチスクリーンディスプレイ装置のディスプレイをアップデートさせる第１のディスプレイアップデートステップと、
    ａ２)前記仮想グラフィティ領域がディセーブルされた場合には、前記メーンスクリーンイメージにより前記タッチスクリーンディスプレイ装置のディスプレイをアップデートさせる第２のディスプレイアップデートステップと、
    を備えることを特徴とする請求項２０に記載のコンピュータ読出し可能記録媒体。
  22. ｃ)前記仮想グラフィティ領域の位置、模様、透明度、大きさ及び色のうち、少なくともいずれか一つを使用者の選択によって変更するステップをさらに備えることを特徴とする請求項２１に記載のコンピュータ読出し可能記録媒体。
  23. 前記ステップａ１)が、
    ａ１−１)前記使用者のタッチ入力によるストロークのイメージを表すストロークインキングデータを、前記グラフィティスクリーンイメージと前記メーンスクリーンイメージが重なり合ったイメージに重畳させて前記タッチスクリーンディスプレイ装置のディスプレイをアップデートさせるステップをさらに含むことを特徴とする請求項２１に記載のコンピュータ読出し可能記録媒体。
  24. 前記ステップａ１)が、
    ａ１−２)前記ストロークが背景色と区別されるように前記ストロークの色と透明度を前記背景色に基づいて決定するステップをさらに含むことを特徴とする請求項２３に記載のコンピュータ読出し可能記録媒体。
JP2004298168A 2003-11-06 2004-10-12 仮想グラフィティを提供する装置及び方法並びにそのための記録媒体 Expired - Fee Related JP4731873B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2003-078483 2003-11-06
KR1020030078483A KR100593982B1 (ko) 2003-11-06 2003-11-06 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체

Publications (2)

Publication Number Publication Date
JP2005141731A JP2005141731A (ja) 2005-06-02
JP4731873B2 true JP4731873B2 (ja) 2011-07-27

Family

ID=36649913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004298168A Expired - Fee Related JP4731873B2 (ja) 2003-11-06 2004-10-12 仮想グラフィティを提供する装置及び方法並びにそのための記録媒体

Country Status (6)

Country Link
US (1) US7956845B2 (ja)
EP (1) EP1531387B1 (ja)
JP (1) JP4731873B2 (ja)
KR (1) KR100593982B1 (ja)
CN (1) CN1313909C (ja)
IL (1) IL163834A (ja)

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US9552141B2 (en) 2004-06-21 2017-01-24 Apple Inc. Methods and apparatuses for operating a data processing system
JP4731149B2 (ja) * 2004-10-06 2011-07-20 任天堂株式会社 情報処理装置および情報入力プログラム
JP4630644B2 (ja) * 2004-11-18 2011-02-09 理想科学工業株式会社 タッチパネルを備えた画像処理装置
EP1672483A1 (de) * 2004-12-20 2006-06-21 Siemens Aktiengesellschaft Erfassung von Daten in einem Datenverarbeitungssystem
EP1843553A4 (en) * 2005-01-25 2009-06-03 Vodafone Plc LINK OPERATION METHOD AND NETWORK TERMINAL APPARATUS
JP4628178B2 (ja) * 2005-05-16 2011-02-09 任天堂株式会社 情報処理装置および項目選択処理プログラム
KR100791377B1 (ko) * 2005-12-28 2008-01-07 삼성전자주식회사 사용자 인터페이스를 제공하는 모바일 장치 및 상기 사용자인터페이스를 이용한 기능 실행 방법
US8312372B2 (en) * 2006-02-10 2012-11-13 Microsoft Corporation Method for confirming touch input
CN101110005B (zh) * 2006-07-19 2012-03-28 鸿富锦精密工业（深圳）有限公司 自定义触摸板的电子装置及方法
US8243022B2 (en) * 2006-11-27 2012-08-14 Microsoft Corporation Federated virtual graffiti
KR101371420B1 (ko) * 2006-12-28 2014-03-10 삼성전자주식회사 최상위 메뉴 간 직접 이동가능한 메뉴세트를 이용한 메뉴제공방법 및 이를 적용한 멀티미디어 기기
US20080163119A1 (en) * 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method for providing menu and multimedia device using the same
US20080163053A1 (en) * 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method to provide menu, using menu set and multimedia device using the same
US9575655B2 (en) * 2006-12-29 2017-02-21 Nokia Technologies Oy Transparent layer application
KR20080068491A (ko) 2007-01-19 2008-07-23 엘지전자 주식회사 터치 방식 정보 입력 단말기 및 그 방법
KR20080078291A (ko) 2007-02-23 2008-08-27 엘지전자 주식회사 브라우저 디스플레이 방법 및 이를 구현할 수 있는 단말기
US8255002B2 (en) * 2007-04-03 2012-08-28 Sharp Kabushiki Kaisha Mobile information terminal and cellular phone
US8111839B2 (en) * 2007-04-09 2012-02-07 Personics Holdings Inc. Always on headwear recording system
US20080278441A1 (en) * 2007-05-07 2008-11-13 Hewlett-Packard Development Company, L.P. User control in a playback mode
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8681108B2 (en) * 2007-07-30 2014-03-25 Kyocera Corporation Input apparatus
KR101397001B1 (ko) * 2007-09-03 2014-05-20 엘지전자 주식회사 통신 단말기 및 이것의 동작 제어 방법
US7844229B2 (en) * 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US7853296B2 (en) * 2007-10-31 2010-12-14 Motorola Mobility, Inc. Mobile virtual and augmented reality system
US20100214111A1 (en) * 2007-12-21 2010-08-26 Motorola, Inc. Mobile virtual and augmented reality system
CN101533320B (zh) * 2008-03-10 2012-04-25 神基科技股份有限公司 触控显示装置区域影像的近接放大显示方法及其装置
US20090237328A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Mobile virtual and augmented reality system
JP5067345B2 (ja) * 2008-10-30 2012-11-07 日本電気株式会社 携帯通信端末、携帯通信端末の制御方法、プログラム、及び記録媒体
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
US8564555B2 (en) 2009-04-30 2013-10-22 Synaptics Incorporated Operating a touch screen control system according to a plurality of rule sets
KR101626308B1 (ko) * 2009-06-11 2016-06-01 엘지전자 주식회사 휴대 단말기 및 그 제어방법
TWI460623B (zh) * 2009-07-14 2014-11-11 Htc Corp 觸控式電子裝置及其相關控制方法
JP5127792B2 (ja) * 2009-08-18 2013-01-23 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記録媒体
US20110060985A1 (en) * 2009-09-08 2011-03-10 ABJK Newco, Inc. System and Method for Collecting a Signature Using a Smart Device
TWI420379B (zh) * 2009-12-09 2013-12-21 Telepaq Technology Inc 觸控螢幕之選擇功能選單方法
JP4932010B2 (ja) * 2010-01-06 2012-05-16 株式会社スクウェア・エニックス ユーザインタフェース処理装置、ユーザインタフェース処理方法、およびユーザインタフェース処理プログラム
EP2355472B1 (en) * 2010-01-22 2020-03-04 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving handwriting animation message
EP2357220A1 (en) * 2010-02-10 2011-08-17 The Procter & Gamble Company Cleaning composition comprising amylase variants with high stability in the presence of a chelating agent
JP5237325B2 (ja) * 2010-04-28 2013-07-17 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、およびビデオゲーム処理プログラム
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
JP5466128B2 (ja) 2010-10-14 2014-04-09 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理方法、情報処理プログラム、情報処理プログラムを記憶したコンピュータ読み取り可能な記録媒体
USD667843S1 (en) 2010-10-20 2012-09-25 Apple Inc. Display screen or portion thereof with icon
KR101645685B1 (ko) * 2010-12-20 2016-08-04 애플 인크. 이벤트 인식
US8988366B2 (en) * 2011-01-05 2015-03-24 Autodesk, Inc Multi-touch integrated desktop environment
US9612743B2 (en) 2011-01-05 2017-04-04 Autodesk, Inc. Multi-touch integrated desktop environment
US9600090B2 (en) 2011-01-05 2017-03-21 Autodesk, Inc. Multi-touch integrated desktop environment
KR20120086810A (ko) * 2011-01-27 2012-08-06 삼성전자주식회사 단말기 및 그 단말기에서 이미지 처리 방법
KR20130017241A (ko) 2011-08-10 2013-02-20 삼성전자주식회사 터치 스크린 단말기에서 입출력 방법 및 장치
KR101210282B1 (ko) 2011-12-16 2012-12-11 동국대학교 경주캠퍼스 산학협력단 위치기반 가상 낙서판 인터페이스 제공 시스템 및 방법
USD709087S1 (en) 2012-02-06 2014-07-15 Apple Inc. Display screen or portion thereof with icon
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US8935774B2 (en) 2012-03-02 2015-01-13 Microsoft Corporation Accessory device authentication
US8873227B2 (en) 2012-03-02 2014-10-28 Microsoft Corporation Flexible hinge support layer
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
USRE48963E1 (en) 2012-03-02 2022-03-08 Microsoft Technology Licensing, Llc Connection device for computing devices
JP5893456B2 (ja) * 2012-03-19 2016-03-23 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US8816989B2 (en) * 2012-05-22 2014-08-26 Lenovo (Singapore) Pte. Ltd. User interface navigation utilizing pressure-sensitive touch
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
CN102841804B (zh) * 2012-06-27 2014-12-10 北京三星通信技术研究有限公司 同屏多前台任务处理方法及装置
KR101976177B1 (ko) * 2012-07-09 2019-05-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
US9218118B2 (en) 2012-09-11 2015-12-22 Apple Inc. Media player playlist management
US9558278B2 (en) 2012-09-11 2017-01-31 Apple Inc. Integrated content recommendation
US8786767B2 (en) 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
CN103257828A (zh) * 2013-05-30 2013-08-21 无锡久源软件科技有限公司 一种可涂鸦式全屏滑动解锁方法
USD734774S1 (en) 2013-06-09 2015-07-21 Apple Inc. Display screen or portion thereof with graphical user interface
USD744529S1 (en) 2013-06-09 2015-12-01 Apple Inc. Display screen or portion thereof with icon
USD738905S1 (en) 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD755843S1 (en) 2013-06-10 2016-05-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD746831S1 (en) 2013-09-10 2016-01-05 Apple Inc. Display screen or portion thereof with graphical user interface
USD733744S1 (en) 2013-10-21 2015-07-07 Apple Inc. Display screen or portion thereof with graphical user interface
USD711427S1 (en) 2013-10-22 2014-08-19 Apple Inc. Display screen or portion thereof with icon
USD743443S1 (en) 2013-10-22 2015-11-17 Apple Inc. Display screen or portion thereof with graphical user interface
US20150161822A1 (en) * 2013-12-11 2015-06-11 Adobe Systems Incorporated Location-Specific Digital Artwork Using Augmented Reality
USD765092S1 (en) 2014-03-03 2016-08-30 Apple Inc. Display screen or portion thereof with graphical user interface
USD766318S1 (en) 2014-03-07 2016-09-13 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
EP3489814A1 (en) * 2014-05-23 2019-05-29 Samsung Electronics Co., Ltd. Method and device for reproducing content
USD769892S1 (en) 2014-05-30 2016-10-25 Apple Inc. Display screen or portion thereof with graphical user interface
USD753678S1 (en) 2014-06-01 2016-04-12 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD755848S1 (en) 2014-06-01 2016-05-10 Apple Inc. Display screen or portion thereof with icon
KR20150139337A (ko) 2014-06-03 2015-12-11 삼성전자주식회사 화상형성장치의 애플리케이션 실행을 조작하는 화면을 제공하는 방법 및 이를 이용하는 화상형성장치
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
USD772284S1 (en) 2014-09-01 2016-11-22 Apple Inc. Display screen or portion thereof with a set of graphical user interfaces
US9424048B2 (en) 2014-09-15 2016-08-23 Microsoft Technology Licensing, Llc Inductive peripheral retention device
US9447620B2 (en) 2014-09-30 2016-09-20 Microsoft Technology Licensing, Llc Hinge mechanism with multiple preset positions
USD783642S1 (en) 2014-10-16 2017-04-11 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10296207B2 (en) * 2014-12-23 2019-05-21 Lenovo (Singapore) Pte. Ltd. Capture of handwriting strokes
US20160202865A1 (en) 2015-01-08 2016-07-14 Apple Inc. Coordination of static backgrounds and rubberbanding
CN105635519B (zh) * 2015-06-15 2018-07-17 广州市动景计算机科技有限公司 视频处理方法、装置及***
US9752361B2 (en) 2015-06-18 2017-09-05 Microsoft Technology Licensing, Llc Multistage hinge
US9864415B2 (en) 2015-06-30 2018-01-09 Microsoft Technology Licensing, Llc Multistage friction hinge
USD789957S1 (en) * 2015-07-10 2017-06-20 Capital One Services, Llc Display screen with graphical user interface
USD788161S1 (en) 2015-09-08 2017-05-30 Apple Inc. Display screen or portion thereof with graphical user interface
USD778941S1 (en) 2016-01-08 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
USD778942S1 (en) 2016-01-11 2017-02-14 Apple Inc. Display screen or portion thereof with graphical user interface
USD787556S1 (en) * 2016-04-01 2017-05-23 Google Inc. Display screen or portion thereof with icon
US10344797B2 (en) 2016-04-05 2019-07-09 Microsoft Technology Licensing, Llc Hinge with multiple preset positions
JP6150924B2 (ja) * 2016-05-02 2017-06-21 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記録媒体
JP6809068B2 (ja) * 2016-09-14 2021-01-06 富士ゼロックス株式会社 処理装置および画像形成装置
US10037057B2 (en) 2016-09-22 2018-07-31 Microsoft Technology Licensing, Llc Friction hinge
EP3519011A4 (en) 2016-09-27 2020-05-20 Bigfoot Biomedical, Inc. SYSTEMS, DEVICES AND METHODS FOR MEDICATION INJECTION AND DISEASE MANAGEMENT
USD836769S1 (en) 2016-12-12 2018-12-25 Bigfoot Biomedical, Inc. Insulin delivery controller
CA3037432A1 (en) 2016-12-12 2018-06-21 Bigfoot Biomedical, Inc. Alarms and alerts for medication delivery devices and related systems and methods
USD839294S1 (en) 2017-06-16 2019-01-29 Bigfoot Biomedical, Inc. Display screen with graphical user interface for closed-loop medication delivery
USD846594S1 (en) 2017-07-10 2019-04-23 Apple Inc. Display screen or portion thereof with icon
USD851111S1 (en) 2017-09-09 2019-06-11 Apple Inc. Electronic device with graphical user interface
USD873284S1 (en) 2017-09-09 2020-01-21 Apple Inc. Electronic device with graphical user interface
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
USD987669S1 (en) * 2017-09-11 2023-05-30 Apple Inc. Electronic device with graphical user interface
USD863343S1 (en) * 2017-09-27 2019-10-15 Bigfoot Biomedical, Inc. Display screen or portion thereof with graphical user interface associated with insulin delivery
USD846567S1 (en) 2017-10-06 2019-04-23 Apple Inc. Electronic device with graphical user interface
USD857033S1 (en) 2017-11-07 2019-08-20 Apple Inc. Electronic device with graphical user interface
USD911355S1 (en) * 2018-03-29 2021-02-23 Bigfoot Biomedical, Inc. Display screen or portion thereof with graphical user interface
CN108509139B (zh) * 2018-03-30 2019-09-10 腾讯科技（深圳）有限公司 虚拟对象的移动控制方法、装置、电子装置及存储介质
USD916862S1 (en) * 2018-05-10 2021-04-20 Wells Fargo Bank, N.A. Display screen or portion thereof with graphical user interface
US11079919B1 (en) 2018-05-10 2021-08-03 Wells Fargo Bank, N.A. Personal computing devices with improved graphical user interfaces
USD879132S1 (en) 2018-06-03 2020-03-24 Apple Inc. Electronic device with graphical user interface
USD885426S1 (en) 2018-06-03 2020-05-26 Apple Inc. Electronic device with graphical user interface
USD938968S1 (en) 2018-09-06 2021-12-21 Apple Inc. Electronic device with animated graphical user interface
USD883319S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
USD913315S1 (en) 2019-05-31 2021-03-16 Apple Inc. Electronic device with graphical user interface
USD924912S1 (en) 2019-09-09 2021-07-13 Apple Inc. Display screen or portion thereof with graphical user interface
JP2021140590A (ja) 2020-03-06 2021-09-16 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
USD949184S1 (en) 2020-06-17 2022-04-19 Apple Inc. Display screen or portion thereof with graphical user interface
USD946018S1 (en) 2020-06-18 2022-03-15 Apple Inc. Display screen or portion thereof with graphical user interface
CN111901662A (zh) * 2020-08-05 2020-11-06 腾讯科技（深圳）有限公司 视频的扩展信息处理方法、设备和存储介质
USD976950S1 (en) * 2020-10-02 2023-01-31 Lutron Technology Company Llc Display screen or portion thereof with animated graphical user interface

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450342A (en) * 1984-10-05 1995-09-12 Hitachi, Ltd. Memory device
JPH04162090A (ja) 1990-10-26 1992-06-05 Fuji Electric Co Ltd 表示装置
US5946406A (en) * 1991-06-17 1999-08-31 Microsoft Corporation Method and system for data entry of handwritten symbols
US5583542A (en) * 1992-05-26 1996-12-10 Apple Computer, Incorporated Method for deleting objects on a computer display
WO1994022069A1 (en) * 1993-03-19 1994-09-29 Dynapro Technologies Inc. Extended touch screen
JPH0844522A (ja) * 1994-07-27 1996-02-16 Suzuken:Kk 複数画面表示が可能な入力装置
JPH11249782A (ja) 1998-03-04 1999-09-17 Toshiba Corp 複数のウインドウを持つ端末装置、ウインドウ表示方法及びウインドウ表示制御プログラムを記録した記録媒体
US6130665A (en) * 1998-04-01 2000-10-10 Telefonaktiebolaget Lm Ericsson Touch screen handling
US6492978B1 (en) * 1998-05-29 2002-12-10 Ncr Corporation Keyscreen
JP2000123114A (ja) 1998-10-15 2000-04-28 Casio Comput Co Ltd 手書き文字入力装置及び記憶媒体
US7168048B1 (en) * 1999-03-24 2007-01-23 Microsoft Corporation Method and structure for implementing a layered object windows
US6727917B1 (en) * 2000-01-06 2004-04-27 Microsoft Corporation User interface for palm-sized computing devices and method and apparatus for displaying the same
US6791467B1 (en) * 2000-03-23 2004-09-14 Flextronics Semiconductor, Inc. Adaptive remote controller
JP3763389B2 (ja) * 2000-03-24 2006-04-05 シャープ株式会社 画像データ編集操作方法および情報処理装置
KR100380600B1 (ko) 2000-04-17 2003-04-21 (주)네이스텍 터치스크린을 갖는 단말기에서의 문자입력방법
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
GB2367991A (en) * 2000-10-12 2002-04-17 Kubix Com Touch sensitive display screen
US7730401B2 (en) * 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US20030071850A1 (en) * 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US20030081016A1 (en) * 2001-10-31 2003-05-01 Genovation Inc. Personal digital assistant mouse
US6791529B2 (en) * 2001-12-13 2004-09-14 Koninklijke Philips Electronics N.V. UI with graphics-assisted voice control system
JP2003295996A (ja) * 2002-03-29 2003-10-17 Digital Electronics Corp 制御用表示装置
FI20020847A (fi) * 2002-05-03 2003-11-04 Nokia Corp Menetelmä ja laite valikkotoimintojen käyttämiseksi
US7567239B2 (en) * 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
US8527896B2 (en) * 2003-10-23 2013-09-03 Microsoft Corporation User interface menu with hovering icons

Also Published As

Publication number Publication date
KR100593982B1 (ko) 2006-06-30
IL163834A0 (en) 2005-12-18
IL163834A (en) 2010-04-15
EP1531387B1 (en) 2019-01-09
EP1531387A3 (en) 2011-11-30
CN1313909C (zh) 2007-05-02
CN1614545A (zh) 2005-05-11
US7956845B2 (en) 2011-06-07
EP1531387A2 (en) 2005-05-18
US20050099400A1 (en) 2005-05-12
KR20050043560A (ko) 2005-05-11
JP2005141731A (ja) 2005-06-02

Similar Documents

Publication Publication Date Title
JP4731873B2 (ja) 仮想グラフィティを提供する装置及び方法並びにそのための記録媒体
JP4611031B2 (ja) 手書き入力装置及び方法
KR100771626B1 (ko) 단말기 및 이를 위한 명령 입력 방법
EP3940516B1 (en) Portable electronic device and method of controlling same
US9900450B2 (en) Image forming apparatus, method of controlling the same, and recording medium
US20020067346A1 (en) Graphical user interface for devices having small tactile displays
JP5893456B2 (ja) 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
KR20110047816A (ko) 화상형성장치 및 화상형성장치의 타겟영역 확대 표시방법
JP2016126657A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP5864319B2 (ja) 電子機器、電子機器を制御するための方法、および、電子機器を制御するためのプログラム
JP2014182588A (ja) 情報端末、操作領域制御方法及び操作領域制御プログラム
JP2001167227A (ja) 情報端末装置
JP7431301B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6087602B2 (ja) 電子黒板
JP7228964B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016177560A (ja) 電子機器
JPS61267128A (ja) 表示消去方式
JP6358223B2 (ja) 表示装置、及びそれを備えた画像形成装置
JP7504948B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2005173934A (ja) 情報入力装置、情報入力方法、コンピュータプログラム及びコンピュータ読み取り可能な記憶媒体
WO2014148352A1 (ja) 情報端末、操作領域制御方法及び操作領域制御プログラム
JP6661421B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2010092270A (ja) 情報処理端末、情報処理方法及びプログラム
JP2021028851A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2019145183A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071016

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080311

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081016

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081118

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees