JP5828000B2 - モーション基盤のユーザインターフェース制御装置及び方法 - Google Patents

モーション基盤のユーザインターフェース制御装置及び方法 Download PDF

Info

Publication number
JP5828000B2
JP5828000B2 JP2013533771A JP2013533771A JP5828000B2 JP 5828000 B2 JP5828000 B2 JP 5828000B2 JP 2013533771 A JP2013533771 A JP 2013533771A JP 2013533771 A JP2013533771 A JP 2013533771A JP 5828000 B2 JP5828000 B2 JP 5828000B2
Authority
JP
Japan
Prior art keywords
image
touch screen
motion
degree
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013533771A
Other languages
English (en)
Other versions
JP2013541104A (ja
Inventor
ヒュン−ス・ホン
ユン−ケウン・ジュン
チェ−ミョン・イ
イル−ワン・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013541104A publication Critical patent/JP2013541104A/ja
Application granted granted Critical
Publication of JP5828000B2 publication Critical patent/JP5828000B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

本発明は、ユーザインターフェース制御に関し、特に移動端末機のモーションによって、インターフェースを制御することができる装置及び方法に関する。
現在、TV、携帯電話、MP3プレーヤ、PMP(Portable Multimedia Players)、スマートフォンなどの電子機器には多様な入出力装置が装着される。多様な入出力装置は、ユーザが電子機器を便利に制御できるようにするために提供される。
このような入出力装置の中、タッチスクリーンの活用度が最近幾何級数的に増加している。特に、携帯電話、スマートフォン、ノートブックのような移動端末機の市場でタッチパネルの搭載比率が順次増加しており、大部分のスマートフォンでタッチスクリーンパネル採用が一般化されると予想されることによって、移動端末機用タッチスクリーンの場合、その市場が急成長することが展望される。併せて、TVや冷蔵庫のような家電部分でもタッチスクリーンパネル採用が一般化されており、移動端末機に続き、今後、タッチスクリーンパネル採用分野として高い比重を占めることが予想される。
最近、人間とタッチスクリーン間の自然な相互作用のために、視覚情報に基づいたユーザの意図及び行為認識に対する研究が活発に進行している。その中でも、指/タッチペンなどを利用した入力ジェスチャーを認識してユーザフレンドリーなユーザインターフェースを具現している。現在はタッチスクリーン上にシングルフィンガー基盤のシングルタッチ入力に従う動作を処理するインターフェースから、マルチフィンガー基盤のマルチタッチ入力に従う動作を処理するユーザインターフェースにそのトレンドが移動している。
このようなタッチスクリーンは、入力をセンシングするための面(plane)とディスプレイの役割をする面を積み重ねた構造を有する。したがって、該当タッチスクリーンでは、マルチタッチに基づいて入力されるユーザの意図を分析及び認知し、それに従う結果を出力することができる。特に、マルチタッチ基盤のユーザインターフェースではタッチスクリーン画面でタッチされる指/タッチペンの数字とそれに従う動作を認識して、該当命令を実行するように設計される。このようなマルチタッチ入力をサポートする移動端末機の内部構成図を参照すると、次のようである。
図1は、既存のマルチタッチ入力をサポートする移動端末機の内部構成図である。図1で、移動端末機は、出力部101、制御部103、メモリ105、入力部107を含む。
図1を参照すれば、出力部101は、タッチスクリーン画面に絵またはウェブページのようなイメージを出力する。絵またはウェブページのようなイメージは、メモリ105に格納され、該当イメージがタッチスクリーン画面に出力されると、ユーザは便宜によって入力部107を用いてイメージを拡大または縮小することができる。イメージを拡大または縮小する方法は、タッチスクリーン画面に出力されたイメージで所望の部分を二つの指を利用して同時にタッチして拡大または縮小する。指の代わりにタッチペンを利用することもできる。制御部103は、入力部107を通してマルチタッチが入力されると、これを分析してマルチタッチがなされた領域を拡大または縮小してタッチスクリーン画面上に出力するように出力部101を制御する。
図1に示した構成を有する移動端末機でマルチタッチ入力に従う動作過程を説明すると、次のようである。
図2A及び2Bは、既存のマルチタッチ入力に従う動作過程を示した例示図である。図2A及び2Bは、マルチタッチを利用してタッチスクリーン上の特定領域を拡大する過程を示している。
図2Aを参照すると、ユーザは、タッチスクリーン201上に表示された自動車イメージ203を拡大するために、二つの指205を用いてタッチスクリーン201をタッチする。二つの指205がタッチされる位置によって、拡大される領域が変わることができる。図2Bを参照すると、タッチスクリーン201上に表示された自動車イメージ203は二つの指205を互いに広げることにより拡大される。二つの指205を互いに広げる度合に従って、自動車イメージ203の拡大度合は変わってもよい。
図2A及び2Bではイメージを拡大する過程だけを説明しているが、拡大されたイメージを縮小する過程も二つの指205を利用して具現可能である。しかしながら、上記のような場合には、タッチスクリーン画面の特定部分を拡大または縮小する時、予め設定された拡大または縮小キーを押したり、マルチタッチ入力を通してのみ画面の拡大や縮小倍率を調整したりするように制御される。また画面と画面間の移動や一画面の特定部分から他の部分に移動する時にも、予め設定された移動キーを押したり、タッチスクリーン画面の任意の領域をタッチ及びドラッグして移動するように制御される。これは、連続的な拡大または縮小の動作をする時には、連続的なキーの入力やマルチタッチ動作が引続き遂行されなければならず、一つの画面の特定部分から他の部分に移動する場合にも、所望の位置まで移動するために連続的にキーを入力したり、連続的なタッチ及びドラッグを遂行すべきである面倒さがある。したがって、タッチスクリーンの入力及びジェスチャーだけでは、ユーザの所望する動作を迅速で正確に遂行することが難しいという問題がある。
本発明の目的は、少なくとも上述した問題点及び/又は不都合に取り組み、少なくとも以下の便宜を提供することにある。すなわち、本発明の目的は、モーションに基づいてイメージの拡大/縮小及び移動を遂行することができるユーザインターフェース制御装置及び方法を提供することにある。
上記のような目的を達成するために、本発明の実施形態の一態様によれば、モーション基盤ユーザインターフェース制御装置を提供する。上記装置は、イメージを表示し、ユーザにより少なくとも一つの点のタッチを入力として受信するタッチスクリーンと、上記装置の動きを感知するセンサ部と、上記センサ部で上記装置の動きが感知されると、上記装置の動き度合を計算する動き計算部と、上記タッチスクリーンで少なくとも一つの点がタッチされると、タッチされた上記点の個数を把握し、上記動き計算部から上記装置の動き度合に関する情報を受信した後、タッチされた上記点の個数によって上記イメージのサイズを変更するか、または上記イメージの位置を変更するかを判断する制御部と、を含むことを特徴とする。
本発明のさらに実施形態の一態様によれば、モーション基盤ユーザインターフェース制御方法を提供する。上記方法は、タッチスクリーンにイメージを表示するステップと、上記タッチスクリーンで少なくとも一つの点がタッチされると、タッチされた点の個数を把握するステップと、タッチされた上記点の個数によって、上記イメージのサイズを変更するか、または上記イメージの位置を変更するかを判断するステップと、上記タッチスクリーンを含む装置の動きに従って、上記イメージのサイズまたは位置を変更するステップと、を含むことを特徴とする。
本発明の装置及び方法によれば、ユーザはモーションを用いてイメージの拡大/縮小及び移動を容易に遂行することができる。
本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
既存のマルチタッチ入力をサポートする移動端末機の内部構成図である。 既存のマルチタッチ入力に従う動作過程を示した例示図である。 既存のマルチタッチ入力に従う動作過程を示した例示図である。 本発明の一実施形態によるモーション基盤のユーザインターフェース制御を遂行する移動端末機の内部構成図である。 本発明の一実施形態による移動端末機のモーション変化を示した例示図である。 本発明の一実施形態による移動端末機のモーション変化を示した例示図である。 本発明の一実施形態による移動端末機のモーション変化を示した例示図である。 本発明の一実施形態による移動端末機のモーション変化を示した例示図である。 本発明の一実施形態による移動端末機のモーション変化を示した例示図である。 本発明の一実施形態による移動端末機のモーション変化を示した例示図である。 本発明の一実施形態によるイメージの拡大または縮小を遂行する動作を示した例示図である。 本発明の一実施形態によるイメージの拡大または縮小を遂行する動作を示した例示図である。 本発明の一実施形態によるイメージの移動を遂行する動作を示した例示図である。 本発明の一実施形態によるイメージの移動を遂行する動作を示した例示図である。 本発明の一実施形態による特定キーを用いてモーション基盤のユーザインターフェース制御を遂行する動作を示す例示図である。 本発明の一実施形態による特定キーを用いてモーション基盤のユーザインターフェース制御を遂行する動作を示す例示図である。 本発明の一実施形態によるモーション基盤のユーザインターフェース制御を遂行する過程を示したフローチャートである。
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。図面における同様な構成要素に対しては、他の図面に表示されても、同様な参照番号及び符号を付けてあることに注意されたい。また、明瞭性及び簡潔性の観点から、本発明に関連した公知の機能や構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明を省略する。
図3は、本発明の一実施形態によるモーション基盤のユーザインターフェース制御を遂行する移動端末機の内部構成図である。図3で、移動端末機は、出力部301、制御部303、メモリ305、入力部307、動き計算部309、センサ部311を含む。
図3を参照すれば、出力部301は、タッチスクリーン画面に写真またはウェブページのようなイメージを出力する。写真またはウェブページのようなイメージは、メモリ305に格納され、必要によってメモリ305に格納されている他のイメージを利用するか、別途に装着されたカメラ部を用いて直接所望の写真をキャプチャーすることもできる。
入力部307は、タッチスクリーン画面を通してタッチされる点の数、ドラッグ(drag)などに関する情報を受信し、動き計算部309は、移動端末機の移動方向や角度を計算してこれを制御部303に送信する。移動端末機は基本的に上下左右に移動し、移動端末機を使用するユーザを中心として移動端末機がユーザ方向に水平に引っ張る前方向と水平に押す後方向に移動することもできる。移動端末機が動く角度は、現在の位置を0度と仮定し、移動端末機が傾く方向に角度を計算する。動き計算部309は、移動端末機の移動方向や角度を計算するために、センサ部311を利用し、より具体的にはセンサ部311に含まれている少なくとも一つのセンサのうち、ジャイロスコープセンサを利用して移動端末機の移動方向や角度を計算する。ジャイロスコープセンサは、加速センサにそれぞれの回転を付加して総6軸を認識できるようにして、加速センサに比べてより精密な動作を認識することができるセンサであり、加速及び減速だけでなく、高さと回転傾斜まで感知可能なセンサである。
制御部303は、入力部307からタッチスクリーン画面にタッチされる点の数、タッチ及びドラッグに関する情報を受信し、動き計算部309から移動端末機の動き計算情報を受信して、タッチされる点の数にしたがって、タッチスクリーン画面に出力されたイメージを各々異なる方法で制御する。
まず、タッチスクリーンの画面の任意の領域で二つ以上の点がタッチされたとすれば、制御部303は、タッチスクリーン画面に出力されたイメージの拡大または縮小に対する命令として認識し、動き計算部309から受信される移動端末機の動き変化に関する情報に従ってイメージを拡大または縮小する。例えば、タッチスクリーン画面の任意の領域で2点がタッチされ、移動端末機の現在角度は固定したままでユーザ方向に引っ張れるか、ユーザ方向に移動端末機の角度を調節する場合、出力されたイメージを拡大し、移動端末機の現在角度は固定したままでユーザ反対方向に押されるか、ユーザ反対方向に移動端末機の角度を調節する場合、出力されたイメージを縮小する。すなわち、上記の方式は二つの指を利用してイメージを拡大または縮小する既存のマルチタッチ方式を利用した場合と同じ効果を有する。これは、図4A乃至図4Cの説明から明確に分かる。
図4A乃至図4Cは、本発明の一実施形態による移動端末機のモーション変化を示した例示図である。図4A乃至図4Cではユーザがタッチスクリーン画面の任意の2点をタッチしていると仮定する。
図4Aを参照すれば、ユーザが移動端末機のタッチスクリーン画面の任意の2部分をタッチしたままで、移動端末機の現在角度は固定し、Z軸方向に移動端末機を引っ張ると、出力されたイメージが拡大される。反対に−Z軸方向に移動端末機を押すと、出力されたイメージが縮小される。図4Bは、移動端末機が移動した経路を側面で示したもので、移動端末機の角度の変化無しでZ軸または−Z軸方向にだけ移動端末機が移動したことが分かる。図4Cは、Y、−Y軸を回転軸として設定して移動端末機の傾き変化を示したもので、移動端末機の角度を傾けてタッチスクリーン画面に出力されたイメージを拡大または縮小することができる。
次に、タッチスクリーン画面の任意の領域で一つの点がタッチされたとすれば、制御部303は、タッチスクリーン画面に出力されたイメージの移動に対する命令として認識し、動き計算部309から受信される移動端末機の動き変化に対応してイメージを上下左右に移動する。例えば、タッチスクリーン画面の任意の領域で一つの点がタッチされ、移動端末機が左に動いたり、移動端末機の角度を左側に調節する場合、出力されたイメージの位置が左に移動する。すなわち、タッチスクリーン画面をタッチした後、ドラッグ(Dragging)してイメージを所望の方向に移動する方式を利用した場合と同じ効果を有する。これは図5から明確に分かる。
図5A乃至図5Cは、本発明の一実施形態によるモーション変化を示した例示図である。図5A乃至図5Cでは、ユーザが移動端末機のタッチスクリーン画面の任意の一点をタッチしていると仮定する。
図5Aを参照すれば、ユーザが移動端末機のタッチスクリーン画面の任意の一部分をタッチしたままで、移動端末機の現在角度は固定し、X、−X、Y、−Y軸方向に移動端末機を移動すれば、タッチスクリーン画面に出力されたイメージの位置が移動した方向によって移動する。図5Bは、Z、−Z軸を回転軸として設定して移動端末機の傾き変化を示したものであり、 図5Cは、Y、−Y軸を回転軸として設定して移動端末機の傾き変化を示したものである。Z、−Z軸が回転軸として設定された場合には、出力されたイメージが左右に移動することができ、Y、−Y軸が回転軸として設定された場合には、出力されたイメージが上下に移動することができる。
ここで、Y、−Y軸が回転軸として設定される場合は、タッチスクリーン画面にタッチされる点の数に応じて、出力されたイメージは異なって変換されることができる。図4Cの場合には、イメージの拡大または縮小が遂行され、図5Cの場合には、イメージの上下移動が遂行されることが分かる。
制御部303は、既存のようにタッチスクリーン画面の任意の領域で少なくとも一つの点がタッチされた以後に発生し得るドラッグのようなジェスチャーに対応してタッチスクリーン画面に出力されたイメージを制御することもできる。例えば、タッチスクリーン画面の任意の領域で一つの点がタッチされ、タッチされた状態で左側にドラッグすれば、出力されたイメージを左に移動するか、次のイメージを出力するなどの効果を与えることができる。2点がタッチされると、既存のマルチタッチ方式を利用して出力されたイメージの拡大または縮小も可能である。
図3を参照して、出力されたイメージを制御する過程を参照すると、次のようである。
図6A及び図6Bは、本発明の一実施形態によるイメージの拡大または縮小を遂行する姿を示した例示図である。
図6Aを参照すれば、ユーザが移動端末機のタッチスクリーンの画面の任意の領域で二つ以上の点を押さえたままで画面を見ながら移動端末機を引っ張っている。このようなモーションに対応して出力されたイメージが拡大される。図6Bは、ユーザが画面を引っ張る姿を示す側面図である。移動端末機の角度を前方に傾けることなく、図4A及び4Bのように移動端末機をユーザ方向に引っ張ることだけでもイメージが拡大されることが分かる。
図6に図示しないが、ユーザが移動端末機のタッチスクリーンの画面の任意の領域で二つ以上の点を押さえたままで、画面を見ながら移動端末機をユーザ反対方向に押す場合、出力されたイメージが縮小されることができる。移動端末機を引っ張る時にイメージが拡大され、移動端末機を押す時にイメージが縮小される機能は、ユーザ設定によって変更可能である。例えば、移動端末機を引っ張る時にイメージが縮小され、移動端末機を押す時に、イメージが拡大されるように変更可能である。
イメージの拡大または縮小比率は、ユーザモーションにより変化する移動端末機のセンサ部311に内蔵されたジャイロスコープセンサを用いて、図4A乃至図5Cに示した各軸方向の回転角測定値に比例するように設計することができる。このようなイメージの拡大または縮小機能が提供される状況で、ユーザは、既存のマルチタッチによるイメージの拡大または縮小機能を動作させることもでき、既存のマルチタッチによる拡大または縮小機能が遂行される間には、モーションによるイメージの拡大または縮小機能を非活性化して既存のマルチタッチによる拡大または縮小機能と相互干渉を起こさないようにすることもできる。
本発明ではユーザがタッチスクリーン画面に一つの点だけをタッチするか、タッチがない場合には、イメージの拡大及び縮小動作は非活性化される。
図7A及び図7Bは、本発明の一実施形態によるイメージの移動を遂行する姿を示した例示図である。
図7Aを参照すれば、ユーザが移動端末機のタッチスクリーン画面の任意の領域で一つの点を押さえたままで、画面を見ながら移動端末機を左側から右側へ移動する。このような移動端末機のモーションに対応して出力されたイメージが右側から左側へ移動する。図7Bはタッチスクリーン画面だけを示したもので、左図は移動端末機を移動する前のイメージを示したものであり、右図はユーザが移動端末機を左側から右側へ移動した時に出力されるイメージの変化を示したものである。また図7Bを参照すると、イメージが移動しながら画面外の左側に存在して画面上に見えなかったイメージが移動して画面に見えるようになることが分かる。これは別に応用すれば、複数枚のイメージが共に羅列されている場合には、移動端末機を移動しながら羅列された順にイメージを順次的に見られるようにすることもできる。
イメージの移動によって、移動するイメージの面積は、ユーザモーションにより変化する移動端末機に内蔵されたジャイロスコープセンサを用いて、図4A乃至図5Cに示された各軸方向の回転角測定値に比例するように設計することができる。このようなイメージの移動機能が提供されている状況で、ユーザはタッチされた一つの点を押さえたままでドラッグ機能を利用してイメージを移動することができる。ドラッグ機能が動作する間には、モーションによるイメージ移動機能は非活性化され、ドラッグ機能とイメージ移動機能が相互干渉を起こさないようにすることもできる。
本発明では、ユーザがタッチスクリーン画面に一つの点のみをタッチするか、タッチがない場合には、イメージの移動動作は非活性化される。
本発明ではタッチスクリーン画面の任意の領域でタッチされる点の数に応じて、出力されたイメージの制御方法が変わることができると説明しているが、特定キーを割り当ててキーが押された個数に応じて、出力されたイメージの制御方法を異なるようにすることもできる。これを説明すれば、次のようである。
図8A及び図8Bは、本発明の一実施形態による特定キーを割り当ててモーション基盤のユーザインターフェース制御を遂行する姿を示す例示図である。
図8Aを参照すると、ユーザがイメージビューワーの実行の中に、キーパッドの数字ボタン1と3を同時に、または一定の時間間隔をおいて押さえるようになれば、移動端末機は、出力されたイメージの拡大または縮小に対する命令として認識するように設定することができる。以後、移動端末機の動きに応じて、出力されたイメージの拡大または縮小が可能である。
図8Bを参照すると、ユーザがイメージビューワーの実行の中に、キーパッドの数字ボタン1または3のうちいずれか一つだけを押さえるようになれば、移動端末機は出力されたイメージの移動に対する命令として認識するように設定することもできる。上記のようなボタンは、物理的なボタンになることもでき、タッチスクリーン他に別途に装着されたタッチにより動作されるボタンになることもできる。
図9は、本発明の一実施形態による、モーション基盤のユーザインターフェース制御を遂行する過程を示したフローチャートである。
図9を参照すれば、ステップ901で移動端末機はユーザ入力が受信されると、写真やウェブページのようなイメージの出力のためにイメージビューワーを実行する。イメージは移動端末機のメモリ305に格納されており、無線インターネットが可能な端末機であれば、既に格納されているウェブページイメージを見るためにイメージビューワーの実行無しでウェブページの実行が可能である。ステップ903で、移動端末機は入力部307を通してタッチ入力が感知されたか否かを判断する。仮にタッチ入力が感知されなかった場合、ステップ901に戻ってイメージビューワー実行を継続進行する。仮にタッチ入力が感知された場合、ステップ905に進行する。
ステップ905で、移動端末機はタッチスクリーン画面にタッチされた点の数を把握し、把握された点の個数に応じて、表示されたイメージ制御を異なる方法で制御する。仮にタッチされた点の数が2個以上であれば、移動端末機はイメージの拡大または縮小を遂行することと認識し、移動端末機の動き感知を開始する。この後、ステップ907で、移動端末機が図4A及び4Bのように、前、後に移動するか、前、後に角度を調節する場合、動きまたは傾き度合を計算してこれに対応してイメージを拡大または縮小する動作を遂行する。移動端末機の動き感知は、センサ部311のジャイロスコープセンサにより感知され、移動端末機の動きまたは傾き度合は、動き計算部309により計算される。またタッチされる2個以上の点の代わりに2個以上のボタンを割り当てて、イメージが縮小または拡大される過程を遂行するように制御することもできる。
仮にタッチされた点の数が1個であれば、移動端末機はイメージの移動を遂行することと認識し、移動端末機の動き感知を開始する。以後、ステップ909で移動端末機が図5A乃至図5Cのように上下左右に移動するか、前後または左右に角度を調節する場合、動きまたは傾き度合を計算してこれに対応してイメージを動く方向に移動する動作を遂行する。これも移動端末機の動き感知は、センサ部311のジャイロスコープセンサが感知し、移動端末機の動きまたは傾き度合は動き計算部309により計算される。またタッチされる1個の点の代わりに特定ボタンを割り当てて、イメージが移動するステップを遂行するように制御することができる。
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
301 出力部
303 制御部
305 メモリ
307 入力部
309 動き計算部
311 センサ部

Claims (15)

  1. モーション基盤ユーザインターフェース制御装置であって、
    イメージを表示し、ユーザにより少なくとも一つの点のタッチを入力として受信するタッチスクリーンと、
    前記タッチスクリーンで少なくとも一つの点のタッチに対する入力を受信すると、前記ユーザのモーションによって、前記装置の動きを感知するセンサ部と、
    前記センサ部で前記装置の動きが感知されると、前記装置の動き度合を計算する動き計算部と、
    前記少なくとも一つの点のタッチに対する入力を受信すると、前記タッチスクリーン上にタッチされた点の個数を把握し、前記動き計算部で計算された前記装置の動き度合に関する情報を受信した後、前記タッチされた点の個数によって前記イメージのサイズを変更するか、または前記イメージの位置を変更するかを判断する制御部と、を含み、
    前記制御部は、判断結果によって、前記装置の動き度合に関する情報に基づいて前記イメージのサイズを変更するか、又は前記イメージの位置を変更する
    ことを特徴とする装置。
  2. 前記制御部は、
    前記装置が前記タッチスクリーンの向いた方向に移動する場合、前記イメージを前記タッチスクリーンに拡大して表示することを特徴とする請求項1に記載の装置。
  3. 前記制御部は、
    前記装置が前記タッチスクリーンの向いた方向の反対方向に移動する場合、前記イメージを前記タッチスクリーンに縮小して表示することを特徴とする請求項1に記載の装置。
  4. 前記制御部は、
    前記タッチスクリーンでタッチされた点の数が2以上である場合、前記イメージの拡大または縮小のための命令として認識し、前記動き計算部により計算され前記装置の動き度合に関する情報に基づいて、前記イメージを拡大または縮小することを特徴とする請求項1に記載の装置。
  5. 前記制御部は、
    前記タッチスクリーンでタッチされた点の数が一つである場合、前記イメージの移動のための命令として認識し、前記動き計算部により計算され前記装置の動き度合に関する情報に基づいて、前記イメージの移動を制御することを特徴とする請求項1に記載の装置。
  6. 前記動き計算部は、
    前記センサ部に含まれているジャイロスコープセンサを用いて、前記装置の上下左右または前後移動度合を計算するか、前記装置の前後左右傾き度合を計算することを特徴とする請求項1に記載の装置。
  7. モーション基盤ユーザインターフェース制御方法であって、
    タッチスクリーンにイメージを表示するステップと、
    前記タッチスクリーンで少なくとも一つの点のタッチに対する入力が受信されると、前記タッチスクリーン上にタッチされた点の個数を把握するステップと、
    前記タッチされた点の個数によって、前記イメージのサイズを変更するか、または前記イメージの位置を変更するかを判断するステップと、
    判断結果によって、前記タッチスクリーンを含む装置の動き度合に関する情報に基づいて、前記イメージのサイズを変更するか、または前記イメージの位置を変更するステップと、を含み、
    前記装置の動き度合に関する情報は、前記タッチスクリーンで少なくとも一つの点のタッチに対する入力を受信した後、ユーザのモーションによって感知された前記装置の動き度合を計算した情報である
    ことを特徴とする方法。
  8. 前記装置が前記タッチスクリーンの向いた方向に移動する場合、前記イメージを前記タッチスクリーンに拡大して表示することを特徴とする請求項7に記載の方法。
  9. 前記装置が前記タッチスクリーンの向いた方向に傾ける場合、前記イメージを前記タッチスクリーンに拡大して表示することを特徴とする請求項7に記載の方法。
  10. 前記装置が前記タッチスクリーンの向いた方向の反対方向に移動する場合、前記イメージを前記タッチスクリーンに縮小して表示することを特徴とする請求項7に記載の方法。
  11. 前記装置が前記タッチスクリーンの向いた方向の反対方向にもたれかかる場合、前記イメージを前記タッチスクリーンに縮小して表示することを特徴とする請求項7に記載の方法。
  12. 前記イメージのサイズを変更するかを判断するステップは、
    タッチされた前記点の数が2以上である場合、前記イメージの拡大または縮小に対する命令として認識するステップと、
    計算された前記装置の動き度合に関する情報に基づいて、前記イメージを拡大または縮小するステップと、を含む
    ことを特徴とする請求項7に記載の方法。
  13. 前記イメージの位置を変更するかを判断するステップは、
    タッチされた前記点の数が一つである場合、前記イメージの移動に対する命令として認識するステップと、
    計算された前記装置の動き度合に関する情報に基づいて、前記イメージをユーザの所望する方向に移動するステップと、を含む
    ことを特徴とする請求項7に記載の方法。
  14. ジャイロスコープセンサを利用して前記装置の上下左右または前後移動度合を計算するか、前記装置の前後左右傾き度合を計算して前記装置の動き度合を測定する
    ことを特徴とする請求項7に記載の方法。
  15. モーション基盤ユーザインターフェース制御方法であって、
    イメージを出力部に出力するステップと、
    入力部を通して少なくとも一つのボタン入力が感知されると、感知されたボタンの個数を把握するステップと、
    感知された前記ボタンの個数によって前記イメージのサイズを変更するか、または前記イメージの位置を変更するかを判断するステップと、
    判断結果によって、前記入力部及び出力部を含む装置の動き度合に関する情報に基づいて、前記イメージのサイズまたは位置を変更するステップと、を含み、
    前記装置の動き度合に関する情報は、タッチスクリーンで少なくとも一つの点のタッチに対する入力を受信した後、ユーザのモーションによって感知された前記装置の動き度合を計算した情報である
    ことを特徴とする方法。
JP2013533771A 2010-10-14 2011-10-13 モーション基盤のユーザインターフェース制御装置及び方法 Expired - Fee Related JP5828000B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020100100435A KR101915615B1 (ko) 2010-10-14 2010-10-14 모션 기반 사용자 인터페이스 제어 장치 및 방법
KR10-2010-0100435 2010-10-14
PCT/KR2011/007628 WO2012050377A2 (en) 2010-10-14 2011-10-13 Apparatus and method for controlling motion-based user interface

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015117002A Division JP2015215907A (ja) 2010-10-14 2015-06-09 モーション基盤のユーザインターフェース制御装置及び方法

Publications (2)

Publication Number Publication Date
JP2013541104A JP2013541104A (ja) 2013-11-07
JP5828000B2 true JP5828000B2 (ja) 2015-12-02

Family

ID=45938811

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013533771A Expired - Fee Related JP5828000B2 (ja) 2010-10-14 2011-10-13 モーション基盤のユーザインターフェース制御装置及び方法
JP2015117002A Pending JP2015215907A (ja) 2010-10-14 2015-06-09 モーション基盤のユーザインターフェース制御装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015117002A Pending JP2015215907A (ja) 2010-10-14 2015-06-09 モーション基盤のユーザインターフェース制御装置及び方法

Country Status (9)

Country Link
US (2) US9588613B2 (ja)
EP (2) EP2628067B1 (ja)
JP (2) JP5828000B2 (ja)
KR (1) KR101915615B1 (ja)
CN (2) CN103168282A (ja)
AU (1) AU2011314532B2 (ja)
BR (1) BR112013009161B1 (ja)
RU (1) RU2541852C2 (ja)
WO (1) WO2012050377A2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068049B2 (en) * 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
CN103389849B (zh) * 2012-05-07 2018-10-16 腾讯科技(北京)有限公司 一种基于移动终端的图像展示方法、***和移动终端
JP2014078823A (ja) * 2012-10-10 2014-05-01 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
KR101990036B1 (ko) 2012-10-31 2019-06-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9423946B2 (en) 2013-08-12 2016-08-23 Apple Inc. Context sensitive actions in response to touch input
WO2015023419A1 (en) * 2013-08-12 2015-02-19 Apple Inc. Context sensitive actions in response to touch input
JP6195361B2 (ja) * 2013-08-21 2017-09-13 キヤノン株式会社 画像処理装置、制御方法及びプログラム
CN103455257A (zh) * 2013-08-30 2013-12-18 华为技术有限公司 一种电子放大镜的实现方法及用户终端
CN103699322A (zh) * 2013-12-19 2014-04-02 北京百纳威尔科技有限公司 图像缩放处理方法和装置
CN104951218B (zh) * 2014-03-25 2019-03-05 宏碁股份有限公司 行动装置及调整视窗大小的方法
IN2014DE00899A (ja) 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
WO2015156128A1 (ja) * 2014-04-07 2015-10-15 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
KR20150124710A (ko) * 2014-04-29 2015-11-06 엘지전자 주식회사 폴리오 케이스 및 이동 단말기
CN104216634A (zh) * 2014-08-27 2014-12-17 小米科技有限责任公司 一种显示稿件的方法和装置
US9746930B2 (en) 2015-03-26 2017-08-29 General Electric Company Detection and usability of personal electronic devices for field engineers
JP6841647B2 (ja) * 2016-12-20 2021-03-10 シャープ株式会社 表示装置、表示方法及びプログラム
CN107256127A (zh) * 2017-06-08 2017-10-17 深圳睿尚教育科技有限公司 一种手写输入识别方法
JP2021515667A (ja) * 2018-03-16 2021-06-24 エコーノース インコーポレーテッドEchoNous, Inc. 超音波画像の動きベース制御のためのシステムおよび方法
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10852853B2 (en) * 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3234633B2 (ja) 1992-06-19 2001-12-04 シャープ株式会社 情報処理装置
JPH07271505A (ja) 1994-03-29 1995-10-20 Toshiba Corp 画像表示制御装置
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US6317114B1 (en) * 1999-01-29 2001-11-13 International Business Machines Corporation Method and apparatus for image stabilization in display device
GB0004351D0 (en) * 2000-02-25 2000-04-12 Secr Defence Illumination and imaging devices and methods
US6861946B2 (en) 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
JP4635342B2 (ja) 2001-01-10 2011-02-23 ソニー株式会社 情報処理端末および方法
US6834249B2 (en) * 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
GB2416702B (en) * 2004-04-20 2008-08-13 Robert James Clements Team sport apparatus
TW200622893A (en) 2004-07-09 2006-07-01 Nokia Corp Cute user interface
CN103365595B (zh) 2004-07-30 2017-03-01 苹果公司 用于触敏输入设备的手势
WO2006030057A1 (en) 2004-09-14 2006-03-23 Nokia Corporation A method for using a pointing device
JP2006203463A (ja) * 2005-01-19 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示方法、画像撮像方法、及び画像合成方法
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
KR100753397B1 (ko) * 2006-04-04 2007-08-30 삼성전자주식회사 이동 단말기에서 화면 자동 온/오프 제어 장치 및 방법
US20070279755A1 (en) * 2006-06-01 2007-12-06 3M Innovative Properties Company Head-Up Display System
US8514066B2 (en) * 2006-11-25 2013-08-20 Trimble Navigation Limited Accelerometer based extended display
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
DE102008006973B4 (de) * 2007-02-02 2017-03-02 Denso Corporation Projektor und Bildaufnahmevorrichtung
US7573382B2 (en) * 2007-04-02 2009-08-11 General Electric Company System and method to manage movement of assets
US20080280642A1 (en) 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Intelligent control of user interface according to movement
US20080284739A1 (en) 2007-05-17 2008-11-20 Microsoft Corporation Human Interface Device
KR101008361B1 (ko) * 2007-09-06 2011-01-14 (주)마이크로인피니티 조절 장치 및 방법
US8942764B2 (en) 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
US20090138800A1 (en) * 2007-11-23 2009-05-28 Mckesson Financial Holdings Limited Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface
JP4557058B2 (ja) 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
KR20090093766A (ko) 2008-02-28 2009-09-02 황재엽 모바일 가상 기타의 지판 표시 장치 및 방법
KR101445607B1 (ko) * 2008-06-10 2014-09-29 삼성전자주식회사 가속 센서를 이용한 디지털 영상처리장치 및 이를 이용한이미지 재생방법
KR101505198B1 (ko) * 2008-08-18 2015-03-23 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
JP4720879B2 (ja) 2008-08-29 2011-07-13 ソニー株式会社 情報処理装置及び情報処理方法
JP5279646B2 (ja) 2008-09-03 2013-09-04 キヤノン株式会社 情報処理装置、その動作方法及びプログラム
US8866840B2 (en) * 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
KR101503835B1 (ko) * 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8558803B2 (en) 2008-11-28 2013-10-15 Samsung Electronics Co., Ltd. Input device for portable terminal and method thereof
US8159465B2 (en) * 2008-12-19 2012-04-17 Verizon Patent And Licensing Inc. Zooming techniques for touch screens
US20110254792A1 (en) 2008-12-30 2011-10-20 France Telecom User interface to provide enhanced control of an application program
US9069398B1 (en) * 2009-01-30 2015-06-30 Cellco Partnership Electronic device having a touch panel display and a method for operating the same
JP5058187B2 (ja) 2009-02-05 2012-10-24 シャープ株式会社 携帯情報端末
US8698736B2 (en) 2009-03-24 2014-04-15 Immersion Corporation Handheld computer interface with haptic feedback
JP2011028635A (ja) 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
US20110087988A1 (en) * 2009-10-12 2011-04-14 Johnson Controls Technology Company Graphical control elements for building management systems
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8977987B1 (en) * 2010-06-14 2015-03-10 Google Inc. Motion-based interface control on computing device
US8542218B2 (en) * 2010-08-19 2013-09-24 Hyundai Motor Company Electronic switch apparatus for vehicle
KR101705119B1 (ko) * 2010-09-15 2017-02-10 삼성전자 주식회사 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions

Also Published As

Publication number Publication date
EP2628067B1 (en) 2019-04-17
US10360655B2 (en) 2019-07-23
BR112013009161B1 (pt) 2020-11-24
EP3543832A1 (en) 2019-09-25
RU2013121805A (ru) 2014-11-20
AU2011314532B2 (en) 2015-08-20
KR101915615B1 (ko) 2019-01-07
US20170178284A1 (en) 2017-06-22
EP3543832B1 (en) 2021-10-06
CN107066045A (zh) 2017-08-18
EP2628067A2 (en) 2013-08-21
CN103168282A (zh) 2013-06-19
KR20120038788A (ko) 2012-04-24
JP2013541104A (ja) 2013-11-07
RU2541852C2 (ru) 2015-02-20
WO2012050377A2 (en) 2012-04-19
WO2012050377A3 (en) 2012-06-14
EP2628067A4 (en) 2016-08-31
JP2015215907A (ja) 2015-12-03
US20130194222A1 (en) 2013-08-01
US9588613B2 (en) 2017-03-07
BR112013009161A2 (pt) 2016-07-26
AU2011314532A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
JP5828000B2 (ja) モーション基盤のユーザインターフェース制御装置及び方法
US10216407B2 (en) Display control apparatus, display control method and display control program
JP5553812B2 (ja) スクロール制御装置、端末装置およびスクロール制御方法
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
JP5446624B2 (ja) 情報表示装置、情報表示方法及びプログラム
WO2013065214A1 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
TW201501019A (zh) 電子裝置與多視窗觸控指令的判斷方法
US10671269B2 (en) Electronic device with large-size display screen, system and method for controlling display screen
JP2016126363A (ja) タッチスクリーンに入力する方法、携帯式電子機器およびコンピュータ・プログラム
KR20100136289A (ko) 이동 단말기의 디스플레이 제어 방법
WO2013077359A1 (ja) 電子機器、電子機器の操作方法及びプログラム
KR102049259B1 (ko) 모션 기반 사용자 인터페이스 제어 장치 및 방법
KR20110066545A (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
AU2015258317B2 (en) Apparatus and method for controlling motion-based user interface
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
TWI522895B (zh) 介面操作方法與應用該方法之可攜式電子裝置
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
JP5516794B2 (ja) 携帯情報端末、表示制御方法およびプログラム
JP2013008334A (ja) 情報端末機及び方法
JP2014149853A (ja) 携帯情報端末、表示制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140507

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140514

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150609

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151019

R150 Certificate of patent or registration of utility model

Ref document number: 5828000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees