JP2015111447A - ディスプレイ装置及びインターフェースシステム - Google Patents
ディスプレイ装置及びインターフェースシステム Download PDFInfo
- Publication number
- JP2015111447A JP2015111447A JP2015019155A JP2015019155A JP2015111447A JP 2015111447 A JP2015111447 A JP 2015111447A JP 2015019155 A JP2015019155 A JP 2015019155A JP 2015019155 A JP2015019155 A JP 2015019155A JP 2015111447 A JP2015111447 A JP 2015111447A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- touch
- control command
- touch screen
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザがより便利かつ簡単に、そして直観的にGUIを操作できるディスプレイ装置を提供する
【解決手段】第1のディスプレイ装置は、通信モジュール150と、第1のオブジェクトを表示してタッチを検知するタッチスクリーン120と、ユーザ客体のモーションを検知するモーション検知センサー130と、第1のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、モーションに応じて表示された第1のオブジェクトを第2のディスプレイ装置に伝送するように通信モジュールを制御するプロセッサ(制御部140)と、を有する。
【選択図】図2
【解決手段】第1のディスプレイ装置は、通信モジュール150と、第1のオブジェクトを表示してタッチを検知するタッチスクリーン120と、ユーザ客体のモーションを検知するモーション検知センサー130と、第1のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、モーションに応じて表示された第1のオブジェクトを第2のディスプレイ装置に伝送するように通信モジュールを制御するプロセッサ(制御部140)と、を有する。
【選択図】図2
Description
本発明は、ディスプレイ装置及びインターフェースシステムに関し、より詳細には、タッチとモーションによって制御命令を生成するディスプレイ装置及びインターフェースシステムに関する。
電子機器の機能が多様になるにつれて、今日の電子機器は、たいていGUI(Graphic User Interface)を介してユーザから命令を入力されて実行される。最近に至って更に目立つようになった電子機器の多機能化は、GUIを複雑にし、GUIを扱うためのインターフェース装置の操作まで複雑なものにしている。
即ち、多様な機能をもつ電子機器を使うために、ユーザは複雑なGUIでのメニュー探索という不便さを強いられ、さらに、GUIを扱うためには複雑なインターフェース装置の操作を仕方なく受け入れざるを得なかった。
そこで、ユーザがより便利かつ簡単にGUIを操作できるようにするための方策が求められている。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザがより便利かつ簡単に、そして直観的にGUI(Graphic User Interface)を操作できるようにするディスプレイ装置を提供することにある。
第1のディスプレイ装置は、通信部と、第1のオブジェクトを表示してタッチを検知するタッチスクリーン部と、ユーザ客体のモーションを検知するモーション検知部と、前記第1のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第1のオブジェクトを第2のディスプレイ装置に伝送するように前記通信部を制御するプロセッサと、を有する。
また、前記ユーザ客体のモーションは、ドラッグ動作によるモーションであってもよい。
また、前記第1のオブジェクトは映像であってもよい。
また、前記プロセッサは、前記ユーザ客体の予め設定された地点に対応する前記第2のディスプレイ装置の表示における地点に、前記第1のオブジェクトを表示するための制御命令を生成して前記第2のディスプレイ装置に伝送するように、前記通信部を制御してもよい。
また、前記プロセッサは、前記第2のディスプレイ装置に第2のオブジェクトが表示された状態で前記ユーザモーションが検知されると、前記表示された第1のオブジェクトを前記第2のディスプレイ装置に伝送し、前記第2のディスプレイ装置から前記第2のオブジェクトを受信して表示するように、前記タッチスクリーン部を制御してもよい。
また、前記プロセッサは、前記タッチスクリーン部を介してアルファベット“L”字状のドラッグに入力が受信されると、前記第1のディスプレイ装置の使用をロックし、前記第1のディスプレイ装置の使用が制限されることを表示するように制御してもよい。
また、前記プロセッサは、前記ユーザ客体のモーションが3次元空間上の予め設定された領域内で検知される場合に限り、前記検知されたユーザ客体のモーションに応じて前記表示された第1のオブジェクトを第2のディスプレイ装置に伝送するように、前記通信部を制御してもよい。
また、インターフェースシステムは、第1のオブジェクトを表示してタッチを検知し、ユーザ客体のモーションを検知する第1のディスプレイ装置と、第2のディスプレイ装置と、を有し、前記第1のディスプレイ装置は、前記第1のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第1のオブジェクトを第2のディスプレイ装置に伝送する。
本発明によると、ユーザはより便利かつ簡単に、そして直観的にGUIを操作できるようになる。
<実施の形態の概要>
前記目的を達成するための本発明の一実施形態に係るインターフェース装置は、タッチを検知するタッチスクリーンと、3次元空間におけるモーションを検知するモーション検知センサーと、前記タッチに基づいた第1の制御命令、前記モーションに基づいた第2の制御命令および前記タッチと前記モーションとの連動操作に基づいた第3の制御命令のうち少なくとも1つを生成する制御部とを含む。
前記目的を達成するための本発明の一実施形態に係るインターフェース装置は、タッチを検知するタッチスクリーンと、3次元空間におけるモーションを検知するモーション検知センサーと、前記タッチに基づいた第1の制御命令、前記モーションに基づいた第2の制御命令および前記タッチと前記モーションとの連動操作に基づいた第3の制御命令のうち少なくとも1つを生成する制御部とを含む。
ここで、前記制御部は、前記タッチの2次元座標情報、前記モーションの3次元座標情報および前記モーションの形態情報のうち少なくとも1つを抽出し、前記抽出された情報を用いて前記第1ないし第3の制御命令のうち少なくとも1つを生成してよい。
なお、前記第1ないし第3の制御命令は、前記インターフェース装置および前記インターフェース装置と接続された外部装置のうち少なくとも1つを制御するための制御命令であってよい。
そして、前記制御部は、前記第1ないし第3の制御命令のうち少なくとも1つに基づいて、前記第1ないし第3の制御命令のうち少なくとも1つが前記タッチスクリーンおよび前記外部装置のうち少なくとも1つに伝達されるようにしてよい。
なお、前記制御部は、前記第1ないし第3の制御命令のうち少なくとも1つに基づいて、前記タッチスクリーンに表示される画面が変更されるようにしてよい。
そして、前記第3の制御命令は、前記第1の制御命令および前記第2の制御命令の組み合わせとは異なる別個の制御命令であってよい。
なお、前記タッチスクリーンまたは前記3次元領域は、複数の領域に区分けされ、前記制御部は、前記タッチ、前記モーションまたは前記連動操作の入力された領域によって互いに異なる制御命令を生成してよい。
そして、前記複数の領域は、前記インターフェース装置と接続された外部装置を制御するための第1の領域および前記タッチスクリーンを制御するための第2の領域を含んでよい。
なお、前記制御部は、前記タッチスクリーンに接触されたデバイスの模様および位置のうち少なくとも1つに基づいて、前記デバイスに関連した第1の制御命令を生成してよい。
ここで、前記デバイスに関連した第1の制御命令は、前記デバイスに対する情報を表示するための命令、前記デバイスに保存されたコンテンツを表示するための命令、前記デバイスに保存されたコンテンツを再生するための命令、前記デバイスに保存されたコンテンツを伝送するための命令および前記デバイスにコンテンツを受信するための命令のうち少なくとも1つを含んでよい。
なお、前記デバイスは、前記デバイスに対する識別手段の装着されたデバイスを含み、前記制御部は、前記識別手段から抽出された前記デバイスに対する情報に基づいて、前記デバイスに関連した制御命令を生成してよい。
そして、前記タッチは、前記タッチスクリーンのうち複数の領域をタッチするマルチタッチを含み、前記モーションは、複数の物体に対するモーションであるマルチモーションを含んでよい。
一方、本発明の一実施形態に係るタッチスクリーンおよびモーション検知センサーのうち少なくとも1つを用いたインターフェース方法は、タッチを検知するステップと、3次元空間におけるモーションを検知するステップと、前記タッチに基づいた第1の制御命令、前記モーションに基づいた第2の制御命令および前記タッチと前記モーションとの連動操作に基づいた第3の制御命令のうち少なくとも1つを生成するステップとを含む。
ここで、前記生成ステップは、前記タッチの2次元座標情報、前記モーションの3次元座標情報および前記モーションの形態情報のうち少なくとも1つを抽出し、前記抽出された情報を用いて前記第1ないし第3の制御命令のうち少なくとも1つを生成してよい。
そして、前記第1ないし第3の制御命令は、前記タッチスクリーンおよび外部装置のうち少なくとも1つを制御するための制御命令であってよい。
なお、本インターフェース方法は、前記生成された第1ないし第3の制御命令のうち少なくとも1つに基づいて、前記第1ないし第3の制御命令のうち少なくとも1つを前記タッチスクリーンおよび前記外部装置のうち少なくとも1つに伝達するステップを更に含んでよい。
そして、本インターフェース方法は、前記生成された第1ないし第3の制御命令のうち少なくとも1つに基づいて、前記タッチスクリーンに表示される画面が変更されるようにするステップを更に含んでよい。
なお、前記第3の制御命令は、前記第1の制御命令および前記第2の制御命令の組み合わせとは異なる別個の制御命令であってよい。
そして、前記タッチスクリーンまたは前記3次元領域は、複数の領域に区分けされ、前記生成ステップは、前記タッチ、前記モーションまたは前記連動操作の入力された領域によって互いに異なる制御命令を生成してよい。
なお、前記複数の領域は、外部装置を制御するための第1の領域および前記タッチスクリーンを制御するための第2の領域を含んでよい。
そして、前記生成ステップは、前記タッチスクリーンに接触されたデバイスの模様および位置のうち少なくとも1つに基づいて、前記デバイスに関連した第1の制御命令を生成してよい。
ここで、前記デバイスに関連した第1の制御命令は、前記デバイスに対する情報を表示するための命令、前記デバイスに保存されたコンテンツを表示するための命令、前記デバイスに保存されたコンテンツを再生するための命令、前記デバイスに保存されたコンテンツを伝送するための命令および前記デバイスにコンテンツを受信するための命令のうち少なくとも1つを含んでよい。
そして、前記デバイスは、前記デバイスに対する識別手段の装着されたデバイスを含み、前記生成ステップは、前記識別手段から抽出された前記デバイスに対する情報に基づいて、前記デバイスに関連した第1の制御命令を生成してよい。
なお、前記タッチは、前記タッチスクリーンのうち複数の領域をタッチするマルチタッチを含み、前記モーションは、複数の物体に対するモーションであるマルチモーションを含んでよい。
一方、本発明の一実施形態に係るインターフェースシステムは、入力されたタッチまたは検知された3次元モーションに基づいた制御命令を生成し、前記制御命令に従って動作し、前記制御命令を外部に伝送するインターフェース装置と、前記制御命令を受信し、前記受信された制御命令に基づいて動作する少なくとも1つの連動装置を含む。
ここで、前記少なくとも1つの連動装置は、前記インターフェース装置、映像出力装置、音声出力装置、印刷装置およびホスト装置のうち少なくとも1つを含んでよい。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
図1は、本発明が適用可能なインターフェースシステムを示す図である。図1に示すように、インターフェースシステムは、インターフェース装置100と、そしてインターフェース装置100と連動して使われる連動装置10とで構成される。
インターフェース装置100は、ユーザのタッチを入力され、ユーザのモーションを検知し、入力されたタッチまたは検知されたモーションに基づいた制御命令を生成する。なお、インターフェース装置100は、入力されたタッチまたは検知されたモーションに基づいて生成された制御命令に従って動作する。
具体的に、インターフェース装置100は、画面表示のための制御命令、オーディオ出力のための制御命令、データ送受信のための制御命令、印刷のための制御命令などを生成し、生成された制御命令に対応する画面を表示する。例えば、画面表示のための制御命令が生成された場合、インターフェース装置100は、生成された制御命令による画面を表示し、印刷のための制御命令が生成された場合、インターフェース装置100は、印刷中であることを示す画面を表示する。
なお、インターフェース装置100は、このような制御命令を連動装置10に伝達して連動装置10の動作を制御したりもする。
連動装置10は、モニタ11と、プリンタ13と、MP3P(MPEG Audio Layer−3 player)15およびPC(Personal Computer)17などで構成される。
モニタ11は、インターフェース装置100から制御命令を受信し、受信された制御命令に従ってモニタ11本来の機能を果たす。例えば、モニタ11は、映像出力のための制御命令に従って、インターフェース装置100から伝達された映像データを用いて、ディスプレイに動画、停止映像などを表示することができる。
プリンタ13は、インターフェース装置100から制御命令を受信し、受信された制御命令に従ってプリンタ13本来の機能を果たす。例えば、プリンタ13は、写真印刷のための制御命令に従って、インターフェース装置100から伝達された写真データを用いて、写真を印刷できる。
MP3P15は、インターフェース装置100から制御命令を受信し、受信された制御命令に従ってMP3P15本来の機能を果たす。例えば、MP3P15は、オーディオデータ伝送のための制御命令またはオーディオ出力のための制御命令に従って、インターフェース装置100から伝達されたオーディオデータを用いて、それを送受信したり再生できる。
PC17は、インターフェース装置100から制御命令を受信し、受信された制御命令に従ってPC17本来の機能を果たす。例えば、PC17は、データ伝送のための制御命令に従って、インターフェース装置100から伝達されたデータを保存、実施または加工できる。
このように、ユーザは、インターフェース装置100およびインターフェース装置100と連動した連動装置10を使って、より簡単かつ便利にインターフェース操作ができ、インターフェース操作による結果を得られるようになる。
図2は、本発明の一実施形態に係るインターフェース装置100の構成を示す図である。図2に示すように、インターフェース装置100は、マルチメディア機能ブロック110と、タッチスクリーン120と、モーション検知センサー130と、制御部140と、通信モジュール150と、保存部160とを含む。
マルチメディア機能ブロック110は、ユーザのインターフェース操作による画面が表示されるようにする。具体的に、マルチメディア機能ブロック110は、ユーザのインターフェース操作による画面が表示されるようにするため、メニューアイテムまたはコンテンツアイテムのようなGUI(Graphic User Interface)を生成し、動画、停止映像、音楽、テキストなどのコンテンツを再生するなど、インターフェース操作に対応する機能を果たす。
タッチスクリーン120は、タッチなどのようなユーザのインターフェース操作を入力される手段として機能する。なお、タッチスクリーン120には、ユーザのインターフェース操作による画面が表示される。
例えば、動画を再生するためのユーザのインターフェース操作が入力されると、動画を再生するための制御命令が後述の制御部140から生成され、タッチスクリーン120は生成された制御命令を受信し、制御命令による動画を再生する。
ここで、動画を再生するための制御命令は、タッチスクリーン120を介して入力されたタッチによって生成されてもよく、後述のモーション検知センサー130を介して検知されたモーションによって生成されてもよく、タッチスクリーン120を介して入力されたタッチとモーション検知センサー130を介して検知されたモーションとの組み合わせによって生成されてもよい。
なお、動画を再生するための制御命令は、タッチスクリーン120に伝達され、タッチスクリーン120で動画が再生されることもできるが、連動装置10のうちの1つであるモニタ11に伝達され、モニタ11で動画が再生されてよい。
一方、タッチスクリーン120はタッチのようなインターフェース操作を入力され、入力されたタッチに関する情報を制御部140に伝達する。入力されたタッチに関する情報については後述する。
モーション検知センサー130は、ユーザの3次元モーションによる操作を入力される手段として機能する。このようなモーション検知センサー130は、主に、ユーザの指の動きによるインターフェース操作を検知し、検知されたモーションに関する情報を制御部140に伝達する。検知されたモーションに関する情報については後述する。
制御部140は、タッチスクリーン120を介して入力されたタッチおよびモーション検知センサー130を介して検知された3次元モーションを用いて、制御命令を生成する。具体的に、制御部140は、タッチスクリーン120を介してタッチされた部分の2次元座標情報と検知された3次元モーションの3次元座標情報および形態情報を抽出し、抽出された2次元座標情報、3次元座標情報および形態情報を用いて、制御命令を生成する。
これに対する理解を促すため、図3ないし図6を参照して説明する。
図3は、ユーザUからタッチを入力される様子を示す図である。図3には、インターフェース装置100の一部として、タッチスクリーン120とモーション検知センサー130のみを概略的に示した。
図3に示すように、タッチスクリーン120はユーザUのタッチを入力されるためにZ軸に垂直にしており、X軸およびY軸と平行して位置しており、モーション検知センサー130は、タッチスクリーン120上におけるユーザUの3次元モーションを検知するために、タッチスクリーン120の下段に位置している。
このように、ユーザUはタッチスクリーン120をタッチしてインターフェース操作ができ、これによりインターフェース操作に対応する制御命令が生成されるようにしてタッチスクリーン120を制御することができる。図示のように、タッチされた部分にはポインター200が表示されてよい。
一方、図4は、図3のインターフェース操作によって入力されたタッチを用いて、制御命令を生成する方法を説明するための図である。
タッチスクリーン120を介してユーザUのタッチが入力されると、制御部140は、タッチスクリーン120を介してタッチされた部分の2次元座標情報を抽出する。従って、制御部140は、タッチされた部分のX軸の座標として5という座標情報を抽出し、タッチされた部分のY軸の座標として4という座標情報を抽出するようになる。制御部140は、このように抽出された座標情報を用いて制御命令を生成するようになる。
例えば、制御部140は、(5、4)という座標情報を通じて、タッチスクリーン120の(5、4)という座標にポインター200が表示されるようにする。即ち、制御部140は、タッチスクリーン120の画面で、(5、4)の座標にポインター200が表示されるようにする制御命令を生成するのである。
一方、以上では、説明の便宜上、タッチスクリーン120を制御するための制御命令が生成されるものとして想定しただけであって、連動装置10を制御するための制御命令が生成されるものとして実現しても、勿論、このような技術的思想がそのまま適用できる。
図5は、ユーザUのモーションを検知する様子を示す図である。図5にも、インターフェース装置100の一部として、タッチスクリーン120とモーション検知センサー130のみを概略的に示した。
ユーザUがタッチスクリーン120の上部で指を動かしてインターフェース操作を行なうと、タッチスクリーン120の下部に位置したモーション検知センサー130は、インターフェース操作によるモーションを検知するようになる。このようなモーション検知センサー130は、X軸へのモーション、Y軸へのモーションおよびZ軸へのモーションを検知することができる。
このように、インターフェース操作をよるモーションが検知されると、制御部140は、インターフェース操作に対応する制御命令を生成してタッチスクリーン120を制御することができる。
一方、図6は、図5のインターフェース操作によって検知されたモーションを用いて、制御命令を生成する方法を説明するための図である。
モーション検知センサー130を介してユーザUのモーションが検知されると、制御部140は、タッチスクリーン120の上部におけるモーションに対する3次元座標情報を抽出する。従って、制御部140は、X軸の座標として5という座標情報を抽出し、Y軸の座標として4という座標情報を抽出し、Z軸の座標として2という座標情報を抽出するようになる。制御部140は、このように抽出された座標情報を用いて制御命令を生成するようになる。
制御部140は、(5、4、2)という3次元座標情報を通じて、このような3次元座標に対応する画面がタッチスクリーン120またはモニタ11に表示されるようにする。例えば、制御部140は、タッチスクリーン120の画面のうち、(X、Y)座標が(5、4)となる地点にポインターまたはアイテムが表示されるようにする制御命令を生成することができ、または、タッチスクリーン120に垂直に置かれたモニタ11の画面のうち、(X、Z)座標が(5、2)となる地点にポインターまたはアイテムが表示されるようにする制御命令を生成することができる。
このように、制御部140は、抽出された座標情報を用いて制御命令を生成するようになる。
一方、制御部140は、モーションの形態情報を用いて制御命令を生成する。
モーションの形態情報とは、具体的なインターフェース操作を特定するためのモーションの形態に対する情報のことを意味する。例えば、一本の指を伸ばして残りの指を折った状態でインターフェースを操作する場合、伸ばした指と折った指の形状に対する情報などがモーションの形態情報になる。
従って、制御部140は、モーション検知センサー130を介して抽出されたモーションの形態情報を用いて、ユーザUのインターフェース操作の意図(例えば、伸ばした指一本のみを通じてインターフェース操作をするという意図)を把握でき、把握した形態情報を用いてこれに対応する制御命令を生成することができる。
即ち、ユーザUが指を伸ばしてインターフェース操作を行なう場合、制御部140は、モーション検知センサー130の検知範囲内にあるモーションに対する形態情報を抽出し、モーションの形態情報を通じて伸ばした指の末端部の座標情報を抽出する過程を通じて、伸ばした指の末端部を用いたインターフェース操作に対応する制御命令を生成することができる。
なお、制御部140は、モーション検知センサー130を介して抽出されたモーションの形態情報を用いて、タッチスクリーン120またはモニタ11の画面上で、伸ばした指の指定する位置に対する情報が分かる。例えば、指の先端部に対する3次元座標情報および手首、手の甲、伸ばした指の角度などを用いて、指の先端部の指定する位置(即ち、指の先端部の延長線とタッチスクリーン120またはモニタ11の画面が交差する位置)に対する情報が分かる。
一方、制御部140は、タッチとモーションとの組み合わせを用いた制御命令を生成することも可能である。具体的に、制御部140は、タッチの2次元座標情報、モーションの3次元座標情報およびモーションの形態情報の組み合わせを通じて、それぞれの情報(タッチの2次元座標情報、モーションの3次元座標情報およびモーションの形態情報)により生成できる制御命令とは別個である、独立的な制御命令を生成することができる。
図7および図8は、タッチとモーションとの組み合わせを用いた制御命令を生成する方法を説明するための図である。
図7に示すように、入力されたタッチの2次元座標情報を通じて、タッチスクリーン120の特定部分が指定され、検知されたモーションの3次元座標情報および形態情報を通じて、連動装置の1つであるモニタ11の特定部分が指定された場合、制御部140は、タッチとモーションとの組み合わせを用いた新たな制御命令を生成する。
仮に、タッチのみが入力されたなら、タッチの2次元座標情報を通じて指定されたタッチスクリーン120の特定部分にはポインターが生成されるか、特定部分に表示されたアイテムが選択される制御命令が生成されることができる。
なお、モーションのみが検知されたなら、モーションの3次元座標情報を通じて指定された連動装置10の特定部分にはポインターが生成されるか、特定部分に表示されたアイテムが選択される制御命令が生成されることができる。
しかしながら、図7のようにタッチが入力されて同時にモーションが検知された場合には、タッチの2次元座標情報を通じて指定されたタッチスクリーン120の特定部分に存在するアイテムAとモーションの3次元座標情報を通じて指定された連動装置10の特定部分に存在するアイテムBの位置が、図8に示すように、互いに変更されるようにする制御命令が生成されることができる。
このように組み合わせによって生成される制御命令は、タッチによって生成される制御命令またはモーションによって生成される制御命令と関連性のない新たな制御命令となる。
図2について再び説明すると、このように、制御部140はタッチスクリーン120を介して入力されたタッチまたはモーション検知センサー130の検知範囲内から検知されたモーションを用いて、制御命令を生成し、生成された制御命令によるマルチメディア機能ブロック110の機能実行動作を制御する。
なお、制御部140は、生成された制御命令に従って連動装置10が制御されるようにするため、生成された制御命令を通信モジュール150に伝達する。
通信モジュール150は、連動装置10と固有の通信方式によって相互通信ができるように接続される。このような通信モジュール150は、2次元座標情報、3次元座標情報およびモーション形態情報を用いて、制御部140から生成された制御命令を連動装置10に伝達する。
例えば、インターフェース装置100のX軸である横面に平行しており、インターフェース装置100に垂直になるように位置した連動装置(図示せず)がある場合、3次元座標情報が(5、4、2)であり、指の形態が連動装置10の(5、2)方向を指しているとする。この場合、制御部140は、連動装置(図示せず)の(5、2)に該当する部分にポインターを生成したり、連動装置(図示せず)の(5、2)に該当する部分にあるアイテムを選択するための制御命令を生成するようになる。この後、制御部140は、通信モジュール150に制御命令を伝達し、通信モジュール150を制御して制御命令が連動装置(図示せず)に伝達されるようにする。
これにより、通信モジュール150から制御命令を受信した連動装置(図示せず)は、受信された制御命令による画面を表示するようになる。
保存部160は、インターフェース装置100を駆動させるためのプログラムが保存されている保存媒体として、メモリ、HDD(Hard Disk Drive)などで実現可能である。
なお、保存部160は、予め設定された方式によるタッチおよび予め設定された方式によるモーションに対応する制御命令の類型を保存し、制御部140は、保存部160に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成する。
これに対する説明のために、図9ないし図11を参照して説明する。図9ないし図11は、予め設定された方式による制御命令を生成する方法を説明するための図である。
図9のように、タッチスクリーン120を介して、L字型にタッチが入力されたり、図10のようにモーション検知センター130を介してL字型に移動されるモーションが検知された場合、制御部140は、L字型に入力されたタッチまたはL字型に移動されたモーションに対応する制御命令として、図11のように、インターフェース装置の使用を制限(LOCK)し、使用が制限されたことを示す画面を表示するための制御命令を生成する。
ここで、L字型に入力されたタッチまたはL字型に移動されたモーションは、上述の予め設定された方式によるタッチまたはモーションといえる。なお、インターフェース装置の使用を制限(LOCK)し、使用が制限されたことを示す画面を表示するための制御命令は、予め設定された方式によるタッチまたはモーションに対応する制御命令といえる。
このような制御命令の類型は、保存部160に保存されており、制御部140は保存部160に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成するようになるのである。
このように、インターフェース装置100は、タッチスクリーン120とモーション検知センサー130を用いて、ユーザUがより簡単かつ便利にGUIが操作できるようにする環境を提供する。
以下では、より具体的なインターフェース方法について説明する。
図12および図13は、タッチによるドラッグ(Drag)の概念説明に提供される図である。
図12に示すように、ユーザUは、タッチスクリーン120の特定地点に位置したアイテムをタッチした後、タッチを維持しつつタッチした地点を変更させて、ドラッグ動作によるインターフェース操作を行なうことができる。
この場合、制御部140は、図13のように、タッチが維持された地点の経路を2次元座標情報として抽出し、抽出された座標情報を用いてタッチが維持された地点の経路に沿ってアイテムが移動されるようにする制御命令を生成することができる。
図14および図15は、モーションによるドラッグの概念説明に提供される図である。
図14に示すように、ユーザUは、モーション検知センサー130が検知できる範囲内におけるモーションを通じて、タッチスクリーン120または連動装置10の画面に表示されたアイテムを指定した後、モーションを移動させ、ドラッグ動作によるインターフェース操作を行なうことができる。
この場合、制御部140は、図15のように、モーションが移動された地点の経路を3次元座標情報として抽出し、抽出された座標情報を用いてモーションが移動された地点の経路に対応するように、タッチスクリーン120またはモニタ11の画面に表示されたアイテムが移動されるようにする制御命令を生成できる。
図16および図17は、マルチタッチとマルチモーションの概念説明に提供される図である。
図16に示すように、タッチスクリーン120は、複数のタッチを同時に入力されることができ、制御部140は、それぞれのタッチに対する3つの制御命令をそれぞれ生成したり、複数のタッチに対する1つの制御命令を生成することができる。
例えば、図16のように、タッチスクリーン120の3地点が同時にタッチされた場合、制御部140は、各地点に位置したアイテムをそれぞれハイライトさせるための3つの制御命令を生成したり、インターフェース装置100の電源またはモニタ11の電源をスタンバイモードに切り替えるための制御命令を生成することができる。
一方、以上では、保存部160が、予め設定された方式によるタッチに対応する制御命令の類型を保存し、制御部140が保存部160に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成すると説明した。本例示の場合、3地点に対するタッチが同時に入力されることが、上述の予め設定された方式によるタッチといえるし、3地点に対するタッチが同時に入力された場合、インターフェース装置100の電源またはモニタ11の電源をスタンバイモードに切り替えるための制御命令の類型が保存部160に予め保存されたといえる。
なお、図17に示すように、モーション検知センサー130も、複数のモーションを同時に検知することができ、制御部140は、それぞれのモーションに対する3つの制御命令をそれぞれ生成したり、複数のモーションに対する1つの制御命令を生成することができる。
例えば、図17のように、モーション検知センサー130により3地点を指定するマルチモーションが検知され、2つのモーションが連動装置10の地点を指定し、1つのモーションがタッチスクリーン120の地点を指定する場合、制御部140は、各地点に位置したアイテムをそれぞれ選択するための3つの制御命令を生成したり、インターフェース装置100の電源または連動装置10の電源を終了させるための制御命令を生成することができる。
このような場合も、予め設定された方式によるモーションに対応する制御命令の類型が保存部160に保存された場合といえる。なお、2つのモーションが連動装置10の地点を指定し、1つのモーションがタッチスクリーン120の地点を指定する場合、インターフェース装置100の電源または連動装置10の電源をスタンバイモードに切り替えるための制御命令の類型が保存部160に予め保存されたといえる。
図18および図19は、インターフェース装置100と連動装置10間の連動操作に関する概念説明に提供される図である。以下では、説明の便宜上、図7ないし図11、図16および図17と同様に配置されたインターフェース装置100とモニタ11を、それぞれの座標軸を基準に再び示した。
ユーザUは、3次元モーションセンサー130上におけるインターフェース操作によって、タッチスクリーン120またはモニタ11に表示される画面を変更させることができる。図18および図19は、その一例として、モニタ11に表示された停止映像をドラッグしてタッチスクリーン120に移動させるインターフェース操作を示すものである。
図18に示すように、ユーザUが、停止映像を指定した後、指をモニタ11でタッチスクリーン120の方向に移動させると、図19に示すように、モニタ11に表示されていた停止映像がタッチスクリーン120の方向にドラッグされる。
このように、ユーザUは、インターフェース操作により、モニタ11とタッチスクリーン120との相互間の連動操作を可能とすることができる。
この場合、制御部140は、停止映像を画面の下に下ろすようにする制御命令を生成してモニタ11に伝送し、モニタ11に表示されていた停止映像が画面の上から下りてくるようにする制御命令を生成してタッチスクリーン120に伝送するようになる。
以上では、連動操作の一例として、モニタ11からタッチスクリーン120へのドラッグ操作について説明したが、これは説明の便宜のための例示的な事項に過ぎない。従って、ドラッグ操作でない場合にも、勿論連動操作ができる。即ち、モニタ11とタッチスクリーン120は、デュアルモニタと同様に動作されることができる。
従って、以上では、モニタ11からタッチスクリーン120に停止映像を伝送する場合を例として挙げているが、逆に、モニタ11からタッチスクリーン120に停止映像を伝送する場合も勿論可能である。
一方、本実施形態に係る連動装置10がモニタ11ではなくプリンタ13である場合には、タッチスクリーン120からプリンタ13の方向にのみデータを伝送することが可能である。例えば、タッチスクリーン120に表示されていた停止映像をドラッグして、プリンタ13の方向に移動させるインターフェース操作を行なう場合、タッチスクリーン120にはそれ以上停止映像が表示されず、プリンタ13ではこのような停止映像が出力されることができる。
図20は、ユーザUにより設定された領域によるインターフェース操作の概念説明に提供される図である。
図20に示すように、タッチスクリーン120は、A1という領域とA2という領域とに区分けされ、タッチスクリーン120上の垂直空間は、B1という領域とB2という領域とに区分けされる。
制御部140は、インターフェース操作がどの領域で行なわれたかに基づいて制御命令を生成することができる。
例えば、制御部140は、同様のインターフェース操作がA1、A2、B1、B2のうち、いずれかの領域で行なわれたかに基づいて、互いに異なる制御命令を生成することができ、特に、A1またはA2領域でインターフェース操作が行なわれると、モニタ11との連動操作のためのインターフェース操作として認識し、B1またはB2領域でインターフェース操作が行なわれると、モニタ11との連動操作でない、タッチスクリーン120のみを操作するためのインターフェース操作として認識することができる。
このように、領域によって互いに異なる制御命令として認識するようにする理由は、インターフェース操作が無闇に入力されることを防ぐためである。
即ち、タッチスクリーン120を介して、A1およびA2領域で入力された全てのタッチが連動操作のためのタッチとして認識されるとなると、ユーザUは、タッチスクリーン120に表示される画面のみを変更させるなど、タッチスクリーン120のみを操作するためのインターフェース操作を入力することが困難になる。
なお、モーション検知センサー130を介して、B1およびB2領域から検知された全てのモーションが連動操作のためのモーションとして認識される場合にも、ユーザUは、タッチスクリーン120に表示される画面のみを変更させるなど、タッチスクリーン120のみを操作するためのインターフェース操作を入力することが困難になる。
従って、タッチスクリーン120の一部領域A1と、タッチスクリーン120上の垂直空間のうちの一部領域B1のみが、連動操作のためのインターフェース操作として認識されるようにするのである。
図21ないし図23は、分割された領域によるインターフェース操作の概念説明に提供される図である。
図21のモニタ11には、a、b、c、dのメニューアイテムを含むメニュー画面が表示されている。モニタ11に表示されたメニューアイテムのうち、cアイテムを選択する操作は、タッチスクリーン120およびモニタ11間の連動操作であるため、ユーザUは、A1領域またはB1領域のうちいずれか1つの領域におけるインターフェース操作によってcアイテムを選択することができる。
図22は、タッチスクリーン120上の垂直空間を用いてアイテムを選択する様子を示す図である。モーション検知センサー130を介して、ユーザUのモーションがB2領域から検知された場合、制御部140はモニタ11との連動のための制御命令を生成しない。
しかしながら、モーション検知センサー130を介して、ユーザUのモーションがB1領域から検知された場合、制御部140は、検知されたモーションの3次元座標情報およびモーションの形態情報を用いて、モニタ11との連動のための制御命令を生成するようになる。
具体的に、モーション検知センサー130は、モーション検知センサー130の検知範囲内におけるユーザUのモーションを検知し、検知されたモーションの3次元座標情報のうち、Y軸座標情報を抽出して、ユーザUのモーションが検知された領域が分かるようになる。
図22に示すように、B2領域に存在していた指がB1領域内でモニタ11の方向に押された場合、モーション検知センサー130はこれを検知し、検知されたモーションに対する3次元座標情報と形態情報を制御部140に伝達する。
なお、制御部140は、検知されたモーションに対する3次元座標情報と形態情報とを抽出し、抽出された情報に基づいて、ユーザUのインターフェース操作がcアイテムを選択するためのインターフェース操作であることが分かるようになる。
具体的に、制御部140は、検知されたモーションの3次元座標情報のうち、X軸座標情報とZ軸座標情報とを通じて、ユーザUのインターフェース操作がcアイテムを選択するためのインターフェース操作であることが分かるようになる。
これにより、制御部140は、cアイテムが選択されてハイライトされるようにするための制御命令を生成し、モニタ11に伝送し、モニタ11は受信された制御命令に従ってcアイテムをハイライトさせて、cアイテムの選択による画面を表示する。
図23は、タッチスクリーン120を用いてアイテムを選択する様子を示す図である。タッチスクリーン120を介してユーザUのタッチがA2領域で入力された場合、制御部140はモニタ11との連動のための制御命令を生成しない。
しかしながら、タッチスクリーン120を介してユーザUのタッチがA1領域で入力された場合、制御部140は、入力されたタッチの2次元座標情報を用いて、モニタ11との連動のための制御命令を生成するようになる。
具体的に、タッチスクリーン120は、ユーザUのタッチを入力され、入力されたタッチの2次元座標のうちY軸座標を抽出して、ユーザUのタッチが入力された領域が分かるようになる。
図23に示すように、A2領域に存在していた指がA1領域内でタッチされた場合、タッチスクリーン120はこれを入力され、入力されたタッチに対する2次元座標情報を制御部140に伝達する。
なお、制御部140は、入力されたタッチに対する2次元座標情報を抽出し、抽出された情報に基づいて、ユーザUのインターフェース操作がcアイテムを選択するためのインターフェース操作であることが分かるようになる。
具体的に、制御部140は、検知されたモーションの2次元座標情報のうち、X軸座標情報とY軸座標情報とを通じて、ユーザUのインターフェース操作がcアイテムを選択するためのインターフェース操作であることが分かるようになる。
これにより、制御部140は、cアイテムが選択されてハイライトされるようにするための制御命令を生成し、モニタ11に伝送し、モニタ11は受信された制御命令に従ってcアイテムをハイライトさせて、cアイテムの選択による画面を表示する。
一方、このように、領域の区分けによって動作できるようにするか否かは、ユーザUの設定によって変更され得る。
図24ないし図26は、ユーザUのタッチではなく、第3のデバイスのタッチによるインターフェース操作の概念説明に提供される図であり、特に、図24は、タッチスクリーン120に第3のデバイスA300が置かれている様子を示した。
図24に示すように、タッチスクリーン120は、ユーザUのタッチだけでなく、デバイスに対するタッチも認識することが可能である。従って、タッチスクリーン120は、デバイスA300のタッチを入力され、制御部120は、入力されたタッチに基づく制御命令を生成して、タッチスクリーン120、モニタ11またはデバイスA300に伝送する。
具体的に、タッチスクリーン120上にデバイスA300が置かれると、制御部140は、デバイスA300に対する情報である、機器名に対する情報、種類情報、保存されたコンテンツに対する情報などに基づいて、制御命令を生成できるようになる。
このようなデバイスに対する情報は、多様な方法で、インターフェース装置100に伝達されることができる。
図25は、これに対する例示として、デバイスA300に装着された識別手段であるRFID(Radio Frequency IDentification)カード310により、デバイスA300に対する情報が抽出される様子を示す図である。
図25に示すように、デバイスA300は、RFIDカード310を装着しており、このようなRFIDカード310には、デバイスA300に対する情報が保存されている。
従って、タッチスクリーン120を介してデバイスA300のタッチが入力されると、制御部140はRFIDカード310に保存されたデバイスA300に対する情報であるデバイスA300に保存されたコンテンツ情報が、タッチスクリーン120またはモニタ11に伝送されるようにするためのデバイス制御命令をデバイスA300に伝達する。
これにより、デバイスA300は、RFIDカード310に保存されたデバイスA300に対する情報をインターフェース装置100の通信モジュール150に伝達するようになる。
制御部140は、通信モジュール150からRFIDカード310に保存されたデバイスA300に対する情報であるデバイスA300に保存されたコンテンツ情報を抽出し、抽出されたコンテンツがモニタ11またはタッチスクリーン120に表示されるようにする制御命令を生成して、モニタ11またはタッチスクリーン120に伝送する。これにより、モニタ11またはタッチスクリーン120には、デバイスA300に保存されたコンテンツが表示されるようになる。
一方、本インターフェース装置100は、RFIDカード310に保存されたデバイスA300に対する情報を抽出するためのRFIDリーダー(図示せず)を更に備えることができる。
図26は、更に別の例示として、デバイスA300がタッチスクリーン120にタッチされた接触面の特定模様330によって、デバイスA300に対する情報が抽出される様子を示す図である。
図26に示すように、デバイスA300は、特定模様330でタッチスクリーン120に接触され、インターフェース装置100は接触された特定模様330のタッチに対応するデバイスに対する情報を保存部160に予め保存している。
従って、タッチスクリーン120を介してデバイスA300のタッチが入力されると、制御部140はデバイスA300に保存されたコンテンツ情報が伝送されるようにするためのデバイス制御命令を生成してデバイスA300に伝送する。
これにより、デバイスA300は、自分が保存しているデバイスA300に対する情報をインターフェース装置100の通信モジュール150に伝達するようになる。
制御部140は、通信モジュール150からデバイスA300に対する情報であるデバイスA300に保存されたコンテンツ情報を抽出し、抽出されたコンテンツがモニタ11またはタッチスクリーン120に表示されるようにする制御命令を生成し、モニタ11またはタッチスクリーン120に伝送する。これにより、モニタ11またはタッチスクリーン120には、デバイスA300に保存されたコンテンツが表示されるようになる。
無論、図25および図26に示す図に基づいて説明された事項は、説明の便宜のための例示的なものに過ぎず、他の方式を用いてデバイスに対する情報がインターフェース装置100に伝達できることはいうまでもない。
図27は、2つのモニタ11−1、11−2と連動するためのインターフェース操作の概念説明に提供される図である。
インターフェース装置100は、2つ以上の連動装置と連動して動作されることができ、図27はこれに対する例示として、2つのモニタ11−1、11−2と連動して動作するインターフェース装置100のタッチスクリーン120を示した。
従って、制御部140は、タッチスクリーン120を介して入力されたタッチを用いて、制御命令を生成し、タッチスクリーン120、第1のモニタ11−1または第2のモニタ11−2の動作を制御することができる。なお、制御部140は、モーション検知センサー130によって検知されたモーションを用いて、制御命令を生成し、タッチスクリーン120、第1のモニタ11−1または第2のモニタ11−2の動作を制御することができる。
一方、以上では、デバイスがタッチスクリーン120にタッチされた接触面の特定模様350によって、デバイスに対する情報が抽出されると上述した。制御部140は、このような接触面の特定模様350を用いて、抽出されたデバイスに対する情報をどの連動装置に伝送するかを決定することができる。
例えば、図27に示された場合のように、デバイスがタッチスクリーン120にタッチされた接触面の特定模様350が方向性をもっている場合、制御部140は、特定模様350の方向情報を用いて、第1モニタ11−1および第2のモニタ11−2のうち方向情報に対応するモニタである第2のモニタ11−2に、デバイスに保存されたコンテンツが表示されるようにすることができる。この場合、保存部160は、デバイスのタッチされた特定模様350に対する情報を保存しており、保存された特定模様350と、タッチされた特定模様350を比較し、方向情報が分かる。
主に、ユーザUがデバイスをタッチスクリーン120に位置させる際、デバイスが特定方向を向くように意図的に位置させた場合が、これに該当する。
図28および図29は、デバイスのタッチによる更に別のインターフェース装置に対する概念説明に提供される図である。
図28は、デバイスタッチによるメニューアイテムがモニタ11ではなくタッチスクリーン120に表示される様子を示す図である。図28に示すように、デバイスタッチによるメニューアイテムは、直ちにモニタ11に生成されず、デバイスがタッチされた領域の周辺に生成されるように実現できる。
これにより、生成されたメニューアイテムが如何なる動作に基づいて生成されたものであるか、如何なるデバイスに保存されたメニューに関するアイテムであるかを直観的に分かる。
以後、ユーザUは、タッチスクリーン120に表示されたメニューアイテムのうち1つのコンテンツアイテムを操作し、操作されたコンテンツアイテムに対応するコンテンツがモニタ11に表示されるようにすることができる。
図29は、デバイスタッチによるメニューアイテムが、タッチスクリーン120でないモニタ11に表示される様子を示す図である。図29に示すように、デバイスタッチによるメニューアイテムは、デバイスのタッチされた領域またはその周辺に生成されずに、直ちにモニタ11に生成されるように実現できる。
その後、ユーザUは、モニタ11に表示されたメニューアイテムのうち1つのコンテンツアイテムを操作し、操作されたコンテンツアイテムに対応するコンテンツがモニタ11に表示されるようにすることができる。これは、タッチでないユーザUのモーションを検知してコンテンツアイテムを操作する場合であるといえる。
これにより、ユーザUは、モニタ11に生成されたメニューアイテムを操作し、操作されたアイテムに対応する画面がモニタ11に表示されるように実現できる。これは、アイテムに対応する画面に表示するにおいて、タッチスクリーン120のサイズが小さい場合を例として挙げられる。
図30および図31は、2つのデバイスを用いて、マルチデバイスタッチによるメニューアイテムがそれぞれ表示される様子を示す図である。
図示のように、デバイスA300とデバイスB400とがタッチスクリーン120に位置すると、タッチスクリーン120は、デバイスタッチを認識し、制御部140は、入力されたデバイスタッチに基づいてデバイスAおよびデバイスBに関する情報を抽出する。
図30は、このようなデバイスAに関する情報であるメニューアイテムおよびデバイスBに関する情報であるメニューアイテムがモニタ11に表示された様子を示したものである。モニタ11には、デバイスAに保存されたコンテンツに関するメニューアイテムが示されており、なお、デバイスBに保存されたコンテンツに関するメニューアイテムが示されている。
これにより、ユーザUは、2つ以上の複数のデバイスに関する情報を一目で分かる。
一方、ユーザUは、図31に示すように、2つ以上の複数のデバイスに関する情報を確認し、それぞれのデバイスに保存されたコンテンツを簡単に送受信できる。
図32は、本発明の一実施形態に係るインターフェース方法を説明するためのフローチャートである。
まず、制御部140は、タッチスクリーン120を介して、ユーザUのタッチが入力されたか否かを判断する(S510)。ユーザUのタッチが入力された場合(S510−Y)、制御部140は、タッチの2次元座標情報を抽出する(S520)。
その後、制御部140は、モーション検知センサー130を介して、ユーザUのモーションが検知されたか否かを判断する(S530)。ユーザUのモーションが検知された場合(S530−Y)、制御部140は、モーションの3次元座標情報およびモーションの形態情報を抽出する(S540)。
制御部140は、領域区分けが設定されたか否かを判断する(S550)。領域区分けが設定された場合(S550−Y)、制御部140は、抽出された情報を用いて領域を判断し、判断された領域に基づいて制御命令を生成する(S560)。しかし、領域区分けが設定されていない場合(S550−N)、制御部140は、抽出された情報のみを用いて制御命令を生成するようになる(S570)。
その後、制御部140は、抽出された情報を用いて、制御命令がタッチスクリーン120または連動装置10に伝達されるようにし(S580)、タッチスクリーン120または連動装置10は、受信された制御命令に従って動作するようになる(S590)。
これにより、ユーザは、より簡単かつ便利に直観的にGUIを操作することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10 連動装置
11 モニタ
13 プリンタ
15 MP3P
17 PC
100 インターフェース装置
110 マルチメディア機能ブロック
120 タッチスクリーン
130 モーション検知センサー
140 制御部
150 通信モジュール
160 保存部
200 ポインター
300 デバイスA
310 RFIDカード
330、350 特定模様
400 デバイスB
11 モニタ
13 プリンタ
15 MP3P
17 PC
100 インターフェース装置
110 マルチメディア機能ブロック
120 タッチスクリーン
130 モーション検知センサー
140 制御部
150 通信モジュール
160 保存部
200 ポインター
300 デバイスA
310 RFIDカード
330、350 特定模様
400 デバイスB
Claims (8)
- 第1のディスプレイ装置であって、
通信部と、
第1のオブジェクトを表示してタッチを検知するタッチスクリーン部と、
ユーザ客体のモーションを検知するモーション検知部と、
前記第1のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第1のオブジェクトを第2のディスプレイ装置に伝送するように前記通信部を制御するプロセッサと、を有する、
第1のディスプレイ装置。 - 前記ユーザ客体のモーションは、ドラッグ動作によるモーションである、
請求項1に記載の第1のディスプレイ装置。 - 前記第1のオブジェクトは映像である、
請求項2に記載の第1のディスプレイ装置。 - 前記プロセッサは、
前記ユーザ客体の予め設定された地点に対応する前記第2のディスプレイ装置の表示における地点に、前記第1のオブジェクトを表示するための制御命令を生成して前記第2のディスプレイ装置に伝送するように、前記通信部を制御する、
請求項1に記載の第1のディスプレイ装置。 - 前記プロセッサは、
前記第2のディスプレイ装置に第2のオブジェクトが表示された状態で前記ユーザ客体のモーションが検知されると、
前記表示された第1のオブジェクトを前記第2のディスプレイ装置に伝送し、前記第2のディスプレイ装置から前記第2のオブジェクトを受信して表示するように、前記タッチスクリーン部を制御する、
請求項1に記載の第1のディスプレイ装置。 - 前記プロセッサは、
前記タッチスクリーン部を介してアルファベット“L”字状のドラッグに入力が受信されると、前記第1のディスプレイ装置の使用をロックし、前記第1のディスプレイ装置の使用が制限されることを表示するように制御する、
請求項1に記載の第1のディスプレイ装置。 - 前記プロセッサは、
前記ユーザ客体のモーションが3次元空間上の予め設定された領域内で検知される場合に限り、前記検知されたユーザ客体のモーションに応じて前記表示された第1のオブジェクトを前記第2のディスプレイ装置に伝送するように、前記通信部を制御する、
請求項1に記載の第1のディスプレイ装置。 - インターフェースシステムであって、
第1のオブジェクトを表示してタッチを検知し、ユーザ客体のモーションを検知する第1のディスプレイ装置と、
第2のディスプレイ装置と、を有し、
前記第1のディスプレイ装置は、前記第1のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第1のオブジェクトを第2のディスプレイ装置に伝送する、
インターフェースシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2008-0107096 | 2008-10-30 | ||
KR1020080107096A KR20100048090A (ko) | 2008-10-30 | 2008-10-30 | 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011534378A Division JP2012507775A (ja) | 2008-10-30 | 2009-10-21 | タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015111447A true JP2015111447A (ja) | 2015-06-18 |
JP2015111447A5 JP2015111447A5 (ja) | 2016-08-18 |
Family
ID=42129421
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011534378A Pending JP2012507775A (ja) | 2008-10-30 | 2009-10-21 | タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法 |
JP2015019155A Pending JP2015111447A (ja) | 2008-10-30 | 2015-02-03 | ディスプレイ装置及びインターフェースシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011534378A Pending JP2012507775A (ja) | 2008-10-30 | 2009-10-21 | タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100110032A1 (ja) |
EP (1) | EP2350788A4 (ja) |
JP (2) | JP2012507775A (ja) |
KR (1) | KR20100048090A (ja) |
CN (1) | CN102203704A (ja) |
WO (1) | WO2010050693A2 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100075009A (ko) | 2008-12-24 | 2010-07-02 | 삼성전자주식회사 | Gui 제공방법 및 장치 |
US9798518B1 (en) * | 2010-03-26 | 2017-10-24 | Open Invention Network Llc | Method and apparatus for processing data based on touch events on a touch sensitive device |
US10191609B1 (en) | 2010-03-26 | 2019-01-29 | Open Invention Network Llc | Method and apparatus of providing a customized user interface |
US8786875B1 (en) | 2010-03-26 | 2014-07-22 | Open Invention Network, Llc | Systems and methods for printing a document from a mobile communication device |
US8892594B1 (en) | 2010-06-28 | 2014-11-18 | Open Invention Network, Llc | System and method for search with the aid of images associated with product categories |
CA2814869A1 (en) | 2010-10-22 | 2012-04-26 | Joshua Michael Young | Methods devices and systems for creating control signals |
KR101199970B1 (ko) * | 2010-10-29 | 2012-11-12 | 전남대학교산학협력단 | 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법 |
US20120139907A1 (en) * | 2010-12-06 | 2012-06-07 | Samsung Electronics Co., Ltd. | 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system |
KR101297459B1 (ko) * | 2010-12-30 | 2013-08-16 | 주식회사 팬택 | 휴대용 단말기의 3차원 인터페이스 장치 및 방법 |
WO2012124997A2 (ko) * | 2011-03-17 | 2012-09-20 | 한국전자통신연구원 | 향상된 사용자 상호작용 인터페이스 방법 및 장치 |
GB2490108B (en) * | 2011-04-13 | 2018-01-17 | Nokia Technologies Oy | A method, apparatus and computer program for user control of a state of an apparatus |
JP5323126B2 (ja) * | 2011-05-20 | 2013-10-23 | シャープ株式会社 | 画像処理システム、画像処理装置、及び、指示受付装置 |
US9513799B2 (en) | 2011-06-05 | 2016-12-06 | Apple Inc. | Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities |
TWI446255B (zh) * | 2011-07-28 | 2014-07-21 | Wistron Corp | 具有螢幕顯示選單功能之顯示裝置 |
US9116611B2 (en) | 2011-12-29 | 2015-08-25 | Apple Inc. | Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input |
JP6123160B2 (ja) * | 2012-03-13 | 2017-05-10 | 株式会社ニコン | 電子機器、及び表示装置 |
GB2511668A (en) | 2012-04-12 | 2014-09-10 | Supercell Oy | System and method for controlling technical processes |
US8954890B2 (en) * | 2012-04-12 | 2015-02-10 | Supercell Oy | System, method and graphical user interface for controlling a game |
US8814674B2 (en) | 2012-05-24 | 2014-08-26 | Supercell Oy | Graphical user interface for a gaming system |
CN102681727B (zh) * | 2012-05-09 | 2018-08-14 | 闻泰通讯股份有限公司 | 一种触摸及动作感应结合的电子设备控制***及方法 |
CN103777747A (zh) * | 2012-10-26 | 2014-05-07 | 上海斐讯数据通信技术有限公司 | 一种移动终端、移动终端锁屏方法及解锁方法 |
KR101481891B1 (ko) * | 2013-04-19 | 2015-01-26 | 전북대학교산학협력단 | 모바일 단말 및 이의 제어 방법 |
JP2015011106A (ja) * | 2013-06-27 | 2015-01-19 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
JP6293372B2 (ja) * | 2015-05-20 | 2018-03-14 | 三菱電機株式会社 | 情報処理装置及びインタロック制御方法 |
US9961239B2 (en) | 2015-06-07 | 2018-05-01 | Apple Inc. | Touch accommodation options |
KR101754126B1 (ko) * | 2015-06-10 | 2017-07-19 | 주식회사 브이터치 | 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치 |
CN107255942A (zh) * | 2017-06-02 | 2017-10-17 | 昆山锐芯微电子有限公司 | 智能设备的控制方法、装置及***、存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05324181A (ja) * | 1992-05-26 | 1993-12-07 | Takenaka Komuten Co Ltd | ハンドポインティング式入力装置 |
JP2001125727A (ja) * | 1999-10-26 | 2001-05-11 | Canon Inc | 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体 |
JP2003333359A (ja) * | 2002-05-13 | 2003-11-21 | Sony Corp | 映像表示システム及び映像表示制御装置 |
JP2004030284A (ja) * | 2002-06-26 | 2004-01-29 | Takenaka Komuten Co Ltd | シームレスポインティングシステム |
US20040215815A1 (en) * | 2003-04-22 | 2004-10-28 | Sony Corporation | Data communication system, data communication apparatus and data communication method, connection establishment method and apparatus, connection establishment system, and computer program thereof |
JP2004336597A (ja) * | 2003-05-12 | 2004-11-25 | Sony Corp | 操作入力受付装置、操作入力受付方法および遠隔操作システム |
JP2006072858A (ja) * | 2004-09-03 | 2006-03-16 | Canon Inc | 画像処理装置、画像処理方法、コンピュータプログラム、コンピュータ読み取り可能な記録媒体、及び画像形成システム |
US20060262221A1 (en) * | 2005-05-23 | 2006-11-23 | Sony Corporation | Content display-playback system, content display-playback method, and recording medium and operation control apparatus used therewith |
JP2006338328A (ja) * | 2005-06-02 | 2006-12-14 | Fuji Xerox Co Ltd | 操作システム、処理装置、指示装置、操作方法およびプログラム |
JP2006352827A (ja) * | 2005-05-18 | 2006-12-28 | Sony Corp | コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7084859B1 (en) * | 1992-09-18 | 2006-08-01 | Pryor Timothy R | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
US9513744B2 (en) * | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
US5900863A (en) * | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US7586398B2 (en) * | 1998-07-23 | 2009-09-08 | Universal Electronics, Inc. | System and method for setting up a universal remote control |
EP1100243A3 (en) * | 1999-11-12 | 2004-03-17 | Sony Corporation | Telephone set, communication adaptor, home appliance control method, and program recording medium |
JP4332964B2 (ja) * | 1999-12-21 | 2009-09-16 | ソニー株式会社 | 情報入出力システム及び情報入出力方法 |
US20080122799A1 (en) * | 2001-02-22 | 2008-05-29 | Pryor Timothy R | Human interfaces for vehicles, homes, and other applications |
US20030048280A1 (en) * | 2001-09-12 | 2003-03-13 | Russell Ryan S. | Interactive environment using computer vision and touchscreens |
JP2004129698A (ja) * | 2002-10-08 | 2004-04-30 | Japan Science & Technology Agency | 運動機能障害者用リハビリテーション支援装置 |
KR100533839B1 (ko) * | 2003-03-14 | 2005-12-07 | 삼성전자주식회사 | 동작기반 전자기기 제어장치 및 그 제어방법 |
GB0311177D0 (en) * | 2003-05-15 | 2003-06-18 | Qinetiq Ltd | Non contact human-computer interface |
US7218313B2 (en) * | 2003-10-31 | 2007-05-15 | Zeetoo, Inc. | Human interface system |
US7620915B2 (en) * | 2004-02-13 | 2009-11-17 | Ludwig Lester F | Electronic document editing employing multiple cursors |
KR20070011391A (ko) * | 2004-04-23 | 2007-01-24 | 서크 코퍼레이션 | 터치패드 상에서 이뤄지는 스크롤링과 에지 모션을 위한개선된 방법 |
CN100426208C (zh) * | 2004-06-07 | 2008-10-15 | 皇家飞利浦电子股份有限公司 | 空间交互*** |
KR100674090B1 (ko) * | 2004-12-20 | 2007-01-24 | 한국전자통신연구원 | 착용형 범용 3차원 입력 시스템 |
JP4581890B2 (ja) * | 2005-07-26 | 2010-11-17 | ソニー株式会社 | 電子機器、記録制御方法、プログラムおよび記録媒体 |
US7636794B2 (en) * | 2005-10-31 | 2009-12-22 | Microsoft Corporation | Distributed sensing techniques for mobile devices |
AU2006332488A1 (en) * | 2005-12-30 | 2007-07-12 | Apple Inc. | Portable electronic device with multi-touch input |
US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US20080040692A1 (en) * | 2006-06-29 | 2008-02-14 | Microsoft Corporation | Gesture input |
JP2008084158A (ja) * | 2006-09-28 | 2008-04-10 | Toyota Motor Corp | 入力装置 |
US20080134102A1 (en) * | 2006-12-05 | 2008-06-05 | Sony Ericsson Mobile Communications Ab | Method and system for detecting movement of an object |
US20080136679A1 (en) * | 2006-12-06 | 2008-06-12 | Newman Mark W | Using sequential taps to enter text |
US7956847B2 (en) * | 2007-01-05 | 2011-06-07 | Apple Inc. | Gestures for controlling, manipulating, and editing of media files using touch sensitive devices |
JP4333768B2 (ja) * | 2007-04-06 | 2009-09-16 | ソニー株式会社 | 表示装置 |
KR101278159B1 (ko) | 2007-06-05 | 2013-06-27 | 삼성전자주식회사 | 드럼세탁기 및 드럼세탁기의 도어 |
US8219936B2 (en) * | 2007-08-30 | 2012-07-10 | Lg Electronics Inc. | User interface for a mobile device using a user's gesture in the proximity of an electronic device |
US20090235006A1 (en) * | 2008-03-12 | 2009-09-17 | Graco Children's Products Inc. | Baby Monitoring System with a Receiver Docking Station |
-
2008
- 2008-10-30 KR KR1020080107096A patent/KR20100048090A/ko active Search and Examination
-
2009
- 2009-10-21 JP JP2011534378A patent/JP2012507775A/ja active Pending
- 2009-10-21 EP EP09823773A patent/EP2350788A4/en not_active Ceased
- 2009-10-21 CN CN200980144236XA patent/CN102203704A/zh active Pending
- 2009-10-21 WO PCT/KR2009/006091 patent/WO2010050693A2/en active Application Filing
- 2009-10-26 US US12/605,665 patent/US20100110032A1/en not_active Abandoned
-
2015
- 2015-02-03 JP JP2015019155A patent/JP2015111447A/ja active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05324181A (ja) * | 1992-05-26 | 1993-12-07 | Takenaka Komuten Co Ltd | ハンドポインティング式入力装置 |
JP2001125727A (ja) * | 1999-10-26 | 2001-05-11 | Canon Inc | 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体 |
US20050174489A1 (en) * | 2002-05-13 | 2005-08-11 | Sony Corporation | Video display system and video display control apparatus |
JP2003333359A (ja) * | 2002-05-13 | 2003-11-21 | Sony Corp | 映像表示システム及び映像表示制御装置 |
JP2004030284A (ja) * | 2002-06-26 | 2004-01-29 | Takenaka Komuten Co Ltd | シームレスポインティングシステム |
US20040215815A1 (en) * | 2003-04-22 | 2004-10-28 | Sony Corporation | Data communication system, data communication apparatus and data communication method, connection establishment method and apparatus, connection establishment system, and computer program thereof |
JP2004328093A (ja) * | 2003-04-22 | 2004-11-18 | Sony Corp | データ通信システム、データ通信装置及びデータ通信方法、接続確立方法及び接続確立装置、接続確立システム、並びにコンピュータ・プログラム |
JP2004336597A (ja) * | 2003-05-12 | 2004-11-25 | Sony Corp | 操作入力受付装置、操作入力受付方法および遠隔操作システム |
JP2006072858A (ja) * | 2004-09-03 | 2006-03-16 | Canon Inc | 画像処理装置、画像処理方法、コンピュータプログラム、コンピュータ読み取り可能な記録媒体、及び画像形成システム |
JP2006352827A (ja) * | 2005-05-18 | 2006-12-28 | Sony Corp | コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置 |
US20060262221A1 (en) * | 2005-05-23 | 2006-11-23 | Sony Corporation | Content display-playback system, content display-playback method, and recording medium and operation control apparatus used therewith |
JP2007004773A (ja) * | 2005-05-23 | 2007-01-11 | Sony Corp | コンテンツ表示再生システム、コンテンツ表示再生方法、記録媒体、及び操作制御装置 |
JP2006338328A (ja) * | 2005-06-02 | 2006-12-14 | Fuji Xerox Co Ltd | 操作システム、処理装置、指示装置、操作方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2350788A4 (en) | 2013-03-20 |
JP2012507775A (ja) | 2012-03-29 |
WO2010050693A3 (en) | 2010-08-26 |
US20100110032A1 (en) | 2010-05-06 |
WO2010050693A2 (en) | 2010-05-06 |
CN102203704A (zh) | 2011-09-28 |
EP2350788A2 (en) | 2011-08-03 |
KR20100048090A (ko) | 2010-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015111447A (ja) | ディスプレイ装置及びインターフェースシステム | |
US9507507B2 (en) | Information processing apparatus, information processing method and program | |
JP5580694B2 (ja) | 情報処理装置、その制御方法、プログラム及び記憶媒体 | |
KR102040857B1 (ko) | 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기 | |
JP5066055B2 (ja) | 画像表示装置、画像表示方法およびプログラム | |
JP6233314B2 (ja) | 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 | |
JP4818036B2 (ja) | タッチパネル制御装置およびタッチパネル制御方法 | |
EP2204729A2 (en) | Information processing apparatus, information processing method, and program | |
KR102168648B1 (ko) | 사용자 단말 장치 및 그 제어 방법 | |
US9733711B2 (en) | Sensing module, and graphical user interface (GUI) control apparatus and method | |
JP2001265523A (ja) | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 | |
EP2426585A2 (en) | Information processing apparatus, information processing method, and computer program. | |
CN103294337A (zh) | 电子装置及控制方法 | |
KR20130099186A (ko) | 표시 장치, 유저 인터페이스 방법, 및 프로그램 | |
KR20150014745A (ko) | 휴대단말기의 락 또는 언락 제어 방법 및 장치 | |
US20140240245A1 (en) | Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same | |
KR20150031986A (ko) | 디스플레이장치 및 그 제어방법 | |
KR20130123261A (ko) | 전자 장치 및 이를 위한 잠금 해제 장치와 방법 | |
JP6248462B2 (ja) | 情報処理装置及びプログラム | |
KR102655584B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 제어 방법 | |
KR20150094967A (ko) | 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법 | |
JP5865615B2 (ja) | 電子機器および制御方法 | |
KR101435773B1 (ko) | 스마트 tv 의 원격 제어 장치 및 원격 제어 방법. | |
KR102350382B1 (ko) | 디스플레이장치 및 그 제어방법 | |
JP5165661B2 (ja) | 制御装置、制御方法、制御プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170425 |