JP2013008127A - 情報処理装置、プログラムおよび連携処理方法 - Google Patents
情報処理装置、プログラムおよび連携処理方法 Download PDFInfo
- Publication number
- JP2013008127A JP2013008127A JP2011139276A JP2011139276A JP2013008127A JP 2013008127 A JP2013008127 A JP 2013008127A JP 2011139276 A JP2011139276 A JP 2011139276A JP 2011139276 A JP2011139276 A JP 2011139276A JP 2013008127 A JP2013008127 A JP 2013008127A
- Authority
- JP
- Japan
- Prior art keywords
- information
- input
- output
- area
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】直感的な操作によりアプリケーションを組合せて使用することを可能とする。
【解決手段】第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、上記所定の第1の位置関係が満たされると判定される場合に、上記情報出力領域に関連付けられている上記第2のアプリケーションの出力情報を、上記情報入力領域に関連付けられている入力情報として上記第1のアプリケーションに入力する連携処理部と、を備える情報処理装置が提供される。
【選択図】図1
【解決手段】第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、上記所定の第1の位置関係が満たされると判定される場合に、上記情報出力領域に関連付けられている上記第2のアプリケーションの出力情報を、上記情報入力領域に関連付けられている入力情報として上記第1のアプリケーションに入力する連携処理部と、を備える情報処理装置が提供される。
【選択図】図1
Description
本開示は、情報処理装置、プログラムおよび連携処理方法に関する。
一般的に、コンピュータは、グラフィカルユーザインターフェース(Graphical User Interface:GUI)によって、テキスト、画像、映像等のグラフィックを表示画面上に表示し、ユーザが各種操作を行うことを可能とする。コンピュータ上で動作する各アプリケーションは、表示画面上で与えられたウィンドウ等の表示領域にグラフィックを表示し、当該表示領域を介したユーザの操作に応じて処理を実行する。
各アプリケーションは、より高い操作性を提供することを求められている。それに伴い、アプリケーションに関する様々な操作手法が提示されている。例えば、下記特許文献1は、検索アプリケーションにおいて、ユーザにより指定された検索元オブジェクトに関連する関連オブジェクトと、当該関連オブジェクトの表示数を設定するための表示数設定オブジェクトとを共に表示し、当該表示数設定オブジェクトに対する操作により関連オブジェクトの表示数を増減することを提示している。
しかし、上記特許文献1等に記載された操作手法では、各アプリケーションでの操作性を向上できるものの、アプリケーションを組合せて使用する場合の操作性を向上することはできない。例えば、ユーザは、あるアプリケーションの出力情報を別のアプリケーションに入力しようとすると、当該出力情報のコピーペースト等の従来型の操作を行う必要がある。
そこで、本開示では、直感的な操作によりアプリケーションを組合せて使用することが可能な、新規かつ改良された情報処理装置、プログラムおよび連携処理方法を提案する。
本開示によれば、第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、上記所定の第1の位置関係が満たされると判定される場合に、上記情報出力領域に関連付けられている上記第2のアプリケーションの出力情報を、上記情報入力領域に関連付けられている入力情報として上記第1のアプリケーションに入力する連携処理部と、を備える情報処理装置が提供される。
また、本開示によれば、情報処理装置を制御するコンピュータを、第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、上記所定の第1の位置関係が満たされると判定される場合に、上記情報出力領域に関連付けられている上記第2のアプリケーションの出力情報を、上記情報入力領域に関連付けられている入力情報として上記第1のアプリケーションに入力する連携処理部と、として機能させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。
また、本開示によれば、第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定することと、上記所定の第1の位置関係が満たされると判定される場合に、上記情報出力領域に関連付けられている上記第2のアプリケーションの出力情報を、上記情報入力領域に関連付けられている入力情報として上記第1のアプリケーションに入力することと、を含む連携処理方法が提供される。
以上説明したように本開示によれば、直感的な操作によりアプリケーションを組合せて使用することが可能となる。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
各実施形態に係る情報処理装置は、例えば、PC(Personal Computer)、スマートフォン、携帯情報端末(Personal Digital Assistant)等の複数のアプリケーションを動作させ表示する装置であってよい。また、情報処理装置は、これらの装置と接続される周辺機器であってもよい。
また、本実施形態における「アプリケーション」とは、特定の処理を行うためのソフトウェアを意味する。したがって、ここでのアプリケーションは、オペレーティングシステム(OS)上で動作するソフトウェアには限定されない。例えば、アプリケーションは、OSの一部を構成するソフトウェアであってもよい。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.アプリケーション間の連携処理の例
1.2.情報処理装置の構成例
1.3.処理の流れの例
2.第2の実施形態
2.1.アプリケーション間の連携処理の例
2.2.情報処理装置の構成例
2.3.処理の流れの例
3.情報処理装置のハードウェア構成例
4.まとめ
1.第1の実施形態
1.1.アプリケーション間の連携処理の例
1.2.情報処理装置の構成例
1.3.処理の流れの例
2.第2の実施形態
2.1.アプリケーション間の連携処理の例
2.2.情報処理装置の構成例
2.3.処理の流れの例
3.情報処理装置のハードウェア構成例
4.まとめ
<1.第1の実施形態>
[1.1.アプリケーション間の連携処理の例]
(アプリケーションの表示領域)
第1の実施形態に係る情報処理装置100は、例えば、表示画面上の一部の表示領域をアプリケーションに割り当てる。各アプリケーションは、割当てられた表示領域にテキスト、画像、映像等のグラフィックを表示することにより、ユーザに情報を提供できる。当該表示領域は、例えばウィンドウである。アプリケーションのユーザは、タッチスクリーンへのタッチ操作、マウスによる操作等によって、アプリケーションの表示領域を表示画面上で移動させることができる。なお、上記表示画面は、情報処理装置100により備えられていてもよく、また情報処理装置100に接続された装置により備えられていてもよい。
[1.1.アプリケーション間の連携処理の例]
(アプリケーションの表示領域)
第1の実施形態に係る情報処理装置100は、例えば、表示画面上の一部の表示領域をアプリケーションに割り当てる。各アプリケーションは、割当てられた表示領域にテキスト、画像、映像等のグラフィックを表示することにより、ユーザに情報を提供できる。当該表示領域は、例えばウィンドウである。アプリケーションのユーザは、タッチスクリーンへのタッチ操作、マウスによる操作等によって、アプリケーションの表示領域を表示画面上で移動させることができる。なお、上記表示画面は、情報処理装置100により備えられていてもよく、また情報処理装置100に接続された装置により備えられていてもよい。
図1は、第1の実施形態に係るアプリケーションの表示領域の一例を示す説明図である。図1を参照すると、アプリケーションの表示領域10は、情報入力領域12および情報出力領域14を含む。情報入力領域12は、アプリケーションへの入力情報に関連付けられている。ここでの入力情報とは、入力される具体的な情報ではなく、アプリケーションの引数を示す。そして、情報入力領域12には、当該領域がアプリケーションへの入力を受け付ける領域であることを示すグラフィックが、表示される。一方で、情報出力領域14は、アプリケーションの出力情報に関連付けられている。そして、情報出力領域14には、アプリケーションの出力情報のメタファとなるグラフィックが表示される。
図2は、第1の実施形態に係る具体的なアプリケーションの表示領域の一例を示す説明図である。図2に示されているアプリケーションは、地図表示アプリケーションである。当該地図表示アプリケーションは、住所を入力されると、当該住所を含む地図を表示する。そして、表示された地図上の各地点には、当該地点に関する情報(住所情報、緯度情報、経度情報、建物名情報、等)が関連付けられている。図2を参照すると、表示画面80上に表示されている当該アプリケーションの表示領域20は、情報入力領域22および情報出力領域24を含む。情報入力領域22には、テキストボックスが表示されている。そして、当該情報入力領域22は、アプリケーションへの入力情報である住所情報に関連付けられている。一方で、情報出力領域24には、入力情報である住所情報に応じた地図が表示される。そして、当該出力領域24は、アプリケーションからの出力情報である地図上の各地点に関する情報(住所情報、緯度情報、建物名情報、等)に関連付けられている。
図1に示される情報出力領域14は、1つ以上の出力情報候補に関連付けられていてもよい。例えば、図2に示される情報出力領域24は、各地点の住所情報、緯度情報、建物情報等と関連付けられている。この場合、これらの個々の情報および個々の情報の組合せのいずれかが、出力情報とされる。
また、図1に示される情報出力領域14は、複数の個別出力領域を含んでいてもよい。そして、各個別出力領域が、それぞれ1つ以上の出力情報候補に関連付けられていてもよい。例えば、図2に示される情報出力領域24は、厳密には各地点に区分けされた個別出力領域からなる。そして、各個別出力領域は、各地点に関する住所情報、緯度情報、建物名情報、等の出力情報候補に関連付けられている。
なお、情報入力領域12および情報出力領域14の各々の大きさや位置は特に限定されない。また、図1に示される例では、アプリケーションの表示領域10は、情報入力領域12および情報出力領域14の両方を含むこととしたが、例えば、アプリケーションの表示領域10は、情報入力領域12または情報出力領域14のいずれか一方のみを含んでもよい。
(連携処理の手法)
本実施形態に係る情報処理装置100は、第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係(以下、「連携実行位置関係」と呼ぶ)を満たすか否か、を判定する。そして、上記情報処理装置100は、連携実行位置関係が満たされる場合に、情報出力領域に関連付けられている第2のアプリケーションの出力情報を、情報入力領域に関連付けられている入力情報として第1のアプリケーションに入力する。例えば、当該連携実行位置関係は、情報入力領域と情報出力領域とが少なくとも部分的に重なる位置関係である。この場合、ユーザは、タッチ操作、マウスによる操作等により、第1のアプリケーションの情報入力領域と第2のアプリケーションの情報出力領域とを重ねることで、第2のアプリケーションの出力情報を第1のアプリケーションに入力することができる。このように、ユーザは、直感的な操作によりアプリケーションを組合せて使用することが可能となる。
本実施形態に係る情報処理装置100は、第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係(以下、「連携実行位置関係」と呼ぶ)を満たすか否か、を判定する。そして、上記情報処理装置100は、連携実行位置関係が満たされる場合に、情報出力領域に関連付けられている第2のアプリケーションの出力情報を、情報入力領域に関連付けられている入力情報として第1のアプリケーションに入力する。例えば、当該連携実行位置関係は、情報入力領域と情報出力領域とが少なくとも部分的に重なる位置関係である。この場合、ユーザは、タッチ操作、マウスによる操作等により、第1のアプリケーションの情報入力領域と第2のアプリケーションの情報出力領域とを重ねることで、第2のアプリケーションの出力情報を第1のアプリケーションに入力することができる。このように、ユーザは、直感的な操作によりアプリケーションを組合せて使用することが可能となる。
(例1)
図3は、第1の実施形態に係るアプリケーション間の連携処理の一例を示す説明図である。図3を参照すると、図2を参照して説明された地図表示アプリケーションの表示領域20と、ロケーションメッセージアプリケーション(以下、「LMアプリケーション」と呼ぶ)の表示領域30とが表示画面80上に表示されている。
図3は、第1の実施形態に係るアプリケーション間の連携処理の一例を示す説明図である。図3を参照すると、図2を参照して説明された地図表示アプリケーションの表示領域20と、ロケーションメッセージアプリケーション(以下、「LMアプリケーション」と呼ぶ)の表示領域30とが表示画面80上に表示されている。
上記LMアプリケーションは、住所を入力されると、当該住所の周辺に存在するメッセージを表示する。当該メッセージは、例えばTwitterにより投稿されたメッセージ、すなわちツイートである。図3を参照すると、当該アプリケーションの表示領域30は、情報入力領域32および情報出力領域34を含む。情報入力領域32には、地図上の地点を指し示すためのピンが表示されている。そして、当該情報入力領域32は、アプリケーションへの入力情報である住所情報が関連付けられている。一方で、情報出力領域34には、入力情報である住所情報に応じたメッセージが表示される。ここでは、例えば、メッセージの一部(最初の20文字のみ)が表示される。そして、当該情報出力領域34は、各メッセージに関する情報(メッセージの全文、投稿者、等)に関連付けられている。
図3を参照すると、まず(a)で、地図表示アプリケーションの表示領域20とLMアプリケーションの表示領域30とが、ユーザの操作により近づけられる。ここでは、当該ユーザの操作は、タッチスクリーンへのタッチ操作として示されている。このように、情報入力領域32が情報出力領域24に近づけられると、情報出力領域24に関連付けられている出力情報が、情報入力領域32に関連付けられている入力情報として入力できるか否か、が判定される。ここで、例えば予め定められている地図表示アプリケーションとLMアプリケーションとの連携情報が参照されて、情報出力領域24に関連付けられている出力情報(住所情報)を、情報入力領域32に関連付けられている入力情報(住所情報)として入力できる、と判定される。
次に(b)で、情報入力領域32と情報出力領域24とが重ねられる。すると、(c)のように、情報入力領域32に、入力情報を受け付け可能であることが示される。そして、(d)のように、情報出力領域24の地図上で情報入力領域32に表示されているピンが指している地点の住所情報が、LMアプリケーションへの入力情報として入力される。その結果、LMアプリケーションの情報出力領域34には、上記住所情報により示される住所の周辺のメッセージが表示される。
(例2)
図4は、第1の実施形態に係るアプリケーション間の連携処理の一例を示す説明図である。図4を参照すると、写真表示アプリケーションの表示領域40と、半自動動画作成アプリケーションの表示領域50とが表示画面80上に表示されている。
図4は、第1の実施形態に係るアプリケーション間の連携処理の一例を示す説明図である。図4を参照すると、写真表示アプリケーションの表示領域40と、半自動動画作成アプリケーションの表示領域50とが表示画面80上に表示されている。
上記写真表示アプリケーションは、テキストを入力されると、当該テキストに関連する写真のサムネイルを表示する。例えば、人物名が入力されると、当該人物に関する写真のサムネイルが表示される。図4を参照すると、当該アプリケーションの表示領域40は、情報入力領域42と情報出力領域44を含む。情報入力領域42には、テキストボックスが表示されている。そして、当該入力領域42は、アプリケーションへの入力情報であるテキストに関連付けられている。一方で、情報出力領域44には、入力情報であるテキストに応じた写真のサムネイルが表示される。そして、情報出力領域44は、アプリケーションからの出力情報である、各サムネイルの原写真データに関連付けられている。
上記半自動動画作成アプリケーションは、写真等の画像を入力されると、当該画像に基づき動画像を自動的に作成し、当該動画像を表示する。例えば、当該動画像は、入力された画像のスライドショーである。図4を参照すると、当該アプリケーションの表示領域50は、情報入力領域52と領域54を含む。情報入力領域42には、画像を入力する箇所であることを示す画像の枠が表示されている。そして、当該入力領域52は、アプリケーションへの入力情報である画像に関連付けられている。一方で、領域54には、作成された動画像が表示される。例えば、当該領域54は、動画像を表示するのみであり、アプリケーションの出力情報とは関連付けられていない。
図4を参照すると、まず(a)で、写真表示アプリケーションの表示領域40と半自動動画作成アプリケーションの表示領域50とが、ユーザの操作により近づけられる。ここでは、当該ユーザの操作は、タッチスクリーンへのタッチ操作として示されている。このように、情報入力領域52が情報出力領域44に近づけられると、情報出力領域44に関連付けられている出力情報が、情報入力領域52に関連付けられている入力情報として入力できるか否か、が判定される。ここで、例えば予め定められている写真表示アプリケーションと動画作成アプリケーションとの連携情報が参照されて、情報出力領域44に関連付けられている出力情報(原写真データ)を、情報入力領域32に関連付けられている入力情報(画像)として入力できる、と判定される。
次に(b)で、情報入力領域52と情報出力領域44とが重ねられる。すると、(c)のように、情報入力領域52は、例えば、情報出力領域44の形状、大きさ、および傾きに合わせるように、変形される。そして、(d)のように、情報出力領域44に示されているサムネイルのうち半自動動画作成アプリケーションに入力されるものがタッチ操作により選択され、選択されたサムネイルの原画像が半自動動画作成アプリケーションに入力される。その結果、半自動動画作成アプリケーションの領域54には、原写真データから作成された動画像が表示される。
[1.2.情報処理装置の構成例]
図5および図6を用いて、第1の実施形態に係る情報処理装置100の具体的な構成を説明する。図5は、第1の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。図5を参照すると、情報処理装置100は、入力部110、制御部120、アプリケーション部130、通信部140および表示部150を備える。
図5および図6を用いて、第1の実施形態に係る情報処理装置100の具体的な構成を説明する。図5は、第1の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。図5を参照すると、情報処理装置100は、入力部110、制御部120、アプリケーション部130、通信部140および表示部150を備える。
(入力部110)
入力部110は、ユーザが行う入力操作から操作情報を取得する。当該入力操作は、例えば、タッチスクリーンへのタッチ操作、マウスによる操作、またはキーボードによる操作のいずれかでもよい。入力部110は、取得した操作情報を制御部120に渡す。
入力部110は、ユーザが行う入力操作から操作情報を取得する。当該入力操作は、例えば、タッチスクリーンへのタッチ操作、マウスによる操作、またはキーボードによる操作のいずれかでもよい。入力部110は、取得した操作情報を制御部120に渡す。
(制御部120)
制御部120は、情報処理装置100全体を制御する。制御部120の詳細な機能構成を後に説明する、ここでは制御部120の概要を説明する。
制御部120は、情報処理装置100全体を制御する。制御部120の詳細な機能構成を後に説明する、ここでは制御部120の概要を説明する。
第1に、制御部120は、[1.1.アプリケーション間の連携処理の例]に記載したように、あるアプリケーションからの出力情報を別のアプリケーションへの入力情報として入力するための一連の処理を実行する。当該処理の過程の中で、制御部120は、あるアプリケーションの出力情報をアプリケーション部130から取得し、当該出力情報を別のアプリケーションの入力情報としてアプリケーション部130へ提供する。また、上記過程の中で、制御部120は、各アプリケーションの表示領域に関する情報もアプリケーション部130から取得する。当該情報の具体的な内容は、後に説明される。また、上記過程の中で、制御部120は、通信部140を介して、アプリケーション間の連携に必要な情報を取得する。
第2に、制御部120は、入力部110により取得された操作情報から、当該入力操作に応じて実行されるべき処理に必要な情報を認識する。ここで、各アプリケーションの個別の処理のための入力操作が行われた場合には、制御部120は、各アプリケーションの処理に必要な情報を認識し、当該情報をアプリケーション部130に送信する。
第3に、制御部120は、表示画面に表示される出力表示画像の内容を制御する。ここで、制御部120は、各アプリケーションの表示領域に表示するためのグラフィックをアプリケーション部130から取得する。また、制御部120は、表示制御部270は、アプリケーションの表示領域の移動および変形を制御する。
(アプリケーション部130)
アプリケーション部130は、各アプリケーションに応じた処理を実行する。当該アプリケーションは、例えば図3および図4に示されたように、地図表示アプリケーション、LMアプリケーション、写真表示アプリケーションおよび半自動動画作成アプリケーションである。また、アプリケーション部130は、制御部120が操作情報から認識した各アプリケーションの処理に必要な情報を受け取り、当該情報に対応する処理を行う。また、アプリケーション部130は、制御部120によるアプリケーション間の連携処理の過程の中で、あるアプリケーションの出力情報を制御部120に提供し、当該出力情報を別のアプリケーションの入力情報として受け取る。また、上記過程の中で、アプリケーション部130は、各アプリケーションの表示領域に関する情報、および各アプリケーションの表示領域に表示するためのグラフィックも、制御部120に提供する。なお、アプリケーション部130は、情報処理装置100に備えられていなくてもよく、代わりに、情報処理装置100と通信可能な別の装置に同様の機能が備えられていてもよい。その場合、情報処理装置100は、例えば、後述の通信部140を介して当該通信可能な別の装置と必要な情報を送受信してもよい。また、当然のことながら、アプリケーション部130と上記通信可能な別の装置の同様の機能が併用されてもよい。
アプリケーション部130は、各アプリケーションに応じた処理を実行する。当該アプリケーションは、例えば図3および図4に示されたように、地図表示アプリケーション、LMアプリケーション、写真表示アプリケーションおよび半自動動画作成アプリケーションである。また、アプリケーション部130は、制御部120が操作情報から認識した各アプリケーションの処理に必要な情報を受け取り、当該情報に対応する処理を行う。また、アプリケーション部130は、制御部120によるアプリケーション間の連携処理の過程の中で、あるアプリケーションの出力情報を制御部120に提供し、当該出力情報を別のアプリケーションの入力情報として受け取る。また、上記過程の中で、アプリケーション部130は、各アプリケーションの表示領域に関する情報、および各アプリケーションの表示領域に表示するためのグラフィックも、制御部120に提供する。なお、アプリケーション部130は、情報処理装置100に備えられていなくてもよく、代わりに、情報処理装置100と通信可能な別の装置に同様の機能が備えられていてもよい。その場合、情報処理装置100は、例えば、後述の通信部140を介して当該通信可能な別の装置と必要な情報を送受信してもよい。また、当然のことながら、アプリケーション部130と上記通信可能な別の装置の同様の機能が併用されてもよい。
(通信部140)
通信部140は、制御部120に含まれる後述の連携判定部250からの要求に応じて、ネットワークを介した通信を行う。
通信部140は、制御部120に含まれる後述の連携判定部250からの要求に応じて、ネットワークを介した通信を行う。
(表示部150)
表示部150は、制御部120に含まれる後述の表示制御部270による制御に応じて、情報処理装置100からの出力表示画像を表示画面に表示する。当該出力表示画像は、アプリケーションの表示領域に表示されるグラフィックを含み得る。また、当該出力表示画像は、情報処理装置100のオペレーティングシステム(図示せず)のグラフィックを含み得る。なお、上記のとおり、表示画面は、情報処理装置100により備えられていてもよく、また情報処理装置100に接続された装置により備えられていてもよい。
表示部150は、制御部120に含まれる後述の表示制御部270による制御に応じて、情報処理装置100からの出力表示画像を表示画面に表示する。当該出力表示画像は、アプリケーションの表示領域に表示されるグラフィックを含み得る。また、当該出力表示画像は、情報処理装置100のオペレーティングシステム(図示せず)のグラフィックを含み得る。なお、上記のとおり、表示画面は、情報処理装置100により備えられていてもよく、また情報処理装置100に接続された装置により備えられていてもよい。
上記制御部120のさらに具体的な構成を説明する。図6は、上記制御部120の機能構成の一例を示すブロック図である。図6を参照すると、制御部120は、記憶部210、入力認識部220、位置判定部230、出力選択部240、連携判定部250、連携処理部260および表示制御部270を含む。
(記憶部210)
記憶部210は、各アプリケーションの表示領域に関する情報(以下、「表示領域関連情報」と呼ぶ)を記憶する。当該表示領域関連情報は、表示領域、情報入力情報および情報出力領域の位置の情報を含む。また、情報出力領域が複数の個別出力領域を含む場合、当該表示領域関連情報は、各個別出力領域の位置の情報も含む。ここでの位置は、例えば、各領域が存在する画面上の範囲を示す。この場合、当該位置の情報は、各領域の中心点の座標、大きさ、形状および傾きを含んでもよい。
記憶部210は、各アプリケーションの表示領域に関する情報(以下、「表示領域関連情報」と呼ぶ)を記憶する。当該表示領域関連情報は、表示領域、情報入力情報および情報出力領域の位置の情報を含む。また、情報出力領域が複数の個別出力領域を含む場合、当該表示領域関連情報は、各個別出力領域の位置の情報も含む。ここでの位置は、例えば、各領域が存在する画面上の範囲を示す。この場合、当該位置の情報は、各領域の中心点の座標、大きさ、形状および傾きを含んでもよい。
(入力認識部220)
入力認識部220は、入力操作から取得された操作情報から、当該入力操作に応じて実行されるべき処理に必要な情報を認識する。入力認識部220は、当該情報を認識するために、記憶部210から各アプリケーションの表示領域関連情報を取得する。
入力認識部220は、入力操作から取得された操作情報から、当該入力操作に応じて実行されるべき処理に必要な情報を認識する。入力認識部220は、当該情報を認識するために、記憶部210から各アプリケーションの表示領域関連情報を取得する。
例えば、入力認識部220は、アプリケーションの表示領域を移動させる入力操作が行われた場合に、移動方向および移動距離を示す領域移動情報を認識する。また、入力認識部220は、例えば、アプリケーションの表示領域を変形させる入力操作が行われた場合に、変形内容を示す領域変形情報を認識する。そして、入力認識部220は、当該領域移動情報または領域変形情報を表示制御部270に提供する。なお、ここでの表示領域の変形は、表示領域の形状の変更であってもよく、表示領域の大きさの変更であってもよく、また表示領域の傾きの変更であってもよい。
また、例えば、入力認識部220は、各アプリケーションの個別の処理のための入力操作が行われた場合に、各アプリケーションの処理に必要な情報を認識する。例えば、図2に示される地図表示アプリケーションの情報出力領域24上をピンチアウトするタッチ操作(一般的には、地図を拡大するための操作)が行われた場合に、入力認識部220は、当該情報出力領域24上でのピンチアウトの量を示す情報を認識する。そして、入力認識部220は、当該情報をアプリケーション部130に提供する。
また、例えば、入力認識部220は、個別出力領域を選択する入力操作が行われた場合に、個別出力領域のいずれかを指定する領域指定情報を認識する。例えば、図4の(d)のように、出力領域44の個別出力領域(各サムネイルが表示されている領域)を選択する入力操作が行われた場合に、当該個別出力領域を指定する領域指定情報を認識する。そして、入力認識部220は、当該領域指定情報を出力選択部240へ提供する。
(位置判定部230)
位置判定部230は、第1のアプリケーション(以下、「入力側アプリケーション」)の表示領域内に含まれる情報入力領域の位置と、第2のアプリケーション(以下、「出力側アプリケーション」)の表示領域内に含まれる情報出力領域の位置とが、連携実行位置関係を満たすか否か、を判定する。当該連携実行位置関係は、例えば、情報入力領域と情報出力領域とが少なくとも部分的に重なる位置関係である。例えば、図3の(b)のようにLMアプリケーションの情報入力領域32が地図表示アプリケーションの情報出力領域24に重なる場合に、位置判定部230は、連携実行位置関係が満たされると判定する。また、その他の場合には、位置判定部230は、連携実行位置関係が満たされていないと判定することができる。なお、記憶部210に記憶されている表示領域関連情報は、各情報入力領域および各情報出力領域の位置の情報を含むため、位置判定部230は、当該表示領域関連情報を取得し用いることにより、連携実行位置関係が満たされるか否かを判定することができる。位置判定部230は、当該判定の結果を出力選択部240、連携処理部260および表示制御部270に提供する。
位置判定部230は、第1のアプリケーション(以下、「入力側アプリケーション」)の表示領域内に含まれる情報入力領域の位置と、第2のアプリケーション(以下、「出力側アプリケーション」)の表示領域内に含まれる情報出力領域の位置とが、連携実行位置関係を満たすか否か、を判定する。当該連携実行位置関係は、例えば、情報入力領域と情報出力領域とが少なくとも部分的に重なる位置関係である。例えば、図3の(b)のようにLMアプリケーションの情報入力領域32が地図表示アプリケーションの情報出力領域24に重なる場合に、位置判定部230は、連携実行位置関係が満たされると判定する。また、その他の場合には、位置判定部230は、連携実行位置関係が満たされていないと判定することができる。なお、記憶部210に記憶されている表示領域関連情報は、各情報入力領域および各情報出力領域の位置の情報を含むため、位置判定部230は、当該表示領域関連情報を取得し用いることにより、連携実行位置関係が満たされるか否かを判定することができる。位置判定部230は、当該判定の結果を出力選択部240、連携処理部260および表示制御部270に提供する。
また、位置判定部230は、上記情報入力領域の位置と上記情報出力領域の位置とが所定の第2の位置関係(以下、「連携可否判定位置関係」)を満たすか否かをさらに判定する。当該連携可否判定位置関係は、例えば、上記情報入力領域と上記情報出力領域との間の距離が所定の距離以下である位置関係である。ここでの距離は、上記情報入力領域に含まれる点のうち上記情報出力領域に最も近い点と、上記情報出力領域に含まれる点のうち上記情報入力領域に最も近い点との間の距離でもよい。例えば、図3の(a)のようにLMアプリケーションの情報入力領域32が地図表示アプリケーションの情報出力領域24に近づいた場合に、両領域の最短距離が上記所定の距離以下であれば、位置判定部230は、連携可否判定位置関係が満たされると判定する。また、その他の場合には、位置判定部230は、連携可否判定位置関係が満たされていないと判定できる。位置判定部230は、当該判定の結果を連携判定部250および表示制御部270に提供する。
(出力選択部240)
出力選択部240は、情報出力領域が複数の個別出力領域を含む場合に、いずれかの上記個別出力領域を選択する。出力選択部240は、例えば、上記連携実行位置関係が満たされていることを示す判定結果を位置判定部230から受け取った後に、個別出力領域を選択する。
出力選択部240は、情報出力領域が複数の個別出力領域を含む場合に、いずれかの上記個別出力領域を選択する。出力選択部240は、例えば、上記連携実行位置関係が満たされていることを示す判定結果を位置判定部230から受け取った後に、個別出力領域を選択する。
例えば、出力選択部240は、情報入力領域の位置と複数の個別出力領域の各々の位置とに基づいて、いずれかの上記個別出力領域を選択する。より詳細には、出力選択部240は、例えば、情報入力領域の位置と一致したまたは近接した位置の個別出力領域を選択する。当該近接の範囲は、予め定めておくことができる。例えば、図3の(d)のように、出力選択部240は、LMアプリケーションの情報入力領域32のピンの位置と、地図表示アプリケーションの情報出力領域24に含まれる複数の個別出力領域(地点)の各々の位置とに基づいて、当該ピンが指し示す個別出力領域(地点)を選択する。このような選択を可能にすることで、ユーザは、情報入力領域を移動させる操作の延長上で、情報出力領域内に含まれる個別出力領域を容易かつ直感的に選択することができるようになる。
また、例えば、出力選択部240は、入力認識部220から領域指定情報を提供され、当該領域指定情報により指定される上記個別出力領域を選択する。例えば、図4の(d)のように、出力領域44の個別出力領域(各サムネイルが表示されいる領域)を選択するタッチ操作が行われた場合に、出力選択部240は、当該個別出力領域を指定する領域指定情報を入力認識部220から受け取る。そして、出力選択部240は、当該選択された個別出力領域を選択する。なお、選択される個別出力領域は、1つのみに限られず、複数であってもよい。このように、個別出力領域の選択のために情報出力領域に適した別の操作を導入することにより、個別出力領域をより容易に選択することができるようになり得る。
アプリケーションは、以上のように個別出力領域の選択を可能とすることで、出力情報の様々な選択肢をユーザに提示できるようになる。換言すると、アプリケーションのユーザは、複数の出力情報の中から入力したい出力情報を自由に選択することができるようになる。
(連携判定部250)
連携判定部250は、情報出力領域に関連付けられている出力情報を情報入力領域に関連付けられている入力情報として入力できるか否かを判定する。より具体的には、連携判定部250は、例えば、上記連携可否判定位置関係が満たされると判定される場合に、出力情報を入力情報として入力できるか否かを判定する。
連携判定部250は、情報出力領域に関連付けられている出力情報を情報入力領域に関連付けられている入力情報として入力できるか否かを判定する。より具体的には、連携判定部250は、例えば、上記連携可否判定位置関係が満たされると判定される場合に、出力情報を入力情報として入力できるか否かを判定する。
例えば、連携可能な情報入力領域と情報出力領域とのペアを示す連携情報が、予め定義される。当該連携情報は、例えばネットワーク上に存在するサーバに記憶される。例えば、図3に示される地図表示アプリケーションの情報出力領域24とLMアプリケーションの入力情報領域32とのペアを示す連携情報が、予め定義され、記憶される。同様に、図4に示される写真表紙アプリケーションの情報出力領域44と半自動動画作成アプリケーションの情報入力領域52とのペアを示す連携情報が、予め定義され、記憶される。連携判定部250は、例えば、対象となる情報入力領域と情報出力領域とのペアを示す連携情報を、通信部140を介して外部から取得する。連携判定部250は、当該連携情報を取得できた場合には、情報出力領域に関連付けられている出力情報を情報入力領域に関連付けられている入力情報として入力できると判定する。一方で、連携判定部250は、上記連携情報を取得できなかった場合には、上記出力情報を上記入力情報として入力できないと判定する。そして、連携判定部250は、連携処理部260および表示制御部270に当該判定の結果を提供する。
また、例えば、上記出力情報を上記入力情報として入力するためのアプリケーションインターフェース(API)が、上記連携情報と共に定義され、記憶される。連携判定部250は、通信部140を介して外部から当該APIも取得する。そして、連携判定部250は、連携処理部260に当該APIも提供する。
上記のように、連携実行位置関係が満たされる前に予め入力の可否を予め判定することにより、連携実行位置関係が満たされた後に遅延することなく連携処理を開始することができ、また後述のとおりユーザに入力の可否の標識を遅延することなく提示することができる。
(連携処理部260)
連携処理部260は、連携実行位置関係が満たされると判定される場合に、上記情報出力領域に関連付けられている出力側アプリケーションの出力情報を、上記情報入力領域に関連付けられている入力情報として入力側アプリケーションに入力する。これにより、情報出力領域または情報入力領域の位置を移動させる直感的な操作を行うだけで、アプリケーションを組合せて使用することが可能となる。
連携処理部260は、連携実行位置関係が満たされると判定される場合に、上記情報出力領域に関連付けられている出力側アプリケーションの出力情報を、上記情報入力領域に関連付けられている入力情報として入力側アプリケーションに入力する。これにより、情報出力領域または情報入力領域の位置を移動させる直感的な操作を行うだけで、アプリケーションを組合せて使用することが可能となる。
連携処理部260は、例えば、情報出力領域に関連付けられている1つ以上の出力情報候補のうちのいずれかを出力情報とする。
例えば、連携処理部260は、入力情報に対応する出力情報候補を出力情報とする。ここで入力情報に対応する出力情報候補とは、例えば、出力情報候補のうち入力情報として入力可能な属性を持つ出力情報候補である。具体的には、図3に示される地図表示アプリケーションの情報出力領域24には、各地点の住所情報、緯度情報、経度情報、建物名情報等の出力情報候補が、関連付けられている。一方で、LMアプリケーションの情報入力領域32に関連付けられている入力情報は、住所情報である。したがって、連携処理部260は、情報出力領域24に関連付けられている出力情報候補のうちの住所情報を出力情報とする。そして、連携処理部260は、情報入力領域32に関連付けられている入力情報として、出力情報とされた住所情報を入力する。このように、出力側アプリケーションは、同じ情報出力領域で、入力側アプリケーションの情報入力領域に適した出力情報を提供することが可能となる。
また、例えば、連携処理部260は、情報出力領域に含まれる個別出力領域が選択された場合に、当該個別出力領域に関連付けられている出力情報候補を、上記出力情報とする。ここで、個別出力領域は、上記のとおり出力選択部240により選択されている。具体例として、図3に示される地図表示アプリケーションの情報出力領域24は、地図上の各地点が表示される個別出力領域を含む。そして、ある地点が表示された個別出力領域が選択されている。この場合に、連携処理部260は、当該地点が表示された個別出力領域に関連付けられている出力情報候補、すなわち当該地点に関する情報を出力情報とする。なお、当該出力情報は、ここではLMアプリケーションの情報入力領域32への入力情報として入力されるため、具体的には当該地点の住所情報となる。また、別の具体例として、図4に示される写真表示アプリケーションの情報出力領域44は、各サムネイルが表示される個別出力領域を含む。そして、あるサムネイルが表示された個別出力領域が選択されている。この場合に、連携処理部260は、当該サムネイルが表示された個別出力領域に関連付けられている出力情報候補、すなわち当該サムネイルの原写真データを出力情報とする。このように、複数の個別出力領域から選択できるようにすることで、ユーザは複数の出力情報候補の中から所望の出力情報候補を選択することができるようになる。
(表示制御部270)
表示制御部270は、表示画面に表示される出力表示画像の内容を制御する。例えば、表示制御部270は、アプリケーションの表示領域上のグラフィックおよびオペレーティングシステムのグラフィックを、表示画面上に表示させる。表示制御部270は、記憶部210に記憶されているアプリケーションの表示領域関連情報およびアプリケーション部から提供されるグラフィックに基づいて、上記アプリケーションの表示領域上に当該グラフィックを表示させることができる。また、表示制御部270は、出力情報を入力情報として入力できると連携判定部250により判定された場合に、出力側アプリケーションから入力側アプリケーションへの入力が可能であることを示す標識を表示画面上に表示させてもよい。また、表示制御部270は、出力情報を入力情報として入力できないと連携判定部250により判定された場合に、上記入力が可能ではないことを示す標識を表示画面上に表示させてもよい。例えば、表示制御部270は、図8の(c)のように、入力が可能でないことを示す標識70を表示画面上に表示させる。このような標識の表示により、ユーザにアプリケーション間の連携が可能か否かを伝えることが可能となる。
表示制御部270は、表示画面に表示される出力表示画像の内容を制御する。例えば、表示制御部270は、アプリケーションの表示領域上のグラフィックおよびオペレーティングシステムのグラフィックを、表示画面上に表示させる。表示制御部270は、記憶部210に記憶されているアプリケーションの表示領域関連情報およびアプリケーション部から提供されるグラフィックに基づいて、上記アプリケーションの表示領域上に当該グラフィックを表示させることができる。また、表示制御部270は、出力情報を入力情報として入力できると連携判定部250により判定された場合に、出力側アプリケーションから入力側アプリケーションへの入力が可能であることを示す標識を表示画面上に表示させてもよい。また、表示制御部270は、出力情報を入力情報として入力できないと連携判定部250により判定された場合に、上記入力が可能ではないことを示す標識を表示画面上に表示させてもよい。例えば、表示制御部270は、図8の(c)のように、入力が可能でないことを示す標識70を表示画面上に表示させる。このような標識の表示により、ユーザにアプリケーション間の連携が可能か否かを伝えることが可能となる。
また、表示制御部270は、アプリケーションの表示領域の移動および変形を制御する。例えば、入力認識部220が、アプリケーションの表示領域を移動させる入力操作から移動方向および移動距離を示す領域移動情報を認識すると、表示制御部270は、当該領域移動情報に基づいて、記憶部210の表示領域関連情報を更新する。また、例えば、表示制御部270は、連携実行位置関係が満たされると位置判定部230により判定される場合に、情報入力領域を変形させてもよい。ここで、表示制御部270は、情報出力領域の形状、大きさおよび傾きの少なくとも1つに応じて、情報入力領域を変形させてもよい。また、表示制御部270は、情報入力領域の形状、大きさおよび傾きの少なくとも1つを変更することにより、情報入力領域を変形させてもよい。具体的には、表示制御部270は、図4の(c)に示されるように、写真表示アプリケーションの出力領域44の形状、大きさおよび傾きに応じて、半自動動画作成アプリケーションの情報入力領域52を変形させる。ここでの情報入力領域52は、形状、大きさおよび傾きを変更されている。なお、表示制御部270は、アプリケーションの種類に応じて、情報入力領域を変形するか否かを決めてもよい。このように情報入力領域の形状を変形させることにより、アプリケーションが連携可能であることをユーザに対して明確に示すことができ、また個別出力領域を選択するようにユーザに促すことができる。
[1.3.処理の流れの例]
以下では、図7を用いて、第1の実施形態に係る連携処理について説明する。図7は、第1の実施形態に係る連携処理の概略的な流れの一例を示すフローチャートである。例えば、当該連携処理は、情報出力領域と情報出力領域とのペア毎に実行される。
以下では、図7を用いて、第1の実施形態に係る連携処理について説明する。図7は、第1の実施形態に係る連携処理の概略的な流れの一例を示すフローチャートである。例えば、当該連携処理は、情報出力領域と情報出力領域とのペア毎に実行される。
図7を参照すると、まずステップS310において、位置判定部230は、記憶部210に記憶されている、入力側アプリケーションの情報入力領域および出力側アプリケーションの情報出力領域の位置の情報を取得する。
次に、ステップS320において、位置判定部230は、上記情報入力領域の位置と上記情報出力領域の位置とが連携可否判定位置関係を満たすか否かを判定する。ここで、連携可否判定位置関係が満たされていれば、処理はステップS330へ進む。一方で、連携可否判定位置関係が満たされていなければ、処理はステップS310へ戻る。
次に、ステップS330において、連携判定部250は、上記情報入力領域と上記情報出力領域とのペアを示す連携情報を取得する。また、連携判定部250は、当該情報出力領域に関連付けられている出力情報を当該情報入力領域に関連付けられている入力情報として入力するためのAPIも取得する。
次に、ステップS340において、連携判定部250は、上記情報出力領域に関連付けられている出力情報を上記情報入力領域に関連付けられている入力情報として入力できるか否かを判定する。例えば、連携判定部250は、上記連携情報を取得できたか否かを確認することにより、出力情報を入力情報として入力できるか否かを判定できる。ここで、上記入力が可能であれば、処理はステップS350へ進む。一方で、上記入力が不可であれば、処理は終了する。
次に、ステップS350において、位置判定部230は、上記情報入力領域および上記情報出力領域の位置の情報を取得する。
次に、ステップS360において、位置判定部230は、上記情報入力領域の位置と上記情報出力領域の位置とが連携実行位置関係を満たすか否かをさらに判定する。ここで、連携実行位置関係が満たされていれば、処理はステップS370へ進む。一方で、連携実行位置関係が満たされていなければ、処理はステップS350へ戻る。
次に、ステップS370において、表示制御部270は、上記情報入力領域を変形させる。なお、表示制御部270は、アプリケーションの種類によっては、情報入力領域を変形しない。
次に、ステップS380において、出力選択部240は、上記情報出力領域が複数の個別出力領域を含む場合に、いずれかの上記個別出力領域を選択する。なお、上記情報出力領域が個別出力領域を含まない場合には、個別出力領域を選択しない。
次に、ステップS390において、連携処理部260は、上記情報出力領域に関連付けられている出力情報を、上記情報入力領域に関連付けられている入力情報として入力側アプリケーションに入力する。ここで、情報出力領域に1つ以上の出力情報候補が関連づけられていれば、当該出力情報候補のうちのいずれかが出力情報とされる。当然のことながら、個別出力領域が選択されていれば、当該個別出力領域に関連付けられている出力情報候補が出力情報とされる。当該ステップ390の後に、処理は終了する。
<2.第2の実施形態>
本開示の第2の実施形態に係る情報処理装置は、本開示の第1の実施形態に係る情報処理装置が有する機能に対して、アプリケーション間の連携処理を新たに定義するために必要な情報を抽出する機能がさらに追加されたものである。
本開示の第2の実施形態に係る情報処理装置は、本開示の第1の実施形態に係る情報処理装置が有する機能に対して、アプリケーション間の連携処理を新たに定義するために必要な情報を抽出する機能がさらに追加されたものである。
[2.1.アプリケーション間の連携処理の例]
第1の実施形態について説明された[1.1.アプリケーション間の連携処理の例]の内容は、第2の実施形態についても同様である。出力側アプリケーションの情報出力領域に関連付けられている出力情報は、入力側アプリケーションの情報入力領域に関連付けられている入力情報として入力できない、と判定される場合がある。このような判定は、上記出力情報が上記入力情報として入力できない種類の情報である場合だけではなく、上記出力情報を上記入力情報として入力し得るが、両者の連携情報が未だ定義されていない場合にも、行われる。そこで、後者の場合の連携情報を定義するために、第2の実施形態に係る情報処理装置は、上記判定後に入力情報として実際に入力された入力情報サンプルと、上記出力情報となり得る1つ以上の出力情報候補とを比較することにより、上記入力情報として入力され得る上記出力情報候補の属性を抽出する。
第1の実施形態について説明された[1.1.アプリケーション間の連携処理の例]の内容は、第2の実施形態についても同様である。出力側アプリケーションの情報出力領域に関連付けられている出力情報は、入力側アプリケーションの情報入力領域に関連付けられている入力情報として入力できない、と判定される場合がある。このような判定は、上記出力情報が上記入力情報として入力できない種類の情報である場合だけではなく、上記出力情報を上記入力情報として入力し得るが、両者の連携情報が未だ定義されていない場合にも、行われる。そこで、後者の場合の連携情報を定義するために、第2の実施形態に係る情報処理装置は、上記判定後に入力情報として実際に入力された入力情報サンプルと、上記出力情報となり得る1つ以上の出力情報候補とを比較することにより、上記入力情報として入力され得る上記出力情報候補の属性を抽出する。
(例3)
図8は、第2の実施形態に係るアプリケーション間の連携処理の一例を示す説明図である。図8を参照すると、フレンドリストアプリケーションの表示領域60と、図4を参照して説明された写真表示アプリケーションの表示領域40とが、表示画面80上に表示されている。
図8は、第2の実施形態に係るアプリケーション間の連携処理の一例を示す説明図である。図8を参照すると、フレンドリストアプリケーションの表示領域60と、図4を参照して説明された写真表示アプリケーションの表示領域40とが、表示画面80上に表示されている。
上記フレンドリストアプリケーションは、登録されている友達の顔写真のリストを表示する。図8を参照すると、当該アプリケーションの表示領域60は、情報出力領域64を含む。情報出力領域64には、登録されている友人の顔写真のリストが表示されている。そして、当該情報出力領域64は、各友人に関するプロフィール情報(ID、名前、年齢、国籍、職業、等)に関連付けられている。出力情報である当該プロフィール情報は、例えば以下のように記憶されている。
図8を参照すると、まず(a)で、フレンドリストアプリケーションの表示領域60と写真表示アプリケーションの表示領域40とが、ユーザの操作により近づけられる。ここでは、当該ユーザの操作は、タッチスクリーンへのタッチ操作として示されている。このように、情報入力領域42が情報出力領域64に近づけられると、情報出力領域64に関連付けられている出力情報が、情報入力領域42に関連付けられている入力情報として入力できるか否か、が判定される。ここで、例えば予め定められているフレンドリストアプリケーションと写真表示アプリケーションとの連携情報が見つからなかったため、情報出力領域64に関連付けられている出力情報(ID、名前、年齢、国籍、職業、等)が、情報入力領域32に関連付けられている入力情報(テキスト)として入力できない、と判定されてしまう。
次に(b)で、情報入力領域62と情報出力領域54とが重ねられる。すると、(c)のように、「自動で入力できません。手動で入力してください。」という標識が表示される。そこで、(d)のように、ユーザは、情報入力領域42のテキストボックスに、「Nancy H,jesica」と入力する。
すると、情報処理装置は、「Nancy H」および「jesica」と、情報出力領域64に関連付けられている出力情報(名前、年齢、国籍、職業、等)とを比較する。表1を参照すると、「Nancy H」および「jesica」は、出力情報候補のうち「名前」の属性を有するものであることがわかる。よって、情報処理装置は、入力情報として入力され得る出力情報候補の属性として「名前」を抽出する。
上記のように抽出された属性、入力側アプリケーションの情報入力領域、および出力側アプリケーションの情報出力領域は、互いに関連付けられて学習情報として蓄積される。当該学習情報は、例えば情報処理装置からネットワーク上に存在するサーバに送信されて、当該サーバ上で蓄積される。そして、蓄積された学習情報に基づいて、例えば、写真表紙アプリケーションの情報入力領域42には、フレンドリストアプリケーションの情報入力領域64に関連付けられている出力情報候補のうち「名前」の属性を有するものが入力される、ということが学習される。そして、フレンドリストアプリケーションの情報出力領域64と写真表紙アプリケーションの情報入力領域42とのペアを示す連携情報が生成される。また、当該出力領域64に関連付けられている出力情報候補のうち「名前」の属性を有するものを、情報入力領域42に関連付けられている入力情報として入力するAPIが、生成される。
上記のように連携情報およびAPIが生成された後のアプリケーション間の連携処理を説明する。図9を参照すると、まず(a)で、フレンドリストアプリケーションの表示領域60と写真表示アプリケーションの表示領域40とが、ユーザの操作により近づけられる。ここで、上記のとおり既に情報出力領域64と情報入力領域42との連携情報が存在するため、情報出力領域64に関連付けられている出力情報が、情報入力領域42に関連付けられている入力情報として入力できる、と判定される。
次に(b)で、情報入力領域42と情報出力領域64とが重ねられる。すると、(c)のように、情報入力領域42は、例えば、出力領域64に含まれる各個別出力領域の形状および大きさに合わせるように、変形される。そして、(d)のように、情報入力領域42が重なっている情報出力領域64上の写真に対応する名前が、写真表示アプリケーションの入力情報として入力される。その結果、写真表示アプリケーションの出力領域44には、上記名前に応じた写真のサムネイルが表示される。
[2.2.情報処理装置の構成例]
第2の実施形態に係る情報処理装置100の構成は、制御部120を除き、図5に示される第1の実施形態に係る情報処理装置100の構成と同じである。よって、ここでは、図10を用いて、第2の実施形態に係る制御部120の構成を説明する。図10を参照すると、制御部120は、記憶部210、入力認識部220、位置判定部230、出力選択部240、連携判定部250、連携処理部260、表示制御部270および関係抽出部280を含む。
第2の実施形態に係る情報処理装置100の構成は、制御部120を除き、図5に示される第1の実施形態に係る情報処理装置100の構成と同じである。よって、ここでは、図10を用いて、第2の実施形態に係る制御部120の構成を説明する。図10を参照すると、制御部120は、記憶部210、入力認識部220、位置判定部230、出力選択部240、連携判定部250、連携処理部260、表示制御部270および関係抽出部280を含む。
このうち、記憶部210、入力認識部220、位置判定部230、出力選択部240、連携判定部250、連携処理部260および表示制御部270は、[1.2.情報処理装置の構成例]において図6を参照して説明したとおりである。よって、ここでは新たに追加されている関係抽出部280を説明する。
(関係抽出部280)
関係抽出部280は、出力情報を入力情報として入力できないと判定された場合に、当該判定後に入力情報として入力された入力情報サンプルと、出力情報となり得る1つ以上の出力情報候補とを比較することにより、入力情報として入力され得る出力情報候補の属性を抽出する。ここで、関係抽出部280は、出力情報を入力情報として入力できるか否かの判定結果を連携判定部250から取得する。また、関係抽出部280は、入力情報サンプルをアプリケーション部130から取得する。そして、関係抽出部280は、抽出された属性を、入力側アプリケーションの情報入力領域および出力側アプリケーションの情報出力領域と関連付けた上で、例えばネットワーク上に存在する所定のサーバに通信部140を介して送信する。なお、当該抽出された属性は、上記サーバではなく、情報処理装置100の中で蓄積されてもよい。この場合、情報処理装置100は、上記抽出された属性に基づいて、自ら連携情報を生成してもよい。
関係抽出部280は、出力情報を入力情報として入力できないと判定された場合に、当該判定後に入力情報として入力された入力情報サンプルと、出力情報となり得る1つ以上の出力情報候補とを比較することにより、入力情報として入力され得る出力情報候補の属性を抽出する。ここで、関係抽出部280は、出力情報を入力情報として入力できるか否かの判定結果を連携判定部250から取得する。また、関係抽出部280は、入力情報サンプルをアプリケーション部130から取得する。そして、関係抽出部280は、抽出された属性を、入力側アプリケーションの情報入力領域および出力側アプリケーションの情報出力領域と関連付けた上で、例えばネットワーク上に存在する所定のサーバに通信部140を介して送信する。なお、当該抽出された属性は、上記サーバではなく、情報処理装置100の中で蓄積されてもよい。この場合、情報処理装置100は、上記抽出された属性に基づいて、自ら連携情報を生成してもよい。
上記のような属性の抽出によって、アプリケーション間の連携処理を新たに定義するために必要な情報を提供することが可能となる。その結果、より多くのアプリケーションの間の連携処理が実現され得る。
[2.3.処理の流れの例]
以下では、図11を用いて、第2の実施形態に係る連携処理について説明する。図11は、第2の実施形態に係る連携処理の概略的な流れの一例を示すフローチャートである。例えば、当該連携処理は、情報出力領域と情報出力領域とのペア毎に実行される。
以下では、図11を用いて、第2の実施形態に係る連携処理について説明する。図11は、第2の実施形態に係る連携処理の概略的な流れの一例を示すフローチャートである。例えば、当該連携処理は、情報出力領域と情報出力領域とのペア毎に実行される。
この中で、ステップS310〜ステップ330およびステップS350〜ステップ390は、[1.3.処理の流れの例]にて説明された第1の実施形態に係る連携処理と同じである。よって、ここでは新たに追加されているステップS410〜ステップ440および一部相違するステップS340を中心に説明する。
ステップS340において、連携判定部250は、出力側アプリケーションの情報出力領域に関連付けられている出力情報を、入力側アプリケーションの情報入力領域に関連付けられている入力情報として入力できるか否か、を判定する。ここで、上記入力が可能であれば、処理はステップS350へ進む。一方で、上記入力が不可であれば、処理はステップS410へ進む。
ステップS410において、関係抽出部280は、アプリケーション部130から入力情報サンプルを取得する。
次に、ステップS420において、関係抽出部280は、取得した入力情報サンプルと、情報出力領域に関連付けられている出力情報候補とを比較する。
次に、ステップS430において、関係抽出部280は、入力情報として入力され得る出力情報候補の属性を抽出する。
次に、ステップS440において、関係抽出部280は、抽出された属性、入力側アプリケーションの情報入力領域および出力側アプリケーションの情報出力領域を互いに関連付けた上で、ネットワーク上に存在する所定のサーバに通信部140を介して送信する。その後、処理は終了する。
<3.情報処理装置のハードウェア構成例>
次に、図12を参照しながら、本開示の実施形態に係る情報処理装置100のハードウェア構成について、詳細に説明する。図12は、本開示の実施形態に係る情報処理装置100のハードウェア構成を説明するためのブロック図である。
次に、図12を参照しながら、本開示の実施形態に係る情報処理装置100のハードウェア構成について、詳細に説明する。図12は、本開示の実施形態に係る情報処理装置100のハードウェア構成を説明するためのブロック図である。
情報処理装置100は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置100は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、通信装置921とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置100内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、タッチパネル、マウス、キーボード、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置100の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置100のユーザは、この入力装置915を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、情報処理装置100が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置100が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、情報処理装置100の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
通信装置921は、例えば、通信網923に接続するための通信デバイス等で構成された通信インターフェースである。通信装置921は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置921は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置921は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置921に接続される通信網923は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置100の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
<4.まとめ>
ここまで、図1〜図12を用いて、本開示の第1の実施形態および第2の実施形態について説明した。第1の実施形態によれば、ユーザの操作により移動する出力側アプリケーションの情報出力領域と入力側アプリケーションの情報入力領域とが連携実行位置関係を満たすと、当該出力領域に関連付けられている出力情報が、当該情報入力領域と関連付けられている入力情報として入力される。このように、ユーザは、情報出力領域または情報入力領域の位置を移動させる直感的な操作を行うだけで、アプリケーションを組合せて使用することが可能となる。
ここまで、図1〜図12を用いて、本開示の第1の実施形態および第2の実施形態について説明した。第1の実施形態によれば、ユーザの操作により移動する出力側アプリケーションの情報出力領域と入力側アプリケーションの情報入力領域とが連携実行位置関係を満たすと、当該出力領域に関連付けられている出力情報が、当該情報入力領域と関連付けられている入力情報として入力される。このように、ユーザは、情報出力領域または情報入力領域の位置を移動させる直感的な操作を行うだけで、アプリケーションを組合せて使用することが可能となる。
また、上記情報出力領域に1つ以上の出力情報候補が関連付けられていれば、いずれかの出力情報候補が出力情報とされる。例えば、上記入力情報に対応する出力情報候補が、出力情報となる。これにより、ユーザは、同じ情報出力領域から、一律の情報を入力するのではなく、各入力側アプリケーションに合った情報を入力することができる。また、例えば、情報出力領域に含まれる複数の個別出力領域のいずれかが選択され、当該個別出力領域に関連付けられている出力情報候補が出力情報とされる。これにより、ユーザは、個別出力領域のいずれかを選択することにより、所望の出力情報を入力側アプリケーションに入力することができる。
また、アプリケーションによっては、上記連携実行位置関係が満たされた後に、上記情報入力領域が変形される。これにより、ユーザは、アプリケーション間の連携が可能であることを認識でき、また個別出力領域をさらに選択しなければならないことを認識することができる。
また、第2の実施形態によれば、上記出力情報を上記入力情報として入力できないと判定された場合に、実際に入力された入力情報サンプルと、上記出力情報となり得る出力情報候補とが比較され、入力情報として入力され得る出力情報候補の属性が抽出される。このような属性の抽出によって、アプリケーション間の連携処理を新たに定義するために必要な情報を提供することが可能となり、結果として、より多くのアプリケーションの間の連携処理が実現され得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力する連携処理部と、
を備える情報処理装置。
(2)
前記連携処理部は、前記情報出力領域に関連付けられている1つ以上の出力情報候補のうちのいずれかを前記出力情報とする、前記(1)に記載の情報処理装置。
(3)
前記連携処理部は、前記入力情報に対応する前記出力情報候補を前記出力情報とする、前記(2)に記載の情報処理装置。
(4)
前記情報処理装置は、前記情報出力領域が複数の個別出力領域を含む場合に、いずれかの前記個別出力領域を選択する、出力選択部をさらに備え、
前記連携処理部は、前記個別出力領域が選択された場合に、当該個別出力領域に関連付けられている前記出力情報候補を、前記出力情報とする、
前記(2)に記載の情報処理装置。
(5)
前記出力選択部は、前記情報入力領域の位置と前記複数の個別出力領域の各々の位置とに基づいて、いずれかの前記個別出力領域を選択する、前記(4)に記載の情報処理装置。
(6)
前記情報処理装置は、入力操作から取得された操作情報から、前記個別出力領域のいずれかを指定する領域指定情報を認識する、入力認識部をさらに備え、
前記出力選択部は、前記領域指定情報により指定される前記個別出力領域を選択する、
前記(4)に記載の情報処理装置。
(7)
前記所定の第1の位置関係は、前記情報入力領域と前記情報出力領域とが少なくとも部分的に重なる位置関係である、前記(1)から(6)のいずれか一項に記載の情報処理装置。
(8)
前記出力情報を前記入力情報として入力できるか否かを判定する連携判定部、をさらに備える前記(1)から(7)のいずれか一項に記載の情報処理装置。
(9)
前記位置判定部は、前記情報入力領域の位置と前記情報出力領域の位置とが所定の第2の位置関係を満たすか否かをさらに判定し、
前記連携判定部は、前記所定の第2の位置関係が満たされると判定される場合に、前記出力情報を前記入力情報として入力できるか否かを判定する、
前記(8)に記載の情報処理装置。
(10)
前記所定の第2の位置関係は、前記情報入力領域と前記情報出力領域との間の距離が所定の距離以下である位置関係である、前記(9)に記載の情報処理装置。
(11)
前記出力情報を前記入力情報として入力できると判定された場合に、前記第2のアプリケーションから前記第1のアプリケーションへの入力が可能であることを示す標識を表示画面上に表示させ、または、前記出力情報を前記入力情報として入力できないと判定された場合に、前記入力が可能ではないことを示す標識を表示画面上に表示させる表示制御部、をさらに含む前記(8)から(10)のいずれか一項に記載の情報処理装置。
(12)
前記所定の第1の位置関係が満たされると判定される場合に、前記情報入力領域を変形させる表示制御部、をさらに含む前記(1)から(11)のいずれか一項に記載の情報処理装置。
(13)
前記表示制御部は、前記情報出力領域の形状、大きさおよび傾きの少なくとも1つに応じて、前記情報入力領域を変形させる、前記(12)に記載の情報処理装置。
(14)
前記表示制御部は、前記情報入力領域の形状、大きさおよび傾きの少なくとも1つを変更することにより、前記情報入力領域を変形させる、前記(12)または(13)に記載の情報処理装置。
(15)
前記出力情報を前記入力情報として入力できないと判定された場合に、当該判定後に前記入力情報として入力された入力情報サンプルと、前記出力情報となり得る1つ以上の出力情報候補とを比較することにより、前記入力情報として入力され得る前記出力情報候補の属性を抽出する関係抽出部、をさらに備える前記(8)から(14)のいずれか一項に記載の情報処理装置。
(16)
情報処理装置を制御するコンピュータを、
第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力する連携処理部と、
として機能させるためのプログラム。
(17)
第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定することと、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力することと、
を含む連携処理方法。
(1)
第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力する連携処理部と、
を備える情報処理装置。
(2)
前記連携処理部は、前記情報出力領域に関連付けられている1つ以上の出力情報候補のうちのいずれかを前記出力情報とする、前記(1)に記載の情報処理装置。
(3)
前記連携処理部は、前記入力情報に対応する前記出力情報候補を前記出力情報とする、前記(2)に記載の情報処理装置。
(4)
前記情報処理装置は、前記情報出力領域が複数の個別出力領域を含む場合に、いずれかの前記個別出力領域を選択する、出力選択部をさらに備え、
前記連携処理部は、前記個別出力領域が選択された場合に、当該個別出力領域に関連付けられている前記出力情報候補を、前記出力情報とする、
前記(2)に記載の情報処理装置。
(5)
前記出力選択部は、前記情報入力領域の位置と前記複数の個別出力領域の各々の位置とに基づいて、いずれかの前記個別出力領域を選択する、前記(4)に記載の情報処理装置。
(6)
前記情報処理装置は、入力操作から取得された操作情報から、前記個別出力領域のいずれかを指定する領域指定情報を認識する、入力認識部をさらに備え、
前記出力選択部は、前記領域指定情報により指定される前記個別出力領域を選択する、
前記(4)に記載の情報処理装置。
(7)
前記所定の第1の位置関係は、前記情報入力領域と前記情報出力領域とが少なくとも部分的に重なる位置関係である、前記(1)から(6)のいずれか一項に記載の情報処理装置。
(8)
前記出力情報を前記入力情報として入力できるか否かを判定する連携判定部、をさらに備える前記(1)から(7)のいずれか一項に記載の情報処理装置。
(9)
前記位置判定部は、前記情報入力領域の位置と前記情報出力領域の位置とが所定の第2の位置関係を満たすか否かをさらに判定し、
前記連携判定部は、前記所定の第2の位置関係が満たされると判定される場合に、前記出力情報を前記入力情報として入力できるか否かを判定する、
前記(8)に記載の情報処理装置。
(10)
前記所定の第2の位置関係は、前記情報入力領域と前記情報出力領域との間の距離が所定の距離以下である位置関係である、前記(9)に記載の情報処理装置。
(11)
前記出力情報を前記入力情報として入力できると判定された場合に、前記第2のアプリケーションから前記第1のアプリケーションへの入力が可能であることを示す標識を表示画面上に表示させ、または、前記出力情報を前記入力情報として入力できないと判定された場合に、前記入力が可能ではないことを示す標識を表示画面上に表示させる表示制御部、をさらに含む前記(8)から(10)のいずれか一項に記載の情報処理装置。
(12)
前記所定の第1の位置関係が満たされると判定される場合に、前記情報入力領域を変形させる表示制御部、をさらに含む前記(1)から(11)のいずれか一項に記載の情報処理装置。
(13)
前記表示制御部は、前記情報出力領域の形状、大きさおよび傾きの少なくとも1つに応じて、前記情報入力領域を変形させる、前記(12)に記載の情報処理装置。
(14)
前記表示制御部は、前記情報入力領域の形状、大きさおよび傾きの少なくとも1つを変更することにより、前記情報入力領域を変形させる、前記(12)または(13)に記載の情報処理装置。
(15)
前記出力情報を前記入力情報として入力できないと判定された場合に、当該判定後に前記入力情報として入力された入力情報サンプルと、前記出力情報となり得る1つ以上の出力情報候補とを比較することにより、前記入力情報として入力され得る前記出力情報候補の属性を抽出する関係抽出部、をさらに備える前記(8)から(14)のいずれか一項に記載の情報処理装置。
(16)
情報処理装置を制御するコンピュータを、
第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力する連携処理部と、
として機能させるためのプログラム。
(17)
第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定することと、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力することと、
を含む連携処理方法。
120 制御部
130 アプリケーション部
210 記憶部
220 入力認識部
230 位置判定部
240 出力選択部
250 連携判定部
260 連携処理部
270 表示制御部
280 関係抽出部
130 アプリケーション部
210 記憶部
220 入力認識部
230 位置判定部
240 出力選択部
250 連携判定部
260 連携処理部
270 表示制御部
280 関係抽出部
Claims (17)
- 第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力する連携処理部と、
を備える情報処理装置。 - 前記連携処理部は、前記情報出力領域に関連付けられている1つ以上の出力情報候補のうちのいずれかを前記出力情報とする、請求項1に記載の情報処理装置。
- 前記連携処理部は、前記入力情報に対応する前記出力情報候補を前記出力情報とする、請求項2に記載の情報処理装置。
- 前記情報処理装置は、前記情報出力領域が複数の個別出力領域を含む場合に、いずれかの前記個別出力領域を選択する、出力選択部をさらに備え、
前記連携処理部は、前記個別出力領域が選択された場合に、当該個別出力領域に関連付けられている前記出力情報候補を、前記出力情報とする、
請求項2に記載の情報処理装置。 - 前記出力選択部は、前記情報入力領域の位置と前記複数の個別出力領域の各々の位置とに基づいて、いずれかの前記個別出力領域を選択する、請求項4に記載の情報処理装置。
- 前記情報処理装置は、入力操作から取得された操作情報から、前記個別出力領域のいずれかを指定する領域指定情報を認識する、入力認識部をさらに備え、
前記出力選択部は、前記領域指定情報により指定される前記個別出力領域を選択する、
請求項4に記載の情報処理装置。 - 前記所定の第1の位置関係は、前記情報入力領域と前記情報出力領域とが少なくとも部分的に重なる位置関係である、請求項1に記載の情報処理装置。
- 前記出力情報を前記入力情報として入力できるか否かを判定する連携判定部、をさらに備える請求項1に記載の情報処理装置。
- 前記位置判定部は、前記情報入力領域の位置と前記情報出力領域の位置とが所定の第2の位置関係を満たすか否かをさらに判定し、
前記連携判定部は、前記所定の第2の位置関係が満たされると判定される場合に、前記出力情報を前記入力情報として入力できるか否かを判定する、
請求項8に記載の情報処理装置。 - 前記所定の第2の位置関係は、前記情報入力領域と前記情報出力領域との間の距離が所定の距離以下である位置関係である、請求項9に記載の情報処理装置。
- 前記出力情報を前記入力情報として入力できると判定された場合に、前記第2のアプリケーションから前記第1のアプリケーションへの入力が可能であることを示す標識を表示画面上に表示させ、または、前記出力情報を前記入力情報として入力できないと判定された場合に、前記入力が可能ではないことを示す標識を表示画面上に表示させる表示制御部、をさらに含む請求項9に記載の情報処理装置。
- 前記所定の第1の位置関係が満たされると判定される場合に、前記情報入力領域を変形させる表示制御部、をさらに含む請求項1に記載の情報処理装置。
- 前記表示制御部は、前記情報出力領域の形状、大きさおよび傾きの少なくとも1つに応じて、前記情報入力領域を変形させる、請求項12に記載の情報処理装置。
- 前記表示制御部は、前記情報入力領域の形状、大きさおよび傾きの少なくとも1つを変更することにより、前記情報入力領域を変形させる、請求項12に記載の情報処理装置。
- 前記出力情報を前記入力情報として入力できないと判定された場合に、当該判定後に前記入力情報として入力された入力情報サンプルと、前記出力情報となり得る1つ以上の出力情報候補とを比較することにより、前記入力情報として入力され得る前記出力情報候補の属性を抽出する関係抽出部、をさらに備える請求項8に記載の情報処理装置。
- 情報処理装置を制御するコンピュータを、
第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定する位置判定部と、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力する連携処理部と、
として機能させるためのプログラム。 - 第1のアプリケーションの表示領域内に含まれる情報入力領域の位置と、第2のアプリケーションの表示領域内に含まれる情報出力領域の位置とが、所定の第1の位置関係を満たすか否か、を判定することと、
前記所定の第1の位置関係が満たされると判定される場合に、前記情報出力領域に関連付けられている前記第2のアプリケーションの出力情報を、前記情報入力領域に関連付けられている入力情報として前記第1のアプリケーションに入力することと、
を含む連携処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139276A JP2013008127A (ja) | 2011-06-23 | 2011-06-23 | 情報処理装置、プログラムおよび連携処理方法 |
US13/526,815 US8881043B2 (en) | 2011-06-23 | 2012-06-19 | Information processing apparatus, program, and coordination processing method |
CN 201210210673 CN102902451A (zh) | 2011-06-23 | 2012-06-20 | 信息处理设备、程序和协调处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139276A JP2013008127A (ja) | 2011-06-23 | 2011-06-23 | 情報処理装置、プログラムおよび連携処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013008127A true JP2013008127A (ja) | 2013-01-10 |
Family
ID=47361375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011139276A Withdrawn JP2013008127A (ja) | 2011-06-23 | 2011-06-23 | 情報処理装置、プログラムおよび連携処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8881043B2 (ja) |
JP (1) | JP2013008127A (ja) |
CN (1) | CN102902451A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015022326A (ja) * | 2013-07-16 | 2015-02-02 | コニカミノルタ株式会社 | 画像形成装置、アプリケーションプログラム生成方法およびアプリケーションプログラム生成プログラム |
JP2017535898A (ja) * | 2014-11-07 | 2017-11-30 | イーベイ インコーポレイテッド | アプリケーションをリンクさせるためのシステムおよび方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140085178A1 (en) * | 2012-09-24 | 2014-03-27 | 3M Innovative Properties Company | Method and apparatus for controlling information display areas in a mirror display |
USD764483S1 (en) * | 2013-12-20 | 2016-08-23 | Deere & Company | Display screen with graphical user interface |
USD765108S1 (en) * | 2013-12-20 | 2016-08-30 | Deere & Company | Display screen with animated graphical user interface |
USD765107S1 (en) * | 2013-12-20 | 2016-08-30 | Deer & Company | Display screen with graphical user interface |
CN104898962B (zh) * | 2014-03-03 | 2020-04-24 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
USD882582S1 (en) | 2014-06-20 | 2020-04-28 | Google Llc | Display screen with animated graphical user interface |
USD774062S1 (en) * | 2014-06-20 | 2016-12-13 | Google Inc. | Display screen with graphical user interface |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6212577B1 (en) * | 1993-03-03 | 2001-04-03 | Apple Computer, Inc. | Method and apparatus for improved interaction with an application program according to data types and actions performed by the application program |
US20090122018A1 (en) * | 2007-11-12 | 2009-05-14 | Leonid Vymenets | User Interface for Touchscreen Device |
US20090276701A1 (en) * | 2008-04-30 | 2009-11-05 | Nokia Corporation | Apparatus, method and computer program product for facilitating drag-and-drop of an object |
US8959446B2 (en) * | 2008-11-20 | 2015-02-17 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling the same |
US8370762B2 (en) * | 2009-04-10 | 2013-02-05 | Cellco Partnership | Mobile functional icon use in operational area in touch panel devices |
-
2011
- 2011-06-23 JP JP2011139276A patent/JP2013008127A/ja not_active Withdrawn
-
2012
- 2012-06-19 US US13/526,815 patent/US8881043B2/en not_active Expired - Fee Related
- 2012-06-20 CN CN 201210210673 patent/CN102902451A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015022326A (ja) * | 2013-07-16 | 2015-02-02 | コニカミノルタ株式会社 | 画像形成装置、アプリケーションプログラム生成方法およびアプリケーションプログラム生成プログラム |
JP2017535898A (ja) * | 2014-11-07 | 2017-11-30 | イーベイ インコーポレイテッド | アプリケーションをリンクさせるためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
US8881043B2 (en) | 2014-11-04 |
US20120326997A1 (en) | 2012-12-27 |
CN102902451A (zh) | 2013-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013008127A (ja) | 情報処理装置、プログラムおよび連携処理方法 | |
JP6262362B2 (ja) | 通信スレッド内にメッセージを書き込むこと | |
US11722535B2 (en) | Communicating with a user external to a virtual conference | |
US20220004290A1 (en) | Navigating digital content using visual characteristics of the digital content | |
US9324305B2 (en) | Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal | |
JP2017510898A (ja) | 設定可能な電子通信要素 | |
TW201445421A (zh) | 基於互動自動地操縱視覺化資料 | |
WO2013097129A1 (zh) | 联系人搜索方法、装置及其应用的移动终端 | |
US20170212906A1 (en) | Interacting with user interfacr elements representing files | |
WO2020055480A1 (en) | Multi-region detection for images | |
JP2019008772A (ja) | 文字を入力する方法及び装置 | |
WO2017008646A1 (zh) | 一种在触控终端上选择多个目标的方法和设备 | |
US11360663B2 (en) | Presenting miniprofile from feed | |
JP2020516983A (ja) | リアルタイム協働用のライブインク存在 | |
WO2024051639A1 (zh) | 图像处理方法、装置、设备及存储介质和产品 | |
US20160041737A1 (en) | Systems, methods and computer program products for enlarging an image | |
JP4854797B2 (ja) | プログラムおよび電子機器 | |
RU2608883C2 (ru) | Способ и электронное устройство для обработки изображения | |
JP2019139332A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP6259225B2 (ja) | 電子機器およびこれに接続された携帯端末のジェスチャ認識操作方法、車載システム | |
JP2020119047A (ja) | 情報処理システム、情報処理装置、パラメータ設定方法及びプログラム | |
JP2021036400A (ja) | 情報処理システム、情報処理装置、情報処理方法及びプログラム | |
JP2014110035A (ja) | 補正方法、システム、情報処理装置、および補正プログラム | |
JP5638589B2 (ja) | 位置表示制御装置、位置表示制御方法および位置表示制御プログラム | |
US20240073050A1 (en) | Presenting captured screen content within a virtual conferencing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140605 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20150406 |