JP6196101B2 - 情報処理装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、方法およびプログラムに関する。

タッチ入力機能を持つ情報処理装置では、タッチパネルにボタンを表示し、このボタンの操作に応じて所定機能の実行を制御することが一般的に行われている。例えば、手書き入力インタフェースを利用したノートアプリケーションでは、手書き文字の表示色や線種を変更するためのボタンをタッチパネルに表示し、このボタンが操作されている間、手書き文字の表示色や線種を変更する。

しかし、このようなボタンは、通常、タッチパネルの予め定められた位置に表示される。このため、ユーザがタッチパネルの別の領域を注視して何らかの作業を行いながらボタンを操作しようとした場合、作業を中断して、目視によりボタンの位置を確認した上で操作する必要があり、作業効率の低下に繋がる。

また、ボタン操作の代わりに、マルチタッチ操作の組み合わせにより所定機能の実行を制御するものもある。しかし、この場合も、作業を中断して所定のマルチタッチ操作を行う必要があり、作業効率の低下を招く。

このため、より単純な動作により所定機能の実行を制御できる情報処理装置の実現が望まれている。

特開２０１３−８３２６号公報 米国特許出願公開第２０１２／０１５４２９５号明細書

本発明が解決しようとする課題は、ユーザの単純な動作により所定機能の実行を制御できる情報処理装置、方法およびプログラムを提供することである。

実施形態の情報処理装置は、表示部を含むタッチパネルを有する情報処理装置であって、検出部と、設定部と、筆跡受付部と、制御部と、を備える。検出部は、前記情報処理装置をユーザが把持したときに、前記ユーザの指の位置が前記タッチパネルに接触している接触領域を時系列で取得し、前記接触領域の重心位置の変動が所定範囲内である状態が所定時間継続した場合に、前記タッチパネルの前記接触領域内の予め定めた基準位置を把持位置として検出する。設定部は、前記検出部により検出された前記把持位置から前記タッチパネルの中心部に向かって所定距離だけ離れた位置を前記タッチパネルの制御領域として設定する。制御部は、前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡の色または線種を、前記ユーザの指が前記制御領域に接触していない間に前記筆跡受付部を介して入力された筆跡の色または線種から変更して前記表示部に表示させる。

実施形態の情報処理装置の使用状況の一例を示す図。 第１実施例の情報処理装置の機能的な構成例を示すブロック図。 検出部による把持位置の検出方法の一例を説明する図。 設定部による制御領域の設定方法の一例を説明する図。 第１実施例の情報処理装置の動作を説明するフローチャート。 第２実施例の情報処理装置の機能的な構成例を示すブロック図。 検索結果表示領域に表示される表示画面の一例を示す図。 検索結果表示領域に表示される表示画面の他の例を示す図。 検索結果表示領域に表示される表示画面のさらに他の例を示す図。 第２実施例の情報処理装置の動作を説明するフローチャート。 第３実施例の情報処理装置の機能的な構成例を示すブロック図。 検索結果表示領域に表示される表示画面の一例を示す図。 検索結果表示領域に表示される表示画面の他の例を示す図。 第４実施例の情報処理装置の機能的な構成例を示すブロック図。 第４実施例の情報処理装置の動作を説明するフローチャート。 変形例の情報処理装置の使用状況を示す図。 変形例の情報処理装置の使用状況を示す図。

実施形態の情報処理装置は、該情報処理装置を把持したユーザの指の位置から所定距離だけ離れた位置に制御領域を設定し、ユーザの指が制御領域に接触しているか否かに基づき、所定機能の実行を制御する。制御領域は、予め定められた位置に固定的に設定されるのではなく、情報処理装置を把持したユーザの指の位置である把持位置に応じて可変に設定される。つまり、把持位置が変化すれば制御領域の位置も変化し、現在の把持位置から所定距離だけ離れた位置に現在の制御領域が設定される。所定距離は、例えば、一般的なユーザが情報処理装置を把持したまま指（主に親指）のみを情報処理装置の中心部に向かって動かした場合の指の可動範囲に基づいて定められる。

実施形態の情報処理装置では、現在の把持位置から所定距離だけ離れた位置に現在の制御領域が設定される。このため、ユーザは、目視により制御領域の位置を確認することなく、情報処理装置を把持したまま指のみを動かすといった単純な動作で、制御領域に触れることができる。したがって、実施形態の情報処理装置によれば、ユーザの作業を中断させずに所定機能の実行を制御することができる。

図１は、実施形態の情報処理装置の使用状況の一例を示す図である。図１に示す情報処理装置１００は、タッチパネル１０を備える。図１（ａ）のように、例えばユーザが情報処理装置１００を左手で把持すると、ユーザの左手の親指Ｔｍの位置が把持位置として検出される。そして、この把持位置から情報処理装置１００の中心部（タッチパネル１０の中心部）に向かって所定距離だけ離れた位置に制御領域が設定される。その後、図１（ｂ）に示すように、ユーザが親指Ｔｍをタッチパネル１０の中心部に向かって画面上でスライドさせるように動かすと、親指Ｔｍが制御領域に接触する。

情報処理装置１００は、ユーザの親指Ｔｍが制御領域に接触しているか否かに基づき、所定機能の実行を制御する。例えば、情報処理装置１００は、手書き入力された筆跡をタッチパネル１０に表示するノートアプリケーションを実行している場合、ユーザの親指Ｔｍが制御領域に接触している状態（図１（ｂ））で入力された筆跡の色や線種を、ユーザの親指Ｔｍが制御領域に接触していない状態（図１（ａ））で入力された筆跡の色や線種から変更して、タッチパネル１０に表示する。

ユーザの指が制御領域に接触しているか否かに基づいて実行が制御される機能としては、様々なものが考えられる。以下では、制御対象となる機能の違いによる情報処理装置１００のバリエーションのいくつかを、実施例として説明する。

（第１実施例）
第１実施例は、手書き入力インタフェースを利用したノートアプリケーションへの適用例である。ノートアプリケーションにおいては、ユーザが手書き入力した筆跡をタッチパネルに表示する際の色や線種などを変更することができる。第１実施例の情報処理装置（以下、情報処理装置１００Ａと表記する。）は、ユーザの指が制御領域に接触しているか否かにより、ユーザが手書き入力した筆跡の表示を制御する。具体的には、第１実施例の情報処理装置１００Ａは、ユーザの指が制御領域に接触している間に入力された筆跡の色や線種を、ユーザの指が制御領域に接触していない間に入力された筆跡の色や線種から変更して、タッチパネル１０に表示する。

図２は、第１実施例の情報処理装置１００Ａの機能的な構成例を示すブロック図である。図２に示すように、第１実施例の情報処理装置１００Ａは、検出部１０１と、設定部１０２と、筆跡受付部１０３と、筆跡表示部１０４と、制御部１０５Ａと、を備える。

検出部１０１は、情報処理装置１００Ａを把持したユーザの指の位置である把持位置を検出する。

図３は、検出部１０１による把持位置の検出方法の一例を説明する図である。図３に示すように、検出部１０１は、例えば、ユーザの指が接触している接触領域ＴＲを時系列で取得する。図３において、接触領域ＴＲ１は時刻ｔで取得された接触領域ＴＲを示し、接触領域ＴＲ２は時刻ｔ＋ｋで取得された接触領域ＴＲを示し、接触領域ＴＲ３は時刻ｔ＋ｎ（ｎ＞ｋ）で取得された接触領域ＴＲを示している。

なお、接触領域ＴＲは、タッチパネル１０上で接触が検知された領域であってもよいし、情報処理装置１００Ａのフレームに設けられた圧力センサや光センサなど、接触を検知可能なセンサによって検知された領域であってもよい。また、接触領域ＴＲを取得するための専用のタッチパネルを設け、この専用のタッチパネル上で接触が検知された領域を接触領域ＴＲとしてもよい。

共通のタッチパネル１０を用いて筆跡入力の受け付けと接触領域ＴＲの取得との双方を行う場合には、例えば、タッチパネル１０に対する入力の時間的連続性と面積を計測し、入力位置が近いデータ集合の面積が相対的に小さく、単位時間当たりの入力位置の移動量が相対的に大きい場合、入力が筆跡であるとみなす。これにより、共通のタッチパネル１０を利用しても、ユーザの指の接触と筆跡の入力とを区別することができる。また、タッチパネル１０上で筆跡入力の受け付けを行う領域と接触領域ＴＲの取得を行う領域を区別し、例えば、情報処理装置１００Ａのフレームから所定範囲内の領域を、接触領域ＴＲの取得を行う領域としてもよい。

次に、検出部１０１は、時系列で取得した接触領域ＴＲのそれぞれの重心位置Ｗを求め、重心位置Ｗの変動が所定範囲内である状態が所定時間継続した場合に、その接触領域ＴＲ内の予め定めた基準位置を把持位置ＨＰとして検出する。図３において、重心位置Ｗ１は接触領域ＴＲ１の重心位置Ｗを示し、重心位置Ｗ３は接触領域ＴＲ３の重心位置Ｗを示している。

所定範囲は、情報処理装置１００Ａを把持するユーザの意図しない指の動きを考慮して、意図的に指を移動させたのではないと判断できる程度の大きさ（例えば１０ｍｍ×１０ｍｍ程度）に定められる。また、所定時間は、定常性を判断できる程度の時間（例えば３０秒程度）に定められる。また、接触領域ＴＲ内の基準位置は、例えば、時系列で取得した接触領域ＴＲをマージした領域のうち、タッチパネル１０の中心部ＣＰに最も近い位置、あるいは時系列で取得した接触領域ＴＲをマージした領域の重心位置とすればよい。図３では、タッチパネル１０の中心部ＣＰに最も近い位置が把持位置ＨＰとして検出された例を示している。

なお、検出部１０１による把持位置ＨＰの検出方法は、上述した例に限られるものではない。例えば、音声や画面表示などによりユーザに対して情報処理装置１００Ａの把持を促す報知を行い、この報知の後に最初に取得された接触領域ＴＲ内の基準位置を、把持位置ＨＰとして検出するようにしてもよい。

設定部１０２は、検出部１０１により検出された把持位置ＨＰから所定距離だけ離れた位置に制御領域を設定する。

図４は、設定部１０２による制御領域の設定方法の一例を説明する図である。図４に示すように、設定部１０２は、例えば、検出部１０１により検出された把持位置ＨＰから、タッチパネル１０の中心部ＣＰに向かって所定距離Ｌだけ離れた位置に、制御領域ＣＲを設定する。制御領域ＣＲの形状は任意であり、例えば図４に示すように長方形の制御領域ＣＲとすることができる。所定距離Ｌは、上述したように一般的なユーザの親指の可動範囲に基づいて、例えば３０ｍｍ程度に定められる。また、制御領域ＣＲは、情報処理装置１００Ａのフレームに対して傾きを持たせて設定してもよい。この場合、制御領域ＣＲの把持位置ＨＰに最も近い位置が把持位置ＨＰから所定距離Ｌだけ離れるように、制御領域ＣＲを設定する。

なお、制御領域ＣＲを設定するとは、少なくとも制御領域ＣＲの境界を特定できるタッチパネル１０上の座標を一時記憶（保持）することを意味する。設定された制御領域ＣＲは、タッチパネル１０上で明示的に表示する必要はないが、制御領域ＣＲを目視でも認識できるようにタッチパネル１０に表示してもよい。

筆跡受付部１０３は、手書き入力インタフェースを通じて、ユーザによる筆跡の入力を受け付ける。筆跡受付部１０３は、例えば、タッチパネル１０にペンもしくは指が触れてから離れるまでの期間に入力された接触位置の軌跡を１つの筆跡として認識する。筆跡受付部１０３が入力を受け付けた筆跡は、筆跡データとして管理される。筆跡データは、筆跡を識別するための筆跡番号と、ペンや指がタッチパネル１０に触れて移動した軌跡における複数の点の時系列座標とで構成される。筆跡番号は筆跡データの発生順にインクリメントされる。

筆跡表示部１０４は、例えばタッチパネル１０を用いて構成され、制御部１０５Ａによる制御のもとで、筆跡受付部１０３により入力が受け付けられた筆跡を表示する。

制御部１０５Ａは、設定部１０２により設定された制御領域ＣＲにユーザの指が触れているか否かに基づいて、筆跡表示部１０４による筆跡の表示を制御する。例えば、筆跡のデフォルトの表示色が黒である場合、制御部１０５Ａは、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡が、黒以外の色、例えば赤色などで表示されるように、筆跡表示部１０４による筆跡の表示を制御する。また、制御部１０５Ａは、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡が、デフォルトの線とは異なる線種、例えばデフォルトの線よりも太い太線で表示されるように、筆跡表示部１０４による筆跡の表示を制御するようにしてもよい。

制御領域ＣＰにユーザの指が触れているか否かは、例えば、タッチパネル１０の入力を監視し、タッチパネル１０上の接触領域ＴＲが制御領域ＣＲと重複するか否かにより判定することができる。具体的には、接触領域ＴＲの重心Ｗのタッチパネル１０上の座標が、設定された制御領域ＣＲの座標範囲に含まれていれば、ユーザの指が制御領域ＣＲに触れていると判断する。

なお、制御部１０５Ａは、制御領域ＣＰに対する短時間の接触回数に応じて、制御内容を切り替えるようにしてもよい。例えば、筆跡が入力される前に接触領域ＣＲに対する短時間の接触がなければ、接触領域ＣＲにユーザの指が触れている間に入力された筆跡の表示色を赤色に変更する。筆跡が入力される前に短時間の接触が１回あれば、接触領域ＣＲにユーザの指が触れている間に入力された筆跡の表示色を赤色に変更する。筆跡が入力される前に短時間の接触が２回あれば、接触領域ＣＲにユーザの指が触れている間に入力された筆跡を太字で表示させるといったことが考えられる。また、このような制御内容の切替えは、例えば、別途設けた切り替えボタンの操作に応じて行うようにしてもよい。

図５は、第１実施例の情報処理装置１００Ａの動作を説明するフローチャートである。図５のフローチャートで示す一連の処理は、ノートアプリケーションの実行開始とともに開始され、ノートアプリケーションの終了とともに終了する。

ノートアプリケーションの実行が開始されると、まず、検出部１０１が、把持位置ＨＰを検出する（ステップＳ１０１）。そして、設定部１０２が、検出部１０１により検出された把持位置ＨＰから所定距離だけ離れた位置に、制御領域ＣＲを設定する（ステップＳ１０２）。

その後、筆跡受付部１０３による筆跡入力の受け付けが開始されると、制御部１０５Ａが、筆跡が入力されたか否かを判定し（ステップＳ１０３）、筆跡が入力されていなければ（ステップＳ１０３：Ｎｏ）、筆跡が入力されるまで待機する。そして、筆跡が入力されると（ステップＳ１０３：Ｙｅｓ）、制御部１０５Ａが、ユーザの指が設定部１０２により設定された制御領域ＣＲに触れているか否かを判定する（ステップＳ１０４）。

ここで、ユーザの指が制御領域ＣＲに触れていれば（ステップＳ１０４：Ｙｅｓ）、制御部１０５Ａが、入力された筆跡の表示色または線種を変更する（ステップＳ１０５）。一方、ユーザの指が制御領域ＣＲに触れていなければ（ステップＳ１０４：Ｎｏ）、入力された筆跡の表示色または線種はデフォルトのままとなる。そして、筆跡表示部１０４が、ステップＳ１０５で変更された表示色または線種、あるいはデフォルトの表示色または線種で、入力された筆跡を表示する（ステップＳ１０６）。

その後、把持位置ＨＰが変化したか否かが判定され（ステップＳ１０７）、把持位置ＨＰが変化していなければ（ステップＳ１０７：Ｎｏ）、ステップＳ１０３に戻って次の筆跡の入力を待機する。一方、把持位置ＨＰが変化した場合には（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０２に戻って、設定部１０２が、新たな把持位置ＨＰから所定距離だけ離れた位置に新たな制御領域ＣＲを設定し、その後の処理を繰り返す。

以上説明したように、第１実施例の情報処理装置１００Ａによれば、把持位置ＨＰから所定距離だけ離れた位置に、筆跡の表示色や線種を変更するための制御領域ＣＲが設定される。したがって、ユーザは、筆跡の入力を中断することなく、情報処理装置１００Ａを把持したまま指のみを動かして制御領域ＣＲに触れるといった単純な動作を行うことで、筆跡の表示色や線種を変更することができる。

（第２実施例）
第２実施例は、手書き入力インタフェースを利用した検索アプリケーションへの適用例である。検索アプリケーションにおいては、ユーザが手書き入力した筆跡を用いて、情報の検索を行うことができる。例えば、ユーザが過去に入力した筆跡が、その筆跡の背景として表示されていた背景情報（テキストや画像など）とともに記憶されている場合、ユーザが現在入力している筆跡に類似する過去の筆跡および背景情報を、検索結果として取得することができる。また、ユーザが入力している筆跡の背景情報に基づいて検索を行い、装置内外（装置内の記憶部や装置外のインターネット上のウェブサイトなど）から検索結果を取得することもできる。第２実施例の情報処理装置（以下、情報処理装置１００Ｂと表記する。）は、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡を用いて、このような情報の検索を行う。

図６は、第２実施例の情報処理装置１００Ｂの機能的な構成例を示すブロック図である。図６に示すように、第２実施例の情報処理装置１００Ｂは、検出部１０１と、設定部１０２と、筆跡受付部１０３と、筆跡表示部１０４Ｂと、筆跡記憶部１０６と、制御部１０５Ｂと、検索結果表示部１０７と、を備える。検出部１０１、設定部１０２および筆跡受付部１０３は第１実施例と共通の構成要素であるため、これらの重複した説明は省略する。

筆跡表示部１０４Ｂは、例えば、タッチパネル１０の一部の領域（例えば、タッチパネル１０の表示領域全体のうち右半分の領域）を用いて構成され、筆跡受付部１０３により入力が受け付けられた筆跡を表示する。以下、筆跡表示部１０４Ｂとして用いられる表示領域を、特に筆跡表示領域という。

筆跡記憶部１０６は、筆跡受付部１０３が入力を受け付けた筆跡を、その筆跡の背景として筆跡表示領域に表示されていた背景情報と対応付けて記憶する。筆跡受付部１０３が入力を受け付けた筆跡は、上述したように、筆跡データとして管理され、筆跡記憶部１０６に格納される。この際、筆跡の背景として表示されていたテキストや画像などの背景情報が、筆跡データと対応付けられ、筆跡データとともに筆跡記憶部１０６に格納される。

筆跡データとともに筆跡記憶部１０６に格納される背景情報は、筆跡とともに筆跡表示領域に表示されていた画面の全体であってもよいし、一部であってもよい。例えば、筆跡とともに筆跡表示領域に表示されていた画面のうち、筆跡の外接矩形により切り取られる領域の情報を、背景情報として筆跡記憶部１０６に格納することができる。また、筆跡とともに筆跡表示領域に表示されていた画面のうち、筆跡の中心から予め定めた距離の範囲内にある情報を切り取って、背景情報として筆跡記憶部１０６に格納するようにしてもよい。また、筆跡とともに筆跡表示領域に表示されていた画面を、文字領域や画像領域などの領域単位で分割し、筆跡が通過した領域の情報を、背景情報として筆跡記憶部１０６に格納するようにしてもよい。

制御部１０５Ｂは、設定部１０２により設定された制御領域ＣＲにユーザの指が触れているか否かに基づいて、情報検索機能１１０の実行を制御する。制御領域ＣＲにユーザの指が触れているか否かを判定する方法は、第１実施例と同様である。情報検索機能１１０は、検索エンジンによって実行される機能であり、例えば「筆跡検索」、「テキスト検索」、および「画像検索」の各機能を有する。

「筆跡検索」は、筆跡受付部１０３により入力が受け付けられた筆跡を、筆跡記憶部１０６に記憶された過去の筆跡と照合し、筆跡受付部１０３により入力が受け付けられた筆跡に類似する過去の筆跡および背景情報を、検索結果として取得する機能である。この「筆跡検索」の機能により情報の検索を行う場合、制御部１０５Ｂは、筆跡記憶部１０６に記憶された過去の筆跡のうち、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡に類似する過去の筆跡およびこれと対応付けられた背景情報を、検索結果として取得する。

筆跡の類似性の判断は、例えば、筆跡の特徴量の比較により行われる。筆跡の特徴量は、例えば、文字認識等で利用される筆跡の方向に基づく特徴量を用いることができる。具体的には、筆跡の外接矩形をＳ×Ｓの局所領域に区分し、各局所領域で筆跡の方向を固定数Ｄで量子化して、局所領域ごとに筆跡の方向のヒストグラムを算出する。これにより、Ｓ×Ｓの局所領域それぞれについて、Ｄ次元のヒストグラムが得られる。このように得られたＳ×Ｓ×Ｄ次元の方向のヒストグラムを、筆跡の特徴量として用いることができる。

また、筆跡の特徴量は、上述した筆跡の方向に基づくものだけでなく、例えば、筆跡を画像として捉えた場合の周波数成分やエッジなど、筆跡の特徴を表しているものを単独で、あるいは組み合わせて利用することができる。なお、本実施例では、筆跡受付部１０３により入力が受け付けられた筆跡に類似する過去の筆跡および背景情報を検索結果として取得するが、筆跡受付部１０３により入力が受け付けられた筆跡を画像と捉え、この画像に類似する情報を装置内外から検索結果として取得するようにしてもよい。

「テキスト検索」は、筆跡受付部１０３により入力が受け付けられた筆跡の背景に含まれるテキストに基づいて情報の検索を行う機能である。例えば、筆跡の位置から所定範囲内の背景に含まれるテキストを形態素解析して単語を抽出し、抽出した単語をキーワードとして検索を行い、筆跡の背景に含まれるテキストに類似する情報（例えば検索キーワードとして用いた単語を含む文書データやウェブサイトの画面など）を装置内外から検索結果として取得する。この「テキスト検索」の機能により情報の検索を行う場合、制御部１０５Ｂは、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡の背景に含まれるテキストに基づいて情報の検索を行い、装置内外から検索結果を取得する。

「テキスト検索」の機能により検索結果として取得する情報は、例えば文書データやウェブサイトの画面などの全体であってもよいし、検索キーワードとして用いた単語が含まれる一部であってもよい。例えば、ウェブサイトの画面上において、検索キーワードとして用いた単語を中心に予め定めた範囲を切り取り、これを検索結果として取得することができる。また、ウェブサイトの画面がタグ付けされた構造化データにより描画される画面であれば、検索キーワードとして用いた単語を含むタグ間の領域の情報を、検索結果として取得するようにしてもよい。

「画像検索」は、筆跡受付部１０３により入力が受け付けられた筆跡の背景に含まれる画像に基づいて情報の検索を行う機能である。例えば、筆跡の位置から所定範囲内の背景に含まれる画像からエッジ特徴を抽出し、類似したエッジ特徴を持つ画像を装置内外から検索結果として取得する。なお、検索に用いる画像の特徴は、エッジ特徴以外に、例えば配色など、画像の特徴を表す特徴量であればどのようなものを用いても構わない。この「画像検索」の機能により情報の検索を行う場合、制御部１０５Ｂは、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡の背景に含まれる画像に基づいて情報の検索を行い、装置内外から検索結果を取得する。

「画像検索」の機能により検索結果として取得する情報は、検索に用いた画像に類似する画像のみであってもよいし、画像がウェブサイトの画面の一部である場合などにおいては、そのウェブサイトの画面全体であってもよい。また、筆跡受付部１０３により入力が受け付けられた筆跡を文字認識し、得られた単語をキーワードとして検索を行って、装置内外から画像を検索結果として取得するようにしてもよい。

制御部１０５Ｂの制御のもとで実行される情報検索機能１１０は、上述した「筆跡検索」、「テキスト検索」、および「画像検索」のうちのいずれか１つの機能であってもよいし、２つ以上の機能の組み合わせであってもよい。実行する情報検索機能１１０は、例えば、検索アプリケーションを起動する前のユーザの指定に基づいて選択すればよい。また、検索アプリケーションの起動後であっても、第１実施例で説明したように、例えば、制御領域ＣＲに対する短時間の接触回数に応じて、機能の切り替えを行うようにしてもよい。また、例えば、別途設けた切り替えボタンの操作に応じて、機能の切り替えを行うようにしてもよい。

検索結果表示部１０７は、例えば、タッチパネル１０の筆跡表示領域として用いない一部の領域（例えば、タッチパネル１０の表示領域全体のうち左半分の領域）を用いて構成され、制御部１０５Ｂの情報検索機能１１０により検索結果として取得された情報を表示する。以下、検索結果表示部１０７として用いられる表示領域を、検索結果表示領域という。情報検索機能１１０により検索結果として複数の情報が取得された場合、検索結果表示部１０７は、これら複数の情報のうち、検索結果としての優先度が高い情報ほど検索結果表示領域の中心部に近い位置に配置して表示することが望ましい。また、検索結果表示部１０７は、検索結果として取得された複数の情報のうち、検索結果としての優先度が高い情報ほど大きく表示することが望ましい。

また、検索結果表示部１０７は、例えば、制御部１０５Ｂの情報検索機能１１０により複数の観点で検索が行われた場合は、検索結果として取得された情報を、観点ごとに、検索結果表示領域の中心部から異なる方向に延びる複数の観点軸に沿って配置する。複数の観点での検索とは、例えば、上述した「筆跡検索」、「テキスト検索」、および「画像検索」のうちの２つ以上の機能を組み合わせた検索や、類似度の評価基準が異なる複数の観点で行う複合検索などである。この場合も、各観点軸上に配置される観点ごとの情報は、検索結果としての優先度が高い情報ほど検索結果表示領域の中心部に近い位置に配置され、検索結果としての優先度が高い情報ほど大きく表示されることが望ましい。

図７は、検索結果表示領域ＤＡに表示される表示画面の一例を示す図である。図７では、「筆跡検索」の機能により検索を行うことで得られた５つの検索結果ＳＲ１１，ＳＲ１２，ＳＲ１３，ＳＲ１４，ＳＲ１５を表示した画面例を示している。これらの検索結果のうち、検索結果表示領域ＤＡの中心部に配置されている検索結果ＳＲ１１は、筆跡の類似度が最も高い検索結果である。また、検索結果ＳＲ１１に隣接して配置されている検索結果ＳＲ１２および検索結果ＳＲ１３は、検索結果ＳＲ１１の次に筆跡の類似度が高い検索結果である。また、検索結果ＳＲ１２に隣接して配置されている検索結果ＳＲ１４と検索結果ＳＲ１３に隣接して配置されている検索結果ＳＲ１５は、検索結果ＳＲ１２や検索結果ＳＲ１３の次に筆跡の類似度が高い検索結果である。

これらの検索結果ＳＲ１１，ＳＲ１２，ＳＲ１３，ＳＲ１４，ＳＲ１５は、「筆跡検索」の機能により筆跡記憶部１０６から取得された情報をそのまま表示したものであってもよいし、筆跡記憶部１０６から取得された情報を加工して表示したものであってもよい。また、筆跡記憶部１０６における情報の格納場所へのリンクを、検索結果ＳＲ１１，ＳＲ１２，ＳＲ１３，ＳＲ１４，ＳＲ１５として表示してもよい。この場合は、タッチ操作などにより任意のリンクが選択されたときに、筆跡記憶部１０６から該当する情報が取得されて検索結果表示領域ＤＡに表示される。

図７に示すように、検索結果表示部１０７は、筆跡の類似度が高い検索結果ほど、つまり、検索結果としての優先度が高いものほど、検索結果表示領域ＤＡの中心部に近い位置に配置して、大きなサイズで表示する。

図８は、検索結果表示領域ＤＡに表示される表示画面の他の例を示す図である。図８では、「筆跡検索」と「テキスト検索」とを組み合わせた機能により検索を行うことで得られた６つの検索結果ＳＲ２１，ＳＲ２２，ＳＲ２３，ＳＲ２４，ＳＲ２５，ＳＲ２６を表示した画面例を示している。これらの検索結果のうち、検索結果ＳＲ２１，ＳＲ２２，ＳＲ２３は「筆跡検索」の機能により筆跡記憶部１０６から取得された検索結果であり、筆跡の類似度は検索結果ＳＲ２１が最も大きく、検索結果ＳＲ２２が２番目に大きく、検索結果ＳＲ２３が３番目に大きい。

また、検索結果ＳＲ２４，ＳＲ２５，ＳＲ２６は「テキスト検索」の機能により例えば装置外のウェブサイトから取得された情報であり、検索結果としての優先度（テキストの類似度）は検索結果ＳＲ２４が最も大きく、検索結果ＳＲ２５が２番目に大きく、検索結果ＳＲ２６が３番目に大きい。これらの検索結果ＳＲ２４，ＳＲ２５，ＳＲ２６は、「テキスト検索」の機能により例えば装置外のウェブサイトから取得された情報をそのまま表示したものであってもよいし、取得された情報を加工して表示したものであってもよい。また、ウェブサイトなどへのリンクを、検索結果ＳＲ２４，ＳＲ２５，ＳＲ２６として表示してもよい。この場合は、タッチ操作などにより任意のリンクが選択されたときに、該当するウェブサイトから情報が取得されて検索結果表示領域ＤＡに表示される。

図８に示すように、検索結果表示部１０７は、「筆跡検索」の機能により得られた検索結果ＳＲ２１，ＳＲ２２，ＳＲ２３を、検索結果表示領域ＤＡの中心部から上方向に延びる観点軸である筆跡類似軸ＣＡ１に沿って配置する。また、検索結果表示部１０７は、「テキスト検索」の機能により得られた検索結果ＳＲ２４，ＳＲ２５，ＳＲ２６を、検索結果表示領域ＤＡの中心部から下方向に延びる観点軸であるテキスト類似軸ＣＡ２に沿って配置する。さらに、検索結果表示部１０７は、それぞれの観点軸上で、検索結果としての優先度が高いものほど、検索結果表示領域ＤＡの中心部に近い位置に配置して、大きなサイズで表示する。

図９は、検索結果表示領域ＤＡに表示される表示画面のさらに他の例を示す図である。図９では、「筆跡検索」と「テキスト検索」と「画像検索」とを組み合わせた機能により検索を行うことで得られた９つの検索結果ＳＲ３１，ＳＲ３２，ＳＲ３３，ＳＲ３４，ＳＲ３５，ＳＲ３６，ＳＲ３７，ＳＲ３８，ＳＲ３９を表示した画面例を示している。これらの検索結果のうち、検索結果ＳＲ３１，ＳＲ３２，ＳＲ３３は「筆跡検索」の機能により筆跡記憶部１０６から取得された検索結果であり、筆跡の類似度は検索結果ＳＲ３１が最も大きく、検索結果ＳＲ３２が２番目に大きく、検索結果ＳＲ３３が３番目に大きい。

また、検索結果ＳＲ３４，ＳＲ３５，ＳＲ３６は「テキスト検索」の機能により例えば装置外のウェブサイトから取得された情報であり、検索結果としての優先度（テキストの類似度）は検索結果ＳＲ３４が最も大きく、検索結果ＳＲ３５が２番目に大きく、検索結果ＳＲ３６が３番目に大きい。

また、検索結果ＳＲ３７，ＳＲ３８，ＳＲ３９は「画像検索」の機能により例えば装置内の画像記憶部から取得された情報であり、検索結果としての優先度（画像の類似度）は検索結果ＳＲ３７が最も大きく、検索結果ＳＲ３８が２番目に大きく、検索結果ＳＲ３９が３番目に大きい。これらの検索結果ＳＲ３７，ＳＲ３８，ＳＲ３９は、「画像検索」の機能により例えば装置内の画像記憶部から取得された情報をそのまま表示したものであってもよいし、取得された情報を加工して表示したものであってもよい。また、画像記憶部における情報の格納場所へのリンクを、検索結果ＳＲ３７，ＳＲ３８，ＳＲ３９として表示してもよい。この場合は、タッチ操作などにより任意のリンクが選択されたときに、装置内の画像記憶部などから該当する情報が取得されて検索結果表示領域ＤＡに表示される。

図９に示すように、検索結果表示部１０７は、「筆跡検索」の機能により得られた検索結果ＳＲ３１，ＳＲ３２，ＳＲ３３を、検索結果表示領域ＤＡの中心部から上方向に延びる観点軸である筆跡類似軸ＣＡ１に沿って配置する。また、検索結果表示部１０７は、「テキスト検索」の機能により得られた検索結果ＳＲ３４，ＳＲ３５，ＳＲ３６を、検索結果表示領域ＤＡの中心部から左下方向に延びる観点軸であるテキスト類似軸ＣＡ２に沿って配置する。また、検索結果表示部１０７は、「画像検索」の機能により得られた検索結果ＳＲ３７，ＳＲ３８，ＳＲ３９を、検索結果表示領域ＤＡの中心部から右下方向に延びる観点軸である画像類似軸ＣＡ３に沿って配置する。さらに、検索結果表示部１０７は、それぞれ観点軸上で、検索結果としての優先度が高いものほど、検索結果表示領域ＤＡの中心部に近い位置に配置して、大きなサイズで表示する。

図１０は、第２実施例の情報処理装置１００Ｂの動作を説明するフローチャートである。図１０のフローチャートで示す一連の処理は、検索アプリケーションの実行開始とともに開始され、検索アプリケーションの終了とともに終了する。

検索アプリケーションの実行が開始されると、まず、検出部１０１が、把持位置ＨＰを検出する（ステップＳ２０１）。そして、設定部１０２が、検出部１０１により検出された把持位置ＨＰから所定距離だけ離れた位置に、制御領域ＣＲを設定する（ステップＳ２０２）。

その後、筆跡受付部１０３による筆跡入力の受け付けが開始されると、筆跡表示部１０４Ｂが、筆跡が入力されたか否かを判定し（ステップＳ２０３）、筆跡が入力されていなければ（ステップＳ２０３：Ｎｏ）、筆跡が入力されるまで待機する。そして、筆跡が入力されると（ステップＳ２０３：Ｙｅｓ）、筆跡表示部１０４Ｂが、入力された筆跡を筆跡表示領域に表示するとともに（ステップＳ２０４）、制御部１０５Ｂが、ユーザの指が設定部１０２により設定された制御領域ＣＲに触れているか否かを判定する（ステップＳ２０５）。

ここで、ユーザの指が制御領域ＣＲに触れていれば（ステップＳ２０５：Ｙｅｓ）、制御部１０５Ｂが、入力された筆跡に基づいて情報検索機能１１０による情報の検索を行い、検索結果を取得する（ステップＳ２０６）。そして、検索結果表示部１０７が、検索結果として取得された情報を、検索結果表示領域に表示する（ステップＳ２０７）。一方、ユーザの指が制御領域ＣＲに触れていなければ（ステップＳ２０５：Ｎｏ）、ステップＳ２０６およびステップＳ２０７の処理は行わない。

その後、把持位置ＨＰが変化したか否かが判定され（ステップＳ２０８）、把持位置ＨＰが変化していなければ（ステップＳ２０８：Ｎｏ）、ステップＳ２０３に戻って次の筆跡の入力を待機する。一方、把持位置ＨＰが変化した場合には（ステップＳ２０８：Ｙｅｓ）、ステップＳ２０２に戻って、設定部１０２が、新たな把持位置ＨＰから所定距離だけ離れた位置に新たな制御領域ＣＲを設定し、その後の処理を繰り返す。

以上説明したように、第２実施例の情報処理装置１００Ｂによれば、把持位置ＨＰから所定距離だけ離れた位置に、入力した筆跡を用いた情報の検索を指示するための制御領域ＣＲが設定される。したがって、ユーザは、情報処理装置１００Ｂを把持したまま指のみを動かして制御領域ＣＲに触れるといった単純な動作を行うことで、入力した筆跡を用いた情報の検索を実行させて、所望の検索結果を得ることができる。

また、第２実施例の情報処理装置１００Ｂによれば、入力された筆跡をもとに、過去の筆跡および背景情報や、入力された筆跡の背景に類似するテキスト、画像などの様々な情報を、効率よく取得することができる。

また、第２実施例の情報処理装置１００Ｂによれば、検索結果として取得された情報を、検索結果としての優先度が高いほど検索結果表示領域の中心部に近い位置に配置して表示したり、検索結果としての優先度が高いほど大きく表示したりすることで、検索結果を効率よくユーザに提示することができる。

また、第２実施例の情報処理装置１００Ｂによれば、複数の観点で検索が行われた場合に、検索結果として取得された情報を、観点ごとに、検索結果表示領域の中心部から異なる方向に延びる複数の観点軸に沿って配置して表示することで、検索結果をユーザに分かり易く提示することができる。

（第３実施例）
第３実施例は、第２実施例と同様の検索アプリケーションへの適用例であるが、主に音の検索を行う検索アプリケーションに適用した例である。例えば、ユーザが過去に入力した筆跡が、情報処理装置の周囲で発生している周囲音（音声や音楽など）とともに記憶されている場合、ユーザが現在入力している筆跡に類似する過去の筆跡および周囲音を、検索結果として取得したり、現在の周囲音に類似する過去の周囲音および筆跡を、検索結果として取得したりすることができる。また、筆跡入力時の周囲音が音楽である場合、この音楽に類似する音楽などを、装置内外（装置内の音楽記憶部や装置外のインターネット上のウェブサイトなど）から検索結果として取得することもできる。第３実施例の情報処理装置（以下、情報処理装置１００Ｃと表記する。）は、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡や筆跡とともに取得された周囲音を用いて、このような音の検索を行う。

図１１は、第３実施例の情報処理装置１００Ｃの機能的な構成例を示すブロック図である。図１１に示すように、第３実施例の情報処理装置１００Ｃは、検出部１０１と、設定部１０２と、筆跡受付部１０３と、筆跡表示部１０４Ｂと、音取得部１０８と、筆跡記憶部１０６Ｃと、制御部１０５Ｃと、検索結果表示部１０７と、を備える。検出部１０１、設定部１０２および筆跡受付部１０３は第１実施例と共通の構成要素であり、筆跡表示部１０４Ｂおよび検索結果表示部１０７は第２実施例と共通の構成要素であるため、これらの重複した説明は省略する。

音取得部１０８は、例えばマイクロフォンを通じて、情報処理装置１００Ｃの周囲で発生している周囲音を取得（録音）して保持する。音取得部１０８による周囲音の取得は、筆跡入力の有無にかかわらず、常に行われる。そして、音取得部１０８が保持する周囲音のうち、筆跡が入力された時点よりも一定時間前の時点から、筆跡の入力が終了した時点よりも一定時間後の時点までの間に取得された周囲音が、入力された筆跡と対応付けられて筆跡記憶部１０６Ｃに格納される。格納される周囲音の区間は、ユーザの筆跡入力中の区間、筆跡の入力音が連続していると判断できる場合は筆跡の入力音が連続する区間、筆跡の入力の周波数特性を持っており、類似した周波数特性を、持っている音がある区間、等からも選ぶことが可能である。なお、音取得部１０８が取得した周囲音のうち、筆跡記憶部１０６Ｃに格納されない周囲音は、破棄される。

筆跡記憶部１０６Ｃは、筆跡受付部１０３が入力を受け付けた筆跡を、その筆跡の入力とともに音取得部１０８で取得された周囲音と対応付けて記憶する。筆跡受付部１０３が入力を受け付けた筆跡は、上述したように、筆跡データとして管理され、筆跡記憶部１０６Ｃに格納される。この際、筆跡の入力前後の一定時間を含む筆跡入力期間に音取得部１０８により取得された周囲音のデータが、筆跡データと対応付けられ、筆跡データとともに筆跡記憶部１０６Ｃに格納される。

制御部１０５Ｃは、設定部１０２により設定された制御領域ＣＲにユーザの指が触れているか否かに基づいて、情報検索機能１１０Ｃの実行を制御する。制御領域ＣＲにユーザの指が触れているか否かを判定する方法は、第１実施例と同様である。情報検索機能１１０Ｃは、検索エンジンによって実行される機能であり、例えば「筆跡検索」、「周囲音検索」、および「音楽検索」の各機能を有する。

「筆跡検索」は、筆跡受付部１０３により入力が受け付けられた筆跡を、筆跡記憶部１０６Ｃに記憶された過去の筆跡と照合し、筆跡受付部１０３により入力が受け付けられた筆跡に類似する過去の筆跡および周囲音を、検索結果として取得する機能である。この「筆跡検索」の機能により情報の検索を行う場合、制御部１０５Ｃは、筆跡記憶部１０６Ｃに記憶された過去の筆跡のうち、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡に類似する過去の筆跡およびこれと対応付けられた周囲音を、検索結果として取得する。なお、筆跡の類似性の判断は、第２実施例と同様の手法で行えばよい。

「周囲音検索」は、音取得部１０８により取得された現在の周囲音を、筆跡記憶部１０６Ｃに記憶された過去の周囲音と照合し、音取得部１０８により取得された現在の周囲音に類似する過去の周囲音を、この周囲音と対応付けられた筆跡とともに、検索結果として取得する機能である。この「周囲音検索」の機能により情報の検索を行う場合、制御部１０５Ｃは、筆跡記憶部１０６Ｃに記憶された過去の周囲音のうち、ユーザの指が制御領域ＣＲに接触している間に音取得部１０８により取得された周囲音に類似する過去の周囲音を、これと対応付けられた筆跡とともに、検索結果として取得する。

周囲音の類似性の判断は、例えば、周囲音を周波数解析することで抽出される周波数特性の比較により行われる。また、周波数特性だけでなく、音量などの他の特徴量の比較により周囲音の類似性を判断してもよい。また、周囲音が人の発話音声である場合、周囲音を音声認識することで得られる単語の一致度などを用いて、周囲音の類似性を判断してもよい。

「音楽検索」は、音取得部１０８により取得された現在の周囲音が音楽である場合に、その周囲音として取得された音楽に類似する音楽を検索する機能である。例えば、音取得部１０８により取得された周囲音の周波数特性から、当該周波数特性を持つ音楽を特定し、その音楽の楽曲名、作者、演奏者、ジャンルなどを検索キーワードとして検索を行うことで、周囲音として取得された音楽に類似する音楽を、装置内外（装置内の音楽記憶部や装置外のインターネット上のウェブサイトなど）から検索結果として取得することができる。この「音楽検索」の機能により情報の検索を行う場合、制御部１０５Ｃは、ユーザの指が制御領域ＣＲに接触している間に音取得部１０８により取得された周囲音に類似する音楽を、装置内外から検索結果として取得する。

制御部１０５Ｃの制御のもとで実行される情報検索機能１１０Ｃは、上述した「筆跡検索」、「周囲音検索」、および「音楽検索」のうちのいずれか１つの機能であってもよいし、２つ以上の機能の組み合わせであってもよい。情報検索機能１１０Ｃの選択は、第２実施例と同様に、例えば、検索アプリケーションの起動前にユーザの指定に基づいて行うことができる。また、検索アプリケーションの起動後であっても、第１実施例で説明したように、例えば、制御領域ＣＲに対する短時間の接触回数に応じて、機能の切り替えを行うようにしてもよい。また、例えば、別途設けた切り替えボタンの操作に応じて、機能の切り替えを行うようにしてもよい。

情報検索機能１１０Ｃにより取得された検索結果は、第２実施例と同様に、検索結果表示部１０７により検索結果表示領域ＤＡに表示される。すなわち、検索結果表示部１０７は、情報検索機能１１０Ｃにより検索結果として複数の情報が取得された場合は、これら複数の情報のうち、検索結果としての優先度が高い情報ほど検索結果表示領域の中心部に近い位置に配置して表示する。また、検索結果表示部１０７は、検索結果として取得された複数の情報のうち、検索結果としての優先度が高い情報ほど大きく表示する。

また、情報検索機能１１０Ｃにより複数の観点で検索が行われた場合、検索結果表示部１０７は、第２実施例と同様に、検索結果として取得された情報を、観点ごとに、検索結果表示領域の中心部から異なる方向に延びる複数の観点軸に沿って配置する。複数の観点での検索とは、例えば、上述した「筆跡検索」、「周囲音検索」、および「音楽検索」のうちの２つ以上の機能を組み合わせた検索や、類似度の評価基準が異なる複数の観点で行う複合検索などである。この場合も、各観点軸上に配置される観点ごとの情報は、検索結果としての優先度が高い情報ほど検索結果表示領域の中心部に近い位置に配置され、検索結果としての優先度が高い情報ほど大きく表示される。

図１２は、検索結果表示領域ＤＡに表示される表示画面の一例を示す図である。図１２では、「筆跡検索」と「周囲音検索」とを組み合わせた機能により検索を行うことで得られた６つの検索結果ＳＲ４１，ＳＲ４２，ＳＲ４３，ＳＲ４４，ＳＲ４５，ＳＲ４６を表示した画面例を示している。これらの検索結果のうち、検索結果ＳＲ４１，ＳＲ４２，ＳＲ４３は「筆跡検索」の機能により筆跡記憶部１０６Ｃから取得された検索結果であり、筆跡の類似度は検索結果ＳＲ４１が最も大きく、検索結果ＳＲ４２が２番目に大きく、検索結果ＳＲ４３が３番目に大きい。これらの検索結果ＳＲ４１，ＳＲ４２，ＳＲ４３は、入力された筆跡に類似する過去の筆跡と、この過去の筆跡に対応付けられた周囲音が格納された筆跡記憶部１０６Ｃの格納場所へのリンクとを組み合わせた情報である。つまり、ユーザが過去の筆跡が表示された位置にタッチ操作などを行うことにより、その筆跡に対応付けられた過去の周囲音が筆跡記憶部１０６Ｃから取り出されて再生され、スピーカから出力される。

また、検索結果ＳＲ４４，ＳＲ４５，ＳＲ４６は「周囲音検索」の機能により筆跡記憶部１０６Ｃから取得された検索結果であり、周囲音の類似度は検索結果ＳＲ４４が最も大きく、検索結果ＳＲ４５が２番目に大きく、検索結果ＳＲ４６が３番目に大きい。これらの検索結果ＳＲ４４，ＳＲ４５，ＳＲ４６は、現在の周囲音に類似する過去の周囲音が格納された筆跡記憶部１０６Ｃの格納場所へのリンクと、この過去の周囲音に対応付けられた過去の筆跡とを組み合わせた情報であり、検索結果ＳＲ４１，ＳＲ４２，ＳＲ４３と同様に操作できる。

図１２に示すように、検索結果表示部１０７は、「筆跡検索」の機能により得られた検索結果ＳＲ４１，ＳＲ４２，ＳＲ４３を、検索結果表示領域ＤＡの中心部から上方向に延びる観点軸である筆跡類似軸ＣＡ４に沿って配置する。また、検索結果表示部１０７は、「周囲音検索」の機能により得られた検索結果ＳＲ４４，ＳＲ４５，ＳＲ４６を、検索結果表示領域ＤＡの中心部から下方向に延びる観点軸である周囲音類似軸ＣＡ５に沿って配置する。さらに、検索結果表示部１０７は、それぞれの観点軸上で、検索結果としての優先度が高いものほど、検索結果表示領域ＤＡの中心部に近い位置に配置して、大きなサイズで表示する。

図１３は、検索結果表示領域ＤＡに表示される表示画面の他の例を示す図である。図１３では、「筆跡検索」と「音楽検索」とを組み合わせ、さらに「音楽検索」を歌手名とジャンルの２つの観点で検索を行うことで得られた９つの検索結果ＳＲ５１，ＳＲ５２，ＳＲ５３，ＳＲ５４，ＳＲ５５，ＳＲ５６，ＳＲ５７，ＳＲ５８，ＳＲ５９を表示した画面例を示している。これらの検索結果のうち、検索結果ＳＲ５１，ＳＲ５２，ＳＲ５３は「筆跡検索」の機能により筆跡記憶部１０６Ｃから取得された検索結果であり、筆跡の類似度は検索結果ＳＲ５１が最も大きく、検索結果ＳＲ５２が２番目に大きく、検索結果ＳＲ５３が３番目に大きい。

また、検索結果ＳＲ５４，ＳＲ５５，ＳＲ５６は、歌手名を観点とした「音楽検索」の機能により、例えば装置内の音楽記憶部や装置外のウェブサイトから取得された情報であり、検索結果としての優先度（歌手名の類似度、歌手名が一致する場合は曲名の類似度）は検索結果ＳＲ５４が最も大きく、検索結果ＳＲ５５が２番目に大きく、検索結果ＳＲ５６が３番目に大きい。また、検索結果ＳＲ５７，ＳＲ５８，ＳＲ５９は、ジャンルを観点とした「音楽検索」の機能により取得された情報であり、検索結果としての優先度（ジャンルの類似度）は検索結果ＳＲ５７が最も大きく、検索結果ＳＲ５８が２番目に大きく、検索結果ＳＲ５９が３番目に大きい。

「音楽検索」の機能により取得される検索結果ＳＲ５４，ＳＲ５５，ＳＲ５６，ＳＲ５７，ＳＲ５８，ＳＲ５９は、例えば、音楽の曲目や歌手名などのメタデータと、音楽の格納場所へのリンクとを組み合わせた情報である。つまり、ユーザが所望の曲名や歌手名などが表示された位置にタッチ操作などを行うことにより、その音楽が装置内の音楽記憶部や装置外のウェブサイトから取り出されて再生され、スピーカから出力される。

図１３に示すように、検索結果表示部１０７は、「筆跡検索」の機能により得られた検索結果ＳＲ５１，ＳＲ５２，ＳＲ５３を、検索結果表示領域ＤＡの中心部から上方向に延びる観点軸である筆跡類似軸ＣＡ４に沿って配置する。また、検索結果表示部１０７は、歌手名を観点とした「音楽検索」の機能により得られた検索結果ＳＲ５４，ＳＲ５５，ＳＲ５６を、検索結果表示領域ＤＡの中心部から左下方向に延びる観点軸である歌手名類似軸ＣＡ６に沿って配置する。また、検索結果表示部１０７は、ジャンルを観点とした「音楽検索」の機能により得られた検索結果ＳＲ５７，ＳＲ５８，ＳＲ５９を、検索結果表示領域ＤＡの中心部から右下方向に延びる観点軸であるジャンル類似軸ＣＡ７に沿って配置する。さらに、検索結果表示部１０７は、それぞれ観点軸上で、検索結果としての優先度が高いものほど、検索結果表示領域ＤＡの中心部に近い位置に配置して、大きなサイズで表示する。

第３実施例の情報処理装置１００Ｃの動作は、図１０のフローチャートで示した第２実施例の情報処理装置１００Ｂの動作と同様であるため、説明を省略する。

以上説明したように、第３実施例の情報処理装置１００Ｃによれば、把持位置ＨＰから所定距離だけ離れた位置に、入力した筆跡を用いた音の検索を指示するための制御領域ＣＲが設定される。したがって、ユーザは、情報処理装置１００Ｃを把持したまま指のみを動かして制御領域ＣＲに触れるといった単純な動作を行うことで、入力した筆跡を用いた音の検索を実行させて、所望の検索結果を得ることができる。

また、第３実施例の情報処理装置１００Ｃによれば、入力された筆跡や取得された周囲音をもとに、現在の筆跡に類似する過去の筆跡および周囲音、現在の周囲音に類似する過去の類似音および筆跡、現在の周囲音に類似する音楽などの様々な情報を、効率よく取得することができる。

なお、第３実施例の情報処理装置１００Ｃは、第２実施例と組み合わせて実施することもできる。この場合、制御部１０５Ｃの情報検索機能１１０Ｃは、「筆跡検索」、「周囲音検索」および「音楽検索」の各機能に加えて、第２実施例の情報検索機能１１０Ｃの「筆跡検索」、「テキスト検索」および「画像検索」の各機能も有する。そして、制御部１０５Ｃは、これらの各機能のうちのいずれか１つ、または２つ以上の機能の組み合わせによる情報検索機能１１０Ｃの実行を制御し、検索結果を取得する。

（第４実施例）
第４実施例は、第１実施例と同様のノートアプリケーションへの適用例であるが、特に録音機能を備えたノートアプリケーションに適用した例である。録音機能を備えたノートアプリケーションでは、筆跡とともに取得された周囲音を、筆跡と対応付けて記憶しておくことができる。第４実施例の情報処理装置（以下、情報処理装置１００Ｄと表記する。）は、ユーザの指が制御領域ＣＲに接触している間に入力された筆跡を、該筆跡とともに取得された周囲音と対応付けて記憶させる。

図１４は、第４実施例の情報処理装置１００Ｄの機能的な構成例を示すブロック図である。図１４に示すように、第４実施例の情報処理装置１００Ｄは、検出部１０１と、設定部１０２と、筆跡受付部１０３と、筆跡表示部１０４Ｂと、音取得部１０８と、制御部１０５Ｄと、筆跡記憶部１０６Ｃと、を備える。検出部１０１、設定部１０２および筆跡受付部１０３は第１実施例と共通の構成要素であり、筆跡表示部１０４Ｂは第２実施例と共通の構成要素であり、音取得部１０８および筆跡記憶部１０６Ｃは第３実施例と共通の構成要素であるため、これらの重複した説明は省略する。

制御部１０５Ｄは、設定部１０２により設定された制御領域ＣＲにユーザの指が触れているか否かに基づいて、筆跡および周囲音を筆跡記憶部１０６Ｃに格納する動作を制御する。すなわち、制御部１０５Ｄは、ユーザの指が制御領域ＣＲに触れている間に筆跡受付部１０３により入力が受け付けられた筆跡を、音取得部１０８が取得した周囲音と対応付けて筆跡記憶部１０６Ｃに格納する。

具体的には、制御部１０５Ｄは、筆跡受付部１０３が入力を受け付けた筆跡の筆跡データと音取得部１０８が取得した周囲音のデータとを随時入力しながら、設定部１０２により設定された制御領域ＣＲにユーザの指が触れているか否かを判定する。制御領域ＣＲにユーザの指が触れているか否かを判定する方法は、第１実施例と同様である。そして、制御部１０５Ｄは、ユーザの指が制御領域ＣＲに触れていると判断すると、その間に入力された筆跡を、筆跡が入力された時点よりも一定時間前の時点から、筆跡の入力が終了した時点よりも一定時間後の時点までの間に取得された周囲音と対応付けて、筆跡記憶部１０６Ｃに格納する。格納される周囲音の区間は、ユーザの筆跡入力中の区間、筆跡の入力音が連続していると判断できる場合は筆跡の入力音が連続する区間、筆跡の入力の周波数特性を持っており、類似した周波数特性を、持っている音がある区間、等からも選ぶことが可能である。なお、音取得部１０８が取得した周囲音のうち、筆跡記憶部１０６Ｃに格納されない周囲音は、破棄される。

図１５は、第４実施例の情報処理装置１００Ｄの動作を説明するフローチャートである。図１５のフローチャートで示す一連の処理は、録音機能を備えたノートアプリケーションの実行開始とともに開始され、録音機能を備えたノートアプリケーションの終了とともに終了する。

録音機能を備えたノートアプリケーションの実行が開始されると、まず、検出部１０１が、把持位置ＨＰを検出する（ステップＳ３０１）。そして、設定部１０２が、検出部１０１により検出された把持位置ＨＰから所定距離だけ離れた位置に、制御領域ＣＲを設定する（ステップＳ３０２）。

その後、筆跡受付部１０３による筆跡入力の受け付けが開始され、音取得部１０８による周囲音の取得が開始されると、筆跡表示部１０４Ｂが、筆跡が入力されたか否かを判定し（ステップＳ３０３）、筆跡が入力されていなければ（ステップＳ３０３：Ｎｏ）、筆跡が入力されるまで待機する。そして、筆跡が入力されると（ステップＳ３０３：Ｙｅｓ）、筆跡表示部１０４Ｂが、入力された筆跡を筆跡表示領域に表示するとともに（ステップＳ３０４）、制御部１０５Ｄが、ユーザの指が設定部１０２により設定された制御領域ＣＲに触れているか否かを判定する（ステップＳ３０５）。

ここで、ユーザの指が制御領域ＣＲに触れていれば（ステップＳ３０５：Ｙｅｓ）、制御部１０５Ｄは、入力された筆跡を、音取得部１０８により取得された周囲音と対応付けて、筆跡記憶部１０６Ｃに格納する（ステップＳ３０６）。一方、ユーザの指が制御領域ＣＲに触れていなければ（ステップＳ３０５：Ｎｏ）、ステップＳ３０６の処理は行わない。

その後、把持位置ＨＰが変化したか否かが判定され（ステップＳ３０７）、把持位置ＨＰが変化していなければ（ステップＳ３０７：Ｎｏ）、ステップＳ３０３に戻って次の筆跡の入力を待機する。一方、把持位置ＨＰが変化した場合には（ステップＳ３０７：Ｙｅｓ）、ステップＳ３０２に戻って、設定部１０２が、新たな把持位置ＨＰから所定距離だけ離れた位置に新たな制御領域ＣＲを設定し、その後の処理を繰り返す。

以上説明したように、第４実施例の情報処理装置１００Ｄによれば、把持位置ＨＰから所定距離だけ離れた位置に、入力した筆跡を周囲音とともに記憶させるための制御領域ＣＲが設定される。したがって、ユーザは、筆跡の入力を中断することなく、情報処理装置１００Ｄを把持したまま指のみを動かして制御領域ＣＲに触れるといった単純な動作を行うことで、入力した筆跡を周囲音とともに記憶させることができる。

（変形例）
なお、以上説明した各実施例は、いずれも手書き入力インタフェースを備えた情報処理装置１００への適用例である。しかし、本実施形態は、手書き入力インタフェースを備えたものに限らず、ユーザが把持しながら操作する様々な情報処理装置に適用することができる。

例えば図１６に示すように、ユーザの手の動作に応じてテレビに制御信号を送信するジェスチャリモコン２００に対して、本実施形態を適用することもできる。この場合、ユーザが例えば図１６（ａ）に示すようにジェスチャリモコン２００を把持すると、ユーザの親指Ｔｍの位置が把持位置として検出され、この把持位置から所定距離だけ離れた位置に制御領域が設定される。その後、ユーザが親指Ｔｍを動かさずにジェスチャリモコン２００を上下させると、テレビの音量を上下させる制御信号がテレビに送られる。一方、図１６（ｂ）に示すようにユーザが親指Ｔｍを動かして制御領域に触れると、ジェスチャリモコン２００の上下動に対応する制御信号が切り替えられ、例えば、ジェスチャリモコン２００の上下動に応じて、テレビの受信チャンネルを切り替える制御信号がテレビに送られる。

また、例えば図１７に示すように、文字や数字を入力する入力装置３００に対して、本実施形態を適用することもできる。この場合、ユーザが例えば図１７（ａ）に示すように入力装置３００を把持すると、ユーザの親指Ｔｍの位置が把持位置として検出され、この把持位置から所定距離だけ離れた位置に制御領域が設定される。その後、ユーザが親指Ｔｍを動かさず、制御領域に触れていない間は、日本語入力モードで入力が受け付けられる。一方、図１７（ｂ）に示すようにユーザが親指Ｔｍを動かして制御領域に触れると、入力モードが日本語入力モードから数字入力モードに切り替えられて、ユーザが制御領域に触れている間、数字入力モードでの入力が受け付けられる。

以上、具体的な実施例および変形例を挙げながら詳細に説明したように、実施形態に係る情報処理装置によれば、ユーザの単純な動作により所定機能の実行を制御できる。

なお、本実施形態は、例えば、コンピュータシステムを基本ハードウェアとして備える情報処理において、コンピュータシステムのプロセッサにプログラムを実行させることにより実現することができる。このとき、プログラムは、情報処理装置にあらかじめインストールしてもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムを情報処理装置に適宜インストールするようにしてもよい。また、上記のプログラムをサーバーコンピュータ装置上で実行させ、ネットワークを介してその結果を情報処理装置で受け取るようにしてもよい。

実施形態に係る情報処理装置で実行されるプログラムは、情報処理装置の各機能的な構成要素（検出部１０１、設定部１０２、筆跡受付部１０３、筆跡表示部１０４、制御部１０５Ａなど）を含むモジュール構成となっており、実際のハードウェアとしては、例えば、プロセッサが上記記憶媒体からプログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ 情報処理装置
１０１ 検出部
１０２ 設定部
１０３ 筆跡受付部
１０４，１０４Ｂ 筆跡表示部
１０５Ａ，１０５Ｂ，１０５Ｃ，１０５Ｄ 制御部
１０６，１０６Ｃ 筆跡記憶部
１０７ 検索結果表示部
１０８ 音取得部
１１０，１１０Ｃ 情報検索機能

Claims (12)

1. 表示部を含むタッチパネルを有する情報処理装置であって、
   前記情報処理装置をユーザが把持したときに、前記ユーザの指が前記タッチパネルに接触している接触領域を時系列で取得し、前記接触領域の重心位置の変動が所定範囲内である状態が所定時間継続した場合に、前記タッチパネルの前記接触領域内の予め定めた基準位置を把持位置として検出する検出部と、
   前記検出部により検出された前記把持位置から前記タッチパネルの中心部に向かって所定距離だけ離れた位置を前記タッチパネルの制御領域として設定する設定部と、
   前記タッチパネルを用いて前記ユーザが入力操作した筆跡の入力を受け付ける筆跡受付部と、
   前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡の色または線種を、前記ユーザの指が前記制御領域に接触していない間に前記筆跡受付部を介して入力された筆跡の色または線種から変更して前記表示部に表示させる制御部と、を備える情報処理装置。
2. 表示部を含むタッチパネルを有する情報処理装置であって、
   前記情報処理装置をユーザが把持したときに、前記ユーザの指が前記タッチパネルに接触している接触領域を時系列で取得し、前記接触領域の重心位置の変動が所定範囲内である状態が所定時間継続した場合に、前記タッチパネルの前記接触領域内の予め定めた基準位置を把持位置として検出する検出部と、
   前記検出部により検出された前記把持位置から前記タッチパネルの中心部に向かって所定距離だけ離れた位置を前記タッチパネルの制御領域として制御領域を設定する設定部と、
   前記タッチパネルを用いて前記ユーザが入力操作した筆跡の入力を受け付ける筆跡受付部と、
   前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡を用いて情報の検索を行う制御部と、
   前記筆跡受付部を介して入力された筆跡のデータと該筆跡の背景として前記表示部に表示された背景情報とを対応付けて記憶する筆跡記憶部と、を備え
   前記制御部は、前記筆跡記憶部が記憶する過去の筆跡のうち、前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡に類似する筆跡のデータおよび該筆跡に対応付けられた前記背景情報を検索結果として取得する情報処理装置。
3. 前記制御部は、さらに、前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡の前記背景情報に基づき情報の検索を行って検索結果を取得する、請求項２に記載の情報処理装置。
4. 表示部を含むタッチパネルを有する情報処理装置であって、
   前記情報処理装置をユーザが把持したときに、前記ユーザの指が前記タッチパネルに接触している接触領域を時系列で取得し、前記接触領域の重心位置の変動が所定範囲内である状態が所定時間継続した場合に、前記タッチパネルの前記接触領域内の予め定めた基準位置を把持位置として検出する検出部と、
   前記検出部により検出された前記把持位置から前記タッチパネルの中心部に向かって所定距離だけ離れた位置を前記タッチパネルの制御領域として設定する設定部と、
   前記タッチパネルを用いて前記ユーザが入力操作した筆跡の入力を受け付ける筆跡受付部と、
   前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡を用いて情報の検索を行う制御部と、
   周囲音を取得する音取得部と、
   前記筆跡受付部を介して入力された筆跡のデータと該筆跡の入力時に前記音取得部により取得された周囲音と対応付けて記憶する筆跡記憶部と、を備え、
   前記制御部は、前記筆跡記憶部が記憶する過去の筆跡のうち、前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡に類似する筆跡のデータおよび該筆跡に対応付けられた前記周囲音を検索結果として取得する情報処理装置。
5. 前記制御部は、さらに、前記ユーザの指が前記制御領域に接触している間に前記音取得部により取得された周囲音に基づき情報の検索を行って検索結果を取得する、請求項４に記載の情報処理装置。
6. 前記制御部は、前記筆跡記憶部が記憶する周囲音のうち、前記ユーザの指が前記制御領域に接触している間に前記音取得部により取得された周囲音に類似する周囲音および該周囲音に対応付けられた前記筆跡のデータを検索結果として取得する、請求項５に記載の情報処理装置。
7. 前記制御部は、前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡を用いて複数の観点で情報の検索を行い、
   前記検索結果として取得された情報を、複数の観点ごとに、前記タッチパネルの中心部から異なる方向に延びる複数の観点軸に沿って配置するとともに、優先度が高い情報ほど前記タッチパネルの中心部に近い位置に配置して表示する、請求項２に記載の情報処理装置。
8. 表示部を含むタッチパネルを有する情報処理装置であって、
   前記情報処理装置をユーザが把持したときに、前記ユーザの指が前記タッチパネルに接触している接触領域を時系列で取得し、前記接触領域の重心位置の変動が所定範囲内である状態が所定時間継続した場合に、前記タッチパネルの前記接触領域内の予め定めた基準位置を把持位置として検出する検出部と、
   前記検出部により検出された前記把持位置から前記タッチパネルの中心部に向かって所定距離だけ離れた位置を前記タッチパネルの制御領域として設定する設定部と、
   前記タッチパネルを用いて前記ユーザが入力操作した筆跡の入力を受け付ける筆跡受付部と、
   周囲音を取得する音取得部と、
   筆跡記憶部と、
   前記ユーザの指が前記制御領域に接触している間に前記筆跡受付部を介して入力された筆跡のデータと、該筆跡の入力時に前記音取得部により取得された周囲音と対応付けて前記筆跡記憶部に格納する制御部と、を備える情報処理装置。
9. 前記所定範囲は、前記ユーザが意図的に指を移動させたのではないと判断できる範囲であり、
   前記所定時間は、定常性を判断できる時間である、請求項１乃至８のいずれか一項に記載の情報処理装置。
10. 前記基準位置は、前記時系列で取得した前記接触領域をマージした領域のうち前記タッチパネルの中心部に最も近い位置、あるいは前記時系列で取得した前記接触領域をマージした領域の重心位置である請求項１乃至９のいずれか一項に記載の情報処理装置。
11. 表示部を含むタッチパネルを有する情報処理装置において実行される方法であって、
    前記情報処理装置をユーザが把持したときに、前記ユーザの指が前記タッチパネルに接触している接触領域を時系列で取得し、前記接触領域の重心位置の変動が所定範囲内である状態が所定時間継続した場合に、前記タッチパネルの前記接触領域内の予め定めた基準位置を把持位置として検出するステップと、
    検出された前記把持位置から前記タッチパネルの中心部に向かって所定距離だけ離れた位置を前記タッチパネルの制御領域として設定するステップと、
    前記ユーザによる筆跡の入力を受け付けるステップと、
    前記ユーザの指が前記制御領域に接触している間に前記ユーザによって入力された筆跡の色または線種を、前記ユーザの指が前記制御領域に接触していない間に入力された筆跡の色または線種から変更して前記表示部に表示させるステップと、を含む方法。
12. 表示部を含むタッチパネルを有する情報処理装置に、
    前記情報処理装置をユーザが把持したときに、前記ユーザの指が前記タッチパネルに接触している接触領域を時系列で取得し、前記接触領域の重心位置の変動が所定範囲内である状態が所定時間継続した場合に、前記タッチパネルの前記接触領域内の予め定めた基準位置を把持位置として検出する機能と、
    検出された前記把持位置から前記タッチパネルの中心部に向かって所定距離だけ離れた位置を前記タッチパネルの制御領域として設定する機能と、
    前記ユーザによる筆跡の入力を受け付ける機能と、
    前記ユーザの指が前記制御領域に接触している間に前記ユーザによって入力された筆跡の色または線種を、前記ユーザの指が前記制御領域に接触していない間に入力された筆跡の色または線種から変更して前記表示部に表示させる機能と、を実現させるためのプログラム。

Images