JP6091525B2 - 情報処理装置及び情報入力制御プログラム - Google Patents

Description

本発明は、タブレット型コンピュータやスマートフォン等の情報処理装置、及びこれらの情報処理装置において情報の検索や編集、アプリケーションプログラムの起動などを行う際の情報の入力処理に用いられる情報入力制御プログラムに関するものである。

近年、タブレット型コンピュータやスマートフォンなど、情報処理機能を備えた携帯型のネットワーク端末が急速に普及しているが、これらの端末への情報の入出力には、入力装置と表示装置が一体化されたタッチスクリーン（タッチパネル）が用いられることが多い。タッチスクリーンへの入力はスクリーンにタッチすることによって行われるが、スクリーンへの入力手段には、主としてタッチペンによるものと指によるものがある。

タッチペンによる入力は、小さな文字の入力や細かいボタン操作などに適しているというメリットがあるものの、タッチペンを持ち歩かなければならないことがデメリットになる。一方の指による入力は、小さな文字の入力や細かいボタンの操作には適さないものの、直感的に操作できる、タッチペンを持ち歩く必要がないといったメリットがある。

こうした両者の特性を活かすため、タッチペン、指のいずれによっても入力が可能で、入力手段がタッチペンであるか、指であるかを識別できる入力装置に関する発明が開示されている（例えば、特許文献１参照）。また、入力手段がタッチペンであるか、指であるかによって、操作用のボタンの配置や大きさを変更する発明（例えば、特許文献２参照）や、タッチペンであれば情報の入力、指であればページのスクロールのように、入力手段によって異なる機能を実行する発明（例えば、特許文献３、４参照）が開示されている。

特開２００１−４３００３号公報 特開２０１０−１８２０７１号公報 特開２００８−１０８２３３号公報 特開２００４−２１３３１２号公報

特許文献３、４に例示した発明によると、情報の入力など細かい操作が要求される機能はタッチペンで、ページのスクロールのように直感的に操作が好ましい機能は指で、それぞれ入力するよう設定することが可能になる。しかしながら、これらによって可能なのは、あらかじめそれぞれの入力手段に割り当てられた機能に限られており、両者を組み合わせることによって、多様な機能や直感的な操作を実現することはできない。

本発明は、このような課題に対応するためになされたものであり、タブレット型コンピュータやスマートフォン等の情報処理装置において、情報の検索や編集、アプリケーションプログラムの起動などを行うための情報の入力操作を、タッチペンと指という二つの入力手段を組み合わせた直感的な操作によって、多様な処理の実行の実現に資する情報処理装置及び情報入力制御プログラムを提供することを目的とするものである。

本発明では、タッチペンなどの第１の入力手段、指などの第２の入力手段の双方によって情報の入力が可能なタブレット型コンピュータやスマートフォン等の情報処理装置において、第１の入力手段によって入力された情報と、第２の入力手段によって指定された領域の組み合せによって、情報の検索や編集、アプリケーションプログラムの起動といった所定の処理を実行するよう構成することによって、２つの入力手段を用いた直感的な操作によって、多様な処理の実行を可能にしている。

本願にかかる課題を解決する第１の発明は、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する手段と、前記入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力する手段と、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出する手段と、前記入力操作が検出されると、前記情報に関連する所定の処理を実行する手段と、を備えることを特徴とする情報処理装置である。

本願にかかる課題を解決する第２の発明は、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する手段と、前記入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識する手段と、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別する手段と、前記情報が識別されると、前記情報に関連する所定の処理を実行する手段と、を備えることを特徴とする情報処理装置である。

本願にかかる課題を解決する第３の発明は、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別手段と、前記入力手段識別手段によって入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力する手段と、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出する手段と、前記入力操作が検出されると、前記情報に関連する第１の処理を実行する手段と、前記入力手段識別手段によって入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識する手段と、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別する手段と、前記情報が識別されると、前記情報に関連する第２の処理を実行する手段と、を備えることを特徴とする情報処理装置である。

本発明では、第１の入力手段にタッチペンを、第２の入力手に指を用いることが好ましい。第１の発明では、タッチペンによる入力によってタッチスクリーンに表示された文字等を、指によって丸く囲むといった領域を指定する操作を行うことによって、表示されている文字等の情報に関連する、情報の検索やアプリケーションプログラムの起動などの処理が実行される。第２の発明では、指で丸を描くといった領域指定の操作の後に、指定された領域にタッチペンによる入力によって文字等が書き込まれると、書き込まれた文字等の情報に関連するアプリケーションプログラムの起動や情報の検索などの処理が実行される。第３の発明はこれらを組み合わせたものであるが、いずれの発明においても、タッチペンによる入力によって入力された文字等から特定される多様な処理を実行することが可能となっている。

第１の発明及び第２の発明において、前記所定の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理、若しくは前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴とすることもできる。第３の発明における前記第１の処理及び前記第２の処理についても同様である。

前記情報を用いた処理には、例えば、識別された情報をキーワードとする検索処理、識別された情報をファイル化する処理やファイル化して編集可能な状態にする処理などが該当する。また、前記情報を用いた処理を実行するための操作を要求する処理には、例えば、識別された情報を用いた複数の処理の中から、ユーザに所望の処理を選択させるための選択ボタンの出力などが該当する。前記情報によって特定される処理には、例えば、識別された情報に対応するアプリケーションプログラムを起動する処理などが該当する。また、前記情報によって特定される処理を実行するための操作を要求する処理には、例えば、識別された情報から特定される複数の処理の中から所望の処理を選択させるための選択ボタンの出力などが該当する。

このように設定することによって、タッチペンによる入力によって入力された情報から、情報の検索や編集、起動するアプリケーションプログラムの特定などが可能になるので、ユーザは要求する処理をタッチペンで入力し、表示された文字や数字を指で囲むといった直感的な操作によって、所望の機能を実現することができる。

第３の発明において、前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴とすることもできる。前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報処理装置の操作者の指であることを特徴としてもよい。

第３の発明における第１の処理と第２の処理は、情報の検索など、識別された情報を用いた処理を実行する際には、先に入力されている情報に対して、所定の処理を要求するという順序になるのが通常なので、第１の処理として実行し、アプリケーションプログラムの起動など、識別された情報により特定される処理を実行する際には、先に所定の処理を要求することを示したうえで、どのような処理を実行するかをコマンドとして特定するという順序になるのが通常なので、第２の処理として実行するという組合せが好適である。

このうち、検索対象となる情報や起動するアプリケーションプログラムの種別などの入力には、文字や数字などによって特定されることが通常なので、細かな情報の入力が可能なタッチペンを用いることが好ましく、入力された文字や数字が表示された領域の指定にはおおまかな範囲が指定できればよいので、操作者の指を用いることとするのが好ましい。

本発明は、本発明にかかる情報処理装置において動作する情報入力制御プログラムとして特定することもできる。

第１の発明に対応する情報入力制御プログラムは、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別するステップと、前記入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力するステップと、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出するステップと、前記入力操作が検出されると、前記情報に関連する所定の処理を実行するステップと、を実行させることを特徴とする情報入力制御プログラムである。

第２の発明に対応する情報入力制御プログラムは、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別するステップと、前記入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識するステップと、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別するステップと、前記情報が識別されると、前記情報に関連する所定の処理を実行するステップと、を実行させることを特徴とする情報入力制御プログラムである。

第３の発明に対応する情報入力制御プログラムは、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別ステップと、前記入力手段識別ステップにおいて入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力するステップと、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出するステップと、前記入力操作が検出されると、前記情報に関連する第１の処理を実行するステップと、前記入力手段識別ステップにおいて入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識するステップと、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別するステップと、前記情報が識別されると、前記情報に関連する第２の処理を実行するステップと、を実行させることを特徴とする情報入力制御プログラムである。

第１の発明及び第２の発明に対応する情報入力制御プログラムにおいて、前記所定の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理、若しくは前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴としてもよい。第３の発明に対応する情報入力制御プログラムにおける前記第１の処理及び前記第２の処理についても同様である。

第３の発明に対応する情報入力制御プログラムにおいて、前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴とすることもできる。前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報処理装置の操作者の指であることを特徴としてもよい。

本発明によると、タッチスクリーンにより情報を入力するタブレット型コンピュータやスマートフォン等の情報処理装置において、タッチペンと指という二つの入力手段を組み合わせることによって、情報の検索や編集、アプリケーションプログラムの起動など多様な処理の実行を、直感的な操作によって実現することが可能になり、タッチスクリーンを備えた情報処理装置の操作性が向上することが期待できる。

本発明にかかる情報処理装置の構成を示すブロック図である。 本発明におけるタッチスクリーン上の画面推移の第１の例における、第１の図である。 本発明におけるタッチスクリーン上の画面推移の第１の例における、第２の図である。 本発明におけるタッチスクリーン上の画面推移の第１の例における、第３の図である。 本発明におけるタッチスクリーン上の画面推移の第２の例における、第１の図である。 本発明におけるタッチスクリーン上の画面推移の第２の例における、第２の図である。 本発明におけるタッチスクリーン上の画面推移の第２の例における、第３の図である。 本発明におけるタッチスクリーン上の画面推移の第３の例における、第１の図である。 本発明におけるタッチスクリーン上の画面推移の第３の例における、第２の図である。 本発明におけるタッチスクリーン上の画面推移の第３の例における、第３の図である。 本発明にかかる情報入力制御プログラムの処理フローを示した第１のフローチャートである。 本発明にかかる情報入力制御プログラムの処理フローを示した第２のフローチャートである。 図１１に示したフローチャートのＳ０７における詳細なフローの第１の例を示したフローチャートである。 図１１に示したフローチャートのＳ０７における詳細なフローの第２の例を示したフローチャートである。 図１２に示したフローチャートのＳ１０における詳細なフローの第１の例を示したフローチャートである。 図１２に示したフローチャートのＳ１０における詳細なフローの第２の例を示したフローチャートである。

本発明を実施するための形態について、図面を用いて以下に詳細に説明する。尚、以下の説明は、本発明の実施形態の一例を示したものであって、本発明はかかる実施形態に限定されるものではない。

図１は、本発明にかかる情報処理装置の構成の一例を示している。本発明には、タブレット型コンピュータやスマートフォンなどの、タッチスクリーンによる入出力機能を備えた情報処理装置が用いられる。

タブレット型コンピュータ本体１０への情報の入出力は、タッチスクリーン２０の他にも、音声入力や外部デバイスへの出力など他の入出力機能の実行に用いられる手段を備えるものであってもよいが、少なくともタッチスクリーン２０を用いた入出力が可能な構成となっている。タッチスクリーン２０には、タブレット型コンピュータ本体１０での演算結果がスクリーン上に表示されるとともに、タッチペンや指でスクリーンにタッチしたり、文字や図形を描画したりすることによって、情報の入力が行われる。

タブレット型コンピュータ本体１０は、ＣＰＵ、メインメモリ、ＨＤＤ等の補助記憶装置を備えたコンピュータである。タブレット型コンピュータ本体１０に備えられる入出力制御部１１、入力手段識別部１２、アプリケーション実行部１３は、いずれも機能的に特定されるものであって、各々の機能に対応するプログラムが補助記憶装置からメインメモリに読み出され、ＣＰＵで演算処理を実行することによって所定の機能が実現される。アプリケーション設定部１４には、補助記憶装置の所定の記憶領域が割り当てられる。

入出力制御部１１は、タッチスクリーン２０からの情報の入出力にかかる処理を実行する。具体的には、タッチスクリーン２０へのタッチペンや指の接触を検出し、タッチスクリーン上に表示されたボタンを押下する操作の受付けや、タッチペンや指によって描かれた文字や図形の識別、識別した文字や図形のタッチスクリーン２０への出力などの処理を実行する。入出力制御部１１に対応するプログラムは、主にタブレット型コンピュータ本体１０のオペレーティングシステム（ＯＳ）に含まれるが、ＯＳ以外にも、ＯＳとアプリケーションプログラムを連携させるミドルウェアとして動作するものであってもよい。

入力手段識別部１２は、タッチスクリーン２０に接触したタッチペンなどの第１の入力手段と、指などの第２の入力手段を識別する処理を実行する。本発明では、タッチペンなどの第１の入力手段、指などの第２の入力手段の双方によってタッチスクリーンからの情報の入力が可能であるとともに、いずれの入力手段によって入力されたかを識別可能であることが必要になるが、どのような方式によって双方の入力手段による入力を可能にするか（例えば、タッチペンによる入力に対応する電磁誘導方式と指による入力に対応する静電容量式を組み合わせたタッチスクリーンを用いることとしてもよいし、双方での入力が可能なアナログ抵抗膜方式を採用することとしてもよい）、どのような方式によって両者を識別するか（例えば、先行技術文献にも示されているように検出幅の大小によって両者を識別することが可能であるし、電磁誘導方式と指による入力に対応する静電容量式を組み合わせたタッチスクリーンを用いる場合には、いずれの方式により入力を検出したかにより識別することが可能である）は、特に限定されるものではない。

アプリケーション実行部１３には、Ｗｅｂブラウザ、カメラアプリ、天気アプリ、ペイントソフト、文書作成ソフトなどの様々なアプリケーションプログラムが対応する。本発明にかかる情報入力制御プログラムは、アプリケーション実行部１３に対応するこれらのアプリケーションプログラムの起動や、アプリケーションプログラムにおけるファイルの読出し、入力された情報をキーワードとする検索、入力された情報の編集などの所定の処理の実行を制御するもので、入出力制御部１１の一部の機能に対応するものである。

アプリケーション設定部１４には、タッチスクリーン２０に出力された文字や図形などの情報に対応して、どのようなアプリケーションプログラムを起動するか、あるいはアプリケーションプログラムにおいてどのような処理を実行するかのルールが設定されている。

以上の構成を前提に、図２〜図４に示した、タッチスクリーン２０上における画面の推移の第１の例について説明する。第１の例は、第１の入力手段であるタッチペンで入力した文字等の情報について、第２の入力手段である指で領域を指定して、文字等の情報を用いた処理を実行するための操作を要求する処理、具体的には、複数の処理の中からいずれかの処理をユーザに選択させるための選択ボタンをタッチスクリーン２０に出力するものである。

まず、ユーザがタッチスクリーン２０を操作して、タブレット型コンピュータ本体１０においてペイントソフトなどのタッチペンと指により情報の入力が可能なアプリケーションプログラムを起動し、第１の入力手段であるタッチペンを用いて、タッチスクリーン２０上に文字（ここでは「ｔａｂｌｅｔ」）を描く操作を行う。

この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段がタッチペンであると識別され、タッチスクリーン２０には、タッチペンでなぞられた軌跡、すなわち描かれた文字が、図２に示したように、入出力制御部１１によってそのまま出力される。尚、タブレット型コンピュータ本体１０を起動した初期画面が、このような入力画面となる設定であってもよい。

次に、図３に示したように、ユーザがタッチスクリーン２０上に表示された文字を、第２の入力手段である指で、丸く囲むような軌跡を描く操作を行う。この操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段が指であると識別され、タッチスクリーン２０には、指でなぞられた軌跡を入出力制御部１１によって出力しながら、以下の処理を実行する。

タッチスクリーン２０上の指でなぞられた領域には、先にタッチペンで入力された文字（ここでは「ｔａｂｌｅｔ」）が表示されている。この文字を識別するとともに、識別された文字を用いた処理、図４に示した例であれば、Ｗｅｂ上での識別された文字をキーワードとする検索処理（「Ｗｅｂ」の選択ボタンに対応）、タブレット型コンピュータ本体１０に保存された識別された文字を含むファイルの検索処理（「Ｎｏｔｅ」の選択ボタンに対応）、識別された文字をファイル化して保存するとともに他のファイルやＷｅｂページ等にリンクさせる処理（「Ｌｉｎｋ」の選択ボタンに対応）のうち、いずれの処理を実行するかを選択ボタンの押下によってユーザに選択させる画面を出力する処理、すなわち、識別された文字を用いた処理を実行するための操作を要求する処理を実行する。

図４の例のように選択ボタンが表示され、識別された文字を用いた処理のうち、ユーザがいずれの処理を要求するかが、タッチペン又は指による選択ボタンの押下によって選択されると、選択された処理に対応するＷｅｂブラウザ等のアプリケーションが起動され、選択された処理が実行される。

尚、タッチペンによって入力され、識別される情報は文字に限られるものではなく、数字や図形などを対象にするものであってもよい。また、指によって文字等を囲う軌跡は、文字等の表示された領域が指定できるものであれば、円に限られるものではない。文字等を完全に囲う軌跡が描かれなくても、文字等に重なる、両端を結ぶ補助線を引けば文字等が完全に囲われるなど、文字等の指定が明らかな軌跡であれば、文字等が表示された領域の指定と認識することとしてもよい。

また、選択ボタンが表示され、選択ボタンの押下によって実行される処理は、図４の例に示した処理に限定されるものではなく、ペイントソフトや文書作成ソフトでの識別された文字等の編集やコピー、切取りなどの処理、タッチペンにより入力されたものが数字であると識別された場合には、識別された数字を引数として所定の計算を実行する処理などを実行するものであってもよいし、これらの選択可能な処理を変更できるように設定されていてもよい。さらに、識別された文字等の情報を用いた処理を実行するための操作を要求する方法も、図４の例に示したような選択ボタンの出力、押下に限定されるものではなく、他の方法によってユーザに対して実行したい処理を要求させるものであってもよい。

さらに、ここで実行される処理は、識別された文字等の情報を用いた処理に限定されるものではなく、例えば、識別された文字によって特定されるアプリケーションプログラムの起動など、識別された文字等の情報によって特定される処理を実行するための操作を要求する処理を実行するものであってもよい。

続いて、図５〜図７に示した、タッチスクリーン２０上における画面の推移の第２の例について説明する。第２の例は、第１の入力手段であるタッチペンで入力した文字等の情報について、第２の入力手段である指で領域を指定して、文字等の情報を用いた処理を実行するものである。

まず、ユーザがタッチスクリーン２０を操作して、タブレット型コンピュータ本体１０においてペイントソフトなどのタッチペンと指により情報の入力が可能なアプリケーションプログラムを起動し、第１の入力手段であるタッチペンを用いて、タッチスクリーン２０上に文字（ここでは「Ｗｅａｔｈｅｒ」）を描く操作を行う。

この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段がタッチペンであると識別され、タッチスクリーン２０には、タッチペンでなぞられた軌跡、すなわち描かれた文字が、図５に示したように、入出力制御部１１によってそのまま出力される。尚、タブレット型コンピュータ本体１０を起動した初期画面が、このような入力画面となる設定であってもよい。

次に、図６に示したように、ユーザがタッチスクリーン２０上に表示された文字を、第２の入力手段である指で、丸く囲むような軌跡を描く操作を行う。この操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段が指であると識別され、タッチスクリーン２０には、指でなぞられた軌跡を入出力制御部１１によって出力しながら、以下の処理を実行する。

タッチスクリーン２０上の指でなぞられた領域には、先にタッチペンで入力された文字（ここでは「Ｗｅａｔｈｅｒ」）が表示されている。この文字を識別して、識別された文字によって特定されるアプリケーションプログラムをアプリケーション設定部１４のルールを読み出して確認し、対応するアプリケーションプログラム（ここでは天気アプリ）をアプリケーション実行部１３で起動して、図７に示したように、タッチスクリーン２０上に表示させる。

尚、指による入力を検出した後に実行される処理は、識別された文字等の情報によって特定されるものであるが、アプリケーションプログラムの起動に限定されるものではない。例えば、識別された文字が「ｉｎｖｅｒｔ」だった場合には、タッチスクリーン２０全体の白と黒を反転させる、識別された文字が「ｒｅｓｅｔ」だった場合には、タッチスクリーン２０に表示されている情報を消去する、といった処理を実行するものであってもよい。

また、ここで実行する処理は、識別された文字等の情報によって特定される処理に限定されるものでもなく、例えば、Ｗｅｂブラウザを起動してのＷｅｂ上での識別された文字をキーワードとする検索処理の実行のように、識別された文字を用いた処理を実行するものであってもよい。

また、タッチペンによって入力され、識別される情報は文字に限られるものではなく、図形（例えば、太陽の図形であれば「Ｗｅａｔｈｅｒ」の文字と同様に識別する）を対象にするものであってもよい。また、指によって文字等を囲う軌跡は、文字等の表示された領域が指定できるものであれば、円に限られるものではない。文字等を完全に囲う軌跡が描かれなくても、文字等に重なる、両端を結ぶ補助線を引けば文字等が完全に囲われるなど、文字等の指定が明らかな軌跡であれば、文字等が表示された領域の指定と認識することとしてもよい。

続いて、図８〜図１０に示した、タッチスクリーン２０上における画面の推移の第３の例について説明する。第３の例は、第２の入力手段である指で指定した領域に、第１の入力手段であるタッチペンで文字等の情報を入力して、文字等の情報を用いた処理を実行するものである。

まず、ユーザがタブレット型コンピュータ本体１０を用いて、ペイントソフトなどのタッチペンと指により情報の入力が可能なアプリケーションプログラムを起動し、第２の入力手段である指を用いて、タッチスクリーン２０上に楕円形などの囲み図形の軌跡を描く操作を行う。

この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段が指であると識別され、タッチスクリーン２０には、図８に示したように、指でなぞられた楕円形などの囲み図形の軌跡を入出力制御部１１によって出力するとともに、囲み図形によって指定された領域を認識しておく。

次に、図９に示したように、ユーザがタッチスクリーン２０上に囲み図形が表示された領域に、第１の入力手段であるタッチペンを用いて、文字（ここでは「ｐｈｏｔｏ」）を入力する。この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段がタッチペンであると識別され、タッチスクリーン２０には、タッチペンでなぞられた軌跡、すなわち描かれた文字を入出力制御部１１によって出力しながら、以下の処理を実行する。

指によって描かれた囲み図形が表示された領域にタッチペンで入力された文字（ここでは「ｐｈｏｔｏ」）を識別して、識別された文字に対応するアプリケーションプログラムをアプリケーション設定部１４のルールを読み出して確認し、対応するアプリケーションプログラム（ここではカメラアプリ）をアプリケーション実行部１３で起動する。タッチスクリーン２０上の画面は、アプリケーションプログラムの操作画面に遷移するが、アプリケーションプログラムの操作画面を表示する領域は、タッチスクリーン２０上に開かれたウィンドウ全面としてもよいし、図１０に示したように、指によって描かれた囲み図形の領域内に表示させることとしてもよい（図１０の例では、カメラアプリによって出力されるファインダーの映像が黒色の部分に表示されるものとする）。

尚、タッチペンによる入力を検出した後に実行される処理は、識別された文字等の情報によって特定されるものであるが、アプリケーションプログラムの起動に限定されるものではないことは、先に説明した第２の例と同様である。例えば、識別された文字が「ｉｎｖｅｒｔ」だった場合には、タッチスクリーン２０全体の白と黒を反転させる、識別された文字が「ｒｅｓｅｔ」だった場合には、タッチスクリーン２０に表示されている情報を消去する、といった処理を実行するものであってもよい。

また、識別された文字等の情報によって特定される処理に限定されるものでもなく、例えば、Ｗｅｂブラウザを起動してのＷｅｂ上での識別された文字をキーワードとする検索処理の実行のように、識別された文字を用いた処理を実行するものであってもよいことも、先に説明した第２の例の場合と同様である。

さらに、タッチペンによって入力され、識別される情報は文字に限られるものではなく、図形（例えば、カメラを描いた図形であれば「ｐｈｏｔｏ」と識別してカメラアプリを起動）を対象にするものであってもよい。さらに、指によって文字等を囲う軌跡は、一定の領域を認識できるものであれば円などの図形に限られるものではなく、囲みが閉じられた軌跡が描かれなくても、両端を結ぶ補助線を引いて囲みを閉じるなど、描かれた軌跡から一定の領域を設定することとすればよい。

尚、以上の第３の例では、タッチペンによって入力された文字等の情報を用いた処理を直ちに実行することとしているが、第１の例と同様に、文字等の情報を用いた処理を実行するための操作を要求する処理、具体的には、複数の処理の中からいずれかの処理を選択させるための選択ボタンをタッチスクリーン２０に出力する（例えば、「ｃａｍｅｒａ」と入力された場合に、「ｐｈｏｔｏ」と「ｖｉｄｅｏ」の選択ボタンを出力してユーザにいずれかを選択させる）こととしてもよい。

以上に説明した本発明にかかる情報処理装置において動作する、情報入力制御プログラムによる処理フローをフローチャートとして示したのが、図１１〜１２である。

本発明にかかる情報入力制御プログラムは、ペイントソフトなどの所定のアプリケーションプログラムの起動（タブレット型コンピュータやスマートフォンなどの情報処理装置の起動であってもよい）をトリガとして起動される。まず、図１１のフローチャートに示したように、タッチスクリーンに何らかの情報の入力が検出されると（Ｓ０１）、入力手段がタッチペンであるか、指であるかを識別する（Ｓ０２）。

入力手段がタッチペンであれば、タッチペンによって描かれた軌跡をタッチスクリーンに出力する（Ｓ０３）。そして、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。

入力手段が指であれば、タッチスクリーン上に指によって描かれた軌跡をタッチスクリーンに出力するとともに（Ｓ０４）、指で描かれた軌跡によって指定された領域（囲み領域）を認識する（Ｓ０５）。認識された領域（囲み領域）に、タッチペンで入力された情報が表示されているかを確認し（Ｓ０６）、表示されている場合にはその情報を識別して、識別された情報を用いた処理、識別された情報によって特定される処理など、タッチペンで入力された情報として識別された情報に関連する処理を実行する（Ｓ０７）。その後は、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。

タッチスクリーン上の認識された領域に、タッチペンによって入力された情報が表示されていない場合は、図１２のフローチャートに移行する。認識された領域（囲み領域）の範囲内に、タッチペンによる入力がないかを監視して（Ｓ０８）、入力がなく、タッチスクリーン上の囲み領域が消去される操作が実行されたことが検出されると（Ｓ１１）、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。囲み領域が消去されるまでは、囲み領域の範囲内へのタッチペンによる入力の有無を監視する（Ｓ０８）。

囲み領域内にタッチペンによる入力が検出されると、タッチペンによって描かれた軌跡をタッチスクリーンに出力するとともに（Ｓ０９）、タッチペンによって入力された情報を識別して、識別された情報を用いた処理、識別された情報によって特定される処理など、タッチペンで入力された情報として識別された情報に関連する処理を実行する（Ｓ１０）。その後は、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。

図１１に示したフローチャートのＳ０７における詳細なフローについて、図１３のフローチャートは第１の例を、図１４のフローチャートは第２の例を示している。タッチペンによって入力された情報が表示されている部分に、指での入力操作による領域（囲み領域）が認識された場合に、タッチペンによって入力された情報から識別された情報に関連する処理として、識別された情報を用いた処理を実行するのが図１３に示した第１の例、識別された情報を用いた処理と識別された情報によって特定される処理のいずれを実行するかを識別された情報によって決定して実行するのが、図１４に示した第２の例である。

図１３に示した第１の例では、タッチペンでの入力によって表示されている文字、数字などの情報を識別し（Ｓ０７１）、識別された情報をキーワードとする検索、識別された情報のファイル化など、識別された情報を用いて実行可能な処理から、いずれかの処理を選択させるための選択ボタンをタッチスクリーンに出力する（Ｓ０７２）。ユーザによるいずれかの選択ボタンを選択する操作を受け付けると（Ｓ０７３）、識別された情報をキーワード等に用いて、選択された処理を実行する（Ｓ０７４）。

図１１に示したフローチャートのＳ０７は、タッチペンによる情報の入力、指による領域の指定という順序によって実行する処理が決定されるが、一般に、ペイントソフトや文書作成ソフトで入力した文字等を用いて検索、編集を行うなど、入力した情報を用いて何らかの処理を実行したいケースでは、このように情報の入力が先、領域の指定が後という順序になりやすい。そのため、ここでは第１の例として示したように、実行する処理を、識別された情報を用いた処理に限定するのが好適であるが、図１４に示した第２の例のように、識別された情報により特定される処理も実行可能としてもよい。

図１４に示した第２の例では、タッチペンでの入力によって表示されている文字、数字などの情報を識別すると（Ｓ１７１）、識別された情報が所定のアプリケーションに対応して、あらかじめ登録されている登録語に該当するかを判断し（Ｓ１７２）、登録語に該当する場合には、識別された情報から特定されるアプリケーションプログラムを起動して、処理を実行する（Ｓ１７３）。

登録語に該当しない場合には、識別された情報をキーワードとする検索、識別された情報のファイル化など、識別された情報を用いて実行可能な処理から、いずれかの処理を選択させるための選択ボタンをタッチスクリーンに出力する（Ｓ１７４）。ユーザによるいずれかの選択ボタンの選択操作を受け付けると（Ｓ１７５）、識別された情報をキーワード等に用いて、選択された処理を実行する（Ｓ１７６）。

尚、ここでは第１の例、第２の例のいずれにおいても、識別された情報を用いて実行する処理は、選択ボタンによってユーザが選択することとしているが、選択ボタンの出力とユーザによる選択操作を受け付ける工程を省略して、識別された情報を用いて実行する処理を一つの処理に限定し、識別された情報を用いた処理を直ちに実行することとしてもよい。

図１２に示したフローチャートのＳ１０における詳細なフローについて、図１５のフローチャートは第１の例を、図１６のフローチャートは第２の例を示している。指での入力操作によって認識された領域（囲み領域）に、タッチペンによって情報が入力された場合に、タッチペンによって入力された情報から識別された情報に関連する処理として、識別された情報から特定される処理を実行するのが図１５に示した第１の例、識別された情報によって特定される処理と識別された情報を用いた処理のいずれを実行するかを識別された情報によって決定して実行するのが、図１６に示した第２の例である。

図１５に示した第１の例では、タッチペンによって入力された文字、数字などの情報を識別し（Ｓ１０１）、識別された情報から特定されるアプリケーションプログラムを起動して、処理を実行する（Ｓ１０２）。尚、識別された情報によってアプリケーションプログラムが特定できない場合には、一定の時間が経過したら入力された情報を自動消去するなど、エラー処理を実行することとすればよい。

図１２に示したフローチャートのＳ１０は、指による領域の指定、タッチペンによる情報の入力という順序によって実行する処理が決定されるが、一般に、入力される情報はアプリケーションの起動などのコマンドとなるものであって、その情報自体を保存して利用するものでないケースで、このような順序になりやすい。そのため、ここでは第１の例として示したように、実行する処理を識別された情報によって特定される処理に限定するのが好適であるが、図１６に示した第２の例のように、識別された情報を用いた処理も実行可能としてもよい。

図１６に示した第２の例では、タッチペンによって入力された文字、数字などの情報を識別すると（Ｓ２０１）、識別された情報が所定のアプリケーションに対応して、あらかじめ登録されている登録語に該当するかを判断し（Ｓ２０２）、登録語に該当する場合には、識別された情報から特定されるアプリケーションプログラムを起動して、アプリケーションの処理を実行する（Ｓ２０３）。

登録語に該当しない場合には、識別された情報をキーワードとする検索、識別された情報のファイル化など、識別された情報を用いて実行可能な処理から、いずれかの処理を選択させるための選択ボタンをタッチスクリーンに出力する（Ｓ２０４）。ユーザによるいずれかの選択ボタンの選択操作を受け付けると（Ｓ２０５）、識別された情報をキーワード等に用いて、選択された処理を実行する（Ｓ２０６）。

尚、第２の例における識別された情報を用いて実行する処理は、選択ボタンによってユーザが選択することとしているが、選択ボタンの出力やユーザによる選択の受け付けの工程を省略して、識別された情報を用いて実行する処理を一つの処理に限定し、識別された情報を用いた処理を直ちに実行することとしてもよい。

１０ タブレット型コンピュータ本体
１１ 入出力制御部
１２ 入力手段識別部
１３ アプリケーション実行部
１４ アプリケーション設定部
２０ タッチスクリーン

Claims (6)

1. 第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、
   タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別手段と、
   前記入力手段識別手段によって入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力する手段と、
   タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出する手段と、
   前記入力操作が検出されると、前記情報に関連する第１の処理を実行する手段と、
   前記入力手段識別手段によって入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識する手段と、
   前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別する手段と、
   前記情報が識別されると、前記情報に関連する第２の処理を実行する手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であること
   を特徴とする請求項１記載の情報処理装置。
3. 前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報処理装置の操作者の指であること
   を特徴とする請求項２記載の情報処理装置。
4. 第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、
   タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別ステップと、
   前記入力手段識別ステップにおいて入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力するステップと、
   タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出するステップと、
   前記入力操作が検出されると、前記情報に関連する第１の処理を実行するステップと、
   前記入力手段識別ステップにおいて入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識するステップと、
   前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別するステップと、
   前記情報が識別されると、前記情報に関連する第２の処理を実行するステップと、
   を実行させることを特徴とする情報入力制御プログラム。
5. 前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であること
   を特徴とする請求項４記載の情報入力制御プログラム。
6. 前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報処理装置の操作者の指であること
   を特徴とする請求項５記載の情報入力制御プログラム。
   

Images