JP5538869B2 - 情報処理装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、情報処理装置及びその制御方法及びプログラムに関する。

ジェスチャーを用いて機器の機能を呼び出す技術が知られている。特許文献１には、ジェスチャーを用いて画像形成装置の印刷設定を指示する技術が開示されている。この装置では、設定された機能を視覚的に表すためのプレビュー画像を操作パネルに表示する。ユーザは、例えば、パンチ穴の機能を呼び出すために、プレビュー画像上においてパンチ穴を施したい位置に２つの円をタッチ操作で入力する。

階層画面／階層メニューを用いた一般的な装置は、所望の機能を呼び出すために、１つずつ階層を辿らなければならない。これに比べジェスチャーを用いた装置は、所望の機能を直接呼び出せるという利点がある。そのため、階層画面／階層メニューを用いる場合よりも、所望の機能を呼び出すまでの手順が少なくて済む。

特開２００６−４１９４７号公報

上述した特許文献１に記載された技術においては、例えば、対応するジェスチャーを知らない場合、ユーザは、所望の機能を呼び出せない。そのため、使い勝手が悪かった。

そこで、本発明は、上記課題に鑑みてなされたものであり、ジェスチャー操作時の操作性を向上させるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、階層構造を成す複数の操作画面のうちの１つを表示画面上に表示する情報処理装置であって、
指示体により指示された前記表示画面上の位置を検出する検出手段と、
前記検出手段が検出した位置に基づく入力に対応する処理の内容を、予め辞書に格納された情報に基づいて認識する認識手段と、
前記検出手段が検出した位置に基づく入力が、第１の入力領域における入力であるか、第２の入力領域における入力であるかを判定する判定手段と、
前記判定手段により前記第１の入力領域における入力であると判定された場合、前記複数の操作画面のうち、前記認識手段により認識された処理の内容に対応する操作画面への遷移処理を実施し、前記判定手段により前記第２の入力領域における入力であると判定された場合、前記認識手段により認識された処理の内容に対応する操作画面の１つ上の層の操作画面への遷移処理を実施する実行手段とを具備することを特徴とする。

本発明によれば、ジェスチャー操作時の操作性を向上させられる。

画像形成装置１０のハードウェア構成の一例を示す図。 操作画面の階層構造の一例を示す図。 操作画面の一例を示す図。 画像形成装置１０上に実現される機能的な構成の一例を示す図。 ジェスチャー辞書の一例を示す図。 図１に示す画像形成装置１０の処理の流れの一例を示すフローチャート。 図１に示す画像形成装置１０の処理の流れの一例を示すフローチャート。 図１に示す画像形成装置１０の処理の流れの一例を示すフローチャート。 第２の入力開始に対応するジェスチャー入力時の動作の一例を説明する図。 実施形態２に係わる画像形成装置１０の処理の流れの一例を示すフローチャート。 変形例の一例を示す図。 変形例の一例を示す図。

以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。なお、以下に示す実施形態においては、ジェスチャー認識装置を画像形成装置に適用（内蔵）した場合を例に挙げて説明する。そのため、ユーザがジェスチャーにより呼び出す機能は、印刷設定となる。勿論、ジェスチャー認識装置は、画像形成装置に限られず、他の装置へ適用することもできる。例えば、デジタルカメラなどに適用しても構わない。

（実施形態１）
図１は、本発明の一実施の形態に係わるジェスチャー認識装置を適用した画像形成装置１０のハードウェア構成の一例を示す図である。

ここで、画像形成装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、記憶部１４と、タッチパネル１５と、表示部１６と、画像形成部１７とを具備して構成される。

ＣＰＵ（Central Processing Unit）１１は、装置全体の動作を統括制御する。ＲＯＭ（Read Only Memory）１２は、プログラムや各種データを記憶する。ＲＡＭ（Random Access Memory）１３は、ＣＰＵ１１によるプログラムの実行時にワークエリアとして使用され、演算結果やデータ等を一時的に記憶する。記憶部１４は、例えば、ＳＤ（Secure Digital）メモリカードやＨＤＤ（Hard Disk Drive）等で実現され、各種データを記憶する。

表示部１６は、各種操作画面を表示する。タッチパネル１５は、座標入力装置として機能し、表示画面（表示部１６）上を指し示す指示体（指、ペン等）の座標位置を検出し、当該検出座標を装置内に入力する。ここで、表示部１６及びタッチパネル１５は、一体で構成されている。すなわち、タッチパネル１５は、表示部１６に重ねて設けられる。なお、タッチパネル１５上でタッチ入力可能な領域を入力可能領域と呼ぶ。入力可能領域は、表示部１６全体をカバーしていることが望ましい。

画像形成部１７は、用紙等の記録媒体上に画像を形成し印刷を行なう。画像形成部１７の方式は特に問わず、例えば、電子写真方式を採用してもよいし、インクジェット方式を採用してもよい。

ここで、画像形成装置１０は、種々の印刷設定を行なうために複数の操作画面を有する。この複数の操作画面は、階層構造を有して構成される。以下、階層的に構成された操作画面を順番に辿って所望の印刷設定等を行なう操作を階層画面操作と呼ぶ。これに対しジェスチャーを用いて所望の印刷設定に一気に飛んで所望の印刷設定等を行なう操作をジェスチャー操作と呼ぶ。なお、ここでは、ジェスチャー操作と階層画面操作とを組み合わせて所望の印刷設定等を行なう場合について説明する。

ここで、図２を用いて、操作画面における階層構造の一例について説明する。操作画面の階層構造は、ルートノード画面、中間ノード画面、リーフノード画面に大別される。この場合、コピー基本画面がルートノード画面に該当し、応用モード画面や地紋印刷画面などが中間ノード画面に該当し、コピー画面や丸秘画面などがリーフノード画面に該当する。ここでは、操作画面の階層構造において、ルートノードに向かう方向を上、リーフノードに向かう方向を下と表現する。例えば、コピー画面の１つ上の階層の画面は、スタンプ画面になり、スタンプ画面の１つ下の階層の画面は、コピー画面、丸秘画面、社外秘画面等になる。

階層画面操作では、ルートノード画面がスタート画面となる。ユーザは、ルートノード画面から項目を順に選択し、操作画面の階層構造を辿る。最後に到達するリーフノード画面が印刷設定可能な画面となる。例えば、コピー時にスタンプを設定する場合は、コピー基本画面、応用モード画面、地紋印刷画面、スタンプ画面、コピー画面の順に操作画面の階層構造を辿ることになる。ジェスチャー入力画面は、ジェスチャー入力可能な画面である。ジェスチャー操作時のスタート画面であり、この操作画面は、上述した階層構造には属さず、独立している。

ここで、図３は、表示部１６に表示される操作画面の一例を示している。図３（ａ）は、図２に示すジェスチャー入力画面に対応し、図３（ｂ）は、図２に示すスタンプ画面に対応する。スタンプ画面では、コピー、丸秘、社外秘などの印刷設定が選択可能である。図３（ｃ）は、図２に示す丸秘画面に対応する。

ジェスチャー入力画面の中央部には、図３（ａ）に示すように、用紙プレビュー領域４１が設けられる。用紙プレビュー領域４１は、印刷の仕上がりイメージを表しており、ジェスチャーを入力する際に位置のガイドの役割を果たす。例えば、用紙の中央部に「丸秘」のスタンプを透かしたい場合、ユーザは、用紙プレビュー領域４１の中央部に「丸秘」に対応するジェスチャーの入力を行なう。また、例えば、用紙の左上をステイプルでとめたい場合、ユーザは、用紙プレビュー領域４１内における左上の領域において、「ステイプル左上」に対応するジェスチャーの入力を行なう。

次に、図４を用いて、画像形成装置１０上に実現される機能的な構成の一例について説明する。図４に示すこれら機能構成の一部は、例えば、ＣＰＵ１１がＲＯＭ１２や記憶部１４に格納されたプログラムを実行することにより実現される。

画像形成装置１０は、入力部２１と、領域管理部２２と、判定部２３と、認識部２４と、辞書情報格納部２５と、実行部２６と、画面情報格納部２７とを具備して構成される。

画面情報格納部２７は、例えば、ＲＯＭ１２や記憶部１４等により実現され、複数の操作画面を格納する。すなわち、画面情報格納部２７においては、図２に示す階層構造を有する画面や、独立した画面（ジェスチャー入力画面）を格納している。

入力部２１は、例えば、タッチパネル１５や表示部１６等により実現され、ジェスチャー（連続する入力座標）を装置内に入力する。なお、入力部２１では、ジェスチャー入力の他、画面に表示されたボタン等による入力の処理も行なう。

領域管理部２２は、例えば、ＣＰＵ１１等により実現され、第１の入力領域（直接入力領域）と第２の入力領域（間接入力領域）とに分割して表示画面上における入力可能領域を管理する。例えば、ジェスチャー入力画面の場合、用紙プレビュー領域４１の内側が第１の入力領域となり、その外側が第２の入力領域となる。

判定部２３は、例えば、ＣＰＵ１１等により実現され、入力部２１により入力されたジェスチャーの入力方式を判定する。すなわち、入力ジェスチャーが第１の入力方式（直接入力方式）により入力されたか、第２の入力方式（間接入力方式）により入力されたかの判定を行なう。この判定では、第１の入力領域に入力されたジェスチャーを第１の入力方式による入力であると判定し、それ以外の領域（第２の入力領域）に入力されたジェスチャーを第２の入力方式による入力であると判定する。ここで、第１の入力方式は、対応するジェスチャーが直接入力されることをいう。ユーザが所望の印刷設定のジェスチャーを知っている場合、この入力方式でジェスチャー入力が行なわれる。第２の入力方式は、所望の印刷設定と類似の印刷設定のジェスチャーが入力されることをいう。ユーザが所望の印刷設定のジェスチャーを知らない場合にも、ジェスチャー入力を可能とする入力方式である。類似の印刷設定は、操作画面の階層構造に基づいて決められる。例えば、図２を参照すると、コピー画面、丸秘画面、社外秘画面には共通して１つ上の階層にスタンプ画面が設けられている。そのため、ここでは、コピー画面、丸秘画面、社外秘画面各々により提供される機能を類似の印刷設定であると定義する。

辞書情報格納部２５は、ジェスチャー辞書を格納する。ジェスチャー辞書は、図５に示すように、各エントリが、形状、用紙プレビュー領域との位置関係、印刷設定の項目（処理の内容）、を有している。「形状」は、ジェスチャー（連続する入力座標）の形状を示す情報である。例えば、「２ｉｎ１」に対応するジェスチャーの形状は、横線のストローク１つからなる。なお、「第２の入力方式による入力開始（以下、第２の入力開始と略す）」については、実施形態２において説明する。

「用紙プレビュー領域との位置関係」は、入力ジェスチャーと用紙プレビュー領域４１（図２参照）との位置関係を示す情報である。例えば、「ステイプル左上」に対応するジェスチャーは、用紙プレビュー領域４１の内側の左上に小さく入力する必要がある旨規定されている。また、例えば、「丸秘」に対応するジェスチャーは、用紙プレビュー領域４１の中央部に大きく入力する必要がある旨規定されている。なお、「ステイプル左上」及び「ステイプル左下」は、ジェスチャー形状が同一となるが、「用紙プレビュー領域との位置関係」に規定された情報を用いて両者は識別されることになる。

認識部２４は、入力部２１により入力されたジェスチャーを認識する。すなわち、ジェスチャー辞書に基づいて入力ジェスチャーの認識を行なう。第１の入力方式によりジェスチャーが入力された場合、用紙プレビュー領域４１の内側にジェスチャーが入力されることになる。この場合、認識部２４は、「用紙プレビュー領域との位置関係」と「形状」との両方の情報を用いて認識を行なう。これに対して、第２の入力方式によりジェスチャーが入力された場合、用紙プレビュー領域４１の外側にジェスチャーが入力されることになる。この場合、「用紙プレビュー領域との位置関係」と入力ジェスチャーとの比較結果を用いた認識を行なえないため、認識部２４は、「形状」に規定された情報のみを用いて認識を行なう。

実行部２６は、判定部２３の判定結果と、認識部２４の認識結果とに基づいて、入力されたジェスチャーに対応した処理を実行する。実行部２６においては、同一ジェスチャーが入力されたとしても、その入力方式（第１の入力方式、第２の入力方式）に応じて異なる処理を実施する。第１の入力方式によりジェスチャーが入力された場合、実行部２６は、認識ジェスチャーに対応する画面を表示部１６に表示させる。例えば、「丸秘」のジェスチャーが認識された場合、表示部１６には、丸秘画面が表示される。

これに対して、第２の入力方式によりジェスチャーが入力された場合、認識ジェスチャーに対応する画面よりも１つ上の階層の画面を表示部１６に表示させる。例えば、「丸秘」のジェスチャーが認識された場合、表示部１６には、丸秘画面よりも１つ上の階層に当たるスタンプ画面が表示される。この場合、ユーザは、階層画面操作とジェスチャー操作とを併用して所望の印刷設定に辿り着くことになる。なお、本実施形態においては、類似の印刷設定をユーザがどれだけ知っているかが重要になるが、階層画面操作とジェスチャー操作とを併用して利用していくうちに、ユーザは、類似の印刷設定を自然に覚えられることになる。

次に、図６〜図８を用いて、図１に示す画像形成装置１０における処理の流れの一例について説明する。ここでは、まず、図６を用いて、ジェスチャー入力画面においてジェスチャー入力を行なう際の処理の流れについて説明する。

ユーザは、ペンや指等を用いて、所望のジェスチャーを入力する。すると、画像形成装置は、入力部２１において、当該入力ジェスチャーを装置内に入力するとともに（Ｓ１０１）、判定部２３において、当該入力ジェスチャーの入力方式を判定する（Ｓ１０２）。すなわち、当該入力ジェスチャーが用紙プレビュー領域４１内に入力されたか否かの判定を行なう。この判定は、入力ジェスチャーに外接する矩形の面積に基づいて行なわれる。ここで、例えば、入力ジェスチャーに外接する矩形の面積をＳ１とし、入力ジェスチャーに外接する矩形と用紙プレビュー領域４１との重なる領域の面積をＳ２とする。そして、Ｘ＝Ｓ２÷Ｓ１を算出する。例えば、Ｘが０．９以上であれば、入力ジェスチャーが用紙プレビュー領域４１の内側に入力されたと判定する（第１の入力方式）。Ｘが０．９未満であれば、入力ジェスチャーが用紙プレビュー領域４１の外側に入力されたと判定する（第２の入力方式）。

判定の結果、第１の入力方式によりジェスチャーが入力されたと判定された場合（Ｓ１０３でＹＥＳ）、画像形成装置１０は、認識部２４において、「用紙プレビュー領域との位置関係」と「形状」とを用いて、入力されたジェスチャーを認識する（Ｓ１０４）。そして、実行部２６において、入力ジェスチャーに対応する画面へ遷移する（Ｓ１０５）。その後、詳細については後述するが、印刷設定等の処理が行なわれる（Ｓ１０９）。

一方、判定の結果、第２の入力方式によりジェスチャーが入力されたと判定された場合（Ｓ１０３でＮＯ）、画像形成装置１０は、認識部２４において、「形状」を用いて、入力されたジェスチャーを認識する（Ｓ１０６）。そして、実行部２６において、入力ジェスチャーに対応する画面よりも上位階層（本実施形態においては１つ上位）の画面へ遷移する（Ｓ１０７）。その後、詳細については後述するが、所望画面への遷移処理等が行なわれた後（Ｓ１０８）、印刷設定等の処理が行なわれる（Ｓ１０９）。

次に、図７を用いて、図６に示すＳ１０８における処理（所望画面への遷移処理）の流れの一例について説明する。Ｓ１０７の処理により入力ジェスチャーに対応する画面よりも上位階層の画面（中間ノード画面）が表示されている状態からの処理の流れについて説明する。ここでは、説明の便宜上、中間ノード画面の一例として図３（ｂ）に示すスタンプ画面が表示されているものとする。なお、スタンプ画面には、コピー、丸秘、社外秘、コピー禁止、無効、ｃｏｎｆｉｄｅｎｔｉａｌの６つの設定ボタンと、設定取り消しボタン、戻るボタンが設けられる。いずれかの設定ボタンが押下されると、当該ボタンに対応する画面へ遷移し、対応する印刷設定が行なわれることになる。

ここで、ユーザは、例えば、指やペン等を用いて、スタンプ画面に配されたいずれかのボタンを押下する。すると、画像形成装置１０は、入力部２１において、当該ボタン押下の情報を装置内に入力する（Ｓ２０１）。ここで、画像形成装置１０は、当該押下されたボタンが設定ボタンであるか否かを判定する。

判定の結果、設定ボタンであれば（Ｓ２０２でＹＥＳ）、画像形成装置１０は、実行部２６において、当該押下された設定ボタンに対応する画面への遷移処理を実施する（Ｓ２０５）。例えば、ユーザがコピーボタンを押下した場合、表示部１６には、コピー画面が表示される。

一方、Ｓ２０２における判定の結果、設定ボタン以外のボタンが押下された場合（Ｓ２０２でＮＯ）、画像形成装置１０は、戻るボタンが押下されたか否かを判定する。戻るボタンが押下されていれば（Ｓ２０３でＹＥＳ）、画像形成装置１０は、実行部２６において、元の画面（ジェスチャー入力画面）への遷移処理を実施する（Ｓ２０６）。なお、ジェスチャー入力画面へ戻るのは、ジェスチャー操作時の場合であり、階層画面操作時には、１つ上の階層の画面へ戻る。階層画面操作時に、例えば、スタンプ画面上で戻るボタンが押下された場合には、地紋印刷画面へ戻る（図２参照）。

また、取消ボタンが押下された場合（Ｓ２０３でＮＯの後、Ｓ２０４でＹＥＳ）、画像形成装置１０は、実行部２６において、処理の取り消しを実施した後、元の画面（ジェスチャー入力画面）への遷移処理を実施する（Ｓ２０６）。戻り先となる画面は、戻るボタン押下時と同様となる。なお、Ｓ２０１におけるボタン押下情報が上記いずれのボタンでもなければ（Ｓ２０４でＮＯ）、画像形成装置１０は、ボタン押下待ち状態となり、再度、Ｓ２０１の処理に戻る。

次に、図８を用いて、図６に示すＳ１０９における処理（印刷設定を行なう際の処理）の流れの一例について説明する。Ｓ１０５又はＳ１０８の処理により印刷設定可能な画面（リーフノード画面）が表示されている状態からの処理の流れについて説明する。ここでは、説明の便宜上、リーフノード画面の一例として図３（ｃ）に示す丸秘画面が表示されているものとする。なお、丸秘画面には、決定ボタンと、取消ボタンとが設けられる。丸秘画面では、「丸秘」の印刷設定が行なわれた時にその印刷イメージを表すため、用紙プレビュー上には「丸秘」のスタンプが表示される。

ここで、ユーザは、例えば、指やペン等を用いて、丸秘画面に配されたいずれかのボタンを押下する。すると、画像形成装置１０は、入力部２１において、当該ボタン押下の情報を装置内に入力する（Ｓ３０１）。ここで、画像形成装置１０は、当該押下されたボタンを判定する。

判定の結果、決定ボタンであれば（Ｓ３０２でＹＥＳ）、画像形成装置１０は、実行部２６において、当該押下されたボタンに対応する印刷設定を実施する（Ｓ３０４）。この場合、例えば、丸秘スタンプが設定される。その後、表示部１６には、元の画面（ジェスチャー入力画面）が表示される（Ｓ３０５）。

一方、押下されたボタンが取消ボタンであれば（Ｓ３０２でＮＯの後、Ｓ３０３でＹＥＳ）、画像形成装置１０は、実行部２６において、処理の実施を取り消す。その後、表示部１６には、元の画面（ジェスチャー入力画面）が表示される（Ｓ３０５）。なお、Ｓ３０１におけるボタン押下情報が上記いずれのボタンでもなければ（Ｓ３０３でＮＯ）、画像形成装置１０は、ボタン押下待ち状態となり、再度、Ｓ３０１の処理に戻る。

なお、図６のＳ１０５の処理が行なわれた時点で対応する印刷設定がセットされるように構成してもよい。この場合、Ｓ１０５の処理とともに印刷設定がなされ、その後、元の画面（例えば、ジェスチャー入力画面）が表示されることになる。

以上説明したように実施形態１によれば、対応するジェスチャーを知らなくても所望の機能を呼び出すことができるため、ジェスチャー入力時の操作性を向上させられる。例えば、ユーザは、コピーに対応するジェスチャーを知らなくても、丸秘など、コピーと類似した印刷設定のジェスチャーを知っていれば印刷設定が行なえる。

（実施形態２）
次に、実施形態２について説明する。上述した処理では、第２の入力方式により入力がなされた場合、「形状」のみを用いて認識処理を行なっていたため、認識率が低下する場合がある。例えば、図５に示すジェスチャー辞書の場合、「２ｉｎ１」及び「ステイプル左上」に対応するジェスチャーはそれぞれ、その形状が似ている。そのため、「用紙プレビュー領域との位置関係」を用いずに認識を行なった場合、これらのジェスチャーを正確に識別できない可能性がある。例えば、ユーザが「２ｉｎ１」を意図したジェスチャーを入力したとしても、「ステイプル左上」と誤って認識される場合がある。このような誤認識が生じた場合に、例えば、階層構造上、全く関係のない階層の画面に遷移したときには、その位置から階層画面操作によって所望の画面まで辿りつかなくてはならず、ユーザにとっては過度の負担が掛かってしまう。

そこで、実施形態２においては、第２の入力方式時における認識率の低下を少ない手順で回避するようにした構成について説明する。第２の入力開始に対応するジェスチャーは、図５に示すように、その形状は、用紙を表す矩形となる。つまり、第２の入力方式による入力に際して、ユーザは、用紙の形状を入力する。第２の入力開始に対応するジェスチャーは、単独で印刷設定を行なうジェスチャーではなく、ユーザは、当該用紙に対応する形状を入力した後、続けて所望のジェスチャーを入力する。

ここで、図９を用いて、第２の入力開始に対応するジェスチャー入力時の動作の一例について説明する。

ユーザは、まず、図９（ａ）に示すように、第２の入力開始に対応するジェスチャーを第２の入力領域に入力する。すると、画像形成装置１０は、認識部２４において、第２の入力開始に対応するジェスチャーを認識する。ここで、画像形成装置１０は、図９（ｂ）に示すように、当該入力されたジェスチャーに対応する形状（以下、第２の用紙プレビュー領域４２と呼ぶ）を表示したまま、次のジェスチャーの入力を待つ。

続けて、ユーザは、図９（ｃ）に示すように、例えば、２ｉｎ１に対応するジェスチャーを第２の用紙プレビュー領域４２の内側に入力する。ここで、画像形成装置１０は、認識部２４において、第２の用紙プレビュー領域４２を用いて当該入力ジェスチャーを認識する。具体的には、第２の用紙プレビュー領域４２を利用して、「用紙プレビュー領域との位置関係」を用いた認識を行なう。これにより、認識率の低下を防ぐことができる。

なお、第２の入力開始に対応するジェスチャーを第１の入力領域に入力するようにしてもよい。この場合、例えば、図９（ｄ）に示すように、第２の用紙プレビュー領域４２が用紙プレビュー領域４１を隠すことになる。第２の入力開始に対応するジェスチャーの入力が小さく、用紙プレビュー領域４１を隠せない場合には、用紙プレビュー領域４１が隠れるように、第２のプレビュー領域４２を拡大して表示する。この場合、領域管理部２２においては、表示画面上における入力可能領域全体を第２の入力領域に変更する。つまり、第２の入力開始に対応するジェスチャーが第１の入力領域に入力された場合、画像形成装置１０は、以降の入力を全て第２の入力方式による入力として扱う。図９（ｂ）の場合、タッチパネル１５が小さいときには、第２の用紙プレビュー領域４２を入力できる領域が小さくなり、入力し辛いという問題が生じるが、図９（ｄ）に示す方法を採用すれば、このような問題もなくなる。

次に、図１０を用いて、実施形態２に係わる画像形成装置１０における処理の流れの一例について説明する。ここでは、ジェスチャー入力画面においてジェスチャー入力を行なう際の処理の流れについて説明する。

ユーザは、ペンや指等を用いて、所望のジェスチャーを入力する。すると、画像形成装置は、入力部２１において、当該入力ジェスチャーを装置内に入力するとともに（Ｓ４０１）、認識部２４において、当該入力ジェスチャーが第２の入力開始に対応するジェスチャーであるか否かを判定する。ここでのジェスチャーの認識処理では、後述するＳ４０６などで実施するジェスチャー認識よりも簡易な処理が行なわれる。具体的には、Ｓ４０６等では、ジェスチャー辞書に含まれる全てのジェスチャーを対象として認識を行なう必要があるが、ここで実施するジェスチャー認識は、第２の入力開始に対応するジェスチャーのみが対象となる。すなわち、第２の入力開始に対応するジェスチャーについて尤度を求め、当該尤度が予め定められた値以上であれば、第２の入力開始に対応するジェスチャーが入力されたと判定する。

判定の結果、第２の入力開始に対応するジェスチャーであれば（Ｓ４０２でＹＥＳ）、画像形成装置１０は、表示部１６において、当該入力ジェスチャーの形状に対応した第２の用紙プレビュー領域４２を表示する（Ｓ４０３）。その後、再度、Ｓ４０１に戻り、ジェスチャー入力待ちとなる。なお、第２の入力開始に対応するジェスチャーが、第１の入力領域に入力された場合は、上述した通り、第２の用紙プレビュー領域４２のサイズを変更して画面中央部に表示する。

一方、Ｓ４０２の判定において、入力ジェスチャーが第２の入力開始に対応するジェスチャーでなければ（Ｓ４０２でＮＯ）、画像形成装置１０は、判定部２３において、当該入力ジェスチャーが第２の用紙プレビュー領域４２内になされたか否かを判定する。この判定は、図６のＳ１０２で説明した演算処理を実施し、その結果に基づいて行なう。なお、第２の用紙プレビュー領域４２が表示されていなければ、この判定を行なわず、そのままＳ４０５の処理に進む。

判定の結果、入力ジェスチャーが第２の用紙プレビュー領域４２の外側に入力されている場合（Ｓ４０４でＮＯ）、画像形成装置１０は、判定部２３において、当該入力ジェスチャーの入力方式を判定する（Ｓ４０５）。すなわち、当該入力ジェスチャーが用紙プレビュー領域４１内に入力されたか否かの判定を行なう。なお、Ｓ４０５〜Ｓ４１２の処理は、実施形態１を説明した図６におけるＳ１０２〜Ｓ１０９の処理と同様であるため、ここではその説明については省略する。

また、Ｓ４０４の判定の結果、入力ジェスチャーが第２の用紙プレビュー領域４２の内側に入力されている場合（Ｓ４０４でＹＥＳ）、画像形成装置１０は、認識部２４において、入力されたジェスチャーを認識する。具体的には、「用紙プレビュー領域との位置関係」と「形状」とを用いて、入力されたジェスチャーを認識する（Ｓ４１３）。その後、画像形成装置１０は、ジェスチャー入力画面から第２の用紙プレビュー領域４２の表示を削除する（Ｓ４１４）。そして、実行部２６において、入力ジェスチャーに対応する画面よりも上位階層（本実施形態においては１つ上位）の画面へ遷移する（Ｓ４１５）。以降の処理は、実施形態１を説明した図６におけるＳ１０８及びＳ１０９の処理と同様であるため、ここではその説明については省略する。

以上説明したように実施形態２によれば、実施形態１同様の効果が得られるとともに、第２の入力方式による入力時の認識率を向上させることができる。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。以下、本実施形態の変形例についていくつか列挙する。

（変形例１）
上述した実施形態２で説明した第２の入力開始のジェスチャーの代わりに、例えば、第１の入力方式と第２の入力方式とを交互に変更する入力変更ボタンを設けてもよい。この場合、第１の入力方式時には用紙プレビュー領域４１を表示し、第２の入力方式時には第２の用紙プレビュー領域４２を表示する。用紙プレビュー領域４１と第２の用紙プレビュー領域４２とは、識別可能な形態で表示する。例えば、用紙プレビュー領域４１の表示を図３（ａ）とし、第２の用紙プレビュー領域４２の表示を図９（ｄ）とする。また、図１１に示すように、用紙プレビュー領域４１と第２の用紙プレビュー領域４２とを同時に表示するようにしてもよい。この場合、画像形成装置１０においては、用紙プレビュー領域４１の内側に入力されたジェスチャーを第１の入力方式による入力と判定し、第２の用紙プレビュー領域４２内に入力されたジェスチャーを第２の入力方式による入力と判定する。

（変形例２）
上述した実施形態で説明した操作画面のレイアウトは、適宜変更してもよい。例えば、スタンプ画面には、図１２（ａ）に示すように、選択可能な印刷設定と、それに対応するジェスチャーのプレビューとを対応付けたボタンが配されていてもよい。例えば、コピーボタンには、コピーのジェスチャーのプレビューが表示されている。

図１２（ａ）に示すスタンプ画面は、例えば、入力ジェスチャーに対応する画面よりも１つ上位階層の画面へ遷移した場合に表示される（例えば、図１０に示すＳ４１０やＳ４１５の処理の後）。つまり、第２の入力方式による入力が行なわれた場合に表示される。第２の入力方式により入力は、一般に、所望の印刷設定に対応するジェスチャーをユーザが知らない場合が多い。そのため、このようなジェスチャーのプレビューが表示されることにより、ユーザは、ジェスチャーを容易に覚えることができる。

なお、階層画面操作によりスタンプ画面へ遷移した場合には、図３（ｂ）に示すスタンプ画面を表示すればよい。ユーザが、階層画面操作を行なっている場合には、対応するジェスチャーを知りたいと思っていないと推測できるためであり、余分な情報によるストレスを避ける。

（変形例３）
図７のＳ２０１において、ユーザが所望の印刷設定を選択し、図７のＳ２０５において、対応する画面へ遷移する間に、例えば、図１２（ｂ）に示すように、当該選択された印刷設定に対応するジェスチャーのプレビューを表示するようにしてもよい。これにより、ユーザは、ジェスチャーを容易に覚えることができる。

（変形例４）
なお、上述した説明では、第２の入力方式による入力が行なわれた場合には、入力ジェスチャーに対応する画面よりも１つ上位階層の画面を表示する場合を例に挙げて説明したが、これに限られない。例えば、画像形成装置１０の操作履歴に基づいて、遷移先の画面を動的に生成するようにしてもよい。例えば、入力ジェスチャーに対応する印刷設定に関連して使用される印刷設定を取り出し、それら印刷設定を並べた画面を動的に生成する。

例えば、「丸秘」の場合について考えてみる。「丸秘」とともに使用される印刷設定をＸとし、当該Ｘとともに使用される印刷設定をＹとする。この場合、Ｙを「丸秘」の代わりに使用される印刷設定とする。具体的には、操作履歴において、「２ｉｎ１」や「丸秘」を関連して使用した印刷設定の組み合わせや、「２ｉｎ１」や「コピー」を関連して使用した印刷設定の組み合わせが多数あったとする。この場合、「コピー」を「丸秘」に関連して使用される印刷設定とする。この結果、例えば、丸秘に関連して使用される印刷設定がコピーや社外秘であったとすると、画像形成装置１０は、「丸秘」、「コピー」、「社外秘」を含む操作画面を生成し、当該操作画面へ遷移する。

（変形例５）
ジェスチャー入力時の入力速度を用いて、第１の入力方式と第２の入力方式とを判定するようにしてもよい。入力速度と予め定めた値（例えば、平均値）とを比較して判定する。例えば、ジェスチャーの入力速度が予め定めた値よりも小さければ、第１の入力方式による入力と判定し、予め定めた値以上であれば、第２の入力方式による入力と判定する。この場合、画像形成装置１０には、領域管理部２２の代わりに、入力速度を計算する入力速度算出部が設けられる。

また、ジェスチャー入力時の表示画面上への押圧力を用いて、第１の入力方式と第２の入力方式とを判定するようにしてもよい。押圧力と予め定めた値（平均値）とを比較して判定する。例えば、ジェスチャーの押圧力が予め定めた値以上であれば、第１の入力方式による入力と判定し、予め定めた値よりも小さければ、第２の入力方式による入力と判定する。この場合、画像形成装置１０には、領域管理部２２の代わりに、押圧力を算出する押圧力算出部が設けられる。

以上が変形例についての説明である。なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 階層構造を成す複数の操作画面のうちの１つを表示画面上に表示する情報処理装置であって、
   指示体により指示された前記表示画面上の位置を検出する検出手段と、
   前記検出手段が検出した位置に基づく入力に対応する処理の内容を、予め辞書に格納された情報に基づいて認識する認識手段と、
   前記検出手段が検出した位置に基づく入力が、第１の入力領域における入力であるか、第２の入力領域における入力であるかを判定する判定手段と、
   前記判定手段により前記第１の入力領域における入力であると判定された場合、前記複数の操作画面のうち、前記認識手段により認識された処理の内容に対応する操作画面への遷移処理を実施し、前記判定手段により前記第２の入力領域における入力であると判定された場合、前記認識手段により認識された処理の内容に対応する操作画面の１つ上の層の操作画面への遷移処理を実施する実行手段と
   を具備することを特徴とする情報処理装置。
2. 前記認識手段は、予め前記辞書に格納された情報に基づいて、前記検出手段が検出した位置が形成する形状を特定し、
   前記判定手段は、前記特定された形状が、前記表示画面に表示された入力画面の第１の入力領域に形成されたか、前記入力画面の第２の入力領域に形成されたかに基づいて前記判定を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記辞書は、ジェスチャーの形状と当該形状に対応する処理の内容とを含むジェスチャー辞書であって、
   前記認識手段は、前記検出手段が連続して検出する複数の位置と、前記ジェスチャー辞書に格納されたジェスチャー形状とを比較した結果に基づき、前記検出手段が検出した位置が形成するジェスチャー形状に対応付けられた処理の内容を認識することを特徴とする請求項２に記載の情報処理装置。
4. 前記判定手段により前記第２の入力領域における入力であると判定された場合に遷移先となる前記操作画面には、
   入力可能な操作として、前記認識された処理の内容、および前記認識された処理と類似する内容に対応する画面への遷移の指示が含まれることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記判定手段により前記第２の入力領域における入力であると判定された場合に遷移さきとなる前記操作画面には、
   前記認識された処理の内容、および、前記認識された処理と類似する内容に対応する画面への遷移を指示するボタンが設けられることを特徴とする請求項４に記載の情報処理装置。
6. 前記ボタンのそれぞれには、対応する画面へ前記第１の入力方式による入力により遷移する際に用いられるジェスチャーの形状のプレビューが表示されることを特徴とする請求項５に記載の情報処理装置。
7. 前記表示画面に常時された入力画面に表示された矩形の内部を前記第１の入力領域、前記矩形の外部を前記第２の入力領域として管理する領域管理手段
   を更に具備することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記入力画面に表示される矩形とは、印刷の仕上がりイメージを表す用紙プレビュー領域を示すものであって、
   前記辞書は、
   前記処理の内容として印刷設定を規定し、
   前記実行手段は、
   前記判定手段により前記第１の入力領域における入力であると判定された場合、前記認識手段により認識された印刷設定を選択可能な画面への遷移処理を実施し、前記判定手段により前記第２の入力領域における入力であると判定された場合、前記認識手段により認識された印刷設定を選択可能な画面よりも上位階層の画面への遷移処理を実施する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記辞書には、
   前記ジェスチャーの形状と、当該形状と前記用紙プレビュー領域の位置関係と、当該形状に対応する印刷設定とが対応付けて規定されており、
   前記認識手段は、
   前記連続する複数の位置が前記用紙プレビュー領域の内側で検出された場合、当該連続する複数の位置が構成する形状と前記ジェスチャーの形状の比較結果と、当該連続する複数の位置と前記用紙プレビュー領域の位置関係とに基づいて、当該検出された位置に基づく入力に対応する印刷設定を認識する
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記辞書は、
    前記第２の入力領域における入力の開始を指示するジェスチャーの形状を含み、
    前記判定手段は、
    前記認識手段により前記連続する複数の位置が構成する形状が前記第２の入力領域における入力の開始を指示するジェスチャーの形状であると認識された場合、その次に検出される位置に基づく入力を前記第２の入力領域における入力であると判定する
    ことを特徴とする請求項３乃至９のいずれか１項に記載の情報処理装置。
11. 前記第２の入力領域における入力の開始を指示するジェスチャーの形状は、用紙の形状であり、
    前記辞書には、
    ジェスチャーの形状と、当該ジェスチャーの形状と前記用紙の形状が入力された領域との位置関係と、当該ジェスチャーの形状に対応する印刷設定とが対応付けて規定されており、
    前記認識手段は、
    前記用紙の形状の次に連続して入力される複数の位置と前記辞書に格納されたジェスチャーの形状の比較結果と、前記用紙の形状の次に連続して入力される複数の位置と前記用紙の形状が入力された領域の位置関係とに基づいて、当該入力に対応する印刷設定を認識する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記検出手段が、前記複数の入力位置を検出する速度を取得する速度取得手段
    を更に具備し、
    前記判定手段は、
    前記速度取得手段により取得された前記速度と予め定めた値との比較に基づいて前記第１の入力領域における入力であるか、前記第２の入力領域における入力であるかを判定する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記指示体により前記表示画面上が指示される際の表示画面上に対する押圧力を取得する押圧力取得手段
    を更に具備し、
    前記判定手段は、
    前記押圧力取得手段により取得された押圧力と予め定めた値との比較に基づいて前記第１の入力領域における入力であるか、前記第２の入力領域における入力であるかを判定する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
14. 階層構造を成す複数の操作画面のうちの１つを表示画面上に表示する情報処理装置の制御方法であって、
    検出手段が、指示体により指示された前記表示画面上の位置を検出する検出工程と、
    認識手段が、前記検出工程で検出した位置に基づく入力に対応する処理の内容を、予め辞書に格納された情報に基づいて認識する認識工程と、
    判定手段が、前記検出工程で検出した位置に基づく入力が、第１の入力領域における入力であるか、第２の入力領域における入力であるかを判定する判定工程と、
    実行手段が、前記判定工程により前記第１の入力領域における入力であると判定された場合、前記複数の操作画面のうち、前記認識工程により認識された処理の内容に対応する操作画面への遷移処理を実施し、前記判定工程により前記第２の入力領域における入力であると判定された場合、前記認識工程により認識された処理の内容に対応する操作画面の１つ上の層の操作画面への遷移処理を実施する実行工程と
    を具備することを特徴とする情報処理装置の制御方法。
15. コンピュータに読み込ませ実行させることで、前記コンピュータを、階層構造を成す複数の操作画面のうちの１つを表示画面上に表示する情報処理装置として機能させるためのプログラムであって、
    前記コンピュータを、
    指示体により指示された前記表示画面上の位置を検出する検出手段、
    前記検出手段が検出した位置に基づく入力に対応する処理の内容を、予め辞書に格納された情報に基づいて認識する認識手段、
    前記検出手段が検出した位置に基づく入力が、第１の入力領域における入力であるか、第２の入力領域における入力であるかを判定する判定手段、
    前記判定手段により前記第１の入力領域における入力であると判定された場合、前記複数の操作画面のうち、前記認識手段により認識された処理の内容に対応する操作画面への遷移処理を実施し、前記判定手段により前記第２の入力領域における入力であると判定された場合、前記認識手段により認識された処理の内容に対応する操作画面の１つ上の層の操作画面への遷移処理を実施する実行手段
    として機能させるためのプログラム。

Images