JP2014071514A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】操作しようとする画面がジェスチャー操作可能か否かをユーザが容易に認知することができる技術を提供する。
【解決手段】操作画面がジェスチャー操作による入力を受け付けるか否かに係る画面情報を取得する取得手段と、操作画面に適用可能な複数の画面構成パターンごとに対応付けられた画面情報から、前記取得手段により取得された画面情報と合致する画面情報を検索する検索手段と、前記検索手段により検索された画面情報に基づいて操作画面に適用する画面構成パターンを決定する決定手段と、前記決定手段により決定された画面構成パターンが定義する画面要素の表示ルールを操作画面の表示画面に適用する適用手段と、を有することによって課題を解決する。
【選択図】図１０

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、複合機（以下、ＭＦＰ）の操作部に設定項目やサムネール画像やリスト等の一覧画面を表示する際、一画面に収まりきらない項目があれば、ユーザがページめくりボタンやスクロールボタン等を押下することにより、表示しきれなかった項目を表示していた。これに対し、近年の携帯機器では、一覧を表示する一覧画面でもスライド操作（以下、ジェスチャー操作という）を可能にするものが出てきている。このジェスチャー操作とは、操作画面において一覧画面を、あたかも物理的な存在のように表現することでユーザの直感に即した操作性を実現するものである。より具体的には、ユーザは、一覧画面を紙のような物理媒体に見立て、指でタッチして表示を移動させ、所望の位置まで移動させたところで指を離すという操作を行う。
ところで、携帯機器を用いてデータのやり取りをする機能等は、明らかに携帯機器に慣れたユーザが使用することが想定できるので、上記のような携帯機器で一般的なジェスチャー操作を実現することが、使用者の利益につながる。
しかし、ＭＦＰは主に事務機器としてオフィスで使用される機器であるため、近年の携帯機器を所有していないジェスチャー操作に不慣れな使用者等も対象にしなければならない。それは以下の理由による。
１）購買意思決定者と、使用者とが一致しない
２）使用者が複数人であり、各人の装置に対する理解が様々である
そのため、ＭＦＰでは、全ての一覧画面で上記のジェスチャー操作を受け付けるようにすると、携帯機器に不慣れなユーザに対して不利益が生じる。
したがって、ＭＦＰにおいては、携帯機器に慣れたユーザ用の画面と、不慣れなユーザ用の画面とで、ジェスチャー操作をするか否かを取捨選択することになる。これは、一つのＭＦＰが異なる二つの操作機能を有することを意味する。そのため、両方の機能を使用する使用者にとっては、どの画面でどちらの操作機能が使用可能なのかが変わるため、大変不便になるという問題が発生する。
特許文献１には、操作が分からないユーザに対して、使用可能な操作を操作段階に応じて明示してガイドする技術が開示されている。

特開平５−１２２８６号公報

上記の例で発生する課題を以下で説明する。
例えば、ユーザがジェスチャー操作できる画面だと思っているケースで、実際にはジェスチャー操作できない画面を操作すると、ジェスチャー操作では操作できないため、結局、ユーザはジェスチャー操作しなくなってしまうという問題が起きる。
逆に、ユーザがジェスチャー操作できる画面だと思っていないケースで、実際にはジェスチャー操作できる画面を操作しても、ジェスチャー操作を行わないため、こちらのケースでも結局はジェスチャー操作しないという問題が起きる。
本発明は、操作しようとする画面がジェスチャー操作可能か否かをユーザが容易に認知することができる技術を提供することを目的とする。

そこで、本発明は、操作画面がジェスチャー操作による入力を受け付けるか否かに係る画面情報を取得する取得手段と、操作画面に適用可能な複数の画面構成パターンごとに対応付けられた画面情報から、前記取得手段により取得された画面情報と合致する画面情報を検索する検索手段と、前記検索手段により検索された画面情報に基づいて操作画面に適用する画面構成パターンを決定する決定手段と、前記決定手段により決定された画面構成パターンが定義する画面要素の表示ルールを操作画面の表示画面に適用する適用手段と、を有する。

本発明によれば、操作しようとする画面がジェスチャー操作可能か否かをユーザが容易に認知することができる。

画像形成装置のハードウェア構成の一例を示す図である。 画像形成装置の操作部の外観の一例を示す図である。 実施形態１におけるプレビュー画面の一例を示す図である。 実施形態１におけるプレビュー画面の一例を示す図である。 画像形成装置のソフトウェア構成の一例を示す図である。 実施形態１におけるフリック操作によるスライド動作の速度カーブの一例を示す図である。 実施形態１におけるスライド動作モジュールの処理の一例を示すフローチャートである。 実施形態１における文書管理データの一例を示す図である。 実施形態１におけるフリック操作によるスライド動作の一例を示す図である。 実施形態１におけるジョブリストデータの一例を示す図である。 実施形態１における画面構成パターンの一例を示す図である。 実施形態１における操作画面の表示に係る処理の一例を示すフローチャートである。 実施形態１におけるジョブリスト画面の一例を示す図である。 実施形態１におけるジョブリスト画面の一例を示す図である。 実施形態１におけるジョブリスト画面の一例を示す図である。 実施形態１におけるジョブリスト画面の一例を示す図である。 実施形態１におけるプレビュー画面の一例を示す図である。 実施形態１におけるプレビュー画面の一例を示す図である。 実施形態２における画面構成パターンの一例を示す図である。 実施形態２におけるジョブリスト画面の一例を示す図である。 実施形態２におけるジョブリスト画面の一例を示す図である。 実施形態２におけるジョブリスト画面の一例を示す図である。 実施形態２におけるプレビュー画面の一例を示す図である。 実施形態２におけるプレビュー画面の一例を示す図である。 実施形態３における警告ポップアップが表示されている画面の一例を示す図である。

以下、本発明の実施形態について図面に基づき説明する。なお、以下の実施形態では、ＭＦＰを例にして説明する。

＜実施形態１＞
図１は、ＭＦＰ１００のハードウェア構成の一例を示す図である。なお、ＭＦＰ１００は、画像形成装置の一例である。
制御部１は、ＭＦＰ１００の各ユニットの動作を制御する。制御部１は、ＣＰＵ１０と、ＬＡＮ１１と、通信ユニット１２と、ＲＡＭ１３と、ＨＤＤ１４と、ＲＯＭ１５と、タイマ１６とを有する。
ＣＰＵ１０は、ＨＤＤ１４に格納されているプログラムに基づいて処理を実行することにより、後述するＭＦＰ１００の各部の機能（ソフトウェアの機能）及びフローチャートに係る処理を実現する。
ＬＡＮ１１は、ＭＦＰ１００と、外部装置等との間でデータの送受信を行うためのネットワークである。ＭＦＰ１００は、ＬＡＮ１１介してインターネット等に接続される。
通信ユニット１２は、ＬＡＮ１１を介して外部装置等とデータの送受信を行う。
ＲＡＭ１３は、主にＣＰＵ１０が動作するためのシステムワークメモリ等として機能する。
ＨＤＤ１４は、文書データや設定データ等を格納するハードディスクドライブである。なお、ＨＤＤ１４は、磁気ディスク、光学メディア、フラッシュメモリ等の他の記憶媒体等であってもよい。また、ＨＤＤ１４は、ＭＦＰ１００の必須の構成要素ではない。ＭＦＰ１００は、通信ユニット１２を介して外部のサーバやＰＣ等の外部装置を保存装置としてもよい。
ＲＯＭ１５は、ブートＲＯＭでありシステムのブートプログラムを格納している。
タイマ１６は、ＣＰＵ１０の指示に従って時間の経時に係るデータの取得を行い、指示された時間が経過すると割り込み等によりＣＰＵ１０に通知する。
操作部２０は、表示部２１と、入力部２２とを有し、制御部１により制御される。
表示部２１は、ユーザにＭＦＰ１００の情報を表示するディスプレイ等である。
入力部２２は、例えばタッチパネル、マウス、カメラ、音声入力、キーボード等のインターフェースを介してユーザからの入力を受け付ける。
画像処理部３０は、画像解析部３１と、画像生成部３２と、画像出力部３３とを有し、制御部１により制御される。
画像解析部３１は、原稿画像の構造を解析し、解析結果から必要な情報を抽出する。
画像生成部３２は、例えばスキャン等により原稿を読み取ることで、その原稿の画像をデジタル化し、生成した画像データをＨＤＤ１４に格納する。また、画像生成部３２は、画像解析部３１が解析した情報を用いて、別のフォーマットで画像データを生成することもできる。
画像出力部３３は、ＨＤＤ１４等に格納されている画像データを出力する。例えば、画像出力部３３は、画像データを用紙に印刷したり、通信ユニット１２を介してネットワーク接続されている外部デバイス、サーバ、ファクシミリ装置等に送信したり、ＭＦＰ１００に接続されている記憶媒体に保存したりすること等ができる。

図２は、操作部２０の外観図の一例を示す図である。
表示部２１は、液晶表示部であり、液晶画面上にタッチパネルシートが貼られている。表示部２１は、操作画面及びソフトキーを表示すると共に、表示しているキーがユーザにより押下されると、その押下された位置情報をＣＰＵ１０に通知する。したがって、この場合の表示部２１は、入力部２２としても機能していることになる。
以下、ユーザにより操作される各種キー及びボタンについて説明する。
スタートキー２０１は、ユーザが原稿の読み取り動作の開始をＭＦＰ１００に指示する場合等に操作される。また、スタートキー２０１は、中央部に緑と、赤との２色のＬＥＤ２０２を有し、その色によってスタートキー２０１が使える状態にあるか否かを示す。
ストップキー２０３は、ユーザが稼働中の動作の停止をＭＦＰ１００に指示する場合に操作される。
テンキー２０４は、数字と、文字とのボタンを有しており、ユーザがＭＦＰ１００にコピー部数の設定や、表示部２１の画面切り替え等を指示する場合に操作される。
ユーザモードキー２０５は、ユーザが機器の設定を行う場合に操作される。
ダイヤル２０６と、トラックボール２０７とは共に、後述するスライド動作の制御に係る入力操作に用いられる。

以下、本実施形態におけるプレビュー機能について説明する。
本実施形態において、プレビュー機能（以下、プレビューという）とは、ＣＰＵ１０がＨＤＤ１４に保存された画像データを表示部２１に表示する機能である。また、画像解析部３１は、上述した通り原稿画像の構造を解析し、解析結果から必要な情報を抽出する等して原稿画像を情報化する。画像生成部３２は、画像解析部３１により解析された情報を用いて、表示部２１に表示するのに適したフォーマットで画像データを生成する。以下、画像生成部３２で生成される表示部２１に表示するのに適した画像データをプレビュー画像と呼ぶ。また、原稿画像は１以上のページを含み、ページ毎にプレビュー画像が生成されるものとする。

ＭＦＰ１００は、１以上の方法により原稿の画像データをＨＤＤ１４に保存することができる。また、ＭＦＰ１００は、画像生成部３２を介してスキャナ、即ち原稿台やＡＤＦ（自動原稿給紙装置）に置かれた原稿を読み取りデジタル化することで、その原稿の画像データを生成できる。また、ＭＦＰ１００は、通信ユニット１２を介してネットワーク上の任意のサーバとの間で画像データの複製や移動を行うことができる。更に、ＭＦＰ１００は、可搬メディア等の記憶媒体を実装することができ、その記憶媒体からＨＤＤ１４へ画像データを複製したり移動を行ったりすることができる。

図３Ａは、本実施形態におけるＭＦＰ１００の表示部２１に表示されるプレビュー画面３０１の一例を示す図である。
本実施形態のプレビュー画面３０１は、プレビュー画像３０６を表示するための画面である。プレビュー画面３０１は、プレビュー表示領域３０２と、ページスクロールボタン３０３と、拡大／縮小ボタン３０４と、表示領域移動ボタン３０５と、閉じるボタン３０７と、一覧表示更新ボタン３０８とを含む。
プレビュー表示領域３０２は、一度に複数ページのプレビュー画像を表示するようにしてもよい。図３Ａの一例では、プレビュー表示領域３０２は、プレビュー画像３０６を１ページのみ表示している。但し、プレビュー表示領域３０２は、次のページと前のページとのプレビュー画像が存在することを示すために、両端に前後のページのプレビュー画像の一部（３１２、３１４）を表示している。
ページスクロールボタン３０３は、次のページや前のページのプレビュー画像が存在する場合に、プレビュー表示領域３０２に表示するプレビュー画像を、ユーザが指示する方向のページに変更するための制御ボタンである。
拡大／縮小ボタン３０４は、プレビュー表示領域３０２に表示するプレビュー画像の表示倍率を変更するための制御ボタンである。ユーザは、拡大／縮小ボタン３０４を押下することにより、プレビュー画像３０６を任意の倍率に変更することを指示することができる。なお、表示倍率は１以上の段階で区切られている。
表示領域移動ボタン３０５は、プレビュー表示領域３０２に表示されるプレビュー画像３０６の表示位置を変更するための制御ボタンである。ユーザが拡大／縮小ボタン３０４を押下することによりプレビュー画像３０６の表示倍率を大きくした場合、プレビュー表示領域３０２にプレビュー表示領域３０２の一部しか表示されなくなることがある。プレビュー表示領域３０２にプレビュー表示領域３０２の全体が表示されていない場合、ユーザは、表示領域移動ボタン３０５を押下することにより、プレビュー画像３０６の任意の位置をプレビュー表示領域３０２に表示させることができる。
閉じるボタン３０７は、プレビュー画面３０１を閉じて別の画面に遷移させ、プレビュー機能を終了させるための制御ボタンである。
一覧表示更新ボタン３０８は、再度表示情報を取得してプレビュー表示領域３０２の表示を最新のものに更新するためのボタンである。

また、図３Ａは、プレビュー画面３０１を例にして、ユーザがジェスチャー操作により一覧表示の各ページの変更を制御する様子の一例を示している。なお、一覧表示とは、ジェスチャー操作によりプレビュー表示領域３０２に表示されるプレビュー画像の一覧画面のことである。なお、一覧表示は、図３Ａに示されるプレビュー表示によるものだけでなく、後述の図８に示されるリスト表示による一覧表示等もある。
入力部２２は、ユーザのジェスチャー操作を受け付けるために、ユーザが画面にタッチすることで入力ポインタを動かすと、その入力ポインタの軌跡を記憶する。より具体的には、入力部２２は、表示部２１に表示される入力ポインタの座標を取得できる。また、入力部２２は、表示部２１に表示された入力ポインタの座標を一定間隔で取得することにより、離散的な入力ポインタの座標を取得できる。また、入力部２２は、取得した入力ポインタの座標をＲＡＭ１３に記憶させる。また、入力部２２は、ＲＡＭ１３に記憶させた一定期間内の座標をベクトル化することにより、入力ポインタの軌跡を得る事ができる。更に、入力部２２は、予め定められたジェスチャー操作と入力ポインタの軌跡とが一致しているか否か判定し、一致している場合、ジェスチャー操作として受け付けることができる。
また、ジェスチャー操作には、一般的にタップ、ダブルタップ、ドラッグ、フリック、ピンチと呼ばれるジェスチャー操作がある。タップは、指で軽くたたく操作であり、マウスのクリックに相当する。ダブルタップは、タップを連続して２回行う操作であり、マウスのダブルクリックに相当する。ドラッグは、タップしながら指をずらす操作である。フリックは、ドラッグに近いが、移動速度を持ったまま指を離す操作である。ピンチは、２本指でつまむ操作の総称である。ピンチの中でも、２本指の間を広げる操作はピンチアウト、２本指の間を縮める操作はピンチインと呼ばれている。
また、図３Ａは、ユーザがページスクロールボタン３０３を押下する代わりにフリック操作によってページの変更を制御する様子の一例を示している。なお、図３Ａの一例における予め定められたジェスチャー操作は、左右方向である。また、図３Ａは、ユーザが３０９で示される位置でタップし、矢印３１１で示されるように右方向へドラッグしながら、３１０で示される位置で速度を保ったまま指を離す操作を行うことにより、右方向へのフリック操作を行っている一例を示している。ユーザの右方向へのフリック操作により、ＣＰＵ１０は、前のページに相当するプレビュー画像３１２をスライドさせて表示できる。また、ユーザが逆方向、即ち左方向にフリック操作をすることにより、ＣＰＵ１０は、次のページに相当するプレビュー画像３１４をスライドさせて表示できる。
図３Ｂは、本実施形態におけるＭＦＰ１００の表示部２１に表示されるプレビュー画面３２１の一例を示す図である。図３Ａとの差異は、プレビュー表示領域３０２の両端にプレビュー画像の一部（３１２、３１４）を表示していないことである。ＣＰＵ１０は、プレビュー表示領域３０２の両端にプレビュー画像の一部を表示してもよいし、表示しなくてもよい。

図４は、ＭＦＰ１００のソフトウェア構成の一例を示す図である。
一覧表示モジュール４０１は、ＣＰＵ１０がプレビュー表示領域３０２に一覧表示を表示すると起動するモジュールである。一覧表示モジュール４０１の動作の詳細は、後述する。
スライド動作モジュール４０２は、ユーザのフリック操作等により、ＣＰＵ１０がプレビュー画像に係る一覧表示をスライド表示すると判定すると起動するモジュールである。スライド動作モジュール４０２の動作フローは、図６を用いて後述する。
ジョブリスト管理モジュール４０３、文書リスト管理モジュール４０４及びアドレス帳管理モジュール４０５は、常駐モジュールであり、ＭＦＰ１００の起動後に起動する。ジョブリスト管理モジュール４０３、文書リスト管理モジュール４０４及びアドレス帳管理モジュール４０５は、各々ジョブリストデータ４０６、文書管理データ４０７及びアドレス帳データ４０８を参照することができる。

次に各モジュールの協調動作について説明する。
一覧表示モジュール４０１は、ジョブリスト管理モジュール４０３、文書リスト管理モジュール４０４及びアドレス帳管理モジュール４０５から表示データを取得するため、ＤａｔａＲｅｑ（データ要求）を発行する。
ジョブリスト管理モジュール４０３、文書リスト管理モジュール４０４及びアドレス帳管理モジュール４０５は、一覧表示モジュール４０１からＤａｔａＲｅｑを受け取ると、各々が管理する一覧項目データからデータを読み出す。更に、ジョブリスト管理モジュール４０３、文書リスト管理モジュール４０４及びアドレス帳管理モジュール４０５は、各々が管理する一覧項目データから読み出したデータを一覧表示モジュール４０１に通知する。なお、ジョブリスト管理モジュール４０３が管理している一覧項目データは、ジョブリストデータ４０６である。文書リスト管理モジュール４０４が管理している一覧項目データは、文書管理データ４０７である。アドレス帳管理モジュール４０５が管理している一覧項目データは、アドレス帳データ４０８である。
一覧表示モジュール４０１は、ジョブリスト管理モジュール４０３、文書リスト管理モジュール４０４及びアドレス帳管理モジュール４０５から受け取ったデータを表示データキャッシュ４１３に保持させる。
一覧表示モジュール４０１は、ユーザのジェスチャー操作によるスライド動作制御のためにスライド動作モジュール４０２により更新されるスライド継続時間ｔ（４０９）及びスライド速度Ｖ＝（Ｖｓ−Ｆ（ｔ））（４１０）を参照する。ここで、スライド継続時間ｔ（４０９）とは、図５に示されるようにスライド動作開始からの経過時間のことである。
スライド動作モジュール４０２は、初期速度Ｖｓ（４１１）及び通常減速式ｆ（ｘ）（４１２）を参照し、スライド継続時間ｔ（４０９）及びスライド速度（Ｖｓ−Ｆ（ｔ））（４１０）を更新する。なお、スライド速度（Ｖｓ−Ｆ（ｔ））（４１０）、初期速度Ｖｓ（４１１）、スライド速度（Ｖｓ−Ｆ（ｔ））（４１０）及び減速式Ｆ（ｘ）（４１２）の詳細については後述する。

図５、図６を用いて、ユーザのフリック操作によるスライド動作について説明する。
なお、フリック操作は、ジェスチャー操作の一例である。
図５は、ユーザのフリック操作によるスライド動作を、通常減速式ｆ（ｘ）（４１２）を用いて表した速度カーブの一例を示す図である。ここで、通常減速式ｆ（ｘ）とは、ｆ（０）＝０、ｆ（Ｔｅ）＝Ｖｓ、ｔ≧０、ｆ（ｔ）≧０及びｄｆ（ｔ）／ｄｔ＞０を満たす関数であり、スライド動作を停止させるための仮想的な摩擦を表現している。
ユーザによるタップ開始時刻は、ｔ＝Ｔｂ（５０１）である。その後、ユーザは、ドラッグ操作によりスライド速度Ｖを初期速度Ｖｓ（５０３）まで上げて、時刻ｔ＝０（５０２）で指を離す（フリック操作）。
ここで、スライド速度Ｖは、ユーザによるドラッグ操作（フリック操作含む）の速度の左右方向の成分のみを表している。また、初期速度Ｖｓ（５０３）とは、ユーザが時刻ｔ＝０（５０２）で指を離した時点のスライド速度Ｖのことである。また、時刻ｔ＝Ｔｂ（５０１）から時刻ｔ＝０（５０２）までのスライド速度Ｖは、ユーザのドラッグ操作の速度に従うため、図５に示されているような単純増加する曲線になるとは限らない。
ＣＰＵ１０は、ユーザによるフリック操作が行われたことを検知すると、スライド動作モジュール４０２を起動する。
図６は、スライド動作モジュール４０２の処理の一例を示すフローチャートである。
以下の処理は、ＣＰＵ１０がユーザのフリック操作によるスライド動作の開始を検知することにより開始される。
Ｓ６０１で、ＣＰＵ１０は、現在表示中のページ情報をＲＡＭ１３等から取得し、処理をＳ６０２に進める。
Ｓ６０２で、ＣＰＵ１０は、ユーザが時刻ｔ＝０（５０２）で指を離した時点の速度である初期速度Ｖｓ（５０３）をＲＡＭ１３等から取得し、処理をＳ６０３に進める。
Ｓ６０３で、ＣＰＵ１０は、タイマ１６の現時刻をｔ＝０とし、アップカウントでタイマ１６による計時をスタートさせ、処理をＳ６０４に進める。
Ｓ６０４で、ＣＰＵ１０は、減速式Ｆ（ｔ）として、通常減速式ｆ（ｘ）（４１２）をロードし（Ｆ≡ｆ）、処理をＳ６０５に進める。なお、通常減速式ｆ（ｘ）（４１２）は、減速式Ｆ（ｔ）の一例である。
Ｓ６０５で、ＣＰＵ１０は、タイマ１６からスライド動作開始後からの経過時間（ｔ）を取得し、処理をＳ６０６に進める。
Ｓ６０６で、ＣＰＵ１０は、減速式Ｆ（ｔ）として通常減速式ｆ（ｔ）を用いてスライド速度Ｖ（ｔ）＝（Ｖｓ−Ｆ（ｔ））（４１０）を求め、処理をＳ６０７に進める。
Ｓ６０７で、ＣＰＵ１０は、スライド速度（Ｖｓ−Ｆ（ｔ））（４１０）が０より大きいか否かを判定し、Ｖｓ−Ｆ（ｔ）＝０と判定した場合、処理をＳ６０８に進める。なお、Ｖｓ−Ｆ（ｔ）＝０の状態は、図５に示されるｔ＝Ｔｅ（５０４）の状態に相当する。
Ｓ６０８で、ＣＰＵ１０は、スライド動作を終了させる。
一方、Ｓ６０７で、ＣＰＵ１０は、Ｖｓ−Ｆ（ｔ）＞０と判定した場合、処理をＳ６０９に進める。
Ｓ６０９で、ＣＰＵ１０は、スライド速度Ｖ（ｔ）の分だけ一覧表示の表示項目をスライドさせ、処理をＳ６１０に進める。
Ｓ６１０で、ＣＰＵ１０は、Ｓ６０９でのスライド動作の結果、表示ページが現在表示しているページを超えたか否かを判定し、超えていると判定した場合、処理をＳ６１１に進め、超えていないと判定した場合、処理をＳ６０５に進める。
Ｓ６１１で、ＣＰＵ１０は、表示ページを更新して、処理をＳ６０５に進める。なお、表示ページの更新に係る動作の説明は後述する。
以上の処理により、ＣＰＵ１０は、ユーザのフリック操作によるスライド動作において、仮想的な摩擦によりスライド速度を減速させながら一覧表示の表示項目をスライドさせて表示することができる。

図７は、文書管理データ４０７の一例を示す図である。
ここで、文書管理データ４０７における表示ページについて説明する。
図３Ａに示される状態において、プレビュー画像３０６に相当する文書の情報が、図７
に示される文書管理データ４０７のＵＵＩＤ「０００００３」であるとすると、表示ページが「０００００３」であることを意味する。
この場合、ＣＰＵ１０は、Ｓ６１０で表示ページが「０００００３」の前ページのプレビュー画像３１２になると判定した場合、Ｓ６１１で表示ページを「０００００２」に更新する。一方、仮にユーザが矢印３１１と逆の左方向にスライドさせ、ＣＰＵ１０がＳ６１０で表示ページが「０００００３」の次のプレビュー画像３１４になると判定した場合、ＣＰＵ１０は、Ｓ６１１で表示ページを「０００００４」に更新する。

図８は、ジョブリストに対するフリック操作によるスライド動作の一例を示す図である。
ジョブリスト画面８００は、ジョブリスト表示部８０１、リストスクロールボタン８０２、画面を閉じるボタン８０３、一覧表示更新ボタン８０４及びタイトル行８０９を含む。なお、図８に示される一例において予め定められたジェスチャー操作は、上下方向である。
図８は、ユーザが８０５で示される位置でタップし、矢印８０７で示される下方向へドラッグしながら、８０６で示される位置で速度を保ったまま指を離す操作を行うことで下方向へのフリック操作を行っている動作の一例を示している。この場合、上側のリストが下側にスライドして表示される。一方、ユーザが、逆方向（上方向）にフリック操作をした場合、下側のリストが上側にスライドして表示される。
リストの表示ページは、リスト画面に表示している先頭のリストで表現する。つまり、図８のジョブリスト表示部８０１に表示されているジョブリストデータ４０６が図９に示されるデータであるとすれば、現在先頭に表示されているのは「ｊｏｂ３：ｕｓｅｒ１」のデータであるため、表示ページは「０００３」となる。
そして、ユーザによる下方向のフリック操作により、「ｊｏｂ３：ｕｓｅｒ１」が下方向にスライドし、その上の行を表示しなければならなくなると、ＣＰＵ１０は、Ｓ６１０で、表示ページを超えると判定する。この場合、ＣＰＵ１０は、図９のデータに基づいて、表示ページを前ページの「０００２」に更新する。一方、ユーザによる逆向き（上向き）のフリック操作により上方向にスライドしている場合、「ｊｏｂ３：ｕｓｅｒ１」の表示ができなくなると、ＣＰＵ１０は、Ｓ６１０で、表示ページを超えると判定する。この場合、ＣＰＵ１０は、図９のデータに基づいて、表示ページを次ページの「０００４」に更新する。
なお、図３Ａに示されるプレビュー表示における一覧表示であろうと、図８に示される文字列のリスト表示の一覧表示であろうと、フリック操作に対する挙動は基本的に変わらない。即ち、どちらも、ユーザが指を離した時点の初速から次第に減速していき最終的に止まるという図５に示される速度変化に従う。

図１０は、本実施形態における画面構成パターンの一例を示す図である。本実施形態における操作画面は、複数の画面構成パターンが適用可能な操作画面の一例である。
ここで、画面構成パターンとは、そのパターンを適用する「適用条件」と、画面を構成する要素毎のルールである「画面要素ルール」とをひとまとめにしたものを言う。なお、適用条件は、操作画面がフリック操作可能であるか否かの情報と、操作画面上にアイコンやメッセージを表示するためのタイトル行（表示欄）があるか否かの情報とを含む画面情報である。また、画面要素ルールは、「何を」と、「どこに表示するか」との２点を含む画面要素（アイコン、テキスト、ゴースト等）の表示ルールである。本実施形態では、ＲＡＭ１３は、図１０に示されるような画面構成パターンと、適用条件と、画面要素ルールとが対応付けられたデータテーブルを格納しているものとする。ただし、記憶媒体はＲＡＭ１３に限らず、他の記憶媒体であってもよい。
ＣＰＵ１０は、表示部２１（ディスプレイ等）に現在表示されている画面の適用条件をＲＡＭ１３に保持している。ＣＰＵ１０は、ＲＡＭ１３から現在表示されている画面の適用条件を取得すると、取得した適用条件と合致する適用条件を図１０に示されるデータテーブルから検索する。ＣＰＵ１０は、検索した適用条件に対応する画面構成パターンをデータテーブルに基づいて決定すると、画面構成パターンが定義する画面要素ルールを表示画面に適用する。
図１１は、本実施形態における操作画面の表示に係る処理の一例を示すフローチャートである。
Ｓ１１０１で、ＣＰＵ１０は、表示部２１に現在表示されている画面の適用条件をＲＡＭ１３から取得し、処理をＳ１１０２に進める。
Ｓ１１０２で、ＣＰＵ１０は、Ｓ１１０１で取得した適用条件と合致する適用条件を図１０のデータテーブルから検索し、処理をＳ１１０３に進める。
Ｓ１１０３で、ＣＰＵ１０は、Ｓ１１０２で検索した適用条件に対応する画面構成パターンを決定し、処理をＳ１１０４に進める。
Ｓ１１０４で、ＣＰＵ１０は、Ｓ１１０３で決定した画面構成パターンが定義する画面要素ルールを表示画面に適用し、処理を終了する。
画面構成パターンについて、以下に詳述する。
図１０に示される一例では、４つの画面構成パターンが定義されている。
「タッチ・タイトルあり画面構成パターン」は、フリック操作ができない画面であって、かつ、タイトル行がある画面に対して適用するパターンである。本パターンにおける画面要素ルールは、以下のとおりである。
ＣＰＵ１０は、アイコン１００１をタイトル行に表示する。
ＣＰＵ１０は、テキスト１００２「"フリックできません"」をタイトル行に表示する。
ＣＰＵ１０は、ゴーストの使用を規定しない（以降、図１０では、Ｄｏｎ'ｔ Ｃａｒｅと記載されている）。
なお、ゴーストとは、ＣＰＵ１０により実際の画面に一時的に表示され、その後非表示にされる画面要素のことである。詳細は後述する。
「タッチ・タイトルなし画面構成パターン」は、フリック操作ができない画面であって、かつ、タイトル行がない画面に対して適用するパターンである。本パターンにおける画面要素ルールは、以下のとおりである。
ＣＰＵ１０は、アイコンを表示しない。
ＣＰＵ１０は、テキストを表示しない。
ＣＰＵ１０は、ゴースト１００３を操作対象要素にオーバーラップするように表示する。
「フリック・タイトルあり画面構成パターン」は、フリック操作ができる画面であって、かつ、タイトル行がある画面に対して適用するパターンである。本パターンにおける画面要素ルールは、以下のとおりである。
ＣＰＵ１０は、アイコン１００４をタイトル行に表示する。
ＣＰＵ１０は、テキスト１００５「"フリックできます"」をタイトル行に表示する。
ＣＰＵ１０、ゴーストの使用を規定しない。
「フリック・タイトルなし画面構成パターン」は、フリック操作ができる画面であって、かつ、タイトル行がない画面に対して適用するパターンである。本パターンにおける画面要素ルールは、以下のとおりである。
ＣＰＵ１０は、アイコンを表示しない。
ＣＰＵ１０は、テキストを表示しない。
ＣＰＵ１０は、ゴースト１００６を操作対象要素にオーバーラップするように表示する。
このように可能な操作そのものをメッセージや模式的にあらわしたアイコン又はゴースト等で示すことを明示的アフォーダンスと呼ぶ。
図１０では、画面構成パターンを定めるために必要な画面要素のみを示しているが、ユーザは、操作部２０等を介して他の画面要素（リスト表示等）も必要に応じて設定することができる。

以下、図１０の画面構成パターンを図８のジョブリスト画面８００に適用した場合について説明する。
まず、ユーザがフリック操作をできない場合、ジョブリスト画面８００にはタイトル行８０９があるため、ＣＰＵ１０がジョブリスト画面８００に適用すべき画面構成パターンは、「タッチ・タイトルあり画面構成パターン」となる。したがって、ＣＰＵ１０は、アイコン１００１と、テキスト１００２とをタイトル行８０９に表示し、図１２Ａのジョブリスト画面１２００を得る。
一方、ユーザがフリック操作をできる場合、ＣＰＵ１０がジョブリスト画面８００に適用すべき画面構成パターンは、「フリック・タイトルあり画面構成パターン」となる。したがって、ＣＰＵ１０は、アイコン１００４と、テキスト１００５とをタイトル行８０９に表示し、図１２Ｂのジョブリスト画面１２０１を得る。
次に、仮に図８のジョブリスト表示部８０１を６行ではなく、１０行に仕様変更した場合、タイトル行８０９は表示できなくなる。この場合において、ユーザがフリック操作をできない場合、ＣＰＵ１０がジョブリスト画面８００に適用すべき画面構成パターンは、「タッチ・タイトルなし画面構成パターン」となる。「タッチ・タイトルなし画面構成パターン」では、ＣＰＵ１０は、操作対象要素にオーバーラップするようにゴースト１００３を表示する。ここで、ジョブリスト画面８００のタッチ操作対象要素は、リストスクロールボタン８０２である。したがって、ＣＰＵ１０は、「タッチ・タイトルなし画面構成パターン」をジョブリスト画面８００に適用した場合、図１３Ａのジョブリスト画面１３００を得る。ジョブリスト画面１３００では、ゴースト１００３は、リストスクロールボタン８０２をタッチするように動いて、消える。
一方、ユーザがフリック操作をできる場合、ＣＰＵ１０がジョブリスト画面８００に適用すべき画面構成パターンは、「フリック・タイトルなし画面構成パターン」となる。ここで、ジョブリスト画面８００のフリック操作対象要素は、ジョブリスト表示部８０１である。したがって、ＣＰＵ１０が「フリック・タイトルなし画面構成パターン」をジョブリスト画面８００に適用した場合、ＣＰＵ１０は、図１３Ｂのジョブリスト画面１３０１を得る。ジョブリスト画面１３０１では、ゴースト１００６は、ジョブリスト表示部８０１をフリックするように動いて、消える。詳述すると、ゴースト１００６は、指のイメージが位置１３０３から、位置１３０４まで移動し、それにより、ジョブリスト表示部８０１がスクロール動作すると共に、フリックの効果を矢印１３０５で示すものである。
なお、ＣＰＵ１０は、ゴーストを画面表示時に表示させたり、一定周期で表示させたりすることができる。更に、ＣＰＵ１０は、ゴーストを単なる画像として表示させたり、アニメーション効果を持たせて表示させたりもできる。また、ＣＰＵ１０は、透過度を有するゴーストを表示させることもできる。また、ユーザは、このような表示タイミングを画面構成パターンに画面要素ルールとして定義することもできる。この様な場合、ＣＰＵ１０は、ユーザによって設定された表示タイミングに基づき、ゴーストを表示制御する。なお、ここでは操作を表す表現としたが、例えばその操作対象が動かないことを表す場合、ＣＰＵ１０は、鍵のイメージを表示するようにしてもよい。
上述したようにＣＰＵ１０は、これらの画面構成パターンの各項目を、必要に応じて取捨選択、又は組み合わせて表示を制御することができる。
図１４Ａ、図１４Ｂは、図１０の画面構成パターンを図３Ａのプレビュー画面３０１に適用した場合のプレビュー画面の一例を示す図である。ユーザがジェスチャー操作をできない場合で「タッチ・タイトルあり画面構成パターン」をプレビュー画面３０１に適用した例が、図１４Ａのプレビュー画面１４００である。一方、ユーザがジェスチャー操作をできる場合で「フリック・タイトルなし画面構成パターン」をプレビュー画面３０１に適用した例が、図１４Ｂのプレビュー画面１４０１である。

以上、ＣＰＵ１０が画面構成パターンに係るルールに基づいて操作画面の表示を制御することにより、ユーザは、装置全体に係る操作性について矛盾なく認知できるようになる。この明示的アフォーダンスによれば、ユーザは、操作しようとする画面がジェスチャー操作可能か否かを容易に認知することができるため、操作方法の学習を無駄なく行えるようになる。

＜実施形態２＞
本実施形態におけるＭＦＰ１００のハードウェア構成及びソフトウェア構成は、実施形態１と同様であり、画面構成パターンが実施形態１と異なる。
以下、実施形態１と共通の部分は説明を省略し、異なる部分を説明する。
図１５は、本実施形態における画面構成パターンの一例を示す図である。
本実施形態は、明示的アフォーダンスを使用せず、画面構成のみでフリック操作の可不可をユーザに認知させるものである。なお、これを暗示的アフォーダンスと呼ぶ。
図１５の例では、６つの画面構成パターンが定義されている。暗示的アフォーダンスの画面構成パターンにおける画面要素ルールは、明示的アフォーダンスの画面構成パターンの場合より抽象的な定義となる。より具体的には、暗示的アフォーダンスの画面構成パターンにおける画面要素ルールは、画面の背景色と、操作ボタンの表示形態と、表示リストの表示形態と、アニメーション動作とに係るルールである。
以下、図１５の各々の画面構成パターンについて説明すると共に、図８のジョブリスト画面８００又は図３Ａのプレビュー画面３０１に適用した場合の例を示す。
「タッチ暗示的画面全体画面構成パターン」では、フリック操作ができない画面の画面全体、広範囲、又は中央部に適用する画面要素ルールが定められている。より具体的には、画面と一覧表示との背景は白とし、ボタンの配置は、そのボタン操作による操作対象の右又は下とする画面要素ルールである。ゴーストの使用は規定しない（以降、図１５では、Ｄｏｎ'ｔ Ｃａｒｅと記載されている）画面要素ルールである。「タッチ暗示的画面全体画面構成パターン」の適用例は、ジョブリスト画面８００である。
「タッチ暗示的要素限定画面構成パターン」では、フリック操作ができない画面の操作に係る画面要素に限定した画面要素ルールが定められている。より具体的には、ボタンは四角の外形であり、表示している一覧表示のリストは隠れない画面要素ルールである。「タッチ暗示的要素限定画面構成パターン」の適用例は、ジョブリスト画面８００及びプレビュー画面３２１である。
「フリック暗示的画面全体画面構成パターン１」では、フリック操作ができる画面の画面全体、広範囲、又は中央部に適用する画面要素ルールが定められている。より具体的には、画面の背景はグレーとし、ボタンは配置しない画面要素ルールである。「フリック暗示的画面全体画面構成パターン１」の適用例は、ジョブリスト画面１６００である。
「フリック暗示的画面全体画面構成パターン２」では、フリック操作ができる画面の画面全体、広範囲、又は中央部に適用する画面要素ルールが定められている。より具体的には、ボタンの配置は、そのボタン操作による操作対象内のフリック操作の向きとする画面要素ルールである。「フリック暗示的画面全体画面構成パターン２」の適用例は、ジョブリスト画面１６０１及びプレビュー画面１７００である。各々、一覧表示項目をスクロールするボタンが、ボタン１６０２、ボタン１６０３、ボタン１７０１及びボタン１７０２として、ジョブリスト表示部８０１及びプレビュー表示領域３０２の表示領域内に配置されている。また、ジョブリスト画面１６０１では一覧表示項目であるリスト行の一部がボタン１６０２とボタン１６０３とにより隠されている。同様にプレビュー画面１７００でも、一覧内容であるプレビュー画像の一部が、ボタン１７０１とボタン１７０２とで隠れている。
「フリック暗示的要素限定画面構成パターン」では、フリック操作ができる画面の操作に係る画面要素に限定した画面要素ルールが定められている。より具体的には、ボタンは丸い外形とし、一覧表示の一部がフリック操作の向きに隠れる画面要素ルールである。「フリック暗示的要素限定画面構成パターン」の適用例は、ジョブリスト画面１６０４及びプレビュー画面１７０３である。各々、一覧表示項目をスクロールするボタンである、ボタン１６０５、ボタン１６０６、ボタン１７０４及びボタン１７０５が、丸い外形のボタンとなっている。
「フリック暗示的効果画面構成パターン」では、フリック操作が可能な画面の操作に係る画面要素に限定した画面要素ルールを定める。より具体的には、ジョブリスト表示部８０１又はプレビュー表示領域３０２に表示される一覧表示項目が、フリックしたかのようにアニメーション動作する画面要素ルールである。つまり、ＣＰＵ１０は、フリック効果によるアニメーション動作を適用する。「フリック暗示的効果画面構成パターン」の適用例は特に図示しない。

以上、ＣＰＵ１０が画面構成パターンに係るルールに基づいて操作画面の表示を制御することにより、ユーザは、従来のタッチ操作以外の操作を想定しフリック操作等のジェスチャー操作を想起することができるようになる。この暗示的アフォーダンスは、ユーザが一度このルールを受け入れると、その後直接的な表現が画面を煩雑にすることを回避できるメリットがある。つまり、ユーザ自身による学習を促す効果がある。

＜実施形態３＞
本実施形態では、フリック操作ができない画面において、ＣＰＵ１０は、フリック操作を検知すると、画面に図１８の警告ポップアップ１８００「この画面では、フリック操作はできません」を表示する。これは、ＣＰＵ１０による誤操作警告表示に係る処理の一例である。
図１８は、警告ポップアップ１８００が表示されているジョブリスト画面の一例を示す図である。なお、ＣＰＵ１０は、一定時間経過すると警告ポップアップ１８００を自動的に閉じる。
同様に、図示しないがフリック操作ができる画面において、ＣＰＵ１０は、一定時間ユーザによる操作がないことを検知すると、「この画面はフリック操作ができます」と明示的アフォーダンスを与える警告ポップアップを表示することもできる。これは、ＣＰＵ１０による無検知警告表示に係る処理の一例である。

＜その他の実施形態＞
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した実施形態の処理によれば、操作しようとする画面がジェスチャー操作可能か否かをユーザが容易に認知することができる。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (9)

1. 操作画面がジェスチャー操作による入力を受け付けるか否かに係る画面情報を取得する取得手段と、
   操作画面に適用可能な複数の画面構成パターンごとに対応付けられた画面情報から、前記取得手段により取得された画面情報と合致する画面情報を検索する検索手段と、
   前記検索手段により検索された画面情報に基づいて操作画面に適用する画面構成パターンを決定する決定手段と、
   前記決定手段により決定された画面構成パターンが定義する画面要素の表示ルールを操作画面の表示画面に適用する適用手段と、
   を有する画像処理装置。
2. 前記画面情報は、操作画面がジェスチャー操作による入力を受け付けるか否かに係る情報と、前記情報を表示する表示欄が操作画面に含まれるか否かに係る情報とを含む情報である請求項１記載の画像処理装置。
3. 前記適用手段は、前記決定手段により決定された画面構成パターンが前記表示欄を含む操作画面の画面情報に係る画面構成パターンの場合、前記表示欄に操作画面がジェスチャー操作を受け付けるか否かを表すアイコンと、メッセージとを表示する表示ルールを適用する請求項２記載の画像処理装置。
4. 前記適用手段は、前記決定手段により決定された画面構成パターンが前記表示欄を含まない操作画面の画面情報に係る画面構成パターンの場合、操作対象に係る操作をアニメーションにより表示する表示ルールを適用する請求項２記載の画像処理装置。
5. 前記適用手段は、前記決定手段により決定された画面構成パターンがジェスチャー操作による入力を受け付ける操作画面の画面情報に係る画面構成パターンであるか否かに応じて、
   画面の背景色、
   操作ボタンの表示形態、
   表示リストの表示形態、
   アニメーション動作、
   の少なくとも何れかの画面要素に係る表示ルールを適用する請求項１又は２記載の画像処理装置。
6. 前記適用手段によりジェスチャー操作による入力を受け付けない表示画面が適用された操作画面において、ユーザのジェスチャー操作による入力を検知した場合、誤操作の警告を表示する誤操作警告表示手段を更に有する請求項１乃至５何れか１項記載の画像処理装置。
7. 前記適用手段により前記表示ルールが適用された表示画面に係る操作画面において、一定時間ユーザによる入力操作がないことを検知すると、無検知の警告を表示する無検知警告手段を更に有する請求項１乃至６何れか１項記載の画像処理装置。
8. 画像処理装置が実行する画像処理方法であって、
   操作画面がジェスチャー操作による入力を受け付けるか否かに係る画面情報を取得する取得ステップと、
   操作画面に適用可能な複数の画面構成パターンごとに対応付けられた画面情報から、前記取得ステップにより取得された画面情報と合致する画面情報を検索する検索ステップと、
   前記検索ステップにより検索された画面情報に基づいて操作画面に適用する画面構成パターンを決定する決定ステップと、
   前記決定ステップにより決定された画面構成パターンが定義する画面要素の表示ルールを操作画面の表示画面に適用する適用ステップと、
   を含む画像処理方法。
9. コンピュータに
   操作画面がジェスチャー操作による入力を受け付けるか否かに係る画面情報を取得する取得ステップと、
   操作画面に適用可能な複数の画面構成パターンごとに対応付けられた画面情報から、前記取得ステップにより取得された画面情報と合致する画面情報を検索する検索ステップと、
   前記検索ステップにより検索された画面情報に基づいて操作画面に適用する画面構成パターンを決定する決定ステップと、
   前記決定ステップにより決定された画面構成パターンが定義する画面要素の表示ルールを操作画面の表示画面に適用する適用ステップと、
   を実行させるためのプログラム。

Images