JP4959825B2 - 指示入力装置、指示入力方法、プログラムおよびその記録媒体 - Google Patents

Description

本発明は、タッチスクリーン（タッチパネル）に対するジェスチャー入力によって指示入力を行う指示入力装置および指示入力方法に関するものである。

従来から、ユーザーがタッチスクリーンに触れることによってコンピュータに対してメニューやツールバーなどの選択指示を行うタッチスクリーン技術が知られている。例えば、タッチスクリーン技術の一例であるマルチ・タッチ・インターフェースでは、ユーザーが２本以上の指を用いてコンピュータ画面上の操作対象に対する操作を直接入力できるようになっている。

また、タッチスクリーンに対するジェスチャーによって指示入力（操作入力）を行う技術では、タッチスクリーン上においてユーザーが予め設定されているジェスチャーを行うと、このタッチスクリーンに接続されたコンピュータがそのジェスチャーをコマンドとして解釈する。例えば、タッチスクリーンを軽く叩くことで方向や位置を指示したり、タッチスクリーンに触れている２本の指の間隔を狭くすることで縮小（ズームイン）の指示を入力したり、上記間隔を広くすることで拡大（ズームアウト）の指示を入力したり、２本の指でタッチスクリーンに触れながら接触位置を回転させることによって右回転あるいは左回転の指示を入力したり、タッチクリーンに触れた指を平行移動させることによってスクロールの指示を入力したりすることができる。タッチ操作は、一般に、タッチスクリーン上に表示されている操作対象にタッチすることによって行われる直接操作である。

ところで、複数枚の写真や複数ページからなる文書をスキャナーで読み取る場合、ユーザーが写真やページの向きが正しいかどうかをいちいち確認する必要があり、この確認作業に多大な時間を要するという問題がある。一般に、複数枚の写真や複数ページからなる文書は、表示装置またはＰＣ（パーソナルコンピュータ）で１つずつ編集され、保存される。また、スキャナー機能を備えた最近の多機能周辺装置（ＭＦＰ）では、その多機能周辺機器に備えられる表示パネルを介してスキャナー機能で読み込まれた写真や文書に対する編集を行えるようになっている。また、上記表示パネルは、タッチセンサー等によってタッチ入力ができるようになっている。例えば、予め設定されているジェスチャーによって回転、ドラッグ・アンド・ドロップなどの指示入力を行ったり、２本の指で挟む動作やその逆の動作によって拡大や縮小などの指示入力を行ったり、２本の指で操作対象の画像にタッチして回転させるジェスチャーを行うことで当該画像を回転させたりできる。

なお、特許文献１には、ジェスチャーによって直接操作を行うタッチシステムの一例が開示されている。

また、特許文献２には、タッチスクリーンに表示された複数のサムネイルの中から上下を反転させる処理を行うサムネイルを選択し、選択したサムネイルに対して一括して反転処理を実行させることが記載されている。

特開２００５−１０８２１１号公報（平成１７年４月２１日公開） 特開２００５−００６２０９号公報（平成１７年１月６日公開）

ところで、タッチスクリーン上に表示された画像に対してジェスチャーによる指示入力を行えるようにするためには、表示する画像のサイズをユーザーの指で操作できる程度に大きくする必要がある。また、ユーザーの利便性を高めるためには、多数の画像やページを表示する場合であっても、各画像あるいは各ページに対して一度のジェスチャーで指示入力を行えるようにすることが好ましい。

ところが、画像のサイズをユーザーの指で操作できる程度に大きくすることは、表示する画像が１つだけの場合には容易であるが、多数の画像やページを表示させる場合にはそれら全てを大きなサイズにすることは困難である。

また、特許文献２の技術では、選択された各サムネイルに対して反転処理を一括して行うことができるものの、反転処理以外の処理については何ら考慮されていない。このため、反転処理以外の処理を行う場合には、ユーザーがサムネイル毎に詳細な指示入力を行う必要がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、タッチスクリーンに対して予め設定されたジェスチャーで触れることによって表示されている画像に適用すべき操作内容を入力する指示入力装置において、ユーザーの操作性を向上させることにある。

本発明の指示入力装置は、上記の課題を解決するために、タッチスクリーン機能を有する表示部を備え、画像データに対して適用すべき操作内容をユーザーが上記表示部の表示画面に対して当該操作内容に応じたジェスチャーで触れることによって入力する指示入力装置であって、画像データに対して適用可能な１または複数の操作内容と当該各操作内容の選択指示を入力するためのジェスチャーとを対応付けて記憶するジェスチャー記憶部と、上記ジェスチャーと当該ジェスチャーが入力されたときに当該ジェスチャーに対応する操作内容を画像データに適用する際の適用方法を示すパラメータとを対応付けて記憶するジェスチャーパラメータ記憶部と、上記ジェスチャーを入力するためのジェスチャー入力領域、および上記ジェスチャーに対応する上記パラメータの設定指示を入力するための設定入力領域を含むジェスチャーパッド画像を上記表示部に表示させるジェスチャーパッド表示制御部と、上記設定入力領域に対してパラメータの設定指示が入力されたときに当該設定指示に応じて上記ジェスチャーパラメータ記憶部に記憶している上記パラメータを変更するパラメータ設定部と、上記ジェスチャー入力領域に対してユーザーが入力したジェスチャー、および上記ジェスチャー記憶部に記憶されている上記各操作内容と当該各操作内容に対応するジェスチャーとの対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する操作内容を検出し、上記ジェスチャーパラメータ記憶部に記憶されている各ジェスチャーと当該各ジェスチャーに対応する操作内容を画像データに適用する際の適用方法との対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する上記適用方法を検出するジェスチャー検出部とを備えていることを特徴としている。

本発明の指示入力方法は、上記の課題を解決するために、タッチスクリーン機能を有する表示部を備え、画像データに対して適用すべき操作内容をユーザーが上記表示部の表示画面に対して当該操作内容に応じたジェスチャーで触れることによって入力する指示入力装置を用いて指示入力を行う指示入力方法であって、画像データに対して適用可能な１または複数の操作内容と当該各操作内容の選択指示を入力するためのジェスチャーとを対応付けて予め記憶するジェスチャー記憶工程と、上記ジェスチャーと当該ジェスチャーが入力されたときに当該ジェスチャーに対応する操作内容を画像データに適用する際の適用方法を示すパラメータとを対応付けて記憶するジェスチャーパラメータ記憶工程と、上記ジェスチャーを入力するためのジェスチャー入力領域、および上記ジェスチャーに対応する上記パラメータの設定指示を入力するための設定入力領域を含むジェスチャーパッド画像を上記表示部に表示させるジェスチャーパッド表示工程と、上記設定入力領域に対してパラメータの設定指示が入力されたときに当該設定指示に応じて上記ジェスチャーパラメータ記憶工程で記憶した上記パラメータを変更するパラメータ設定工程と、上記ジェスチャー入力領域に対してユーザーが入力したジェスチャー、および上記ジェスチャー記憶工程で記憶した上記各操作内容と当該各操作内容に対応するジェスチャーとの対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する操作内容を検出し、上記ジェスチャーパラメータ記憶工程で記憶した各ジェスチャーと当該各ジェスチャーに対応する上記適用方法との対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する上記適用方法を検出するジェスチャー検出工程とを含むことを特徴としている。

上記の指示入力装置および指示入力方法によれば、入力したジェスチャーに対応する操作内容を画像データに適用する際の適用方法をユーザーが任意に設定することができるので、ユーザーの操作性を高めることができる。

また、従来のジェスチャー入力を行う指示入力装置では、操作対象画像のサムネイルに対してユーザーが直接触れることによって当該操作対象画像に対する操作内容の指示入力を行っていたが、上記の構成によれば、ジェスチャーを入力するためのジェスチャー入力領域を含むジェスチャーパッド画像がタッチスクリーン機能を有する表示部に表示されるので、ユーザーはジェスチャー入力領域に対してジェスチャー入力を行うことによって画像データに対する操作指示を入力することができる。したがって、操作対象画像に対応するサムネイルに対してユーザーが直接触れる必要がない。このため、各サムネイルの表示サイズを小さくしたり、あるいはサムネイルを表示しない構成にしたり、サムネイルをこの指示入力装置とは別に備えられる表示装置に表示させる構成にしたりても、ユーザーがジェスチャー入力を容易に行うことができる。これにより、例えば、サムネイルを表示するための表示領域が小さい場合や、より多くのサムネイルを一覧表示したい場合であっても、ユーザーの操作性を向上させることができる。

また、操作対象画像として選択可能な画像のサムネイルを生成するサムネイル生成部と、上記サムネイル生成部が生成したサムネイルを上記表示部または上記表示部とは異なる第２表示部に表示させるサムネイル表示制御部とを備え、上記ジェスチャー入力領域に対するジェスチャーの入力が行われたときに、上記サムネイル生成部は、上記ジェスチャー検出部が検出した当該ジェスチャーに対応する操作内容および上記ジェスチャーパラメータ記憶部に記憶されている当該操作内容に対応する上記パラメータによって示された上記適用方法に基づく操作を、上記表示部または上記第２表示部にサムネイルが表示されている画像データのうちユーザーが操作対象画像として選択した各画像データに対して適用した場合の当該各画像データに対応するサムネイルであるプレビュー用サムネイルを生成し、上記サムネイル表示制御部は、上記表示部または上記第２表示部に表示している上記各操作対象画像のサムネイルを上記プレビュー用サムネイルに更新する構成としてもよい。

上記の構成によれば、ユーザーがジェスチャーの入力を行った場合にそのジェスチャーを操作対象画像に適用した結果を示すプレビュー用サムネイルが表示されるので、ユーザーはジェスチャーに対応する処理結果を確認しながら画像データに対する操作指示を行うことができる。したがって、ユーザーの操作性をさらに高めることができる。

また、上記ジェスチャーパッド表示制御部は、上記ジェスチャー入力領域に対して入力された上記ジェスチャーに対応する操作を操作対象画像として選択されている各画像データに適用することの実行指示をユーザーが指示入力するための実行指示用画像を上記表示部に表示させ、上記実行指示用画像に対するユーザーの指示入力を検出したときに、上記実行指示に対応する操作を操作対象画像として選択されている各画像データに対して実行させるための信号を上記各画像データに対して上記実行指示に対応する操作を行う画像処理装置に伝達する構成としてもよい。

上記の構成によれば、ジェスチャーに応じた操作を適用した場合のプレビュー用サムネイルを確認してから当該操作の実行指示を行うことができるので、ユーザーが所望する操作を効率的に適用することができる。

また、上記パラメータは、上記ジェスチャーを入力する際の表示画面に対するユーザーの接触位置の軌跡の形状、向き、時間的変化パターン、またはこれらの組み合わせと、当該ジェスチャーに対応する操作を画像データに適用する際の画像データに対する操作量、操作方向、操作角度、またはこれらの組み合わせとを対応付けるためのものであってもよい。例えば、上記ジェスチャー記憶部には、画像データに対する回転処理を行わせるためのジェスチャーである回転処理ジェスチャーが記憶されており、上記ジェスチャーパラメータ記憶部には、上記回転処理ジェスチャーと当該回転処理ジェスチャーが入力されたときに画像データに回転処理を施す際の回転角度を示すパラメータとが対応付けて記憶されており、上記パラメータ設定部は、ユーザーからのパラメータの設定指示に基づいて、上記回転処理ジェスチャーを入力する際の表示画面に対するユーザーの接触位置の軌跡の形状または回転角度と、当該回転処理ジェスチャーに応じて画像データに回転処理を施す際の画像データの回転角度とを示すパラメータを変更する構成であってもよい。

上記各構成によれば、入力したジェスチャーに対応する画像データに対する操作の程度をユーザーが任意に設定することができる。これにより、ユーザーがジェスチャーに対応する画像データへの操作量を比較的少なく設定することでジェスチャー入力による画像データに対する操作の微調整を行ったり、逆にジェスチャーに対応する画像データへの操作量を比較的大きく設定することで画像データに対する操作量の多い操作を小さなジェスチャーで指示入力したりすることができる。

また、上記サムネイル表示制御部は、上記サムネイル生成部が生成したサムネイルを上記表示部に表示させ、上記表示部に表示されているサムネイルのうちユーザーが触れたサムネイルをユーザーが操作対象画像として選択した画像データのサムネイルとして検出する構成であってもよい。

上記の構成によれば、ユーザーは、タッチスクリーン機能を有する表示部に表示されているサムネイルのうち操作対象画像としたい画像のサムネイルに触れるだけで操作対象画像を選択することができる。したがって、ユーザーの利便性を向上させることができる。

なお、上記指示入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記指示入力装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

以上のように、本発明の指示入力装置は、画像データに対して適用可能な１または複数の操作内容と当該各操作内容の選択指示を入力するためのジェスチャーとを対応付けて記憶するジェスチャー記憶部と、上記ジェスチャーと当該ジェスチャーが入力されたときに当該ジェスチャーに対応する操作内容を画像データに適用する際の適用方法を示すパラメータとを対応付けて記憶するジェスチャーパラメータ記憶部と、上記ジェスチャーを入力するためのジェスチャー入力領域、および上記ジェスチャーに対応する上記パラメータの設定指示を入力するための設定入力領域を含むジェスチャーパッド画像を上記表示部に表示させるジェスチャーパッド表示制御部と、上記設定入力領域に対してパラメータの設定指示が入力されたときに当該設定指示に応じて上記ジェスチャーパラメータ記憶部に記憶している上記パラメータを変更するパラメータ設定部と、上記ジェスチャー入力領域に対してユーザーが入力したジェスチャー、および上記ジェスチャー記憶部に記憶されている上記各操作内容と当該各操作内容に対応するジェスチャーとの対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する操作内容を検出し、上記ジェスチャーパラメータ記憶部に記憶されている各ジェスチャーと当該各ジェスチャーに対応する操作内容を画像データに適用する際の適用方法との対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する上記適用方法を検出するジェスチャー検出部とを備えている。

また、本発明の指示入力方法は、画像データに対して適用可能な１または複数の操作内容と当該各操作内容の選択指示を入力するためのジェスチャーとを対応付けて予め記憶するジェスチャー記憶工程と、上記ジェスチャーと当該ジェスチャーが入力されたときに当該ジェスチャーに対応する操作内容を画像データに適用する際の適用方法を示すパラメータとを対応付けて記憶するジェスチャーパラメータ記憶工程と、上記ジェスチャーを入力するためのジェスチャー入力領域、および上記ジェスチャーに対応する上記パラメータの設定指示を入力するための設定入力領域を含むジェスチャーパッド画像を上記表示部に表示させるジェスチャーパッド表示工程と、上記設定入力領域に対してパラメータの設定指示が入力されたときに当該設定指示に応じて上記ジェスチャーパラメータ記憶工程で記憶した上記パラメータを変更するパラメータ設定工程と、上記ジェスチャー入力領域に対してユーザーが入力したジェスチャー、および上記ジェスチャー記憶工程で記憶した上記各操作内容と当該各操作内容に対応するジェスチャーとの対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する操作内容を検出し、上記ジェスチャーパラメータ記憶工程で記憶した各ジェスチャーと当該各ジェスチャーに対応する上記適用方法との対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する上記適用方法を検出するジェスチャー検出工程とを含む。

それゆえ、本発明の指示入力装置および指示入力方法によれば、入力したジェスチャーに対応する操作内容を画像データに適用する際の適用方法をユーザーが任意に設定することができるので、ユーザーの操作性を高めることができる。また、ジェスチャーを入力するためのジェスチャー入力領域を含むジェスチャーパッド画像がタッチスクリーン機能を有する表示部に表示されるので、ユーザーはジェスチャー入力領域に対してジェスチャー入力を行うことによって画像データに対する操作指示を容易に入力することができる。

本発明の一実施形態にかかる指示入力装置が備えられるシステムの構成を示すブロック図である。 図１のシステムに備えられる多機能周辺装置（ＭＦＰ）の構成を示すブロック図である。 図１システムに備えられる端末装置の構成を示すブロック図である。 図１のシステムにおける多機能周辺装置または端末装置に備えられる指示入力装置において表示されるジェスチャーパッドの一例を示す模式図である。 図１のシステムにおける多機能周辺装置または端末装置に備えられる指示入力装置において表示される操作対象画像として選択可能な画像のサムネイルのリストを示す模式図である。 本発明の一実施形態にかかる指示入力装置における処理の流れを示すフローチャートである。 本発明の一実施形態にかかる指示入力装置に表示される表示画面の一例を示す模式図である。 本発明の一実施形態にかかる指示入力装置に表示される表示画面の一例を示す模式図である。 本発明の一実施形態にかかる指示入力装置に表示される表示画面の一例を示す模式図である。 本発明の一実施形態にかかる指示入力装置に表示される表示画面の一例を示す模式図である。 本発明の一実施形態にかかる指示入力装置の概略構成を示すブロック図である。

本発明は、タッチセンサー（タッチスクリーン機能）付き表示画面（タッチスクリーン）を有する表示装置、あるいは多機能周辺装置（ＭＦＰ）などに設けられた表示パネルに表示された画像に対してジェスチャーによって操作（例えば、サムネイル画像によって表示された複数のページのうちのいずれかを選択する操作など）を行うシステムあるいは方法に適用することができる。例えば、ＭＦＰのタッチスクリーンあるいはタッチコンピュータスクリーンを介してジェスチャーによる操作を行うことによって複数の画像に対して共通の視覚的な編集を行うシステムあるいは方法に適用することもできる。すなわち、本発明の一実施形態では、単一のジェスチャーによって複数の画像に対して同時に同様の処理を行うことができる。本発明は、フルサイズの画像についてのサムネイルを表示する表示装置に適用できるが、サムネイルのサイズは必ずしも当該サムネイルに対して直接操作を行うことのできるサイズでなくてもよい。本発明の一実施形態では、サムネイルの選択を行う際、この選択操作を、選択する画像から離れた位置に配置されるタッチパッドあるいはタッチスクリーンによって行う。本発明は、スキャナー（画像読取装置）および／またはプリンター（画像印刷装置）との間で通信を行うコンピュータをホストとするものであってもよく、多機能周辺装置（ＭＦＰ）をホストとするものであってもよい。

図１は、本発明の一実施形態にかかる指示入力装置が用いられるシステム１００の構成を示すブロック図である。この図に示すように、システム１００は、多機能周辺装置（画像処理装置、画像読取装置、画像形成装置）１１０と、多機能周辺装置１１０との間で直接通信を行う端末装置（情報処理装置）１２０とを備えている。また、多機能周辺装置１１０は、ネットワークリンクを介してネットワーク１３０に接続されており、このネットワーク１３０にはネットワークリンク１３２，１３３を介して端末装置１４０，１４１が接続されている。これにより、多機能周辺装置１１０は、端末装置１４０，１４１との間で通信を行うことも可能になっている。端末装置１２０，１４０，１４１は、例えば、多機能周辺装置１１０の制御を行うドライバの処理を行うコンピュータである。なお、本実施形態では多機能周辺装置１１０がスキャナー機能とプリンター機能とを備えている場合について説明するが、これに限らず、例えば多機能周辺装置１１０をプリンター単体、あるいはスキャナー単体に置き換えてもよい。また、本発明の指示入力装置は、多機能周辺装置１１０に備えられていてもよく、端末装置１２０，１４０，１４１に備えられていてもよい。

図２Ａは、多機能周辺装置１１０の構成を示すブロック図である。この図に示すように、多機能周辺装置１１０は、外部装置接続部２０２、接続制御部２０４、データバス２０６、演算処理部（画像処理部）２０８、ＲＯＭ２１０、ＲＡＭ２１２、大容量記憶部２１４、ログ記憶部２１６、ユーザーインターフェース（指示入力装置）２１８、読取制御部２２０、ＦＡＸ制御部２２２、複写制御部２２４、印刷制御部２２６、スキャナー２３０、プリンター２４０、および出力用紙方向センサー２４２を備えている。

外部装置接続部（インターフェースポート）２０２は、外部装置（例えば端末装置１２０，１４０，１４１等）を通信可能に接続するための接続部であり、例えばプリンタケーブル、ネットワークリンク、あるいは無線モジュールなどが接続される。接続制御部（インターフェースコントローラ）２０４は、外部装置接続部２０２と多機能周辺装置１１０との間の直接通信、および／または、外部装置接続部２０２と多機能周辺装置１１０との間におけるデータバス２０６を介した条件信号の送受信を制御する。

ＲＯＭ（read only memory）２１０は多機能周辺装置１１０の各機能を実現する制御プログラムを記憶するメモリーであり、ＲＡＭ（random access memory）２１２は上記制御プログラム等を展開したり、各種データ等を一時的に記憶したりするためのメモリーである。また、大容量記憶部２１４はＲＡＭ２１２に格納可能なサイズを超えている各種ファイルや各種データなどを記憶するメモリーである。演算処理部２０８は、上記制御プログラムの命令を実行するＣＰＵ（central processing unit）等からなる。すなわち、多機能周辺装置１１０の各機能は、各機能を実現するソフトウェアであるの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を演算処理部２０８がＲＯＭ２１０から読み出して実行することによって達成される。

ログ記憶部２１６は、演算処理部２０８における処理履歴（処理に用いられたパラメータ、ファイル、インデックスなど）を記憶するものである。ログ記憶部２１６は、個別に設けられた記憶部であってもよく、ＲＯＭ２１０、ＲＡＭ２１２、あるいは大容量記憶部２１４に設けられていてもよく、ＲＯＭ２１０、ＲＡＭ２１２、および大容量記憶部２１４に分散して設けられていてもよい。

ユーザーインターフェース（指示入力装置）２１８は、ユーザーに対する各種情報の呈示、およびユーザーからの各種指示入力の受け付けを行うものである。ユーザーインターフェース２１８の詳細については後述する。

また、スキャナー２３０は原稿を読み取ってその画像データを生成するものであり、プリンター２４０は画像データに応じた画像を記録材上に形成（印刷）するものである。スキャナー２３０およびプリンター２４０の構成は特に限定されるものではなく、従来から公知のものを用いることができる。出力用紙方向センサー２４２は、プリンター２４０によって出力される用紙の向きを検出し、印刷制御部２２６を介して外部装置接続部２０２に接続されている外部装置に通知する。

読取制御部２２０はスキャナー２３０およびデータバス２０６と接続されており、印刷制御部２２６はプリンター２４０およびデータバス２０６と接続されており、ＦＡＸ制御部２２２および複写制御部２２４はスキャナー２３０、プリンター２４０、およびデータバス２０６と接続されている。これにより、これら各制御部がスキャナー２３０、プリンター２４０、あるいはスキャナー２３０およびプリンター２４０の両方を制御し、スキャナー２３０で原稿を読み取る処理、スキャナー２３０で読み取った画像をＦＡＸ送信する処理、外部からＦＡＸ送信された画像データに応じた画像をプリンター２４０で印刷する処理、スキャナー２３０で読み取った画像データに応じた画像をプリンター２４０で印刷する複写処理、外部から受信した画像データあるいは多機能周辺装置１１０のメモリーに記憶されている画像データに応じた画像をプリンター２４０で印刷する処理などを実行する。なお、読取制御部２２０、ＦＡＸ制御部２２２、複写制御部２２４、および印刷制御部２２６は演算処理部２０８の一部であってもよく、演算処理部２０８と協働して動作するものであってもよい。

なお、多機能周辺装置１１０が、ＲＯＭ２１０、ＲＡＭ２１２、大容量記憶部２１４、あるいはこれら各記憶部に分散させてキャリブレーションテーブルを記憶しておき、外部装置接続部２０２を介して接続される外部装置から送信された画像データに対する処理を行う場合にこのキャリブレーションテーブルを用いて上記画像データに画像処理を施したり、プリンター２４０における印刷処理時のパラメータを調整したりするようにしてもよい。

図２Ｂは、システム１００に備えられる端末装置１２０，１４０，１４１の一例であるホストコンピュータ２５０の構成を示すブロック図である。このホストコンピュータ２５０は、図２Ｂに示したように、演算処理部（ＣＰＵ）２５１、ＲＯＭ２５２，ＲＡＭ２５３、大容量記憶部（ＨＤ（ハードディスク））２５４、入出力部（入出力（Ｉ／Ｏ）インターフェース）２５５、およびユーザーインターフェース（指示入力装置）２７０を備えている。

ＲＯＭ２５２はホストコンピュータ２５０の各機能を実現する制御プログラムを記憶するメモリーであり、ＲＡＭ２５３は上記制御プログラム等を展開したり、各種データ等を一時的に記憶したりするためのメモリーである。また、大容量記憶部２５４はＲＡＭ２５３に格納可能なサイズを超えている各種ファイルや各種データなどを記憶するメモリーである。演算処理部２５１は、上記制御プログラムの命令を実行するＣＰＵ（central processing unit）等からなる。すなわち、ホストコンピュータ２５０の各機能は、各機能を実現するソフトウェアであるの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を演算処理部２５１がＲＯＭ２５２から読み出して実行することによって達成される。

入出力部２５５は、無線または有線のネットワークリンク２５６、あるいはパラレルバス、シリアルバス、あるいはユニバーサルシリアルバス（ＵＳＢ）ケーブル２５７を介して、図２Ａに示した多機能周辺装置１１０と接続されており、インターフェース２５９を介してユーザーインターフェース２７０に接続されている。

ユーザーインターフェース（指示入力装置）２７０は、ユーザーに対する各種情報の呈示、およびユーザーからの各種指示入力の受け付けを行うものである。なお、本実施形態では、ユーザーインターフェース２７０を介して多機能周辺装置１１０に対する指示入力を行えるようになっている。

図１０はユーザーインターフェース（指示入力装置）２１８，２７０の構成を示すブロック図である。この図に示すように、ユーザーインターフェース２１８，２７０は、タッチスクリーン３０１、補助入力装置３０２、指示入力制御部３０３、ＲＯＭ３０４、ＲＡＭ３０５、および大容量記憶部３０６を備えている。

タッチスクリーン（表示部）３０１は、指示入力制御部３０３からの指示に応じた画像を表示するグラフィックユーザーインターフェース（ＧＵＩ）としての機能と、当該タッチスクリーン３０１に対するユーザーのタッチ動作を行ったときに、タッチされた位置および範囲に応じた信号を生成して指示入力制御部３０３に伝達する機能とを有している。タッチスクリーン３０１の構成は上記の両機能を有しているものであれば特に限定されるものではなく、従来から公知のタッチスクリーンを用いることができる。

補助入力装置３０２は、ユーザーが多機能周辺装置１１０あるいはホストコンピュータ２５０に対するユーザーからの指示入力を受け付けて指示入力制御部３０３に伝達するための、タッチスクリーン３０１とは異なる他の入力手段である。補助入力装置３０２としては、例えば、キーボード、マウス、音声入力装置（マイク等）、操作ボタンなどを用いることができる。

指示入力制御部３０３は、タッチスクリーン３０１に対する画像表示、タッチスクリーン３０１に対するユーザーからの指示入力内容の検出、および補助入力装置３０２に対するユーザーからの指示入力内容の検出を行う。また、指示入力制御部３０３は、検出したユーザーからの指示入力内容に応じた信号を生成して多機能周辺装置１１０の演算処理部２０８あるいはホストコンピュータ２５０の演算処理部２５１に伝達する。

図１０に示したように、指示入力制御部３０３は、サムネイル表示制御部３１１、ジェスチャーパッド表示制御部３１２、サムネイル生成部３１３、タッチ入力検出部３１４、ジェスチャー検出部３１５、パラメータ設定部３１６、および補助入力検出部３１７を備えている。

サムネイル生成部３１３は、ユーザーインターフェース２１８，２７０において操作対象画像として選択可能な画像のサムネイル（サムネイル画像）を生成する。なお、本実施形態では、大容量記憶部３０６の画像データ記憶部３２３に画像データが格納されている画像を操作対象画像とする場合について主に説明するが、これに限らず、例えば、スキャナー２３０によって読み取られた各画像を操作対象画像としてもよく、ユーザーインターフェース２１８，２７０に対して通信可能に接続された他の装置から入力される画像を操作対象画像としてもよい。また、所定の条件を満たす画像（例えば、指定された検索条件に合致する画像、指定されたフォルダに格納されている画像など）を操作対象画像としてもよい。

サムネイル表示制御部３１１は、サムネイル生成部３１３が生成したサムネイルのリストをタッチスクリーン３０１の一部（後述する画像リスト表示領域４００）に表示させる。

ジェスチャーパッド表示制御部３１２は、後述するジェスチャーパッド３００をタッチスクリーン３０１に表示させる。

なお、本実施形態では、サムネイルのリストとジェスチャーパッド３００とを共にタッチスクリーン３０１に表示させるものとしているが、これに限らず、少なくともジェスチャーパッド３００がタッチスクリーン３０１に表示される構成であればよい。例えば、サムネイルのリストについてはタッチセンサー機能を有さないタッチスクリーン３０１とは別の第２表示部（第２表示装置）に表示させ、この第２表示部に表示されているリストの中から操作対象とする画像を選択する選択指示を、補助入力装置３０２を介して入力するようにしてもよい。また、タッチスクリーン３０１は表示画面における一部の領域のみがタッチスクリーンとしての機能を有し、残余の領域はタッチスクリーンとしての機能を有さない構成であってもよい。この場合、少なくともジェスチャーパッド３００についてはタッチスクリーンとしての機能を有する領域に表示させるようにすればよい。また、ジェスチャーパッドは、タッチスクリーン３０１上の編集画面（画像リスト表示領域を含む表示画面）に追加されるプラグイン（plug-in；アプリケーションに追加機能を提供するためのプログラム）のソフトウェアによって実現されるものであってもよい。また、編集画面の制御プログラムとジェスチャーパッドの制御プログラムとが、ＡＰＩ（application program interface；アプリケーションプログラムインターフェース）によって画像データの通信を行うようにしてもよい。

大容量記憶部３０６は、ジェスチャー記憶部３２１、ジェスチャーパラメータ記憶部３２２、および画像データ記憶部３２３を備えている。

ジェスチャー記憶部３２１は、ユーザーインターフェース２１８，２７０に対してユーザーが入力可能な各ジェスチャー（ジェスチャーの種別）について、各ジェスチャーに対応する操作内容（例えば、回転処理、拡大処理、縮小処理、画像を印刷する用紙あるいは画像を表示する表示枠（表示領域）に対する当該画像の相対位置の移動処理など）と、当該操作内容を選択するためのタッチスクリーン３０１に対するジェスチャー（タッチ位置の軌跡のパターン）とを対応付けて記憶する。

ジェスチャーパラメータ記憶部３２２は、各ジェスチャーが入力されたときに当該ジェスチャーに対応する操作内容を画像データに適用する際の適用方法を示すパラメータを記憶する。上記パラメータは、例えば、各ジェスチャーを入力する際の表示画面に対するユーザーの接触位置の軌跡の形状、向き、時間的変化パターン、またはこれらの組み合わせと、当該ジェスチャーに対応する操作を画像データに適用する際の画像データに対する操作量、操作方向、操作角度、またはこれらの組み合わせとを対応付けるものであってもよい。より具体的には、上記パラメータとしては、例えば、画像の回転指示を行うジェスチャー（回転処理ジェスチャー）の場合には接触位置の軌跡の回転角度（タッチスクリーン上における２本の指で触れられた位置の中点を中心とする２本の指による接触位置の回転方向と回転角度あるいは移動量）と画像データに適用する回転角度との関係を示すパラメータ、画像の拡大縮小を示すジェスチャーの場合には接触位置の軌跡（タッチスクリーン上における２本の指で触れられた位置の間隔の変化方向と変化量）と画像に対する変倍率（変倍量）との関係を示すパラメータ、画像の当該画像を印刷する用紙あるいは当該画像を表示する表示枠に対する相対位置の移動を行うジェスチャーの場合には接触位置の軌跡（タッチスクリーン上における接触位置の移動方向と移動量）と画像に適用する移動量との関係を示すパラメータなどが挙げられる。

画像データ記憶部３２３は、操作対象画像として選択可能な画像の画像データを記憶する。

タッチ入力検出部３１４は、タッチスクリーン３０１から入力される信号に基づいて、このタッチスクリーン３０１におけるユーザーがタッチした位置および範囲を検出する。なお、タッチ入力検出部３１４は、ユーザーがタッチスクリーン３０１にタッチしながらタッチ位置を移動させたとき（ジェスチャー入力を行ったとき）にはその移動の軌跡を検出する。

ジェスチャー検出部３１５は、タッチ入力検出部３１４の検出した上記軌跡とジェスチャー記憶部３２１に記憶しているジェスチャーのパターンとを照合することでユーザーが入力したジェスチャー（ジェスチャーの種別）を検出する。また、ジェスチャー検出部３１５は、上記軌跡と、上記軌跡から検出したジェスチャー（ジェスチャーの種別）と、ジェスチャーパラメータ記憶部３２２に格納されている当該ジェスチャー（ジェスチャーの種別）に関するパラメータとに基づいて、上記ジェスチャーに対応する操作内容（処理の種別および操作量）を検出する。

例えば、ユーザーが回転処理を示すジェスチャーを入力した場合、ジェスチャー検出部３１５は、タッチ入力検出部３１４が検出した当該ジェスチャー入力に対応する軌跡とジェスチャー記憶部３２１に記憶しているジェスチャーのパターンとを照合することで、上記ジェスチャー入力が回転処理を示すジェスチャーであることを検出する。また、ジェスチャー検出部３１５は、上記軌跡とジェスチャーパラメータ記憶部３２２に格納されている回転処理に対応するジェスチャーについてのパラメータ（例えば、上記軌跡の長さあるいは回転角度と画像データに対する回転角度とを対応付けたパラメータ）を検出する。

パラメータ設定部３１６は、ユーザーからの指示に応じて各ジェスチャーに応じた画像データに対する操作内容のパラメータを設定する。すなわち、各ジェスチャーに応じた上記パラメータはジェスチャーパラメータ記憶部３２２にデフォルトで設定されているが、ユーザーがジェスチャーパラメータ記憶部３２２に記憶されているそれらのパラメータを任意に変更することができるようになっている。

補助入力検出部３１７は、補助入力装置３０２を介してユーザーから入力された指示入力を検出する。

なお、指示入力制御部３０３の各部は、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現される。具体的には、ＲＯＭ３０４はユーザーインターフェース２１８，２７０の各機能を実現する制御プログラムを記憶するメモリーであり、ＲＡＭ３０５は上記制御プログラム等を展開したり、各種データ等を一時的に記憶したりするためのメモリーである。また、大容量記憶部３０６がＲＡＭ３０５に格納可能なサイズを超えている各種ファイルや各種データなどを記憶するようにしてもよい。

指示入力制御部３０３の各部の機能は、これら各機能を実現するソフトウェアである制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を指示入力制御部３０３がＲＯＭ３０４から読み出して実行することによって達成される。

なお、本実施形態では、上記制御プラグラムをＲＯＭ３０４に記憶させておくものとしているが、これに限らず、例えば、制御プログラムのプログラムコードをコンピュータで読み取り可能に記録した記録媒体をユーザーインターフェース２１８，２７０あるいはユーザーインターフェース２１８，２７０を備えた装置（多機能周辺装置１１０あるいはホストコンピュータ２５０）に供給し、指示入力制御部３０３がこの記録媒体に記録されているプログラムコードを実行する構成としてもよい。上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリー系などを用いることができる。また、ユーザーインターフェース２１８，２７０あるいはユーザーインターフェース２１８，２７０を備えた装置が通信ネットワークを介して上記プログラムコードをダウロードする構成としてもよい。上記通信ネットワークの構成は、特に限定されるものではなく、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体についても特に限定されるものではなく、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、指示入力制御部３０３の各機能は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。また、指示入力制御部３０３の各機能は、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。

また、指示入力制御部３０３は多機能周辺装置１１０の演算処理部２０８あるいはホストコンピュータ２５０の演算処理部２５１に備えられるものであってもよく、演算処理部２０８あるいは演算処理部２５１と協働して動作するものであってもよい。また、指示入力制御部３０３に備えられる各部（各要素）におけるデータへのアクセス、データ処理、通信、およびデータの表示等の処理は、指示入力制御部３０３が、例えばマイクロソフト社の“ＷＩＮＤＯＷＳ（登録商標）”などのオペレーティングシステムを用いて行うようにしてもよい。

また、ＲＯＭ３０４は多機能周辺装置１１０のＲＯＭ２１０あるいはホストコンピュータ２５０のＲＯＭ２５２と共通であってもよく、ＲＡＭ３０５は多機能周辺装置１１０のＲＡＭ２１２あるいはホストコンピュータ２５０のＲＡＭ２５３と共通であってもよい。また、大容量記憶部３０６についても、多機能周辺装置１１０の大容量記憶部２１４あるいはホストコンピュータ２５０の大容量記憶部２５４と共通であってもよい。

また、ユーザーインターフェース２１８，２７０が、ユーザーに呈示する音声情報を出力するスピーカー、ヘッドフォン、あるいはイヤフォンなどの音声出力部と、音声出力部の動作を制御する音声出力制御部とを備えていてもよい（いずれも図示せず）。

図３は、ジェスチャーパッド（ジェスチャーパッド画像）３００の一例を示す説明図である。この図に示すジェスチャーパッド３００は、ジェスチャーアイコン表示領域３１０、設定入力領域３２０、ジェスチャー入力領域３３０を含んでいる。

ジェスチャーアイコン表示領域３１０は、選択されている操作対象画像（例えばスキャナーで読み取った画像または文書、表示方向を変更可能なファイル、あるいは視覚的特性を変更可能なファイルなど）に対して適用可能なジェスチャーを示すアイコンを表示する領域である。すなわち、ジェスチャーアイコン表示領域３１０には、選択されている操作対象画像に対して適用可能なジェスチャー（適用可能な操作に対応するジェスチャー）のアイコンのリスト（動作ライブラリー）が表示される。

設定入力領域３２０は、選択されたジェスチャーについてのパラメータの設定に関する入力（設定指示）を受け付けるための領域である。例えば、ユーザーがジェスチャーアイコン表示領域３１０にアイコンが表示されているジェスチャーの中からパラメータの設定あるいは変更を行いたいジェスチャーを選択すると、選択されたジェスチャーのアイコン６２０が設定入力領域３２０に表示される。そして、設定入力領域３２０に表示されているパラメータの変更ボタン８５０を操作してパラメータの変更量を入力し、適用ボタン（実行指示用画像）８４０に触れることによりパラメータの変更指示を行うことができる。パラメータの変更指示が入力されると、パラメータ設定部３１６がジェスチャーパラメータ記憶部３２２に記憶しているパラメータを更新する。

ジェスチャー入力領域３３０は、ユーザーがジェスチャーによって画像に対する処理の指示入力を行う際に触れる領域である。すなわち、ユーザーは、ジェスチャー入力領域３３０に触れながら所望する処理に対応するジェスチャーのパターンに応じて接触位置を移動させることでジェスチャーを入力する。

なお、本実施形態では、ジェスチャー入力領域３３０に対してジェスチャーを入力すると、サムネイル生成部３１３が操作対象画像に対して当該ジェスチャーに対応する処理を施した場合の結果に対応するサムネイル（プレビュー用サムネイル、プレビュー画像）を生成し、サムネイル表示制御部３１１が画像リスト表示領域４００に表示されている操作対象画像のサムネイルを更新するようになっている。すなわち、入力されたジェスチャーを適用した場合のプレビュー用サムネイルが表示されるようになっている。

図４は、タッチスクリーン３０１に表示される、操作対象画像として選択可能な画像のサムネイルのリスト４１０を含む画像リスト表示領域（画像編集環境）４００の例を示す模式図である。画像リスト表示領域４００には、例えば、多機能周辺装置１１０のスキャナー機能（スキャナー２３０）で読み込まれて多機能周辺装置１１０の画像データ記憶部３２３に記憶された画像ファイルのサムネイル（記憶されている画像ファイルの画素サイズを小さくした画像）が表示される。

図５は、ユーザーインターフェース２１８，２７０における処理の流れを示すフローチャートである。なお、図５に示した各処理は必ずしも図５に示した順に行われる必要はなく、適宜順番を変更したり、これら各処理の一部または全部を並行して実行したりしてもよい。

図５に示したように、まず、サムネイル生成部３１３が操作対象画像として選択可能な画像（例えば画像データ記憶部３２３に記憶されている画像、あるいは多機能周辺装置１１０のスキャナー２３０で読み込まれた画像）のサムネイルを生成する（Ｓ５１０）。そして、サムネイル表示制御部３１１が、サムネイル生成部３１３の生成したサムネイルのリストをタッチスクリーン３０１の画像リスト表示領域４００に表示させる（Ｓ５１１）。また、ジェスチャーパッド表示制御部３１２がタッチスクリーン３０１にジェスチャーパッド３００を表示させる（Ｓ５１２）。

次に、タッチ入力検出部３１４が、パラメータを変更するジェスチャーの選択指示がなされたか否かを判断する（Ｓ５１３）。例えば、タッチ入力検出部３１４が、ジェスチャーアイコン表示領域３１０に表示されているアイコンを選択する操作がなされた場合に当該アイコンに対応するジェスチャーのパラメータを変更すると判断するようにしてもよく、操作対象画像が選択されていない状態でジェスチャーアイコン表示領域３１０に表示されているアイコンを選択する操作またはジェスチャー入力領域３３０に対するジェスチャー入力がなされた場合に当該ジェスチャーのパラメータを変更すると判断するようにしてもよい。また、ジェスチャーアイコン表示領域３１０に表示されているアイコンを選択する操作またはジェスチャー入力領域３３０に対するジェスチャー入力がなされた後、パラメータの変更設定を行う旨の指示入力がなされた場合に、パラメータの変更を行うと判断するようにしてもよい。

図６は、タッチスクリーン３０１に表示される表示画面の一例を示す模式図であり、図３に示したジェスチャーパッド（タッチパッド）３００と、図４に示した画像リスト表示領域４００とを同一の表示画面（タッチスクリーン３０１）に表示させた統合編集環境画面６００の例を示している。例えば、ジェスチャーアイコン表示領域３１０に表示されているアイコンの中から左回り回転を示すアイコン６１０を選択すると、当該アイコン６１０に対応するジェスチャーのパラメータの設定を行うと判断され、当該アイコン６１０に対応するアイコン６２０（図６の破線部参照）が設定入力領域３２０に表示される。また、アイコン６２０の近傍には、選択されたアイコン６１０に対応するジェスチャーについてのパラメータの変更量を指定するための変更ボタン８５０と、パラメータの変更の実行指示を行うための適用ボタン８４０とが表示される。

Ｓ５１３においてパラメータを変更するジェスチャーの選択指示がなされたと判断した場合、タッチ入力検出部３１４は、パラメータの変更量に関する指示入力を検出する（Ｓ５１４）。例えば、ユーザーは、設定入力領域３２０に表示されているパラメータの変更量を指定するための変更ボタン８５０を操作することでパラメータの変更量の指示入力を行う。

その後、タッチ入力検出部３１４は、パラメータの設定に関する実行指示がなされたか否かを判断する（Ｓ５１５）。そして、パラメータの設定に関する実行指示がなされたと判断した場合、Ｓ５１４で入力された変更量に基づいてジェスチャーパラメータ記憶部３２２に記憶しているパラメータの更新を実行する（Ｓ５１６）。一方、パラメータの設定に関する実行指示がなされていない場合、Ｓ５１４の処理に戻る。

Ｓ５１３においてパラメータを設定するジェスチャーの選択指示がなされていないと判断した場合、およびＳ５１６の処理を行った後、タッチ入力検出部３１４は、操作対象画像の選択指示がなされたか否かを判断する（Ｓ５１７）。そして、操作対象画像の選択指示がなされていないと判断した場合、Ｓ５１３の処理に戻る。

一方、操作対象画像の選択指示がなされたと判断した場合、サムネイル表示制御部３１１が、操作対象画像のサムネイルを識別可能に表示する（Ｓ５１８）。識別可能に表示するための方法は特に限定されるものではなく、例えば、操作対象画像のサムネイルの周囲を太線で囲むようにしてもよく、操作対象画像以外の画像を反転表示させるようにしてもよい。

図７は、タッチスクリーン３０１に表示される表示画面の一例を示す模式図であり、画像リスト表示領域４００に表示されているサムネイルのうちの一部を操作対象画像のサムネイルとして選択した場合の例を示している。この例では、画像リスト表示領域４００に表示されているサムネイルのリスト４１０の中から、生花についての横向き画像のサムネイル７１０、野生生物についての横向き画像のサムネイル７２０、および風景についての横向き画像のサムネイル７３０が選択されており、選択されたこれら各サムネイルの周囲が太線で表示されている。

その後、タッチ入力検出部３１４は、ジェスチャー入力領域３３０に対して操作対象画像に対して適用すべき操作命令の選択指示（操作内容の選択指示）に関するジェスチャー入力がなされたか否か（操作命令の選択指示に関するジェスチャー入力を検出したか否か）を判断する（Ｓ５１９）。

そして、操作命令の選択指示に関するジェスチャー入力がなされた場合、サムネイル生成部３１３が操作対象画像に対してジェスチャー入力に応じた操作を適用した場合の結果に対応するサムネイルを生成し、サムネイル生成部３１３によって生成された上記サムネイルをサムネイル表示制御部３１１が画像リスト表示領域４００に表示させる（Ｓ５２０）。すなわち、サムネイル表示制御部３１１は、画像リスト表示領域４００に表示されている操作対象画像のサムネイルを、上記操作命令に応じてサムネイル生成部３１３が生成した当該操作対象画像のサムネイルに更新する。なお、サムネイル生成部３１３は、当該ジェスチャー入力に応じて操作対象画像のサムネイルをリアルタイムに更新する。例えば、回転処理のジェスチャー入力がなされている場合、当該ジェスチャー入力の軌跡に応じた回転角度で操作対象画像のサムネイルをリアルタイムに回転させて表示する。

図８は、タッチスクリーン３０１に表示される表示画面の一例を示す模式図であり、図７に示した状態から回転操作を行わせるためのジェスチャーを入力した場合の例を示している。操作対象画像が選択されている状態でジェスチャー入力（操作命令の選択指示）が入力されると、図８に示したように、画像リスト表示領域４００に表示されている操作対象画像のサムネイルが、当該サムネイルに対応する操作対象画像に対して上記ジェスチャー入力に対応する操作を適用した場合に得られる画像に対応するサムネイルに更新される。図８は、図７に示したように生花のサムネイル７１０、野生生物のサムネイル７２０、および風景のサムネイル７３０が操作対象画像のサムネイルとして選択された状態から、ジェスチャーパッド３００のジェスチャー入力領域７４０に対して左回りの回転処理を行わせるためのジェスチャー（点８５２を中心とする左回りの回転８５１を示すジェスチャー）が入力された場合を示しており、上記各操作対象画像に対して上記ジェスチャーに対応する回転角度で左回りの回転処理を施した画像に対応するプレビュー用サムネイルが表示されている。なお、図８に示した状態では、操作命令の実行指示（適用ボタン８４０に対する操作入力）が行われていないので、上記の回転処理はこの時点ではまだ画像データ記憶部３２３に記憶されている操作対象画像には適用されない。すなわち、上記の回転処理は一時的に適用されたものであり、設定入力領域３２０に表示されている適用ボタン８４０にユーザーが触れるまで確定されず、画像データ記憶部３２３に格納されている操作対象画像の画像データには適用されない。

その後、タッチ入力検出部３１４は、ユーザーが設定入力領域３２０の適用ボタン８４０に触れたか否か、すなわち上記操作命令に応じた操作の実行指示が入力されたか否かを判断する（Ｓ５２１）。そして、操作の実行指示が入力されていないと判断した場合、タッチ入力検出部３１４は、Ｓ５１９の処理に戻る。

一方、Ｓ５２１において操作の実行指示が入力されたと判断した場合、タッチ入力検出部３１４は、Ｓ５１７で検出した操作対象画像、およびＳ５２１で実行指示された操作命令を多機能周辺装置１１０の演算処理部２０８またはホストコンピュータ２５０の演算処理部２５１に伝達する（Ｓ５２２）。

図９は、タッチスクリーン３０１に表示される表示画面の一例を示す模式図であり、ユーザーがジェスチャーパッド３００の適用ボタン８４０に触れるたことによって操作命令の実行指示を行い、操作対象画像および操作命令を示す信号が多機能周辺装置１１０の演算処理部２０８またはホストコンピュータ２５０の演算処理部２５１に伝達されて画像データ記憶部３２３に格納されている操作対象画像に上記操作命令に応じた操作が適用された後、当該操作を適用した後の画像データに基づくサムネイルのリストが画像リスト表示領域４００に表示されている状態を示している。

その後、指示入力制御部３０３は処理を続行するか否かを判断し（Ｓ５２３）、続行する場合にはＳ５１０の処理に戻る。一方、続行しないと判断した場合には処理を終了する。

なお、指示入力制御部３０３がジェスチャー記憶部３２１に記憶しているジェスチャーの中から操作対象画像（例えば選択されたサムネイル）に適用することのできるジェスチャーを抽出し、ジェスチャーパッド表示制御部３１２が抽出した各ジェスチャーのアイコンのセットあるいはライブラリーをジェスチャーパッド３００のジェスチャーアイコン表示領域３１０に表示するようにしてもよい。また、ジェスチャーの選択は、適用可能な各ジェスチャーに対応する各アイコンをジェスチャーアイコン表示領域３１０に整列して表示させた中から選択するようにしてもよく、ジェスチャーアイコン表示領域３１０に各ジェスチャーのリストを表示させてその中から選択するようにしてもよく、これらの両方の方法で選択できるようにしてもよい。また、ジェスチャー入力領域３３０に対するタッチ動作を検知した結果に基づいて入力されたジェスチャーを解釈し、解釈したジェスチャーを設定入力領域３２０に表示するようにしてもよい。これにより、リストあるいはライブラリーに登録されているジェスチャーの中からユーザーがパラメータを変更するジェスチャーを選択し、当該ジェスチャーのパラメータをユーザーが任意に変更することができる。

本実施形態によれば、例えば、ユーザーが複数の画像をスキャナーで読み取って取得したデジタル画像データに適用することにより、これら各画像の中に向きが異なるものがある場合（例えば、肖像画と風景画とが入り混じっている場合、側面が左向きである画像と側面が右向きである画像とが入り混じっている場合、スキャナーにおける読み取り時にトレイに誤った方向でセットされて不揃いのまま読み取り処理が行われたために方向の誤っている画像が含まれている場合など）であっても、ユーザーが向きの正しくない画像だけを選択し、選択した各画像を１度のジェスチャーによって正しい向きになるように回転させることができる。

なお、本実施形態において、ユーザーがスキャナーによって画像を読み込んだ後、画像に対する編集環境を提供するタッチスクリーン上にそれらの画像のアイコンあるいはサムネイルのリストと、ジェスチャーパッドとを表示させるようにしてもよい。
この場合、ユーザーは、所望する処理（例えば回転処理）を適用したい画像（操作対象画像）のアイコンあるいはサムネイルを選択し、ジェスチャーパッドのジェスチャー入力領域に触れて上記処理に対応するジェスチャーを入力する。これにより、入力されたジェスチャーに応じた処理を操作対象画像として選択された各画像に適用した結果に対応するプレビュー用サムネイルが上記タッチスクリーンに表示される。その後、ユーザーが、上記処理が施されたこれら各画像を保存するための保存コマンド（上記処理を操作対象画像に対して実行させるための実行指示）を入力するようにしてもよい。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、ジェスチャーに基づいて指示入力を行う指示入力装置に適用できる。

１００ システム
１１０ 多機能周辺装置（画像処理装置、画像読取装置、画像形成装置）
１２０，１４０，１４１ 端末装置
２０８ 演算処理部（画像処理部）
２１８，２７０ ユーザーインターフェース（指示入力装置）
２５０ ホストコンピュータ
２５１ 演算処理部（画像処理部）
３００ ジェスチャーパッド（ジェスチャーパッド画像）
３０１ タッチスクリーン（表示部）
３１０ ジェスチャーアイコン表示領域
３１１ サムネイル表示制御部
３１２ ジェスチャーパッド表示制御部
３１３ サムネイル生成部
３１４ タッチ入力検出部
３１５ ジェスチャー検出部
３１６ パラメータ設定部
３２０ 設定入力領域
３２１ ジェスチャー記憶部
３２２ ジェスチャーパラメータ記憶部
３２３ 画像データ記憶部
３３０ ジェスチャー入力領域
４００ 画像リスト表示領域
７４０ ジェスチャー入力領域

Claims (9)

1. タッチスクリーン機能を有する表示部を備え、画像データに対して適用すべき操作内容をユーザーが上記表示部の表示画面に対して当該操作内容に応じたジェスチャーで触れることによって入力する指示入力装置であって、
   画像データに対して適用可能な１または複数の操作内容と当該各操作内容の選択指示を入力するためのジェスチャーとを対応付けて記憶するジェスチャー記憶部と、
   上記ジェスチャーと当該ジェスチャーが入力されたときに当該ジェスチャーに対応する操作内容を画像データに適用する際の適用方法を示すパラメータとを対応付けて記憶するジェスチャーパラメータ記憶部と、
   上記ジェスチャーを入力するためのジェスチャー入力領域、および上記ジェスチャーに対応する上記パラメータの設定指示を入力するための設定入力領域を含むジェスチャーパッド画像を上記表示部に表示させるジェスチャーパッド表示制御部と、
   上記設定入力領域に対してパラメータの設定指示が入力されたときに当該設定指示に応じて上記ジェスチャーパラメータ記憶部に記憶している上記パラメータを変更するパラメータ設定部と、
   上記ジェスチャー入力領域に対してユーザーが入力したジェスチャー、および上記ジェスチャー記憶部に記憶されている上記各操作内容と当該各操作内容に対応するジェスチャーとの対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する操作内容を検出し、上記ジェスチャーパラメータ記憶部に記憶されている各ジェスチャーと当該各ジェスチャーに対応する操作内容を画像データに適用する際の適用方法との対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する上記適用方法を検出するジェスチャー検出部と、
   操作対象画像として選択可能な画像のサムネイルを生成するサムネイル生成部と、
   上記サムネイル生成部が生成したサムネイルを上記表示部における上記ジェスチャーパッド画像が表示される表示領域とは異なる表示領域または上記表示部とは異なる第２表示部に表示させるサムネイル表示制御部とを備え、
   上記表示部または上記第２表示部にサムネイルが表示されている画像データのうちユーザーが操作対象画像として選択した各画像データに対して、ユーザーが上記ジェスチャー入力領域に入力したジェスチャーに基づいて検出された上記操作内容および上記適用方法に基づく操作を実行させるための信号を、上記各画像データに対して上記操作を行う画像処理装置に伝達することを特徴とする指示入力装置。
2. 上記ジェスチャー入力領域に対するジェスチャーの入力が行われたときに、
   上記サムネイル生成部は、上記ジェスチャー検出部が検出した当該ジェスチャーに対応する操作内容および上記ジェスチャーパラメータ記憶部に記憶されている当該操作内容に対応する上記パラメータによって示された上記適用方法に基づく操作を、上記表示部または上記第２表示部にサムネイルが表示されている画像データのうちユーザーが操作対象画像として選択した各画像データに対して適用した場合の当該各画像データに対応するサムネイルであるプレビュー用サムネイルを生成し、
   上記サムネイル表示制御部は、上記表示部または上記第２表示部に表示している上記各操作対象画像のサムネイルを上記プレビュー用サムネイルに更新することを特徴とする請求項１に記載の指示入力装置。
3. 上記ジェスチャーパッド表示制御部は、上記ジェスチャー入力領域に対して入力された上記ジェスチャーに対応する操作を操作対象画像として選択されている各画像データに適用することの実行指示をユーザーが指示入力するための実行指示用画像を上記表示部に表示させ、
   上記実行指示用画像に対するユーザーの指示入力を検出したときに、上記実行指示に対応する操作を操作対象画像として選択されている各画像データに対して実行させるための信号を、上記各画像データに対して上記実行指示に対応する操作を行う画像処理装置に伝達することを特徴とする請求項１または２に記載の指示入力装置。
4. 上記パラメータは、上記ジェスチャーを入力する際の表示画面に対するユーザーの接触位置の軌跡の形状、向き、時間的変化パターン、またはこれらの組み合わせと、当該ジェスチャーに対応する操作を画像データに適用する際の画像データに対する操作量、操作方向、操作角度、またはこれらの組み合わせとを対応付けるためのものであることを特徴とする請求項１から３のいずれか１項に記載の指示入力装置。
5. 上記ジェスチャー記憶部には、画像データに対する回転処理を行わせるためのジェスチャーである回転処理ジェスチャーが記憶されており、
   上記ジェスチャーパラメータ記憶部には、
   上記回転処理ジェスチャーと当該回転処理ジェスチャーが入力されたときに画像データに回転処理を施す際の回転角度を示すパラメータとが対応付けて記憶されており、
   上記パラメータ設定部は、ユーザーからのパラメータの設定指示に基づいて、上記回転処理ジェスチャーを入力する際の表示画面に対するユーザーの接触位置の軌跡の形状または回転角度と、当該回転処理ジェスチャーに応じて画像データに回転処理を施す際の画像データの回転角度とを示すパラメータを変更することを特徴とする請求項４に記載の指示入力装置。
6. 上記サムネイル表示制御部は、上記サムネイル生成部が生成したサムネイルを上記表示部に表示させ、
   上記表示部に表示されているサムネイルのうちユーザーが触れたサムネイルをユーザーが操作対象画像として選択した画像データのサムネイルとして検出することを特徴とする請求項１に記載の指示入力装置。
7. タッチスクリーン機能を有する表示部を備え、画像データに対して適用すべき操作内容をユーザーが上記表示部の表示画面に対して当該操作内容に応じたジェスチャーで触れることによって入力する指示入力装置を用いて指示入力を行う指示入力方法であって、
   画像データに対して適用可能な１または複数の操作内容と当該各操作内容の選択指示を入力するためのジェスチャーとを対応付けて予め記憶するジェスチャー記憶工程と、
   上記ジェスチャーと当該ジェスチャーが入力されたときに当該ジェスチャーに対応する操作内容を画像データに適用する際の適用方法を示すパラメータとを対応付けて記憶するジェスチャーパラメータ記憶工程と、
   上記ジェスチャーを入力するためのジェスチャー入力領域、および上記ジェスチャーに対応する上記パラメータの設定指示を入力するための設定入力領域を含むジェスチャーパッド画像を上記表示部に表示させるジェスチャーパッド表示工程と、
   上記設定入力領域に対してパラメータの設定指示が入力されたときに当該設定指示に応じて上記ジェスチャーパラメータ記憶工程で記憶した上記パラメータを変更するパラメータ設定工程と、
   操作対象画像として選択可能な画像のサムネイルを生成するサムネイル生成工程と、
   上記サムネイル生成工程で生成したサムネイルを上記表示部における上記ジェスチャーパッド画像が表示される表示領域とは異なる表示領域または上記表示部とは異なる第２表示部に表示させるサムネイル表示工程と、
   上記ジェスチャー入力領域に対してユーザーが入力したジェスチャー、および上記ジェスチャー記憶工程で記憶した上記各操作内容と当該各操作内容に対応するジェスチャーとの対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する操作内容を検出し、上記ジェスチャーパラメータ記憶工程で記憶した各ジェスチャーと当該各ジェスチャーに対応する上記適用方法との対応関係に基づいてユーザーが入力した上記ジェスチャーに対応する上記適用方法を検出するジェスチャー検出工程と、
   上記表示部または上記第２表示部にサムネイルが表示されている画像データのうちユーザーが操作対象画像として選択した各画像データに対して、ユーザーが上記ジェスチャー入力領域に入力したジェスチャーに基づいて検出された上記操作内容および上記適用方法に基づく操作を実行させるための信号を、上記各画像データに対して上記操作を行う画像処理装置に伝達する工程とを含むことを特徴とする指示入力方法。
8. 請求項１から６のいずれか１項に記載の指示入力装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images