JP6221646B2 - 画像処理装置および入力受付装置 - Google Patents

Description

本発明は、例えば、タッチパネルを搭載した操作パネルを介して画像処理を実行するスキャナーや複合機などの画像処理装置および入力受付装置に関し、特に、視覚障害者による操作性を向上させる技術に関する。

近年、タッチパネルを搭載した操作パネルを備えるスキャナーや複合機などの画像処理装置が広く普及している。
このような画像処理装置では、例えば、操作パネルの表示画面に複数のアイコンを表示させて、タップされた位置に表示されているアイコンが示す機能を実行することができるように構成されている。

ところが、視覚障害者は、表示されたアイコンの視認が困難であり、タッチパネルによる操作は、事実上不可能に近い。
そこで、特許文献１に記載の仮想ポインティングデバイスでは、予めユーザーの５本の指にそれぞれ異なる機能を割り当てておき、ユーザーの片方の手の５本の指をタッチパネルに押し当てて、特定の指をタップすると、当該タップされた指に割り当てられた機能を実行する構成が提案されている。

このような構成を画像処理装置に適用して、視覚障害者のタッチパネルによる操作を可能にすることも考えられる。

特開平１０−４００１４号公報 特開２００３−０９９２００号公報 特許第４７０２９５９号公報

しかしながら、特許文献１に記載の仮想ポインティングデバイスは、予め５本の指に割り当てられている機能の内容を、操作時に確認することはできないため、視覚障害者が、５本の指に割り当てられている機能の内容を失念してしまった場合には、もはや正しく操作を行うことはできない。
本発明は、上述のような事情に鑑みてなされたものであって、視覚障害者が、各指に割り当てられている機能を失念してしまった場合であっても、操作が可能な画像処理装置および入力受付装置を提供することを目的とする。

上記目的を達成するため、本発明の第１の態様は、画像処理装置であって、二次元の検知面を有し、ユーザーの指が接触した領域を検知すると共に、当該接触した指による第１および第２のジェスチャー操作を受け付ける受付手段と、複数本の指が前記検知面に接触している場合に、各指が接触している接触領域を仮想のスイッチ領域として設定し、各スイッチ領域に画像処理に関連する機能を割り当てる割り当て手段と、第１のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能の内容を、音声によって通知する音声通知手段と、第２のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能を実行する実行手段と、操作用の複数のアイコンを表示する表示面を有する表示手段と、を備え、前記検知面は、前記表示面上に配置されており、前記割り当て手段は、前記複数本の指の前記検知面に接触している接触領域をスイッチ領域として、それぞれ画像処理に関する機能を割り当てる第１の割当処理と、前記複数のアイコンが表示されている各表示領域に対応する前記検知面上の検知領域をスイッチ領域として、それぞれ画像処理に関連する機能を割り当てる第２の割当処理とを選択的に実施し、前記第１と第２の割当処理との選択は、前記検知面に同時に接触しているユーザーの指の本数に応じて決定され、第２の割当処理が初期設定として実施され、前記検知面に対してＮ本よりも多い本数の指が同時に接触した場合に、前記第１の割当処理が選択され、Ｎは２以上の整数であって、前記割り当て手段は、前記第２の割当処理が実施されている場合であっても、２本以上Ｎ本以下の指の前記検知面への接触が所定時間以上継続している場合は、例外的に、第１の割当処理を選択することを特徴とする。

また、上記目的を達成するため、本発明の第２の態様は、入力受付装置であって、二次元の検知面を有し、ユーザーの指が接触した領域を検知すると共に、当該接触した指による第１および第２のジェスチャー操作を受け付ける受付手段と、複数本の指が前記検知面に接触している場合に、各指が接触している接触領域を仮想のスイッチ領域として設定し、各スイッチ領域に所定の処理を実行させるための機能を割り当てる割り当て手段と、第１のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能の内容を、音声によって通知する音声通知手段と、第２のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能を、実行対象として選択する選択手段、操作用の複数のアイコンを表示する表示面を有する表示手段と、を備え、前記検知面は、前記表示面上に配置されており、前記割り当て手段は、前記複数本の指の前記検知面に接触している接触領域をスイッチ領域として、それぞれ画像処理に関する機能を割り当てる第１の割当処理と、前記複数のアイコンが表示されている各表示領域に対応する前記検知面上の検知領域をスイッチ領域として、それぞれ画像処理に関連する機能を割り当てる第２の割当処理とを選択的に実施し、前記第１と第２の割当処理との選択は、前記検知面に同時に接触しているユーザーの指の本数に応じて決定され、第２の割当処理が初期設定として実施され、前記検知面に対してＮ本よりも多い本数の指が同時に接触した場合に、前記第１の割当処理が選択され、Ｎは２以上の整数であって、前記割り当て手段は、前記第２の割当処理が実施されている場合であっても、２本以上Ｎ本以下の指の前記検知面への接触が所定時間以上継続している場合は、例外的に、第１の割当処理を選択することを特徴とする。

ここで、前記機能毎に、その実行された回数を履歴として記憶する記憶手段を備え、前記割り当て手段は、前記実行された回数が多い機能から優先的に選択してスイッチ領域に割り当てることが望ましい。
または、前記割り当て手段は、特定の画像処理のジョブについて最終的な実行指示を受け付けるスイッチ領域だけは、実行された履歴に応じた割り当てを行わずに、特定の指の接触領域に固定的に割り当てることが望ましい。

もしくは、片方の５本の指が前記検知面に接触している場合に、接触した各指が、親指、人差し指、中指、薬指および小指のいずれかを判断する判定手段を備え、前記割り当て手段は、前記実行された回数が多い機能から順に、親指、人差し指、中指、小指および薬指に対応するスイッチ領域に割り当てることが望ましい。
また、前記第１および第２のジェスチャー操作は、それぞれ、タップ、ダブルタップおよびスライド動作のうちの相異なる１の操作であることが望ましい。

ここで、前記割り当て手段は、前記スイッチ領域の面積を、前記各指が検知面に接触している面積よりも所定量拡大して設定しており、前記第１のジェスチャー操作は、タップ、ダブルタップおよびスライド動作のうちの一の操作であり、前記第２のジェスチャー操作は、前記スイッチ領域の、前記第１のジェスチャー操作を行った指の接触領域以外の部分に対してなされた、他の指によるタップ動作もしくはダブルタップ動作であることが望ましい。

さらに、前記割り当て手段は、前記接触した複数の指のうち特定の２本以上の指の組に対して、当該組に固有の機能を割り当てており、前記音声通知手段は、前記特定の２本以上の組により第１のジェスチャー操作が同時になされると、当該指の組に割り当てられた固有の機能の内容を音声によって通知し、前記実行手段は、前記２本以上の指による第２のジェスチャー操作が同時になされると、前記各指に割り当てられていた機能を一時無効にして、当該２本以上の指の組に対して割り当てられた固有の機能を実行することが望ましい。

また、前記割り当て手段は、前記検知面にユーザーの指が接触していない場合、第２の割当処理を実行することが望ましい。

上記構成の画像処理装置によれば、特に視覚障害を有するユーザーが各スイッチ領域に割り当てられている機能の内容を失念した場合であっても、第１のジェスチャー操作を受け付けた場合、操作を行った指に触れたスイッチ領域に割り当てられている機能の内容が音声によって通知されるので、その機能の内容を知ることができ、さらに、第１のジェスチャー操作を行った指で、第２のジェスチャー操作を行うことにより、目的の機能を安心して実行させることができる。

本発明の実施の形態に係る画像処理装置としての一例の複合機を示す外観斜視図である。 操作パネルの構成を説明するための図である。 制御部の構成と、これの制御対象となる主構成要素との関係を示すブロック図である。 上記操作パネル受付制御処理で用いられる機能対応テーブルの内容を示す図である。 上記制御部で実施される操作パネル受付制御処理で用いられる第１使用履歴テーブルの内容を示す図である。 上記操作パネル受付制御処理で用いられる第２使用履歴テーブルの内容を示す図である。 上記操作パネル受付制御処理の前半の内容を示すフローチャートである。 上記操作パネル受付制御処理の後半の内容を示すフローチャートである。 視覚障害者向け受付モードでの受付操作を説明する図である。 ジェスチャー操作（その１）を説明するための図である。 ジェスチャー操作（その２）を説明するための図である。 ジェスチャー操作（その３）を説明するための図である。

以下、本発明に係る画像処理装置の実施の形態について、カラー複合機（以下、単に「複合機」という。）を例にして図面に基づき説明する。
（１）複合機の全体構成
図１は、本実施の形態に係る複合機１の外観斜視図である。
同図に示すように、複合機１は、主な構成要素として、プリンター部１０、給紙部２０、スキャナー部３０および制御部５０を備え、プリンター部１０とスキャナー部３０の間のスペースを排紙トレイとして利用する、いわゆる胴内排紙型の複合機であって、プリンター部１０上部には、操作パネル４０が取着されている。

複合機１は、ネットワーク（例えばＬＡＮ）に接続されており、外部端末（不図示）からのプリントジョブの実行指示を受付け、プリント処理を実行する機能を有するとともに、操作パネル４０を介して、スキャン、コピー、ファクスなどの各種ジョブの実行指示を受け付けて（以下、「操作パネル受付制御処理」という。）、これらのジョブを実行するものである。

ここで、スキャナー部３０は、原稿載置台３１上にセットされた原稿を１枚ずつ繰り出して搬送し、その原稿画像を読み取って画像データを生成する（スキャン）。
プリンター部１０は、スキャナー部３０で読み取った画像データや、外部端末からプリントジョブとともに送られてくる画像データに基づいて、給紙部２０から搬送されてくる記録シートに印刷する（コピー、プリント）。

給紙部２０は、給紙カセットに収容された記録シートを、一枚ずつ繰り出してプリンター部１０へとタイミングを計って搬送する。
制御部５０は、これらプリンター部１０、給紙部２０、スキャナー部３０および次に説明する操作パネル４０を統括的に制御する。
（２）操作パネルの構成
図２は、操作パネル４０の構成を説明するための図である。

同図に示すように、操作パネル４０は、初期設定を行う初期設定キー４１１などを含む複数のボタンからなるハードキー部４１、液晶表示部４２、タッチパネル４３および音声通知部４４などで構成されている。
液晶表示部４２は、ＬＣＤ（Liquid Crystal Display）の裏面にバックライト光源を配してなり、制御部５０により表示制御されて、例えば、スタート、コピー、スキャン、プリント、カラー／モノクロの切り替え、コピー倍率の設定、用紙選択などの各種仮想ボタンを備える操作画面を表示するほか、ジョブの実行状況や実行履歴、エラー発生時にはエラー内容を示すメッセージを表示させる。

タッチパネル４３は、例えば、投影型静電容量方式などの多点の検出が可能な透明なタッチパネルであって、液晶表示部４２の表示面に積層されており、制御部５０は、タッチパネル４３を介してユーザーによる設定入力（タッチ入力）を受け付ける。
音声通知部４４は、スピーカーであり、制御部５０から出力される音声信号を音声に変換する。
（３）制御部の構成
図３は、制御部５０の構成と、これの制御対象となる主構成要素との関係を示すブロック図である。

制御部５０は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、通信Ｉ／Ｆ部５４、画像データ記憶部５５、第１使用履歴記憶部５６および第２使用履歴記憶部５７などを備える。
ＣＰＵ５１は、プリンター部１０、給紙部２０、スキャナー部３０および操作パネル４０を制御するためのプログラムを実行する。

本実施の形態に係る複合機１では、上述の操作パネル受付制御処理において、健常者から操作指示を受付ける健常者向け受付モードと、視覚障害者から操作指示を受付ける視覚障害者向け受付モードとを有している。
ここで、健常者向け受付モードとは、ユーザーが、液晶表示部４２に表示されるアイコンを確認しながら、タッチパネル４３へのタッチ操作により、タッチされた箇所に表示されているアイコンが示す機能を実行する公知の受付モードを意味する。

また、視覚障害者向け受付モードとは、全盲の人でも操作を行えるように、ユーザーがタッチパネル４３上のタッチした指の接触領域を、所定の機能を実行する仮想のスイッチとなる領域（以下、「スイッチ領域」という。）として設定して、音声案内を行いつつユーザーから操作指示を受付けるモードである。
ＣＰＵ５１は、操作パネル４０を制御する処理の一環として、このような操作パネル受付制御処理を実行する。詳細な内容については、後述する。

ＲＯＭ５２は、ＣＰＵ５１により実行される各種プログラムや液晶表示部４２で表示すべき画像データを格納するストレージであり、操作パネル受付制御処理を実行するためのプログラムおよび当該処理を実行する際に参照するテーブル（以下、「機能対応テーブル」という。）１９０も格納されている。
このテーブルは、視覚障害者向け受付モードにおいて、各指に対応する機能が決定された後、それらの指のジェスチャー操作に対応して実行される下層の機能もしくは動作が登録されているものである。

図４は、機能対応テーブル１９０の構成を示す図である。
左から１番目の列１９１には、視覚障害者向け受付モードにおいて実行可能な機能が示されている。
左から２番目の列１９２には、タップ動作が行われたときに実行される機能の内容が示されている。

左から３番目の列１９３には、ダブルタップ動作が行われたときに実行される機能の内容が示されている。
ここで、列１９２および列１９３において、「読み上げあり」と示されているのは、他の機能とは違い、タップ動作やダブルタップ動作を繰り返すことによって、複数の選択肢の中から１つの機能を選択し、実行するものであるため、１つの動作が行われるたびに、現在どの機能が選択されているのかを、音声で通知することを意味している。

左から４番目の列１９４には、ユーザーがスライド動作を行ったときに、各機能の内容を音声で通知するための音声データ１〜９が格納されている。
図３に戻って、ＲＡＭ５３は、ＣＰＵ５１がプログラムを実行するときのワークエリアである。
通信Ｉ／Ｆ部５４は、ＬＡＮに接続するためのＬＡＮカード、ＬＡＮボードといったインターフェースである。

画像データ記憶部５５は、通信Ｉ／Ｆ部５４を介して外部端末から送られてきた、印刷用の画像データおよびスキャナー部３０で読み取った画像データを記憶する。
また、第１使用履歴記憶部５６および第２使用履歴記憶部５７は、いずれも視覚障害者向け受付モードで受付けられた操作指示により実行された機能の使用履歴を登録するテーブルが記憶される。

このうち第２使用履歴記憶部５７は、操作の開始から最終的なジョブ処理の指示が完了するまでの間に、タッチパネルから何らかの操作があれば、該当するテーブルの使用回数をそのたびに更新されるが、第１使用履歴記憶部５６は、上記第２使用履歴記憶部５７における更新内容を参照し、ジョブ指示が完了するまで同一機能に対する同種の操作が何回行われても実質的な使用回数を１回とみなすと共に、最終的なジョブ指示が完了した後に、使用履歴が更新されるようになっている。例えば、図４の機能対応テーブルにおいて、「倍率」という機能が選択された後、最終的に目的の倍率が決定されるまで何回がタップ操作されたとしても、倍率が１回行われたとして履歴を更新することにより、操作者の意図に即した実質的な使用履歴が残されるように構成されている。

図５は、第１使用履歴テーブル１６０の内容の一例を示す図である。
左から１番目の列１６２には、複合機１の製品納品時から現在までの視覚障害者向け受付モードで受け付けた機能毎の実行回数が示されている。
また、左から２番目の列１６３には、視覚障害者向け受付モードにおいて実行指示された機能の内容が示されている。

ここで、機能の内容とは、例えば、スタート、枚数設定、リセット、２ｉｎ１、倍率、両面／片面の切り替え、カラー／モノクロの切り替え、ストップ、用紙の選択などのことである。
また、左から３番目の列１６４には、視覚障害者向け受付モードにおいて実行された機能について、実行回数が多いほど、高順位となるようにランク付けされた値が示されおり、本第１使用履歴テーブル１６０では、この値が昇順となるように各行のデータが並び替えられている。

本実施の形態に係る複合機１では、タッチパネル４３が複数本の指で同時に触れられた場合、このユーザーが視聴覚障害者であると推定して、健常者向け受付モードから視覚障害者向け受付モードに切り替えて、各指が置かれているタッチパネル４３上のスイッチ領域に、列１６３に示されている機能を割り当てている。
左から４番目の列１６５は、これらのスイッチ領域のいずれに、列１６３に示された機能を割り当てるのかを定義するものであって、本実施の形態では、例えば、使用頻度の高い順に、一番右側に位置するスイッチ領域から割り当てるようにしている。

図６は、第２使用履歴テーブル１７０の構成を示す図である。
第２使用履歴テーブル１７０は、同図に示すように、第１使用履歴テーブル１６０とほぼ同様のテーブルであって、左から１列目に、視覚障害者向け受付モードにおいて操作中のユーザーによって実行された機能毎の実行回数を記憶する列１７１が新たに追加されている点と、第１使用履歴テーブル１６０の列１６５に相当するものが存在しない点が、第１使用履歴テーブル１６０と異なっている。

第２使用履歴テーブル１７０の左から２番目以降の列１７２、列１７３および列１７４は、それぞれ第１使用履歴テーブル１６０の列１６２、列１６３および列１６４列と同様であるため、説明を省略する。
なお、この第２使用履歴テーブル１７０は、いずれかの機能が実行されると、制御部５０により、列１７１、列１７２および列１７４の該当する値が更新されるようになっている。

（４）操作パネル受付制御処理
以下、本実施の形態に係る操作パネル受付制御処理の内容について説明する。
図７および図８は、それぞれ制御部５０で実行される操作パネル受付制御処理の内容の前半と後半を示すフローチャートである。
この制御は、複合機１全体の動作を制御するメインフローチャート（不図示）のサブルーチンとして実施される。

まず、図７のステップＳ１０１において、ＣＰＵ５１は、液晶表示部４２のアイコンが表示されている領域の直上のタッチパネル４３の領域を、機能を実行させるスイッチとなる領域（以下、「スイッチ領域」という。）として設定し、当該スイッチ領域に当該アイコンが示している機能を割り当てる（ステップＳ１０１）。
このような割り当てが可能となっているのは、ＣＰＵ５１が、液晶表示部４２のアイコン表示の制御を行っており、現在表示中のアイコンが液晶表示部４２の表示面における２次元座標上のどこに位置しているのかを把握すると共に、当該２次元座標とタッチパネル４の２次元座標との対応関係を把握しているか、もしくは、双方の２次元座標の共用化が図られているからである。例えば、共用化が図られている場合、アイコンが表示されている２次元座標で示される領域と、当該アイコンが示している機能との組をテーブルとして記憶することで、上記の割り当てが行われるものである。

操作パネル受付制御処理の最初にステップS１０１の処理を行っているのは、操作頻度の高い健常者向け受付モードによる操作の受け付けを基本としているからである。
次に、ＣＰＵ５１は、タッチパネル４３にユーザーの指が触れているか否かを判定し、タッチパネル４３にユーザーの指が触れている場合（ステップＳ１０２：ＹＥＳ）、その指の数が３つ以上であれば（ステップＳ１０３：ＹＥＳ）、本ユーザーが視覚障害者であると推定して、第１使用履歴記憶部５６に格納されている第１使用履歴テーブル１６０を参照し（ステップＳ１０４）、このテーブルに従って、例えば、今までに実行された機能のうち実行頻度の高いものから順に、タッチパネル４３上の本ユーザーの指が接触している各領域の右側から左側へと順に割り当てて行く（ステップＳ１０５）。

本実施の形態では、操作者が、左手の指がタッチパネル４３に触れて操作することを前提としている。図９は、左手の５本の指がタッチパネルに接触した場合における、機能割当ての例を示す図である。
ＣＰＵ５１は、第１使用履歴テーブル１６０の列１６５（図５参照）に示されている使用頻度順に従い、ユーザーの各指が触れているスイッチ領域２０１、スイッチ領域２０２、スイッチ領域２０３、スイッチ領域２０４およびスイッチ領域２０５の順に、右側から、スタート、枚数、リセット、２ｉｎ１および倍率の順で、各機能を実行させるためのスイッチとして機能する領域（以下、「スイッチ領域」という。）を割り当てる。

通常、日本人は、親指から数を数える習慣があり、本実施の形態のように左手で操作する場合には、親指のある位置（右端）から、使用頻度が高い機能を並べると、視覚障害者が期待する機能が直感的に操作し易くなり、ユーザーフレンドリー性が向上する。
なお、このような割り当てを実行するに当り、ステップＳ１０１において健常者向け受付モード用に割り当てられていたスイッチ領域の機能は、無効にされる。

そして、ＣＰＵ５１は、前回、タッチパネル４３の検出状況に変化が生じてからＭ秒以内に、ユーザーの指の接触状況に何の変化も生じない場合には（ステップＳ１０６：ＮＯ）、健常者のユーザーが、無意識のうちに手をタッチパネル４３に添えていることも考えられるので、その場合には、もう一度初めから操作パネル受付制御処理をやり直すために、メインフローチャートにリターンし、メインフローチャートが循環して操作パネル受付制御処理を実行する際に、ステップＳ１０１以降の処理を再び実行する。

ここで、Ｍ秒の具体的値は、例えば、３ｓｅｃ〜５ｓｅｃに設定されている。
一方、ユーザーの指がタッチパネル４３に触れてからＭ秒以内に、ユーザーの指の接触状況に変化が生じた場合には（ステップＳ１０６：ＹＥＳ）、ユーザーが視覚障害者向け受付モードで操作しているものと考えられるので、図８のステップＳ１０７に移って、当該接触状態の変化がスライド動作（第１のジェスチャー操作）か否かを判定する。

このスライド動作は、例えば、次のようにして検出される。
即ち、ＣＰＵ５１は、所定時間内において、タッチパネル４３におけるタッチ位置の２次元座標値を所定のサンプリング周期で取得し、これらの２次元座標値を参照して、当該位置が移動していればスライド操作であると判定する。
スライド動作であれば（ステップＳ１０７：ＹＥＳ）、スライドした指に対応するスイッチ領域に割り当てられた機能の内容を音声で通知し（ステップＳ１０８）、図７の１０６に戻って、再びＭ秒以内にタッチ状態に変化があるか否かを判定する処理を実行する。

また、上記指の接触状況の変化がスライド動作によるものでなく（ステップＳ１０７：ＮＯ）、ダブルタップ動作（第２のジェスチャー操作）によるものでもなく（ステップＳ１０９：ＮＯ）、タップ動作によるものでもない場合には（ステップＳ１１０：ＮＯ）、装置が想定されている以外の操作が行われたことを示すエラーメッセージを音声で通知して（ステップＳ１１１）、ステップＳ１０６以降の処理を実行する。

また、上記指の接触状況の変化がタップ動作（第２のジェスチャー操作）によるものである場合（ステップＳ１０７：ＮＯ、ステップＳ１０９：ＮＯ、ステップＳ１１０：ＹＥＳ）、ＣＰＵ５１は、機能対応テーブル１９０を参照して、当該タップ動作を実行した指が触れているスイッチ領域のタップ動作に割り当てられている機能を選択すると共に、第２使用履歴テーブル１７０における当該機能の操作回数Ｎの値（図５の列１７１参照）を１だけインクリメントし（ステップＳ１１２）、さらに、操作回数Ｎの値が０から１に更新されたときにだけ、この機能に対応する使用回数Ｑ（図５の列１７２参照）の値を１だけインクリメントする（ステップＳ１１３）。

ここで、タップ動作の検出は、所定時間内において、タッチパネル４３におけるタッチ位置の２次元座標値を所定のサンプリング周期で取得し、タッチ位置が検出されない期間が１回だけ生じた場合、タップ操作であると判定し、また、タッチ位置が検出されない期間が２回だけ生じた場合には、ダブルタップ操作であると判定する。
このように、操作回数Ｎの値が０から１に更新されたときにだけに、使用回数Ｑの値をインクリメントしているのは、例えば、倍率を設定する場合などでは、ユーザーの所望する倍率に設定するために、同じ指で複数回タップ動作が繰り返されることになるので、その度に回数Ｑの値をインクリメントすると、他の機能よりも過剰に回数がカウントされてしまい、本来取得したい機能別の使用頻度の情報が正しく得られなくなるからである。

また、上記指の接触状況の変化がスライド動作によるものでなく（ステップＳ１０７：ＮＯ）、ダブルタップ動作によるものであると判定されれば（ステップＳ１０９：ＹＥＳ）、機能対応テーブル１９０を参照して、ダブルタップ動作を実行した指に接触しているスイッチ領域のダブルタップ動作に割り当てられた機能を選択すると共に、第２使用履歴テーブル１７０における当該機能の操作回数Ｎの値（図５の列１７１参照）を１だけインクリメントし（ステップＳ１１４）、ステップＳ１１３以降の処理を実行する。

続いて、ＣＰＵ５１は、選択されている機能を実行すると共に（ステップＳ１１５）、実行された機能が、コピーやスキャンなどの画像処理を完了させる最終的な機能を実行させる「スタート」である場合には（ステップＳ１１６：ＹＥＳ）、第１使用履歴テーブル１６０の現在までに使用された回数の値（図５の列１６２参照）を、第２使用履歴テーブル１７０の現在までに使用された回数Ｑ（図６の列１７２参照）の値に更新すると共に、当該回数の大小関係が入れ替わる場合には、実行頻度の順位の値（図５の列１６４参照）およびスイッチ領域に機能を割り当てる際の右からの順番の値（図５の列１６５参照）を更新し（ステップＳ１１７）、第２使用履歴テーブル１７０の各機能に対応づけられているＮの値を全て０にリセットし（ステップＳ１１８）、不図示のメインフローチャートにリターンする。

例えば、図６に示すように、第２使用履歴テーブル１７０の「２ｉｎ１」と「倍率」の実行頻度の順位が入れ替わっている場合、第２使用履歴テーブル１７０の列１７４の順位が昇順となるように、各行が並べ替えられた上で、列１７２〜列１７４のデータを第１使用履歴テーブル１６０に上書きして更新している。
図７に戻って、ステップＳ１１９の判定において、指のタッチ数が１であれば（ステップＳ１１９：ＹＥＳ）、健常者向け受付モードでの操作が受付けられていると考えられるため、指でタップされたアイコンが示す機能を実行対象として選択し（ステップＳ１２０）、選択されている機能を実行するステップＳ１１５以降の処理を実行する。

また、指のタッチ数が２であって（ステップＳ１０３：ＮＯ→ステップＳ１１９：ＮＯ）、タッチされてからＫ秒以内に指のタッチ位置に変化がある場合には（ステップＳ１２１：ＹＥＳ）、２本の指を広げたり狭めたりすることでその場所を拡大または縮小表示するピンチ動作を行っているか否かを判定し（ステップＳ１２２）、ピンチ動作であれば（ステップＳ１２２：ＹＥＳ）、その動作の内容に応じて拡大または縮小表示を行って（ステップＳ１２３）、不図示のメインフローチャートにリターンする。

また、ピンチ動作でなければ（ステップＳ１２２：ＮＯ）、本動作の内容が特定できないため、不図示のメインフローチャートにリターンする。
一方、タッチされてからＫ秒以内に指のタッチ位置に変化がなければ（ステップＳ１２１：ＮＯ）、本ユーザーは、２本の指により視覚障害者向け受付モードの操作を行おうとしている可能性があるので、ステップＳ１０４以降の処理を実行する。

ここで、Ｋ秒の具体的値は、例えば、３ｓｅｃ〜５ｓｅｃに設定されている。
以上のように、本実施の形態における複合機１では、３本以上の指がタッチパネル４３に触れると、本ユーザーを視覚障害者であると推定して、タッチパネル４３上のユーザーの指が触れている場所に、機能を実行するためのスイッチ領域を割り当てており、指をスライドさせると、当該指が触れているスイッチ領域に割り当てられている機能が音声により通知されるため、ユーザーがスイッチ領域を割り当てられている機能の内容を失念したとしても、その内容を知ることができ、誤操作の防止が可能となる。

＜変形例＞
本発明は、上記実施の形態に限定されるものではなく、次のような変形例も考えることができる。
（１）上記の実施の形態では、各指の１つの接触領域毎に１つの機能を割り当てていたが、これに限らず、複数の指に対応づけられている接触領域の組に、当該組固有の１つの機能を割り当ててもよい。

例えば、図１１に示すように、右から２本目と３本目の指（図１１では、人差し指６２と中指６３）に対応するスイッチ領域２０２、スイッチ領域２０３の組みに、カラーモードへの切り替えの機能を割り当てても構わない。
この場合、人差し指６２と中指６３とを同時にスライドさせることにより、当該機能の内容、例えば、「２指同時にタップでカラーモードに切り替えます。２指同時にダブルタップで取り消します！」の内容が音声で通知される。

音声どおりに、人差し指６２と中指６３とを同時にタップすることで、カラーモードに切り替えることができ、また、人差し指６２と中指６３とを同時にダブルタップすることで、モノクロモードに復帰することができる。
このように２指の組み合わせで機能を指定する場合には、上記実施の形態における１つの指のスイッチ領域に割り当てられた機能を一時的に無効にする。これにより２指の組み合わせで機能を指定する際に、誤って個々の指に割り当てられた２つの機能が同時に指定されたとご認識されるのを防ぐことができる。

無論、再び１本の指で機能が指定された場合には、通常の機能の割り当ての状態に復帰する。
なお、ユーザーがタップ操作、ダブルタップ操作およびスライド操作などを同時に行おうとしても、厳密的には、僅かな時間的なずれが生じていると思われるため、コンマ数秒程度のずれが生じている操作であっても、同時に操作したものとみなす。

また、機能が割り当てられる１つの組に属するスイッチ領域の数は、２つに限らず、３つ以上であっても構わない。
（２）上記変形例（１）において、複数のスイッチ領域の組に当該組固有の機能を割り当てることにより、実行できる機能のバリエーションを増やす例を示したが、これ以外によっても、実行できる機能のバリエーションを増やすことができる。

例えば、図９において、小指６５が接触しているスイッチ領域２０５に、スイッチ領域２０１〜スイッチ領域２０４に割り当てられている機能を切り替える機能（以下、「メニュー更新機能」という。）を割り当てておけば、小指６５でタップするたびに、スイッチ領域２０１〜スイッチ領域２０４に割り当てられる機能が切り替わって、数多くの機能が実行可能となる。

このような場合であっても、機能が切り替わったスイッチ領域に触れている指でスライド動作を行うと、切り替わった機能の内容が音声で通知されるので、ユーザーは戸惑うことなく機能を実行することができる。
例えば、複合機にオプションで後処理装置を装着している場合などにおいては、設定項目が増加するため、このようなメニューの切り替え機能は有用である。

（３）上記実施の形態および上記変形例（１）および（２）では、スライド動作で音声案内ならびにタップおよびダブルタップ動作で機能を実行しているが、これに限らず、音声案内および機能を実行させるジェスチャー操作は、どのようなジェスチャー操作であっても構わない。
（４）上記の実施の形態では、視覚障害者向け受付モードでの受付操作において、片手だけを用いる場合について説明を行ったが、これに限らず、両手を用いてもよい。

例えば、１０本の指でタッチパネル４３に触れた場合には、１０本の指が触れているスイッチ領域の右から順に機能を割り当てても構わない。
（５）上記の実施の形態では、指のタッチ数が３以上である場合に、視覚障害者向け受付モードによる操作の受け付けを実施しているが（図７のステップＳ１０３参照）、これに限らない。

このようにしているのは、健常者であるユーザーが２本の指を用いてピンチ動作を行なわれることが想定されており、健常者が３本以上の指を使った操作が想定さていないためである。
しかしながら、時代とともに操作方法も変化するものと思われ、健常者が３本以上の指を使った操作方法も登場する可能性もある。

よって、健常者が操作に使用する指の最大の想定本数をＲとすると、視覚障害者向け受付モードによる操作の受付は、Ｒ本よりも多い指が、タッチパネル４３に同時に接触している場合に実施され、健常者向け受付モードによる操作の受付は、Ｒ本以内の指がタッチパネル４３に同時に接触している場合に実施されることが望ましい。
（６）上記の実施の形態では、スイッチ領域の大きさについて言及していなかったが、図９に示すように、各指に対応するスイッチ領域２０１〜２０５の面積を各指がタッチパネル４３に接触している面積よりも若干大きく設定してもよい。

その場合、隣接するスイッチ領域同士が重なり合わない程度の大きさにする必要がある。
このようにすると、例えば、図１２に示すように、左手の人差し指が触れているスイッチ領域２０２に対して、右手の人差し指１６２でタップ動作をすると、これをタップ動作と同様の操作と推定して、当該スイッチ領域に割り当てられている機能を実行することができる。

なお、ＣＰＵ５１は、通常、タップ動作の検出を、スイッチ領域における指の接触の有無を判定しているが、上述のような動作を検出する場合は、スイッチ領域における指の接触面積の増減を判定する必要がある。
（７）上記の実施の形態では、実行頻度の高い機能を、単に、スイッチ領域の右側から割り当てていたが、これに限らない。

例えば、図９に示すように、片方の手の５本の指がタッチパネル４３に触れている場合、各指が、親指６１、人差し指６２、中指６３、薬指６４および小指６５のいずれであるのかを特定し、実行頻度の高い機能から、指を動かし易い順、即ち、親指６１、人差し指６２、中指６３、小指６５および薬指６４が接触しているスイッチ領域へと割り当てて行くことが望ましい。

この場合、左右どちらの手かを判別する必要があるが、これには、図８に示すように、親指６１と人差し指６２の指先の間隔Ｌ１が、他の指の間隔Ｌ２〜Ｌ４よりも大きくなっていることに基づいて、間隔が広い側が右側に位置する場合は左手、間隔が広い側が左側に位置する場合は右手とする公知の判定方法を用いれば実施可能である。
（８）上記実施の形態では、実行頻度の高い機能から優先的にスイッチ領域に割り当てていたが、これに限らず、各機能をスイッチ領域に固定的に割り当ててもよい。

例えば、工場出荷の時点から、視覚障害者向け受付モードにおいて、スイッチ領域の右側（左側からでもよい）から割り当てる機能の順番が設定されており、初期設定キー４１１（図２参照）が押された場合にのみ、この順番を変更できる構成としてもよい。
この変更は、例えば、初期設定キー４１１を押すと、ＣＰＵ５１が、図４の第１使用履歴テーブル１６０を液晶表示部４２に表示し、タッチパネル４３からのユーザーの指示にもとづき、列１６５に示された、スイッチ領域に機能を割り当てる際の右からの順番を変更することにより実施される。

この場合、第１使用履歴テーブル１６０において、各機能をスイッチ領域に流動的に割り当てるために用意された列１６２および列１６４は、もはや必要ないので、本テーブルより抹消することが望ましい。
さらに、第２使用履歴テーブルも、各機能をスイッチ領域に流動的に割り当てるために必要なものなので、抹消することが望ましい。

これらの変更に伴い、図８におけるフローチャートの一部の処理が不要となるので、以下のように変更する必要がある。
即ち、ステップＳ１１２および１１４におけるＮの値をインクリメントする処理を廃止すると共に、ステップＳ１１３におけるＱの値をインクリメントする処理を廃止し、さらに、ステップＳ１１７およびステップＳ１１８を廃止する。

（９）上記実施の形態では、図７のフローチャートのステップＳ１０１に示すように、操作パネル受付制御処理のサブルーチンが実行される際、必ず健常者向け受付モードに移行しているが、これに限らない。
上述したように、操作パネル受付制御処理は、複合機１全体の動作を制御するメインフローチャート（不図示）のサブルーチンとして繰り返し実施されるものであるため、ＣＰＵ５１の負荷を軽減するため、必要に応じてモードの切り替え、即ち、スイッチ領域への機能の割り当てを行った方が望ましい。

例えば、タッチパネル４３への指のタッチを検出できなくなった時点で、次のユーザーの操作に備えて、健常者向け受付モードに移行してもよく、もしくは、ステップＳ１１９の判定が「ＹＥＳ」で、ステップＳ１２０へと移行する間で、ステップＳ１０１の処理、即ち、液晶表示部４２のアイコンが表示されている領域の直上のタッチパネル４３の領域に、スイッチ領域を割り当ててもよい。

（１０）上記実施の形態では、タップやダブルタップなどの操作（第２のジェスチャー操作）の少なくとも１つを行うことにより、例えば、倍率の設定を変更するという機能を実行したり、タップ操作のみでリセットを選択する機能を実行しているが、このように、１つスイッチ領域に割り当てられた機能を実行させる操作（第２のジェスチャー操作）は、１種類でも２種類でもよく、また、３種類以上であっても構わない。

（１１）上記実施の形態では、タッチパネル４３の下方に液晶表示部４２が設けられている例を示したが、これに限らない。
視覚障害者は、そもそも液晶表示部４２の表示を必要としないため、タッチパネル４３の下方に液晶表示部４２がない構成、例えば、複合機１の筐体の外面にタッチパネルを形成して、これをタッチ操作する構成であっても構わない。

（１２）上記実施の形態では、画像処理装置の一例として、複合機１の構成について、説明したが、これに限らず、操作パネル４０と同様の操作パネルを有するスキャナーであってもよい。
また、上記実施の形態および各変形例は可能な限り組み合わせてもよい。

本発明は、例えば、入力受付装置および画像形成装置や画像読取装置などの画像処理装置の操作性を向上させる技術として好適である。

１ 複合機
１０ プリンター部
２０ 給紙部
３０ スキャナー部
３１ 原稿載置台
４０ 操作パネル
４１ ハードキー部
４２ 液晶表示部
４３ タッチパネル
４４ 音声通知部
５０ 制御部
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ部
５５ 画像データ記憶部
５６ 第１使用履歴記憶部
５７ 第２使用履歴記憶部
１６０ 第１使用履歴テーブル
１７０ 第２使用履歴テーブル
１９０ 機能対応テーブル
２０１ スイッチ領域
２０１ 領域
２０１〜２０５ スイッチ領域
４１１ 初期設定キー

Claims (9)

1. 二次元の検知面を有し、ユーザーの指が接触した領域を検知すると共に、当該接触した指による第１および第２のジェスチャー操作を受け付ける受付手段と、
   複数本の指が前記検知面に接触している場合に、各指が接触している接触領域を仮想のスイッチ領域として設定し、各スイッチ領域に画像処理に関連する機能を割り当てる割り当て手段と、
   第１のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能の内容を、音声によって通知する音声通知手段と、
   第２のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能を実行する実行手段と、
   操作用の複数のアイコンを表示する表示面を有する表示手段と、を備え、
   前記検知面は、前記表示面上に配置されており、
   前記割り当て手段は、
   前記複数本の指の前記検知面に接触している接触領域をスイッチ領域として、それぞれ画像処理に関する機能を割り当てる第１の割当処理と、
   前記複数のアイコンが表示されている各表示領域に対応する前記検知面上の検知領域をスイッチ領域として、それぞれ画像処理に関連する機能を割り当てる第２の割当処理とを選択的に実施し、
   前記第１と第２の割当処理との選択は、前記検知面に同時に接触しているユーザーの指の本数に応じて決定され、
   第２の割当処理が初期設定として実施され、前記検知面に対してＮ本よりも多い本数の指が同時に接触した場合に、前記第１の割当処理が選択され、
   Ｎは２以上の整数であって、前記割り当て手段は、前記第２の割当処理が実施されている場合であっても、２本以上Ｎ本以下の指の前記検知面への接触が所定時間以上継続している場合は、例外的に、第１の割当処理を選択する
   ことを特徴とする画像処理装置。
2. 前記機能毎に、その実行された回数を履歴として記憶する記憶手段を備え、
   前記割り当て手段は、前記実行された回数が多い機能から優先的に選択してスイッチ領域に割り当てることを特徴とする請求項１に記載の画像処理装置。
3. 前記割り当て手段は、
   特定の画像処理のジョブについて最終的な実行指示を受け付けるスイッチ領域だけは、実行された履歴に応じた割り当てを行わずに、特定の指の接触領域に固定的に割り当てることを特徴とする請求項２に記載の画像処理装置。
4. 片方の５本の指が前記検知面に接触している場合に、接触した各指が、親指、人差し指、中指、薬指および小指のいずれかを判断する判定手段を備え、
   前記割り当て手段は、前記実行された回数が多い機能から順に、親指、人差し指、中指、小指および薬指に対応するスイッチ領域に割り当てることを特徴とする請求項２に記載の画像処理装置。
5. 前記第１および第２のジェスチャー操作は、それぞれ、タップ、ダブルタップおよびスライド動作のうちの相異なる１の操作であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記割り当て手段は、前記スイッチ領域の面積を、前記各指が検知面に接触している面積よりも所定量拡大して設定しており、
   前記第１のジェスチャー操作は、タップ、ダブルタップおよびスライド動作のうちの一の操作であり、
   前記第２のジェスチャー操作は、前記スイッチ領域の、前記第１のジェスチャー操作を行った指の接触領域以外の部分に対してなされた、他の指によるタップ動作もしくはダブルタップ動作であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
7. さらに、前記割り当て手段は、前記接触した複数の指のうち特定の２本以上の指の組に対して、当該組に固有の機能を割り当てており、
   前記音声通知手段は、前記特定の２本以上の組により第１のジェスチャー操作が同時になされると、当該指の組に割り当てられた固有の機能の内容を音声によって通知し、
   前記実行手段は、前記２本以上の指による第２のジェスチャー操作が同時になされると、前記各指に割り当てられていた機能を一時無効にして、当該２本以上の指の組に対して割り当てられた固有の機能を実行することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記割り当て手段は、前記検知面にユーザーの指が接触していない場合、第２の割当処理を実行することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 二次元の検知面を有し、ユーザーの指が接触した領域を検知すると共に、当該接触した指による第１および第２のジェスチャー操作を受け付ける受付手段と、
   複数本の指が前記検知面に接触している場合に、各指が接触している接触領域を仮想のスイッチ領域として設定し、各スイッチ領域に所定の処理を実行させるための機能を割り当てる割り当て手段と、
   第１のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能の内容を、音声によって通知する音声通知手段と、
   第２のジェスチャー操作を受け付けると、当該操作を行った指に対応するスイッチ領域に割り当てられた機能を、実行対象として選択する選択手段と、
   操作用の複数のアイコンを表示する表示面を有する表示手段と、を備え、
   前記検知面は、前記表示面上に配置されており、
   前記割り当て手段は、
   前記複数本の指の前記検知面に接触している接触領域をスイッチ領域として、それぞれ画像処理に関する機能を割り当てる第１の割当処理と、
   前記複数のアイコンが表示されている各表示領域に対応する前記検知面上の検知領域をスイッチ領域として、それぞれ画像処理に関連する機能を割り当てる第２の割当処理とを選択的に実施し、
   前記第１と第２の割当処理との選択は、前記検知面に同時に接触しているユーザーの指の本数に応じて決定され、
   第２の割当処理が初期設定として実施され、前記検知面に対してＮ本よりも多い本数の指が同時に接触した場合に、前記第１の割当処理が選択され、
   Ｎは２以上の整数であって、前記割り当て手段は、前記第２の割当処理が実施されている場合であっても、２本以上Ｎ本以下の指の前記検知面への接触が所定時間以上継続している場合は、例外的に、第１の割当処理を選択する
   ことを特徴とする入力受付装置。

Images