JP4615786B2 - Image forming apparatus, program, and recording medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an equipment operating device enabling even a visually handicapped person to easily perform various operations of equipment similarly to a healthy person. SOLUTION: This device is equipped with a function control part 110 for shifting the operation of the equipment to a voice mode, when a user is recognized to be a visually handicapped person, and an operation control part 120 for controlling various operations from the user in the case of the voice mode. The operation control part 120 controls a menu control part 160 for arranging operation items of the equipment as a hierarchical menu comprising set items and function numbers corresponding thereto, and managing movement to a desired set item on the hierarchy and the selection state of the set item, an operation input part 130 for inputting the movement to the set item on the hierarchical menu or the selection operation of the user, and a sound output part 180 for informing the user of the operation result by a sound and a voice according to the movement to the set item on the hierarchical menu or the selection by the user. Consequently, the visually handicapped person can operate the equipment without using vision.

Description

【０００１】
【発明の属する技術分野】
本発明は、画像形成装置、プログラムおよび記録媒体に関し、詳細には、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらのＯＡ機器が提供する機能を１台に統合した複合機における種々の操作において、視覚障害者の使用を考慮した操作が行える画像形成装置、その画像形成装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらのＯＡ機器が提供する機能を１台に統合した複合機（以下、ＭＦＰ（Multi-Function Peripherals）という）等の装置は、取り扱う機能が多様となりテンキーや機能キーだけでは操作ができなくなったために、ディスプレイ上にタッチパネルを設け、画面には操作手順を示す文字や入力場所を示す絵等が表示され、利用者が絵に対応して予め設定された入力エリアに触れることによって入力を行うタッチパネル入力方法が広く普及している。
【０００３】
【発明が解決しようとする課題】
身体障害を持った者の社会進出を促進する意味からも、身体障害を持った者が晴眼者と同じように働けるようにオフィス環境を整備することが望ましく、特に、米国では、リハビリテーション法５０８条が２００１年６月２１日から施行され、米国連邦政府はＩＴ機器調達において障害者が利用できる機器を購入する義務があり、州政府、関連施設、民間企業にも追従の動きが出てきている。
【０００４】
上述したようなＭＦＰでは、その操作が益々複雑化する傾向にあり、ディスプレイパネルやタッチパネル等にインストラクションを表示しなければ正しく使いこなすのが困難となってきている。このため、特に視覚障害を有する者にとっては、ＭＦＰを事実上使用することが困難となっている。
例えば、視覚障害者が操作する場合、タッチパネルの有効なタッチエリアを目で確認できないため操作が困難である。操作するためには操作手順とタッチエリアの位置を予め覚えておかなければならない。しかしその装置の操作手順やタッチエリアの位置が変わった場合、利用者が覚えていた操作手順、タッチエリアの位置が無効になってしまう。
【０００５】
これを解決するために、上述のようなＭＦＰに、視覚障害者である情報を記録したＩＤカードやイヤホンを挿入することにより、視覚障害ありと判定されたとき、音声合成装置により音声ガイドを行ったり、点字出力装置を用いて点字ガイドを行ったりする装置がある。
【０００６】
一方、金融機関で用いられる現金自動支払機や現金自動預出金機などの自動取引装置のような場合には、視覚障害者である情報を記録したＩＤカードやイヤホンをその自動取引装置へ挿入することにより、視覚障害ありと判定されたとき、点字付きのキーと、任意の点字を出力する点字出力装置と、ハンドセットから音声ガイダンスを出力する機能を備え、操作誘導をハンドセットからの音声ガイダンスにより行い、取引種別の選択や金額の入力を点字付きのキーで行い、入力の結果を点字装置により出力することで、視覚障害者であっても自身の操作で取引を行えるようにしている。
【０００７】
しかしながら、晴眼者の利用者数に対して、これらの対応を必要とする障害者の利用者数が非常に少なく、その少ない利用者のためにすべての装置に障害者への対応を実施するにはコストがかかりすぎてしまう。
また、点字出力装置やハンドセットなどの装置が整っていない自動取引装置や点字出力装置やハンドセットの位置や使用方法が違う自動取引装置が同時に存在すると利用者は混乱を来してしまうことになる。
【０００８】
本発明は、上記の問題を解決するために、その装置の作製コストを抑えるとともに、視覚障害者であっても各種の操作を容易に行うことができる画像形成装置、その画像形成装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。また、本発明の他の目的は、晴眼者が視覚障害者を手助けしやすい装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の問題を解決するために、本発明の画像形成装置は、画像形成装置の機能別に、操作可能なすべての操作項目について、多階層の木構造となるように、最上層の分類から最下層の設定項目に至るまで分類した階層メニューを設定し、この木構造の分類あるいは設定項目に機能番号を割り当てるようにして、この木構造を記憶するメニュー記憶手段と、数字を指定させるテンキーと、前記テンキーによって指定された機能番号に対応する分類あるいは設定項目を、前記メニュー記憶手段から取得し、前記階層メニューの該分類あるいは設定項目へ次の操作位置を移すメニュー制御手段と、前記メニュー制御手段がメニュー上の設定項目へ次の操作位置を移すときに、移動先の設定項目および、該移動先の設定項目の下層に設定項目が存在する場合は該下層に存在する設定項目数を音声で通知し、該移動を通知する音声が同階層内での移動先設定項目を通知する場合および階層を上下移動する場合で異なるように通知する音出力手段と、を備えることを特徴とすることを特徴とする。
【００１３】
また、本発明の画像形成装置は、上記画像形成装置において、前記音出力手段で出力する音は、音声または音の高さ、音の速度、リズム、トーンや音量を変更できるようにした。
【００１４】
また、本発明の画像形成装置は、上記画像形成装置において、前記テンキーは、方向移動キーとしても用いるようにした。
【００１５】
また、本発明の画像形成装置は、上記画像形成装置において、前記音出力手段は、利用者が各設定項目に対して確認操作を行ったときに、その設定項目の情報提供を音声により通知するようにした。
【００１６】
また、本発明の画像形成装置は、上記画像形成装置において、前記音出力手段は、利用者が一括確認操作を行ったときに、利用者が前記設定項目の既定値を変更した場合、その変更した設定項目へ順次移動して、その設定内容の変化を音声により通知するようにした。
【００１７】
また、本発明の画像形成装置は、上記画像形成装置において、前記音出力手段は、利用者が階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その設定項目ごとに既定値へ戻してよいかを、音声により問い合わせるようにした。
【００１８】
また、本発明の画像形成装置は、上記画像形成装置において、前記音出力手段は、利用者が階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その階層以下にある設定項目をすべて既定値へ戻してよいかを、音声により問い合わせるようにした。
【００１９】
また、本発明の画像形成装置は、上記画像形成装置において、音声入力手段を備え、この音声入力手段から入力される利用者の音声を認識し、前記メニュー制御手段はその設定項目へ直接移動するようにした。
【００２０】
また、本発明の画像形成装置は、上記画像形成装置において、前記音声入力手段で入力する利用者の音声は、設定項目名または機能番号とするようにした。
【００２１】
また、本発明の画像形成装置は、上記画像形成装置において、視覚表示装置を備え、利用者が前記設定項目の選択を確定したときに、前記音出力手段によってその確定した動作内容を音声で通知するとともに、視覚表示装置がこのとき確定した内容を表示するようにした。
【００２２】
また、本発明の画像形成装置は、上記画像形成装置において、視覚入力装置を備え、前記視覚表示装置に表示された設定状況に対してこの視覚入力装置から入力された設定項目も前記音出力手段によってその設定状況を利用者へ通知するようにして晴眼者も視覚障害者もともに使えるようにした。
【００２４】
また、本発明のプログラムは、コンピュータを、上記画像形成装置として機能させるためのプログラムである。
【００２５】
また、本発明の記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
本実施の形態の説明では、本発明の機器操作装置をＭＦＰ（デジタル複合機：Multi-Function Peripherals）へ組み込んだもの（以下、本装置と呼ぶ）として説明する。しかし、本発明の機器操作装置の組み込み対象は、ＭＦＰに限ったものではなく、多様化した機能を有する装置であれば組み込むことで同様の効果が期待できる。
【００２８】
Ａ．本装置による操作概要
以下、本装置の操作概要を「原稿を複写するときの操作」を用いて説明する。
まず、ヘッドフォンとマイクを備えたヘッドセットを挿入することによって、本装置は視覚障害者が利用すると判断する（図１参照）。以下、晴眼者が本装置を利用するときの処理モードを「通常モード」と呼び、視覚障害者が本装置を利用するときの処理モードを「音声モード」と呼ぶことにする。また、本装置を利用する視覚障害者のことを、単に「利用者」と呼ぶことにする。
なお、視覚障害者の個人識別用、またはこれまでの操作記録などの情報を記憶した非接触型のＩＣカードを認識して、視覚障害者が利用することを判断するようにしてもよい。または、特定のキーを押下することによって、視覚障害者が利用することを認識するようにしてもよい。
【００２９】
次に、本装置の操作部の「ＣＯＰＹ」機能キー（図２参照）を押すことによって、ヘッドフォンから「複写機の操作ができるようになりました」を音声で利用者へ知らせる。
また、本装置は、複写機やファクシミリ装置等の装置ごとに、あらかじめ操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層を持った単一のメニューを作成しておく。例えば、今説明している複写機の機能は、図３および図４（これらの機能分類は一部分を示したに過ぎない）に示すような階層に分類される。
【００３０】
利用者は、操作部の方向移動キーあるいはそれに代用可能なキー（以下、方向移動キーという）を用いて、この階層メニューの階層をたどって所望の設定項目に移動し、これを選択するという操作を繰り返して所望の設定を完了した後にスタートキーを押下することによって、原稿の複写が作成される。
利用者による階層メニューの操作過程で、選択対象の機能説明や現在までの設定内容の説明を本装置から利用者へ音声、音やＢＧＭ（Back Ground Music）によってフィードバックすることで、本装置の操作部の表示画面を見たり、タッチパネルからの入力をしなくても操作可能となる。ここで音声、音やＢＧＭを、リズムの遅速、音程の高下、設定項目の種類や処理状況および階層の深さ等に応じて変化させて出力する。
【００３１】
また、この方向移動キーによる選択過程を操作部の画面の遷移とほぼ対応付けるようにし、かつ、操作部のタッチパネルからの入力指示も併用可能にしておくことによって、操作部のタッチパネルからの操作も方向移動キーからの操作も平行して行えるので、晴眼者が利用者を介助することができる。また、利用者が弱視であれば、音声モードで操作中に通常モードの操作も使えるので便利である。
【００３２】
Ｂ．本装置における操作の詳細
（１）メニューの構造
本発明の装置で扱う複写機、ファクシミリ装置、プリンタ装置、スキャナ装置、ＮｅｔＦｉｌｅ装置等の装置ごとに、操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層の木構造を持った単一のメニューを作成する。
例えば、「変倍」、「両面」のようなまだ細目の設定項目があるような場合には、それをサブグループ名としてまとめ、そのサブグループの下にさらに「等倍」、「拡大」、「縮小」等選択すべき設定項目を配置し、その設定項目が「１１５％」、「８７％」といった最終的な１つの設定項目になるまで細分化する。
【００３３】
この階層メニュー上の項目の種類として、次にあげたようなものがある。
・同階層中にひとつだけ選択できる選択項目
例えば、「拡大」の選択項目の下の「１１５％」か「１２２％」等
・機能のＯＮ／ＯＦＦをトグルことができるトグル項目
例えば、フィニッシャーのソートするか否か等
・数値を設定できる数値項目
例えば、複写する部数等の場合には、その項目を選択後テンキーによって数値を入力する。
・何らかの動作を始動する動作項目
例えば、ファクシミリ装置に登録されている宛先リストの作成等
【００３４】
例えば、複写機の場合、先ず、図３および図４のように、第一階層の操作項目を（部数、原稿、用紙、変倍、両面・集約・分割、フィニッシャー）とし、それぞれ第二階層、第三階層等に細分化しておく。
また、この図３にあるように、各階層の設定項目にはそれぞれ数字が対応しており、この数字を指定することによって、各階層をたどらなくても直接その設定項目を選択することができる。以下、この数字のことを「機能番号」という。
【００３５】
（２）メニュー操作方法
次に、上述したような階層メニューの操作方法について説明する。
図２は、本装置が備えている操作部の模式図である。図２おいて、操作部は複写、ファクシミリ、プリンタ、スキャナ、ネットファイル等の各機能を選択する機能キー、操作状態やメッセージを表示する画面とその画面上で各種の設定項目を選択するタッチパネル、方向移動キーまたはそれを代用可能なキー、数字等を入力するテンキーとスタート／ストップキー、並びに設定確認キーを備えている。
上述した階層メニュー上に配置された設定項目を移動・選択操作するには、方向移動キーあるいはそれに代用可能なキーを用いるが、以下の説明ではテンキーを代用して用いることにする。図６は、テンキーごとに割り当てられた機能を示している。
【００３６】
即ち、階層の上下移動をテンキー中の垂直方向に配置されたキーの押下によって行い、同階層の隣接項目をテンキー中の水平方向に配置されたキーにより行う。
図６では、キー「２」を押下することによって階層を上にたどり、キー「８」を押下することによって階層を下にたどる。また、キー「４」を押下することによって同階層を左にたどり、キー「６」を押下することによって同階層を右にたどる。尚、上記のこの逆に方向移動キーを割り当てるようにしてもかまわない。
【００３７】
利用者が階層メニューの下層へ移動を指示したときに、下層の設定項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法で次の設定項目へ移動する。
・下層の最初の項目に移動する。
どれが既定値というわけでもない場合、例えば、原稿の種類を選択するときに使用する。
・下層の現在選択されている項目に移動する。
例えば、その下層の設定項目に、既に設定がなされた項目があれば、その項目以降の設定の続きかまたはその項目の内容を修正するために、その既に設定がなされた項目へ移動する。
・下層の既定項目に移動する。
例えば、濃度設定の場合には、「薄い、普通、濃い」の選択項目があるが、一般に、既定値として「普通」を設定しているが、その既定値へ移動する。
【００３８】
また、利用者が水平方向の移動キーを操作して、同階層の設定項目を移動する時には、その端の設定項目の次は反対の端の設定項目に移動し、循環的な移動を行う。常に一定方向へ移動することによって、自分の選択したい項目を見つけることができる。しかし、利用者は、この階層の設定項目数がどの程度なのかを把握することができず、メニュー上で迷子になってしまう可能性が高い。
または、この循環移動を行わず、端にきたときそれ以上は移動しないようにしてもよい。この場合には、選択しそこなったときに、反対方向に移動キーを押さなくてはならないが、選択項目がどの程度あるかを把握することはできる。
【００３９】
さらに、利用者が設定の途中でどの階層にいるか分からなくなった場合や、最初から選択しなおしたいときには、例えば、キー「１」を押下することによって、どの階層からでもトップの階層（図３の例では、第一階層の「部数」）へ戻れるようにする（図６参照）。この場合、それまでに選択された設定項目は、本装置によって記憶しておき、移動キーや確認キーによって、その途中まで設定のため選択された項目へ移動することができる。
【００４０】
また、利用者が直接設定したい設定項目へ移動することができる。
例えば、キー「０」を押下することによって、数値を入力することができ、そこで直接移動したい設定項目につけられている機能番号を入力する。
例えば、キー「０」の押下に続いて、「４３５」をテンキーによって数値入力すると、本装置は「変倍」→「縮小」→「７１％」が選択されたものと判断する（図３、図４参照）。
この機能番号は、最下層の設定項目ではなく、中間の階層の設定項目であってもよい。
【００４１】
また、上記のようなキー「０」によって直接設定したい項目の機能番号を入力するのではなく、キー「９」を押下して、利用者が「機能番号」や「設定項目名」を発声し、それを本装置が認識し、その項目へ直接移動する。
【００４２】
また、部分クリアキー（キー「７」に割り当てる）を押すことによって、階層メニュー上の現在いる階層から下層にある既定値を変更した設定項目の値を既定値に戻すことができる。設定値を戻す際、設定項目ごとに問い合わせて、戻してよいものだけを既定値へ戻すようにする。または、既定値を変更した設定項目すべてについて戻してよいかを問い合わせるようにしてもよい。
例えば、現在階層メニューの「フィニッシャー」のところにいる場合は、それ以下の設定「ソート／スタック」、「ステープル」、「パンチ」で既定値を変更した場合には、その設定値をクリアして既定値へ戻す。
【００４３】
さらに、利用者が今までにどのような設定項目を選択したのかを知るために、「設定確認」キーを押下することにより、利用者が既定値から設定を変更した設定項目へ順次移動することができ、その設定値を変更できる。
【００４４】
上記のように設定すべき項目を選択または数値入力が終了したとき、その設定項目を確定するためにキー「＃」を押下する。これにより本装置は、確定された設定項目の内容を操作部の画面へ表示する。
【００４５】
また、このようにして設定したものをＩＣカードに操作名を付けて記憶させておくことにより、次回からそのＩＣカードから操作名を指定して操作内容を読み取ることにより同じ操作を一々設定しなおさなくても実行できる。
【００４６】
（３）操作結果の動作音、音アイコンおよびＢＧＭによる利用者へのフィードバック
上述したようにテンキーを用いて階層メニュー上に配置された設定項目を移動・選択操作を行う際に、本装置は次に示すような動作の結果の確認を利用者へ動作音、音アイコンおよびＢＧＭ（background music）で通知する。
ここで音アイコンは、対象物の性質を示す静的な情報であって、設定項目のタイプを弁別する目的で音色の異なる動きのない音（短い単音）のことを言う。
【００４７】
また、動作音は、動作結果のイメージを助ける目的で同一音色の異なる動き（和音やごく短い旋律）のことを言い、動作と音楽理論上の音の意味付けを対応させる。例えば、階層上の上昇や下降にはそれぞれ上昇音形、下降音形を、行き止まり（移動の失敗）には不安感を感じさせる増４度の不協和音を、選択・確定には解決を意味するドミナントモーションを使う。
このように利用者へ動作イメージをわかせるような動作音、設定項目のタイプを示す音アイコンやＢＧＭで通知することにより、利用者が今どのような状態かを認識でき、確実に入力したかまたは操作が完了したかどうかの不安を低減することができる。
【００４８】
また、階層の上下への移動を通知する動作音をそれぞれ用意し、利用者の上下の階層へ移動する際にその動作音を出力することによって、階層を上下したことを知らせる。この動作音は、上記の設定項目の音アイコンとは異なるものとする。また、このときのＢＧＭも、例えば、上層階層ではゆっくりした調子のＢＧＭとし、下層に行くにしたがって早い調子のＢＧＭとするようにすれば今どの辺の階層にいるのかを認識できる。
このとき、移動先の下層に設定項目があるか否かを動作音で出力することによって、移動できないことを利用者へ知らせることができる。また、移動先の下層にいくつの設定項目を持つかを動作音で利用者へ知らせることができる。
【００４９】
また、本装置で同階層の循環的移動が設定されていない場合には、水平方向へ移動を指示したとき、それ以上移動する項目がないときには、「行き止まり」の動作音で利用者へ知らせる。さらに、階層の上下方向の「行き止まり」に対しても動作音で利用者へ知らせる。
また、トップへ移動、水平方向へ移動、直接移動や音声認識等のキーを押下したときに、その選択動作を確認する動作音を出力することによって、利用者は確実に操作が受け付けられていることを認識できる。
【００５０】
また、コピーの部数を入力するような数値入力の場合にも、その数値入力が終了するまでＢＧＭを流すことによって、数値入力を行っていることを確認できる。
【００５１】
また、動作中に本装置の状態、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いています」等を音声によって利用者へ通知する。このような状態がすぐ解消できないような場合には、その音声が途切れてしまえばその状態はつかめなくなる。例えば、コピー動作を行っている間、本装置から利用者が離れていたときに「紙詰まりになった」場合には、この音声だけでは利用者にはわからない。しかし、音声の後にＢＧＭを流しておけば、このような状態でも利用者に認識できる。
【００５２】
また、利用者が４０部のコピーを指定したときに、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流しておき、利用者はそのＢＧＭのどの辺を聞いたかによって、どのくらいまでコピーが進んだかを知ることができる。
【００５３】
（４）操作結果の音声による利用者へのフィードバック
上述したようにテンキーを用いて階層メニュー上に配置された設定項目を移動・選択操作を行う際に、本装置は音声でヘッドセットのヘッドフォンから出力することにより、利用者へ動作結果の確認を行う。このように音声で通知することにより、その入力および操作結果が確実になされたかを利用者が認識することができ、不安を低減することができる。
【００５４】
各設定項目に移動したときにその項目を識別するための所定の内容の音声フィードバックを行うことによって、利用者がどの設定項目に移動したかを認識できる。
また、移動の際、ある設定項目の下層にさらに設定項目があるか、また、いくつの項目を持つかを音声で利用者へフィードバックする。
例えば、「拡大」や「１１４％」等の設定項目へ移動したときには、その項目名を読み上げる。
【００５５】
部分クリアキー（キー「７」）が押されたときには、階層メニュー上の現在位置から下層にある設定項目に対してなされた設定変更を読み上げて既定値へ戻してよいか音声で問い合わせる。
このとき、いちいち設定された設定値を既定値へ戻すかどうかを問い合わせるのではなく、すべての下層にある設定項目について既定値へ戻してよいかを問い合わせ、ＯＫであれば一度に既定値へ戻すようにしてもよい。
【００５６】
現在操作移動キーでどの設定項目にいるのかを、例えばキー「５」を押下することにより、その設定項目に対する情報提供を所定の内容の音声によりフィードバックする。その情報としては、例えば、その設定項目の名前や機能番号等がある。用紙をＡ４横に設定確定した後、キー「５」を押下すると、「用紙はＡ４横に設定されています」と音声フィードバックされる。
【００５７】
設定項目の選択が終了し、例えばキー「＃」にて確定操作が行われたときに、その確定された動作内容を説明する所定の内容の音声フィードバックを行う。
例えば、「拡大」で「２００％」を選択・確定したときは、「変倍は拡大２００％に設定されました」という内容の音声フィードバックがある。
【００５８】
「設定確認」キーが押下されたとき、現在の階層メニュー上の設定項目（中間階層を含めて）より下にある利用者が既定値から設定を変更した設定項目をまとめて音声で読み上げて利用者へ通知する。
このとき、一時にすべての設定項目を音声フィードバックするのではなく、１つの設定項目につき音声フィードバックし、その設定項目に誤りがあれば修正し、移動キーを操作させて次の変更されている設定項目に移動し、最後はキー「＃」を押下して最終確定とするようにしてもよい。
また、今までに既定値から変更した設定項目をすべて知りたいときには、一旦キー「０」で階層メニューのトップへ移動してから、この「設定確認」キーを押すことにより一括確認できる。
【００５９】
各設定項目に設定が完了し、スタートキーを押下することによって、この設定に対する動作が終了したときに、その成否を知らせる所定の内容の音声フィードバックを行う。
例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
【００６０】
また、操作中や動作中に本装置の状態を、動作音の後に、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等と上述した設定項目の操作時の音声とは異なる話者の音声によって利用者へ通知する。
【００６１】
上述した音声フィードバックによる音声の音の高さ、音量、リズム、トーンや話速を変化させるつまみを用意することによって、利用者に聞き取りやすい音声出力とすることができる。
また、音声フィードバックの終了を待たずに、次のキー操作がなされた場合には話速を自動的に早くすることによって、利用者のイライラ感をへらすことができる。
【００６２】
このような階層メニュー構成および音や音声による案内を行うことによって、利用者が本装置をはじめて扱うときに５分程度の練習でほぼその操作に慣れるようになる。
【００６３】
上述した利用者による操作結果を本装置の操作部の画面にほぼ同期して表示させるようにし、操作部のタッチパネルからも入力できるようにしたことにより、晴眼者が視覚障害者を介助することも、また弱視者が画面をみて操作することもできる。
例えば、利用者が途中で操作が分からなくなったときに、晴眼者の介助によりタッチパネルで設定項目を選択することができ、その設定が音アイコンと音声でヘッドフォンへ出力されるので、利用者も何を設定したのかを知ることができる。
【００６４】
（４）操作の例
次に、上述した本装置を使って「部数を２部」に設定し、動作完了するまでの操作例を説明する。
先ず、階層メニューを操作して「部数」のところへ移動すると、ヘッドフォンから「（ピロン）部数」という音アイコンに続いて音声で設定項目の説明がある。
ここで利用者がキー「＃」を押下すると、ヘッドフォンから「（キャラン）テンキーで部数を入力してキー＃を押してください」の音声案内と数値入力の間ＢＧＭが流れる。
利用者はテンキーを使って、「２」を押すと、ヘッドフォンから入力した数字を読み、利用者がキー「＃」を押すと、ヘッドフォンから「（キャラン）部数は２部に設定されました」の音声が聞こえてくる。
ここで「（ピロン）」「（キャラン）」の音は、動作音を示している。
この後、利用者はスタートキーを押すと、ヘッドフォンからコピーをしている間、ＢＧＭが流れ、終了すると「コピーが２部終了しました」と音声案内がある。
【００６５】
Ｃ．本装置の機能構成
図７は、本発明の１実施の形態を示す機能構成図である。
図７の本発明の装置は、利用者から指示により実行制御を行う制御部１００とこの制御部１００からの指示で音声認識や音声合成の処理を行う支援部２００とから構成される。
【００６６】
この制御部１００は、機能制御部１１０、操作制御部１２０、操作入力部１３０、視覚入力部１４０、視覚表示部１５０、メニュー制御部１６０、音声入力部１７０、音出力部１８０、機能実行部１９０とから構成される。
機能制御部１１０は、通常モードまたは音声モードのいずれを使用するかを決定し、利用者が複写機やファクシミリ装置等のいずれの装置機能を使うかを指示させ、それに対する操作のための初期設定と全体の制御を行う。
機能制御部１１０は、通常は通常モードであり、利用者がヘッドフォンとマイクを備えたヘッドセットを挿入した場合や、特定のキーを押下する場合や、視覚障害者の個人識別用、またはこれまでの操作記録などの情報を記憶した非接触型のＩＣカードを認識した場合に、視覚障害者が本装置を利用するとして、音声モードで全体の制御を行う。
【００６７】
操作制御部１２０は、利用者からの各種の入力操作やその処理結果を表示する等の操作に対する制御を行う。
操作入力部１３０は、数字等をテンキーから入力する。また、操作入力部１３０は、音声モードの時には、階層メニューの階層構造を移動させる方向移動キー、設定項目の選択・確定等を行う各種実行キーやテンキーから数字を入力する。
【００６８】
視覚入力部１４０は、画面上に設置されたタッチパネルを用いて、一般には通常モードでは画面に表示された各種の設定項目を選択するための入力を行う。音声モードにおいては、晴眼者の介助による項目の選択や、弱視者による設定の選択に使われる。
視覚表示部１５０は、通常モードでは、各種の機能を画面に表示する。音声モードでは、利用者が階層メニューから選択・確定した設定項目を画面表示する。
利用者に指定された装置機能に対応する階層メニューに対して、利用者はテンキーを使って設定項目を選択・確定するが、メニュー制御部１６０は、そのテンキーおよび音声入力によって操作された階層メニュー上の現在位置を管理する。
【００６９】
音声入力部１７０は、音声モードにおいて、利用者が設定項目名や機能番号を入力し、それを音声認識した結果をメニュー制御部１６０へ引き渡す。これにより、利用者が階層メニューの所望する設定項目へ直接移動することができる。
音出力部１８０は、音声モードにおいて、メニュー制御部１６０や操作制御部１２０の指示で、テンキーによる各種の操作および機能実行の成否を表す動作音、音声ガイダンス、ＢＧＭ等を出力する。
機能実行部１９０は、各種の設定項目が選択された後、その設定で機能（例えば、複写機能やファクシミリ送信・受信等）を実行させる。
【００７０】
また、この支援部２００は、音声認識部２１０、音声合成部２２０とから構成される。
音声認識部２１０は、音声入力部１７０によって呼び出され、現在利用者が操作している装置機能に対する音声認識用辞書（例えば、複写機用の辞書）を用いて、利用者が発声した音声（操作メニューの設定項目名、機能番号、操作指令）を音声認識した結果を音声入力部１７０へ戻す。
音声合成部２２０は、音出力部１８０から呼び出され、利用者へ音声フィードバックするときに、音声合成用辞書を用いて、テキストから合成した音声を音出力部１８０へ戻す。
ここで音出力部１８０によって音声フィードバックするときに、音声合成部２２０でテキストから音声合成するのではなく、録音された音声を使うようにしてもよい。
【００７１】
このように構成された本実施の形態の装置における動作を、「原稿を複写するときの操作」を用いて説明する。
まず、ヘッドフォンとマイクを備えたヘッドセットを利用者が挿入すると、機能制御部１１０は視覚障害者が本装置を利用すると判断し、音声モードに移行する。
なお、視覚障害者の個人識別用、またはこれまでの操作記録などの情報を記憶した非接触型のＩＣカードを認識して、視覚障害者が利用することを判断するようにしてもよい。または、特定のキーを押下することによって、視覚障害者が利用することを認識するようにしてもよい。
次に利用者が機能キーを押すことにより、複写、ファクシミリ、プリンタ、スキャナ、ネットファイル等の各機能を選択すると、機能制御部１１０は、利用者の利用する装置機能を決定し、その装置機能に対する階層メニューを階層メニューデータから取り出して初期設定する。
【００７２】
利用者は、方向移動キーやテンキーにより階層の上下移動や同階層の隣接項目への移動を行う。この方向移動キーやテンキーからの入力は操作入力部１３０で行う。操作制御部１２０は、この入力されたキー情報（例えば、方向移動キーであれば方向を示すコード、テンキーであればキーに記された数字の値）をメニュー制御部１６０へ渡すことにより、階層メニューのどこにいるかを管理する。
また、入力されたときに操作制御部１２０は、音出力部１８０を呼び出して、動作音、音アイコン、移動キーによって移動した先の設定項目名を音声で出力させ、この項目に対応するＢＧＭも出力させる。このときの音声は、項目名を音声合成部２２０によって合成した音声である。
【００７３】
利用者が階層メニューの下層へ移動を指示したときに、メニュー制御部１６０は、下層の設定項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法で次の設定項目へ移動するように、階層メニュー上の現在位置を管理する。
・下層の最初の項目に移動する。
・下層の現在選択されている項目に移動する。
・下層の既定項目に移動する。
移動するときには、メニュー制御部１６０は、音出力部１８０を呼び出して、動作音とＢＧＭを流し、さらに設定項目名も音声出力し、利用者へ確実に操作されていることを通知する。
【００７４】
また、メニュー制御部１６０は、利用者が水平方向の移動キーを操作して、同階層の設定項目を移動させるときには、その端の設定項目の次は反対の端の設定項目に移動するように、階層メニュー上の現在位置を管理する。
または、この循環移動を行わず、端にきたときそれ以上移動する項目がないので、それ以上は移動しないように、階層メニュー上の現在位置を管理する。この場合には、音出力部１８０を呼び出して、「行き止まり」の動作音を出力し、利用者へ知らせる。階層メニュー上で上下方向に行き止まりになったときにも、「行き止まり」の動作音を出力し、利用者へ知らせる。
【００７５】
利用者がキー「１」を押下してトップの階層へ戻るように指示した場合、メニュー制御部１６０は、これまでに選択された設定項目を記憶し、最上位階層の１番目のメニューにある設定項目になるように現在位置を管理する。この移動に際して、メニュー制御部１６０は、音出力部１８０を呼び出し、音アイコンとその移動先の設定項目名の音声を出力し、正しく動作したことを利用者へ通知する。
【００７６】
利用者がキー「０」を押下して直接設定したい設定項目へ移動するように指示した場合、メニュー制御部１６０は、音出力部１８０を呼び出し、動作音と「機能番号を入力してください」という音声とＢＧＭとを出力する。
このＢＧＭが流れている間に、利用者はテンキーから数字を入力すると、その入力した数字を音出力部１８０を介して読み上げる。最後に、利用者がキー「＃」を押下すると、メニュー制御部１６０は、ＢＧＭを流すのを中止させ、動作音と今までに入力した数値に対応する機能番号の設定項目の名前を音声で出力し、その設定項目を現在位置として管理する。
例えば、キー「０」の押下に続いて、「４３５」をテンキーによって入力すると「変倍は縮小７１％に設定されました」という音声フィードバックがなされる。
【００７７】
利用者がキー「５」を押下して階層メニューのどの設定項目にいるのかの情報提供を指示したとき、メニュー制御部１６０は、音出力部１８０を呼び出し、音アイコンと設定項目名および機能番号等を音声で利用者へ通知する。
【００７８】
また、利用者がキー「９」を押下した場合、メニュー制御部１６０は、音出力部１８０を呼び出し、動作音とともに「設定項目名または機能番号を発声してください」と音声出力する。続いて、メニュー制御部１６０は、音声入力部１７０を呼び出し、利用者に「設定項目名」や「機能番号」を発声させ、それを音声認識部２１０で認識した認識結果の設定項目を現在位置として管理する。
音声入力が完了すると、メニュー制御部１６０は、音出力部１８０を呼び出し、音アイコンと入力した設定項目名とを音声出力し、利用者に音声入力が正しく認識されたことを通知する。
【００７９】
利用者が確定キー「＃」を押下して設定項目の選択を確定するように指示した場合、メニュー制御部１６０は、音出力部１８０を呼び出し、動作音とその確定された動作内容を音声で出力し、利用者へ通知する。また、メニュー制御部１６０はこの確定内容を視覚表示部１５０を呼び出して操作部の画面へ表示する。
【００８０】
利用者が部分クリアキーを押下して、階層メニュー上の現在位置以下の階層にある設定項目の設定値を既定値へ戻すように指示した場合、メニュー制御部１６０は、音出力部１８０を呼び出し、動作音とその指令内容（「階層メニュー上の現在位置とそれ以下の階層にある設定項目をクリアします」というメッセージ）音声で利用者へ通知する。
次に、メニュー制御部１６０は、階層メニュー上の現在位置以下の階層にある設定項目を探し、その設定項目が既定値から変更されている場合、その設定項目の設定値を読み上げて既定値へ戻すかどうかを利用者へ問い合わせる。
利用者が変更してもよいと指示（例えば、設定キーによる）した場合、その設定項目の設定値を既定値へ戻す。
この後、音アイコンと動作完了の音声メッセージを出力して、利用者へ部分クリアが完了したことを通知する。
または、ここに一つ一つ問い合わせることはせず、一括して既定値から変更された設定値を既定値へ戻してよいかを音声にて問い合わせるようにしてもよい。
【００８１】
さらに、利用者が今までにどのような設定項目を選択したのかを知るために、「設定確認」キーを押下した場合、メニュー制御部１６０は、利用者が既定値から設定を変更した設定項目へ順次移動して、音出力部１８０を呼び出して設定内容を音声で読み上げ、利用者へ通知する。この際、メニュー制御部１６０は、移動先を現在位置として管理し、その設定項目に誤りがあれば修正するようにできる。
【００８２】
また、機能制御部１１０は、動作中に本装置の状態を監視し、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いている」等の場合には、音出力部１８０を呼び出して、音アイコンの後に、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等との音声とＢＧＭとを出力して利用者へ通知する。
【００８３】
各設定項目に設定が完了し、利用者がスタートキーを押下すると、操作制御部１２０は、機能実行部１９０を呼び出し、例えば、利用者が初めに選択した装置機能を動作させる。例えば、装置機能が複写機に関するものであれば、設定に応じたコピー動作が行われる。この動作が終了したとき、操作制御部１２０は、音出力部１８０を呼び出し、利用者へその成否を音声で知らせる。
例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
また、操作制御部１２０は、利用者が４０部のコピーを指定したようなときは、音出力部１８０を介して、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流し、利用者はそのＢＧＭの進み具合でどの程度の処理が完了したかを知ることができる。
【００８４】
Ｄ．他の装置構成（利用形態）
上述した実施の形態では、本発明の機器操作装置（制御部１００と支援部２００）をＭＦＰへ組み込んだものとして説明した。
ここでは他の実施の形態として、図８のように機器操作装置のうち制御部１００をＭＦＰ、ファクシミリ装置、プリンタ装置やスキャナ装置等へ組み込み、汎用のコンピュータ（以下、ＰＣという）へ支援部２００を組み込むように構成してもよい。
この場合、制御部１００と支援部２００との通信を行うためにそれぞれ通信部３００と通信部４００とをケーブルまたは通信回線（ネットワークを含む）で接続させる。
このような構成においては、制御部１００から音声認識処理を行う場合には、通信部３００を介して、音声認識処理の依頼であるというキー情報と音声入力部１７０で入力した音声データを通信部４００へ送信し、通信部４００はこのキー情報から音声認識部２１０を呼び出して、音声認識結果に先のキー情報をつけて、通信部３００へ送り返す。この受信データをキー情報から音声認識結果であると判断して、音声入力部１７０へ戻す。
【００８５】
また、制御部１００から音声合成処理を行う場合には、通信部３００を介して、音声合成処理の依頼であるというキー情報と音出力部１８０で音声データへ変換したいテキスト文を通信部４００へ送信し、通信部４００はこのキー情報から音声合成部２２０を呼び出して、音声合成結果に先のキー情報をつけて、通信部３００へ送り返す。この受信データをキー情報から音声合成結果であると判断して、制御部の音出力部１８０へ戻す。
音声データを得る場合、テキストから音声合成させるのではなく、音声データのキー情報（どのような内容の音声データを欲しいのかの区分）によって録音された音声データを選択するように構成してもよい。
【００８６】
このようにＭＦＰ等とＰＣとに機能分担させることによって、ＭＦＰ等ごとに支援部２００のようなデータ量の多い辞書情報と処理時間のかかる音声認識や音声合成の処理機能を持たなくてもよくなるとともに、支援部の辞書、処理系やＰＣ自体のメンテナンスを行いやすくできる。
このような構成の場合には、１つのＰＣに対して、複数のＭＦＰ等が接続するようにした方がコストバランスはよくなる。
【００８７】
Ｅ．プログラムとしての実施の形態
上述した実施の形態を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、このＣＤ−ＲＯＭをＣＤ−ＲＯＭドライブのような媒体駆動装置を搭載したコンピュータに装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読出されたプログラム自体が上述した実施の形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００８８】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
【００８９】
また、ロードしたプログラムを実行することにより上述した実施の形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【００９０】
また、上述した実施の形態の機能を実現するプログラムが、機能拡張ボードや機能拡張ユニットに備わるメモリにロードされ、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、上述した実施例の機能が実現される場合も含まれる。
【００９１】
さらに、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、通信網で接続されたユーザのコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００９２】
【発明の効果】
以上説明したように、本発明によれば、装置の作製コストを抑えるとともに、視覚障害者であっても装置に対する各種の操作を容易に行うことができ、晴眼者が視覚障害者を手助けしやすい装置を提供することができた。
【図面の簡単な説明】
【図１】 利用者が本発明の実施の形態を利用するときの説明図である。
【図２】 本実施の形態の操作部の模式図である。
【図３】 複写機に関する階層メニュー（一部分）の例を示す図である。
【図４】 図３の続きを示す図である。
【図５】 本実施の形態における階層メニューの展開例を示す図である。
【図６】 本実施の形態におけるテンキーの機能配置例を示す図である。
【図７】 本実施の形態の機能構成図である。
【図８】 本発明の他の実施の形態の装置構成図である。
【符号の説明】
１００…制御部、１１０…機能制御部、１２０…操作制御部、１３０…操作入力部、１４０…視覚入力部、１５０…視覚表示部、１６０…メニュー制御部、１７０…音声入力部、１８０…音出力部、１９０…機能実行部、２００…支援部、２１０…音声認識部、２２０…音声合成部、３００…通信部、４００…通信部。[0001]
BACKGROUND OF THE INVENTION
  The present inventionImage formationDevice, program and recording mediumInIn detail, in various operations in a multifunction device that integrates the functions provided by a copying machine, a facsimile machine, a printer device, a scanner device, and their OA devices into one, there are operations that take into account the use of visually impaired persons. Can doImage formationDevice, itsImage formationProgram for executing functions of apparatus and computer-readable recording medium recording the programInRelated.
[0002]
[Prior art]
In recent years, devices such as copiers, facsimile machines, printers, scanners, and multi-function peripherals (hereinafter referred to as MFP (Multi-Function Peripherals)) that integrate the functions provided by these OA devices are handled. Since the operation became impossible with only the numeric keypad and function keys, a touch panel was provided on the display. Characters indicating the operation procedure, pictures showing the input location, etc. were displayed on the screen, and the user corresponding to the picture in advance A touch panel input method for performing input by touching a set input area is widely used.
[0003]
[Problems to be solved by the invention]
From the viewpoint of promoting the social advancement of persons with physical disabilities, it is desirable to improve the office environment so that persons with physical disabilities can work in the same way as sighted persons. In particular, in the United States, Article 508 of the Rehabilitation Act Entered into force on June 21, 2001, the US federal government is obligated to purchase equipment that can be used by people with disabilities in IT equipment procurement, and the state government, related facilities, and private companies are also following up. .
[0004]
In the MFP as described above, the operation tends to become more complicated, and it is difficult to use it correctly unless instructions are displayed on a display panel, a touch panel or the like. For this reason, it is difficult to use the MFP practically for those who have visual impairment.
For example, when a visually handicapped person operates, it is difficult to operate because the effective touch area of the touch panel cannot be visually confirmed. In order to operate, it is necessary to remember the operation procedure and the position of the touch area in advance. However, when the operation procedure of the device or the position of the touch area is changed, the operation procedure or the touch area position that the user has remembered becomes invalid.
[0005]
In order to solve this problem, an audio guide is provided by the voice synthesizer when it is determined that there is a visual impairment by inserting an ID card or earphone in which information on the visually impaired is recorded into the MFP as described above. There is a device that performs Braille guide using a Braille output device.
[0006]
On the other hand, in the case of an automatic transaction device such as an automatic teller machine or an automatic teller machine used in a financial institution, an ID card or an earphone in which information on visually impaired persons is recorded is inserted into the automatic transaction device. When it is determined that there is a visual impairment, it has a key with braille, a braille output device that outputs arbitrary braille, and a function to output voice guidance from the handset, and operation guidance is performed by voice guidance from the handset. By selecting a transaction type and inputting a monetary value using a key with braille, and outputting the result of the input by a braille device, even a visually handicapped person can perform a transaction by his own operation.
[0007]
However, the number of users with disabilities who need these measures is very small compared to the number of users with sighted people. Is too expensive.
In addition, if there are automatic transaction apparatuses that are not equipped with devices such as a Braille output device and a handset, and automatic transaction devices that have different positions and usages of the Braille output device and the handset, the user will be confused.
[0008]
  In order to solve the above problems, the present invention can reduce the manufacturing cost of the device and can easily perform various operations even for a visually impaired person.Image formationDevice, itsImage formationProgram for executing functions of apparatus and computer-readable recording medium recording the programTheThe purpose is to provide. Another object of the present invention is to provide an apparatus in which a sighted person can easily assist a visually impaired person.
[0009]
[Means for Solving the Problems]
  In order to solve the above problems, the image forming apparatus according to the present invention is configured so that all operation items that can be operated according to the function of the image forming apparatus have a multi-layered tree structure, so that the hierarchical structure is the lowest layer. A hierarchical menu classified to the setting items is set, a function number is assigned to the classification or setting item of the tree structure, a menu storage means for storing the tree structure, a numeric keypad for designating a number, Menu control means for acquiring a classification or setting item corresponding to the function number designated by the numeric keypad from the menu storage means, and moving the next operation position to the classification or setting item of the hierarchical menu; and the menu control means, When moving the next operation position to a setting item on the menu,DestinationSetting itemsAnd if there is a setting item below the setting item of the move destination, the number of setting items existing in the lower layernotificationHowever, the notification of the movement will be made differently when notifying the destination setting item in the same hierarchy and when moving up and down the hierarchy.And a sound output means.
[0013]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the device, the sound outputmeansThe sound output by can be changed in voice or pitch, speed, rhythm, tone and volume.
[0014]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the apparatus,The numeric keypadDirection keyEven asUseI did.
[0015]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the apparatus,Sound output meansWhen the user confirms each setting item,SoAdded notification of information on setting items in.
[0016]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the apparatus,Sound output meansWhen the user performs a batch confirmation operation, if the user changes the default value of the setting item, the user sequentially moves to the changed setting item,SoChanged the setting contents of the voice notification.
[0017]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the apparatus,Sound output meansIf the user performs an operation to return the setting value of the setting item of the hierarchy below the position currently being operated on the hierarchy menu to the default value, it is possible to return to the default value for each setting item.soundInquire by voiceI did.
[0018]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the apparatus,Sound output meansIf the user performs an operation to return the setting value of the setting item of the hierarchy below the position currently being operated on the hierarchy menu to the default value, all the setting items below that hierarchy may be returned to the default value. OrsoundInquire by voiceI did.
[0019]
  In addition, the present inventionImage forming apparatusIsImage formation aboveVoice input at the devicemeansThis voice input withmeansRecognizes user's voice input from the menu controlmeansMoved directly to the setting item.
[0020]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the apparatus, the voice inputmeansThe user's voice input with is the setting item name or function number.I did.
[0021]
  In addition, the present inventionImage forming apparatusIsImage formation aboveThe apparatus includes a visual display device, and the sound output when the user confirms the selection of the setting item.meansWill notify you of the confirmed action by voice,Visual display deviceConfirm the contents at this timetableTo show.
[0022]
  In addition, the present inventionImage forming apparatusIsImage formation aboveIn the apparatus, a visual input device is provided, and setting items input from the visual input device with respect to setting conditions displayed on the visual display device are also output by the sound.meansIn order to notify the user of the setting status, both sighted and visually impaired people can use it..
[0024]
  In addition, the present inventionofProgram, computer,Image formation aboveThis is a program for functioning as a device.
[0025]
  In addition, the present inventionRecordRecording media isthe aboveA computer-readable recording medium on which a program is recorded.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In the description of the present embodiment, the apparatus operation device according to the present invention will be described as being incorporated into an MFP (Digital Multifunction Peripherals) (hereinafter referred to as this device). However, the installation target of the device operating device of the present invention is not limited to the MFP, and a similar effect can be expected by incorporating any device having diversified functions.
[0028]
A. Overview of operation using this device
Hereinafter, an outline of the operation of the apparatus will be described using “operation for copying a document”.
First, by inserting a headset including headphones and a microphone, it is determined that this device is used by a visually impaired person (see FIG. 1). Hereinafter, the processing mode when the sighted person uses the apparatus is referred to as “normal mode”, and the processing mode when the visually impaired person uses the apparatus is referred to as “voice mode”. A visually handicapped person who uses this apparatus is simply referred to as a “user”.
It should be noted that a non-contact type IC card that stores information such as personal identification of a visually handicapped person or operation records so far may be recognized to determine that the visually handicapped person uses the card. Or you may make it recognize that a visually handicapped person uses by pressing down a specific key.
[0029]
Next, by pressing the “COPY” function key (see FIG. 2) of the operation unit of the apparatus, the user is notified by voice that “the copying machine can be operated”.
In addition, this device classifies all the operation items that can be operated in advance for each device such as a copying machine and a facsimile device by function, and further categorizes the classification into a single layer with multiple layers. Create a menu. For example, the functions of the copying machine just described are classified into hierarchies as shown in FIGS. 3 and 4 (these function classifications are only a part).
[0030]
The user uses the direction movement key of the operation unit or a key that can be substituted for it (hereinafter referred to as the direction movement key) to move to a desired setting item through the hierarchy menu and select it. By repeating the above and completing the desired setting, a copy of the document is created by pressing the start key.
In the course of the user's operation of the hierarchical menu, the explanation of the function to be selected and the explanation of the setting contents up to now are fed back from the device to the user by voice, sound or BGM (Back Ground Music). It is possible to operate without looking at the display screen of the part or input from the touch panel. Here, the voice, sound, and BGM are changed and output in accordance with the rhythm slowness, pitch pitch, setting item type, processing status, hierarchy depth, and the like.
[0031]
In addition, since the selection process by the direction movement key is substantially associated with the transition of the screen of the operation unit, and the input instruction from the touch panel of the operation unit can be used together, the operation from the touch panel of the operation unit can also be performed in the direction. Since operations from the movement keys can also be performed in parallel, a sighted person can assist the user. In addition, if the user is amblyopic, it is convenient because the operation in the normal mode can be used while operating in the voice mode.
[0032]
B. Details of operation on this device
(1) Menu structure
For each device such as a copying machine, a facsimile device, a printer device, a scanner device, and a NetFile device handled by the device of the present invention, all operable operation items are classified by function, and the classification is further subdivided. Create a single menu with a multi-level tree structure.
For example, if there are still detailed setting items such as “scaling” and “double-sided”, they are grouped as subgroup names, and “same size”, “enlarged”, Setting items to be selected such as “reduction” are arranged and subdivided until the setting items become one final setting item such as “115%” and “87%”.
[0033]
There are the following types of items on this hierarchical menu.
・ Selectable items that can be selected only once in the same hierarchy
For example, “115%” or “122%” under the selection item of “enlarge”
・ Toggle item that can toggle function ON / OFF
For example, whether or not to sort finishers
・ Numeric items that can be set
For example, in the case of the number of copies, etc., a numerical value is input using a numeric keypad after selecting the item.
・ Operation items that start some operation
For example, creating a destination list registered in a facsimile machine
[0034]
For example, in the case of a copying machine, first, as shown in FIGS. 3 and 4, the operation items of the first layer are set to (number of copies, manuscript, paper, scaling, duplex / aggregation / division, finisher), respectively, Subdivide it into the third level.
In addition, as shown in FIG. 3, each setting item in each level is associated with a number. By specifying this number, the setting item can be selected directly without following each level. . Hereinafter, this number is referred to as a “function number”.
[0035]
(2) Menu operation method
Next, a method for operating the hierarchical menu as described above will be described.
FIG. 2 is a schematic diagram of an operation unit provided in the present apparatus. In FIG. 2, the operation unit includes function keys for selecting functions such as copying, facsimile, printer, scanner, and net file, a screen for displaying operation states and messages, and a touch panel for selecting various setting items on the screen. A direction movement key or a key that can be substituted for it, a numeric keypad for entering numbers, a start / stop key, and a setting confirmation key are provided.
In order to move and select the setting items arranged on the hierarchical menu described above, a direction movement key or a key that can be substituted for it is used. In the following description, a numeric keypad is used instead. FIG. 6 shows functions assigned to each numeric keypad.
[0036]
That is, moving up and down the hierarchy is performed by pressing a key arranged in the vertical direction in the numeric keypad, and adjacent items in the same hierarchy are carried out using keys arranged in the horizontal direction in the numeric keypad.
In FIG. 6, pressing the key “2” moves up the hierarchy, and pressing the key “8” moves down the hierarchy. Further, the same level is traced to the left by pressing the key “4”, and the same level is traced to the right by pressing the key “6”. Note that a direction movement key may be assigned to the reverse of the above.
[0037]
When the user instructs to move to the lower layer of the hierarchical menu, if there are a plurality of lower layer setting items, the user moves to the next setting item by any one of the methods listed below.
• Move to the first item below.
If none of them is a default value, for example, it is used when selecting the type of document.
• Move to the currently selected item below.
For example, if there is an item that has already been set in the setting items in the lower layer, it moves to the item that has already been set in order to continue the setting after that item or to correct the content of that item.
-Move to the default item below.
For example, in the case of density setting, there is a selection item of “light, normal, dark”, but in general, “normal” is set as a default value, but it moves to that default value.
[0038]
When the user operates the horizontal movement key to move the setting item in the same hierarchy, the user moves to the setting item at the opposite end after the setting item at the end, and performs a cyclic movement. By always moving in a certain direction, you can find the item you want to select. However, the user cannot grasp how many setting items are in this hierarchy and is likely to get lost on the menu.
Alternatively, this circular movement may not be performed, and no further movement may be performed when it reaches the end. In this case, when the selection is missed, the movement key must be pressed in the opposite direction, but it is possible to grasp how many selection items are present.
[0039]
Further, when the user is not sure which level is in the middle of setting or when he / she wants to select again from the beginning, for example, by pressing the key “1”, the top level (from FIG. 3) In the example, it is possible to return to the “number of copies” of the first hierarchy (see FIG. 6). In this case, the setting item selected so far can be stored by the present apparatus, and moved to the item selected for setting halfway by using the movement key or the confirmation key.
[0040]
Further, the user can move to a setting item that the user wants to set directly.
For example, by pressing the key “0”, a numerical value can be input, and the function number assigned to the setting item to be moved directly is input there.
For example, when the numerical value “435” is input using the numeric keypad after the key “0” is pressed, the apparatus determines that “magnification” → “reduction” → “71%” is selected (FIG. 3, FIG. 3). (See FIG. 4).
This function number may not be a setting item at the lowest layer but may be a setting item at an intermediate level.
[0041]
Also, instead of inputting the function number of the item to be set directly with the key “0” as described above, the user presses the key “9” and utters “function number” or “setting item name”. The device recognizes it and moves directly to the item.
[0042]
Further, by pressing a partial clear key (assigned to the key “7”), the value of the setting item obtained by changing the default value at the lower level from the current level on the level menu can be returned to the default value. When setting values are returned, an inquiry is made for each setting item, and only items that can be returned are returned to the default values. Alternatively, it may be inquired whether all setting items whose default values have been changed can be returned.
For example, if you are currently in the “Finisher” section of the hierarchy menu, if you change the default values for the following settings “Sort / Stack”, “Staple”, and “Punch”, clear those settings. Return to the default value.
[0043]
In addition, in order to know what setting items the user has selected so far, the user can move sequentially from the default value to the setting item by pressing the “Confirm setting” key. The setting value can be changed.
[0044]
When the item to be set as described above is selected or numerical input is completed, the key “#” is pressed to confirm the set item. As a result, the present apparatus displays the contents of the determined setting items on the screen of the operation unit.
[0045]
In addition, by setting the operation name to the IC card and storing it in such a manner, the same operation will be set again each time by specifying the operation name from the IC card and reading the operation contents. You can do it without it.
[0046]
(3) Feedback to the user through operation sound, sound icon and BGM of the operation result
As described above, when the setting item arranged on the hierarchical menu is moved / selected using the numeric keypad, the apparatus confirms the result of the operation as follows to the user. Notify by BGM (background music).
Here, the sound icon is static information indicating the property of the object, and refers to a sound (short single sound) having a different timbre and not moving for the purpose of discriminating the type of the setting item.
[0047]
In addition, motion sound refers to different movements (chords and very short melody) of the same tone color for the purpose of helping the image of the motion results, and associates motion with the meaning of sound in music theory. For example, ascending and descending sounds are raised for rising and falling on the hierarchy, 4th dissonance sounds that make anxiety feel when the dead end (failed to move), and a dominant means that resolution is required for selection / confirmation. Use motion.
In this way, by notifying the user of the operation sound, the sound icon indicating the type of the setting item, and BGM, the user can recognize the current state and confirm that the user has entered the information. Alternatively, anxiety about whether the operation is completed can be reduced.
[0048]
In addition, operation sounds for notifying the up and down movement of the hierarchy are prepared, and when the user moves up and down the hierarchy, the operation sound is output to notify that the hierarchy has been moved up and down. This operation sound is different from the sound icon of the setting item. Also, the BGM at this time can be recognized as, for example, the side of the current layer if the BGM has a slow tone in the upper layer and the BGM has a faster tone as it goes to the lower layer.
At this time, it is possible to notify the user that the user cannot move by outputting with an operation sound whether there is a setting item in the lower layer of the moving destination. In addition, it is possible to inform the user of the number of setting items in the lower layer of the moving destination with an operation sound.
[0049]
Also, if the same level of cyclic movement is not set in this apparatus, when the movement is instructed in the horizontal direction, if there are no more items to move, the user is notified with a “dead end” operation sound. Furthermore, the user is also informed of the “dead end” in the vertical direction of the hierarchy with an operation sound.
In addition, when a key such as moving to the top, moving in the horizontal direction, directly moving, or voice recognition is pressed, an operation sound for confirming the selection operation is output so that the user can be surely accepted the operation. I can recognize that.
[0050]
Also, in the case of numerical input such as inputting the number of copies, it can be confirmed that the numerical input is performed by playing BGM until the numerical input is completed.
[0051]
Also, during operation, the status of the apparatus, for example, “out of paper”, “toner shortage”, “paper jam”, “front cover is open”, etc. are notified to the user by voice. If such a condition cannot be resolved immediately, the condition cannot be grasped if the sound is interrupted. For example, when the user is away from the apparatus during the copying operation and “paper jam occurs”, the user does not know from this sound alone. However, if BGM is played after the voice, the user can recognize it even in such a state.
[0052]
Also, when the user designates 40 copies, the BGM is run so that the user can recognize how much of the copy has been completed. You can know if copying has progressed.
[0053]
(4) Feedback to users by voice of operation results
As described above, when moving / selecting the setting items arranged on the hierarchical menu using the numeric keypad, this device outputs the sound from the headset headphones to confirm the operation result to the user. Do. Thus, by notifying by voice, the user can recognize whether the input and the operation result have been reliably performed, and anxiety can be reduced.
[0054]
When the user moves to each setting item, the user can recognize which setting item the user has moved to by performing voice feedback of a predetermined content for identifying the item.
In addition, when moving, the user is fed back to the user by voice whether there are more setting items below a certain setting item or how many items there are.
For example, when moving to a setting item such as “enlarge” or “114%”, the item name is read out.
[0055]
When the partial clear key (key “7”) is pressed, the user is inquired by voice whether the setting change made to the setting item in the lower layer from the current position on the hierarchical menu may be read out and returned to the default value.
At this time, instead of inquiring whether or not to return the set values to the default values one by one, it is inquired whether the setting items in all lower layers can be returned to the default values. You may do it.
[0056]
By depressing, for example, the key “5” to determine which setting item is currently in the operation movement key, information provision for the setting item is fed back with a predetermined content of voice. Examples of the information include the name and function number of the setting item. When the key “5” is pressed after the setting of the paper is set to the A4 side, voice feedback “The paper is set to the A4 side” is performed.
[0057]
When the selection of the setting item is completed and, for example, a confirmation operation is performed with the key “#”, audio feedback of a predetermined content explaining the confirmed operation content is performed.
For example, when “200%” is selected / confirmed in “enlargement”, there is an audio feedback of the content “magnification is set to 200% enlargement”.
[0058]
When the “Confirm setting” key is pressed, the setting items that have been changed from the default value by the user below the setting items (including the intermediate layer) on the current layer menu are read out and used together. Notification
At this time, instead of using voice feedback for all setting items at a time, voice feedback is performed for each setting item, and if there is an error in that setting item, the next changed setting is made by operating the movement keys. It is also possible to move to the item and finally press the key “#” to finalize the item.
Also, if you want to know all the setting items that have been changed from the default values, you can check all at once by moving to the top of the hierarchical menu with the key “0” and pressing this “confirm setting” key.
[0059]
When the setting for each setting item is completed and the start key is pressed, when the operation for this setting is completed, voice feedback of a predetermined content for notifying the success or failure is performed.
For example, a result such as “Copying has been completed at a magnification of 122%” or “Copying has failed due to a paper jam” is fed back by voice.
[0060]
In addition, the status of the printer during operation or operation, after the operation sound, for example, “paper is out”, “toner is low”, “paper jam has occurred”, “front cover” The user is notified by the voice of the speaker different from the voice at the time of operating the setting item.
[0061]
By preparing a knob that changes the pitch, volume, rhythm, tone, and speech speed of the voice by the above-described voice feedback, the voice output can be easily heard by the user.
Further, when the next key operation is performed without waiting for the end of the voice feedback, the user can be frustrated by automatically increasing the speaking speed.
[0062]
By providing such a hierarchical menu structure and guidance by sound and voice, the user becomes accustomed to the operation with about 5 minutes of practice when handling the device for the first time.
[0063]
The above-mentioned operation results by the user can be displayed almost synchronously on the screen of the operation unit of this apparatus and can be input from the touch panel of the operation unit, so that a sighted person can assist a visually impaired person. In addition, a low vision person can also operate by looking at the screen.
For example, when a user loses his or her operation on the way, setting items can be selected on the touch panel with the help of a sighted person, and the settings are output to the headphones with sound icons and sound. You can know what is set.
[0064]
(4) Example of operation
Next, an example of operation until the operation is completed after setting the number of copies to 2 using the above-described apparatus will be described.
First, when the hierarchical menu is operated to move to the “number of copies”, the setting items are explained by voice following the sound icon “(pylon) copies” from the headphones.
When the user presses the key “#”, the BGM flows between the voice guidance “Enter the number of copies with the (Kalan) numeric keypad and press the key #” and the numerical value input from the headphones.
When the user presses “2” using the numeric keypad, the number entered from the headphones is read, and when the user presses the key “#”, the number of copies is set to 2 from the headphones. Can be heard.
Here, the sound of “(pylon)” and “(caran)” indicates an operation sound.
After that, when the user presses the start key, BGM is played while copying from the headphones, and when the user finishes, there is a voice guidance saying that “two copies have been completed”.
[0065]
C. Functional configuration of this device
FIG. 7 is a functional configuration diagram showing an embodiment of the present invention.
The apparatus of the present invention in FIG. 7 includes a control unit 100 that performs execution control according to an instruction from a user, and a support unit 200 that performs speech recognition and speech synthesis processing according to an instruction from the control unit 100.
[0066]
The control unit 100 includes a function control unit 110, an operation control unit 120, an operation input unit 130, a visual input unit 140, a visual display unit 150, a menu control unit 160, a voice input unit 170, a sound output unit 180, and a function execution unit 190. It consists of.
The function control unit 110 determines whether to use the normal mode or the voice mode, instructs the user to use which device function such as a copier or a facsimile machine, and performs initial setting for the operation thereof And do overall control.
The function control unit 110 is normally in a normal mode, and when a user inserts a headset equipped with headphones and a microphone, when a specific key is pressed, for personal identification of a visually impaired person, or so far When a non-contact type IC card storing information such as the operation record is recognized, it is assumed that the visually handicapped person uses this apparatus, and the entire control is performed in the voice mode.
[0067]
The operation control unit 120 controls various input operations from the user and operations such as displaying the processing results.
The operation input unit 130 inputs numbers and the like from the numeric keypad. In the voice mode, the operation input unit 130 inputs a number from a direction moving key for moving the hierarchical structure of the hierarchical menu, various execution keys for selecting and confirming setting items, and numeric keys.
[0068]
The visual input unit 140 uses a touch panel installed on the screen, and generally performs input for selecting various setting items displayed on the screen in the normal mode. In the voice mode, it is used to select items with the assistance of a sighted person or to select settings by a low vision person.
The visual display unit 150 displays various functions on the screen in the normal mode. In the voice mode, the setting items selected and confirmed by the user from the hierarchical menu are displayed on the screen.
For the hierarchical menu corresponding to the device function designated by the user, the user selects and confirms the setting item using the numeric keypad, but the menu control unit 160 operates the hierarchical menu operated by the numeric keypad and voice input. Manage your current location on the top.
[0069]
In the voice mode, the voice input unit 170 inputs the setting item name and the function number, and delivers the result of voice recognition to the menu control unit 160. This allows the user to move directly to the desired setting item on the hierarchical menu.
In the voice mode, the sound output unit 180 outputs operation sounds, voice guidance, BGM, and the like indicating success or failure of various operations using the numeric keys and functions in response to instructions from the menu control unit 160 and the operation control unit 120.
After various setting items are selected, the function execution unit 190 executes a function (for example, a copy function or facsimile transmission / reception) with the settings.
[0070]
The support unit 200 includes a speech recognition unit 210 and a speech synthesis unit 220.
The voice recognition unit 210 is called by the voice input unit 170 and uses a voice recognition dictionary (for example, a dictionary for a copying machine) for a device function that is currently operated by the user. The result of voice recognition of the menu setting item name, function number, and operation command is returned to the voice input unit 170.
The voice synthesis unit 220 is called from the sound output unit 180 and returns the voice synthesized from the text to the sound output unit 180 using the voice synthesis dictionary when voice feedback is performed to the user.
Here, when voice feedback is performed by the sound output unit 180, a recorded voice may be used instead of voice synthesis from the text by the voice synthesis unit 220.
[0071]
The operation of the apparatus of the present embodiment configured as described above will be described using “operation for copying a document”.
First, when a user inserts a headset including a headphone and a microphone, the function control unit 110 determines that a visually impaired person uses this apparatus and shifts to a sound mode.
It should be noted that a non-contact type IC card that stores information such as personal identification of a visually handicapped person or operation records so far may be recognized to determine that the visually handicapped person uses the card. Or you may make it recognize that a visually handicapped person uses by pressing down a specific key.
Next, when the user selects a function such as copying, facsimile, printer, scanner, or net file by pressing a function key, the function control unit 110 determines a device function to be used by the user, and the device function. The hierarchical menu for is extracted from the hierarchical menu data and initialized.
[0072]
The user moves up and down the hierarchy and moves to an adjacent item in the same hierarchy using the direction movement key and the numeric keypad. The operation input unit 130 performs input from the direction movement key and the numeric keypad. The operation control unit 120 passes the input key information (for example, a code indicating a direction if the key is a direction movement key, or a numeric value written on the key if a numeric keypad) to the menu control unit 160, thereby Manage where you are on the menu.
In addition, when input, the operation control unit 120 calls the sound output unit 180 to output the operation item, the sound icon, and the name of the previous setting item moved by the movement key, and the BGM corresponding to this item is also output. Output. The voice at this time is a voice in which the item name is synthesized by the voice synthesis unit 220.
[0073]
When the user instructs to move to the lower layer of the hierarchical menu, if there are a plurality of lower layer setting items, the menu control unit 160 moves to the next setting item using one of the methods listed below. As such, the current position on the hierarchical menu is managed.
• Move to the first item below.
• Move to the currently selected item below.
-Move to the default item below.
When moving, the menu control unit 160 calls the sound output unit 180 to play the operation sound and BGM, and further outputs the setting item name as a voice to notify the user that the operation is performed reliably.
[0074]
In addition, when the user operates the horizontal movement key to move the setting item in the same hierarchy, the menu control unit 160 moves to the setting item at the opposite end next to the setting item at the end. , Manage the current position on the hierarchical menu.
Alternatively, the current position on the hierarchical menu is managed so as not to move any further because there is no item to move any more when it reaches the end without performing this circular movement. In this case, the sound output unit 180 is called to output a “dead end” operation sound to notify the user. When a dead end is reached in the vertical direction on the hierarchical menu, a “dead end” operation sound is output to notify the user.
[0075]
When the user instructs to return to the top layer by pressing the key “1”, the menu control unit 160 stores the setting items selected so far and is in the first menu in the top layer. Manage the current position to be a setting item. Upon this movement, the menu control unit 160 calls the sound output unit 180, outputs the sound icon and the sound of the setting item name of the movement destination, and notifies the user that the operation has been performed correctly.
[0076]
When the user presses the key “0” to instruct to move directly to the setting item to be set, the menu control unit 160 calls the sound output unit 180 to input the operation sound and “Enter the function number”. Voice and BGM are output.
While the BGM is flowing, when the user inputs a number from the numeric keypad, the input number is read out via the sound output unit 180. Finally, when the user presses the key “#”, the menu control unit 160 stops playing the BGM, and the name of the setting item of the function number corresponding to the operation sound and the numerical value input so far is spoken. Output and manage the setting item as the current position.
For example, if “435” is input with the numeric keypad after the key “0” is pressed, the voice feedback “the scaling is set to 71% reduction” is performed.
[0077]
When the user presses the key “5” to instruct the provision of information on which setting item in the hierarchical menu, the menu control unit 160 calls the sound output unit 180 to display the sound icon, the setting item name, and the function number. Etc. to the user by voice.
[0078]
When the user presses the key “9”, the menu control unit 160 calls the sound output unit 180 and outputs a voice “Please say the setting item name or function number” together with the operation sound. Subsequently, the menu control unit 160 calls the voice input unit 170, causes the user to utter “setting item name” and “function number”, and sets the recognition result setting item recognized by the voice recognition unit 210 as the current position. Manage as.
When the voice input is completed, the menu control unit 160 calls the sound output unit 180 and outputs the sound icon and the input setting item name as a voice to notify the user that the voice input is correctly recognized.
[0079]
When the user presses the confirmation key “#” to instruct to confirm the selection of the setting item, the menu control unit 160 calls the sound output unit 180 and outputs the operation sound and the confirmed operation content by voice. Output and notify the user. In addition, the menu control unit 160 displays the determined content on the screen of the operation unit by calling the visual display unit 150.
[0080]
When the user presses the partial clear key and instructs to return the setting value of the setting item in the hierarchy below the current position on the hierarchy menu to the default value, the menu control unit 160 calls the sound output unit 180 , The operation sound and its command content (“message that clears the current position on the hierarchical menu and the setting items below it”) are notified to the user by voice.
Next, the menu control unit 160 searches for a setting item in the hierarchy below the current position on the hierarchy menu, and when the setting item has been changed from the default value, the setting value of the setting item is read out to the default value. Ask the user whether to return.
When the user indicates that it may be changed (for example, by using a setting key), the setting value of the setting item is returned to the default value.
Thereafter, a sound icon and a voice message indicating operation completion are output to notify the user that the partial clear has been completed.
Alternatively, instead of inquiring one by one here, it may be inquired by voice whether the set values changed from the default values can be returned to the default values all at once.
[0081]
Further, when the “setting confirmation” key is pressed in order to know what setting item the user has selected so far, the menu control unit 160 sets the setting item whose setting has been changed from the default value by the user. , The sound output unit 180 is called, the setting contents are read out by voice, and the user is notified. At this time, the menu control unit 160 can manage the movement destination as the current position and correct the setting item if there is an error.
[0082]
Further, the function control unit 110 monitors the state of the apparatus during operation. For example, in the case of “out of paper”, “toner shortage”, “paper jam”, “front cover is open”, etc. Call the sound output unit 180, and after the sound icon, for example, “paper has run out”, “toner is low”, “paper jam has occurred”, “front cover is open”, etc. The voice and BGM are output and notified to the user.
[0083]
When the setting for each setting item is completed and the user presses the start key, the operation control unit 120 calls the function execution unit 190 to operate, for example, the device function selected first by the user. For example, if the apparatus function relates to a copying machine, a copying operation corresponding to the setting is performed. When this operation is finished, the operation control unit 120 calls the sound output unit 180 and informs the user of the success or failure by voice.
For example, a result such as “Copying has been completed at a magnification of 122%” or “Copying has failed due to a paper jam” is fed back by voice.
In addition, when the user designates 40 copies, the operation control unit 120 plays BGM so that the user can recognize how much copying has been completed through the sound output unit 180, The user can know how much processing has been completed according to the progress of the BGM.
[0084]
D. Other device configuration (Usage form)
In the above-described embodiment, the device operation apparatus (the control unit 100 and the support unit 200) of the present invention has been described as being incorporated in the MFP.
Here, as another embodiment, as shown in FIG. 8, the control unit 100 of the device operation devices is incorporated into an MFP, a facsimile device, a printer device, a scanner device, etc. May be incorporated.
In this case, in order to perform communication between the control unit 100 and the support unit 200, the communication unit 300 and the communication unit 400 are connected by a cable or a communication line (including a network), respectively.
In such a configuration, when voice recognition processing is performed from the control unit 100, key information indicating that the voice recognition processing is requested and voice data input by the voice input unit 170 are communicated via the communication unit 300. The communication unit 400 calls the voice recognition unit 210 from this key information, attaches the previous key information to the voice recognition result, and sends it back to the communication unit 300. The received data is determined to be a voice recognition result from the key information and returned to the voice input unit 170.
[0085]
In addition, when speech synthesis processing is performed from the control unit 100, the key information that is a request for speech synthesis processing via the communication unit 300 and the text sentence that the sound output unit 180 wants to convert into speech data are sent to the communication unit 400. The communication unit 400 calls the speech synthesis unit 220 from this key information, attaches the previous key information to the speech synthesis result, and sends it back to the communication unit 300. The received data is determined from the key information as a voice synthesis result, and returned to the sound output unit 180 of the control unit.
When obtaining voice data, the voice data recorded by the key information of the voice data (what kind of voice data is desired) may be selected instead of synthesizing the voice from the text. .
[0086]
By assigning the functions to the MFP and the PC in this way, it is not necessary for each MFP or the like to have dictionary information with a large amount of data and a speech recognition and speech synthesis processing function that takes a long time as in the support unit 200. At the same time, it is possible to facilitate maintenance of the support unit dictionary, processing system, and PC itself.
In the case of such a configuration, the cost balance is better when a plurality of MFPs are connected to one PC.
[0087]
E. Embodiment as a program
Each function constituting the above-described embodiment is programmed, written in advance on a recording medium such as a CD-ROM, and this CD-ROM is mounted on a computer equipped with a medium driving device such as a CD-ROM drive. Needless to say, the object of the present invention can also be achieved by storing these programs in a memory or storage device of a computer and executing them.
In this case, the program itself read from the recording medium realizes the functions of the above-described embodiment, and the program and the recording medium recording the program also constitute the present invention.
[0088]
As a recording medium, a semiconductor medium (for example, ROM, nonvolatile memory card, etc.), an optical medium (for example, DVD, MO, MD, CD-R, etc.), a magnetic medium (for example, magnetic tape, flexible disk, etc.) Either may be sufficient.
[0089]
In addition to executing the functions of the above-described embodiment by executing the loaded program, the operating system or the like performs part or all of the actual processing based on the instructions of the program, The case where the functions of the above-described embodiment are realized is also included.
[0090]
In addition, the program for realizing the functions of the above-described embodiment is loaded into the memory provided in the function expansion board or function expansion unit, and the CPU provided in the function expansion board or function expansion unit is actually installed based on the instructions of the program. This includes the case where the functions of the above-described embodiments are realized by performing part or all of the processing.
[0091]
Further, when the above-described program is stored in a storage device such as a magnetic disk of a server computer and distributed in the form of download or the like from a user computer connected via a communication network, the storage device of this server computer is also included in the present invention. Included in the recording medium.
[0092]
【The invention's effect】
As described above, according to the present invention, the manufacturing cost of the device can be reduced, and various operations on the device can be easily performed even by a visually impaired person, and a sighted person can easily assist a visually impaired person. The equipment could be provided.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram when a user uses an embodiment of the present invention.
FIG. 2 is a schematic diagram of an operation unit according to the present embodiment.
FIG. 3 is a diagram showing an example of a hierarchical menu (partial) relating to a copying machine.
FIG. 4 is a diagram showing a continuation of FIG. 3;
FIG. 5 is a diagram showing a development example of a hierarchical menu in the present embodiment.
FIG. 6 is a diagram showing an example of the functional layout of numeric keys in the present embodiment.
FIG. 7 is a functional configuration diagram of the present embodiment.
FIG. 8 is an apparatus configuration diagram according to another embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Control part 110 ... Function control part 120 ... Operation control part 130 ... Operation input part 140 ... Visual input part 150 ... Visual display part 160 ... Menu control part 170 ... Voice input part 180 ... Sound Output unit 190 ... Function execution unit 200 ... Support unit 210 ... Speech recognition unit 220 ... Speech synthesis unit 300 ... Communication unit 400 ... Communication unit

Claims (13)

画像形成装置の機能別に、操作可能なすべての操作項目について、多階層の木構造となるように、最上層の分類から最下層の設定項目に至るまで分類した階層メニューを設定し、この木構造の分類あるいは設定項目に機能番号を割り当てるようにして、この木構造を記憶するメニュー記憶手段と、数字を指定させるテンキーと、前記テンキーによって指定された機能番号に対応する分類あるいは設定項目を、前記メニュー記憶手段から取得し、前記階層メニューの該分類あるいは設定項目へ次の操作位置を移すメニュー制御手段と、前記メニュー制御手段がメニュー上の設定項目へ次の操作位置を移すときに、移動先の設定項目および、該移動先の設定項目の下層に設定項目が存在する場合は該下層に存在する設定項目数を音声で通知し、該移動を通知する音声が同階層内での移動先設定項目を通知する場合および階層を上下移動する場合で異なるように通知する音出力手段と、を備えることを特徴とする画像形成装置。For each function of the image forming device, set up a hierarchical menu that classifies from the top layer classification to the bottom layer setting items so that all the operation items that can be operated have a multi-level tree structure. The menu storage means for storing the tree structure, the numeric keypad for designating a number, and the classification or setting item corresponding to the function number designated by the numeric keypad are assigned to the function number assigned to the category or setting item. A menu control unit that acquires from the menu storage unit and moves the next operation position to the category or setting item of the hierarchical menu, and a destination to move when the menu control unit moves the next operation position to the setting item on the menu. setting items and, if the setting in the lower layer of the setting items of the destination item exists notifies the number of setting items that exist in the lower layer by voice, the Image forming apparatus voice for notifying the movement is characterized by comprising a sound output means for notifying differently in the case of vertical movement of the case and hierarchies notifies the destination setting items in the same layer. 請求項１記載の画像形成装置において、前記音出力手段で出力する音は、音声または音の高さ、音の速度、リズム、トーンや音量を変更できるようにしたことを特徴とする画像形成装置。The image forming apparatus according to claim 1, wherein the sound output in the sound output unit, the image forming apparatus, wherein the voice or sound level, speed of sound, the rhythm, that it has to change the tone and volume . 請求項１又は２に記載の画像形成装置において、前記テンキーは、方向移動キーとしても用いることを特徴とする画像形成装置。The image forming apparatus according to claim 1 or 2, wherein the numeric keypad, an image forming apparatus, which comprises using as direction key. 請求項１乃至３のいずれか１に記載の画像形成装置において、前記音出力手段は、利用者が各設定項目に対して確認操作を行ったときに、その設定項目の情報提供を音声により通知するようにしたことを特徴とする画像形成装置。The image forming apparatus according to any one of claims 1 to 3, wherein the sound output unit, when the user performs the confirmation operation for each setting item, a voice information providing the setting items of that An image forming apparatus characterized in that notification is provided. 請求項１乃至４のいずれか１に記載の画像形成装置において、前記音出力手段は、利用者が一括確認操作を行ったときに、利用者が前記設定項目の既定値を変更した場合、その変更した設定項目へ順次移動して、その設定内容の変化を音声により通知するようにしたことを特徴とする画像形成装置。The image forming apparatus according to any one of claims 1 to 4, wherein the sound output unit, when the user performs bulk verification operation, if the user changes the default value of the setting item, the sequentially moved to the changed setting items, the image forming apparatus being characterized in that to notify by voice the change of settings of that. 請求項１乃至５に記載の画像形成装置において、前記音出力手段は、利用者が階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その設定項目ごとに既定値へ戻してよいかを音声により問い合わせることを特徴とする画像形成装置。The image forming apparatus according to claims 1 to 5, wherein the sound output unit, the user performs an operation to return the set value of the hierarchy of the setting items in the following positions in the current operation on the hierarchical menu to default case, the image forming apparatus characterized by asking be returned to the default values for each the setting item by voice. 請求項１乃至５に記載の画像形成装置において、前記音出力手段は、利用者が階層メニュー上の現在操作中の位置以下にある階層の設定項目の設定値を既定値へ戻す操作を行った場合、その階層以下にある設定項目をすべて既定値へ戻してよいかを音声により問い合わせることを特徴とする画像形成装置。The image forming apparatus according to claims 1 to 5, wherein the sound output unit, the user performs an operation to return the set value of the hierarchy of the setting items in the following positions in the current operation on the hierarchical menu to default case, the image forming apparatus characterized by asking the setting items in the following that hierarchy may all return to the default value by voice. 請求項１乃至７のいずれか１に記載の画像形成装置において、音声入力手段を備え、この音声入力手段から入力される利用者の音声を認識し、前記メニュー制御手段はその設定項目へ直接移動するようにしたことを特徴とする画像形成装置。The image forming apparatus according to any one of claims 1 to 7, comprising a voice input means, recognizes the user's voice inputted from the voice input means, moving the menu control means directly to the setting item An image forming apparatus characterized by that. 請求項８に記載の画像形成装置において、前記音声入力手段で入力する利用者の音声は、設定項目名または機能番号とすることを特徴とする画像形成装置。The image forming apparatus according to claim 8, user's voice to be input by the speech input means, the image forming apparatus characterized by a setting item name or function number. 請求項１乃至９のいずれか１に記載の画像形成装置において、視覚表示装置を備え、利用者が前記設定項目の選択を確定したときに、前記音出力手段によってその確定した動作内容を音声で通知するとともに、視覚表示装置がこのとき確定した内容を表示するようにしたことを特徴とする画像形成装置。The image forming apparatus according to any one of claims 1 to 9, comprising a visual display device, when the user has to confirm the selection of the set item, a voice and the finalized operation content by the sound output means notifies the image forming apparatus visual display device is characterized in that the content was determined this time to display so. 請求項１０に記載の画像形成装置において、視覚入力装置を備え、前記視覚表示装置に表示された設定状況に対してこの視覚入力装置から入力された設定項目も前記音出力手段によってその設定状況を利用者へ通知するようにして晴眼者も視覚障害者もともに使えるようにしたことを特徴とする画像形成装置。The image forming apparatus according to claim 1 0, with a graphical input device, the setting status said visual display setting item input from the visual input device for the setting status displayed on the device by the sound output means An image forming apparatus characterized in that both a sighted person and a visually handicapped person can be used by notifying a user. コンピュータを、請求項１乃至１１のいずれか１に記載の画像形成装置として機能させるためのプログラム。A program for causing a computer to function as the image forming apparatus according to any one of claims 1 to 11. 請求項１２に記載の画像形成プログラムを記録したコンピュータ読み取り可能な記録媒体。Computer readable recording medium recording an image forming program according to claim 1 2.

Images