JP4070545B2 - 機器操作装置、プログラムおよび記録媒体並びに画像形成装置 - Google Patents
機器操作装置、プログラムおよび記録媒体並びに画像形成装置 Download PDFInfo
- Publication number
- JP4070545B2 JP4070545B2 JP2002257107A JP2002257107A JP4070545B2 JP 4070545 B2 JP4070545 B2 JP 4070545B2 JP 2002257107 A JP2002257107 A JP 2002257107A JP 2002257107 A JP2002257107 A JP 2002257107A JP 4070545 B2 JP4070545 B2 JP 4070545B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- user
- setting
- item
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimiles In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、機器操作装置、プログラムおよび記録媒体並びに画像形成装置に関し、詳細には、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらの機能を１台に統合した複合機やコンピュータ等のＯＡ機器における種々の操作において、視覚を用いないで操作が行える機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びにその機器操作装置を組み込んだ画像形成装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータ等でアプリケーションソフトウェアを動作させる場合、機能が豊富な場合には類似した機能を階層構造のメニューとしてまとめていることが多い。このような階層構造のメニューの場合、利用者は自分が希望する機能に達するために、何段階もの選択を行う必要がある。
また、メニューが階層構造になっているため、どのメニューを選べば希望する機能に到達できるのか、操作方法が直感的に判断しにくいという問題点がある。
【０００３】
この問題を解決するために、特許文献１の「機器の補助操作装置」は、機器の動作モードを音声で指示することによって、使用者がメニューの階層構造を意識することなく、動作モードの指示を行うことができるようにした。
【０００４】
【特許文献１】
特開平９−２５８９４３号公報
【０００５】
【発明が解決しようとする課題】
上述の特許文献１の技術では、音声認識が行なわれると、認識結果に応じた設定が確定してしまうため、意図せずにうっかり設定した場合や、誤認識した場合には正しく設定されないことになる。
そのため、設定した状態を一旦前の状態に戻し、再度、音声認識を起動しなければならないという問題がある。
【０００６】
この問題を解決するため、誤って設定された場合には、その設定を取り消すアンドゥー操作を設けることが考えられる。
しかしながら、利用者への対応を考慮すると、操作は容易であるほうが望ましく、アンドゥーという新たな操作を設けるとそのための操作を習得する必要があり、利用者の負担が増えてしまうことになる。
また、操作が複雑になれば、習得意欲が薄れることにもなり、米国アクセシビリティー関連法（リハビリテーション法５０８条、通信法２５５条など）に対応した、誰にでも扱いやすい機器を提供できないということになる。
【０００７】
本発明は、上述した実情を考慮してなされたものであって、利用者が視覚を使用しなくても各種の操作を容易に且つ確実に行うことができる機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びにその機器操作装置を組み込んだ画像形成装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明の請求項１の機器操作装置は、機器の操作可能なすべての操作項目を機能別に分類し、その分類をさらに最終的な設定項目に至るまで細分化して階層メニューを作成し、その階層メニュー中の設定項目を選択または値設定して機器を操作する音声ガイダンス付きの機器操作装置において、利用者から音声で前記設定項目の指定を入力する音声入力部と、その入力された音声を音声認識した認識語を出力する音声認識部と、前記音声入力部で指定された設定項目を前記階層メニュー上の位置として管理するメニュー制御部と、前記メニュー制御部で管理している、利用者が既定値から変更した設定項目を音声フィードバックする設定確認手段と、を備えることを特徴とする。
また、本発明の請求項２は、請求項１に記載の機器操作装置において、さらに、利用者の操作する確定手段を備え、前記音声入力部は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックして、前記確定手段により確定操作が行われたときに、この最後の認識語に対応する設定項目が指定されたものとし、前記メニュー制御部は、前記音声入力部で指定された設定項目を音声情報で説明することを特徴とする。
また、本発明の請求項３は、請求項２に記載の機器操作装置において、前記音声入力部は、利用者による確定操作が行なわれない間は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックすることを継続することを特徴とする。
また、本発明の請求項４は、請求項３に記載の機器操作装置において、前記音声入力部は、利用者による確定操作が行なわれない間は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックすることを継続することを特徴とする。
また、本発明の請求項５は、請求項３に記載の機器操作装置において、前記音声入力部は、先に認識された設定項目の下位階層中に存在する、前記認識語に対応する設定項目を音声フィードバックすることを特徴とする。
また、本発明の請求項６のプログラムは、コンピュータを、請求項１乃至５のいずれか１つに記載の機器操作装置として機能させるためのプログラムである。
また、本発明の請求項７の記録媒体は、請求項６に記載の機器操作プログラムを記録したコンピュータ読み取り可能な記録媒体である。
また、本発明の請求項８の画像形成装置は、請求項１乃至５のいずれか１つに記載の機器操作装置を用いて、画像形成装置の機能に対する設定項目を選択・決定してから画像形成することを特徴とする。
【０００９】
以上のように構成したことにより、利用者が機器の操作を行うときに、誤って設定してしまう不安を取り除き、安心して何度でも音声認識を利用できるので、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
また、音声認識を行なうために発声する言葉の間にポーズが挿入されていても正しく認識することにより、利用者が安心して音声認識を利用でき、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を詳細に説明する。
以下の実施形態の説明では、本発明の機器操作装置をＭＦＰ（デジタル複合機：Multi-Function Peripherals）へ組み込んだものとして説明する。しかし、本発明の機器操作装置の組み込み対象は、ＭＦＰに限ったものではなく、多様化した機能を有する装置であれば同様の効果が期待できる。
【００１１】
Ａ．本発明の機器操作装置を組み込んだＭＦＰ
図１は、本発明の機器操作装置を組み込んだＭＦＰのブロック図である。
図１において、ＭＦＰ１００は、ホストコンピュータとＭＦＰを接続するためのホスト接続装置１０１、ＦＡＸ回線に接続するためのＦＡＸ回線用接続装置１０２、ＬＡＮ等のネットワークへ接続するためのネットワーク接続装置１０３、ＭＦＰの各種設定操作を行うための操作部１０４、原稿台から画像をスキャンし画像データを作成するスキャナ装置１０５、作像装置や給排紙装置を備えたプリンタエンジン１０６、ＭＦＰ全体の制御、プリンタ言語処理、ファクシミリ制御、スキャナ制御、利用者認識処理、音出力制御、画像データ編集処理およびＭＦＰ操作に対する制御等を行う制御コントローラ１０７、ファクシミリ受信した画像データ、交信記録や各機能で使用した画像データを保存する記憶装置１０８、利用者の操作結果に応じて音および音声を出力するスピーカ、ヘッドフォン等の音出力装置１０９、利用者が発する操作指示の音声を入力する音声入力装置１１０とからなる。
【００１２】
このようなＭＦＰ１００において、プリンタ機能を利用する場合には、ホスト接続装置１０１を介してホストコンピュータから送信された印刷データ、または、ネットワーク接続装置１０３を介して接続されたコンピュータから送信された印刷データが制御コントローラ１０７の受信バッファに一時蓄えられ、制御コントローラ１０７でプリンタ言語処理に従い画像データに展開され、プリンタエンジン１０６に送られて印刷が実行される。
このＭＦＰ１００のコピー機能を利用する場合には、制御コントローラ１０７の指示にしたがって、スキャナ装置１０５から読み取られた画像データをプリンタエンジン１０６に送って印刷が実行される。
【００１３】
また、利用者がこのＭＦＰ１００を自由に取り扱える人である場合には、操作部１０４の操作パネルに表示された絵情報に従ってコピーの指示を与え、スキャナ装置１０５で読み取られた画像データを一旦記憶装置１０８へ格納しておき、制御コントローラ１０７の画像データ編集処理により、画像データの編集、複数画像の重ね合わせ等を実行したあと、その画像データをプリンタエンジン１０６によって印刷したり、ＦＡＸ回線用接続装置１０２によってＦＡＸ送信したりすることができる。
【００１４】
利用者がこのＭＦＰ１００を自由に扱えない人である場合には、テンキー等の利用者に識別可能な入力装置または音声入力装置１１０によって与えられた操作指示に対して、その操作状況を音出力装置１０９に出力される音や音声によって判断して、操作状況を確認してコピー機能を操作する。
【００１５】
また、ＭＦＰ１００のスキャナ装置１０５で読み取られた画像データ、ＦＡＸ回線用接続装置１０２を介して得たファクシミリ画像データやネットワーク接続装置１０３を介して得た画像データをホスト接続装置１０１やネットワーク接続装置１０３を介してコンピュータへ送信し、そのコンピュータのアプリケーションで受信した画像データを再加工するようにも使うことができる。
さらに、このＭＦＰ１００は、ネットワーク接続装置１０３を介してインターネットに接続した画像データサーバから画像データを取り寄せて、プリンタエンジン１０６によって印刷することもできる。
【００１６】
Ｂ．操作部と操作パネル
図２は、本発明の機器操作装置が組み込まれたＭＦＰ１００における操作部１０４の正面図である。
操作部１０４の中央には、液晶表示部（ＬＣＤ）２０１およびタッチパネルが設けられている。この液晶表示部２０１には、ＭＦＰ１００に組み込まれている機能（ＦＡＸ、コピー、プリンタ等）に対する設定項目の表示が行われ、利用者はこの表示された設定項目に値を設定することによってＭＦＰ１００の操作を行う。機能の切り替えは、液晶表示部２０１の左側に設けられた機能キー２０６によって行われる。
この液晶表示部２０１の右側には各機能で共通に使用する各種テンキー２０２、クリア／ストップキー２０３、スタートキー２０４、設定確認キー２０５等の各種キーが配置されている。
【００１７】
Ｃ．本ＭＦＰによる操作概要
本ＭＦＰ１００の利用者は、次の２種類に分類される。
（１）本ＭＦＰを自由に操作できない人
これに分類される人は、視覚障害者、肢体不自由者、弱視者、老眼の人（以下、視覚障害者等と呼ぶ）のように操作部１０４の液晶表示部２０１の画面やタッチパネル２０１を見て操作できない人である。
または、健常者であっても、音声や音での操作を選択した人もこの分類に含まれる。
この分類に属する人が本ＭＦＰ１００を操作するときは、音声および音によって操作のガイダンスが行われるが、ＭＦＰのこの処理形態を「音声モード」と呼ぶことにする。
【００１８】
（２）本ＭＦＰを自由に操作できる人
これに分類される人は、上記の（１）に含まれない人であって、一般には晴眼者の健常者である。
この分類に属する人が本ＭＦＰ１００を操作するときは、操作部１０４の液晶表示部２０１およびタッチパネル２０１によって操作が行われるが、ＭＦＰのこの処理形態を「視覚モード」と呼ぶことにする。
【００１９】
以下、本ＭＦＰ１００の操作概要を「原稿を複写するときの操作」を用いて説明するが、本ＭＦＰ１００の利用者は、上述したいずれの利用者であっても、ＭＦＰの電源やテンキーがどの辺にあるかは分かっており、また、ＭＦＰの基本的な機能や操作方法を一通り勉強済みであることを前提とする。
【００２０】
まず、ＭＦＰ１００の電源を入れた状態では、「視覚モード」で動作するように設定されているので、「視覚モード」で利用できる利用者は、そのまま操作部１０４の画面表示とタッチパネルとによって各種の指示を与え、ＭＦＰ１００を操作することができる。
【００２１】
一方、「音声モード」でＭＦＰ１００を動作させたい人は、モード切り替えキー（例えば、テンキーの「＊キー」）を一定時間（３秒）以上押し続け、ヘッドフォンとマイクロフォンを備えたヘッドセットをＭＦＰ１００へ接続して、「視覚モード」から「音声モード」へ切り替える。「音声モード」に切り換えられると、ヘッドフォンへ「音声モードに入りました」と音声で通知される。
一旦、「音声モード」が設定されるとタッチパネルからの指示はロックされるが、「モード」の切り替え指示を行うことによって、ヘッドフォンを着けたままでも随時切り替えることができる。
また、ヘッドセットとＭＦＰ１００との接続は、無線通信やＢｌｕｅｔｏｏｔｈを使って交信するようにしてもよい。
【００２２】
次に、本ＭＦＰ１００の操作部１０４の機能キー２０６「Ｃｏｐｙ」（図２参照）を押すことによって、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。
【００２３】
また、本ＭＦＰ１００には、ＦＡＸやコピー等の機能ごとに、あらかじめ操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層を持った単一のメニューを作成しておく。
例えば、「Ｃｏｐｙ」機能は、図３および図４に示すような階層に分類される（この機能分類は一部分を示したものにすぎない）。
【００２４】
利用者は、操作部１０４に設置された方向移動キーあるいはこの方向移動キーの代用可能なキー（以下、まとめて方向移動キーという）を用いて、階層メニューの階層をたどって所望の操作項目に移動し、これを選択または値を設定するという操作を繰り返して設定を完了した後に、スタートキー２０４を押下することによって、原稿の複写が作成される。
また、利用者は、上記のような方向移動キーの代わりに、音声認識を用いて設定したい機能を直接入力することもできる。
【００２５】
利用者が階層メニューを操作していく過程で、選択対象となった機能の説明や現在までに設定された設定項目の内容を利用者へ音声、音やＢＧＭ（Back Ground Music）によってフィードバックするので、操作部１０４の液晶表示部２０１の画面を見たり、タッチパネル２０１から入力しなくても、視覚を利用せずにＭＦＰ１００の各種の操作を容易に且つ確実に行える。
ここで音声、音やＢＧＭは、属性（音の高下、音の速度、声の種類（男性、女性、機械的音声等）、音質、調子、音色、音場感等）を用いて、設定項目の種類や設定状況および階層の深さや場所等に応じて変化させて出力される。
【００２６】
また、「音声モード」における方向移動キー等による選択過程を操作部１０４の液晶表示部２０１の表示画面へほぼ対応付けて表示させる。
ここで、例えば、利用者が途中で操作が分からなくなったときに、ヘッドフォンをつけたまま一旦「視覚モード」へ移行して、健常者が操作部１０４のタッチパネル２０１で設定項目を選択すると、その操作結果がヘッドフォンへフィードバックされるので、視覚障害者等の利用者も何を設定したのかを知った後、「音声モード」へ戻って操作を続行することができるので、健常者が視覚障害者等を介助しやすくなる。
【００２７】
また、利用者による操作結果をＭＦＰ１００の液晶表示部２０１の画面にほぼ同期して表示させるので、弱視者や老眼の人自身が画面をみて、視覚モードで操作することもできる。
【００２８】
Ｄ．本ＭＦＰにおける操作の詳細
（１）階層メニューの構造
すべての操作機能をそのまま複数のメニューとすると覚えにくいので、ＭＦＰで扱うＦＡＸ機能、コピー機能、プリンタ機能、スキャナ機能、ＮｅｔＦｉｌｅ機能等の機能ごとに、操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化して多階層の木構造を持った単一のメニューを作成し、メニューデータベース（ＤＢ）へ記憶しておく。
利用者は、本ＭＦＰ１００を使用するときに、上述したＭＦＰの持つ機能のうち所望の機能を機能キー２０６によって選択すると、その機能に応じたメニューがメニューデータベースから読み出されて設定される。
【００２９】
コピー機能のメニューは、例えば、「変倍」、「両面」のように、より詳細な設定項目がある場合には、「変倍」や「両面」を１つの階層名とし、それらの階層の下にさらに「等倍」、「拡大」、「縮小」等選択すべき階層名を配置し、その階層名が「１１５％」、「９３％」といった最終的な設定項目になるまで細分化する。以下、階層名と設定項目を総称して、操作項目と呼ぶ。
【００３０】
この階層メニュー上の設定項目の種類として、次にあげるようなものがある。
・同階層中にひとつだけ選択できる選択項目
例えば、「拡大」の階層の下の「１１５％」か「１２２％」等
・機能のＯＮ／ＯＦＦをトグルことができるトグル項目
例えば、「フィニッシャー」の階層の下の「ソートするか否か」等
・数値を設定できる数値項目
例えば、コピーする部数等
・何らかの動作を始動する動作項目
例えば、ＦＡＸ機能で登録されている宛先リストの作成等
【００３１】
例えば、コピー機能の場合、先ず、図３および図４のように、第一階層の階層名を（部数、原稿、用紙、変倍、両面・集約・分割、フィニッシャー等）とし、それぞれ第二階層、第三階層等に細分化しておく。
また、図３および図４のように、各階層の操作項目（階層名および設定項目）にはそれぞれ数字が対応しており、この数字を指定することによって、階層をたどらなくても直接その操作項目を選択することができる。以下、この数字のことを「機能番号」という。
【００３２】
（２）階層メニューの操作
次に、上述した階層メニューの操作方法について説明する。
階層メニュー上に配置された操作項目を移動・選択操作するには、方向移動キーあるいはそれに代用可能なキーを用いるが、以下の説明ではテンキー２０２を代用して用いることにする。
【００３３】
図５は、キーごとに割り当てられた機能を示している。
図５では、「上方移動（「２」）」キーを押下することによって階層を上にたどり、「下方移動（「８」）」キーを押下することによって階層を下にたどる。
また、「左方移動（「４」）」キーを押下することによって同階層を左にたどり、「右方移動（「６」）」キーを押下することによって同階層を右にたどる。
尚、上記した方向移動キーを逆に割り当てるようにしてもかまわない。
【００３４】
利用者が階層メニューの下層へ移動するように指示したときに、下層の操作項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法によって、次の操作項目へ移動する。
・下層の最初の項目に移動する。
・下層の既に選択されている項目に移動する。
・下層の既定値を持つ項目に移動する。
【００３５】
また、利用者が水平方向の移動キーを操作して、同階層を移動してその階層の端へ達した場合には、その階層の反対の端へ移動し、循環的な移動を行う。常に一定方向へ移動することによって、利用者の選択したい項目を見つけることができる。しかし、この階層の項目数がどの程度の数なのかを把握することができず、メニュー上で迷子になってしまう可能性が高い。
または、この循環的移動を行わず、端にきたときそれ以上は移動しないようにしてもよい。この場合には、所望の項目を行き過ぎてしまった場合、反対方向に移動キーを押さなくてはならないが、その階層に項目がどの程度あるのかを把握することができる。
【００３６】
原稿の画像が薄いためにコピー結果が濃くするように操作する場合を例にして、方向移動キーの使用方法を説明する（図６参照）。
操作開始のときは、現在の階層名「部数」が利用者に音声にて知らされるので、右方移動キーにより階層名「原稿」へ進む。このとき音声で階層メニューの「原稿」の位置にいることが知らされる。
次に、この「原稿」の細分類である「濃度」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「種類」の位置にいることが知らされる。
【００３７】
さらに、「原稿」の細分類の１つである階層名「濃度」へ進むために、右方移動キーを押す。このとき音声で「濃度」の位置にいることが知らされる。
同様に、この「濃度」の細分類である「濃く」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「自動」の位置にいることが知らされる。
さらに、「濃度」の細分類の１つである階層名「濃く」へ進むために右方移動キー押す。このとき音声で「濃く」の位置にいることが知らされので、確定キーを押す。
これにより、利用者の要求する「原稿を濃くコピーする」設定が達成できる。
【００３８】
さらに、図５において、利用者が設定の途中でどの階層にいるか分からなくなった場合や、最初から選択し直したい場合には、例えば、「トップへ戻る（「１」）」キーを押下することによって、どの階層からでもトップの階層の最左端の操作項目（図３の例では、第一階層の「部数」）へ戻れる。
この場合、それまでに選択または設定された設定項目は、ＭＦＰ１００に記憶しておき、移動キーによって、それまでに選択・設定された項目へ移動することができる。
【００３９】
また、図５において、「直接ジャンプ（「０」）」キーを押下することによって、利用者が設定したい階層や項目へ直接移動することができる。
例えば、「直接ジャンプ」キーを押下し、さらにテンキーから機能番号を入力することで、その機能番号に対応した操作項目へ移動することができる。
例えば、「直接ジャンプ」キーの押下に続いて、機能番号「４３５＃」（ここで「＃」キーは、数字入力の終了を指示する。）をテンキーによって数値入力すると、ＭＦＰ１００は、「変倍」→「縮小」→「７１％」の順で項目が選択されたものと判断する（図３、図４参照）。
この機能番号は、最下層の設定項目ではなく、中間の階層の階層名であってもよい。この場合は、その階層名へ移動し、その階層名の下の階層にある操作項目の中から選択するようにする。
【００４０】
また、上記のような「直接ジャンプ」キーによって直接設定したい項目の機能番号を入力するのではなく、「音声認識（「３」）」キーを押下して、利用者が「機能番号」、「階層名」、「設定項目名」またはキーワードを発声し、それをＭＦＰ１００が認識し、その認識された項目へ直接移動することもできる。
この音声認識では、認識結果を音声でフィードバックしてくれるので、誤りに気づいたときには、再度発声して確認後、「確定（９）」キーを押して所望の操作項目の入力を行う。
【００４１】
また、利用者が１つ以上の単語を発声して、階層メニューの中から音声認識結果を含む操作項目を検索し、その検索された操作項目へ直接移動することができる。
例えば、階層メニュー上に「両面・集約・分割」→「製本」→「片面から週刊誌」があるとき、「週刊誌」と利用者が発声すると、現在操作中の階層メニューの位置と関係せずに、その「片面から週刊誌」へ直接移動する。
【００４２】
また、コピーした紙にパンチ穴を開けるための設定項目に移動したい場合には、「パンチ」と発声すると、階層メニュー「パンチ」の操作項目へ移動する。
さらに、この「パンチ」の項目の下層にある「左」あるいは「右」のいずれかの設定項目に直接移動したい場合には、「パンチひだり」、「パンチみぎ」と発声すればよい。
「パンチひだり」を発声した後で誤りに気づいたときには、再度「パンチみぎ」と発声して「確定（９）」を押せばよい。
【００４３】
また、図５において、「現在位置の説明（「５」）」キーを押下することにより、現在、階層メニュー上のどの操作項目にいるのかを音声によりフィードバックする。フィードバック情報としては、例えば、操作項目名、機能番号および設定された値（部数）等がある。
例えば、用紙をＡ４横に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声でフィードバックされる。
【００４４】
また、「設定確認」キー２０５（図２参照）を押下することにより、利用者は既定値から変更した設定項目をまとめて確認することができ、また、その設定値を変更することもできる。
【００４５】
さらに、図５において、上述した各キーによって階層メニューを操作し、所望の設定項目の設定が終了したとき、その設定項目を確定するために「確定（「９」）」キーを押下する。これによりＭＦＰ１００は、確定された設定項目の内容を操作部１０４の液晶表示部２０１の画面へ表示する。
【００４６】
図５において、「＃」キーは、直接ジャンプの指令や部数の設定等で数字を入力するとき、数字の最後を示すためのキーとして使われる。
【００４７】
また、図５において、「モード切り替え（「＊」）」キーを押下すると、現在のモードを切り替える。
「モード切り替え（「＊」）」キーを押下した場合、現在のモードが「音声モード」であれば、「視覚モード」へ切り替える。但し、ヘッドセットが接続されたままであれば、タッチパネルで操作した結果がヘッドフォンへ出力される。従って、完全に「視覚モード」へ戻すためには、ヘッドセットも接続を切り離す必要がある。
一方、「モード切り替え（「＊」）」キーを押下した場合、現在のモードが「視覚モード」であれば、上述のヘッドセットをＭＦＰ１００へ接続することにより「音声モード」へ切り替えることができる。
【００４８】
（３）操作結果の動作音、音アイコンおよびＢＧＭによるフィードバック
上述したようにテンキーを用いて階層メニュー上に配置された操作項目を移動・選択操作を行う際に、次に示すような動作の結果の確認を動作音、音アイコンおよびＢＧＭ（background music）で利用者のヘッドフォンへ出力する。
ここで音アイコンは、対象物の性質を示す静的な情報であって、操作項目のタイプを弁別する目的で音色の異なる動きのない音（短い単音）である。
【００４９】
また、動作音は、同一音色の異なる音（和音やごく短い旋律）を用いて動作結果のイメージを湧かせるもので、動作と音楽理論上の音との意味付けを対応させる。例えば、階層上の上昇や下降にはそれぞれ上昇音形、下降音形を、行き止まり（移動の失敗）には不安感を感じさせる増４度の不協和音を、選択・確定には安定を感じさせる進行の一つであるドミナントモーションを使う。
【００５０】
例えば、階層の上下への移動を通知する動作音をそれぞれ用意し、利用者の上下の階層へ移動する際にその動作音を出力することによって、階層を上下したことを知らせる。この動作音は、上記の音アイコンとは異なるものとする。
このとき、移動先の下層に操作項目があるか否かを判断し、下層に操作項目の有る無しによって動作音を異ならせて出力して利用者へ知らせる。
【００５１】
また、同階層の循環的移動が設定されていない場合には、水平方向へ移動を指示したとき、それ以上移動する項目がないときには、「行き止まり」の動作音で利用者へ知らせる。
また、トップへ移動、水平方向へ移動、直接移動や音声認識等のキーを押下したときに、その選択動作を確認する動作音を出力することによって、利用者は確実に操作が受け付けられていることを確認できる。
【００５２】
また、上層階層ではゆっくりした調子のＢＧＭとし、下層に行くにしたがって早い調子のＢＧＭとするようにすれば今どの辺の階層にいるのかを認識できる。また、コピーの部数を入力するような数値入力の場合にも、その数値入力が終了するまでＢＧＭを流すことによって、数値入力を行っていることを確認できる。
【００５３】
また、ＭＦＰの動作中の状態、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いています」等を音声によって利用者へ通知する。このような状態がすぐ解消できないような場合には、その音声が途切れてしまえばその状態はつかめなくなる。
例えば、コピー動作を行っている間、ＭＦＰから利用者が離れていたときに「紙詰まりになった」場合には、この音声だけでは利用者にはわからないが、音声の後にＢＧＭを流しておけば、このような状態でも利用者には認識できる。
【００５４】
また、利用者が４０部のコピーを指定したときに、今どのくらいのコピーが終了しているかを認識できるように、コピー全体にかかる時間とＢＧＭが１曲終了する時間とを対応付けておき、利用者はそのＢＧＭのどの辺を聞いたかによって、どのくらいまでコピーが進んだかを知ることができる。
【００５５】
このように利用者へ動作イメージを湧かせるような動作音、ＢＧＭや音アイコンで通知することにより、利用者が今どのような状態にあるかを確認でき、確実に入力したか、または、操作が完了したかどうかの不安を低減することができる。
【００５６】
（４）操作結果の音声によるフィードバック
上述したようにテンキーを用いて階層メニュー上に配置された操作項目を移動・選択操作を行う際に、音声によってもヘッドフォンから出力することにより、その入力および操作結果が確実になされたかを利用者が認識することができ、不安を低減することができる。
このときの音声は、状況に応じて音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させてフィードバックすることにより、利用者が置かれた状況を直感的に把握させることができる。
【００５７】
また、移動操作によって階層メニューをたどって、操作項目へ達したときに、その操作項目を所定の内容の音声フィードバックを行う。
例えば、「拡大」や「１１４％」等の操作項目へ移動したときには、その項目名を読み上げる。これにより、利用者がどの操作項目に移動したかを認識できる。
【００５８】
この項目名を読み上げる際、既に選択されている項目をまだ選択されていない項目よりも高い声で読み上げる。これによって利用者に対して活性度の高いイメージを与え、その項目が現在選択されていることを、言語表現によるよりも素早く直感的に伝えることができる。
【００５９】
例えば、図３および図４の階層メニューにおいて、「変倍」の下階層の「等倍」や「拡大」はそれらのうちのどれかひとつが選択されるべきものであるが、現在どれが選択されているかを利用者が知ることができれば「等倍」が選ばれているのにさらに「等倍」を選択するという無駄が省ける。
また、「原稿サイズ混載」等のような選択によってＯＮ／ＯＦＦを切り替える項目では、現在選択されているか（即ちＯＮであるか）、選択されていないか（即ちＯＦＦであるか）を知らなければ自分の所望の状態にセットすることができない。
【００６０】
また、項目名を読み上げる際、無効な項目は有効な項目よりも低い音声によって読み上げる。これによって利用者に対して活性度の低いイメージを与え、その項目が現在無効であることを、言語表現によるよりも素早く直感的に伝えることができる。
ある項目を選択したことにより他の項目に影響を与え、その結果として他の項目を選択できないという状況になることがある。
【００６１】
例えば、「用紙」に「自動」や「トレイ１」等が選ばれている時、「手差し用紙の紙種類」を選択することは有効ではない。選択できないのにその項目へ移動や選択ができるようにしておくと、利用者に選択できるという誤解を与えて混乱を招きかねない。
しかし、その項目を一時的に階層メニューから削除したり、移動させないようにすると、階層メニューの構造が動的に変化することになり、聴覚的にのみメニュー構造を把握している利用者には何故メニュー構造が変ったかが分かりにくく混乱を招くことになる。
【００６２】
以上のような読み上げの際、音声の音高の上下は通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要がある。例えば、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与えるようにする。
【００６３】
また、項目名を読み上げる際、下の階層の項目をもつ項目名には残響音を付加して出力する。これによって利用者に対して余韻のあるイメージを与え、その項目の後にさらに細分類された項目群があることを、言語表現によるよりも素早く直感的に伝えることができる。
例えば、階層メニュー上の項目には、「等倍」のようにそれ以下の階層を持たないものと、「拡大」のようにさらに下の階層の細分類項目を持つものがある。この違いを実際に下の階層へ移動せずにわかるということは、階層メニューの移動作業を見通しよくすることになる。
【００６４】
「現在位置の説明（「５」）」キーを押下することにより、階層メニュー上のどの操作項目に現在いるのかを知るために、その操作項目に対する操作項目名や設定値等の情報提供を所定の内容の音声によりフィードバックする。
例えば、「用紙」を「Ａ４横」に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声フィードバックする。
【００６５】
また、設定項目の選択が終了し、「確定（「９」）」キーにて確定操作が行われたときに、その確定された内容を所定の内容の音声によりフィードバックを行う。
例えば、「拡大」で「２００％」を選択・確定したときは、「変倍は拡大２００％に設定されました」と音声でフィードバックされる。
【００６６】
また、設定確認キーが押下されたとき、現在の階層メニュー上の操作項目（中間階層を含めて）より下にあり、利用者が既定値から設定を変更した設定項目をまとめて音声で読み上げる。
このとき、一度にすべての設定項目を音声フィードバックするのではなく、１つの設定項目につき音声フィードバックし、その設定項目に誤りがあれば修正し、移動キーを操作させて次の変更されている設定項目に移動し、最後は確定キーを押下して最終確定とするようにしてもよい。
また、今までに既定値から変更した設定項目をすべて知りたいときには、一旦「トップへ戻る（「１」）」キーで階層メニューのトップへ移動してから、この設定確認キーを押すことにより一括して確認することができる。
【００６７】
各設定項目の設定を完了し、スタートキーを押下し、ＭＦＰの動作が終了したときに、その成否を知らせる所定の内容の音声フィードバックを行う。
例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
【００６８】
また、操作中や動作中にＭＦＰの状態を上述した操作項目の操作時の音声とは異なる話者の音声によって、動作音の後に続けて、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等と利用者へ通知する。
【００６９】
上述した音声フィードバックによる音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させるつまみを用意することによって、利用者に聞き取りやすい音声出力とすることができる。
また、音声フィードバックの終了を待たずに、次のキー操作がなされた場合には話速を自動的に早くすることによって、利用者のイライラ感をへらすことができる。
【００７０】
（５）操作の例
次に、上述したＭＦＰを使って「部数を２部」に設定し、動作完了するまでの操作例を説明する。
先ず、階層メニューを操作して「部数」のところへ移動すると、ヘッドフォンから「（ピロン）部数」という音アイコンに続いて音声で設定項目名「部数」を読み上げる。このとき「部数」の下の階層がないため、残響音は付加されない。ここで利用者が「確定（「９」）」キーを押下すると、ヘッドフォンから「（キャラン）テンキーで部数を入力して確定キーを押してください」という音アイコンに続いて部数の入力音声ガイドがなされ、部数の数値入力の間ＢＧＭが流れる。
ここで「（ピロン）」「（キャラン）」の音は、動作音を示している。
【００７１】
利用者はテンキーを使って、「２」と「＃」キーを押すと、ヘッドフォンから入力した数字を読み、利用者が「確定（「９」）」キーを押すと、ヘッドフォンから「（キャラン）部数は２部に設定されました」の音声が聞こえてくる。
この後、利用者はスタートキーを押すと、ヘッドフォンからコピーをしている間、ＢＧＭが流れ、終了すると「コピーが２部終了しました」と音声ガイダンスがある。
【００７２】
Ｅ．ＭＦＰにおける機能構成
図７は、ＭＦＰに組み込んだ本発明の機器操作装置の機能構成図である。
図７において、機器操作装置は、操作制御部３１０、操作入力部３２０、視覚入力部３３０、視覚表示部３４０、メニュー制御部３５０、メニューデータベース（ＤＢ）３６０、音声入力部３７０、音出力部３８０、機能実行部３９０、音声認識部４１０、音声合成部４２０とから構成される。
【００７３】
操作制御部３１０は、利用者がコピー機能やファクシミリ機能等のいずれの機能を使うかを指示させ、それに対する操作のための初期設定および装置全体の制御を行う。また、ＭＦＰを立ち上げたときの初期状態では「視覚モード」となっている。
【００７４】
操作入力部３２０は、テンキー等の視覚入力以外の入力を行う。
「視覚モード」のときには、数字等をテンキーから入力するが、「音声モード」のときには、階層メニューの階層構造を移動させる方向移動キー、操作項目の選択・確定等を行う各種キーやテンキー等から各種の操作指示を入力し、その入力されたテンキーの種別によって決定される機能番号と入力したテンキーの種別をメニュー制御部３５０へ引き渡す。
【００７５】
（１）「方向移動」キーの場合
階層を１つ下がるごとに１０倍、同階層では右方へ移動するごとに１増加させるように、機能番号を構成しておき、方向移動キーの種類で演算を行って、現在の階層メニュー位置の機能番号から、次の移動先の機能番号を計算し、操作項目を決定できる。
例えば、初期状態(現在の機能番号＝１)から、右方移動キーを押下すると、機能番号＝１＋１＝２である。ここで、下方移動キーを押下すると、機能番号＝２×１０＋１＝２１である。
次に、ここで上方移動キー、下方移動キー、右方移動キーのいずれかのキーを押下した場合には、機能番号はそれぞれ２、２１１、２２となる。
【００７６】
（２）「直接ジャンプ」または「トップへ戻る」キーの場合
「直接ジャンプ（「０」）」キーを入力して、数値入力可能な状態にし、利用者が操作項目に対応した機能番号をテンキーから入力し、最後に「数値入力終了（＃）」キーを押下する。
これによって、今テンキーから入力した数値を機能番号に設定する。
例えば、「文字・写真」に移動したい場合には，「２→1→２→＃」と押下すると、機能番号＝２１２と設定される。
また、「トップへ戻る（１）」キーが入力された場合、機能番号＝１と設定される。
【００７７】
（３）音声認識の場合
「音声認識（「３」）」キーを入力すると、操作入力部３２０は音声入力部３７０を起動し、利用者がマイクロフォンから入力された操作項目名、キーワード（操作項目名の一部を表す言葉）または機能番号から音声認識して変換された機能番号を戻させる。
【００７８】
（４）「モード切り替え（＊）」キーの場合
この場合には、モードを切り換えて操作制御部３１０へ戻る。
現在のモードが「視覚モード」のときは、利用者がヘッドフォンとマイクロフォンを備えたヘッドセットを挿入すると「音声モード」へ移行する。ここで切り替えが指定されても、ヘッドセットを接続しなければ、「音声モード」へ移行はしない。
一方、現在のモードが「音声モード」であるときには、「視覚モード」へ移行するが、ヘッドセットが接続されていれば、一時的な「視覚モード」となり操作の結果をヘッドフォンへ出力する。しかし、ヘッドセットが接続されていなければ、完全な「視覚モード」へ切り替わる。
【００７９】
（５）その他のキーの場合
「現在位置の説明（５）」キー、「設定確認」キー、「確定（９）」キーの場合には、そのままテンキーの種別をメニュー制御部３５０へ引き渡す。
また、機能キー２０６が押された場合には、その種別を操作制御部３１０へ戻して、諸設定を変更するようにする。
【００８０】
視覚入力部３３０は、画面上に設置されたタッチパネルを用いて、一般には「視覚モード」では画面に表示された各種の操作項目を選択・設定するための入力を行う。「音声モード」から一時的に「視覚モード」へ切り替えて、操作項目を選択することもできる。
視覚表示部３４０は、「視覚モード」では、各種の機能を画面に表示する。「音声モード」では、利用者が階層メニューから選択し、確定した設定項目を画面へ表示する。
【００８１】
音声入力部３７０は、操作入力部３２０から起動され、利用者が発声した操作項目名、機能番号、操作項目に含まれる単語やキーワードを入力し、入力された音声を音声認識部４１０によって音声認識し、その結果に応じてそれぞれ機能番号へ変換し、この変換された機能番号に対応する操作項目名を音声フィードバックして、「確定（９）」キーが押されるまで音声入力を繰り返し、「確定（９）」が押されると音声入力を終了し、終了したときの機能番号を操作入力部３２０へ戻す。
【００８２】
音声認識した結果、数字が入力された場合には、認識結果を機能番号とする。例えば、「２１６４」と発声したときは、機能番号＝２１６４（原稿セット方向）と設定される（図４参照）。
【００８３】
また、操作項目名が入力された場合には、操作項目名と機能番号とを対応させてメモリへ記憶した対応表またはメニューＤＢ３６０を検索して操作項目名を機能番号へ変換する。
例えば、「もじしゃしん」と発声したときは、「原稿」→「種類」→「文字・写真」が選択されたものと判断し、機能番号＝２１２と設定される（図４参照）。
【００８４】
また、「パンチひだり」と発声したときは、「パンチ」→「左」が選択されたものと判断し、機能番号＝６３１と設定される（図４参照）が、この機能番号の音声フィードバック「パンチひだり」を利用者が確認したときに、パンチ穴を右にあけるつもりであったことに気づいた場合には、再度「パンチみぎ」と発声すると、機能番号＝６３２の「パンチみぎ」を音声でフィードバックして修正できる。
【００８５】
このように、音声認識を何回行っても、「確定（９）」キーを押下するまで、音声入力を確定しないので、再度発声してミスを修正することができる。また、音声受付の制限時間をなくしたことにより、利用者が安心して音声認識を利用できる。
【００８６】
しかし、発声の仕方は利用者により様々であって、「パンチひだり」という言葉を連続して発声する人もいれば、「パンチ」と「ひだり」との間にポーズ（休止）を挿入して発声する人もいる。
この場合、そのポーズで発声が途切れるため発話が終了したと判断して、音声認識処理されてしまう問題が出てくる。特に、言語機能や運動機能に障害をもつ人にとっては、長い言葉を連続して発声するのが困難であるため、ポーズが挿入されたとしても正しく認識できる仕組みが必要となってくる。
【００８７】
このため、ポーズで区切られた直前の発声に対する音声認識結果を機能番号（以下、「先行の機能番号」という）に変換し、その機能番号を記憶しておく（図８参照）。音声入力部３７０が起動されたときには、この「先行の機能番号」はないので、０に設定される。
次に、ポーズ以後に発声された音声を認識し、その認識結果が「先行の機能番号」の下位の階層の操作項目中にあるかを調べ、存在する操作項目を音声フィードバックするとともに対応する機能番号を「先行の機能番号」として記憶する。一方、一致する操作項目が存在しなければ、前回発声された認識結果とのつながりがないものと判断し、今回の認識結果を捨てて、以前の「先行の機能番号」を維持する。
ここで、「先行の機能番号」が０の場合には、認識結果を音声フィードバックするとともにその認識結果に対応する機能番号をそのまま「先行の機能番号」へ記憶させる。
【００８８】
以下、ポーズによる分断された発声に対する認識処理と機能番号への変換を繰り返し、ポーズ区間より長い区間の発声休止があった場合に繰り返しを終了し、最終的に記憶されていた「先行の機能番号」を一連の発声に対する機能番号とする。したがって、言い間違えた場合には、ポーズよりも長く発声を休止してから、再度、正しく発声すればよい。
【００８９】
例えば、「パンチひだり」の発声が「パンチ」と「ひだり」の間のポーズ区間で途切れた場合には、「パンチ」に対して変換された機能番号は６３である。この機能番号＝６３が「先行の機能番号」として記憶される。
続いて、「ひだり」が認識されると、「先行の機能番号」の下位階層で操作項目名「ひだり」を階層メニュー上で探す。
機能番号＝６３１が一致する操作項目であるから、これを「先行の機能番号」へ記憶させる。
このようにして、「パンチ」と「ひだり」の間にポーズを入れて発声しても所望の項目に認識できるので、利用者の様々な発話形態に対応できるので、発声方法の制約がなくなり、障害者対応の強化が図れる。
【００９０】
一方、一致する操作項目がなければ、例えば、前回の音声認識結果が「コピー」であり、その後「ひだり」が音声認識された場合、先行の機能番号＝５２（コピー）の下の階層に操作項目「ひだり」はないため、「先行の機能番号」＝５２を維持する。
このように、ポーズを入れて発声された場合に、発声内容を誤っても以前の状態が保持されているので、利用者は安心して再度正しい内容を発声することができる。
【００９１】
メニュー制御部３５０は、階層メニューを保持するメニューデータベース（ＤＢ）３６０によって、階層メニュー上の現在位置を管理する。
操作入力部３２０から渡された入力キーの種別がメニュー上の移動を伴う場合には、入力された機能番号がメニューＤＢ３６０に存在するかどうかを検索し、存在すれば現在の機能番号を入力された機能番号に置き換え、この置き換えられた機能番号に対応した操作項目の位置に移動し、その処理結果の音出力が行われる。
また、移動を伴わない「現在位置の説明」や「設定確認」のときには、そのキーに与えられた機能に応じて音声フィードバックする。
「確定」キーの場合には、現在の機能番号で示された設定項目を確定して記憶し、確定したことを音声フィードバックする。
例えば、機能番号＝６３１である場合に、その項目を確定するために「確定」キーが押下されると、「パンチ左はオンに設定されました。」という音声フィードバックがなされ、設定を確定する。ここで、すでにパンチ左がオンに設定されていた場合には「パンチ左はオフに設定されました。」という音声フィードバックがされる。
【００９２】
例えば、初期状態(機能番号＝１)で上方移動キーを押下すると、１／１０＝０となるので、メニューＤＢ３６０には登録されていない。この場合には、移動は起こらず、移動に失敗したことを音で知らせる。
同様に、右方移動キーを押下すると、１＋１＝２となり、メニューＤＢ３６０に登録されているので、該当する項目(「原稿」)に移動し、「原稿」という音声フィードバックがある。
【００９３】
直接ジャンプや音声認識によって機能番号が入力された場合、メニューＤＢ３６０にその機能番号が存在すれば、例えば、「６３１」の場合には、「パンチ左」という音声フィードバックがある。
【００９４】
また、機能番号＝２１のとき左方移動キーを押下すると、２１−１＝２０であり、該当する機能番号がメニューＤＢ３６０に登録されていないので移動は起こらず、移動が失敗したことを音声フィードバックする。
直接ジャンプや音声認識によって機能番号が入力された場合にも、メニューＤＢ３６０にその機能番号が存在しなければ（例えば、「２→１→６→＃」）、移動は起こらず、移動が失敗したことを音声フィードバックする。
【００９５】
音出力部３８０は、「音声モード」において、メニュー制御部３５０や操作制御部３１０の指示で、テンキーによる各種の操作および機能実行の成否を表す動作音、音声ガイダンス、ＢＧＭ等をヘッドフォンへ出力する。音声については、音声合成部４２０を呼び出して、音声データを受け取り、ヘッドフォンへ出力する。または、音声合成部４２０でテキストデータから音声合成するのではなく、録音された音声を使うようにしてもよい。
【００９６】
機能実行部３９０は、操作制御部３１０から渡される各種の設定項目に対する設定値を機能（例えば、コピー機能やファクシミリ機能等）に応じて定められたＭＦＰ１００のメモリへ記憶させる。また、操作制御部３１０からの指示でＭＦＰ１００のメモリに記憶された設定値によって、ＭＦＰの機能を実行させる。
【００９７】
音声認識部４１０は、音声入力部３７０によって呼び出され、現在利用者が操作している機能（コピー機能やファクシミリ機能）に対する音声認識用辞書（例えば、コピー用の辞書）を用いて、利用者が発声した音声（階層メニューの操作項目名、機能番号、操作指令等）を音声認識した結果を音声入力部３７０へ戻す。
【００９８】
音声合成部４２０は、音出力部３８０から呼び出され、利用者へ音声フィードバックするときに、音声合成用辞書を用いて、テキストデータから合成した音声をメニュー制御部３５０からの指示によって音高を変更したり、残響音を付加して変形された音声を音出力部３８０へ戻す。
【００９９】
ここで、音高の変更は、メニュー制御部３５０に指示された操作項目が無効であれば、音高を低くした音声で出力する。
また、その設定項目が選択されていれば音高を高くした音声で出力する。
音高の上下は、通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要があるので、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与える。
【０１００】
また、残響音の付加は、メニュー制御部３５０から指示された操作項目の下層に操作項目があるときに付加される。
例えば、音声を遅延器および減衰器に通した後に、入力に加算することで実現できる。この場合制御パラメータは遅延器の遅延時間と減衰器の減衰量となるが、通常の音声との識別性を向上することと音声の明瞭性を確保することを考慮し実験的に決定する。
【０１０１】
なお、音場感制御を音声属性のうち音高制御と残響音付加によって行っているが、操作項目を読み上げる際は、話速、声種、音質などを変化させることで音場感を与えるようにしてもよい。
話速制御は、録音合成では波形の伸縮、規則合成では音韻継続時間長の伸縮によって実現できる。
また、声種の変更は、録音合成では録音元話者の変更、規則合成では素片波形の変更によって実現できる。
また、音質の制御は、音声合成部の出力後にフィルターを挿入し、このカットオフ周波数を制御することによって実現できる。
【０１０２】
Ｆ．ＭＦＰの動作
このように構成された本ＭＦＰにおける動作を、コピー機能の操作を例にして説明する。
図８は、コピー機能の操作に対する動作を示すフローチャートである。
まず、モード切り替えキーが押下された場合（ステップＳ１のＹＥＳ）、現在の設定モードを切り替え（ステップＳ２）、次の操作指示を処理するためにステップＳ１へ戻る。
「視覚モード」から「音声モード」へ切り替える場合、モード切り替えキーを押下し、ヘッドフォンとマイクロフォンを備えたヘッドセットをＭＦＰへ接続しなければならない。また、「音声モード」へ切り替わるとタッチパネルからの入力はロックされ、ヘッドフォンから「音声モードに入りました」という音声の通知がなされる。
一方、現在の設定モードが「音声モード」であれば、「視覚モード」へ切り替える。ヘッドセットが接続されたままであれば、この「視覚モード」は、一時的なものであって、タッチパネルから操作された入力はヘッドフォンへ出力される。ヘッドセットをＭＦＰから切り離して、はじめて「視覚モード」へ切り替わる。
【０１０３】
現在のモードが「視覚モード」の場合（ステップＳ３のＹＥＳ）、タッチパネル２０１を使って視覚入力部３３０によりＭＦＰの操作を行い（ステップＳ４）、次の操作指示を処理するためにステップＳ１へ戻る。
【０１０４】
現在のモードが「音声モード」の場合は以下の処理を行う。
機能キー（ＦＡＸ、コピー、プリンタ、スキャナ、ネットファイル等）２０６が押下された場合（ステップＳ５のＹＥＳ）、その押された機能に対応した階層メニューをメニューＤＢ３６０から取り出して初期設定し（ステップＳ６）、次の操作指示を処理するためにステップＳ１へ戻る。
ここでは、機能キー「Ｃｏｐｙ」（図２参照）を選択したものとすると、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。
【０１０５】
次に、方向移動キー（上下左右）が押下された場合（ステップＳ７のＹＥＳ）、階層の上下移動や同階層の隣接項目へ移動し（ステップＳ８）、次の操作指示を処理するためにステップＳ１へ戻る。
操作入力部３２０は、この入力されたキーの種別と入力された機能番号とをメニュー制御部３５０へ渡すことにより、階層メニューのどこにいるかを管理する。
【０１０６】
また、階層メニュー上を移動するときには、メニュー制御部３５０は、音出力部３８０を呼び出して、音アイコン、動作音とＢＧＭを流し、さらに操作項目名も音声出力し、利用者へ確実に操作されていることを通知する。
このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この操作項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その操作項目が下層に操作項目を持てば残響音を付加して読み上げる。
【０１０７】
また、メニュー制御部３５０は、階層メニューの端にきて、それ以上は移動できない場合には、音出力部３８０を呼び出して、「行き止まり」の動作音を出力し、利用者へ知らせる。階層メニュー上で上下方向に行き止まりになったときにも、「行き止まり」の動作音を出力し、利用者へ知らせる。
【０１０８】
次に、「トップへ戻る（「１」）」キーを押下した場合（ステップＳ９のＹＥＳ）、最上位階層の最左端のメニューにある操作項目に移動し（ステップＳ１０）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、最上位階層の最左端のメニューにある操作項目になるように現在位置を管理する。この移動に際して、メニュー制御部３５０は、音出力部３８０を呼び出し、音アイコンとその移動先の操作項目名の音声を出力し、正しく動作したことを利用者へ通知する。
このときの音声は、項目名を音声合成部４２０によって合成し、この操作項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その操作項目が下層に操作項目を持てば残響音を付加して読み上げる。
【０１０９】
次に、「直接ジャンプ（「０」）」キーを押下した場合（ステップＳ１１のＹＥＳ）、続いて入力される機能番号に対応した設定項目に移動し（ステップＳ１２）、次の操作指示を処理するためにステップＳ１へ戻る。
操作入力部３２０は、音出力部３８０を呼び出し、動作音と「機能番号を入力してください」という音声とＢＧＭとを出力する。このＢＧＭが流れている間に、利用者はテンキーから数字を入力する。その入力された数字は音出力部３８０を介して読み上げられる。
最後に、利用者が「数値入力終了（「＃」）」キーを押下すると、操作入力部３２０は、ＢＧＭを流すのを中止させ、メニュー制御部３５０によって、動作音と今入力した機能番号の操作項目の名前を音声で出力し、その操作項目を現在位置として管理する。
【０１１０】
この指定した機能番号に対応する項目が階層名であるときには、階層名を音声合成部４２０によって合成し、この階層名が下層に操作項目を持てば残響音を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして、設定項目を読み上げる。
例えば、キー「０」の押下に続いて、「４３５」をテンキーによって入力すると高音で「変倍は縮小７１％に設定されました」という音声フィードバックがなされる。
メニュー制御部３５０は、機能番号が最下層の設定項目を指定した場合には、その設定項目に対応する値をメニューＤＢ３６０上の設定項目の設定値として保持し、操作制御部３１０は、機能実行部３９０を介して今指定された設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３４０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１１】
次に、「音声認識（「３」）」キーを押下した場合（ステップＳ１３のＹＥＳ）、続いて入力される音声を音声認識しその認識結果に対応した操作項目に移動し（ステップＳ１４）、次の操作指示を処理するためにステップＳ１へ戻る。
操作入力部３２０は、音出力部３８０を呼び出し、動作音とともに「機能番号、操作項目名またはキーワードを発声してください。」と音声出力する。
【０１１２】
続いて、操作入力部３２０は、音声入力部３７０を呼び出し、利用者が発声した「機能番号」、「操作項目名」または「キーワード」から利用者が指定した機能番号を得る。このとき、「確定（９）」キーを押下するまで、音声入力を確定しないので、再度発声することによって、前回の入力を修正できる。
また、長い操作項目名のとき、ポーズ（休止）を挿入して発声した場合にも、ポーズの前後を連結して１つの操作項目として認識する。
音声入力部３７０は、認識結果が「数値」であれば、それを「機能番号」とし、操作項目名が入力された場合には、操作項目名と機能番号とを対応させてメモリへ記憶した対応表またはメニューＤＢ３６０を検索して操作項目名を機能番号へ変換する。
【０１１３】
音声入力部３７０で得た機能番号をメニュー制御部３５０へ渡して、この機能番号に対する操作項目を現在位置として管理する。
このとき、メニュー制御部３５０は、音出力部３８０を呼び出し、音アイコンと入力した操作項目名とを音声出力し、利用者に音声入力が正しく認識されたことを通知する。
【０１１４】
利用者が指定した項目名や機能番号が階層名であるときには、階層名を音声合成部４２０によって合成し、この階層名が下層に操作項目を持てば残響音を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。
【０１１５】
次に、「現在位置の説明（「５」）」キーを押下した場合（ステップＳ１５のＹＥＳ）、現在、階層メニューのどの操作項目にいるのかの情報提供し、（ステップＳ１６）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、音出力部３８０を呼び出し、音アイコン、現在位置の操作項目名および設定値等を音声で利用者へ通知する。
【０１１６】
現在位置が階層名であるときには、階層名を音声合成部４２０によって合成し、この階層名が下層に操作項目を持てば残響音を付加する。また、現在位置が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。
【０１１７】
次に、「設定確認」キーを押下した場合（ステップＳ１７のＹＥＳ）、利用者が今までにどのような設定項目を選択したのかを音声で設定項目名と設定値を音声で通知し（ステップＳ１８）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、利用者が既定値から設定を変更した設定項目へ順次移動して、音出力部３８０を呼び出して設定項目名とその設定値を音声で読み上げ、利用者へ通知する。この際、メニュー制御部３５０は、移動先を現在位置として管理し、その設定項目に誤りがあれば修正できる。
さらに、メニュー制御部３５０は、設定項目の変更が行われると、その変更された設定項目とその設定値をメニューＤＢ３６０上の設定項目の設定値として保持し、操作制御部３１０は、機能実行部３９０を介して今指定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３４０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１８】
次に、「確定（「９」）」キーを押下した場合（ステップＳ１９のＹＥＳ）、現在位置の設定項目の選択を確定し（ステップＳ２０）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、音出力部３８０を呼び出し、動作音とその確定された動作内容を音声で出力し、利用者へ通知する。
さらに、メニュー制御部３５０は、現在位置の設定項目の確定が行われると、その確定された設定項目とその設定値をメニューＤＢ３６０上の設定項目の設定値として保持し、操作制御部３１０は、機能実行部３９０を介して今確定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３４０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１９】
最後に、各設定項目に設定が完了して「スタート」キーが押下された場合（ステップＳ２１のＹＥＳ）、選択されていた機能（コピー機能、ファクシミリ機能等）を実行させ（ステップＳ２２）、次の操作指示を処理するためにステップＳ１へ戻る。
操作制御部３１０は、機能実行部３９０を呼び出し、利用者が初めに選択した機能を動作させる。例えば、指定された機能がコピー機能であれば、これまでに設定した値に応じたコピー動作が行われる。この動作が終了したとき、操作制御部３１０は、音出力部３８０を呼び出し、利用者へその成否を音声で知らせる。
【０１２０】
例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
また、操作制御部３１０は、利用者が「４０部」のコピーを指定したようなときには、音出力部３８０を介して、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流し、利用者はそのＢＧＭの進み具合でどの程度の処理が完了したかを知ることができる。
【０１２１】
また、操作制御部３１０は、ＭＦＰの動作中に装置の状態を監視し、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いている」等の場合には、音出力部３８０を呼び出して、音アイコンの後に、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等との音声とＢＧＭとを出力して利用者へ通知する。
【０１２２】
Ｇ．プログラムとしての実施の形態
本発明は上述した実施形態のみに限定されたものではない。上述した実施形態を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【０１２３】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
【０１２４】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【０１２５】
また、上述した実施形態の機能を実現するプログラムが、機能拡張ボードや機能拡張ユニットに備わるメモリにロードされ、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、上述した実施形態の機能が実現される場合も含まれる。
【０１２６】
さらに、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【０１２７】
【発明の効果】
以上説明したように本発明によれば、利用者が機器の操作を行うときに、誤って設定してしまう不安を取り除き、安心して何度でも音声認識を利用できるので、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
また、音声認識を行なうために発声する言葉の間にポーズが挿入されていても正しく認識することにより、利用者が安心して音声認識を利用でき、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
【図面の簡単な説明】
【図１】 本発明の機器操作装置を組み込んだＭＦＰのブロック図である。
【図２】 操作部の正面図である。
【図３】 コピー機能に関する階層メニューの構成例である。
【図４】 コピー機能に関する階層メニューの構成例である（図３の続き）。
【図５】 テンキーの機能配置例である。
【図６】 方向移動キーによる操作を説明するための図である。
【図７】 ＭＦＰに組み込んだ本発明の機器操作装置の機能構成図である。
【図８】 コピー機能の操作に対する動作を示すフローチャートである。
【符号の説明】
１００…ＭＦＰ、１０１…ホスト接続装置、１０２…ＦＡＸ回線用接続装置、１０３…ネットワーク接続装置、１０４…操作部、１０５…スキャナ装置、１０６…プリンタエンジン、１０７…制御コントローラ、１０８…記憶装置、１０９…音出力装置、１１０…音声入力装置、２０１…タッチパネルおよび液晶表示部、２０２…テンキー、２０３…ストップキー、２０４…スタートキー、２０５…設定確認キー、２０６…機能キー、３１０…操作制御部、３２０…操作入力部、３３０…視覚入力部、３４０…視覚表示部、３５０…メニュー制御部、３６０…メニューＤＢ、３７０…音声入力部、３８０…音出力部、３９０…機能実行部、４１０…音声認識部、４２０…音声合成部。
【発明の属する技術分野】
本発明は、機器操作装置、プログラムおよび記録媒体並びに画像形成装置に関し、詳細には、複写機、ファクシミリ装置、プリンタ装置、スキャナ装置やそれらの機能を１台に統合した複合機やコンピュータ等のＯＡ機器における種々の操作において、視覚を用いないで操作が行える機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びにその機器操作装置を組み込んだ画像形成装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータ等でアプリケーションソフトウェアを動作させる場合、機能が豊富な場合には類似した機能を階層構造のメニューとしてまとめていることが多い。このような階層構造のメニューの場合、利用者は自分が希望する機能に達するために、何段階もの選択を行う必要がある。
また、メニューが階層構造になっているため、どのメニューを選べば希望する機能に到達できるのか、操作方法が直感的に判断しにくいという問題点がある。
【０００３】
この問題を解決するために、特許文献１の「機器の補助操作装置」は、機器の動作モードを音声で指示することによって、使用者がメニューの階層構造を意識することなく、動作モードの指示を行うことができるようにした。
【０００４】
【特許文献１】
特開平９−２５８９４３号公報
【０００５】
【発明が解決しようとする課題】
上述の特許文献１の技術では、音声認識が行なわれると、認識結果に応じた設定が確定してしまうため、意図せずにうっかり設定した場合や、誤認識した場合には正しく設定されないことになる。
そのため、設定した状態を一旦前の状態に戻し、再度、音声認識を起動しなければならないという問題がある。
【０００６】
この問題を解決するため、誤って設定された場合には、その設定を取り消すアンドゥー操作を設けることが考えられる。
しかしながら、利用者への対応を考慮すると、操作は容易であるほうが望ましく、アンドゥーという新たな操作を設けるとそのための操作を習得する必要があり、利用者の負担が増えてしまうことになる。
また、操作が複雑になれば、習得意欲が薄れることにもなり、米国アクセシビリティー関連法（リハビリテーション法５０８条、通信法２５５条など）に対応した、誰にでも扱いやすい機器を提供できないということになる。
【０００７】
本発明は、上述した実情を考慮してなされたものであって、利用者が視覚を使用しなくても各種の操作を容易に且つ確実に行うことができる機器操作装置、その機器操作装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びにその機器操作装置を組み込んだ画像形成装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明の請求項１の機器操作装置は、機器の操作可能なすべての操作項目を機能別に分類し、その分類をさらに最終的な設定項目に至るまで細分化して階層メニューを作成し、その階層メニュー中の設定項目を選択または値設定して機器を操作する音声ガイダンス付きの機器操作装置において、利用者から音声で前記設定項目の指定を入力する音声入力部と、その入力された音声を音声認識した認識語を出力する音声認識部と、前記音声入力部で指定された設定項目を前記階層メニュー上の位置として管理するメニュー制御部と、前記メニュー制御部で管理している、利用者が既定値から変更した設定項目を音声フィードバックする設定確認手段と、を備えることを特徴とする。
また、本発明の請求項２は、請求項１に記載の機器操作装置において、さらに、利用者の操作する確定手段を備え、前記音声入力部は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックして、前記確定手段により確定操作が行われたときに、この最後の認識語に対応する設定項目が指定されたものとし、前記メニュー制御部は、前記音声入力部で指定された設定項目を音声情報で説明することを特徴とする。
また、本発明の請求項３は、請求項２に記載の機器操作装置において、前記音声入力部は、利用者による確定操作が行なわれない間は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックすることを継続することを特徴とする。
また、本発明の請求項４は、請求項３に記載の機器操作装置において、前記音声入力部は、利用者による確定操作が行なわれない間は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックすることを継続することを特徴とする。
また、本発明の請求項５は、請求項３に記載の機器操作装置において、前記音声入力部は、先に認識された設定項目の下位階層中に存在する、前記認識語に対応する設定項目を音声フィードバックすることを特徴とする。
また、本発明の請求項６のプログラムは、コンピュータを、請求項１乃至５のいずれか１つに記載の機器操作装置として機能させるためのプログラムである。
また、本発明の請求項７の記録媒体は、請求項６に記載の機器操作プログラムを記録したコンピュータ読み取り可能な記録媒体である。
また、本発明の請求項８の画像形成装置は、請求項１乃至５のいずれか１つに記載の機器操作装置を用いて、画像形成装置の機能に対する設定項目を選択・決定してから画像形成することを特徴とする。
【０００９】
以上のように構成したことにより、利用者が機器の操作を行うときに、誤って設定してしまう不安を取り除き、安心して何度でも音声認識を利用できるので、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
また、音声認識を行なうために発声する言葉の間にポーズが挿入されていても正しく認識することにより、利用者が安心して音声認識を利用でき、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を詳細に説明する。
以下の実施形態の説明では、本発明の機器操作装置をＭＦＰ（デジタル複合機：Multi-Function Peripherals）へ組み込んだものとして説明する。しかし、本発明の機器操作装置の組み込み対象は、ＭＦＰに限ったものではなく、多様化した機能を有する装置であれば同様の効果が期待できる。
【００１１】
Ａ．本発明の機器操作装置を組み込んだＭＦＰ
図１は、本発明の機器操作装置を組み込んだＭＦＰのブロック図である。
図１において、ＭＦＰ１００は、ホストコンピュータとＭＦＰを接続するためのホスト接続装置１０１、ＦＡＸ回線に接続するためのＦＡＸ回線用接続装置１０２、ＬＡＮ等のネットワークへ接続するためのネットワーク接続装置１０３、ＭＦＰの各種設定操作を行うための操作部１０４、原稿台から画像をスキャンし画像データを作成するスキャナ装置１０５、作像装置や給排紙装置を備えたプリンタエンジン１０６、ＭＦＰ全体の制御、プリンタ言語処理、ファクシミリ制御、スキャナ制御、利用者認識処理、音出力制御、画像データ編集処理およびＭＦＰ操作に対する制御等を行う制御コントローラ１０７、ファクシミリ受信した画像データ、交信記録や各機能で使用した画像データを保存する記憶装置１０８、利用者の操作結果に応じて音および音声を出力するスピーカ、ヘッドフォン等の音出力装置１０９、利用者が発する操作指示の音声を入力する音声入力装置１１０とからなる。
【００１２】
このようなＭＦＰ１００において、プリンタ機能を利用する場合には、ホスト接続装置１０１を介してホストコンピュータから送信された印刷データ、または、ネットワーク接続装置１０３を介して接続されたコンピュータから送信された印刷データが制御コントローラ１０７の受信バッファに一時蓄えられ、制御コントローラ１０７でプリンタ言語処理に従い画像データに展開され、プリンタエンジン１０６に送られて印刷が実行される。
このＭＦＰ１００のコピー機能を利用する場合には、制御コントローラ１０７の指示にしたがって、スキャナ装置１０５から読み取られた画像データをプリンタエンジン１０６に送って印刷が実行される。
【００１３】
また、利用者がこのＭＦＰ１００を自由に取り扱える人である場合には、操作部１０４の操作パネルに表示された絵情報に従ってコピーの指示を与え、スキャナ装置１０５で読み取られた画像データを一旦記憶装置１０８へ格納しておき、制御コントローラ１０７の画像データ編集処理により、画像データの編集、複数画像の重ね合わせ等を実行したあと、その画像データをプリンタエンジン１０６によって印刷したり、ＦＡＸ回線用接続装置１０２によってＦＡＸ送信したりすることができる。
【００１４】
利用者がこのＭＦＰ１００を自由に扱えない人である場合には、テンキー等の利用者に識別可能な入力装置または音声入力装置１１０によって与えられた操作指示に対して、その操作状況を音出力装置１０９に出力される音や音声によって判断して、操作状況を確認してコピー機能を操作する。
【００１５】
また、ＭＦＰ１００のスキャナ装置１０５で読み取られた画像データ、ＦＡＸ回線用接続装置１０２を介して得たファクシミリ画像データやネットワーク接続装置１０３を介して得た画像データをホスト接続装置１０１やネットワーク接続装置１０３を介してコンピュータへ送信し、そのコンピュータのアプリケーションで受信した画像データを再加工するようにも使うことができる。
さらに、このＭＦＰ１００は、ネットワーク接続装置１０３を介してインターネットに接続した画像データサーバから画像データを取り寄せて、プリンタエンジン１０６によって印刷することもできる。
【００１６】
Ｂ．操作部と操作パネル
図２は、本発明の機器操作装置が組み込まれたＭＦＰ１００における操作部１０４の正面図である。
操作部１０４の中央には、液晶表示部（ＬＣＤ）２０１およびタッチパネルが設けられている。この液晶表示部２０１には、ＭＦＰ１００に組み込まれている機能（ＦＡＸ、コピー、プリンタ等）に対する設定項目の表示が行われ、利用者はこの表示された設定項目に値を設定することによってＭＦＰ１００の操作を行う。機能の切り替えは、液晶表示部２０１の左側に設けられた機能キー２０６によって行われる。
この液晶表示部２０１の右側には各機能で共通に使用する各種テンキー２０２、クリア／ストップキー２０３、スタートキー２０４、設定確認キー２０５等の各種キーが配置されている。
【００１７】
Ｃ．本ＭＦＰによる操作概要
本ＭＦＰ１００の利用者は、次の２種類に分類される。
（１）本ＭＦＰを自由に操作できない人
これに分類される人は、視覚障害者、肢体不自由者、弱視者、老眼の人（以下、視覚障害者等と呼ぶ）のように操作部１０４の液晶表示部２０１の画面やタッチパネル２０１を見て操作できない人である。
または、健常者であっても、音声や音での操作を選択した人もこの分類に含まれる。
この分類に属する人が本ＭＦＰ１００を操作するときは、音声および音によって操作のガイダンスが行われるが、ＭＦＰのこの処理形態を「音声モード」と呼ぶことにする。
【００１８】
（２）本ＭＦＰを自由に操作できる人
これに分類される人は、上記の（１）に含まれない人であって、一般には晴眼者の健常者である。
この分類に属する人が本ＭＦＰ１００を操作するときは、操作部１０４の液晶表示部２０１およびタッチパネル２０１によって操作が行われるが、ＭＦＰのこの処理形態を「視覚モード」と呼ぶことにする。
【００１９】
以下、本ＭＦＰ１００の操作概要を「原稿を複写するときの操作」を用いて説明するが、本ＭＦＰ１００の利用者は、上述したいずれの利用者であっても、ＭＦＰの電源やテンキーがどの辺にあるかは分かっており、また、ＭＦＰの基本的な機能や操作方法を一通り勉強済みであることを前提とする。
【００２０】
まず、ＭＦＰ１００の電源を入れた状態では、「視覚モード」で動作するように設定されているので、「視覚モード」で利用できる利用者は、そのまま操作部１０４の画面表示とタッチパネルとによって各種の指示を与え、ＭＦＰ１００を操作することができる。
【００２１】
一方、「音声モード」でＭＦＰ１００を動作させたい人は、モード切り替えキー（例えば、テンキーの「＊キー」）を一定時間（３秒）以上押し続け、ヘッドフォンとマイクロフォンを備えたヘッドセットをＭＦＰ１００へ接続して、「視覚モード」から「音声モード」へ切り替える。「音声モード」に切り換えられると、ヘッドフォンへ「音声モードに入りました」と音声で通知される。
一旦、「音声モード」が設定されるとタッチパネルからの指示はロックされるが、「モード」の切り替え指示を行うことによって、ヘッドフォンを着けたままでも随時切り替えることができる。
また、ヘッドセットとＭＦＰ１００との接続は、無線通信やＢｌｕｅｔｏｏｔｈを使って交信するようにしてもよい。
【００２２】
次に、本ＭＦＰ１００の操作部１０４の機能キー２０６「Ｃｏｐｙ」（図２参照）を押すことによって、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。
【００２３】
また、本ＭＦＰ１００には、ＦＡＸやコピー等の機能ごとに、あらかじめ操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化していくというように多階層を持った単一のメニューを作成しておく。
例えば、「Ｃｏｐｙ」機能は、図３および図４に示すような階層に分類される（この機能分類は一部分を示したものにすぎない）。
【００２４】
利用者は、操作部１０４に設置された方向移動キーあるいはこの方向移動キーの代用可能なキー（以下、まとめて方向移動キーという）を用いて、階層メニューの階層をたどって所望の操作項目に移動し、これを選択または値を設定するという操作を繰り返して設定を完了した後に、スタートキー２０４を押下することによって、原稿の複写が作成される。
また、利用者は、上記のような方向移動キーの代わりに、音声認識を用いて設定したい機能を直接入力することもできる。
【００２５】
利用者が階層メニューを操作していく過程で、選択対象となった機能の説明や現在までに設定された設定項目の内容を利用者へ音声、音やＢＧＭ（Back Ground Music）によってフィードバックするので、操作部１０４の液晶表示部２０１の画面を見たり、タッチパネル２０１から入力しなくても、視覚を利用せずにＭＦＰ１００の各種の操作を容易に且つ確実に行える。
ここで音声、音やＢＧＭは、属性（音の高下、音の速度、声の種類（男性、女性、機械的音声等）、音質、調子、音色、音場感等）を用いて、設定項目の種類や設定状況および階層の深さや場所等に応じて変化させて出力される。
【００２６】
また、「音声モード」における方向移動キー等による選択過程を操作部１０４の液晶表示部２０１の表示画面へほぼ対応付けて表示させる。
ここで、例えば、利用者が途中で操作が分からなくなったときに、ヘッドフォンをつけたまま一旦「視覚モード」へ移行して、健常者が操作部１０４のタッチパネル２０１で設定項目を選択すると、その操作結果がヘッドフォンへフィードバックされるので、視覚障害者等の利用者も何を設定したのかを知った後、「音声モード」へ戻って操作を続行することができるので、健常者が視覚障害者等を介助しやすくなる。
【００２７】
また、利用者による操作結果をＭＦＰ１００の液晶表示部２０１の画面にほぼ同期して表示させるので、弱視者や老眼の人自身が画面をみて、視覚モードで操作することもできる。
【００２８】
Ｄ．本ＭＦＰにおける操作の詳細
（１）階層メニューの構造
すべての操作機能をそのまま複数のメニューとすると覚えにくいので、ＭＦＰで扱うＦＡＸ機能、コピー機能、プリンタ機能、スキャナ機能、ＮｅｔＦｉｌｅ機能等の機能ごとに、操作可能なすべての操作項目を機能別に分類し、その分類をさらに細分化して多階層の木構造を持った単一のメニューを作成し、メニューデータベース（ＤＢ）へ記憶しておく。
利用者は、本ＭＦＰ１００を使用するときに、上述したＭＦＰの持つ機能のうち所望の機能を機能キー２０６によって選択すると、その機能に応じたメニューがメニューデータベースから読み出されて設定される。
【００２９】
コピー機能のメニューは、例えば、「変倍」、「両面」のように、より詳細な設定項目がある場合には、「変倍」や「両面」を１つの階層名とし、それらの階層の下にさらに「等倍」、「拡大」、「縮小」等選択すべき階層名を配置し、その階層名が「１１５％」、「９３％」といった最終的な設定項目になるまで細分化する。以下、階層名と設定項目を総称して、操作項目と呼ぶ。
【００３０】
この階層メニュー上の設定項目の種類として、次にあげるようなものがある。
・同階層中にひとつだけ選択できる選択項目
例えば、「拡大」の階層の下の「１１５％」か「１２２％」等
・機能のＯＮ／ＯＦＦをトグルことができるトグル項目
例えば、「フィニッシャー」の階層の下の「ソートするか否か」等
・数値を設定できる数値項目
例えば、コピーする部数等
・何らかの動作を始動する動作項目
例えば、ＦＡＸ機能で登録されている宛先リストの作成等
【００３１】
例えば、コピー機能の場合、先ず、図３および図４のように、第一階層の階層名を（部数、原稿、用紙、変倍、両面・集約・分割、フィニッシャー等）とし、それぞれ第二階層、第三階層等に細分化しておく。
また、図３および図４のように、各階層の操作項目（階層名および設定項目）にはそれぞれ数字が対応しており、この数字を指定することによって、階層をたどらなくても直接その操作項目を選択することができる。以下、この数字のことを「機能番号」という。
【００３２】
（２）階層メニューの操作
次に、上述した階層メニューの操作方法について説明する。
階層メニュー上に配置された操作項目を移動・選択操作するには、方向移動キーあるいはそれに代用可能なキーを用いるが、以下の説明ではテンキー２０２を代用して用いることにする。
【００３３】
図５は、キーごとに割り当てられた機能を示している。
図５では、「上方移動（「２」）」キーを押下することによって階層を上にたどり、「下方移動（「８」）」キーを押下することによって階層を下にたどる。
また、「左方移動（「４」）」キーを押下することによって同階層を左にたどり、「右方移動（「６」）」キーを押下することによって同階層を右にたどる。
尚、上記した方向移動キーを逆に割り当てるようにしてもかまわない。
【００３４】
利用者が階層メニューの下層へ移動するように指示したときに、下層の操作項目が複数ある場合、下に列挙したうちのいずれか予め定めた方法によって、次の操作項目へ移動する。
・下層の最初の項目に移動する。
・下層の既に選択されている項目に移動する。
・下層の既定値を持つ項目に移動する。
【００３５】
また、利用者が水平方向の移動キーを操作して、同階層を移動してその階層の端へ達した場合には、その階層の反対の端へ移動し、循環的な移動を行う。常に一定方向へ移動することによって、利用者の選択したい項目を見つけることができる。しかし、この階層の項目数がどの程度の数なのかを把握することができず、メニュー上で迷子になってしまう可能性が高い。
または、この循環的移動を行わず、端にきたときそれ以上は移動しないようにしてもよい。この場合には、所望の項目を行き過ぎてしまった場合、反対方向に移動キーを押さなくてはならないが、その階層に項目がどの程度あるのかを把握することができる。
【００３６】
原稿の画像が薄いためにコピー結果が濃くするように操作する場合を例にして、方向移動キーの使用方法を説明する（図６参照）。
操作開始のときは、現在の階層名「部数」が利用者に音声にて知らされるので、右方移動キーにより階層名「原稿」へ進む。このとき音声で階層メニューの「原稿」の位置にいることが知らされる。
次に、この「原稿」の細分類である「濃度」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「種類」の位置にいることが知らされる。
【００３７】
さらに、「原稿」の細分類の１つである階層名「濃度」へ進むために、右方移動キーを押す。このとき音声で「濃度」の位置にいることが知らされる。
同様に、この「濃度」の細分類である「濃く」を選択するために、下方移動キーを用いて、階層メニューを１つ下の階層へ降りる。このとき音声で「自動」の位置にいることが知らされる。
さらに、「濃度」の細分類の１つである階層名「濃く」へ進むために右方移動キー押す。このとき音声で「濃く」の位置にいることが知らされので、確定キーを押す。
これにより、利用者の要求する「原稿を濃くコピーする」設定が達成できる。
【００３８】
さらに、図５において、利用者が設定の途中でどの階層にいるか分からなくなった場合や、最初から選択し直したい場合には、例えば、「トップへ戻る（「１」）」キーを押下することによって、どの階層からでもトップの階層の最左端の操作項目（図３の例では、第一階層の「部数」）へ戻れる。
この場合、それまでに選択または設定された設定項目は、ＭＦＰ１００に記憶しておき、移動キーによって、それまでに選択・設定された項目へ移動することができる。
【００３９】
また、図５において、「直接ジャンプ（「０」）」キーを押下することによって、利用者が設定したい階層や項目へ直接移動することができる。
例えば、「直接ジャンプ」キーを押下し、さらにテンキーから機能番号を入力することで、その機能番号に対応した操作項目へ移動することができる。
例えば、「直接ジャンプ」キーの押下に続いて、機能番号「４３５＃」（ここで「＃」キーは、数字入力の終了を指示する。）をテンキーによって数値入力すると、ＭＦＰ１００は、「変倍」→「縮小」→「７１％」の順で項目が選択されたものと判断する（図３、図４参照）。
この機能番号は、最下層の設定項目ではなく、中間の階層の階層名であってもよい。この場合は、その階層名へ移動し、その階層名の下の階層にある操作項目の中から選択するようにする。
【００４０】
また、上記のような「直接ジャンプ」キーによって直接設定したい項目の機能番号を入力するのではなく、「音声認識（「３」）」キーを押下して、利用者が「機能番号」、「階層名」、「設定項目名」またはキーワードを発声し、それをＭＦＰ１００が認識し、その認識された項目へ直接移動することもできる。
この音声認識では、認識結果を音声でフィードバックしてくれるので、誤りに気づいたときには、再度発声して確認後、「確定（９）」キーを押して所望の操作項目の入力を行う。
【００４１】
また、利用者が１つ以上の単語を発声して、階層メニューの中から音声認識結果を含む操作項目を検索し、その検索された操作項目へ直接移動することができる。
例えば、階層メニュー上に「両面・集約・分割」→「製本」→「片面から週刊誌」があるとき、「週刊誌」と利用者が発声すると、現在操作中の階層メニューの位置と関係せずに、その「片面から週刊誌」へ直接移動する。
【００４２】
また、コピーした紙にパンチ穴を開けるための設定項目に移動したい場合には、「パンチ」と発声すると、階層メニュー「パンチ」の操作項目へ移動する。
さらに、この「パンチ」の項目の下層にある「左」あるいは「右」のいずれかの設定項目に直接移動したい場合には、「パンチひだり」、「パンチみぎ」と発声すればよい。
「パンチひだり」を発声した後で誤りに気づいたときには、再度「パンチみぎ」と発声して「確定（９）」を押せばよい。
【００４３】
また、図５において、「現在位置の説明（「５」）」キーを押下することにより、現在、階層メニュー上のどの操作項目にいるのかを音声によりフィードバックする。フィードバック情報としては、例えば、操作項目名、機能番号および設定された値（部数）等がある。
例えば、用紙をＡ４横に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声でフィードバックされる。
【００４４】
また、「設定確認」キー２０５（図２参照）を押下することにより、利用者は既定値から変更した設定項目をまとめて確認することができ、また、その設定値を変更することもできる。
【００４５】
さらに、図５において、上述した各キーによって階層メニューを操作し、所望の設定項目の設定が終了したとき、その設定項目を確定するために「確定（「９」）」キーを押下する。これによりＭＦＰ１００は、確定された設定項目の内容を操作部１０４の液晶表示部２０１の画面へ表示する。
【００４６】
図５において、「＃」キーは、直接ジャンプの指令や部数の設定等で数字を入力するとき、数字の最後を示すためのキーとして使われる。
【００４７】
また、図５において、「モード切り替え（「＊」）」キーを押下すると、現在のモードを切り替える。
「モード切り替え（「＊」）」キーを押下した場合、現在のモードが「音声モード」であれば、「視覚モード」へ切り替える。但し、ヘッドセットが接続されたままであれば、タッチパネルで操作した結果がヘッドフォンへ出力される。従って、完全に「視覚モード」へ戻すためには、ヘッドセットも接続を切り離す必要がある。
一方、「モード切り替え（「＊」）」キーを押下した場合、現在のモードが「視覚モード」であれば、上述のヘッドセットをＭＦＰ１００へ接続することにより「音声モード」へ切り替えることができる。
【００４８】
（３）操作結果の動作音、音アイコンおよびＢＧＭによるフィードバック
上述したようにテンキーを用いて階層メニュー上に配置された操作項目を移動・選択操作を行う際に、次に示すような動作の結果の確認を動作音、音アイコンおよびＢＧＭ（background music）で利用者のヘッドフォンへ出力する。
ここで音アイコンは、対象物の性質を示す静的な情報であって、操作項目のタイプを弁別する目的で音色の異なる動きのない音（短い単音）である。
【００４９】
また、動作音は、同一音色の異なる音（和音やごく短い旋律）を用いて動作結果のイメージを湧かせるもので、動作と音楽理論上の音との意味付けを対応させる。例えば、階層上の上昇や下降にはそれぞれ上昇音形、下降音形を、行き止まり（移動の失敗）には不安感を感じさせる増４度の不協和音を、選択・確定には安定を感じさせる進行の一つであるドミナントモーションを使う。
【００５０】
例えば、階層の上下への移動を通知する動作音をそれぞれ用意し、利用者の上下の階層へ移動する際にその動作音を出力することによって、階層を上下したことを知らせる。この動作音は、上記の音アイコンとは異なるものとする。
このとき、移動先の下層に操作項目があるか否かを判断し、下層に操作項目の有る無しによって動作音を異ならせて出力して利用者へ知らせる。
【００５１】
また、同階層の循環的移動が設定されていない場合には、水平方向へ移動を指示したとき、それ以上移動する項目がないときには、「行き止まり」の動作音で利用者へ知らせる。
また、トップへ移動、水平方向へ移動、直接移動や音声認識等のキーを押下したときに、その選択動作を確認する動作音を出力することによって、利用者は確実に操作が受け付けられていることを確認できる。
【００５２】
また、上層階層ではゆっくりした調子のＢＧＭとし、下層に行くにしたがって早い調子のＢＧＭとするようにすれば今どの辺の階層にいるのかを認識できる。また、コピーの部数を入力するような数値入力の場合にも、その数値入力が終了するまでＢＧＭを流すことによって、数値入力を行っていることを確認できる。
【００５３】
また、ＭＦＰの動作中の状態、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いています」等を音声によって利用者へ通知する。このような状態がすぐ解消できないような場合には、その音声が途切れてしまえばその状態はつかめなくなる。
例えば、コピー動作を行っている間、ＭＦＰから利用者が離れていたときに「紙詰まりになった」場合には、この音声だけでは利用者にはわからないが、音声の後にＢＧＭを流しておけば、このような状態でも利用者には認識できる。
【００５４】
また、利用者が４０部のコピーを指定したときに、今どのくらいのコピーが終了しているかを認識できるように、コピー全体にかかる時間とＢＧＭが１曲終了する時間とを対応付けておき、利用者はそのＢＧＭのどの辺を聞いたかによって、どのくらいまでコピーが進んだかを知ることができる。
【００５５】
このように利用者へ動作イメージを湧かせるような動作音、ＢＧＭや音アイコンで通知することにより、利用者が今どのような状態にあるかを確認でき、確実に入力したか、または、操作が完了したかどうかの不安を低減することができる。
【００５６】
（４）操作結果の音声によるフィードバック
上述したようにテンキーを用いて階層メニュー上に配置された操作項目を移動・選択操作を行う際に、音声によってもヘッドフォンから出力することにより、その入力および操作結果が確実になされたかを利用者が認識することができ、不安を低減することができる。
このときの音声は、状況に応じて音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させてフィードバックすることにより、利用者が置かれた状況を直感的に把握させることができる。
【００５７】
また、移動操作によって階層メニューをたどって、操作項目へ達したときに、その操作項目を所定の内容の音声フィードバックを行う。
例えば、「拡大」や「１１４％」等の操作項目へ移動したときには、その項目名を読み上げる。これにより、利用者がどの操作項目に移動したかを認識できる。
【００５８】
この項目名を読み上げる際、既に選択されている項目をまだ選択されていない項目よりも高い声で読み上げる。これによって利用者に対して活性度の高いイメージを与え、その項目が現在選択されていることを、言語表現によるよりも素早く直感的に伝えることができる。
【００５９】
例えば、図３および図４の階層メニューにおいて、「変倍」の下階層の「等倍」や「拡大」はそれらのうちのどれかひとつが選択されるべきものであるが、現在どれが選択されているかを利用者が知ることができれば「等倍」が選ばれているのにさらに「等倍」を選択するという無駄が省ける。
また、「原稿サイズ混載」等のような選択によってＯＮ／ＯＦＦを切り替える項目では、現在選択されているか（即ちＯＮであるか）、選択されていないか（即ちＯＦＦであるか）を知らなければ自分の所望の状態にセットすることができない。
【００６０】
また、項目名を読み上げる際、無効な項目は有効な項目よりも低い音声によって読み上げる。これによって利用者に対して活性度の低いイメージを与え、その項目が現在無効であることを、言語表現によるよりも素早く直感的に伝えることができる。
ある項目を選択したことにより他の項目に影響を与え、その結果として他の項目を選択できないという状況になることがある。
【００６１】
例えば、「用紙」に「自動」や「トレイ１」等が選ばれている時、「手差し用紙の紙種類」を選択することは有効ではない。選択できないのにその項目へ移動や選択ができるようにしておくと、利用者に選択できるという誤解を与えて混乱を招きかねない。
しかし、その項目を一時的に階層メニューから削除したり、移動させないようにすると、階層メニューの構造が動的に変化することになり、聴覚的にのみメニュー構造を把握している利用者には何故メニュー構造が変ったかが分かりにくく混乱を招くことになる。
【００６２】
以上のような読み上げの際、音声の音高の上下は通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要がある。例えば、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与えるようにする。
【００６３】
また、項目名を読み上げる際、下の階層の項目をもつ項目名には残響音を付加して出力する。これによって利用者に対して余韻のあるイメージを与え、その項目の後にさらに細分類された項目群があることを、言語表現によるよりも素早く直感的に伝えることができる。
例えば、階層メニュー上の項目には、「等倍」のようにそれ以下の階層を持たないものと、「拡大」のようにさらに下の階層の細分類項目を持つものがある。この違いを実際に下の階層へ移動せずにわかるということは、階層メニューの移動作業を見通しよくすることになる。
【００６４】
「現在位置の説明（「５」）」キーを押下することにより、階層メニュー上のどの操作項目に現在いるのかを知るために、その操作項目に対する操作項目名や設定値等の情報提供を所定の内容の音声によりフィードバックする。
例えば、「用紙」を「Ａ４横」に設定確定した後、「現在位置の説明」キーを押下すると、「用紙はＡ４横に設定されています」と音声フィードバックする。
【００６５】
また、設定項目の選択が終了し、「確定（「９」）」キーにて確定操作が行われたときに、その確定された内容を所定の内容の音声によりフィードバックを行う。
例えば、「拡大」で「２００％」を選択・確定したときは、「変倍は拡大２００％に設定されました」と音声でフィードバックされる。
【００６６】
また、設定確認キーが押下されたとき、現在の階層メニュー上の操作項目（中間階層を含めて）より下にあり、利用者が既定値から設定を変更した設定項目をまとめて音声で読み上げる。
このとき、一度にすべての設定項目を音声フィードバックするのではなく、１つの設定項目につき音声フィードバックし、その設定項目に誤りがあれば修正し、移動キーを操作させて次の変更されている設定項目に移動し、最後は確定キーを押下して最終確定とするようにしてもよい。
また、今までに既定値から変更した設定項目をすべて知りたいときには、一旦「トップへ戻る（「１」）」キーで階層メニューのトップへ移動してから、この設定確認キーを押すことにより一括して確認することができる。
【００６７】
各設定項目の設定を完了し、スタートキーを押下し、ＭＦＰの動作が終了したときに、その成否を知らせる所定の内容の音声フィードバックを行う。
例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
【００６８】
また、操作中や動作中にＭＦＰの状態を上述した操作項目の操作時の音声とは異なる話者の音声によって、動作音の後に続けて、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等と利用者へ通知する。
【００６９】
上述した音声フィードバックによる音声の属性（音の高さ、声種、音質、調子、音色、話速、音場感）を変化させるつまみを用意することによって、利用者に聞き取りやすい音声出力とすることができる。
また、音声フィードバックの終了を待たずに、次のキー操作がなされた場合には話速を自動的に早くすることによって、利用者のイライラ感をへらすことができる。
【００７０】
（５）操作の例
次に、上述したＭＦＰを使って「部数を２部」に設定し、動作完了するまでの操作例を説明する。
先ず、階層メニューを操作して「部数」のところへ移動すると、ヘッドフォンから「（ピロン）部数」という音アイコンに続いて音声で設定項目名「部数」を読み上げる。このとき「部数」の下の階層がないため、残響音は付加されない。ここで利用者が「確定（「９」）」キーを押下すると、ヘッドフォンから「（キャラン）テンキーで部数を入力して確定キーを押してください」という音アイコンに続いて部数の入力音声ガイドがなされ、部数の数値入力の間ＢＧＭが流れる。
ここで「（ピロン）」「（キャラン）」の音は、動作音を示している。
【００７１】
利用者はテンキーを使って、「２」と「＃」キーを押すと、ヘッドフォンから入力した数字を読み、利用者が「確定（「９」）」キーを押すと、ヘッドフォンから「（キャラン）部数は２部に設定されました」の音声が聞こえてくる。
この後、利用者はスタートキーを押すと、ヘッドフォンからコピーをしている間、ＢＧＭが流れ、終了すると「コピーが２部終了しました」と音声ガイダンスがある。
【００７２】
Ｅ．ＭＦＰにおける機能構成
図７は、ＭＦＰに組み込んだ本発明の機器操作装置の機能構成図である。
図７において、機器操作装置は、操作制御部３１０、操作入力部３２０、視覚入力部３３０、視覚表示部３４０、メニュー制御部３５０、メニューデータベース（ＤＢ）３６０、音声入力部３７０、音出力部３８０、機能実行部３９０、音声認識部４１０、音声合成部４２０とから構成される。
【００７３】
操作制御部３１０は、利用者がコピー機能やファクシミリ機能等のいずれの機能を使うかを指示させ、それに対する操作のための初期設定および装置全体の制御を行う。また、ＭＦＰを立ち上げたときの初期状態では「視覚モード」となっている。
【００７４】
操作入力部３２０は、テンキー等の視覚入力以外の入力を行う。
「視覚モード」のときには、数字等をテンキーから入力するが、「音声モード」のときには、階層メニューの階層構造を移動させる方向移動キー、操作項目の選択・確定等を行う各種キーやテンキー等から各種の操作指示を入力し、その入力されたテンキーの種別によって決定される機能番号と入力したテンキーの種別をメニュー制御部３５０へ引き渡す。
【００７５】
（１）「方向移動」キーの場合
階層を１つ下がるごとに１０倍、同階層では右方へ移動するごとに１増加させるように、機能番号を構成しておき、方向移動キーの種類で演算を行って、現在の階層メニュー位置の機能番号から、次の移動先の機能番号を計算し、操作項目を決定できる。
例えば、初期状態(現在の機能番号＝１)から、右方移動キーを押下すると、機能番号＝１＋１＝２である。ここで、下方移動キーを押下すると、機能番号＝２×１０＋１＝２１である。
次に、ここで上方移動キー、下方移動キー、右方移動キーのいずれかのキーを押下した場合には、機能番号はそれぞれ２、２１１、２２となる。
【００７６】
（２）「直接ジャンプ」または「トップへ戻る」キーの場合
「直接ジャンプ（「０」）」キーを入力して、数値入力可能な状態にし、利用者が操作項目に対応した機能番号をテンキーから入力し、最後に「数値入力終了（＃）」キーを押下する。
これによって、今テンキーから入力した数値を機能番号に設定する。
例えば、「文字・写真」に移動したい場合には，「２→1→２→＃」と押下すると、機能番号＝２１２と設定される。
また、「トップへ戻る（１）」キーが入力された場合、機能番号＝１と設定される。
【００７７】
（３）音声認識の場合
「音声認識（「３」）」キーを入力すると、操作入力部３２０は音声入力部３７０を起動し、利用者がマイクロフォンから入力された操作項目名、キーワード（操作項目名の一部を表す言葉）または機能番号から音声認識して変換された機能番号を戻させる。
【００７８】
（４）「モード切り替え（＊）」キーの場合
この場合には、モードを切り換えて操作制御部３１０へ戻る。
現在のモードが「視覚モード」のときは、利用者がヘッドフォンとマイクロフォンを備えたヘッドセットを挿入すると「音声モード」へ移行する。ここで切り替えが指定されても、ヘッドセットを接続しなければ、「音声モード」へ移行はしない。
一方、現在のモードが「音声モード」であるときには、「視覚モード」へ移行するが、ヘッドセットが接続されていれば、一時的な「視覚モード」となり操作の結果をヘッドフォンへ出力する。しかし、ヘッドセットが接続されていなければ、完全な「視覚モード」へ切り替わる。
【００７９】
（５）その他のキーの場合
「現在位置の説明（５）」キー、「設定確認」キー、「確定（９）」キーの場合には、そのままテンキーの種別をメニュー制御部３５０へ引き渡す。
また、機能キー２０６が押された場合には、その種別を操作制御部３１０へ戻して、諸設定を変更するようにする。
【００８０】
視覚入力部３３０は、画面上に設置されたタッチパネルを用いて、一般には「視覚モード」では画面に表示された各種の操作項目を選択・設定するための入力を行う。「音声モード」から一時的に「視覚モード」へ切り替えて、操作項目を選択することもできる。
視覚表示部３４０は、「視覚モード」では、各種の機能を画面に表示する。「音声モード」では、利用者が階層メニューから選択し、確定した設定項目を画面へ表示する。
【００８１】
音声入力部３７０は、操作入力部３２０から起動され、利用者が発声した操作項目名、機能番号、操作項目に含まれる単語やキーワードを入力し、入力された音声を音声認識部４１０によって音声認識し、その結果に応じてそれぞれ機能番号へ変換し、この変換された機能番号に対応する操作項目名を音声フィードバックして、「確定（９）」キーが押されるまで音声入力を繰り返し、「確定（９）」が押されると音声入力を終了し、終了したときの機能番号を操作入力部３２０へ戻す。
【００８２】
音声認識した結果、数字が入力された場合には、認識結果を機能番号とする。例えば、「２１６４」と発声したときは、機能番号＝２１６４（原稿セット方向）と設定される（図４参照）。
【００８３】
また、操作項目名が入力された場合には、操作項目名と機能番号とを対応させてメモリへ記憶した対応表またはメニューＤＢ３６０を検索して操作項目名を機能番号へ変換する。
例えば、「もじしゃしん」と発声したときは、「原稿」→「種類」→「文字・写真」が選択されたものと判断し、機能番号＝２１２と設定される（図４参照）。
【００８４】
また、「パンチひだり」と発声したときは、「パンチ」→「左」が選択されたものと判断し、機能番号＝６３１と設定される（図４参照）が、この機能番号の音声フィードバック「パンチひだり」を利用者が確認したときに、パンチ穴を右にあけるつもりであったことに気づいた場合には、再度「パンチみぎ」と発声すると、機能番号＝６３２の「パンチみぎ」を音声でフィードバックして修正できる。
【００８５】
このように、音声認識を何回行っても、「確定（９）」キーを押下するまで、音声入力を確定しないので、再度発声してミスを修正することができる。また、音声受付の制限時間をなくしたことにより、利用者が安心して音声認識を利用できる。
【００８６】
しかし、発声の仕方は利用者により様々であって、「パンチひだり」という言葉を連続して発声する人もいれば、「パンチ」と「ひだり」との間にポーズ（休止）を挿入して発声する人もいる。
この場合、そのポーズで発声が途切れるため発話が終了したと判断して、音声認識処理されてしまう問題が出てくる。特に、言語機能や運動機能に障害をもつ人にとっては、長い言葉を連続して発声するのが困難であるため、ポーズが挿入されたとしても正しく認識できる仕組みが必要となってくる。
【００８７】
このため、ポーズで区切られた直前の発声に対する音声認識結果を機能番号（以下、「先行の機能番号」という）に変換し、その機能番号を記憶しておく（図８参照）。音声入力部３７０が起動されたときには、この「先行の機能番号」はないので、０に設定される。
次に、ポーズ以後に発声された音声を認識し、その認識結果が「先行の機能番号」の下位の階層の操作項目中にあるかを調べ、存在する操作項目を音声フィードバックするとともに対応する機能番号を「先行の機能番号」として記憶する。一方、一致する操作項目が存在しなければ、前回発声された認識結果とのつながりがないものと判断し、今回の認識結果を捨てて、以前の「先行の機能番号」を維持する。
ここで、「先行の機能番号」が０の場合には、認識結果を音声フィードバックするとともにその認識結果に対応する機能番号をそのまま「先行の機能番号」へ記憶させる。
【００８８】
以下、ポーズによる分断された発声に対する認識処理と機能番号への変換を繰り返し、ポーズ区間より長い区間の発声休止があった場合に繰り返しを終了し、最終的に記憶されていた「先行の機能番号」を一連の発声に対する機能番号とする。したがって、言い間違えた場合には、ポーズよりも長く発声を休止してから、再度、正しく発声すればよい。
【００８９】
例えば、「パンチひだり」の発声が「パンチ」と「ひだり」の間のポーズ区間で途切れた場合には、「パンチ」に対して変換された機能番号は６３である。この機能番号＝６３が「先行の機能番号」として記憶される。
続いて、「ひだり」が認識されると、「先行の機能番号」の下位階層で操作項目名「ひだり」を階層メニュー上で探す。
機能番号＝６３１が一致する操作項目であるから、これを「先行の機能番号」へ記憶させる。
このようにして、「パンチ」と「ひだり」の間にポーズを入れて発声しても所望の項目に認識できるので、利用者の様々な発話形態に対応できるので、発声方法の制約がなくなり、障害者対応の強化が図れる。
【００９０】
一方、一致する操作項目がなければ、例えば、前回の音声認識結果が「コピー」であり、その後「ひだり」が音声認識された場合、先行の機能番号＝５２（コピー）の下の階層に操作項目「ひだり」はないため、「先行の機能番号」＝５２を維持する。
このように、ポーズを入れて発声された場合に、発声内容を誤っても以前の状態が保持されているので、利用者は安心して再度正しい内容を発声することができる。
【００９１】
メニュー制御部３５０は、階層メニューを保持するメニューデータベース（ＤＢ）３６０によって、階層メニュー上の現在位置を管理する。
操作入力部３２０から渡された入力キーの種別がメニュー上の移動を伴う場合には、入力された機能番号がメニューＤＢ３６０に存在するかどうかを検索し、存在すれば現在の機能番号を入力された機能番号に置き換え、この置き換えられた機能番号に対応した操作項目の位置に移動し、その処理結果の音出力が行われる。
また、移動を伴わない「現在位置の説明」や「設定確認」のときには、そのキーに与えられた機能に応じて音声フィードバックする。
「確定」キーの場合には、現在の機能番号で示された設定項目を確定して記憶し、確定したことを音声フィードバックする。
例えば、機能番号＝６３１である場合に、その項目を確定するために「確定」キーが押下されると、「パンチ左はオンに設定されました。」という音声フィードバックがなされ、設定を確定する。ここで、すでにパンチ左がオンに設定されていた場合には「パンチ左はオフに設定されました。」という音声フィードバックがされる。
【００９２】
例えば、初期状態(機能番号＝１)で上方移動キーを押下すると、１／１０＝０となるので、メニューＤＢ３６０には登録されていない。この場合には、移動は起こらず、移動に失敗したことを音で知らせる。
同様に、右方移動キーを押下すると、１＋１＝２となり、メニューＤＢ３６０に登録されているので、該当する項目(「原稿」)に移動し、「原稿」という音声フィードバックがある。
【００９３】
直接ジャンプや音声認識によって機能番号が入力された場合、メニューＤＢ３６０にその機能番号が存在すれば、例えば、「６３１」の場合には、「パンチ左」という音声フィードバックがある。
【００９４】
また、機能番号＝２１のとき左方移動キーを押下すると、２１−１＝２０であり、該当する機能番号がメニューＤＢ３６０に登録されていないので移動は起こらず、移動が失敗したことを音声フィードバックする。
直接ジャンプや音声認識によって機能番号が入力された場合にも、メニューＤＢ３６０にその機能番号が存在しなければ（例えば、「２→１→６→＃」）、移動は起こらず、移動が失敗したことを音声フィードバックする。
【００９５】
音出力部３８０は、「音声モード」において、メニュー制御部３５０や操作制御部３１０の指示で、テンキーによる各種の操作および機能実行の成否を表す動作音、音声ガイダンス、ＢＧＭ等をヘッドフォンへ出力する。音声については、音声合成部４２０を呼び出して、音声データを受け取り、ヘッドフォンへ出力する。または、音声合成部４２０でテキストデータから音声合成するのではなく、録音された音声を使うようにしてもよい。
【００９６】
機能実行部３９０は、操作制御部３１０から渡される各種の設定項目に対する設定値を機能（例えば、コピー機能やファクシミリ機能等）に応じて定められたＭＦＰ１００のメモリへ記憶させる。また、操作制御部３１０からの指示でＭＦＰ１００のメモリに記憶された設定値によって、ＭＦＰの機能を実行させる。
【００９７】
音声認識部４１０は、音声入力部３７０によって呼び出され、現在利用者が操作している機能（コピー機能やファクシミリ機能）に対する音声認識用辞書（例えば、コピー用の辞書）を用いて、利用者が発声した音声（階層メニューの操作項目名、機能番号、操作指令等）を音声認識した結果を音声入力部３７０へ戻す。
【００９８】
音声合成部４２０は、音出力部３８０から呼び出され、利用者へ音声フィードバックするときに、音声合成用辞書を用いて、テキストデータから合成した音声をメニュー制御部３５０からの指示によって音高を変更したり、残響音を付加して変形された音声を音出力部３８０へ戻す。
【００９９】
ここで、音高の変更は、メニュー制御部３５０に指示された操作項目が無効であれば、音高を低くした音声で出力する。
また、その設定項目が選択されていれば音高を高くした音声で出力する。
音高の上下は、通常の高さと識別可能な変化量が必要であって、かつ発声内容を明瞭に聞き取れる範囲に抑える必要があるので、通常の自然発話における音域と音声合成で明瞭性を確保できる音域を考慮し、半オクターブ程度の変化量を与える。
【０１００】
また、残響音の付加は、メニュー制御部３５０から指示された操作項目の下層に操作項目があるときに付加される。
例えば、音声を遅延器および減衰器に通した後に、入力に加算することで実現できる。この場合制御パラメータは遅延器の遅延時間と減衰器の減衰量となるが、通常の音声との識別性を向上することと音声の明瞭性を確保することを考慮し実験的に決定する。
【０１０１】
なお、音場感制御を音声属性のうち音高制御と残響音付加によって行っているが、操作項目を読み上げる際は、話速、声種、音質などを変化させることで音場感を与えるようにしてもよい。
話速制御は、録音合成では波形の伸縮、規則合成では音韻継続時間長の伸縮によって実現できる。
また、声種の変更は、録音合成では録音元話者の変更、規則合成では素片波形の変更によって実現できる。
また、音質の制御は、音声合成部の出力後にフィルターを挿入し、このカットオフ周波数を制御することによって実現できる。
【０１０２】
Ｆ．ＭＦＰの動作
このように構成された本ＭＦＰにおける動作を、コピー機能の操作を例にして説明する。
図８は、コピー機能の操作に対する動作を示すフローチャートである。
まず、モード切り替えキーが押下された場合（ステップＳ１のＹＥＳ）、現在の設定モードを切り替え（ステップＳ２）、次の操作指示を処理するためにステップＳ１へ戻る。
「視覚モード」から「音声モード」へ切り替える場合、モード切り替えキーを押下し、ヘッドフォンとマイクロフォンを備えたヘッドセットをＭＦＰへ接続しなければならない。また、「音声モード」へ切り替わるとタッチパネルからの入力はロックされ、ヘッドフォンから「音声モードに入りました」という音声の通知がなされる。
一方、現在の設定モードが「音声モード」であれば、「視覚モード」へ切り替える。ヘッドセットが接続されたままであれば、この「視覚モード」は、一時的なものであって、タッチパネルから操作された入力はヘッドフォンへ出力される。ヘッドセットをＭＦＰから切り離して、はじめて「視覚モード」へ切り替わる。
【０１０３】
現在のモードが「視覚モード」の場合（ステップＳ３のＹＥＳ）、タッチパネル２０１を使って視覚入力部３３０によりＭＦＰの操作を行い（ステップＳ４）、次の操作指示を処理するためにステップＳ１へ戻る。
【０１０４】
現在のモードが「音声モード」の場合は以下の処理を行う。
機能キー（ＦＡＸ、コピー、プリンタ、スキャナ、ネットファイル等）２０６が押下された場合（ステップＳ５のＹＥＳ）、その押された機能に対応した階層メニューをメニューＤＢ３６０から取り出して初期設定し（ステップＳ６）、次の操作指示を処理するためにステップＳ１へ戻る。
ここでは、機能キー「Ｃｏｐｙ」（図２参照）を選択したものとすると、ヘッドフォンから「コピーの操作ができるようになりました」と音声で利用者へ知らせる。
【０１０５】
次に、方向移動キー（上下左右）が押下された場合（ステップＳ７のＹＥＳ）、階層の上下移動や同階層の隣接項目へ移動し（ステップＳ８）、次の操作指示を処理するためにステップＳ１へ戻る。
操作入力部３２０は、この入力されたキーの種別と入力された機能番号とをメニュー制御部３５０へ渡すことにより、階層メニューのどこにいるかを管理する。
【０１０６】
また、階層メニュー上を移動するときには、メニュー制御部３５０は、音出力部３８０を呼び出して、音アイコン、動作音とＢＧＭを流し、さらに操作項目名も音声出力し、利用者へ確実に操作されていることを通知する。
このときの音声は、項目名を音声合成部４２０によって合成した音声であり、この操作項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その操作項目が下層に操作項目を持てば残響音を付加して読み上げる。
【０１０７】
また、メニュー制御部３５０は、階層メニューの端にきて、それ以上は移動できない場合には、音出力部３８０を呼び出して、「行き止まり」の動作音を出力し、利用者へ知らせる。階層メニュー上で上下方向に行き止まりになったときにも、「行き止まり」の動作音を出力し、利用者へ知らせる。
【０１０８】
次に、「トップへ戻る（「１」）」キーを押下した場合（ステップＳ９のＹＥＳ）、最上位階層の最左端のメニューにある操作項目に移動し（ステップＳ１０）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、最上位階層の最左端のメニューにある操作項目になるように現在位置を管理する。この移動に際して、メニュー制御部３５０は、音出力部３８０を呼び出し、音アイコンとその移動先の操作項目名の音声を出力し、正しく動作したことを利用者へ通知する。
このときの音声は、項目名を音声合成部４２０によって合成し、この操作項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして読み上げる。さらに、その操作項目が下層に操作項目を持てば残響音を付加して読み上げる。
【０１０９】
次に、「直接ジャンプ（「０」）」キーを押下した場合（ステップＳ１１のＹＥＳ）、続いて入力される機能番号に対応した設定項目に移動し（ステップＳ１２）、次の操作指示を処理するためにステップＳ１へ戻る。
操作入力部３２０は、音出力部３８０を呼び出し、動作音と「機能番号を入力してください」という音声とＢＧＭとを出力する。このＢＧＭが流れている間に、利用者はテンキーから数字を入力する。その入力された数字は音出力部３８０を介して読み上げられる。
最後に、利用者が「数値入力終了（「＃」）」キーを押下すると、操作入力部３２０は、ＢＧＭを流すのを中止させ、メニュー制御部３５０によって、動作音と今入力した機能番号の操作項目の名前を音声で出力し、その操作項目を現在位置として管理する。
【０１１０】
この指定した機能番号に対応する項目が階層名であるときには、階層名を音声合成部４２０によって合成し、この階層名が下層に操作項目を持てば残響音を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして、設定項目を読み上げる。
例えば、キー「０」の押下に続いて、「４３５」をテンキーによって入力すると高音で「変倍は縮小７１％に設定されました」という音声フィードバックがなされる。
メニュー制御部３５０は、機能番号が最下層の設定項目を指定した場合には、その設定項目に対応する値をメニューＤＢ３６０上の設定項目の設定値として保持し、操作制御部３１０は、機能実行部３９０を介して今指定された設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３４０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１１】
次に、「音声認識（「３」）」キーを押下した場合（ステップＳ１３のＹＥＳ）、続いて入力される音声を音声認識しその認識結果に対応した操作項目に移動し（ステップＳ１４）、次の操作指示を処理するためにステップＳ１へ戻る。
操作入力部３２０は、音出力部３８０を呼び出し、動作音とともに「機能番号、操作項目名またはキーワードを発声してください。」と音声出力する。
【０１１２】
続いて、操作入力部３２０は、音声入力部３７０を呼び出し、利用者が発声した「機能番号」、「操作項目名」または「キーワード」から利用者が指定した機能番号を得る。このとき、「確定（９）」キーを押下するまで、音声入力を確定しないので、再度発声することによって、前回の入力を修正できる。
また、長い操作項目名のとき、ポーズ（休止）を挿入して発声した場合にも、ポーズの前後を連結して１つの操作項目として認識する。
音声入力部３７０は、認識結果が「数値」であれば、それを「機能番号」とし、操作項目名が入力された場合には、操作項目名と機能番号とを対応させてメモリへ記憶した対応表またはメニューＤＢ３６０を検索して操作項目名を機能番号へ変換する。
【０１１３】
音声入力部３７０で得た機能番号をメニュー制御部３５０へ渡して、この機能番号に対する操作項目を現在位置として管理する。
このとき、メニュー制御部３５０は、音出力部３８０を呼び出し、音アイコンと入力した操作項目名とを音声出力し、利用者に音声入力が正しく認識されたことを通知する。
【０１１４】
利用者が指定した項目名や機能番号が階層名であるときには、階層名を音声合成部４２０によって合成し、この階層名が下層に操作項目を持てば残響音を付加する。また、指定した機能番号が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。
【０１１５】
次に、「現在位置の説明（「５」）」キーを押下した場合（ステップＳ１５のＹＥＳ）、現在、階層メニューのどの操作項目にいるのかの情報提供し、（ステップＳ１６）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、音出力部３８０を呼び出し、音アイコン、現在位置の操作項目名および設定値等を音声で利用者へ通知する。
【０１１６】
現在位置が階層名であるときには、階層名を音声合成部４２０によって合成し、この階層名が下層に操作項目を持てば残響音を付加する。また、現在位置が設定項目であれば、この設定項目が無効であれば音高を低くし、その設定項目が選択されていれば音高を高くして設定項目を読み上げる。
【０１１７】
次に、「設定確認」キーを押下した場合（ステップＳ１７のＹＥＳ）、利用者が今までにどのような設定項目を選択したのかを音声で設定項目名と設定値を音声で通知し（ステップＳ１８）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、利用者が既定値から設定を変更した設定項目へ順次移動して、音出力部３８０を呼び出して設定項目名とその設定値を音声で読み上げ、利用者へ通知する。この際、メニュー制御部３５０は、移動先を現在位置として管理し、その設定項目に誤りがあれば修正できる。
さらに、メニュー制御部３５０は、設定項目の変更が行われると、その変更された設定項目とその設定値をメニューＤＢ３６０上の設定項目の設定値として保持し、操作制御部３１０は、機能実行部３９０を介して今指定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３４０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１８】
次に、「確定（「９」）」キーを押下した場合（ステップＳ１９のＹＥＳ）、現在位置の設定項目の選択を確定し（ステップＳ２０）、次の操作指示を処理するためにステップＳ１へ戻る。
メニュー制御部３５０は、音出力部３８０を呼び出し、動作音とその確定された動作内容を音声で出力し、利用者へ通知する。
さらに、メニュー制御部３５０は、現在位置の設定項目の確定が行われると、その確定された設定項目とその設定値をメニューＤＢ３６０上の設定項目の設定値として保持し、操作制御部３１０は、機能実行部３９０を介して今確定された設定項目の設定値をＭＦＰ１００のメモリの該当設定項目へ記憶させるとともに、視覚表示部３４０を呼び出して、この確定した内容を操作部１０４の画面へ表示する。
【０１１９】
最後に、各設定項目に設定が完了して「スタート」キーが押下された場合（ステップＳ２１のＹＥＳ）、選択されていた機能（コピー機能、ファクシミリ機能等）を実行させ（ステップＳ２２）、次の操作指示を処理するためにステップＳ１へ戻る。
操作制御部３１０は、機能実行部３９０を呼び出し、利用者が初めに選択した機能を動作させる。例えば、指定された機能がコピー機能であれば、これまでに設定した値に応じたコピー動作が行われる。この動作が終了したとき、操作制御部３１０は、音出力部３８０を呼び出し、利用者へその成否を音声で知らせる。
【０１２０】
例えば、「１２２％の変倍でコピーが終了しました」、「紙詰まりでコピーができませんでした」等の結果を音声にてフィードバックする。
また、操作制御部３１０は、利用者が「４０部」のコピーを指定したようなときには、音出力部３８０を介して、今どのくらいのコピーが終了しているかを認識できるように、ＢＧＭを流し、利用者はそのＢＧＭの進み具合でどの程度の処理が完了したかを知ることができる。
【０１２１】
また、操作制御部３１０は、ＭＦＰの動作中に装置の状態を監視し、例えば、「用紙切れ」、「トナー不足」、「紙詰まり」、「フロントカバーが開いている」等の場合には、音出力部３８０を呼び出して、音アイコンの後に、例えば、「用紙がなくなりました」、「トナーが残り少なくなりました」、「紙詰まりが発生しました」、「フロントカバーが開いています」等との音声とＢＧＭとを出力して利用者へ通知する。
【０１２２】
Ｇ．プログラムとしての実施の形態
本発明は上述した実施形態のみに限定されたものではない。上述した実施形態を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【０１２３】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
【０１２４】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【０１２５】
また、上述した実施形態の機能を実現するプログラムが、機能拡張ボードや機能拡張ユニットに備わるメモリにロードされ、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって、上述した実施形態の機能が実現される場合も含まれる。
【０１２６】
さらに、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【０１２７】
【発明の効果】
以上説明したように本発明によれば、利用者が機器の操作を行うときに、誤って設定してしまう不安を取り除き、安心して何度でも音声認識を利用できるので、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
また、音声認識を行なうために発声する言葉の間にポーズが挿入されていても正しく認識することにより、利用者が安心して音声認識を利用でき、視覚を使用せずに各種の操作を容易に且つ確実に行うことができる。
【図面の簡単な説明】
【図１】 本発明の機器操作装置を組み込んだＭＦＰのブロック図である。
【図２】 操作部の正面図である。
【図３】 コピー機能に関する階層メニューの構成例である。
【図４】 コピー機能に関する階層メニューの構成例である（図３の続き）。
【図５】 テンキーの機能配置例である。
【図６】 方向移動キーによる操作を説明するための図である。
【図７】 ＭＦＰに組み込んだ本発明の機器操作装置の機能構成図である。
【図８】 コピー機能の操作に対する動作を示すフローチャートである。
【符号の説明】
１００…ＭＦＰ、１０１…ホスト接続装置、１０２…ＦＡＸ回線用接続装置、１０３…ネットワーク接続装置、１０４…操作部、１０５…スキャナ装置、１０６…プリンタエンジン、１０７…制御コントローラ、１０８…記憶装置、１０９…音出力装置、１１０…音声入力装置、２０１…タッチパネルおよび液晶表示部、２０２…テンキー、２０３…ストップキー、２０４…スタートキー、２０５…設定確認キー、２０６…機能キー、３１０…操作制御部、３２０…操作入力部、３３０…視覚入力部、３４０…視覚表示部、３５０…メニュー制御部、３６０…メニューＤＢ、３７０…音声入力部、３８０…音出力部、３９０…機能実行部、４１０…音声認識部、４２０…音声合成部。
Claims (8)
- 機器の操作可能なすべての操作項目を機能別に分類し、その分類をさらに最終的な設定項目に至るまで細分化して階層メニューを作成し、その階層メニュー中の設定項目を選択または値設定して機器を操作する音声ガイダンス付きの機器操作装置において、利用者から音声で前記設定項目の指定を入力する音声入力部と、その入力された音声を音声認識した認識語を出力する音声認識部と、前記音声入力部で指定された設定項目を前記階層メニュー上の位置として管理するメニュー制御部と、前記メニュー制御部で管理している、利用者が既定値から変更した設定項目を音声フィードバックする設定確認手段と、を備えることを特徴とする機器操作装置。
- 請求項１に記載の機器操作装置において、さらに、利用者の操作する確定手段を備え、前記音声入力部は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックして、前記確定手段により確定操作が行われたときに、この最後の認識語に対応する設定項目が指定されたものとし、前記メニュー制御部は、前記音声入力部で指定された設定項目を音声情報で説明することを特徴とする機器操作装置。
- 請求項２に記載の機器操作装置において、前記音声入力部は、利用者による確定操作が行なわれない間は、入力された音声を前記音声認識部によって音声認識された認識語に対応する設定項目を音声フィードバックすることを継続することを特徴とする機器操作装置。
- 請求項３に記載の機器操作装置において、前記音声入力部は、先に認識された設定項目の下位階層中に存在する、前記認識語に対応する設定項目を音声フィードバックすることを特徴とする機器操作装置。
- 請求項３に記載の機器操作装置において、前記音声入力部は、前記認識語に対応する設定項目が先に認識された設定項目の下位階層中に存在しなければ、前回の認識語に対する設定項目を維持することを特徴とする機器操作装置。
- コンピュータを、請求項１乃至５のいずれか１つに記載の機器操作装置として機能させるためのプログラム。
- 請求項６に記載の機器操作プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項１乃至５のいずれか１つに記載の機器操作装置を用いて、画像形成装置の機能に対する設定項目を選択・決定してから画像形成することを特徴とする画像形成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002257107A JP4070545B2 (ja) | 2002-09-02 | 2002-09-02 | 機器操作装置、プログラムおよび記録媒体並びに画像形成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002257107A JP4070545B2 (ja) | 2002-09-02 | 2002-09-02 | 機器操作装置、プログラムおよび記録媒体並びに画像形成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004094057A JP2004094057A (ja) | 2004-03-25 |
| JP4070545B2 true JP4070545B2 (ja) | 2008-04-02 |
Family
ID=32062129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002257107A Expired - Fee Related JP4070545B2 (ja) | 2002-09-02 | 2002-09-02 | 機器操作装置、プログラムおよび記録媒体並びに画像形成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4070545B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4624825B2 (ja) * | 2005-03-08 | 2011-02-02 | 日産自動車株式会社 | 音声対話装置および音声対話方法 |
| JP5522434B2 (ja) * | 2009-09-01 | 2014-06-18 | アイシン精機株式会社 | 運転支援装置 |
| JP7139984B2 (ja) * | 2019-02-05 | 2022-09-21 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001034292A (ja) * | 1999-07-26 | 2001-02-09 | Denso Corp | 単語列認識装置 |
| JP2001077952A (ja) * | 1999-09-06 | 2001-03-23 | Canon Inc | 画像形成システム及びその制御方法、画像形成装置及びその制御方法、ならびに記録媒体 |
| JP3402300B2 (ja) * | 2000-02-10 | 2003-05-06 | タイガー魔法瓶株式会社 | 電気炊飯器 |
| JP3827058B2 (ja) * | 2000-03-03 | 2006-09-27 | アルパイン株式会社 | 音声対話装置 |
| JP2001337687A (ja) * | 2000-05-25 | 2001-12-07 | Alpine Electronics Inc | 機器音声操作装置 |
| JP4023708B2 (ja) * | 2000-06-16 | 2007-12-19 | 株式会社リコー | 画像形成装置 |
-
2002
- 2002-09-02 JP JP2002257107A patent/JP4070545B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004094057A (ja) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4694758B2 (ja) | 機器操作装置、プログラムおよび記録媒体並びに画像形成装置 | |
| US7318198B2 (en) | Apparatus operation device for operating an apparatus without using eyesight | |
| US20030036909A1 (en) | Methods and devices for operating the multi-function peripherals | |
| JP4615786B2 (ja) | 画像形成装置、プログラムおよび記録媒体 | |
| US20030020760A1 (en) | Method for setting a function and a setting item by selectively specifying a position in a tree-structured menu | |
| US6253184B1 (en) | Interactive voice controlled copier apparatus | |
| US20010053969A1 (en) | Natural language machine interface | |
| JP2001014134A (ja) | ネットワークシステム、ネットワークシステムにおけるサーバ及び装置 | |
| JP2007086856A (ja) | ユーザインタフェース装置 | |
| JP4010864B2 (ja) | 画像形成装置、プログラムおよび記録媒体 | |
| JP7192220B2 (ja) | 画像処理装置、情報処理装置及びプログラム | |
| JP4070545B2 (ja) | 機器操作装置、プログラムおよび記録媒体並びに画像形成装置 | |
| JP2006333365A (ja) | 情報処理装置およびプログラム | |
| JP4702936B2 (ja) | 情報処理装置及び制御方法、プログラム | |
| JP2003084965A (ja) | 機器操作装置、プログラムおよび記録媒体 | |
| US11838459B2 (en) | Information processing system, information processing apparatus, and information processing method | |
| JP4520375B2 (ja) | 音声操作支援装置、電子機器、画像形成装置およびプログラム | |
| JP2007013905A (ja) | 情報処理装置およびプログラム | |
| JP4562547B2 (ja) | 画像形成装置、プログラムおよび記録媒体 | |
| JP2011193139A (ja) | 画像形成装置 | |
| JP2002342049A (ja) | 音声対応印刷処理システムおよびその制御方法、並びに記録媒体、コンピュータプログラム | |
| JPH11224026A (ja) | 複写装置のためのオペレータ制御ユニット | |
| JP4459123B2 (ja) | 情報処理装置及びユーザインターフェース制御方法 | |
| JP2007012002A (ja) | 情報処理装置およびプログラム | |
| JPH09282137A (ja) | 文章読み上げ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080115 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4070545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |