JP7409155B2 - 画像形成装置 - Google Patents

Description

本開示は、画像形成装置に関し、音声認識によるジョブデータの設定入力の改良に関する。

近年の画像形成装置は多機能化が進んでおり旧来のようなタッチパネルディスプレイを用いた操作では、画像形成装置が具備する多彩な機能を全て使いこなすことは難しいといわれる。階層的なメニューを開いて、ジョブに必要な各項目を正しく入力せねばならないからである。

その反面、音声認識では「２ｉｎ１でコピーして」というように、画像形成装置にさせたいことを直接的に言葉で表現すればよく、直観的な操作が可能になる。また、「２ｉｎ１コピーよろしく。あとスティプルも」「コピー２ｉｎ１でお願い」など様々な言い回しが可能であり、ストレスのない操作が可能になるので、新時代を担うユーザーインターフェイスとして期待がかかっている。

従来の画像形成装置では、ユーザーが音声認識モードの起動のために予め定められた単語を発すると音声認識モードに移行し、音声による指示の取り込みを開始する。そうして取り込まれた音声をデジタル化して、スペクトル変調、フーリエ変換等の信号処理を施して音素を得る。一群の音素を単語にまとめて、名詞、形容詞に変換して、ユーザーが発話した発話文の構文を明らかにする。それによってジョブの内容が認識されると、画像形成装置はその発話文に基づきジョブを実行する。

特開平04-343561号公報

ところで画像形成装置は動作音が大きく、音声認識モードが起動された後に、動作音が発生すると、動作音がノイズになって、ユーザーが発した音声が正しい音素に変換されなくなる。音素の変換の段階でつまづくと、以降の処理において、ジョブの設定を命じる正しい文章が生成されず、画像形成装置は音声の再入力をユーザーに求めざるを得ない。自装置が発する動作音が原因で音声入力が阻害されているというのに音声の入力を何度も求めるのは装置としての一貫性を欠き、画像形成装置に対する不信感を募らせてしまう。

音声認識の発話中は、装置動作を停止させ、静寂な音響環境を保つことも考えられる（詳しくは特許文献１を参照）。しかし、多人数の従業員が在籍する職場で画像形成装置が設置されている場合、こうした音声入力時の動作停止は望ましくない。一人のユーザーの音声認識のために、画像形成装置の動作を止めてしまうことになり、職場全体の作業効率の低下をもたらすからである。

本開示の目的は、職場の作業効率の低下を最小限にしつつも、音声認識のための発声の繰り返しを少なくすることができる、画像形成装置を提供することである。

上記課題は、ユーザーによる発話に応じて、音声認識モードを起動し、音声による画像形成に関する指示を受け付ける画像形成装置であって、音声認識モードが起動された後、次に移行すべき状態を現在の状態に基づき特定する特定手段と、次の状態に移行する前に、その状態において生じる動作音が前記音声認識モードでの音声認識を遮るかどうかを、前記音声認識モードの起動時にユーザーが発した声の音圧レベルに基づき判定する判定手段と、遮ると判定された場合、画像形成に関する指示の内容が、音声認識により確定するまでの間、前記現在の状態を維持し、指示内容が確定すると前記次の状態に移行する制御手段とを備えることを特徴とする画像形成装置により解決される。

前記特定手段は、現状態がスリープ状態である場合、次に移行すべき状態としてウォームアップ状態を特定し、前記判定手段による音声認識を遮るかどうかの判定は、ウォームアップ状態で生ずる動作音の音圧レベルと、音声認識モードの起動時におけるユーザーの発話の音圧レベルとを比較することでなされてもよい。

前記特定手段は、現状態が画像形成ジョブの実行待ち状態である場合、次に移行すべき状態として当該実行待ちジョブを実行する実行状態を特定し、前記動作音が、前記判定手段による音声認識を遮るかどうかの判定は、実行待ちジョブを行う際の動作音の音圧レベルと、音声認識モードの起動時におけるユーザーの発話の音圧レベルとを比較することでなされてもよい。

音圧レベルの複数の閾値を示す閾値テーブルを備え、
前記閾値テーブルにおける各閾値は、自装置が内蔵している複数の機構部、及び／又は、自装置と接続された後処理装置内の複数の機構部の何れかを単独で又は同時に駆動することにより生ずる動作音の音圧レベルを示し、前記判定手段による音声認識を遮るかどうかの判定は、閾値テーブルに記載された複数の閾値のうち、特定手段が特定した次に移行すべき状態に対応するものと、ユーザーが発した音声の音圧レベルとを比較することでなされてもよい。

自装置が内蔵している複数の機構部、及び、自装置と接続された複数の機構部の何れかを単独で又は同時に駆動することにより生ずる動作音を録音する録音手段を備え、前記閾値テーブルに示される閾値は、録音手段により録音された動作音の音圧レベルに基づき定められてもよい。

自装置が内蔵している機構部には、感光体を露光して静電潜像を得る露光器、感光体に得られた静電潜像を現像する現像器、シートを搬送する搬送部、現像で得られた像をシートに転写する転写部、シートに転写された像を定着する定着器、原稿を読み取る原稿読取部の少なくとも２つがあるとしてもよい。

前記特定手段が特定した次の状態への移行を開始することなく、ユーザーからの音声入力を受け付け、音声認識を試みたが、発話内容を認識できない場合、操作パネルを用いることが適切である旨をユーザーに報知する報知手段を更に備えてもよい。

音声認識モードの起動時にユーザーが発した音声に基づき、次に移行すべき状態における動作音が、音声認識モードにおける音声認識を遮るかどうかを判定し、遮ると判定された場合、音声による画像形成の指示内容が確定するまでの間、前記現在の状態を維持するので、良好な音響環境の下、音声による指示内容を発することができる。良好な音響環境の下、ユーザーにより入力された音声から指示内容の音声認識を試みるので、指示内容が正しく認識される確率が高まり、画像形成装置が動作しない期間を短くすることができる。一方、遮らないと判定されると、次の状態への移行をすぐに開始することができる。これにより、画像形成装置の稼働率を確保しつつも、ユーザーが発した音声からジョブの内容を正しく導くことができる。

画像形成装置１０００の外観を示す。 動作音の音源となる画像形成装置１０００の機構部を示す。 画像形成装置１０００の制御系統の構成を示す。 各動作において駆動される機構部を表形式に示す。 画像形成装置１０００の制御内容のメインルーチンを示すフローチャートである。 図６（ａ）は、ユーザーと、スマートスピーカー１００６との間でなされる会話シーケンスの一例を示す。図６（ｂ）は、発話の繰り返しをもたらす会話シーケンスの一例を示す。 図７（ａ）は、ウォームアップ状態への移行と、音声指示とを入れ替えた場合の会話シーケンスを示す。図７（ｂ）は、ユーザーＡがウェークワードＶ１を発話した後、ユーザーＢがＰＣプリントの実行を要求したケースの会話シーケンスを示す。 スマートスピーカー１００６及び自然言語処理部１０５によりなされる会話シーケンスの手順を示すフローチャートである。 閾値テーブル２０５に記載された閾値を更新するため、追加される構成要素を示す。 タッチパネルディスプレイ１００１への切り替えを促す場合の会話シーケンスを示す。

以下、図面を参照しながら、本開示にかかる画像形成装置の実施形態について説明する。

［１］画像形成装置
（１－１）画像形成装置の外観
図１は、画像形成装置１０００の外観を示す。図１に示す画像形成装置１０００は、多機能複合機 (Multifunction Peripheral)であり、タッチパネルディスプレイ１００１によりジョブの設定を受け付けた上、スキャナー１００４により原稿画像を光学的に読み取り、給紙カセット１００２ａ、ｂ、ｃ、ｄから繰り出された用紙に、上記設定に従った画像を形成する。

スマートスピーカー１００６は、オプション機器として画像形成装置１０００に接続され、画像形成装置１０００を音声で操作するためのユーザーとの会話（ユーザーが発した音声の取り込み、ユーザーに対する発話）を行う。ユーザーがウェークワードを発した際、スマートスピーカー１００６は起動して、ユーザーが発した音声の認識を試みる。スマートスピーカー１００６の音声認識により、実行すべきジョブの内容を定める動作モードを音声認識モードという。音声認識モードにおいて、ユーザーが発した音声を認識し、ユーザーが発した音声を文章化したテキスト文字列を画像形成装置１０００に出力する。

（１－２）動作音の音源となる画像形成装置１０００の機構部
画像形成装置１０００は、電子写真方式の画像形成を行うための複数の機構部として、図２に示すように感光体ドラム１１０Ｄを露光して静電潜像を得る露光器１１０、感光体ドラム１１０Ｄに得られた静電潜像を現像してトナー像を得る現像器１１１、給紙カセット１００２ａ、ｂ、ｃ、ｄから用紙を繰り出して搬送する搬送部１１３、現像で得られたトナー像を中間転写ベルト１１２Ｎに転写して２次転写位置１１２Ｐに搬送し、２次転写位置１１２Ｐにおいて用紙に転写する転写器１１２、定着ローラー１１４Ｒを用いてトナー像を用紙に定着する定着器１１４を含む。

これらの機構部は、ギア機構を通じて、駆動モーター（図３の１１０Ｍ、１１１Ｍ、１１２Ｍ、１１３Ｍ、１１４Ｍを参照）の回転駆動力を、感光体ドラム１１０Ｄ、定着ローラー１１４Ｒ等のローラー部材に印加する。そうした回転駆動力を印加する際、ギア機構でギアとギアとが噛み合う際の機械音や、ローラの軸受けで回転軸が摺動する際の機械音、フレーム部材の振動等も各機構部の動作音に含まれる。

機構部のうち何れが駆動されるかは、ウォームアップ状態、ジョブ実行状態で異なり、また、ジョブの内容によっても異なる。ウォームアップ状態や各ジョブで駆動される機構部については、後段の動作例で詳しく説明する。

［２］画像形成装置１０００の制御系統
画像形成装置１０００の制御系統の構成を図３に示す。画像形成装置１０００の制御系統には、画像形成に関するものと、音声認識モードでの音響環境の保全に関するものとがある。まず、画像形成に関する制御系統について説明する。画像形成に関する制御系統は、図３に示すように、パネル制御部１０１、待ち行列メモリ１０２、ジョブデータ実行部１０３、メカコントローラー１０４、自然言語処理部１０５、通信制御部１０６を含み、露光器１１０、現像器１１１、転写器１１２、搬送部１１３、定着器１１４を制御する。

（２－１）パネル制御部１０１
パネル制御部１０１は、ジョブの設定画面をタッチパネルディスプレイ１００１に表示させる制御や設定画面に対するユーザー操作を検出する制御を行う入出力モジュールであり、スキャナー１００４により原稿が読み取られ、タッチパネルディスプレイ１００１に対してユーザーにより設定操作がなされると、スキャナー１００４の読み取りにより得られた画像データと、当該設定操作の内容とを含むジョブデータを生成して待ち行列メモリ１０２に蓄積する。

（２－２）待ち行列メモリ１０２
待ち行列メモリ１０２は、先入先出し式のメモリ（ＦＩＦＯメモリ）であり、実行すべきコピーの内容を示す複数のジョブデータを、実行順序に従い格納する。

（２－３）ジョブデータ実行部１０３
ジョブデータ実行部１０３は、待ち行列メモリ１０２に蓄積された個々のジョブデータに含まれる設定データを解釈する設定データ解釈モジュールであり、待ち行列メモリ１０２に格納されたジョブデータを１つずつ取り出し、取り出されジョブデータの個々のページを、印刷出力用の画像データ（露光パターン）に変換して、変換後の画像データを画像メモリ１０３Ｍに書き込む。

（２－４）メカコントローラー１０４
メカコントローラー１０４は、ＡＳＩＣ、マイコンシステム等で構成され、パルス幅変調回路１０４Ｗを通じて駆動モーター１１０Ｍ、１１１Ｍ、１１３Ｍ、１１４Ｍの回転速度を調整して、露光器１１０、現像器１１１、転写器１１２、搬送部１１３、定着器１１４のローラー部材等の回転を制御する。具体的にいうと、メカコントローラー１０４は、図２に示す露光器１１０における感光体ドラム１１０Ｄの回転やポリゴンミラー１１０Ｐの回転、現像器１１１における攪拌スクリュー１１１Ｓ、１１１Ｔの回転や現像ローラー１１１Ｒの回転、中間転写ベルト１１２Ｎが張架された駆動ローラー１１２Ｒの回転や、ピックアップローラー１２１及び給紙ローラー１２２の回転、タイミングローラー１２３の回転開始、定着ローラー１１４Ｒの回転を制御する。こうした制御により、露光器１１０の露光走査や現像器１１１による静電潜像の現像、転写器１１２によるトナー像の一次転写や二次転写、搬送部１１３による用紙搬送、定着器１１４による熱定着を順次実行させる。

（２－５）自然言語処理部１０５
自然言語処理部１０５は、テキストベースの会話モジュールであり、後述する図６（ａ）に示すような会話シーケンスをスマートスピーカー１００６に行わせる。会話シーケンスは、スマートスピーカー１００６から発せられたテキスト文字列の意味内容の解析（１）、解析された意味内容がジョブの指示内容として成立するかどうかの成立性判定（２）、解析した意味内容を示すテキスト文字列をスマートスピーカー１００６に引き渡してスマートスピーカー１００６に発話を行わせ、解析された意味内容が正しいかどうかを確認するという応答（３）を含む。ユーザーに対する応答に対し、解析した意味内容の発話が、ユーザーによって肯定された場合、解析された指示内容と、スキャナー１００４の読み取りで得られた画像データとを含むジョブデータを生成して待ち行列メモリ１０２に蓄積する。

（２－６）通信制御部１０６
通信制御部１０６は、階層的な通信手順を行う通信モジュールであり、無線、有線ネットワークを通じて図１に示したパーソナルコンピュータ型の端末１０１１が送信したジョブデータを受信して、待ち行列メモリ１０２に蓄積する。端末１０１１が送信するジョブデータは、パーソナルコンピュータ型の端末による印刷要求のジョブ（ＰＣプリントと呼ぶ）である。スマートスピーカー１００６の音声認識では、上記の会話シーケンスを行う必要があり、時間がかかるので、ＰＣプリントによる割り込みが発生する。この割り込みにより、音声認識モードが起動されてから、自然言語処理部１０５が生成したジョブデータが待ち行列メモリ１０２に格納されるまでの間に、端末１０１１が送信したＰＣプリントのジョブデータが先に待ち行列メモリ１０２に格納されると、実行順序が入れ替わることになる。

［３］音声認識モードでの制御のための構成要素
以上は、画像形成のための構成要素である。続いて音声認識モードでの音響環境保全に関する構成要素を説明する。

（３－１）状態制御部２０１
状態制御部２０１は、現在状態レジスタ２０１Ｒの管理を行うのと共に、待ち行列メモリ１０２におけるジョブデータの有無やユーザー操作の有無に応じて、待ち行列メモリ１０２に蓄積されたジョブデータをジョブデータ実行部１０３に実行させるかどうかを決定する。現在状態レジスタ２０１Ｒは、画像形成装置１０００の状態を表す環境変数レジスタの１つであり、現在状態レジスタ２０１Ｒを用いることで、現在の画像形成装置１０００の状態は、ジョブ実行状態、実行待ち状態、スリープ状態、ウォームアップ状態の何れであるかを明らかにする。

スリープ状態では、タッチパネルディスプレイ１００１のバックライトを消灯させ、露光器１１０、現像器１１１、転写器１１２、搬送部１１３、定着器１１４への電源供給を絶ち、本図の制御系統のみに電力供給を行う。画像形成装置１０００がスリープ状態を解除する際、ウォームアップ状態への移行を行う。

（３－２）次状態特定部２０２
次状態特定部２０２は、画像形成装置の状態遷移パターンに従い、現在状態レジスタ２０１Ｒに示される現在状態から次に移行すべき状態を特定する。現在状態レジスタ２０１Ｒがスリープ状態を示す場合、次の状態として、ウォームアップ状態を特定する。一方、現在状態レジスタ２０１Ｒがジョブの実行待ち状態を示し、待ち行列メモリ１０２にジョブデータが新たに蓄積された場合、次の状態は、ジョブの実行状態であるとして特定する。この場合、待ち行列メモリ１０２に蓄積されたジョブデータに基づき、次の状態でなされるジョブの内容まで特定する。

（３－３）ウェークワードキャプチャ部２０３
ウェークワードキャプチャ部２０３は、音声信号の入出力を制御する入力モジュールであり、スマートスピーカー１００６にウェークワードが入力され、音声認識モードが起動した際、その時点に取り込まれたデジタル音声データを、ウェークワードの音声データとして音声波形メモリ２０３Ｍに取り込む。

（３－４）音圧レベル算出部２０４
音圧レベル算出部２０４は、音声信号を処理する信号処理モジュールであり、ウェークワードを取り込むことで得られた音声波形からデシベル単位の音圧レベルを得る。音圧レベルの計算手順は以下の通りである。ウェークワードの音声波形のうちユーザーが発した音声の基本周波数の整数倍となる範囲から、Ｎ個の電圧データV_[n]を取り出して、電圧の平均値を算出することで、ウェークワードの実効電圧を計算する。ウェークワードの実効電圧をVe_[v]、マイク感度をＦ_[V/Pa] 、アンプ利得をAとすると、ウェークワードの音圧レベルL_x[dB]は以下の数１の式（式１）により算出される。

（３－５）閾値テーブル２０５
閾値テーブル２０５は、行列構造でデータを格納するメモリ等で構成され、画像形成装置１０００が、ウォームアップ状態、ジョブ実行状態の何れかに移行した際、これらの状態で、生ずる音圧レベルの閾値を示す。ここで、ウォームアップ状態の閾値は、画像形成装置１０００がウォームアップ状態になった際、各機構部から生ずる音圧レベルを示す。その閾値テーブル２０５は、ウォームアップ状態の動作音の閾値の他、ＰＣプリントの閾値、後処理付きのＰＣプリントの閾値、ＦＡＸ受信の閾値を示す。これらの閾値はそれぞれ、ＰＣプリント、後処理付きのＰＣプリント、ＦＡＸ受信が実行される際、各機構部から生ずる音圧レベルを示す。

（３－６）閾値比較部２０６
閾値比較部２０６は、閾値テーブル２０５をアクセスするメモリ読出回路、及び、当該アクセスで読みだされた閾値と、音圧レベル算出部２０４が算出した音圧レベルとを比較する比較器であり、次の状態として、ウォームアップ状態が特定された場合、ウォームアップ状態に対応する閾値を閾値テーブル２０５から読み出す。一方、ジョブ実行状態が特定され、尚且つ、実行されるジョブが特定された場合、ジョブ実行状態で実行されるジョブに対応する閾値を閾値テーブル２０５から読み出す。そうして読み出された閾値と、音声認識モードの起動時にユーザーが発したウェークワードの音圧レベルとを比較する。

（３－７）維持制御部２０７
維持制御部２０７は、メカコントローラー１０４に次状態への移行の指示信号を発する指示モジュールであり、スマートスピーカー１００６及び自然言語処理部１０５の音声認識に応じた指示制御を実行する。その指示制御とは以下のものである。即ち、音圧レベル比較部２０６の比較により、ウェークワードの音声入力時の音圧レベルが閾値テーブル２０５から読み出された閾値を下回ると判定された場合、スマートスピーカー１００６の会話シーケンスにより、ユーザーが命じた指示内容が特定されるまで、次状態への移行の指示信号を発しない。スマートスピーカー１００６の会話シーケンスにより、ユーザーが命じた指示内容が明らかになると、次状態への移行の指示信号をメカコントローラー１０４に発する。これにより次状態への移行をメカコントローラー１０４に指示する。

［４］動作例
以上のように構成された装置の動作を説明する。

（４－１）閾値テーブル２０５の設定
閾値テーブル２０５には、動作毎の閾値が、画像形成装置１０００のメーカーにより事前に設定されている。ある動作で駆動するｎ個の機構部のそれぞれが発する音圧レベルをL₁、L₂、L₃～Ｌ_nとし、Po を基準音圧（20μpa）とした場合、L₁、L₂、L₃～Ｌ_nは、以下の数２の式（式２）により算出される。

画像形成装置１０００が何れかの動作を行う場合、当該動作音は、その動作で駆動される機構部の音圧レベルL₁、L₂、L₃～Ｌ_nを用いて、以下の数３の式（式３）により算出される。

（４－１－１）ウォームアップ状態、各ジョブで駆動される機構部
駆動される機構部は、動作毎に異なる。図４は、各動作において駆動される機構部を表形式に示す。ウォームアップ状態では、給紙カセット１００２ａ、ｂをはじめとする複数の機構部が同時に動作するのに対し、後処理付きのＰＣプリントでは、画像形成装置１０００により印刷がなされた複数の用紙をスィッチバックして図２に示す後処理用トレイ１００５Ｆに格納して、スティプラー、パンチ等に供し、後処理装置１００５の排出トレイ１００５Ｔに排出する。そのため後処理付きのコピー、後処理付きのＰＣプリントの閾値は、スティプラー、パンチ等の後処理の動作音の音圧レベルを対象として算出される。

その他、両面印刷のＰＣプリントでは、排出口１１９においてスィッチバックした用紙がタイミングローラー１２３により２次転写位置１１２Ｐに送り込まれる。そのため、両面印刷のＰＣプリントについては反転搬送路１１６で生じる動作音を対象として算出される。

図２に示される機構部の騒音レベルを音圧レベルＬi(i=1,2,3,4～n)として式３に代入することで複数の機構部が同時に動作した場合の合成音圧レベルを算出する。数値の一例をあげると、定着器１１４で生ずる音圧レベルは５０[dB]、スキャナー１００４におけるスキャンユニット１００４Ｓで生ずる音圧レベルは６０[dB]、後処理装置１００５で生ずる音圧レベルは７０［dB］、図２に示した搬送部１１３が動作時に発する音圧レベルは６０［dB］であり、これらを式３に代入することで合成音圧レベルを算出し、こうして算出した合成音圧レベルを、閾値として閾値テーブル２０５に記載する。

（４－１－２）ウォームアップ状態で駆動される機構部
ウォームアップ状態において、図２に示した機構部を同時に駆動する理由を以下に示す。

ｉ.スリープ状態に移行した際、給紙カセット１００２ａ、ｂ、ｃ、ｄの用紙束が下降している場合がある。そこでウォームアップ状態においては、給紙カセット１００２ａ、ｂ、ｃ、ｄのリフトアップを行う。

ii.前回のジョブ終了時に、スキャナー１００４のスキャンユニット１００４Ｕの位置がホームポジションからずれている可能性があり、スキャナー１００４におけるスキャンユニット１００４Ｕ（図２参照）の位置をホームポジションに復帰させる必要がある。そこでウォームアップ状態においてスキャナー１００４は、スキャンユニットをホームポジションに移動させる。

iii.定着器１１４の定着ローラー１１４Ｒは、例えば、１６０℃の定着温度まで昇温させる必要があり、またこの昇温に併せて定着ローラー１１４Ｒを回転させ、定着ローラー１１４Ｒの周面に熱を拡散させる必要がある。そこでウォームアップ状態において定着器１１４は加熱を開始し、定着ローラー１１４Ｒの回転を開始させる。

iv.前回のジョブ実行までに生じた汚れが、転写器１１２の中間転写ベルト１１２Ｎに残っている可能がある。これらの汚れを除去するため、転写器１１２はウォームアップ状態に中間転写ベルト１１２Ｎの周回駆動を行う。

v.現像器１１１の攪拌槽における現像剤が放置されることで、攪拌槽１１１Ｌの現像剤の嵩が低下している可能性がある。そこでウォームアップ状態において現像器１１１は、攪拌槽１１１Ｌに蓄積された現像剤の攪拌を行い、現像剤の嵩を回復させる。

vi.前回のジョブ実行までに生じた汚れが、感光体ドラム１１０Ｄに残っている可能がある。これらの汚れを除去するため、ウォームアップ状態に感光体ドラム１１０Ｄの回転を行う。

ウォームアップ状態では、これら給紙カセット１００２、スキャナー１００４、定着ローラー１１４Ｒ、中間転写ベルト１１２Ｎ、攪拌スクリュー１１１Ｓ，Ｔ、感光体ドラム１１０Ｄを同時に駆動するため、動作音の音圧レベルは相当なものとなる。こうした動作音の音圧レベルに基づく閾値を、動作毎に、閾値テーブル２０５に明記している。

（４－１－３）音声認識モードに対する、動作音の影響
ウォームアップ状態等における動作音が、音声認識にどのように影響するかを説明する。音声認識モードにおいてスマートスピーカー１００６の認識部は、ユーザーが発した音声の音声信号に対しスペクトラム変調、フーリエ変換の信号処理を施し、発話を表す特徴量ベクトルを得る。入力される音声のＳ/Ｎ比が高いと、特徴量空間におけるユーザーによる１の音素の発話を表す特徴量ベクトルと、他の音素の発話を表す特徴量ベクトルとのベクトル間距離が大きくなる。この場合、ユーザーによる発話を表す特徴量ベクトルが、どういった音素を表すかが明らかになり、ユーザーが発した音声は正しい音素に変換される。しかし、入力される音声のＳ/Ｎ比が低いと、特徴量空間において、１の音素の発話を表す特徴量ベクトルと、他の音素の発話を表す特徴量ベクトルとの距離が短くなり、ユーザーが発した音声の特徴量ベクトルが、どういった音素を表すかの区別が曖昧になって認識精度が低下する。このようにユーザーが発する音声のＳ/Ｎ比は、音素の変換精度、音声の認識精度を大きく左右するので、ウォームアップ状態への移行やジョブの実行を開始するに先立ち、それらウォームアップ状態への移行、ジョブ実行で生ずる動作音が、ユーザーが発した音声の認識を阻害するかどうかを閾値テーブル２０５を用いて判定することにしている。

（４－２）画像形成装置１０００の動作
ウェークワードキャプチャ部２０３、音圧レベル算出部２０４、次動作特定部２０２、閾値比較部２０６、維持制御部２０７が行う一連の処理を、条件分岐やループ等のプログラム的記法を用いて表したのが図５のフローチャートである。また、自然言語処理部１０５によってなされる会話シーケンスを条件分岐やループ等のプログラム的記法を用いて表したのが図８のフローチャートである。これらのフローチャートを参照して、画像形成装置１０００の動作を説明する。

一人のユーザー（ユーザーＡ）が、図１に示した画像形成装置１０００の前面に立ち、スマートスピーカー１００６に対しウェークワードの発話を行って、何等かのジョブ（コピー、スキャン、ＦＡＸ送信）を命じたとする。

ウェークワードキャプチャ部２０３はスマートスピーカー１００６に対してウェークワードが音声入力されたかどうかの入力待ちを行っている（ステップＳ1０１）。音声入力がなされると（ステップＳ１０１でYes）、ウェークワード発話時の音量を取得して（ステップＳ１０２）、ステップＳ１０３、ステップＳ１０４からなる判定ステップ列に移行する。ステップＳ１０３は、待ち行列メモリ１０２にジョブデータがなく、スリープ状態であるかどうかの判定であり、ステップＳ１０４は待ち行列メモリ１０２が空であったが、ウェークワード入力後に端末１０１１が要求したジョブデータが割り込んできたかどうかの判定である。画像形成装置１０００が実行待ち状態であり、ウェークワードを入力した後に、他のユーザーによるジョブが待ち行列メモリ１０２に蓄積されていない場合、ステップＳ１０３がNo、ステップＳ１０４がNoになり、ステップＳ１０５に移行する。ステップＳ１０５では、スキャナー１００４の読み取りにより得られた画像データと、スマートスピーカー１００６の音声認識で認識された指示内容とを含むジョブデータを生成して待ち行列メモリ１０２に蓄積する。その後、ジョブ実行状態に移行し（ステップＳ１０６）、待ち行列メモリ１０２に蓄積されたジョブデータを実行する（ステップＳ１０７）。

図６（ａ）は、ユーザーと、スマートスピーカー１００６との間でなされる会話のシーケンスの一例を示す。本図に示すように、会話のシーケンスは、音声認識モードを起動するためのウェークワードの発話Ｖ１、「２ｉｎ１でコピーして」など、具体的な指示内容の発話Ｖ２、「２ｉｎ１でコピーですね。よろしいですか」との認識内容の確認をスマートスピーカー１００６がユーザーに求めるレスポンスＲ１、「スタートして」等の最終的な意思確認のためのユーザーによる発話Ｖ３で構成される。

（４－３）画像形成装置１０００がスリープ状態である場合
自装置がスリープ状態であると、次状態はウォームアップ状態となる。そうして音声認識モードが起動された後にウォームアップ状態に移行すると、図６（ｂ）の会話シーケンスに示すような発話の繰り返しが発生する。この発話の繰り返しとは、スマートスピーカー１００６による「聞き取れません」とのレスポンスＲ１１、Ｒ１２、Ｒ１３と、音声によるジョブ内容の再指示Ｖ１３、Ｖ１４、Ｖ１５とを繰り返すものである。ユーザーの発話が充分な音圧レベルをもっていれば、そうした繰り返しは発生しない。しかし近くに人がいる場合、周囲で打合せがなされている場合や休憩中でオフィスが静寂を保っている場合、画像形成装置の前で大きな声を出させるのはユーザーに苦痛を与える。更に、精神状態や病気、障害等により、声を出せないユーザーが存在することも配慮せねばならない。

そこで、スリープ状態において、ウェークワードの発声がなされ、音声認識モードが起動された際、ステップＳ１０３がYesになって、ステップＳ１０８以降の処理を行う。つまり、次に移行すべき状態として、次状態特定部２０２がウォームアップ状態を特定する。ウォームアップ状態に対応する閾値を、閾値テーブル２０５から読み出し、当該閾値を、ウェークワード発話時の音圧レベルと比較して、ウェークワード発話時の音圧レベルは、ウォームアップ状態の閾値以下かどうかを判定する（ステップＳ１０８）。

ウェークワードの音圧レベルが閾値以下であれば（ステップＳ１０８でYes）、自然言語処理部１０５の会話シーケンスにより指示内容が確定するまで（ステップＳ１１１でNo）、現在の状態を維持する（ステップＳ１１２）。

音声認識により指示内容が確定すれば（ステップＳ１１１でYes）、認識された指示内容と、画像データとを含むジョブデータを生成して待ち行列メモリ１０２に蓄積する（ステップＳ１１３）。その後、ウォームアップ状態に移行し（ステップＳ１１４）、ジョブ実行状態に移行して（ステップＳ１０６）、待ち行列メモリ１０２に蓄積されたジョブデータを実行する（ステップＳ１０７）。この場合、ユーザーのシーケンスは図７（ａ）に示すものとなる。つまり、ウェークワードの発話Ｖ１がなされ、音声による指示Ｖ２がなされた後にウォームアップ状態への移行Ｗ１を開始する。音声による指示Ｖ２は、動作音がない良好な音響環境下でなされるから、図６（ｂ）に示したようなスマートスピーカー１００６のレスポンス、音声によるジョブ内容の指示の繰り返しが発生しない。

ウェークワード発声時のユーザーの音圧レベルが、閾値テーブル２０５に記載されたウォームアップ状態の閾値を上回る場合（ステップＳ１０８でNo）、ウォームアップ状態に移行し（ステップＳ１０９）、その後、スキャナー１００４の読み取りにより得られた画像データと、スマートスピーカー１００６の音声認識で認識された指示内容とを含むジョブデータを生成して待ち行列メモリ１０２に蓄積する（ステップＳ１０５）。

（４－４）ＰＣプリントの割り込み時
待ち行列メモリ１０２が空だったが、ウェークワードの入力後、端末１０１１が要求したジョブデータが割り込んできたケースについて説明する。具体的にいうと、上述した事業所において、ウェークワードが入力された後、ユーザーＢにより要求されたジョブデータが割り込んできた場合、図５のステップＳ１０３がNo、ステップＳ１０４がYesになる。音圧レベル比較部２０６は、閾値テーブル２０５から読み出した、次に実行すべきジョブの動作音の閾値と、ウェークワードの音圧レベルとを比較する（ステップＳ１１５）。ウェークワードの音圧レベルが閾値以下であれば（ステップＳ１１５でYes）、自然言語処理部１０５の会話シーケンスにより指示内容が確定するまで（ステップＳ１１６）、現在の状態を維持する（ステップＳ１１７）。音声認識により指示内容が確定すれば（ステップＳ１１６でYes）、認識された指示内容と、画像データとを含むジョブデータを生成して待ち行列メモリ１０２に蓄積する（ステップＳ１０５）。ユーザーＡがウェークワードＶ１を発話した後、ユーザーＢがＰＣプリントの実行が要求されたケースの会話シーケンスを図７（ｂ）に示す。この場合、ウェークワードが入力された後に、ユーザーＢが要求したジョブのジョブデータが要求され（Ｌ１）、ジョブデータが待ち行列メモリ１０２に格納されたが、ユーザーＡの音声によるジョブの指示Ｖ２がなされるまで、ユーザーＢによるジョブの実行開始は猶予される（Ｌ２）。ユーザーＡによる音声認識は、静寂な音響環境下でなされるので、ユーザーによる音声入力と、レスポンスとの繰り返しは発生しない。

（４－５）ジョブ実行中に音声認識モードが起動された場合
ウェークワードが発せられる前に待ち行列メモリ１０２にジョブデータが蓄積され、既にジョブの実行が開始されている場合、図５のステップＳ１０３、ステップＳ１０４がNoになり、ウェークワードが発せられた際のユーザーの声の音圧レベルと、閾値との比較（ステップＳ１０７、Ｓ１１１）は行わない。音声認識モードが起動しているということは、ウェークワードの入力のため、ユーザーが発した声が相応の音圧レベルを有しているということであり、待ち行列メモリ１０２に蓄積されているジョブを停止することなく、そのまま実行を継続したとしても支障がないと考えられるからである。ユーザーの声が充分な音圧レベルでないとしても、ジョブが既に実行されている場合、ジョブを中止するようなことはせず、画像形成装置１０００の作業効率を優先すべきと考えるためである。

（４－６）音声認識により指示内容が特定するまでの過程
図８は、自然言語処理部１０５、スマートスピーカー１００６による会話シーケンスの手順を示すフローチャートである。本フローチャートは、ウェークワードが入力されて音声認識モードが起動された後に実行される。スマートスピーカー１００６に対してユーザーによる発声がなされるのを待つ（ステップＳ１２０）。ユーザーによる発声がなされると（ステップＳ１２０でYes）、ユーザーの音声を音素に変換し（ステップＳ１２１）、音素を単語に変換する（ステップＳ１２２）。単語を隠れハフマンモデル等の学習モデルに適用して発話文を生成し（ステップＳ１２３）、当該発話文のテキスト文字列を自然言語処理部１０５に引き渡す。自然言語処理部１０５は、スマートスピーカー１００６から受け取った発話文がジョブ設定として意味をなすかどうかを判定する（ステップＳ１２４）。受け取った発話文がジョブ設定として意味をなす場合（ステップＳ１２４でYes）、自然言語処理部１０５の解析で明らかになった意味内容を示すテキスト文字列をスマートスピーカー１００６に引き渡して、意味内容をスマートスピーカー１００６に発声させることでユーザーに対する応答を行う（ステップＳ１２７）。この応答に対して肯定的な発声がなされたかどうかを判定し（ステップＳ１２８）、肯定的な発声がなされると、本フローチャートを終了する。否定的な発声がなされると、ステップＳ１２０にまで戻ってユーザーによる発声を再び待つ。得られた発話文がジョブとして意味をなさない場合（ステップＳ１２４でNo）、「もっと大きな声で」又は「もっとマイクに近づいて」とのガイダンスを発して、音声の再入力をユーザーに促し（ステップＳ１２５）、ステップＳ１２０に戻ってユーザーによる発声を再び待つ。以上の過程を経て、音声による指示内容を特定する。

［５］まとめ
以上のように本実施形態によれば、ウォームアップ状態に移行する際、ジョブを実行する際の動作音が、音声認識のための音響環境を害するかどうかを次状態に移行する前、ジョブの実行を開始する前に判定して、音声認識のための音響環境を害する場合、各駆動装置のウォームアップ状態への移行やジョブの実行を行わせず、音声認識環境を良好なものとする。良好な音響環境を維持してウェークワードに続く音声信号が聞こえるようにするので、画像形成装置１０００の動作音を原因とする認識率の低下を回避することができる。

ウォームアップ状態に移行する際、ジョブを実行する際の動作音が、音声認識のための音響環境を害するかどうかの判定は、ユーザーが発したウェークワードの音圧レベルと、閾値テーブルに記載された閾値とに基づきなされるので、音声入力や音声認識のやり直しを発生させない。そのため、画像形成装置１０００が配置された事業所の作業効率を低下させることはない。

［６］変形例
以上、本発明を実施の形態に基づいて説明してきたが本発明は上述の実施の形態に限定されないのは勿論であり以下の変形例が考えられる。

（１）上記実施形態において、閾値テーブルにおける閾値は予め記載されているとしたがこれに限られない。画像形成装置１０００が逐次、閾値テーブル２０５に記載された閾値の更新を行うようにしてもよい。

閾値更新のための構成要素を図９に示す。閾値更新のための構成要素としては、録音部２１１、ストレージ２１２が追加されている。

録音部２１１は、駆動装置が動作を開始した際、スマートスピーカー１００６のマイクにより駆動装置の駆動による動作音を含む環境音を録音する。そして、録音された音声データを含む録音ファイル（ウォームアップ時録音ファイル２１２Ｗ、コピー時録音ファイル２１２Ｃ、後処理付きコピー時録音ファイル２１２Ｆ、ＰＣプリント時録音ファイル２１２Ｐ）をストレージ２１２に格納する。

音圧レベル算出部２０３は、そうして録音された録音ファイルのそれぞれにおいて音圧レベルを算出し、算出された音圧レベルを用いて閾値テーブル２０５を作成する。画像形成装置１０００が設置された場所の周囲環境の騒音を含む形で、ウォームアップ状態で図２に示した各機構部が動作する際の動作音や、コピー時の動作音が録音されるので、閾値テーブル２０５に記載される音圧レベルは画像形成装置１０００の実際の使用環境で生ずるものに近くなる。

また、一定期間が経過する度に、録音部２１１による録音、及び、音圧レベル算出部２０４による音圧レベルの算出を実行し、閾値テーブル２０５を更新してもよい。画像形成装置１０００や後処理装置１００５が劣化することによる動作音の増大を、閾値テーブルに反映して高精度な判定を行うことができる。

（２）上記実施形態ではウォームアップ状態への移行や別ユーザーが要求したジョブの実行開始を猶予したが、そのようにウォームアップ状態への移行やジョブ実行開始を猶予したとしても、音声認識を正しく行うことができないことがある。このような場合、音声入力から、タッチパネルディスプレイ１００１の操作に切り替えるよう案内を発するよう、自然言語処理部１０５に報知に行わせてもよい。図１０は、タッチパネルディスプレイ１００１への切り替えを促す場合の会話シーケンスを示す。このシーケンスでは、音声の指示Ｖ２を発したものの、ジョブ内容を認識し得ない場合、タッチパネルディスプレイ１００１への切り替えを促すレスポンスＲ２１をユーザーに返す。これに応じて、タッチパネルディスプレイ１００１を用いた操作Ｐ１、Ｐ２を行うことで、ユーザーによる音声入力の繰り返しが生じない。

（３）上記実施形態では、合成音圧レベルを予め閾値テーブル２０５に記載するとしたがこれに限られない。各機構部が発する音圧レベルを閾値テーブル２０５に記載しておいてもよい。そして次になすべき動作を次状態特定部２０２が決定する度に、式３の計算を実行することで合成音圧レベルを算出して、当該合成音圧レベルと、音圧レベル算出部２０４が算出した音圧レベルとの比較を閾値比較部２０６に行わせてもよい。

（４）スマートスピーカー１００６における音声認識技術は日々進化しており、隠れハフマンモデル、伝播ニューラルネットワーク、ビタビアルゴリズム、ディープラーニング等の採用で、音声認識の耐ノイズ性は日々向上している。劣悪な音響環境の音声入力がなされ、一部、全部の音素、単語が不鮮明であったとしても、前後の文脈から、それらしき文章を推測することができるからである。こうした、スマートスピーカー１００６による音声認識の耐ノイズ性を示す係数を、各動作時の合成音圧レベルに乗じた値を閾値として閾値テーブル２０５に記載して、ウェークワードの音圧レベルと比較してもよい。

本開示にかかる画像形成装置１０００は、スマートスピーカー１００６による音声認識で、コピー、ＰＣプリント、スキャン、ＦＡＸ等、様々なジョブを画像形成装置１０００に実行させることができ、ＯＡ機器、情報機器の産業分野を始め、小売業、賃貸業、不動産業、広告業、運輸業、出版業等、様々な業種の産業分野で利用される可能性がある。

２０１ 状態制御部
２０２ 次状態特定部
２０３ ウェークワードキャプチャ部
２０４ 音圧レベル算出部
２０４Ｍ 音声波形メモリ
２０５ 閾値テーブル
２０６ 閾値比較部
２０７ 維持制御部
１０００ 画像形成装置
１００１ タッチパネルディスプレイ
１００３ 排出トレイ
１００６ スマートスピーカー
１０１１ 端末

Claims (7)

1. ユーザーによる発話に応じて、音声認識モードを起動し、音声による画像形成に関する指示を受け付ける画像形成装置であって、
   音声認識モードが起動された後、次に移行すべき状態を現在の状態に基づき特定する特定手段と、
   次の状態に移行する前に、その状態において生じる動作音が前記音声認識モードでの音声認識を遮るかどうかを、前記音声認識モードの起動時にユーザーが発した声の音圧レベルに基づき判定する判定手段と、
   遮ると判定された場合、画像形成に関する指示の内容が、音声認識により確定するまでの間、前記現在の状態を維持し、指示内容が確定すると前記次の状態に移行する制御手段と、
   を備えることを特徴とする画像形成装置。
2. 前記特定手段は、現状態がスリープ状態である場合、次に移行すべき状態としてウォームアップ状態を特定し、
   前記判定手段による音声認識を遮るかどうかの判定は、ウォームアップ状態で生ずる動作音の音圧レベルと、音声認識モードの起動時におけるユーザーの発話の音圧レベルとを比較することでなされる
   ことを特徴とする請求項１に記載の画像形成装置。
3. 前記特定手段は、現状態が画像形成ジョブの実行待ち状態である場合、次に移行すべき状態として当該実行待ちジョブを実行する実行状態を特定し、
   前記動作音が、前記判定手段による音声認識を遮るかどうかの判定は、実行待ちジョブを行う際の動作音の音圧レベルと、音声認識モードの起動時におけるユーザーの発話の音圧レベルとを比較することでなされる
   ことを特徴とする請求項１に記載の画像形成装置。
4. 音圧レベルの複数の閾値を示す閾値テーブルを備え、
   前記閾値テーブルにおける各閾値は、自装置が内蔵している複数の機構部、及び／又は、自装置と接続された後処理装置内の複数の機構部の何れかを単独で又は同時に駆動することにより生ずる動作音の音圧レベルを示し、
   前記判定手段による音声認識を遮るかどうかの判定は、閾値テーブルに記載された複数の閾値のうち、特定手段が特定した次に移行すべき状態に対応するものと、ユーザーが発した音声の音圧レベルとを比較することでなされる
   ことを特徴とする請求項１に記載の画像形成装置。
5. 自装置が内蔵している複数の機構部、及び、自装置と接続された複数の機構部の何れかを単独で又は同時に駆動することにより生ずる動作音を録音する録音手段を備え、
   前記閾値テーブルに示される閾値は、録音手段により録音された動作音の音圧レベルに基づき定められる
   ことを特徴とする請求項４に記載の画像形成装置。
6. 自装置が内蔵している機構部には、感光体を露光して静電潜像を得る露光器、感光体に得られた静電潜像を現像する現像器、シートを搬送する搬送部、現像で得られた像をシートに転写する転写部、シートに転写された像を定着する定着器、原稿を読み取る原稿読取部の少なくとも２つがある
   請求項４又は５に記載の画像形成装置。
7. 前記特定手段が特定した次の状態への移行を開始することなく、ユーザーからの音声入力を受け付け、音声認識を試みたが、発話内容を認識できない場合、操作パネルを用いることが適切である旨をユーザーに報知する報知手段を更に備える
   ことを特徴とする請求項１～６の何れかに記載の画像形成装置。

Images