JP7206827B2 - システム、画像形成装置、方法およびプログラム - Google Patents

Description

本開示はシステム、画像形成装置、方法およびプログラムに関し、特に、音声に基づく指令により画像形成装置を操作するシステム、画像形成装置、方法およびプログラムに関する。

近年、対話型によりマイクで集音した音声を認識し、認識結果に基き画像形成装置を操作するための指令を、当該画像形成装置に出力する、いわゆるスマートスピーカーが提案されている。スマートスピーカーが、画像形成装置の周囲に置かれた場合は、画像形成装置が印刷ジョブを実行中に発生する比較的大きな動作音が、マイクにより集音されると、スマートスピーカーが動作音を指令の音声と誤認識する。動作音による誤認識を解消するために、例えば、特許文献１（特開２００５－２１９４６０号公報）では、画像形成装置の稼働中に音声の入力を禁止することで、入力音声の認識率を向上させている。

特開２００５－２１９４６０号公報

特許文献１は、画像形成装置の稼働中は音声入力を一律禁止しているため、例えば、画像形成装置に誤って指令を出力した場合でも当該指令をキャンセルするための音声入力も禁止されてしまう。したがって、音声の認識結果による画像形成装置の操作性の改善が望まれる。

本開示の一例にかかるシステムは、画像形成装置と、発話の音声を集音し、集音された音声の音声データを生成する音声処理装置と、サーバーと、を備える。サーバーは、当該サーバーを制御する制御部と、画像形成装置および音声処理装置と通信する通信回路と、を含む。

制御部は、音声処理装置から受信する音声データを認識処理して画像形成装置を操作するための指令を生成し、画像形成装置がジョブを実行中に音声処理装置から音声データを受信した場合、画像形成装置が当該ジョブを実行中の所定状態であるとき、または、当該音声データから生成される指令が所定指令であるとき、当該生成される指令を画像形成装置に送信するよう通信回路を制御する。

上述の開示において、所定状態は、ジョブを実行中の画像形成装置の動作音が小さい状態を含む。

上述の開示において、画像形成装置は、当該画像形成装置に対する指令を受付け、ジョブを実行中の各状態は画像形成装置がジョブを実行中に受付ける指令を、他の指令よりも優先的に処理することを示す優先度が設定される。所定状態の優先度は、他の状態の当該優先度よりも高い。

上述の開示において、制御部は、画像形成装置がジョブを実行中の所定状態でない場合、当該音声データから生成される指令が所定指令であるとき、当該生成される指令を画像形成装置に送信するよう通信回路を制御する。

上述の開示において、所定指令は、画像形成装置を操作するための他の指令よりも優先的に処理される指令を含む。

上述の開示において、所定指令は画像形成装置を緊急に操作するための指令を含む。
上述の開示において、音声処理装置は、サーバーからの通知に基づく音声を出力する。制御部は、画像形成装置がジョブを実行中に音声処理装置から音声データを受信した場合、画像形成装置の状態が所定状態でないとき、当該音声データから生成される指令を画像形成装置に送信せずに、当該指令は画像形成装置により実行されない旨の通知を音声処理装置に送信するよう通信回路を制御する。

上述の開示において、通知は、ジョブの実行にかかる時間の情報を含む。
上述の開示において、サーバーは、画像形成装置から周期的に状態を受信する、または当該画像形成装置の状態が変化したときに当該状態を受信する。

上述の開示において、音声処理装置は、サーバーからの所定通知の受信周期に同期して当該所定通知を音声または点灯で出力し、ジョブは、画像形成装置の状態を、周期的に動作音を出力させる状態に変化させるジョブを含む。制御部は、画像形成装置から受信する状態に基づき動作音が出力される間隔を計測し、計測された間隔で、音声処理装置に所定通知を送信するよう通信回路を制御する。

上述の開示において、音声処理装置は、サーバーから受信する問合せを音声または点灯で出力する。制御部は、さらに、画像形成装置を操作するための複数の指令を格納する指令格納部を含み、制御部は、認識処理により生成される指令と、指令格納部の各複数の指令と照合し、照合の結果に基づく当該指令に関する問合せを、音声処理装置に送信するよう通信回路を制御する。

上述の開示において、画像形成装置は、当該画像形成装置の動作音を小さくする静音モードを有し、制御部は、音声処理装置から音声データを受信するとき、画像形成装置の動作モードを静音モードに切り替える操作の指令を、画像形成装置に送信するよう、通信回路を制御する。

本開示の一例にかかる画像形成装置は、画像形成ユニットと、情報処理部と、発話の音声を集音し、集音された音声の音声データを生成する音声処理装置と通信する通信回路を、を備える。情報処理部は、音声処理装置から受信する音声データを認識処理して画像形成ユニットを操作するための指令を生成する。情報処理部は、画像形成ユニットがジョブを実行中に音声処理装置から音声データを受信した場合、画像形成ユニットが当該ジョブを実行中の所定状態であるとき、または、当該音声データから生成される指令が所定指令であるとき、当該生成される指令を画像形成ユニットに出力する。

本開示の一例にかかる方法は、画像形成ユニットと接続可能な情報処理装置に備えられるプロセッサが実行する方法であって、発話の音声に基づく音声データを認識処理して画像形成ユニットを操作するための指令を生成するステップと、画像形成ユニットがジョブを実行中に音声データを受信した場合、画像形成ユニットが当該ジョブを実行中の所定状態であるとき、または、当該音声データから生成される指令が所定指令であるとき、当該生成される指令を前記画像形成ユニットに出力するステップと、を備える方法。

本開示の一例では、上記に記載の方法をコンピュータに実行させるためのプログラムが提供される。

本開示の一例によれば、音声の認識結果による画像形成装置の操作性が改善される。

実施の形態にかかるシステム１の概略的な構成を示す図である。 実施の形態にかかるＭＦＰ１００のハードウェアの構成の一例を概略的に示す図である。 実施の形態にかかるサーバー３００のハードウェア構成の一例を概略的に示す図である。 実施の形態にかかる音声処理装置２００のハードウェア構成の一例を概略的に示す図である。 実施の形態にかかるジョブデータ５０の構成を概略的に示す図である。 実施の形態にかかる指令フレーム５７の構成を概略的に示す図である。 実施の形態にかかるサーバー３００の機能構成の一例を模式的に示す図である。 実施の形態にかかる指令可否テーブル３４２の一例を模式的に示す図である。 実施の形態にかかる可能指令テーブル３４３の一例を模式的に示す図である。 実施の形態にかかるＭＦＰ１００の機能構成の一例を模式的に示す図である。 実施の形態にかかる処理のシーケンスの一例を模式的に示す図である。 実施の形態にかかるガイダンスデータ３４４の構成の一例を模式的に示す図である。 実施の形態にかかるＭＦＰの状態に関する優先度を表す状態優先度テーブル３４２Ａの一例を模式的に示す図である。 実施の形態にかかるＭＦＰに対する操作の指令に関する優先度を表す指令優先度テーブル３４３Ａの一例を模式的に示す図である。 実施の形態にかかるシステム１Ａの構成の変形例を模式的に示す図である。 他の実施の形態にかかるＭＦＰ１００Ａの機能構成の一例を模式的に示す図である。 他の実施の形態にかかるＭＦＰ１００Ａの処理のフローチャートである。

以下、図面を参照しつつ、各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

＜Ａ．ハードウェア構成＞
（ａ１．システムの構成）
図１は、実施の形態にかかるシステム１の概略的な構成を示す図である。図１を参照して、システム１は、有線または無線のネットワーク４００に接続可能なＭＦＰ（Multi-Function Peripherals）１００、音声処理装置２００および例えばクラウドサーバーを含み得るサーバー３００を備える。ネットワーク４００は、ＬＡＮ（Local Area Network）またはグローバルネットワーク、または、ＮＦＣ（Near field communication）等の近距離無線通信を含み得る。ＭＦＰ１００は、プリンターまたはコピー機またはそれらの複合機であり、画像形成装置の一実施例である。なお、音声処理装置２００またはＭＦＰ１００は、ルーター等の中継器を介してネットワーク４００に接続されてもよい。

システム１では、ユーザーは、発話によりＭＦＰ１００を操作することができる。具体的には、ユーザーが例えば「コピーを１０部して」と操作指令の発話をすると、音声処理装置２００は発話による音声を集音し、集音した音声の音声データ４０を生成する。例えば、音声処理装置２００は、発話によるアナログの音声信号をデジタルの音声データに変換する。音声処理装置２００は、音声データ４０を、ネットワーク４００を介してサーバー３００に送信する。サーバー３００は、音声データ４０を音声認識処理して、認識結果としてテキストデータに変換する。例えば、このテキストデータは、１文字以上の文字列からなる文字コード列のデータであり、この文字列はＭＦＰ１００を操作するための指令を表している。

サーバー３００は、文字データが表す指令をＭＦＰ１００に送信する。図１では、指令として例えばジョブデータ５０または指令フレーム５７が送信される。ＭＦＰ１００は、ジョブデータ５０または指令フレーム５７を処理する。これにより、ＭＦＰ１００はユーザーの発話による指令に従い操作される。なお、ジョブデータ５０と指令フレーム５７の詳細は後述する。また、ＭＦＰ１００は自装置の状態を検出して、検出された状態６１をサーバー３００に定期的に送信する。これによりサーバー３００は、定期的に、ＭＦＰ１００の最近の状態を検出することができる。本実施の形態では、ＭＦＰ１００の状態は、ジョブを実行中に遷移し得る状態を含む。状態は、限定されないが、例えば、ＭＦＰ１００が内蔵するモーターが低速度で回転する低回転モード、プリントジョブの実行中、ＭＦＰに対してユーザーが操作中（すなわち、ＭＦＰが操作部１７２を介してユーザー操作を受付け中）などを含み得る。

また、ＭＦＰ１００は、自装置においてジョブが終了するまでに要する所要時間６２をサーバー３００に送信する。ＭＦＰ１００は、所要時間６２を、状態６１に含めて送信してもよい。また、サーバー３００は、発話の間隔をユーザーに示すための間隔通知４１を含む各種の通知を音声処理装置２００に送信する。

図１のシステム１では、音声処理装置２００は、ＭＦＰ１００の外部に備えられるが、これに限定されない。例えば、音声処理装置２００は、ＭＦＰ１００に内蔵されてもよい。システム１は複数台のＭＦＰ１００を備え、また、複数台の音声処理装置２００を備えてもよい。その場合は、サーバー３００は、各音声処理装置２００の識別子（アドレス）と当該音声処理装置２００の最寄りのＭＦＰ１００の識別子（アドレス）の組合せを登録したテーブルを備える。サーバー３００は、音声処理装置２００から音声データ４０に含まれる当該音声処理装置２００の識別子（アドレス）に基づきテーブルを検索することにより、対応のＭＦＰ１００を特定し、特定したＭＦＰ１００にジョブデータ５０および指令６１を送信する。

（ａ２．ＭＦＰ１００のハードウェア構成）
図２は、実施の形態にかかるＭＦＰ１００のハードウェアの構成の一例を概略的に示す図である。図２を参照して、ＭＦＰ１００は、ＭＦＰ１００を制御するための制御部に相当するＣＰＵ（Central Processing Unit）１５０、プログラムおよびデータを格納するための記憶部１６０、情報の入出力部１７０、ネットワーク４００を介してサーバー３００と通信するための通信Ｉ／Ｆ（InterFaceの略）１５６、画像データを含む各種データを記憶するハードディスクなどの記憶部１７３、データリーダー/ライター１７４、通信回路１７５、および画像形成ユニット１８０を含む。

ＭＦＰ１００は通信回路１７５を介して音声処理装置２００を含む外部の端末と通信する。

記憶部１６０は、ＣＰＵ１０により実行されるプログラムおよびデータを記憶するためのＲＯＭ（Read Only Memory）、ＣＰＵ１０によりプログラムを実行する際の作業領域として供されるＲＡＭ（Random Access Memory）および不揮発メモリなどを含む。

入出力部１７０は、ディスプレイを含む表示部１７１およびユーザーがＭＦＰ１００に情報を入力するために操作する操作部１７２を含む。ここでは、表示部１７１と操作部１７２は、一体的に構成されたタッチパネルとして提供されてもよい。

通信Ｉ／Ｆ１５６は、ＮＩＣ（Network Interface Card）などの回路を含んで構成される。通信Ｉ／Ｆ１５６は、サーバー３００を含む外部装置とネットワークを介して通信するためのデータ通信部１５７を含む。データ通信部１５７は、データを、ネットワーク４００を介してサーバー３００を含む外部装置に送信するための送信部１５８、およびネットワーク４００を介してサーバー３００を含む外部装置からデータを受信する受信部１５９を含む。

データリーダー/ライター１７４は、記録媒体１７６が脱着自在に装着される。データリーダー/ライター１７４は、装着された記録媒体１７６からプログラムまたはデータを読出す回路と、記録媒体１７６にデータを書込む回路を有する。通信回路１７５は、例えばＬＡＮ（Local Area Network）またはＮＦＣ（Near Field Communication)などのための通信回路を含む。

画像形成ユニット１８０は、画像処理部１５１、画像形成部１５２、図示しないファクシミリ回路を制御するためのファクシミリ制御部１５３、図示しないプリンターを制御する画像出力部１５４および画像読取部１５５を備える。

画像処理部１５１は、入力された画像データを処理することにより、たとえば出力される画像の拡大・縮小等の処理を実行する。画像処理部１５１は、たとえば画像処理用のプロセッサーおよびメモリーによって実現される。画像形成部１５２は、トナーカートリッジ、記録用紙を収容するための用紙トレイ、および、感光体等の、記録用紙に画像を形成するためのモーターを含むハードウェア資源、ならびに、記録用紙を搬送するためのモーターを含むハードウェア資源によって実現される。画像読取部１５５は、原稿を光学的に読み取って画像データを得るためのスキャナー等の、原稿の画像データを生成するように構成されたハードウェア資源によって実現される。画像処理部１５１、画像形成部１５２、および画像読取部１５５のそれぞれの機能は、ＭＦＰ１００においてよく知られたものであるから、ここでは詳細な説明は繰返さない。

画像形成ユニット１８０は、ＣＰＵ１５０から制御データを受付けて、制御データに基づき駆動信号（電圧信号または電流信号）を生成し、生成した駆動信号を各部（例えばモーター等のハードウェア）に出力する。これにより、指令に従い画像形成ユニット１８０のハードウェアが動作する。例えば、画像出力部１５４は、指令に従いプリンターを駆動する。プリンターを駆動するための指令は、例えば、ＣＰＵ１５０が、印刷のジョブデータ５０を処理することにより生成される。

（ａ３．サーバー３００のハードウェア構成）
図３は、実施の形態にかかるサーバー３００のハードウェア構成の一例を概略的に示す図である。図３を参照して、サーバー３００は、サーバー３００を制御するためのＣＰＵ３０、記憶部３４、ネットワークコントローラー３５およびリーダー/ライター３６を含む。記憶部３４は、ＣＰＵ３０により実行されるプログラムおよびデータを記憶するためのＲＯＭ３１、ＲＡＭ３２、各種の情報を格納するためのＨＤＤ（Hard Disk Drive）３３、およびＭＦＰ１００および音声処理装置２００と通信するネットワークコントローラー３５を含む。ＲＡＭ３２は、各種情報を記憶する領域と、ＣＰＵ３０でプログラムを実行する際の作業領域とを含む。ネットワークコントローラー３５は、ＭＦＰ１００および音声処理装置２００と通信するための通信回路の一実施例である。ネットワークコントローラー３５は、ＮＩＣなどを含む。

リーダー/ライター３６は、記録媒体３７が脱着自在に装着される。リーダー/ライター３６は、装着された記録媒体３７からプログラムまたはデータを読出す回路と、記録媒体３７にデータを書込む回路を有する。

（ａ４．音声処理装置２００のハードウェア構成）
図４は、実施の形態にかかる音声処理装置２００のハードウェア構成の一例を概略的に示す図である。図４を参照して、音声処理装置２００は、音声処理装置２００を制御するための制御部に相当するＣＰＵ２０、ディスプレイ２３、ＬＥＤ（light Emitting Diode）２３Ａ、マイク２４、ユーザーが音声処理装置２００に情報を入力するために操作する操作パネル２５、記憶部２６、ＮＩＣまたはＬＡＮ回路などの通信回路を含む通信コントローラー２７、およびスピーカー２９を備える。記憶部２６は、ＣＰＵ２０により実行されるプログラムおよびデータを記憶するためのＲＯＭ２１、ＲＡＭ２２、およびハードディスク装置を含むメモリ２８を備える。ディスプレイ２３と操作パネル２５は、一体的に構成されたタッチパネルとして提供されてもよい。音声処理装置２００は、通信コントローラー２７を介してサーバー３００またはＭＦＰ１００などと通信することができる。

音声処理装置２００は、マイク２４を介して発話を含む音声を集音する。ＣＰＵ２０は、集音された音声の音声信号をデジタルデータに変換し、これにより音声データ４０を生成する。また、音声処理装置２００は音声データを再生する。具体的には、ＣＰＵ２０は音声データを音声信号に変換し、変換後の音声信号をスピーカー２９に出力する。これにより、スピーカー２９が音声信号により駆動されて、スピーカー２９から音声が出力される。スピーカー２９から出力される音声データは、例えば記憶部２６に格納された音声データまたはサーバー３００またはＭＦＰ１００などの外部の装置から受信した音声データが含まれる。

＜Ｂ．ジョブデータ５０と指令フレーム５７＞
図５は、実施の形態にかかるジョブデータ５０の構成を概略的に示す図である。図５のジョブデータ５０は、例えば画像出力部１５４のプリンターに画像を印刷させるためのジョブに対応する。図５を参照してジョブデータ５０は、ＰＪＬデータ５１、ＰＤＬ（ページ記述言語）データ５２およびジョブデータ５０の識別子、例えばジョブデータ５０のユーザーを識別するユーザーＩＤ５３を含む。本実施の形態では、サーバー３００は、印刷対象となるデータ（以下、印刷対象データという）をＰＤＬデータ５２に変換し、ＰＤＬデータ５２をＰＪＬデータ５１およびユーザーＩＤ５３が付加されたジョブデータ５０としてＭＦＰ１００に送信する。ＰＪＬデータ５１は、ＰＪＬ形式で記述された指令を示す。この指令は、サーバー３００が音声処理装置２００から受信した音声データ４０を認識処理することにより生成されるＭＦＰ１００を操作するための指令を含み得る。

ユーザーＩＤ５３は、ジョブデータ５０のユーザーの識別子であり、例えば音声処理装置２００またはＭＦＰ１００のユーザーのログイン名が含まれる。サーバー３００のＣＰＵ３０は、音声処理装置２００またはＭＦＰ１００からユーザーのログイン名を受信することができる。

図５を参照して、ＰＪＬデータ５１は、ＰＤＬデータ５２に直接影響を与えない命令が各種規定されている。たとえば、印刷の指令（印刷部数の設定に関する指令５４、ＭＦＰ１００が備える図示されないステープル、パンチなどの機能を用いる場合に当該機能の操作に関する指令５５，５６などが記述される。

印刷対象データは、限定されないが、例えば文書データ、図のデータまたは表のデータなどである。サーバー３００の記憶部３４は、ユーザー毎に、当該ユーザー識別子（ログイン名等）に関連付けて印刷対象データを格納することができる。例えば、サーバー３００のＣＰＵ３０は、受信したユーザー識別子（ログイン名）に関連付けられた記憶部３４の印刷対象データをＰＤＬデータ５２に変換する。

本実施の形態では、印刷対象データは、サーバー３００に格納されているとするが、これに限定されない。変形例として、印刷対象データは、ＭＦＰ１００の記憶部１７３に格納されていてもよい。この場合は、ジョブデータ５０のＰＤＬデータ５２は、記憶部１７３に格納された印刷対象データを示す。具体的には、ＣＰＵ１５０は、サーバー３００からＰＪＬ５１とユーザーＩＤ５３を受信すると、ユーザーＩＤ５３に関連付けられた記憶部１７３の印刷対象データをＰＤＬデータ５２に変換する。これにより、ＭＦＰ１００のＣＰＵ１５０は、サーバー３００から受信したＰＪＬ５１およびユーザーＩＤ５３、ならびには、記憶部１７３の印刷対象データから生成したＰＤＬデータ５２からジョブデータ５０を生成することができる。

ジョブデータ５０はＭＦＰ１００により処理される。具体的には、画像出力部１５４は、ジョブデータ５０のＰＤＬデータ５２を、図示しないファームウェアを用いて記憶部１６０のＲＡＭ上でビットマップデータとして展開する。画像出力部１５４の図示しないプリンターは、ビットマップデータ（ＰＤＬデータ５２）に従って印刷用紙に対する印字処理を実行し、ＰＪＬデータ５１の指令を実行することによりステープル機能、指定部数の印刷するためのソーター機能等を操作する。

本実施の形態では、ジョブデータ５０は、上記に述べた印刷ジョブに限定されず、例えばファクシミリ通信ジョブであってもよい。

図６は、実施の形態にかかる指令フレーム５７の構成を概略的に示す図である。図６の指令フレーム５７は、ジョブデータ５０とは異なり、処理の対象となるデータ（例えばＰＤＬデータ５２等）を含まないフォーマットを有する。指令フレーム５７は、指令５８とユーザーＩＤ５３とを含む。指令５８は、サーバー３００が音声処理装置２００から受信した音声データ４０を認識処理することにより生成されるＭＦＰ１００を操作するための指令である。

＜Ｃ．サーバー３００の機能構成＞
図７は、実施の形態にかかるサーバー３００の機能構成の一例を模式的に示す図である。図８は、実施の形態にかかる指令可否テーブル３４２の一例を模式的に示す図である。図９は、実施の形態にかかる可能指令テーブル３４３の一例を模式的に示す図である。図７を参照して、サーバー３００は、ネットワークコントローラー３５を介して受信された音声データ４０を用いて音声認識処理を実施する音声認識エンジン３１０、および音声認識結果に基づきジョブデータ５０または指令フレーム５７を生成するＭＦＰ制御モジュール３２０を備える。サーバー３００は、生成されたジョブデータ５０および指令フレーム５７を、ネットワークコントローラー３５を介してＭＦＰ１００に送信する。

音声認識エンジン３１０またはＭＦＰ制御モジュール３２０は、ＣＰＵ３０が記憶部３４または記録媒体３７に格納されたプログラムを実行することにより実現される。なお、音声認識エンジン３１０またはＭＦＰ制御モジュール３２０は、ＡＳＩＣ（Application Specific Integrated Circuit)またはＦＰＧＡ(Field-Programmable Gate Array)などの回路、または回路とプログラムの組合せにより実現されてもよい。

また、記憶部３４は、辞書３４０、ＭＦＰ１００の状態を示すＭＦＰ状態３４１、指令可否テーブル３４２（図８参照）、可能指令テーブル３４３（図９参照）、ガイダンスデータ３４４、状態優先度テーブル３４２Ａ（図１３参照）および指令優先度テーブル３４３Ａ（図１４参照）を格納する。辞書３４０は、ＭＦＰ１００を操作するための複数の指令と、各指令に対応のテキストデータ（当該指令を表す文字列からなるテキストデータ）が登録されている。

ＭＦＰ制御モジュール３２０は、判断部３２１、状態取得部３２２、指令生成部３２４および通知部３２５を含む。判断部３２１は、記憶部３４のＭＦＰ状態３４１、指令可否テーブル３４２および可能指令テーブル３４３に従い、指令５８（すなわち指令フレーム５７）を送信するか否かを決定する。判断部３２１に備えられる優先度判断部３２３は、記憶部３４のＭＦＰ状態３４１、状態優先度テーブル３４２Ａおよび指令優先度テーブル３４３Ａに従い、指令５８（すなわち指令フレーム５７）を送信するか否かを決定する。優先度判断部３２３の詳細は後述する。

状態取得部３２２は、ＭＦＰ１００から、ＭＦＰ１００の状態６１を受信し、受信した状態６１をＭＦＰ状態３４１として記憶部３４に格納する。本実施の形態では、ＭＦＰ１００が定期的に自装置の状態６１を検出して、サーバー３００に送信する、または自装置の状態が変化したときに状態６１をサーバー３００に送信する。これにより、ＭＦＰ状態３４１は常にＭＦＰ１００の最新の状態を示す。

なお、状態取得部３２２が状態６１を取得する方法は、これに限定されない。例えば、状態取得部３２２から定期的にＭＦＰ１００に問合せを送信し、ＭＦＰ１００は当該問合せの応答として状態６１をサーバー３００に送信するとしてもよい。また、ＭＦＰ状態３４１は、状態６１を受信する順番に従う時系列の状態６１を含んでもよい。

図８を参照して、指令可否テーブル３４２は、ＭＦＰ１００が取り得る複数の状態３４２１と、各状態３４２１に対応付けられた指令可否データ３４２２を有する。指令可否データ３４２２は、ＭＦＰ１００に対する指令の送信を許可（可：ＯＫ）するか、または送信を許可しない（否：ＮＧ）かを示す。限定されないが、例えば、指令可否テーブル３４２は、ＭＦＰ１００の状態３４２１として、プリンターのモーターの回転速度が低速であり比較的動作音が小さい「低回転モード」および動作音が大きい「プリントジョブ実行中」等を含む。「低回転モード」の状態３４２１に対応の指令可否データ３４２２は「ＯＫ」を示し、「プリントジョブ実行中」の状態３４２１に対応の指令可否データ３４２２は「ＮＧ」を示す。

この指令可否テーブル３４２は、ＭＦＰ１００のハードウェア（モーター、またはソーターなど）から発生する動作音が小さい状態であるときは、サーバー３００からＭＦＰ１００に対する指令５８（指令フレーム５７）の送信が許可されず、ＭＦＰ１００から発生する動作音が小さい状態であるときは、指令５８（指令フレーム５７）の送信が許可されることを規定する。

したがって、指令可否テーブル３４２によれば、ＭＦＰ１００が大きい動作音を発生させるような状態であるときは、音声データ４０の認識結果に基づく指令５８はＭＦＰ１００に送信されない。これにより、ユーザーの発話による音声に動作音が混入して音声データ４０が誤認識される可能性があるときは、音声データ４０の指令５８のＭＦＰ１００への送信は許可されないから、当該誤認識による指令でＭＦＰ１００が誤操作される事態を回避できる。

図９を参照して、可能指令テーブル３４３は、指令可否テーブル３４２の指令可否データ３４２２の「ＮＧ」の値に紐付けされるテーブルであり、ＭＦＰ１００に対して送信が許可される１以上の各操作に対応の指令３４３１を含む。指令３４３１は、ＭＦＰ１００を緊急に操作するための指令であり、例えば実行中のジョブを緊急に停止または中断させるための指令を含み得る。指令３４３１は、当該指令を表す文字列からなるテキストデータにより示される。なお、図９の可能指令テーブル３４３の内容は、指令可否データ３４２２が「ＮＧ」を示す状態３４２１のそれぞれについて共通していてもよく、または異なっていてもよい。

音声認識エンジン３１０は認識結果を示すテキストデータを、ＭＦＰ１００を操作する指令（以下、認識指令ともいう）に変換する。この変換には、例えば辞書３４０が用いられる。辞書３４０には、ＭＦＰ１００を操作するための複数の指令と、各指令に対応のテキストデータ（当該指令を表す文字列からなるテキストデータ）とが登録されている。したがって、音声認識エンジン３１０は、認識結果のテキストデータに基づき辞書３４０を検索することにより、当該変換を実現することができる。

ＭＦＰ制御モジュール３２０の判断部３２１は、認識指令を、ＭＦＰ１００に送信するか否かを判断する。具体的には、判断部３２１は、ＭＦＰ状態３４１に基づき指令可否テーブル３４２を検索することにより、当該ＭＦＰ状態３４１に一致した状態３４２１に対応の指令可否データ３４２２を指令可否テーブル３４２から読出す。判断部３２１は、読出された指令可否データ３４２２が「ＮＧ」を示すとき、すなわちＭＦＰ１００の状態３４１に基づき認識指令（指令５８）を送信しないとの判断がなされたとき、判断部３２１は認識指令について次の処理を実施する。

次の処理において、判断部３２１は、認識指令に基づき可能指令テーブル３４３を検索することにより、認識指令が可能指令テーブル３４３に登録された指令３４３１であるかを判断する。判断部３２１は、認識指令は可能指令テーブル３４３に登録された指令３４３１であると判断したとき、判断部３２１は、当該認識指令をＭＦＰ１００へ送信すると判断する。

指令生成部３２４は、判断部３２１により送信すると判断された認識指令を、指令５８として含む指令フレーム５７を生成する。ＭＦＰ制御モジュール３２０は、生成された指令フレーム５７をＭＦＰ１００に送信するよう、ネットワークコントローラー３５を制御する。一方、判断部３２１は、認識指令は可能指令テーブル３４３に登録されていないと判断したとき、判断部３２１は、認識指令をＭＦＰ１００に送信しないことを最終的に判断する。

通知部３２５は、認識指令（指令フレーム５７の指令５８）がＭＦＰ１００により実行されたとき、または実行が完了したとき、“指令が実行された（または実行完了）”した旨の音声データを生成し、ＭＦＰ１００に送信する。また、通知部３２５は、ネットワークコントローラー３５により指令５８がＭＦＰ１００に送信されたときに、実行が完了した旨の通知をＭＦＰ１００に送信してもよい。

また、通知部３２５は、判断部３２１により認識指令は送信不可と判断されたとき、“指令は実行されなかった”旨を通知の音声データを生成し、音声処理装置２００に送信する。この場合に、通知部３２５は、ＭＦＰ状態３４１と認識指令（例えば、用紙サイズ変更等）との組合せから、例えば“ジョブを実行が終了したとき、用紙サイズの変更ができます”などのＭＦＰ１００の操作に関するガイダンスのための音声データを生成してもよい。ガイダンスデータ３４４は、指令と状態からなる複数の組と、各組に対応付けられたガイダンスのための音声データを格納する。通知部３２５は、ＭＦＰ状態３４１と認識指令に基づきガイダンスデータ３４４を検索することにより、ＭＦＰ状態３４１と認識指令に対応したガイダンスの音声データを取得することができる。

なお、通知部３２５は音声処理装置２００に通知を送信して、音声処理装置２００はサーバー３００からの通知をスピーカー２９、ＬＥＤ２３Ａ、ディスプレイ２３等により出力するが、出力態様はこれに限定されない。例えば、通知部３２５は、ユーザーの携帯型端末に当該通知を送信する。この場合は、携帯型端末はサーバー３００からの通知を音声、画像または点灯などにより報知する。

＜Ｄ．ＭＦＰ１００の機能構成＞
図１０は、実施の形態にかかるＭＦＰ１００の機能構成の一例を模式的に示す図である。図１０を参照して、ＭＦＰ１００は、指令受付部１１０、指令実行部１２０、ユーザー指令受付部１３０および状態提供部１４０を備える。指令受付部１１０は、サーバー３００から送信されたジョブデータ５０または指令フレーム５７を通信Ｉ／Ｆ１５６を介して受付ける。ユーザー指令受付部１３０は、ユーザーが操作部１７２を操作することによりＭＦＰ１００に対して入力する指令を受付ける。指令実行部１２０は、指令受付部１１０またはユーザー指令受付部１３０が受付ける指令を解釈して制御データを生成し、生成された制御データを各部に出力する。

ＭＦＰ１００の各部は、制御データに従い駆動されて、その結果、ＭＦＰ１００はジョブデータ５０の指令（ＰＪＬデータ５１）または指令フレーム５７の指令５８に従い操作される。

状態提供部１４０は、ＭＦＰ１００の状態６１を周期的に検知する状態検知部１４１を含む。状態検知部１４１は、ＭＦＰ１００の各部から出力される信号またはデータに基づき、または、記憶部１６０に格納されたＭＦＰ１００の動作モードを示すモードデータに基づき、ＭＦＰ１００の状態６１を検知する。状態提供部１４０は、検知された状態６１を周期的にサーバー３００に送信する。または、状態提供部１４０は、ＭＦＰ１００の状態６１が変化したとき、状態６１をサーバー３００に送信する。これにより、状態提供部１４０は、サーバー３００に、ＭＦＰ１００の最近の状態６１を送信することができる。

図１０に示す各部は、ＣＰＵ１５０が記憶部１６０または記録媒体１７６に格納されたプログラムを実行することにより実現される。なお、図１０の各部は、ＡＳＩＣまたはＦＰＧＡなどの回路、または回路とプログラムの組合せにより実現されてもよい。

＜Ｅ．シーケンス＞
図１１は、実施の形態にかかる処理のシーケンスの一例を模式的に示す図である。図１１では、シーケンスは、音声処理装置２００の処理、サーバー３００の音声認識エンジン３１０およびＭＦＰ制御モジュール３２０の処理、およびジョブを実行中のＭＦＰ１００の処理が相互に関連付けて示される。

図１１を参照して、ジョブを実行中のＭＦＰ１００では、状態提供部１４０は状態６１をサーバー３００に送信する。サーバー３００の状態取得部３２２は、ＭＦＰ１００から状態６１を受信する毎に、受信した状態６１を用いてＭＦＰ状態３４１を更新する（ステップＳ７）。なお、状態６１には、ＭＦＰ１００がジョブを実行中である旨の状態が含まれるので、サーバー３００は、ＭＦＰ状態３４１からＭＦＰ１００がジョブを実行中の状態であることを検出する。

ユーザーは、ＭＦＰ１００を操作するための発話を行なう。音声処理装置２００は、発話の音声を集音し、音声データ４０をサーバー３００に送信する（ステップＳ１）。サーバー３００の音声認識エンジン３１０は、受信した音声データ４０を認識処理し、認識結果（テキストデータ）から認識指令を生成し（ステップＳ３）、生成された認識指令をＭＦＰ制御モジュール３２０に送信する。

ＭＦＰ制御モジュール３２０の判断部３２１は、記憶部３４からＭＦＰ状態３４１を読出すことで、ＭＦＰ状態３４１を取得する（ステップＳ９）。また、判断部３２１は、ＭＦＰ状態３４１に基づき指令可否テーブル３４２を検索することにより、ＭＦＰ状態３４１に一致する状態３４２１に対応の指令可否データ３４２２の値を読出す（ステップＳ１１）。

判断部３２１は、対応の指令可否データ３４２２の値が「ＯＫ」を示す、すなわちＭＦＰ１００は指令の送信が許可される状態であると判断すると、指令生成部３２４は認識指令を指令５８として含む指令フレーム５７を生成する。ＭＦＰ制御モジュール３２０は、指令フレーム５７を、ＭＦＰ１００に送信する（ステップＳ１３）。ＭＦＰ１００では、指令受付部１１０が指令フレーム５７を受付けて、指令実行部１２０は、受付けられた指令フレーム５７の指令５８を実行する（ステップＳ１５）。

一方、判断部３２１は、対応の指令可否データ３４２２の値が「ＮＧ」を示す、すなわちＭＦＰ１００は指令の送信が許可されない状態であると判断すると、判断部３２１は、可能指令テーブル３４３を検索する。

具体的には、判断部３２１は、認識指令に基づき可能指令テーブル３４３を検索することにより、認識指令が可能指令テーブル３４３に登録された指令３４３１であるかを判断する（ステップＳ１９）。判断部３２１は、認識指令は可能指令テーブル３４３に登録されていると判断したとき、当該認識指令をＭＦＰ１００へ送信可と最終的に判断する。指令生成部３２４は、送信可と判断された認識指令である指令５８を含む指令フレーム５７を生成し、ＭＦＰ制御モジュール３２０は、生成された指令フレーム５７をＭＦＰ１００に送信する（ステップＳ２１）。ＭＦＰ１００の指令実行部１２０は、サーバー３００からの指令フレーム５７中の指令５８を実行する（ステップＳ２３）。

一方、認識指令は可能指令テーブル３４３に登録されていないと判断したとき、判断部３２１は、認識指令をＭＦＰ１００に送信不可と最終的に判断し、認識指令をＭＦＰ１００に送信しないよう処理する（ステップＳ２６）。この処理は、例えば、認識指令の破棄または記憶部３４の所定領域への格納等を含む。

上記に述べたステップＳ１５またはＳ２３において、ＭＦＰ１００の指令実行部１２０は発話による指令５８を実行したとき、実行完了した旨の通知をサーバー３００に送信する（ステップＳ１６，ステップＳ２４）。ＭＦＰ制御モジュール３２０は、ＭＦＰ１００から指令を実行した旨の通知を受信すると、音声処理装置２００に対して「指令を実行完了した」旨の音声データの通知を送信する（ステップＳ１７，ステップＳ２５）。また、上記に述べたステップＳ２６では、ＭＦＰ制御モジュール３２０は、音声処理装置２００に対して「指令を実行できなかった」旨の音声データの通知を送信する（ステップＳ２７）。

音声処理装置２００は、ステップＳ１７またはステップＳ２５またはステップＳ２７で受信した音声データを再生する（ステップＳ２９）。これにより、音声処理装置２００のスピーカー２９から指令がＭＦＰ１００で実行されたか否かを案内する音声が出力される。したがって、ユーザーは、発話によるＭＦＰ１００の操作を指令した場合に、その指令がＭＦＰ１００で実行されたか否かを、音声処理装置２００との対話形式で確認することができる。

（ｅ１．ＭＦＰ１００の動作モードの変更）
図１１のステップＳ２６で指令不可と判断されたときは、サーバー３００は、ＭＦＰ１００に動作音の少ない静音モードへ運転モードを切替るための指令５８を含めた指令フレーム５７を送信しても良い。ＭＦＰ１００の指令実行部１２０が当該指令５８を実行することにより、ＭＦＰ１００の動作モードは静音モードに変化し、ＭＦＰ状態３４１は静音モードを示すことになる。静音モードは、例えば指令可否テーブル３４２の低回転モードを示す状態３４２１に該当する。したがって、静音モードに切替後は、ユーザーの発話に基づく指令５８がサーバー３００を介してＭＦＰ１００に送信することが可能になる。

（ｅ２．通知の変形例）
図１２は、実施の形態にかかるガイダンスデータ３４４の構成の一例を模式的に示す図である。図１２を参照して、ガイダンスデータ３４４は、複数の組３４４０と、各組３４４０に対応付けてＭＦＰ１００の操作に関するガイダンスの音声データ３４４３を格納する。

例えば、通知部３２５は、ステップＳ９で取得されたＭＦＰ状態３４１とステップＳ５により受信した認識指令の組に基づきガイダンスデータ３４４を検索する。通知部３２５は、ガイダンスデータ３４４から、当該組と一致する組３４４０に対応の音声データ３４４３を読出す。ガイダンスデータ３４４には、ＭＦＰ１００の操作に関するガイダンスが含まれ得る。例えば、ＭＦＰ状態３４１は「プリントジョブ実行中」を示し、発話による認識指令が「用紙サイズ変更」を示す場合、通知部３２５は、ガイダンスデータ３４４を検索することにより、“プリントジョブ実行が終了したとき、用紙サイズの変更ができます”などのガイダンスの音声データ３４４３を取得（生成）することができる。通知部３２５は、取得したガイダンスの音声データ３４４３を含む通知を音声処理装置２００に送信する。

音声処理装置２００は、通知に含まれるガイダンスの音声データ３４４３を再生する。これにより、ユーザーに対して、対話形式で、指令を実行するためのＭＦＰ１００の操作に関するガイダンスを提供することができる。

（ｅ３．通知の更なる変形例）
図１１のステップＳ２７における、指令を実行できなかった旨の通知には、ジョブの実行にかかる時間の情報、すなわちジョブが終了するまでの所要時間６２が含まれてもよい。

本実施の形態では、ＭＦＰ１００は、印刷ジョブの実行にかかる所要時間６２を推定する。例えば、ＭＦＰ１００は、ジョブ開始の操作指令を受信した時点での印刷待ちとなっているジョブの数とそれぞれの部数からトータル枚数を算出し、トータル枚数をＭＦＰ１００の印刷速度で割った値に、ジョブ間のインターバルを足す等の補正をして得られた値を、所要時間６２として推定する。ＭＦＰ１００は、サーバー３００に所要時間６２の通知を送信する。また、ＭＦＰ１００は、状態６１とともに所要時間６２をサーバー３００に送信してもよい。

上記の所要時間６２の推定（算出）は、ＭＦＰ制御モジュール３２０により実施されてもよい。この場合、ＭＦＰ１００は状態６１とともに、印刷待ちとなっているジョブの数とそれぞれの部数をサーバー３００に送信する。

これにより、音声処理装置２００は、指令を実行できなかった旨の通知の音声データとともに、所要時間６２の音声データも再生することができる。

（ｅ４．通知のさらなる変形例）
本実施の形態では、上記の通知には、ＭＦＰ１００に対して指令を入力するタイミングを示す通知が含まれてもよい。

具体的には、ＭＦＰ１００が実行するジョブは、ＭＦＰ１００の状態を、周期的に動作音を出力させる状態に変化させるジョブを含む。例えば、ＭＦＰ１００が印刷ジョブを実行中は、ステープル指令が実行されることにより、ＭＦＰ１００の状態６１（すなわちＭＦＰ状態３４１）は、「ステープル起動→ステープル停止→ステープル起動→ステープル停止→ステープル起動→」と遷移する。これにより、ステープル起動の周期的に同期して、ＭＦＰ１００から動作音が出力される。

ＭＦＰ制御モジュール３２０は、ＭＦＰ１００から受信する状態６１に基づき動作音が出力される間隔、すなわちステープル起動から次のステープル起動までの間隔を計測する。通知部３２５は、計測された間隔に同期した周期で、音声処理装置２００に所定通知を送信するようネットワークコントローラー３５を制御する。所定通知は、例えば、ユーザーに対して発話の間隔を示す通知である間隔通知４１を含む。

音声処理装置２００は、所定通知（間隔通知４１）が示す間隔毎に、所定音を出力するようにスピーカー２９を制御する、または、ＬＥＤ２３Ａを点灯させる。これにより、ＭＦＰ１００がステープル機能を利用した印刷ジョブを実行中であっても、ユーザーに対して、動作音が小さい時期、すなわち発話に適した時期（発話の音声を適切に収集可能な時期）をガイドすることができる。

（ｅ５．通知のさらなる変形例）
サーバー３００から音声処理装置２００に送信される通知は、発話による認識指令に関する問合せを含んでもよい。例えば、音声認識エンジン３１０は、音声データ４０を認識して得られたテキストデータに基づき辞書３４０を検索し、検索結果に基づき、辞書３４０にテキストデータが登録されていないと判断したとき、通知部３２５は、問合せの通知を生成し、音声処理装置２００に送信する。音声処理装置２００は、サーバーから受信する問合せをスピーカー２９による音声またはＬＥＤ２３Ａの点灯で出力する。

具体的には、上記のようなステープル起動の間隔で発話がなされる場合、音声処理装置２００はステープル起動の間隔でなされた短い発話による複数の音声データ４０をサーバー３００に送信する。音声認識エンジン３１０は、複数の音声データ４０を認識し、複数のテキストデータを生成する。音声認識エンジン３１０は、これら複数のテキストデータを統合し、統合されたテキストデータに基づき辞書３４０を検索する。検索の結果、音声認識エンジン３１０は、当該テキストデータが辞書３４０に登録されていないと判断すると、通知部３２５は、指令に関する問合せの音声データを生成し、当該音声データを含む通知を音声処理装置２００に送信する。

音声処理装置２００は、サーバー３００から受信した通知に含まれた問合せの音声データをスピーカー２９で再生し、または、問合せを受信した旨をＬＥＤ２３Ａの点灯により報知する。これにより、ユーザーに対して、ＭＦＰ１００を操作するための発話を促すことができる。

この場合、音声認識エンジン３１０は、上記の問合せにテキストデータの候補を含ませてもよい。具体的には、音声認識エンジン３１０は、音声認識処理によるテキストデータと辞書３４０の各テキストデータとの類似度を算出し、類似度が高いテキストデータを辞書３４０から抽出する。上記の問合せの音声データは、この類似度が高いテキストデータから生成された音声データであってもよい。これにより、ユーザーに対して、ＭＦＰ１００を操作するための発話を促す際に、候補となる操作（または指令）をガイドすることができる。

＜Ｆ．優先度判断部３２３の処理＞
図１３は、実施の形態にかかるＭＦＰの状態に関する優先度を表す状態優先度テーブル３４２Ａの一例を模式的に示す図である。図１４は、実施の形態にかかるＭＦＰに対する操作の指令に関する優先度を表す指令優先度テーブル３４３Ａの一例を模式的に示す図である。図１３と図１４を参照して、優先度判断部３２３の処理を説明する。

（ｆ１．状態の優先度に従う処理）
実施の形態の変形例として、図８の指令可否テーブル３４２に代えて図１３の状態優先度テーブル３４２Ａを用いてもよい。指令可否テーブル３４２によれば、ＭＦＰ１００は動作音が小さい状態３４２１であるとき、サーバー３００はユーザーの発話に基づく指令５８をＭＦＰ１００へ送信することが許可される。これに対して、状態優先度テーブル３４２Ａでは、ジョブ実行中にＭＦＰ１００が取り得る状態３４２３と、各状態３４２３に対応づけて優先度３４２４が設定されている。

この変形例では、ＭＦＰ１００は、自装置に対する指令を受付ける。ジョブを実行中に遷移し得る各状態３４２３は、ＭＦＰ１００がジョブを実行中に受付ける指令を、他の指令よりも優先的に処理することを示す優先度３２４２が設定されている。

状態優先度テーブル３４２Ａに示されるように、ＭＦＰ１００のジョブ実行中に取り得る各状態３４２３は、サーバー３００からの指令５８を他の指令よりも優先的に処理すべき度合いを示す優先度３４２４が設定されている。また、優先度３４２４が示す値が大きいほど、指令が優先的に処理されるべき度合いは高い。

ＭＦＰ制御モジュール３２０が音声データ４０に基づく認識指令を受付けたとき、優先度判断部３２３は、ＭＦＰ状態３４１に基づき状態優先度テーブル３４２Ａを検索する。検索の結果に基づき、優先度判断部３２３は、ＭＦＰ状態３４１が、状態優先度テーブル３４２Ａの所定値以上の優先度３４２４に対応付けられた状態３４２３のうちのいずれと一致するか否かを判断する。優先度判断部３２３がＭＦＰ状態３４１は、当該いずれかの状態３４２３と一致する判断したとき、指令生成部３２４は、当該認識指令を指令５８として含む指令フレーム５７をＭＦＰ１００に送信する。

（ｆ２．指令の優先度に従う処理）
実施の形態の変形例として、図９の可能指令テーブル３４３に代えて図１３の指令優先度テーブル３４３Ａを用いてもよい。指令優先度テーブル３４３Ａでは、音声データ４０に基づき認識される得る複数の指令３４３２と、各指令３４３２に対応づけて優先度３４３３を有する。実施の形態では、音声データ４０に基づく指令は、ＭＦＰ１００を緊急に操作するための指令を含む。可能指令テーブル３４３または指令優先度テーブル３４３Ａに登録された各指令が示す操作の緊急度は、ＭＦＰ１００に対しなされる他の操作の緊急度よりも高い。

指令優先度テーブル３４３Ａでは、優先度３４３３は、対応の指令３４３２が、ＭＦＰ１００に対しなされる他の操作の指令よりも優先して実行されるべき度合い（優先度）を示している。指令優先度テーブル３４３Ａは、例えば、優先度３４３３が示す値が大きいほど優先度は高い、言い換えると当該指令によりＭＦＰ１００を緊急に操作する緊急度は高い。

ＭＦＰ制御モジュール３２０が音声データ４０に基づく認識指令を受付けたとき、優先度判断部３２３は、受付けた認識指令に基づき指令優先度テーブル３４３Ａを検索する。検索の結果に基づき、優先度判断部３２３は、認識指令が、指令優先度テーブル３４３Ａの所定値以上の優先度３４２４に対応付けられた指令３４３２のうちのいずれかと一致するかを判断する。優先度判断部３２３が認識指令は、当該いずれかの指令３４３２と一致する判断したとき、指令生成部３２４は、当該認識指令を指令５８として含む指令フレーム５７をＭＦＰ１００に送信する。

（ｆ３．優先度の組合せ）
優先度判断部３２３は、状態優先度テーブル３４２Ａと指令優先度テーブル３４３Ａとの組合せに基づき判断を実施してもよい。

例えば、優先度判断部３２３は、状態優先度テーブル３４２Ａの検索の結果に基づき、ＭＦＰ状態３４１が所定状態（すなわち、所定値以上の優先度を有した状態）でないと判断した場合において、さらに、認識指令に基づき指令優先度テーブル３４３Ａを検索する。この検索の結果に基づき、優先度判断部３２３は、認識指令に一致する指令３４３２に対応の優先度３４３３は所定値以上を示すと判断したとき、指令生成部３２４は、当該認識指令を指令５８として含む指令フレーム５７をＭＦＰ１００に送信する。これにより、例えば、認識指令が、緊急性を有する操作指令（ジョブのキャンセル、またはジョブのストップなど）であれば、ＭＦＰ１００の状態にかかわらず認識された指令５８がＭＦＰ１００に送信されて、ＭＦＰ１００を緊急に操作することができる。

＜Ｇ．システム１の変形例＞
システム１の変形例にかかるシステム１Ａでは、ＭＦＰに音声認識エンジンおよびＭＦＰ制御モジュールを備えられる。図１５は、実施の形態にかかるシステム１Ａの構成の変形例を模式的に示す図である。図１６は、他の実施の形態にかかるＭＦＰ１００Ａの機能構成の一例を模式的に示す図である。図１７は、他の実施の形態にかかるＭＦＰ１００Ａの処理のフローチャートである。

図１５を参照して、システム１Ａは、音声処理装置２００、および音声処理装置２００とＬＡＮ等により無線通信するＭＦＰ１００Ａを備える。図１６を参照して、ＭＦＰ１００Ａは、音声処理装置２００からの音声データ４０の音声認識処理を実行する音声認識エンジン３１０およびＭＦＰ制御モジュール３２０Ａ、これらの周辺機能を提供する周辺機能モジュール１０１Ａ、および記憶部１６５を備える。図１６のＭＦＰ１００Ａが備える各部は、「情報処理部」の一実施例である。図１６のＭＦＰ１００Ａが備える各部は、ＣＰＵ１５０が記憶部１６０または記録媒体１７６に格納されたプログラムを実行することにより実現される。なお、図１６のＭＦＰ１００Ａが備える各部は、ＡＳＩＣまたはＦＰＧＡなどの回路、または回路とプログラムの組合せにより実現されてもよい。

記憶部１６５は、記憶部１６０または記録媒体１７６の記憶領域を含んで構成される。記憶部１６５は、図７に示された記憶部３４に格納されるものと同様の情報を格納するので、ここでは説明は繰り返さない。

周辺機能モジュール１０１Ａは、図１０に示された機能構成と同様の構成を有する。具体的には、周辺機能モジュール１０１Ａは、ＭＦＰ制御モジュール３２０Ａからジョブデータ５０の指令（ＰＪＬデータ５１）または指令５８を受け付ける指令受付部１１０Ａ、指令実行部１２０、ユーザー指令受付部１３０および状態提供部１４０Ａを備える。指令受付部１１０Ａは、ＭＦＰ制御モジュール３２０Ａからジョブデータ５０または指令５８を受付ける。指令実行部１２０およびユーザー指令受付部１３０は図１０のそれらと同様の機能を備えるので説明は繰り返さない。

状態提供部１４０Ａは、ＭＦＰ１００の状態を周期的に検知する、または状態の変更があったときに検知する状態検知部１４１を含む。状態提供部１４０Ａは、状態検知部１４１により検知された状態を、ＭＦＰ状態３４１として記憶部１６５に格納する。

ＭＦＰ制御モジュール３２０Ａは、記憶部１６５のＭＦＰ状態３４１、指令可否テーブル３４２および可能指令テーブル３４３に従い、周辺機能モジュール１０１Ａに指令５８を送信するか否かを判断するための判断部３２１Ａ、記憶部１６５のＭＦＰ状態３４１を読出すことにより状態を取得する状態取得部３２２Ａ、指令５８（指令フレーム５７）を生成して周辺機能モジュール１０１Ａに送信する指令生成部３２４Ａ、および音声処理装置２００に通知を送信する通知部３２５Ａを含む。判断部３２１Ａは、優先度判断部３２３Ａを備える。ＭＦＰ制御モジュール３２０Ａが備える各部は、図７で説明したものと同様の機能を備えるので、説明は繰り返さない。

図１７を参照してＭＦＰ１００Ａの処理を説明する。なお、ＭＦＰ１００Ａは、ジョブを実行中であるとする。まず、ＭＦＰ１００Ａは、音声処理装置２００から音声データ４０を受信すると（ステップＳ３１）、音声認識エンジン３１０は音声データ４０の音声認識処理を実施し、認識に結果に基づく認識指令を出力する（ステップＳ３３）。

ＭＦＰ制御モジュール３２０Ａでは、判断部３２１Ａが認識指令を指令５８として出力するか否かを判断する（ステップＳ３５）。ステップＳ３５の判断処理は、図１１のステップＳ９、Ｓ１１、Ｓ１９などと同様の処理を含むので、説明は繰り返さない。

判断部３２１Ａは、認識指令を送信すると判断すると（ステップＳ４３でＹＥＳ）、認識指令は、指令生成部３２４Ａにより指令５８として周辺機能モジュール１０１Ａに出力される（ステップＳ４５）。指令実行部１２０は、ステップＳ４５で受付けた指令５８を実行する（ステップＳ４６）。これにより、ＭＦＰ１００Ａの各部が指令５８に基づき制御される。周辺機能モジュール１０１Ａは、指令５８の実行を完了した旨の通知をＭＦＰ制御モジュール３２０Ａに出力する（ステップＳ４７）。

一方、判断部３２１は、認識指令は送信不可と判断すると（ステップＳ４３でＮＯ）、認識指令は指令５８として周辺機能モジュール１０１Ａに出力されずに、通知部３２５Ａは、指令実行不可の通知を音声処理装置２００に送信する（ステップＳ５７）。ステップＳ４７またはステップＳ５７で送信される通知は、図１１で説明したケースと同様の音声データを含む。

また、他の実施の形態においても、音声処理装置２００は、ＭＦＰ１００Ａに備えられてもよい。また。図１５と図１６に示すシステム１Ａにおいても、上記に述べた優先度判断を含む各種変形例を適用することができる。

本実施の形態では、ＭＦＰ状態３４１またはユーザーの発話による認識指令の内容に基づき、判断部３２１（または判断部３２１Ａ）が認識指令は送信可と判断しとき、認識指令である指令５８がＭＦＰ１００（または周辺機能モジュール１０１Ａ）に送信される。したがって、実施の形態の判断部３２１（または判断部３２１Ａ）による音声データ４０の認識指令の送信を許可するか否かの判断方法は、特許文献１のように、ＭＦＰが稼働中であればＭＦＰに対する音声データの入力を一律に禁止する方法とは異なる。

これにより、例えば、ユーザーが間違ってＭＦＰ１００（１００Ａ）に対して実行開始を指示したジョブであっても、ＭＦＰ状態３４１が所定状態（動作音が小さい状態であって音声データ４０を正確に認識可能な状態）であれば発話に基づく指令（例えば、キャンセル、ストップ、ジョブへの割込みなど）で当該ジョブの実行を中断または停止するようにＭＦＰ１００（１００Ａ）を操作することができる。また、ＭＦＰ状態３４１が所定状態でなくとも、発話に基づく指令が所定指令（緊急度の高い指令）であれば、当該発話に基づく所定指令をＭＦＰ１００（１００Ａ）に送信することにより、ジョブの実行を中断または停止するようにＭＦＰ１００（１００Ａ）を操作することができる。したがって、本実施の形態では、音声の認識結果によるＭＦＰ１００の改善された操作性が提供される。

＜Ｈ．プログラム＞
各実施の形態では、上記に述べた処理をＭＦＰ１００（１００Ａ）およびサーバー３００に実行させるためのプログラムが提供される。このようなプログラムは、少なくとも上記の図１１のシーケンスまたは図１７のフローチャートに従う処理のプログラムを含む。ＭＦＰ１００（１００Ａ）およびサーバー３００のコンピューターに付属するフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピューター読み取り可能な記録媒体１７６，３７にて記録させて、プログラム製品として提供することもできる。あるいは、コンピューターに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワーク４００を介したダウンロードによって、プログラムを提供することもできる。プログラムは、ＣＰＵなどの１つ以上のプロセッサにより、またはプロセッサとＡＳＩＣ，ＦＰＧＡなどの回路との組合せにより実行され得る。

なお、プログラムは、コンピューターのＯＳ（Operating System)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して、プロセッサに処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、各実施の形態のプログラムに含まれ得る。

また、各実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して、プロセッサに処理を実行させる。このような他のプログラムに組込まれたプログラムも、各実施の形態にかかるプログラムに含まれ得る。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１Ａ システム、４０，３４４３ 音声データ、４１ 間隔通知、５０ ジョブデータ、５７ 指令フレーム、５８ 指令、６１ 状態、３４１ ＭＦＰ状態、６２ 所要時間、１００，１００Ａ ＭＦＰ、１０１Ａ 周辺機能モジュール、１１０，１１０Ａ 指令受付部、１２０ 指令実行部、１３０ ユーザー指令受付部、１４０，１４０Ａ 状態提供部、１４１ 状態検知部、１５１ 画像処理部、１５２ 画像形成部、１５３ ファクシミリ制御部、１５４ 画像出力部、１５５ 画像読取部、１５７ データ通信部、１８０ 画像形成ユニット、２００ 音声処理装置、３００ サーバー、３１０ 音声認識エンジン、３２０，３２０Ａ ＭＦＰ制御モジュール、３２１，３２１Ａ 判断部、３２２，３２２Ａ 状態取得部、３２３，３２３Ａ 優先度判断部、３２４，３２４Ａ 指令生成部、３２５，３２５Ａ 通知部、３４０ 辞書、３４２ 指令可否テーブル、３４２Ａ 状態優先度テーブル、３４３ 可能指令テーブル、３４３Ａ 指令優先度テーブル、３４４ ガイダンスデータ、４００ ネットワーク。

Claims (15)

1. 画像形成装置と、
   発話の音声を集音し、集音された音声の音声データを生成する音声処理装置と、
   サーバーと、を備え、
   前記サーバーは、
   当該サーバーを制御する制御部と、
   前記画像形成装置および前記音声処理装置と通信する通信回路と、を含み、
   前記制御部は、
   前記音声処理装置から受信する前記音声データを認識処理して前記画像形成装置を操作するための指令を生成し、
   ジョブを実行中の前記画像形成装置の状態が所定状態であるとき、前記指令を前記画像形成装置に送信し、
   ジョブを実行中の前記画像形成装置の状態が所定状態でなく、前記指令が所定指令である場合には、前記指令を前記画像形成装置に送信し、
   ジョブを実行中の前記画像形成装置の状態が所定状態でなく、前記指令が所定指令でない場合には、前記指令を前記画像形成装置に送信しないよう前記通信回路を制御する、システム。
2. 前記所定状態は、ジョブを実行中の前記画像形成装置の動作音が小さい状態を含む、請求項１に記載のシステム。
3. 前記画像形成装置は、当該画像形成装置に対する指令を受付け、
   前記ジョブを実行中の各状態は、前記画像形成装置がジョブを実行中に受付ける指令を、他の指令よりも優先的に処理することを示す優先度が設定されて、
   前記所定状態の前記優先度は、他の状態の当該優先度よりも高い、請求項１に記載のシステム。
4. 前記所定状態は、ジョブを実行中に遷移し得る画像形成装置の状態を示す、請求項１から３のいずれかに記載のシステム。
5. 前記所定指令は、前記画像形成装置を操作するための他の指令よりも優先的に処理される指令を含む、請求項１から４のいずれか１項に記載のシステム。
6. 前記所定指令は、前記画像形成装置を緊急に操作するための指令を含む、請求項５に記載のシステム。
7. 前記音声処理装置は、前記サーバーからの通知に基づく音声を出力し、
   前記制御部は、
   前記画像形成装置がジョブを実行中に前記音声処理装置から前記音声データを受信した場合、前記画像形成装置の状態が所定状態でないとき、当該音声データから生成される前記指令を前記画像形成装置に送信せずに、当該指令は前記画像形成装置により実行されない旨の通知を前記音声処理装置に送信するよう前記通信回路を制御する、請求項１から６のいずれか１項に記載のシステム。
8. 前記通知は、前記ジョブの実行にかかる時間の情報を含む、請求項７に記載のシステム。
9. 前記サーバーは、前記画像形成装置から周期的に状態を受信する、または当該画像形成装置の状態が変化したときに当該状態を受信する、請求項１から８のいずれか１項に記載のシステム。
10. 前記音声処理装置は、前記サーバーからの所定通知の受信周期に同期して当該所定通知を音声または点灯で出力し、
    前記ジョブは、前記画像形成装置の状態を、周期的に動作音を出力させる状態に変化させるジョブを含み、
    前記制御部は、
    前記画像形成装置から受信する状態に基づき前記動作音が出力される間隔を計測し、
    計測された間隔で、前記音声処理装置に前記所定通知を送信するよう前記通信回路を制御する、請求項１から９のいずれか１項に記載のシステム。
11. 前記音声処理装置は、前記サーバーから受信する問合せを音声または点灯で出力し、
    前記制御部は、さらに、
    前記画像形成装置を操作するための複数の指令を格納する指令格納部を含み、
    前記制御部は、前記認識処理により生成される前記指令と、前記指令格納部の各前記複数の指令と照合し、照合の結果に基づく当該指令に関する前記問合せを、前記音声処理装置に送信するよう前記通信回路を制御する、請求項１から１０のいずれか１項に記載のシステム。
12. 前記画像形成装置は、当該画像形成装置の動作音を小さくする静音モードを有し、
    前記制御部は、前記音声処理装置から前記音声データを受信するとき、前記画像形成装置の動作モードを前記静音モードに切り替える操作の指令を、前記画像形成装置に送信するよう、前記通信回路を制御する、請求項１から１１のいずれか１項に記載のシステム。
13. 画像形成ユニットと、
    情報処理部と、
    発話の音声を集音し、集音された音声の音声データを生成する音声処理装置と通信する通信回路を、を備える画像形成装置であって、
    前記情報処理部は、
    前記音声処理装置から受信する前記音声データを認識処理して前記画像形成ユニットを操作するための指令を生成し、
    ジョブを実行中の前記画像形成ユニットの状態が所定状態であるとき、前記指令を前記画像形成ユニットに送信し、
    ジョブを実行中の前記画像形成ユニットの状態が所定状態でなく、前記指令が所定指令である場合には、前記指令を前記画像形成ユニットに送信し、
    ジョブを実行中の前記画像形成ユニットの状態が所定状態でなく、前記指令が所定指令でない場合には、前記指令を前記画像形成ユニットに送信しない、画像形成装置。
14. 画像形成ユニットと接続可能な情報処理装置に備えられるプロセッサが実行する方法であって、
    発話の音声に基づく音声データを認識処理して前記画像形成ユニットを操作するための指令を生成するステップと、
    前記情報処理装置を制御するステップと、を備え、
    前記制御するステップは、
    ジョブを実行中の前記画像形成ユニットの状態が所定状態であるとき、前記指令を前記画像形成ユニットに出力し、
    ジョブを実行中の前記画像形成ユニットの状態が所定状態でなく、前記指令が所定指令である場合には、前記指令を前記画像形成ユニットに出力し、
    ジョブを実行中の前記画像形成ユニットの状態が所定状態でなく、前記指令が所定指令でない場合には、前記指令を前記画像形成ユニットに出力しないよう前記情報処理装置を制御するステップを、含む、方法。
15. 請求項１４に記載の方法をコンピューターに実行させるためのプログラム。

Images