JP6598033B2

JP6598033B2 - 画像形成装置

Info

Publication number: JP6598033B2
Application number: JP2017009872A
Authority: JP
Inventors: 国晃大山
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2019-10-30
Anticipated expiration: 2037-01-23
Also published as: JP2018121134A

Description

本発明は、画像形成装置に関するものである。

近年、音声認識技術を使用して、ユーザーの音声で機器を操作することが可能になっている。ある画像形成装置は、音声操作が開始された場合、近隣の機器に対して音声操作の開始を通知することで、その近隣の機器に対する音声操作を無効にさせて、非対象機器での音声認識を防止している（例えば特許文献１参照）。

特開２００６−２３６３６号公報

しかしながら、複数ユーザーが操作対象の機器の周辺にいる場合、操作対象の機器が、その複数ユーザーの音声を認識してしまい、その機器を操作しているユーザーとは別のユーザーの音声に従って誤動作をしてしまう可能性がある。

本発明は、上記の問題に鑑みてなされたものであり、他のユーザーの音声を誤って認識する可能性を低くする画像形成装置を得ることを目的とする。

本発明に係る画像形成装置は、内部装置と、所定範囲を撮影し撮影画像を出力するカメラと、音声を集音するマイクロフォンと、前記マイクロフォンの集音範囲を移動させるマイクロフォン操作部と、前記撮影画像から人物が検出されるか否かを判定し、前記人物が検出された場合、前記人物をコマンドユーザーと特定し、前記コマンドユーザーの顔の位置を特定するユーザー検出部と、前記ユーザー検出部により前記コマンドユーザーが特定された場合、（ａ）前記コマンドユーザーの顔の位置に基づいて、前記マイクロフォン操作部を制御して前記マイクロフォンの集音範囲を前記コマンドユーザーの顔へ向け、（ｂ）前記マイクロフォンにより集音された音声に対して音声認識処理を実行し、前記マイクロフォンにより集音された音声に対応するコマンドを特定する音声認識部と、特定された前記コマンドに従って前記内部装置を制御する制御部とを備える。そして、前記音声認識部は、前記マイクロフォンにより集音された前記音声から声紋を特定し、音声操作開始コマンドの前記音声の声紋をコマンドユーザーの声紋とし、前記制御部は、（ａ）音声操作終了まで、前記コマンドユーザーの声紋と一致する前記声紋の音声に対応するコマンドに従って前記内部装置を制御し、前記コマンドユーザーの声紋と一致しない前記声紋の音声に対応するコマンドを拒否し、（ｂ）前記音声操作終了時に、前記コマンドユーザーの声紋を破棄し、（ｃ）前記音声認識部により特定された前記コマンドが音声操作終了コマンドである場合には、当該コマンドの前記声紋が前記コマンドユーザーの声紋と一致するか否かに拘わらず、前記音声操作を終了させ、前記コマンドユーザーの声紋を破棄する。

本発明によれば、他のユーザーの音声を誤って認識する可能性を低くする画像形成装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像形成装置の構成を示すブロック図である。図２は、図１に示す画像形成装置１の動作について説明するフローチャートである。図３は、図１に示す画像形成装置１によるコマンドユーザー音声の集音について説明する斜視図である。図４は、図１におけるユーザー検出部３１によるコマンドユーザーの特定について説明する図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像形成装置の構成を示すブロック図である。図１に示す画像形成装置１は、印刷機能、画像読取機能、ファクシミリ機能などを有する複合機である。

画像形成装置１は、操作パネル１１、人感センサー１２、カメラ１３、スピーカー１４、マイクロフォン１５、マイクロフォン操作部１６、通信装置２１、モデム２２、印刷装置２３、画像読取装置２４、およびコントローラー２５を備える。

操作パネル１１は、液晶ディスプレイなどの表示装置１１ａ、およびタッチパネルなどの入力装置１１ｂを備え、ユーザーに対する操作画面の表示およびユーザーの入力操作の検出を行う。表示装置１１ａは、ユーザーに対して操作画面を表示し、入力装置１１ｂは、ユーザーにより入力されるユーザー操作を受け付ける。

人感センサー１２は、赤外線、超音波などにより、当該画像形成装置１の前方の所定範囲内の人物を検出するセンサーである。

カメラ１３は、当該画像形成装置１の前方の所定範囲を撮影し撮影画像を出力する。この実施の形態では、カメラ１３は、人感センサー１２により人物が検出されると、所定範囲の撮影を開始する。

スピーカー１４は、音声案内などを出力する。

マイクロフォン１５は、音声を集音し、音声信号として出力する。マイクロフォン操作部１６は、マイクロフォン１５の集音範囲を移動させる。

例えば、マイクロフォン１５は、超指向性マイクロフォンであり、マイクロフォン操作部１６は、モーター、アクチュエーターなどでマイクロフォン１５の向きを機械的に調整して、マイクロフォン１５の集音範囲を移動させる。

あるいは、例えば、マイクロフォン１５として、マイクロフォンアレイを使用し、マイクロフォン操作部１６が、そのマイクロフォンアレイからの複数の音声信号に対して信号処理をして集音範囲を移動させるようにしてもよい。

また、通信装置２１は、コンピューターネットワークに接続され、そのコンピューターネットワークに接続された他の装置との間で所定の通信プロトコルでデータ通信を行う内部装置（ネットワークインターフェイスなど）である。

また、モデム２２は、構内交換機などに接続され、構内交換機などを介して、公衆電話交換網に接続された他の装置との間で音声通信を行う内部装置である。モデム２２は、ファクシミリ送受信に使用される。

また、印刷装置２３は、例えば電子写真方式で原稿画像を印刷用紙に印刷する内部装置である。また、画像読取装置２４は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データを生成する内部装置である。

また、コントローラー２５は、図示せぬＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するコンピューターを備え、ＲＯＭまたは図示せぬ記憶装置に記憶されているプログラムをＲＡＭへロードし、そのプログラムをＣＰＵで実行することにより、各種処理部として動作する。コントローラー２５は、ＡＳＩＣ（Application Specific Integrated Circuit）を備え、ＡＳＩＣで特定の処理を実行するようにしてもよい。

ここでは、コントローラー２５は、ユーザー検出部３１、音声認識部３２、および制御部３３として動作する。

ユーザー検出部３１は、カメラ１３により得られた撮影画像から人物が検出されるか否かを判定し、人物が検出された場合、その人物をコマンドユーザーと特定し、コマンドユーザーの顔の位置を特定する。

なお、ユーザー検出部３１は、撮影画像から複数の人物が検出された場合、例えば、複数の人物の顔領域をそれぞれ特定し、カメラ１３（つまり、画像形成装置１）に近い人物ほど顔領域の面積が大きくなるため、顔領域の面積が最も大きい人物をコマンドユーザーと特定する。

音声認識部３２は、ユーザー検出部３１によりコマンドユーザーが特定された場合、（ａ）コマンドユーザーの顔の位置に基づいて、マイクロフォン操作部１６を制御してマイクロフォン１５の集音範囲をコマンドユーザーの顔へ向け、（ｂ）マイクロフォン１５により集音された音声に対して音声認識処理を実行し、マイクロフォン１５により集音された音声に対応するコマンドを特定する。

なお、ユーザー検出部３１により撮影画像から複数の人物が検出された場合、音声認識部３２は、マイクロフォン操作部１６を制御して、コマンドユーザーの顔がマイクロフォン１５の集音範囲に入り、かつコマンドユーザー以外の人物の顔がマイクロフォン１５の集音範囲に入らないように、マイクロフォン１５の集音範囲を移動させるようにしてもよい。

制御部３３は、音声認識部３２により特定されたコマンドに従って内部装置を制御する。

この実施の形態では、音声認識部３２は、マイクロフォン１５により集音された音声から声紋を特定し、音声操作開始コマンドの音声の声紋をコマンドユーザーの声紋として一時的に保持する。そして、制御部３３は、（ａ）音声操作終了まで、コマンドユーザーの声紋と一致する声紋の音声に対応するコマンドに従って内部装置を制御し、コマンドユーザーの声紋と一致しない声紋の音声に対応するコマンドを拒否し、（ｂ）音声操作終了時に、コマンドユーザーの声紋を破棄する。

さらに、制御部３３は、音声認識部３２により特定されたコマンドが音声操作終了コマンドである場合には、当該コマンドの声紋がコマンドユーザーの声紋と一致するか否かに拘わらず、音声操作を終了させ、コマンドユーザーの声紋を破棄するようにしてもよい。

なお、この声紋の照合については、行わないようにしてもよい。

次に、上記画像形成装置１の動作について説明する。図２は、図１に示す画像形成装置１の動作について説明するフローチャートである。図３は、図１に示す画像形成装置１によるコマンドユーザー音声の集音について説明する斜視図である。

ユーザー検出部３１は、図３に示すように、音声取得可能範囲内で人感センサー１２により人物が検出されたか否かを監視しており（ステップＳ１）、ユーザー検出部３１は、人感センサー１２により人物が検出されると、カメラ１３による撮影を開始する（ステップＳ２）。なお、音声取得可能範囲は、マイクロフォン１５の集音範囲の可動範囲である。

ユーザー検出部３１は、撮影画像に対して顔認識処理を実行し、人物の顔領域を検出してコマンドユーザーを特定し、コマンドユーザーの顔の位置を特定する（ステップＳ３）。図４は、図１におけるユーザー検出部３１によるコマンドユーザーの特定について説明する図である。このとき、図４に示すように、複数の人物の顔領域が検出された場合には、面積が最も大きい顔領域の人物がコマンドユーザーと特定される。

次に、音声認識部３２は、特定されたコマンドユーザーの顔の位置に基づいて、マイクロフォン操作部１６を制御してマイクロフォン１５の集音範囲をコマンドユーザーの顔へ向ける（ステップＳ４）。例えば、カメラ１３の撮影画像の頂点の位置と、マイクロフォン１５の集音範囲の向きとが予め特定されており、撮影画像内のコマンドユーザーの顔の位置に対応するマイクロフォン１５の集音範囲の向きが線形補間などに基づいて特定される。

その後、音声認識部３２は、マイクロフォン１５により集音された音声に対して音声認識処理を実行し、マイクロフォン１５により集音された音声に対応するコマンドを特定する（ステップＳ５）。このとき、マイクロフォン１５の集音範囲がコマンドユーザーの顔に向いているので、コマンドユーザーの音声が良好に集音されるとともに、マイクロフォン１５の指向性に基づいて他の人物の音声は集音されにくくなっている。

そして、音声認識部３２は、コマンドユーザーの声紋が保持されているか否かを判定し（ステップＳ６）、コマンドユーザーの声紋が保持されていない場合、特定したコマンドが音声開始コマンドであるか否かを判定し（ステップＳ７）、特定したコマンドが音声開始コマンドである場合には、特定したコマンドの音声の声紋を特定し、コマンドユーザーの声紋として保持する（ステップＳ８）。

一方、コマンドユーザーの声紋が保持されている場合、音声認識部３２は、特定したコマンドが音声操作終了コマンドであるか否かを判定する（ステップＳ９）。特定したコマンドが音声操作終了コマンドではない場合、音声認識部３２は、特定したコマンドの音声の声紋がコマンドユーザーの声紋に一致するか否かを判定する（ステップＳ１０）。特定したコマンドの音声の声紋がコマンドユーザーの声紋に一致する場合には、制御部３３は、内部装置を制御して、特定したコマンドにより指示された処理を実行する（ステップＳ１１）。このとき、特定したコマンドの音声の声紋がコマンドユーザーの声紋に一致しない場合には、制御部３３は、特定したコマンドにより指示された処理を実行しない。

他方、特定したコマンドが音声操作終了コマンドである場合（ステップＳ９）、音声認識部３２は、保持しているコマンドユーザーの声紋を破棄する（ステップＳ１２）。

なお、ステップＳ７において、特定されたコマンドが音声操作開始コマンドではない場合には、ステップＳ１に戻り、音声操作開始コマンドが検出されるまで、ステップＳ１〜Ｓ７の処理が実行される。

また、ステップＳ８におけるコマンドユーザーの声紋保持の後、ステップＳ１に戻り、コマンドユーザーの音声による次のコマンドが検出されるまで、ステップＳ１〜Ｓ６，Ｓ９，Ｓ１０の処理が実行される。

また、ステップＳ１２においてコマンドユーザーの声紋破棄の後、ステップＳ１に戻り、ステップＳ１に戻り、音声操作開始コマンドが検出されるまで、ステップＳ１〜Ｓ７の処理が実行される。

以上のように、上記実施の形態によれば、ユーザー検出部３１は、カメラ１３による撮影画像から人物が検出されるか否かを判定し、人物が検出された場合、その人物をコマンドユーザーと特定し、コマンドユーザーの顔の位置を特定する。音声認識部３２は、ユーザー検出部３１によりコマンドユーザーが特定された場合、（ａ）コマンドユーザーの顔の位置に基づいて、マイクロフォン操作部１６を制御してマイクロフォン１５の集音範囲をコマンドユーザーの顔へ向け、（ｂ）マイクロフォン１５により集音された音声に対して音声認識処理を実行し、マイクロフォン１５により集音された音声に対応するコマンドを特定する。制御部３３は、特定されたコマンドに従って内部装置を制御する。

これにより、コマンドユーザー以外の他のユーザーの音声を誤って認識する可能性が低くなる。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態において、人感センサー１２により人物が検出されたときに、音声操作開始コマンドの特定音声（例えば「音声操作開始」など）を発するようにその人物に促す音声をスピーカー１４から出力するようにしてもよい。

また、上記実施の形態においては、音声操作終了コマンドを音声で入力しているが、さらに、操作パネル１１を操作して、音声操作を終了させることができるようにしてもよい。

本発明は、例えば、複合機などの画像形成装置に適用可能である。

１画像形成装置
１３カメラ
１５マイクロフォン
１６マイクロフォン操作部
２１通信装置（内部装置の一例）
２２モデム（内部装置の一例）
２３印刷装置（内部装置の一例）
２４画像読取装置（内部装置の一例）
３１ユーザー検出部
３２音声認識部
３３制御部

Claims

内部装置と、
所定範囲を撮影し撮影画像を出力するカメラと、
音声を集音するマイクロフォンと、
前記マイクロフォンの集音範囲を移動させるマイクロフォン操作部と、
前記撮影画像から人物が検出されるか否かを判定し、前記人物が検出された場合、前記人物をコマンドユーザーと特定し、前記コマンドユーザーの顔の位置を特定するユーザー検出部と、
前記ユーザー検出部により前記コマンドユーザーが特定された場合、（ａ）前記コマンドユーザーの顔の位置に基づいて、前記マイクロフォン操作部を制御して前記マイクロフォンの集音範囲を前記コマンドユーザーの顔へ向け、（ｂ）前記マイクロフォンにより集音された音声に対して音声認識処理を実行し、前記マイクロフォンにより集音された音声に対応するコマンドを特定する音声認識部と、
特定された前記コマンドに従って前記内部装置を制御する制御部と、
を備え、
前記音声認識部は、前記マイクロフォンにより集音された前記音声から声紋を特定し、音声操作開始コマンドの前記音声の声紋をコマンドユーザーの声紋とし、
前記制御部は、（ａ）音声操作終了まで、前記コマンドユーザーの声紋と一致する前記声紋の音声に対応するコマンドに従って前記内部装置を制御し、前記コマンドユーザーの声紋と一致しない前記声紋の音声に対応するコマンドを拒否し、（ｂ）前記音声操作終了時に、前記コマンドユーザーの声紋を破棄し、（ｃ）前記音声認識部により特定された前記コマンドが音声操作終了コマンドである場合には、当該コマンドの前記声紋が前記コマンドユーザーの声紋と一致するか否かに拘わらず、前記音声操作を終了させ、前記コマンドユーザーの声紋を破棄すること、
を特徴とする画像形成装置。
前記ユーザー検出部は、前記撮影画像から複数の人物が検出された場合、前記複数の人物の顔領域をそれぞれ特定し、前記顔領域の面積が最も大きい人物を前記コマンドユーザーと特定することを特徴とする請求項１記載の画像形成装置。
前記音声認識部は、前記ユーザー検出部により前記撮影画像から複数の人物が検出された場合、前記マイクロフォン操作部を制御して、前記コマンドユーザーの顔が前記マイクロフォンの集音範囲に入り、かつ前記コマンドユーザー以外の人物の顔が前記マイクロフォンの集音範囲に入らないように、前記マイクロフォンの集音範囲を移動させることを特徴とする請求項２記載の画像形成装置。
前記マイクロフォンは、超指向性マイクロフォンであり、
前記マイクロフォン操作部は、前記マイクロフォンの向きを機械的に調整して、前記マイクロフォンの集音範囲を移動させること、
を特徴とする請求項１から請求項３のうちのいずれか１項記載の画像形成装置。