JP7419682B2

JP7419682B2 - 画像形成装置、及び、画像形成システム

Info

Publication number: JP7419682B2
Application number: JP2019122758A
Authority: JP
Inventors: 晋平板谷
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2019-07-01
Filing date: 2019-07-01
Publication date: 2024-01-23
Anticipated expiration: 2039-07-01
Also published as: JP2021009541A

Description

本発明は、画像形成装置、及び、画像形成システムに係わる。

画像形成装置において、画像形成装置本体の操作やジョブの設定は、画像形成装置に設けられた操作パネルや、外部端末のリモートアクセス画面から行われる。最近では視覚障碍者向けとしてだけでなく健常者の入力手段としても、音声入力による操作（以下、単に音声入力、又は、音声操作と称する）が可能な画像形成装置が開発されている。画像形成装置の音声操作を行う場合には、画像形成装置の操作パネルを参照しなくても操作が行えるように、ユーザーと画像形成装置との間での対話形式で操作処理が行われることが多い。しかし、画像形成装置のスピーカー側からユーザーに向けて指示を促す音声ガイダンスや、現在の設定を復唱する音声ガイダンスを行っている間は、ユーザーはガイダンスを聞く期間だけ次の操作の開始が遅れてしまう。このため、音声操作では、表示パネル等を使用した手動操作に比べて、ユーザーの操作に余分な時間がかかってしまう。

このような、音声操作にかかる余分な時間を短縮するために、表示パネルのハードキーやコマンドボタンの操作によって音声ガイダンスの出力のＯＮ／ＯＦＦ、スキップ、リピート等を制御可能な画像形成装置が提案されている（例えば、特許文献１参照）。
また、画像形成装置がユーザーが晴眼者か視覚障碍者のいずれであるかを判断し、ユーザーが視覚障碍者の場合に音声操作が可能な音声操作モードに切り替える画像形成装置が提案されている（例えば、特許文献２参照）。

特開２００３－３１６２１２号公報特開２００３－１４０８８０号公報

しかしながら、ユーザーが表示パネルを用いて音声ガイダンスの出力を制御する画像形成装置では、音声操作の時間を短縮できるものの、ユーザーがボタン操作を行わなければならないため、ユーザーにとって不便である。また、ユーザーを晴眼者か視覚障碍者か判断する画像形成装置では、晴眼者が音声操作モードを使用する場合には音声ガイダンスの出力を聞かなければならない期間が発生するため、ユーザーの操作に余分な時間がかかってしまう。

上述した問題の解決のため、音声操作が可能な画像形成装置、及び、画像形成システムにおいて、ボタン操作等を行わなくても音声ガイダンスの出力を省略し、ユーザーの操作時間を短縮することが求められている。

本発明の画像形成装置は、音声が入力される音声入力部と、情報を表示する表示部と、ユーザーの操作に応じた制御を行う制御部と、制御部の制御により用紙に画像を形成する画像形成部とを備える。そして、制御部は、音声入力部に対する入力音声に基づく音声操作が可能な音声操作モードが動作時において、ユーザーが表示部を見ているかどうかを判定し、ユーザーが表示部を見ていないと判定した場合には、音声ガイダンスの出力を実行し、ユーザーが表示部を見ていると判定した場合には入力音声に基づく音声ガイダンスの少なくとも一部の内容の音声出力を停止し、入力音声に基づくガイダンス情報を表示部に表示させる。

また、本発明の画像形成システムは、画像形成装置と、端末装置とを備える。また、画像形成装置は、音声が入力される音声入力部と、情報を表示する表示部と、ユーザーの操作に応じた制御を行う制御部と、制御部の制御により用紙に画像を形成する画像形成部とを備える。そして、制御部は、音声入力部に対する入力音声に基づく音声操作が可能な音声操作モードが動作時において、ユーザーが表示部を見ているかどうかを判定し、ユーザーが表示部を見ていないと判定した場合には、音声ガイダンスの出力を実行し、ユーザーが表示部を見ていると判定した場合には入力音声に基づく音声ガイダンスの少なくとも一部の内容の音声出力を停止し、入力音声に基づくガイダンス情報を表示部に表示させ、音声ガイダンスの音声出力を停止したときに、端末装置にガイダンス情報を送信する。

本発明によれば、ボタン操作等を行わなくても音声ガイダンスの出力を省略し、ユーザーの操作時間を短縮することが可能な画像形成装置、及び、画像形成システムを提供することができる。

画像形成システムの概略構成を示す図である。画像形成装置のハードウエア構成例を示すブロック図である。音声入力装置のハードウエア構成例を示すブロック図である。制御部の機能ブロック図である。ユーザーによる音声操作と、画像形成装置からの音声ガイダンスの一例を示す図である。音声入力とガイダンス出力とを行う処理のフローチャートである。表示部に表示するガイダンス情報の例を示す図である。表示部に表示するガイダンス情報の例を示す図である。ユーザーが表示部を見ているかどうかを判定するフローチャートである。音声ガイダンスの再開、及び、ユーザーによる音声ガイダンスの省略の承認に係わる処理のフローチャートである。

〈画像形成システムの実施の形態〉
以下、画像形成システムの具体的な実施の形態の例について説明する。図１に、本実施の形態の画像形成システムの概略構成図を示す。

［画像形成システムの構成］
図１に示す画像形成システムは、画像形成装置１００と、画像形成装置１００に対する音声入力を受け付ける音声入力装置２００とが、ＬＡＮ（Local Area Network）等のネットワークを介して接続されている。さらに、画像形成システムは、画像形成装置１００や音声入力装置２００とネットワークを介して接続された、印刷ジョブを送信可能な外部端末装置３００等を備えていてもよい。ネットワークは有線であっても無線であってもよい。例えば、画像形成装置１００と外部端末装置３００とが有線ＬＡＮに接続され、音声入力装置２００が無線で接続されている例が挙げられる。

画像形成装置１００は、画像形成機能を実現するための構成を有する。
音声入力を受け付ける音声入力装置２００は、入力音声から生成された音声信号を処理する処理装置を含んでもよい。音声入力装置２００としては、従来のマイクロホン（以下、マイクと称する）やスマートスピーカー等が挙げられる。音声入力装置２００は、音声入力を受け付ける機能を実現するための構成としての音声入力部としてのマイクと、情報を表示（出力）するためのタッチパネル等の表示部や、スピーカー等の音声出力部とを備える。なお、画像形成システムにおいて、音声入力装置２００は、少なくともこれら機能を有していれば特に限定されない。

［画像形成装置の構成］
図２に、画像形成装置１００のハードウエア構成例のブロック図を示す。図２に示すように、画像形成装置１００は、画像読取り部１０、操作表示部２０、画像処理部３０、画像形成部４０、及び、音声入力部５０を備える。また、図２に示すように、画像形成装置１００は、上記構成にさらに、通信部７１、記憶部７２、及び、制御部１０１を備える。なお、図２に示す画像形成装置１００は、画像読取り機能や印刷機能を備えた一般的な装置構成を示しているが、必ずしも全ての機能を搭載する必要はなく、ファクシミリ装置やスキャナー装置等の限定的な機能を有した構成であってもよい。

操作表示部２０は、例えばタッチパネル付の液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）やハードキー等で構成され、表示部２１及び操作部２２として機能する。表示部２１は、制御部１０１から入力される表示制御信号に従って、各種操作画面、画像の状態、各機能の動作状況等の表示を行う。操作部２２は、テンキー、スタートキー等の各種操作キーを備え、ユーザーによる各種入力操作を受け付けて、操作信号を制御部１０１に出力する。

制御部１０１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０２、ＲＯＭ（Read Only Memory）１０４、ＲＡＭ（Random Access Memory）１０３等を備える。ＣＰＵ１０２は、ＲＯＭ１０４から処理内容に応じたプログラムを読み出してＲＡＭ１０３に展開し、展開したプログラムを実行して画像形成装置１００の各ブロック等の動作を制御する。このとき、記憶部７２に格納されている各種データを参照してもよい。記憶部７２は、例えば不揮発性の半導体メモリやハードディスクドライブ等で構成される。

制御部１０１は、通信部７１を介して、ＬＡＮ、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続された外部端末装置３００との間で各種データの送受信を行う。制御部１０１は、例えば、外部の装置から送信された画像データ（入力画像データ）を受信し、この画像データに基づいて用紙に画像を形成する。通信部７１は、例えばＬＡＮカード等の通信制御カードで構成される。

画像処理部３０は、初期設定又はユーザー設定に応じたデジタル画像処理を行う回路等を備える。例えば、画像処理部３０は、制御部１０１の制御下で、階調補正データ（階調補正テーブル）に基づいて階調補正を行う。また、画像処理部３０は、階調補正の他、色補正、シェーディング補正等の各種補正処理や、圧縮処理等を施す。これらの処理が施された画像データに基づいて、画像形成部４０が制御される。

画像形成部４０は、印刷ジョブの設定に基づいて用紙に画像を形成する。画像形成部４０は、入力画像データに基づいて、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、Ｋ（ブラック）の各色トナー像をＹ成分、Ｍ成分、Ｃ成分、Ｋ成分の各色トナーによる画像を形成する。

画像読取り部１０は、記録紙等に記載された原稿の画像を光学的に読み取って画像データを取得する。画像読取り部１０は、例えば、原稿に光を照射する光源と、その反射光を受けて主走査方向に１ライン分読み取るラインイメージセンサーと、ライン単位の読取位置を副走査方向に順次移動させる駆動部と、原稿からの反射光をラインイメージセンサーに導いて結像させるレンズやミラー等からなる光学経路と、ラインイメージセンサーの出力するアナログ画像信号をデジタルの画像データに変換する変換部等を備える。

音声入力部５０は、マイク等によって構成され、画像形成装置１００の周囲の音声を収集し、音声入力を受け付ける。
音声出力部５１は、スピーカー等によって構成され、画像形成装置１００からユーザー等に音声で情報を通知する。

ユーザー検出センサー５２は、画像形成装置１００の周囲にユーザーがいる場合に、そのユーザーを検出する。ユーザー検出センサー５２としては、例えば、人感センサーや距離測定センサーを用いることができる。
人感センサーは、画像形成装置１００の操作表示部２０に配置された赤外線センサーから構成され、赤外線センサーが赤外線を感知することによって画像形成装置１００の操作表示部２０の周囲にいる人（ユーザー）を検知する。
また、距離測定センサーは、例えば、超音波センサーや光学式センサーによって構成される。距離測定センサーは、直進性の信号を用いて画像形成装置１００からの距離を算出する。例えば、画像形成装置１００、又は、操作表示部２０からの距離が１～２ｍ程度までにいる人（ユーザー）を検出する。

カメラ５３は、ビデオカメラ等から構成され、画像形成装置１００の操作表示部２０の周囲を撮像する。カメラで撮像して得られた画像データを基に、制御部１０１が画像を解析して、画像形成装置１００を操作しているユーザーの位置を検出する。

［音声入力装置の機能構成］
図３に、音声入力装置２００のハードウエア構成例のブロック図を示す。図３に示すように、音声入力装置２００は、全体を制御する演算装置であるＣＰＵ２１０、ＣＰＵ２１０で実行されるプログラム等を記憶する不揮発メモリ２２０、ＣＰＵ２１０でプログラムを実行する際の作業領域として機能するＲＡＭ２３０、マイクにより音声を収集する音声入力部２４０、音声入力装置２００からユーザー等に音声で情報を通知する音声出力部２５０、上記ネットワーク（図１参照）を介した無線通信を制御する無線通信部２６０とを含む。

［外部端末装置の構成］
外部端末装置３００は、画像やテキスト等によるガイダンス情報の表示やガイダンス情報の音声出力が可能なパーソナルコンピューター（ＰＣ）等の一般的なコンピューターや、スマートフォン、ヘッドセット等で実現することができる。すなわち、外部端末装置３００のハードウエア構成は、一般的なコンピューターのハードウエア構成や、ヘッドセットのハードウエア構成と同様とすることができる。このため、外部端末装置３００のハードウエア構成の詳細な説明は省略する。

外部端末装置３００がＰＣやスマートフォン等の場合、ＣＰＵ２１０等の内蔵するプロセッサがプログラムに従って、画像形成装置１００の各部の制御や各種の演算処理を実行する。例えば、外部端末装置３００は、文書データ作成、文書データ等をページ記述言語に変換する処理、印刷ジョブ生成、印刷ジョブ送信等を実行する。また、外部端末装置３００には、作成された原稿データについて印刷設定等するためのプリンタードライバーがインストールされている。

外部端末装置３００がヘッドセットの場合、上記ネットワーク（図１参照）を介した無線通信を制御する無線通信部と、受信した音声信号を出力する音声出力部（スピーカー、イヤフォン等）と、音声入力が可能なマイクロフォン等とを含む。

［制御部の機能構成］
次に、画像形成装置１００の制御部１０１の構成について説明する。制御部１０１の機能ブロック図を図４に示す。図４に示すように、制御部１０１は、判断部１１０、ガイダンス制御部１１１、音声出力制御部１１２、表示制御部１１３、ユーザー位置検出部１１４、及び、操作履歴管理部１１５を備える。

判断部１１０は、画像形成装置１００を操作しているユーザーが、画像形成装置１００の表示部２１を見ているかどうかを判定する。例えば、判断部１１０は、ユーザー位置検出部１１４が検出したユーザーの位置情報や、操作履歴管理部１１５が有する操作履歴を基に、ユーザーが画像形成装置１００の操作表示部２０を見ているかどうかを判定する。

また、判断部１１０は、画像形成装置１００の表示部２１の表示状態や、操作部２２の操作状況から、ユーザーが画像形成装置１００の操作表示部２０を見ているかどうかを判定する。例えば、表示部２１がスリープ状態、又は、表示部２１を構成するパネルのバックライトがＯＦＦ又は低消費電力状態（待機状態やスリープ状態）の場合には、ユーザーが表示部２１を参照することができないため、判断部１１０は、ユーザーが操作表示部２０を見ていないと判定する。また、操作表示部２０において、ユーザーが操作部２２を操作している場合には、判断部１１０は、ユーザーが画像形成装置１００の操作表示部２０を見ていると判定する。

ユーザー位置検出部１１４は、画像形成装置１００を操作しているユーザーの位置を検出する。ユーザー位置検出部１１４は、例えば、ユーザー検出センサー５２が出力する情報やカメラ５３が出力する画像データを基に、ユーザーの位置情報を検出する。

例えば、画像形成装置１００がユーザー検出センサー５２として、操作表示部２０の近傍に人感センサーを有する場合、人感センサーが操作表示部２０の近くで赤外線を感知し、ユーザー位置検出部１１４が操作表示部２０の近傍におけるユーザーの位置情報を検出する。ユーザー位置検出部１１４は、例えば、人感センサーがユーザーを検知したことを示す情報を、検出したユーザーの位置情報として判断部１１０に送信する。判断部１１０は、この人感センサーがユーザーを検知したというユーザーの位置情報を基に、ユーザーが操作表示部２０を見ていると判定する。また、ユーザー位置検出部１１４は、人感センサーがユーザーを検知していない場合には、ユーザーが画像形成装置１００の近傍にいないという情報をユーザーの位置情報として判断部１１０に送信する。判断部１１０は、このユーザーの位置情報を基に、ユーザーが操作表示部２０を見ていないと判定する。

また、画像形成装置１００がユーザー検出センサー５２として、操作表示部２０の近傍に距離測定センサーを有する場合、距離測定センサーが画像形成装置１００とユーザーとの距離を測定し、ユーザー位置検出部１１４が画像形成装置１００とユーザーとの距離をユーザーの位置情報として検出する。ユーザー位置検出部１１４は、検出したユーザーの位置情報を、判断部１１０に送信する。判断部１１０は、位置情報（距離）を基に、例えば、操作表示部２０とユーザーとの距離が１～２ｍ以内である場合にユーザーが操作表示部２０を見ていると判定し、操作表示部２０とユーザーとの距離が２ｍを超える場合にユーザーが画像形成装置１００の操作表示部２０を見ていないと判定する。

画像形成装置１００の周囲を撮像するカメラ５３を有する場合、ユーザー位置検出部１１４は、カメラで撮像して得られた画像データを基にユーザーの位置情報を検出する。例えば、ユーザー位置検出部１１４は、画像データを基にパターンマッチングを行いユーザーの位置や、ユーザーが向いている方向、及び、ユーザーの視線方向を検知し、これらのいずれか１つ以上の情報をユーザーの位置情報として検出する。そして、ユーザー位置検出部１１４は、検出したユーザーの位置情報を、判断部１１０に送信する。判断部１１０は、検出したユーザーの位置情報を基に、例えば、ユーザーが画像形成装置１００の近くにいる場合、ユーザーが画像形成装置１００の方向を向いている場合、及び、ユーザーの視線方向が操作表示部２０に向いている場合の少なくともいずれかの場合に、ユーザーが操作表示部２０を見ていると判定する。

操作履歴管理部１１５は、ユーザーが操作部２２を操作した履歴、例えば、内容や操作したタイミング（時刻）等の操作履歴を管理する。判断部１１０は、操作履歴管理部１１５が有する操作履歴を基に、ユーザーが操作部２２を最後に操作したときからの経過時間が所定の時間内であれば、ユーザーが操作表示部２０を見ていると判定する。例えば、ユーザーによる操作部２２の操作から１０秒以内であれば、ユーザーが操作表示部２０を見ていると判定する。

判断部１１０は、ユーザーが画像形成装置１００の表示部２１を見ていると判定した場合に、ガイダンス制御部１１１に対して判定結果を送信する。
ガイダンス制御部１１１は、判断部１１０からの指示に基づき、音声出力制御部１１２に対して、音声ガイダンスの情報の少なくとも一部の内容を省略するように指示する。音声出力制御部１１２は、ガイダンス制御部１１１からの指示に基づき、少なくとも一部のガイダンス情報を省略した音声データを音声入力部５０に出力する。
また、ガイダンス制御部１１１は、判断部１１０からの指示に基づき、表示制御部１１３に対して、ガイダンス情報を表示部２１に表示するように指示する。表示制御部１１３は、ガイダンス制御部１１１からの指示に基づき、テキストデータや画像データ等のガイダンス情報を表示部２１に出力する。

また、ガイダンス制御部１１１は、画像形成装置１００の通信部７１を介して、外部端末装置３００にガイダンス情報を送信してもよい。外部端末装置３００にガイダンス情報を出力する場合においても、ユーザーが表示部２１を見ていると判断部１１０が判定した場合には、少なくとも一部のガイダンス情報を省略した音声データを外部端末装置３００に送信する。また、外部端末装置３００の表示部に表示するためのテキストデータや画像データ等のガイダンス情報を、外部端末装置３００に送信する。

上述の画像形成装置１００では、ユーザーが表示部２１を見ている場合に音声ガイダンスを省略することにより、ユーザーが音声ガイダンスの出力中に次の指示を実行できないという課題を解消し、ユーザーの操作時間を短縮することができる。また、音声ガイダンスがスピーカ等の音声出力部５１で出力されている間は、画像形成装置１００の音声入力部５０がガイダンス音声を拾ってしまうため、音声入力を有効にできない。このため、音声ガイダンスを省略することにより、音声入力が無効になる時間を短縮することができ、ユーザーの操作時間を短縮することができる。さらに、音声ガイダンスを通信部７１を介してヘッドセット等の音声再生デバイスに出力することにより、画像形成装置１００の音声入力部５０がガイダンス音声を拾うことがないため、音声入力が無効になる時間をなくすことができ、ユーザーの操作時間を短縮することができる。

［音声操作と音声ガイダンス］
次に、画像形成システムにおけるユーザーによる音声操作と、画像形成装置１００からの音声ガイダンスについて説明する。図５に、ユーザーによる音声操作と、画像形成装置１００からの音声ガイダンスの一例を示す。なお、図５に示す例では、画像形成システムの音声入力装置２００を用いてユーザーが画像形成装置１００を操作する例について説明する。なお、画像形成装置１００の音声入力部５０を用いてユーザーが画像形成装置１００を操作する場合にも同様に行うことができる。

図５に示すように、ユーザーが音声入力装置２００に対して、画像形成装置１００への接続を指示する。例えば、ユーザーが、音声入力装置２００に対して「ＭＦＰ（Multifunction Peripheral）に接続して」と音声入力する。これにより、音声入力装置２００は、ネットワークを介して画像形成装置１００に接続する。

画像形成装置１００では、制御部１０１が入力された音声を基に、画像形成装置１００を音声による操作を受付可能な状態（音声入力モード）にする。そして制御部１０１は、「画像形成装置に接続しました」の音声ガイダンスを音声入力装置２００から出力させる。

以降は、図５に示すように、ユーザーによる画像形成装置１００への音声操作と、画像形成装置１００からの音声ガイダンスとが繰り返され、ユーザーに所望の設定が完了した場合にジョブ開始の指示が行われ、画像形成装置１００がジョブを開始する。例えば、ユーザーによる音声操作による指示（「Ｃｏｐｙジョブ」、「モノクロで」、「２部で」、「スタート」）と、この音声指示を受けた画像形成装置１００による条件確認のための音声ガイダンス（「Ｃｏｐｙ設定を行います」「カラー設定はカラーｏｒモノクロ」、「カラー設定をモノクロに変更します」、「部数は？」、「部数を２部に変更します」）とが、ユーザーと音声入力装置２００との間で行われる。

［音声入力とガイダンス出力処理］
次に、画像形成システムにおける音声入力と、画像形成装置１００からのガイダンス出力処理について説明する。図６に、音声入力とガイダンス情報の出力処理のフローチャートを示す。

まず、画像形成装置１００が音声入力の受付処理を開始した後、画像形成装置１００の制御部１０１は、ユーザーによる音声入力を検知する（ステップＳ１）。制御部１０１は、検知した音声入力が画像形成装置１００に対する指示として有効かどうかを判定する（ステップＳ２）。音声入力が画像形成装置１００に対する指示として有効ではない場合（ステップＳ２のＮＯ）、画像形成装置１００に対する指示として有効な音声入力を検知するまでステップＳ１の音声入力の検知を繰り返す。音声入力が画像形成装置１００に対する指示として有効である場合（ステップＳ２のＹＥＳ）、制御部１０１は、音声入力された指示に従って画像形成装置１００におけるジョブの内容や条件等の設定を変更する（ステップＳ３）。

次に、制御部１０１は判断部１１０において、ユーザーが画像形成装置１００の操作表示部２０の表示部２１を見ているかどうかを判定する（ステップＳ４）。この判断部１１０における判定処理については後述する。判断部１１０においてユーザーが表示部２１を見ていないと判定した場合（ステップＳ４のＮＯ）、制御部１０１は、音声入力装置２００や画像形成装置１００の音声出力部５１から音声ガイダンスを出力する（ステップＳ５）。

ユーザーが表示部２１を見ている場合（ステップＳ４のＹＥＳ）には、制御部１０１は、表示部２１にガイダンス情報を表示し（ステップＳ６）、表示するガイダンス情報に応じて音声ガイダンスの少なくとも一部を省略する（ステップＳ７）。音声ガイダンスの少なくとも一部を省略する場合においては、音声ガイダンスをすべて省略してもよい。音声ガイダンスをすべて省略した場合には、ガイダンス情報の音声出力は行わない。また、音声ガイダンスの一部を省略した場合には、省略していない音声ガイダンスの情報については、音声出力を行ってもよい。

ステップＳ５又はステップＳ７の処理後、ステップＳ１のユーザーによる音声入力を検知する状態に戻り、本フローチャートによる処理を終了する。

次に、表示部２１に表示するガイダンス情報の例を、図７及び図８に示す。図７及び図８は、表示部２１と操作部２２とを有する操作表示部２０の例である。図７及び図８に示すように、操作表示部２０の表示部２１に、テキストによってガイダンス情報を表示している。図７では、表示部２１に、画像形成装置１００が音声入力モードで動作していること、音声ガイダンスの省略中であること、ジョブのカラー設定の選択肢（カラー、モノクロ）、情報の履歴（前回１、前回２）として画像形成装置１００への接続とコピージョブ選択の情報が表示されている。
図８では、表示部２１に、画像形成装置が音声入力モードで動作していること、音声ガイダンスの省略中であること、ジョブのカラー設定の選択肢（カラー、モノクロ）、現在のコピージョブの設定としてカラーモード、部数、印刷面（片面／両面）、用紙サイズの各条件が表示されている。

［ユーザーが表示部を見ているがどうかの判定処理］
次に、上述の図６に示すフローチャートのステップＳ４における、ユーザーが画像形成装置１００の操作表示部２０の表示部２１を見ているかどうかの判定処理について説明する。図９に、ユーザーが表示部２１を見ているかどうかを判定するフローチャートを示す。なお、以下の説明では、図３に示す画像形成装置１００の制御部１０１の各構成と、これら各構成に付した符号とを必要に応じて用いる。

図９に示すように、まず、制御部１０１は、画像形成装置１００にユーザー検出センサー５２が搭載されているかどうかを判定する（ステップＳ１０１）。画像形成装置１００に搭載されている各デバイスの情報は、デバイス情報としてあらかじめ画像形成装置１００のメモリ等に記憶されている。画像形成装置１００にユーザー検出センサー５２が搭載されている場合（ステップＳ１０１のＹＥＳ）、制御部１０１のユーザー位置検出部１１４が、ユーザー検出センサー５２の情報を取得する（ステップＳ１０２）。そして、制御部１０１の判断部１１０は、ユーザー位置検出部１１４がユーザー検出センサー５２の情報から取得したユーザーの位置情報を基に、画像形成装置１００の近くに人（ユーザー）がいるかどうかを判定する（ステップＳ１０３）。

画像形成装置１００にユーザー検出センサー５２が搭載されていない場合（ステップＳ１０１のＮＯ）、又は、判断部１１０が画像形成装置１００の近くに人（ユーザー）がいないと判定した場合（ステップＳ１０３のＮＯ）、制御部１０１は、画像形成装置１００にカメラ５３が搭載されているかどうかを判定する（ステップＳ１０４）。画像形成装置１００にカメラ５３が搭載されている場合（ステップＳ１０４のＹＥＳ）、制御部１０１のユーザー位置検出部１１４が、カメラ５３から画像データを取得し、画像データからユーザーの向いている方向や、ユーザーの視線方向等のユーザーの位置情報を算出する（ステップＳ１０５）。そして、制御部１０１の判断部１１０は、ユーザー位置検出部１１４が画像データから取得したユーザーの位置情報を基に、ユーザーが表示部２１を見ているがどうかを判定する（ステップＳ１０６）。

画像形成装置１００にカメラ５３が搭載されていない場合（ステップＳ１０４のＮＯ）、又は、判断部１１０においてユーザーが表示部を見ていないと判定した場合（ステップＳ１０６のＮＯ）、判断部１１０は、操作履歴管理部１１５から、ユーザーが画像形成装置１００の操作部２２を操作した履歴情報を取得する（ステップＳ１０７）。そして、判断部１１０は、取得した操作履歴情報から、操作部２２の最後の操作からの経過時間が所定時間内であるかどうかを判定する（ステップＳ１０８）。

音声操作の検知が操作部２２の最後の操作からの経過時間が所定時間内ではないと判定した場合（ステップＳ１０８のＮＯ）、判断部１１０は、画像形成装置１００の電源状態を確認する（ステップＳ１０９）。そして、判断部１１０は、画像形成装置１００の電源状態が待機状態かどうかを判定する（ステップＳ１１０）。この判定処理において、判断部１１０は、表示部２１の電源状態が待機状態の場合には、ユーザーが表示部２１を見ていないと判定する。なお、判断部１１０は、表示部２１を構成する表示パネルのバックライトがＯＦＦ又は低消費電力状態の場合にも、ユーザーが表示部２１を見ていないと判定してもよい。

画像形成装置１００の電源状態が待機状態である場合（ステップＳ１１０のＮＯ）、すなわち、判断部１１０においてユーザーが表示部２１を見ていないと判定した場合、図６に示すフローチャートのステップＳ５へ移行し、本フローチャートによる処理を終了する。

判断部１１０が画像形成装置１００の近くに人（ユーザー）がいると判定した場合（ステップＳ１０３のＹＥＳ）、判断部１１０においてユーザーが表示部を見ている判定した場合（ステップＳ１０６のＹＥＳ）、音声操作の検知が操作部２２の最後操作から所定時間内であると判定された場合（ステップＳ１０８のＹＥＳ）、又は、画像形成装置１００の電源状態が待機状態ではない場合（ステップＳ１１０のＹＥＳ）、図６に示すフローチャートのステップＳ６へ移行し、本フローチャートによる処理を終了する。

［ユーザーが表示部を見ているがどうかの判定処理］
上述の図６及び図９に示す処理により、制御部１０１においてユーザーが表示部２１を見ていると判定し、表示部２１にガイダンス情報を表示して音声ガイダンスを省略した場合において、実際にはユーザーが表示部２１を見ていない場合がある。この場合には、ユーザーが音声ガイダンスの応答を待ってしまう可能性があるため、ユーザーの操作時間を短縮することができない。このようなユーザーが音声ガイダンスの応答を待ってしまう場合による操作の遅延を防ぐ方法として、音声ガイダンスの省略を判定してから一定時間経過した場合に、音声ガイダンスを再開することにより、操作の遅延を抑制することができる。

また、一定時間経過後に音声ガイダンスを再開する場合には、ユーザーが音声ガイダンスの応答を待っている場合だけでなく、ユーザーが表示部２１を見ながら次の操作を考える間に時間が経過してしまう場合もある。この場合には、音声ガイダンスを再開してしまうと、ユーザーの音声操作を阻害してしまい、結果的にユーザーの操作を遅延させてしまう。このため、表示部２１へのガイダンス情報の表示に合わせて、音声ガイダンスの省略を了承するかどうか選択可能な画面を表示し、ユーザーが音声ガイダンスの省略を選択した場合に、音声ガイダンスの再開を停止する。例えば、音声ガイダンスの省略を了承するかどうか選択可能な画面として、コマンドボタンの表示や、承認する機能を割り当てたソフトキーの表示を行う。そして、ユーザーが承認のためのコマンドボタンやソフトキーを押下することにより、ジョブの設定が完了するまでは音声ガイダンスを省略する。なお、コマンドボタンやソフトキーは、物理的なボタン（ハードキー）やスイッチ等でもよい。

音声ガイダンスの再開、及び、ユーザーによる音声ガイダンスの省略の承認に係わる処理のフローチャートを図１０に示す。
まず、画像形成装置１００の表示部２１にガイダンス情報を表示した後、判断部１１０は、ガイダンス情報の表示から所定の時間が経過したかどうかを判定する（ステップＳ２０１）。所定の時間が経過した場合（ステップＳ２０１のＹＥＳ）には、判断部１１０は、ユーザーが表示部２１を見ていないと判断し、ガイダンス制御部１１１に対して省略していた音声ガイダンスを実行するように指示し（ステップＳ２０２）、本フローチャートによる処理を終了する。

所定の時間が経過していない場合（ステップＳ２０１のＮＯ）、判断部１１０は、ユーザーにより音声ガイダンスの省略を承認するためのコマンドボタンやソフトキーが押下されたかどうかを判定する（ステップＳ２０３）。ユーザーにより省略を承認するコマンドボタンやソフトキーが押下されていない場合（ステップＳ２０３のＮＯ）、所定時間が経過するまでステップＳ２０１による判定処理を繰り返す。また、ユーザーにより省略を承認するコマンドボタンやソフトキーが押下された場合（ステップＳ２０３のＹＥＳ）、判断部１１０は、ガイダンス情報の表示からの経過時間の計測を解除し（ステップＳ２０４）、本フローチャートによる処理を終了する。

なお、本発明は上述の実施形態例において説明した構成に限定されるものではなく、その他本発明の構成を逸脱しない範囲において種々の変形、変更が可能である。

１０画像読取り部、２０操作表示部、２１表示部、２２操作部、３０画像処理部、４０画像形成部、５０，２４０音声入力部、５１，２５０音声出力部、５２ユーザー検出センサー、５３カメラ、７１通信部、７２記憶部、１００画像形成装置、１０１制御部、１０２，２１０ＣＰＵ、１０３，２３０ＲＡＭ、１０４ＲＯＭ、１１０判断部、１１１ガイダンス制御部、１１２音声出力制御部、１１３表示制御部、１１４ユーザー位置検出部、１１５操作履歴管理部、２００音声入力装置、２２０不揮発メモリ、２６０無線通信部、３００外部端末装置

Claims

音声が入力される音声入力部と、
情報を表示する表示部と、
ユーザーの操作に応じた制御を行う制御部と、
前記制御部の制御により用紙に画像を形成する画像形成部と、を備え、
前記制御部は、
前記音声入力部に対する入力音声に基づく音声操作が可能な音声操作モードが動作時において、前記ユーザーの位置情報、操作履歴、前記表示部の表示状態、及び、操作部の操作状況の少なくともいずれか１つ以上から前記ユーザーが前記表示部を見ているかどうかを判定し、
前記ユーザーが前記表示部を見ていないと判定した場合には、音声ガイダンスの出力を実行し、
前記ユーザーが前記表示部を見ていると判定した場合には前記入力音声に基づく音声ガイダンスの少なくとも一部の内容の音声出力を停止し、前記入力音声に基づくガイダンス情報を前記表示部に表示させる
画像形成装置。
前記制御部は、ユーザーの位置を検出するユーザー位置検出部を有し、
前記ユーザー位置検出部が検出した前記ユーザーの位置情報を基に、前記ユーザーが前記表示部を見ているかどうかを判定する
請求項１に記載の画像形成装置。
前記ユーザー位置検出部は、前記画像形成装置の近傍にいる人を検知するユーザー検出センサーからの情報を基に前記ユーザーの位置情報を検出する
請求項２に記載の画像形成装置。
カメラを備え、前記ユーザー位置検出部は、前記カメラからの画像データを元に前記ユーザーの位置情報を検出する
請求項２に記載の画像形成装置。
前記制御部は、ユーザーの前記操作履歴を管理する操作履歴管理部を有し、
前記制御部は、前記操作履歴管理部に格納された前記操作履歴から算出される操作時間を基に、前記ユーザーが前記表示部を見ているかどうかを判定する
請求項１から４のいずれかに記載の画像形成装置。
前記制御部は、前記表示部の前記表示状態からユーザーが前記表示部を見ているかどうかを判定する
請求項１から５のいずれかに記載の画像形成装置。
前記制御部は、前記音声ガイダンスを停止した後、一定期間後に前記音声ガイダンスを再開する
請求項１から６のいずれかに記載の画像形成装置。
前記制御部は、前記音声ガイダンスの音声出力を停止した後、前記表示部に前記ガイダンス情報とともに前記音声ガイダンスの省略を了承するかどうか選択可能な画面を表示し、ユーザーが前記音声ガイダンスの省略を了承することを選択した場合には、前記音声ガイダンスを再開しない
請求項７に記載の画像形成装置。
画像形成装置と、端末装置と、を備え、
前記画像形成装置は、
音声が入力される音声入力部と、
情報を表示する表示部と、
ユーザーの操作に応じた制御を行う制御部と、
前記制御部の制御により用紙に画像を形成する画像形成部と、を備え、
前記制御部は、
前記音声入力部に対する入力音声に基づく音声操作が可能な音声操作モードが動作時において、前記ユーザーの位置情報、操作履歴、前記表示部の表示状態、及び、操作部の操作状況の少なくともいずれか１つ以上から前記ユーザーが前記表示部を見ているかどうかを判定し、
前記ユーザーが前記表示部を見ていないと判定した場合には、音声ガイダンスの出力を実行し、
前記ユーザーが前記表示部を見ていると判定した場合には前記入力音声に基づく音声ガイダンスの少なくとも一部の内容の音声出力を停止し、前記入力音声に基づくガイダンス情報を前記表示部に表示させ、
前記音声ガイダンスの音声出力を停止したときに、前記端末装置にガイダンス情報を送信する
画像形成システム。
前記制御部は、前記音声ガイダンスの音声出力を停止したときに、前記入力音声を基に表示用の前記ガイダンス情報を前記端末装置に送信する
請求項９に記載の画像形成システム。
前記制御部は、前記音声ガイダンスの音声出力を停止したときに、前記音声ガイダンスの音声データを前記端末装置に送信する
請求項９に記載の画像形成システム。