JP7318241B2 - 音声情報処理装置及びプログラム - Google Patents

Description

本発明は、音声情報処理装置及びプログラムに関する。

従来、複数言語により音声案内を行う音声案内装置において、予め制限された再生時間内に収まる範囲で必要なメッセージを全て出力するものが知られている（例えば特許文献１）。この従来技術では、再生時間が比較的長い標準パターンの案内メッセージと、再生時間が標準パターンよりも短い短縮パターンの案内メッセージとを予め準備しておき、日本語だけが選択されたときには標準パターンの案内メッセージを再生し、日本語と英語とが選択されたときには短縮パターンの案内メッセージを再生することにより、予め制限された再生時間で出力を完了できるようにしている。

ところで、近年は、ＡＩスピーカーなどと呼ばれる音声情報処理装置の普及が著しい。このような音声情報処理装置を使用すれば、ユーザーが音声で各種装置を操作したり、或いは、ユーザーが音声で質問をすることにより音声出力で回答を得たりすることができる。つまり、音声情報処理装置は、ユーザーがキーボードなどを手動操作する必要がないため、ユーザーの手が汚れているときや、手に荷物を持っているときでも、音声による対話形式でユーザーの質問に応じた回答を出力することができる。

特開２０１８－１８４３９号公報

しかしながら、ユーザーが音声による質問を行った場合、音声情報処理装置から出力される回答の出力時間が想定外に長くなり、ユーザーが音声による回答を最後まで聞くことができないケースが起こり得る。例えば、オフィスから外出する直前にユーザーが目的地までのルートやそのルートの混雑状況を質問した場合、音声情報処理装置は、ユーザーによって指定された目的地までのルートやそのルートの混雑状況を音声出力で回答する。目的地までのルートが複雑である場合や長い場合、音声情報処理装置から出力される回答の出力時間が長くなり、ユーザーが外出しなければならない時間までに音声出力が完了しないことがある。この場合、ユーザーは音声情報処理装置から出力される回答を最後まで聞くことができず、十分な情報を得ることができないという問題がある。

また、ユーザーが退社時間間際に音声情報処理装置に対して音声による質問を行った場合、音声情報処理装置が長時間に亘って回答を音声出力すると、退社時間を超過してしまうという問題もある。

特に、この種の音声情報処理装置は、インターネット上のクラウドなどに設置されるサーバーのＡＩなどを利用してユーザーの質問に応じた様々な回答を取得する。そのため、上述した特許文献１の従来技術のように予めパターン化した回答を用意しておくことができず、音声よるに回答の出力時間を一定の範囲に制限することができない。

本発明は、上記課題を解決するためになされたものであり、ユーザーの質問を受け付け、その質問に対する回答としてユーザーに十分な情報を提供でき、しかもユーザーが利用しやすい態様で情報提供できるようにした音声情報処理装置及びプログラムを提供することを目的とする。

上記目的を達成するため、請求項１に係る発明は、音声情報処理装置であって、ユーザーの質問を受け付ける受付手段と、前記受付手段で受け付けられた質問に対する回答情報を取得する回答取得手段と、前記回答情報を、音声出力を含む複数の出力態様で出力可能な出力手段と、ユーザーの状況に関する状況情報を取得する状況取得手段と、前記回答情報と前記状況情報とに基づき、前記複数の出力態様のうちから前記回答情報の出力態様を決定し、前記出力手段による出力態様を制御する出力制御手段と、を備え、前記状況情報には、ユーザーの予定に関する予定情報が含まれており、前記出力制御手段は、前記回答情報を音声出力する際の出力所要時間を算出すると共に、前記予定情報に基づいてユーザーの聴取可能時間を算出し、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とする構成である。

請求項２に係る発明は、請求項１の音声情報処理装置において、前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であり、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として印刷出力を決定することを特徴とする構成である。

請求項３に係る発明は、請求項１又は２の音声情報処理装置において、前記出力手段は、音声出力とは異なる出力態様として、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として前記情報処理端末に対する送信を決定することを特徴とする構成である。

請求項４に係る発明は、請求項３の音声情報処理装置において、前記出力手段は、ユーザーのアドレスに対して電子メールを送信することにより、前記回答情報を前記情報処理端末へ送信することを特徴とする構成である。

請求項５に係る発明は、請求項１乃至４のいずれかの音声情報処理装置において、前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であると共に、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長いと判定した場合、前記予定情報に含まれるユーザーの外出時間に基づいて、印刷出力と、前記情報処理端末への送信との少なくとも一方を前記回答情報の出力態様として決定することを特徴とする構成である。

請求項６に係る発明は、請求項１乃至５のいずれかの音声情報処理装置において、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合、音声出力とは異なる出力態様をユーザーに提示してユーザーによる操作を受け付け、ユーザーによる操作に基づいて音声出力とは異なる出力態様を決定することを特徴とする構成である。

請求項７に係る発明は、請求項１乃至６のいずれかの音声情報処理装置において、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも短い場合、前記回答情報の出力態様として音声出力を決定することを特徴とする構成である。

請求項８に係る発明は、請求項１乃至７のいずれかの音声情報処理装置において、前記出力制御手段は、前記回答情報に機密情報が含まれるか否かを判定し、前記回答情報に機密情報が含まれるときには前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とする構成である。

請求項９に係る発明は、請求項１乃至８のいずれかの音声情報処理装置において、ユーザーの音声に基づく声紋認証を行ってユーザーを特定する認証手段、を更に備え、前記状況取得手段は、前記認証手段によって特定されるユーザーに対応付けられている前記状況情報を取得することを特徴とする構成である。

請求項１０に係る発明は、音声出力を含む複数の出力態様で情報を出力可能な出力手段を備えるコンピュータにおいて実行されるプログラムであって、前記コンピュータを、ユーザーの質問を受け付ける受付手段、前記受付手段で受け付けられた質問に対する回答情報を取得する回答取得手段、ユーザーの状況に関する状況情報を取得する状況取得手段、及び、前記回答情報と前記状況情報とに基づき、前記複数の出力態様のうちから前記回答情報の出力態様を決定し、前記出力手段による出力態様を制御する出力制御手段、として機能させ、前記状況情報には、ユーザーの予定に関する予定情報が含まれており、前記出力制御手段は、前記回答情報を音声出力する際の出力所要時間を算出すると共に、前記予定情報に基づいてユーザーの聴取可能時間を算出し、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とする構成である。

請求項１１に係る発明は、請求項１０のプログラムにおいて、前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であり、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として印刷出力を決定することを特徴とする構成である。

請求項１２に係る発明は、請求項１０又は１１のプログラムにおいて、前記出力手段は、音声出力とは異なる出力態様として、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として前記情報処理端末に対する送信を決定することを特徴とする構成である。

請求項１３に係る発明は、請求項１２のプログラムにおいて、前記出力手段は、ユーザーのアドレスに対して電子メールを送信することにより、前記回答情報を前記情報処理端末へ送信することを特徴とする構成である。

請求項１４に係る発明は、請求項１０乃至１３のいずれかのプログラムにおいて、前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であると共に、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長いと判定した場合、前記予定情報に含まれるユーザーの外出時間に基づいて、印刷出力と、前記情報処理端末への送信との少なくとも一方を前記回答情報の出力態様として決定することを特徴とする構成である。

請求項１５に係る発明は，請求項１０乃至１４のいずれかのプログラムにおいて、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合、音声出力とは異なる出力態様をユーザーに提示してユーザーによる操作を受け付け、ユーザーによる操作に基づいて音声出力とは異なる出力態様を決定することを特徴とする構成である。

請求項１６に係る発明は、請求項１０乃至１５のいずれかのプログラムにおいて、前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも短い場合、前記回答情報の出力態様として音声出力を決定することを特徴とする構成である。

請求項１７に係る発明は、請求項１０乃至１６のいずれかのプログラムにおいて、前記出力制御手段は、前記回答情報に機密情報が含まれるか否かを判定し、前記回答情報に機密情報が含まれるときには前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とする構成である。

請求項１８に係る発明は、請求項１０乃至１７のいずれかのプログラムにおいて、前記コンピュータを、ユーザーの音声に基づく声紋認証を行ってユーザーを特定する認証手段、として更に機能させ、前記状況取得手段は、前記認証手段によって特定されるユーザーに対応付けられている前記状況情報を取得することを特徴とする構成である。

本発明によれば、ユーザーの質問を受け付け、その質問に対する回答としてユーザーに十分な情報を提供でき、しかもユーザーが利用しやすい態様で回答を提供することができるようになる。例えば、ユーザーが外出する直前に質問を行った場合であっても、ユーザーが外出するまでに回答を提供することができると共に、ユーザーが外出先でも利用できる態様で回答を提供することができる。

情報処理システムの全体的な構成例を示す図である。 音声情報処理装置がユーザーの音声による質問を受け付けてから回答を出力するまでの情報処理システムにおける動作例を示す図である。 音声情報処理装置のハードウェア構成を示す図である。 音声情報処理装置の機能構成を示すブロック図である。 予定情報の一例を示す図である。 判定情報の一例を示す図である。 判定情報の一例を示す図である。 音声情報処理装置による処理手順の一例を示すフローチャートである。 出力態様決定処理の詳細な処理手順の一例を示すフローチャートである。 第１状況判定処理の詳細な処理手順の一例を示すフローチャートである。 第２状況判定処理の詳細な処理手順の一例を示すフローチャートである。 第３状況判定処理の詳細な処理手順の一例を示すフローチャートである。

以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、それらについての重複する説明は省略する。

図１は、本発明の一実施形態である情報処理システム１の全体的な構成例を示す図である。この情報処理システム１は、ＭＦＰなどで構成される画像処理装置２と、パーソナルコンピュータ（ＰＣ）４、タブレット端末やスマートフォンなどで構成される携帯端末５と、質問に対する回答情報を生成する回答検索サーバー７と、ユーザーの状況や予定などを管理する管理サーバー８とを備え、これらがＬＡＮ（Local Area Network）などのネットワーク９を介して相互に通信可能な構成である。ＰＣ４及び携帯端末５はいずれもユーザーが持ち運ぶことができる情報処理端末６であり、予め充電しておくことにより移動中であっても使用することができる端末である。図１では、回答検索サーバー７及び管理サーバー８がユーザーのローカル環境に設置される場合を例示しているが、これに限られるものではなく、例えばインターネット上のクラウドに設置されるものであっても構わない。

画像処理装置２は、スキャン機能、プリント機能、コピー機能などの画像処理に関する複数の機能を備えており、各機能を動作させることによってジョブを実行する。例えば、画像処理装置２は、プリント機能を動作させることにより、印刷ジョブを実行し、用紙などのシートにテキストや画像を印刷して出力することができる。また画像処理装置２は、電子メール送信機能やユーザーが所持する携帯端末５と無線通信を行う機能を有している。

さらに画像処理装置２は、音声情報処理機能を備えており、ユーザーの音声による質問を受け付け、その質問に対応する回答情報を取得し、回答情報に基づく音声を出力することができる。すなわち、本実施形態の画像処理装置２は、音声情報処理装置３として機能する。以下においては、画像処理装置２を、音声情報処理装置３として説明する。

回答検索サーバー７は、音声情報処理装置３からの要求に基づき質問に対応する回答を検索し、その検索結果に基づく回答情報を生成して音声情報処理装置３へ出力するサーバーである。回答検索サーバー７は、ＡＩなどを利用してユーザーの質問に応じた様々な回答を取得する。例えば、回答検索サーバー７は、社内又は社外の様々なデータベースにアクセスし、ユーザーの質問に対する適切な回答を少なくとも１つ抽出し、その抽出した回答に基づいて回答情報を生成する。

管理サーバー８は、オフィス内の各ユーザーの在室状況や予定情報などを管理するサーバーである。管理サーバー８は、音声情報処理装置３からユーザーの状況に関する問い合わせを受け付けると、そのユーザーの状況を示す状況情報を生成し、音声情報処理装置３へ出力する。

図２は、音声情報処理装置３がユーザーの音声による質問を受け付けて回答を出力する際の情報処理システム１における動作例を示す図である。図２に示すように、音声情報処理装置３に対して音声による質問を行うとき、ユーザーは、音声情報処理装置３に対してログイン操作を行う（プロセスＰ１）。ユーザーによるログイン操作は、例えば予め定められたログイン用キーワードを音声で発することにより行われる。音声情報処理装置３は、ログイン用キーワードの音声入力を検知すると、声紋認証を行うことによってユーザーを特定する処理を行う。ユーザーを特定することができると、音声情報処理装置３は、動作状態をログイン状態へ移行させるログイン処理を行う（プロセスＰ２）。すなわち、音声情報処理装置３は、ログイン用キーワードを発声したユーザーをログインユーザーとして特定し、ログインユーザーの音声入力を受け付けるログイン状態へ移行させるのである。音声情報処理装置３がログイン状態へ移行することにより、ユーザーは、音声情報処理装置３に対して音声による質問を行うことができるようになる。

尚、ユーザーによるログイン操作は、音声による操作に限られない。例えばユーザーは、ユーザーＩＤやパスワードなどを手動操作で入力することによってログイン操作を行うようにしても良い。また音声情報処理装置３にカード情報読み取り機能が設けられている場合には、ユーザーが所持するカードに記録されている情報を音声情報処理装置３に読み取らせる操作を行うようにしても良い。さらに音声情報処理装置３に指紋や静脈などの生体情報を読み取る機能が設けられている場合には、ユーザーが自身の生体情報を音声情報処理装置３に読み取らせる操作を行うようにしても良い。

音声情報処理装置３がログイン状態へ移行すると、ユーザーは、音声情報処理装置３に向かって質問したい内容を音声で発することにより、音声情報処理装置３に質問を行うことができる（プロセスＰ３）。音声情報処理装置３は、ログイン状態へ移行すると、ログインユーザーの音声による質問を待機する状態となる。そしてログインユーザーの音声による質問を受け付けると、音声情報処理装置３は、その質問に対応する質問情報Ｄ１を生成し、質問情報Ｄ１を回答検索サーバー７へ送信する（プロセスＰ）。例えば、音声情報処理装置３は、ユーザーが発した音声情報をそのまま含む質問情報Ｄ１を生成するようにしても良いし、またユーザーが入力した質問内容をテキストデータに変換してテキストデータを含む質問情報Ｄ１を生成するようにしても良い。また、質問情報Ｄ１には、音声情報処理装置３の設置場所を示す位置情報が含まれる。

また音声情報処理装置３は、ログインユーザーの音声による質問を受け付けると、ログインユーザーの現在の状況を確認するため、管理サーバー８に対して状況問い合わせＤ２を送信する（プロセスＰ５）。

回答検索サーバー７は、音声情報処理装置３から質問情報Ｄ１を受信すると、質問情報Ｄ１に基づいて回答検索処理を行うことにより、ユーザーの質問に対応する適切な回答を取得する。例えば、ログインユーザーが「外の天気は？」という質問をした場合、回答検索サーバー７は、質問情報Ｄ１に含まれる位置情報に基づいて場所を特定し、その特定した場所の現在の天気を検索することにより、質問に対応する適切な回答を取得する。回答検索サーバー７は、質問に対応する適切な回答を取得すると、その回答に基づいて回答情報Ｄ３を生成する（プロセスＰ６）。この回答情報Ｄ３には、少なくともテキストデータが含まれる。また、回答情報Ｄ３には、テキストデータ以外のデータが含まれていても良い。テキストデータ以外のデータには、図や写真などの画像データが含まれる。例えば、ログインユーザーが外出する前に「目的地までのルートは？」という質問をした場合、回答検索サーバー７は、目的地までのルートを記述したテキストデータと、目的地までのルートを地図上に示した画像データとの双方を含む回答情報Ｄ３を生成しても良い。そして回答検索サーバー７は、回答情報Ｄ３を音声情報処理装置３へ送信する（プロセスＰ７）。

管理サーバー８は、音声情報処理装置３から状況問い合わせＤ２を受信すると、ログインユーザーの予定情報を抽出し、ログインユーザーの状況を示す状況情報Ｄ４を生成する（プロセスＰ８）。そして管理サーバー８は、状況情報Ｄ４を音声情報処理装置３へ送信する（プロセスＰ９）。状況情報Ｄ４には、少なくともログインユーザーに関する予定情報Ｄ５が含まれる。

音声情報処理装置３は、回答情報Ｄ３及び状況情報Ｄ４を取得すると、回答情報Ｄ３の出力態様を決定する処理を行う（プロセスＰ１０）。本実施形態の音声情報処理装置３は、主として、音声出力、印刷出力、及び、電子メール送信の３つの出力態様で回答情報Ｄ３を出力することが可能である。尚、電子メール送信に代えて、携帯端末５との無線通信による直接送信で回答情報Ｄ３を出力するようにしても良い。音声情報処理装置３は、回答情報Ｄ３と状況情報Ｄ４とに基づき、それら複数の出力態様のうちから、少なくとも１つの出力態様を決定する。そして音声情報処理装置３は、その決定した出力態様で回答情報Ｄ３を出力することにより、ログインユーザーに対して質問に対する回答を提供する（プロセスＰ１１）。

次に音声情報処理装置３の構成について説明する。図３は、音声情報処理装置３のハードウェア構成を示す図である。音声情報処理装置３は、制御部１０と、記憶装置１１と、操作パネル１２と、音声入力部１３と、スキャナ部１４と、音声出力部１５と、プリンタ部１６と、ネットワークインタフェース１７と、通信インタフェース１８とを備え、これらがバス２０を介して相互にデータの入出力を行うことができる構成である。

制御部１０は、ＣＰＵ１０ａとメモリ１０ｂとを備え、各部の動作を制御するものである。ＣＰＵ１０ａは、記憶装置１１に記憶されているプログラム２１を読み出して実行することにより、制御部１０を後述する各種の処理部として機能させる。メモリ１０ｂは、ＣＰＵ１０ａがプログラム２１を実行することによって発生又は取得する一時的なデータなどを記憶するためのものである。

記憶装置１１は、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などによって構成される不揮発性の記憶手段である。記憶装置１１には、ＣＰＵ１０ａによって実行されるプログラム２１が予めインストールされている。また、記憶装置１１には、ユーザー情報２２及び判定情報２３が予め記憶されている。ユーザー情報２２は、音声情報処理装置３を使用可能なユーザーに関する情報が予め登録された情報である。例えばユーザー情報２２には、各ユーザーのユーザーＩＤやパスワード、声紋情報、所属グループ、電子メールアドレスなどの情報が登録されている。判定情報２３は、回答情報Ｄ３の出力態様を決定する際に参照される情報である。この判定情報２３の詳細については後述する。

また記憶装置１１には、図示を省略しているが、音声操作用のキーワードも予め記憶される。音声操作用のキーワードは、ユーザーが音声操作でジョブの設定や実行指示を行うことができるようにするためのキーワードを登録した情報である。

操作パネル１２は、ユーザーが音声情報処理装置３を使用する際のユーザーインタフェースとなるものである。操作パネル１２は、ユーザーに対して各種情報を表示する表示部１２ａと、ユーザーによる手動操作を受け付ける操作部１２ｂとを有している。例えば、表示部１２ａは、カラー液晶ディスプレイによって構成される。また、操作部１２ｂは、表示部１２ａの画面上に配置されるタッチパネルキーなどによって構成される。

音声入力部１３は、マイクを備えており、ユーザーの音声を入力するためのものである。音声入力部１３は、ユーザーの音声を入力すると、その音声に対応する音声情報を制御部１０へ出力する。

スキャナ部１４は、原稿を光学的に読み取って画像データを生成するものである。

音声出力部１５は、スピーカーを備えており、ユーザーに対して音声出力を行うものである。例えば、回答情報Ｄ３の出力態様として音声出力を行うことを決定した場合、制御部１０は、音声出力部１５を駆動することにより、回答情報Ｄ３に応じた音声を出力する。

プリンタ部１６は、シートにテキストや画像などを印刷して出力するものである。例えば、回答情報Ｄ３の出力態様として印刷出力を行うことを決定した場合、制御部１０は、プリンタ部１６を駆動することにより、回答情報Ｄ３に含まれるテキストや画像をシートに印刷して出力する。

ネットワークインタフェース１７は、音声情報処理装置３をネットワーク９に接続するためのものである。制御部１０は、このネットワークインタフェース１７を介して回答検索サーバー７や管理サーバー８、ＰＣ４などと通信を行う。回答情報Ｄ３の出力態様として電子メール送信を行うことを決定した場合、制御部１０は、ログインユーザーのアドレスを送信先に指定した電子メールを生成し、ネットワークインタフェース１７を介して電子メールを送信する。

通信インタフェース１８は、例えばユーザーが所持する携帯端末５と一対一で無線通信を行うものである。例えば、通信インタフェース１８は、半径数メートル程度の通信可能範囲内にある携帯端末５を検知すると、その携帯端末５との無線による接続状態を確立し、制御部１０から出力される情報を携帯端末５に対して直接送信することができる。例えば、回答情報Ｄ３の出力態様として携帯端末５に対する直接送信を行うことを決定した場合、制御部１０は、通信インタフェース１８を介して、回答情報Ｄ３に含まれるテキストや画像を携帯端末５に対して直接送信する。

このように本実施形態の音声情報処理装置３は、回答情報Ｄ３を出力する出力手段として、音声出力部１５、プリンタ部１６、ネットワークインタフェース１７及び通信インタフェース１８の４つの出力手段１９を有している。

図４は、音声情報処理装置３の機能構成を示すブロック図である。制御部１０のＣＰＵ１０ａは、プログラム２１を実行することにより、制御部１０を、図４に示す各種の処理部として機能させる。すなわち、制御部１０は、ユーザー認証部３０、質問受付部３１、回答取得部３２、状況取得部３３、出力制御部３４、及び、回答出力部３５として機能する。また、回答出力部３５は、テキストを音声に変換して音声出力部１５へ出力する音声変換部３６と、テキストや画像がシートに印刷されるようにプリンタ部１６を駆動する印刷制御部３７と、電子メールを作成してネットワークインタフェース１７へ出力する電子メール処理部３８と、通信インタフェース１８を介して携帯端末５と通信を行う通信制御部３９とを有している。

ユーザー認証部３０は、音声情報処理装置３を使用するユーザーを認証する処理部である。ユーザー認証部３０は、音声入力部１３を介してユーザーの音声を入力すると、入力音声の声紋の特徴とユーザー情報２２の声紋情報とを照合することにより、声紋認証を行う。入力音声の声紋の特徴とユーザー情報２２の声紋情報とが一致すれば、ユーザーを特定することができるため、認証成功となる。声紋認証の結果、認証成功となれば、ユーザー認証部３０は、音声情報処理装置３の動作状態をログアウト状態からログイン状態へ移行させる。これにより、ユーザーは、音声情報処理装置３に対して音声で質問をすることができるようになる。尚、ユーザー認証部３０による認証形態は、声紋認証に限らず、パスワード認証、カード認証、生体認証などの他の認証形態であっても構わない。

質問受付部３１は、ログイン状態においてユーザーの音声による質問を受け付ける処理部である。音声入力部１３に対して音声が入力されると、質問受付部３１は、その入力音声が質問であるか否かを判定する。音声情報処理装置３がログイン状態へ移行すると、ユーザーは、画像処理装置２のスキャン機能やプリント機能などを利用してジョブを実行させることが可能であり、ジョブの設定や実行指示を音声操作で行うことができる。そのため、質問受付部３１は、入力音声が音声操作用のキーワードに一致するか否かを判断し、音声操作用のキーワードに一致すれば、入力音声が質問ではないと判定する。この場合、入力音声は、画像処理装置２の機能として搭載されているジョブ制御部（図示省略）において音声操作として解釈され、入力音声に応じた処理が行われる。これに対し、入力音声が音声操作用のキーワードに一致しなかった場合、質問受付部３１は、入力音声が質問であると判定する。

質問受付部３１は、入力音声を質問として受け付けると、入力音声に基づく質問情報Ｄ１を生成する。このとき、質問受付部３１は、上述したように、入力音声の音声情報をそのまま含む質問情報Ｄ１を生成しても良いし、また入力音声をテキストデータに変換してテキストデータを含む質問情報Ｄ１を生成しても良い。質問受付部３１は、質問情報Ｄ１を生成すると、その質問情報Ｄ１を回答取得部３２へ出力すると共に、状況取得部３３に対してログインユーザーの状況を示す状況情報Ｄ４の取得を要求する。

回答取得部３２は、質問受付部３１から質問情報Ｄ１を取得すると、その質問情報Ｄ１を回答検索サーバー７へ送信することにより、回答検索サーバー７に対して質問に対する回答を要求する。そして回答取得部３２は、回答検索サーバー７から回答情報Ｄ３を取得する。この回答情報Ｄ３には、少なくともテキストデータが含まれている。また、回答情報Ｄ３には、テキストデータに加えて、画像データが含まれていることもある。回答取得部３２は、回答情報Ｄ３を取得すると、その回答情報Ｄ３を出力制御部３４へ出力する。

状況取得部３３は、質問受付部３１においてログインユーザーの質問が受け付けられることに伴い、ログインユーザーを指定した状況問い合わせＤ２を管理サーバー８へ送信する。そして状況取得部３３は、管理サーバー８からログインユーザーの状況を示す状況情報Ｄ４を取得する。この状況情報Ｄ４には、上述したようにログインユーザーに関する予定情報Ｄ５が含まれる。

図５は、予定情報Ｄ５の一例を示す図である。図５に示すように、予定情報Ｄ５は、ログインユーザー（ユーザーＡ）の一日の行動予定を記録した情報である。図５に示す予定情報Ｄ５では、１０時から１１時まで会議室Ａで会議の予定があり、１２時から１６時まで外出の予定があり、更に１７時から１８時まで会議室Ｂで会議の予定ある例を示している。また予定情報Ｄ５においてログインユーザーの外出予定が記録されている場合、その外出予定には、目的地、目的地へ行くための移動時間及び移動手段、目的地での滞在時間、目的地から戻るための移動時間及び移動手段などの情報が含まれる。このような予定情報Ｄ５を参照すれば、回答情報Ｄ３を音声出力した場合にユーザーが回答情報Ｄ３を聞くことができる聴取可能時間を算出することができる。例えば、ユーザーが１１時５９分に質問を行った場合、その質問に対する回答を聞くことができる聴取可能時間は１分となる。

状況取得部３３は、上記のような予定情報Ｄ５を含む状況情報Ｄ４を取得すると、その状況情報Ｄ４を出力制御部３４へ出力する。

出力制御部３４は、回答情報Ｄ３の出力態様を決定し、回答出力部３５を制御する処理部である。出力制御部３４は、回答情報Ｄ３と状況情報Ｄ４とに基づき、複数の出力態様のうちから回答情報Ｄ３の出力態様を決定する。出力制御部３４は、記憶装置１１から判定情報２３を読み出し、判定情報２３に定められたルールに従って回答情報Ｄ３の出力態様を決定する。

図６Ａ及び図６Ｂは、判定情報２３の一例を示す図である。図６Ａは、回答情報Ｄ３の種類がテキストデータである場合を示しており、図６Ｂは、回答情報Ｄ３の種類が画像データである場合を示している。判定情報２３は、回答情報Ｄ３の種類、機密情報の有無、回答情報Ｄ３を音声出力した場合に出力が完了するまでに要する出力所要時間、及び、予定情報Ｄ５の内容、に基づいて出力態様を決定することができるテーブル情報となっている。

回答情報Ｄ３含まれるテキストデータは、音声情報に変換することにより、音声出力を行うことが可能なデータである。これに対し、回答情報Ｄ３に含まれる図や写真、地図などの画像データは、音声出力を行うことができないデータである。そのため、判定情報２３では、テキストデータと画像データとを区別して出力態様が対応付けられている。すなわち、テキストデータの出力態様には音声出力が含まれるのに対し、画像データの出力態様には音声出力が含まれない。

また回答検索サーバー７は、社内のデータベースにアクセスして質問に応じた回答を取得することが可能である。そのため、回答情報Ｄ３には、機密情報が含まれることがある。このような機密情報には、ユーザーごとにアクセス権限が設定されていることがあり、ログインユーザー以外のユーザーがアクセスできない情報が含まれることもある。したがって、回答情報Ｄ３に機密情報が含まれる場合、回答情報Ｄ３に基づく音声出力を行うと、ログインユーザー以外の周囲のユーザーに機密情報が漏れてしまう可能性がある。また、回答情報Ｄ３に基づく印刷出力を行う場合も同様であり、ログインユーザー以外のユーザーに印刷物が回収されてしまうと、機密情報が漏れてしまう可能性がある。そのため、判定情報２３では、回答情報Ｄ３に機密情報が含まれる場合、回答情報Ｄ３の出力態様として、電子メール送信を決定することが定められている。この点は、テキストデータ及び画像データのいずれであっても同様である。尚、電子メール送信の代わりに、携帯端末５に対する直接送信で回答情報Ｄ３を出力する態様を決定するようにしても良く、この点は、他の条件成立により回答情報Ｄ３の出力態様として電子メール送信が決定される場合も同様である。

また、回答情報Ｄ３に含まれるテキストデータに基づいて音声出力を行う場合に音声出力を開始してから終了するまでの時間（出力所要時間Ｔｘ）が長くなると、ユーザーにとっては音声出力される内容を覚えきれず、回答情報Ｄ３に含まれる情報を有効活用できなくなることもある。そのため、図６Ａに示す判定情報２３では、音声出力を行う場合の出力所要時間Ｔｘが予め設定されている時間Ｔ１（以下、「設定時間Ｔ１」という。）以上であれば、音声出力を禁止し、回答情報Ｄ３の出力態様として、音声出力とは異なる出力態様を決定することが定められている。この場合の設定時間Ｔ１は、例えば５分程度の時間に予め設定される。ただし、この設定時間Ｔ１は、ユーザー又は音声情報処理装置３の管理者が適宜設定変更することが可能である。

出力所要時間Ｔｘが設定時間Ｔ１以上である場合、判定情報２３では、ログインユーザーの予定情報Ｄ５に基づいて、音声出力を除く複数の出力態様のうちから回答情報Ｄ３の出力態様を決定することが定められている。例えば、ログインユーザーのその後の予定に外出や会議の予定がない場合、回答情報Ｄ３の出力態様として、電子メール送信を決定することが定められている。また、ログインユーザーのその後の予定に外出や会議の予定がある場合は、電子メール送信、及び、印刷出力のうちのいずれか１つの出力態様を決定することが定められている。

ログインユーザーのアドレスに対して回答情報Ｄ３が電子メールとして送信されることにより、ユーザーは、外出先又は会議へ出発した後であっても、自身の情報処理端末６を利用して電子メールを受信することにより、回答情報Ｄ３に含まれる情報を有効活用することができる。また、電子メール送信の代わりに、携帯端末５に対して回答情報Ｄ３が直接送信される場合も同様である。

ただし、情報処理端末６に予め充電しておいた電力が尽きてしまうと、情報処理端末６が起動しなくなるため、ユーザーは外出中や会議中に回答情報Ｄ３に含まれる情報を利用することができなくなる。特にユーザーの外出時間（会議時間を含む）が長くなると、情報処理端末６に予め充電しておいた電力が尽きてしまう可能性が高くなる。そこで、図６Ａに示す判定情報２３では、ログインユーザーの外出時間（会議時間を含む）及びログインユーザーのいる環境が充電可能環境であるか否かに応じて印刷出力を行うか否かが定められている。すなわち、判定情報２３では、外出時間（会議時間）が所定時間Ｔ２以上であり、且つ、ユーザーが情報処理端末６を充電することができる環境にいないときに、回答情報Ｄ３の出力態様として印刷出力を行うことが定められている。回答情報Ｄ３を印刷出力しておけば、情報処理端末６が起動しなくなっても、印刷物に印刷された回答情報Ｄ３を参照することにより、回答情報Ｄ３に含まれる情報を利用することができるからである。これに対し、外出時間（会議時間）が所定時間Ｔ２未満である場合、或いは、外出時間（会議時間）が所定時間Ｔ２以上であってもユーザーが情報処理端末６を充電することができる環境にいる場合には、情報処理端末６の電力が尽きてしまう可能性が低いため、回答情報Ｄ３の出力態様として電子メール送信が決定される。尚、この場合の所定時間Ｔ２は、適宜設定可能であり、例えば５時間程度に予め設定される。

一方、音声出力の出力所要時間Ｔｘが設定時間Ｔ１未満である場合、ユーザーは音声出力される内容を覚えておくことができる。そのため、回答情報Ｄ３の出力態様を決定する際の候補として音声出力が含まれる。しかしながら、質問をしたログインユーザーのその後の予定に外出や会議などの予定がある場合、ログインユーザーが外出先や会議へ出発するまでの残り時間が短いと、音声出力される内容を最後まで聞くことができなくなることが起こり得る。そのため、図６Ａに示す判定情報２３では、出力所要時間Ｔｘが設定時間Ｔ１未満である場合にもログインユーザーの予定情報Ｄ５に基づいて出力態様を決定することが定められている。例えば、ログインユーザーに外出や会議の予定がない場合、回答情報Ｄ３の出力態様として音声出力を決定することが定められている。これに対し、ログインユーザーに外出や会議の予定がある場合、ログインユーザーが出発するまでに音声出力される回答情報Ｄ３の内容を最後まで聴取することができるか否かに応じて音声出力を行うか否かが決定される。

図６Ａの例では、ログインユーザーが回答情報Ｄ３の内容を最後まで聴取することが可能である場合、回答情報Ｄ３の出力態様として、音声出力を決定することが定められている。ただし、この場合は、回答情報Ｄ３の音声出力に加えて、電子メール送信を付加的に行うようにしても良い。

また、ログインユーザーが出発するまでに回答情報Ｄ３の内容を最後まで聴取することができない場合、判定情報２３では、回答情報Ｄ３の出力態様として、音声出力以外の出力態様を決定することが定められている。すなわち、この場合は回答情報Ｄ３の出力態様として、電子メール送信、及び、印刷出力のうちのいずれか１つの出力態様が決定される。例えば、回答情報Ｄ３に基づく印刷出力を行うか否かは、上述した出力所要時間Ｔｘが設定時間Ｔ１以上である場合と同様に、ログインユーザーの外出時間（会議時間を含む）及びログインユーザーのいる環境が充電可能環境であるか否かに応じて決定される。

また、回答情報Ｄ３に画像データが含まれる場合、その画像データの出力態様は、図６Ｂに示す判定情報２３に基づいて決定される。画像データに機密情報が含まれていない場合、図６Ｂに示す判定情報２３では、ログインユーザーの予定情報Ｄ５に基づいて、メール送信、及び、印刷出力のうちからいずれか１つの出力態様が決定される。例えば、ログインユーザーのその後の予定に外出や会議の予定がない場合、回答情報Ｄ３の出力態様として、電子メール送信を決定することが定められている。また、ログインユーザーのその後の予定に外出や会議の予定がある場合は、電子メール送信、及び、印刷出力のうちのいずれか１つの出力態様を決定することが定められている。例えば、回答情報Ｄ３に基づく印刷出力を行うか否かは、テキストデータの場合と同様に、ログインユーザーの外出時間（会議時間を含む）及びログインユーザーのいる環境が充電可能環境であるか否かに応じて決定される。

図４に戻り、出力制御部３４は、上述した判定情報２３に基づいて回答情報Ｄ３の出力態様を決定する。出力制御部３４は、回答情報Ｄ３からテキストデータを抽出し、そのテキストデータに基づく音声出力を行う場合の出力所要時間Ｔｘを算出する。例えば、出力制御部３４は、テキストデータに含まれるテキスト（文字列）の長さと、音声の再生速度とに基づいて出力所要時間Ｔｘを算出する。その出力所要時間Ｔｘが設定時間Ｔ１未満であれば、回答情報Ｄ３に基づく音声出力が、決定される出力態様の候補として残る。また出力制御部３４は、ログインユーザーの予定情報Ｄ５を参照し、ログインユーザーのその後の予定に外出や会議などの予定がある場合にはログインユーザーが出発するまでの残り時間に基づいてログインユーザーの聴取可能時間Ｔｈを算出する。そして出力制御部３４は、出力所要時間Ｔｘと聴取可能時間Ｔｈとに基づき、ログインユーザーが回答情報Ｄ３に基づく音声出力を最後まで聴取可能であるか否かを判断する。その結果、ログインユーザーが回答情報Ｄ３に基づく音声出力を最後まで聴取可能であれば、回答情報Ｄ３の出力態様として回答情報Ｄ３に基づく音声出力を行うことを決定する。このとき、出力制御部３４は、音声出力以外の出力態様を付加的に行うことを決定するようにしても良い。

これに対し、ユーザーが回答情報Ｄ３に基づく音声出力を最後まで聴取することができない場合、出力制御部３４は、回答情報Ｄ３の出力態様として音声出力以外の出力態様を決定する。このとき、出力制御部３４は、ログインユーザーの予定情報Ｄ５に基づき、ユーザーの外出時間（会議時間を含む）や外出先が充電可能環境であるか否かを判断し、その判断結果に応じて出力態様を決定する。充電可能環境であるか否かは、ユーザーが利用する移動手段や目的地に基づいて判断することができる。例えば、日本の新幹線などのように、ユーザーが利用する移動手段に電源プラグの差込口が設けられている場合には充電可能環境として判断する。また、ユーザーが訪問する目的地に電源プラグの差込口が設けられている場合にも充電可能環境として判断する。これに対し、移動手段や目的地に電源プラグの差込口が設けられていない場合、或いは、電源プラグの差込口が設けられているか否かが不明である場合、充電不可能な環境として判断する。

また出力制御部３４は、テキストデータに機密情報が含まれるか否かを判断する。例えば出力制御部３４は、テキストデータに機密情報であることを示す所定の文字列が含まれるか否かを判断し、所定の文字列が含まれていればテキストデータに機密情報が含まれると判断する。テキストデータに機密情報が含まれる場合、出力制御部３４は、そのテキストデータの出力態様として、電子メール送信又は携帯端末５への直接送信を決定する。尚、テキストデータに機密情報が含まれるか否かの判断手法は、上述した手法に限られるものではない。

また、回答情報Ｄ３に画像データが含まれる場合、出力制御部３４は、その画像データの出力態様を、図６Ｂの判定情報２３に基づいて決定する。このときも、出力制御部３４は、画像データに機密情報が含まれるか否かを判断する。例えば、出力制御部３４は、画像データに機密情報であることを示すウォーターマークやスタンプ画像などが含まれるか否かを判断し、ウォーターマークやスタンプ画像などが含まれていれば画像データに機密情報が含まれると判断する。画像データに機密情報が含まれる場合、出力制御部３４は、その画像データの出力態様として、電子メール送信を決定する。また、画像データに機密情報が含まれない場合、出力制御部３４は、ログインユーザーの予定情報Ｄ５を参照し、ログインユーザーのその後の予定に外出や会議などの予定があるか否かを判断し、外出や会議などの予定があれば、さらにユーザーの外出時間（会議時間を含む）や外出先が充電可能環境であるか否かを判断する。そして出力制御部３４は、その判断結果に応じて電子メール送信、及び、印刷出力のうちのいずれか１つの出力態様を決定する。尚、画像データに機密情報が含まれるか否かの判断手法は、上述した手法に限られるものではない。

出力制御部３４は、回答情報Ｄ３の出力態様として、音声出力を行うことを決定した場合、音声変換部３６に対して回答情報Ｄ３を出力する。この場合、音声変換部３６は、回答情報Ｄ３に含まれるテキストデータを音声情報に変換して音声出力部１５へ出力する。これにより、回答情報Ｄ３に含まれるテキストデータに対応する音声が音声出力部１５から出力されるようになる。

また、出力制御部３４は、回答情報Ｄ３の出力態様として、印刷出力を行うことを決定した場合、印刷制御部３７に対して回答情報Ｄ３を出力する。この場合、印刷制御部３７は、回答情報Ｄ３に含まれるテキストデータ及び画像データに基づいて印刷データを生成し、その印刷データをプリンタ部１６へ出力する。これにより、プリンタ部１６において、回答情報Ｄ３に含まれるテキストデータ及び画像データに基づく印刷出力が行われるようになる。

また、出力制御部３４は、回答情報Ｄ３の出力態様として、電子メール送信を行うことを決定した場合、電子メール処理部３８に対して回答情報Ｄ３を出力する。この場合、電子メール処理部３８は、ユーザー情報２２を参照することによってログインユーザーの電子メールアドレスを取得し、そのアドレスを送信先に指定した電子メールを作成する。そして電子メール処理部３８は、作成した電子メールに回答情報Ｄ３を添付して送信する。これにより、ネットワークインタフェース１７を介して回答情報Ｄ３が添付された電子メールがログインユーザーのアドレスに送信されるようになる。

尚、出力制御部３４は、回答情報Ｄ３の出力態様として、電子メール送信の代わりに、携帯端末５に対して直接送信することを決定した場合、通信制御部３９に対して回答情報Ｄ３を出力する。この場合、通信制御部３９は、通信インタフェース１８を介してログインユーザーが所持する携帯端末５に対して回答情報Ｄ３を直接送信する。

次に音声情報処理装置３において行われる具体的な処理手順の一例について説明する。図７乃至図１０は、音声情報処理装置３による処理手順の一例を示すフローチャートである。この処理手順は、制御部１０のＣＰＵ１０ａがプログラム２１を実行することによって行われる処理である。まず図７に示すように、音声情報処理装置３は、ユーザーの音声入力を検知すると（ステップＳ１０）、入力音声に基づく声紋認証を行い（ステップＳ１１）、ユーザーを特定する（ステップＳ１２）。ユーザーを特定することができると、音声情報処理装置３は、動作状態をログイン状態へ移行させる（ステップＳ１３）。これにより、ユーザーは音声情報処理装置３に対して音声で質問を行うことができるようになる。

音声情報処理装置３は、動作状態をログイン状態へ移行させると、ユーザーの音声による質問を受け付ける（ステップＳ１４）。尚、ユーザーの質問は必ずしも音声入力によるものでなく、ユーザーが操作パネル１２を手動操作することによって入力されるものであっても良い。ユーザーによる手動操作であっても、音声情報処理装置３は、ステップＳ１４においてユーザーにより入力される質問を受け付ける。質問を受け付けると、音声情報処理装置３は、質問情報Ｄ１を生成し（ステップＳ１５）、その質問情報Ｄ１を回答検索サーバー７へ送信することにより、回答検索サーバー７から回答情報Ｄ３を取得する（ステップＳ１６）。また、音声情報処理装置３は、質問に対応する回答情報Ｄ３を取得する処理と並行して、管理サーバー８に状況問い合わせＤ２を送信することにより、管理サーバー８からログインユーザーに関する状況情報Ｄ４を取得する（ステップＳ１７）。

音声情報処理装置３は、回答情報Ｄ３及び状況情報Ｄ４を取得すると、出力態様決定処理を行う（ステップＳ１８）。この処理は、上述した出力制御部３４によって行われる処理であり、回答情報Ｄ３及び状況情報Ｄ４に基づき、回答情報Ｄ３を出力する際の出力態様を決定する処理である。すなわち、回答情報Ｄ３の出力態様として、音声出力、印刷出力及び電子メール送信のうちから少なくとも１つの出力態様が決定される。そして音声情報処理装置３は、ステップＳ１８で決定した出力態様に基づき、回答情報Ｄ３を出力する回答出力処理を行う（ステップＳ１９）。

上記のような処理手順により、音声情報処理装置３は、ユーザーからの音声による質問を受け付けて質問に対する回答情報Ｄ３を取得し、その回答情報Ｄ３をユーザーに対して適切な態様で提供することができるようになる。

図８は、出力態様決定処理（ステップＳ１８）の詳細な処理手順の一例を示すフローチャートである。音声情報処理装置３は、出力態様決定処理を開始すると、まず回答情報Ｄ３からテキストデータを抽出する（ステップＳ２０）。音声情報処理装置３は、そのテキストデータに機密情報が含まれるか否かを判断し（ステップＳ２１）、機密情報が含まれる場合には（ステップＳ２１でＹＥＳ）、回答情報Ｄ３に含まれるテキストデータの出力態様として電子メール送信又は携帯端末５への直接送信を決定する（ステップＳ２２）。このとき、音声情報処理装置３は、電子メール送信による出力態様に代えて、携帯端末５への直接送信による出力態様を決定するようにしても良い。例えば、音声情報処理装置３は、電子メール送信と携帯端末５への直接装置とをユーザーに提示し、ユーザーによる選択操作を受け付け、ユーザーが携帯端末５への直接送信を選択した場合に電子メール送信に代えて携帯端末５への直接送信を決定するようにしても良い。また、ユーザーによって複数の出力態様が選択されれば、音声情報処理装置３は、それら複数の出力態様を決定しても良い。

これに対し、テキストデータに機密情報が含まれない場合（ステップＳ２１でＮＯ）、音声情報処理装置３は、回答情報Ｄ３に基づく音声出力を行った場合に音声出力が完了するまでに要する出力所要時間Ｔｘを算出する（ステップＳ２３）。そして音声情報処理装置３は、その出力所要時間Ｔｘが予め定められている設定時間Ｔ１以上であるか否かを判断する（ステップＳ２４）。

出力所要時間Ｔｘが設定時間Ｔ１以上である場合（ステップＳ２４でＹＥＳ）、音声情報処理装置３は、第１状況判定処理を実行する（ステップＳ２５）。この第１状況判定処理では、音声出力が完了するまでに長時間を要することから回答情報Ｄ３に基づく音声出力が禁止され、管理サーバー８から取得した状況情報Ｄ４に基づいて音声出力を除く複数の出力態様のうちから少なくとも１つの出力態様が決定される。尚、この第１状況判定処理の詳細については後述する。

また、出力所要時間Ｔｘが設定時間Ｔ１未満である場合（ステップＳ２４でＮＯ）、音声情報処理装置３は、第２状況判定処理を実行する（ステップＳ２６）。この第２状況判定処理では、回答情報Ｄ３に基づく音声出力が許容されており、管理サーバー８から取得した状況情報Ｄ４に基づいてユーザーが音声出力を最後まで聴取可能であるか否かが判断され、その判断結果に応じて、音声出力を含む複数の出力態様のうちから少なくとも１つの出力態様が決定される。尚、この第２状況判定処理の詳細についても後述する。

次に音声情報処理装置３は、回答情報Ｄ３に画像データが含まれているか否かを判断する（ステップＳ２７）。画像データが含まれていない場合（ステップＳ２７でＮＯ）、出力態様決定処理が終了する。これに対し、画像データが含まれている場合（ステップＳ２７でＹＥＳ）、音声情報処理装置３は、画像データに機密情報が含まれるか否かを判断し（ステップＳ２８）、機密情報が含まれる場合には（ステップＳ２８でＹＥＳ）、回答情報Ｄ３に含まれる画像データの出力態様として電子メール送信を決定する（ステップＳ２９）。このときも、音声情報処理装置３は、電子メール送信による出力態様に代えて、携帯端末５への直接送信による出力態様を決定するようにしても良い。

これに対し、画像データに機密情報が含まれていない場合（ステップＳ２８でＮＯ）、音声情報処理装置３は、第３状況判定処理を実行する（ステップＳ３０）。この第３状況判定処理では、管理サーバー８から取得した状況情報Ｄ４に基づいて音声出力を除く複数の出力態様のうちから少なくとも１つの出力態様が決定される。尚、この第３状況判定処理の詳細については後述する。以上で、出力態様決定処理が終了する。

図９は、第１状況判定処理（ステップＳ２５）の詳細な処理手順の一例を示すフローチャートである。音声情報処理装置３は、第１状況判定処理を開始すると、まず回答情報Ｄ３に基づく音声出力を禁止する（ステップＳ４０）。これにより、回答情報Ｄ３の出力態様の候補から音声出力が除外される。そして音声情報処理装置３は、ログインユーザーの予定情報Ｄ５を参照し、ログインユーザーのその後の予定として外出予定（会議予定を含む）が登録されているか否かを判断する（ステップＳ４１）。その結果、外出予定が登録されていない場合（ステップＳ４１でＮＯ）、音声情報処理装置３は、テキストデータの出力態様として、音声出力を除く複数の出力態様のうちから電子メール送信を決定する（ステップＳ４２）。このとき、音声情報処理装置３は、電子メール送信による出力態様に代えて、携帯端末５への直接送信による出力態様を決定するようにしても良い。

一方、外出予定が登録されている場合（ステップＳ４１でＹＥＳ）、音声情報処理装置３は、ログインユーザーの予定情報Ｄ５に基づいて外出時間Ｔｚを判定し（ステップＳ４３）、ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上であるか否かを判断する（ステップＳ４４）。ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上である場合（ステップＳ４４でＹＥＳ）、音声情報処理装置３は、ログインユーザーの移動先が充電可能環境であるか否かを判断する（ステップＳ４５）。ログインユーザーの外出時間Ｔｚが所定時間Ｔ２未満である場合（ステップＳ４４でＮＯ）、又は、ログインユーザーの移動先が充電可能環境である場合（ステップＳ４５でＹＥＳ）、音声情報処理装置３は、テキストデータの出力態様として、電子メール送信を決定する（ステップＳ４６）。このときも、音声情報処理装置３は、電子メール送信による出力態様に代えて、携帯端末５への直接送信による出力態様を決定するようにしても良い。

また、ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上であり（ステップＳ４４でＹＥＳ）、且つ、ログインユーザーの移動先が充電可能環境でない場合（ステップＳ４５でＮＯ）、音声情報処理装置３は、テキストデータの出力態様として、印刷出力を行うことを決定する（ステップＳ４７）。テキストデータの印刷出力を行っておくことにより、ユーザーの外出中に仮に情報処理端末６の電力が尽きてしまったとしても、ユーザーは印刷物を持参することにより回答情報Ｄ３に含まれる情報を利用することができる。以上で、第１状況判定処理が終了する。

次に図１０は、第２状況判定処理（ステップＳ２６）の詳細な処理手順の一例を示すフローチャートである。音声情報処理装置３は、第２状況判定処理を開始すると、まずログインユーザーの予定情報Ｄ５を参照し、ログインユーザーのその後の予定として外出予定（会議予定を含む）が登録されているか否かを判断する（ステップＳ５０）。その結果、外出予定が登録されていない場合（ステップＳ５０でＮＯ）、音声情報処理装置３は、テキストデータの出力態様として、音声出力を行うことを決定する（ステップＳ５１）。

一方、外出予定が登録されている場合（ステップＳ５０でＹＥＳ）、音声情報処理装置３は、内部の時計回路が計時している現在時刻Ｔｒを取得する（ステップＳ５２）。また音声情報処理装置３は、ログインユーザーの予定情報Ｄ５に基づき、ログインユーザーの出発予定時刻Ｔｓを取得する（ステップＳ５３）。そして音声情報処理装置３は、現在時刻Ｔｒと出発予定時刻Ｔｓとに基づき、ログインユーザーが出発までに音声出力を聞くことができる聴取可能時間Ｔｈを算出する（ステップＳ５４）。例えば、音声情報処理装置３は、現在時刻Ｔｒと、ログインユーザーの出発予定時刻Ｔｓとの差分を聴取可能時間Ｔｈとして算出する。そして音声情報処理装置３は、出力所要時間Ｔｘと聴取可能時間Ｔｈとを比較することによりログインユーザーが最後まで回答情報Ｄ３に基づく音声出力を聞くことができるか否かを判断する（ステップＳ５５）。すなわち、ログインユーザーの聴取可能時間Ｔｈが出力所要時間Ｔｘ以上である場合、音声情報処理装置３は、ログインユーザーが最後まで音声出力を聞くことができると判断する。これに対し、出力所要時間Ｔｘがログインユーザーの聴取可能時間Ｔｈよりも長い場合には、ログインユーザーが最後まで音声出力を聞くことができないと判断する。

ログインユーザーが音声出力を最後まで聴取可能である場合（ステップＳ５５でＹＥＳ）、音声情報処理装置３は、テキストデータの出力態様として、音声出力を行うことを決定する（ステップＳ５６）。これにより、ユーザーの質問に対する回答が音声で出力されるようになる。

これに対し、ログインユーザーが音声出力を最後まで聴取することができない場合（ステップＳ５５でＮＯ）、音声情報処理装置３は、ログインユーザーの外出時間Ｔｚを判定し（ステップＳ５７）、所定時間Ｔ２以上であるか否かを判断する（ステップＳ５８）。ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上である場合（ステップＳ５８でＹＥＳ）、音声情報処理装置３は、ログインユーザーの移動先が充電可能環境であるか否かを判断する（ステップＳ５９）。ログインユーザーの外出時間Ｔｚが所定時間Ｔ２未満である場合（ステップＳ５８でＮＯ）、又は、ログインユーザーの移動先が充電可能環境である場合（ステップＳ５９でＹＥＳ）、音声情報処理装置３は、テキストデータの出力態様として、電子メール送信を決定する（ステップＳ６０）。このとき、音声情報処理装置３は、電子メール送信に代えて、携帯端末５への直接送信を決定するようにしても良い。

また、ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上であり（ステップＳ５８でＹＥＳ）、且つ、ログインユーザーの移動先が充電可能環境でない場合（ステップＳ５９でＮＯ）、音声情報処理装置３は、テキストデータの出力態様として、印刷出力を行うことを決定する（ステップＳ６１）。テキストデータの印刷出力を行っておくことにより、ユーザーの外出中に仮に情報処理端末６の電力が尽きてしまったとしても、ユーザーは印刷物を持参することにより回答情報Ｄ３に含まれる情報を利用することができる。以上で、第２状況判定処理が終了する。

次に図１１は、第３状況判定処理（ステップＳ３０）の詳細な処理手順の一例を示すフローチャートである。音声情報処理装置３は、第３状況判定処理を開始すると、ログインユーザーの予定情報Ｄ５を参照し、ログインユーザーのその後の予定として外出予定（会議予定を含む）が登録されているか否かを判断する（ステップＳ７０）。その結果、外出予定が登録されていない場合（ステップＳ７０でＮＯ）、音声情報処理装置３は、画像データの出力態様として、音声出力を除く複数の出力態様のうちから電子メール送信を決定する（ステップＳ７１）。このとき、音声情報処理装置３は、電子メール送信による出力態様に代えて、携帯端末５への直接送信による出力態様を決定するようにしても良い。

一方、外出予定が登録されている場合（ステップＳ７１でＹＥＳ）、音声情報処理装置３は、ログインユーザーの予定情報Ｄ５に基づいて外出時間Ｔｚを判定し（ステップＳ７２）、ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上であるか否かを判断する（ステップＳ７３）。ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上である場合（ステップＳ７３でＹＥＳ）、音声情報処理装置３は、ログインユーザーの移動先が充電可能環境であるか否かを判断する（ステップＳ７４）。ログインユーザーの外出時間Ｔｚが所定時間Ｔ２未満である場合（ステップＳ７３でＮＯ）、又は、ログインユーザーの移動先が充電可能環境である場合（ステップＳ７４でＹＥＳ）、音声情報処理装置３は、画像データの出力態様として、電子メール送信を決定する（ステップＳ７５）。このときも、音声情報処理装置３は、電子メール送信による出力態様に代えて、携帯端末５への直接送信による出力態様を決定するようにしても良い。

また、ログインユーザーの外出時間Ｔｚが所定時間Ｔ２以上であり（ステップＳ７３でＹＥＳ）、且つ、ログインユーザーの移動先が充電可能環境でない場合（ステップＳ７４でＮＯ）、音声情報処理装置３は、画像データの出力態様として、印刷出力を行うことを決定する（ステップＳ７６）。画像データの印刷出力を行っておくことにより、ユーザーの外出中に仮に情報処理端末６の電力が尽きてしまったとしても、ユーザーは印刷物を持参することにより回答情報Ｄ３に含まれる情報を利用することができる。以上で、第３状況判定処理が終了する。

音声情報処理装置３は、上記のような処理を行うことにより、質問を行ったユーザーに対し、情報を有効活用することができる態様で回答情報Ｄ３を提供することができる。例えば、ユーザーが外出する直前に質問した場合、音声情報処理装置は、ユーザーが回答を最後まで聴取することができるか否かを判断し、最後まで聴取することができるのであれば、回答情報Ｄ３に基づく音声出力を行う。これに対し、ユーザーが最後まで回答を聴取することができないのであれば、音声情報処理装置３は、音声出力を行うことなく、電子メール送信、又は、印刷出力といった出力態様で回答情報Ｄ３をユーザーに提供する。したがって、ユーザーは、音声情報処理装置３から取得した回答を外出先でも有効に利用することができる。

また、音声情報処理装置３は、出力所要時間Ｔｘが予め定められた設定時間Ｔ１以上である場合にも、音声出力を行うことなく、電子メール送信、又は、印刷出力といった出力態様で回答情報Ｄ３をユーザーに提供する。そのため、ユーザーは、音声情報処理装置３から提供される回答情報Ｄ３の内容を覚える必要がなく、いつでも回答情報Ｄ３を参照することが可能であり、回答情報Ｄ３に含まれる情報を有効に活用することができるという利点もある。

以上、本発明に関する好ましい実施形態について説明した。しかし、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。

例えば、上記実施形態では、ＭＦＰなどの画像処理装置２が音声情報処理装置３として機能する例を説明した。しかし、音声情報処理装置３は、画像処理装置２の一部として設けられるものに限られず、それ単体で構成されるものであっても構わない。例えば音声情報処理装置３は、上述したプログラム２１を一般的なコンピュータにおいて実行させることによって実現することも可能である。この場合、画像処理装置２と音声情報処理装置３とは、ネットワーク９を介して互いに接続される。そのため、音声情報処理装置３は、回答情報Ｄ３の出力態様として印刷出力を行うことを決定すると、回答情報Ｄ３に基づく印刷ジョブを生成し、ネットワーク９を介してその印刷ジョブを画像処理装置２へ送信することにより、画像処理装置２に印刷出力を行わせるようにすれば良い。

また上記実施形態では、回答検索サーバー７が音声情報処理装置３とは別に設けられる例を説明した。しかし、上述した回答検索サーバー７の機能は、音声情報処理装置３に内蔵されていても構わない。

また上記実施形態では、音声情報処理装置３が管理サーバー８へ問い合わせを行うことにより、ログインユーザーに関する状況情報Ｄ４を管理サーバー８から取得する例を説明した。しかし、質問を行ったユーザーの状況情報Ｄ４を取得する手法はこれに限られない。例えば、音声情報処理装置３は、ユーザーの音声による質問を受け付けた場合に、そのユーザーに対して今後の予定などを質問し、ユーザーによる状況情報Ｄ４の更なる入力を受け付けるようにしても良い。この場合、ユーザーは、自身の予定などを音声で入力するようにしても良いし、手動操作で入力するようにしても良い。

また上記実施形態では、音声情報処理装置３がオフィスに設置されることを想定した例について説明した。しかし、上述した音声情報処理装置３は、オフィス用に限られず、一般家庭用として用いることも可能である。

さらに上記実施形態では、制御部１０のＣＰＵ１０ａによって実行されるプログラム２１が予め記憶装置１１に格納されている場合を例示した。しかし、プログラム２１は、例えばネットワークインタフェース１７や通信インタフェース１８などを介して音声情報処理装置３にインストールされたり、或いは、アップデートされたりするものであっても構わない。この場合、プログラム２１は、インターネットなどを介してダウンロード可能な態様で提供される。また、これに限らず、プログラム２１は、ＣＤ－ＲＯＭやＵＳＢメモリなどのコンピュータ読み取り可能な記録媒体に記録された態様で提供されるものであっても構わない。

１ 情報処理システム
２ 画像処理装置
３ 音声情報処理装置
６ 情報処理端末
７ 回答検索サーバー
８ 管理サーバー
１５ 音声出力部（出力手段）
１６ プリンタ部（出力手段）
１７ ネットワークインタフェース（出力手段）
１８ 通信インタフェース（出力手段）
１９ 出力手段
２１ プログラム
２３ 判定情報
３０ ユーザー認証部（認証手段）
３１ 質問受付部（受付手段）
３２ 回答取得部（回答取得手段）
３３ 状況取得部（状況取得手段）
３４ 出力制御部（出力制御手段）
３５ 回答出力部

Claims (18)

1. ユーザーの質問を受け付ける受付手段と、
   前記受付手段で受け付けられた質問に対する回答情報を取得する回答取得手段と、
   前記回答情報を、音声出力を含む複数の出力態様で出力可能な出力手段と、
   ユーザーの状況に関する状況情報を取得する状況取得手段と、
   前記回答情報と前記状況情報とに基づき、前記複数の出力態様のうちから前記回答情報の出力態様を決定し、前記出力手段による出力態様を制御する出力制御手段と、
   を備え、
   前記状況情報には、ユーザーの予定に関する予定情報が含まれており、
   前記出力制御手段は、前記回答情報を音声出力する際の出力所要時間を算出すると共に、前記予定情報に基づいてユーザーの聴取可能時間を算出し、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とする音声情報処理装置。
2. 前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であり、
   前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として印刷出力を決定することを特徴とする請求項１に記載の音声情報処理装置。
3. 前記出力手段は、音声出力とは異なる出力態様として、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、
   前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として前記情報処理端末に対する送信を決定することを特徴とする請求項１又は２に記載の音声情報処理装置。
4. 前記出力手段は、ユーザーのアドレスに対して電子メールを送信することにより、前記回答情報を前記情報処理端末へ送信することを特徴とする請求項３に記載の音声情報処理装置。
5. 前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であると共に、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、
   前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長いと判定した場合、前記予定情報に含まれるユーザーの外出時間に基づいて、印刷出力と、前記情報処理端末への送信との少なくとも一方を前記回答情報の出力態様として決定することを特徴とする請求項１乃至４のいずれかに記載の音声情報処理装置。
6. 前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合、音声出力とは異なる出力態様をユーザーに提示してユーザーによる操作を受け付け、ユーザーによる操作に基づいて音声出力とは異なる出力態様を決定することを特徴とする請求項１乃至５のいずれかに記載の音声情報処理装置。
7. 前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも短い場合、前記回答情報の出力態様として音声出力を決定することを特徴とする請求項１乃至６のいずれかに記載の音声情報処理装置。
8. 前記出力制御手段は、前記回答情報に機密情報が含まれるか否かを判定し、前記回答情報に機密情報が含まれるときには前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とする請求項１乃至７のいずれかに記載の音声情報処理装置。
9. ユーザーの音声に基づく声紋認証を行ってユーザーを特定する認証手段、
   を更に備え、
   前記状況取得手段は、前記認証手段によって特定されるユーザーに対応付けられている前記状況情報を取得することを特徴とする請求項１乃至８のいずれかに記載の音声情報処理装置。
10. 音声出力を含む複数の出力態様で情報を出力可能な出力手段を備えるコンピュータにおいて実行されるプログラムであって、前記コンピュータを、
    ユーザーの質問を受け付ける受付手段、
    前記受付手段で受け付けられた質問に対する回答情報を取得する回答取得手段、
    ユーザーの状況に関する状況情報を取得する状況取得手段、及び、
    前記回答情報と前記状況情報とに基づき、前記複数の出力態様のうちから前記回答情報の出力態様を決定し、前記出力手段による出力態様を制御する出力制御手段、
    として機能させ、
    前記状況情報には、ユーザーの予定に関する予定情報が含まれており、
    前記出力制御手段は、前記回答情報を音声出力する際の出力所要時間を算出すると共に、前記予定情報に基づいてユーザーの聴取可能時間を算出し、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とするプログラム。
11. 前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であり、
    前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として印刷出力を決定することを特徴とする請求項１０に記載のプログラム。
12. 前記出力手段は、音声出力とは異なる出力態様として、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、
    前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合に、前記回答情報の出力態様として前記情報処理端末に対する送信を決定することを特徴とする請求項１０又は１１に記載のプログラム。
13. 前記出力手段は、ユーザーのアドレスに対して電子メールを送信することにより、前記回答情報を前記情報処理端末へ送信することを特徴とする請求項１２に記載のプログラム。
14. 前記出力手段は、音声出力とは異なる出力態様として、前記回答情報に基づく印刷出力を行うことが可能であると共に、ユーザーの情報処理端末に対して前記回答情報を送信することが可能であり、
    前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長いと判定した場合、前記予定情報に含まれるユーザーの外出時間に基づいて、印刷出力と、前記情報処理端末への送信との少なくとも一方を前記回答情報の出力態様として決定することを特徴とする請求項１０乃至１３のいずれかに記載のプログラム。
15. 前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも長い場合、音声出力とは異なる出力態様をユーザーに提示してユーザーによる操作を受け付け、ユーザーによる操作に基づいて音声出力とは異なる出力態様を決定することを特徴とする請求項１０乃至１４のいずれかに記載のプログラム。
16. 前記出力制御手段は、前記出力所要時間が前記聴取可能時間よりも短い場合、前記回答情報の出力態様として音声出力を決定することを特徴とする請求項１０乃至１５のいずれかに記載のプログラム。
17. 前記出力制御手段は、前記回答情報に機密情報が含まれるか否かを判定し、前記回答情報に機密情報が含まれるときには前記回答情報の出力態様として音声出力とは異なる出力態様を決定することを特徴とする請求項１０乃至１６のいずれかに記載のプログラム。
18. 前記コンピュータを、
    ユーザーの音声に基づく声紋認証を行ってユーザーを特定する認証手段、
    として更に機能させ、
    前記状況取得手段は、前記認証手段によって特定されるユーザーに対応付けられている前記状況情報を取得することを特徴とする請求項１０乃至１７のいずれかに記載のプログラム。

Images