JPH07302351A - 画像・音声応答装置及び画像・音声応答方法 - Google Patents

画像・音声応答装置及び画像・音声応答方法

Info

Publication number
JPH07302351A
JPH07302351A JP6119514A JP11951494A JPH07302351A JP H07302351 A JPH07302351 A JP H07302351A JP 6119514 A JP6119514 A JP 6119514A JP 11951494 A JP11951494 A JP 11951494A JP H07302351 A JPH07302351 A JP H07302351A
Authority
JP
Japan
Prior art keywords
voice
user
image
response
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6119514A
Other languages
English (en)
Inventor
Hiroshi Hamada
博志 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6119514A priority Critical patent/JPH07302351A/ja
Publication of JPH07302351A publication Critical patent/JPH07302351A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Processing Or Creating Images (AREA)
  • Document Processing Apparatus (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【目的】 人間の代役として機能して、快適なオフィス
ワークを可能とする画像・音声応答装置及び画像・音声
応答方法を提供することを目的とする。 【構成】 人物画像をコンピュータ・グラフィックスま
たは自然画像によって表示手段に表示し、使用者の音声
に含まれる言語情報を認識し、その認識結果に対応した
応答内容を音声出力すると同時に、前記表示手段に表示
された前記人物画像の口元の部分を該音声出力に応じて
動かすようにする。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、例えばオフィス・オー
トメーション（ＯＡ）機器として使用され、使用者の話
す言葉を理解し、使用者に対して能動的に情報を提供す
る画像・音声応答装置及び画像・音声応答方法に関す
る。
【０００２】
【従来の技術】従来より、情報機器あるいは事務機器等
のＯＡ機器は、オフィスにおける人間の作業補助に提供
されるものであった。
【０００３】例えば、人間の頭脳労働に最も近いとされ
るコンピュータでは、近年のパソコンや「ＷＩＮＤＯＷ
Ｓ」（マイクロソフト社の登録商標）に代表されるよう
に、使用者に対してより多くの参照／作業画面を提供し
たり、あるいは、より多種のいわゆる「マルチメディ
ア」情報を表示したりすることが可能となり、より良き
書庫、ライブラリーの方向を主眼に技術追求が進行して
いる。
【０００４】
【発明が解決しようとする課題】しかしながら、従来の
ＯＡ機器では、「人間の代役になる進化したＯＡ機器」
を目指すものではなく、あくまで「人間の作業環境を良
くする機械」として作製されているため、オフィスにお
ける人間の機械操作が依然として多く残されており、快
適なオフィスワークの観点からは未だ満足のいくもので
はなかった。
【０００５】本発明は上記従来の問題点に鑑み、人間の
代役として機能して、快適なオフィスワークを可能とす
る画像・音声応答装置及び画像・音声応答方法を提供す
ることを目的とする。
【０００６】
【課題を解決するための手段】上記目的を達成するため
に本発明の画像・音声応答装置は、使用者の音声に含ま
れる言語情報を認識する音声認識手段と、該音声認識手
段の認識結果に対応した応答内容を音声出力する音声応
答手段と、画像／文書情報を表示する表示手段とを備え
た画像・音声応答装置であって、前記表示手段にコンピ
ュータ・グラフィックスまたは自然画像によって人物画
像を表示し、前記表示手段に表示された前記人物画像の
口元の部分を前記音声応答手段からの音声出力に応じて
動かすようにしたものである。
【０００７】上述の画像・音声応答装置において、前記
人物画像が複数種類記憶された人物画像記憶手段を有
し、これらの人物画像の中から使用者が選択した人物画
像を前記表示手段に表示するようにしてもよい。
【０００８】上述の画像・音声応答装置において、装置
近傍に使用者が物理的に存在することを検知する使用者
検知手段を有し、該使用者検知手段により使用者が検知
された時に前記表示手段への前記人物画像の表示をオン
し、使用者が検知されない時には該人物画像の表示をオ
フするようにしてもよい。
【０００９】上述の画像・音声応答装置において、使用
者の発する音声により前記人物画像の前記表示手段への
表示をオンし、該音声が途切れて所定時間経過後に前記
表示をオフするようにしてもよい。
【００１０】上述の画像・音声応答装置において、前記
使用者検知手段を、使用者の存在する方角を検知し得る
構成にし、該使用者検知手段によって検知された方角に
前記表示手段の表示面を向けるようにしてもよい。
【００１１】上述の画像・音声応答装置において、使用
者の音声レベルを検知する音声レベル検知手段を有し、
前記音声応答手段は、前記音声レベル検知手段の検知結
果に応じた音声レベルで前記応答内容を音声出力するよ
うにしてもよい。
【００１２】上述の画像・音声応答装置において、使用
者の声紋パターンが登録された声紋登録手段と、使用者
の声紋を分析する声紋分析手段と、前記声紋分析手段の
分析結果が前記声紋登録手段中の声紋パターンに一致す
るか否かを判定する判定手段と、前記判定手段により一
致すると判定されたときは前記音声応答手段による音声
出力を許可し、不一致と判定されたときは前記音声応答
手段による音声出力を禁止する応答制御手段とを備える
ようにしてもよい。
【００１３】上述の画像・音声応答装置において、前記
声紋パターンの前記声紋登録手段への登録時に、登録用
音声を出力する登録音声出力手段と、前記登録用音声に
習って使用者が発した音声の声紋パターンを前記声紋登
録手段へ登録する登録制御手段とを備えるようにしても
よい。
【００１４】上記目的を達成するために本発明の画像・
音声応答方法は、人物画像をコンピュータ・グラフィッ
クスまたは自然画像によって表示手段に表示し、使用者
の音声に含まれる言語情報を認識し、その認識結果に対
応した応答内容を音声出力すると同時に、前記表示手段
に表示された前記人物画像の口元の部分を該音声出力に
応じて動かすようにしたものである。
【００１５】
【作用】上記構成により本発明の画像・音声応答装置に
よれば、音声認識手段が使用者の音声に含まれる言語情
報を認識し、音声応答手段は該音声認識手段の認識結果
に対応した応答内容を音声出力する。そして、表示手段
に人物画像を表示し、この表示手段に表示された前記人
物画像の口元の部分を前記音声応答手段からの音声出力
に応じて動かすようにする。これにより、例えば人間の
秘書と対話しているかのような雰囲気で、使用者は口頭
だけのわずかな指示で、資料の検索等を行える。
【００１６】また、人物画像記憶手段の中から使用者が
選択した人物画像を表示手段に表示することにより、使
用者の好みで人物画像を表示させることができる。
【００１７】また、使用者検知手段により使用者が検知
された時に表示手段への人物画像の表示をオンし、使用
者が検知されない時には該人物画像の表示をオフするよ
うにすることにより、装置近傍に使用者が存在するとき
のみ装置を動作させることができる。
【００１８】また、使用者の発する音声により人物画像
の表示手段への表示をオンし、該音声が途切れて所定時
間経過後に前記表示をオフすることにより、不要のとき
は動作を停止することができる。
【００１９】また、使用者検知手段によって検知された
方角に表示手段の表示面を向けることにより、使用者は
例えばオフィス内での移動を拘束されない。
【００２０】また、音声応答手段は、音声レベル検知手
段の検知結果に応じた音声レベルで応答内容を音声出力
することにより、使用者は適正な音声レベルで装置と対
話することができる。
【００２１】また、声紋分析手段は使用者の声紋を分析
し、判定手段はその分析結果が声紋登録手段中の声紋パ
ターンに一致するか否かを判定し、応答制御手段は一致
すると判定されたときに音声応答手段による音声出力を
許可し、不一致と判定されたときに音声応答手段による
音声出力を禁止することにより、装置内の情報の機密性
が保持される。
【００２２】また、登録音声出力手段は声紋パターンの
声紋登録手段への登録時に登録用音声を出力し、登録制
御手段は、その登録用音声に習って使用者が発した音声
の声紋パターンを前記声紋登録手段へ登録する。これに
より、簡易かつ的確に使用者の声紋パターンを登録する
ことができる。
【００２３】また、本発明の画像・音声応答方法によれ
ば、人物画像を表示手段に表示し、使用者の音声に含ま
れる言語情報を認識し、その認識結果に対応した応答内
容を音声出力すると同時に、前記表示手段に表示された
前記人物画像の口元の部分を該音声出力に応じて動か
す。これにより、例えば人間の秘書と対話しているかの
ような雰囲気で、使用者は口頭だけのわずかな指示で、
資料の検索等を行える。
【００２４】
【実施例】以下、図面を参照して本発明の実施例を説明
する。
【００２５】図１は、本発明に係る画像・音声応答装置
の一実施例の概略構成を示すブロック図である。
【００２６】この画像・音声応答装置は、高度に自動化
されたマンマシンインターフェイスを備えたコンピュー
タ装置で構成され、オフィス内の秘書ロボット（以下、
仮想秘書という）として使用されるものであり、使用者
の口頭指令を解釈して自動的に事務処理を行うものであ
る。
【００２７】図中１は、装置全体の動作を制御するＣＰ
Ｕ部であり、このＣＰＵ部１にはバスライン２を介し
て、ファイル部３、通信部４、操作盤５、音声入力部
６、音声出力部７、及び映像表示部８が相互接続されて
いる。
【００２８】ファイル部３は、ＲＡＭ等で構成され、テ
キストデータ、画像データ（静止画や動画）、音声デー
タ、使用者の声紋パターン、及び電話帳データ等の各種
データが保存される。保存される画像データとして複数
種の秘書の人物画像（以下、秘書画像という）も含まれ
る。秘書画像としては、自然画像（写真／ムービ画像）
や、コンピュータ・グラフィックスで作成されたアニメ
ーションなどによる人物像や、その他架空のキャラクタ
画像等が用いられ、さらにこの秘書画像用の衣服画像
も、女性、男性用にビジネス風やフォーマルなものなど
各種が保存されている。また、音声データとして女性、
男性用に数種の音声パターンが保存され、さらに使用者
に面識のある人物の情報も随時追加登録されている。
【００２９】通信部４は、通信回線４Ａへ出力される送
信画データの変調及び通信回線４Ａからのアナログデー
タを復調するモデムや、回線の切り換えを行う網制御ユ
ニット（ＮＣＵ）などを有している。
【００３０】操作盤５は各種操作スイッチ等から構成さ
れ、また、使用者の口頭指示を採取する音声入力部６に
は、より良く使用者の音声を拾い上げるために指向性の
集音マイクが用いられ、また周囲の雑音をカットするフ
ィルタ機構なども備えられている。さらに、音声入力部
６には特定話者方式等の音声認識装置が備えられ、該音
声認識装置は、マイク等で採取した使用者の音声に含ま
れる言語情報を認識し、コンピュータが扱えるテキスト
文などのコード情報に変換する。
【００３１】音声出力部７は、音声応答装置やスピー
カ、音声レベル検知手段等で構成され、ファイル部３に
記憶されているテキスト文などの情報（応答内容）を音
声応答装置により音声化し、スピーカによって出力す
る。ここで、音声レベル検知手段は、使用者の音声レベ
ルを検知するものであり、音声出力部７は、前記音声レ
ベル検知手段の検知結果に応じた音声レベルでスピーカ
より音声出力するようになっている。
【００３２】また、映像表示部８には、液晶表示装置等
で構成され、コンピュータ・グラフィックスまたは自然
画像による秘書画像が表示されるほか、文書が表示され
る。
【００３３】そして、ＣＰＵ部１には、制御プログラム
等が格納されるＲＯＭ、演算結果等が記憶されるＲＡＭ
や、使用者検知センサ１Ａなどが接続されている入力回
路、出力回路等が備えられ，制御プログラム従って次の
ような各種制御を行う。
【００３４】使用者検知センサ１Ａは、装置近傍に使用
者が物理的に存在することを検知するものであり、オフ
ィス内の所定箇所に設置されている。ＣＰＵ部１は、使
用者検知センサ１Ａにより使用者の存在が検知された時
に映像表示部８への秘書画像を表示をオンし、使用者が
検知されない時には該秘書画像の表示をオフする。ま
た、使用者が音声を発しているときには、秘書画像の映
像表示部８への表示をオンし、該音声が途切れて所定時
間経過後にはその表示をオフする。さらに、秘書画像の
口元の部分を音声出力手段７からの音声出力に応じて動
かすようにされる。
【００３５】また、ＣＰＵ部１は、音声入力部６から入
力された使用者の声紋を分析し、その分析結果が前記フ
ァイル３中の声紋パターンに一致するか否かを判定し、
一致すると判定されたときは、音声出力部７による音声
出力を許可し、不一致と判定されたときはその音声出力
を禁止する。
【００３６】また、本装置には、図示しないが画像リー
ダやプリンタ、光学式文字読取り装置（ＯＣＲ）等のコ
ンピュータ周辺機器が接続されている。
【００３７】図２は、本実施例における仮想秘書の作動
時の状態を示す概念図ある。
【００３８】図中１１は使用者であり、使用者１１は椅
子１２に座って仮想秘書における映像表示部８の表示画
面１３に対峙している。すなわち、使用者検知センサ１
Ａにより使用者の存在する方角が検知され、これによっ
て回転台１４上で表示画面１３が回転して使用者１１の
方角に向くようになっている。
【００３９】この表示画面１３はケーブル１５を通して
電気的に装置本体１６に接続され、この装置本体１６か
らは通信回線１７が引き出されている。
【００４０】そして、表示画面１３には、秘書画像が表
示され、その口元の部分は音声出力手段７からの音声出
力に合わせて動き、あたかも人間の秘書と対話している
かのような雰囲気で、使用者は口頭だけのわずかな指示
で、資料の検索等の事務処理が行われる。
【００４１】このように、本実施例の仮想秘書は、使用
者とのインターフェースを「コンピュータが画面上に作
り出す仮想の秘書画像」と「音声による会話」とによっ
て行う。なお、仮想秘書と使用者の音声による会話の最
中において、仮想秘書は常に最大の音声方向に自身の表
示画面１３と集音マイクとスピーカとが向くようにコン
トロールを行い、使用者のオフィス内での位置移動に追
従する。
【００４２】次に、本実施例の仮想秘書を用いた事務処
理例を説明する。
【００４３】まず、仮想秘書の初期設定として、（１）
秘書画像の設定、（２）仮想秘書の発する音声の質の設
定、（３）音声レベルの設定、（４）仮想秘書の呼び名
の設定、（５）使用者の声紋の登録、を行う。
【００４４】（１）の秘書画像の設定については、ファ
イル部３に登録されている複数種の人物画像を表示画面
１３に表示して、使用者に音声入力や操作盤５により選
択させる。例えば、使用者が男性の場合には女性の映像
サンプル、また使用者が女性の場合には男性の映像サン
プルを自動的に表示画面１３に表示して使用者の好みの
映像を選択できるようにする。また、複数個の秘書画像
を選び、これを一日の時刻毎や、日替わり、月替わりで
切り換えて使用してもよい。
【００４５】さらに、秘書に着せる衣服も同様に、ファ
イル部３の中から使用者の好みのものを選択させる。
【００４６】そして、例えば表示画面１３に秘書画像と
衣服画像とを合成して着替えさせ、表示しながら使用者
に好みの組み合わせを選択させることにより、最終的な
秘書画像を設定する。
【００４７】（２）の仮想秘書の発する音声の質の設定
については、ファイル部３に登録されている数種の音声
パターンを仮想秘書が音声出力部７を通して音声出力
し、使用者に好みのものを選択させる。具体的には、設
定した秘書画像の女性、男性の区別に応じて、女性用音
声サンプル及び男性用音声サンプルをメニューとして複
数個、仮想秘書側が発声し、これを使用者に選択させる
ようにする。
【００４８】（３）の音声レベルの設定は、最適な音声
の大きさはオフィスの広さ、使用者個々の聴覚能力など
によって異なる点を考慮して行われるもので、具体的に
は仮想秘書側が特定の単語や文章を連続的に発声し、こ
れに対して使用者側が、「より大きく」あるいは「より
小さく」の調整指示を口頭で出す形で行われる。また、
操作盤５より該調整指示を出すようにしてもよい。
【００４９】（４）の仮想秘書の呼び名の設定について
は、使用者側から特定名の指定を行うことで設定する。
具体的には、使用者側からの音声による単語入力や、操
作盤５より入力することで行われる。また、ファイル部
３に予め複数の呼び名を登録しておき、その中から使用
者が選択するようにしてもよい。本実施例では、仮想秘
書に「マリリン」という呼び名が与えられている。
【００５０】（５）の使用者の声紋の登録は、登録した
声紋以外の声の人間には応答しないことで装置内に蓄え
られた情報の機密性を保護する目的、また特定話者方式
の音声認識を用いる場合にこの登録された音声サンプル
を使用する目的で行われる。
【００５１】具体的には、装置側より先導して発声（登
録用音声）し、使用者が同じ言葉を後に続けて発声する
形で使用者の声紋パターンをファイル部３に登録する。
【００５２】以上の初期設定が済み、使用者がオフィス
に出勤すると、仮想秘書は、使用者検知センサ１Ａによ
りオフィス内に人の気配をセンスし、動作開始状態とな
る。
【００５３】「おはよう、マリリン」の使用者の挨拶に
対して、声質の分析にて使用者と同一のものと確認する
と、「おはようございます。ＸＸＸＸ」の挨拶を返す。
【００５４】昨晩のうちに自動受信したＦＡＸや電子メ
ールの情報はファイル部３内に蓄えられていて、ＯＣＲ
によりテキストデータに変換されている。
【００５５】仮想秘書側から使用者へ能動的に「ＸＸＸ
Ｘ様よりＦＡＸが届いております。」、「ＸＸＸＸ様よ
りメールが届いております。」のコメントがなされる。
「読み上げてくれ」の口頭指示で仮想秘書はこれらのテ
キスト文を音声出力部７の音声応答置で音声変換して朗
読し始める。
【００５６】また、「スケジュール」と仮想秘書に口頭
指示すると、使用者の声紋を認識し、ファイル部３に登
録されている声紋データとの一致を見て自分の主人であ
ることを確認して、本日のスケジュール表データをファ
イル部３より引き出し、音声変換してこれを読み上げ
る。この時、面会相手の映像情報がファイル部３に登録
されていたら、同時にそれを表示画面１３に映し出す。
【００５７】「タイプ」と指示すると、仮想秘書は口述
ワープロの態勢に入る。以後、使用者の話す言葉が仮想
秘書に聞き取られ、音声認識装置によってテキストデー
タに変換されて、ファイル部３内に蓄えられる。
【００５８】さらに、「電話、ＸＸＸＸ君」と指示する
と、仮想秘書はファイル部３内の電話帳データから、Ｘ
ＸＸＸ氏の電話番号を検索し、通信部４のモデム機能を
持ちいて自動的にダイヤリングが行われる。そして、電
話がつながり、相手が出たところで使用者に対して、
「ＸＸＸＸ様とつながりました」の音声応答で合図す
る。
【００５９】その後、音声入力部６の集音マイクにて使
用者の話す音声信号を電話信号に流し込み、また、電話
相手の話す音声を音声出力部７のスピーカにて使用者へ
伝え、フリーハンドの電話会話が行われる。
【００６０】もし、ＸＸＸＸ氏の電話番号が前記電話帳
データに存在しないときには、「申し訳ありませんが、
お電話番号は？」と返答し、ここで使用者から電話番号
を口頭で入力してもらい、そこで、同上のダイヤリング
動作に入る。この電話番号は、以後、ファイル部３の電
話帳データに追加記憶され、その後の上記自動ダイヤリ
ングの電話帳データの１つに用いられる。
【００６１】また、「ＦＡＸ、ＸＸＸＸ君」と口頭指令
すると、ファイル部３内の電話帳データに登録している
ＸＸＸＸ氏のＦＡＸ番号を確認し、その後、「内容はど
うなさいますか？」の返答をする。これを受けて「口
述」の旨を指示すると、以後仮想秘書はヒアリングの態
勢に入り、使用者の話すことを聞き取り、これをテキス
トデータ化し、さらに文字画像にフォント展開後、ＦＡ
Ｘ画像として通信部４を通して先方（ＸＸＸＸ氏）へ伝
送する。
【００６２】さらに、「ファイル出せ」と口頭指令する
と、「タイトル、キーワードは？」と仮想秘書が聞き返
すので適当な単語を答える。既に作成、記憶されている
幾つかのデータを仮想秘書がファイル部３から取り出
し、「…でしょうか？」と照会するので、操作者はその
中から所望のものを選定すると、これを同様のＦＡＸ動
作で先方へ送る。
【００６３】「タイプ」と指示すると、以後、仮想秘書
はヒアリング態勢に入り、使用者の話すことを聞き取
り、テキストデータ化してファイル部３にファイルす
る。
【００６４】なお、本実施例において、使用者に対して
文書等の情報を表示画面１３に表示する場合は、表示画
面１３に秘書映像と情報とを表示することが必要になる
が、これには、（ａ）秘書画像と情報画像とを切替えて
表示する、（ｂ）映像表示部８に２通りの方式を表示す
る機能を備え、秘書画像と情報映像とを個別に表示す
る、（ｃ）１通りの方式で画面分割表示を行う、等の方
式が考えられる。
【００６５】（ｃ）の表示方式を採る場合は、パソコン
などで主流になりつつある「ＷＩＮＤＯＷＳ」方式の表
示法が有効である。
【００６６】また、秘書画像にリアル性を持たすべく、
３次元（３Ｄ）画像表示も有効なものとなる。この３Ｄ
画像表示は、原理的に左右の目にずれた視点の別々の画
像を与えるようにする。
【００６７】具体的には、表示画面１３に時分割で左右
の画像を表示し、変更ガラスや液晶シャッタの眼鏡を使
用して左右の目に別々の画像を取り込むメガネ式や、表
示画面１３全面にかまぼこ型レンズを備えるレンチキュ
ラ式、あるいは簡易タイプとして凹面鏡で中空に焦点を
合わせた投影表示などを用いる。
【００６８】オフィスで仮想秘書との対話のために使用
者にわざわざメガネを強いることは好ましくなく、無メ
ガネ方式が望ましい。
【００６９】
【発明の効果】以上詳細に説明したように、本発明の画
像・音声応答装置によれば、表示手段にコンピュータ・
グラフィックスまたは自然画像によって人物画像を表示
し、表示手段に表示された前記人物画像の口元の部分を
音声応答手段からの音声出力に応じて動かすようにした
ので、例えば人間の秘書と対話しているかのような雰囲
気で、使用者は口頭だけのわずかな指示で、資料の検索
等を行える。これにより、オフィス等における人間の機
械操作を大幅に省くことが可能となる。
【００７０】また、人物画像記憶手段の中から使用者が
選択した人物画像を表示手段に表示することにより、使
用者の好みで人物画像を表示させることが可能となる。
【００７１】また、使用者検知手段により使用者が検知
された時に表示手段への人物画像の表示をオンし、使用
者が検知されない時には該人物画像の表示をオフするよ
うにすることにより、装置近傍に使用者が存在するとき
のみ装置を動作させることができ、不要時の消費電力を
低減させることが可能となる。
【００７２】また、使用者の発する音声により人物画像
の表示手段への表示をオンし、該音声が途切れて所定時
間経過後に前記表示をオフすることにより、不要のとき
は動作を停止することができ、不要時の消費電力を低減
させることが可能となる。
【００７３】また、使用者検知手段によって検知された
方角に表示手段の表示面を向けることにより、使用者は
例えばオフィス内での移動を拘束されないで済む。
【００７４】また、音声応答手段は、音声レベル検知手
段の検知結果に応じた音声レベルで応答内容を音声出力
することにより、使用者は適正な音声レベルで装置と対
話することが可能となる。
【００７５】また、使用者の声紋パターンが登録された
声紋登録手段と、使用者の声紋を分析する声紋分析手段
と、前記声紋分析手段の分析結果が前記声紋登録手段中
の声紋パターンに一致するか否かを判定する判定手段
と、前記判定手段により一致すると判定されたときは音
声応答手段による音声出力を許可し、不一致と判定され
たときは前記音声応答手段による音声出力を禁止する応
答制御手段とを備えることにより、装置内の情報の機密
性を保持することが可能となる。
【００７６】また、前記声紋パターンの前記声紋登録手
段への登録時に、登録用音声を出力する登録音声出力手
段と、前記登録用音声に習って使用者が発した音声の声
紋パターンを前記声紋登録手段へ登録する登録制御手段
とを備えることにより、簡易かつ的確に使用者の声紋パ
ターンを登録することが可能となる。
【００７７】また、本発明の画像・音声応答方法によれ
ば、人物画像をコンピュータ・グラフィックスまたは自
然画像によって表示手段に表示し、使用者の音声に含ま
れる言語情報を認識し、その認識結果に対応した応答内
容を音声出力すると同時に、前記表示手段に表示された
前記人物画像の口元の部分を該音声出力に応じて動かす
ようにしたので、上記発明と同様の効果がある。
【図面の簡単な説明】
【図１】本発明に係る画像・音声応答装置の一実施例の
概略構成を示すブロック図である。
【図２】本実施例における仮想秘書の作動時の状態を示
す概念図ある。
【符号の説明】
１ ＣＰＵ部 １Ａ 使用者検知センサ ２ バスライン ３ ファイル部 ４ 通信部 ５ 操作盤 ６ 音声入力部 ７ 音声出力部 ８ 映像表示部 １１ 使用者 １３ 表示画面
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 3/00 Ｒ Ｓ ５３１ Ｌ C7.C8 ５７１ Ｈ Ｈ０４Ｍ 11/06

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 使用者の音声に含まれる言語情報を認識
    する音声認識手段と、該音声認識手段の認識結果に対応
    した応答内容を音声出力する音声応答手段と、画像／文
    書情報を表示する表示手段とを備えた画像・音声応答装
    置であって、 前記表示手段にコンピュータ・グラフィックスまたは自
    然画像によって人物画像を表示し、 前記表示手段に表示された前記人物画像の口元の部分を
    前記音声応答手段からの音声出力に応じて動かすように
    したことを特徴とする画像・音声応答装置。
  2. 【請求項２】 前記人物画像が複数種類記憶された人物
    画像記憶手段を有し、 これらの人物画像の中から使用
    者が選択した人物画像を前記表示手段に表示するように
    したことを特徴とする請求項１記載の画像・音声応答装
    置。
  3. 【請求項３】 装置近傍に使用者が物理的に存在するこ
    とを検知する使用者検知手段を有し、 該使用者検知手段により使用者が検知された時に前記表
    示手段への前記人物画像の表示をオンし、使用者が検知
    されない時には該人物画像の表示をオフするようにした
    ことを特徴とする請求項１または２記載の画像・音声応
    答装置。
  4. 【請求項４】 使用者の発する音声により前記人物画像
    の前記表示手段への表示をオンし、該音声が途切れて所
    定時間経過後に前記表示をオフすることを特徴とする請
    求項１記載の画像・音声応答装置。
  5. 【請求項５】 前記使用者検知手段を、使用者の存在す
    る方角を検知し得る構成にし、 該使用者検知手段によって検知された方角に前記表示手
    段の表示面を向けるようにしたことを特徴とする請求項
    ３記載の画像・音声応答装置。
  6. 【請求項６】 使用者の音声レベルを検知する音声レベ
    ル検知手段を有し、 前記音声応答手段は、 前記音声レベル検知手段の検知結果に応じた音声レベル
    で前記応答内容を音声出力するようにしたことを特徴と
    する請求項１記載の画像・音声応答装置。
  7. 【請求項７】 使用者の声紋パターンが登録された声紋
    登録手段と、 使用者の声紋を分析する声紋分析手段と、 前記声紋分析手段の分析結果が前記声紋登録手段中の声
    紋パターンに一致するか否かを判定する判定手段と、 前記判定手段により一致すると判定されたときは、前記
    音声応答手段による音声出力を許可し、不一致と判定さ
    れたときは前記音声応答手段による音声出力を禁止する
    応答制御手段とを備えたことを特徴とする請求項１記載
    の画像・音声応答装置。
  8. 【請求項８】 前記声紋パターンの前記声紋登録手段へ
    の登録時に、登録用音声を出力する登録音声出力手段
    と、 前記登録用音声に習って使用者が発した音声の声紋パタ
    ーンを前記声紋登録手段へ登録する登録制御手段とを備
    えたことを特徴とする請求項７記載の画像・音声応答装
    置。
  9. 【請求項９】 人物画像をコンピュータ・グラフィック
    スまたは自然画像によって表示手段に表示し、 使用者の音声に含まれる言語情報を認識し、 その認識結果に対応した応答内容を音声出力すると同時
    に、前記表示手段に表示された前記人物画像の口元の部
    分を該音声出力に応じて動かすことを特徴とする画像・
    音声応答方法。
JP6119514A 1994-05-09 1994-05-09 画像・音声応答装置及び画像・音声応答方法 Pending JPH07302351A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6119514A JPH07302351A (ja) 1994-05-09 1994-05-09 画像・音声応答装置及び画像・音声応答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6119514A JPH07302351A (ja) 1994-05-09 1994-05-09 画像・音声応答装置及び画像・音声応答方法

Publications (1)

Publication Number Publication Date
JPH07302351A true JPH07302351A (ja) 1995-11-14

Family

ID=14763161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6119514A Pending JPH07302351A (ja) 1994-05-09 1994-05-09 画像・音声応答装置及び画像・音声応答方法

Country Status (1)

Country Link
JP (1) JPH07302351A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110955A (ja) * 1994-07-08 1996-04-30 Microsoft Corp 動画化したキャラクタを伴う実社会型インターフェイスを有するソフトウェアプラットホーム
JPH09259063A (ja) * 1996-03-22 1997-10-03 Fujitsu Ltd データ送受信装置、データ送信装置及びデータ受信装置
EP0778560A3 (en) * 1995-12-06 1998-09-09 Telia Ab Device and method at speech synthesis
JPH10293791A (ja) * 1997-04-17 1998-11-04 Casio Comput Co Ltd 情報処理装置及び記憶媒体
JPH10293709A (ja) * 1997-04-18 1998-11-04 Casio Comput Co Ltd 情報処理装置及び記憶媒体
JPH11346267A (ja) * 1998-03-26 1999-12-14 Masanobu Kujirada 会話システム
JP2000349920A (ja) * 1999-06-01 2000-12-15 Interrobot Inc 意思伝達装置
JP2001125585A (ja) * 1999-08-31 2001-05-11 Swisscom Ltd 移動ロボット及び移動ロボットを制御する方法
JP2002024371A (ja) * 2000-07-11 2002-01-25 Sakaguchi Seisakusho:Kk 故人との仮想対話方法及びその装置
JP2002520664A (ja) * 1998-07-10 2002-07-09 ルノー・アンド・オスピー・スピーチ・プロダクツ・ナームローゼ・ベンノートシャープ 言語に依存しない音声認識
WO2002061560A1 (fr) * 2001-01-31 2002-08-08 Cai Co., Ltd Procede de commande de jeu de role et systeme pour cyberpersonnage
JP2002259303A (ja) * 2001-02-28 2002-09-13 Tsubasa System Co Ltd 情報伝達システム
JP2003005778A (ja) * 2001-06-21 2003-01-08 Niyuuzu Line Network Kk 音声認識ポータルシステム
JP2003099382A (ja) * 2001-09-20 2003-04-04 Sharp Corp コミュニケーションシステム及び情報処理プログラムを記録した記録媒体
JP2006048218A (ja) * 2004-08-02 2006-02-16 Advanced Media Inc 音声動画応答方法および音声動画応答システム
US7159009B2 (en) 1997-12-17 2007-01-02 Sony Corporation Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium
US7881524B2 (en) 2005-04-08 2011-02-01 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN103873808A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 数据处理的方法和装置
WO2015033523A1 (ja) * 2013-09-03 2015-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声対話制御方法
KR20160067025A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 인디케이터를 포함하는 무선제어장치
JP2018050161A (ja) * 2016-09-21 2018-03-29 公立大学法人首都大学東京 コミュニケーションシステム
JP2018180472A (ja) * 2017-04-21 2018-11-15 日本放送協会 制御装置、制御方法及び制御プログラム
JP2019133608A (ja) * 2018-02-02 2019-08-08 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020154356A (ja) * 2019-03-18 2020-09-24 コニカミノルタ株式会社 音声情報処理装置及びプログラム

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110955A (ja) * 1994-07-08 1996-04-30 Microsoft Corp 動画化したキャラクタを伴う実社会型インターフェイスを有するソフトウェアプラットホーム
EP0778560A3 (en) * 1995-12-06 1998-09-09 Telia Ab Device and method at speech synthesis
JPH09259063A (ja) * 1996-03-22 1997-10-03 Fujitsu Ltd データ送受信装置、データ送信装置及びデータ受信装置
JPH10293791A (ja) * 1997-04-17 1998-11-04 Casio Comput Co Ltd 情報処理装置及び記憶媒体
JPH10293709A (ja) * 1997-04-18 1998-11-04 Casio Comput Co Ltd 情報処理装置及び記憶媒体
US7159009B2 (en) 1997-12-17 2007-01-02 Sony Corporation Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium
JPH11346267A (ja) * 1998-03-26 1999-12-14 Masanobu Kujirada 会話システム
JP2002520664A (ja) * 1998-07-10 2002-07-09 ルノー・アンド・オスピー・スピーチ・プロダクツ・ナームローゼ・ベンノートシャープ 言語に依存しない音声認識
JP2000349920A (ja) * 1999-06-01 2000-12-15 Interrobot Inc 意思伝達装置
JP2001125585A (ja) * 1999-08-31 2001-05-11 Swisscom Ltd 移動ロボット及び移動ロボットを制御する方法
JP2002024371A (ja) * 2000-07-11 2002-01-25 Sakaguchi Seisakusho:Kk 故人との仮想対話方法及びその装置
WO2002061560A1 (fr) * 2001-01-31 2002-08-08 Cai Co., Ltd Procede de commande de jeu de role et systeme pour cyberpersonnage
JP2002259303A (ja) * 2001-02-28 2002-09-13 Tsubasa System Co Ltd 情報伝達システム
JP2003005778A (ja) * 2001-06-21 2003-01-08 Niyuuzu Line Network Kk 音声認識ポータルシステム
JP2003099382A (ja) * 2001-09-20 2003-04-04 Sharp Corp コミュニケーションシステム及び情報処理プログラムを記録した記録媒体
JP2006048218A (ja) * 2004-08-02 2006-02-16 Advanced Media Inc 音声動画応答方法および音声動画応答システム
US7881524B2 (en) 2005-04-08 2011-02-01 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN103873808A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 数据处理的方法和装置
CN103873808B (zh) * 2012-12-13 2017-11-07 联想(北京)有限公司 数据处理的方法和装置
JPWO2015033523A1 (ja) * 2013-09-03 2017-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声対話制御方法
WO2015033523A1 (ja) * 2013-09-03 2015-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声対話制御方法
JP2018169624A (ja) * 2013-09-03 2018-11-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声対話制御方法
KR20160067025A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 인디케이터를 포함하는 무선제어장치
JP2018050161A (ja) * 2016-09-21 2018-03-29 公立大学法人首都大学東京 コミュニケーションシステム
JP2018180472A (ja) * 2017-04-21 2018-11-15 日本放送協会 制御装置、制御方法及び制御プログラム
JP2019133608A (ja) * 2018-02-02 2019-08-08 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020154356A (ja) * 2019-03-18 2020-09-24 コニカミノルタ株式会社 音声情報処理装置及びプログラム

Similar Documents

Publication Publication Date Title
JPH07302351A (ja) 画像・音声応答装置及び画像・音声応答方法
JP6351562B2 (ja) 情報処理システム、受付サーバ、情報処理方法及びプログラム
US6377925B1 (en) Electronic translator for assisting communications
US8676562B2 (en) Communication support apparatus and method
KR101777807B1 (ko) 수화 번역기, 시스템 및 방법
KR102136706B1 (ko) 정보 처리 시스템, 접수 서버, 정보 처리 방법 및 프로그램
CN105518657B (zh) 信息处理设备、信息处理方法及计算机可读记录介质
JPS62239231A (ja) ***画像入力による音声認識方法
EP1382003A1 (en) Method and apparatus of managing information about a person
CN112860877A (zh) 客服作业处理方法、装置、电子设备及存储介质
KR20150128386A (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
KR20140078258A (ko) 대화 인식을 통한 이동 단말 제어 장치 및 방법, 회의 중 대화 인식을 통한 정보 제공 장치
CN110602334A (zh) 一种基于人机协同的智能外呼方法及***
KR101912083B1 (ko) 음성인식 인공지능 스마트 미러 ｔｖ 시스템
JP2003037826A (ja) 代理画像表示装置およびテレビ電話装置
CN110941965A (zh) 一种基于专业语言的即时翻译***
JPH08166866A (ja) 対話型インターフェースを具備した編集支援システム
CN114550174A (zh) 辅助阅读方法及装置
CN113851029A (zh) 一种无障碍通信方法和装置
CN112329563A (zh) 一种基于树莓派的智能阅读辅助方法及***
CN112333258A (zh) 一种智能客服方法、存储介质及终端设备
JPH04338817A (ja) 電子機器の制御装置及び制御方法
TWI723988B (zh) 資訊處理系統、受理伺服器、資訊處理方法及程式
CN112764549B (zh) 翻译方法、装置、介质和近眼显示设备
CN113780013A (zh) 一种翻译方法、设备和可读介质

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040511