JP3644955B2 - 会話装置、会話親機装置、会話子機装置、会話制御方法、および会話制御プログラム - Google Patents
会話装置、会話親機装置、会話子機装置、会話制御方法、および会話制御プログラム Download PDFInfo
- Publication number
- JP3644955B2 JP3644955B2 JP2003533270A JP2003533270A JP3644955B2 JP 3644955 B2 JP3644955 B2 JP 3644955B2 JP 2003533270 A JP2003533270 A JP 2003533270A JP 2003533270 A JP2003533270 A JP 2003533270A JP 3644955 B2 JP3644955 B2 JP 3644955B2
- Authority
- JP
- Japan
- Prior art keywords
- conversation
- data
- viewer
- utterance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000012545 processing Methods 0.000 claims description 118
- 230000005540 biological transmission Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 25
- 238000013500 data storage Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 230000002452 interceptive effect Effects 0.000 description 68
- 230000004044 response Effects 0.000 description 51
- 230000010365 information processing Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010411 cooking Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000009118 appropriate response Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Description
【0001】
本発明は、例えばテレビ放送を視聴する視聴者等の発声に応答して会話を行う会話装置に関する技術に属するものである。
【背景技術】
【0002】
近年、音声認識、音声合成技術の進歩に伴って、コンピュータ等に対する指示操作を音声によって行ったり、その応答を画像と音声とによって行わせたりする技術が提案されている(例えば、日本国特開2001−249924号公報、日本国特開平7−302351号公報)。これらの装置は、従来、キーボードやポインティングデバイスによって行われていた操作や、文字表示によってなされていた応答を、音声の入出力によって行い得るようになっている。
【0003】
ところが、これらの装置は、その装置の動作や応答に対応して、あらかじめ定められた音声の入力を受け付けるものであり、自由度の高い対話を行い得るものではない。
【0004】
一方、自由な対話に近い印象を与え得る装置として、例えば「おしゃべり家族しゃべるーん」と称される対話型玩具などが知られている。この種の装置は、入力された発話音声に基づく音声認識をするとともに、認識結果に対応する応答データが記憶された対話データベースを備えて、種々の発話内容に対して応答し得るようになっている。また、より自然な対話を目指した装置として、言語解析や意味解析を行ったり、木構造やスタックとして記憶された過去の発話履歴を参照したりして、大規模な対話データベースから適切な応答データを検索し得るようにしたものがある(例えば、特許文献1参照。)。
【特許文献1】
特許第3017492号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の技術では、比較的自由な対話を適切に行わせるとともに装置構成の小規模化を図ることが困難であるという問題点を有していた。すなわち、利用者の方から話しかけることによって対話が開始される場合には、対話内容の自由度が高いために、かなり大規模な対話データベースを備えていなければ、適切な対話内容の認識、応答を行わせることができない。具体的には、例えば利用者が「今日は何曜日?」と発声した場合、その発声を想定した対話データが対話データベースに蓄積されていなかったとすると、適切な応答ができない。また、たまたま音響的に距離の近い「今、何時?」に対応する対話データが蓄積されていたとすると、これと誤認識して、「10時50分です」などと応答して対話がちぐはぐになりかねない。しかも、利用者の発話と装置の応答とが繰り返し行われる場合には、その対話内容の組み合わせが指数関数的に増大するため、相当大規模なデータベースを備えたとしても適切な応答を確実に継続させることは困難である。
【0006】
上記の問題点に鑑み、本発明は、比較的小規模な装置構成でも、利用者の発声を誤認識しにくく、対話をスムーズに進めて自由な対話に近い印象を与えることが容易にできる対話装置および対話制御方法の提供を目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の第1の会話装置は、
画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備えたことを特徴とする。
【0008】
これにより、表示される画像の進行に応じた内容の会話を行わせることができるので、視聴者を会話装置があらかじめ想定している会話内容に自然な感じで引き込むことが容易にできる。したがって、比較的小規模な装置構成でも、利用者の発声を誤認識しにくく、会話をスムーズに進めて自由な会話に近い印象を与えることが容易にできる。
【0009】
また、本発明の第2の会話装置は、
第1の会話装置であって、さらに、
無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、上記画像データ、および上記会話データが入力され、上記入力されたデータを上記表示制御手段、および上記会話データ記憶手段に出力する入力手段を備えたことを特徴とする。
【0010】
また、本発明の第3の会話装置は、
第2の会話装置であって、
上記入力手段は、上記画像データと、上記会話データとが、互いに異なる経路を介して入力されるように構成されたことを特徴とする。
【0011】
これらのように、種々の経路で画像データと会話データとが入力される場合であっても、画像の進行と会話データとの対応(同期)がとられていれば、前記のように適切な会話を行わせることができるので、種々の柔軟な構成の会話装置を構成することができる。
【0012】
また、本発明の第4の会話装置は、
第2の会話装置であって、
上記入力手段は、上記会話データが上記画像データと対応した所定のタイミングで入力されることにより、上記タイミング情報を出力するように構成されていることを特徴とする。
【0013】
これにより、会話データの入力タイミングに応じてタイミング情報を出力することによって画像の進行と会話データとを容易に対応づけることができる。
【0014】
また、本発明の第5の会話装置は、
第2の会話装置であって、
さらに、上記視聴者発話データを記憶する視聴者発話データ記憶手段を備え、
上記会話処理手段は、上記視聴者発話データ記憶手段に記憶された上記視聴者発話データ、および上記視聴者発話データが基づく上記音声を上記視聴者が発声した後に上記入力手段に新たに入力された会話データに基づいて、上記装置発話データを出力するように構成されていることを特徴とする。
【0015】
これにより、会話の開始時点においては後の会話内容が確定しないような内容の会話を行わせることができる。したがって、あらかじめ設定されたシナリオに沿った機械的な会 話という印象を軽減し、例えばクイズ形式で一緒に放送番組を楽しむような感覚を与える会話を行わせることができる。
【0016】
また、本発明の第6の会話装置は、
第1の会話装置であって、
上記会話処理手段は、上記画像データに含まれる上記タイミング情報に基づいて、上記装置発話データを出力するように構成されたことを特徴とする。
【0017】
また、本発明の第7の会話装置は、
第6の会話装置であって、
上記会話データ記憶手段は、複数の上記会話データを記憶し得るように構成されるとともに、
上記画像データは、上記タイミング情報とともに、上記複数の会話データのうちの少なくとも何れか1つを特定する会話データ特定情報を含み、
上記会話処理手段は、上記タイミング情報、および上記会話データ特定情報に基づいて、上記装置発話データを出力するように構成されたことを特徴とする。
【0018】
また、本発明の第8の会話装置は、
第1の会話装置であって、
さらに、上記画像の表示時間の経過に応じた上記タイミング情報を出力する計時手段を備えるとともに、
上記会話データは、上記会話処理手段による上記装置発話データを出力すべきタイミングを示す出力時間情報を含み、
上記会話処理手段は、上記タイミング情報、および上記出力時間情報に基づいて、上記装置発話データを出力するように構成されたことを特徴とする。
【0019】
これらのように、画像データに含まれるタイミング情報や、会話データを特定する会話データ特定情報、画像の表示時間の経過に応じた上記タイミング情報を用いることによっても、やはり、画像の進行と会話データとを容易に対応づけることができる。
【0020】
また、本発明の第9の会話装置は、
第1の会話装置であって、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するように構成されたことを特徴とする。
【0021】
これにより、新たな会話を画像の進行に応じたタイミング情報に基づいて開始することができるので、視聴者を会話装置があらかじめ想定している会話内容に自然な感じで引き込むことがより確実にできる。
【0022】
また、本発明の第10の会話装置は、
画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するとともに、さらに、
既に開始された視聴者との会話における上記装置発話データと上記視聴者発話データとの適合度、および視聴者との新たな会話開始の優先度に基づいて、上記新たな会話を開始するように構成されたことを特徴とする。
【0023】
また、本発明の第11の会話装置は、
画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するとともに、さらに、
視聴者に関するプロファイル情報、および上記プロファイル情報に応じて視聴者との会話を開始するための条件を示す会話開始条件情報に基づいて、視聴者との会話を開始するように構成されたことを特徴とする。
【0024】
また、本発明の第12の会話装置は、
画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するとともに、さらに、
既に開始された視聴者との会話における上記装置発話データと上記視聴者発話データとの適合度、視聴者に関するプロファイル情報、および上記適合度と上記プロファイル情報とに応じて視聴者との会話を開始するための条件を示す会話開始条件情報に基づいて、視聴者との新たな会話を開始するように構成されたことを特徴とする。
【0025】
これらのように、会話の適合度や、新たな会話開始の優先度、視聴者のプロファイル情報に基づいて、新たな会話の開始を制御することにより、例えば会話の適合度が高い場合、すなわち、いわゆる会話がはずんでいるような場合には、その話題の会話を継続させる一方、画像の内容に密接な会話が可能な場合には新たな会話を開始させることなどができるので、より自然な印象を与えるような会話を行わせることが容易にできる。
【0026】
また、本発明の第13の会話装置は、
第12の会話装置であって、
上記会話処理手段は、上記開始された会話における上記装置発話データと上記視聴者発話データとの適合度に応じて、上記プロファイル情報を更新するように構成されたことを特徴とする。
【0027】
これにより、会話の適合度がプロファイル情報にフィードバックされるので、より適切な会話開始の制御を行わせることができる。
【0028】
また、本発明の第14の会話装置は、
画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、所定の一連の上記画像の表示が所定の時間連続して行われたときに、上記装置発話データを出力するように構成されたことを特徴とする。
【0029】
これにより、例えば視聴者が放送番組を次々と切り替えている場合などに、その都度会話が開始される煩わしさを防止することができる。
【0030】
また、本発明の会話親機装置は、
無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、視聴者に対して非対話的に進行する画像を示す画像データ、および上記画像の進行に対応した会話データが入力される入力手段と、
上記画像データに基づいて、上記画像を表示部に表示させる表示制御手段と、
上記会話データ、および上記画像の進行に応じたタイミング情報を会話子機装置に送信する送信手段と、
を備えたことを特徴とする。
【0031】
また、本発明の会話子機装置は、
会話親機装置から送信された、視聴者に対して非対話的に進行する画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報を受信する受信手段と、
上記会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記タイミング情報に基づいて、会話子機装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備えたことを特徴とする。
【0032】
また、本発明の第1の会話制御方法は、
画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
を有することを特徴とする。
【0033】
また、本発明の第2の会話制御方法は、
無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、視聴者に対して非対話的に進行する画像を示す画像データ、および上記画像の進行に対応した会話データが入力される入力ステップと、
上記画像データに基づいて、上記画像を表示部に表示させる表示制御ステップと、
上記会話データ、および上記画像の進行に応じたタイミング情報を会話子機装置に送信する送信ステップと、
を有することを特徴とする。
【0034】
また、本発明の第3の会話制御方法は、
会話親機装置から送信された、視聴者に対して非対話的に進行する画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報を受信する受信ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記会話データ、および上記タイミング情報に基づいて、会話子機装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
を有することを特徴とする。
【0035】
また、本発明の第1の会話制御プログラムは、
画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
をコンピュータに実行させることを特徴とする。
【0036】
また、本発明の第2の会話制御プログラムは、
無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、視聴者に対して非対話的に進行する画像を示す画像データ、および上記画像の進行に対応した会話データが入力される入力ステップと、
上記画像データに基づいて、上記画像を表示部に表示させる表示制御ステップと、
上記会話データ、および上記画像の進行に応じたタイミング情報を会話子機装置に送信する送信ステップと、
をコンピュータに実行させることを特徴とする。
【0037】
また、本発明の第3の会話制御プログラムは、
会話親機装置から送信された、視聴者に対して非対話的に進行する画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報を受信する受信ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記会話データ、および上記タイミング情報に基づいて、会話子機装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
をコンピュータに実行させることを特徴とする。
【0038】
これらによっても、前記のように表示される画像の進行に応じた内容の会話を行わせることができるので、視聴者を会話装置があらかじめ想定している会話内容に自然な感じで引き込むことが容易にできる。したがって、比較的小規模な装置構成でも、利用者の発声を誤認識しにくく、会話をスムーズに進めて自由な会話に近い印象を与えることが容易にできる。
【発明の効果】
【0039】
本発明によると、視聴者に対して非対話的に進行する画像に対応した会話データに基づいて会話を行わせることにより、視聴者を会話装置があらかじめ想定している会話内容に自然な感じで引き込むことが容易にできる。
【発明を実施するための最良の形態】
【0040】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0041】
(実施の形態1)
まず、本発明の原理的な構成について、番組情報と番組付加情報とを含むデータ放送を受信可能なテレビ受像機を例に挙げて説明する。図1は、テレビ受像機の全体構成を示すブロック図である。
【0042】
入力部101は、データ放送のテレビ放送電波を受信し、それぞれ上記番組情報に含まれる画像データと、音声データと、および上記番組付加情報に含まれる対話データと、対話の開始タイミングを示すタイミング信号とを分離して出力するようになっている。ここで、上記画像データや音声データは、ディジタルデータに限らず、アナログの映像信号やアナログの音声信号も含む広義のデータを意味する。
【0043】
画像出力部102は、上記画像データに基づいて画像信号を出力し、ブラウン管等の表示部103に画像を表示させるようになっている。
【0044】
対話データベース104は、上記入力部101から出力された対話データを一旦蓄積するようになっている。
【0045】
音声認識部106は、マイクなどの音声入力部105から入力された視聴者の発話音声に対して音声認識処理を行い、発話内容を示す視聴者発話データを出力するようになっている。
【0046】
対話処理部107は、入力部101からタイミング信号が入力されたときに、対話データベース104に記憶された対話データに基づいて、対話を開始するための装置発話データを出力する一方、その後に視聴者から発話がなされると、音声認識部106から出力される視聴者発話データ、および対話データベース104に記憶された対話データに基づいて、視聴者の発話に応答するための装置発話データを出力するようになっている。
【0047】
音声合成出力部108は、対話処理部107から出力された装置発話データ、および入力部101から出力された音声データに基づいて音声合成処理やディジタルアナログ変換を行って音声信号を出力し、スピーカ等の音声出力部109に音声を発声させるようになっている。
【0048】
上記のように構成されたテレビ受像機では、次のようにして、表示画像に応じた対話がなされる。
【0049】
まず、例えば「今日の運勢」という番組が放送され、図2に示すように表示部103に番組のタイトルが表示された後、各誕生星座ごとの運勢が表示されるとする。このとき、画像データに併せて、図3に示すような上記画像データに対応した対話データが受信されると、その対話データが対話データベース104に保持される。続いてタイミング信号が受信されると、対話処理部107は、対話データベース104に保持された対話開始用の対話データを読み出して、装置発話データを音声合成出力部108に出力する。そこで、音声出力部109からは、「あなたの今日の運勢を占うよ。あなたの星座を教えてね。」という音声が発声される。
【0050】
上記発声に対して、視聴者が例えば「双子座」の語を含む音声を発すると、音声認識部106はその語の認識を示す視聴者発話データを対話処理部107に出力する。
【0051】
対話処理部107は、対話データベース104に保持された応答用の対話データを参照し、上記認識された「双子座」に対応する応答(装置発話データ)を読み出して、音声合成出力部108に出力する。これにより、音声出力部109から、「対人関係に気をつけよう。まずは、挨拶から」という音声が発声される。
【0052】
この後、表示画面が次の番組内容に変わると、話題も次の表示画面に応じたものに移らせることができるので、上記の時点で話題が途切れたとしても、視聴者にあまり不自然さを感じさせることはない。
【0053】
上記のように、表示画面に対応した内容の対話がなされるので、視聴者の応答内容の範囲は絞られ、音声認識部106によって誤認識が生じる可能性は低く抑えられる。また、ある話題についての対話を表示画面の遷移に応じて打ち切り、他の話題に切り替えることが容易にでき、継続した対話の繰り返し回数を少なく抑えることができるので、想定外の話題に展開される可能性も低く抑えることができる。それゆえ、大規模な対話データベースなどを備えなくても、比較的自然で適切な対話を容易に行わせることができる。
【0054】
(実施の形態2)
以下、より詳しい対話装置の例について説明する。なお、以下の実施の形態において、前記実施の形態1等と対応した機能を有する構成要素については同一の符号を付して説明を省略する。
【0055】
本実施の形態2においては、図4および図5に示すように、ディジタルテレビ受像機201(対話親機装置)と、人形のような対話型エージェント装置251(対話子機装置)とによって対話装置が構成されている。
【0056】
ディジタルテレビ受像機201は、放送データ受信部202と、番組情報処理部203と、表示/音声出力制御部204と、付加情報処理部205と、対話データ送信部206と、表示部103と、音声出力部109とを備えている。
【0057】
また、対話型エージェント装置251は、対話データ受信部252と、対話データ処理部253と、対話データベース254と、対話処理部255と、音声合成部256と、音声入力部105と、音声認識部106と、音声出力部109とを備えている。
【0058】
上記ディジタルテレビ受像機201の放送データ受信部202は、番組情報(画像データ、音声データ)と番組付加情報(対話データ)とを含むディジタル放送のテレビ放送電波を受信し、上記番組情報と上記番組付加情報とを抽出して出力するようになっている。
【0059】
番組情報処理部203と表示/音声出力制御部204とは、通常のテレビ受像機と同様の処理を行うものである。すなわち、番組情報処理部203は、放送データ受信部202によって受信された番組情報を画像と音声のデータに変換するようになっている。より詳しくは、番組情報に含まれる複数の番組についての情報のうち、視聴者によって指示された特定の番組の情報を選択し、その番組の画像/音声データを出力する。また、表示/音声出力制御部204は、上記画像/音声データに基づいて、画像信号および音声信号を出力し、表示部103に画像を表示させるとともに、音声出力部109に音声を発声させるようになっている。
【0060】
また、付加情報処理部205は、放送データ受信部202から出力された番組付加情報に基づいて、表示部103に表示される画像に対応した対話データを出力する。この対話データは、例えば、前記図3に示したのと同様に、最初に利用者に話しかける言葉などの対話開始用の対話データと、視聴者による発声の認識結果に対応した応答が定義されたテーブル形式の応答用の対話データとを含んでいる。
【0061】
対話データ送信部206は、上記対話データを無線電波などによって対話型エージェント装置251に送信し、対話型エージェント装置251の対話データ受信部252は、送信された対話データを受信するようになっている。
【0062】
対話型エージェント装置251の対話データ処理部253は、上記受信された対話データのうち、対話開始用の対話データを音声合成部256に出力する一方、応答用の対話データを対話データベース254に保持させるようになっている。
【0063】
すなわち、前記実施の形態1と異なり、対話データベース254は、図6に示すように応答用の対話データだけを保持し、対話処理部255は、上記応答用の対話データと音声認識部106から出力される視聴者発話データとに基づいて、視聴者の発話に応答するための装置発話データを出力するようになっている。
【0064】
また、音声合成部256は、対話データ処理部253から出力された対話データ(対話開始用)、または対話処理部255から出力された装置発話データに基づいて音声合成処理およびディジタルアナログ変換を行い、音声信号を出力して音声出力部109に対話音声を発声させるようになっている。
【0065】
上記のように構成された対話装置においても、図7に示すような動作により前記実施の形態1と同様に、例えば、占い番組「今日の運勢」が放送されている場面で
(1)対話型エージェント装置:「あなたの今日の運勢を占うよ。あなたの星座を教えてね。」
(2)視聴者:「双子座」
(3)対話型エージェント装置:「対人関係に気をつけよう。まずは、挨拶から」のような対話がなされる。
【0066】
(S101)すなわち、まず、放送データ受信部202が、番組情報と番組付加情報とを含む放送波を受信し、上記番組情報における画像データおよび音声データに基づいて、表示部103によって画像が表示されるとともに、音声出力部109によって音声が出力される。
【0067】
(S102)一方、付加情報処理部205は、受信された番組付加情報における、表示画像(占い番組)に関連する対話データを出力する。この出力された対話データは、ディジタルテレビ受像機201の対話データ送信部206および対話型エージェント装置251の対話データ受信部252を介して、対話データ処理部253に入力され、応答用の対話データが、対話データベース254に格納される(図6)。
【0068】
(S103)また、対話開始用の対話データは、対話データ処理部253から音声合成部256に直接入力され、最初の対話音声「あなたの今日の運勢を占うよ。あなたの星座を教えてね。」が音声出力部109から発せられる。すなわち、前記実施の形態1のようにタイミング信号が受信されなくても、対話データが受信されることによって、対話が開始される。
【0069】
(S104)その後、音声入力部105から視聴者の発声「双子座」が入力されると、音声認識部106による音声認識が行われ、発声内容が「双子座」であることを示す視聴者発話データが対話処理部255に入力される。
【0070】
(S105)そこで、対話処理部255は、対話データベース254を参照して、「双子座」に対応する応答「対人関係に気をつけよう。まずは挨拶から。」を選択し、装置発話データを出力する。音声合成部256は、上記装置発話データを音声信号に変換し、音声出力部109から応答の音声が出力される。
【0071】
上記のように、実施の形態1と同様に、占い番組に連動した対話という対話場面が共有されることにより、視聴者の発声を誤認識しにくく、対話をスムーズに進めることが容易にできる。また、番組の終了、または表示画面の進行に伴って、不自然な印象を与えることなく、その話題の対話を終了させることができる。
【0072】
(実施の形態3)
実施の形態3の対話装置は、前記実施の形態2の対話装置(図5)と比べて、視聴者の発話内容を例えば「肯定」または「否定」のカテゴリに分類し、上記カテゴリに対応させて、応答用の対話データを求めるようになっている。また、視聴者が、所定の時間以上同じ番組を見ている場合で、かつ、対話をしようとする場合にだけ、前記のような対話が行われるようになっている。
【0073】
具体的には、例えば図8に示すように、ディジタルテレビ受像機301は、実施の形態2(図5)のディジタルテレビ受像機201の構成に加えて、タイマー管理部311を備えている。また、付加情報処理部205に代えて、付加情報処理部305を備えている。
【0074】
上記タイマー管理部311は、同一の番組が視聴されている時間を計測し、所定の時間視聴されている場合に、その旨を付加情報処理部305に通知するものである。すなわち、視聴者がチャンネルを次々と切り替えるいわゆるザッピングをしている場合に、チャンネルが切り替わるごとに対話が開始されると煩わしいので、視聴者によって例えば1分程度以上同一の番組が選択されている場合に、その旨を付加情報処理部305に通知して、対話を開始させるようになっている。
【0075】
付加情報処理部305は、上記タイマー管理部311からの通知があり、かつ、視聴者が希望する場合にだけ、対話を開始するようになっている。すなわち、例えば、表示部103に後述する図12に示すような画面を表示させ、視聴者がリモートコントローラなどによって対話の意思を示す操作をしたときに、実施の形態2と同じように、対話データを対話型エージェント装置351に送信するようになっている。また、本実施の形態では、上記視聴者の意志確認の際に、対話における視聴者の立場(例えば野球の中継番組を見る場合に、巨人ファンかまたは阪神ファンかなど)を確認して、より適切な対話をし得るようになっている。
【0076】
一方、対話型エージェント装置351は、実施の形態2の対話型エージェント装置251の構成に加えて、キーワード辞書361を備えている。また、音声認識部106、対話データ処理部253、対話データベース254、および対話処理部255に代えて、音声認識部362、対話データ処理部353、対話データベース354、および対話処理部355を備えている。
【0077】
上記キーワード辞書361には、例えば図9に示すように、視聴者の種々の発話内容に含まれるキーワードの候補が、「肯定」または「否定」の何れのカテゴリに属するかを示すキーワード辞書データが格納されるようになっている。ここで、上記「肯定」または「否定」のカテゴリは、後述するように対話開始時に視聴者に話しかける言葉の例が、これに対して、肯定的、または否定的な応答がなされることを想定したものであることに対応させたものである。すなわち、キーワード辞書361には、「肯定」「否定」に限らず、装置から発せられる発話内容に対応したカテゴリのキーワード辞書データが格納されればよい。
【0078】
音声認識部362は、音声入力部105から入力された視聴者の発話音声に対し音声認識処理を行って、視聴者の意図を特徴づける語(キーワード)を検出し、上記キーワード辞書361を参照して、視聴者の意図が「肯定」または「否定」の何れのカテゴリに属するか(視聴者の意図)を示すカテゴリデータを出力するようになっている。また、キーワードが検出されない場合には、「その他」のカテゴリであることを示すカテゴリデータを出力するようになっている。より詳しくは、例えば、いわゆるキーワードスポッティングの手法を用いて、単語の存在を検出するようになっている。なお、音声入力部105への入力音声から、連続音声認識の手法を用いて単語に分解したテキストデータを生成し、上記単語がキーワード辞書361のキーワードにヒットするかどうかによって、カテゴリを求めるようにしたりしてもよい。
【0079】
対話データベース354には、例えば図10に示すように、上記カテゴリ「肯定」「否定」または「その他」とこれに対してそれぞれ複数の応答(装置発話データ)とを対応させた応答用の対話データが格納されるようになっている。ここで、同図の例では、「その他」に対しては、当り障りのない応答を示すデータが格納されている。
【0080】
対話処理部355は、上記音声認識部362から出力されたカテゴリデータ、および対話データベース354に保持された応答用の対話データに基づいて、視聴者の発話に応答するための装置発話データを出力するようになっている。より詳しくは、上記カテゴリデータに対応して対話データベース354に保持されている複数の応答のうちの何れかをランダムに選択して(または同じ応答が連続しないように選択するなどして)出力するようになっている。なお、上記のように複数の応答を保持させる必要は必ずしもないが、適当な数だけ保持させ、ランダムな選択等をさせることによって、より対話の自然さを持たせることが容易にできる。
【0081】
また、対話データ処理部353は、ディジタルテレビ受像機301から送信された対話データに基づいて、上記のような応答用の対話データ、およびキーワード辞書データをそれぞれ対話データベース354またはキーワード辞書361に保持させるようになっている。また、対話開始用の対話データを音声合成部256に出力するようになっている。
【0082】
上記のように構成された対話装置において、スポーツ番組である野球放送が視聴される際に対話がなされる場合の動作を図11に基づいて説明する。
【0083】
(S201)まず、放送データ受信部202は、視聴者が選択した野球放送の番組情報を受信し、その番組情報における画像データおよび音声データに基づいて、表示部103によって画像が表示されるとともに、音声出力部109によって音声が出力される。
【0084】
(S202)タイマー管理部311は、上記野球放送の受信が選択されてからの経過時間を計測し、例えば1分経過したら、その旨を付加情報処理部305に通知する。なお、1分経過する前に受信チャンネルを切り替える操作がなされれば、上記(S201、S202)が繰り返される。
【0085】
(S203)上記タイマー管理部311からの通知がなされると、付加情報処理部305は、まず、例えば図12に示すように、視聴者が対話サービスを希望するかどうか、および応援モード(どちらのチームを応援するか)を確認する画面を表示部103に表示させ、例えばEPG(Electric Program Guide,電子番組ガイド)における番組選択と同様のリモートコントローラによる操作などを受け付ける。そして、対話サービスを利用しないことを示す操作がなされた場合には、対話に関する処理は終了して、以下、視聴番組の切り替え操作がなされると、上記(S201)以降が繰り返される。また、指定された応援モードを示す情報は、例えば付加情報処理部305内に保持される。なお、上記のような表示や操作の受け付けは、番組付加情報に含まれる対話開始コマンドが付加情報処理部305または表示/音声出力制御部204で実行されることによって行われるようにしてもよい。また、上記のような対話サービス利用の有無は番組を視聴するごとに確認するのに限らず、装置の電源をオンにした時点で行うようにしたり、所定の設定モードに切り替えることによって設定され得るようにしたりしてもよい。
【0086】
(S204)視聴者によって対話サービスを利用するとともに、例えば巨人を応援することを示す操作がなされた場合には、番組付加情報として、巨人の応援モードに対応する対話データが受信されたかどうかがチェックされる。
【0087】
(S205)上記(S204)で対話データが受信されていなければ、受信中の野球放送が終了したか、または視聴者による視聴が終了したか、すなわち使用する番組を切り替える操作がなされたかを判定し、放送終了または視聴終了の場合には、上記(S201)以降が繰り返される。一方、放送終了でも視聴終了でもなければ、(S204)以降が繰り返される。
【0088】
(S206)また、上記(S204)で対話データが受信されれば、対話処理が行われた後、上記(S204)に戻って対話データの受信チェック以降が繰り返される。上記対話処理としては、より詳しくは、例えば図13に示すような処理が行われる。
【0089】
(S211)まず、放送データ受信部202が、番組情報と番組付加情報とを含む放送波を受信し、上記番組情報における画像データおよび音声データに基づいて、表示部103によって画像が表示されるとともに、音声出力部109によって音声が出力される。
【0090】
(S212)一方、付加情報処理部305は、受信された番組付加情報における、表示画像(野球放送)、および巨人の応援モードに関連する対話データを出力する。この対話データには、対話開始用の対話データと、応答用の対話データと、キーワード辞書データとが含まれている。上記出力された対話データは、ディジタルテレビ受像機301の対話データ送信部206および対話型エージェント装置351の対話データ受信部252を介して、対話データ処理部353に入力され、応答用の対話データが対話データベース254に格納される(図10)。
【0091】
(S213)また、同様に、キーワード辞書データがキーワード辞書361に格納される(図9)。
【0092】
(S214)さらに、対話開始用の対話データは、対話データ処理部353から音声合成部256に直接入力され、最初の対話音声、例えば応援チーム(巨人)が得点した時点であれば「やったー、やったー、追加得点だ!最近の清原は本当に調子いいね。8回で3点差だから、これで今日の試合は勝ったも同然だよね?」などの音声が音声出力部109から発せられ、対話が開始される。
【0093】
(S215)その後、例えば、視聴者が「いやー、まだ心配だけどな。」と発声したとすると、音声認識部362は「心配」と「いや」という言葉を検出し、視聴者が「否定」のカテゴリの言葉を発したことを示すカテゴリデータを出力する。また、例えば、視聴者が「岡島の調子が良ければね。」と発声したとすると、キーワード辞書361に保持されているキーワードは検出されないため、「その他」を示すカテゴリデータを出力する。
【0094】
(S216)そこで、対話処理部355は、対話データベース354を参照して、上記カテゴリデータに対応する複数の装置発話データのうちの何れかをランダムに選択して出力する。
【0095】
具体的には、上記視聴者の発話「いやー、まだ心配だけどな。」(カテゴリ「否定」)に対しては、例えば「そうか、もっと応援しよう。次は、高橋だ!」を示す装置発話データが出力される。
【0096】
また、視聴者の発話「岡島の調子が良ければね。」(カテゴリ「その他」)に対しては、例えば「なーるほど。」を示す装置発話データが出力される。
【0097】
音声合成部256は、上記装置発話データを音声信号に変換し、音声出力部109から応答の音声が出力される。
【0098】
上記のように、実施の形態1、2と同様に、例えば得点場面などの表示画像と対応した対話データに基づいて対話を行わせることによって、視聴者の発声を誤認識しにくく、対話をスムーズに進めることが容易にできるとともに、表示画像の進行に伴って各話題を不自然な印象を与えることなく終了させ、次の話題に移すことができる。また、視聴者の発話に含まれるキーワードに基づき発話内容をカテゴリに分類し、装置発話データを生成することによって、より柔軟な対話を容易に行わせることができるとともに、対話データベース354に保持させる応答用の対話データを小さく抑えたり応答性を高めたりすることも容易にできる。さらに、視聴者の立場(巨人の応援モード)などに応じた対話データに基づいて対話を行わせることによって、例えば対話型エージェント装置351に応援チームの得点を共に喜ぶパートナーとして対話させるような演出をすることができ、あたかも対話型エージェント装置351と一緒に野球放送を見ているような感覚を視聴者に与えることができる。
【0099】
(実施の形態4)
実施の形態4の対話装置として、例えば野球放送における試合展開の予測についての対話のように、対話時点では後の対話内容が確定しないような内容の対話を行うとともに、その対話内容を一旦記憶しておき、その後の実際の試合展開に応じた対話データに基づいて対話を進めることなどができる対話装置の例について説明する。
【0100】
本実施の形態の対話装置においては、前記実施の形態3の対話装置(図8)と比べて、例えば図14に示すように、ディジタルテレビ受像機401は、付加情報処理部305に代えて、視聴者の応援モードの確認機能を有しない点だけが異なる付加情報処理部405を備えている。(なお、実施の形態3と同じディジタルテレビ受像機301を用いてもよい。)
一方、対話型エージェント装置451は、実施の形態3の対話型エージェント装置351の構成に加えて、一時記憶部471を備えている。また、対話データ処理部353に代えて、対話データ処理部453を備えている。さらに、音声認識部362は実施の形態3と同じものであるが、その出力が対話状況に応じて一時記憶部471にも出力されるようになっている。すなわち、一時記憶部471は、装置発話内容、および視聴者発話内容における表示画面の進行についての予測を示すデータを保持するようになっている。また、対話データ処理部453は、上記一時記憶部471に保持されたデータと、後に表示画面の実際の進行に応じて放送された対話データとに基づいて、予測が正しかったかどうかに応じた装置発話データを出力し得るようになっている。
【0101】
上記のように構成された対話装置の動作として、スポーツ番組である野球放送において、次にピッチャーが投げる球種の予測についての対話がなされる(すなわち、ピッチャー投球前の対話データだけでは対話が完結せず、投球後の対話データに応じて後の対話内容が影響を受ける)場合の例を図15〜図18に基づいて説明する。ここで、対話装置の全体の対話制御動作は、前記実施の形態3(図11)とほぼ同様であり、主として、大きく異なる対話処理自体を図15に示して説明する。
【0102】
(S301)〜(S304)まず、実施の形態3(図13)の(S211)〜(S214)と同様に、番組の画像表示や音声出力、キーワード辞書361と対話データベース354とへの対話データまたはキーワード辞書データの格納、および最初の対話音声の発声が行われる。具体的には、例えばピッチャーとバッターの対戦場面が表示部103によって画像が表示されるとともに、その音声が音声出力部109から出力される。また、キーワード辞書361および対話データベース354には、それぞれ例えば図16、図17に示すようなキーワード辞書データ、および対話データが格納される。さらに、対話開始用の対話データが対話データ処理部453から音声合成部256に出力され、例えば「次の打者は松井。ピッチャー藪の投球を予測するよ。最初の球は何だと思う?僕は、『カーブ』から入ると思うな。」という音声が音声出力部109から発声される。また、このとき、対話データ処理部453は、一時記憶部471に、例えば図18に示すように対話型エージェント装置451による予測がカーブであることを示す属性データおよびカテゴリデータ(属性:エージェント/カテゴリ:カーブ系)を記憶させる。
【0103】
(S305)その後、例えば、視聴者が「うーん。僕は、『まっすぐ』だと思うな。」と発声したとすると、音声認識部362は「まっすぐ」という言葉を検出し、視聴者が 「ストレート系」のカテゴリの言葉を発したことを示すカテゴリデータを出力し、一時記憶部471に視聴者による予測がストレートであることを示す属性データおよびカテゴリデータ(属性:視聴者/カテゴリ:ストレート系)を記憶させる。
【0104】
(S306)また、上記音声認識部362から出力されたカテゴリデータは対話処理部355にも入力され、対話処理部355からは装置発話データが出力されて、音声出力部109から応答の音声、例えば「よし、勝負」が出力される。ここで、対話装置の応答内容は、実施の形態3と同様にカテゴリデータに応じて異ならせるようにしてもよいが(そのような対話データを対話データベース354に格納するようにしてもよいが)、カテゴリデータに係らず、一律に「よし、勝負」などの応答がなされるようにしてもよいし、また、カテゴリデータが「その他」を示す場合にだけ、異なる応答がなされるようにするなどしてもよい。
【0105】
(S307)次に、実際にピッチャーが投球した後に、その投球内容に応じた対話データ、すなわち投球された球種を示す正解カテゴリデータと、これに応じた対話内容を示す結果発話用の対話データが放送されると、放送データ受信部202によって受信され、対話データ送信部206および対話データ受信部252を介して対話データ処理部453に入力される。
【0106】
(S308)対話データ処理部453は、上記正解カテゴリデータ(例えば「ストレート」)と一時記憶部471の記憶内容とを照合し、その照合結果(上記の場合は視聴者が正解)に応じた結果発話用の対話データを音声合成部256に出力する。
【0107】
(S309)そこで、上記結果発話用の対話データに基づいて、例えば「内角低めのストレート。僕の負けだ。次の投球は、『カーブ』だと思うな。」などの音声が発声される。
【0108】
(S310)また、例えば上記「次の投球は、『カーブ』だと思うな。」のように結果発話用の対話データに次の投球に対する対話型エージェント装置451の予測データが含まれているかどうかが判定され、含まれていれば、上記(S305)以降が繰り返される一方、含まれていなければ、対話処理が終了される。ここで、上記のような判定は、対話データとともに送られるプログラムが対話データ処理部453等で実行されることによって行われるようにしてもよい。
【0109】
上記のように、視聴者との対話内容を一旦保持しておき、これと、後に受信された対話データとに基づいてその後の対話が行われるようにすることにより、対話の開始時点においては後の対話内容が確定しないような内容の対話を行わせることができる。すなわち、あらかじめ設定されたシナリオに沿った機械的な対話という印象を軽減し、クイズ形式で一緒に放送番組を楽しむような感覚を与えることができる。
【0110】
(実施の形態5)
実施の形態5として、対話内容を直接示す対話データが受信されるのではなく、番組(表示画面)の進行状況に応じたデータと、その進行状況に応じたデータに基づいて対話データを生成するための規則を示す情報とが受信されることにより対話が行われる対話装置の例について説明する。
【0111】
すなわち、例えば野球のデータ放送においては、画像や音声のデータと伴に、図19に示すような試合の経過を示す試合情報や、選手の成績などに関する選手情報などのデータ放送情報が送信されることがある。そこで、このようなデータ放送情報を参照するスクリプトを実行させることによって、画面の進行状況に応じた対話データを生成させることができる。以下の説明においては、例えば図20に示すようなスクリプトによって対話開始用の対話データ、および応答用の対話データが生成される例を説明する(なお、キーワード辞書データも同様にスクリプトによって生成されるようにしてもよい。)。また、対話内容の例として、前記実施の形態3と結果的に同じ内容の対話が行われる例について説明する。
【0112】
本実施の形態の対話装置においては、前記実施の形態3の対話装置(図8)と比べて、例えば図21に示すように、ディジタルテレビ受像機501は、対話データ送信部206に代えて、トリガー情報送信部506を備えている。また、対話型エージェント装置551は、対話データ受信部252、および対話データ処理部353に代えて、トリガー情報受信部552、および対話データ生成部553を備えるとともに、さらに、データ放送情報蓄積部561、および対話スクリプトデータベース562を備えている。
【0113】
上記トリガー情報送信部506およびトリガー情報受信部552は、番組付加情報として受信された対話スクリプトデータ、データ放送情報(試合情報および選手情報)、および後述する対話の開始タイミングを示すトリガー情報を送受するものであるが、実質的な構成は、実施の形態3の対話データ送信部206および対話データ受信部252と同じものである。
【0114】
対話データ生成部553は、対話スクリプトデータ、およびデータ放送情報が受信された場合には、それぞれ対話スクリプトデータベース562またはデータ放送情報蓄積部561に格納するようになっている。対話データ生成部553は、また、トリガー情報が受信された場合には、上記対話スクリプトデータ、およびデータ放送情報に基づいて、対話データ(対話開始用の対話データ、応答用の対話データ、およびキーワード辞書データ)を生成し、音声合成部256に出力し、または対話データベース354もしくはキーワード辞書361に格納させるようになっている。
【0115】
ここで、データ放送情報蓄積部561に格納されるデータ放送情報、および対話スクリプトデータベース562に格納される対話スクリプトデータベースの例について、具体的に説明する。
【0116】
図19に示すデータ放送情報には、前記のように試合情報と選手情報とが含まれている。上記試合情報は、カテゴリおよび属性と対応づけられた種々のデータを含むものである。より具体的には、例えば、ある時点での得点差は、「カテゴリ=得点/属性=差」として特定することによって得られるようになっている。また、選手情報は、チームおよび選手名を特定することによって、各選手についての種々のデータが得られるようになっている。
【0117】
また、対話スクリプトデータベース562には、図20に示すように、それぞれ種々の表示画面の進行状況に応じた複数の対話スクリプトデータが、カテゴリおよび属性から成るトリガー情報に対応して分類され、対応づけられて格納される。そこで、例えば応援側のチームに得点が入ったときに、「カテゴリ=得点/属性=応援側」であるトリガー情報が受信されると、同図の得点、応援側の欄に対応する対話スクリプトデータが実行されて、対話開始用の対話データが生成される。上記のようなトリガー情報との対応関係は、キーワード辞書データや、応答用の対話データに関しても同じである。ただし、トリガー情報に係らず共通である場合には、必ずしもトリガー情報と1:1に対応させず、兼用されるようにしてもよい。また、同種の放送番組などについて共通に用いられ得るような場合には、あらかじめ(装置の製造段階などで)装置に記憶させておくようにしてもよい。また、必ずしも上記のように分類するのに限らず、例えば識別情報(ID)などによって対話スクリプトデータ等が選択されるようにしてもよい。
【0118】
次に、上記対話スクリプトデータの具体的な内容について簡単に説明する。図20の例では、例えば「(得点.変化)」は、試合情報における「カテゴリ=得点/属性=変化」に対応するデータ、すなわち「追加得点」の語が置き換えられることを示している。また、「(@(打者.現在).最近5試合打率)」は、試合情報における「(打者.現在)」に対応する「清原」について、選手情報から得られる「最近5試合打率」である「.342」と置き換えられることを示している。また、「if」や「Else」などの構文は、一般的なC言語などと同様に、条件に応じて実行が制御されることを示している。このような対話スクリプトデータベースが用いられることによって、得点などが変化するごとに対話データが受信されなくても、時々刻々更新されるデータ放送情報に応じて適切な対話データを生成させることができる。
【0119】
以下、上記のように構成された対話装置の動作を図22に基づいて説明する。
【0120】
(S201)〜(S203)この処理は、実施の形態3(図11)に同符号で示したステップと同じなので、説明を省略する。
【0121】
(S401)データ放送情報が受信されると、対話データ生成部553によって、放送番組開始時点での試合情報、および選手情報がデータ放送情報蓄積部561に格納される。
【0122】
(S402)続いて、対話スクリプトデータ、キーワード辞書データ、および応答用の対話データが受信されると、これらのデータが対話データ生成部553によって、対話スクリプトデータベース562に格納される。ここで、上記(S401)および(S402)の処理は、放送番組の開始時に1回だけ行われる。なお、(S401)と(S402)との処理順序は上記とは逆でもよい。また、(S401)の処理に代えて、以下の(S403)の処理が最初に行われるときに同様の処理が行われるようにしてもよい。さらに、(S402)における対話スクリプトデータのように、放送中に変更される必要性が低いものは、あらかじめ記憶させておいたり、ネットワークや記録媒体などを介した放送とは別の経路で記憶させるようにしてもよい。
【0123】
(S403)データ放送情報の変更を示す情報が受信された場合には、データ放送情報蓄積部561内の試合情報および/または選手情報が更新される。
【0124】
(S404)表示画面の進行に応じたトリガー情報が受信されたかどうかが判定される。
【0125】
(S205)上記(S404)でトリガー情報が受信されていなければ、受信中の野球放送が終了したか、または視聴者による視聴が終了したか、すなわち使用する番組を切り替える操作がなされたかを判定し、放送終了または視聴終了の場合には、上記(S201)以降が繰り返される。一方、放送終了でも視聴終了でもなければ、(S403)以降が繰り返される。
【0126】
(S405)また、上記(S404)でトリガー情報が受信されれば、そのトリガー情報に対応する対話スクリプトデータが実行されて、対話開始用の対話データが生成される。
【0127】
具体的には、例えば応援チーム側が得点した場面の画像が表示される際に、「カテゴリ=得点/属性=応援側」であるトリガー情報が受信されたとすると、前記のような規則に従った対話スクリプトデータの実行により、対話開始用の対話データとして「やったー、やったー、追加得点だ!清原は最近調子いいね。8回で、3点差だから、今日の試合は勝ったも同然だよね?」が生成される。
【0128】
より詳しくは、第1文については、対話スクリプトデータにおける「(得点.変化)」の部分が、試合情報の検索によって得られる「追加得点」に置き換えられて、「やったー、やったー、追加得点だ!」が生成される。
【0129】
第2文については、「@(打者.現在).最近5試合打率」の部分が、「清原.最近5試合打率」(タイムリーヒットを打った現在の打者である清原の最近5試合の打率)に対応する「.342」に置き換えられた後に、if文の条件判定「.342>.320」が評価され、評価結果は真なので、「清原は、最近調子いいね。」が生成される。
【0130】
また、第3文についても、同様にして、対話スクリプトデータにおける「(回数.回)」、「(得点.差)」がそれぞれ「8」、「3」に置き換えられ、「8回で、3点差だから、今日の試合は勝ったも同然だよね?」が生成される。
【0131】
上記のようにして生成された対話開始用の対話データは、対話データ生成部553から音声合成部256に出力される。
【0132】
さらに、応答用の対話データの「否定」の応答における(打者.次打者)についても、同様の検索、置換により、「〜次は、高橋だ!」が生成され、対話データベース354に格納される。
【0133】
また、上記トリガー情報に対応するキーワード辞書データは、この例では上記のような置き換えが含まれていないので、そのまま対話スクリプトデータベース562から読み出されて、キーワード辞書361に格納される。
【0134】
(S206)上記のようにして音声合成部256に出力した対話開始用の対話データ、および対話データベース354とキーワード辞書361との記憶内容は、実施の形態3の場合と同じものになるので、前記図13に示したのと同じ処理が行われることにより、同様の対話がなされる。
【0135】
上記のように、あらかじめ格納された対話スクリプトデータ、データ放送情報、および表示画面の進行状況に応じたトリガー情報に基づいて対話データが自動生成されるので、対話が行われるごとに対話データを受信することなく、表示画面に応じた適切な対話を柔軟に行わせることができるとともに、データ伝送量の低減や、重複データを減少させることによる記憶容量の低減を図ることもできる。
【0136】
(実施の形態6)
次に、本発明の実施の形態6の対話装置について説明する。まず、この対話装置の構成について説明する。この対話装置は、図23に示すように、ディジタルテレビ受像機601、対話型エージェント装置651に加え、ドアホン1801を備えている。ドアホン1801は、第1データ送受信部1802、制御部1803、スイッチ1804、画像入力部1805、音声入力部1806、音声出力部1807、対話データベース1808を有している。上記第1データ送受信部1802は、ディジタルテレビ受像機601との間で画像および音声のデータを送受信する。スイッチ1804は、ドアホン1801の呼び出しスイッチで、来訪者はこのスイッチ1804を押して来訪を通知する。画像入力部1805は、例えばテレビカメラであって、来訪者を撮影する。音声入力部1806は、例えばマイクであって、来訪者の発声が入力される。対話データベース1808は、来訪者に対する発声の対話データを保持する。音声出力部1807は、対話データを音声として出力する。制御部1803は、ドアホン1801全体の制御を行う。
【0137】
ディジタルテレビ受像機601は、前記実施の形態3(図8)のディジタルテレビ受像機301と比べて、放送データ受信部202、番組情報処理部203、付加情報処理部305、および対話データ送信部206に代えて、ドアホン1901との間で画像および音声のデータを送受信する第2データ送受信部602、および画像入力部1805からの画像に連動した対話データなどを対話型エージェント装置651との間で送受信する第1対話データ送受信部603を備え、タイマー管理部311を備えていない点で異なるが、その他の構成は同様である。なお、第1対話データ送受信部603は、対話型エージェント装置651に対話データなどを送信する対話データ送信部を兼ねている。
【0138】
対話型エージェント装置651は、実施の形態3の対話型エージェント装置351と比べて、対話データ受信部252に代えて、第2対話データ送受信部652を備えている点で異なるが、その他の構成は同様である。なお、第2対話データ送受信部652は、ディジタルテレビ受像機から送信された対話データなどを受信する対話データ受信部を兼ねている。
【0139】
次に、上記のように構成された対話装置の動作について、利用者がディジタルテレビ受像機601を視聴している時に来訪者があった場面を例に挙げて説明する。具体的には、利用者が来訪者に応答するか否かをディジタルテレビ受像機601の前に居ながら決定し、以下のような対話を行うことができる。
(1)対話型エージェント装置:「誰か来たよ。出る?」(表示部103に来訪者表示)
(2)利用者:「いや」(来訪者を見ながら)
(3)対話型エージェント装置:「わかりました」
(4)ドアホン:「ただいま留守にしています」
まず、来訪者がスイッチ1804を押す。制御部1803は、来訪者が来たと判断し、画像入力部1805、音声入力部1806および音声出力部1807を通電する。そして、画像入力部1805から入力された来訪者の画像を、制御部1803、第1データ送受信部1802、第2データ送受信部602、表示/音声出力制御部204を経て、表示部103の画面の一部または全部に表示する。
【0140】
次に、制御部1803は、対話データベース1808に格納された、利用者との間で対話を行うための対話データや利用者に最初に話しかける言葉を、第1データ送受信部1802から送信する。その対話データなどは、ディジタルテレビ受像機601の第2データ送受信部602を経て、第1対話データ送受信部603から、対話型エージェント装置651へ送信される。対話型エージェント装置651の第2対話データ送受信部652は、対話データなどを受信し、対話データ処理部353へ送る。対話データ処理部353は、対話データベース354に、対話データ、すなわち利用者に対する応答データを送る。対話データベース354は、応答データを格納する。並行して、対話データ処理部353は、対話型エージェント装置651が利用者に最初に話しかける言葉(1)「誰か来たよ。出る?」を音声合成部256に送る。音声合成部256は、合成音声で発声(1)を出力する。なお、応答データは、来訪者が来る前に、あらかじめ対話データベース(ドアホン側)1808から対話データベース(対話型エージェント側)354に送っておいてもよく、また、装置の出荷時にあらかじめ記憶させておいてもよい。
【0141】
次に、音声入力部105から、利用者の発声(2)「いや」が入力される。音声認識部362は、利用者の発声(2)を認識し、対話処理部355が、利用者の発声「いや」(つまり、[否定]のカテゴリ)に対応する応答(3)「わかりました」を、対話データベース354から選択して、音声合成部256に送る。音声合成部256は、合成音声で応答(3)を出力する。
【0142】
一方、対話処理部355は、音声認識結果が「否定」のカテゴリであったことを示す情報を対話データ処理部353に送る。「否定」のカテゴリであったという情報は、第2対話データ送受信部652、第1対話データ送受信部603、第2データ送受信部602、および第1データ送受信部1802を経て、制御部1803に通知される。制御部1803は、対話データベース1808から発声(4)「ただいま留守にしています」を選択し、音声出力部1807から出力する。
【0143】
最後に、制御部1803からの指令により、表示部103の表示が終了し、対話データ処理部353の対話が終了し、ドアホン1801中の画像入力部1805、音声入力部1806、音声出力部1807の電源をオフにする。
【0144】
このように、実施の形態6の対話装置では、来訪者の画像を見る利用者の発声「いや」を認識した結果が「否定」であることなどに応じ、来訪者の画像に連動した対話データに基づいて応答データ「わかりました」などを生成するので、利用者との間で来訪者について対話場面が共有され、利用者の発声を誤認識しにくく、対話をスムーズに進めることができる。また、利用者が、ディジタルテレビ受像機601を視聴しながら来訪者への対応が可能であるため、対応が楽になるという効果も得られる。
【0145】
なお、上記実施の形態2〜実施の形態5においては、対話装置がテレビ受像機と対話型エージェント装置とによって構成される例を示したが、これに限らず、実施の形態1のようにテレビ受像機単体で表示部上にキャラクタ画像などを表示させて、これと対話をするようなイメージを持たせるようにしてもよい。さらに、音声による対話に限らず、装置側の発話に関しては文字表示によって行わせるようにしてもよい。
【0146】
また、実施の形態2〜実施の形態5における各構成要素がテレビ受像機と対話エージェント装置との何れに設けられるかなどの形態は、上記に限らず、例えば付加情報処理部を対話型エージェント装置側に設けたり、対話データ処理部および対話データベースをテレビ受像機側に設けたり、音声認識部をテレビ受像機やSTB(セットトップボックス)に設けるなど、種々に設定すればよい。さらに、実施の形態2〜5で示したような対話型エージェント装置だけによって対話装置を構成し、放送画像の表示等は通常のテレビ受像機等によって行わせるなどしてもよい。
【0147】
また、テレビ受像機を用いるものに限らず、例えばSTBなどを用いてデータ処理や信号処理だけを行わせる対話装置を構成し、画像の表示や音声の入出力は外部の他の表示装置などに行わせるようにしてもよい。
【0148】
また、上記の例では画像データ(画像信号)等や対話データが放送されたものを受信する例を示したが、これらのデータ等は、放送によって供給されるものに限らず、インターネット(ブロードバンド)や記録媒体等を介して供給されるものでも同様の効果を得ることができる。また、放送に関しても、地上波放送や、衛星放送、CATV(ケーブルテレビ放送)など種々の形態の放送を受信する機器に適用することができる。
【0149】
また、画像データ等と対話データとが互いに異なる経路で入力されるようにしてもよい。また、必ずしも同期して入力されるのに限らず、対話データ(キーワード辞書データなども含む)が画像データ等に先立って入力されるようにしたり、あらかじめ(製造段階などで)装置に記憶させておく(いわゆる常駐させる)ようにしてもよい。上記のようにキーワード辞書データなど一般的に共通に用いられ得るデータについては、あらかじめ記憶させておくことは伝送データ量の低減や伝送処理の簡素化の点で有利である。ここで、対話データが表示画像の進行に伴ってシーケンシャルに処理される場合には、表示画像の進行に応じたタイミング信号(または情報)に基づいて対話処理が順次行われるようにすればよいが、対話データがランダム(不定)な順序で処理されたり同一の対話データが繰り返して処理されたりする場合には、表示画像の進行に応じて、タイミング信号と伴に、対話データを特定する識別情報が用いられるようにすればよい。さらに、対話データに、例えば画像の表示が開始されてからその対話データが用いられるべき時点までの時間等を示す時間情報を含ませるとともに、画像の表示時にその表示時間の経過を計時するようにして、上記計時された経過時間と上記時間情報とを比較し、上記時間情報によって示される時間が経過したときに、その対話データによる対話が開始されるようにしてもよい。
【0150】
また、対話データ等の形式としては、データの内容を示す純粋のデータの形式に限らず、その対話データ等の処理内容を含むプログラムやコマンドなどの形式を用いるようにしてもよい。このような手法は、より具体的には、例えばXMLやXMLを放送データに適用したBML等の記述フォーマットを利用すれば容易に実現可能である。すなわち、対話装置として上記のようなコマンド等を解釈して実行する仕組みを設けておけば、対話データ等によってより柔軟な対話処理を行わせることが容易にできる。
【0151】
また、上記各実施の形態や変形例の構成要素は、それぞれ論理的に可能な範囲で種々に組み合わせたり取捨選択したりしてもよい。具体的には、例えば実施の形態3(図8)のタイマー管理部311を省略したり、実施の形態2(図5)に適用したり、また、実施の形態4(図14)の一時記憶部471を実施の形態2に適用したりするなどしてもよい。
【0152】
また、音声合成の手法としては、例えばテキストデータを合成音声によって読み上げるような手法に限らず、例えばあらかじめ録音音声が符号化された音声データを用い、対話データに応じて復号化処理するなどして発声させるようにしてもよい。この場合には、合成音声では生成しにくい声質やイントネーションを簡単に表現することができる。また、これらに限らず、種々の公知の手法を適用してもよい。
【0153】
また、音声認識の手法としても、種々の公知の手法を適用してもよく、その手法に係らず本発明の本質的な効果は得られる。
【0154】
また、実施の形態1等においては、対話が1回の受け答えだけで終了する例を示したが、もちろんこれに限らず、より多くのやりとりがなされるようにしてもよい。その場合でも、応答がある程度繰り返した時点で新たな画面の進行に応じて自然に話題を切り替えることによって、ちぐはぐな対話が延々と継続しないようにすることができる。
【0155】
また、対話の受け答えを複数回繰り返し得るようにする場合には、表示画像の進行にともなって新たな対話データやタイミング情報が入力された場合でも、必ずしもこれに応じた新たな対話が開始されないようにしてもよい。例えば視聴者による発話データが、対話データがあらかじめ予期している対話内容の範囲に入っている場合、すなわち対話データ内で定義されているキーワードへのヒット率が高い(以下、対話の適合度が高い)場合には、新たな対話データ等が入力された場合でも、それまでの対話を継続するようにしてもよい。また、新たな対話データ等に優先順位を示す情報を含め、その優先順位と対話の適合度とに応じて、対話を継続するか新たな対話に切り替えるかが決定されるようにしてもよい。具体的には、例えば対話の適合度が高い場合に、優先度の低い新たな対話データ等が入力された場合には対話を継続する一方、対話の適合度が低い(対話がちぐはぐになりがちな)場合には、優先度が低くても新たな対話データ等が入力されたときに新たな対話に切り替えることによって不適切な対話の継続を容易に解消することができる。
【0156】
また、さらに、対話装置に保持されたり他の機器からネットワーク等を介して取得された視聴者のプロファイル情報に基づいて(またはプロファイル情報と前記対話の適合度と新たな対話データ等の優先度との2以上の組み合わせに基づいて)、新たな対話が開始されるかどうかが決定されるようにしてもよい。具体的には、例えば視聴者が料理に関する話題に興味を有していることがプロファイル情報によって示されている場合、料理に関する対話が行われているときに他の話題に関しての新たな対話データ等が入力されても、それまでの対話が継続されるようにする一方、他の話題に関する対話が行われているときに料理に関する話題の新たな対話データ等が入力されたときには、対話の適合度が多少高くても新たな対話が開始されるようにすれば、一層、対話の継続、切り替えをスムーズに行わせることもできる。また、上記のようなプロファイル情報や対話の適合度等の組み合わせに対してどれに重きを置くかなどの対話継続、切り替えの条件情報自体を種々設定し得るようにしてもよい。
【0157】
また、上記のようにプロファイル情報に基づいて対話の継続、切り替えを制御する場合、その後の対話の適合度に応じて、上記プロファイル情報自体が更新されるようにしてもよい。具体的には、例えば料理に関する話題についての対話の適合度が高い場合には、視聴者が料理に関する話題により高い興味を有していることを示すようにプロファイル情報を更新することにより、さらに適切な対話が行われやすくすることが容易にできる。
【0158】
また、上記のように画像表示に伴った対話が行われた場合に、視聴者の発話内容に応じたデータや、対話の適合度を画像と伴に記録媒体に記録し得るようにするとともに、記録された画像を再生する際に、上記データや適合度などをキーとして再生箇所をサーチし得るようにすれば、視聴者が表示画像に対して印象深いことを示す発話をした箇所や、対話装置との対話がはずんだ箇所を容易に再生させることができる。
【産業上の利用可能性】
【0159】
以上のように本発明によると、視聴者に対して非対話的に進行する画像に対応した対話データに基づいて対話を行わせることにより、視聴者を対話装置があらかじめ想定している対話内容に自然な感じで引き込むことが容易にでき、したがって、比較的小規模な装置構成でも、利用者の発声を誤認識しにくく、対話をスムーズに進めて自由な対話に近い印象を与えることが容易にできるので、視聴機器や家庭用電化製品などの分野において有用である。
【図面の簡単な説明】
【0160】
【図1】実施の形態1の対話装置の構成を示すブロック図である。
【図2】同、画像表示例を示す説明図である。
【図3】同、対話データベースの記憶内容を示す説明図である。
【図4】実施の形態2の対話装置の全体構成を示す説明図である。
【図5】同、具体的な構成を示すブロック図である。
【図6】同、対話データベースの記憶内容を示す説明図である。
【図7】同、対話動作を示すフローチャートである。
【図8】実施の形態3の対話装置の具体的な構成を示すブロック図である。
【図9】同、キーワード辞書の記憶内容を示す説明図である。
【図10】同、対話データベースの記憶内容を示す説明図である。
【図11】同、全体の対話動作を示すフローチャートである。
【図12】同、表示画面の例を示す説明図である。
【図13】同、対話処理の詳細な動作を示すフローチャートである。
【図14】実施の形態4の対話装置の具体的な構成を示すブロック図である。
【図15】同、対話処理の詳細な動作を示すフローチャートである。
【図16】同、キーワード辞書の記憶内容を示す説明図である。
【図17】同、対話データベースの記憶内容を示す説明図である。
【図18】同、一時記憶部の記憶内容を示す説明図である。
【図19】実施の形態5の対話装置のデータ放送情報蓄積部の記憶内容を示す説明図である。
【図20】同、対話スクリプトデータベースの記憶内容を示す説明図である。
【図21】同、具体的な構成を示すブロック図である。
【図22】同、全体の対話動作を示すフローチャートである。
【図23】実施の形態6の対話装置の具体的な構成を示すブロック図である。
Claims (25)
- 画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備えたことを特徴とする会話装置。 - 請求項1の会話装置であって、さらに、
無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、上記画像データ、および上記会話データが入力され、上記入力されたデータを上記表示制御手段、および上記会話データ記憶手段に出力する入力手段を備えたことを特徴とする会話装置。 - 請求項2の会話装置であって、
上記入力手段は、上記画像データと、上記会話データとが、互いに異なる経路を介して入力されるように構成されたことを特徴とする会話装置。 - 請求項2の会話装置であって、
上記入力手段は、上記会話データが上記画像データと対応した所定のタイミングで入力されることにより、上記タイミング情報を出力するように構成されていることを特徴とする会話装置。 - 請求項2の会話装置であって、
さらに、上記視聴者発話データを記憶する視聴者発話データ記憶手段を備え、
上記会話処理手段は、上記視聴者発話データ記憶手段に記憶された上記視聴者発話データ、および上記視聴者発話データが基づく上記音声を上記視聴者が発声した後に上記入力手段に新たに入力された会話データに基づいて、上記装置発話データを出力するように構成されていることを特徴とする会話装置。 - 請求項1の会話装置であって、
上記会話処理手段は、上記画像データに含まれる上記タイミング情報に基づいて、上記装置発話データを出力するように構成されたことを特徴とする会話装置。 - 請求項6の会話装置であって、
上記会話データ記憶手段は、複数の上記会話データを記憶し得るように構成されるとともに、
上記画像データは、上記タイミング情報とともに、上記複数の会話データのうちの少なくとも何れか1つを特定する会話データ特定情報を含み、
上記会話処理手段は、上記タイミング情報、および上記会話データ特定情報に基づいて、上記装置発話データを出力するように構成されたことを特徴とする会話装置。 - 請求項1の会話装置であって、
さらに、上記画像の表示時間の経過に応じた上記タイミング情報を出力する計時手段を備えるとともに、
上記会話データは、上記会話処理手段による上記装置発話データを出力すべきタイミングを示す出力時間情報を含み、
上記会話処理手段は、上記タイミング情報、および上記出力時間情報に基づいて、上記装置発話データを出力するように構成されたことを特徴とする会話装置。 - 請求項1の会話装置であって、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するように構成されたことを特徴とする会話装置。 - 画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するとともに、さらに、
既に開始された視聴者との会話における上記装置発話データと上記視聴者発話データとの適合度、および視聴者との新たな会話開始の優先度に基づいて、上記新たな会話を開始するように構成されたことを特徴とする会話装置。 - 画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するとともに、さらに、
視聴者に関するプロファイル情報、および上記プロファイル情報に応じて視聴者との会話を開始するための条件を示す会話開始条件情報に基づいて、視聴者との会話を開始するように構成されたことを特徴とする会話装置。 - 画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、上記会話データ、および上記タイミング情報に基づいて上記装置発話データを出力することにより、視聴者との会話を開始する一方、上記会話データ、および上記視聴者発話データに基づいて上記装置発話データを出力することにより、上記開始された会話を継続するとともに、さらに、
既に開始された視聴者との会話における上記装置発話データと上記視聴者発話データとの適合度、視聴者に関するプロファイル情報、および上記適合度と上記プロファイル情報とに応じて視聴者との会話を開始するための条件を示す会話開始条件情報に基づいて、視聴者との新たな会話を開始するように構成されたことを特徴とする会話装置。 - 請求項12の会話装置であって、
上記会話処理手段は、上記開始された会話における上記装置発話データと上記視聴者発話データとの適合度に応じて、上記プロファイル情報を更新するように構成されたことを特徴とする会話装置。 - 画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御手段と、
上記画像の進行に対応した会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備え、
上記会話処理手段は、所定の一連の上記画像の表示が所定の時間連続して行われたときに、上記装置発話データを出力するように構成されたことを特徴とする会話装置。 - 無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、視聴者に対して非対話的に進行する画像を示す画像データ、および上記画像の進行に対応した会話データが入力される入力手段と、
上記画像データに基づいて、上記画像を表示部に表示させる表示制御手段と、
上記会話データ、および上記画像の進行に応じたタイミング情報を会話子機装置に送信する送信手段と、
を備え、
上記会話子機装置が、上記会話データ、上記タイミング情報、および視聴者発話データに基づいて、視聴者と会話装置との会話における発話内容を決定する
ことを特徴とする会話親機装置。 - 会話親機装置から送信された、視聴者に対して非対話的に進行する画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報を受信する受信手段と、
上記会話データを記憶する会話データ記憶手段と、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識手段と、
上記視聴者発話データ、上記会話データ、および上記タイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話子機装置による発話内容を示す装置発話データを出力する会話処理手段と、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御手段と、
を備えたことを特徴とする会話子機装置。 - 画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
を有することを特徴とする会話制御方法。 - 無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、視聴者に対して非対話的に進行する画像を示す画像データ、および上記画像の進行に対応した会話データが入力される入力ステップと、
上記画像データに基づいて、上記画像を表示部に表示させる表示制御ステップと、
上記会話データ、および上記画像の進行に応じたタイミング情報を会話子機装置に送信する送信ステップと、
を有し、
上記会話子機装置が、上記会話データ、上記タイミング情報、および視聴者発話データに基づいて、視聴者と会話装置との会話における発話内容を決定する
ことを特徴とする会話制御方法。 - 会話親機装置から送信された、視聴者に対して非対話的に進行する画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報を受信する受信ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記会話データ、および上記タイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話子機装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
を有することを特徴とする会話制御方法。 - 画像データに基づいて、視聴者に対して非対話的に進行する画像を表示部に表示させる表示制御ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
をコンピュータに実行させることを特徴とする会話制御プログラム。 - 無線通信、有線通信、ネットワーク通信、および記録媒体の少なくとも何れか1つを介して、視聴者に対して非対話的に進行する画像を示す画像データ、および上記画像の進行に対応した会話データが入力される入力ステップと、
上記画像データに基づいて、上記画像を表示部に表示させる表示制御ステップと、
上記会話データ、および上記画像の進行に応じたタイミング情報を会話子機装置に送信する送信ステップと、
をコンピュータに実行させ、
上記会話子機装置が、上記会話データ、上記タイミング情報、および視聴者発話データに基づいて、視聴者と会話装置との会話における発話内容を決定する
ことを特徴とする会話制御プログラム。 - 会話親機装置から送信された、視聴者に対して非対話的に進行する画像の進行に対応した会話データ、および上記画像の進行に応じたタイミング情報を受信する受信ステップと、
視聴者が発話した音声に基づく認識処理により、視聴者の発話内容を示す視聴者発話データを出力する音声認識ステップと、
上記視聴者発話データ、上記会話データ、および上記タイミング情報に基づいて、視聴者と会話装置との会話における、会話装置による発話内容を決定し、上記会話子機装置による発話内容を示す装置発話データを出力する会話処理ステップと、
上記装置発話データに基づいて、発音部に音声を発声させる発声制御ステップと、
をコンピュータに実行させることを特徴とする会話制御プログラム。 - 請求項1の会話装置であって、
上記会話処理手段は、上記画像の進行に対応した会話データを出力した後に、その後の上記画像の進行内容に係わらず、視聴者発話データに応じた装置発話データを出力し得るように構成されていることを特徴とする会話装置。 - 請求項1の会話装置であって、
上記会話処理手段は、上記視聴者発話データ、上記会話データ、および上記画像の進行に応じたタイミング情報に基づいて定まる複数の候補のうちから、上記会話装置による発話内容を決定するように構成されていることを特徴とする会話装置。 - 請求項1の会話装置であって、
会話相手を模した子機装置を介して、または会話相手を模した画像の表示部へ
の表示とともに、上記発音部に音声を発声させるように構成されたことを特徴とする会話装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001296824 | 2001-09-27 | ||
JP2001296824 | 2001-09-27 | ||
PCT/JP2002/010118 WO2003030150A1 (fr) | 2001-09-27 | 2002-09-27 | Dispositif de dialogue, dispositif de dialogue pere, dispositif de dialogue fils, methode de commande de dialogue et programme de commande de dialogue |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2003030150A1 JPWO2003030150A1 (ja) | 2005-01-20 |
JP3644955B2 true JP3644955B2 (ja) | 2005-05-11 |
Family
ID=19117994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003533270A Expired - Fee Related JP3644955B2 (ja) | 2001-09-27 | 2002-09-27 | 会話装置、会話親機装置、会話子機装置、会話制御方法、および会話制御プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20040068406A1 (ja) |
EP (1) | EP1450351A4 (ja) |
JP (1) | JP3644955B2 (ja) |
CN (1) | CN1248193C (ja) |
WO (1) | WO2003030150A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7771271B2 (en) * | 1996-12-30 | 2010-08-10 | Igt | Method and apparatus for deriving information from a gaming device |
JP3963349B2 (ja) * | 2002-01-28 | 2007-08-22 | 日本放送協会 | 対話型番組提示装置及び対話型番組提示プログラム |
US20050131677A1 (en) * | 2003-12-12 | 2005-06-16 | Assadollahi Ramin O. | Dialog driven personal information manager |
US9240188B2 (en) | 2004-09-16 | 2016-01-19 | Lena Foundation | System and method for expressive language, developmental disorder, and emotion assessment |
US9355651B2 (en) * | 2004-09-16 | 2016-05-31 | Lena Foundation | System and method for expressive language, developmental disorder, and emotion assessment |
US10223934B2 (en) | 2004-09-16 | 2019-03-05 | Lena Foundation | Systems and methods for expressive language, developmental disorder, and emotion assessment, and contextual feedback |
JP4324089B2 (ja) * | 2004-12-17 | 2009-09-02 | 富士通株式会社 | 音声再生プログラムおよびその記録媒体、音声再生装置ならびに音声再生方法 |
TWI269268B (en) * | 2005-01-24 | 2006-12-21 | Delta Electronics Inc | Speech recognizing method and system |
US7643995B2 (en) * | 2005-02-09 | 2010-01-05 | Microsoft Corporation | Method of automatically ranking speech dialog states and transitions to aid in performance analysis in speech applications |
US8099279B2 (en) * | 2005-02-09 | 2012-01-17 | Microsoft Corporation | Interactive clustering method for identifying problems in speech applications |
US20060253524A1 (en) * | 2005-05-05 | 2006-11-09 | Foreman Paul E | Representations of conversational policies |
US20060253843A1 (en) * | 2005-05-05 | 2006-11-09 | Foreman Paul E | Method and apparatus for creation of an interface for constructing conversational policies |
JP2007150473A (ja) * | 2005-11-24 | 2007-06-14 | Orion Denki Kk | テレビ放送受信装置及びドアホン装置及びインターホンシステム |
US7752043B2 (en) | 2006-09-29 | 2010-07-06 | Verint Americas Inc. | Multi-pass speech analytics |
JP4471128B2 (ja) * | 2006-11-22 | 2010-06-02 | セイコーエプソン株式会社 | 半導体集積回路装置、電子機器 |
US20090204391A1 (en) * | 2008-02-12 | 2009-08-13 | Aruze Gaming America, Inc. | Gaming machine with conversation engine for interactive gaming through dialog with player and playing method thereof |
US20090210217A1 (en) * | 2008-02-14 | 2009-08-20 | Aruze Gaming America, Inc. | Gaming Apparatus Capable of Conversation with Player and Control Method Thereof |
US8719016B1 (en) * | 2009-04-07 | 2014-05-06 | Verint Americas Inc. | Speech analytics system and system and method for determining structured speech |
US20110143323A1 (en) * | 2009-12-14 | 2011-06-16 | Cohen Robert A | Language training method and system |
CN101916266A (zh) * | 2010-07-30 | 2010-12-15 | 优视科技有限公司 | 基于移动终端的声控网页浏览方法和装置 |
JP5148026B1 (ja) * | 2011-08-01 | 2013-02-20 | パナソニック株式会社 | 音声合成装置および音声合成方法 |
US8798995B1 (en) * | 2011-09-23 | 2014-08-05 | Amazon Technologies, Inc. | Key word determinations from voice data |
JP2014191212A (ja) * | 2013-03-27 | 2014-10-06 | Seiko Epson Corp | 音声処理装置、集積回路装置、音声処理システム及び音声処理装置の制御方法 |
KR102193559B1 (ko) | 2014-02-18 | 2020-12-22 | 삼성전자주식회사 | 대화형 서버 및 이의 제어 방법 |
WO2018173396A1 (ja) * | 2017-03-23 | 2018-09-27 | シャープ株式会社 | 発話装置、該発話装置の制御方法、および該発話装置の制御プログラム |
US10311874B2 (en) | 2017-09-01 | 2019-06-04 | 4Q Catalyst, LLC | Methods and systems for voice-based programming of a voice-controlled device |
WO2019113477A1 (en) | 2017-12-07 | 2019-06-13 | Lena Foundation | Systems and methods for automatic determination of infant cry and discrimination of cry from fussiness |
WO2019161229A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for reconstructing unoccupied 3d space |
WO2019161207A1 (en) * | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for conversational agent via adaptive caching of dialogue tree |
JP2019175432A (ja) * | 2018-03-26 | 2019-10-10 | カシオ計算機株式会社 | 対話制御装置、対話システム、対話制御方法及びプログラム |
CN111971647A (zh) * | 2018-04-09 | 2020-11-20 | 麦克赛尔株式会社 | 语音识别设备、语音识别设备的协作***和语音识别设备的协作方法 |
WO2019220518A1 (ja) * | 2018-05-14 | 2019-11-21 | 富士通株式会社 | 回答プログラム、回答方法および回答装置 |
CN112015852A (zh) * | 2019-05-31 | 2020-12-01 | 微软技术许可有限责任公司 | 在关于事件的会话中提供响应 |
KR102091006B1 (ko) * | 2019-06-21 | 2020-03-19 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4333152A (en) * | 1979-02-05 | 1982-06-01 | Best Robert M | TV Movies that talk back |
US4305131A (en) * | 1979-02-05 | 1981-12-08 | Best Robert M | Dialog between TV movies and human viewers |
US4569026A (en) * | 1979-02-05 | 1986-02-04 | Best Robert M | TV Movies that talk back |
EP0016314A1 (en) * | 1979-02-05 | 1980-10-01 | Best, Robert MacAndrew | Method and apparatus for voice dialogue between a video picture and a human |
US4445187A (en) * | 1979-02-05 | 1984-04-24 | Best Robert M | Video games with voice dialog |
US4846693A (en) * | 1987-01-08 | 1989-07-11 | Smith Engineering | Video based instructional and entertainment system using animated figure |
AU652209B2 (en) * | 1990-11-14 | 1994-08-18 | Robert Macandrew Best | Talking video games |
US5537141A (en) * | 1994-04-15 | 1996-07-16 | Actv, Inc. | Distance learning system providing individual television participation, audio responses and memory for every student |
US5530469A (en) * | 1994-12-20 | 1996-06-25 | Garfinkle; Norton | Interactive television with correlation of viewers input and results made available to each viewer |
US5774859A (en) * | 1995-01-03 | 1998-06-30 | Scientific-Atlanta, Inc. | Information system having a speech interface |
JPH08202386A (ja) * | 1995-01-23 | 1996-08-09 | Sony Corp | 音声認識方法、音声認識装置、およびナビゲーション装置 |
US5890123A (en) * | 1995-06-05 | 1999-03-30 | Lucent Technologies, Inc. | System and method for voice controlled video screen display |
US5809471A (en) * | 1996-03-07 | 1998-09-15 | Ibm Corporation | Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary |
US5819220A (en) * | 1996-09-30 | 1998-10-06 | Hewlett-Packard Company | Web triggered word set boosting for speech interfaces to the world wide web |
US6209028B1 (en) * | 1997-03-21 | 2001-03-27 | Walker Digital, Llc | System and method for supplying supplemental audio information for broadcast television programs |
US6199043B1 (en) * | 1997-06-24 | 2001-03-06 | International Business Machines Corporation | Conversation management in speech recognition interfaces |
US6081830A (en) * | 1997-10-09 | 2000-06-27 | Gateway 2000, Inc. | Automatic linking to program-specific computer chat rooms |
US6587822B2 (en) * | 1998-10-06 | 2003-07-01 | Lucent Technologies Inc. | Web-based platform for interactive voice response (IVR) |
US7198490B1 (en) * | 1998-11-25 | 2007-04-03 | The Johns Hopkins University | Apparatus and method for training using a human interaction simulator |
JP2000181676A (ja) * | 1998-12-11 | 2000-06-30 | Nintendo Co Ltd | 画像処理装置 |
US7065513B1 (en) * | 1999-02-08 | 2006-06-20 | Accenture, Llp | Simulation enabled feedback system |
US6480819B1 (en) * | 1999-02-25 | 2002-11-12 | Matsushita Electric Industrial Co., Ltd. | Automatic search of audio channels by matching viewer-spoken words against closed-caption/audio content for interactive television |
US6314398B1 (en) * | 1999-03-01 | 2001-11-06 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method using speech understanding for automatic channel selection in interactive television |
US6288753B1 (en) * | 1999-07-07 | 2001-09-11 | Corrugated Services Corp. | System and method for live interactive distance learning |
JP3994368B2 (ja) * | 2000-01-25 | 2007-10-17 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに記録媒体 |
JP2001249924A (ja) * | 2000-03-03 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 対話型自動説明装置および対話型自動説明方法およびこの方法の実行プログラムを記録した記録媒体 |
JP3994682B2 (ja) * | 2000-04-14 | 2007-10-24 | 日本電信電話株式会社 | 放送情報送受信システム |
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
KR100779978B1 (ko) * | 2000-09-12 | 2007-11-27 | 소니 가부시끼 가이샤 | 정보제공시스템, 정보제공장치 및 정보제공방법과데이터기록매체 |
US6728679B1 (en) * | 2000-10-30 | 2004-04-27 | Koninklijke Philips Electronics N.V. | Self-updating user interface/entertainment device that simulates personal interaction |
US20020143550A1 (en) * | 2001-03-27 | 2002-10-03 | Takashi Nakatsuyama | Voice recognition shopping system |
US20030035075A1 (en) * | 2001-08-20 | 2003-02-20 | Butler Michelle A. | Method and system for providing improved user input capability for interactive television |
-
2002
- 2002-09-27 US US10/466,785 patent/US20040068406A1/en not_active Abandoned
- 2002-09-27 CN CNB028191846A patent/CN1248193C/zh not_active Expired - Fee Related
- 2002-09-27 EP EP02772950A patent/EP1450351A4/en not_active Withdrawn
- 2002-09-27 JP JP2003533270A patent/JP3644955B2/ja not_active Expired - Fee Related
- 2002-09-27 WO PCT/JP2002/010118 patent/WO2003030150A1/ja not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
EP1450351A4 (en) | 2006-05-17 |
CN1248193C (zh) | 2006-03-29 |
WO2003030150A1 (fr) | 2003-04-10 |
JPWO2003030150A1 (ja) | 2005-01-20 |
CN1561514A (zh) | 2005-01-05 |
EP1450351A1 (en) | 2004-08-25 |
US20040068406A1 (en) | 2004-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3644955B2 (ja) | 会話装置、会話親機装置、会話子機装置、会話制御方法、および会話制御プログラム | |
JP6227459B2 (ja) | 遠隔操作方法ならびにシステムならびにそのユーザ端末および視聴端末 | |
CN110634483B (zh) | 人机交互方法、装置、电子设备及存储介质 | |
US20210280185A1 (en) | Interactive voice controlled entertainment | |
CN108391149B (zh) | 显示设备、控制显示设备的方法、服务器以及控制服务器的方法 | |
US20140111689A1 (en) | Display device, method of controlling the display device, and information processor to control the display device | |
US8655666B2 (en) | Controlling a set-top box for program guide information using remote speech recognition grammars via session initiation protocol (SIP) over a Wi-Fi channel | |
CN106796496A (zh) | 显示设备及其操作方法 | |
US20030191629A1 (en) | Interface apparatus and task control method for assisting in the operation of a device using recognition technology | |
CN113784163A (zh) | 一种连麦直播方法及相关设备 | |
CN114464180A (zh) | 一种智能设备及智能语音交互方法 | |
US11664024B2 (en) | Artificial intelligence device | |
CN111294606A (zh) | 直播处理方法、装置、直播客户端及介质 | |
JP4077656B2 (ja) | 発言者特定映像装置 | |
JPH11109991A (ja) | マンマシンインターフェースシステム | |
JP6266330B2 (ja) | 遠隔操作システムならびにそのユーザ端末および視聴機器 | |
CN112634886A (zh) | 一种智能设备的交互方法、服务器、计算设备及存储介质 | |
JP6889597B2 (ja) | ロボット | |
US11790913B2 (en) | Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal | |
JP2004362280A (ja) | 放送番組蓄積装置 | |
JP7505491B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2004177712A (ja) | 対話スクリプト生成装置、対話スクリプト生成方法 | |
Mirowski et al. | Rosetta Code: Improv in Any Language. | |
JP2006317548A (ja) | 教育用コンテンツ生成装置 | |
JP6867543B1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050201 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |