JP4054897B2 - 会話のための装置 - Google Patents
会話のための装置 Download PDFInfo
- Publication number
- JP4054897B2 JP4054897B2 JP36187298A JP36187298A JP4054897B2 JP 4054897 B2 JP4054897 B2 JP 4054897B2 JP 36187298 A JP36187298 A JP 36187298A JP 36187298 A JP36187298 A JP 36187298A JP 4054897 B2 JP4054897 B2 JP 4054897B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- conversation
- data
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【発明の属する技術分野】
本発明は、遠隔の地に居る実在の人又はコンピュータ上の仮想のキャラクタとの間で、リアルタイムに又は時間差を介して、文字又は音声により、「会話」（電子メール、メッセージ送信、リアルタイムのチャット、メーリングリストなどを含む）を行うための会話システムに関する。
【０００２】
【従来の技術】
従来より、遠隔の地に居る人とインターネットやパソコン通信などのネットワークを介して会話を行うことが行われている。それは、「チャット」と呼ばれるリアルタイムの会話を行うシステムであったり、「電子メール」「メーリングリスト」と呼ばれる電子的なメッセージ（手紙、発言）を遠隔の相手に送るシステムであったりする。また、その会話も、電子メール、メーリングリスト、チャットのいずれにおいても、相手方が一人である「一対一」の場合だけではなく、一度に多数人に同報メールを送信することによる「一対多」とか「多対多」の会話も可能である。
【０００３】
また、以上のチャット、電子メール、メーリングリストなどは、いずれも、遠隔の地に居る「実在の人（人間）」と会話を行うものであるが、それ以外に、例えば、「電子秘書」とか「電子案内嬢（電子コンパニオン）」とか「電子アドバイザー」などの「仮想の人（キャラクター）」との間でユーザーが会話を行う場合がある。例えば、ある大手企業のイギリスの証券市場を担当している電子秘書に対して日本在住の役員（ユーザー）がコンピュータ上で問い合わせする場合とか、日本在住のユーザーがフランスのルーブル美術館（インターネット上の電子的なバーチャル美術館）にインターネット上でアクセスして、最初に画面に現れた電子案内嬢に質問を行うなどの場合である。このような場合は、実在の人ではなく「コンピュータ上の仮想のキャラクタ」（電子秘書や電子案内嬢）とユーザーが会話を行うことになる。
【０００４】
さらに、最近は、「インターネットを使用した仮想空間の中でチャットなどの会話をユーザーが楽しむとき、ユーザーが自分の「分身」を画面の中に作り出して、その分身を通して、仮想の町や店舗の中を歩き回ったり、インターネットを通じて世界中からこの仮想の町を訪れる人々と画面の中で出会い、あたかも実際に会っているかのように会話ができる」システムも、「インタースペース」というソフトウェアの名前で、ＮＴＴソフトウェアカリフォルニア技術センターにより、１９９８年６月から米国で実用化されている（以上、１９９８年４月２０日付け日経産業新聞の記事「日本企業 世界に生きる 日本発ソフト発信 ネット用、仮想体験売り物」より引用。なお、この記事には、ユーザーの「分身」として、ユーザーの顔写真とコンピュータグラフィックスによる胴体とを合成したキャラクタが使用された画面の写真が掲載されている）。
さらに又、最近は、前記と同様の「自分の分身が仮想世界を活動するシステム」が様々な企業から実用化されている。次は、１９９８年１０月１４日付け日経産業新聞の記事「ネットで会話に新サービス 顔写真付きも登場」からの引用である。「インターネットを使って見知らぬ人は文字のメッセージを同時に交わし合うチャット（おしゃべり）で、ネット関連会社が相次ぎ新サービスを開始している。ソニーはこのほど、チャット参加者の顔写真をパソコン画面上に表示する新サービス「Ｃｈａｔ Ｖｉｓｉｏｎ」を始めた。通常のチャットは文字だけのやりとりだが、新サービスではデシタルカメラなどで撮影した顔写真付きの画像が自分の分身となってネット上の三次元の仮想空間を自由に歩き回り、出会った相手と顔を見合わせながら会話を楽しむことができる。三洋電機ソフトウェア（大阪府守口市）が行うインターネット接続業者の「ＳＡＮＮＥＴ」も、赤ちゃんロボットなど５種類のキャラクターの姿を借りて三次元空間でチャットできる「ＴＵＬＩＥ ＷＯＲＬＤ」というサービスを始めた。」
【０００５】
【発明が解決しようとする課題】
ところで、以上のような会話システムにおいては、文章や音声で会話がやりとりされる（電子メールを音声で送ることも実用化されている）。また、電子メールに、音声や画像を含むファイルを添付又は合成すると共に、話者を示すキャラクタを添付又は合成することも行われている。しかしながら、従来の電子メールなどに添付又は合成している話者を示すキャラクタは、話者の居る時間帯やその周囲の状況が分かるようなものではない。また、従来のキャラクタは、話者がどのような場所にいても、また話者が発言している時間帯がどのような時間帯であっても、キャラクタの内容は同一の画一的なもので面白味の無いものであった。他方、従来からも、パソコンのディスプレイなどの上にＣＣＤカメラなどを取り付けて、音声又は文字から成る会話に、カメラ記で撮像した話者及びその周囲の実写映像を添付又は合成して送信する「テレビ電話システム」「テレビ会議システム」も実用化されている（これらは、リアルタイムの音声による会話であるが、リアルタイムの又は時間差のある文字による会話にも、応用が可能である）。しかしながら、このようなカメラからの撮像画像を会話に添付又は合成する方法は、カメラを取り付けていない情報機器を使用して行う会話には使用できないし、また、自宅の中などのプライバシー保護が必要な場所から会話を発信する場合はカメラからの実写映像をそのまま送るのはプライバシー保護上適切ではない、などの問題がある。
また、上記のように、ＮＴＴソフトウェアカリフォルニア技術センターやソニーにより最近実用化された「ユーザーがチャットを行うとき、自分の顔写真を含む画像を、自分の分身として、仮想空間の中を歩き回ったり、仮想の町で人と出会って会話をする」というサービスは、仮想空間の中でも、「現実の自分の顔写真付きのキャラクタ」を使用して会話する点で、会話の「臨場感」をある程度は高めるものと言える。しかし、上記の技術では、「顔写真」を「自分の分身」として使用するだけで、「顔写真」以外の胴体や服装や背景の画像などは常に一定のものを使用している（あるいは背景の画像などは存在しない。つまり、ユーザーが現在どのような状況に居るのか、ユーザーは現在何をしているのか、ユーザーは現在どのような地域・場所に居るのか、などの具体的な詳細情報は全く捨象している）ので、会話の「臨場感」を十分に高めることは到底できない。
また、上記の三洋電機ソフトウェアが開始したサービスでは「赤ちゃんロボット」などのキャラクタを「自分の分身」として会話をするようにしているが、このような「ユーザーが現在どのような状況に居るのか、ユーザーは現在何をしているのか、ユーザーは現在どのような地域・場所に居るのか、などの具体的な状況」とは全く関係の無い架空のキャラクタを「分身」として使用しても、会話に「臨場感」や「印象深さ」を与えることは全く期待できない。
【０００６】
本発明はこのような従来技術の問題点に着目してなされたものであって、話者のプライバシー保護を図りながら、話者が今いる状況を会話相手に知らせることを可能にして、会話に臨場感や印象深さを与えることができる、会話のための装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
１．ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、前記話者画像の一部を構成する「服装又は姿態のデータ」を生成するための服装・姿態データ生成手段と、を含むことを特徴とする会話のための装置。
２．ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、前記話者画像の一部を構成する「背景画像データ」を生成するための背景画像データ生成手段と、を含むことを特徴とする会話のための装置。
３．上記１において、前記服装・姿態データ生成手段は、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」を提供するための環境情報提供手段からの情報に基づいて、前記「服装又は姿態のデータ」を生成するものである、ことを特徴とする会話のための装置。
４．上記２において、前記背景データ生成手段は、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」を提供するための環境情報提供手段からの情報に基づいて、前記背景画像を生成するものである、ことを特徴とする会話のための装置。
５．上記３又は４において、前記環境情報提供手段は、「話者の現在位置を取得するための現在位置取得手段からの情報、話者が会話をしているときの時間帯を取得するための時間帯取得手段からの情報、話者が会話をしている日の日付又は曜日を取得するための曜日等取得手段からの情報、話者の現在位置の天候情報を取得するための天候情報取得手段からの情報、話者の現在の周囲状況を取得するための話者周囲状況取得手段からの情報、及び、話者の現在の行為状況を取得するための話者行為状況取得手段からの情報、の中の少なくとも一つ」に基づいて、「話者に関する環境情報」を取得するものである、会話のための装置。
６．上記１から５までのいずれか一つにおいて、前記会話に関連付けて送信するための「背景の音響又は音声」であって、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」と関連する「背景の音響又は音声」を生成するための音響・音声データ生成手段、を備えたことを特徴とする会話のための装置。
【０００８】
なお、本明細書において、前記の「背景音響・音声」とは、例えば、話者が会話をしている場所が「ピアノ演奏を実演しているレストラン」なら、「ピアノ演奏を示す音楽データ」がそれに該当する。また、話者が会話をしている場所が海岸なら、「海岸で聞こえる海の波の音」が前記音響・音声データに該当する。また、話者が会話をしている場所が街頭ならば、「街頭のざわめき（多数の人の話し声や車の通行の騒音など）」が前記「背景音響・音声」のデータに該当する。
また、本明細書において、上記「話者の周囲状況」とは、話者が会話をしているときの周囲の状況のことで、例えば、周囲は職場の会社内であるとか、自宅内であるとか、海外旅行先のホテルであるとかの情報である。また、上記「話者の行為状況」とは、話者が会話をしているときに話者は何をしているのかを示す状況であって、例えば、話者は現在電車に乗っているとか、話者は現在会社内で仕事をしているとか、話者は現在自宅内のリビングルームでテレビを見ているとかの情報である。
また、本明細書において、「会話」という用語は、通信ネットワークを介して行われる会話であって、例えば、時間差をもって文字又は音声により行われる電子メール（最近は音声で送れる電子メールも実用化されている。また、文字で送られた電子メールを受信側では音声で聞けるシステムや、音声で送られた電子メールを受信側が文字で見れるシステムもある）、リアルタイムで行われるチャット、メーリングリスト、パソコン通信の電子会議室などでの発言、テレビ電話、テレビ会議などの様々な種類・内容のものを含むものである。また、「会話」の内容も、発言、メッセージ、手紙などの様々な種類・内容のものを含むものである。
【０００９】
【発明の実施の形態】
図１は本発明の実施形態を示すものである。以下で説明する本実施形態は、インターネットを利用した電子メールのシステムに、メール発信者（会話の話者）及びその発信している周囲の環境を示す「話者画像」を添付又は合成する技術（電子メールの文字列の表示と同時に、話者画像をも表示させる技術）を適用した場合の、会話システムである。
図１において、１はグローバルな通信網であるインターネット、２はこのインターネット１に接続され、電子メールなどの会話（文字又は音声による）を送受信できる会話送受信部である。また、３は、この会話送受信部２により送信される、会話とそれに添付又は合成される話者画像（後述する）とを合成するための会話合成部である。また、４は文字又は音声による会話文（話、メール、又は、メッセージ）を生成するための会話文生成部、５はユーザーが文章による会話文を入力するためのキーボード、６はユーザーが音声による会話を入力するためのマイク、である。
【００１０】
また、図１において、７は前記会話文生成部４により生成された会話文に添付又は合成される話者画像を生成するための話者画像生成部である。ここで、「話者画像」とは、話者（本実施形態では、電子メールを発信しようとするユーザー）及び話者の周囲の環境を示す画像、のことである。
この話者画像は、例えば、ユーザー（話者）の顔を示すデータ（アニメーション、コンピュータグラフィックス（ＣＧ）、似顔絵などのイラスト、顔写真などの実写映像など）（以下、この話者の顔を示すデータを、「キャラクタ要部」という）に、このキャラクタ要部の下方の身体部分の服装などの姿態を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）と、このキャラクタ要部の背景を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）とを、付加・合成することにより、生成される。
【００１１】
すなわち、図１において、８は話者であるユーザーの顔を示すデータ（キャラクタ要部）をコーディネートするためのキャラクタ要部コーディネート部、９はこのキャラクタ要部の下方の身体部分の服装・姿態のデータをコーディネートするための服装・姿態コーディネート部、１０はキャラクタ要部の背景画像をコーディネートするための背景画像コーディネート部、である。
【００１２】
前記のキャラクタ要部コーディネート部８には、複数種類のキャラクタ要部を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）を記録したキャラクタ要部データベース８ａが接続されている。また、前記服装・姿態コーディネート部９には、夏用、冬用、晴天用、雨天用、外出用、室内用などの複数種類の服装・姿態を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）を記録した服装・姿態データベース９ａが接続されている。また、前記背景画像コーディネート部１０には、夏、冬、晴天、雨天、街頭（街角）、会社内、自宅内、観光地、海岸、山岳、などの複数種類の背景画像を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）を記録した背景画像データベース１０ａが接続されている。なお、前記の各データベース８ａ，９ａ，１０ａは、ユーザーが保有するパソコン（パーソナルコンピュータ）のハードディスク装置やＣＤ−ＲＯＭ装置などの記録装置に記録されているデータベースでもよいし、また、インターネット上のサーバー（ネットワーク管理用コンピュータ）に蓄積されており、随時内容が更新され、ユーザーがオンラインでアクセスできるデータベースであってもよい。
【００１３】
次に、前記各コーディネート部８，９，１０は、前記各データベース８ａ，９ａ，１０ａに蓄積された各データを、話者であるユーザーの現在居る場所や現在の時間帯（ユーザーがメールを発信しようとしている場所や時間帯）に関する「周辺環境の情報」に基づいて、最も適切なものを選択し、前記話者画像生成部７に送る。
【００１４】
前記各コーディネート部８，９，１０は、前記の選択に必要な「周辺環境の情報」を、環境情報提供部１１から得るようにしている。この環境情報提供部１１は、話者（ゆーざー）がメール発信時に居る場所の季節・気候・風土などのデータを収集する季節・気候・風土データ収集部１２と、ユーザーがメール発信時に居る場所の天候データを収集する天候データ収集部１３と、ユーザーがメールを発信する時の時間帯（朝、昼、夕方、夜、深夜など）のデータを収集するための時間帯データ収集部１４と、ユーザーがメール発信時に居る場所の周囲状況（会社内か、自宅内か、公園内か、海岸か、湖の前か、街角か、田舎道か、友人と一緒か一人か、など）を収集するための周囲状況データ収集部１５とから、前記の話者の「周辺環境情報」を得て、これを前記各コーディネート部８，９，１０に、提供する。
【００１５】
次に、前記季節・気候・風土データ収集部１２は、例えばインターネット上のオンライン・データベース１６にアクセスして、ユーザーが居る場所の季節・気候・風土のデータを収集する。すなわち、ユーザーがインターネットのプロバイター（インターネット接続サービス業者）のサーバーにアクセスしたとき、前記季節・気候・風土データ収集部１２は、インターネット上のサーバーに記録されたデータベースにアクセスして、ユーザーの情報端末のある場所に関する季節・気候・風土のデータを自動的に引き出してきて、データ収集を行う。また、データベースは、前記のようにインターネット上のオンラインデータベースでなくてもよく、例えば、ＣＤ−ＲＯＭなどに記録されたデータベースでもよい。また、季節・気候・風土データ収集部１２は、ユーザーがユーザー入力部１７から入力したデータ（例えば、「熱帯雨林気候」「寒冷気候」などのデータ）によって、話者の居る場所の季節・気候・風土を収集することもできる。
【００１６】
例えば、ユーザーが、今、アフリカのエジプトから電子メールを発信しようとしているときは、前記季節・気候・風土データ収集部１２は、ＧＰＳ受信機１６ａからの現在位置座標データに基づいて、そのエジブトの季節・気候・風土のデータを、ＣＤ−ＲＯＭのデータベース１６やオンライン・データベース１６などから収集する。そして、これらのデータは、前記環境情報提供部１１を介して、前記各コーディネート部８，９，１０に送られる。各コーディネート部８，９，１０は、これらの季節・気候・風土のデータに基づいて、それに適したキャラクタ要部、服装・姿態、背景画像を選択し、前記話者画像生成部７に送る。
【００１７】
次に、前記天候データ収集部１３は、例えば、ユーザーの情報機器（パソコン）に接続された気圧センサ１８や温度センサ１８などからのデータに基づいて、ユーザーが今いる場所の天候のデータを収集する。例えば、ユーザーの居る場所の気圧が低いときは、気圧センサ１８からのデータに基づいて、天候データ収集部１３（コンピュータ）が「雨天」と推論し、「雨天」という天候データを環境情報提供部１１に送信する。また、ユーザーの居る場所の気圧が低く且つその場所の気温が零下と極めて低いときは「雪」の天候と推論し、「雪」という天候データを環境情報提供部１１に送信する。また、前記天候データ収集部１３は、例えば、インターネット上のオンラインの天候情報データベース１９にアクセスして、ユーザーが今居る場所の天候・天気のデータを収集する。また、前記天候データ収集部１３は、ユーザー入力部２０によりユーザーが入力したデータ（例えば、「今は雨」とか「今は晴天」などのデータ）に基づいて、ユーザーの居場所の天候データを収集する。
【００１８】
例えば、ユーザーが、今、イギリスのロンドンから電子メールを発信しようとして、ロンドンがそのとき「雨天」である場合は、前記天候データ収集部１３は、「雨天」のデータを環境情報提供部１１に送る。環境情報提供部１１は、この「雨天」というデータを前記各コーディネート部８，９，１０に送る。すると、例えば、前記服装・姿態コーディネート部９は、この「雨天」というデータに基づいて、それに適した服装・姿態画像（レインコート、傘、長靴を用意している画像など。アニメーションやＣＧのデータでもよいが、写真などの実写画像でもよい）を選択して、前記話者画像生成部７に送る。また、例えば、前記背景画像コーディネート部１０は、前記の送られてきた「雨天」というデータに基づいて、「雨の降るロンドンの街角の風景画像」のデータ（アニメーションなどの架空のデータでもよいが、実写画像でもよい）を、背景画像として前記話者画像生成部７に送る。
【００１９】
次に、前記時間帯データ収集部１４は、例えば、計時部（時計手段）２１からの時刻データに基づいて、ユーザーがメールを発信しようとするときの時間帯データ（今は、朝か、昼か、夕方か、夜か、など）を収集する。また、前記時間帯データ収集部１４は、ユーザー入力部２２によりユーザーが入力したデータ（例えば、「今は夜」とか「今は朝」などのデータ）に基づいて、時間帯データを収集するようにしてもよい。
【００２０】
例えば、ユーザーが、今、自宅から深夜にメールを発信しようとしている場合、前記時間帯データ収集部１４は、「深夜である」というデータを、環境情報提供部１１に送り、環境情報提供部１１はこの「深夜である」というデータを、前記各コーディネート部８，９，１０に送る。前記服装・姿態コーデイネート部９は、この「深夜である」という時間帯データを受け取ると、それに適した服装・姿態データ（例えば、パジャマ姿など）を、前記話者画像生成部７に送る。また、前記背景画像コーディネート部１０は、前記の「深夜である」というデータを受け取ると、それに適した背景画像データ（例えば、「深夜に天空に見える星空」の画像。ＣＧなどの架空データでもよいし、実写画像でもよい）を、前記話者画像生成部７に送る。
【００２１】
次に、前記周囲状況データ収集部１４は、例えば、ユーザーの情報端末に接続されたカメラ２３からの画像データに基づいて、ユーザーがメールを発信しようとしている時のユーザーの周囲の状況（例えば、この場所は会社内か、自宅内か、観光地か、海岸か、街角か、など）のデータを収集する。また、前記周囲状況データ収集部２４は、例えば、ユーザー入力部２４によりユーザーが入力したデータ（今居る場所は、海岸である、山である、街角である、会社である、など）に基づいて、前記周囲状況データを収集するようにしてもよい。
【００２２】
例えば、ユーザーが、今、真夏の海岸で電子メールを発信しようとしている場合、前記周囲状況データ収集部２４から「海岸である」というデータが環境情報提供部１１に送られ、環境情報提供部１１から前記各コーディネート部８，９，１０に、それぞれ「海岸である」という周囲状況データが送られる。前記服装・姿態コーディネート部９は、この「海岸である」というデータを受け取ると、その海岸に適した服装・姿態の画像（例えば、水着姿）を、前記話者画像生成部７に送る。また、前記背景画像コーディネート部１０は、前記の「海岸である」というデータを受け取ると、それに適した背景画像（例えば、海水浴の風景）を選択して、それを前記話者画像生成部７に送る。
【００２３】
なお、前記各コーディネート部８，９，１０には、ユーザーが発信するメールに添付又は合成する「話者画像」を構成するキャラクタ要部、服装・姿態、及び、背景を、直接に選択するか又は選択の方向性を指示することもできる。すなわち、前記各コーディネート部８，９，１０には、それぞれ、ユーザーが直接に指示データを入力できるユーザー入力部８ｂ，９ｂ，１０ｂが備えられている。したがって、ユーザーは、直接に、キャラクタ要部コーディネート部８に指示データを入力して、自分の好きなキャラクタ要部（例えば、似顔絵のイラスト、実写の顔写真など）を選択してこれを前記話者画像生成部７に送るようにすることができる。また、ユーザーは、直接に、前記服装・姿態コーデイネート部９に指示データを入力して、自分の好きな服装・姿態を選択したり、自分の好きな服装・姿態の方向性を示すデータ（例えば、「カジュアル系で色は赤色系統の服装」、「色は黒色でシックな感じの服装」など）を入力し、それに適した服装・姿態を、前記話者画像生成部７に送ることができる。また、ユーザーは、直接に、前記背景画像コーディネート部１０に指示データを入力して、自分の好きな背景（山、湖、街角など）を指示して、それに適した背景画像を前記話者画像生成部７に送らせることができる。
【００２４】
また、図１において、５１は話者の周囲状況及び話者の行為状況を特定・推論するための「話者周囲状況及び話者行為状況特定部」（以下「話者状況特定部」と略す）である。この話者状況特定部５１には、話者の現在位置座標データを求めるためのＧＰＳ（グローバル・ポジショニング・システム）受信機が接続され、話者の現在位置データが随時入力されるようになっている（なお、話者の現在位置を特定するためのシステムとしては、ＧＰＳの他に、ＰＨＳ（簡易型携帯電話システム）を利用したシステムなども存在する）。また、前記話者状況特定部５１には、暦データを記録したカレンダー記録部５３、及び、計時データを出力する計時部（時計）５４が接続され、随時、会話をしているときの曜日と時間帯データが入力されるようになっている。また、前記話者状況特定部５１には、位置座標データと各地の気候風土との関係を記録した位置・気候データベース５５と、話者の日常の行動パターンを示す行動パターンデータベース５６とが接続されている。前記位置・気候データベースには、各地域の位置データと気候風土・季節情報が互いに関連付けられて記録されている。また、前記行動パターンデータベース５６には、例えば、平日の昼間の時間帯は会社内、平日の朝８時から９時までの時間帯は通勤電車の中、日曜日の夜は自宅のリビングルームでテレビを見ている、などのような、話者の日常生活の行動パターンが曜日と時間帯と関連付けられて記録されてている。
【００２５】
したがって、前記話者状況特定部５１は、前記ＧＰＳ受信機５２からの会話時の現在位置データ、前記カレンダー記憶部からの暦データ（主として、季節を推論するための月のデータ）、及び、前記計時部５４からの時間帯データ（主として、各国の時差を考慮して、会話時が朝か昼か夜かを推論するための時間帯データ）から、前記位置・気候データベース５５を検索することにより、会話時の話者の周囲の土地・場所の気候・風土及び現在の季節を特定・推論する。また、前記話者状況特定部５１は、前記ＧＰＳ５２からの現在位置データ、前記カレンダー記録部５３からの会話時の暦データ（主として行動パターンを推論するための曜日データ）、及び、前記計時部５４からの会話時の時間帯データから、前記行動パターンデータベース５６を検索することにより、話者の現在の行動状況（行為状況。現在、会社内で仕事中か、通勤電車で通勤中か、自宅でくつろいでいる最中か、など）を特定又は推論する。
【００２６】
本実施形態では、前記話者状況特定部５１などで特定・推論した「話者状況」のデータを環境情報提供部１１に送信し、環境情報提供部１１はこの「話者状況」データを前記各コーディネート部９，１０に送る。この「話者状況」データを受信した前記各コーディネート部９，１０は、この送られたデータに基づいて、話者の「服装・姿態」（仕事用の服装かホームウェアか遊び着か）や「背景画像」（季節、場所など）をコーディネートするためのデータを得る。
【００２７】
以上は、前記会話生成部４で作成される「会話」に添付又は合成するための「話者画像」の生成について説明した。本実施形態では、この「話者画像」に加えて、「背景音響」をも、前記「会話」に添付又は合成することができる。すなわち、本実施形態では、図１に示すように、会話合成部３に「背景音響」を送るための背景音響生成部４０が備えられている。この背景音響生成部４０は、背景音響コーディネート部４１からのデータに基づいて生成される。背景音響コーディネート部４１は、背景音響データベース４２とユーザー入力部４３と環境情報提供部１１からのデータに基づいて、背景音響をコーディネートする。
【００２８】
前記背景音響データベース４２は、海の音、街角の音（ざわめき）、駅の音（列車や駅のホームの騒音など）、ピアノ演奏の音などの様々な音響・音声のデータを蓄積している。また、この背景音響データベースは、ＣＤ−ＲＯＭなどに記録されているものでもよいし、オンライン型のデータベースでもよい。
【００２９】
また、環境情報提供部１１には、ユーザーの周囲の音響データを収集するための周囲音響データ収集部４４が備えられている。この周囲音響データ収集部４４は、ユーザーの周囲の音響を収集するためのマイク４５からのデータや、ユーザーがユーザー入力部４６から入力したデータ（例えば、「夏祭り」「東京都渋谷の街中」「ジャズ演奏会」などのデータ）に基づいて、周囲音響データ（例えば、「夏祭りのざわめき」「東京都渋谷の街中のざわめき」「ジャズ演奏会の音」などのデータ）を収集して、前記環境情報提供部１１に送り、この周囲音響データは、さらに、前記背景音響コーディネート部４１に送られる。背景音響コーディネート部４１は、この送られてきたデータに基づいて、背景音響生成部４０に「背景音響」の生成に必要なデータを送信する。
【００３０】
以上のようにして生成される「背景音響」とは、例えば、前記会話に添付又は合成するための音響・音声データであって、話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況などの「話者に関する環境情報」と関連する音響・音声データ、である。また、ここで、前記の「音響・音声データ」とは、例えば、話者が会話をしている場所が「ピアノ演奏を実演しているレストラン」なら、「ピアノ演奏を示す音楽データ」がそれに該当する。また、話者が会話をしている場所が海岸なら、「海岸で聞こえる海の波の音」が前記音響・音声データに該当する。また、話者が会話をしている場所が街頭ならば、「街頭のざわめき（多数の人の話し声や車の通行の騒音など）」が前記音響・音声データに該当する。これらの「背景音響」が「会話」に添付又は合成されると、その会話を送られた相手方は、その「会話」（文字又は音声）を見る又は聞くときに、同時に、その「環境音響」を聞くことになるので、会話に臨場感が生まれて、印象深い会話のやり取りが可能になる。
【００３１】
なお、以上に説明した環境情報提供部１１には、エージェント（電子代理人又は電子秘書）機能が備えられており、ユーザーが電子ルールなどの会話を行おうとしたときは、自動的に、インターネット上の様々なオンライン・データベースにアクセスすることにより、また、前記のセンサ（気圧センサ）１８，計時部２１，カメラ２３，マイク４５などからデータを取り込むことにより、前記の季節・気候・風土、天候、時間帯、周囲状況、周囲音響などのデータを収集するようにすることができる。前記のエージェント機能は、例えば、ユーザーが使用する電子メール用ソフトウェアに付属するソフトウェアとして実現できる。
【００３２】
以上に説明したように、本実施形態によれば、ユーザーは、自分が文字又は音声で作成した電子メール（音声データとして送信する音声メールも含む）に、自分がこれからメールを発信しようとするときの場所の季節・気候・風土、天気、時間帯、周囲の状況などに適した「話者画像」を添付又は合成して送信することができるので、電子メールのやり取りがより臨場感のある印象深いものになる。
【００３３】
なお、図２は、本実施形態で作成した電子メール（会話の一種）の一例を示すものである。図２において、３０は会話（電子メール）の全体、３１は「会話」を構成する一要素である「会話文」、３５は「会話３１」を構成する一要素である「話者画像」、３６は「会話３１」を構成する一要素である「背景音響」である。前記「話者画像」３５は、キャラクタ要部３３（例えば、話者の顔を実写した顔写真、話者の顔のイラスト、話者の顔のコンピュータグラフィック画像などにより構成される）と服装・姿態３４（例えば、イラストやコンピュータグラフィック画像などにより構成される）と背景画像３２（例えば、イラストやコンピュータグラフィック画像などにより構成される）と、により構成される。また、前記「背景音響」３６は、例えば、この「会話」３１を受け取った相手方がマウス等のポインティングデバイスでこの３６で示す部分をクリックすると、背景音響又は背景音声がスピーカから流れるようになっている。或いは、前記の話者画像３５と背景音響３６は、互いに連動して出力されるように予め設定され、話者画像３５が表示されるときには、ほぼ同時に、自動的に、前記背景音響３６もスピーカから出力されるようにしてもよい。前述のように、本実施形態では、話者画像３５の中の「話者の顔」（キャラクタ要部）３２だけは実写画像を使用したとしても、それ以外の服装・姿態３４や背景画像３２はイラストやコンピュータグラフィック画像なので、話者のプライバシーが侵害される恐れは無い。他方、本実施形態では、前記のイラストやコンピュータグラフィック画像で構成される服装・姿態３４や背景画像３２が、話者が会話をしている現在の場所や時間帯や季節などと対応した内容となっているので、話者画像３５や会話３１に臨場感を持たせることができる（これに対して、話者が会話をしている場所・時間帯・季節などがどのようなものであろうと、常に一定の服装・姿態や背景を使用した話者画像を会話に添付・合成して送信する場合は、話者画像や会話に臨場感を持たせることができない）。
【００３４】
なお、以上の本実施形態では、「話者画像」を電子メールに添付又は合成する場合について説明したが、本発明においては、これに限られるものではなく、例えば、前記「話者画像」を、リアルタイムの会話を行う「チャット」の会話の文章に、話者を示す画像として添付又は合成することができる。また、コンピュータ上の仮想的な人である「電子秘書」や「電子案内嬢」からの会話に、その電子秘書や電子案内嬢（話者）を示す画像（話者画像）を添付又は合成することもできる。
【００３５】
本発明では、例えば、前記「話者画像」を、大手企業のイギリスの証券市場の分析を担当する電子秘書からの会話（音声又は文字による話の内容）に添付又は合成することもできる。
【００３６】
すなわち、今、日本在住の会社員（ユーザー）がこの電子秘書にアクセスしてある質問をしたとする。そのとき、イギリスのロンドンは、「冬で雨天」であるとする。また、そのとき、日本は午後だが、イギリスは朝の時間帯である（時差のため）とする。すると、その会社員（ユーザー）の質問に対して回答するためにコンピュータ画面上に現れた電子秘書は、電子秘書の顔（アニメーションやコンピュータグラフィックス（ＣＧ）などで作成される）に、「コートを着て、傘をさしている」という服装・姿態の画像と、「ロンドンの証券市場の有る街路であって、雨が降っている朝の風景を示し、証券市場のある建物をバックにした光景」という背景画像とを付加した「話者画像」として、表示される。ユーザーは、そのような「話者画像」の電子秘書を画面上に見ながら、電子秘書からの回答（音声、文字、表・グラフなどのデータを含む）を聞くことになる。よって、ユーザーは、その電子秘書と会話をしながら、その「話者画像」を見ることによって、自然に、「イギリスのロンドンは、今、冬で雨天なのだな。また、今はイギリスは朝の時間帯なのだな」と理解できるので、電子秘書との会話に臨場感が得られ、印象深い会話を行えるようになる。
【００３７】
また、例えば、前記「話者画像」を、フランスのパリのルーブル美術館のインターネット上の「仮想ルーブル美術館」の電子案内嬢からの会話（音声又は文字による会話）に、その「電子案内嬢」を示す画像（話者画像）を添付又は合成することもできる。すなわち、例えば日本在住のユーザーが、インターネットを介して、前記の仮想ルーブル美術館にアクセスしたとする。そのとき、フランスのパリは、真夏の晴天だったとする。また、そのとき、日本は夜間だがフランスは真昼だったとする。すると、前記仮想美術館にアクセスしたとき、画面に最初に出てくる電子案内嬢が例えば「こちらは、仮想のルーブル美術館です。どのようなジャンルの所蔵品の鑑賞をご希望ですか？」という会話（発言、問いかけ、質問、メッセージ）が音声又は文字で、ユーザー側に送られてくる。そのときの電子案内嬢からの会話（発言、問いかけ、質問、メッセージ）には、電子案内嬢を示す「話者画像」が前記会話と同時に画面表示される（会話に添付又は合成される）が、その表示される話者画像は、電子案内嬢のキャラクタの顔（アニメーションやＣＧで作成される）に、「夏用の半袖の服装で、真昼の強い日差しを避けるための帽子をかぶっている」という服装・姿態の画像と、「フランスのパリのルーブル美術館をバックにした画像で、太陽がカンカン照りの、真夏の真昼の状況」を示す背景画像とを付加した「話者画像」として、表示される。したがって、ユーザーは、その電子案内嬢との会話を行いながら、その「話者画像」を見ることによって、自然に、「フランスのパリは、今、真夏の真昼で、太陽がカンカン照りの状態なのだな。また、今、パリは真昼なのだな」と理解できるので、電子案内嬢との会話に臨場感が得られ、印象深い会話を行えるようになる。
【００３８】
（本発明の他の実施形態など）以上、本発明の実施形態について説明したが、本発明はこれに限らず様々な変更が可能である。例えば、本実施形態では、話者画像や背景音響の生成をユーザーの手元のパソコンなどで行うようにしているが、本発明は、これに限らず、例えば、ユーザーが手元のパソコンで「会話」（手紙文など）を生成し、この生成した「会話」をパソコン通信会社のセンターに送信すると、センターのコンピュータが、この「会話」に「話者画像及び背景音響・背景音声」を添付又は合成して、相手方に送信するようにしてもよい。
すなわち、上記の実施形態では、図３（ａ）の一点鎖線Ａの枠内に示すように、「話者が会話を生成するための会話生成部５１、話者画像及び背景音響生成部５２、話者の居る場所の気圧や気温を測定するための気圧・気温センサ５３、ＧＰＳ受信機５４、話者画像などのデータをユーザーが入力するためのデータ入力部５５、話者が居る地域の天候や気候などのデータベース５６、さらに、前記会話と話者画像及び背景音響を合成し送信するための合成送信部５７」が、ユーザーの手元のパソコンの中に備えられている（なお、前記のデータベース５７は、インターネットなどを介してアクセスできるオンランイ・データベースでもよく、その場合は、オンラインなので常に更新された最新の天候情報などを得ることができる）。
しかしながら、本発明では、ユーザー（話者）の手元のパソコンには、図３（ｂ）の一点鎖線Ｂの枠内に示すように、「話者が会話（電子メールやチャットなどのメッセージなど）を生成するための会話生成部５１、話者の居る場所の気圧や気温を測定するためのセンサ５３、ＧＰＳ受信機５４、話者画像などのデータをユーザーが入力するためのデータ入力部５５」だけを備えるようにしてもよい。そして、この場合は、図３（ｂ）の一点鎖線Ｃの枠内に示す「話者画像及び背景音響生成部６３、話者が居る地域の天候や気候などのデータベース６４、さらに、前記会話と話者画像及び背景音響を合成し送信するための合成送信部６５」は、インターネットなどの通信網に接続されたサーバー（パソコン通信などを管理するコンピュータ）の中に備えるようにしてもよい（なお、前記のデータベース５７は、インターネットなどを介してアクセスできるオンランイ・データベースでもよい）。この場合は、ユーザー（話者）は、手元のパソコンで会話を生成して、この会話を、センサ５３やＧＰＳ受信機５４などからのデータなどと共にパソコン通信会社のコンピュータを介して相手先に送信すると、その送信の途中で、パソコン通信会社のコンピュータが、自動的に、話者画像及び背景音響を生成して、それらを会話と合成して、相手方に送信してくれる。すなわち、この場合、前記のパソコン通信会社のコンピュータは、予め、ユーザー（話者）の行動パターンのデータ（ユーザーの職業、趣味、家族構成、生活パターンなど）をデータベースとして保有しているので、ユーザーの手元のパソコンに接続された気圧・気温センサ５３、ＧＰＳ受信機５４などからのデータが送られてくると、それらのデータに基づいて、「話者画像及び背景音響」を自動生成し、それらをユーザーから送信された会話に添付又は合成することができる。
【００３９】
【発明の効果】
本発明によれば、ユーザーは、自分が文字又は音声で作成した会話（電子メールやチャットなど）と、自分がこれから会話を発信しようとするときの場所の季節・気候・風土、天気、時間帯、周囲の状況などに適した「話者画像」とを、一緒に且つ同時に、会話の相手方に送信することができるので、電子的な会話のやり取りをより臨場感のある印象深いものとすることができる。しかも、本発明では、前記の「話者画像」は、その全体がカメラで撮像した実写映像そのものではない（前記の「話者画像」の一部に実写映像を使用することはもちろん可能だが）ので、会話の発信者（ユーザー）のプライバシーをさらしてしまう危険や心配がない（この点で、従来のようなカメラからの実写映像をそのまま会話の相手方に送信するためプライバシー侵害の可能性があるテレビ会議システムやテレビ電話システムなどとは異なる）。
また、本発明において、前記「背景音響」をも「会話」に添付又は合成するようにすれば、その会話を送られた相手方は、その「会話」（文字又は音声）を見る又は聞くときに、同時に、その「環境音響」を聞くことになるので、会話に臨場感が生まれて、印象深い会話のやり取りが可能になる。
また、本発明においては、話者の現在位置を特定するための現在位置特定手段からの出力と、話者が会話をしているときの時間帯を特定するための時間帯特定手段からの出力と、話者が会話をしている日の曜日を特定するためのカレンダー記憶手段からの出力とに基づいて、「話者の現在の周囲状況又は行為状況」を自動的に特定・推論することができる（そして、この求めた「話者の現在の周囲状況又は行為状況」に基づいて「話者画像」や「背景音響・背景音声」のデータを作成する）ので、話者がいちいち自分の周囲状況や行為状況を入力する手間が省けるので、便利である。
【図面の簡単な説明】
【図１】 本発明の一実施形態を示す概略ブロック図である。
【図２】 本発明の一実施形態により生成される「会話」（この場合は、電子メール）の一例を示すものである。
【図３】 本発明の他の実施形態を示すものである。
本発明は、遠隔の地に居る実在の人又はコンピュータ上の仮想のキャラクタとの間で、リアルタイムに又は時間差を介して、文字又は音声により、「会話」（電子メール、メッセージ送信、リアルタイムのチャット、メーリングリストなどを含む）を行うための会話システムに関する。
【０００２】
【従来の技術】
従来より、遠隔の地に居る人とインターネットやパソコン通信などのネットワークを介して会話を行うことが行われている。それは、「チャット」と呼ばれるリアルタイムの会話を行うシステムであったり、「電子メール」「メーリングリスト」と呼ばれる電子的なメッセージ（手紙、発言）を遠隔の相手に送るシステムであったりする。また、その会話も、電子メール、メーリングリスト、チャットのいずれにおいても、相手方が一人である「一対一」の場合だけではなく、一度に多数人に同報メールを送信することによる「一対多」とか「多対多」の会話も可能である。
【０００３】
また、以上のチャット、電子メール、メーリングリストなどは、いずれも、遠隔の地に居る「実在の人（人間）」と会話を行うものであるが、それ以外に、例えば、「電子秘書」とか「電子案内嬢（電子コンパニオン）」とか「電子アドバイザー」などの「仮想の人（キャラクター）」との間でユーザーが会話を行う場合がある。例えば、ある大手企業のイギリスの証券市場を担当している電子秘書に対して日本在住の役員（ユーザー）がコンピュータ上で問い合わせする場合とか、日本在住のユーザーがフランスのルーブル美術館（インターネット上の電子的なバーチャル美術館）にインターネット上でアクセスして、最初に画面に現れた電子案内嬢に質問を行うなどの場合である。このような場合は、実在の人ではなく「コンピュータ上の仮想のキャラクタ」（電子秘書や電子案内嬢）とユーザーが会話を行うことになる。
【０００４】
さらに、最近は、「インターネットを使用した仮想空間の中でチャットなどの会話をユーザーが楽しむとき、ユーザーが自分の「分身」を画面の中に作り出して、その分身を通して、仮想の町や店舗の中を歩き回ったり、インターネットを通じて世界中からこの仮想の町を訪れる人々と画面の中で出会い、あたかも実際に会っているかのように会話ができる」システムも、「インタースペース」というソフトウェアの名前で、ＮＴＴソフトウェアカリフォルニア技術センターにより、１９９８年６月から米国で実用化されている（以上、１９９８年４月２０日付け日経産業新聞の記事「日本企業 世界に生きる 日本発ソフト発信 ネット用、仮想体験売り物」より引用。なお、この記事には、ユーザーの「分身」として、ユーザーの顔写真とコンピュータグラフィックスによる胴体とを合成したキャラクタが使用された画面の写真が掲載されている）。
さらに又、最近は、前記と同様の「自分の分身が仮想世界を活動するシステム」が様々な企業から実用化されている。次は、１９９８年１０月１４日付け日経産業新聞の記事「ネットで会話に新サービス 顔写真付きも登場」からの引用である。「インターネットを使って見知らぬ人は文字のメッセージを同時に交わし合うチャット（おしゃべり）で、ネット関連会社が相次ぎ新サービスを開始している。ソニーはこのほど、チャット参加者の顔写真をパソコン画面上に表示する新サービス「Ｃｈａｔ Ｖｉｓｉｏｎ」を始めた。通常のチャットは文字だけのやりとりだが、新サービスではデシタルカメラなどで撮影した顔写真付きの画像が自分の分身となってネット上の三次元の仮想空間を自由に歩き回り、出会った相手と顔を見合わせながら会話を楽しむことができる。三洋電機ソフトウェア（大阪府守口市）が行うインターネット接続業者の「ＳＡＮＮＥＴ」も、赤ちゃんロボットなど５種類のキャラクターの姿を借りて三次元空間でチャットできる「ＴＵＬＩＥ ＷＯＲＬＤ」というサービスを始めた。」
【０００５】
【発明が解決しようとする課題】
ところで、以上のような会話システムにおいては、文章や音声で会話がやりとりされる（電子メールを音声で送ることも実用化されている）。また、電子メールに、音声や画像を含むファイルを添付又は合成すると共に、話者を示すキャラクタを添付又は合成することも行われている。しかしながら、従来の電子メールなどに添付又は合成している話者を示すキャラクタは、話者の居る時間帯やその周囲の状況が分かるようなものではない。また、従来のキャラクタは、話者がどのような場所にいても、また話者が発言している時間帯がどのような時間帯であっても、キャラクタの内容は同一の画一的なもので面白味の無いものであった。他方、従来からも、パソコンのディスプレイなどの上にＣＣＤカメラなどを取り付けて、音声又は文字から成る会話に、カメラ記で撮像した話者及びその周囲の実写映像を添付又は合成して送信する「テレビ電話システム」「テレビ会議システム」も実用化されている（これらは、リアルタイムの音声による会話であるが、リアルタイムの又は時間差のある文字による会話にも、応用が可能である）。しかしながら、このようなカメラからの撮像画像を会話に添付又は合成する方法は、カメラを取り付けていない情報機器を使用して行う会話には使用できないし、また、自宅の中などのプライバシー保護が必要な場所から会話を発信する場合はカメラからの実写映像をそのまま送るのはプライバシー保護上適切ではない、などの問題がある。
また、上記のように、ＮＴＴソフトウェアカリフォルニア技術センターやソニーにより最近実用化された「ユーザーがチャットを行うとき、自分の顔写真を含む画像を、自分の分身として、仮想空間の中を歩き回ったり、仮想の町で人と出会って会話をする」というサービスは、仮想空間の中でも、「現実の自分の顔写真付きのキャラクタ」を使用して会話する点で、会話の「臨場感」をある程度は高めるものと言える。しかし、上記の技術では、「顔写真」を「自分の分身」として使用するだけで、「顔写真」以外の胴体や服装や背景の画像などは常に一定のものを使用している（あるいは背景の画像などは存在しない。つまり、ユーザーが現在どのような状況に居るのか、ユーザーは現在何をしているのか、ユーザーは現在どのような地域・場所に居るのか、などの具体的な詳細情報は全く捨象している）ので、会話の「臨場感」を十分に高めることは到底できない。
また、上記の三洋電機ソフトウェアが開始したサービスでは「赤ちゃんロボット」などのキャラクタを「自分の分身」として会話をするようにしているが、このような「ユーザーが現在どのような状況に居るのか、ユーザーは現在何をしているのか、ユーザーは現在どのような地域・場所に居るのか、などの具体的な状況」とは全く関係の無い架空のキャラクタを「分身」として使用しても、会話に「臨場感」や「印象深さ」を与えることは全く期待できない。
【０００６】
本発明はこのような従来技術の問題点に着目してなされたものであって、話者のプライバシー保護を図りながら、話者が今いる状況を会話相手に知らせることを可能にして、会話に臨場感や印象深さを与えることができる、会話のための装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
１．ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、前記話者画像の一部を構成する「服装又は姿態のデータ」を生成するための服装・姿態データ生成手段と、を含むことを特徴とする会話のための装置。
２．ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、前記話者画像の一部を構成する「背景画像データ」を生成するための背景画像データ生成手段と、を含むことを特徴とする会話のための装置。
３．上記１において、前記服装・姿態データ生成手段は、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」を提供するための環境情報提供手段からの情報に基づいて、前記「服装又は姿態のデータ」を生成するものである、ことを特徴とする会話のための装置。
４．上記２において、前記背景データ生成手段は、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」を提供するための環境情報提供手段からの情報に基づいて、前記背景画像を生成するものである、ことを特徴とする会話のための装置。
５．上記３又は４において、前記環境情報提供手段は、「話者の現在位置を取得するための現在位置取得手段からの情報、話者が会話をしているときの時間帯を取得するための時間帯取得手段からの情報、話者が会話をしている日の日付又は曜日を取得するための曜日等取得手段からの情報、話者の現在位置の天候情報を取得するための天候情報取得手段からの情報、話者の現在の周囲状況を取得するための話者周囲状況取得手段からの情報、及び、話者の現在の行為状況を取得するための話者行為状況取得手段からの情報、の中の少なくとも一つ」に基づいて、「話者に関する環境情報」を取得するものである、会話のための装置。
６．上記１から５までのいずれか一つにおいて、前記会話に関連付けて送信するための「背景の音響又は音声」であって、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」と関連する「背景の音響又は音声」を生成するための音響・音声データ生成手段、を備えたことを特徴とする会話のための装置。
【０００８】
なお、本明細書において、前記の「背景音響・音声」とは、例えば、話者が会話をしている場所が「ピアノ演奏を実演しているレストラン」なら、「ピアノ演奏を示す音楽データ」がそれに該当する。また、話者が会話をしている場所が海岸なら、「海岸で聞こえる海の波の音」が前記音響・音声データに該当する。また、話者が会話をしている場所が街頭ならば、「街頭のざわめき（多数の人の話し声や車の通行の騒音など）」が前記「背景音響・音声」のデータに該当する。
また、本明細書において、上記「話者の周囲状況」とは、話者が会話をしているときの周囲の状況のことで、例えば、周囲は職場の会社内であるとか、自宅内であるとか、海外旅行先のホテルであるとかの情報である。また、上記「話者の行為状況」とは、話者が会話をしているときに話者は何をしているのかを示す状況であって、例えば、話者は現在電車に乗っているとか、話者は現在会社内で仕事をしているとか、話者は現在自宅内のリビングルームでテレビを見ているとかの情報である。
また、本明細書において、「会話」という用語は、通信ネットワークを介して行われる会話であって、例えば、時間差をもって文字又は音声により行われる電子メール（最近は音声で送れる電子メールも実用化されている。また、文字で送られた電子メールを受信側では音声で聞けるシステムや、音声で送られた電子メールを受信側が文字で見れるシステムもある）、リアルタイムで行われるチャット、メーリングリスト、パソコン通信の電子会議室などでの発言、テレビ電話、テレビ会議などの様々な種類・内容のものを含むものである。また、「会話」の内容も、発言、メッセージ、手紙などの様々な種類・内容のものを含むものである。
【０００９】
【発明の実施の形態】
図１は本発明の実施形態を示すものである。以下で説明する本実施形態は、インターネットを利用した電子メールのシステムに、メール発信者（会話の話者）及びその発信している周囲の環境を示す「話者画像」を添付又は合成する技術（電子メールの文字列の表示と同時に、話者画像をも表示させる技術）を適用した場合の、会話システムである。
図１において、１はグローバルな通信網であるインターネット、２はこのインターネット１に接続され、電子メールなどの会話（文字又は音声による）を送受信できる会話送受信部である。また、３は、この会話送受信部２により送信される、会話とそれに添付又は合成される話者画像（後述する）とを合成するための会話合成部である。また、４は文字又は音声による会話文（話、メール、又は、メッセージ）を生成するための会話文生成部、５はユーザーが文章による会話文を入力するためのキーボード、６はユーザーが音声による会話を入力するためのマイク、である。
【００１０】
また、図１において、７は前記会話文生成部４により生成された会話文に添付又は合成される話者画像を生成するための話者画像生成部である。ここで、「話者画像」とは、話者（本実施形態では、電子メールを発信しようとするユーザー）及び話者の周囲の環境を示す画像、のことである。
この話者画像は、例えば、ユーザー（話者）の顔を示すデータ（アニメーション、コンピュータグラフィックス（ＣＧ）、似顔絵などのイラスト、顔写真などの実写映像など）（以下、この話者の顔を示すデータを、「キャラクタ要部」という）に、このキャラクタ要部の下方の身体部分の服装などの姿態を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）と、このキャラクタ要部の背景を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）とを、付加・合成することにより、生成される。
【００１１】
すなわち、図１において、８は話者であるユーザーの顔を示すデータ（キャラクタ要部）をコーディネートするためのキャラクタ要部コーディネート部、９はこのキャラクタ要部の下方の身体部分の服装・姿態のデータをコーディネートするための服装・姿態コーディネート部、１０はキャラクタ要部の背景画像をコーディネートするための背景画像コーディネート部、である。
【００１２】
前記のキャラクタ要部コーディネート部８には、複数種類のキャラクタ要部を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）を記録したキャラクタ要部データベース８ａが接続されている。また、前記服装・姿態コーディネート部９には、夏用、冬用、晴天用、雨天用、外出用、室内用などの複数種類の服装・姿態を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）を記録した服装・姿態データベース９ａが接続されている。また、前記背景画像コーディネート部１０には、夏、冬、晴天、雨天、街頭（街角）、会社内、自宅内、観光地、海岸、山岳、などの複数種類の背景画像を示すデータ（アニメーション、ＣＧ、イラスト、実写映像など）を記録した背景画像データベース１０ａが接続されている。なお、前記の各データベース８ａ，９ａ，１０ａは、ユーザーが保有するパソコン（パーソナルコンピュータ）のハードディスク装置やＣＤ−ＲＯＭ装置などの記録装置に記録されているデータベースでもよいし、また、インターネット上のサーバー（ネットワーク管理用コンピュータ）に蓄積されており、随時内容が更新され、ユーザーがオンラインでアクセスできるデータベースであってもよい。
【００１３】
次に、前記各コーディネート部８，９，１０は、前記各データベース８ａ，９ａ，１０ａに蓄積された各データを、話者であるユーザーの現在居る場所や現在の時間帯（ユーザーがメールを発信しようとしている場所や時間帯）に関する「周辺環境の情報」に基づいて、最も適切なものを選択し、前記話者画像生成部７に送る。
【００１４】
前記各コーディネート部８，９，１０は、前記の選択に必要な「周辺環境の情報」を、環境情報提供部１１から得るようにしている。この環境情報提供部１１は、話者（ゆーざー）がメール発信時に居る場所の季節・気候・風土などのデータを収集する季節・気候・風土データ収集部１２と、ユーザーがメール発信時に居る場所の天候データを収集する天候データ収集部１３と、ユーザーがメールを発信する時の時間帯（朝、昼、夕方、夜、深夜など）のデータを収集するための時間帯データ収集部１４と、ユーザーがメール発信時に居る場所の周囲状況（会社内か、自宅内か、公園内か、海岸か、湖の前か、街角か、田舎道か、友人と一緒か一人か、など）を収集するための周囲状況データ収集部１５とから、前記の話者の「周辺環境情報」を得て、これを前記各コーディネート部８，９，１０に、提供する。
【００１５】
次に、前記季節・気候・風土データ収集部１２は、例えばインターネット上のオンライン・データベース１６にアクセスして、ユーザーが居る場所の季節・気候・風土のデータを収集する。すなわち、ユーザーがインターネットのプロバイター（インターネット接続サービス業者）のサーバーにアクセスしたとき、前記季節・気候・風土データ収集部１２は、インターネット上のサーバーに記録されたデータベースにアクセスして、ユーザーの情報端末のある場所に関する季節・気候・風土のデータを自動的に引き出してきて、データ収集を行う。また、データベースは、前記のようにインターネット上のオンラインデータベースでなくてもよく、例えば、ＣＤ−ＲＯＭなどに記録されたデータベースでもよい。また、季節・気候・風土データ収集部１２は、ユーザーがユーザー入力部１７から入力したデータ（例えば、「熱帯雨林気候」「寒冷気候」などのデータ）によって、話者の居る場所の季節・気候・風土を収集することもできる。
【００１６】
例えば、ユーザーが、今、アフリカのエジプトから電子メールを発信しようとしているときは、前記季節・気候・風土データ収集部１２は、ＧＰＳ受信機１６ａからの現在位置座標データに基づいて、そのエジブトの季節・気候・風土のデータを、ＣＤ−ＲＯＭのデータベース１６やオンライン・データベース１６などから収集する。そして、これらのデータは、前記環境情報提供部１１を介して、前記各コーディネート部８，９，１０に送られる。各コーディネート部８，９，１０は、これらの季節・気候・風土のデータに基づいて、それに適したキャラクタ要部、服装・姿態、背景画像を選択し、前記話者画像生成部７に送る。
【００１７】
次に、前記天候データ収集部１３は、例えば、ユーザーの情報機器（パソコン）に接続された気圧センサ１８や温度センサ１８などからのデータに基づいて、ユーザーが今いる場所の天候のデータを収集する。例えば、ユーザーの居る場所の気圧が低いときは、気圧センサ１８からのデータに基づいて、天候データ収集部１３（コンピュータ）が「雨天」と推論し、「雨天」という天候データを環境情報提供部１１に送信する。また、ユーザーの居る場所の気圧が低く且つその場所の気温が零下と極めて低いときは「雪」の天候と推論し、「雪」という天候データを環境情報提供部１１に送信する。また、前記天候データ収集部１３は、例えば、インターネット上のオンラインの天候情報データベース１９にアクセスして、ユーザーが今居る場所の天候・天気のデータを収集する。また、前記天候データ収集部１３は、ユーザー入力部２０によりユーザーが入力したデータ（例えば、「今は雨」とか「今は晴天」などのデータ）に基づいて、ユーザーの居場所の天候データを収集する。
【００１８】
例えば、ユーザーが、今、イギリスのロンドンから電子メールを発信しようとして、ロンドンがそのとき「雨天」である場合は、前記天候データ収集部１３は、「雨天」のデータを環境情報提供部１１に送る。環境情報提供部１１は、この「雨天」というデータを前記各コーディネート部８，９，１０に送る。すると、例えば、前記服装・姿態コーディネート部９は、この「雨天」というデータに基づいて、それに適した服装・姿態画像（レインコート、傘、長靴を用意している画像など。アニメーションやＣＧのデータでもよいが、写真などの実写画像でもよい）を選択して、前記話者画像生成部７に送る。また、例えば、前記背景画像コーディネート部１０は、前記の送られてきた「雨天」というデータに基づいて、「雨の降るロンドンの街角の風景画像」のデータ（アニメーションなどの架空のデータでもよいが、実写画像でもよい）を、背景画像として前記話者画像生成部７に送る。
【００１９】
次に、前記時間帯データ収集部１４は、例えば、計時部（時計手段）２１からの時刻データに基づいて、ユーザーがメールを発信しようとするときの時間帯データ（今は、朝か、昼か、夕方か、夜か、など）を収集する。また、前記時間帯データ収集部１４は、ユーザー入力部２２によりユーザーが入力したデータ（例えば、「今は夜」とか「今は朝」などのデータ）に基づいて、時間帯データを収集するようにしてもよい。
【００２０】
例えば、ユーザーが、今、自宅から深夜にメールを発信しようとしている場合、前記時間帯データ収集部１４は、「深夜である」というデータを、環境情報提供部１１に送り、環境情報提供部１１はこの「深夜である」というデータを、前記各コーディネート部８，９，１０に送る。前記服装・姿態コーデイネート部９は、この「深夜である」という時間帯データを受け取ると、それに適した服装・姿態データ（例えば、パジャマ姿など）を、前記話者画像生成部７に送る。また、前記背景画像コーディネート部１０は、前記の「深夜である」というデータを受け取ると、それに適した背景画像データ（例えば、「深夜に天空に見える星空」の画像。ＣＧなどの架空データでもよいし、実写画像でもよい）を、前記話者画像生成部７に送る。
【００２１】
次に、前記周囲状況データ収集部１４は、例えば、ユーザーの情報端末に接続されたカメラ２３からの画像データに基づいて、ユーザーがメールを発信しようとしている時のユーザーの周囲の状況（例えば、この場所は会社内か、自宅内か、観光地か、海岸か、街角か、など）のデータを収集する。また、前記周囲状況データ収集部２４は、例えば、ユーザー入力部２４によりユーザーが入力したデータ（今居る場所は、海岸である、山である、街角である、会社である、など）に基づいて、前記周囲状況データを収集するようにしてもよい。
【００２２】
例えば、ユーザーが、今、真夏の海岸で電子メールを発信しようとしている場合、前記周囲状況データ収集部２４から「海岸である」というデータが環境情報提供部１１に送られ、環境情報提供部１１から前記各コーディネート部８，９，１０に、それぞれ「海岸である」という周囲状況データが送られる。前記服装・姿態コーディネート部９は、この「海岸である」というデータを受け取ると、その海岸に適した服装・姿態の画像（例えば、水着姿）を、前記話者画像生成部７に送る。また、前記背景画像コーディネート部１０は、前記の「海岸である」というデータを受け取ると、それに適した背景画像（例えば、海水浴の風景）を選択して、それを前記話者画像生成部７に送る。
【００２３】
なお、前記各コーディネート部８，９，１０には、ユーザーが発信するメールに添付又は合成する「話者画像」を構成するキャラクタ要部、服装・姿態、及び、背景を、直接に選択するか又は選択の方向性を指示することもできる。すなわち、前記各コーディネート部８，９，１０には、それぞれ、ユーザーが直接に指示データを入力できるユーザー入力部８ｂ，９ｂ，１０ｂが備えられている。したがって、ユーザーは、直接に、キャラクタ要部コーディネート部８に指示データを入力して、自分の好きなキャラクタ要部（例えば、似顔絵のイラスト、実写の顔写真など）を選択してこれを前記話者画像生成部７に送るようにすることができる。また、ユーザーは、直接に、前記服装・姿態コーデイネート部９に指示データを入力して、自分の好きな服装・姿態を選択したり、自分の好きな服装・姿態の方向性を示すデータ（例えば、「カジュアル系で色は赤色系統の服装」、「色は黒色でシックな感じの服装」など）を入力し、それに適した服装・姿態を、前記話者画像生成部７に送ることができる。また、ユーザーは、直接に、前記背景画像コーディネート部１０に指示データを入力して、自分の好きな背景（山、湖、街角など）を指示して、それに適した背景画像を前記話者画像生成部７に送らせることができる。
【００２４】
また、図１において、５１は話者の周囲状況及び話者の行為状況を特定・推論するための「話者周囲状況及び話者行為状況特定部」（以下「話者状況特定部」と略す）である。この話者状況特定部５１には、話者の現在位置座標データを求めるためのＧＰＳ（グローバル・ポジショニング・システム）受信機が接続され、話者の現在位置データが随時入力されるようになっている（なお、話者の現在位置を特定するためのシステムとしては、ＧＰＳの他に、ＰＨＳ（簡易型携帯電話システム）を利用したシステムなども存在する）。また、前記話者状況特定部５１には、暦データを記録したカレンダー記録部５３、及び、計時データを出力する計時部（時計）５４が接続され、随時、会話をしているときの曜日と時間帯データが入力されるようになっている。また、前記話者状況特定部５１には、位置座標データと各地の気候風土との関係を記録した位置・気候データベース５５と、話者の日常の行動パターンを示す行動パターンデータベース５６とが接続されている。前記位置・気候データベースには、各地域の位置データと気候風土・季節情報が互いに関連付けられて記録されている。また、前記行動パターンデータベース５６には、例えば、平日の昼間の時間帯は会社内、平日の朝８時から９時までの時間帯は通勤電車の中、日曜日の夜は自宅のリビングルームでテレビを見ている、などのような、話者の日常生活の行動パターンが曜日と時間帯と関連付けられて記録されてている。
【００２５】
したがって、前記話者状況特定部５１は、前記ＧＰＳ受信機５２からの会話時の現在位置データ、前記カレンダー記憶部からの暦データ（主として、季節を推論するための月のデータ）、及び、前記計時部５４からの時間帯データ（主として、各国の時差を考慮して、会話時が朝か昼か夜かを推論するための時間帯データ）から、前記位置・気候データベース５５を検索することにより、会話時の話者の周囲の土地・場所の気候・風土及び現在の季節を特定・推論する。また、前記話者状況特定部５１は、前記ＧＰＳ５２からの現在位置データ、前記カレンダー記録部５３からの会話時の暦データ（主として行動パターンを推論するための曜日データ）、及び、前記計時部５４からの会話時の時間帯データから、前記行動パターンデータベース５６を検索することにより、話者の現在の行動状況（行為状況。現在、会社内で仕事中か、通勤電車で通勤中か、自宅でくつろいでいる最中か、など）を特定又は推論する。
【００２６】
本実施形態では、前記話者状況特定部５１などで特定・推論した「話者状況」のデータを環境情報提供部１１に送信し、環境情報提供部１１はこの「話者状況」データを前記各コーディネート部９，１０に送る。この「話者状況」データを受信した前記各コーディネート部９，１０は、この送られたデータに基づいて、話者の「服装・姿態」（仕事用の服装かホームウェアか遊び着か）や「背景画像」（季節、場所など）をコーディネートするためのデータを得る。
【００２７】
以上は、前記会話生成部４で作成される「会話」に添付又は合成するための「話者画像」の生成について説明した。本実施形態では、この「話者画像」に加えて、「背景音響」をも、前記「会話」に添付又は合成することができる。すなわち、本実施形態では、図１に示すように、会話合成部３に「背景音響」を送るための背景音響生成部４０が備えられている。この背景音響生成部４０は、背景音響コーディネート部４１からのデータに基づいて生成される。背景音響コーディネート部４１は、背景音響データベース４２とユーザー入力部４３と環境情報提供部１１からのデータに基づいて、背景音響をコーディネートする。
【００２８】
前記背景音響データベース４２は、海の音、街角の音（ざわめき）、駅の音（列車や駅のホームの騒音など）、ピアノ演奏の音などの様々な音響・音声のデータを蓄積している。また、この背景音響データベースは、ＣＤ−ＲＯＭなどに記録されているものでもよいし、オンライン型のデータベースでもよい。
【００２９】
また、環境情報提供部１１には、ユーザーの周囲の音響データを収集するための周囲音響データ収集部４４が備えられている。この周囲音響データ収集部４４は、ユーザーの周囲の音響を収集するためのマイク４５からのデータや、ユーザーがユーザー入力部４６から入力したデータ（例えば、「夏祭り」「東京都渋谷の街中」「ジャズ演奏会」などのデータ）に基づいて、周囲音響データ（例えば、「夏祭りのざわめき」「東京都渋谷の街中のざわめき」「ジャズ演奏会の音」などのデータ）を収集して、前記環境情報提供部１１に送り、この周囲音響データは、さらに、前記背景音響コーディネート部４１に送られる。背景音響コーディネート部４１は、この送られてきたデータに基づいて、背景音響生成部４０に「背景音響」の生成に必要なデータを送信する。
【００３０】
以上のようにして生成される「背景音響」とは、例えば、前記会話に添付又は合成するための音響・音声データであって、話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況などの「話者に関する環境情報」と関連する音響・音声データ、である。また、ここで、前記の「音響・音声データ」とは、例えば、話者が会話をしている場所が「ピアノ演奏を実演しているレストラン」なら、「ピアノ演奏を示す音楽データ」がそれに該当する。また、話者が会話をしている場所が海岸なら、「海岸で聞こえる海の波の音」が前記音響・音声データに該当する。また、話者が会話をしている場所が街頭ならば、「街頭のざわめき（多数の人の話し声や車の通行の騒音など）」が前記音響・音声データに該当する。これらの「背景音響」が「会話」に添付又は合成されると、その会話を送られた相手方は、その「会話」（文字又は音声）を見る又は聞くときに、同時に、その「環境音響」を聞くことになるので、会話に臨場感が生まれて、印象深い会話のやり取りが可能になる。
【００３１】
なお、以上に説明した環境情報提供部１１には、エージェント（電子代理人又は電子秘書）機能が備えられており、ユーザーが電子ルールなどの会話を行おうとしたときは、自動的に、インターネット上の様々なオンライン・データベースにアクセスすることにより、また、前記のセンサ（気圧センサ）１８，計時部２１，カメラ２３，マイク４５などからデータを取り込むことにより、前記の季節・気候・風土、天候、時間帯、周囲状況、周囲音響などのデータを収集するようにすることができる。前記のエージェント機能は、例えば、ユーザーが使用する電子メール用ソフトウェアに付属するソフトウェアとして実現できる。
【００３２】
以上に説明したように、本実施形態によれば、ユーザーは、自分が文字又は音声で作成した電子メール（音声データとして送信する音声メールも含む）に、自分がこれからメールを発信しようとするときの場所の季節・気候・風土、天気、時間帯、周囲の状況などに適した「話者画像」を添付又は合成して送信することができるので、電子メールのやり取りがより臨場感のある印象深いものになる。
【００３３】
なお、図２は、本実施形態で作成した電子メール（会話の一種）の一例を示すものである。図２において、３０は会話（電子メール）の全体、３１は「会話」を構成する一要素である「会話文」、３５は「会話３１」を構成する一要素である「話者画像」、３６は「会話３１」を構成する一要素である「背景音響」である。前記「話者画像」３５は、キャラクタ要部３３（例えば、話者の顔を実写した顔写真、話者の顔のイラスト、話者の顔のコンピュータグラフィック画像などにより構成される）と服装・姿態３４（例えば、イラストやコンピュータグラフィック画像などにより構成される）と背景画像３２（例えば、イラストやコンピュータグラフィック画像などにより構成される）と、により構成される。また、前記「背景音響」３６は、例えば、この「会話」３１を受け取った相手方がマウス等のポインティングデバイスでこの３６で示す部分をクリックすると、背景音響又は背景音声がスピーカから流れるようになっている。或いは、前記の話者画像３５と背景音響３６は、互いに連動して出力されるように予め設定され、話者画像３５が表示されるときには、ほぼ同時に、自動的に、前記背景音響３６もスピーカから出力されるようにしてもよい。前述のように、本実施形態では、話者画像３５の中の「話者の顔」（キャラクタ要部）３２だけは実写画像を使用したとしても、それ以外の服装・姿態３４や背景画像３２はイラストやコンピュータグラフィック画像なので、話者のプライバシーが侵害される恐れは無い。他方、本実施形態では、前記のイラストやコンピュータグラフィック画像で構成される服装・姿態３４や背景画像３２が、話者が会話をしている現在の場所や時間帯や季節などと対応した内容となっているので、話者画像３５や会話３１に臨場感を持たせることができる（これに対して、話者が会話をしている場所・時間帯・季節などがどのようなものであろうと、常に一定の服装・姿態や背景を使用した話者画像を会話に添付・合成して送信する場合は、話者画像や会話に臨場感を持たせることができない）。
【００３４】
なお、以上の本実施形態では、「話者画像」を電子メールに添付又は合成する場合について説明したが、本発明においては、これに限られるものではなく、例えば、前記「話者画像」を、リアルタイムの会話を行う「チャット」の会話の文章に、話者を示す画像として添付又は合成することができる。また、コンピュータ上の仮想的な人である「電子秘書」や「電子案内嬢」からの会話に、その電子秘書や電子案内嬢（話者）を示す画像（話者画像）を添付又は合成することもできる。
【００３５】
本発明では、例えば、前記「話者画像」を、大手企業のイギリスの証券市場の分析を担当する電子秘書からの会話（音声又は文字による話の内容）に添付又は合成することもできる。
【００３６】
すなわち、今、日本在住の会社員（ユーザー）がこの電子秘書にアクセスしてある質問をしたとする。そのとき、イギリスのロンドンは、「冬で雨天」であるとする。また、そのとき、日本は午後だが、イギリスは朝の時間帯である（時差のため）とする。すると、その会社員（ユーザー）の質問に対して回答するためにコンピュータ画面上に現れた電子秘書は、電子秘書の顔（アニメーションやコンピュータグラフィックス（ＣＧ）などで作成される）に、「コートを着て、傘をさしている」という服装・姿態の画像と、「ロンドンの証券市場の有る街路であって、雨が降っている朝の風景を示し、証券市場のある建物をバックにした光景」という背景画像とを付加した「話者画像」として、表示される。ユーザーは、そのような「話者画像」の電子秘書を画面上に見ながら、電子秘書からの回答（音声、文字、表・グラフなどのデータを含む）を聞くことになる。よって、ユーザーは、その電子秘書と会話をしながら、その「話者画像」を見ることによって、自然に、「イギリスのロンドンは、今、冬で雨天なのだな。また、今はイギリスは朝の時間帯なのだな」と理解できるので、電子秘書との会話に臨場感が得られ、印象深い会話を行えるようになる。
【００３７】
また、例えば、前記「話者画像」を、フランスのパリのルーブル美術館のインターネット上の「仮想ルーブル美術館」の電子案内嬢からの会話（音声又は文字による会話）に、その「電子案内嬢」を示す画像（話者画像）を添付又は合成することもできる。すなわち、例えば日本在住のユーザーが、インターネットを介して、前記の仮想ルーブル美術館にアクセスしたとする。そのとき、フランスのパリは、真夏の晴天だったとする。また、そのとき、日本は夜間だがフランスは真昼だったとする。すると、前記仮想美術館にアクセスしたとき、画面に最初に出てくる電子案内嬢が例えば「こちらは、仮想のルーブル美術館です。どのようなジャンルの所蔵品の鑑賞をご希望ですか？」という会話（発言、問いかけ、質問、メッセージ）が音声又は文字で、ユーザー側に送られてくる。そのときの電子案内嬢からの会話（発言、問いかけ、質問、メッセージ）には、電子案内嬢を示す「話者画像」が前記会話と同時に画面表示される（会話に添付又は合成される）が、その表示される話者画像は、電子案内嬢のキャラクタの顔（アニメーションやＣＧで作成される）に、「夏用の半袖の服装で、真昼の強い日差しを避けるための帽子をかぶっている」という服装・姿態の画像と、「フランスのパリのルーブル美術館をバックにした画像で、太陽がカンカン照りの、真夏の真昼の状況」を示す背景画像とを付加した「話者画像」として、表示される。したがって、ユーザーは、その電子案内嬢との会話を行いながら、その「話者画像」を見ることによって、自然に、「フランスのパリは、今、真夏の真昼で、太陽がカンカン照りの状態なのだな。また、今、パリは真昼なのだな」と理解できるので、電子案内嬢との会話に臨場感が得られ、印象深い会話を行えるようになる。
【００３８】
（本発明の他の実施形態など）以上、本発明の実施形態について説明したが、本発明はこれに限らず様々な変更が可能である。例えば、本実施形態では、話者画像や背景音響の生成をユーザーの手元のパソコンなどで行うようにしているが、本発明は、これに限らず、例えば、ユーザーが手元のパソコンで「会話」（手紙文など）を生成し、この生成した「会話」をパソコン通信会社のセンターに送信すると、センターのコンピュータが、この「会話」に「話者画像及び背景音響・背景音声」を添付又は合成して、相手方に送信するようにしてもよい。
すなわち、上記の実施形態では、図３（ａ）の一点鎖線Ａの枠内に示すように、「話者が会話を生成するための会話生成部５１、話者画像及び背景音響生成部５２、話者の居る場所の気圧や気温を測定するための気圧・気温センサ５３、ＧＰＳ受信機５４、話者画像などのデータをユーザーが入力するためのデータ入力部５５、話者が居る地域の天候や気候などのデータベース５６、さらに、前記会話と話者画像及び背景音響を合成し送信するための合成送信部５７」が、ユーザーの手元のパソコンの中に備えられている（なお、前記のデータベース５７は、インターネットなどを介してアクセスできるオンランイ・データベースでもよく、その場合は、オンラインなので常に更新された最新の天候情報などを得ることができる）。
しかしながら、本発明では、ユーザー（話者）の手元のパソコンには、図３（ｂ）の一点鎖線Ｂの枠内に示すように、「話者が会話（電子メールやチャットなどのメッセージなど）を生成するための会話生成部５１、話者の居る場所の気圧や気温を測定するためのセンサ５３、ＧＰＳ受信機５４、話者画像などのデータをユーザーが入力するためのデータ入力部５５」だけを備えるようにしてもよい。そして、この場合は、図３（ｂ）の一点鎖線Ｃの枠内に示す「話者画像及び背景音響生成部６３、話者が居る地域の天候や気候などのデータベース６４、さらに、前記会話と話者画像及び背景音響を合成し送信するための合成送信部６５」は、インターネットなどの通信網に接続されたサーバー（パソコン通信などを管理するコンピュータ）の中に備えるようにしてもよい（なお、前記のデータベース５７は、インターネットなどを介してアクセスできるオンランイ・データベースでもよい）。この場合は、ユーザー（話者）は、手元のパソコンで会話を生成して、この会話を、センサ５３やＧＰＳ受信機５４などからのデータなどと共にパソコン通信会社のコンピュータを介して相手先に送信すると、その送信の途中で、パソコン通信会社のコンピュータが、自動的に、話者画像及び背景音響を生成して、それらを会話と合成して、相手方に送信してくれる。すなわち、この場合、前記のパソコン通信会社のコンピュータは、予め、ユーザー（話者）の行動パターンのデータ（ユーザーの職業、趣味、家族構成、生活パターンなど）をデータベースとして保有しているので、ユーザーの手元のパソコンに接続された気圧・気温センサ５３、ＧＰＳ受信機５４などからのデータが送られてくると、それらのデータに基づいて、「話者画像及び背景音響」を自動生成し、それらをユーザーから送信された会話に添付又は合成することができる。
【００３９】
【発明の効果】
本発明によれば、ユーザーは、自分が文字又は音声で作成した会話（電子メールやチャットなど）と、自分がこれから会話を発信しようとするときの場所の季節・気候・風土、天気、時間帯、周囲の状況などに適した「話者画像」とを、一緒に且つ同時に、会話の相手方に送信することができるので、電子的な会話のやり取りをより臨場感のある印象深いものとすることができる。しかも、本発明では、前記の「話者画像」は、その全体がカメラで撮像した実写映像そのものではない（前記の「話者画像」の一部に実写映像を使用することはもちろん可能だが）ので、会話の発信者（ユーザー）のプライバシーをさらしてしまう危険や心配がない（この点で、従来のようなカメラからの実写映像をそのまま会話の相手方に送信するためプライバシー侵害の可能性があるテレビ会議システムやテレビ電話システムなどとは異なる）。
また、本発明において、前記「背景音響」をも「会話」に添付又は合成するようにすれば、その会話を送られた相手方は、その「会話」（文字又は音声）を見る又は聞くときに、同時に、その「環境音響」を聞くことになるので、会話に臨場感が生まれて、印象深い会話のやり取りが可能になる。
また、本発明においては、話者の現在位置を特定するための現在位置特定手段からの出力と、話者が会話をしているときの時間帯を特定するための時間帯特定手段からの出力と、話者が会話をしている日の曜日を特定するためのカレンダー記憶手段からの出力とに基づいて、「話者の現在の周囲状況又は行為状況」を自動的に特定・推論することができる（そして、この求めた「話者の現在の周囲状況又は行為状況」に基づいて「話者画像」や「背景音響・背景音声」のデータを作成する）ので、話者がいちいち自分の周囲状況や行為状況を入力する手間が省けるので、便利である。
【図面の簡単な説明】
【図１】 本発明の一実施形態を示す概略ブロック図である。
【図２】 本発明の一実施形態により生成される「会話」（この場合は、電子メール）の一例を示すものである。
【図３】 本発明の他の実施形態を示すものである。
Claims (5)
- ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、
「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、
前記話者画像の一部を構成する「服装又は姿態のデータ」を生成するための服装・姿態データ生成手段と、
を備え、
前記服装・姿態データ生成手段は、少なくとも会話のやり取りを新たに行うとき、「話者の居る場所のそのときの天候、話者の居る場所の現在位置情報、話者が居る場所の周囲状況（自宅内か会社内かホテル内か街中か田舎か友人と一緒かなどの話者の居る周囲の状況）、及び、話者の現在の行為状況（話者が何をしているかを示す状況）」の中の少なくとも一つに基づいて、一つの話者画像についての前記「服装又は姿態のデータ」を、生成するものである、ことを特徴とする会話のための装置。 - ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、
「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、
前記話者画像の一部を構成する「背景画像データ」を生成するための背景画像データ生成手段と、
を備え、
前記背景画像データ生成手段は、少なくとも会話のやり取りを新たに行うとき、「話者の居る場所のそのときの天候、話者の居る場所の現在位置情報、話者が居る場所の周囲状況（自宅内か会社内かホテル内か街中か田舎か友人と一緒かなどの話者の居る周囲の状況）、及び、話者の現在の行為状況（話者が何をしているかを示す状況）」の中の少なくとも一つに基づいて、一つの話者画像についての前記背景画像データを、生成するものである、ことを特徴とする会話のための装置。 - 請求項１又は２において、
話者の現在の周囲状況を取得するための話者周囲状況取得手段を備えている、ことを特徴とする会話のための装置。 - 請求項１又は２において、
話者の現在の行為状況を取得するための話者行為状況取得手段を備えている、ことを特徴とする会話のための装置。 - 請求項１から４までのいずれか一つにおいて、さらに、
前記会話に関連付けて送信するための「背景の音響又は音声」であって、「話者の居る場所のそのときの天候、話者の居る場所の現在位置情報、話者が居る場所の周囲状況（自宅内か会社内かホテル内か街中か田舎か友人と一緒かなどの話者の居る周囲の状況）、及び、話者の現在の行為状況（話者が何をしているかを示す状況）」の中の少なくとも一つに基づいて、「会話のやり取りの背景の音響又は音声」を生成するための音響・音声データ生成手段、を備えたことを特徴とする会話のための装置。
【０００１】
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36187298A JP4054897B2 (ja) | 1998-03-26 | 1998-12-04 | 会話のための装置 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10032998 | 1998-03-26 | ||
| JP10-100329 | 1998-04-01 | ||
| JP10695398 | 1998-04-01 | ||
| JP10-106953 | 1998-04-01 | ||
| JP36187298A JP4054897B2 (ja) | 1998-03-26 | 1998-12-04 | 会話のための装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11346267A JPH11346267A (ja) | 1999-12-14 |
| JP4054897B2 true JP4054897B2 (ja) | 2008-03-05 |
Family
ID=27309196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36187298A Expired - Lifetime JP4054897B2 (ja) | 1998-03-26 | 1998-12-04 | 会話のための装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4054897B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4608740B2 (ja) | 2000-02-21 | 2011-01-12 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム格納媒体 |
| JP2002032510A (ja) * | 2000-07-19 | 2002-01-31 | Maeda Minako | 出会い支援装置および出会い支援方法 |
| JP4516247B2 (ja) * | 2000-08-24 | 2010-08-04 | 株式会社日立国際電気 | 携帯端末 |
| JP2002288213A (ja) * | 2001-03-28 | 2002-10-04 | Sharp Corp | データ転送装置、データ送受信装置、データ交換システム、データ転送方法、データ転送プログラム、データ送受信プログラム |
| JP4742472B2 (ja) * | 2001-09-07 | 2011-08-10 | フリュー株式会社 | 携帯端末のキャラクタ表示装置 |
| JP4535063B2 (ja) * | 2002-03-28 | 2010-09-01 | カシオ計算機株式会社 | データ受信装置、データ受信方法、及び、データ受信プログラム |
| JP3968277B2 (ja) | 2002-08-26 | 2007-08-29 | 株式会社日立製作所 | メールサーバ、そのメールサーバを実現するためのプログラム及び携帯端末 |
| JP2004274550A (ja) * | 2003-03-11 | 2004-09-30 | Sony Ericsson Mobilecommunications Japan Inc | 移動体通信端末装置 |
| WO2007138911A1 (ja) | 2006-05-30 | 2007-12-06 | Panasonic Corporation | キャラクタ服飾決定装置、キャラクタ服飾決定方法、およびキャラクタ服飾決定プログラム |
| JP2008160295A (ja) * | 2006-12-21 | 2008-07-10 | Sanyo Electric Co Ltd | テレビ電話システム及びテレビ電話装置 |
| JPWO2009110276A1 (ja) * | 2008-03-05 | 2011-07-14 | 日本電気株式会社 | 利用者情報提示システム、利用者情報提示装置、利用者情報提示方法、及び利用者情報提示用プログラム |
| JP5444978B2 (ja) * | 2009-09-11 | 2014-03-19 | 日本電気株式会社 | 装飾処理装置及び装飾処理方法及びプログラム及び通信機器及び装飾処理システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3438737B2 (ja) * | 1992-11-17 | 2003-08-18 | 日本電信電話株式会社 | 仮想社交界実現システム |
| JPH06232987A (ja) * | 1993-02-02 | 1994-08-19 | Hitachi Ltd | 広域障害表示システム |
| JPH07302351A (ja) * | 1994-05-09 | 1995-11-14 | Canon Inc | 画像・音声応答装置及び画像・音声応答方法 |
| JPH09200714A (ja) * | 1996-01-17 | 1997-07-31 | Casio Comput Co Ltd | テレビ電話付き画像処理装置 |
-
1998
- 1998-12-04 JP JP36187298A patent/JP4054897B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11346267A (ja) | 1999-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4054897B2 (ja) | 会話のための装置 | |
| JP2002082893A (ja) | チャット手段を有する端末装置、編集装置、チャットサーバ、および記録媒体 | |
| Huhtamo | Pockets of plenty: An archaeology of mobile media | |
| Villi | Photographs of place in phonespace: Camera phones as a location-aware mobile technology | |
| Hudson-Smith | 30 days in active worlds: community, design and terrorism in a virtual world | |
| US20050153678A1 (en) | Method and apparatus for interaction over a network | |
| Rubinstein | Cellphone photography; The death of the camera and the arrival of visible speech | |
| e Silva | Interfaces of hybrid spaces | |
| CN105915563B (zh) | 一种基于电子地图的信息发布***及其信息发布方法 | |
| JPH1139122A (ja) | 通信装置 | |
| De Souza e Silva | Re-Conceptualizing the Mobile Phone--From Telephone to Collective Interfaces. | |
| Levy-Landesberg | Sound and the city: Rethinking spatial epistemologies with urban sound maps | |
| JP4997022B2 (ja) | 仮想空間提供サーバ及びシステム | |
| Licoppe et al. | Locative Mobile Media and the Development of Unplanned, Fleeting Encounters with Pseudonymous Strangers and Virtual Acquaintances in Urban Public Places | |
| Applin et al. | Toward a multiuser social augmented reality experience: Shared pathway experiences via multichannel applications | |
| JP3732722B2 (ja) | 電話用情報重畳装置および電話機 | |
| Marchese | The art of urban engagement | |
| Spaulding | Reach Out and Watch Someone | |
| Xia | Enhancing Tourist Memories with Augmented Videography Technology | |
| Yamazaki et al. | Exploring spatial audio conferencing functionality in multiuser virtual environments | |
| Hiro | Between Absence and Presence: Exploring Video Earth’s What is Photography? | |
| e Silva et al. | Historicizing Hybrid Spaces in Mobile Media Art | |
| Young | Beyond the Screen: Joan Jonas’s Television by Other Means | |
| Bennett | Disrupting Engagement?: Live Music, Mobile Technology and Fandom–Lucy Bennett | |
| TWI276780B (en) | A communication system with position data and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051129 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070625 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071122 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |