JP4054897B2 - 会話のための装置 - Google Patents
会話のための装置 Download PDFInfo
- Publication number
- JP4054897B2 JP4054897B2 JP36187298A JP36187298A JP4054897B2 JP 4054897 B2 JP4054897 B2 JP 4054897B2 JP 36187298 A JP36187298 A JP 36187298A JP 36187298 A JP36187298 A JP 36187298A JP 4054897 B2 JP4054897 B2 JP 4054897B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- conversation
- data
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、遠隔の地に居る実在の人又はコンピュータ上の仮想のキャラクタとの間で、リアルタイムに又は時間差を介して、文字又は音声により、「会話」(電子メール、メッセージ送信、リアルタイムのチャット、メーリングリストなどを含む)を行うための会話システムに関する。
【0002】
【従来の技術】
従来より、遠隔の地に居る人とインターネットやパソコン通信などのネットワークを介して会話を行うことが行われている。それは、「チャット」と呼ばれるリアルタイムの会話を行うシステムであったり、「電子メール」「メーリングリスト」と呼ばれる電子的なメッセージ(手紙、発言)を遠隔の相手に送るシステムであったりする。また、その会話も、電子メール、メーリングリスト、チャットのいずれにおいても、相手方が一人である「一対一」の場合だけではなく、一度に多数人に同報メールを送信することによる「一対多」とか「多対多」の会話も可能である。
【0003】
また、以上のチャット、電子メール、メーリングリストなどは、いずれも、遠隔の地に居る「実在の人(人間)」と会話を行うものであるが、それ以外に、例えば、「電子秘書」とか「電子案内嬢(電子コンパニオン)」とか「電子アドバイザー」などの「仮想の人(キャラクター)」との間でユーザーが会話を行う場合がある。例えば、ある大手企業のイギリスの証券市場を担当している電子秘書に対して日本在住の役員(ユーザー)がコンピュータ上で問い合わせする場合とか、日本在住のユーザーがフランスのルーブル美術館(インターネット上の電子的なバーチャル美術館)にインターネット上でアクセスして、最初に画面に現れた電子案内嬢に質問を行うなどの場合である。このような場合は、実在の人ではなく「コンピュータ上の仮想のキャラクタ」(電子秘書や電子案内嬢)とユーザーが会話を行うことになる。
【0004】
さらに、最近は、「インターネットを使用した仮想空間の中でチャットなどの会話をユーザーが楽しむとき、ユーザーが自分の「分身」を画面の中に作り出して、その分身を通して、仮想の町や店舗の中を歩き回ったり、インターネットを通じて世界中からこの仮想の町を訪れる人々と画面の中で出会い、あたかも実際に会っているかのように会話ができる」システムも、「インタースペース」というソフトウェアの名前で、NTTソフトウェアカリフォルニア技術センターにより、1998年6月から米国で実用化されている(以上、1998年4月20日付け日経産業新聞の記事「日本企業 世界に生きる 日本発ソフト発信 ネット用、仮想体験売り物」より引用。なお、この記事には、ユーザーの「分身」として、ユーザーの顔写真とコンピュータグラフィックスによる胴体とを合成したキャラクタが使用された画面の写真が掲載されている)。
さらに又、最近は、前記と同様の「自分の分身が仮想世界を活動するシステム」が様々な企業から実用化されている。次は、1998年10月14日付け日経産業新聞の記事「ネットで会話に新サービス 顔写真付きも登場」からの引用である。「インターネットを使って見知らぬ人は文字のメッセージを同時に交わし合うチャット(おしゃべり)で、ネット関連会社が相次ぎ新サービスを開始している。ソニーはこのほど、チャット参加者の顔写真をパソコン画面上に表示する新サービス「Chat Vision」を始めた。通常のチャットは文字だけのやりとりだが、新サービスではデシタルカメラなどで撮影した顔写真付きの画像が自分の分身となってネット上の三次元の仮想空間を自由に歩き回り、出会った相手と顔を見合わせながら会話を楽しむことができる。三洋電機ソフトウェア(大阪府守口市)が行うインターネット接続業者の「SANNET」も、赤ちゃんロボットなど5種類のキャラクターの姿を借りて三次元空間でチャットできる「TULIE WORLD」というサービスを始めた。」
【0005】
【発明が解決しようとする課題】
ところで、以上のような会話システムにおいては、文章や音声で会話がやりとりされる(電子メールを音声で送ることも実用化されている)。また、電子メールに、音声や画像を含むファイルを添付又は合成すると共に、話者を示すキャラクタを添付又は合成することも行われている。しかしながら、従来の電子メールなどに添付又は合成している話者を示すキャラクタは、話者の居る時間帯やその周囲の状況が分かるようなものではない。また、従来のキャラクタは、話者がどのような場所にいても、また話者が発言している時間帯がどのような時間帯であっても、キャラクタの内容は同一の画一的なもので面白味の無いものであった。他方、従来からも、パソコンのディスプレイなどの上にCCDカメラなどを取り付けて、音声又は文字から成る会話に、カメラ記で撮像した話者及びその周囲の実写映像を添付又は合成して送信する「テレビ電話システム」「テレビ会議システム」も実用化されている(これらは、リアルタイムの音声による会話であるが、リアルタイムの又は時間差のある文字による会話にも、応用が可能である)。しかしながら、このようなカメラからの撮像画像を会話に添付又は合成する方法は、カメラを取り付けていない情報機器を使用して行う会話には使用できないし、また、自宅の中などのプライバシー保護が必要な場所から会話を発信する場合はカメラからの実写映像をそのまま送るのはプライバシー保護上適切ではない、などの問題がある。
また、上記のように、NTTソフトウェアカリフォルニア技術センターやソニーにより最近実用化された「ユーザーがチャットを行うとき、自分の顔写真を含む画像を、自分の分身として、仮想空間の中を歩き回ったり、仮想の町で人と出会って会話をする」というサービスは、仮想空間の中でも、「現実の自分の顔写真付きのキャラクタ」を使用して会話する点で、会話の「臨場感」をある程度は高めるものと言える。しかし、上記の技術では、「顔写真」を「自分の分身」として使用するだけで、「顔写真」以外の胴体や服装や背景の画像などは常に一定のものを使用している(あるいは背景の画像などは存在しない。つまり、ユーザーが現在どのような状況に居るのか、ユーザーは現在何をしているのか、ユーザーは現在どのような地域・場所に居るのか、などの具体的な詳細情報は全く捨象している)ので、会話の「臨場感」を十分に高めることは到底できない。
また、上記の三洋電機ソフトウェアが開始したサービスでは「赤ちゃんロボット」などのキャラクタを「自分の分身」として会話をするようにしているが、このような「ユーザーが現在どのような状況に居るのか、ユーザーは現在何をしているのか、ユーザーは現在どのような地域・場所に居るのか、などの具体的な状況」とは全く関係の無い架空のキャラクタを「分身」として使用しても、会話に「臨場感」や「印象深さ」を与えることは全く期待できない。
【0006】
本発明はこのような従来技術の問題点に着目してなされたものであって、話者のプライバシー保護を図りながら、話者が今いる状況を会話相手に知らせることを可能にして、会話に臨場感や印象深さを与えることができる、会話のための装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
1.ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、前記話者画像の一部を構成する「服装又は姿態のデータ」を生成するための服装・姿態データ生成手段と、を含むことを特徴とする会話のための装置。
2.ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、前記話者画像の一部を構成する「背景画像データ」を生成するための背景画像データ生成手段と、を含むことを特徴とする会話のための装置。
3.上記1において、前記服装・姿態データ生成手段は、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」を提供するための環境情報提供手段からの情報に基づいて、前記「服装又は姿態のデータ」を生成するものである、ことを特徴とする会話のための装置。
4.上記2において、前記背景データ生成手段は、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」を提供するための環境情報提供手段からの情報に基づいて、前記背景画像を生成するものである、ことを特徴とする会話のための装置。
5.上記3又は4において、前記環境情報提供手段は、「話者の現在位置を取得するための現在位置取得手段からの情報、話者が会話をしているときの時間帯を取得するための時間帯取得手段からの情報、話者が会話をしている日の日付又は曜日を取得するための曜日等取得手段からの情報、話者の現在位置の天候情報を取得するための天候情報取得手段からの情報、話者の現在の周囲状況を取得するための話者周囲状況取得手段からの情報、及び、話者の現在の行為状況を取得するための話者行為状況取得手段からの情報、の中の少なくとも一つ」に基づいて、「話者に関する環境情報」を取得するものである、会話のための装置。
6.上記1から5までのいずれか一つにおいて、前記会話に関連付けて送信するための「背景の音響又は音声」であって、「話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況、及び、話者の現在の行為状況、の中の少なくとも一つを含む話者に関する環境情報」と関連する「背景の音響又は音声」を生成するための音響・音声データ生成手段、を備えたことを特徴とする会話のための装置。
【0008】
なお、本明細書において、前記の「背景音響・音声」とは、例えば、話者が会話をしている場所が「ピアノ演奏を実演しているレストラン」なら、「ピアノ演奏を示す音楽データ」がそれに該当する。また、話者が会話をしている場所が海岸なら、「海岸で聞こえる海の波の音」が前記音響・音声データに該当する。また、話者が会話をしている場所が街頭ならば、「街頭のざわめき(多数の人の話し声や車の通行の騒音など)」が前記「背景音響・音声」のデータに該当する。
また、本明細書において、上記「話者の周囲状況」とは、話者が会話をしているときの周囲の状況のことで、例えば、周囲は職場の会社内であるとか、自宅内であるとか、海外旅行先のホテルであるとかの情報である。また、上記「話者の行為状況」とは、話者が会話をしているときに話者は何をしているのかを示す状況であって、例えば、話者は現在電車に乗っているとか、話者は現在会社内で仕事をしているとか、話者は現在自宅内のリビングルームでテレビを見ているとかの情報である。
また、本明細書において、「会話」という用語は、通信ネットワークを介して行われる会話であって、例えば、時間差をもって文字又は音声により行われる電子メール(最近は音声で送れる電子メールも実用化されている。また、文字で送られた電子メールを受信側では音声で聞けるシステムや、音声で送られた電子メールを受信側が文字で見れるシステムもある)、リアルタイムで行われるチャット、メーリングリスト、パソコン通信の電子会議室などでの発言、テレビ電話、テレビ会議などの様々な種類・内容のものを含むものである。また、「会話」の内容も、発言、メッセージ、手紙などの様々な種類・内容のものを含むものである。
【0009】
【発明の実施の形態】
図1は本発明の実施形態を示すものである。以下で説明する本実施形態は、インターネットを利用した電子メールのシステムに、メール発信者(会話の話者)及びその発信している周囲の環境を示す「話者画像」を添付又は合成する技術(電子メールの文字列の表示と同時に、話者画像をも表示させる技術)を適用した場合の、会話システムである。
図1において、1はグローバルな通信網であるインターネット、2はこのインターネット1に接続され、電子メールなどの会話(文字又は音声による)を送受信できる会話送受信部である。また、3は、この会話送受信部2により送信される、会話とそれに添付又は合成される話者画像(後述する)とを合成するための会話合成部である。また、4は文字又は音声による会話文(話、メール、又は、メッセージ)を生成するための会話文生成部、5はユーザーが文章による会話文を入力するためのキーボード、6はユーザーが音声による会話を入力するためのマイク、である。
【0010】
また、図1において、7は前記会話文生成部4により生成された会話文に添付又は合成される話者画像を生成するための話者画像生成部である。ここで、「話者画像」とは、話者(本実施形態では、電子メールを発信しようとするユーザー)及び話者の周囲の環境を示す画像、のことである。
この話者画像は、例えば、ユーザー(話者)の顔を示すデータ(アニメーション、コンピュータグラフィックス(CG)、似顔絵などのイラスト、顔写真などの実写映像など)(以下、この話者の顔を示すデータを、「キャラクタ要部」という)に、このキャラクタ要部の下方の身体部分の服装などの姿態を示すデータ(アニメーション、CG、イラスト、実写映像など)と、このキャラクタ要部の背景を示すデータ(アニメーション、CG、イラスト、実写映像など)とを、付加・合成することにより、生成される。
【0011】
すなわち、図1において、8は話者であるユーザーの顔を示すデータ(キャラクタ要部)をコーディネートするためのキャラクタ要部コーディネート部、9はこのキャラクタ要部の下方の身体部分の服装・姿態のデータをコーディネートするための服装・姿態コーディネート部、10はキャラクタ要部の背景画像をコーディネートするための背景画像コーディネート部、である。
【0012】
前記のキャラクタ要部コーディネート部8には、複数種類のキャラクタ要部を示すデータ(アニメーション、CG、イラスト、実写映像など)を記録したキャラクタ要部データベース8aが接続されている。また、前記服装・姿態コーディネート部9には、夏用、冬用、晴天用、雨天用、外出用、室内用などの複数種類の服装・姿態を示すデータ(アニメーション、CG、イラスト、実写映像など)を記録した服装・姿態データベース9aが接続されている。また、前記背景画像コーディネート部10には、夏、冬、晴天、雨天、街頭(街角)、会社内、自宅内、観光地、海岸、山岳、などの複数種類の背景画像を示すデータ(アニメーション、CG、イラスト、実写映像など)を記録した背景画像データベース10aが接続されている。なお、前記の各データベース8a,9a,10aは、ユーザーが保有するパソコン(パーソナルコンピュータ)のハードディスク装置やCD−ROM装置などの記録装置に記録されているデータベースでもよいし、また、インターネット上のサーバー(ネットワーク管理用コンピュータ)に蓄積されており、随時内容が更新され、ユーザーがオンラインでアクセスできるデータベースであってもよい。
【0013】
次に、前記各コーディネート部8,9,10は、前記各データベース8a,9a,10aに蓄積された各データを、話者であるユーザーの現在居る場所や現在の時間帯(ユーザーがメールを発信しようとしている場所や時間帯)に関する「周辺環境の情報」に基づいて、最も適切なものを選択し、前記話者画像生成部7に送る。
【0014】
前記各コーディネート部8,9,10は、前記の選択に必要な「周辺環境の情報」を、環境情報提供部11から得るようにしている。この環境情報提供部11は、話者(ゆーざー)がメール発信時に居る場所の季節・気候・風土などのデータを収集する季節・気候・風土データ収集部12と、ユーザーがメール発信時に居る場所の天候データを収集する天候データ収集部13と、ユーザーがメールを発信する時の時間帯(朝、昼、夕方、夜、深夜など)のデータを収集するための時間帯データ収集部14と、ユーザーがメール発信時に居る場所の周囲状況(会社内か、自宅内か、公園内か、海岸か、湖の前か、街角か、田舎道か、友人と一緒か一人か、など)を収集するための周囲状況データ収集部15とから、前記の話者の「周辺環境情報」を得て、これを前記各コーディネート部8,9,10に、提供する。
【0015】
次に、前記季節・気候・風土データ収集部12は、例えばインターネット上のオンライン・データベース16にアクセスして、ユーザーが居る場所の季節・気候・風土のデータを収集する。すなわち、ユーザーがインターネットのプロバイター(インターネット接続サービス業者)のサーバーにアクセスしたとき、前記季節・気候・風土データ収集部12は、インターネット上のサーバーに記録されたデータベースにアクセスして、ユーザーの情報端末のある場所に関する季節・気候・風土のデータを自動的に引き出してきて、データ収集を行う。また、データベースは、前記のようにインターネット上のオンラインデータベースでなくてもよく、例えば、CD−ROMなどに記録されたデータベースでもよい。また、季節・気候・風土データ収集部12は、ユーザーがユーザー入力部17から入力したデータ(例えば、「熱帯雨林気候」「寒冷気候」などのデータ)によって、話者の居る場所の季節・気候・風土を収集することもできる。
【0016】
例えば、ユーザーが、今、アフリカのエジプトから電子メールを発信しようとしているときは、前記季節・気候・風土データ収集部12は、GPS受信機16aからの現在位置座標データに基づいて、そのエジブトの季節・気候・風土のデータを、CD−ROMのデータベース16やオンライン・データベース16などから収集する。そして、これらのデータは、前記環境情報提供部11を介して、前記各コーディネート部8,9,10に送られる。各コーディネート部8,9,10は、これらの季節・気候・風土のデータに基づいて、それに適したキャラクタ要部、服装・姿態、背景画像を選択し、前記話者画像生成部7に送る。
【0017】
次に、前記天候データ収集部13は、例えば、ユーザーの情報機器(パソコン)に接続された気圧センサ18や温度センサ18などからのデータに基づいて、ユーザーが今いる場所の天候のデータを収集する。例えば、ユーザーの居る場所の気圧が低いときは、気圧センサ18からのデータに基づいて、天候データ収集部13(コンピュータ)が「雨天」と推論し、「雨天」という天候データを環境情報提供部11に送信する。また、ユーザーの居る場所の気圧が低く且つその場所の気温が零下と極めて低いときは「雪」の天候と推論し、「雪」という天候データを環境情報提供部11に送信する。また、前記天候データ収集部13は、例えば、インターネット上のオンラインの天候情報データベース19にアクセスして、ユーザーが今居る場所の天候・天気のデータを収集する。また、前記天候データ収集部13は、ユーザー入力部20によりユーザーが入力したデータ(例えば、「今は雨」とか「今は晴天」などのデータ)に基づいて、ユーザーの居場所の天候データを収集する。
【0018】
例えば、ユーザーが、今、イギリスのロンドンから電子メールを発信しようとして、ロンドンがそのとき「雨天」である場合は、前記天候データ収集部13は、「雨天」のデータを環境情報提供部11に送る。環境情報提供部11は、この「雨天」というデータを前記各コーディネート部8,9,10に送る。すると、例えば、前記服装・姿態コーディネート部9は、この「雨天」というデータに基づいて、それに適した服装・姿態画像(レインコート、傘、長靴を用意している画像など。アニメーションやCGのデータでもよいが、写真などの実写画像でもよい)を選択して、前記話者画像生成部7に送る。また、例えば、前記背景画像コーディネート部10は、前記の送られてきた「雨天」というデータに基づいて、「雨の降るロンドンの街角の風景画像」のデータ(アニメーションなどの架空のデータでもよいが、実写画像でもよい)を、背景画像として前記話者画像生成部7に送る。
【0019】
次に、前記時間帯データ収集部14は、例えば、計時部(時計手段)21からの時刻データに基づいて、ユーザーがメールを発信しようとするときの時間帯データ(今は、朝か、昼か、夕方か、夜か、など)を収集する。また、前記時間帯データ収集部14は、ユーザー入力部22によりユーザーが入力したデータ(例えば、「今は夜」とか「今は朝」などのデータ)に基づいて、時間帯データを収集するようにしてもよい。
【0020】
例えば、ユーザーが、今、自宅から深夜にメールを発信しようとしている場合、前記時間帯データ収集部14は、「深夜である」というデータを、環境情報提供部11に送り、環境情報提供部11はこの「深夜である」というデータを、前記各コーディネート部8,9,10に送る。前記服装・姿態コーデイネート部9は、この「深夜である」という時間帯データを受け取ると、それに適した服装・姿態データ(例えば、パジャマ姿など)を、前記話者画像生成部7に送る。また、前記背景画像コーディネート部10は、前記の「深夜である」というデータを受け取ると、それに適した背景画像データ(例えば、「深夜に天空に見える星空」の画像。CGなどの架空データでもよいし、実写画像でもよい)を、前記話者画像生成部7に送る。
【0021】
次に、前記周囲状況データ収集部14は、例えば、ユーザーの情報端末に接続されたカメラ23からの画像データに基づいて、ユーザーがメールを発信しようとしている時のユーザーの周囲の状況(例えば、この場所は会社内か、自宅内か、観光地か、海岸か、街角か、など)のデータを収集する。また、前記周囲状況データ収集部24は、例えば、ユーザー入力部24によりユーザーが入力したデータ(今居る場所は、海岸である、山である、街角である、会社である、など)に基づいて、前記周囲状況データを収集するようにしてもよい。
【0022】
例えば、ユーザーが、今、真夏の海岸で電子メールを発信しようとしている場合、前記周囲状況データ収集部24から「海岸である」というデータが環境情報提供部11に送られ、環境情報提供部11から前記各コーディネート部8,9,10に、それぞれ「海岸である」という周囲状況データが送られる。前記服装・姿態コーディネート部9は、この「海岸である」というデータを受け取ると、その海岸に適した服装・姿態の画像(例えば、水着姿)を、前記話者画像生成部7に送る。また、前記背景画像コーディネート部10は、前記の「海岸である」というデータを受け取ると、それに適した背景画像(例えば、海水浴の風景)を選択して、それを前記話者画像生成部7に送る。
【0023】
なお、前記各コーディネート部8,9,10には、ユーザーが発信するメールに添付又は合成する「話者画像」を構成するキャラクタ要部、服装・姿態、及び、背景を、直接に選択するか又は選択の方向性を指示することもできる。すなわち、前記各コーディネート部8,9,10には、それぞれ、ユーザーが直接に指示データを入力できるユーザー入力部8b,9b,10bが備えられている。したがって、ユーザーは、直接に、キャラクタ要部コーディネート部8に指示データを入力して、自分の好きなキャラクタ要部(例えば、似顔絵のイラスト、実写の顔写真など)を選択してこれを前記話者画像生成部7に送るようにすることができる。また、ユーザーは、直接に、前記服装・姿態コーデイネート部9に指示データを入力して、自分の好きな服装・姿態を選択したり、自分の好きな服装・姿態の方向性を示すデータ(例えば、「カジュアル系で色は赤色系統の服装」、「色は黒色でシックな感じの服装」など)を入力し、それに適した服装・姿態を、前記話者画像生成部7に送ることができる。また、ユーザーは、直接に、前記背景画像コーディネート部10に指示データを入力して、自分の好きな背景(山、湖、街角など)を指示して、それに適した背景画像を前記話者画像生成部7に送らせることができる。
【0024】
また、図1において、51は話者の周囲状況及び話者の行為状況を特定・推論するための「話者周囲状況及び話者行為状況特定部」(以下「話者状況特定部」と略す)である。この話者状況特定部51には、話者の現在位置座標データを求めるためのGPS(グローバル・ポジショニング・システム)受信機が接続され、話者の現在位置データが随時入力されるようになっている(なお、話者の現在位置を特定するためのシステムとしては、GPSの他に、PHS(簡易型携帯電話システム)を利用したシステムなども存在する)。また、前記話者状況特定部51には、暦データを記録したカレンダー記録部53、及び、計時データを出力する計時部(時計)54が接続され、随時、会話をしているときの曜日と時間帯データが入力されるようになっている。また、前記話者状況特定部51には、位置座標データと各地の気候風土との関係を記録した位置・気候データベース55と、話者の日常の行動パターンを示す行動パターンデータベース56とが接続されている。前記位置・気候データベースには、各地域の位置データと気候風土・季節情報が互いに関連付けられて記録されている。また、前記行動パターンデータベース56には、例えば、平日の昼間の時間帯は会社内、平日の朝8時から9時までの時間帯は通勤電車の中、日曜日の夜は自宅のリビングルームでテレビを見ている、などのような、話者の日常生活の行動パターンが曜日と時間帯と関連付けられて記録されてている。
【0025】
したがって、前記話者状況特定部51は、前記GPS受信機52からの会話時の現在位置データ、前記カレンダー記憶部からの暦データ(主として、季節を推論するための月のデータ)、及び、前記計時部54からの時間帯データ(主として、各国の時差を考慮して、会話時が朝か昼か夜かを推論するための時間帯データ)から、前記位置・気候データベース55を検索することにより、会話時の話者の周囲の土地・場所の気候・風土及び現在の季節を特定・推論する。また、前記話者状況特定部51は、前記GPS52からの現在位置データ、前記カレンダー記録部53からの会話時の暦データ(主として行動パターンを推論するための曜日データ)、及び、前記計時部54からの会話時の時間帯データから、前記行動パターンデータベース56を検索することにより、話者の現在の行動状況(行為状況。現在、会社内で仕事中か、通勤電車で通勤中か、自宅でくつろいでいる最中か、など)を特定又は推論する。
【0026】
本実施形態では、前記話者状況特定部51などで特定・推論した「話者状況」のデータを環境情報提供部11に送信し、環境情報提供部11はこの「話者状況」データを前記各コーディネート部9,10に送る。この「話者状況」データを受信した前記各コーディネート部9,10は、この送られたデータに基づいて、話者の「服装・姿態」(仕事用の服装かホームウェアか遊び着か)や「背景画像」(季節、場所など)をコーディネートするためのデータを得る。
【0027】
以上は、前記会話生成部4で作成される「会話」に添付又は合成するための「話者画像」の生成について説明した。本実施形態では、この「話者画像」に加えて、「背景音響」をも、前記「会話」に添付又は合成することができる。すなわち、本実施形態では、図1に示すように、会話合成部3に「背景音響」を送るための背景音響生成部40が備えられている。この背景音響生成部40は、背景音響コーディネート部41からのデータに基づいて生成される。背景音響コーディネート部41は、背景音響データベース42とユーザー入力部43と環境情報提供部11からのデータに基づいて、背景音響をコーディネートする。
【0028】
前記背景音響データベース42は、海の音、街角の音(ざわめき)、駅の音(列車や駅のホームの騒音など)、ピアノ演奏の音などの様々な音響・音声のデータを蓄積している。また、この背景音響データベースは、CD−ROMなどに記録されているものでもよいし、オンライン型のデータベースでもよい。
【0029】
また、環境情報提供部11には、ユーザーの周囲の音響データを収集するための周囲音響データ収集部44が備えられている。この周囲音響データ収集部44は、ユーザーの周囲の音響を収集するためのマイク45からのデータや、ユーザーがユーザー入力部46から入力したデータ(例えば、「夏祭り」「東京都渋谷の街中」「ジャズ演奏会」などのデータ)に基づいて、周囲音響データ(例えば、「夏祭りのざわめき」「東京都渋谷の街中のざわめき」「ジャズ演奏会の音」などのデータ)を収集して、前記環境情報提供部11に送り、この周囲音響データは、さらに、前記背景音響コーディネート部41に送られる。背景音響コーディネート部41は、この送られてきたデータに基づいて、背景音響生成部40に「背景音響」の生成に必要なデータを送信する。
【0030】
以上のようにして生成される「背景音響」とは、例えば、前記会話に添付又は合成するための音響・音声データであって、話者の居る場所の気候や天候、話者が会話をしている季節、話者が会話をしている時間帯、話者が居る場所の周囲状況などの「話者に関する環境情報」と関連する音響・音声データ、である。また、ここで、前記の「音響・音声データ」とは、例えば、話者が会話をしている場所が「ピアノ演奏を実演しているレストラン」なら、「ピアノ演奏を示す音楽データ」がそれに該当する。また、話者が会話をしている場所が海岸なら、「海岸で聞こえる海の波の音」が前記音響・音声データに該当する。また、話者が会話をしている場所が街頭ならば、「街頭のざわめき(多数の人の話し声や車の通行の騒音など)」が前記音響・音声データに該当する。これらの「背景音響」が「会話」に添付又は合成されると、その会話を送られた相手方は、その「会話」(文字又は音声)を見る又は聞くときに、同時に、その「環境音響」を聞くことになるので、会話に臨場感が生まれて、印象深い会話のやり取りが可能になる。
【0031】
なお、以上に説明した環境情報提供部11には、エージェント(電子代理人又は電子秘書)機能が備えられており、ユーザーが電子ルールなどの会話を行おうとしたときは、自動的に、インターネット上の様々なオンライン・データベースにアクセスすることにより、また、前記のセンサ(気圧センサ)18,計時部21,カメラ23,マイク45などからデータを取り込むことにより、前記の季節・気候・風土、天候、時間帯、周囲状況、周囲音響などのデータを収集するようにすることができる。前記のエージェント機能は、例えば、ユーザーが使用する電子メール用ソフトウェアに付属するソフトウェアとして実現できる。
【0032】
以上に説明したように、本実施形態によれば、ユーザーは、自分が文字又は音声で作成した電子メール(音声データとして送信する音声メールも含む)に、自分がこれからメールを発信しようとするときの場所の季節・気候・風土、天気、時間帯、周囲の状況などに適した「話者画像」を添付又は合成して送信することができるので、電子メールのやり取りがより臨場感のある印象深いものになる。
【0033】
なお、図2は、本実施形態で作成した電子メール(会話の一種)の一例を示すものである。図2において、30は会話(電子メール)の全体、31は「会話」を構成する一要素である「会話文」、35は「会話31」を構成する一要素である「話者画像」、36は「会話31」を構成する一要素である「背景音響」である。前記「話者画像」35は、キャラクタ要部33(例えば、話者の顔を実写した顔写真、話者の顔のイラスト、話者の顔のコンピュータグラフィック画像などにより構成される)と服装・姿態34(例えば、イラストやコンピュータグラフィック画像などにより構成される)と背景画像32(例えば、イラストやコンピュータグラフィック画像などにより構成される)と、により構成される。また、前記「背景音響」36は、例えば、この「会話」31を受け取った相手方がマウス等のポインティングデバイスでこの36で示す部分をクリックすると、背景音響又は背景音声がスピーカから流れるようになっている。或いは、前記の話者画像35と背景音響36は、互いに連動して出力されるように予め設定され、話者画像35が表示されるときには、ほぼ同時に、自動的に、前記背景音響36もスピーカから出力されるようにしてもよい。前述のように、本実施形態では、話者画像35の中の「話者の顔」(キャラクタ要部)32だけは実写画像を使用したとしても、それ以外の服装・姿態34や背景画像32はイラストやコンピュータグラフィック画像なので、話者のプライバシーが侵害される恐れは無い。他方、本実施形態では、前記のイラストやコンピュータグラフィック画像で構成される服装・姿態34や背景画像32が、話者が会話をしている現在の場所や時間帯や季節などと対応した内容となっているので、話者画像35や会話31に臨場感を持たせることができる(これに対して、話者が会話をしている場所・時間帯・季節などがどのようなものであろうと、常に一定の服装・姿態や背景を使用した話者画像を会話に添付・合成して送信する場合は、話者画像や会話に臨場感を持たせることができない)。
【0034】
なお、以上の本実施形態では、「話者画像」を電子メールに添付又は合成する場合について説明したが、本発明においては、これに限られるものではなく、例えば、前記「話者画像」を、リアルタイムの会話を行う「チャット」の会話の文章に、話者を示す画像として添付又は合成することができる。また、コンピュータ上の仮想的な人である「電子秘書」や「電子案内嬢」からの会話に、その電子秘書や電子案内嬢(話者)を示す画像(話者画像)を添付又は合成することもできる。
【0035】
本発明では、例えば、前記「話者画像」を、大手企業のイギリスの証券市場の分析を担当する電子秘書からの会話(音声又は文字による話の内容)に添付又は合成することもできる。
【0036】
すなわち、今、日本在住の会社員(ユーザー)がこの電子秘書にアクセスしてある質問をしたとする。そのとき、イギリスのロンドンは、「冬で雨天」であるとする。また、そのとき、日本は午後だが、イギリスは朝の時間帯である(時差のため)とする。すると、その会社員(ユーザー)の質問に対して回答するためにコンピュータ画面上に現れた電子秘書は、電子秘書の顔(アニメーションやコンピュータグラフィックス(CG)などで作成される)に、「コートを着て、傘をさしている」という服装・姿態の画像と、「ロンドンの証券市場の有る街路であって、雨が降っている朝の風景を示し、証券市場のある建物をバックにした光景」という背景画像とを付加した「話者画像」として、表示される。ユーザーは、そのような「話者画像」の電子秘書を画面上に見ながら、電子秘書からの回答(音声、文字、表・グラフなどのデータを含む)を聞くことになる。よって、ユーザーは、その電子秘書と会話をしながら、その「話者画像」を見ることによって、自然に、「イギリスのロンドンは、今、冬で雨天なのだな。また、今はイギリスは朝の時間帯なのだな」と理解できるので、電子秘書との会話に臨場感が得られ、印象深い会話を行えるようになる。
【0037】
また、例えば、前記「話者画像」を、フランスのパリのルーブル美術館のインターネット上の「仮想ルーブル美術館」の電子案内嬢からの会話(音声又は文字による会話)に、その「電子案内嬢」を示す画像(話者画像)を添付又は合成することもできる。すなわち、例えば日本在住のユーザーが、インターネットを介して、前記の仮想ルーブル美術館にアクセスしたとする。そのとき、フランスのパリは、真夏の晴天だったとする。また、そのとき、日本は夜間だがフランスは真昼だったとする。すると、前記仮想美術館にアクセスしたとき、画面に最初に出てくる電子案内嬢が例えば「こちらは、仮想のルーブル美術館です。どのようなジャンルの所蔵品の鑑賞をご希望ですか?」という会話(発言、問いかけ、質問、メッセージ)が音声又は文字で、ユーザー側に送られてくる。そのときの電子案内嬢からの会話(発言、問いかけ、質問、メッセージ)には、電子案内嬢を示す「話者画像」が前記会話と同時に画面表示される(会話に添付又は合成される)が、その表示される話者画像は、電子案内嬢のキャラクタの顔(アニメーションやCGで作成される)に、「夏用の半袖の服装で、真昼の強い日差しを避けるための帽子をかぶっている」という服装・姿態の画像と、「フランスのパリのルーブル美術館をバックにした画像で、太陽がカンカン照りの、真夏の真昼の状況」を示す背景画像とを付加した「話者画像」として、表示される。したがって、ユーザーは、その電子案内嬢との会話を行いながら、その「話者画像」を見ることによって、自然に、「フランスのパリは、今、真夏の真昼で、太陽がカンカン照りの状態なのだな。また、今、パリは真昼なのだな」と理解できるので、電子案内嬢との会話に臨場感が得られ、印象深い会話を行えるようになる。
【0038】
(本発明の他の実施形態など)以上、本発明の実施形態について説明したが、本発明はこれに限らず様々な変更が可能である。例えば、本実施形態では、話者画像や背景音響の生成をユーザーの手元のパソコンなどで行うようにしているが、本発明は、これに限らず、例えば、ユーザーが手元のパソコンで「会話」(手紙文など)を生成し、この生成した「会話」をパソコン通信会社のセンターに送信すると、センターのコンピュータが、この「会話」に「話者画像及び背景音響・背景音声」を添付又は合成して、相手方に送信するようにしてもよい。
すなわち、上記の実施形態では、図3(a)の一点鎖線Aの枠内に示すように、「話者が会話を生成するための会話生成部51、話者画像及び背景音響生成部52、話者の居る場所の気圧や気温を測定するための気圧・気温センサ53、GPS受信機54、話者画像などのデータをユーザーが入力するためのデータ入力部55、話者が居る地域の天候や気候などのデータベース56、さらに、前記会話と話者画像及び背景音響を合成し送信するための合成送信部57」が、ユーザーの手元のパソコンの中に備えられている(なお、前記のデータベース57は、インターネットなどを介してアクセスできるオンランイ・データベースでもよく、その場合は、オンラインなので常に更新された最新の天候情報などを得ることができる)。
しかしながら、本発明では、ユーザー(話者)の手元のパソコンには、図3(b)の一点鎖線Bの枠内に示すように、「話者が会話(電子メールやチャットなどのメッセージなど)を生成するための会話生成部51、話者の居る場所の気圧や気温を測定するためのセンサ53、GPS受信機54、話者画像などのデータをユーザーが入力するためのデータ入力部55」だけを備えるようにしてもよい。そして、この場合は、図3(b)の一点鎖線Cの枠内に示す「話者画像及び背景音響生成部63、話者が居る地域の天候や気候などのデータベース64、さらに、前記会話と話者画像及び背景音響を合成し送信するための合成送信部65」は、インターネットなどの通信網に接続されたサーバー(パソコン通信などを管理するコンピュータ)の中に備えるようにしてもよい(なお、前記のデータベース57は、インターネットなどを介してアクセスできるオンランイ・データベースでもよい)。この場合は、ユーザー(話者)は、手元のパソコンで会話を生成して、この会話を、センサ53やGPS受信機54などからのデータなどと共にパソコン通信会社のコンピュータを介して相手先に送信すると、その送信の途中で、パソコン通信会社のコンピュータが、自動的に、話者画像及び背景音響を生成して、それらを会話と合成して、相手方に送信してくれる。すなわち、この場合、前記のパソコン通信会社のコンピュータは、予め、ユーザー(話者)の行動パターンのデータ(ユーザーの職業、趣味、家族構成、生活パターンなど)をデータベースとして保有しているので、ユーザーの手元のパソコンに接続された気圧・気温センサ53、GPS受信機54などからのデータが送られてくると、それらのデータに基づいて、「話者画像及び背景音響」を自動生成し、それらをユーザーから送信された会話に添付又は合成することができる。
【0039】
【発明の効果】
本発明によれば、ユーザーは、自分が文字又は音声で作成した会話(電子メールやチャットなど)と、自分がこれから会話を発信しようとするときの場所の季節・気候・風土、天気、時間帯、周囲の状況などに適した「話者画像」とを、一緒に且つ同時に、会話の相手方に送信することができるので、電子的な会話のやり取りをより臨場感のある印象深いものとすることができる。しかも、本発明では、前記の「話者画像」は、その全体がカメラで撮像した実写映像そのものではない(前記の「話者画像」の一部に実写映像を使用することはもちろん可能だが)ので、会話の発信者(ユーザー)のプライバシーをさらしてしまう危険や心配がない(この点で、従来のようなカメラからの実写映像をそのまま会話の相手方に送信するためプライバシー侵害の可能性があるテレビ会議システムやテレビ電話システムなどとは異なる)。
また、本発明において、前記「背景音響」をも「会話」に添付又は合成するようにすれば、その会話を送られた相手方は、その「会話」(文字又は音声)を見る又は聞くときに、同時に、その「環境音響」を聞くことになるので、会話に臨場感が生まれて、印象深い会話のやり取りが可能になる。
また、本発明においては、話者の現在位置を特定するための現在位置特定手段からの出力と、話者が会話をしているときの時間帯を特定するための時間帯特定手段からの出力と、話者が会話をしている日の曜日を特定するためのカレンダー記憶手段からの出力とに基づいて、「話者の現在の周囲状況又は行為状況」を自動的に特定・推論することができる(そして、この求めた「話者の現在の周囲状況又は行為状況」に基づいて「話者画像」や「背景音響・背景音声」のデータを作成する)ので、話者がいちいち自分の周囲状況や行為状況を入力する手間が省けるので、便利である。
【図面の簡単な説明】
【図1】 本発明の一実施形態を示す概略ブロック図である。
【図2】 本発明の一実施形態により生成される「会話」(この場合は、電子メール)の一例を示すものである。
【図3】 本発明の他の実施形態を示すものである。
Claims (5)
- ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、
「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、
前記話者画像の一部を構成する「服装又は姿態のデータ」を生成するための服装・姿態データ生成手段と、
を備え、
前記服装・姿態データ生成手段は、少なくとも会話のやり取りを新たに行うとき、「話者の居る場所のそのときの天候、話者の居る場所の現在位置情報、話者が居る場所の周囲状況(自宅内か会社内かホテル内か街中か田舎か友人と一緒かなどの話者の居る周囲の状況)、及び、話者の現在の行為状況(話者が何をしているかを示す状況)」の中の少なくとも一つに基づいて、一つの話者画像についての前記「服装又は姿態のデータ」を、生成するものである、ことを特徴とする会話のための装置。 - ユーザーが、ネットワークを介して、実在の人又はコンピュータ上の仮想のキャラクタを相手方として、略リアルタイムに又は所定の時間差を介して、文字、データ又は音声により、メール、メッセージ、又は発言などの会話をやり取りするための会話のための装置において、
「ユーザーからの文字、データ又は音声により構成される、ユーザーの会話」に関連付けられて表示される「ユーザーである話者を象徴的に示す話者画像」を生成するための話者画像生成手段と、
前記話者画像の一部を構成する「背景画像データ」を生成するための背景画像データ生成手段と、
を備え、
前記背景画像データ生成手段は、少なくとも会話のやり取りを新たに行うとき、「話者の居る場所のそのときの天候、話者の居る場所の現在位置情報、話者が居る場所の周囲状況(自宅内か会社内かホテル内か街中か田舎か友人と一緒かなどの話者の居る周囲の状況)、及び、話者の現在の行為状況(話者が何をしているかを示す状況)」の中の少なくとも一つに基づいて、一つの話者画像についての前記背景画像データを、生成するものである、ことを特徴とする会話のための装置。 - 請求項1又は2において、
話者の現在の周囲状況を取得するための話者周囲状況取得手段を備えている、ことを特徴とする会話のための装置。 - 請求項1又は2において、
話者の現在の行為状況を取得するための話者行為状況取得手段を備えている、ことを特徴とする会話のための装置。 - 請求項1から4までのいずれか一つにおいて、さらに、
前記会話に関連付けて送信するための「背景の音響又は音声」であって、「話者の居る場所のそのときの天候、話者の居る場所の現在位置情報、話者が居る場所の周囲状況(自宅内か会社内かホテル内か街中か田舎か友人と一緒かなどの話者の居る周囲の状況)、及び、話者の現在の行為状況(話者が何をしているかを示す状況)」の中の少なくとも一つに基づいて、「会話のやり取りの背景の音響又は音声」を生成するための音響・音声データ生成手段、を備えたことを特徴とする会話のための装置。
【0001】
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36187298A JP4054897B2 (ja) | 1998-03-26 | 1998-12-04 | 会話のための装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10032998 | 1998-03-26 | ||
JP10-100329 | 1998-04-01 | ||
JP10695398 | 1998-04-01 | ||
JP10-106953 | 1998-04-01 | ||
JP36187298A JP4054897B2 (ja) | 1998-03-26 | 1998-12-04 | 会話のための装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11346267A JPH11346267A (ja) | 1999-12-14 |
JP4054897B2 true JP4054897B2 (ja) | 2008-03-05 |
Family
ID=27309196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36187298A Expired - Lifetime JP4054897B2 (ja) | 1998-03-26 | 1998-12-04 | 会話のための装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4054897B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4608740B2 (ja) | 2000-02-21 | 2011-01-12 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム格納媒体 |
JP2002032510A (ja) * | 2000-07-19 | 2002-01-31 | Maeda Minako | 出会い支援装置および出会い支援方法 |
JP4516247B2 (ja) * | 2000-08-24 | 2010-08-04 | 株式会社日立国際電気 | 携帯端末 |
JP2002288213A (ja) * | 2001-03-28 | 2002-10-04 | Sharp Corp | データ転送装置、データ送受信装置、データ交換システム、データ転送方法、データ転送プログラム、データ送受信プログラム |
JP4742472B2 (ja) * | 2001-09-07 | 2011-08-10 | フリュー株式会社 | 携帯端末のキャラクタ表示装置 |
JP4535063B2 (ja) * | 2002-03-28 | 2010-09-01 | カシオ計算機株式会社 | データ受信装置、データ受信方法、及び、データ受信プログラム |
JP3968277B2 (ja) | 2002-08-26 | 2007-08-29 | 株式会社日立製作所 | メールサーバ、そのメールサーバを実現するためのプログラム及び携帯端末 |
JP2004274550A (ja) * | 2003-03-11 | 2004-09-30 | Sony Ericsson Mobilecommunications Japan Inc | 移動体通信端末装置 |
WO2007138911A1 (ja) | 2006-05-30 | 2007-12-06 | Panasonic Corporation | キャラクタ服飾決定装置、キャラクタ服飾決定方法、およびキャラクタ服飾決定プログラム |
JP2008160295A (ja) * | 2006-12-21 | 2008-07-10 | Sanyo Electric Co Ltd | テレビ電話システム及びテレビ電話装置 |
JPWO2009110276A1 (ja) * | 2008-03-05 | 2011-07-14 | 日本電気株式会社 | 利用者情報提示システム、利用者情報提示装置、利用者情報提示方法、及び利用者情報提示用プログラム |
JP5444978B2 (ja) * | 2009-09-11 | 2014-03-19 | 日本電気株式会社 | 装飾処理装置及び装飾処理方法及びプログラム及び通信機器及び装飾処理システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3438737B2 (ja) * | 1992-11-17 | 2003-08-18 | 日本電信電話株式会社 | 仮想社交界実現システム |
JPH06232987A (ja) * | 1993-02-02 | 1994-08-19 | Hitachi Ltd | 広域障害表示システム |
JPH07302351A (ja) * | 1994-05-09 | 1995-11-14 | Canon Inc | 画像・音声応答装置及び画像・音声応答方法 |
JPH09200714A (ja) * | 1996-01-17 | 1997-07-31 | Casio Comput Co Ltd | テレビ電話付き画像処理装置 |
-
1998
- 1998-12-04 JP JP36187298A patent/JP4054897B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11346267A (ja) | 1999-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4054897B2 (ja) | 会話のための装置 | |
JP2002082893A (ja) | チャット手段を有する端末装置、編集装置、チャットサーバ、および記録媒体 | |
Huhtamo | Pockets of plenty: An archaeology of mobile media | |
Villi | Photographs of place in phonespace: Camera phones as a location-aware mobile technology | |
Hudson-Smith | 30 days in active worlds: community, design and terrorism in a virtual world | |
US20050153678A1 (en) | Method and apparatus for interaction over a network | |
Rubinstein | Cellphone photography; The death of the camera and the arrival of visible speech | |
e Silva | Interfaces of hybrid spaces | |
CN105915563B (zh) | 一种基于电子地图的信息发布***及其信息发布方法 | |
JPH1139122A (ja) | 通信装置 | |
De Souza e Silva | Re-Conceptualizing the Mobile Phone--From Telephone to Collective Interfaces. | |
Levy-Landesberg | Sound and the city: Rethinking spatial epistemologies with urban sound maps | |
JP4997022B2 (ja) | 仮想空間提供サーバ及びシステム | |
Licoppe et al. | Locative Mobile Media and the Development of Unplanned, Fleeting Encounters with Pseudonymous Strangers and Virtual Acquaintances in Urban Public Places | |
Applin et al. | Toward a multiuser social augmented reality experience: Shared pathway experiences via multichannel applications | |
JP3732722B2 (ja) | 電話用情報重畳装置および電話機 | |
Marchese | The art of urban engagement | |
Spaulding | Reach Out and Watch Someone | |
Xia | Enhancing Tourist Memories with Augmented Videography Technology | |
Yamazaki et al. | Exploring spatial audio conferencing functionality in multiuser virtual environments | |
Hiro | Between Absence and Presence: Exploring Video Earth’s What is Photography? | |
e Silva et al. | Historicizing Hybrid Spaces in Mobile Media Art | |
Young | Beyond the Screen: Joan Jonas’s Television by Other Means | |
Bennett | Disrupting Engagement?: Live Music, Mobile Technology and Fandom–Lucy Bennett | |
TWI276780B (en) | A communication system with position data and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060322 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071122 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |