JP2001230801A - Communication system and its method, communication service server and communication terminal - Google Patents

Communication system and its method, communication service server and communication terminal

Info

Publication number
JP2001230801A
JP2001230801A JP2000039804A JP2000039804A JP2001230801A JP 2001230801 A JP2001230801 A JP 2001230801A JP 2000039804 A JP2000039804 A JP 2000039804A JP 2000039804 A JP2000039804 A JP 2000039804A JP 2001230801 A JP2001230801 A JP 2001230801A
Authority
JP
Japan
Prior art keywords
avatar
information
message
communication
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000039804A
Other languages
Japanese (ja)
Inventor
Hiroshi Nakazawa
博 中沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000039804A priority Critical patent/JP2001230801A/en
Publication of JP2001230801A publication Critical patent/JP2001230801A/en
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a communication system where personality and character of a participant in a chat environment can be expressed, conversation with full of attendance feeling is conducted and the participant can enjoy a service such as translation and provision of related information. SOLUTION: A received message is distributed to each terminal via a message reception section 206 and a message transmission section 214. A motion of an avatar is controlled by an avatar operation control section 230 by referencing character information and character dependent action database 228 stored in an avatar information storage section 226 on the basis of a received motion instruction signal or message. Furthermore, a keyword extract section 210 extracts a keyword of conversation contents, an advertisement processing section 212 acquires related advertisement information and distributes it to each terminal. Moreover, a translation processing section 208 acquires a translation result of the message as required and transmits the translation result to the terminal.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、ネットワークに接
続さた複数の端末装置間において、リアルタイムにメッ
セージを交換することにより通信を行なう、いわゆるチ
ャットと言われる通信システムに関し、特に、個性が反
映され臨場感あふれる対話を行なうことができるような
環境を提供する通信システムとその方法、そのような通
信環境を提供する通信サービスサーバ装置、および、そ
のような通信環境において実際に利用者が会話を行なう
通信端末装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a so-called chat communication system in which a plurality of terminal devices connected to a network communicate by exchanging messages in real time, and more particularly to a communication system in which personality is reflected. A communication system and method for providing an environment in which a realistic dialogue can be performed, a communication service server device for providing such a communication environment, and a user actually having a conversation in such a communication environment The present invention relates to a communication terminal device.

【０００２】[0002]

【従来の技術】近年、通信技術やコンピュータ技術など
の進展により、インターネットに代表されるような、パ
ーソナルコンピュータなどの情報処理装置を端末とした
通信ネットワークが広く普及しており、その通信ネット
ワーク上において種々の形態のサービスが提供されてい
る。2. Description of the Related Art In recent years, due to the development of communication technology and computer technology, communication networks, such as the Internet, having information processing devices such as personal computers as terminals have become widespread. Various forms of services are provided.

【０００３】そのような通信サービスの一種に、チャッ
ト、オンライントーク（ＯＬＴ）あるいはリアルタイム
コンピュータ会議（ＲＴＣ：RealTime computer Confer
ence）と言われるサービス（以後、チャットと言う。）
がある。これは、複数の端末装置（利用者）で１つの仮
想空間を共有し、各端末装置（利用者）がその仮想空間
に対して自由に任意のタイミングでメッセージを送信す
る、すなわち発言することができるようにしたものであ
り、実際には、複数の端末装置間でのリアルタイムなメ
ッセージ配信システムにより実現される。また、その仮
想空間をコンピュータグラフィックスにより２次元画像
あるいは３次元画像として実際にディスプレイ上に表示
し、その仮想空間の中で各利用者がアバタと言われる自
分の代理となるキャラクタを用いてリアルタイムに会話
を行なう、いわゆるバーチャル・チャットと言われるよ
うなサービスも提供されている。One of such communication services is chat, online talk (OLT), or real-time computer conference (RTC).
ence) (hereinafter referred to as chat)
There is. This means that a single virtual space is shared by a plurality of terminal devices (users), and each terminal device (user) can freely transmit a message to the virtual space at an arbitrary timing, that is, speak. This is actually realized by a real-time message distribution system among a plurality of terminal devices. Also, the virtual space is actually displayed on a display as a two-dimensional image or a three-dimensional image by computer graphics, and each user uses a character called an avatar in the virtual space in real time. A service called "virtual chat" is provided.

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、前述し
たような従来のチャットは、所詮単なるテキストデータ
のやりとりであり人間味に欠ける、そのため複数の参加
者により対話をしているにも関わらず臨場感に欠けるな
どの課題があった。また、バーチャル・チャットと言わ
れるサービスにおいても、使用されているアバタは予め
用意されたキャラクタ、あるいは、予め用意された頭
髪、目、鼻、口などの人間の身体の造作をモンタージュ
写真を作成するように組み合わせて形成したキャラクタ
であり、参加者の個性や性格を反映させたものではなか
った。その結果、あくまでも仮想空間のアニメーション
といった感が拭えず、臨場感のある対話環境とは言い難
かった。However, the conventional chat as described above is a simple exchange of text data and lacks in humanity. Therefore, even though a plurality of participants are interacting, the chat is not realistic. There were issues such as chipping. Also, in the service called virtual chat, the avatar used is to create a montage photo of a prepared character or a prepared human body feature such as hair, eyes, nose, mouth etc. The characters were formed in such a manner as described above, and did not reflect the individuality and character of the participants. As a result, the feeling of animation in a virtual space could not be wiped out, and it was difficult to say that it was a realistic dialog environment.

【０００５】また、そのようなチャットは、たとえばイ
ンターネットのような世界的規模のネットワーク上に構
成されたものであり、方式的には世界中の参加者と対話
が可能なサービスであるのにも関わらず、言語の違いが
障害となって、たとえば国内での利用やよりローカルな
地域、グループでの利用に留まっている場合があった。[0005] In addition, such a chat is formed on a worldwide network such as the Internet, and is a service that can interact with participants all over the world. Nevertheless, differences in language sometimes hindered, for example, domestic use or more local areas or groups.

【０００６】さらに、そのようなチャットは、任意の利
用者が参加できると言っても、現実には閉じた世界での
対話となりがちであり、次第に会話する内容が少なくな
ったり著しく掘り下げた狭い内容の会話となったりする
場合がしばしば見受けられ、水平方向に話が広く進展し
て行くという意味では、適切なコミュニケーション手段
とは言いがたかった。[0006] Further, even if such a chat can be participated by any user, in reality, it tends to be a conversation in a closed world. It was often seen as a conversation, and it was hard to say that it was an appropriate means of communication in the sense that the story spread widely in the horizontal direction.

【０００７】したがって本発明の目的は、参加者の個性
や性格を表現することができ、これにより臨場感あふれ
る対話が行なえ、また世界的規模での対話を容易に行な
うことができ、さらに場合によっては外部より何らかの
関連情報の提供を受けてより会話を進展させることがで
きるような、より対話ツールとして付加価値が高くどの
ような場合でも利用し易い通信システムおよびその方法
を提供することにある。また本発明の他の目的は、その
ような通信環境を提供する通信サービスサーバ装置を提
供することにある。さらに本発明の他の目的は、そのよ
うな通信を行なうことのできる通信端末装置を提供する
ことにある。[0007] Therefore, an object of the present invention is to express the individuality and character of a participant, whereby a realistic dialogue can be performed, and a global-scale dialogue can be easily performed. An object of the present invention is to provide a communication system and a method thereof that can be used in any case with a high added value as a dialogue tool so that a conversation can be further developed by receiving some related information from the outside. Another object of the present invention is to provide a communication service server device that provides such a communication environment. Still another object of the present invention is to provide a communication terminal device capable of performing such communication.

【０００８】[0008]

【課題を解決するための手段】前記課題を解決するため
に、本発明の通信システムは、ネットワークに接続され
た複数のノード装置と、前記複数のノード装置間でリア
ルタイムな対話が可能な環境、および、当該対話に基づ
いて各々所定の動作を行なう前記ノード装置の利用者に
対応するアバタを表示する環境を、前記各ノード装置に
提供するサーバ装置と、前記ネットワークに接続され、
任意の対象物の画像データに基づいて、前記アバタの画
像データを生成するアバタ画像データ生成手段とを有
し、前記サーバ装置は、前記生成された前記アバタの画
像データを用いて、前記アバタを表示する環境を前記各
ノード装置に提供する。In order to solve the above-mentioned problems, a communication system according to the present invention comprises: a plurality of node devices connected to a network; and an environment capable of real-time dialogue between the plurality of node devices. And, an environment for displaying an avatar corresponding to a user of the node device that performs a predetermined operation based on the dialogue, a server device that provides each of the node devices, and connected to the network,
Avatar image data generating means for generating image data of the avatar based on image data of an arbitrary object, wherein the server device generates the avatar by using the generated image data of the avatar. An environment to be displayed is provided to each of the node devices.

【０００９】好適には、前記サーバ装置は、記憶されて
いる前記アバタの性格情報に基づいて、当該アバタの前
記対話に基づく所定の動作を制御する。特定的には、前
記アバタの性格と前記アバタの動作とが対応付けられて
記憶された性格別動作データベースをさらに有し、前記
サーバ装置は、前記アバタの性格情報に基づいて、前記
性格別動作データベースを参照して、前記アバタの動作
を制御する。Preferably, the server device controls a predetermined operation of the avatar based on the dialog based on the stored avatar character information. Specifically, the server further includes a personality operation database in which the personality of the avatar and the operation of the avatar are stored in association with each other, and the server device performs the personality operation based on the personality information of the avatar. The operation of the avatar is controlled with reference to a database.

【００１０】また好適には、前記サーバ装置は、前記対
話が可能な環境において前記複数のノード装置間で行な
われる前記対話の内容を示すキーワードを抽出する手段
と、前記抽出したキーワードに基づいて、前記対話の内
容に関連する任意の情報を獲得する関連情報獲得手段
と、前記獲得した関連情報を、前記ノード装置に提供す
る関連情報提供手段とを有する。特定的には、前記関連
する情報は、前記対話の内容に関連する商品またはサー
ビスの広告および宣伝情報である。また特定的には、前
記ネットワークに接続され、入力されるキーワードに関
連する任意の情報を検索する所望の情報のデータベース
装置をさらに有し、前記関連情報獲得手段は、前記抽出
したキーワードに基づいて、前記データベース装置より
前記対話の内容に関連する情報を獲得する。[0010] Preferably, the server device extracts a keyword indicating the content of the dialogue performed between the plurality of node devices in the environment where the dialogue is possible, and based on the extracted keyword. It has a related information acquiring means for acquiring arbitrary information related to the content of the dialogue, and a related information providing means for providing the acquired related information to the node device. Specifically, the related information is advertisement and promotion information of a product or service related to the content of the interaction. More specifically, the information processing apparatus further includes a database device of desired information connected to the network and searching for any information related to the input keyword, and the related information acquiring unit is configured to perform a search based on the extracted keyword. And acquiring information related to the contents of the dialogue from the database device.

【００１１】また好適には、所定の言語の前記対話の内
容を所望の言語に翻訳する翻訳手段をさらに有し、前記
サーバ装置は、前記翻訳結果の前記対話の内容を出力す
る環境を、前記ノード装置に提供する。特定的には、前
記翻訳手段は、ネットワークに接続され、入力される前
記所定の言語の対話の内容を前記所望の言語に翻訳する
翻訳サーバ装置であり、前記サーバ装置は、ネットワー
クを介して前記翻訳サーバ装置にアクセスすることによ
り、前記環境を前記ノード装置に提供する。Preferably, the apparatus further comprises translation means for translating the contents of the dialogue in a predetermined language into a desired language, and the server device includes an environment for outputting the contents of the dialogue as a result of the translation. Provide to the node device. Specifically, the translation means is a translation server device connected to a network and translating the contents of the input dialogue in the predetermined language into the desired language, and the server device is connected to the network via the network. The environment is provided to the node device by accessing the translation server device.

【００１２】また、本発明の通信方法は、ネットワーク
に接続された複数のノード装置間において通信を行なう
方法であって、前記各ノード装置において、当該ノード
装置を介して対話を行なう利用者に対応するアバタの画
像データを生成するための、任意の対象物の画像データ
を入力し、前記入力された画像データに基づいて、前記
利用者に対応する前記アバタの画像データを生成し、前
記複数のノード装置に、前記生成された各ノード装置の
利用者に対応するアバタが配置される仮想空間の画像を
表示し、任意の前記ノード装置においてメッセージが入
力された場合、当該入力されたメッセージをリアルタイ
ムに前記複数のノード装置に送信し、少なくとも前記メ
ッセージの送信に基づいて、前記仮想空間の前記画像を
変更する。Further, a communication method according to the present invention is a method for performing communication between a plurality of node devices connected to a network, wherein each of the node devices corresponds to a user who has a conversation through the node device. To generate image data of an avatar to be input, input image data of an arbitrary object, and generate image data of the avatar corresponding to the user based on the input image data; On the node device, an image of a virtual space in which an avatar corresponding to a user of each of the generated node devices is arranged is displayed. When a message is input in any of the node devices, the input message is displayed in real time. And changing the image of the virtual space based on at least the transmission of the message.

【００１３】また、本発明の通信サービスサーバ装置
は、ネットワークに接続された複数のノード装置に対し
て、当該複数のノード装置間でリアルタイムな対話が可
能な環境を提供するチャット手段と、任意の前記ノード
装置より入力される任意の対象物の画像データに基づい
て、当該ノード装置の利用者に対応するアバタの画像デ
ータを生成するアバタ画像データ生成手段と、前記複数
のノード装置に対して、前記ノード装置の利用者に対応
する前記アバタが前記対話に基づいて各々所定の動作を
行なう仮想空間環境を提供する仮想空間提供手段とを有
する。Further, the communication service server device of the present invention comprises: a chat means for providing, to a plurality of node devices connected to a network, an environment in which real-time conversation can be performed between the plurality of node devices; An avatar image data generating unit configured to generate image data of an avatar corresponding to a user of the node device based on image data of an arbitrary object input from the node device; and for the plurality of node devices, Virtual space providing means for providing a virtual space environment in which the avatar corresponding to the user of the node device performs a predetermined operation based on the dialogue.

【００１４】また、本発明の通信端末装置は、ネットワ
ークに接続され、当該ネットワークに接続されている他
の通信端末装置とリアルタイムな対話を行なう通信端末
装置であって、前記他の通信端末装置とリアルタイムな
対話を行なうチャット手段と、任意の対象物の画像デー
タを入力する画像入力手段と、前記ネットワークに接続
されたサーバ装置により提供される、前記入力した画像
データに基づいて生成された当該通信端末装置の利用者
に対応するアバタおよび前記他の通信端末装置の利用者
に対応するアバタが、前記チャット手段において行なわ
れる前記対話に基づいて各々所定の動作を行なう仮想空
間に関わる情報を受信し、当該仮想空間を表示する仮想
空間表示手段とを有する。Further, the communication terminal device of the present invention is a communication terminal device connected to a network and having a real-time conversation with another communication terminal device connected to the network. Chat means for performing real-time dialogue, image input means for inputting image data of an arbitrary object, and the communication generated based on the input image data provided by a server device connected to the network An avatar corresponding to a user of the terminal device and an avatar corresponding to a user of the other communication terminal device receive information relating to a virtual space performing a predetermined operation based on the dialogue performed in the chat means. And virtual space display means for displaying the virtual space.

【００１５】[0015]

【発明の実施の形態】本発明の一実施の形態について、
図１〜図６を参照して説明する。本実施の形態において
は、複数の利用者がテキスデータを主体としてリアルタ
イムに対話を行なう通信環境（以後、これをチャット環
境と言う場合もある。）を提供する通信システムであっ
て、特にアバタを用いた個性的な対話を行なうことがで
き、さらに、翻訳、音声合成および他の情報とのリンク
など種々の機能を有し、総合的に任意の相手と任意の言
語で任意の形態で対話を行なうことができる通信システ
ムを例示して本発明を説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described.
This will be described with reference to FIGS. The present embodiment is a communication system that provides a communication environment in which a plurality of users interact in real time mainly with text data (hereinafter, this may be referred to as a chat environment). It can perform individualized dialogues and has various functions such as translation, speech synthesis, and links to other information, and can interact with any partner in any language and in any form. The present invention will be described by exemplifying a communication system that can be performed.

【００１６】まず、その通信システム１００の構成につ
いて図１〜図４を参照して説明する。図１は、通信シス
テム１００の全体構成を示す図である。通信システム１
００は、通信サービスサーバ２００、翻訳サーバ３０
０、広告サーバ４００、通信端末装置（ノード装置）５
００およびネットワーク６００を有する。First, the configuration of the communication system 100 will be described with reference to FIGS. FIG. 1 is a diagram showing the overall configuration of the communication system 100. Communication system 1
00 is the communication service server 200 and the translation server 30
0, advertisement server 400, communication terminal device (node device) 5
00 and a network 600.

【００１７】通信サービスサーバ２００は、ネットワー
ク６００を介して、複数の通信端末装置５００に対し
て、次のような特徴を有するチャット環境を提供する。
まず通信サービスサーバ２００は、通信端末装置５００
に、個々に性格までをも持っているかのような動きをす
るアバタを用いて対話を行なう環境を提供する。また通
信サービスサーバ２００は、翻訳サーバ３００によるサ
ービスを利用して、同時翻訳（同時通訳）を受けながら
対話を行なう環境を提供する。さらに通信サービスサー
バ２００は、通信内容より話題を検出して、その話題に
関連する情報を提供するという機能を提供する。The communication service server 200 provides, via the network 600, a plurality of communication terminal devices 500 with a chat environment having the following features.
First, the communication service server 200
In addition, an environment is provided in which an avatar that moves as if it has a personality is used. Further, the communication service server 200 provides an environment in which conversation is performed while receiving simultaneous translation (simultaneous interpretation) by using the service provided by the translation server 300. Further, the communication service server 200 provides a function of detecting a topic from communication contents and providing information related to the topic.

【００１８】なお、通信サービスサーバ２００において
は、前述した関連する話題を提供する機能として、対話
に関連のある広告情報を自動的に送信する機能を有する
ものとする。そして、この機能は、広告情報を受信する
ことにより、通信サービスサーバ２００に対するサービ
ス利用料金が割り引かれるという観点から主に利用され
る。また、通信サービスサーバ２００においては、これ
らの環境、機能およびサービスを利用しようとする者
は、予め会員登録をするものとする。It is assumed that the communication service server 200 has a function of automatically transmitting advertisement information related to a dialog as a function of providing the above-mentioned related topic. This function is mainly used from the viewpoint that the service usage fee for the communication service server 200 is reduced by receiving the advertisement information. Further, in the communication service server 200, a person who intends to use these environments, functions, and services shall register in advance as a member.

【００１９】このような種々の機能を有する通信サービ
スサーバ２００の構成について、図２および図３を参照
して詳細に説明する。図２は、通信サービスサーバ２０
０の構成を示すブロック図である。通信サービスサーバ
２００は、チャット制御部２０２、チャット状態記憶部
２０４、メッセージ受信部２０６、翻訳処理部２０８、
キーワード抽出部２１０、広告処理部２１２、メッセー
ジ送信部２１４、アバタ情報生成部２１６、性格情報付
加部２２４、アバタ情報記憶部２２６、性格別アクショ
ンデータベース２２８およびアバタ動作制御部２３０を
有する。The configuration of the communication service server 200 having such various functions will be described in detail with reference to FIGS. FIG. 2 shows the communication service server 20.
FIG. 3 is a block diagram showing a configuration of a 0. The communication service server 200 includes a chat control unit 202, a chat status storage unit 204, a message receiving unit 206, a translation processing unit 208,
It has a keyword extraction unit 210, an advertisement processing unit 212, a message transmission unit 214, an avatar information generation unit 216, a personality information addition unit 224, an avatar information storage unit 226, a personality action database 228, and an avatar operation control unit 230.

【００２０】なお、図２に示した構成に対して外部より
入力される信号および出力される信号は、通信サービス
サーバ２００の図示しない受信部および送信部を介して
ネットワーク６００より入力され、またネットワーク６
００に出力される信号である。すなわち、ネットワーク
６００を介して伝送されたデータは、図示せぬ受信部で
一旦受信された後、そのデータのヘッダなどが参照され
てデータの種類が判別され、選択的に各構成部に入力さ
れる。また、各構成部からの出力信号は、図示せぬ送信
部に入力され、伝送するのに適した形態に変換されて、
ネットワーク６００に送出され、所望の送信先に送信さ
れる。A signal input from the outside and a signal output from the configuration shown in FIG. 2 are input from network 600 via a receiving unit and a transmitting unit (not shown) of communication service server 200. 6
00 is a signal that is output. That is, the data transmitted via the network 600 is once received by a receiving unit (not shown), the type of the data is determined by referring to the header of the data, and selectively input to each component. You. Also, the output signal from each component is input to a transmission unit (not shown) and is converted into a form suitable for transmission.
The data is transmitted to the network 600 and transmitted to a desired transmission destination.

【００２１】チャット制御部２０２は、１つの仮想空間
を形成して対話を行なう通信端末装置５００のグループ
（以後、これを単にチャットと言う。）の新たな開設、
開設されているチャットの終了、チャットへの新たな通
信端末装置５００（利用者）の参加および参加の終了な
どを制御する。チャット制御部２０２には、ネットワー
ク６００を介して、任意の通信端末装置５００より、前
述したような各処理を要求する制御データが入力され
る。チャット制御部２０２は、この入力信号に基づい
て、要求元の利用者が適切な会員であるか否かなどの審
査などの処理を行い、その処理結果に応じて適宜要求を
受け付ける。そしてその受け付けた内容に基づいて、チ
ャット状態記憶部２０４に記憶されているチャットの状
態を示す情報を更新する。また、各通信端末装置５００
の通信に係わる条件や、チャットへの参加条件、参加モ
ード、使用する機能、使用するアバタを特定する情報な
どの情報も、チャット制御部２０２を介してチャット状
態記憶部２０４に記憶される。The chat control unit 202 newly establishes a group of communication terminals 500 (hereinafter simply referred to as "chat") for forming a virtual space and having a conversation.
It controls the end of the established chat, the participation of a new communication terminal device 500 (user) in the chat, the end of the participation, and the like. Control data for requesting each process as described above is input to the chat control unit 202 from an arbitrary communication terminal device 500 via the network 600. Based on the input signal, the chat control unit 202 performs processing such as checking whether or not the requesting user is an appropriate member, and accepts a request as appropriate according to the processing result. Then, based on the received content, the information indicating the chat status stored in the chat status storage unit 204 is updated. In addition, each communication terminal device 500
The information related to such communication, the conditions for participating in the chat, the participation mode, the function to be used, and information for specifying the avatar to be used are also stored in the chat state storage unit 204 via the chat control unit 202.

【００２２】チャット状態記憶部２０４は、通信サービ
スサーバ２００が提供しているチャットの状態を示す情
報、すなわち、開設されているチャットの情報、各チャ
ットに参加している通信端末装置５００（利用者）を示
す情報、各通信端末装置５００の参加モードや参加条件
などの種々の情報などを記憶するメモリであり、チャッ
ト制御部２０２により適宜更新される。これらチャット
状態記憶部２０４に記憶されている情報は、通信サービ
スサーバ２００内の種々の構成部により参照される。た
とえば、各チャットごとの参加者およびそのアドレスの
情報はメッセージ送信部２１４により参照され、各チャ
ットあるいは個別の参加者が話題に関連する広告情報を
受信するか否かおよび翻訳サービスを利用するか否かな
どの参加モードの情報はメッセージ受信部２０６により
参照され、各参加者が使用するアバタを特定する情報は
アバタ動作制御部２３０により参照される。The chat status storage unit 204 stores information indicating the status of the chat provided by the communication service server 200, that is, information on the established chat, and the communication terminal device 500 (user ), And various information such as the participation mode and participation conditions of each communication terminal device 500, and is updated by the chat control unit 202 as appropriate. The information stored in the chat status storage unit 204 is referred to by various components in the communication service server 200. For example, the information on the participants and their addresses for each chat is referred to by the message transmission unit 214, and whether each chat or individual participants receive advertisement information related to the topic and whether or not to use the translation service Information on the participation mode, such as, is referred to by the message receiving unit 206, and information specifying an avatar used by each participant is referred to by the avatar operation control unit 230.

【００２３】メッセージ受信部２０６は、各チャットに
参加している通信端末装置５００より送信されるメッセ
ージを受信し、メッセージ送信部２１４に送信する。ま
た、メッセージ受信部２０６は、チャット状態記憶部２
０４に記憶されている各チャットおよび各通信端末装置
５００の参加モードの情報に基づいて、そのメッセージ
が配信される通信端末装置５００のいずれかが、アバタ
を使用して対話を行なうモードであった場合に、そのメ
ッセージをアバタ動作制御部２３０にも出力する。なお
このメッセージは、アバタ動作制御部２３０において、
メッセージより特定のフレーズを検出してアバタの動き
を制御するため、および、吹き出しを生成するために用
いられる。Message receiving section 206 receives a message transmitted from communication terminal apparatus 500 participating in each chat, and transmits the message to message transmitting section 214. In addition, the message receiving unit 206 stores the chat state storage unit 2
One of the communication terminal devices 500 to which the message is distributed, based on the information of each chat and the participation mode of each communication terminal device 500 stored in the communication device 04, uses the avatar to interact. In this case, the message is also output to the avatar operation control unit 230. This message is sent to the avatar operation control unit 230.
It is used for detecting a specific phrase from a message to control the movement of an avatar, and for generating a speech balloon.

【００２４】また、メッセージ受信部２０６は、チャッ
ト状態記憶部２０４に記憶されている各チャットおよび
各通信端末装置５００の参加モードの情報に基づいて、
そのメッセージが配信される通信端末装置のいずれかが
そのメッセージを所定の言語へ翻訳した結果の配信を希
望している場合には、そのメッセージを翻訳処理部２０
８に出力する。さらに、メッセージ受信部２０６は、チ
ャット状態記憶部２０４に記憶される各チャットおよび
各通信端末装置５００の参加モードの情報に基づいて、
そのメッセージが配信される通信端末装置のいずれかが
広告情報を受信するモードである場合には、そのメッセ
ージをキーワード抽出部２１０に出力する。Further, the message receiving unit 206 is based on the information of each chat and the participation mode of each communication terminal device 500 stored in the chat status storage unit 204.
If any of the communication terminal devices to which the message is delivered desires to deliver the result of translating the message into a predetermined language, the message is translated to a translation processing unit 20.
8 is output. Further, the message receiving unit 206 determines, based on the information of each chat and the participation mode of each communication terminal device 500 stored in the chat status storage unit 204,
If any of the communication terminal devices to which the message is distributed is in a mode for receiving advertisement information, the message is output to keyword extracting section 210.

【００２５】翻訳処理部２０８は、メッセージ受信部２
０６より入力されるメッセージを、ネットワーク６００
を介して翻訳サーバ３００に送信し、そのメッセージの
所定の言語への翻訳を依頼する。また、翻訳サーバ３０
０から送信される翻訳結果を受信し、翻訳されたメッセ
ージとしてメッセージ送信部２１４に出力する。The translation processing unit 208 includes a message receiving unit 2
06 to the network 600
To the translation server 300, and requests translation of the message into a predetermined language. Also, the translation server 30
It receives the translation result transmitted from 0 and outputs it to the message transmission unit 214 as a translated message.

【００２６】キーワード抽出部２１０は、メッセージ受
信部２０６より入力されるメッセージに基づいて、各チ
ャットごとのキーワードを検出し、そのチャットにおけ
る話題を示す情報として広告処理部２１２に出力する。
キーワード抽出部２１０においては、メッセージ受信部
２０６より入力されるメッセージを構文解析して単語を
抽出し、各チャットごとに使用されている単語の頻度を
調べる。そして、所定の時間帯ごとに、出現頻度の高い
単語を所定の基準で抽出し、そのチャットのグループの
話題を示すキーワードとする。なお、本実施の形態にお
いては、キーワード抽出部２１０における単語の抽出
は、たとえば漢字やカタカナで書かれた単語を抽出する
ことにより行なう。また、キーワードの抽出は、最も出
現頻度の高い単語を１つ選択するものとする。また、キ
ーワードを抽出する時間間隔は、通信端末装置５００に
広告情報を配信する間隔である。The keyword extracting section 210 detects a keyword for each chat based on the message input from the message receiving section 206 and outputs the keyword to the advertisement processing section 212 as information indicating a topic in the chat.
The keyword extracting unit 210 extracts a word by syntactically analyzing the message input from the message receiving unit 206, and checks the frequency of the word used for each chat. Then, for each predetermined time period, words having a high appearance frequency are extracted based on a predetermined standard, and are extracted as keywords indicating topics of the chat group. In the present embodiment, the keyword extraction unit 210 extracts words by, for example, extracting words written in kanji or katakana. In addition, it is assumed that one keyword having the highest appearance frequency is selected for keyword extraction. The time interval for extracting the keyword is an interval at which the advertisement information is distributed to the communication terminal device 500.

【００２７】広告処理部２１２は、キーワード抽出部２
１０より入力されるキーワードを、ネットワーク６００
を介して広告サーバ４００に送信し、そのキーワードで
検索される製品あるいはサービスなどに係わる広告の情
報の配信を依頼する。そして、その依頼に基づいて広告
サーバ４００から配信される広告情報のメッセージを受
信し、メッセージ送信部２１４に出力する。The advertisement processing unit 212 includes a keyword extraction unit 2
The keyword entered from 10 is input to the network 600
To the advertisement server 400 via the Internet, and requests distribution of advertisement information relating to a product or service searched by the keyword. Then, it receives a message of advertisement information distributed from advertisement server 400 based on the request, and outputs the message to message transmission unit 214.

【００２８】メッセージ送信部２１４は、メッセージ受
信部２０６より入力されるメッセージ、翻訳処理部２０
８より入力される翻訳されたメッセージおよび広告処理
部２１２より入力される広告情報のメッセージを、各チ
ャットの各通信端末装置５００に配信する。メッセージ
受信部２０６から入力されるメッセージは、チャット状
態記憶部２０４に記憶されている各チャットを構成する
通信端末装置５００の情報に基づいて、そのメッセージ
が発信されたチャットを構成する各通信端末装置５００
に送信される。The message transmitting section 214 receives the message input from the message receiving section 206,
8 and the message of the advertisement information input from the advertisement processing unit 212 are distributed to each communication terminal device 500 of each chat. The message input from the message receiving unit 206 is based on the information of the communication terminal device 500 constituting each chat stored in the chat state storage unit 204, based on the information of each communication terminal device constituting the chat from which the message was transmitted. 500
Sent to.

【００２９】翻訳処理部２０８から入力されるメッセー
ジは、チャット状態記憶部２０４に記憶されている各チ
ャットを構成する通信端末装置５００の情報およびその
各通信端末装置５００の参加モードの情報に基づいて、
そのメッセージが発信されたチャットを構成する通信端
末装置５００であって翻訳結果を受信するモードに設定
されている通信端末装置５００に送信される。広告処理
部２１２から入力されるメッセージは、チャット状態記
憶部２０４に記憶されている各チャットを構成する通信
端末装置５００の情報およびその各通信端末装置５００
の参加モードの情報に基づいて、そのメッセージが発信
されたチャットを構成する通信端末装置５００であって
広告情報を受信するモードに設定されている通信端末装
置５００に送信される。The message input from translation processing section 208 is based on information of communication terminal apparatuses 500 constituting each chat stored in chat state storage section 204 and information on the participation mode of each communication terminal apparatus 500. ,
The message is transmitted to communication terminal device 500 that constitutes the transmitted chat and that is set to the mode of receiving the translation result. The message input from the advertisement processing unit 212 is the information of the communication terminal devices 500 constituting each chat stored in the chat state storage unit 204 and the communication terminal devices 500
The message is transmitted to communication terminal device 500 that configures the chat where the message has been transmitted, and is set to the mode for receiving advertisement information, based on the information on the participation mode.

【００３０】アバタ情報生成部２１６は、通信端末装置
５００より入力される通信サービスサーバ２００の利用
者（会員）の顔あるいは全身の画像データより、通信端
末装置５００においてチャットウィンドウに表示される
アバタのアニメーションデータを生成し、アバタ情報記
憶部２２６に出力する。The avatar information generating unit 216 generates an avatar displayed in a chat window in the communication terminal device 500 from image data of the face or the whole body of the user (member) of the communication service server 200 input from the communication terminal device 500. The animation data is generated and output to the avatar information storage unit 226.

【００３１】アバタ情報生成部２１６の構成について図
３を参照して詳細に説明する。図３は、アバタ情報生成
部２１６の構成を示すブロック図である。アバタ情報生
成部２１６は、伸張処理部２１７、特徴抽出部２１８、
人物形状作成部２２０およびアニメ作成部２２２を有す
る。The configuration of the avatar information generator 216 will be described in detail with reference to FIG. FIG. 3 is a block diagram illustrating a configuration of the avatar information generation unit 216. The avatar information generation unit 216 includes a decompression processing unit 217, a feature extraction unit 218,
It has a person shape creating section 220 and an animation creating section 222.

【００３２】伸張処理部２１７は、通信端末装置５００
より送信された会員の顔あるいは全身の圧縮画像データ
を所定の方式により伸張し、元の画像データを復元して
特徴抽出部２１８に出力する。The decompression processing unit 217 is a communication terminal device 500
The transmitted compressed image data of the member's face or whole body is expanded by a predetermined method, and the original image data is restored and output to the feature extracting unit 218.

【００３３】特徴抽出部２１８は、伸張処理部２１７よ
り入力される復元された画像データを解析し、その画像
の特徴を抽出して人物形状作成部２２０に出力する。具
体的には、たとえば、入力された画像に対してフーリエ
変換を行なうなどして周波数解析を行い、たとえば頭髪
部分や、目、口部分など特徴的な部分の抽出を行うとと
もに、輪郭追跡などの処理を行なう。The feature extraction unit 218 analyzes the restored image data input from the decompression processing unit 217, extracts the features of the image, and outputs the extracted features to the person shape creation unit 220. More specifically, for example, a frequency analysis is performed by performing a Fourier transform on the input image, and a characteristic portion such as a hair portion, an eye, and a mouth portion is extracted. Perform processing.

【００３４】人物形状作成部２２０は、特徴抽出部２１
８より入力されたデータに対して後処理、すなわちデー
タの取捨選択や補正などを行い、元の画像情報に示され
ていた顔あるいは人物を示すフレーム画像を作成し、ア
ニメ作成部２２２に出力する。この際、その画像が顔の
みの画像の場合には標準的な体のフレームを付加するな
どして、また全身の画像であればその各部および全体を
正規化するなどして、通信サービスサーバ２００が提供
するチャット環境で使用するのに好ましい形態の人物形
状のフレーム画像データに変換し、アニメ作成部２２２
に出力する。The person shape creation section 220 is composed of the feature extraction section 21
8 to perform post-processing, that is, data selection and correction, to create a frame image showing the face or person indicated in the original image information, and output it to the animation creating unit 222 . At this time, when the image is a face-only image, a standard body frame is added, and when the image is a whole body image, each part and the whole of the communication service server 200 are normalized. Is converted into frame image data of a person shape in a preferred form for use in a chat environment provided by
Output to

【００３５】アニメ作成部２２２は、人物形状作成部２
２０より入力される人物形状のフレーム情報にレンダリ
ングを行なうなどして、アバタのアニメーション画像と
して好ましい画像、好ましい動作を表示できる画像に変
換し、その利用者を示すアバタのアニメーションデータ
を生成し、アバタ情報記憶部２２６に出力する。The animation creator 222 includes a person shape creator 2
For example, rendering is performed on the frame information of the human figure input from the user 20 to convert the image into a preferable image as an animation image of the avatar and an image capable of displaying a preferable operation, and generate avatar animation data indicating the user. The information is output to the information storage unit 226.

【００３６】通信サービスサーバ２００の性格情報付加
部２２４は、入力されるアバタの性格に係わる情報を、
アバタ情報記憶部２２６に記憶されているアバタの情報
に付加する。性格情報付加部２２４には、通信サービス
サーバ２００の会員であって、アバタ情報記憶部２２６
にアバタの情報を記憶している会員より、そのアバタの
性格に係わる情報が入力される。性格情報付加部２２４
は、この情報を所定のデータ形式に変換し、アバタ情報
記憶部２２６に記憶する。The personality information adding unit 224 of the communication service server 200 converts the input information relating to the personality of the avatar into
It is added to the avatar information stored in the avatar information storage unit 226. The personality information adding unit 224 is a member of the communication service server 200, and is an avatar information storage unit 226.
A member who stores avatar information inputs information about the avatar's character. Personality information addition unit 224
Converts this information into a predetermined data format and stores it in the avatar information storage unit 226.

【００３７】アバタ情報記憶部２２６は、アバタ情報生
成部２１６より入力されるアニメーションデータおよび
性格情報付加部２２４より入力される性格情報などの、
通信サービスサーバ２００の各会員に係わるアバタの情
報を、その会員に対応つけて記憶する。記憶したデータ
は、アバタ動作制御部２３０からの要求に応じて適宜参
照される。The avatar information storage unit 226 stores animation data input from the avatar information generation unit 216 and character information input from the character information addition unit 224.
The avatar information of each member of the communication service server 200 is stored in association with the member. The stored data is appropriately referred to in response to a request from the avatar operation control unit 230.

【００３８】性格別アクションデータベース２２８は、
アバタの性格別の行動およびその程度を示すパラメータ
が記憶されたデータベースである。性格別アクションデ
ータベース２２８に記憶されたデータは、アバタ動作制
御部２３０においてアバタに動きを与える処理を行なう
際に、性格に応じた動きとするために参照される。The personality action database 228 is
This is a database in which avatars' behaviors according to personality and parameters indicating their degree are stored. The data stored in the personality action database 228 is referred to when the avatar operation control unit 230 performs a process of giving a motion to the avatar, in order to make the motion according to the personality.

【００３９】アバタ動作制御部２３０は、通信端末装置
５００より入力されるアバタの動作を指示するデータお
よびメッセージ受信部２０６より入力されるメッセージ
に基づいて、さらに、アバタ情報記憶部２２６に記憶さ
れているアバタの性格情報および性格別アクションデー
タベース２２８に記憶されている性格に対応した動作お
よびその程度の情報を参照して、チャットに参加してい
る各利用者の通信端末装置５００の画面上のアバタを動
かすための制御データを生成して、各通信端末装置５０
０に送信する。The avatar operation control section 230 is further stored in the avatar information storage section 226 based on the data input from the communication terminal apparatus 500 for instructing the avatar operation and the message input from the message receiving section 206. The avatar on the screen of the communication terminal device 500 of each user participating in the chat is referred to by referring to the personality information of the avatar and the operation corresponding to the personality stored in the personality action database 228 and the information of the degree. To generate control data for operating the communication terminal 50,
Send to 0.

【００４０】まず、通信端末装置５００よりアバタの動
作を指示するデータが入力された際には、アバタが実際
にそのような動きを行なうための制御データを生成す
る。その際アバタ動作制御部２３０は、アバタ情報記憶
部２２６に記憶されている各アバタの性格情報を読み出
して、さらに性格別アクションデータベース２２８に記
憶されている性格別のアバタの動作およびその程度を示
すデータを参照して、そのアバタが、設定されている性
格に応じたように動くように、その動きおよび動きの程
度を決定する。First, when data instructing the operation of the avatar is input from the communication terminal device 500, the avatar generates control data for actually performing such movement. At that time, the avatar operation control unit 230 reads out the personality information of each avatar stored in the avatar information storage unit 226, and further indicates the personality-based avatar operation and its degree stored in the personality action database 228. With reference to the data, the movement and the degree of the movement are determined so that the avatar moves according to the set personality.

【００４１】またアバタ動作制御部２３０は、メッセー
ジ受信部２０６より入力されるメッセージについて、ア
バタがあたかもそのメッセージをしゃべったかのように
吹き出しにより表示を行なうための吹き出し画像制御デ
ータを生成する。この時、メッセージが長くて吹き出し
として表示するのに好ましくない場合には、アバタ動作
制御部２３０は、適宜メッセージを短くして吹き出し用
のテキストを生成する。The avatar operation control section 230 generates balloon image control data for displaying a message input from the message receiving section 206 by a balloon as if the avatar spoke the message. At this time, if the message is too long to be displayed as a balloon, the avatar operation control unit 230 appropriately shortens the message and generates text for the balloon.

【００４２】さらにアバタ動作制御部２３０は、メッセ
ージ受信部２０６より入力されるメッセージより予め登
録された所定のフレーズの検出を行い、そのフレーズに
対応する動きをアバタが行なうための制御データを生成
する。具体的には、アバタ動作制御部２３０は、入力さ
れるメッセージより、たとえば怒り、喜び、感謝、お願
いなどを表すキーワードを検出し、これに応じた動きを
アバタが行なうような画像データを生成する。この時も
アバタ動作制御部２３０は、アバタ情報記憶部２２６に
記憶されている各アバタの性格情報を読み出して、さら
に性格別アクションデータベース２２８に記憶されてい
る性格別のアバタの動作およびその程度を示すデータを
参照して、そのアバタが、設定されている性格に応じた
ように動くように、その動きおよび動きの程度を決定す
る。Further, avatar operation control section 230 detects a predetermined phrase registered in advance from the message input from message receiving section 206, and generates control data for the avatar to perform a movement corresponding to the phrase. . Specifically, the avatar operation control unit 230 detects, for example, a keyword representing anger, joy, appreciation, request, or the like from the input message, and generates image data such that the avatar performs a motion corresponding to the keyword. . Also at this time, the avatar operation control unit 230 reads out the personality information of each avatar stored in the avatar information storage unit 226 and further determines the personality-based avatar operation and its degree stored in the personality action database 228. With reference to the data shown, the movement and the degree of the movement are determined so that the avatar moves according to the set personality.

【００４３】そして、このようにして生成されたアバタ
の動きおよび吹き出しなどのその周辺の画像を制御する
データは、そのチャットの各通信端末装置５００であっ
て、アバタを使用する参加モードの通信端末装置５００
に対して送信される。以上が、通信サービスサーバ２０
０の構成である。The data for controlling the peripheral image such as the movement of the avatar and the speech balloon generated in this manner is transmitted to each communication terminal device 500 of the chat in the participation mode using the avatar. Device 500
Sent to. The above is the description of the communication service server 20.
0.

【００４４】翻訳サーバ３００は、ネットワーク６００
に接続された任意のノードからの翻訳サービスの要求に
応じて、入力された原文を、所望の言語に翻訳し、入力
元のノードに返信する。本実施の形態においては、翻訳
サーバ３００は、通信サービスサーバ２００の翻訳処理
部２０８からの翻訳の要求に応じて翻訳を行い、翻訳結
果を同じく翻訳処理部２０８に返信する。なお、翻訳サ
ーバ３００は高性能のコンピュータなどにより構成さ
れ、実質リアルタイムで翻訳を行う。The translation server 300 is connected to the network 600
In response to a request for a translation service from an arbitrary node connected to, the input original text is translated into a desired language and returned to the input source node. In the present embodiment, translation server 300 performs translation in response to a translation request from translation processing unit 208 of communication service server 200, and also returns a translation result to translation processing unit 208. The translation server 300 is composed of a high-performance computer or the like, and performs translation in substantially real time.

【００４５】広告サーバ４００は、任意の広告主から出
稿される任意の広告、宣伝に係わる情報が蓄積されたサ
ーバ装置であり、入力される、製品、テーマ、関連商品
などを示すキーワードに応じて、対応する広告情報を読
み出し出力する。本実施の形態においては、広告サーバ
４００には通信サービスサーバ２００の広告処理部２１
２よりチャットの話題を示すキーワードが入力される。
広告サーバ４００は、このキーワードに基づいて対応す
る広告情報を抽出し、適宜選択して通信サービスサーバ
２００に配信する。The advertisement server 400 is a server device in which information relating to an arbitrary advertisement and advertisement put out by an arbitrary advertiser is stored, and according to a keyword indicating a product, theme, related product, or the like, which is input. , And reads and outputs the corresponding advertisement information. In the present embodiment, the advertisement server 400 includes the advertisement processing unit 21 of the communication service server 200.
2, a keyword indicating the topic of chat is input.
The advertisement server 400 extracts the corresponding advertisement information based on the keyword, selects the advertisement information as appropriate, and distributes the selected advertisement information to the communication service server 200.

【００４６】なお、前述したように、本実施の形態にお
いては、通信サービスサーバ２００の利用者は、この広
告情報を受信することで、会費、チャット開設費用ある
いは参加費用などの利用料金が割り引かれるという特典
を受けることができる。これは、料金の一部を広告サー
バ４００の広告主が宣伝料金の一部として肩代わりする
ことにより実現される仕組みである。そのため、広告サ
ーバ４００より広告情報が通信サービスサーバ２００に
送信されるごとに、広告サーバ４００における広告主か
らの宣伝料金の受け取り処理、通信サービスサーバ２０
０に対する手数料の支払い処理、および、各利用者の通
信サービスサーバ２００利用料金の割引処理などの決済
処理が必要となる。ただし、ここでは、それらの決済処
理についての説明は省略する。As described above, in the present embodiment, the user of the communication service server 200 receives the advertisement information, and is reduced in usage fee such as a membership fee, a chat opening fee, or a participation fee. You can receive the privilege. This is a mechanism realized by the advertiser of the advertisement server 400 taking over part of the fee as part of the advertising fee. Therefore, every time the advertisement information is transmitted from the advertisement server 400 to the communication service server 200, the advertisement server 400 receives the advertisement fee from the advertiser,
A payment process such as a fee payment process for 0 and a discount process for the communication service server 200 usage fee of each user is required. However, description of these settlement processes is omitted here.

【００４７】通信端末装置５００は、通信サービスサー
バ２００の会員たるサービス利用者が、ネットワーク６
００を介して通信サービスサーバ２００にアクセスし、
実際にそのサービスを受けるための端末装置であり、実
際には、各利用者のパーソナルコンピュータなどで構成
される。この通信端末装置５００の構成について、図４
を参照して詳細に説明する。図４は、通信端末装置５０
０の構成を示すブロック図である。通信端末装置５００
は、データ受信部５０２、データ制御部５０４、テキス
ト画像生成部５０６、吹き出し画像生成部５０８、アバ
タ画像生成部５１０、表示制御部５１２、表示部５１
４、音声合成部５１６、スピーカ５１８、入力部５２
０、画像入力部５２２、圧縮処理部５２４、およびデー
タ送信部５２６を有する。The communication terminal device 500 allows a service user, who is a member of the communication service server 200, to connect to the network 6
00 to access the communication service server 200,
It is a terminal device for actually receiving the service, and is actually composed of a personal computer of each user. Regarding the configuration of this communication terminal device 500, FIG.
This will be described in detail with reference to FIG. FIG. 4 shows a communication terminal device 50.
FIG. 3 is a block diagram showing a configuration of a 0. Communication terminal device 500
Are a data receiving unit 502, a data control unit 504, a text image generation unit 506, a balloon image generation unit 508, an avatar image generation unit 510, a display control unit 512, and a display unit 51.
4. Voice synthesis unit 516, speaker 518, input unit 52
0, an image input unit 522, a compression processing unit 524, and a data transmission unit 526.

【００４８】データ受信部５０２は、ネットワーク６０
０を介して通信サービスサーバ２００よりメッセージお
よび種々の制御データを受信し、データ制御部５０４に
出力する。The data receiving unit 502 is connected to the network 60
0, and receives a message and various control data from the communication service server 200 and outputs it to the data control unit 504.

【００４９】データ制御部５０４は、データ受信部５０
２より入力される受信データを、その受信データの内容
および予め設定されている通信端末装置５００の動作モ
ードに応じて、テキスト画像生成部５０６、吹き出し画
像生成部５０８、アバタ画像生成部５１０および音声合
成部５１６に出力する。なお、受信データの内容の識別
は、たとえばその受信データのヘッダの情報をチェック
するなどして行なう。The data control unit 504 includes the data receiving unit 50
2 according to the content of the received data and the preset operation mode of the communication terminal device 500, the text image generation unit 506, the balloon image generation unit 508, the avatar image generation unit 510, and the voice Output to the combining unit 516. The identification of the content of the received data is performed by, for example, checking the information of the header of the received data.

【００５０】具体的には、受信データがチャットでの対
話に関わるメッセージの場合には、テキスト画像生成部
５０６に出力する。また、通信端末装置５００の動作モ
ードが音声出力を有効にするモードであった場合には、
そのメッセージを音声合成部５１６にも出力する。ま
た、受信データが広告情報のメッセージの場合には、そ
の受信データをテキスト画像生成部５０６にのみ出力す
る。また、受信データが吹き出し画像制御データの場合
には、その受信データを吹き出し画像生成部５０８に出
力する。また、受信データが、アバタのアニメーション
データ、あるいは、アバタの動きを制御するデータであ
った場合には、その受信データをアバタ画像生成部５１
０に出力する。More specifically, if the received data is a message related to a chat conversation, the received data is output to text image generator 506. Also, when the operation mode of the communication terminal device 500 is a mode for enabling audio output,
The message is also output to the speech synthesis unit 516. If the received data is a message of advertisement information, the received data is output only to text image generating section 506. If the received data is balloon image control data, the received data is output to balloon image generation section 508. If the received data is avatar animation data or data for controlling the movement of the avatar, the received data is converted to the avatar image generation unit 51.
Output to 0.

【００５１】テキスト画像生成部５０６は、データ制御
部５０４よりチャットでの対話に関わるメッセージが入
力された場合には、これを視覚的に認識可能な文字画像
に変換し、表示部５１４にメッセージウィンドウとして
表示出力する画像信号を生成し、表示制御部５１２に出
力する。また、データ制御部５０４より広告情報のメッ
セージが入力された場合には、これを視覚的に認識可能
な文字画像に変換し、表示部５１４に広告ウィンドウと
して表示出力する画像信号を生成し、表示制御部５１２
に出力する。When a message related to chat conversation is input from the data control unit 504, the text image generation unit 506 converts the message into a visually recognizable character image, and displays a message window on the display unit 514. Then, an image signal to be displayed and output is generated and output to the display control unit 512. When an advertisement information message is input from the data control unit 504, the message is converted into a visually recognizable character image, and an image signal to be displayed and output as an advertisement window on the display unit 514 is generated. Control unit 512
Output to

【００５２】吹き出し画像生成部５０８は、データ制御
部５０４より入力される吹き出し用のメッセージを視覚
的に認識可能な文字画像に変換し、表示部５１４に表示
されているアバタからの吹き出しとして表示出力した画
像信号を生成し、表示制御部５１２に出力する。The balloon image generation unit 508 converts the balloon message input from the data control unit 504 into a visually recognizable character image, and outputs and displays it as a balloon from the avatar displayed on the display unit 514. The display control unit 512 generates the generated image signal.

【００５３】アバタ画像生成部５１０は、データ制御部
５０４より入力されるアバタの動きを制御するデータに
基づいて、実際にアバタを動かした画像信号を生成し、
表示制御部５１２に出力する。The avatar image generation section 510 generates an image signal of an actual avatar movement based on the data for controlling the movement of the avatar input from the data control section 504.
Output to display control unit 512.

【００５４】表示制御部５１２は、テキスト画像生成部
５０６、吹き出し画像生成部５０８およびアバタ画像生
成部５１０より出力される各画像信号を合成して、実際
に表示部５１４にチャットウィンドウとして表示するた
めの信号に変換し、表示部５１４に印加する。The display control unit 512 combines the image signals output from the text image generation unit 506, the speech balloon image generation unit 508, and the avatar image generation unit 510, and displays them on the display unit 514 as a chat window. , And is applied to the display unit 514.

【００５５】表示部５１４は、表示制御部５１２より印
加される信号に基づいて実際に所望の画像を表示する表
示装置であり、本実施の形態においてはＣＲＴディスプ
レイである。The display unit 514 is a display device that actually displays a desired image based on a signal applied from the display control unit 512, and is a CRT display in the present embodiment.

【００５６】音声合成部５１６は、データ制御部５０４
より入力されるメッセージに対してテキスト音声合成処
理を施し、スピーカ５１８より音声として出力可能な信
号に変換し、スピーカ５１８に印加する。The voice synthesizing section 516 includes a data control section 504
The input message is subjected to text-to-speech synthesis processing, converted into a signal that can be output as sound from the speaker 518, and applied to the speaker 518.

【００５７】スピーカ５１８は、音声合成部５１６より
入力される信号に基づいて、実際に音声を出力する。The speaker 518 actually outputs audio based on the signal input from the audio synthesizer 516.

【００５８】入力部５２０は、利用者が、チャットで対
話を行なうためのテキストデータ、アバタの性格情報な
どチャットへの参加モードや制御データなどのデータ、
および、アバタの動作を指示する命令データなどを入力
するための手段であり、具体的にはキーボードおよびマ
ウスなどの、通常のパーソナルコンピュータなどに装備
されている入力装置である。テキスト入力部５２０より
入力されたデータは、データ送信部５２６に出力され
る。The input unit 520 includes text data for the user to interact with the user in a chat, data such as avatar personality information such as a chat participation mode and control data,
Further, it is a means for inputting command data or the like for instructing the operation of the avatar, and is specifically an input device such as a keyboard and a mouse, which is provided in a normal personal computer. Data input from text input unit 520 is output to data transmission unit 526.

【００５９】画像入力部５２２は、利用者が自分のアバ
タのアニメーションデータを生成するために、自分の顔
あるいは全身の画像を取り込むための手段であり、具体
的にはスキャナ装置、デジタルカメラ装置などである。
画像入力部５２２で取り込まれた画像データは、圧縮処
理部５２４に出力される。The image input unit 522 is a means for a user to capture an image of his or her own face or whole body in order to generate animation data of his / her avatar, and specifically, a scanner device, a digital camera device, etc. It is.
The image data captured by the image input unit 522 is output to the compression processing unit 524.

【００６０】圧縮処理部５２４は、画像入力部５２２で
取り込まれた画像データを所定の方式により圧縮し、通
信に適した形式に符号化してデータ送信部５２６に出力
する。The compression processing section 524 compresses the image data taken in by the image input section 522 by a predetermined method, encodes the image data into a format suitable for communication, and outputs it to the data transmission section 526.

【００６１】データ送信部５２６は、入力部５２０より
入力されたメッセージおよび圧縮処理部５２４より入力
される圧縮画像データを、ネットワーク６００を介して
通信サービスサーバ２００に送信する。以上が、通信端
末装置５００の構成である。The data transmission unit 526 transmits the message input from the input unit 520 and the compressed image data input from the compression processing unit 524 to the communication service server 200 via the network 600. The above is the configuration of the communication terminal device 500.

【００６２】ネットワーク６００は、通信サービスサー
バ２００、翻訳サーバ３００、広告サーバ４００および
複数の通信端末装置５００を接続する任意のネットワー
クであり、本実施の形態においてはインターネットであ
る。The network 600 is an arbitrary network for connecting the communication service server 200, the translation server 300, the advertisement server 400, and the plurality of communication terminal devices 500, and is the Internet in the present embodiment.

【００６３】次に、このような構成の通信システム１０
０の動作について図５および図６を参照して説明する。
まず、通信サービスサーバ２００が提供するチャット環
境を利用しようとする利用者は、ネットワーク６００に
接続された任意の通信端末装置５００を介して、通信サ
ービスサーバ２００に対して会員登録を行なう。その際
には、自分が利用する通信端末装置５００の通信条件な
どの情報を通信サービスサーバ２００に通知し、通信サ
ービスサーバ２００との間で適切に通信が行なえるよう
にする。これら会員登録や通信条件などの設定は、通信
端末装置５００が通信サービスサーバ２００の図示せぬ
環境設定部などと通信を行なって、対話形式で行なうも
のとする。これにより、その利用者から通信サービスサ
ーバ２００に対する種々のサービスの要求やメッセージ
などが、通信サービスサーバ２００で受け付けられるよ
うになる。Next, the communication system 10 having such a configuration will be described.
The operation of 0 will be described with reference to FIGS.
First, a user who intends to use the chat environment provided by the communication service server 200 registers as a member with the communication service server 200 via an arbitrary communication terminal device 500 connected to the network 600. At that time, information such as communication conditions of the communication terminal device 500 used by the user is notified to the communication service server 200 so that communication with the communication service server 200 can be performed appropriately. The settings such as member registration and communication conditions are performed in an interactive manner by the communication terminal device 500 communicating with an environment setting unit (not shown) of the communication service server 200. This allows the communication service server 200 to receive various service requests and messages from the user to the communication service server 200.

【００６４】また、後にチャットを利用する場合にアバ
タを用いた対話を行なう見込みのある利用者は、利用す
るアバタの情報を通信サービスサーバ２００に設定して
おく。このアバタの情報の設定も、通信サービスサーバ
２００の環境設定部からの指示に基づいて対話形式で順
に行なう。設定するアバタの情報としては、アバタの画
像データおよびアバタの性格情報がある。Further, a user who is likely to have a conversation using an avatar when using a chat later sets information on the avatar to be used in the communication service server 200. The setting of the avatar information is also sequentially performed in an interactive manner based on an instruction from the environment setting unit of the communication service server 200. The avatar information to be set includes avatar image data and avatar character information.

【００６５】まず、アバタの画像データは、予め用意さ
れている標準的な画像データを選択してもよいが、通信
サービスサーバ２００においては自分を撮像したデータ
より自分を表すオリジナルのアバタを生成してくれるサ
ービスがあるので、これを利用するのがより個性的なコ
ミュニケーションを行なうのに好適である。自分オリジ
ナルのアバタを生成しようとする者は、まず、通信端末
装置５００の画像入力部５２２より、たとえば写真をス
キャナで読み取ったり、デジタルカメラを用いるなどし
て、自分の顔あるいは全身の画像データを入力する。First, as the avatar image data, standard image data prepared in advance may be selected. However, in the communication service server 200, an original avatar representing the user is generated from data obtained by imaging the user. It is preferable to use this service for more unique communication. A person who intends to generate his or her own avatar first reads image data of his / her face or whole body from the image input unit 522 of the communication terminal device 500, for example, by reading a photograph with a scanner or using a digital camera. input.

【００６６】次に、入力した画像データを、圧縮処理部
５２４において圧縮し、データ送信部５２６より通信サ
ービスサーバ２００に送信する。通信サービスサーバ２
００においては、図示せぬ受信部がこれを受信してアバ
タ情報生成部２１６の伸張処理部２１７に入力し、ここ
で復号化を行い元の画像データに復元する。次に、特徴
抽出部２１８において画像の特徴を抽出し、人物形状作
成部２２０において元の画像データに示されていた顔あ
るいは人物を示すフレーム画像を生成し、最後に、アニ
メ作成部２２２においてアバタのアニメーションデータ
を生成する。そして、生成されたアニメーションデータ
は、その利用者に対応付けられてアバタ情報記憶部２２
６に記憶される。Next, the input image data is compressed in the compression processing section 524 and transmitted from the data transmission section 526 to the communication service server 200. Communication service server 2
At 00, a receiving unit (not shown) receives this and inputs it to the decompression processing unit 217 of the avatar information generation unit 216, where it is decoded and restored to the original image data. Next, the feature extraction unit 218 extracts the features of the image, the person shape creation unit 220 creates a frame image indicating the face or person shown in the original image data, and finally, the animation creation unit 222 creates an avatar. Generate animation data for Then, the generated animation data is associated with the user and the avatar information storage unit 22.
6 is stored.

【００６７】また、アバタの性格情報は、通信サービス
サーバ２００の環境設定部からの制御により通信端末装
置５００に表示される、たとえば図５に示すような性格
情報を入力するためのウィンドウ６０１より、利用者が
自分の性格に合った、あるいは、ネットワーク上のアバ
タの性格として望む性格を選択することにより入力され
る。入力された性格情報は、データ送信部５２６より通
信サービスサーバ２００に送信され、性格情報付加部２
２４を介してアバタ情報記憶部２２６に先に入力したア
バタの画像データと対応付けて記憶される。The personality information of the avatar is displayed on the communication terminal device 500 under the control of the environment setting unit of the communication service server 200, for example, from a window 601 for inputting personality information as shown in FIG. The user inputs the information by selecting a personality that matches the user's personality or a desired personality of the avatar on the network. The input personality information is transmitted from the data transmitting unit 526 to the communication service server 200, and the personality information adding unit 2
The avatar information is stored in the avatar information storage unit 226 via the avatar image data 24 in advance.

【００６８】一度そのような初期処理を行なったら、以
後、任意の時間に利用者は通信サービスサーバ２００に
アクセスしてチャットによる対話を行なうことができ
る。その際、そのチャットは、予め開設されているもの
でもよいし、自らがテーマなどを提示して開設してもよ
い。また、お互いに既知の複数の利用者によるたとえば
オンライン会議システムなどのようなローカルな通信環
境として開設してもよい。Once such initial processing has been performed, the user can access the communication service server 200 at any time thereafter and engage in chat-based dialogue. At that time, the chat may be established in advance, or may be established by presenting a theme or the like. In addition, a local communication environment such as an online conference system by a plurality of users known to each other may be established.

【００６９】チャットを利用しようとする利用者は、新
たなチャットの開設および参加の要求、あるいは、既存
のチャットへの参加の要求を、通信サービスサーバ２０
０に送信する。また、そのチャットへの参加の要求の際
に、利用者は、チャットの画面にテキストを表示する基
本的なチャット環境の他に、自分が受けようとするサー
ビスの要求を通信サービスサーバ２００に行い、自分が
利用するチャット環境の設定を行なっておく。具体的に
は、たとえば、アバタを用いた対話を行なうサービス、
特定の言語の対話文を特定の言語に翻訳して受信するサ
ービス、広告を受信することにより利用料金が割り引か
れるサービスなどを、各々行なうか否かという条件、あ
るいは、行なうとすればどのような条件で行なうかなど
の条件を通信サービスサーバ２００に送信しておく。The user who wants to use the chat sends a request for opening and joining a new chat or a request for joining an existing chat to the communication service server 20.
Send to 0. When requesting to participate in the chat, the user makes a request for the service he or she wants to receive to the communication service server 200 in addition to the basic chat environment for displaying text on the chat screen. First, set up the chat environment that you use. Specifically, for example, a service for performing a conversation using an avatar,
A service that translates a dialogue sentence in a specific language into a specific language, a service that discounts usage fees by receiving advertisements, etc. A condition such as whether to perform the condition is transmitted to the communication service server 200 in advance.

【００７０】このような、通信端末装置５００からのチ
ャットの開設や参加の要求およびチャット環境の条件な
どの情報は、通信サービスサーバ２００においてチャッ
ト制御部２０２を介してチャット状態記憶部２０４に記
憶される。そして、複数の利用者が、１つのチャットに
参加することにより、それら複数の利用者間、すなわち
複数の通信端末装置５００の間で自由にリアルタイムな
対話が行なえることになる。Information such as a request for opening or joining a chat from the communication terminal device 500 and conditions of the chat environment is stored in the chat status storage unit 204 via the chat control unit 202 in the communication service server 200. You. When a plurality of users participate in one chat, real-time conversation can be freely performed between the plurality of users, that is, between the plurality of communication terminal devices 500.

【００７１】チャットに参加した利用者の通信端末装置
５００の表示部５１４には、図６に示すようなチャット
ウィンドウ６０３が表示される。チャットウィンドウ６
０３には、メッセージウィンドウ６０５と、その時点で
チャットに参加している利用者のうち、アバタを利用す
るように設定して参加している利用者のそのアバタの画
像６１１，６１５が表示される。また、広告情報を受信
するように設定している利用者の表示部５１４には、後
述するように、適宜広告ウィンドウ６０９がオープンさ
れ、広告情報が表示される。A chat window 603 as shown in FIG. 6 is displayed on the display unit 514 of the communication terminal device 500 of the user who has participated in the chat. Chat window 6
03, a message window 605 and images 611 and 615 of the avatars of the users who are set to use the avatar among the users participating in the chat at that time are displayed. . In addition, as described later, an advertisement window 609 is appropriately opened on the display unit 514 of the user who is set to receive the advertisement information, and the advertisement information is displayed.

【００７２】このようなチャットウィンドウ６０３が表
示されている通信端末装置５００において、チャットの
参加者が入力部５２０よりメッセージを入力すると、そ
のメッセージはデータ送信部５２６を介して通信サービ
スサーバ２００に送信され、通信サービスサーバ２００
のメッセージ受信部２０６に入力される。メッセージ受
信部２０６に入力されたメッセージは、さらにメッセー
ジ送信部２１４に入力されて、チャット状態記憶部２０
４に記憶されている各チャットの参加者の情報およびそ
のアドレスなどが参照され、そのチャットにその時点で
参加している全利用者に送信される。その結果、そのチ
ャット参加者の通信端末装置５００の表示部５１４のチ
ャットウィンドウ６０３のメッセージウィンドウ６０５
には、たとえば図６に示すようなメッセージ６０６が表
示される。In the communication terminal device 500 on which such a chat window 603 is displayed, when a chat participant inputs a message from the input unit 520, the message is transmitted to the communication service server 200 via the data transmission unit 526. And the communication service server 200
Is input to the message receiving unit 206. The message input to the message receiving unit 206 is further input to the message transmitting unit 214 and the chat state storage unit 20
Reference is made to the information and addresses of the participants of each chat stored in 4 and transmitted to all the users who are participating in the chat at that time. As a result, the message window 605 of the chat window 603 of the display unit 514 of the communication terminal device 500 of the chat participant is displayed.
Displays a message 606 as shown in FIG. 6, for example.

【００７３】この時通信サービスサーバ２００のメッセ
ージ受信部２０６は、チャット状態記憶部２０４に記憶
されている各チャットおよび各通信端末装置５００の参
加モードの情報に基づいて、そのメッセージが配信され
る通信端末装置５００のいずれかが、アバタを使用して
対話を行なうモードであった場合に、受信したメッセー
ジをアバタ動作制御部２３０にも出力する。At this time, the message receiving unit 206 of the communication service server 200 communicates the message based on the information of each chat and the participation mode of each communication terminal device 500 stored in the chat status storage unit 204. If any of the terminal devices 500 is in the mode of performing a conversation using an avatar, the terminal device 500 also outputs the received message to the avatar operation control unit 230.

【００７４】アバタ動作制御部２３０は、アバタがあた
かもそのメッセージをしゃべったかのように吹き出しに
より表示を行なうための、吹き出し画像を生成するため
の制御データを生成し、通信端末装置５００に送信す
る。また、アバタ動作制御部２３０は、メッセージ受信
部２０６より入力されたメッセージより予め登録された
所定のフレーズの検出を行い、そのフレーズに対応する
動きをアバタが行なうような制御データを生成する。そ
の際アバタ動作制御部２３０は、アバタ情報記憶部２２
６に記憶されている各アバタの性格情報を読み出して、
さらに性格別アクションデータベース２２８に記憶され
ている性格別のアバタの動作を示すデータを参照し、そ
の動きがアバタの性格に合ったものとなるように、その
動きを決定する。The avatar operation control section 230 generates control data for generating a balloon image for displaying by a balloon as if the avatar spoke the message, and transmits the control data to the communication terminal device 500. In addition, the avatar operation control unit 230 detects a predetermined phrase registered in advance from the message input from the message receiving unit 206, and generates control data such that the avatar performs a motion corresponding to the phrase. At that time, the avatar operation control unit 230
6. Read the personality information of each avatar stored in 6
Further, by referring to the data indicating the behavior of the avatar by the character stored in the personality action database 228, the movement is determined so that the movement matches the character of the avatar.

【００７５】通信端末装置５００に送信されたアバタの
動きの制御データは、データ受信部５０２およびデータ
制御部５０４を介してアバタ画像生成部５１０に入力さ
れ、アバタ画像生成部５１０において実際に表示するた
めの画像データに変換されて、表示部５１４に出力す
る。その結果、利用者の表示部５１４においては、図６
に示すように、吹き出し６１３が表示される。The avatar movement control data transmitted to communication terminal apparatus 500 is input to avatar image generating section 510 via data receiving section 502 and data control section 504, and is actually displayed on avatar image generating section 510. Is converted to image data for output to the display unit 514. As a result, in the user display unit 514, FIG.
A balloon 613 is displayed as shown in FIG.

【００７６】また、通信サービスサーバ２００のメッセ
ージ受信部２０６においては、チャット状態記憶部２０
４に記憶されている情報を参照し、そのチャットの参加
者のいずれかが翻訳サービスを受ける旨を設定している
場合であって、受信したメッセージが翻訳対象の言語の
メッセージであった場合には、そのメッセージを翻訳処
理部２０８にも出力する。翻訳対象のメッセージが入力
された翻訳処理部２０８は、このメッセージをネットワ
ーク６００を介して翻訳サーバ３００に送信し、翻訳を
依頼する。そして、翻訳サーバ３００より翻訳結果を受
信したら、これをメッセージ送信部２１４に出力する。In the message receiving unit 206 of the communication service server 200, the chat status storage unit 20
4. If any of the chat participants has set to receive the translation service by referring to the information stored in No. 4 and the received message is a message in the language to be translated. Also outputs the message to the translation processing unit 208. The translation processing unit 208 to which the message to be translated is input transmits the message to the translation server 300 via the network 600, and requests translation. Then, when a translation result is received from translation server 300, it is output to message transmitting section 214.

【００７７】メッセージ送信部２１４は、チャット状態
記憶部２０４に記憶されている情報を参照して、その翻
訳結果のメッセージを配信するべき通信端末装置５０
０、すなわち、そのチャットの参加者で翻訳サービスを
受ける旨の設定を行なっている利用者を検出し、その通
信端末装置５００に対して、その翻訳結果のメッセージ
を送信する。その結果、そのような設定を行なっていた
利用者の通信端末装置５００においては、メッセージウ
ィンドウ６０５内に、元のメッセージ６０６に続く状態
で、翻訳結果のメッセージ６０７が表示される。The message transmitting unit 214 refers to the information stored in the chat status storage unit 204, and the communication terminal device 50 to which the translated message is to be delivered.
0, that is, a user who is set to receive the translation service by the chat participant is detected, and a message of the translation result is transmitted to the communication terminal device 500. As a result, in the communication terminal device 500 of the user who has made such settings, a translation result message 607 is displayed in the message window 605 in a state following the original message 606.

【００７８】また、通信サービスサーバ２００のメッセ
ージ受信部２０６においては、チャット状態記憶部２０
４に記憶されている情報を参照し、そのチャットの参加
者のいずれかが広告を受信することによる割り引きサー
ビスを受ける旨を設定しているか否かを検出し、そのよ
うな設定を行なっている参加者がいた場合には、そのメ
ッセージをキーワード抽出部２１０にも出力する。メッ
セージが入力されたキーワード抽出部２１０は、そのメ
ッセージより、そのメッセージの特徴となり得るような
単語を抽出し、所定の期間ごとの出現頻度の高い単語を
そのチャットにおける話題を表すキーワードとして選択
し、広告処理部２１２に出力する。In the message receiving unit 206 of the communication service server 200, the chat status storage unit 20
Reference is made to the information stored in No. 4 to detect whether any of the participants of the chat is set to receive the discount service by receiving the advertisement, and such setting is performed. If there is a participant, the message is also output to the keyword extraction unit 210. The keyword extraction unit 210 to which the message has been input extracts words that can be a feature of the message from the message, selects words having a high frequency of appearance for each predetermined period as keywords representing topics in the chat, Output to the advertisement processing unit 212.

【００７９】キーワードの入力された広告処理部２１２
は、このキーワードをネットワーク６００を介して広告
サーバ４００に送信し、関連する商品、サービスなどの
広告情報を要求する。そして、広告サーバ４００より広
告情報を受信したら、これをメッセージ送信部２１４に
出力する。メッセージ送信部２１４は、チャット状態記
憶部２０４に記憶されている情報を参照して、その広告
情報を配信するべき通信端末装置５００、すなわち、そ
のチャットの参加者で広告を受信することによる割引サ
ービスを受ける旨の設定を行なっている利用者を検出
し、その通信端末装置５００に対して、その広告情報を
送信する。Advertisement processing unit 212 to which a keyword has been input
Transmits this keyword to the advertisement server 400 via the network 600, and requests advertisement information such as related products and services. Then, when the advertisement information is received from the advertisement server 400, the advertisement information is output to the message transmission unit 214. The message transmitting unit 214 refers to the information stored in the chat status storage unit 204, and the communication terminal device 500 to which the advertisement information is to be distributed, that is, a discount service by receiving an advertisement by a participant of the chat. The user who has set to receive the advertisement is detected, and the advertisement information is transmitted to the communication terminal device 500.

【００８０】その結果、そのような設定を行なっていた
利用者の通信端末装置５００においては、広告ウィンド
ウ６０９がオープンされて、広告情報が表示出力され
る。たとえば図６に示す例においては、チャットのメッ
セージにおいてスキーが話題になっているので、スキー
に関連する商品、あるいは、スキー場などの広告が表示
される。As a result, in the communication terminal device 500 of the user who has made such a setting, the advertisement window 609 is opened, and the advertisement information is displayed and output. For example, in the example shown in FIG. 6, since skiing is a topic in chat messages, advertisements about products related to skiing or ski resorts are displayed.

【００８１】また、チャットの参加者は、前述したよう
なメッセージの入力とは別に、適宜、アバタの動作を指
示するデータを入力することができる。この入力は、入
力部５２０のキーボードよりテキストデータとして入力
してもよいし、入力部５２０のマウスにより、図６には
図示しないが、予めチャットウィンドウ６０３内に設け
られるアバタの動作を選択し指示するためのボタンオブ
ジェクトなどをクリックして入力してもよい。入力され
たアバタの動作を指示するデータは、データ送信部５２
６を介して通信サービスサーバ２００に送信される。In addition to the above-described message input, the chat participant can input data for instructing the operation of the avatar as appropriate. This input may be input as text data from the keyboard of the input unit 520, or may select and instruct an avatar operation provided in the chat window 603 in advance by using the mouse of the input unit 520, although not shown in FIG. Alternatively, the user may click a button object or the like to perform input. The data instructing the operation of the avatar is input to the data transmitting unit 52.
6 to the communication service server 200.

【００８２】通信サービスサーバ２００においては、図
示せぬ受信部においてそのデータがアバタの動作を指示
するデータである旨が検出され、アバタ動作制御部２３
０に入力される。アバタ動作制御部２３０においては、
対象となるアバタがその動作指示に基づく動きを行なう
ような制御データを生成し、通信端末装置５００に送信
する。この時にアバタ動作制御部２３０は、アバタ情報
記憶部２２６に記憶されている各アバタの性格情報を読
み出して、性格別アクションデータベース２２８に記憶
されている性格別のアバタの動作を示すデータを参照
し、アバタがその性格にあったような動作を行なうよう
な制御データを生成する。In communication service server 200, a receiving unit (not shown) detects that the data is data instructing avatar operation, and avatar operation control unit 23
Input to 0. In the avatar operation control unit 230,
Control data is generated so that the target avatar performs a movement based on the operation instruction, and is transmitted to the communication terminal device 500. At this time, the avatar operation control unit 230 reads the personality information of each avatar stored in the avatar information storage unit 226, and refers to the data indicating the personality-based avatar operation stored in the personality action database 228. , And generates control data that causes the avatar to perform an operation appropriate to its character.

【００８３】通信端末装置５００に送信されたアバタの
動作制御データは、データ受信部５０２およびデータ制
御部５０４を介してアバタ画像生成部５１０に入力さ
れ、アバタ画像生成部５１０において実際に表示するた
めの画像データに変換されて、表示部５１４に出力す
る。その結果、利用者の表示部５１４においては、たと
えば図６に示すアバタ６１１のように、怒ったような表
示のアバタが表示される。The avatar operation control data transmitted to communication terminal apparatus 500 is input to avatar image generating section 510 via data receiving section 502 and data control section 504, and is actually displayed on avatar image generating section 510. And output to the display unit 514. As a result, on the display unit 514 of the user, an avatar with an angry display, such as an avatar 611 shown in FIG. 6, is displayed.

【００８４】このような処理を、各利用者において、通
信端末装置５００において、あるいは通信サービスサー
バ２００において繰り返すことにより、複数の参加者が
対話を繰り返し、所望のコミュニケーション空間が形成
される。By repeating such processing in each user, in the communication terminal device 500, or in the communication service server 200, a plurality of participants repeat a dialogue, and a desired communication space is formed.

【００８５】このように、本実施の形態の通信システム
１００においては、自分の姿、恰好などを反映した画像
により構成され、さらに性格に応じて動き方や表情など
がコントロールされるアバタを用いてチャットを行なう
ことができる。したがって、ネットワーク６００を介し
て顔を突き合わせずにテキストベースで対話を行なって
いるにもかかわらず、人間味や個性を感じながら対話を
行なうことができ、あたかも各参加者が顔を合わせてい
るかのような臨場感あふれるチャットを行なうことがで
きる。As described above, in the communication system 100 according to the present embodiment, an avatar that is constituted by an image that reflects one's appearance and appearance, and that further controls the way of movement and expression according to the personality is used. You can chat. Therefore, even though the dialogue is performed on the text base without matching the faces via the network 600, the dialogue can be performed while feeling the humanity and the individuality, and it is as if each participant has face-to-face. It is possible to carry out a chat full of realistic presence.

【００８６】また、必要に応じて同時翻訳サービスを受
けることができ、言語の障害を気にすることなく、世界
中の任意の利用者と対話を行なうことができる。さら
に、必要に応じて、対話の内容を自動的に検出し関連す
る情報を配信するサービスを受けることができるので、
これまでしばしばありがちであった、会話が弾まないと
いうような状態や、著しく狭まった範囲の話題に特化し
てしまうというような状態を解消することができる。す
なわち、話題を広く発展させることができ、より広範な
人が気軽に参加できるチャットを提供することができ
る。Further, a simultaneous translation service can be received as needed, and conversation can be performed with any user in the world without worrying about language obstacles. In addition, if necessary, you can receive a service that automatically detects the content of the dialogue and distributes related information,
It is possible to eliminate a situation in which conversation often does not play, or a situation in which a subject specializes in a remarkably narrow range of topics. That is, it is possible to provide a chat in which a topic can be widely developed and a wider range of people can easily participate.

【００８７】また、そのような情報提供の機能を利用す
れば、本実施の形態で示したように、チャットを行なっ
ているグループに対して、そのグループで対話されてい
る話題に適した商品あるいはサービスの広告、宣伝情報
を配信することができる。すなわち、広告情報を、その
商品あるいはサービスに興味をもつ可能性の高い人に効
率よく配信することができ、新たな形態の効率よい広告
宣伝手段を提供することができる。Further, if such an information providing function is used, as shown in the present embodiment, a product or a product suitable for a topic being talked to in a group chatting can be given to the group in which the chatting is performed. It can distribute service advertisements and promotion information. That is, the advertisement information can be efficiently distributed to a person who is likely to be interested in the product or service, and a new form of efficient advertisement means can be provided.

【００８８】なお、本発明は本実施の形態に限られるも
のではなく、種々の改変が可能である。たとえば、アバ
タの画像データの生成は、本実施の形態では通信サービ
スサーバ２００で行なうようにしていた。すなわち、通
信端末装置５００においては、アバタの画像の元となる
画像データの入力のみを行い、その画像データを通信サ
ービスサーバ２００に送信することにより、通信サービ
スサーバ２００でアバタのモデル画像データおよび動き
に対応したアニメーションデータを生成していた。しか
し、これらの処理は、各通信端末装置５００で行なうよ
うにしてよい。すなわち、通信サービスサーバ２００の
アバタ情報生成部２１６の構成をそのまま通信端末装置
５００上に設け、通信端末装置５００においてアバタの
画像データを生成し、通信サービスサーバ２００に送信
するようにしてもよい。また、そのアバタの画像データ
の生成方法も、本実施の形態で示した方法以外の任意の
方法を用いてよい。The present invention is not limited to the present embodiment, and various modifications are possible. For example, the avatar image data is generated by the communication service server 200 in the present embodiment. That is, in the communication terminal device 500, only the image data that is the source of the avatar image is input, and the image data is transmitted to the communication service server 200. Generated animation data corresponding to. However, these processes may be performed in each communication terminal device 500. That is, the configuration of the avatar information generation unit 216 of the communication service server 200 may be provided as it is on the communication terminal device 500, and the communication terminal device 500 may generate avatar image data and transmit the generated avatar image data to the communication service server 200. Also, the avatar image data may be generated by any method other than the method described in the present embodiment.

【００８９】また、本実施の形態においては、そのアバ
タは利用者の形状をした人間を示すキャラクタを示した
が、これは任意のキャラクタを用いてよい。たとえば、
動物、ロボット、植物、宇宙人など、架空の物体、想像
上の物体を含めて任意のキャラクタを用いてよい。Further, in the present embodiment, the avatar is a character representing a human in the shape of a user, but any character may be used. For example,
Any character may be used, including fictional and imaginary objects, such as animals, robots, plants, and aliens.

【００９０】また、本実施の形態の通信サービスサーバ
２００においては、チャットで対話している内容に関連
する話題を提供する機能として、対話に関連のある製
品、サービスなどの広告情報を自動的に送信するものと
した。しかし、この機能はこのような広告の配信のみに
利用されるものではない。本来の機能に準じた形態で、
チャットで話題となっている内容に関連する情報を、た
とえば電子辞書、新聞記事のデータベースあるいは書籍
のデータベースなどから検索して、対話を発展させるた
めの話題とし提供するようにしてよい。具体的に例をあ
げると、たとえばチャットにおいて社会的事件、政治
家、音楽、歌手、演劇、映画、俳優、美術品、スポーツ
またはスポーツ選手などが話題となっている場合には、
各々、過去の類似事件、政治家の履歴、最新のヒット
曲、歌手の履歴および過去のヒット曲、演劇公演の場所
や時間、映画館の場所や上映時間、俳優の履歴や主演
作、美術品の由来、試合の日程および選手の実績などの
情報を提供するようにすればよい。The communication service server 200 according to the present embodiment has a function of providing a topic related to the content of a chat conversation, and automatically outputs advertisement information on products and services related to the conversation. It was sent. However, this feature is not only used for delivering such advertisements. In the form according to the original function,
Information related to the content of the topic in the chat may be retrieved from, for example, an electronic dictionary, a database of newspaper articles, a database of books, or the like, and provided as a topic for developing dialogue. For example, if your chat is talking about social events, politicians, music, singers, plays, movies, actors, artwork, sports or athletes,
Each of the past similar events, politicians' history, latest hits, singers' history and past hits, drama performance locations and times, cinema locations and showtimes, actors' history and starring works, works of art Information such as the origin of the game, the schedule of the game, and the achievements of the players may be provided.

【００９１】また、本実施の形態において音声によるメ
ッセージの出力は、完全に通信端末装置５００内で処理
する機能とした。すなわち、通信端末装置５００内にお
いて、通信サービスサーバ２００から入力され、通常メ
ッセージウィンドウ６０５などにテキストとして表示さ
れるメッセージを、利用者より設定されるモードに応じ
て選択的に音声合成部５１６に出力し、音声合成部５１
６において単なるテキストデータより音声合成を行い、
スピーカ５１８より出力するようにしていた。しかし、
このような音声出力のための処理を、通信サービスサー
バ２００においても負担して行なうようにしてもよい。In the present embodiment, the function of outputting a message by voice is completely processed in the communication terminal device 500. That is, in the communication terminal device 500, a message input from the communication service server 200 and displayed as text in the normal message window 605 or the like is selectively output to the speech synthesis unit 516 according to a mode set by the user. And the voice synthesis unit 51
In step 6, speech synthesis is performed from simple text data.
Output was made from the speaker 518. But,
Such a process for audio output may be performed by the communication service server 200 with a burden.

【００９２】たとえば、メッセージとして通信端末装置
５００に送信するメッセージに、より流暢な読み上げの
ために必要な抑揚やアクセントなどを示す制御データな
どを付加しておくようにしてもよい。そのようにしてお
けば、通信端末装置５００内においては、その制御デー
タを用いて音声合成を行なうことができ、より流暢な音
声出力が可能となる。なおその際、そのメッセージをテ
キストとして表示する場合には、単にその制御データを
無視すればよい。もちろん、そのような音声合成に適し
たメッセージのデータを、テキストとして表示するメッ
セージとは別に、音声合成サービスの提供を求める通信
端末装置５００に送信するような構成としてもよい。For example, control data indicating inflections, accents and the like necessary for more fluent reading may be added to a message transmitted as a message to communication terminal device 500. By doing so, in the communication terminal device 500, speech synthesis can be performed using the control data, and more fluent speech output is possible. At that time, when the message is displayed as text, the control data may be simply ignored. Needless to say, a configuration may be adopted in which data of a message suitable for such speech synthesis is transmitted to the communication terminal device 500 requesting provision of a speech synthesis service, separately from a message displayed as text.

【００９３】また、そもそも通信サービスサーバ２００
において音声合成処理を行い、その結果のオーディオ信
号を通信端末装置５００に送信し、通信端末装置５００
において出力するようにしてもよい。そのようなサービ
スであれば、音声合成手段を有しない通信端末装置５０
０においても音声出力を行なうことができる。なおその
際には、送信するオーディオ信号は、デジタルデータと
して、さらに圧縮符号化されたデータとして送信するの
が好適である。The communication service server 200 in the first place
Performs voice synthesis processing, and transmits the resulting audio signal to the communication terminal device 500.
May be output. If such a service is provided, the communication terminal device 50 having no voice synthesis means
Even at 0, audio output can be performed. In that case, it is preferable that the audio signal to be transmitted is transmitted as digital data and further as compression-encoded data.

【００９４】また、本実施の形態においては、アバタを
使用するか否か、翻訳サービスを受けるか否か、あるい
は、広告情報の配信を受けるか否かなどの参加モードの
設定は、各通信端末装置５００ごとに行なっていた。す
なわち、通信サービスサーバ２００は、同じチャットに
参加している利用者（通信端末装置）であっても、各通
信端末装置の参加モードに応じて、アバタ制御データ、
翻訳結果のメッセージおよび広告情報のメッセージを送
信する通信端末装置５００を選択していた。しかし、こ
のような参加モードの設定は、たとえばチャットごとに
行なうようにしてもよい。そのようにすれば、チャット
に参加している利用者は、自動的に同じ環境で対話を行
なうことになる。また、通信サービスサーバ２００内の
各構成部における処理の制御も簡単になる。In this embodiment, the setting of the participation mode such as whether to use the avatar, whether to receive the translation service, or whether to receive the distribution of the advertisement information is performed by each communication terminal. This was performed for each device 500. That is, even if the users (communication terminal devices) are participating in the same chat, the communication service server 200 can set the avatar control data,
The communication terminal device 500 that transmits the translation result message and the advertisement information message has been selected. However, such setting of the participation mode may be performed, for example, for each chat. By doing so, the users participating in the chat will automatically interact in the same environment. In addition, control of processing in each component in the communication service server 200 is also simplified.

【００９５】その他、通信サービスサーバ２００におけ
るチャット状態の管理の方法、メッセージの管理および
配信の方法、翻訳の方法、キーワード抽出の方法、アバ
タ情報の項目およびその管理の方法、登録する性格の情
報および性格に応じた動きの規定などの各方法、およ
び、通信端末装置５００における音声合成方法および画
像圧縮方法などの各方法なども、何ら本実施の形態に限
定されるものではなく、任意の方法を用いてよい。In addition, a method of managing a chat state in the communication service server 200, a method of managing and delivering a message, a method of translating, a method of extracting a keyword, an item of avatar information and a method of managing the same, information of a personality to be registered and The methods such as the definition of the motion according to the personality, and the methods such as the voice synthesis method and the image compression method in the communication terminal device 500 are not limited to the present embodiment at all. May be used.

【００９６】[0096]

【発明の効果】このように、本発明によれば、参加者の
個性や性格を表現することができ、これにより臨場感あ
ふれる対話が行なえ、また世界的規模での対話を容易に
行なうことができ、さらに場合によっては外部より何ら
かの関連情報の提供を受けてより会話を進展させること
ができるような、より対話ツールとして付加価値が高く
どのような場合でも利用し易い通信システムおよびその
方法を提供することができる。また、そのような通信環
境を提供する通信サービスサーバ装置を提供することが
できる。さらに、そのような通信を行なうことのできる
通信端末装置を提供することができる。As described above, according to the present invention, it is possible to express the individuality and character of each participant, thereby enabling a realistic dialogue and facilitating a worldwide dialogue. Provide a communication system and a communication method which can be used in any case with a high added value as a dialogue tool which can make a conversation progress by receiving some related information from outside in some cases. can do. Further, a communication service server device that provides such a communication environment can be provided. Further, it is possible to provide a communication terminal device capable of performing such communication.

【図面の簡単な説明】[Brief description of the drawings]

【図１】図１は、本発明の一実施の形態の通信システム
の全体構成を示す図である。FIG. 1 is a diagram illustrating an overall configuration of a communication system according to an embodiment of the present invention.

【図２】図２は、図１に示した通信システムの通信サー
ビスサーバの構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a communication service server of the communication system illustrated in FIG. 1;

【図３】図３は、図２に示した通信サービスサーバのア
バタ情報生成部の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of an avatar information generation unit of the communication service server illustrated in FIG. 2;

【図４】図４は、図１に示した通信システムの通信端末
装置の構成を示すブロック図である。FIG. 4 is a block diagram illustrating a configuration of a communication terminal device of the communication system illustrated in FIG. 1;

【図５】図５は、図４に示した通信端末装置において、
アバタの性格情報を入力するためのウィンドウを示す図
である。FIG. 5 is a diagram illustrating the communication terminal device shown in FIG.
It is a figure showing the window for inputting the avatar's character information.

【図６】図６は、図４に示した通信端末装置の表示部に
表示されるチャットウィンドウを説明するための図であ
る。FIG. 6 is a diagram for explaining a chat window displayed on a display unit of the communication terminal device shown in FIG. 4;

【符号の説明】[Explanation of symbols]

１００…通信システム、２００…通信サービスサーバ、
２０２…チャット制御部、２０４…チャット状態記憶
部、２０６…メッセージ受信部、２０８…翻訳処理部、
２１０…キーワード抽出部、２１２…広告処理部、２１
４…メッセージ送信部、２１６…アバタ情報生成部、２
１８…特徴抽出部、２２０…人物形状作成部、２２２…
アニメ作成部、２２４…性格情報付加部、２２６…アバ
タ情報記憶部、２２８…性格別アクションデータベー
ス、２３０…アバタ動作制御部、３００…翻訳サーバ、
４００…広告サーバ、５００…通信端末装置、５０２…
データ受信部、５０４…データ制御部、５０６…テキス
ト画像生成部、５０８…吹き出し画像生成部、５１０…
アバタ画像生成部、５１２…表示制御部、５１４…表示
部、５１６…音声合成部、５１８…スピーカ、５２０…
入力部、５２２…画像入力部、５２４…圧縮処理部、５
２６…データ送信部、６００…ネットワーク、６０１…
性格情報入力ウィンドウ、６０３…チャットウィンド
ウ、６０５…メッセージウィンドウ、６０６…メッセー
ジ、６０７…翻訳メッセージ、６０９…広告ウィンド
ウ、６１１，６１５…アバタ、６１３…吹き出し100: communication system, 200: communication service server,
202: chat control unit, 204: chat state storage unit, 206: message receiving unit, 208: translation processing unit,
210: keyword extraction unit, 212: advertisement processing unit, 21
4: Message transmission unit, 216: Avatar information generation unit, 2
18 ... feature extraction unit, 220 ... person shape creation unit, 222 ...
Animation creation unit, 224: character information adding unit, 226: avatar information storage unit, 228: character-specific action database, 230: avatar operation control unit, 300: translation server,
400 ... advertising server, 500 ... communication terminal device, 502 ...
Data receiving unit, 504: Data control unit, 506: Text image generating unit, 508: Balloon image generating unit, 510 ...
Avatar image generation unit, 512: display control unit, 514: display unit, 516: voice synthesis unit, 518: speaker, 520 ...
Input unit, 522: Image input unit, 524: Compression processing unit, 5
26 data transmission unit, 600 network, 601
Character information input window, 603: chat window, 605: message window, 606: message, 607: translated message, 609: advertising window, 611, 615: avatar, 613 ... balloon

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/14 Ｆターム(参考） 5B089 GA11 GA21 JA17 JA18 JB04 JB05 KA04 KB04 KC44 KC53 KH17 LB03 LB18 LB20 LB21 5C064 AA02 AC08 AC12 AC16 AD02 AD06 5E501 AA13 AB19 AC06 AC15 AC16 AC25 BA13 BA15 CA06 DA14 EA02 FA13 FA15 FA27 FA32 FA36 FA41 5K030 HB00 HB02 KA07 LD08 9A001 BB04 CZ02 DD12 HH18 JJ01 JJ13 JJ27 KK62 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI theme coat ゛ (reference) H04N 7/14 F term (reference) 5B089 GA11 GA21 JA17 JA18 JB04 JB05 KA04 KB04 KC44 KC53 KH17 LB03 LB18 LB20 LB21 5C064 AA02 AC08 AC12 AC16 AD02 AD06 5E501 AA13 AB19 AC06 AC15 AC16 AC25 BA13 BA15 CA06 DA14 EA02 FA13 FA15 FA27 FA32 FA36 FA41 5K030 HB00 HB02 KA07 LD08 9A001 BB04 CZ02 DD12 HH18 JJ01 JJ13 JJ27 KK62

Claims (33)

【特許請求の範囲】[Claims] 【請求項１】ネットワークに接続された複数のノード装
置と、 前記複数のノード装置間でリアルタイムな対話が可能な
環境、および、当該対話に基づいて各々所定の動作を行
なう前記ノード装置の利用者に対応するアバタを表示す
る環境を、前記各ノード装置に提供するサーバ装置と、 前記ネットワークに接続され、任意の対象物の画像デー
タに基づいて、前記アバタの画像データを生成するアバ
タ画像データ生成手段とを有し、 前記サーバ装置は、前記生成された前記アバタの画像デ
ータを用いて、前記アバタを表示する環境を前記各ノー
ド装置に提供する通信システム。1. A plurality of node devices connected to a network, an environment in which real-time dialogue can be performed between the plurality of node devices, and a user of the node device that performs a predetermined operation based on the dialogue. A server device that provides an environment for displaying an avatar corresponding to the above to each of the node devices; and an avatar image data generation device that is connected to the network and generates the avatar image data based on image data of an arbitrary object. A communication system comprising: means for providing, to each of the node devices, an environment in which the avatar is displayed using the generated image data of the avatar. 【請求項２】前記サーバ装置は、記憶されている前記ア
バタの性格情報に基づいて、当該アバタの前記対話に基
づく所定の動作を制御する請求項１に記載の通信システ
ム。2. The communication system according to claim 1, wherein the server device controls a predetermined operation of the avatar based on the conversation based on the stored avatar character information. 【請求項３】前記ノード装置は、当該ノード装置を操作
する前記利用者に対応する前記アバタの前記性格情報を
入力する性格情報入力手段を有する請求項２に記載の通
信システム。3. The communication system according to claim 2, wherein said node device has character information input means for inputting said character information of said avatar corresponding to said user operating said node device. 【請求項４】前記アバタの性格と前記アバタの動作とが
対応付けられて記憶された性格別動作データベースをさ
らに有し、 前記サーバ装置は、前記アバタの性格情報に基づいて、
前記性格別動作データベースを参照して、前記アバタの
動作を制御する請求項２に記載の通信システム。4. The personal computer further includes a personality operation database in which the personality of the avatar and the operation of the avatar are stored in association with each other.
The communication system according to claim 2, wherein the operation of the avatar is controlled with reference to the personality operation database. 【請求項５】前記ノード装置は、当該ノード装置を操作
する前記利用者に対応する前記アバタの前記画像データ
を入力する画像データ入力手段を有する請求項１に記載
の通信システム。5. The communication system according to claim 1, wherein said node device has image data input means for inputting said image data of said avatar corresponding to said user operating said node device. 【請求項６】前記アバタ画像データ生成手段は、前記ノ
ード装置上に構成される請求項１に記載の通信システ
ム。6. The communication system according to claim 1, wherein said avatar image data generating means is provided on said node device. 【請求項７】前記アバタ画像データ生成手段は、前記サ
ーバ装置上に構成される請求項１に記載の通信システ
ム。7. The communication system according to claim 1, wherein said avatar image data generating means is provided on said server device. 【請求項８】前記サーバ装置は、前記対話が可能な環境
において前記複数のノード装置間で行なわれる前記対話
の内容を示すキーワードを抽出する手段と、 前記抽出したキーワードに基づいて、前記対話の内容に
関連する任意の情報を獲得する関連情報獲得手段と、 前記獲得した関連情報を、前記ノード装置に提供する関
連情報提供手段とを有する請求項１に記載の通信システ
ム。8. The server device according to claim 1, wherein the server device extracts a keyword indicating the content of the dialog performed between the plurality of node devices in an environment in which the dialog can be performed, based on the extracted keyword. The communication system according to claim 1, further comprising: related information acquiring means for acquiring arbitrary information related to contents; and related information providing means for providing the acquired related information to the node device. 【請求項９】前記関連する情報は、前記対話の内容に関
連する商品またはサービスの広告および宣伝情報である
請求項８に記載の通信システム。9. The communication system according to claim 8, wherein the related information is advertisement and promotion information of goods or services related to the contents of the dialog. 【請求項１０】前記ネットワークに接続され、入力され
るキーワードに関連する任意の情報を検索する所望の情
報のデータベース装置をさらに有し、 前記関連情報獲得手段は、前記抽出したキーワードに基
づいて、前記データベース装置より前記対話の内容に関
連する情報を獲得する請求項８に記載の通信システム。10. A database device for desired information, which is connected to the network and searches for any information related to the input keyword, wherein the related information acquiring means, based on the extracted keyword, 9. The communication system according to claim 8, wherein information related to the content of the conversation is obtained from the database device. 【請求項１１】所定の言語の前記対話の内容を所望の言
語に翻訳する翻訳手段をさらに有し、 前記サーバ装置は、前記翻訳結果の前記対話の内容を出
力する環境を、前記ノード装置に提供する請求項１に記
載の通信システム。11. A translation unit for translating the contents of the dialogue in a predetermined language into a desired language, wherein the server device sets an environment for outputting the contents of the dialogue of the translation result in the node device. The communication system according to claim 1, wherein the communication system is provided. 【請求項１２】前記翻訳手段は、ネットワークに接続さ
れ、入力される前記所定の言語の対話の内容を前記所望
の言語に翻訳する翻訳サーバ装置であり、 前記サーバ装置は、ネットワークを介して前記翻訳サー
バ装置にアクセスすることにより、前記環境を前記ノー
ド装置に提供する請求項１１に記載の通信システム。12. The translation means is a translation server connected to a network and translating the contents of the input dialogue in the predetermined language into the desired language, wherein the server is connected to the network via a network. The communication system according to claim 11, wherein the environment is provided to the node device by accessing a translation server device. 【請求項１３】ネットワークに接続された複数のノード
装置間において通信を行なう方法であって、 前記各ノード装置において、当該ノード装置を介して対
話を行なう利用者に対応するアバタの画像データを生成
するための、任意の対象物の画像データを入力し、 前記入力された画像データに基づいて、前記利用者に対
応する前記アバタの画像データを生成し、 前記複数のノード装置に、前記生成された各ノード装置
の利用者に対応するアバタが配置される仮想空間の画像
を表示し、 任意の前記ノード装置においてメッセージが入力された
場合、当該入力されたメッセージをリアルタイムに前記
複数のノード装置に送信し、 少なくとも前記メッセージの送信に基づいて、前記仮想
空間の前記画像を変更する通信方法。13. A method for performing communication between a plurality of node devices connected to a network, wherein each of the node devices generates avatar image data corresponding to a user who has a dialogue via the node device. Inputting image data of an arbitrary object, generating image data of the avatar corresponding to the user based on the input image data, and generating the image data of the plurality of node devices. Displaying an image of a virtual space in which avatars corresponding to users of the respective node devices are arranged, and when a message is input in any of the node devices, the input message is transmitted to the plurality of node devices in real time. A communication method for transmitting, and changing the image of the virtual space based at least on transmission of the message. 【請求項１４】前記アバタには、当該アバタの性格を示
す情報を対応付けておき、 前記仮想空間の画像の変更は、前記メッセージの送信に
基づき、前記対応付けられている前記アバタの性格を参
照して決定される所定の動きを、前記アバタに与えるこ
とにより行なう請求項１３に記載の通信方法。14. The avatar is associated with information indicating the character of the avatar, and when the image of the virtual space is changed, the character of the avatar associated with the avatar is changed based on the transmission of the message. 14. The communication method according to claim 13, wherein the predetermined avatar is determined by referring to the avatar. 【請求項１５】前記複数のノード装置間で送信される複
数の前記メッセージより、当該複数のノード装置間で行
なわれている対話の内容を示すキーワードを抽出し、 前記抽出したキーワードに基づいて、前記対話の内容に
関連する任意の情報を獲得し、 前記獲得した関連情報を、前記ノード装置に提供する請
求項１３に記載の通信方法。15. A keyword indicating the content of a dialogue performed between the plurality of node devices is extracted from the plurality of messages transmitted between the plurality of node devices, and based on the extracted keywords, The communication method according to claim 13, wherein arbitrary information related to the content of the dialogue is obtained, and the obtained relevant information is provided to the node device. 【請求項１６】前記関連する情報は、前記対話の内容に
関連する商品またはサービスの広告および宣伝情報であ
る請求項１５に記載の通信方法。16. The communication method according to claim 15, wherein said related information is advertisement and advertisement information of goods or services related to the contents of said dialogue. 【請求項１７】前記対話の内容に関連する情報の獲得
は、 前記ネットワークに接続された所望の情報のデータベー
ス装置に対して前記キーワードを入力し、 前記データベース装置において当該キーワードに関連す
る情報を検索することにより行なう請求項１５に記載の
通信方法。17. Acquiring information related to the contents of the dialogue, inputting the keyword to a database device of desired information connected to the network, and searching the database device for information related to the keyword. The communication method according to claim 15, wherein the communication method is performed. 【請求項１８】任意の前記ノード装置において所定の言
語の前記メッセージが入力された場合、当該メッセージ
を所望の言語に翻訳し、 当該翻訳されたメッセージを、前記複数のノード装置に
送信する請求項１３に記載の通信方法。18. When the message in a predetermined language is input to any of the node devices, the message is translated into a desired language, and the translated message is transmitted to the plurality of node devices. 14. The communication method according to 13. 【請求項１９】ネットワークに接続された複数のノード
装置に対して、当該複数のノード装置間でリアルタイム
な対話が可能な環境を提供するチャット手段と、 任意の前記ノード装置より入力される任意の対象物の画
像データに基づいて、当該ノード装置の利用者に対応す
るアバタの画像データを生成するアバタ画像データ生成
手段と、 前記複数のノード装置に対して、前記ノード装置の利用
者に対応する前記アバタが前記対話に基づいて各々所定
の動作を行なう仮想空間環境を提供する仮想空間提供手
段とを有する通信サービスサーバ装置。19. A chat means for providing, to a plurality of node devices connected to a network, an environment in which real-time conversation can be performed between the plurality of node devices, and an optional device input from any of the node devices. Avatar image data generating means for generating avatar image data corresponding to the user of the node device based on the image data of the target object; and for the plurality of node devices, corresponding to the user of the node device. A communication service server device comprising: a virtual space providing means for providing a virtual space environment in which the avatar performs a predetermined operation based on the dialog. 【請求項２０】前記各ノード装置のアバタの性格情報を
記憶する性格情報記憶手段をさらに有し、 前記仮想空間提供手段は、前記記憶されている性格情報
に基づいて、当該アバタの前記対話に基づく所定の動作
を制御する請求項１９に記載の通信サービスサーバ装
置。20. Character information storage means for storing personality information of an avatar of each of the node devices, wherein the virtual space providing means performs the conversation of the avatar based on the stored personality information. 20. The communication service server device according to claim 19, which controls a predetermined operation based on the communication service server device. 【請求項２１】前記アバタの性格と前記アバタの動作と
が対応付けられて記憶された性格別動作データベースを
さらに有し、 前記仮想空間提供手段は、前記性格別動作データベース
を参照して、前記アバタの動作を制御する請求項２０に
記載の通信サービスサーバ装置。21. A personality operation database further storing a personality of the avatar and an operation of the avatar in association with each other, wherein the virtual space providing means refers to the personality operation database and The communication service server device according to claim 20, which controls an operation of the avatar. 【請求項２２】前記複数のノード装置間で行なわれる前
記対話の内容を示すキーワードを抽出するキーワード抽
出手段と、 前記抽出したキーワードに基づいて、前記対話の内容に
関連する任意の情報を獲得する関連情報獲得手段と、 前記獲得した関連情報を、前記ノード装置に提供する関
連情報提供手段とをさらに有する請求項１９に記載の通
信サービスサーバ装置。22. A keyword extracting means for extracting a keyword indicating the content of the dialogue performed between the plurality of node devices, and acquiring any information related to the content of the dialogue based on the extracted keyword. 20. The communication service server device according to claim 19, further comprising: related information obtaining means; and related information providing means for providing the obtained related information to the node device. 【請求項２３】前記関連する情報は、前記対話の内容に
関連する商品またはサービスの広告および宣伝情報であ
る請求項２２に記載の通信サービスサーバ装置。23. The communication service server device according to claim 22, wherein the related information is advertisement and promotion information of a product or service related to the content of the dialogue. 【請求項２４】前記関連情報獲得手段は、前記抽出した
キーワードに基づいて、前記ネットワークに接続された
任意の情報を蓄積したデータベース装置をアクセスし、
前記対話の内容に関連する情報を獲得する請求項２２に
記載の通信サービスサーバ装置。24. The related information acquiring means accesses a database device storing arbitrary information connected to the network based on the extracted keyword,
23. The communication service server device according to claim 22, wherein information related to the content of the interaction is obtained. 【請求項２５】前記複数のノード装置間で行なわれる所
定の言語の前記対話の内容を、所望の言語に翻訳する翻
訳処理手段をさらに有し、 前記チャット手段は、前記所望の言語に翻訳された対話
の内容を前記ノード装置に送信する請求項１９に記載の
通信サービスサーバ装置。25. Translation processing means for translating the content of the dialogue in a predetermined language performed between the plurality of node devices into a desired language, wherein the chat means is translated into the desired language. 20. The communication service server device according to claim 19, wherein the content of the dialogue is transmitted to the node device. 【請求項２６】前記翻訳処理手段は、前記所定の言語の
前記対話の内容を、前記ネットワークに接続された前記
所定の言語の対話の内容を前記所望の言語に翻訳する翻
訳サーバ装置をアクセスし、前記翻訳された対話の内容
を得る請求項２５に記載の通信サービスサーバ装置。26. The translation processing means accesses a translation server device for translating the contents of the dialogue in the predetermined language into the desired language connected to the network. 26. The communication service server device according to claim 25, wherein the contents of the translated conversation are obtained. 【請求項２７】ネットワークに接続され、当該ネットワ
ークに接続されている他の通信端末装置とリアルタイム
な対話を行なう通信端末装置であって、 前記他の通信端末装置とリアルタイムな対話を行なうチ
ャット手段と、 任意の対象物の画像データを入力する画像入力手段と、 前記ネットワークに接続されたサーバ装置により提供さ
れる、前記入力した画像データに基づいて生成された当
該通信端末装置の利用者に対応するアバタおよび前記他
の通信端末装置の利用者に対応するアバタが、前記チャ
ット手段において行なわれる前記対話に基づいて各々所
定の動作を行なう仮想空間に関わる情報を受信し、当該
仮想空間を表示する仮想空間表示手段とを有する通信端
末装置。27. A communication terminal device connected to a network and performing real-time dialogue with another communication terminal device connected to the network, wherein chat means for real-time dialogue with the other communication terminal device is provided. An image input unit for inputting image data of an arbitrary object; and a user of the communication terminal device provided based on the input image data and provided by a server device connected to the network. An avatar corresponding to a user of the avatar and the user of the other communication terminal device receives information relating to a virtual space that performs a predetermined operation based on the dialogue performed by the chat means, and displays the virtual space. A communication terminal device having spatial display means. 【請求項２８】前記入力した画像データに基づいて当該
通信端末装置の利用者に対応するアバタの画像データを
生成するアバタ画像データ生成手段と、 当該生成したアバタの画像データを前記サーバ装置に送
信するアバタ画像データ送信手段とをさらに有する請求
項２７に記載の通信端末装置。28. An avatar image data generating means for generating avatar image data corresponding to a user of the communication terminal device based on the input image data, and transmitting the generated avatar image data to the server device. 28. The communication terminal device according to claim 27, further comprising: an avatar image data transmitting unit that performs avatar image data transmission. 【請求項２９】前記仮想空間表示手段において表示され
る仮想空間においては、予め入力される前記アバタの性
格情報に基づいて、当該アバタの前記対話に基づく所定
の動作が制御される請求項２７に記載の通信端末装置。29. In the virtual space displayed by the virtual space display means, a predetermined operation based on the dialogue of the avatar is controlled based on the avatar's personality information input in advance. The communication terminal device according to claim 1. 【請求項３０】前記アバタの前記性格情報を入力する性
格情報入力手段と、 前記入力した性格情報を前記サーバ装置に送信する性格
情報送信手段とをさらに有する請求項２９に記載の通信
端末装置。30. The communication terminal device according to claim 29, further comprising personality information input means for inputting said personality information of said avatar, and personality information transmitting means for transmitting said input personality information to said server device. 【請求項３１】前記ネットワークを介して提供される、
前記チャット手段において行なわれる前記対話の内容に
関連する情報を表示する関連情報表示手段をさらに有す
る請求項２７に記載の通信端末装置。31. provided via the network,
28. The communication terminal device according to claim 27, further comprising related information display means for displaying information related to the content of the conversation performed in said chat means. 【請求項３２】前記関連する情報は、前記対話の内容に
関連する商品またはサービスの広告および宣伝情報であ
る請求項３１に記載の通信端末装置。32. The communication terminal device according to claim 31, wherein the related information is advertisement and promotion information of a product or service related to the content of the dialogue. 【請求項３３】前記チャット手段において行なわれる前
記対話の中の所定の言語の対話を、所望の言語に翻訳し
たメッセージを受信する翻訳メッセージ受信手段と、 前記受信した翻訳したメッセージを表示する翻訳メッセ
ージ表示手段とをさらに有する請求項２７に記載の通信
端末装置。33. A translated message receiving means for receiving a message obtained by translating a conversation in a predetermined language among the conversations performed in the chat means into a desired language; and a translated message for displaying the received translated message. The communication terminal device according to claim 27, further comprising a display unit.
JP2000039804A 2000-02-14 2000-02-14 Communication system and its method, communication service server and communication terminal Pending JP2001230801A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000039804A JP2001230801A (en) 2000-02-14 2000-02-14 Communication system and its method, communication service server and communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000039804A JP2001230801A (en) 2000-02-14 2000-02-14 Communication system and its method, communication service server and communication terminal

Publications (1)

Publication Number Publication Date
JP2001230801A true JP2001230801A (en) 2001-08-24

Family

ID=18563312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000039804A Pending JP2001230801A (en) 2000-02-14 2000-02-14 Communication system and its method, communication service server and communication terminal

Country Status (1)

Country Link
JP (1) JP2001230801A (en)

Cited By (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108502A (en) * 2001-09-28 2003-04-11 Interrobot Inc Physical media communication system
JP2004171570A (en) * 2002-11-20 2004-06-17 O Jinko Virtual operation method for digital contents
JP2006528804A (en) * 2003-07-24 2006-12-21 インターナショナル・ビジネス・マシーンズ・コーポレーション Methods, systems, and computer programs to enable telephone users to participate in instant messaging-based meetings (access to extended conferencing services using telechat systems)
JP2009087000A (en) * 2007-09-28 2009-04-23 Mazda Motor Corp Market research support method
JP2009087002A (en) * 2007-09-28 2009-04-23 Mazda Motor Corp Market research support method
JP2010003203A (en) * 2008-06-23 2010-01-07 Yahoo Japan Corp Advertisement distribution device, method and system
JP2015069368A (en) * 2013-09-27 2015-04-13 Kddi株式会社 Communication terminal, management server, message exchange system, message exchange method, and message exchange program
WO2018136188A1 (en) * 2017-01-18 2018-07-26 Snap Inc. Customized contextual media content item generation
JP2019160192A (en) * 2018-03-16 2019-09-19 富士ゼロックス株式会社 Message providing device, program, and display control method
CN110969534A (en) * 2018-09-30 2020-04-07 上海笛乐护斯健康科技有限公司 Intelligent health management and life safety insurance system and implementation method thereof
US10848446B1 (en) 2016-07-19 2020-11-24 Snap Inc. Displaying customized electronic messaging graphics
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US10880246B2 (en) 2016-10-24 2020-12-29 Snap Inc. Generating and displaying customized avatars in electronic messages
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10936157B2 (en) 2017-11-29 2021-03-02 Snap Inc. Selectable item including a customized graphic for an electronic messaging application
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
JP2021039370A (en) * 2016-03-22 2021-03-11 ソニー株式会社 Information processing system and information processing method
US10952013B1 (en) 2017-04-27 2021-03-16 Snap Inc. Selective location-based identity communication
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10963529B1 (en) 2017-04-27 2021-03-30 Snap Inc. Location-based search mechanism in a graphical user interface
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10984569B2 (en) 2016-06-30 2021-04-20 Snap Inc. Avatar based ideogram generation
US10991395B1 (en) 2014-02-05 2021-04-27 Snap Inc. Method for real time video processing involving changing a color of an object on a human face in a video
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11010022B2 (en) 2019-02-06 2021-05-18 Snap Inc. Global event-based avatar
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US11030789B2 (en) 2017-10-30 2021-06-08 Snap Inc. Animated chat presence
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11039270B2 (en) 2019-03-28 2021-06-15 Snap Inc. Points of interest in a location sharing system
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11048916B2 (en) 2016-03-31 2021-06-29 Snap Inc. Automated avatar generation
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11100311B2 (en) 2016-10-19 2021-08-24 Snap Inc. Neural networks for facial modeling
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11120601B2 (en) 2018-02-28 2021-09-14 Snap Inc. Animated expressive icon
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US11120597B2 (en) 2017-10-26 2021-09-14 Snap Inc. Joint audio-video facial animation system
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11229849B2 (en) 2012-05-08 2022-01-25 Snap Inc. System and method for generating and displaying avatars
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
US11425068B2 (en) 2009-02-03 2022-08-23 Snap Inc. Interactive avatar in messaging environment
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11438341B1 (en) 2016-10-10 2022-09-06 Snap Inc. Social media post subscribe requests for buffer user accounts
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US11455082B2 (en) 2018-09-28 2022-09-27 Snap Inc. Collaborative achievement interface
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11544883B1 (en) 2017-01-16 2023-01-03 Snap Inc. Coded vision system
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11580700B2 (en) 2016-10-24 2023-02-14 Snap Inc. Augmented reality object manipulation
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11651539B2 (en) 2020-01-30 2023-05-16 Snap Inc. System for generating media content items on demand
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11662900B2 (en) 2016-05-31 2023-05-30 Snap Inc. Application control using a gesture based trigger
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11683280B2 (en) 2020-06-10 2023-06-20 Snap Inc. Messaging system including an external-resource dock and drawer
US11704878B2 (en) 2017-01-09 2023-07-18 Snap Inc. Surface aware lens
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11830209B2 (en) 2017-05-26 2023-11-28 Snap Inc. Neural network-based image stream modification
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11842411B2 (en) 2017-04-27 2023-12-12 Snap Inc. Location-based virtual avatars
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11870743B1 (en) 2017-01-23 2024-01-09 Snap Inc. Customized digital avatar accessories
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11875439B2 (en) 2018-04-18 2024-01-16 Snap Inc. Augmented expression system
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11888795B2 (en) 2020-09-21 2024-01-30 Snap Inc. Chats with micro sound clips
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11969075B2 (en) 2020-03-31 2024-04-30 Snap Inc. Augmented reality beauty product tutorials
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11995288B2 (en) 2022-10-17 2024-05-28 Snap Inc. Location-based search mechanism in a graphical user interface

Cited By (253)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108502A (en) * 2001-09-28 2003-04-11 Interrobot Inc Physical media communication system
JP2004171570A (en) * 2002-11-20 2004-06-17 O Jinko Virtual operation method for digital contents
JP2006528804A (en) * 2003-07-24 2006-12-21 インターナショナル・ビジネス・マシーンズ・コーポレーション Methods, systems, and computer programs to enable telephone users to participate in instant messaging-based meetings (access to extended conferencing services using telechat systems)
JP2009087000A (en) * 2007-09-28 2009-04-23 Mazda Motor Corp Market research support method
JP2009087002A (en) * 2007-09-28 2009-04-23 Mazda Motor Corp Market research support method
JP2010003203A (en) * 2008-06-23 2010-01-07 Yahoo Japan Corp Advertisement distribution device, method and system
US11425068B2 (en) 2009-02-03 2022-08-23 Snap Inc. Interactive avatar in messaging environment
US11229849B2 (en) 2012-05-08 2022-01-25 Snap Inc. System and method for generating and displaying avatars
US11607616B2 (en) 2012-05-08 2023-03-21 Snap Inc. System and method for generating and displaying avatars
US11925869B2 (en) 2012-05-08 2024-03-12 Snap Inc. System and method for generating and displaying avatars
JP2015069368A (en) * 2013-09-27 2015-04-13 Kddi株式会社 Communication terminal, management server, message exchange system, message exchange method, and message exchange program
US11651797B2 (en) 2014-02-05 2023-05-16 Snap Inc. Real time video processing for changing proportions of an object in the video
US11443772B2 (en) 2014-02-05 2022-09-13 Snap Inc. Method for triggering events in a video
US10991395B1 (en) 2014-02-05 2021-04-27 Snap Inc. Method for real time video processing involving changing a color of an object on a human face in a video
JP2021039370A (en) * 2016-03-22 2021-03-11 ソニー株式会社 Information processing system and information processing method
JP7070638B2 (en) 2016-03-22 2022-05-18 ソニーグループ株式会社 Information processing system and information processing method
US11631276B2 (en) 2016-03-31 2023-04-18 Snap Inc. Automated avatar generation
US11048916B2 (en) 2016-03-31 2021-06-29 Snap Inc. Automated avatar generation
US11662900B2 (en) 2016-05-31 2023-05-30 Snap Inc. Application control using a gesture based trigger
US10984569B2 (en) 2016-06-30 2021-04-20 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US11509615B2 (en) 2016-07-19 2022-11-22 Snap Inc. Generating customized electronic messaging graphics
US11418470B2 (en) 2016-07-19 2022-08-16 Snap Inc. Displaying customized electronic messaging graphics
US10848446B1 (en) 2016-07-19 2020-11-24 Snap Inc. Displaying customized electronic messaging graphics
US11438288B2 (en) 2016-07-19 2022-09-06 Snap Inc. Displaying customized electronic messaging graphics
US11962598B2 (en) 2016-10-10 2024-04-16 Snap Inc. Social media post subscribe requests for buffer user accounts
US11438341B1 (en) 2016-10-10 2022-09-06 Snap Inc. Social media post subscribe requests for buffer user accounts
US11100311B2 (en) 2016-10-19 2021-08-24 Snap Inc. Neural networks for facial modeling
US11876762B1 (en) 2016-10-24 2024-01-16 Snap Inc. Generating and displaying customized avatars in media overlays
US10938758B2 (en) 2016-10-24 2021-03-02 Snap Inc. Generating and displaying customized avatars in media overlays
US11218433B2 (en) 2016-10-24 2022-01-04 Snap Inc. Generating and displaying customized avatars in electronic messages
US11843456B2 (en) 2016-10-24 2023-12-12 Snap Inc. Generating and displaying customized avatars in media overlays
US10880246B2 (en) 2016-10-24 2020-12-29 Snap Inc. Generating and displaying customized avatars in electronic messages
US11580700B2 (en) 2016-10-24 2023-02-14 Snap Inc. Augmented reality object manipulation
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US11704878B2 (en) 2017-01-09 2023-07-18 Snap Inc. Surface aware lens
US11989809B2 (en) 2017-01-16 2024-05-21 Snap Inc. Coded vision system
US11544883B1 (en) 2017-01-16 2023-01-03 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US11991130B2 (en) 2017-01-18 2024-05-21 Snap Inc. Customized contextual media content item generation
WO2018136188A1 (en) * 2017-01-18 2018-07-26 Snap Inc. Customized contextual media content item generation
US11870743B1 (en) 2017-01-23 2024-01-09 Snap Inc. Customized digital avatar accessories
US11593980B2 (en) 2017-04-20 2023-02-28 Snap Inc. Customized user interface for electronic communications
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US10952013B1 (en) 2017-04-27 2021-03-16 Snap Inc. Selective location-based identity communication
US11418906B2 (en) 2017-04-27 2022-08-16 Snap Inc. Selective location-based identity communication
US11474663B2 (en) 2017-04-27 2022-10-18 Snap Inc. Location-based search mechanism in a graphical user interface
US11782574B2 (en) 2017-04-27 2023-10-10 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US11385763B2 (en) 2017-04-27 2022-07-12 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US11392264B1 (en) 2017-04-27 2022-07-19 Snap Inc. Map-based graphical user interface for multi-type social media galleries
US10963529B1 (en) 2017-04-27 2021-03-30 Snap Inc. Location-based search mechanism in a graphical user interface
US11451956B1 (en) 2017-04-27 2022-09-20 Snap Inc. Location privacy management on map-based social media platforms
US11842411B2 (en) 2017-04-27 2023-12-12 Snap Inc. Location-based virtual avatars
US11830209B2 (en) 2017-05-26 2023-11-28 Snap Inc. Neural network-based image stream modification
US11882162B2 (en) 2017-07-28 2024-01-23 Snap Inc. Software application manager for messaging applications
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US11659014B2 (en) 2017-07-28 2023-05-23 Snap Inc. Software application manager for messaging applications
US11120597B2 (en) 2017-10-26 2021-09-14 Snap Inc. Joint audio-video facial animation system
US11610354B2 (en) 2017-10-26 2023-03-21 Snap Inc. Joint audio-video facial animation system
US11706267B2 (en) 2017-10-30 2023-07-18 Snap Inc. Animated chat presence
US11030789B2 (en) 2017-10-30 2021-06-08 Snap Inc. Animated chat presence
US11930055B2 (en) 2017-10-30 2024-03-12 Snap Inc. Animated chat presence
US11354843B2 (en) 2017-10-30 2022-06-07 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
US10936157B2 (en) 2017-11-29 2021-03-02 Snap Inc. Selectable item including a customized graphic for an electronic messaging application
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US11769259B2 (en) 2018-01-23 2023-09-26 Snap Inc. Region-based stabilized face tracking
US11120601B2 (en) 2018-02-28 2021-09-14 Snap Inc. Animated expressive icon
US11688119B2 (en) 2018-02-28 2023-06-27 Snap Inc. Animated expressive icon
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US11880923B2 (en) 2018-02-28 2024-01-23 Snap Inc. Animated expressive icon
US11468618B2 (en) 2018-02-28 2022-10-11 Snap Inc. Animated expressive icon
US11523159B2 (en) 2018-02-28 2022-12-06 Snap Inc. Generating media content items based on location information
JP2019160192A (en) * 2018-03-16 2019-09-19 富士ゼロックス株式会社 Message providing device, program, and display control method
JP7013970B2 (en) 2018-03-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 Message providing device, program, and display control method
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
US11875439B2 (en) 2018-04-18 2024-01-16 Snap Inc. Augmented expression system
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11715268B2 (en) 2018-08-30 2023-08-01 Snap Inc. Video clip object tracking
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US11348301B2 (en) 2018-09-19 2022-05-31 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11868590B2 (en) 2018-09-25 2024-01-09 Snap Inc. Interface to display shared user groups
US11294545B2 (en) 2018-09-25 2022-04-05 Snap Inc. Interface to display shared user groups
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11455082B2 (en) 2018-09-28 2022-09-27 Snap Inc. Collaborative achievement interface
US11610357B2 (en) 2018-09-28 2023-03-21 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11704005B2 (en) 2018-09-28 2023-07-18 Snap Inc. Collaborative achievement interface
US11477149B2 (en) 2018-09-28 2022-10-18 Snap Inc. Generating customized graphics having reactions to electronic message content
US11171902B2 (en) 2018-09-28 2021-11-09 Snap Inc. Generating customized graphics having reactions to electronic message content
US11824822B2 (en) 2018-09-28 2023-11-21 Snap Inc. Generating customized graphics having reactions to electronic message content
CN110969534A (en) * 2018-09-30 2020-04-07 上海笛乐护斯健康科技有限公司 Intelligent health management and life safety insurance system and implementation method thereof
US11321896B2 (en) 2018-10-31 2022-05-03 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11620791B2 (en) 2018-11-27 2023-04-04 Snap Inc. Rendering 3D captions within real-world environments
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US20220044479A1 (en) 2018-11-27 2022-02-10 Snap Inc. Textured mesh building
US11836859B2 (en) 2018-11-27 2023-12-05 Snap Inc. Textured mesh building
US11887237B2 (en) 2018-11-28 2024-01-30 Snap Inc. Dynamic composite user identifier
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11698722B2 (en) 2018-11-30 2023-07-11 Snap Inc. Generating customized avatars based on location information
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US11315259B2 (en) 2018-11-30 2022-04-26 Snap Inc. Efficient human pose tracking in videos
US11783494B2 (en) 2018-11-30 2023-10-10 Snap Inc. Efficient human pose tracking in videos
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11798261B2 (en) 2018-12-14 2023-10-24 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11877211B2 (en) 2019-01-14 2024-01-16 Snap Inc. Destination sharing in location sharing system
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US11751015B2 (en) 2019-01-16 2023-09-05 Snap Inc. Location-based context information sharing in a messaging system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US10945098B2 (en) 2019-01-16 2021-03-09 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US11693887B2 (en) 2019-01-30 2023-07-04 Snap Inc. Adaptive spatial density based clustering
US11557075B2 (en) 2019-02-06 2023-01-17 Snap Inc. Body pose estimation
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11010022B2 (en) 2019-02-06 2021-05-18 Snap Inc. Global event-based avatar
US11714524B2 (en) 2019-02-06 2023-08-01 Snap Inc. Global event-based avatar
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US11809624B2 (en) 2019-02-13 2023-11-07 Snap Inc. Sleep detection in a location sharing system
US11275439B2 (en) 2019-02-13 2022-03-15 Snap Inc. Sleep detection in a location sharing system
US11574431B2 (en) 2019-02-26 2023-02-07 Snap Inc. Avatar based on weather
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11301117B2 (en) 2019-03-08 2022-04-12 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11039270B2 (en) 2019-03-28 2021-06-15 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US11638115B2 (en) 2019-03-28 2023-04-25 Snap Inc. Points of interest in a location sharing system
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11973732B2 (en) 2019-04-30 2024-04-30 Snap Inc. Messaging system with avatar generation
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11601783B2 (en) 2019-06-07 2023-03-07 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11917495B2 (en) 2019-06-07 2024-02-27 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11443491B2 (en) 2019-06-28 2022-09-13 Snap Inc. 3D object camera customization system
US11823341B2 (en) 2019-06-28 2023-11-21 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11714535B2 (en) 2019-07-11 2023-08-01 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US11588772B2 (en) 2019-08-12 2023-02-21 Snap Inc. Message reminder interface
US11956192B2 (en) 2019-08-12 2024-04-09 Snap Inc. Message reminder interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11822774B2 (en) 2019-09-16 2023-11-21 Snap Inc. Messaging system with battery level sharing
US11662890B2 (en) 2019-09-16 2023-05-30 Snap Inc. Messaging system with battery level sharing
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11676320B2 (en) 2019-09-30 2023-06-13 Snap Inc. Dynamic media collection generation
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11270491B2 (en) 2019-09-30 2022-03-08 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11563702B2 (en) 2019-12-03 2023-01-24 Snap Inc. Personalized avatar notification
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11582176B2 (en) 2019-12-09 2023-02-14 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11594025B2 (en) 2019-12-11 2023-02-28 Snap Inc. Skeletal tracking using previous frames
US11810220B2 (en) 2019-12-19 2023-11-07 Snap Inc. 3D captions with face tracking
US11636657B2 (en) 2019-12-19 2023-04-25 Snap Inc. 3D captions with semantic graphical elements
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11908093B2 (en) 2019-12-19 2024-02-20 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11893208B2 (en) 2019-12-31 2024-02-06 Snap Inc. Combined map icon with action indicator
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11651539B2 (en) 2020-01-30 2023-05-16 Snap Inc. System for generating media content items on demand
US11651022B2 (en) 2020-01-30 2023-05-16 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11263254B2 (en) 2020-01-30 2022-03-01 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11831937B2 (en) 2020-01-30 2023-11-28 Snap Inc. Video generation system to render frames on demand using a fleet of GPUS
US11729441B2 (en) 2020-01-30 2023-08-15 Snap Inc. Video generation system to render frames on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11775165B2 (en) 2020-03-16 2023-10-03 Snap Inc. 3D cutout image modification
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11978140B2 (en) 2020-03-30 2024-05-07 Snap Inc. Personalized media overlay recommendation
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11969075B2 (en) 2020-03-31 2024-04-30 Snap Inc. Augmented reality beauty product tutorials
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11822766B2 (en) 2020-06-08 2023-11-21 Snap Inc. Encoded image based messaging system
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11683280B2 (en) 2020-06-10 2023-06-20 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11893301B2 (en) 2020-09-10 2024-02-06 Snap Inc. Colocated shared augmented reality without shared backend
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11833427B2 (en) 2020-09-21 2023-12-05 Snap Inc. Graphical marker generation system for synchronizing users
US11888795B2 (en) 2020-09-21 2024-01-30 Snap Inc. Chats with micro sound clips
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11941767B2 (en) 2021-05-19 2024-03-26 Snap Inc. AR-based connected portal shopping
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11995288B2 (en) 2022-10-17 2024-05-28 Snap Inc. Location-based search mechanism in a graphical user interface
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Similar Documents

Publication Publication Date Title
JP2001230801A (en) Communication system and its method, communication service server and communication terminal
US10346878B1 (en) System and method of marketing using a multi-media communication system
Qiu et al. An investigation into the effects of text-to-speech voice and 3D avatars on the perception of presence and flow of live help in electronic commerce
US6990452B1 (en) Method for sending multi-media messages using emoticons
KR20030039019A (en) Medium storing a Computer Program with a Function of Lip-sync and Emotional Expression on 3D Scanned Real Facial Image during Realtime Text to Speech Conversion, and Online Game, Email, Chatting, Broadcasting and Foreign Language Learning Method using the Same
CN112074899A (en) System and method for intelligent initiation of human-computer dialog based on multimodal sensory input
US20040001065A1 (en) Electronic conference program
US11625542B2 (en) Instant messaging application configuration based on virtual world activities
CA2432021A1 (en) Generating visual representation of speech by any individuals of a population
CN114797094A (en) Business data processing method and device, computer equipment and storage medium
US20230254449A1 (en) Information processing system, information processing method, information processing program
CN114125492A (en) Live content generation method and device
KR20180132364A (en) Method and device for videotelephony based on character
CN114979682B (en) Method and device for virtual live broadcasting of multicast
CN115494941A (en) Meta-universe emotion accompanying virtual human realization method and system based on neural network
DiPaola et al. A 3D virtual environment for social telepresence
Ostermann et al. Talking heads and synthetic speech: An architecture for supporting electronic commerce
JP2003323628A (en) Device and program for video identifying speaker and method of displaying video identifying speaker
Pandzic Life on the Web
JP2003108502A (en) Physical media communication system
CN114900738A (en) Film viewing interaction method and device and computer readable storage medium
KR100300966B1 (en) Chatting system using animated avatars and method thereof
KR20030026506A (en) System and method for interlocking process between emoticon and avatar
JP2003108376A (en) Response message generation apparatus, and terminal device thereof
KR20060104980A (en) System and method for interlocking process between emoticon and avatar