JP2000090288A - Face image control method for three-dimensional shared virtual space communication service, equipment for three-dimensional shared virtual space communication and program recording medium therefor - Google Patents
Face image control method for three-dimensional shared virtual space communication service, equipment for three-dimensional shared virtual space communication and program recording medium thereforInfo
- Publication number
- JP2000090288A JP2000090288A JP10257702A JP25770298A JP2000090288A JP 2000090288 A JP2000090288 A JP 2000090288A JP 10257702 A JP10257702 A JP 10257702A JP 25770298 A JP25770298 A JP 25770298A JP 2000090288 A JP2000090288 A JP 2000090288A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- participant
- dimensional
- face image
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は，複数の利用者端末
が通信回線を介してセンタ装置に接続され，複数の利用
者が３次元コンピュータグラフィックス（ＣＧ）による
３次元仮想空間を共有する３次元共有仮想空間通信サー
ビスにおける顔画像制御方法，３次元共有仮想空間通信
用装置およびそのプログラム記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system in which a plurality of user terminals are connected to a center device via a communication line, and a plurality of users share a three-dimensional virtual space by three-dimensional computer graphics (CG). The present invention relates to a face image control method in a three-dimensional shared virtual space communication service, a three-dimensional shared virtual space communication device, and a program recording medium therefor.
【０００２】[0002]
【従来の技術】従来，３次元仮想空間通信サービスにお
けるアバタ表現では，漫画的なキャラクタを用いること
が多く，実顔画像を利用した通信を実現した通信サービ
スは少ない。また，従来のデスクトップ会議システムに
おいては，相手の顔画像を表示するのは基本的にはウイ
ンドウであり，実空間におけるような参加者の「移動」
を表現できるようなシステムは多くなかった。また，３
次元空間における顔画像貼り付けを行うシステムにおい
ても，１方向からの映像のみを利用しており，仮想空間
内の参加者（アバタ）の「方向」を加味した顔映像・音
声の制御は行われていなかった。2. Description of the Related Art Conventionally, in avatar expression in a three-dimensional virtual space communication service, cartoon characters are often used, and few communication services realize communication using a real face image. Also, in the conventional desktop conference system, the face image of the other party is basically displayed by the window, and the “movement” of the participant as in the real space is performed.
There weren't many systems that could express. Also, 3
In a system for pasting a face image in a three-dimensional space, only the video from one direction is used, and the control of the face video and audio taking into account the “direction” of the participant (avatar) in the virtual space is performed. I didn't.
【０００３】[0003]
【発明が解決しようとする課題】上記従来の技術におい
て述べたように，これまでの会議システムに代表される
ような通信サービスの多くにおいては，顔画像の利用は
ウインドウ内での表示が利用されていた。また，これま
での顔画像貼り付け手法においては，１方向的に撮影さ
れた顔画像を利用するにとどまっており，３次元ＣＧを
利用した空間表現には不十分であった。As described in the above prior art, in many communication services typified by conventional conference systems, the use of a face image uses display in a window. I was Further, the past method of pasting a face image only uses a face image photographed in one direction, and is insufficient for a spatial expression using three-dimensional CG.
【０００４】本発明が解決しようとする課題は，３次元
仮想空間を用いた通信サービスにおいて，参加者の実際
の顔画像をそこに貼り込むことによって，より現実世界
に近づけた通信サービスを実現すること，また，３次元
空間における視点位置と参加者を表現するアバタとの相
対的関係を適切に表現するための貼り付け顔画像選択，
および再生する音声情報の選択を実現することである。[0004] An object of the present invention is to provide a communication service using a three-dimensional virtual space, in which a real face image of a participant is pasted therein, thereby realizing a communication service closer to the real world. And selection of a pasted face image to appropriately represent the relative relationship between the viewpoint position in the three-dimensional space and the avatar representing the participant,
And the selection of audio information to be reproduced.
【０００５】[0005]
【課題を解決するための手段】本発明は，上記課題を解
決するため，複数の利用者端末が通信回線を介してセン
タ装置に接続され，複数の利用者が３次元コンピュータ
グラフィックスによる３次元仮想空間を共有する３次元
共有仮想空間通信サービスのためのシステムにおいて，
参加者の利用する端末に設置された撮像装置を用いた参
加者の実顔画像映像情報を各参加者に同報する通信手段
と，３次元仮想空間における参加者を表現するＣＧモデ
ル（アバタ）を定義でき，アバタの顔部分に対して，上
記通信手段によって得られた参加者の実顔画像を貼り込
むための手段とを備えるとともに，参加者の顔画像を撮
影する撮像装置を複数台用意することによって，参加者
の顔画像の適切な角度からの画像を選択できる手段と，
３次元仮想空間における視点位置と当該参加者アバタと
の相対的な位置関係によって，上記顔画像を選択し，貼
り付ける手段とを備える。According to the present invention, in order to solve the above-mentioned problems, a plurality of user terminals are connected to a center device via a communication line, and a plurality of users are connected to a three-dimensional computer graphics system. In a system for 3D shared virtual space communication service sharing virtual space,
Communication means for broadcasting each participant's actual face image video information to each participant using an imaging device installed in a terminal used by the participant, and a CG model representing the participant in a three-dimensional virtual space (Avatar) Means for pasting the actual face image of the participant obtained by the communication means to the face of the avatar, and a plurality of imaging devices for photographing the face image of the participant are prepared. Means to select an image of the participant's face image from an appropriate angle,
Means for selecting and pasting the face image based on the relative positional relationship between the viewpoint position in the three-dimensional virtual space and the participant avatar.
【０００６】また，臨場感のある音声出力の制御のため
に，参加者の利用する端末に設置されたマイクを用いた
参加者の音声情報を各参加者に同報する通信手段と，上
記複数台の撮像装置と同位置に複数のマイクを設置し，
３次元仮想空間における視点位置と，当該参加者アバタ
との相対的な位置関係によって，上記マイクから得られ
た音声情報を選択し再生する手段とを備える。In order to control the sound output with a sense of reality, a communication means for broadcasting to each participant voice information of the participant using a microphone installed in a terminal used by the participant; Multiple microphones are installed at the same position as
Means for selecting and reproducing audio information obtained from the microphone according to the relative positional relationship between the viewpoint position in the three-dimensional virtual space and the participant avatar.
【０００７】これらの各処理手段を計算機によって実現
するためのプログラムは，計算機が読み取り可能な可搬
媒体メモリ，半導体メモリ，ハードディスクなどの適当
な記録媒体に格納することができる。A program for realizing each of these processing means by a computer can be stored in a suitable recording medium such as a portable medium memory, a semiconductor memory, and a hard disk which can be read by the computer.
【０００８】本発明においては，３次元ＣＧによる仮想
空間を提示し，その中を仮想的な人間（アバタ）が自由
に移動できることを可能にする通信サービスを実現する
システムにおいて，各端末に設置された撮像装置により
実際の顔画像を撮影することができ，さらに得られた顔
画像を当該アバタの顔部分に貼り込むことによって，あ
たかも仮想空間を現実の人間が移動しているような効果
を与えることができる。また，参加者の適切な角度から
の顔画像をアバタの顔部分に貼り付けることができ，音
声情報についても適切な方向からの出力が可能となるの
で，臨場感のある３次元共有仮想空間通信サービスを実
現できるようになる。In the present invention, in a system for providing a communication service that presents a virtual space by three-dimensional CG and enables a virtual person (avatar) to move freely within the virtual space, the system is installed at each terminal. A real face image can be photographed by the imaging device, and the obtained face image is pasted on the face portion of the avatar to give an effect as if a real person is moving in a virtual space. be able to. In addition, a face image of the participant from an appropriate angle can be attached to the face of the avatar, and audio information can be output from an appropriate direction. Service can be realized.
【０００９】[0009]
【発明の実施の形態】以下で説明する本実施の形態は，
多人数参加型通信サービスの例として，各利用者端末で
仮想的な都市モデルを共有し，利用者は端末の入力装置
を用いて前記都市内の自己の座標を移動させ，各端末は
その表示装置に該当座標位置から見た都市の景観を３次
元ＣＧで生成して表示し，さらに他の参加者およびサー
バ端末に対して自己の座標位置および方向を送信し，各
参加者の端末は受信した他の参加者の位置および方向を
用いて，同じ都市内を移動している他の参加者を象徴す
るＣＧ像（アバタ）を仮想都市の中に同じく生成表示
し，仮想空間内で複数の参加者およびサービスの間での
通信を実現する仮想空間通信サービスに関するものであ
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present embodiment described below
As an example of a multi-person participatory communication service, each user terminal shares a virtual city model, the user moves his or her own coordinates in the city using the input device of the terminal, and each terminal displays The device generates and displays the cityscape viewed from the corresponding coordinate position in three-dimensional CG, and transmits its own coordinate position and direction to other participants and the server terminal, and each participant's terminal receives it. Using the positions and directions of the other participants, a CG image (avatar) representing the other participants moving in the same city is also generated and displayed in the virtual city, and a plurality of CG images are displayed in the virtual space. The present invention relates to a virtual space communication service for realizing communication between a participant and a service.
【００１０】図１は，本発明の概要を説明する図であ
る。端末装置１は，仮想空間通信サービスを受ける各参
加者が利用する端末である。本実施の形態では，各参加
者の端末装置１において，Ｎ個の撮像装置２およびＮ個
のマイク３（図１の例ではＮ＝３）を用意し，それらを
参加者（ユーザ）の位置に対して適切な位置に配置し，
これらの撮像装置２から得られた画像，マイク３から得
られた音声を，ネットワーク９を介して送信することに
より，上記仮想空間通信サービスにおいて，以下の事項
を実現する。 （１）参加者の実際の顔画像をそこに貼り込むことによ
る，より現実世界に近づけた通信サービスの実現。 （２）３次元仮想空間における視点位置と参加者を表現
するアバタとの相対的な位置・方向関係を適切に表現す
るための貼り付け顔画像選択および再生する音声情報選
択の実現。FIG. 1 is a diagram for explaining the outline of the present invention. The terminal device 1 is a terminal used by each participant receiving the virtual space communication service. In the present embodiment, N imaging devices 2 and N microphones 3 (N = 3 in the example of FIG. 1) are prepared in the terminal device 1 of each participant, and these are located at the positions of the participants (users). At an appropriate position with respect to
By transmitting the image obtained from the imaging device 2 and the sound obtained from the microphone 3 via the network 9, the following items are realized in the virtual space communication service. (1) Realization of a communication service closer to the real world by pasting the actual face image of the participant there. (2) Realization of selection of a pasted face image and selection of audio information to be reproduced for appropriately expressing the relative position and direction relationship between the viewpoint position in the three-dimensional virtual space and the avatar representing the participant.
【００１１】このため，映像・音声送受信手段４は，撮
像装置２により複数方向から撮影した参加者の顔画像の
映像情報と，撮像装置２と同位置に設置された複数のマ
イク３から入力した音声情報とを，センタ装置を介し
て，または直接，他の参加者の端末装置１’へ同報す
る。また，ネットワーク９を介して送られてきた他の参
加者の顔画像の映像情報および音声情報を受信する。For this reason, the video / audio transmission / reception means 4 receives video information of a participant's face image photographed by the imaging device 2 from a plurality of directions and inputs from a plurality of microphones 3 installed at the same position as the imaging device 2. The voice information is broadcast to the terminal device 1 'of another participant via the center device or directly. Further, it receives video information and audio information of the face image of another participant transmitted via the network 9.
【００１２】顔画像選択手段５は，３次元仮想空間にお
ける端末装置１のユーザの視点位置と，表示しようとす
る参加者のアバタとの相対的な位置関係によって，複数
方向から撮影された複数の顔画像の中の一つを選択し，
映像貼付手段６は，顔画像選択手段５によって選択した
顔画像を，その参加者のアバタの顔部分に対して貼り付
け，端末装置１のディスプレイ（図示省略）に表示す
る。[0012] The face image selecting means 5 generates a plurality of images taken from a plurality of directions according to the relative positional relationship between the viewpoint position of the user of the terminal device 1 in the three-dimensional virtual space and the avatar of the participant to be displayed. Select one of the face images,
The video pasting means 6 pastes the face image selected by the face image selecting means 5 on the face of the avatar of the participant and displays the face image on a display (not shown) of the terminal device 1.
【００１３】音声選択手段７は，映像・音声送受信手段
４によって受信した他の参加者の音声情報を，３次元仮
想空間における端末装置１のユーザの視点位置と，参加
者アバタとの相対的な位置関係によって選択し，音声再
生手段８は，選択した音声情報を必要であれば他の音声
情報と合成してスピーカ，ヘッドホン等の音声出力装置
に出力する。The voice selecting means 7 converts the voice information of another participant received by the video / audio transmitting / receiving means 4 into a relative position between the viewpoint of the user of the terminal device 1 in the three-dimensional virtual space and the participant avatar. Selection is made according to the positional relationship, and the audio reproduction means 8 synthesizes the selected audio information with other audio information if necessary and outputs the synthesized audio information to an audio output device such as a speaker or a headphone.
【００１４】図２に，仮想空間表示の例を示す。本空間
においては，３人のユーザ（Ａ，Ｂ，Ｃ）が仮想空間を
共有しており，本図ではユーザＡが利用している端末上
での仮想空間表示例を示している。点線で示されたユー
ザＡが実際の人間を示しており，端末上の仮想空間に含
まれるユーザアバタＢとユーザアバタＣが他２名を示す
アバタとなっている。FIG. 2 shows an example of a virtual space display. In this space, three users (A, B, C) share a virtual space, and FIG. 3 shows an example of virtual space display on a terminal used by user A. A user A indicated by a dotted line indicates a real person, and a user avatar B and a user avatar C included in a virtual space on the terminal are avatars indicating two other persons.
【００１５】図３に，仮想空間内のアバタ方向と，ユー
ザからの視点方向との相対関係について示す。仮想空間
に表示するアバタは，大きく分けて顔画像を貼り付ける
顔部分と，さまざまな動きを行う体部分に分かれる。こ
こで重要なのは顔部分であり，個々のユーザ利用端末に
設置された撮像装置によって撮影されたユーザの実顔画
像映像を顔部分に貼り込むことによって，より現実世界
と近いコミュニケーションを実現する。このとき，図３
（Ｃ）に示すように，アバタが横向いている場合には，
顔画像を貼り付けることはできない。そこで，図３
（Ｂ）に示すように，アバタの方向によって顔画像貼り
付け部分の方向をユーザからの視点方向に対して直角方
向になるように補正を行う。これによって，アバタの方
向にかかわらず貼り付けられた顔画像を参照することが
可能となる。ここで問題になるのが，顔部分と体部分が
通常の人間では考えられない方向（極端には，体部分は
背を向けているのにもかかわらず顔画像が正面を向いて
いる状態）になった場合，ユーザにとって不自然な印象
を与えることになる。FIG. 3 shows the relative relationship between the avatar direction in the virtual space and the viewpoint direction from the user. The avatar displayed in the virtual space is roughly divided into a face portion on which a face image is pasted and a body portion performing various movements. What is important here is the face portion, and realization of communication closer to the real world is realized by pasting a real face image of the user captured by an imaging device installed in each user use terminal into the face portion. At this time, FIG.
As shown in (C), when the avatar is facing sideways,
You cannot paste a face image. Therefore, FIG.
As shown in (B), the direction of the face image pasting portion is corrected so as to be perpendicular to the direction of the viewpoint from the user according to the direction of the avatar. This makes it possible to refer to the pasted face image regardless of the direction of the avatar. The problem here is that the face and body parts cannot be thought of by ordinary humans (extremely, the body part is facing the back but the face image is facing the front) , An unnatural impression is given to the user.
【００１６】そこで本発明では，ユーザに対して多方向
からの撮像装置によって取り込まれた顔画像を用意する
ことによって，ユーザからの視点方向とアバタの体部分
の方向との相対関係に基づき，適切な顔映像を選択して
利用することにより，上記不自然さを取り除くことを実
現する。Therefore, in the present invention, by preparing a face image captured by the imaging device from multiple directions for the user, an appropriate image is obtained based on the relative relationship between the direction of the viewpoint from the user and the direction of the body part of the avatar. By selecting and using a suitable facial image, it is possible to eliminate the unnaturalness.
【００１７】図４に，本発明によって上記不自然さを取
り除く処理を行った場合のアバタ表示の例を示す。ユー
ザからの視点方向に対して，アバタが右（左）を向いて
いる場合には，当該ユーザの左（右）側から撮影された
実顔映像をアバタ顔部分に対して貼り付けることを行っ
ている。FIG. 4 shows an example of an avatar display when the processing for removing the unnaturalness is performed according to the present invention. When the avatar faces right (left) with respect to the viewpoint direction from the user, the actual face video shot from the left (right) side of the user is pasted to the avatar face part. ing.
【００１８】なお，本実施の形態においては，３方向そ
れぞれの顔画像を送受する際に，通信量を削減するた
め，３方向の顔画像を合成して１つの画像データとして
送受する方式を用いる。In this embodiment, when transmitting and receiving face images in each of three directions, a method of combining face images in three directions and transmitting and receiving as one image data is used in order to reduce the amount of communication. .
【００１９】図５に，本実施の形態（撮像装置・マイク
個数Ｎ＝３の場合）に基づく３次元仮想空間通信サービ
スシステムのソフトウェア／ハードウェア構成図を示
す。本構成図では，簡単のため，クライアント端末１０
におけるソフトウェア構成部分については，本発明に関
連する実顔画像のやりとりを行う部分のみが含まれてい
る。３次元共有仮想空間通信サービスを実現するための
ソフトウェアモジュールであるサーバ（現在仮想空間に
ログインしているユーザを管理するログインユーザ管理
サーバ３０以外）と，３次元共有仮想空間を生成し表示
するクライアントソフトウェアモジュールについては，
従来の３次元仮想空間通信サービスを実現するシステム
と同様でよいので，省略している。FIG. 5 shows a software / hardware configuration diagram of a three-dimensional virtual space communication service system based on the present embodiment (when the number of imaging devices and microphones N = 3). In this configuration diagram, for simplicity, the client terminal 10
The software components in the above include only a portion for exchanging real face images related to the present invention. A server (other than the login user management server 30 that manages a user who is currently logged in to the virtual space) that is a software module for realizing the three-dimensional shared virtual space communication service, and a client that generates and displays the three-dimensional shared virtual space For software modules,
The description is omitted because it may be the same as that of the conventional system for realizing the three-dimensional virtual space communication service.
【００２０】クライアント端末１０は，ハードウェアと
してはＣＰＵ，メモリ，外部記憶装置，通信用の機器，
ディスプレイ，キーボードやマウス等の入力装置，スピ
ーカまたはヘッドホン等の音声出力機器，および映像合
成装置１１，映像取り込み装置１４を持つ。The client terminal 10 includes, as hardware, a CPU, a memory, an external storage device, a communication device,
It has a display, an input device such as a keyboard and a mouse, an audio output device such as a speaker or headphones, a video synthesizing device 11, and a video capturing device 14.
【００２１】映像合成装置１１は，複数台の撮像装置
（カメラ）２から得られる複数の映像情報を，通信量削
減のために合成する装置である。映像取り込み装置１４
は，映像合成装置１１が合成した映像情報をクライアン
ト端末１０に入力するためのインタフェースを持つ装置
である。The video synthesizing device 11 is a device for synthesizing a plurality of pieces of video information obtained from a plurality of imaging devices (cameras) 2 in order to reduce the amount of communication. Video capture device 14
Is a device having an interface for inputting video information synthesized by the video synthesis device 11 to the client terminal 10.
【００２２】クライアント端末１０が持つソフトウェア
モジュールのそれぞれの役割は，以下のとおりである。
ネットワーク制御部１５は，ネットワーク９を介しての
映像情報の送受信を行う。映像・音声送受信部１６は，
ネットワーク制御部１５を介して，映像・音声情報の送
受信を行う。送受信する映像情報の内容は，送信ユーザ
名および映像データである。映像データは，映像合成装
置１１により複数の撮像装置２から取得した映像を合成
したものである。送受信する音声情報の内容は，送信ユ
ーザ名，音声番号，音声データである。The roles of the software modules of the client terminal 10 are as follows.
The network control unit 15 transmits and receives video information via the network 9. The video / audio transmitting / receiving unit 16
Video / audio information is transmitted and received via the network control unit 15. The contents of the video information to be transmitted and received are a transmission user name and video data. The image data is obtained by synthesizing images acquired from the plurality of imaging devices 2 by the image synthesizing device 11. The contents of the voice information to be transmitted and received are a transmission user name, a voice number, and voice data.
【００２３】映像分割部１７は，受信映像情報を，それ
ぞれの撮像装置２によって撮影された映像に分割する。
分割映像情報は，送信ユーザ名，映像番号，分割された
映像の映像データからなる。映像解像度設定部１８は，
映像分割部１７によって分割された映像の，適切な解像
度の設定に必要な顔画像処理を行う。映像切替部１９
は，受信映像情報に含まれる送信ユーザ名からユーザア
バタ管理部２２を介して取得したアバタと，現在のユー
ザの視点との相対関係により，アバタへ貼付処理を行う
映像を選択する。映像貼付部２０は，映像切替部１９に
より選択した分割後の映像データを，そのアバタの顔部
分に貼り付ける処理を行う。The video dividing section 17 divides the received video information into videos captured by the respective imaging devices 2.
The divided video information includes a transmission user name, a video number, and video data of the divided video. The video resolution setting unit 18
The face image processing necessary for setting an appropriate resolution of the video divided by the video dividing unit 17 is performed. Video switching unit 19
Selects the video to be pasted to the avatar based on the relative relationship between the avatar obtained from the transmission user name included in the received video information via the user avatar management unit 22 and the current user's viewpoint. The video pasting unit 20 performs a process of pasting the divided video data selected by the video switching unit 19 to the face of the avatar.
【００２４】映像取り込み部２１は，映像取り込み装置
１４を介して，映像合成装置１１によって合成した映像
をクライアント端末１０内に取り込む。ユーザアバタ管
理部２２は，ログインユーザ管理サービス３０から取得
したユーザ名リストおよび対応する３次元仮想空間内の
ユーザアバタ情報（位置，向き等）を管理する。The video capturing section 21 captures the video synthesized by the video synthesizing device 11 into the client terminal 10 via the video capturing device 14. The user avatar management unit 22 manages the user name list acquired from the login user management service 30 and the corresponding user avatar information (position, orientation, etc.) in the three-dimensional virtual space.
【００２５】音声取り込み部２３は，複数台のマイク３
から入力された音声を送信情報として作成し，映像・音
声送受信部１６へ送る処理を行う。音声切替制御部２４
は，映像・音声送受信部１６から得られた複数の音声情
報を，ユーザアバタ管理部２２から取得した視点位置と
各アバタとの相対関係により，音声再生部２５へ送る音
声情報を選択する。音声再生部２５は，音声切替制御部
２４から得られた音声情報を，スピーカ，ヘッドホン等
の外部出力に対して出力できるように生成する。外部出
力が複数ある場合には，立体的な音の方向性が得られる
ように，音声出力の分配も併せて行う。The voice capturing unit 23 includes a plurality of microphones 3
Then, a process is performed in which audio input from is created as transmission information and transmitted to the video / audio transmission / reception unit 16. Voice switching control unit 24
Selects audio information to be sent to the audio reproduction unit 25 based on a plurality of audio information obtained from the video / audio transmission / reception unit 16 and a relative relationship between the viewpoint position obtained from the user avatar management unit 22 and each avatar. The audio reproduction unit 25 generates the audio information obtained from the audio switching control unit 24 so that the audio information can be output to an external output such as a speaker or headphones. When there are a plurality of external outputs, the audio output is also distributed so as to obtain three-dimensional sound directionality.
【００２６】ログインユーザ管理サーバ３０は，現在仮
想空間にログインしているユーザを管理し，各クライア
ント端末１０に通知する装置である。The login user management server 30 manages users who are currently logged in to the virtual space, and notifies each client terminal 10 of the information.
【００２７】図６に，図５で示された装置構成を用いて
撮影された合成された顔画像を示す。ここでは映像合成
装置１１として，４入力を受け付ける装置を仮定してい
る。実際に使用されている顔画像は，合成された４つの
内の３映像であり，順にユーザの正面映像，右からの横
顔映像，左からの横顔映像としている。FIG. 6 shows a synthesized face image photographed using the apparatus configuration shown in FIG. Here, it is assumed that the video synthesizing device 11 is a device that receives four inputs. The face images actually used are three of the four synthesized images, which are, in order, a front image of the user, a side image from the right, and a side image from the left.
【００２８】図７に映像の送信処理における処理ループ
ブロック図を示す。ステップＳ１では，映像合成装置１
１によって，Ｎ個の撮像装置２が撮影した複数方向のユ
ーザの映像を図６に示すように合成する。クライアント
端末１０は，その合成映像情報を映像取り込み装置１４
を介して，映像取り込み部２１によって取り込む。映像
取り込み部２１は，取り込んだ映像情報を映像・音声送
受信部１６へ送る。FIG. 7 shows a processing loop block diagram in the video transmission processing. In step S1, the image synthesizing device 1
1, the images of the user in a plurality of directions taken by the N imaging devices 2 are combined as shown in FIG. The client terminal 10 transmits the synthesized video information to the video capturing device 14.
Via the video capturing unit 21 via the. The video capturing section 21 sends the captured video information to the video / audio transmitting / receiving section 16.
【００２９】ステップＳ２では，映像・音声送受信部１
６は，送信する映像情報を作成する。送信情報は，映像
取り込み部２１によって取り込んだ合成映像データと，
送信ユーザ名を含む。ステップＳ３では，映像・音声送
受信部１６は，作成した送信情報の送信をネットワーク
制御部１５へ依頼し，ネットワーク制御部１５は，ネッ
トワーク９を介して他のクライアント端末または同報通
信機能を持つセンタ装置へ送信する。クライアント端末
１０のユーザが３次元仮想空間通信に参加している間，
以上の処理を繰り返す。In step S2, the video / audio transmitting / receiving unit 1
6 creates video information to be transmitted. The transmission information includes the composite video data captured by the video capture unit 21 and
Contains the sending user name. In step S3, the video / audio transmission / reception unit 16 requests the network control unit 15 to transmit the created transmission information, and the network control unit 15 transmits another client terminal or a center having a broadcast communication function via the network 9. Send to device. While the user of the client terminal 10 is participating in the three-dimensional virtual space communication,
The above processing is repeated.
【００３０】図８に映像の受信処理における処理ループ
ブロック図を示す。ステップＳ１１では，映像・音声送
受信部１６は，ネットワーク制御部１５を介して合成映
像情報を受信する。ステップＳ１２では，映像分割部１
７は，映像・音声送受信部１６によって受信した合成映
像情報を，それぞれの撮像装置によって撮影された映像
に分割し，分割映像情報を作成する。このとき，送信ユ
ーザ名を取得し，各分割映像情報にユーザ名を挿入する
とともに，映像番号を挿入する。ステップＳ１３では，
映像解像度設定部１８によって，分割映像の解像度を設
定する。FIG. 8 shows a processing loop block diagram in the video receiving process. In step S11, the video / audio transmitting / receiving unit 16 receives the synthesized video information via the network control unit 15. In step S12, the image dividing unit 1
Reference numeral 7 divides the composite video information received by the video / audio transmission / reception unit 16 into videos captured by the respective image pickup devices, and creates divided video information. At this time, the transmission user name is obtained, and the user name is inserted into each divided video information, and the video number is inserted. In step S13,
The resolution of the divided video is set by the video resolution setting unit 18.
【００３１】次に，以下のステップＳ１４〜ステップＳ
１６をアバタ数分繰り返す。まず，ステップＳ１４で
は，映像切替部１９は，ユーザの視点方向と分割映像情
報に対応するアバタの方向との相対関係を，ユーザアバ
タ管理部２２から得たユーザアバタ情報によって算出す
る。ステップＳ１５では，算出した相対関係をもとに，
アバタに貼り付ける顔画像の貼付け映像を，分割映像情
報の中から選択する。ステップＳ１６では，映像貼付部
２０によって，アバタへの映像貼付けを実行する。Next, the following steps S14 to S
16 is repeated for the number of avatars. First, in step S14, the video switching unit 19 calculates the relative relationship between the user's viewpoint direction and the avatar direction corresponding to the divided video information based on the user avatar information obtained from the user avatar management unit 22. In step S15, based on the calculated relative relationship,
The video to be pasted on the avatar is selected from the divided video information. In step S16, the image pasting unit 20 executes image pasting to the avatar.
【００３２】図９に音声受信処理における処理ループブ
ロック図を示す。ステップＳ２１では，映像・音声送受
信部１６は，ネットワーク制御部１５を介して音声情報
を受信する。次に，以下のステップＳ２２〜ステップＳ
２４をアバタ数分繰り返す。まず，ステップＳ２２で
は，音声切替制御部２４は，ユーザの視点方向と音声情
報に対応するアバタの方向との相対関係を，ユーザアバ
タ管理部２２から得たユーザアバタ情報によって算出す
る。ステップＳ２３では，算出した相対関係をもとに，
再生音声を選択する。ステップＳ２４では，音声再生部
２４によって音声再生処理を行う。この際に，必要に応
じてステレオ効果，立体音響効果が得られるように，音
声出力の制御を行う。FIG. 9 shows a block diagram of a processing loop in the voice receiving processing. In step S21, the video / audio transmitting / receiving unit 16 receives the audio information via the network control unit 15. Next, the following steps S22 to S
24 is repeated for the number of avatars. First, in step S22, the voice switching control unit 24 calculates the relative relationship between the user's viewpoint direction and the direction of the avatar corresponding to the voice information based on the user avatar information obtained from the user avatar management unit 22. In step S23, based on the calculated relative relationship,
Select the playback audio. In step S24, the sound reproducing unit 24 performs a sound reproducing process. At this time, audio output is controlled so that a stereo effect and a stereophonic effect can be obtained as necessary.
【００３３】なお，音声送信処理については，図７に示
す映像送信処理と同様であるので，処理の流れについて
の説明は省略する。ただし，音声情報の場合には，映像
の合成のような処理は行わない。Since the audio transmission process is the same as the video transmission process shown in FIG. 7, the description of the process flow is omitted. However, in the case of audio information, processing such as video synthesis is not performed.
【００３４】[0034]
【発明の効果】以上説明したように，本発明によれば，
多数の利用者が３次元仮想空間を共有する通信サービス
において，参加者個々の実顔画像を利用した仮想空間通
信サービスを実現することができ，より現実世界に近い
形での通信サービスが実現可能である。さらに，複数の
角度からの顔画像および音声情報を，仮想空間を見る視
点位置と，各参加者を示すアバタとの相対的な位置・方
向関係により適切に利用することにより，より現実世界
に近い形での通信サービスが実現可能である。As described above, according to the present invention,
In a communication service where a large number of users share a three-dimensional virtual space, a virtual space communication service using real face images of each participant can be realized, and a communication service closer to the real world can be realized. It is. Furthermore, by appropriately using face images and voice information from multiple angles based on the viewpoint position for viewing the virtual space and the relative position and direction relationship with the avatar indicating each participant, it is closer to the real world Communication services in the form are feasible.
【図１】本発明の概要を説明する図である。FIG. 1 is a diagram illustrating an outline of the present invention.
【図２】３次元共有仮想空間通信サービスシステムにお
ける仮想空間表示の例を示す図である。FIG. 2 is a diagram showing an example of virtual space display in a three-dimensional shared virtual space communication service system.
【図３】仮想空間内のアバタ方向と，ユーザからの視点
方向との相対関係について示す図である。FIG. 3 is a diagram illustrating a relative relationship between an avatar direction in a virtual space and a viewpoint direction from a user.
【図４】本発明の実施の形態におけるアバタ表示の例を
示す図である。FIG. 4 is a diagram illustrating an example of an avatar display according to the embodiment of the present invention.
【図５】本発明の実施の形態に基づく３次元仮想空間通
信サービスシステムの構成図である。FIG. 5 is a configuration diagram of a three-dimensional virtual space communication service system based on an embodiment of the present invention.
【図６】顔画像合成映像の例を示す図である。FIG. 6 is a diagram showing an example of a face image composite video.
【図７】映像の送信処理における処理ループブロック図
である。FIG. 7 is a processing loop block diagram in video transmission processing.
【図８】映像の受信処理における処理ループブロック図
である。FIG. 8 is a processing loop block diagram in a video receiving process.
【図９】音声受信処理における処理ループブロック図で
ある。FIG. 9 is a processing loop block diagram in a voice receiving process.
１，１’ 端末装置 ２ 撮像装置 ３ マイク ４ 映像・音声送受信手段 ５ 顔画像選択手段 ６ 映像貼付手段 ７ 音声選択手段 ８ 音声再生手段 ９ ネットワーク 1, 1 'terminal device 2 imaging device 3 microphone 4 video / audio transmitting / receiving means 5 face image selecting means 6 video pasting means 7 voice selecting means 8 voice reproducing means 9 network
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA06 BA07 BA09 BA12 CA05 CA06 EA28 FA02 FA09 FA10 FA19 5B089 GA12 GA21 GB04 JA17 JB04 JB05 KA02 LB18 LB21 5C064 AA02 AB06 AC02 AC06 AC08 AC12 AC16 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B050 AA06 BA07 BA09 BA12 CA05 CA06 EA28 FA02 FA09 FA10 FA19 5B089 GA12 GA21 GB04 JA17 JB04 JB05 KA02 LB18 LB21 5C064 AA02 AB06 AC02 AC06 AC08 AC12 AC16
Claims (6)
の利用者が３次元コンピュータグラフィックスによる３
次元仮想空間を共有し通信する３次元共有仮想空間通信
サービスにおける顔画像制御方法であって，参加者の顔
画像を撮像装置により複数方向から撮影し，複数方向か
ら撮影された複数の顔画像の中の一つを，３次元仮想空
間における視点位置と，参加者アバタとの相対的な位置
関係によって選択し，その選択した顔画像を参加者アバ
タの顔部分に対して貼り付けることを特徴とする３次元
共有仮想空間通信サービスにおける顔画像制御方法。1. A method in which a plurality of users of a terminal connected via a communication line are connected to three-dimensional computer graphics.
A face image control method in a three-dimensional shared virtual space communication service that shares and communicates a three-dimensional virtual space, wherein a face image of a participant is photographed from a plurality of directions by an imaging device, and a plurality of face images captured from a plurality of directions are captured. One of them is selected based on the viewpoint position in the three-dimensional virtual space and the relative positional relationship between the participant avatar and the selected face image is pasted to the part of the participant avatar. Image control method in a three-dimensional shared virtual space communication service.
サービスにおける顔画像制御方法において，参加者の音
声を，前記撮像装置と同位置に設置された複数のマイク
から入力し，複数方向から入力された前記各参加者の音
声情報の一つを，３次元仮想空間における視点位置と，
参加者アバタとの相対的な位置関係によって選択し，選
択した音声を再生することを特徴とする３次元共有仮想
空間通信サービスにおける顔画像制御方法。2. The face image control method in a three-dimensional shared virtual space communication service according to claim 1, wherein a participant's voice is input from a plurality of microphones installed at the same position as the imaging device, and is input from a plurality of directions. One of the input voice information of each participant is referred to as a viewpoint position in a three-dimensional virtual space,
A face image control method in a three-dimensional shared virtual space communication service, wherein a selection is made based on a relative positional relationship with a participant avatar, and the selected voice is reproduced.
の利用者が３次元コンピュータグラフィックスによる３
次元仮想空間を共有し通信する３次元共有仮想空間通信
サービスを実現する３次元共有仮想空間通信用装置にお
いて，撮像装置により複数方向から撮影した参加者の顔
画像の映像情報を各参加者に同報する通信手段と，３次
元仮想空間における視点位置と，参加者アバタとの相対
的な位置関係によって，複数方向から撮影された複数の
顔画像の中の一つを選択する顔画像選択手段と，選択し
た顔画像を参加者アバタの顔部分に対して貼り付ける映
像貼付手段とを備えることを特徴とする３次元共有仮想
空間通信用装置。3. A user of a plurality of terminals connected via a communication line can use three-dimensional computer graphics.
In a three-dimensional shared virtual space communication device for realizing a three-dimensional shared virtual space communication service for sharing and communicating a three-dimensional virtual space, video information of a participant's face image captured from a plurality of directions by an imaging device is shared with each participant. Communication means for reporting, and a face image selecting means for selecting one of a plurality of face images photographed from a plurality of directions based on a viewpoint position in a three-dimensional virtual space and a relative positional relationship with a participant avatar. And a video pasting means for pasting the selected face image to the face portion of the participant avatar.
用装置において，前記撮像装置と同位置に設置された複
数のマイクから入力した音声情報を各参加者に同報する
通信手段と，３次元仮想空間における視点位置と，参加
者アバタとの相対的な位置関係によって，複数方向から
入力された前記各参加者の音声情報の一つを選択する音
声選択手段と，選択した音声を再生する手段とを備える
ことを特徴とする３次元共有仮想空間通信用装置。4. A three-dimensional shared virtual space communication apparatus according to claim 3, wherein communication means for broadcasting to each participant audio information input from a plurality of microphones installed at the same position as said imaging apparatus; Voice selecting means for selecting one of the voice information of each participant input from a plurality of directions, based on a relative positional relationship between the viewpoint position in the three-dimensional virtual space and the participant avatar, and reproducing the selected voice And a means for performing three-dimensional shared virtual space communication.
の利用者が３次元コンピュータグラフィックスによる３
次元仮想空間を共有し通信する３次元共有仮想空間通信
サービスを実現するための３次元共有仮想空間通信用プ
ログラム記録媒体であって，撮像装置により複数方向か
ら撮影した参加者の顔画像の映像情報を各参加者に同報
する処理と，３次元仮想空間における視点位置と，参加
者アバタとの相対的な位置関係によって，複数方向から
撮影された複数の顔画像の中の一つを選択する処理と，
選択した顔画像を参加者アバタの顔部分に対して貼り付
ける処理とを，計算機に実行させるプログラムを記録し
たことを特徴とする３次元共有仮想空間通信用プログラ
ム記録媒体。5. A user of a plurality of terminals connected via a communication line can use three-dimensional computer graphics.
A three-dimensional shared virtual space communication program recording medium for realizing a three-dimensional shared virtual space communication service for sharing and communicating a three-dimensional virtual space, wherein video information of a participant's face image photographed from a plurality of directions by an imaging device. And selecting one of a plurality of face images photographed from a plurality of directions according to a process of broadcasting to each participant, a viewpoint position in a three-dimensional virtual space, and a relative positional relationship with the participant avatar. Processing,
A program recording medium for three-dimensional shared virtual space communication, characterized by recording a program for causing a computer to execute a process of attaching a selected face image to a face portion of a participant avatar.
用プログラム記録媒体において，前記撮像装置と同位置
に設置された複数のマイクから入力した音声情報を各参
加者に同報する処理と，３次元仮想空間における視点位
置と，参加者アバタとの相対的な位置関係によって，複
数方向から入力された前記各参加者の音声情報の一つを
選択する処理と，選択した音声を再生する処理とを，計
算機に実行させるプログラムを含むことを特徴とする３
次元共有仮想空間通信用プログラム記録媒体。6. The program recording medium for three-dimensional shared virtual space communication according to claim 5, wherein a process of broadcasting to each participant audio information input from a plurality of microphones installed at the same position as said imaging device. Selecting one of the voice information of each participant input from a plurality of directions based on the relative positional relationship between the viewpoint position in the three-dimensional virtual space and the participant avatar, and reproducing the selected voice And a program for causing a computer to execute the processing.
A program recording medium for dimension sharing virtual space communication.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25770298A JP3488096B2 (en) | 1998-09-11 | 1998-09-11 | Face image control method in three-dimensional shared virtual space communication service, three-dimensional shared virtual space communication device, and program recording medium therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25770298A JP3488096B2 (en) | 1998-09-11 | 1998-09-11 | Face image control method in three-dimensional shared virtual space communication service, three-dimensional shared virtual space communication device, and program recording medium therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000090288A true JP2000090288A (en) | 2000-03-31 |
| JP3488096B2 JP3488096B2 (en) | 2004-01-19 |
Family
ID=17309935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25770298A Expired - Fee Related JP3488096B2 (en) | 1998-09-11 | 1998-09-11 | Face image control method in three-dimensional shared virtual space communication service, three-dimensional shared virtual space communication device, and program recording medium therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3488096B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000050109A (en) * | 2000-05-16 | 2000-08-05 | 이미란 | A method for producing facial active animation on a network |
| WO2001080050A1 (en) * | 2000-04-18 | 2001-10-25 | Quarterview Co., Ltd. | Method of and system for virtual space page service using avatar |
| KR20010093938A (en) * | 2000-04-03 | 2001-10-31 | 김성천 | Method and apparatus for shaping an abata using internet |
| KR20020022747A (en) * | 2002-03-07 | 2002-03-27 | 신경호 | Charic-abata |
| JP2003067295A (en) * | 2001-08-29 | 2003-03-07 | K Laboratory Co Ltd | Image data transfer method via network |
| KR100422470B1 (en) * | 2001-02-15 | 2004-03-11 | 비쥬텍쓰리디(주) | Method and apparatus for replacing a model face of moving image |
| JP2012160039A (en) * | 2011-02-01 | 2012-08-23 | Fujifilm Corp | Image processor, stereoscopic image printing system, image processing method and program |
| WO2012160899A1 (en) * | 2011-05-23 | 2012-11-29 | ソニー株式会社 | Information processing device, information processing method, and computer program |
| WO2013080635A1 (en) * | 2011-12-02 | 2013-06-06 | 株式会社コナミデジタルエンタテインメント | Server device, recording medium, and avatar management method |
| JP2013117956A (en) * | 2012-11-28 | 2013-06-13 | Konami Digital Entertainment Co Ltd | Server device and program |
| KR101334129B1 (en) | 2009-02-27 | 2013-11-29 | 에스케이플래닛 주식회사 | System and method for 3-dimensional image acquisition using camera terminal for shooting multi angle pictures |
| KR101381594B1 (en) | 2008-12-22 | 2014-04-10 | 한국전자통신연구원 | Education apparatus and method using Virtual Reality |
| WO2018135343A1 (en) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP2020005012A (en) * | 2018-06-25 | 2020-01-09 | 株式会社ＸｒｏｓｓＶａｔｅ | Video display device |
-
1998
- 1998-09-11 JP JP25770298A patent/JP3488096B2/en not_active Expired - Fee Related
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010093938A (en) * | 2000-04-03 | 2001-10-31 | 김성천 | Method and apparatus for shaping an abata using internet |
| WO2001080050A1 (en) * | 2000-04-18 | 2001-10-25 | Quarterview Co., Ltd. | Method of and system for virtual space page service using avatar |
| KR20000050109A (en) * | 2000-05-16 | 2000-08-05 | 이미란 | A method for producing facial active animation on a network |
| KR100422470B1 (en) * | 2001-02-15 | 2004-03-11 | 비쥬텍쓰리디(주) | Method and apparatus for replacing a model face of moving image |
| JP2003067295A (en) * | 2001-08-29 | 2003-03-07 | K Laboratory Co Ltd | Image data transfer method via network |
| JP4700237B2 (en) * | 2001-08-29 | 2011-06-15 | ＫＬａｂ株式会社 | Transferring image data over a network |
| KR20020022747A (en) * | 2002-03-07 | 2002-03-27 | 신경호 | Charic-abata |
| KR101381594B1 (en) | 2008-12-22 | 2014-04-10 | 한국전자통신연구원 | Education apparatus and method using Virtual Reality |
| KR101334129B1 (en) | 2009-02-27 | 2013-11-29 | 에스케이플래닛 주식회사 | System and method for 3-dimensional image acquisition using camera terminal for shooting multi angle pictures |
| US8891853B2 (en) | 2011-02-01 | 2014-11-18 | Fujifilm Corporation | Image processing device, three-dimensional image printing system, and image processing method and program |
| JP2012160039A (en) * | 2011-02-01 | 2012-08-23 | Fujifilm Corp | Image processor, stereoscopic image printing system, image processing method and program |
| CN103535024A (en) * | 2011-05-23 | 2014-01-22 | 索尼公司 | Information processing device, information processing method, and computer program |
| WO2012160899A1 (en) * | 2011-05-23 | 2012-11-29 | ソニー株式会社 | Information processing device, information processing method, and computer program |
| JP2013117851A (en) * | 2011-12-02 | 2013-06-13 | Konami Digital Entertainment Co Ltd | Server device and program |
| WO2013080635A1 (en) * | 2011-12-02 | 2013-06-06 | 株式会社コナミデジタルエンタテインメント | Server device, recording medium, and avatar management method |
| JP2013117956A (en) * | 2012-11-28 | 2013-06-13 | Konami Digital Entertainment Co Ltd | Server device and program |
| WO2018135343A1 (en) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| CN110178158A (en) * | 2017-01-19 | 2019-08-27 | 索尼公司 | Information processing unit, information processing method and program |
| US11386681B2 (en) | 2017-01-19 | 2022-07-12 | Sony Corporation | Information processing apparatus, information processing method, and program |
| CN110178158B (en) * | 2017-01-19 | 2024-03-01 | 索尼公司 | Information processing apparatus, information processing method, and recording medium |
| JP2020005012A (en) * | 2018-06-25 | 2020-01-09 | 株式会社ＸｒｏｓｓＶａｔｅ | Video display device |
| JP7138335B2 (en) | 2018-06-25 | 2022-09-16 | 株式会社XrossVate | Video display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3488096B2 (en) | 2004-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11563779B2 (en) | Multiuser asymmetric immersive teleconferencing | |
| CN109874021B (en) | Live broadcast interaction method, device and system | |
| KR101656172B1 (en) | Enhanced communication between remote participants using augmented and virtual reality | |
| US6466250B1 (en) | System for electronically-mediated collaboration including eye-contact collaboratory | |
| US7616226B2 (en) | Video conference system and a method for providing an individual perspective view for a participant of a video conference between multiple participants | |
| US6583808B2 (en) | Method and system for stereo videoconferencing | |
| Apostolopoulos et al. | The road to immersive communication | |
| US6330022B1 (en) | Digital processing apparatus and method to support video conferencing in variable contexts | |
| EP2323425B1 (en) | Method and device for generating audio signals | |
| JP2022177053A (en) | Information processing system, information processing method, and information processing program | |
| JP3488096B2 (en) | Face image control method in three-dimensional shared virtual space communication service, three-dimensional shared virtual space communication device, and program recording medium therefor | |
| WO2018214746A1 (en) | Video conference realization method, device and system, and computer storage medium | |
| JP3623415B2 (en) | Avatar display device, avatar display method and storage medium in virtual space communication system | |
| JP2019103067A (en) | Information processing device, storage device, image processing device, image processing system, control method, and program | |
| JP2004193962A (en) | Image communication equipment, image communication method, and computer program | |
| WO2022116516A1 (en) | Method and device for providing video source for video conference system | |
| JP2013196154A (en) | Image communication system, ar (augmented reality) moving image generation device and program | |
| Zhang et al. | Improving immersive experiences in telecommunication with motion parallax [applications corner] | |
| WO2019152038A1 (en) | Virtual window for teleconferencing | |
| JP4632132B2 (en) | Language learning system | |
| TW202129363A (en) | Method and apparatus for realizing 3d display, and 3d display system | |
| CN115118910A (en) | Video conference terminal and video conference system thereof | |
| JPH11289524A (en) | Virtual space conference method and record medium recording the method | |
| JP2001092990A (en) | Three-dimensional virtual space participant display method, three-dimensional virtual space display device and recording medium stored with three-dimensional virtual space participant display program | |
| WO2022004233A1 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101031 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101031 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |