JP3027793B2 - 仮想空間共有装置 - Google Patents
仮想空間共有装置Info
- Publication number
- JP3027793B2 JP3027793B2 JP6182058A JP18205894A JP3027793B2 JP 3027793 B2 JP3027793 B2 JP 3027793B2 JP 6182058 A JP6182058 A JP 6182058A JP 18205894 A JP18205894 A JP 18205894A JP 3027793 B2 JP3027793 B2 JP 3027793B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- voice
- users
- alter ego
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Description
自由に移動できるような3次元仮想空間と,その仮想空
間内に他の利用者の分身とを表現できる端末を複数台,
通信網を介して接続し,利用者の音声と,仮想空間内の
位置情報とを他の装置に分配することによって,複数の
利用者が同一の仮想空間を遠隔地で共有し,各利用者に
他の利用者の音声がミキシングされて聴取できる仮想空
間共有装置に関するものである。
あう場合,2つの方式がある。 (1) 分散接続方式 装置間を論理的または物理的にメッシュ接続する方式で
ある。各装置は自分の音声を接続装置に同報し,各装置
で接続装置から受信した音声をミキシングする。この分
散接続型トポロジを図9に示す。各装置は他のすべての
装置からの音声を受信するので,任意に相手の音圧レベ
ルを設定してミキシングすることができる。しかし,相
手の映像を装置のモニタに表示する際の表示位置に基づ
いて相手の音声を左右どちらのスピーカに出力するかを
制御する方式や,特定の相手の声だけ小さく出力するよ
う制御する方式は提案されているが,相手の分身の位置
情報によって音声品質を制御する方式はない。
理的または物理的にスター接続する方式である。各端末
は自分の音声を音声ミキサに送信し,音声ミキサが受信
した各端末からの音声をミキシングして各端末に分配す
る方式である。集中接続型トポロジを図10に示す。本
方式では,音声ミキサから端末への情報量が分散方式に
比べて少なくて済むという特長がある。一般のミキサは
すべての端末からの音声を加算すると,端末数が多い場
合には雑音がひどくなるため,受信音圧レベルの高い上
位何人かの音声を優先的に加算するか,先着何人かの音
声を優先的に加算するかのどちらかの制御を行ってお
り,利用者対応に音声品質をダイナミックに変更して加
算するミキサは見当たらない。
接続方式における各装置,または集中接続方式における
音声ミキサ装置において,利用者対応に音声ミキサを有
することにより,利用者毎に最適の音場を提供すること
にある。
ロック図である。図中の10は仮想空間共有装置,1は
回線インタフェース部,2は音声・位置情報分配手段,
3,3’,…は音声品質優劣付与手段,4は音声加算手
段を表す。
意思で自由に移動できるような仮想空間とその仮想空間
内に利用者の分身とを表現できる装置を複数台,通信網
を介して接続し,複数の利用者が同一の仮想空間を遠隔
地で共有するための装置である。
声と仮想空間内の分身の位置情報および/または視線の
向き情報とを,回線インタフェース部1を経て他の装置
に分配する手段である。音声品質優劣付与手段3,
3’,…は,音声加算手段4でミキシングする他の利用
者の音声品質に優劣を付ける手段である。音声加算手段
4は,利用者対応に他の利用者の音声をミキシングする
手段である。
えば以下の情報をもとに他の利用者の音声品質に優劣を
付ける。
き情報を用いて,他の利用者が利用者の視野内にいるか
視野外にいるかに応じて音声品質に優劣を付ける。(2) 各利用者の分身の位置情報と視線の向き情報を用い
て,利用者の位置座標と他の利用者の位置座標とを結ぶ
直線と当該利用者の視線とでできる角度の大小に応じて
音声品質に優劣を付ける。
き情報を用いて,利用者の位置座標と他の利用者の位置
座標とを結ぶ直線まで両利用者の視線を回転させ,両回
転角の和の大小に応じて音声品質に優劣を付ける。
せて音声品質に優劣を付ける。
仮想空間等を対象にしており,仮想空間共有装置10が
音声ミキサ機能を有する。各利用者は自分の意思で自由
に仮想空間内を移動できるため,自分と相手の位置関係
や顔の向きが常時変化する。この位置情報と視線の向き
情報を利用して自分と相手との距離の遠近や視線の一致
度等に応じて相手の音声品質を変えて聴取することによ
って,移動しても常に自分のまわりの声や音が大きく聞
こえたり,声の聞こえる方向がすぐに分かったり,お互
いの対話意思が通じたりするような現実に近い環境を仮
想空間内で実現することができる。
る。すべての装置は仮想空間を共有するために,同一の
仮想空間モデルを有し,各利用者は自分の意思で自由に
仮想空間内を移動できる。他の利用者も同じ仮想空間内
を移動できるので,それを認知するため,自分の仮想空
間内に他の利用者の分身を用意し,各利用者は位置情報
(仮想空間内の位置座標)と視線の向きを常時他の装置
に送信する。各装置は受信した他の利用者の位置情報と
視線の向き情報から,仮想空間内の該当位置に当該利用
者の分身を顔の向きを考慮して移動させる。
ら見た図で,分身aに着目した場合の音声品質の優劣の
付け方の例を示している。ここでは簡単のため,音圧レ
ベルだけで優劣を付ける例を説明する。
て分身aを中心にした同心円を描き,半径の小さい円に
いる分身によい品質の音声を与える。ここでは5段階の
品質差を設けている。すなわち,最も近い分身bの音声
に一番良い品質(損失率0db)を与え,次に分身cの
音声に二番目によい品質(損失率−10db)を与え
る。以下,分身dとeの音声(損失率−20db),分
身fの音声(損失率−30db),分身gとhの音声
(損失率−40db)の順に品質を落としていく。他の
すべての分身についても個々に同様の処理を行う。ここ
では,レベルの優劣の付け方として最も簡単な同心円と
したが,人間の聴覚特性を利用して,同じ距離にいても
自分より前方の人の音声を後方にいる人の音声より品質
を良くするなど,さまざまなバリエーションがある。
て分身aの視線の向きから分身aの視野を求め,視野に
入っている分身からの音声の品質を優先的に向上させ
る。ここでは2段階の品質差を設けている。すなわち,
視野に入っている分身b,d,gの音声の音圧レベルを
上げ(損失率0db),視野に入っていない分身c,
e,f,hの音声の音圧レベルを下げる(損失率−40
db)。同様にして,他のすべての分身についても個々
に同様の処理を行う。ここで,各分身の視野角度はあら
かじめシステムで決めておく。
直線で結び,当該直線と分身aの視線となす角θを求め
る。この角度が小さい分身からの音声の品質を優先的に
向上させる。ここでは5段階の品質差を設けている。す
なわち,分身aの視線上にいる分身d(θ=0)の音声
の音圧レベルを上げ(損失率0db),以下,−45度
≦θ≦45度の分身g,eには損失率−10db,−9
0度≦θ<−45度または45度<θ≦90度の分身
c,fには損失率−20db,−135度≦θ<−90
度または90度<θ≦135度の分身iには損失率−3
0db,−180度≦θ<−135度または135度<
θ≦180度の分身hには損失率−40dbとする。他
のすべての分身についても個々に同様の処理を行う。
直線で結び,分身aの視線を当該直線に一致するまで回
転させ,回転角αを求める。回転の方向はαが小さくな
る方向とする。同様に,他の分身の視線を当該直線に一
致するまで回転させ,回転角βを求める。回転の方向は
βが小さくなる方向とする。次に,両回転角の和α+β
=θを求める。この角度が小さい分身によい品質の音声
を与える。ここでは5段階の品質差を設けている。すな
わち,分身aの視線の向きが対向(一致)している分身
d(θ=0度)の音声の音圧レベルを上げ,以下,0度
<θ≦45度の分身cには損失率−10db,45度<
θ≦90度の分身eには損失率−20db,90度<θ
≦135度の分身fには損失率−30db,135度<
θ≦180度の分身bには損失率−40dbとする。他
のすべての分身についても個々に同様の処理を行う。
各処理は単独で実現しても良いし,組み合わせて実現し
ても良い。例えば,図2と図3と図5を組み合わせる
と,自分の視界の中にいる相手のうち,自分との距離が
近い相手ほど,また,こちらを向いている相手ほど大き
な声で聴取できる装置を実現できる。
装置の構成例を示している。簡単のため,仮想空間共有
装置が3台の端末を収容する場合について示している。
図6において,10は仮想空間共有装置,11〜13は
回線インタフェース部,14は位置情報分配部,15〜
17は損失決定部,18〜20は音声加算部,21〜2
6は損失挿入部,30〜32は受信音声転送用内部バ
ス,33〜35は受信位置情報転送用内部バス,36〜
38は送信音声転送用内部バス,39〜41は送信位置
情報転送用内部バス,42〜47は挿入損失通知用内部
バス,51〜56は損失挿入後音声転送用内部バス,6
0〜62は通信回線を表す。
ISDN(INS64等),回線60,61,62を介
して音声と位置情報の送受信を行う。まず,回線60,
61,62から受信したデータは,それぞれ回線インタ
フェース部11,12,13で受信する。回線インタフ
ェース部11は,受信したデータを解析し,音声であれ
ば,内部バス30を介して音声を損失挿入部24,26
へ転送する。同様に,回線インタフェース部12は,受
信したデータを解析し,音声であれば,内部バス31を
介して音声を損失挿入部22,25へ転送する。同様
に,回線インタフェース部13は,受信したデータを解
析し,音声であれば,内部バス32を介して音声を損失
挿入部21,23へ転送する。
は,受信したデータが位置情報と視線の向き情報であれ
ば,内部バス33,34,35を介して位置情報と視線
の向き情報を位置情報分配部14および損失決定部1
5,16,17へ転送する。
受けた位置情報をコピーして内部バス40,41を介し
て回線インタフェース部12,13へ転送する。また,
位置情報分配部14は,内部バス34から受けた位置情
報をコピーして内部バス39,41を介して回線インタ
フェース部11,13へ転送する。また,位置情報分配
部14は,内部バス35から受けた位置情報をコピーし
て内部バス39,40を介して回線インタフェース部1
1,12へ転送する。
5を介して受けた位置情報と視線の向き情報から,回線
インタフェース部11が収容している端末の利用者に与
えるべき他の利用者の音声の損失率を,図2,図3,図
4,図5で説明した処理に従って計算する。この損失率
に基づいて,損失決定部15は,内部バス43,42を
介して,回線インタフェース部12,13が収容してい
る端末の利用者に対応する損失挿入部22,21に対
し,損失挿入の指示を出す。同様に,損失決定部16は
内部バス45,44を介して,回線インタフェース部1
1,13が収容している端末の利用者に対応する損失挿
入部24,23に対し,損失挿入の指示を出す。同様
に,損失決定部17は内部バス47,46を介して,回
線インタフェース部11,12が収容している端末の利
用者に対応する損失挿入部26,25に対し,損失挿入
の指示を出す。
介して損失を挿入済みの音声を加算し,内部バス36を
介して回線インタフェース部11に転送する。回線イン
タフェース部11は,回線60を介して端末に送信す
る。また,音声加算部19は,内部バス53,54を介
して損失を挿入済みの音声を加算し,内部バス37を介
して回線インタフェース部12に転送する。回線インタ
フェース部12は,回線61を介して端末に送信する。
また,音声加算部20は,内部バス55,56を介して
損失を挿入済みの音声を加算し,内部バス38を介して
回線インタフェース部13に転送する。回線インタフェ
ース部13は,回線62を介して端末に送信する。
置に接続する端末の構成例を示している。図中,70は
端末,71は回線インタフェース部,72はキーボード
やマウス等の操作器,73は操作器インタフェース部,
74は仮想空間モデル視点移動処理部,75は他分身移
動処理部,76はディスプレイ等の仮想空間表示部,7
7は音声出力用のスピーカ,78は音声入力用のマイク
を表す。
通信網を介して図6に示す仮想空間共有装置10に接続
される。操作器72の操作によって3次元仮想空間にお
ける利用者の位置や視線の向きを変えることができるよ
うになっている。例えば,操作器72としてマウスを用
いる場合,マウスボタンを押した状態でマウスを回転さ
せると,視線の向きが変えられたとみなされる。なお,
このような操作器72の代わりに,移動や視線の向きを
検知するセンサ等を用いることもできる。操作器インタ
フェース部73は,操作器72から入力した利用者の分
身の位置情報や視線の向き情報を,回線インタフェース
部71および通信網を介して仮想空間共有装置10へ送
る。また,仮想空間モデル視点移動処理部74にも同様
の情報を送る。
作器インタフェース部73から送られた利用者の分身の
位置情報や視線の向き情報に基づいて,仮想空間におけ
る視点を移動させ,視野に入る映像を仮想空間表示部7
6に表示する。なお,この表示方法については,本発明
の要旨ではないので詳しい説明を省略する。他分身移動
処理部75は,回線インタフェース部71を介して仮想
空間共有装置10から受信した他の利用者の分身の位置
情報および視線の向き情報により,他の利用者の分身を
仮想空間内で移動させ,仮想空間表示部76に表示す
る。
は,スピーカ77に出力される。また,マイク78から
入力した当該利用者の音声は,回線インタフェース部7
1を介して,仮想空間共有装置10へ送信される。
る場合の構成例であったが,分散接続方式の場合にも原
理は同様である。図8に分散型仮想空間共有装置の構成
例を示す。図8に示す構成例は,相手端末数が3の場合
の例である。図8において,100は仮想空間共有装置
(端末),110は回線インタフェース部,111はパ
ケット組立・分解部,120は操作器,121は操作器
インタフェース部,130は損失決定部,141,14
2,143は損失挿入部,150は音声加算部,160
は他分身移動処理部,161は仮想空間モデル視点移動
処理部,170はディスプレイ等の仮想空間表示部,1
80は音声出力用のスピーカ,190は音声入力用のマ
イクを表す。
末70が,図6に示す仮想空間共有装置10との間で位
置情報や音声情報の送受信を行い,仮想空間共有装置1
0内で各利用者対応の音声ミキシングを行うのに対し,
図8に示す分散接続方式の場合には,各利用者の端末で
ある仮想空間共有装置100内で,他の利用者から送ら
れてきた音声・位置情報により音声品質の優劣を付け,
他の利用者の音声に損失挿入部141,142,143
で損失を与えた後,音声加算部150でミキシングして
スピーカ180に出力する。基本的な原理や動作等につ
いては,前述した例と同様である。
仮想空間共有装置において,他の装置から受信する利用
者の音声をミキシングする時に,音声と同時に受信する
各利用者の分身の位置情報と視線の向き情報を利用して
自分と他の利用者との距離の遠近や視線の一致度等に応
じて他の利用者の音声品質を変えることによって,移動
しても常に自分のまわりの声や音が大きく聞こえたり,
声の聞こえる方向がすぐに分かったり,お互いの対話意
思が通じたりするような現実に近い環境を仮想空間内で
実現することができる。
す図である。
す図である。
す図である。
示す図である。
る。
例を示す図である。
る。
す図である。
示す図である。
Claims (3)
- 【請求項1】 利用者が自分の意思で自由に移動でき,
かつ視線の向きを変えることができるような仮想空間と
当該仮想空間内に利用者の分身とを表現できる装置を複
数台,通信網を介して接続し,複数の利用者が同一の仮
想空間を遠隔地で共有することを支援する仮想空間共有
装置において, 利用者の音声と仮想空間内の分身の位置情報と利用者の
視線の向き情報とを他の装置に分配する音声・位置情報
分配手段と, 利用者対応に他の利用者の音声をミキシングする音声加
算手段と, 各利用者の分身の位置情報と視線の向き情報を用いて,
他の利用者が利用者の視野内にいるか視野外にいるかに
応じて,前記音声加算手段でミキシングする他の利用者
の音声品質に優劣を付ける音声品質優劣付与手段とを有
することを特徴とする仮想空間共有装置。 - 【請求項2】 利用者が自分の意思で自由に移動でき,
かつ視線の向きを変えることができるような仮想空間と
当該仮想空間内に利用者の分身とを表現できる装置を複
数台,通信網を介して接続し,複数の利用者が同一の仮
想空間を遠隔地で共有することを支援する仮想空間共有
装置において, 利用者の音声と仮想空間内の分身の位置情報と利用者の
視線の向き情報とを他の装置に分配する音声・位置情報
分配手段と, 利用者対応に他の利用者の音声をミキシングする音声加
算手段と, 各利用者の分身の位置情報と視線の向き情報を用いて,
利用者の位置座標と他の利用者の位置座標とを結ぶ直線
と,当該利用者の視線とでできる角度の大小に応じて,
前記音声加算手段でミキシングする他の利用者の音声品
質に優劣を付ける音声品質優劣付与手段とを有すること
を特徴とする仮想空間共有装置。 - 【請求項3】 利用者が自分の意思で自由に移動でき,
かつ視線の向きを変えることができるような仮想空間と
当該仮想空間内に利用者の分身とを表現できる装置を複
数台,通信網を介して接続し,複数の利用者が同一の仮
想空間を遠隔地で共有することを支援する仮想空間共有
装置において, 利用者の音声と仮想空間内の分身の位置情報と利用者の
視線の向き情報とを他の装置に分配する音声・位置情報
分配手段と, 利用者対応に他の利用者の音声をミキシングする音声加
算手段と, 各利用者の分身の位置情報と視線の向き情報を用いて,
利用者の位置座標と他の利用者の位置座標とを結ぶ直線
まで両利用者の視線を回転させ,両回転角の和の大小に
応じて,前記音声加算手段でミキシングする他の利用者
の音声品質に優劣を付ける音声品質優劣付与手段とを有
することを特徴とする仮想空間共有装置。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6182058A JP3027793B2 (ja) | 1994-08-03 | 1994-08-03 | 仮想空間共有装置 |
US08/509,091 US5736982A (en) | 1994-08-03 | 1995-08-01 | Virtual space apparatus with avatars and speech |
DE69525551T DE69525551T2 (de) | 1994-08-03 | 1995-08-02 | Anzeigeverfahren fur einen gemeinsamen virtuellen Raum und Vorrichtung unter Verwendung dieses Verfahrens |
DE69531009T DE69531009T2 (de) | 1994-08-03 | 1995-08-02 | Anzeigeverfahren für einen gemeinsamen virtuellen Raum und Vorrichtung unter Verwendung dieses Verfahrens |
EP95112163A EP0696018B1 (en) | 1994-08-03 | 1995-08-02 | Shared virtual space display method and apparatus using said method |
EP99112201A EP0942396B1 (en) | 1994-08-03 | 1995-08-02 | Shared virtual space display method and apparatus using said method |
CA002155254A CA2155254C (en) | 1994-08-03 | 1995-08-02 | Virtual space display method and virtual space sharing apparatus using the same |
DE69521369T DE69521369T2 (de) | 1994-08-03 | 1995-08-02 | Anzeigeverfahren für einen gemeinsamen virtuellen Raum und Vorrichtung unter Verwendung dieses Verfahrens |
EP99112202A EP0942397B1 (en) | 1994-08-03 | 1995-08-02 | Shared virtual space display method and apparatus using said method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6182058A JP3027793B2 (ja) | 1994-08-03 | 1994-08-03 | 仮想空間共有装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0846704A JPH0846704A (ja) | 1996-02-16 |
JP3027793B2 true JP3027793B2 (ja) | 2000-04-04 |
Family
ID=16111614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6182058A Expired - Lifetime JP3027793B2 (ja) | 1994-08-03 | 1994-08-03 | 仮想空間共有装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3027793B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4688267B2 (ja) * | 2000-09-20 | 2011-05-25 | 株式会社バンダイナムコゲームス | ゲーム装置及び情報記憶媒体 |
JP4529528B2 (ja) * | 2004-04-26 | 2010-08-25 | ヤマハ株式会社 | 音像定位端末 |
JP2006164212A (ja) | 2004-11-10 | 2006-06-22 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP4419073B2 (ja) * | 2004-11-11 | 2010-02-24 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2006230578A (ja) * | 2005-02-23 | 2006-09-07 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
JP4997022B2 (ja) * | 2007-08-15 | 2012-08-08 | ヤフー株式会社 | 仮想空間提供サーバ及びシステム |
US9191234B2 (en) * | 2009-04-09 | 2015-11-17 | Rpx Clearinghouse Llc | Enhanced communication bridge |
JP5594152B2 (ja) * | 2011-01-11 | 2014-09-24 | 富士通株式会社 | Nam会話支援システムおよびnam会話支援方法 |
-
1994
- 1994-08-03 JP JP6182058A patent/JP3027793B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0846704A (ja) | 1996-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0942397B1 (en) | Shared virtual space display method and apparatus using said method | |
US6330022B1 (en) | Digital processing apparatus and method to support video conferencing in variable contexts | |
US7533346B2 (en) | Interactive spatalized audiovisual system | |
US5930752A (en) | Audio interactive system | |
US20050280701A1 (en) | Method and system for associating positional audio to positional video | |
CN102469220A (zh) | 用于控制多路并发电话会议中的音频信号的方法和*** | |
JP3638146B2 (ja) | テレビ会議システム及びそれに用いる端末、接続制御方法並びに接続制御プログラム | |
US7720212B1 (en) | Spatial audio conferencing system | |
JP2001339764A (ja) | 通信制御装置、通信装置、通信システムおよびその方法 | |
JP3027793B2 (ja) | 仮想空間共有装置 | |
JPH11508717A (ja) | 仮想空間において相互接続された端末を介して利用者の交流を実現する方法及びシステム | |
JP2001016563A (ja) | 3次元共有仮想空間表示方法、3次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 | |
JP3452348B2 (ja) | 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体 | |
JP3139615B2 (ja) | 3次元仮想空間音通信方法とその装置 | |
JP3019291B2 (ja) | 仮想空間共有装置 | |
JP2006094315A (ja) | 立体音響再生システム | |
JPH04238475A (ja) | ハンドセット形テレビ装置とそれを用いたテレビ電話装置 | |
JP3070719B2 (ja) | 仮想空間共有方法およびこの方法を実施する装置 | |
JP3296471B2 (ja) | 音場制御方法および装置 | |
JP2000236330A (ja) | クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置 | |
JPH09288645A (ja) | 大部屋的仮想オフィスシステム | |
JP2023155921A (ja) | 情報処理装置、情報処理端末、情報処理方法、およびプログラム | |
JPH11136369A (ja) | 多地点間接続音声制御装置 | |
JP3203614B2 (ja) | 画像通信システムにおける仮想共有表示方法 | |
JPH08125760A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 13 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |