JP2004088483A - 映像情報配信システムと映像情報配信方法とそのためのサーバ - Google Patents
映像情報配信システムと映像情報配信方法とそのためのサーバ Download PDFInfo
- Publication number
- JP2004088483A JP2004088483A JP2002247486A JP2002247486A JP2004088483A JP 2004088483 A JP2004088483 A JP 2004088483A JP 2002247486 A JP2002247486 A JP 2002247486A JP 2002247486 A JP2002247486 A JP 2002247486A JP 2004088483 A JP2004088483 A JP 2004088483A
- Authority
- JP
- Japan
- Prior art keywords
- video information
- client
- server
- field
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Abstract
【解決手段】広視野で高解像度の映像情報を記憶している映像情報記憶サーバと複数のクライアントが、通信網で接続されている。クライアントが、サーバの記憶する映像情報の中から希望する視野の映像情報を指定すると、サーバは記憶している映像情報からクライアントが指定した視野内の映像情報を検索して抽出し、順次クライアントに送信する。これにより、同時に複数台のクライアントがサーバに対して、映像情報の中から希望する視野を指定して送信を要求する事が可能であり、かつ指定した映像情報をサーバから受信することが可能となる。
【選択図】 図1
Description
【発明の属する技術分野】本発明は、通信網を利用して複数のクライアントに映像情報を配信する技術に関する。特に、それぞれのクライアントにそれぞれのクライアントが希望する視野内の映像情報を送信する技術に関する。
【0002】
【従来の技術】映像情報を記憶しているサーバと複数のクライアントを通信網で接続し、サーバが記憶している映像情報をクライアントに配信する技術が知られている。しかし従来技術でクライアントが受信できるのは、同一の内容で同時に配信される映像情報か(テレビ放送や有線ビデオ放送の1チャネル分に相当する)、あるいはサーバ内にあらかじめ記憶されている複数種類の映像情報のなかからクライアントが選択した種類の映像情報に限られている(テレビ放送や有線ビデオ放送の複数チャネル分に相当する)。後者の場合にはクライアントが種類を選択できるが、選択できるといっても選択した種類が同一であれば同一の映像情報しか配信されない。
例えば、サッカーゲームの映像情報を例にして説明すると、クライアントAはゴールキーパAの動きに関心があり、クライアントBはストライカーBの動きに関心があるとしても、従来の映像情報配信技術ではクライアントの個々の要求に応えた映像情報を配信することができないために、各クライアントが本当に見たい映像情報が配信されないことがある。
【0003】
クライアントが希望する視野内の映像情報を配信する技術も提案されている。この技術では、サーバにカメラを接続し、クライアント端末に撮影方向やズーム倍率などの撮影条件を指定する手段を付与しておく。この技術によると、クライアントが指定する視野内の映像情報を撮影してそのクライアントに配信することができる。本技術によれば、クライアントはカメラを遠隔的に操作をすることができ、希望する視野内を撮影した映像情報を受信することができる。
【0004】
【発明が解決しようとする課題】しかしながら上記の技術では、カメラの遠隔操作が許容されるのは一台のクライアントに限定され、他のクライアントは自己のカメラ操作が許容されるまで待っていなければならない。例えば、サッカーゲームの映像情報の例についていえば、ゴールキーパAの動きに関心があるクライアントAは、カメラを遠隔操作してゴールキーパAを中心とする映像情報を入手することができる。しかしながら、その間、クライアントBはストライカーBを中心とする映像情報を入手することができない。サーバに接続するカメラの台数を増やせば、カメラの遠隔操作が同時に許容されるクライアント数を増やすことは可能であるが、制御手段が複雑になり、かつ、設置コストが高額になるため、接続できるカメラの台数には限りがある。
【0005】
本発明は上記の課題を鑑みてなされたものであり、同時に複数のクライアントに対して、各クライアントが希望する視野内の映像情報を配信することができる技術を提供することを目的としている。サッカーゲームの映像情報の例についていえば、ゴールキーパAの動きに関心があるクライアントAはカメラを擬似的に操作してゴールキーパAを中心とする映像情報を入手することができ、同時に、ストライカーBの動きに関心があるクライアントBはカメラを擬似的に操作してストライカーBを中心とする映像情報を入手することができる技術を実現する。
【0006】
【課題を解決するための手段と作用】請求項1の発明は、システム内で共通に用いられる映像情報記憶サーバと、そのサーバに通信網を介して接続された複数のクライアントから構成されている。各クライアントは、他のクライアントから独立して視野を指定する手段を備えている。映像情報記憶サーバは、各クライアントが視野を指定して映像情報の送信を指令したときに、映像情報記憶サーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を当該クライアントに送信する手段を備えている。
ここでいう視野とは、視線方位とズーム倍率を内在するものであり、視線方位が同一でもズーム倍率が相違すれば視野も相違する。即ち、各クライアントは、他のクライアントから独立して、視線方位を変更することもできれば、ズーム倍率を変更することもできる。
【0007】
この映像情報配信システムによれば、各クライアントは他のクライアントから独立して視野を指定する手段を備えており、同時に複数台のクライアントが通信網を経由してサーバに対して視野に関する情報を指定する事が可能である。またサーバは、記憶している映像情報のなかからクライアントが指定した視野に含まれる映像情報を選択して各クライアントに送信する手段を有しているので、複数のクライアントから同時に異なる視野内の映像情報の送信要求があっても、その要求に応えることができる。
【0008】
請求項2に示されるように、各クライアントが、映像情報記憶サーバから送信される映像情報に基づいて視野内の映像を表示する手段を持ち、表示された映像を用いて以後の視野を指定できることが好ましい。
サーバが送信した映像情報を表示手段上で確認しながら、次に必要な視野を指定する事により、クライアントは自己に関心のある視野の選択を確実に行うことが可能となる。擬似的にカメラ操作することが可能となる。
この場合、各クライアントが任意のタイミングで視野を変更できることが好ましい。
また各クライアントの表示装置に、視野角の変更の前後を通して同一サイズの映像が表示されることが好ましい。この場合、狭い視野角を指定するとズームアップした映像を得ることができ、広い視野角を指定するとワイドな映像を得ることができる。
【0009】
請求項5に示されるように、撮影範囲を異にする複数の撮影装置で撮影された複数の映像情報をマージして調整された映像情報を、映像情報記憶サーバに記憶しておくことが好ましい。
複数の撮影装置で撮影された複数の映像情報をマージすることで、広範囲の視野と高解像度を持つ映像情報を得ることができる。クライアントが狭い視野をズームアップする指定をしても、高画質な映像情報を送信することが可能となる。あらかじめマージした映像情報を映像情報記憶サーバに記憶しておくことに代えて、複数の撮像装置で撮影された複数の映像情報を独立に映像情報記憶サーバに記憶しておき、これをマージ調整してから送信する方式を採用することもできる。両者は均等である。
【0010】
請求項6に示されるように、撮影範囲を時間的に変化させる撮影装置で撮影された撮影範囲を異にする複数の映像情報をマージして調整された映像情報を、映像情報記憶サーバに記憶しておくこともできる。
撮影範囲を経時的に変化させる撮影装置によれば、撮影方向を固定した場合に比較して広い範囲の映像情報を高解像度で得ることが可能であり、広範囲の視野と高解像度を有する映像情報を得ることができる。本発明によって、少ない撮影装置によって、広範囲の視野と高解像度を持つ映像情報を得ることができる。この場合にも、あらかじめマージした映像情報を映像情報記憶サーバに記憶しておくことに代えて、複数の映像情報を独立に映像情報記憶サーバに記憶しておき、これをマージ調整してから送信する方式を採用することもできる。
【0011】
映像情報が時時刻刻に更新されて映像情報記憶サーバに記憶されることが好ましい。この場合、各クライアントは視野内の動画を得ることができる。
時時刻刻に更新するのに代えて、サーバに、過去の映像情報を蓄積して記憶させてもよい。この場合、各クライアントが、他のクライアントから独立して視野と時間を指定できる手段を備えていることが好ましい。このシステムによると、それぞれのクライアントは、それぞれのクライアントが希望する視野と時間における映像情報を入手することができる。
【0012】
本発明はまた、映像情報配信システムに用いられる映像情報記憶サーバを創作した。このサーバは、請求項9に記載されるように、複数のクライアントに通信網を介して接続される共通サーバである。本サーバは、映像情報の記憶手段と、各クライアントが視野を指定して映像情報の送信を指令したときに、映像情報記憶手段に記憶されている映像情報から当該クライアントが指定した視野内の映像情報を選択して当該クライアントに送信する手段を備えている。
本発明の映像情報記憶サーバを用いることによって、複数台のクライアントからの視野を指定した映像情報の送信要求に対応することが可能となり、各クライアントが指定した映像情報を各クライアントに送信することが可能となる。
【0013】
本発明では、映像情報の配信方法も創作した。この映像情報配信方法では、共通に用いられる映像情報記憶サーバに通信網を介して複数のクライアントを接続しておく。そして、各クライアントが視野を指定したときに、映像情報記憶サーバが、そのサーバが記憶している映像情報のなかから当該クライアントが指定した視野内の映像情報を当該クライアントに配信する。
この映像情報の配信方法によれば、各クライアントが視野を指定して通信網を介してサーバに対して視野に関する情報を指定する事が可能である。またサーバは、クライアントの指令を認識すると、記憶している映像情報のなかからクライアントが指定した視野に含まれる映像情報を選択して当該クライアントに送信する。本方法を用いることにより、複数のクライアントからの視野を指定した映像情報の送信要求に対して、それぞれの要求を満たす映像情報を送信することができる。
【0014】
【発明の実施の形態】最初に、次に説明する実施例の主要な特徴を列記する。
(形態1)映像情報処理装置と、映像情報記憶サーバと、複数のクライアントが、通信網を介してデータや指令を送受信可能に接続されている。
(形態2)形態1の映像情報処理装置は、入出力部、演算装置、撮影装置の制御部、メモリから構成されており、撮影装置が接続されている。
(形態3)形態2の映像情報処理装置には、撮影によって得られた映像情報に画像処理を施すプログラムが記憶されている。
(形態4)形態1の映像情報記憶サーバは、入出力部、CPU、記憶部、メモリから構成されており、記憶部には、クライアントからの指令を解析して映像情報を選択するプログラムと、映像情報データベース(以下D/Bと省略する場合がある)が記憶されている。
(形態5)映像情報記憶サーバは、映像情報処理装置の機能を有しており、映像情報記憶サーバと、複数のクライアントが、通信網を介してデータや指令を送受信可能に接続されている。
(形態6)形態5の映像情報記憶サーバは、入出力部、CPU、撮影装置の制御部、記憶部、メモリから構成されており、撮影装置が接続されている。
(形態7)形態6の映像情報記憶サーバの記憶部には、撮影によって得られた映像情報に画像処理を施して記憶するプログラムと、クライアントからの指令を解析して映像情報を選択するプログラムと、映像情報D/Bが記憶されている。
(形態8)請求項5の撮影装置は、撮影範囲をそれぞれ異にしつつ、それぞれの撮影範囲の一部が重複するように固定された、複数台のカメラである。
(形態9)形態8における複数のカメラによって撮影された映像情報は、画像処理プログラムによって、映像情報の重複部分が検出される。または、同じ場所が写されている映像をなす画像の一部における画素の対応関係から、それらが重複する部分を検出して一定の範囲で重複するようにそれを変形する情報を得る。それによって、映像をなす画像を重ねあわせ、重複部分のうち一方のみを残してあとは消去され、マージされて一つの映像情報となり、映像情報D/Bに記憶される。
(形態10)映像情報D/Bは、過去の映像情報を、時系列で管理して蓄積している。
(形態11)請求項6における撮影装置は、撮影範囲が時間的に変化するように一定速度で回転する、カメラである。
(形態12)形態11における回転するカメラによって撮影された映像情報は、画像処理プログラムによって、カメラ1回転で得られた映像情報をマージして一つの映像情報に調整して記憶装置に記憶される。
(形態13)形態9および形態12におけるマージされた映像情報、又は撮影された映像情報は、撮影された時刻で管理されてサーバの記憶部に蓄積される。
(形態14)形態2において、撮影装置は、広い視野を持つ超高解像度カメラである。
(形態15)クライアントは、表示部、CPU、メモリ、記憶部、通信部、入力部から構成されている。
(形態16)形態15における、クライアントの入力部は、映像情報の視野を指定することができるマウスである。
(形態17)形態15におけるクライアントの記憶部には、サーバから送信された映像情報を表示部に表示させて、映像上の視野としたい部分をマウスでクリックすると、視野の指定座標をサーバに指令するプログラムが記憶されている。
(形態18)クライアントは、視野とともに時間も指定することで、サーバに蓄積されている、指定時間内に撮影された映像情報を受信することができる。
(形態19)クライアントは、表示速度を指定することで、サーバに蓄積されている映像情報を、希望する速度で受信することができる。
【0015】
【実施例】以下に、本発明の映像情報配信システムと配信方法の実施例を添付図面を参照しながら詳細に説明する。
(第1実施例)
図1は、本発明の一実施例に係わる映像配信システムのシステム構成を示している。映像情報記憶サーバ2と、複数のクライアント24は、インターネット、イントラネットなどの通信網22を介してデータや指令を送受信可能に接続されている。
【0016】
映像情報記憶サーバは、入出力部4と、CPU6と、撮影装置制御部8と、メインメモリ10と、記憶部12から構成されている。サーバ2には、撮影装置群20が接続されており、撮影装置制御部8によって撮影条件の設定と得られた映像情報の取り込みが行われる。記憶部12には、映像情報D/B14と、画像処理プログラム16と、クライアント指令処理プログラム18が記憶されている。
【0017】
本実施例では、サーバに接続された撮像装置群20は、撮影範囲をそれぞれ異にしつつ、それぞれの撮影範囲の一部が重複するように固定された複数台のカメラを用いている。
カメラの画角が十分狭いとき、つまり、ズーム状態で遠方を撮像しているときは、立体形状を撮像するときの投影効果による隠れ部分がほとんどないとみなし得るため、隣接したカメラによる画像重複部分を比較的容易に検出可能である。撮像対象物を平面とみなし得る場合(奥行きがあまりない場合)、重複部分の検出は、さらに容易である。
撮像範囲の一部が重複すれば、複数の画像をマージして、大きな画面とすることが可能である。最も単純な例は、対象物を平面とみなし、これをこの面に平行な位置から撮像する。この場合、画像の重なり部分は、端部に現れる長方形であって、この重複部分を検出し、一方を削除すればよい。こうすることで、大画面が得られる。一般に厳密な意味での画像の合成でなくとも、画像の投影効果を無視した簡易な方法よって、隣接したカメラの撮像によって得られた画像の重複部分を除いた大画面を得ることがよく行われる。図2(a)は、このような条件のもとで、AからPまでの16台のカメラを用いた場合の撮影範囲の重複を示している。この場合、図2(b)のように、対象が平面でカメラ面と平行であれば、カメラと対象面との位置関係より、重複部分は既知となるが、対象が風景のような場合には、計算により重複部分を求める。
図2(c)のように対象が平面であっても、カメラ面と平行ではない場合、点Mを焦点位置がC1のカメラで撮像したときの像面の位置を(x1,y1)、同様に焦点位置がC2のカメラで撮像したときの像面の位置を(x2,y2)とすると、これらの関係は、式(1)で表現される。
【0018】
【数式1】
【0019】
ここで、h1からh8は、カメラ間の位置関係により決まる係数である。こうすると、C2からみた画像をC1からみたものに変換でき、2つの画像を同じ方向からみたものとしてマージできる。
【0020】
対象物が立体である場合、重複部分の計算は、複雑である。この場合、重複部分の計算を行うのではなく、視点を変えることによる画像の変換を行う。例えば、図2(d)において、焦点位置がc1である画像と焦点位置がc2である画像とから焦点位置がc3である画像を生成する。Mをc1からみた点がm1(x1,y1)、c2からみた点がm2(x2,y2)とすると、c3からみた点の座標(x3,y3)は、式(2)により計算される。
【0021】
【数式2】
【0022】
ここで、α1〜α12とβ1〜β12の変数の比は、カメラの位置関係から計算できる。これは、c1からみた画像における点とc2からみた画像における点が対象物における同一の点であることがわかると、c3からみたその点の画像中の位置を計算できるもので、これにより、任意の方向からみた画像を生成できる。この場合、2つの画像で同じ点を探す方法は、次の段落で述べる正規化相関で行う。
【0023】
前の段落で述べたように、カメラの投影効果を無視して、画像の重複部分を接合して大画面を得ることができる。このように複数のカメラの撮像によって得られた映像情報をマージして一つの映像情報とする場合、マージした大画面の一部を擬似的にカメラ回転やズームした画像として送信するため、この大画面を映像情報DBに登録する。ここで、重複部分は、映像情報を構成する画素の一部を比較する。画素の値である濃度(明るさ)パターンの一致度を計算し、このパターンの一致した部分を重複とみなす。例えば、図3(A)と(B)に示すように、映像信号の走査線に相当するデジタル画像の行を構成する画素を取り出し、この濃度パターンの一致の度合いを計算する。色画像の場合、濃淡パターンは、R,G,Bの3画面分があるので、それぞれを比較する。一致度は、正規化相関によっても行える。隣接画像を縮小することにより、解像度を低減し、画像間の正規化相関をとることによって、重複範囲を求めることができる。
【0024】
【数式3】
【0025】
式(3)で示すように、画像I1、I2の重なり部分wにおいて正規化相関係数Cを求める。画像I1に対して画像I2を平行移動したときの移動ベクトルをdとし、位置ベクトルxにおける画像I1の画素値をI1(x)とし、その画像の画素値の分散をδ1とする。画像I2の平行移動にしたがって重なり部分が変化するのでその部分の正規化相関値は、移動ベクトルdの関数となる。この関数は、重なり部分の面積に依存しないため、相関最大値となる移動ベクトルをdが、求められる重なり量である。重なりを検出する画像の解像度を下げて、大域的な重なり部分を検出することも可能である。
このようなパノラマ合成によって得られた映像情報は、カメラ16台分の広い視野を持ち、高解像度である(各カメラはズーム倍率が高く、狭い視野を高解像度で撮像している)。
【0026】
映像情報D/Bは、映像情報に対してIDを付与し、一つ一つの映像情報を時系列で蓄積して記憶しており、時刻を指定すれば、その時刻に撮影された映像情報が取り出せるよう管理する。映像情報D/Bに時系列で蓄積された映像情報の模式図を図4に示す。映像情報は、撮影時刻t、t+1、t+2・・・の順に記憶されている。各時刻の映像情報は、X座標、Y座標と、それに対応するR(赤)G(緑)B(青)の信号情報からなっており、座標を指定すると映像情報の取り出しが可能な状態で保管されている。
撮影時刻の間隔は任意に設定することが可能であり、間隔を密に設定した場合の映像情報は、動画として用いることができる。また、間隔を空けて撮影した映像情報は、ゆっくりとした事象の経時変化の観察等に用いることができる。
動画を配信する場合、映像情報を蓄積して記憶するのに代えて、時時刻刻に更新するようにしてもよい。時時刻刻に更新すると、過去の映像情報が消去され、過去の映像を遡って配信することはできなくなるが、処理スピードが向上し、多数のクライアントに実況中継に相当する動画を配信することができる。
【0027】
本実施例の映像情報配信システムでは、多数のクライアントが同時に映像情報の送信を要求できるが、図1では便宜上、2台のみ表示している。クライアントには汎用のパーソナルコンピュータを使用することが可能であり、その構成は、表示装置26、コンピュータ本体に内蔵されているCPU、メモリ、記憶部、通信部、及び入力手段であるマウス28を備えている。また、クライアントの記憶部には、サーバから送信された映像情報を表示部26に表示し、視野としたい部分をマウス28でクリックすると指定された座標が記憶され、クライアント自身を識別するクライアントIDと視野を指定する映像につけられている映像IDと共に、指定された座標をサーバ2に指令するプログラムが記憶されている。
【0028】
クライアントの視野の指定方法を図5に示す。視野は、長方形で指定することができる。サーバからの映像情報が表示されている表示装置26上で、マウスにより2点(x1,y1)、(x2,y2)をクリックすることにより、その2点を対角線の頂点とする長方形の視野が指定できる。視野の指定座標をサーバに指令するプログラムは、この2点の座標値(x1,y1)、(x2,y2)の情報を、指定座標としてサーバに送信する。
対角線位置で視野を指定する代わりに、マウス28で指定されたカーソルの位置で視野の中心位置を指定し、マウス28のダイヤル28aの動きでズーム倍率を指定するようにしてもよい。この方式によると、クライアントの操作者は簡単に擬似的なカメラ操作をすることができる。視野の方向とズーム倍率を指定する操作手段を別に持ち、両者を片手で同時に操作できるようにすることによって、擬似的なカメラ操作が可能となる。
【0029】
またクライアントは、サーバの記憶部に時系列で蓄積されている映像情報に対して、時間を指定して該当時間内に撮影された映像情報の送信を受けることも可能である。時間指定方法の一例としては、視野を指定した映像情報の撮影時刻を基準とした、相対的な時間指定が可能である。クライアントは、送信を希望する映像情報の撮影開始時刻と撮影終了時刻を指定できるだけでなく、その間のサンプリング間隔も指定することができる。サンプリング間隔を蜜に設定すると、スローモードで再生でき、サンプリング間隔を租に設定すると、高速で再生することができる。
クライアントがサーバに送信する指令の一例を図6に示す。送信元のクライアントを識別するクライアントIDと、指定する映像情報の映像IDは、必ず送信される。映像情報の視野の指定座標1、指定座標2、及び送信を指令する映像情報の撮影開始時刻と終了時刻は、クライアントが指定した場合にのみ送信される。撮影開始時刻と撮影終了時刻が指定されなければ、送信時に撮影されている映像情報が送信される。
【0030】
サーバ2がクライアント24からの指令を受け取った場合にクライアント指令処理プログラム18が行う処理の一例を、図7のフローチャートに示す。以下、本フローチャートに基づいて、処理を説明する。
サーバには、クライアントからの指令を認識し、指令に基づいて映像情報を選択するプログラムが常時待機している(ステップS2)。クライアントからの指令を受信すると、当該プログラムは指令を読み込み(ステップS4)、クライアントIDを確認して、当該クライアントに現在映像情報を送信中かどうかを確認する(ステップS6)。もしも、新たなクライアントからの送信指令である場合は、映像情報の一時記憶場所をメモリもしくは記憶部内に確保する(ステップS8)。
次に、クライアント指令処理プログラムは、映像情報IDを認識し、映像情報D/B内の該当する映像情報を検索する(ステップS10)。ステップS12では、クライアントからの指令の中に時間指定が有るか無いかを認識し、時間指定がある場合は、指定時間内の撮影時刻を持つ映像情報を検索する(ステップS14)。該当する映像情報が映像情報D/Bから取り出されて、一時記憶される。時間指定のない場合は、映像情報IDで指定された映像情報(最新映像情報)のみが取り出されて一時記憶される(ステップS16)。
【0031】
クライアントがサーバに送信する指令の中で、視野の指定座標1および指定座標2が指定されている場合は、一時記憶されている映像情報から、指定範囲の情報を取り出す処理が行われる(ステップS18)。視野の指定が行われていない場合は、ステップS16で一時記憶された映像情報に対して、そのまま送信処理が行われる。
視野の指定が行われている場合は、視野の対角線の頂点を指定する座標(x1,y1)、(x2,y2)から、指定された視野のX方向とY方向の長さの比を求める。指定された視野のX方向とY方向の長さの比が、クライアントの表示装置の比に一致しない場合は、指定された視野が全て含まれ、かつ表示の拡大率が最大になる範囲で、視野の指定座標が再設定される(ステップS20)。一時記憶されている映像情報から、視野の指定座標(x1,y1)、(x2,y2)に従って、情報が取り出され、新たに記憶される。指定された視野が広いために取り出された映像情報が多く、クライアントの表示装置の解像度で全てが表示できない場合には、映像情報は圧縮される。逆に、指定された視野が狭いために取り出された映像情報が少なく、そのままの状態ではクライアントの表示装置全体に表示ができない場合には、映像情報を均等に拡大する(ステップS22)。以上の取り出し作業の完了した映像情報は、順次クライアントに送信される(ステップS24)。
映像情報D/Bから取り出されて必要な処理が行われた全ての映像情報の送信が完了すると(ステップS26)、クライアント指令処理プログラムが行う一連の処理が完了し、処理プログラムは再びクライアントの指令を待つ。
【0032】
本実施例では複数のカメラを用い、その映像情報をマージしているので、クライアントの様々な視野の範囲指定の要求に対応が可能な広い範囲の高画質な映像情報を得ることが可能となる。さらに、制御可能な範囲でカメラの台数を増やすことによって、より広い範囲で高画質の映像情報を得ることが可能である。
複数カメラからの画像をマージする場合、カメラの視線方向と位置を考慮してカメラの撮影位置を合わせたような画像に変換した上でマージするパノラマ合成手法を採用することもできる。この手法を採用すると、複数点に離れて配置されたカメラを利用して広い視野を確保することができる。
また、本実施例におけるサーバに、高速で並列処理が可能な装置を用いることにより、多数のクライアントが同時に映像情報の送信指令を出した場合でも、サーバは同時に要求された映像情報を送信することが可能であり、クライアントは遅延なく指令した映像情報を得ることができる。
【0033】
(第2実施例) 図8は、本発明の一実施例に係わる映像配信システムのシステム構成を示している。複数のクライアント24(便宜上、2台のみ表示している)と、映像情報記憶サーバ32と、映像情報処理装置46が、インターネット、イントラネットなどの通信網30を介してデータや指令を送受信可能に接続されている。
【0034】
本実施例の映像情報処理装置46は、入出力部48と、CPU50と、撮影装置制御部52と、メインメモリ58と、記憶部54から構成されており、撮影装置60が接続されている。撮影装置制御部52によって撮影装置60の撮影条件の設定と得られた映像情報の取り込みが行われる。記憶部には、画像処理プログラム56が記憶されている。画像処理プログラム56によって処理された映像情報は、映像情報記憶サーバに送信されて記憶される。
本実施例の映像情報記憶サーバ32は、入出力部34と、CPU36と、メインメモリ38と、記憶部40から構成されている。記憶部には、映像情報処理装置46から送信された映像情報を管理し記憶する映像情報D/B42と、クライアント指令処理プログラム44が記憶されている。
【0035】
本実施例では、映像情報処理装置46に接続された撮像装置60に、撮影範囲が時間的に変化するように一定速度で回転するラインカメラを使用している。図9(a)は、この回転するラインカメラから得られた高精度ライン画像を経過時刻と回転角度の2つの属性とともに示している。ラインカメラは、垂直軸に沿った範囲を撮影する。カメラは、時刻t1、t2で、時刻t0で撮影した角度に戻ってくる。隣り合うライン画像は、時間的に連続したものである。カメラが、1回転する間に得られる映像情報をマージして一つの映像情報とするために、画像処理プログラム56が実行される。この場合、時刻t0〜t1で得られる映像情報をマージして一つの映像情報とされ、時刻t1〜t2で得られる映像情報をマージして一つの映像情報とされる。
【0036】
ラインカメラが1回転する間に得られる円筒パノラマ画像は、ラインに沿った映像を等間隔に並べて得ることができるが、図9(b)に示すように、ラインに沿った映像を指定された面に投影した画像に合成することもできる。通常のカメラは、投影面が平面であるので、この方法によると、通常のカメラで得たような投影像が得られる。図9(c)は、ラインを並べて投影画像を構成する方法を示している。この方法によれば、並べるラインの間隔は、一定ではなく投影方向によって決められており、この間隙を補間計算により画像補間することで、隙間のないデジタル画像が構成される。
一方、撮像装置をラインカメラではなく、通常のエリアカメラとし、画像を等しい回転角度ごとに撮影する方法も考えられる。この場合、カメラの画像は、光学焦点を中心とした投影像となるが、図9(d)が示すように、この光学焦点とカメラの回転中心を同じとみなし得る場合、上記と同じような任意方向の投影画像が得られる。図9の(e)では、カメラ映像Aの投影面にカメラ映像Bの画像を投影している。映像Aと映像Bの投影面の関係は、映像重複部分から計算により推定することもできるし、撮影した瞬間の回転角度を記録することによっても可能である。図9(e)の場合、映像BのP1を映像Aの投影面上のP1’へ投影し、同じく映像BのP2を映像Aの投影面上のP2’へ投影している。このように、回転中心と光学焦点が一致している場合は、任意の投影面に対するカメラ画像の投影像を得ることが可能で、複数のカメラ画像を同じ面に投影し、マージすることで、広範囲な画像を得ることができる。また図9(f)に示すように、基準面へ投影した結果、間隙が生じた場合には、これに補間計算を施し、広範囲な画像を得ることも可能である。さらに撮影時点の角度が判明すれば、任意の投影面の画像を得ることが可能である。
【0037】
得られた映像情報は、映像情報処理装置46からサーバ32に転送されて映像情報D/Bに記憶される。映像情報D/Bは、映像情報に対してIDを付与し、一つ一つの映像情報を時系列で蓄積し、時刻を指定すれば指定された時刻で撮影された映像情報が取り出せるよう管理する。本実施例におけるカメラの回転速度は任意に設定することが可能であり、これによって映像情報の撮影時刻の間隔の設定が可能となる。間隔を密に設定した場合の映像情報は、動画として用いることができる。また、撮影時間を空けて撮影した映像情報は、経時変化の観察等に用いることができる。
本実施例で映像情報D/Bに蓄積される映像情報の模式図を、図10に示す。図10の(a)では、映像情報は、X座標、Y座標を指定するとそれに対応する映像情報の取り出しが可能な状態で、時系列で保管されている。図10の(b)に示すように、映像情報の水平方向は、基準となる方向からのカメラの回転角度を座標とする座標系を用いて、映像情報を保管する事も可能である。
【0038】
本実施例では、クライアント24の構成は第一実施例と同一で、表示装置26、コンピュータ本体に内蔵されているCPU、メモリ、記憶部、通信部、及び入力手段であるマウス28を備えている。また、クライアントの記憶部には、サーバから送信された映像情報を表示部26に表示し、マウス28で視野を指定すると、サーバに映像情報の送信を指令するプログラムが記憶されている。
【0039】
クライアントの視野は、第一実施例と同様に、長方形で指定することができるほか、マウスの操作によってメニューを表示させ、視野としたい方角をあらかじめ指定することも可能である。マウスの操作によって表示されるメニューの一例を図11に示す。視野の指定をサーバに指令するプログラムは、マウスによって視野が指定された場合は、送信元のクライアントを識別するクライアントIDと映像情報IDに加えて、視野を指定する座標値又は方角の情報を、サーバに送信する。
【0040】
また、クライアントは、サーバの記憶部に時系列で蓄積されている映像情報に対して、時間を指定して、該当時間内に撮影された映像情報の送信を受けることも可能である。本実施例の時間指定の方法としては、視野を指定した映像情報の撮影時刻を基準とした相対的な時間指定のほか、一定間隔ごとに撮影された映像情報の送信指定も可能である。
クライアントがサーバに送信する指令の一例を図12に示す。クライアントIDと、指定する映像情報のIDは、必ず送信される。映像情報の視野の座標もしくは方位、および映像情報の撮影時間の指定は、指定が行われた場合に送信される。
【0041】
サーバがクライアントからの指令を受け取った場合のクライアント指令処理プログラム44が行う処理は、第一実施例と同様、図7のフローチャートに基づいて行われる。本実施例では、クライアントからの映像情報の送信指令に、方位が含まれる場合もあるため、クライアント指令処理プログラム44のステップ20の処理では、方位の指定を基準位置からの撮影角度もしくは座標値に変換し、指定方位が視野の中心になるよう調整する機能も含まれる。視野の調整が行われた映像情報は、取り出されて送信される。
【0042】
本実施例は、撮影装置に撮影範囲が時間的に変化するように一定速度で回転するカメラを用いて、その映像情報をマージしているので、クライアントの様々な視野の範囲指定の要求に対応が可能な、360度の視野を有する高画質な映像情報や、任意の方向に投影された広範囲の映像情報を得ることが可能となる。さらに、非常に短時間の撮影でも映像の得られるカメラを用いて高速な回転速度での撮影を行えば、撮影の間隔を短くする事ができる。クライアントが、該映像情報を一定の視野で時系列で連続して表示すれば、動画の映像情報を得ることも可能である。また、クライアントが、一定の時間間隔で同一の視野の映像情報を指定して表示させれば、変化の遅い情報も短時間で表示させることが可能である。
本実施例におけるサーバに、高速で並列処理が可能な装置を用いることにより、多数のクライアントが同時に映像情報の送信指令を出した場合でも、サーバは同時に要求された映像情報を送信することが可能であり、クライアントは遅延なく指令した映像情報を得ることができる。
【0043】
(第3実施例)
図13は、本発明の一実施例に係わる映像配信システムのシステム構成を示している。サーバ100と、複数のクライアント24は、通信網118を介してデータや指令を送受信可能に接続されている。本実施例で、サーバは、入出力部102と、CPU104と、撮影装置制御部106と、メインメモリ108と、記憶部110から構成されている。サーバには、撮影装置116が接続されており、撮影装置制御部106によって撮影条件の設定と得られた映像情報の取り込みが行われる。記憶部には、映像情報D/B112と、クライアント指令処理プログラム114が記憶されている。
【0044】
本実施例では、サーバに接続された撮影装置116は、固定された状態で広範囲の撮影が可能な高解像度カメラである。本実施例のカメラは、必要な映像範囲を1台で撮影するため、得られた映像情報は画像処理が行われることなく、映像情報D/Bに記憶される。映像情報D/Bは、映像情報に対してIDを付与し、一つ一つの映像情報を時系列で蓄積して、時間を指定すれば、撮影時刻順に該当する時間内の映像情報が取り出せるよう管理する。
クライアントの構成及びクライアントがサーバに送信する視野の指令内容も、第一実施例と同一である。また、サーバがクライアントからの指令を受け取った場合のクライアント指令処理プログラム114が行う処理は、第一実施例と同様に、図7のフローチャートに基づいて行われる。
【0045】
本実施例は、撮影装置に広視野で高解像度のカメラを用いているので、クライアントの様々な視野の範囲指定の要求に対応が可能な、広い範囲の高画質な映像情報を得ることが可能となる。さらに、カメラの映像に対する画像処理が不要であるので、撮影からクライアントへの送信可能な情報として記憶されるまでの時間が、より短時間となり、リアルタイムでの映像情報の提供が可能となる。
また、本実施例においても、サーバに高速で並列処理が可能な装置を用いることにより、多数のクライアントが同時に映像情報の送信指令を出した場合でも、サーバは同時に要求された映像情報を送信することが可能であり、クライアントは遅延なく指令した映像情報を得ることができる。
【0046】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、実施例では、クライアントの視野の指定範囲の入力手段はマウスを使用しているが、タッチ式ディスプレイパネルと専用ペンを使用することも可能である。また、実施例では、複数のカメラを格子状に配置して撮影を行っているが、カメラの設置位置と台数は撮影する映像情報の内容にあわせて任意に変更が可能であり、それに併せて画像処理プログラムによって重複部分の検出を行えば、複数のカメラの映像情報をマージして一つの映像情報を得ることが可能である。画像データベースには、入力画像をマージしたものを蓄積して記憶しておいてクライアントの要求に基づいて切り出して送信するほかに、入力された画像が、時刻や撮像方向などの属性とともにDBへ記録されるようにしてもよい。この場合、クライアントからの要求を解釈し、必要な枚数の映像情報がDBから画像ロードされ、これがマージされクライアントに送信される。その他、実施例の図中に示したデータ構造やサーバの構成は、通常のプログラミング作業や装置設計によって自由に変更が可能であり、項目の追加や削除も行うことができる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項記載の組み合わせに限定されるものではない。
【0047】
【発明の効果】以上のように、本願発明の映像情報配信システムによると、各クライアントが独立して視野を指定して映像情報の送信をサーバに指令すると、サーバは記憶している映像情報から当該クライアントが指定した視野内の映像情報を検索して抽出し、当該クライアントに送信する。これにより、同時に複数台のクライアントがサーバに対して、広範囲の映像情報の中から希望する視野を指定する事が可能であり、かつ指定した映像情報を高解像度でサーバから受信することができる。
【図面の簡単な説明】
【図1】実施例1の映像情報配信システムの構成を模式的に示す図。
【図2a】複数の撮影装置によって得られる映像情報をマージした1枚の映像情報を模式的に示す図。
【図2b】複数の撮影装置によって一部重複する複数の映像情報が得られる様子を模式的に示す図。
【図2c】視点が異なる複数の映像情報をマージするために必要な座標変換を模式的に示す図。
【図2d】視点が異なる複数の映像情報をマージするために必要な座標変換を模式的に示す図。
【図3】実施例1の映像情報配信システムにおいて、複数の撮影装置によって得られる映像情報の重複部分の映像情報パターンを模式的に示す図。
【図4】実施例1の映像情報配信システムの映像情報記憶サーバに、時系列で蓄積して記憶されている映像情報の配列を模式的に示す図。
【図5】実施例1の映像情報配信システムのクライアントが、表示装置上で視野の指定を行う際の画面を模式的に示す図。
【図6】実施例1の映像情報配信システムのクライアントがサーバに送信する、視野を指定する指令内容の一例。
【図7】実施例1の映像情報配信システムの映像情報記憶サーバにおいて、クライアントの視野を指定した映像情報の送信指令を受けて、クライアントの指令に対応する映像情報を選択し送信する処理の概要を示すフローチャート。
【図8】実施例2の映像情報配信システムの構成を模式的に示す図。
【図9a】撮影範囲が時間的に変化する撮影装置によって得られる映像情報とその画像処理方法を模式的に示す図。
【図9b】撮影範囲が時間的に変化する撮影装置によって得られる映像情報を平面に投射する様子を模式的に示す図。
【図9c】撮影範囲が時間的に変化する撮影装置によって得られる映像情報を平面に投射するときに生じる間隙を模式的に示す図。
【図9d】回転するカメラで撮影される映像情報を模式的に示す図。
【図9e】回転するカメラで撮影される映像情報を模式的に示す平面図。
【図9f】回転するカメラで撮影される映像情報を平面に投射する様子を模式的に示す図。
【図10】実施例2の映像情報配信システムの映像情報記憶サーバに、時系列で蓄積して記憶されている映像情報の配列を模式的に示す図。
【図11】実施例2の映像情報配信システムのクライアントが、視野を指定する際に表示される画面の一例。
【図12】実施例2の映像情報配信システムのクライアントがサーバに送信する、視野を指定する指令内容の一例。
【図13】実施例3の映像情報配信システムの構成を模式的に示す図。
Claims (10)
- 映像情報記憶サーバと、そのサーバに通信網を介して接続された複数のクライアントで構成され、
各クライアントは、他のクライアントから独立して視野を指定する手段を備えており、
映像情報記憶サーバは、各クライアントが視野を指定して映像情報の送信を指令したときに、そのサーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を当該クライアントに送信する手段を備えていることを特徴とする映像情報配信システム。 - 各クライアントは、映像情報記憶サーバから送信される映像情報に基づいて視野内の映像を表示する手段を持ち、表示された映像を用いて以後の視野を指定できることを特徴とする請求項1の映像情報配信システム。
- 各クライアントは、任意のタイミングで視野を変更できることを特徴とする請求項2の映像情報配信システム。
- 各クライアントの表示装置に、視野角の変更の前後を通して同一サイズの映像が表示されることを特徴とする請求項2の映像情報配信システム。
- 映像情報記憶サーバに記憶されている映像情報は、撮影範囲を異にする複数の撮影装置で撮影された複数の映像情報をマージして調整されていることを特徴とする請求項1の映像情報配信システム。
- 映像情報記憶サーバに記憶されている映像情報は、撮影範囲を時間的に変化させる撮影装置で撮影された、撮影範囲を異にする複数の映像情報をマージして調整されていることを特徴とする請求項1の映像情報配信システム。
- 映像情報記憶サーバに記憶されている映像情報が、時時刻刻に更新されることを特徴とする請求項1の映像情報配信システム。
- 映像情報記憶サーバに記憶されている映像情報は、過去の映像情報を蓄積して記憶しており、各クライアントは、他のクライアントから独立して視野と時間を指定できることを特徴とする請求項1の映像情報配信システム。
- 複数のクライアントに通信網を介して接続される映像情報記憶サーバであり、
各クライアントが視野を指定して映像情報の送信を指令したときに、映像情報記憶サーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を当該クライアントに送信する手段を備えていることを特徴とする映像情報記憶サーバ。 - 共通に用いられる映像情報記憶サーバに通信網を介して複数のクライアントを接続しておき、
各クライアントが視野を指定したときに、映像情報記憶サーバが、そのサーバに記憶されている映像情報であって当該クライアントが指定した視野内の映像情報を、当該クライアントに送信することを特徴とする映像情報配信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002247486A JP2004088483A (ja) | 2002-08-27 | 2002-08-27 | 映像情報配信システムと映像情報配信方法とそのためのサーバ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002247486A JP2004088483A (ja) | 2002-08-27 | 2002-08-27 | 映像情報配信システムと映像情報配信方法とそのためのサーバ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004088483A true JP2004088483A (ja) | 2004-03-18 |
Family
ID=32055118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002247486A Pending JP2004088483A (ja) | 2002-08-27 | 2002-08-27 | 映像情報配信システムと映像情報配信方法とそのためのサーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004088483A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049305A (ja) * | 2005-08-08 | 2007-02-22 | Nihon Brain Ware Co Ltd | 観察プログラム放送システム |
JP2007194680A (ja) * | 2006-01-17 | 2007-08-02 | Sharp Corp | 動画視聴方法、通信端末およびプログラム |
JP2008306355A (ja) * | 2007-06-06 | 2008-12-18 | Nippon Telegr & Teleph Corp <Ntt> | 画像再生処理装置、画像再生処理方法、プログラム、及び記録媒体 |
JP2010192971A (ja) * | 2009-02-16 | 2010-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体 |
JP2014072608A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | 情報処理システム、情報処理装置、表示装置、及びプログラム |
WO2014192804A1 (ja) * | 2013-05-28 | 2014-12-04 | 三菱電機株式会社 | デコーダ及び監視システム |
JP2016213677A (ja) * | 2015-05-08 | 2016-12-15 | キヤノン株式会社 | 遠隔コミュニケーションシステム、その制御方法、及びプログラム |
JP2018502488A (ja) * | 2014-11-18 | 2018-01-25 | ジェイ. ブラフ,アーレン | 視覚的画像アレイに関する、装置、方法およびシステム |
US10491796B2 (en) | 2014-11-18 | 2019-11-26 | The Invention Science Fund Ii, Llc | Devices, methods and systems for visual imaging arrays |
-
2002
- 2002-08-27 JP JP2002247486A patent/JP2004088483A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049305A (ja) * | 2005-08-08 | 2007-02-22 | Nihon Brain Ware Co Ltd | 観察プログラム放送システム |
JP2007194680A (ja) * | 2006-01-17 | 2007-08-02 | Sharp Corp | 動画視聴方法、通信端末およびプログラム |
JP2008306355A (ja) * | 2007-06-06 | 2008-12-18 | Nippon Telegr & Teleph Corp <Ntt> | 画像再生処理装置、画像再生処理方法、プログラム、及び記録媒体 |
JP2010192971A (ja) * | 2009-02-16 | 2010-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体 |
JP2014072608A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | 情報処理システム、情報処理装置、表示装置、及びプログラム |
WO2014192804A1 (ja) * | 2013-05-28 | 2014-12-04 | 三菱電機株式会社 | デコーダ及び監視システム |
JPWO2014192804A1 (ja) * | 2013-05-28 | 2017-02-23 | 三菱電機株式会社 | デコーダ及び監視システム |
US9749542B2 (en) | 2013-05-28 | 2017-08-29 | Mitsubishi Electric Corporation | Decoder and monitor system |
JP2018502488A (ja) * | 2014-11-18 | 2018-01-25 | ジェイ. ブラフ,アーレン | 視覚的画像アレイに関する、装置、方法およびシステム |
US10491796B2 (en) | 2014-11-18 | 2019-11-26 | The Invention Science Fund Ii, Llc | Devices, methods and systems for visual imaging arrays |
US10609270B2 (en) | 2014-11-18 | 2020-03-31 | The Invention Science Fund Ii, Llc | Devices, methods and systems for visual imaging arrays |
JP2016213677A (ja) * | 2015-05-08 | 2016-12-15 | キヤノン株式会社 | 遠隔コミュニケーションシステム、その制御方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
CN102148965B (zh) | 多目标跟踪特写拍摄视频监控*** | |
CN109348119B (zh) | 一种全景监控*** | |
CN106454065B (zh) | 信息处理装置及其控制方法 | |
JP6627861B2 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
JP3667032B2 (ja) | カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体 | |
US7573492B2 (en) | Monitoring system and method, and program and recording medium used therewith | |
US20170180680A1 (en) | Object following view presentation method and system | |
US20080109729A1 (en) | Method and apparatus for control and processing of video images | |
CN102385747A (zh) | 用于生成全景图像的处理装置及方法 | |
US10205969B2 (en) | 360 degree space image reproduction method and system therefor | |
JP2004064784A (ja) | 複数のユーザへマルチリゾリューションビデオを提供する方法、コンピュータプログラムプロダクト、及び装置 | |
AU2005200888A1 (en) | Visualising camera position in recorded video | |
JP6622650B2 (ja) | 情報処理装置及びその制御方法、撮影システム | |
JP2007208741A (ja) | 遠隔指示システム及び遠隔指示方法 | |
CN102724398B (zh) | 图像数据提供方法、组合方法及呈现方法 | |
JP2014179922A (ja) | 表示装置、表示装置の制御方法、およびプログラム | |
US7999842B1 (en) | Continuously rotating video camera, method and user interface for using the same | |
KR20160094655A (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
JP2019054369A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2004088483A (ja) | 映像情報配信システムと映像情報配信方法とそのためのサーバ | |
KR100585822B1 (ko) | 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법 | |
JPH118845A (ja) | パノラマ画像生成装置および方法 | |
JP2001103458A (ja) | 通信装置及び通信装置の制御方法及び記憶媒体 | |
KR101317428B1 (ko) | 카메라(cctv) 제어기능을 갖는 공간 정보 시스템 및 그 동작방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050812 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050727 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050727 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050825 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050921 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070618 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081014 |