JP3550046B2 - カメラ画像伝送方法及びカメラ画像伝送システム - Google Patents
カメラ画像伝送方法及びカメラ画像伝送システム Download PDFInfo
- Publication number
- JP3550046B2 JP3550046B2 JP13266399A JP13266399A JP3550046B2 JP 3550046 B2 JP3550046 B2 JP 3550046B2 JP 13266399 A JP13266399 A JP 13266399A JP 13266399 A JP13266399 A JP 13266399A JP 3550046 B2 JP3550046 B2 JP 3550046B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- camera image
- transmitting
- control information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Communication Control (AREA)
Description
【発明の属する技術分野】
本発明は、カメラ装置により画像を撮影し、撮影した画像を所定のデータ通信回線により伝送するカメラ画像伝送方法及びカメラ画像伝送システムに関し、特に、魚眼レンズ等を用いたカメラ装置により入力される高解像度で画像歪みを有するカメラ画像を、PHS(Personal Hand−Phone System)等の低速なデータ通信回線を用いて伝送し、画像受信側装置に接続される画像表示装置等に、画像歪みが補正された視野空間パノラマ画像を表示するカメラ画像伝送システムに適用して有効な技術に関するものである。
【0002】
【従来の技術】
CCTV(Closed Circuit Te1evision)システムの分野においては、カメラ装置の監視可能範囲を向上するためカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備したカメラ装置が開発されている。また、近年、魚眼レンズを用いることにより上下左右180°以上の視野空間画像(以下、魚眼レンズカメラ画像という)を同時に撮影可能としたカメラ装置が提案されている。魚眼レンズを用いる場合は、カメラ視点を変更するための装置を具備しなくても広範囲の可視領域を得ることができる。
魚眼レンズカメラ画像等は、レンズの特性に依存して、撮影された画像は撮影対象となる実像に対して歪みを有している。このため、魚眼レンズカメラ画像を、通常のレンズを用いたカメラ画像と同様に利用するためには、レンズの特性に依存して生じる画像歪みを補正する処理を行う必要があり、魚眼レンズカメラ画像の有する画像歪みを補正して上下左右180°以上の視野空間のパノラマ画像(以下、視野空間パノラマ画像という)を生成するアルゴリズムが提案されている。
また、従来、カメラ装置により撮影されたカメラ画像は、一画像フレーム毎に有線回線を利用して伝送されていたが、PHS等の無線データ通信技術の発展に伴い、カメラ画像を無線データ通信回線により伝送するシステムも開発されている。
【0003】
【発明が解決しようとする課題】
しかしながら、通常のレンズを用いたカメラ装置にカメラ視点を変更する電動式雲台等の装置を具備し、遠隔繰作によりカメラ視点を変更し、撮影した画像をPHS等の低速なデータ通信回線を用いて伝送するシステムにおいて、目的位置のカメラ画像を得るためには、目的位置にカメラ視点が移動するまでの時間、及び目的位置にカメラ視点が移動するまでに送信される複数の画像の伝送遅延時間から、目的位置の画像を得るための待ち時間が長くなるという問題があった。
また、カメラ装置に電動式雲台等のカメラ視点変更用の装置を具備するとカメラ装置構成が複雑化するため、装置の保守における負担が増加することや、カメラ装置の小型化を実現することが困難であるという問題があった。
【0004】
前述したカメラ視点の移動に起因する問題は、魚眼レンズ等を利用することで解決される。しかしながら、魚眼レンズを用いて撮影される画像歪みを有した魚眼レンズカメラ画像から、十分な画像品質を維持した視野空間パノラマ画像を得るためには、元となる魚眼レンズカメラ画像の解像度を極めて高くする必要があり、画像一枚あたりのデータ量が大きくなる。そのため、PHS等の低速なデータ通信回線を介して画像を伝送する場合に、画像一枚辺りの伝送に要する時間が長くなる。
したがって、高解像度の魚眼レンズカメラ画像等を、PHS等を介して伝送する場合には、画像受信側装置より画像を撮影するための制御情報をカメラ画像送信側端末装置に送った後、画像受信側端末装置に接続される画像表示装置等に画像が表示されるまでの遅延時間が大きくなる。また、魚眼レンズカメラ画像を、連続的に撮影し伝送する場合には、画像伝送遅延時間が大きくなるとともに、画像フレームレートが低くなるという問題があった。
さらに、魚眼レンズカメラ画像等の有する画像歪みを補正するための処理時間も、画像受信側装置に接続される画像表示装置等にカメラ画像が表示されるまでの遅延時間の増加や画像フレームレートの低下の要因となる。
【0005】
本発明の目的は、カメラ画像伝送システムにおいて、画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示する制御情報を送信してから、画像受信側装置に接続された画像表示装置等に視野空間パノラマ画像が出力されるまでの遅延時間を短縮することが可能な技術を提供することにある。
本発明の他の目的は、カメラ画像伝送システムにおいて、連続的にカメラ画像を伝送する場合に、高い画像フレームレートを得ることが可能な技術を提供することにある。
本発明の前記ならびにその他の目的及び新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0006】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、以下のとおりである。
(1)撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影し、この撮影された画像を符号化し、所定のデータ通信回線を用いて伝送する画像伝送方法において、カメラ画像送信側で、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に符号化して画像データフレームを構成し、この構成された画像データフレームを画像受信側に送信し、この送信された画像データフレームを画像受信側で受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行うとともに、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う方法である。
【0007】
(2)前記手段(1)のカメラ画像伝送方法において、前記画像歪みの補正処理は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正し、前記領域位置範囲情報で規定される位置に部分領域画像をはめ込み、歪み補正されたカメラ画像を再構築する方法である。
【0008】
(3)前記手段(1)又は(2)のカメラ画像伝送方法において、前記画像受信側で、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記カメラ画像送信側が前記撮影されたカメラ画像を分割して送信する場合に、前記画像受信側は、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームの送信を行う方法である。
【0009】
(4)前記手段(1)乃至(3)のうちいずれか1個のカメラ画像伝送方法において、前記画像受信側は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記画像受信側は、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームの送信を行う方法である。
【0010】
(5)カメラ画像送信手段と、該カメラ画像送信手段と通信回線を介して通信する画像受信手段とを具備する画像伝送システムにおいて、カメラ画像送信手段は、撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影するカメラ装置と、該カメラ装置で撮影された画像データを符号化する画像符号化手段と、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に前記画像符号化手段により符号化するとともに各部分領域画像に対応する領域位置範囲を示す情報を付加した画像データフレームを構築する画像分割制御手段と、前記構築された画像データフレームの送信制御を行う画像送信制御手段とを具備し、前記画像受信手段は、前記送信された画像データフレームを受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行う画像復号化手段と、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う画像歪み補正手段と、画像歪みが補正されたカメラ画像を再構築する画像再構築手段とを具備するシステムである。
【0011】
(6)前記手段(5)のカメラ画像伝送システムにおいて、前記画像歪みの補正手段は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正する手段からなり、前記画像再構築手段は、前記画像歪みが補正された部分領域画像を前記領域位置範囲情報で規定される位置にはめ込んで、歪み補正されたカメラ画像を再構築する手段からなるシステムである。
【0012】
(7)前記手段(5)又は(6)のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、前記カメラ画像送信手段が前記撮影されたカメラ画像を分割して送信する場合に、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームを送信する手段を具備するシステムである。
【0013】
(8)前記手段(5)乃至(7)のうちいずれか1個のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームを送信する手段を具備するシステムである。
【0014】
前記手段(1)によれば、画像受信側装置からカメラ画像送信側端末装置に対してカメラ画像の送信が要求されてから、画像受信側装置に接続される画像表示装置に対して画像を出力するまでの遅延時間の低減が図れるとともに、カメラ画像を連続的に伝送する場合の画像フレームレートの向上が図れる。
【0015】
前記手段(4)乃至(6)によれば、画像受信側装置において、特定の部分領域画像を迅速に取得する必要が生じた場合、制御情報送信手段により、カメラ画像を必要な部分領域画像へ分割することを指示する第一の制御情報を、カメラ画像送信側端末装置に送信するとともに、前記第一の制御情報にしたがってカメラ画像を分割し構築された画像データフレームの送信順序を規定する第二の制御情報を、カメラ画像送信側端末装置に送信し、必要な画像データフレームの送信を優先させることによって、画像受信側装置は、必要とする部分領域画像を迅速に取得することが可能となる。
【0016】
前記手段(7)のカメラ画像伝送システムによれば、カメラ画像送信側端末装置は、画像受信側装置より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第三の制御情報を受信した場合、前記第三の制御情報に基いた撮影タイミングでカメラ画像を連続撮影し、画像データ記憶手段にバッファリングする。その後、画像データ記憶手段にバッファリングされているカメラ画像を逐次伝送する。
【0017】
これにより、伝送可能な画像フレームレートより、高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、画像受信側装置からの指示に従って一時的に画像データ記憶手段にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を送信することが可能となる。
以下、本発明について、図面を参照して、発明の実施形態(実施例)とともに詳細に説明する。
【0018】
【発明の実施の形態】
以下の本発明の実施形態(実施例)は、カメラ画像を送信するカメラ画像送信側端末装置が魚眼レンズカメラを用いることを仮定した場合について説明している。
図1は、本発明の実施形態(実施例)のカメラ画像伝送システムを利用する通信システムの一構成例を示す模式図である。この図1の構成例は、カメラ画像の伝送に無線データ通信回線を利用する場合について示している。
【0019】
図1に示すように、カメラ画像送信側端末装置1は、無線データ送信手段10によりPHS非制限デジタルベアラやIEEE802.11に準拠する無線LAN(Local Area Network)等の無線データ通信回線3を用いて画像受信側装置2と通信し、魚眼レンズカメラ4より入力されるカメラ画像を送信する。画像受信側装置2は、画像受信側装置2の無線データ受信手段20により、1個または複数個のカメラ画像送信側端末装置1と無線データ通信回線3を介して通信を行う。
【0020】
無線データ送信手段10と無線データ受信手段20は、無線データ通信回線において発生する伝送誤りを訂正し、伝送誤りのない透過なデータ通信を実現するためのデータリンク層データ伝送制御機能を提供する。例えば、PHS非制限デジタルベアラを利用する場合においては、PIAFS(PHS Internet Access Forum Standard)手順や、HDLC(High−1evel Data Link Control)手順等のデータ伝送制御機能を提供する。
【0021】
画像受信側装置2には、受信された画像を表示するための画像表示装置5や、任意のカメラ画像送信側端末装置1あるいは複数個のカメラ画像送信側端末装置1に対する制御を行うための制御パネル6が接続される。
【0022】
また、画像受信側装置2を通信ネットワーク7に接続し、通信ネットワーク7に接続されるPC(Personal Computer)端末8と通信し、カメラ画像送信側装置1より受信した画像をPC端末8に送信し表示するとともに、PC端末8からカメラ画像送信側端末装置1を制御するための信号を受信する場合もある。例えば、ISDN(Integrated Service Digital Network)回線に接続する場合には、画像受信側装置2は、H.320に準拠するTV会議端末等と通信し、LANやWAN(Wide Area Network)等のIP(Internet Protocol)パケット通信ネットワークに接続される場合には、画像受信側装置は、H.320に準拠するTV(Television)会議通信システム等を実装したPC端末8と通信する。
【0023】
また、画像受信側装置2は、該画像受信側装置2に直接接続されるデータ蓄積装置9、あるいは、通信ネットワーク7を介して接続されるデータ蓄積装置9に受信した画像データを蓄積することが可能である。
【0024】
図2は、本発明による一実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。
本実施形態のカメラ画像伝送システムは、図2に示すように、魚眼レンズを有するカメラ画像送信側端末装置1と、1個のカメラ画像送信側端末装置1と無線データ通信回線3を介して通信する画像受信側装置2とで構成されている。
【0025】
前記カメラ画像送信側装置1は、上下左右180°以上の視野角を有する魚眼レンズ11と、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮影素子により魚眼レンズより入力される画像を電気信号に変換するイメージセンサ12と、イメージセンサ12によって電気信号に変換された画像のデジタル量子化等を行うDSP(DigitalSignal Processor)13と、このDSP13によりデジタル化された画像データを記憶する画像データ記憶手段14と、画像データをJPEG(Joint Photographic Coding Experts Group)により符号化する画像符号化手段15と、魚眼レンズカメラ画像を複数の部分領域に分割し、各部分領域画像毎に前記画像符号化手段15により符号化するとともに領域位置範囲情報を付加した画像データフレーム30を構成する画像分割制御手段16と、画像データフレーム30を無線データ通信回線3により送信する無線データ送信手段10と、画像データフレームの送信制御を行う画像送信制御手段17から構成される。
【0026】
前記画像受信側装置2には、受信した画像を表示する画像表示装置5と、カメラ画像送信側端末装置の制御を行うための制御パネル6が接続されている。
画像受信側装置2は、カメラ画像送信側端末装置1から無線データ通信回線3を介して送信される画像データフレーム30等を受信する無線データ受信手段20と、受信された画像データフレームに含まれる符号化データに対する復号化処理を行う画像復号化手段21と、前記画像データフレームに含まれる領域位置範囲情報を用いて、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、前記各画素の位置情報を魚眼レンズの特性に対応する位置依存型歪み補正関数に代入することで、前記部分領域画像の有する魚眼レンズの特性に依存した画像歪みを補正する画像歪み補正手段22と、領域位置範囲情報で規定される位置に歪みが補正された前記部分領域画像をはめ込むことで、歪み補正されたカメラ画像を再構築する画像再構築手段23と、画像データを記憶する受信画像データ記憶手段24と、画像を画像表示装置や所定の通信ネットワーク等に出力するための出力インタフェース25と、さらに、制御パネルや所定の通信ネットワーク等からの制御情報35を入力するための制御情報の入力インタフェース26と、制御情報35をカメラ画像送信側端末装置1に送信するための制御情報送信手段27から構成される。
【0027】
一般に、カメラ画像送信側端末装置1は、小型化が求められるとともに、図1及び図2に示したように無線データ通信回線3を利用して画像受信側装置2と通信を行う場合等では、可搬性を維持するためにカメラ画像送信側端末装置1内に具備されるバッテリーにより動作するため、消費電力が少ないことが求められる。このことから、カメラ画像送信側端末装置1において高い演算処理能力を実現することは困難である。
これに対して画像受信側装置2は、一般に、コンセント等から電源を供給できることから消費電力等に対する制限がなく、高い演算処理能力を実現できる。
【0028】
本実施形態のカメラ画像伝送システムは、図2に示したように、比較的処理量の大きい画像歪み補正処理をカメラ画像送信側端末装置1で行わず、処理能力の高い画像受信側装置2に画像歪み補正手段22を有する構成としている。これにより、画像歪み補正処理に要する処理時間の短縮が図れる。
【0029】
また、魚眼レンズ11によるカメラ画像等では、画像歪み補正処理を施した後の視野空間パノラマ画像の方が、画像歪み補正処理を施さない魚眼レンズ11によるカメラ画像に比較してデータ量が増加するため、画像受信側装置2で画像歪み補正処理を行う構成にすることにより、カメラ画像送信側端末装置1で画像歪み補正処理を行う場合に比較して、データ通信回線3を効率的に利用できる。
【0030】
なお、画像歪み補正手段22による画像歪み補正処理は、画像データフレームに付加される領域位置範囲情報を用いて、部分領域画像内の各画素の位置情報、すなわち、各画素の画像全体における座標位置、及び各画素の魚眼レンズ11より入力される円形画像の中心点からの距離を算出し、これらの数値を文献「Shishir Shah,J.K.Aggarwel,″Intrinsic Parameter Calibration Procedure for A(High−Distortion)Fish−Eye Lens Camera With Distortion Model and Accuracy Estimation,″Pattern Recognition,29,pp.1775〜1788」等に記載の魚眼レンズの位置依存型歪み補正関数に入力していくことにより実現する。
【0031】
図3乃至図7は、本実施形態のカメラ画像伝送システムにおける各種カメラ画像伝送の手順について説明するための図である。
本実施形態のカメラ画像伝送システムは、図2に示すように、画像受信側装置2の制御情報送信手段27から無線データ通信回線3を介してカメラ画像送信側端末装置1の画像送信制御手段17に制御情報35を送信し、カメラ画像送信側端末装置1を制御することにより、任意の時点で撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を伝送する。これにより逐次撮影された魚眼レンズカメラ画像の全体、もしくは、魚眼レンズカメラ画像の部分領域画像を連続的に伝送することが可能である。
【0032】
図3乃至図5に示す例は、カメラ画像送信側端末装置1において、任意の時点で撮影されたカメラ画像の全体を送信する場合、及び逐次撮影されたカメラ画像の全体を連続的に送信する場合について説明している。
図3は、カメラ画像送信側端末装置1に具備される画像分割制御手段16によるカメラ画像31の分割形式の一例を示す図である。
【0033】
本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置1の画像分割制御手段16は、撮影されるカメラ画像を、画像受信側装置2より送信される第1の制御情報により規定される分割方式にしたがって1個以上の部分領域に分割する。ただし、画像受信側装置2よりカメラ画像の分割方式を指示する第1の制御情報が送信されない場合、カメラ画像送信側端末装置1の画像分割制御手段16は既知の分割方式にしたがってカメラ画像を分割する。
【0034】
前記図3に示す分割形式は、魚眼レンズカメラより撮影されるカメラ画像31の分割形式の一例であり、この図3の例では、カメラ画像31を34個の部分領域画像32に分割しており、カメラ画像31の中央上部に位置する斜線で示した1個の部分領域画像32に対応する領域位置範囲情報33は(3,1)である。
【0035】
図3の例では、各部分領域画像が正方形となるように分割しているが、分割形式として、各部分領域画像をそれぞれ任意の大きさの長方形や台形などの多角形型にする形式や、各部分領域画像を任意の曲線により規定される範囲で分割する形式等を適用することができる。
【0036】
図4は、前記画像分割制御手段16により生成される画像データフレーム30の一構成例を示す図である。
図4に示すように、画像データフレーム30は、画像符号化手段15により符号化された部分領域画像符号化データ41に、その部分領域画像に対応する領域位置範囲情報33を付加した構成となる。
【0037】
図5は、カメラ画像送信側端末装置1に具備される画像送信制御手段17による部分領域画像32の送信順序の一例を示す図である。
本実施形態のカメラ画像伝送システムにおいて、カメラ画像送信側端末装置1の画像送信制御手段17は、画像受信側装置2の制御情報送信手段27より送信される画像データフレームの送信順序を規定する第2の制御情報にしたがって画像データフレームを送信する。ただし、画像受信側装置2より画像データフレームの送信を制御する第2の制御情報が送信されない場合、カメラ画像送信側端末装置1の画像送信制御手段17は既知の送信順序にしたがって画像データフレームを送信する。
【0038】
図5は、カメラ画像31を図3の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示し、図5中の各部分領域画像32の中に記載された数字が送信順序34を示している。この図5の例では、カメラ画像31の中央上部に位置する斜線で示した一つの部分領域画像32の送信順序34は10番目である。
【0039】
また、魚眼レンズカメラ画像は、円形の画像となるため、一般の正方形に固体撮影素子が敷き詰められたイメージセンサにより入力される正方形のカメラ画像31の角部には画像情報を含まない部分が存在する。このため、図5に示すように、正方形のカメラ画像の角部に相当する部分領域画像、すなわち、図3中の領域位置範囲情報(11,11),(12,11),(11,12),(51,11),(52,11),(51,12),(11,51),(11,52),(12,52),(52,51),(51,52),(52,52)に対応する部分領域画像32には、送信順序を割り当てず、これらの部分領域画像32は送信の対象としない。
これにより、正方形のカメラ画像を全て送信する場合に比較して、送信するデータ量が削減され、魚眼レンズカメラ画像の伝送効率の向上が図れる。
【0040】
図2乃至図5に示す例において、本実施形態のカメラ画像伝送システムのカメラ画像送信側端末装置1は、画像分割制御手段16により、カメラ画像31を図3に示した複数の部分領域画像32に分割し、一つの部分領域画像32に対応する画像データを画像符号化手段15により符号化し、図4に示した画像データフレーム30を構築する。そして、画像送信制御手段17により各画像データフレーム30を、図5に示す送信順序に従って無線データ送信手段10により、画像受信側装置2へ送信する。
【0041】
画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ41を画像復号化手段21により復号化し、画像歪み補正手段22は、画像データフレームに含まれる領域位置範囲情報33を用いて部分領域画像32が有する歪みの特性を算出し、画像歪みを補正する処理を行う。そして、画像再構築手段23により、歪みが補正された部分領域画像32を領域位置範囲情報33により規定される位置にはめ込む画像再構築処理を行う。
【0042】
前述の手順でカメラ画像の伝送処理を行うことにより、最後の画像データフレーム30に対する処理が終了した時点で、即座に、魚眼レンズカメラ画像の対応する視野空間パノラマ画像が、受信画像データ記憶手段24内に構築され、出力インタフェース25を介して画像表示装置5に前記視野空間パノラマ画像を出力することができる。
【0043】
また、最後の画像データフレームが受信されるまでの間に、既に画像受信側装置2に受信され、画像再構築手段23による画像再構築処理までが終了し、受信画像データ記憶手段24に保持されている画像データを用いることにより、逐次、部分的な視野空間パノラマ画像を画像表示装置5に出力し利用することができる。
【0044】
ただし、この時点で、画像表示装置5に出力される視野空間パノラマ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、特定の色で覆い補完する、もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像から生成される画像により補完する等の処理を画像再構築手段23により行う。
【0045】
特に、VGA(Video Graphics Array)やSVGAの解像度を有する一般の画像表示装置5を用いる場合においては、視野空間パノラマ画像全体を同時に表示することは不可能であることから、画像表示装置5には視野空間パノラマ画像が部分的に表示されており、適時、制御パネル6に対するユーザ操作に応じて表示する部分領域を変更する。
【0046】
図3及び図5に示した例は、VGAやSVGAの解像度を有する一般の画像表示装置を用いる場合において、図3中の領域位置範囲情報(3,3)に対応する部分領域画像が、画像受信側装置2の画像表示装置における表示の対象となっている場合に対応する。
【0047】
この場合には、図5に示すように領域位置範囲情報(3,3)に対応する部分領域画像32の送信順序34を1番に設定する。画像受信側装置2は、1番目に受信される領域位置範囲情報(3,3)の画像データフレームに対して復号化処理及び画像歪み補正処理を行ったうえ、この画像データを即座に画像表示装置に出力する。
これにより、画像受信側装置2からカメラ画像31の送信を要求する処理を行った後から、画像表示装置5に視野空間パノラマ画像が表示されるまでの遅延時間が効果的に短縮される。
【0048】
また、本実施形態のカメラ画像伝送システムにおいては、画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ41を画像復号化手段21により復号化した後、画像歪み補正手段22による画像歪み補正処理を行わず、画像再構築手段23により領域位置範囲情報33により規定される位置にはめ込む処理を行うことも可能である。
この場合、受信画像データ記憶手段24には、視野空間パノラマ画像ではなく、魚眼レンズカメラ画像がそのまま再構築され、これを画像表示装置5に出力することができる。
【0049】
さらに、前述の視野空間パノラマ画像を生成する場合と同様に、最後の画像データフレームが受信されるまでの間に、画像受信側装置2に受信され、既に画像再構築処理が終了し受信画像データ記憶手段24に保持されている画像データを利用して、逐次、部分的な魚眼レンズカメラ画像を画像表示装置5に出力することができる。
【0050】
この時点で、画像表示装置5に出力される魚眼レンズカメラ画像は、部分的にまだ受信されていない画像を含むため、受信されていない部分については、特定の色で覆い補完する。もしくは、魚眼レンズカメラ画像を連続的に受信する場合においては、直前に受信された魚眼レンズカメラ画像中の同じ領域の部分領域画像により補完する等の処理を画像再構築手段23により行う。
【0051】
本実施形態のカメラ画像伝送システムは、一枚のカメラ画像を複数の画像データフレームに分割し送信している途中に、画像データフレームの送信順序を変更することができる。
【0052】
図6は、一枚のカメラ画像の送信中に画像データフレームの送信順序を変更する場合における画像送信制御手段17の動作フロチャート例を示す図である。
図6の動作フロチャートは、カメラ画像送信側端末装置1が、一枚のカメラ画像31全体を送信した後、連続して次に撮影されたカメラ画像31全体を送信する場合について示している。
【0053】
通常、画像送信制御手段17は、図6に示すように、既知の、もしくは、画像受信側端末装置1から送信された送信順序を制御する第2の制御情報により規定される送信順序に従って画像データフレーム30を送信して行く(S601)。画像受信側装置2は、一枚のカメラ画像31の受信中に、制御パネル6から特定の部分領域画像32の送信を要求する信号が入力された場合、制御情報送信手段27により対応する部分領域画像32の領域位置範囲情報33を含む送信順序変更を目的とした第2の制御情報を、カメラ画像送信側端末装置1に送信する。
【0054】
前記画像送信制御手段17が、前記第2の制御情報を画像受信側装置2より受信したかを調べ(S602)、前記第2の制御情報を受信していた場合(Yes)、受信した制御情報に対応する画像データフレームは未送信かを調べる(S603)。未送信であれば(Yes)、受信した制御情報に対応する画像データフレームの送信を行う(S604)。送信していなければ(No)、画像データフレーム30の送信順序を変更し、受信した第2の制御情報に含まれる領域位置範囲情報33に対応する画像データフレーム30を優先して送信する(S605)。
【0055】
次に、全ての画像データフレームの送信が完了したかを調べ(S606)、完了していれば(Yes)、魚眼レンズ視野空間画像の送信を終了し(S607)、魚眼レンズ視野空間画像の撮影処理を行う(S608)。全ての画像データフレームの送信が完了していなければ(No)、前記ステップS602に戻り、前記の処理動作を繰り返す。
【0056】
これにより、画像受信側装置2に接続される制御パネル6から特定の部分領域画像32の送信が要求された場合に、即座に、カメラ画像送信側端末装置1が、要求される部分画像領域32に対応する画像データフレーム30を送信し、画像受信側装置2において復号化処理等を行い、画像表示装置5に出力することができる。
【0057】
例えば、視野空間パノラマ画像全体を同時に表示することは不可能であるVGAやSVGAの解像度を有する一般の画像表示装置5を用いる場合、一枚のカメラ画像の送信中に、ユーザ繰作により表示する部分領域画像が変更された時に、前述した手順を用いて、新たに表示の対象となった部分領域画像の送信を優先することにより、低遅延時間で新たに表示の対象となった部分領域画像を画像表示装置5に出力することができる。
【0058】
前述の本実施形態では、カメラ画像送信側端末装置1が、常に撮影された魚眼レンズカメラ画像全体を送信する場合について述べたが、本発明のカメラ画像伝送システムでは、画像受信側装置2に接続される画像表示装置5に、カメラ画像の特定の部分領域画像をできる限り高い画像フレームレートで表示させる必要がある場合等には、カメラ画像全体ではなく、必要な部分領域画像のみを送信する。
【0059】
図7は、カメラ画像の一部の部分領域画像のみを送信する場合の、画像受信側装置2から送信される第2の制御情報35により規定される部分領域画像32の送信順序の一例を示す図である。
【0060】
図7は、カメラ画像31を図3の例にしたがって分割した場合における各部分領域画像の送信順序の一例を示している。図7中の各部分領域画像32の中に記載された数字が送信順序34を示しており、この図7の例では、カメラ画像31の中央に位置する斜線で示した一つの部分領域画像32の送信順序34は1番目である。
【0061】
図7の例では、図3における領域位置範囲情報(3,2),(4,2),(3,3),(4,3)に対応する部分領域画像以外には送信順序を割り当てず、領域位置範囲情報(3,2),(4,2),(3,3),(4,3)に対応する部分領域画像以外は送信の対象としない。
【0062】
以下に、図2乃至図4及び図7により、本実施形態のカメラ画像伝送システムにおいて、カメラ画像の一部の部分領域画像のみを送信する場合のカメラ画像伝送の手順について説明する。
【0063】
カメラ画像送信側端末装置1は、画像分割制御手段16により、カメラ画像31を図3に示した複数の部分領域画像32に分割し、一つの部分領域画像32に対応する画像データを画像符号化手段15により符号化し、図4に示した画像データフレーム30を構築する。そして、画像送信制御手段17により各画像データフレーム30を、図7に示す送信順序に従って無線データ送信手段10により、画像受信側装置2へ送信する。
【0064】
画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ41を画像復号化手段21により復号化し、画像歪み補正手段22は、画像データフレームに含まれる領域位置範囲情報33を用いて部分領域画像32が有する歪みの特性を算出し、画像歪みを補正する処理を行う。そして、画像再構築手段23により、歪みが補正された部分領域画像32を領域位置範囲情報33により規定される位置にはめ込む画像再構築処理を行う。
【0065】
また、画像受信側装置2は、受信された画像データフレーム30に含まれる部分領域画像符号化データ41を画像復号化手段21により復号化した後、画像歪み補正手段22による画像歪み補正処理を行わず、画像再構築手段23により領域位置範囲情報33により規定される位置にはめ込む処理を行う。前記画像再構築手段23で再構築された画像は受信画像データ記憶手段24に記憶される。
【0066】
また、カメラ画像送信側端末装置1は、画像受信側装置2より、任意の枚数のカメラ画像を一定の画像フレームレートで連続撮影することを指示する第3の制御情報35を受信した場合、前記第3の制御情報35により指定された撮影タイミングでカメラ画像31を連続撮影し、画像データ記憶手段14にバッファリングする。その後、画像データ記憶手段14にバッファリングされているカメラ画像31を逐次伝送する。
【0067】
この際、画像データ記憶手段14にバッファリングされている各カメラ画像31の伝送手順は、前述したカメラ画像31の伝送手順と同様であり、各カメラ画像31全体を伝送すること、もしくは、各カメラ画像31の一部の部分領域画像32を伝送することが可能である。
【0068】
以上の手順により、低速なデータ通信回線で伝送可能な画像フレームレートよりも高い画像フレームレートで連続撮影された複数のカメラ画像が必要な場合に、一時的に画像データ記憶手段14にバッファリング可能な任意の枚数分だけ、任意の画像フレームレートで連続撮影したカメラ画像を伝送することが可能となる。
【0069】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果は以下のとおりである。
(1)魚眼レンズ等を用いたカメラ装置により入力される高解像度かつ画像歪みを有するカメラ画像を、PHS等の低速なデータ通信回線を用いて伝送し、画像受信側装置の画像表示装置等に、視野空間パノラマ画像等を表示する場合に、カメラ画像送信側端末装置が撮影されたカメラ画像を複数の部分領域に分割し画像データフレームを構築し送信すること、及び処理量の多い画像歪み補正処理を処理能力の高い画像受信側装置で処理することにより、カメラ画像の分割方式及び画像データフレームの送信順序を適時、画像受信側装置から制御することができるので、低速なデータ通信回線を効率良く利用することができる。
(2)画像受信側装置がカメラ画像送信側端末装置に対してカメラ画像の送信を指示してから、画像受信側装置の画像表示装置に視野空間パノラマ画像等が出力されるまでの遅延時間を低減(短縮)することができる。
(3)カメラ画像送信側端末装置の画像データ記憶部に複数のカメラ画像をバッファリングした後に、バッファリングされたカメラ画像を送信することにより、高い画像フレームレートでのカメラ画像を得ることができる。
【図面の簡単な説明】
【図1】本発明によるカメラ画像伝送システムを利用する通信システムの構成例を示す模式図である。
【図2】本発明による実施形態のカメラ画像伝送システムの概略構成を示すブロック構成図である。
【図3】本実施形態のカメラ画像の領域分割の一例を示す図である。
【図4】本実施形態の画像データフレームの一構成例を示す図である。
【図5】本実施形態の部分領域画像の送信順序の一例を示す図である。
【図6】本実施形態の画像送信制御手段の動作フロチャートの一例を示す図である。
【図7】本実施形態のカメラ画像の領域分割の別の例を示す図である。
【符号の説明】
1…カメラ画像送信側端末装置、2…画像受信側装置、3…無線データ通信回線、4…魚眼レンズカメラ、5…画像表示装置、6…制御パネル、7…通信ネットワーク、8…PC端末、9…データ蓄積装置、10…無線データ送信手段、
11…魚眼レンズ、12…イメージセンサ、13…DSP、14…画像データ記憶手段、15…画像符号化手段、16…画像分割制御手段、17…画像送信制御手段、20…無線データ受信手段、21…画像復号化手段、22…画像歪み補正手段、23…画像再構築手段、24…受信画像データ記憶手段、25…出力インタフェース、26…入力インタフェース、27…制御情報送信手段、30…画像データフレーム、31…カメラ画像、32…部分領域画像、33…領域情報、34…送信順序、35…制御情報、41…部分領域画像符号化データ。
Claims (8)
- 撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影し、この撮影された画像を符号化し、所定のデータ通信回線を用いて伝送する画像伝送方法において、カメラ画像送信側で、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に符号化して画像データフレームを構成し、この構成された画像データフレームを画像受信側に送信し、この送信された画像データフレームを画像受信側で受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行うとともに、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行うことを特徴とするカメラ画像伝送方法。
- 請求項1に記載のカメラ画像伝送方法において、前記画像歪みの補正処理は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正し、前記領域位置範囲情報で規定される位置に部分領域画像をはめ込み、歪み補正されたカメラ画像を再構築することを特徴とするカメラ画像伝送方法。
- 請求項1又は2に記載のカメラ画像伝送方法において、前記画像受信側で、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記カメラ画像送信側が前記撮影されたカメラ画像を分割して送信する場合に、前記画像受信側は、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームの送信を行うことを特徴とするカメラ画像伝送方法。
- 請求項1乃至3のうちいずれか1項に記載のカメラ画像伝送方法において、前記画像受信側は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信し、前記画像受信側は、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信側に送信し、前記カメラ画像送信側は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームの送信を行うことを特徴とするカメラ画像伝送方法。
- カメラ画像送信手段と、該カメラ画像送信手段と通信回線を介して通信する画像受信手段とを具備する画像伝送システムにおいて、カメラ画像送信手段は、撮影対象となる実像に対してレンズの特性に依存する画像歪みを有する高解像度のカメラ画像を撮影するカメラ装置と、該カメラ装置で撮影された画像データを符号化する画像符号化手段と、前記撮影されたカメラ画像を複数個の部分領域画像に分割し、この分割された各部分領域画像毎に前記画像符号化手段により符号化するとともに各部分領域画像に対応する領域位置範囲を示す情報を付加した画像データフレームを構築する画像分割制御手段と、前記構築された画像データフレームの送信制御を行う画像送信制御手段とを具備し、前記画像受信手段は、前記送信された画像データフレームを受信し、この受信された各画像フレームに含まれる部分領域画像毎に復号化処理を行う画像復号化手段と、前記画像データフレームに含まれる領域位置範囲情報を用いて画像歪みの補正処理を行う画像歪み補正手段と、画像歪みが補正されたカメラ画像を再構築する画像再構築手段とを具備することを特徴とするカメラ画像伝送システム。
- 請求項5に記載のカメラ画像伝送システムにおいて、前記画像歪みの補正手段は、前記画像データフレームに含まれる前記領域位置範囲情報に基づき、前記画像データフレームに含まれる部分領域画像の各画素の位置情報を求め、この求められた各画素の位置情報により、前記部分領域画像の有するレンズの特性に依存した画像歪みを補正する手段からなり、前記画像再構築手段は、前記画像歪みが補正された部分領域画像を前記領域位置範囲情報で規定される位置にはめ込んで、歪み補正されたカメラ画像を再構築する手段からなることを特徴とするカメラ画像伝送システム。
- 請求項5又は6に記載のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、前記カメラ画像送信手段が前記撮影されたカメラ画像を分割して送信する場合に、前記分割された各部分領域画像の画像データフレームの送信順序を規定する送信順序制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記送信順序制御情報が受信された場合に、前記受信された前記送信順序制御情報により規定される送信順序にしたがって画像データフレームを送信する手段を具備することを特徴とするカメラ画像伝送システム。
- 請求項5乃至7のうちいずれか1項に記載のカメラ画像伝送システムにおいて、前記画像受信手段は、所望の1個の前記カメラ画像送信側に対する制御情報を送信し、もしくは複数個の前記カメラ画像送信側に対する制御情報を同時に送信する手段と、所望の時点に、前記カメラ画像の分割形式を規定する分割形式制御情報を、1個もしくは複数個の前記カメラ画像送信手段に送信する手段とを具備し、前記カメラ画像送信手段は、前記分割形式制御情報が受信された場合に、前記受信された前記分割形式制御情報により規定される分割形式にしたがって画像データフレームを送信する手段を具備することを特徴とするカメラ画像伝送システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13266399A JP3550046B2 (ja) | 1999-05-13 | 1999-05-13 | カメラ画像伝送方法及びカメラ画像伝送システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13266399A JP3550046B2 (ja) | 1999-05-13 | 1999-05-13 | カメラ画像伝送方法及びカメラ画像伝送システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000324474A JP2000324474A (ja) | 2000-11-24 |
JP3550046B2 true JP3550046B2 (ja) | 2004-08-04 |
Family
ID=15086595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13266399A Expired - Fee Related JP3550046B2 (ja) | 1999-05-13 | 1999-05-13 | カメラ画像伝送方法及びカメラ画像伝送システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3550046B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007129403A (ja) * | 2005-11-02 | 2007-05-24 | Olympus Corp | 画像符号化装置および画像処理システム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4094942B2 (ja) * | 2002-12-11 | 2008-06-04 | 日本電信電話株式会社 | 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体 |
JP2008227562A (ja) * | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、カメラ装置、およびカメラシステム |
DE102007013239A1 (de) | 2007-03-15 | 2008-09-18 | Mobotix Ag | Überwachungsanordnung |
JP6243129B2 (ja) * | 2013-03-19 | 2017-12-06 | クラリオン株式会社 | カメラ画像表示システム |
JP6540395B2 (ja) * | 2015-09-04 | 2019-07-10 | 株式会社ソシオネクスト | 画像処理方法および画像処理プログラム |
CN109714528A (zh) * | 2018-12-11 | 2019-05-03 | Tcl移动通信科技(宁波)有限公司 | 移动终端摄像头数据传输控制方法、移动终端及存储介质 |
-
1999
- 1999-05-13 JP JP13266399A patent/JP3550046B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007129403A (ja) * | 2005-11-02 | 2007-05-24 | Olympus Corp | 画像符号化装置および画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
JP2000324474A (ja) | 2000-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107249096B (zh) | 全景摄像机及其拍摄方法 | |
CN110430355B (zh) | 成像***和成像装置 | |
US10038841B1 (en) | System for streaming multiple regions deriving from a wide-angle camera | |
JP4345829B2 (ja) | 画像表示システム、画像表示装置、画像表示方法およびプログラム | |
US6539547B2 (en) | Method and apparatus for electronically distributing images from a panoptic camera system | |
US7450165B2 (en) | Multiple-view processing in wide-angle video camera | |
JP5268743B2 (ja) | 画像通信システム | |
JP2005517331A (ja) | テレビ会議アプリケーションにおける電子画像操作を提供するための装置及び方法 | |
JP2000032319A (ja) | カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 | |
JP2004023373A (ja) | 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
KR20200122323A (ko) | 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법 | |
US20140092263A1 (en) | System and method for remotely performing image processing operations with a network server device | |
KR101465112B1 (ko) | 카메라 시스템 | |
WO1999046936A1 (en) | Method and apparatus for low cost line-based video compression of digital video stream data | |
JP2011097521A (ja) | 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置 | |
KR20130122967A (ko) | 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법 | |
JP3550046B2 (ja) | カメラ画像伝送方法及びカメラ画像伝送システム | |
JP2004272578A (ja) | 撮像装置及び歪み補正方法 | |
US20180061000A1 (en) | Imaging device and method | |
JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
JP3875133B2 (ja) | 画像送信方法および装置並びにプログラム | |
US20070133899A1 (en) | Triggering an image processing function | |
JP2007324809A (ja) | ネットワークカメラ装置 | |
JP2004289225A (ja) | 撮像装置 | |
US20110134993A1 (en) | Image capturing and transmission device and image receiving and reconstruction device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040422 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110430 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120430 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |