JP2007329747A - Image processor and image processing method, and monitor system using the same - Google Patents
Image processor and image processing method, and monitor system using the same Download PDFInfo
- Publication number
- JP2007329747A JP2007329747A JP2006159926A JP2006159926A JP2007329747A JP 2007329747 A JP2007329747 A JP 2007329747A JP 2006159926 A JP2006159926 A JP 2006159926A JP 2006159926 A JP2006159926 A JP 2006159926A JP 2007329747 A JP2007329747 A JP 2007329747A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- code stream
- management data
- encoded code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、ＪＰＥＧ２０００方式による圧縮画像をネットワークにスケーラブル配信するための画像処理装置、画像処理方法、及びそれを用いた監視カメラ装置に関する。 The present invention relates to an image processing apparatus, an image processing method, and a surveillance camera apparatus using the image processing apparatus for scalable delivery of a compressed image based on the JPEG 2000 system to a network.
図１２は、従来の画像データをＪＰＥＧ２０００方式の画像圧縮技術によるデータ処理装置のブロック図であり、具体的には監視カメラシステムを示している。同図において、監視カメラシステム１は、カメラ２と、モニタ３と、サーバ４とで構成され、カメラ２が撮影し得られた画像信号がサーバ４に入力され、撮影した映像はモニタ３に表示する。サーバ４には、ＳＤＲＡＭ５、ＪＰＥＧ２０００コーデック６、ブロック並び替え回路７、ＣＰＵ８、フラッシュメモリ９等が設けられ、符号化したストリーム（符号化コードストリーム）、及びブロック並び替え処理した後のストリーム等が記憶される。これらの画像データをＳＤＲＡＭ５に記録するための制御は、ＣＰＵ８の指示を受けメモリ制御回路１０が実行して書き込まれるし、また読み出される。
FIG. 12 is a block diagram of a data processing apparatus using conventional JPEG2000 image compression technology for image data, and specifically shows a surveillance camera system. In the figure, the
ＪＰＥＧ２０００コーデック６は、画像信号をＪＰＥＧ２０００方式に従って符号化し、パケットによる情報を単位とする符号化コードストリームとしてＳＤＲＡＭ５に記憶される。ブロック並び替え回路７は、ＳＤＲＡＭ５に記憶されている符号化コードストリームをブロック単位でコピーして並べ替えを行うことによって、別の配列のストリームを生成してＳＤＲＡＭ５に記憶する。フラッシュメモリ９は、ＣＰＵ８の処理手順を記述したプログラム、画像用テーブル、再生用テーブルが格納される。画像用テーブルは、符号化する際に参照される解像度レベル数、レイヤ数、スケーラビリティが設定するパラメータが格納され、再生用テーブルは、実現したいスケーラビりティに関連する解像度、ＳＮＲの設定値が格納される。カメラで撮影された画像は、このような監視カメラシステムのサーバ４によって、画像記録、画像再生、及び画像配信が行われる。（特許文献１参照）
The JPEG 2000
さらに、ＪＰＥＧ２０００方式について説明すると、ＪＰＥＧ２０００コーデック６は、図１３に示すように矢印Ｙ１に沿ってデジタル化された圧縮画像を作成し（ステップＳａ）、この圧縮画像の各パケットをデータ解析処理し（ステップＳｂ）、パケット化した画像データの並び替え処理し（ステップＳｃ）、コピー処理してブロック並び替えストリームを作成する（ステップＳｄ）。先ず、ステップＳａでは、デジタル化した画像信号をパケット解析して画像圧縮した符号化コードストリームに変換する。この符号化コードストリームは、ヘッダＨと画像信号のパケット化したデータ領域であるビットストリームＢＳとから構成され、ヘッダＨにはコードストリームの先頭マーカが含まれるメインヘッダＭＨとタイルパートヘッダＴＨとを含み、ビットストリームＢＳには原圧縮画像のパケット化された１〜６０のビットストリームが配列し、かつビットストリームの最後に最後尾マーカであるＥＯＣが設けられている。ステップＳｄに示す複数のブロック並び替えストリームは、レイヤ（画質）１〜５のそれぞれに解像度（１／１，１／４，１／１６）を組み合わせた各画像品質に対応し、共通のメインヘッダＭＨ、タイルパートヘッダＴＨが配列し、各画像品質毎にビットストリームＢＳが配列している。
Further, the JPEG2000 system will be described. The
従来の静止画系圧縮画像を生成するＪＰＥＧ方式や動画系圧縮画像を生成するＭＰＥＧ方式では、複数のクライアントに対して異なった解像度及び画質の圧縮画像をリアルタイムに送信するのは困難であったが、ＪＰＥＧ２０００方式ではそれを可能にしている。しかし、上記ＪＰＥＧ２０００方式によるデータ処理装置では、画像信号をＪＰＥＧ２０００方式により符号化した上、さらに、予め解像度とレイヤによる画像品質毎に配信画像を作成し、スケーラブル配信を行っている。種々の画像品質に対応する各画像データは、フラッシュメモリ又はＲＡＭ（Randam Access Memory）に記憶されており、画像作成時のコピー処理時間を費し、画像データをリアルタイムにスケーラブル配信することができず、画像データをリアルタイムにスケーラブル配信するには改良の余地があった。さらに、変換した画像データを記憶するためのＲＡＭを大量に使用するといった問題があって、監視カメラと画像処理装置とを組み合わせた監視カメラ装置では高価なものとなる欠点があり、改良の余地があった。 In the conventional JPEG method for generating still image compression images and the MPEG method for generating moving image compression images, it has been difficult to transmit compressed images with different resolutions and image quality to a plurality of clients in real time. The JPEG2000 system makes this possible. However, in the data processing apparatus based on the JPEG2000 system, an image signal is encoded using the JPEG2000 system, and a distribution image is created in advance for each image quality based on resolution and layer, and scalable distribution is performed. Each image data corresponding to various image qualities is stored in flash memory or RAM (Randam Access Memory), and it takes a copy processing time at the time of image creation, and image data cannot be distributed in real time in a scalable manner. There is room for improvement in scalable distribution of image data in real time. Furthermore, there is a problem of using a large amount of RAM for storing the converted image data, and there is a drawback that the surveillance camera device combining the surveillance camera and the image processing device is expensive, and there is room for improvement. there were.
本発明は、上記課題に鑑みてなされたものであり、画像信号をＪＰＥＧ２０００方式で圧縮処理した符号化コードストリームをブロック並び替え処理やコピー処理することなく、処理時間を短縮し、しかもコピーに必要なＲＡＭを多量に使用することなく、リアルタイムにネットワークにスケーラブル配信することが可能な画像処理装置、画像配信方法、及び監視システムを提供することを目的とする。 The present invention has been made in view of the above problems, and reduces the processing time and does not need to perform a block rearrangement process or a copy process on an encoded code stream obtained by compressing an image signal using the JPEG2000 system, and is necessary for copying. An object of the present invention is to provide an image processing apparatus, an image distribution method, and a monitoring system that can perform scalable distribution over a network in real time without using a large amount of RAM.
本発明は、上記課題を達成したものであり、請求項１の発明は、カメラで撮影して得られた画像信号をＪＰＥＧ２０００方式により圧縮画像とする符号化手段と、
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各パケットの位置情報とデータサイズとによるスケーラブル配信画像管理データを作成する管理データ作成部とを備えることを特徴とする画像処理装置である。
The present invention achieves the above-mentioned problems, and the invention of
A storage unit for storing the compressed image by the encoding means;
A data analysis unit for analyzing data of the compressed image stored in the storage unit;
An image processing apparatus comprising: a management data creation unit that creates scalable delivery image management data based on position information and data size of each packet constituting the compressed image based on analysis information by the data analysis unit It is.
また、請求項２の発明は、前記圧縮画像が符号化コードストリームに変換したものであり、前記管理データが、該符号化コードストリームのマーカの位置情報及びパケットサイズ情報であることを特徴とする請求項１に記載の画像処理装置である。
The invention of
また、請求項３の発明は、前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記管理データに基づいて、所定の画像品質の画像データを読み出して送出する送出手段を備えたことを特徴とする請求項２に記載の画像処理装置である。
Further, the invention of
また、請求項４の発明は、前記管理データが管理データテーブルを形成することを特徴とする請求項１〜３の何れかに記載の画像処理装置である。 According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the management data forms a management data table.
また、請求項５の発明は、カメラで撮影して得られる画像信号をＪＰＥＧ２０００方式による符号化手段により圧縮画像とし、該圧縮画像をデータ解析部にてデータ解析処理し、該データ解析部による解析情報に基づいて、管理データ作成部が該圧縮画像を構成する各パケットの位置情報及びデータサイズによるスケーラブル配信画像管理データを作成することを特徴とする画像処理方法である。 According to a fifth aspect of the present invention, an image signal obtained by photographing with a camera is converted into a compressed image by JPEG2000 encoding means, the compressed image is subjected to data analysis processing by a data analysis unit, and analysis by the data analysis unit is performed. A management data creation unit creates scalable delivery image management data based on position information and data size of each packet constituting the compressed image based on the information.
また、請求項６の発明は、前記圧縮画像が符号化コードストリームに変換したものであり、前記管理データが該符号化コードストリームのマーカの位置情報及びパケットサイズ情報であることを特徴とする請求項４に記載の画像処理方法である。
According to a sixth aspect of the present invention, the compressed image is converted into an encoded code stream, and the management data is marker position information and packet size information of the encoded code stream.
また、請求項７の発明は、請求項１〜４の何れかに記載の画像処理装置において、前記カメラが前記画像処理装置と一体であり、該カメラからの画像信号をデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの管理データとに基づいて、スケーラブル配信することを特徴とする監視システムである。 According to a seventh aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, the camera is integrated with the image processing apparatus, and the image signal from the camera is converted into a digital signal. The monitoring system is characterized in that scalable delivery is performed based on an encoded code stream that is a compressed image according to the JPEG 2000 system and management data of the encoded code stream.
また、請求項８の発明は、請求項１〜４の何れかに記載の画像処理装置において、前記カメラが前記画像処理装置と別体であり、該カメラからの画像信号をビデオデコーダでデジタル信号に変換してＪＰＥＧ２０００方式により圧縮画像である符号化コードストリームと該符号化コードストリームの管理データとに基づいて、スケーラブル配信することを特徴とする監視システムである。 According to an eighth aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, the camera is separate from the image processing apparatus, and an image signal from the camera is converted into a digital signal by a video decoder. This is a monitoring system characterized in that scalable distribution is performed based on an encoded code stream that is a compressed image and management data of the encoded code stream according to the JPEG 2000 system.
請求項１の発明では、カメラで撮影して得られた画像信号をＪＰＥＧ２０００方式により圧縮画像とする符号化手段と、
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各パケットの位置情報とデータサイズとによるスケーラブル配信画像管理データを作成する管理データ作成部とを備えることを特徴とする画像処理装置であるので、画像信号とこの画像信号の符号化した圧縮画像とを記憶部に記憶し、符号化した圧縮画像の管理データのみを作成するのみで、この管理データに基づいて、記憶部に記憶された符号化された圧縮画像から必要な情報を取得して要求される画像品質の画像データをスケーラブル配信することができ、記憶部の膨大な記憶容量を用意する必要がないし、記憶部に符号化された圧縮画像のブロック並び替え画像を記憶する処理時間が省略することができ、画像データをリアルタイムに配信することができるし、端末の表示能力に応じた画像データをインターネットにスケーラブル配信することができる利点がある。
According to the first aspect of the present invention, there is provided encoding means for converting an image signal obtained by photographing with a camera into a compressed image by the JPEG2000 method;
A storage unit for storing the compressed image by the encoding means;
A data analysis unit for analyzing data of the compressed image stored in the storage unit;
An image processing apparatus comprising: a management data creation unit that creates scalable delivery image management data based on position information and data size of each packet constituting the compressed image based on analysis information by the data analysis unit Therefore, the image signal and the compressed image encoded by the image signal are stored in the storage unit, and only the management data of the encoded compressed image is created, and the image data is stored in the storage unit based on the management data. Therefore, it is possible to obtain necessary information from the encoded compressed image and distribute the image data of the required image quality in a scalable manner, without having to prepare an enormous storage capacity of the storage unit. The processing time for storing the block rearranged image of the compressed image can be omitted, the image data can be distributed in real time, Image data corresponding to 示能 force can be advantageously be scalable deliver the Internet.
また、請求項２の発明では、前記圧縮画像が符号化コードストリームに変換したものであり、前記管理データが、該符号化コードストリームのマーカの位置情報及びパケットサイズ情報であることを特徴とする請求項１に記載の画像処理装置であるので、マーカの位置情報及びパケットサイズ情報による管理データに基づいて、スケーラブル配信するための画像データを記憶部に記憶するための処理時間を省略することができ、画像データをリアルタイムにスケーラブル配信することができる利点がある。
The invention according to
また、請求項３の発明では、前記記憶部に記憶された前記圧縮画像の符号化コードストリームから前記管理データに基づいて、所定の画像品質の画像データを読み出して送出する送出手段を備えたことを特徴とする請求項２に記載の画像処理装置であるので、画像データをリアルタイムにスケーラブル配信することができる利点がある。
The invention of
また、請求項４の発明では、前記管理データが管理データテーブルを形成することを特徴とする請求項１〜３の何れかに記載の画像処理装置であるので、要求された画像品質（解像度、レイヤ）に応じて管理データのアドレスとサイズとから対応するビットストリームを呼び出して配列した画像データを配信することができ、処理時間が短くリアルタイムに画像データをスケーラブル配信することができる利点がある。 According to a fourth aspect of the present invention, since the management data forms a management data table, the image processing apparatus according to any one of the first to third aspects, the requested image quality (resolution, The image data arranged by calling the corresponding bit stream from the address and size of the management data according to the layer) can be distributed, and there is an advantage that the image data can be distributed in real time with a short processing time.
また、請求項５の発明では、カメラで撮影して得られる画像信号をＪＰＥＧ２０００方式による符号化手段により圧縮画像とし、該圧縮画像をデータ解析部にてデータ解析処理し、該データ解析部による解析情報に基づいて、管理データ作成部が該圧縮画像を構成する各ビットストリームの位置情報及びデータサイズによるスケーラブル配信画像管理データを作成することを特徴とする画像処理方法であるので、圧縮画像である符号化コードストリームを画像品質毎に変換して記憶部に記憶することなく、符号化コードストリームを構成するマーカ位置情報及びパケットサイズを管理データとして記憶することで、要求される画像品質（解像度、レイヤ）に応じ、必要なビットストリームを組み合わせて配列した画像データをスケーラブル配信することができる利点がある。 According to the fifth aspect of the present invention, an image signal obtained by photographing with a camera is converted into a compressed image by JPEG2000 encoding means, the compressed image is subjected to data analysis processing by the data analysis unit, and the analysis by the data analysis unit is performed. This is an image processing method characterized in that the management data creation unit creates scalable delivery image management data based on the position information and data size of each bit stream constituting the compressed image based on the information. By storing the marker position information and the packet size constituting the encoded code stream as management data without converting the encoded code stream for each image quality and storing it in the storage unit, the required image quality (resolution, Depending on the layer, the image data arranged by combining the necessary bitstreams is scalable. There is an advantage that can be.
また、請求項６の発明では、前記圧縮画像が符号化コードストリームに変換したものであり、前記管理データが該符号化コードストリームのマーカの位置情報及びパケットサイズ情報であることを特徴とする請求項４に記載の画像処理方法であるので、圧縮画像である符号化コードストリームは、ヘッダの先頭マーカ等から開始し、ＥＯＣマーカで終了する形式からなり、各マーカ位置をアドレスにより特定することが可能であり、各マーカのアドレス情報及びそのパケットサイズ情報を管理データとして画像品質（解像度、レイヤ）を指定すれば、要求される画像品質の符号化コードストリームを簡単にリアルタイムにスケーラブル配信することが可能である。
The invention according to
また、請求項７の発明では、請求項１〜４の何れかに記載の画像処理装置において、前記カメラが前記画像処理装置と一体であり、該カメラからの画像信号をデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの管理データとに基づいて、スケーラブル配信することを特徴とする監視システムであるので、圧縮画像を端末側（クライアント）の表示能力に応じてスケーラブル配信することができる利点があり、画像をリアルタイムに送出することができる利点がある。 According to a seventh aspect of the present invention, in the image processing device according to any one of the first to fourth aspects, the camera is integrated with the image processing device, and the image signal from the camera is converted into a digital signal. Since the monitoring system is characterized in that scalable delivery is performed based on an encoded code stream that is a compressed image according to the JPEG 2000 system and management data of the encoded code stream, the display capability of the terminal side (client) for the compressed image There is an advantage that scalable distribution can be performed according to the above, and there is an advantage that images can be sent in real time.
また、請求項８の発明では、請求項１〜４の何れかに記載の画像処理装置において、前記カメラが前記画像処理装置と別体であり、該カメラからの画像信号をビデオデコーダでデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの管理データとに基づいて、スケーラブル配信することを特徴とする監視システムであるので、圧縮画像を端圧側（クライアント）の表示能力に応じてスケーラブル配信することができる利点があり、画像を遠隔地へリアルタイムに送出することがである。また、監視区域にネットワーク用のカメラを複数設置し、各カメラからの画像を画像処理装置で処理し、画像圧縮して記録するとともに、各画像をスケーラブル配信することができる利点があり、また画像をリアルタイムに送出することができる。 According to an eighth aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, the camera is separate from the image processing apparatus, and an image signal from the camera is converted into a digital signal by a video decoder. Since the monitoring system is characterized in that scalable distribution is performed based on an encoded code stream that is a compressed image according to the JPEG 2000 system and management data of the encoded code stream, the compressed image is transferred to the end pressure side (client ) Can be delivered in a scalable manner according to the display capability, and an image can be sent to a remote place in real time. In addition, there are the advantages that multiple cameras for the network are installed in the surveillance area, the images from each camera are processed by the image processing device, the images are compressed and recorded, and each image can be distributed in a scalable manner. Can be sent in real time.
以下、本発明に係る画像処理装置及び画像配信方法の実施形態について図面を参照して説明する。なお、図１は本発明に係る画像処理装置の一実施形態であるネットワークカメラ装置を示すブロック図である。図２は本発明に係る画像処理装置の他の実施形態であるネットワ−クエンコーダ装置の実施形態を示すブロック図である。図３は本発明の一実施形態を示す画像処理方法の概要を示す処理フローである。図４（ａ），（ｂ）は各処理フローを説明する処理フローである。図５は本発明のスケーラブル配信画像作成処理を示し、符号化コードストリームから管理データまでのパケット構成図を示している。図６はスケーラブル配信する際の画像データを説明するパケット構成図である。図７はスケーラブル配信する際の画像品質で示した画像データのパケット構成図である。図８は指定された画像品質のパケット構成図である。図９はスケーラブル配信画像管理データをアドレスで示すパケット構成図であり、管理データテーブルに対応する。 Embodiments of an image processing apparatus and an image distribution method according to the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a network camera apparatus which is an embodiment of an image processing apparatus according to the present invention. FIG. 2 is a block diagram showing an embodiment of a network encoder apparatus which is another embodiment of the image processing apparatus according to the present invention. FIG. 3 is a processing flow showing an outline of the image processing method according to the embodiment of the present invention. FIGS. 4A and 4B are process flows for explaining each process flow. FIG. 5 shows a scalable delivery image creation process of the present invention, and shows a packet configuration diagram from an encoded code stream to management data. FIG. 6 is a packet configuration diagram for explaining image data at the time of scalable delivery. FIG. 7 is a packet configuration diagram of image data indicated by image quality at the time of scalable delivery. FIG. 8 is a packet configuration diagram of the designated image quality. FIG. 9 is a packet configuration diagram showing scalable delivery image management data by address, and corresponds to the management data table.
図１は、本発明の画像処理装置の一実施形態であるネットワークカメラ装置の例を示すブロック図である。同図に示すように、ネットワークカメラ装置１１は、撮像部と圧縮部とが一体となっており、カメラ１１は撮影した画像信号がデジタルＩ／Ｆ部１３を通してデジタル化された画像信号とし、この画像信号がＪＰＥＧ２０００コーデック（以下、符号化手段と称する）１４に入力される。符号化手段１４では、ＪＰＥＧ２０００方式に基づいて画像信号を圧縮する。符号化手段１４によって圧縮されたＪＰＥＧ２０００画像（以下、圧縮画像と称する）は、ＣＰＵ１５による制御によって、ＳＤＲＡＭ（Synchronous ＤＲＡＭ）等の記憶部１６に書き込まれる。記憶部１６に保存された圧縮画像は、スケーラブル配信をするために、データ解析処理部１７にてデータ解析が行われ、このデータ解析情報に基づいて、スケーラブル配信画像管理部１８にてスケーラブル画像配信管理データが作成される。フラッシュＲＯＭ１９はネットワークカメラ１１を動作させるための制御プログラムが格納されている。要求された品質画像の画像データは、既存のＡＰＩ（Application Program Interface）の送出手段を経てネットワークＩ／Ｆ２０を介し配信される。なお、スケーラブル配信とは、例えばＨＤＴＶ受信機、パーソナルコンピュータ、携帯電話等の受信端末（クライアント）が自分の表示能力に応じて圧縮された画像データを受信し、所望の画像品質の画像を復号し表示することができる画像データの配信を意味している。
FIG. 1 is a block diagram showing an example of a network camera apparatus which is an embodiment of an image processing apparatus of the present invention. As shown in the figure, the
図２は、本発明の画像処理装置の他の実施形態であるネットワークエンコーダ装置の例を示すブロック図である。図２に示すように、ネットワークエンコーダ装置１１′は、撮像部と圧縮部とが分離した構成であり、カメラ１２はネットワークエンコーダ装置１１′に接続されている。カメラ１２で撮影された映像信号は、アナログＩ／Ｆ部２１を介してビデオデコーダ２２に入力されてデジタル化された画像信号に変換され、この画像信号がＪＰＥＧ２０００コーデック（符号化手段）１４に入力される。ＪＰＥＧ２０００コーデックでは、先に説明したように、画像信号を圧縮し、ＪＰＥＧ２０００画像（以下、圧縮画像と称する）とし、ＣＰＵ１５による制御によって、ＳＤＲＡＭ（Synchronous ＤＲＡＭ）１６等の記憶部に書き込まれる。記憶部１６に保存された圧縮画像は、スケーラブル配信をするために、データ解析処理部１７にてデータ解析が行われ、このデータ解析情報に基づいて、スケーラブル配信画像管理部１８にてスケーラブル画像配信管理データを作成する。要求された品質画像の画像データが、先に説明したように、ＡＰＩ（Application Program Interface）の送出手段を経てネットワークＩ／Ｆ２０を介し配信される。なお、フラッシュＲＯＭ１９はネットワークエンコーダ装置１１′を動作させるための制御プログラムが格納されている。
FIG. 2 is a block diagram showing an example of a network encoder apparatus which is another embodiment of the image processing apparatus of the present invention. As shown in FIG. 2, the
続いて、ネットワークカメラ装置１１及びネットワークエンコーダ装置１１′における画像処理方法について、図３〜図９を参照して説明する。本発明の画像処理方法は、主に図１，図２に示した符号化手段１４、データ解析部１７、及びスケーラブル配信画像処理部１８による画像処理が行われる。先ず、符号化手段１４は、カメラ１２で撮影された原画像を変換して符号化コードストリームにする画像圧縮処理手段であり、この処理手段は図１３で説明したように、先頭マーカが含まれるメインヘッダＭＨとタイルヘッダＴＨからなるヘッダＨ、１〜６０のビットストリームが配列したビットストリームＢＳ、最後尾マーカであるＥＯＣからなる符号化コードストリームを作成する符号化手段である。
Next, an image processing method in the
本実施形態の画像処理方法は、図３に示したように、ステップＳ１〜Ｓ４からなり、ステップＳ１ではデータ解析処理部１７が記憶部１６に書き込まれた符号化コードストリーム（ＪＰＥＧ２０００画像）を取得し、ステップＳ２にて、データ解析処理を実行し（図５のステップＳＢに対応）、続いて、ステップＳ３に進み、スケーラブル配信画像管理部１８にてスケーラブル配信画像管理データ作成処理を実行し、スケーラブル配信画像管理部１８内のバッファメモリにスケーラブル配信画像管理データを作成する（図５のステップＳＣに対応）。なお、ステップＳ４では、所望の画像品質の要求に対してスケーラブル配信画像管理データに基づいて、記憶部１６に記憶されている符号化コードストリームから所望の画像品質の画像データを組み合わせて配列した画像データを配信する。また、ステップＳ４のスケーラブル配信において、低品質画像から高品質画像までの画像データを配信して端末側（クライアント）にて端末側の表示能力に応じ画像データを選択して表示するようにしてもよい。
As shown in FIG. 3, the image processing method of this embodiment includes steps S1 to S4. In step S1, the data
次に、データ解析部１７によるデータ解析処理について、図４（ａ）を参照して説明する。なお、圧縮画像の符号化コードストリームの概要は図５のステップＳＡに示した。符号化コードストリームは、例えば、プログレッション方式としてＬＲＣＰプログレッション（品質の段階的改善を目的）を採用し、解像度数が３、レイヤ数が５、圧縮方式がロッシー９×７（９×７変換のウェーブレット変換）とし、このＬＲＣＰプログレッションでは、レイヤ（Ｌ）、解像度レベル（Ｒ）、コンポーネット（Ｃ）、位置（Ｐ）の順序でパケット群が配列され、ＬＲＣＰ配列ストリームを形成している。他には、ＲＬＣＰプログレッション（解像度の階段的改善を目的）があり、ＲＬＣＰ配列ストリームを形成する。因みに、従来例では、ＬＲＣＰ配列ストリームからＲＬＣＰ配列ストリームにブロック並び替え変換処理を行っているために、並び替えのための処理時間を要していた。
Next, data analysis processing by the
先ず、ステップＳ５において、符号化コードストリームからマーカ位置の取得が行われる。符号化コードストリームでは、ヘッダＨを構成するメインヘッダＭＨとタイルパートヘッダＴＨ等との各ヘッダに先頭マーカが設けられ、ヘッダＨに続いて画像データである１〜６０個のパケットからなるビットストリームとコードストリームの最後尾マーカとで構成されており、最後尾マーカを除くマーカの位置情報（アドレス）及びパケットサイズが、データ解析部１７のデータ解析処理により取得される。取得したマーカ位置情報は、データ解析部１７に設けたバッファメモリに格納される。
First, in step S5, the marker position is acquired from the encoded code stream. In the encoded code stream, a head marker is provided in each header such as a main header MH and a tile part header TH constituting the header H, and a bit stream including 1 to 60 packets of image data following the header H. The position information (address) and the packet size of the marker excluding the last marker are acquired by the data analysis processing of the
続いて、ステップＳ６において、パケット解析処理が行われる。このパケット解析処理では、ヘッダＨに続いて画像データである１〜６０個のパケットからなるビットストリームの各パケットの位置情報（アドレス）と各パケットのサイズが、データ解析部１７のデータ解析処理により取得される。取得した位置情報は、データ解析部１７に設けたバッファメモリに格納される。
Subsequently, in step S6, packet analysis processing is performed. In this packet analysis process, the position information (address) of each packet of the bit stream consisting of 1 to 60 packets that are image data following the header H and the size of each packet are obtained by the data analysis process of the
続いて、ステップＳ７に進み、符号化コードストリームの最後尾マーカ（ＥＯＣ）の位置情報（アドレス）を取得する。最後尾マーカ（ＥＯＣ）の位置は、圧縮画像のコードストリームを構成する最終パケットから２つ前のアドレスになる。取得したマーカ位置情報は、データ解析部１７に設けたバッファメモリに格納される。
Then, it progresses to step S7 and acquires the positional information (address) of the tail marker (EOC) of an encoding code stream. The position of the end marker (EOC) is an address two before the last packet constituting the code stream of the compressed image. The acquired marker position information is stored in a buffer memory provided in the
次に、スケーラブル配信画像管理部１８によるスケーラブル画像管理データの作成について、図４（ｂ）の処理フローを参照して説明する。スケーラブル配信画像管理部１８では、解像度数にレイヤ数を乗じた数の管理データを作成し、端末側（クライアント）から指定された画像を管理データに基づいて、符号化コードストリームからパケット化された各画像データを取得して各画像品質の画像データが送出できるように、管理データが作成される。
Next, creation of scalable image management data by the scalable delivery
先ず、ステップＳ８では、ＪＰＥＧ２０００圧縮画像の符号化コードストリームのヘッダと各マーカのサイズと各マーカの先頭アドレスが管理バッファメモリ１〜３にセットされる。この管理バッファメモリ１〜３には、符号化コードストリームを特定できるマーカのアドレスとサイズとが記録される。続いて、ステップＳ９では、管理バッファメモリ４〜８に、ビットストリーム１〜６０の各パケットデータのサイズと先頭アドレスが記録される。続いて、ステップＳ１０にて、符号化コードストリームの最後尾マーカ（ＥＯＣ）の位置情報（アドレス）とサイズを管理バッファメモリ９にセットし、ステップＳ１１に進み、ステップＳ８からＳ１０の管理データを指定された解像度、レイヤの圧縮画像サイズを、後述する図９の管理データにセットする。
First, in step S8, the header of the encoded code stream of the JPEG2000 compressed image, the size of each marker, and the start address of each marker are set in the management buffer memories 1-3. In the
以下、本発明におけるスケーラブル配信するための画像管理データの記録形式について、図６〜図９を参照し説明する。図６〜図９は、符号化コードストリームの画像データが配列するビットストリーム（パケット）１〜６０のパケット構成について、解像度とレイヤ（画質）との関係で示している。先ず、図６は、解像度（画像サイズ）が１／１６，１／４，１／１とレイヤ（画質）１〜５との関係に基づいて、パケット番号（１〜６０）で示しており、レイヤ数の数値が大きい程、画質が良好なものとなり、解像度は画像サイズを表し、レイヤが同じ数であれば同一画質であり、画像サイズ１／１は画像サイズ１／１６より大きく原サイズである。例えば、解像度１／１６でレイヤ１の画像は、パケット番号１〜６で構成されるビットストリームから構成され、解像度１／１でレイヤ１の画像は、パケット番号１〜１２で構成されるビットストリームから構成される。また、解像度１／１６でレイヤ２の画像は、パケット番号１〜６＋１３〜１８で構成されるビットストリームから構成され、解像度１／１でレイヤ２の画像は、パケット番号１〜２４で構成されるビットストリームから構成される。
Hereinafter, a recording format of image management data for scalable delivery according to the present invention will be described with reference to FIGS. 6 to 9 show the packet configurations of bit streams (packets) 1 to 60 in which the image data of the encoded code stream is arranged in relation to the resolution and the layer (image quality). First, FIG. 6 shows packet numbers (1-60) based on the relationship between resolution (image size) of 1/16, 1/4, 1/1 and layers (image quality) 1-5. The larger the number of layers, the better the image quality. The resolution represents the image size. If the number of layers is the same, the image quality is the same. The
因みに、ＪＰＥＧ２０００方式では、パケット化された画像信号にウェーブレット変換を実行し、画像信号は水平（Ｈ）及び垂直方向（Ｌ）に所定回数のサブバンド分解を実行する。サブバンド分解を行う回数が３の場合、原画像（０ＬＬ）が４つのサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分解され、次に１ＬＬサブバンドが４つのサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）に分解され、さらに２ＬＬサブバンドが４つのサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）に分解される。 Incidentally, in the JPEG2000 system, wavelet transform is performed on a packetized image signal, and the image signal is subjected to subband decomposition a predetermined number of times in the horizontal (H) and vertical directions (L). When the number of subband decompositions is 3, the original image (0LL) is decomposed into four subbands (1LL, 1HL, 1LH, 1HH), and then the 1LL subband is converted into four subbands (2LL, 2HL, 2LH). , 2HH), and the 2LL subband is further decomposed into four subbands (3LL, 3HL, 3LH, 3HH).
図６のレイヤ１，解像度１／１で画像信号（０ＬＬ）をウェーブレット変換した場合、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの１０個のサブバンドに分解されることになる。パケット（ビットストリーム）１２が１ＨＨ、１１が１ＬＨ、１０が１ＨＬ、９が２ＨＨ、８がＬＨ、７が２ＨＬ、６が３ＨＨ、５が３ＬＨ、４が３ＨＬ、３〜１が３ＬＬである。同一レイヤにおいて、各解像度において共通パケット（ビットストリーム）（１ＬＬ）が存在する。図７の関係図は、解像度（１／１６，１／４，１／１）とレイヤ（画質）１〜５の関係をビットストリーム（パケット）番号で示している。図８はさらにビットストリーム（パケット）番号を集約して示したものであり、最終的に、図９の管理データが作成され、管理データテーブルが管理バッファメモリに記憶される。
When the wavelet transform is performed on the image signal (0LL) at the
図９のパケット（ビットストリーム）の管理データは、レイヤ毎に解像度の画像品質の画像データを読み出す際のビットストリームの先頭アドレスとそのパケットサイズが書き込まれている。レイヤ１で解像度１／１６の場合、管理バッファメモリ４にビットストリーム１の先頭アドレスとビットストリーム１〜６までの合計サイズが記録されている。レイヤ数が１〜５であり、各レイヤ毎に解像度が３種類であるので、１５種類の管理データが作成される。
The management data of the packet (bit stream) in FIG. 9 is written with the head address of the bit stream and the packet size when reading the image data of the resolution image quality for each layer. When the resolution is 1/16 in
本実施形態の画像処理装置では、図９の管理データがスケーラブル配信画像管理処理部１８の管理バッファメモリに記憶され、この管理データに基づいて、端末から要求される画像品質（レイヤ数及び解像度）の画像データを読み出すことができる。例えば、レイヤ数５で、解像度１／１であれば、管理バッファメモリ４からビットストリームリーム１のアドレスを読み取り、ビットストリーム１〜６０のサイズを読み取り、ＪＰＥＧ２０００方式で画像圧縮された符号化コードストリームから必要なビットストリームを読み出して所望の画像データのパケット配列からなる画像データを送出することができる。
In the image processing apparatus of the present embodiment, the management data of FIG. 9 is stored in the management buffer memory of the scalable delivery image
このように、本実施形態では、従来のようにブロック並び替えしたビットストリームを記憶することなく、上記のような管理データを作成することによって、要求される解像度、レイヤ数の画像データを管理データに基づいて、符号化コードビットストリームから必要なパケットを読み出して配列したビットストリームからなる画像データを作成することができ、画像データを記憶処理するための処理時間を省略することが可能であり、画像をリアルタイムに配信することが可能である。また、種々の画像品質であり、所望のサイズの圧縮した画像データを作成してスケーラブル配信することができる。 As described above, in the present embodiment, the image data having the required resolution and the number of layers is managed by creating the management data as described above without storing the bit stream in which the blocks are rearranged as in the past. Based on the above, it is possible to create image data consisting of a bit stream in which necessary packets are read out from an encoded code bit stream and arranged, and processing time for storing image data can be omitted, Images can be distributed in real time. Moreover, it is possible to create compressed image data of a desired size and deliver it in a scalable manner with various image qualities.
次に、本実施形態のネットワークカメラ装置を利用したネットワークカメラシステムについて、図１０，図１１を参照し説明する。先ず、図１０のネットワークカメラシステムを説明する。このネットワークカメラシステムは最も単純な監視システムを示し、ネットワークカメラ装置１１とパソコン２１はルーター２２を介してＬＡＮ接続されている。ネットワークカメラ装置１１は監視区域を撮影し、ネットワークカメラ装置１１でＪＰＥＧ２００方式でデジタル化した原画像信号を画像圧縮し、符号化コードストリームとし、符号化コードストリームのデータ解析をして、マーカ位置情報とサイズの管理データを作成し、クライアントの要求に応じて、この管理データに基づく要求の解像度、レイヤ数のスケーラブル配信画像をインターネットに配信する。ネットワークカメラ装置１１とＬＡＮ接続されたパソコン２１は高画質Ａの画像を解像度１／１でモニタで確認することが可能であり、インターネット２３を介してパソコン２５のモニタでは、画像品質の低い画質Ｃであり、解像度１／４の画像を表示させることができ、このようにカメラ画像をスケーラブル配信することができる。無論、パソコン２５の表示能力が高能力であれば、高画質Ａでサイズ１／１で表示することも可能である。
Next, a network camera system using the network camera device of the present embodiment will be described with reference to FIGS. First, the network camera system of FIG. 10 will be described. This network camera system is the simplest monitoring system, and the
また、図１１は、ルータ２２に多数のネットワークカメラ装置１１１〜１１ｎがＬＡＮ接続され、さらに、ネットワークレコーダ２６及びパソコン２７がＬＡＮ接続されている。ネットワークカメラ装置１１１〜１１ｎは、多数の管理区域が監視され、各監視区域の画像データが管理データとともにネットワークレコーダ２６に格納され、ネットワークカメラ装置１１１〜１１ｎはスケーラブル配信することができる。パソコン２７のモニタは高画質Ａの画像を解像度１／１で確認することが可能であり、インターネット２３を介してパソコン２５のモニタは画像品質の低い画質Ｃ・解像度１／４の画像を表示させることができる。無論、パソコン２５の表示能力が高能力であれば、高画質Ａでサイズ１／１で表示することも可能である。
In FIG. 11, a number of
本発明の活用例としては、画像データをリアルタイムにスケーラブル配信することが可能であり、監視カメラシステム、遠隔診断システム等の画像を配信する全ての分野で利用することが可能である。また、インターネットを介することなく、ＬＡＮ接続したシステム、或いは携帯電話、ハイビジョンテレビ等に画像配信する全ての用途に利用することが可能であり、これらが混在するシステムにも利用することが可能である。 As an application example of the present invention, it is possible to distribute image data in a scalable manner in real time, and it can be used in all fields for distributing images, such as surveillance camera systems and remote diagnosis systems. In addition, it can be used for all applications that distribute images to a LAN-connected system, a mobile phone, a high-definition television, or the like without going through the Internet, and can also be used for a system in which these are mixed. .
１１，１１１〜１１ｎ ネットワークカメラ装置
１２ カメラ
１３ デジタルＩ／Ｆ部
１４ ＪＰＥＧ２０００コーダック（符号化手段）
１５ ＣＰＵ
１６ 記憶部（ＳＤＲＡＭ）
１７ データ解析処理部
１８ スケーラブル配信画像管理処理部
１９ フラッシュＲＯＭ
２０ ネットワークＩ／Ｆ部
２１ アナログＩ／Ｆ
２２ ビデオデコーダ
２３ インターネット
11, 11 1 to 11n
15 CPU
16 Storage unit (SDRAM)
17 Data
20 Network I /
22
Claims (8)
該符号化手段による該圧縮画像を記憶する記憶部と、
該記憶部に格納した該圧縮画像をデータ解析するデータ解析部と、
該データ解析部による解析情報に基づいて、該圧縮画像を構成する各パケットの位置情報とデータサイズとによるスケーラブル配信画像管理データを作成する管理データ作成部とを備えることを特徴とする画像処理装置。 Encoding means for converting an image signal obtained by photographing with a camera into a compressed image by the JPEG2000 method;
A storage unit for storing the compressed image by the encoding means;
A data analysis unit for analyzing data of the compressed image stored in the storage unit;
An image processing apparatus comprising: a management data creation unit that creates scalable delivery image management data based on position information and data size of each packet constituting the compressed image based on analysis information by the data analysis unit .
前記カメラが前記画像処理装置と一体であり、該カメラからの画像信号をデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの管理データとに基づいて、スケーラブル配信することを特徴とする監視システム。 The image processing apparatus according to any one of claims 1 to 4,
The camera is integrated with the image processing device, converts an image signal from the camera into a digital signal, and is based on an encoded code stream that is a compressed image according to the JPEG2000 system and management data of the encoded code stream. A monitoring system characterized by scalable distribution.
前記カメラが前記画像処理装置と別体であり、該カメラからの画像信号をビデオデコーダでデジタル信号に変換してＪＰＥＧ２０００方式による圧縮画像である符号化コードストリームと該符号化コードストリームの管理データとに基づいて、スケーラブル配信することを特徴とする監視システム。 The image processing apparatus according to any one of claims 1 to 4,
The camera is separate from the image processing device, an image signal from the camera is converted into a digital signal by a video decoder, and an encoded code stream that is a compressed image according to the JPEG2000 system, and management data of the encoded code stream, -Based monitoring system characterized by scalable distribution.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006159926A JP4740800B2 (en) | 2006-06-08 | 2006-06-08 | Image processing apparatus, image processing method, and monitoring system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006159926A JP4740800B2 (en) | 2006-06-08 | 2006-06-08 | Image processing apparatus, image processing method, and monitoring system using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007329747A true JP2007329747A (en) | 2007-12-20 |
| JP4740800B2 JP4740800B2 (en) | 2011-08-03 |
Family
ID=38929912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006159926A Expired - Fee Related JP4740800B2 (en) | 2006-06-08 | 2006-06-08 | Image processing apparatus, image processing method, and monitoring system using the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4740800B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101170438B1 (en) | 2010-09-08 | 2012-08-09 | 이경민 | Communication network adapter for image transmission using memory shuffling |
| CN105141960A (en) * | 2015-06-17 | 2015-12-09 | 西安空间无线电技术研究所 | Method for information transmission based on JPEG2000 compressed code stream |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004153621A (en) * | 2002-10-31 | 2004-05-27 | Ricoh Co Ltd | Code string converting device, camera system, image display system, image editing system, program and storage medium |
| JP2004192140A (en) * | 2002-12-09 | 2004-07-08 | Sony Corp | Data communication system, data transmitting device, data receiving device and method, and computer program |
| JP2004254133A (en) * | 2003-02-20 | 2004-09-09 | Ricoh Co Ltd | Moving image reproduction system, moving image reproducing device, moving image transmitter, moving image reproduction method, program and recording medium |
| JP2005012685A (en) * | 2003-06-20 | 2005-01-13 | Canon Inc | Image processing method and image processing apparatus |
| JP2005110145A (en) * | 2003-10-02 | 2005-04-21 | Ricoh Co Ltd | Code string converter, code string converting method, photographing system, image display system, monitoring system, program, and information recording |
-
2006
- 2006-06-08 JP JP2006159926A patent/JP4740800B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004153621A (en) * | 2002-10-31 | 2004-05-27 | Ricoh Co Ltd | Code string converting device, camera system, image display system, image editing system, program and storage medium |
| JP2004192140A (en) * | 2002-12-09 | 2004-07-08 | Sony Corp | Data communication system, data transmitting device, data receiving device and method, and computer program |
| JP2004254133A (en) * | 2003-02-20 | 2004-09-09 | Ricoh Co Ltd | Moving image reproduction system, moving image reproducing device, moving image transmitter, moving image reproduction method, program and recording medium |
| JP2005012685A (en) * | 2003-06-20 | 2005-01-13 | Canon Inc | Image processing method and image processing apparatus |
| JP2005110145A (en) * | 2003-10-02 | 2005-04-21 | Ricoh Co Ltd | Code string converter, code string converting method, photographing system, image display system, monitoring system, program, and information recording |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101170438B1 (en) | 2010-09-08 | 2012-08-09 | 이경민 | Communication network adapter for image transmission using memory shuffling |
| CN105141960A (en) * | 2015-06-17 | 2015-12-09 | 西安空间无线电技术研究所 | Method for information transmission based on JPEG2000 compressed code stream |
| CN105141960B (en) * | 2015-06-17 | 2018-03-09 | 西安空间无线电技术研究所 | A kind of method that information transfer is carried out based on JPEG2000 compressed bit streams |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4740800B2 (en) | 2011-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6768907B2 (en) | Media file processing device and processing method | |
| JP5162939B2 (en) | Information processing apparatus and method, and program | |
| KR100631743B1 (en) | Method and apparatus for efficient transmission of scalable bitstream | |
| US8639046B2 (en) | Method and system for scalable multi-user interactive visualization | |
| JP4488027B2 (en) | Information processing apparatus and method, and information processing system | |
| JP4525795B2 (en) | Reception device, reception method, program, and communication system | |
| JP2004192140A (en) | Data communication system, data transmitting device, data receiving device and method, and computer program | |
| WO2006009120A1 (en) | Remote edition system, main edition device, remote edition device, edition method, edition program, and storage medium | |
| JP2008022402A (en) | Wavelet transform apparatus and method, wavelet inverse transform apparatus and method, program, and recording medium | |
| JP5515758B2 (en) | Image processing apparatus and method | |
| JP2008022403A (en) | Wavelet transform apparatus and method, wavelet inverse transform apparatus and method, program, and recording medium | |
| US10313728B2 (en) | Information processing apparatus and information processing method | |
| JP2004274758A (en) | Method and apparatus for converting jpp-stream into jpeg-2000 code stream | |
| WO2017115483A1 (en) | Moving image decoding device, moving image decoding method, moving image encoding device, moving image encoding method, and computer-readable recording medium | |
| JP2009017527A (en) | Server-driven progressive image transmission and system | |
| JP2006157452A (en) | Image compressing device and method | |
| JP4740800B2 (en) | Image processing apparatus, image processing method, and monitoring system using the same | |
| WO2013154024A1 (en) | Information processing device and method, and program | |
| JP5389528B2 (en) | Network decoder device | |
| JP2011147050A (en) | Image processing apparatus and method | |
| EP1521474A2 (en) | Data processing apparatus | |
| JP4073333B2 (en) | Image compression apparatus and image compression method | |
| Naman et al. | Encoding high-throughput jpeg2000 (htj2k) images on a gpu | |
| JP6587539B2 (en) | Transmitting apparatus, information processing method, and program | |
| Sparenberg et al. | A concept for file-based content exchange using scalable media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4740800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |