JP2009071731A - Image processor, image processing method, and program - Google Patents
Image processor, image processing method, and program Download PDFInfo
- Publication number
- JP2009071731A JP2009071731A JP2007240185A JP2007240185A JP2009071731A JP 2009071731 A JP2009071731 A JP 2009071731A JP 2007240185 A JP2007240185 A JP 2007240185A JP 2007240185 A JP2007240185 A JP 2007240185A JP 2009071731 A JP2009071731 A JP 2009071731A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- unit
- region
- constituent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、画像を符号化する画像処理装置および画像処理方法、並びに画像処理装置用のプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program. The present invention particularly relates to an image processing apparatus and an image processing method for encoding an image, and a program for the image processing apparatus.
圧縮符号化された動画のデータ量を削減すること等を目的として、イントラ符号化された動画構成画像であるIピクチャをPピクチャに変換する技術が知られている(例えば、特許文献1および2参照。)。
しかしながら、上記特許文献1に記載の技術によると、IピクチャのマクロブロックタイプをPピクチャのイントラマクロブロックに変換しているだけなので、データ量を削減することができない。また、上記特許文献2に記載の技術によると、シーンチェンジがない場合には、ピクチャタイプを変更しないので、効果的に動画のデータ量を削減することができない。 However, according to the technique described in Patent Document 1, since the macroblock type of the I picture is merely converted into the intra macroblock of the P picture, the data amount cannot be reduced. Also, according to the technique described in Patent Document 2, when there is no scene change, the picture type is not changed, so that the data amount of moving images cannot be effectively reduced.
上記課題を解決するために、本発明の第1の形態においては、画像処理装置であって、イントラ符号化された領域を有する動画構成画像を含む動画を取得する動画取得部と、イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間の画像の変化量を検出する変化量検出部と、変化量が予め定められた値より小さい場合に、動画構成画像のイントラ符号化された領域の画像を、他の動画構成画像を参照するインター符号化により圧縮する再圧縮部と、を備える。 In order to solve the above-described problem, in the first embodiment of the present invention, an image processing apparatus, a moving image acquisition unit that acquires a moving image including a moving image constituent image having an intra-coded region, and intra coding A change amount detection unit that detects a change amount of an image between a moving image constituent image having the specified region and another moving image constituent image, and an intra code of the moving image constituent image when the change amount is smaller than a predetermined value A recompression unit that compresses the image of the converted area by inter-coding that refers to another moving image constituent image.
動画に含まれる複数の動画構成画像における特徴領域を検出する特徴領域検出部をさらに備え、変化量検出部は、動画構成画像におけるイントラ符号化された領域を有する特徴領域と他の動画構成画像における特徴領域との間の変化量を検出し、再圧縮部は、変化量が予め定められた値より小さい場合に、イントラ符号化された領域を有する特徴領域の画像を、他の動画構成画像における特徴領域を参照するインター符号化により圧縮してもよい。 The image processing apparatus further includes a feature region detection unit that detects a feature region in a plurality of movie composition images included in the movie, and the change amount detection unit includes a feature region having an intra-coded region in the movie composition image and another movie composition image. The amount of change between the feature region is detected, and the recompression unit, when the amount of change is smaller than a predetermined value, displays an image of the feature region having an intra-coded region in another moving image constituent image. You may compress by the inter encoding which refers to a characteristic area.
動画取得部は、イントラ符号化された領域を有する動画構成画像であるIピクチャを含む動画を取得し、変化量検出部は、Iピクチャである動画構成画像における特徴領域と他の動画構成画像における特徴領域との間の変化量を検出し、再圧縮部は、変化量が予め定められた値より小さい場合に、Iピクチャである動画構成画像を、他の動画構成画像を参照するPピクチャまたはBピクチャに変換することにより圧縮してもよい。 The moving image acquisition unit acquires a moving image including an I picture that is a moving image constituent image having an intra-coded region, and the change amount detecting unit includes a feature region in the moving image constituent image that is an I picture and another moving image constituent image. The amount of change between the feature region is detected, and when the amount of change is smaller than a predetermined value, the recompression unit selects a moving picture constituent image that is an I picture as a P picture that references another moving picture constituent image or You may compress by converting into a B picture.
変化量検出部は、Iピクチャである動画構成画像における特徴領域と他のIピクチャである他の動画構成画像における特徴領域との間の変化量を検出し、再圧縮部は、変化量が予め定められた値より小さい場合に、Iピクチャである動画構成画像を、他のIピクチャである他の動画構成画像を参照するPピクチャまたはBピクチャに変換することにより圧縮してもよい。 The change amount detection unit detects a change amount between a feature region in a moving image constituent image that is an I picture and a feature region in another moving image constituent image that is another I picture. When the value is smaller than the predetermined value, the moving picture constituent image that is an I picture may be compressed by converting it into a P picture or a B picture that refers to another moving picture constituent image that is another I picture.
再圧縮部は、変化量が予め定められた値より小さい場合に、イントラ符号化された領域を有する特徴領域と他の動画構成画像における特徴領域との間の画像の差分により、イントラ符号化された領域を有する特徴領域の画像を圧縮してもよい。 The recompressing unit is intra-coded based on the image difference between the feature region having the intra-coded region and the feature region in another moving image constituent image when the change amount is smaller than a predetermined value. You may compress the image of the characteristic area | region which has an area | region.
再圧縮部は、イントラ符号化された領域を有する特徴領域と差分をとる他の動画構成画像の特徴領域における差分対象領域の位置とイントラ符号化された領域を有する特徴領域の位置との間の位置差およびイントラ符号化された領域を有する特徴領域と差分対象領域との間の画像の差分により、イントラ符号化された領域を有する特徴領域の画像を圧縮してもよい。 The recompressing unit is configured such that the difference between the position of the feature area having the intra-coded area and the position of the feature area having the intra-coded area in the feature area of the other moving image constituent image that takes the difference. The image of the feature region having the intra-coded region may be compressed based on the difference in the image between the feature region having the position difference and the intra-coded region and the difference target region.
再圧縮部は、イントラ符号化された領域を有する特徴領域および他の動画構成画像における特徴領域を伸張して、イントラ符号化された領域を有する特徴領域の画素情報および他の動画構成画像における特徴領域の画素情報を取得する画像伸張部と、画像伸張部により伸張されて得られた画素情報に基づいて生成される画像の差分により、イントラ符号化された領域を有する特徴領域の画像を圧縮する差分再圧縮部と、を有してもよい。 The recompressing unit decompresses the feature region having the intra-coded region and the feature region in the other moving image constituent image, and the pixel information of the feature region having the intra-coded region and the feature in the other moving image forming image. The image of the feature region having the intra-coded region is compressed by the difference between the image expansion unit that acquires the pixel information of the region and the image generated based on the pixel information obtained by the image expansion unit. A differential recompression unit.
動画取得部は、イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間のインター符号化された動画構成画像を含む動画を取得し、変化量検出部は、インター符号化された動画構成画像に含まれる符号化情報に基づいて変化量を検出してもよい。 The moving image acquisition unit acquires a moving image including an inter-coded moving image constituent image between a moving image forming image having an intra-coded region and another moving image forming image, and the change amount detecting unit performs inter encoding The change amount may be detected based on the encoded information included in the moving image constituent image.
変化量検出部は、インター符号化された動画構成画像に含まれる画像の差分情報および動きベクトルの少なくとも一方に基づいて、変化量を検出してもよい。 The change amount detection unit may detect the change amount based on at least one of the difference information and the motion vector of the image included in the inter-coded moving image constituent image.
変化量検出部は、イントラ符号化された領域を有する動画構成画像を他の動画構成画像と比較することにより圧縮し、イントラ符号化された領域を有する動画構成画像がより高い圧縮率で圧縮されるほど、より小さい変化量を検出してもよい。 The change amount detection unit compresses the moving image constituent image having the intra-coded region by comparing it with other moving image constituent images, and the moving image constituent image having the intra-coded region is compressed at a higher compression rate. The smaller the amount of change may be detected.
本発明の第2の形態によると、画像処理方法であって、イントラ符号化された領域を有する動画構成画像を含む動画を取得する動画取得段階と、イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間の画像の変化量を検出する変化量検出段階と、変化量が予め定められた値より小さい場合に、動画構成画像のイントラ符号化された領域の画像を、他の動画構成画像を参照するインター符号化により圧縮する再圧縮段階とを備える。 According to the second aspect of the present invention, there is provided a video processing method for acquiring a moving image including a moving image forming image having an intra-coded region, and a moving image forming image having an intra-coded region. A change amount detection stage for detecting a change amount of an image between the image and another moving image constituent image, and when the amount of change is smaller than a predetermined value, an image of an intra-coded region of the moving image constituent image, A re-compression step of compressing by inter coding referring to another moving image constituent image.
本発明の第3の形態によると、画像を処理する画像処理装置用プログラムであって、画像を処理する画像処理装置用のプログラムであって、画像処理装置を、イントラ符号化された領域を有する動画構成画像を含む動画を取得する動画取得部、イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間の画像の変化量を検出する変化量検出部、変化量が予め定められた値より小さい場合に、動画構成画像のイントラ符号化された領域の画像を、他の動画構成画像を参照するインター符号化により圧縮する再圧縮部として機能させる。 According to a third aspect of the present invention, there is provided an image processing device program for processing an image, the image processing device program for processing an image, the image processing device having an intra-coded region. A moving image acquisition unit that acquires a moving image including a moving image configuration image, a change amount detection unit that detects a change amount of an image between a moving image configuration image having an intra-coded region and another moving image configuration image, When it is smaller than the predetermined value, it functions as a recompression unit that compresses the intra-coded region image of the moving image constituent image by inter encoding that refers to another moving image constituent image.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、一実施形態に係る画像処理システム10の一例を示す。画像処理システム10は、特徴的な被写体の画質を高画質に保ちつつ画像のデータ量を低減することを目的とする。
FIG. 1 shows an example of an
画像処理システム10は、監視対象空間150を撮像する複数の撮像装置100a−c(以下、撮像装置100と総称する。)、画像を処理する複数の画像処理装置120a−c(以下、画像処理装置120と総称する。)、画像処理装置170、通信ネットワーク110、および複数の表示装置180a−c(以下、表示装置180と総称する。)を備える。
The
画像処理装置120aは、撮像装置100aに接続されている。また、画像処理装置120bは、撮像装置100bに接続されている。また、画像処理装置120cは、撮像装置100cに接続されている。なお、画像処理装置170および表示装置180は、監視対象空間150と異なる空間160に設けられている。
The
以下に、撮像装置100a、画像処理装置120a、画像処理装置170、および表示装置180aの動作を説明する。撮像装置100aは、監視対象空間150を撮像して得られた撮像動画をMPEG符号化して撮像動画データを生成して、撮像装置100aが接続されている画像処理装置120aに出力する。
Hereinafter, operations of the
画像処理装置120aは、撮像装置100aが生成した撮像動画データを取得する。画像処理装置120は、撮像装置100から取得した撮像動画データを復号して撮像動画を生成して、生成した撮像動画から人物130、車輌等の移動物体140等、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置120aは、撮像動画から、特徴の種類のそれぞれについて特徴領域が他の領域より高画質な動画を生成することによって、複数の特徴領域動画を生成する。また、画像処理装置120aは、特徴領域以外の背景領域の動画であって、特徴領域動画より低画質な背景領域動画を生成する。
The
そして、画像処理装置120aは、生成した複数の特徴領域動画および背景領域動画をそれぞれ符号化することによって複数の特徴領域動画データおよび背景領域動画データを生成する。同時に、画像処理装置120aは、符号化して得られた複数の特徴領域動画データおよび背景領域動画データを互いに関連づけて、通信ネットワーク110を通じて画像処理装置170に送信する。
Then, the
画像処理装置170は、画像処理装置120aから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データをそれぞれ復号することによって、複数の特徴領域動画および背景領域動画を取得する。そして、画像処理装置170は、複数の特徴領域動画および背景領域動画を合成することによって一の合成動画を生成して、生成した合成動画を表示装置180aに供給する。表示装置180aは、画像処理装置170から供給された動画を表示する。
The
なお、撮像装置100bおよび撮像装置100cの機能および動作は、それぞれ画像処理装置120bおよび画像処理装置120cに撮像動画データを提供することを除いて、撮像装置100aの機能および動作と同様であるので、その説明を省略する。また、画像処理装置120bおよび画像処理装置120cの機能および動作は、それぞれ撮像装置100bおよび撮像装置100cから撮像動画データを取得することを除いて、画像処理装置120aの機能および動作と同様であってよい。よって、その説明を省略する。また、画像処理装置170は、撮像装置100bおよび撮像装置100cのそれぞれから受信した関連付けされた複数の特徴領域動画データおよび背景領域動画データから、一の動画をそれぞれ生成して、それぞれ表示装置180bおよび表示装置180cに供給する。また、表示装置180bおよび表示装置180cは、画像処理装置170から供給されたそれぞれの動画を表示する。
The functions and operations of the
本実施形態の画像処理システム10を、例えば監視システムとして実際に適用した場合には、人物、移動物体等、監視対象として特徴的な被写体を高画質で残すことができる場合がある。そのうえ、動画のデータ量を低下することができる場合がある。
When the
図2は、画像処理装置120のブロック構成の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、画像生成部205、固定値化ユニット210、低減化ユニット220、符号化ユニット230、再圧縮ユニット270、対応付け処理部206、および出力部207を有する。
FIG. 2 shows an example of a block configuration of the
固定値化ユニット210は、複数の固定値化部211a−211c(以下、固定値化部211と総称する。)を含む。低減化ユニット220は、複数の画質低減部221a−d(以下、画質低減部221と総称する。)を含む。
符号化ユニット230は、背景領域動画符号化部231aおよび複数の特徴領域動画符号化部231b−d(以下、特徴領域動画符号化部231と総称する。)を含む。なお、背景領域動画符号化部231aおよび特徴領域動画符号化部231b−dを総称して、符号化部231と呼ぶ場合がある。
The
なお、画質低減部221aおよび背景領域動画符号化部231aは、圧縮部240aとして機能する。また、画質低減部221bおよび特徴領域動画符号化部231bは、圧縮部240bとして機能する。同様に、画質低減部221cおよび特徴領域動画符号化部231cは圧縮部240cとして機能する。画質低減部221dおよび特徴領域動画符号化部231dは圧縮部240dとして機能する。なお、複数の圧縮部240a−dを、圧縮部240と総称する。
The image
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。
The compressed moving
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像のそれぞれを、特徴領域と背景領域とに分割する。
The feature
画像生成部205は、複数の動画構成画像から特徴領域画像を抽出することにより、複数の特徴領域画像をそれぞれ含む複数の特徴領域圧縮用動画を生成する。具体的には、画像生成部205は、動画を複製することにより、複数の特徴領域動画のそれぞれを圧縮するための複数の特徴領域圧縮用動画および背景領域動画を圧縮するための背景領域圧縮用動画を生成する。
The
そして、固定値化部211は、特徴領域圧縮用動画に含まれる複数の動画構成画像における特徴領域画像以外の領域の画素値を固定値化する。例えば、固定値化部211は、特徴領域画像以外の領域の画素値を所定の値(例えば、輝度値0)に設定する。そして、圧縮部240は、特徴領域画像以外の領域の画素値が固定値化された複数の動画構成画像をそれぞれ含む複数の特徴領域圧縮用画像を、それぞれの特徴量に応じた強度で圧縮する。このように、圧縮部240は、複数の特徴領域圧縮用動画のそれぞれと、背景領域圧縮用動画とを、それぞれの特徴量に応じた強度で圧縮する。 Then, the fixed value converting unit 211 converts the pixel values of regions other than the feature region image in the plurality of moving image constituent images included in the feature region compression moving image to a fixed value. For example, the fixed value unit 211 sets a pixel value of an area other than the feature area image to a predetermined value (for example, a luminance value of 0). Then, the compression unit 240 compresses a plurality of feature region compression images each including a plurality of moving image constituent images in which pixel values of regions other than the feature region image are fixed values with an intensity corresponding to each feature amount. . As described above, the compression unit 240 compresses each of the plurality of feature region compression moving images and the background region compression moving image with an intensity corresponding to each feature amount.
以上説明したように、特徴領域検出部203は、画像から特徴領域を検出する。そして、画像分割部204は、画像を、特徴領域と、特徴領域以外の背景領域とに分割する。そして、圧縮部240は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。そして、圧縮部240は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
As described above, the feature
なお、圧縮部240b、圧縮部240c、および圧縮部240dには、いずれの種類の特徴領域動画を圧縮すべきかが予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは予め定められた特徴の種類の特徴領域動画を圧縮する。なお、特徴領域動画を圧縮する場合の圧縮強度は、複数の特徴の種類ごとに予め定められており、圧縮部240b、圧縮部240c、および圧縮部240dは、予め定められた特徴の種類の特徴領域動画を、当該特徴の種類に予め定められた圧縮強度で圧縮する。このように、圧縮部240は、画像分割部204によって分割された画像領域ごとに設けられた圧縮器を用いて、複数の領域を並行して圧縮する。
Note that in the
なお、圧縮部240は、一つの圧縮器によって実装されてよく、複数の特徴領域動画および背景領域動画を時間的に順次圧縮してもよい。他にも、圧縮部240は、圧縮動画伸張部202によって復号された撮像動画を、画像分割部204が分割した領域ごとに、各領域の特徴の種類および背景のそれぞれに対して予め定められた圧縮率で圧縮することによって、一の動画データを生成してよい。
Note that the compression unit 240 may be implemented by a single compressor, and may sequentially compress a plurality of feature area videos and background area videos. In addition, the compression unit 240 is predetermined for each feature type and background of each region for each region obtained by dividing the captured moving image decoded by the compressed moving
なお、特徴領域検出部203は、画像である動画に含まれる複数の動画構成画像から、特徴の種類が異なる複数の特徴領域を検出する。そして、画像分割部204は、複数の動画構成画像を、複数の特徴領域のそれぞれと、複数の特徴領域以外の背景領域とに分割する。そして、圧縮部240は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた強度で圧縮する。なお、特徴量とは、被写体の種類、被写体の大きさ、移動物体が移動する移動速さ、および特徴領域の大きさを含む。
Note that the feature
具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて画質を低減することにより圧縮することにより、複数の特徴領域動画データと背景領域動画データとを生成する。より具体的には、画質低減部221は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた設定値を用いて符号化することにより圧縮する。例えば、符号化部231は、複数の特徴領域動画と背景領域動画とを、それぞれの特徴量に応じた割り当て符号量を用いて符号化することにより圧縮する。 Specifically, the image quality reduction unit 221 compresses the plurality of feature region moving images and the background region moving image by reducing the image quality in accordance with the respective feature amounts, whereby the plurality of feature region moving image data and the background region are compressed. Generate video data. More specifically, the image quality reduction unit 221 compresses a plurality of feature region moving images and background region moving images by reducing the resolution or frame rate according to each feature amount. Then, the encoding unit 231 compresses the plurality of feature area moving images and the background area moving image by encoding using setting values corresponding to the respective feature amounts. For example, the encoding unit 231 compresses a plurality of feature area moving images and background area moving images by encoding them using an assigned code amount corresponding to each feature amount.
再圧縮ユニット270は、符号化部231によって生成された複数の特徴領域動画データと背景領域動画データとをそれぞれ再圧縮する。そして、対応付け処理部206は、再圧縮ユニット270が再圧縮した複数の特徴領域動画データと背景領域動画データとのそれぞれを例えばタグ情報等を付帯する等して互いに対応づける。出力部207は、対応付け処理部206が対応づけた複数の特徴領域動画データおよび背景領域動画データを通信ネットワーク110に送出する。
The
なお、特徴領域検出部203は、複数の特徴領域のそれぞれの特徴量を特定したときの信頼性の度合いを示す確信度を、複数の特徴領域毎に算出する。そして、圧縮部240は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた強度で圧縮する。例えば、画質低減部221は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じて解像度またはフレームレートを低減することにより圧縮する。そして、符号化部231は、複数の特徴領域動画を、それぞれの特徴量および確信度に応じた設定値を用いて符号化することにより圧縮する。例えば、圧縮部240は、複数の特徴領域動画を、それぞれの確信度が低いほど、それぞれの特徴量に応じた強度より低い強度で圧縮してよい。
Note that the feature
図3は、画像処理装置170のブロック構成の一例を示す。画像処理装置170は、圧縮動画取得部301、対応付け解析部302、圧縮動画伸張ユニット310、動画生成部303、および出力部304を有する。圧縮動画伸張ユニット310は、複数の圧縮動画伸張部311a−d(以下、圧縮動画伸張部311と総称する。)を含む。
FIG. 3 shows an example of a block configuration of the
圧縮動画取得部301は、出力部207が出力した、対応づけられた複数の特徴領域動画データおよび背景領域動画データを取得する。対応付け解析部302は、例えば付帯されたタグ情報を解析して、圧縮動画取得部301が取得した対応づけられた複数の特徴領域動画データおよび背景領域動画データを取り出す。
The compressed moving
圧縮動画伸張部311は、複数の特徴領域動画データおよび背景領域動画データを復号する。具体的には、圧縮動画伸張部311aは背景領域動画データを復号する。また、圧縮動画伸張部311b−dは、複数の特徴領域動画データのうち、一の特徴領域動画を復号して、複数の特徴領域動画および背景領域動画を取得する。なお、圧縮動画伸張部311b−dは、特徴の種類ごとに設けられ、それぞれ、いずれかの種類の特徴領域動画データを復号する。
The compressed moving image decompression unit 311 decodes the plurality of characteristic area moving image data and background area moving image data. Specifically, the compressed moving
動画生成部303は、圧縮動画伸張部311が復号することによって得られた動画構成画像を合成する。具体的には、動画生成部303は、圧縮動画伸張部311b−dにより復号された複数の特徴領域動画のそれぞれが含む動画構成画像の特徴領域の画像を、背景領域動画が含む動画構成画像に重ね合わせた動画構成画像を生成する。出力部304は、動画生成部303が生成した複数の動画構成画像を含む動画を、表示装置180に供給する。
The moving
なお、本実施形態の圧縮動画伸張ユニット310は、特徴の種類の数に応じた複数の圧縮動画伸張部311を含むが、他の形態では、圧縮動画伸張ユニット310が含む一の圧縮動画伸張部311が、背景領域動画データおよび複数の特徴領域動画データを順次復号してもよい。また、画像処理装置120から一の動画データとして提供される場合には、一の圧縮動画伸張部311が当該一の動画データを復号して、復号した得られた動画を出力部304が出力してもよい。
Note that the compressed
図4は、画像処理装置120のブロック構成の別の一例を示す。画像処理装置120は、圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、入力動画画質制御部280、画質低減部281、階層間差分圧縮部282a−d(以下、階層間差分圧縮部282と総称する。)、再圧縮ユニット270、および出力部207を備える。
FIG. 4 shows another example of the block configuration of the
圧縮動画取得部201は、圧縮された動画を取得する。具体的には、圧縮動画取得部201は、撮像装置100が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部202は、圧縮動画取得部201が取得した動画を復元して、動画に含まれる複数の動画構成画像を生成する。
The compressed moving
具体的には、圧縮動画伸張部202は、圧縮動画取得部201が取得した撮像動画データを復号して、動画に含まれる複数の動画構成画像を生成する。なお、動画構成画像はフレーム画像およびフィールド画像を含む。また、動画構成画像は、この発明における入力画像の一例である。
Specifically, the compressed moving
特徴領域検出部203は、動画に含まれる複数の動画構成画像から、特徴領域を検出する。入力動画画質制御部280は、圧縮動画伸張部202が生成した複数の動画構成画像のそれぞれにおける特徴領域の特徴量に応じて、特徴領域の画質および特徴領域以外の領域の画質を制御する。
The feature
画質低減部281は、動画の画質を低減することによって、予め定められた異なる画質を持つ複数の動画を生成する。そして、画質低減部281は、生成した画質が異なる動画を階層間差分圧縮部282に提供する。具体的には、画質低減部281は、動画のフレームレートを低減することにより、あるいは動画に含まれる動画構成画像の解像度を低減することにより、異なる画質を持つ動画を生成する。そして、階層間差分圧縮部282は、予め定められた画質の動画を画質低減部281から取得して、取得した動画を圧縮する。なお、階層間差分圧縮部282は、互いに異なる画質の動画を圧縮する。
The image
なお、画質低減部281が階層間差分圧縮部282aに供給する動画に含まれる動画構成画像は、この発明における低画質画像の一例であってよい。また、画質低減部281が階層間差分圧縮部282b−dに供給する動画に含まれる動画構成画像は、この発明における特徴領域画像の一例であってよい。この場合、画質低減部281および入力動画画質制御部280は、この発明における画像生成部として機能する。
The moving image constituent image included in the moving image supplied from the image
なお、階層間差分圧縮部282aは、階層間差分圧縮部282b−dのいずれが受け取る動画構成画像より解像度が低い動画構成画像を画質低減部281から取得して圧縮する。なお、階層間差分圧縮部282は、階層間差分圧縮部282b、階層間差分圧縮部282c、および階層間差分圧縮部282dの順で解像度が低い動画構成画像を画質低減部281から取得して圧縮する。
Note that the inter-layer
階層間差分圧縮部282bは、階層間差分圧縮部282aが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282bは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282bは、特徴領域において差分値を持つが、特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
The inter-layer
また、階層間差分圧縮部282cは、階層間差分圧縮部282bが圧縮した動画構成画像を伸張して、伸張して得られた動画構成画像を、画質低減部281から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282cは、拡大して得られた動画構成画像と画質低減部281から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282cは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
Further, the inter-layer difference compression unit 282c expands the moving image constituent image compressed by the inter-layer
また、階層間差分圧縮部282dは、階層間差分圧縮部282cが圧縮した動画構成画像を伸張する。そして、階層間差分圧縮部282dは、伸張して得られた動画構成画像を、入力動画画質制御部280から取得した動画構成画像の解像度と同じ解像度にまで拡大する。そして、階層間差分圧縮部282dは、拡大して得られた動画構成画像と入力動画画質制御部280から取得した動画構成画像との間の差分画像を圧縮する。なお、階層間差分圧縮部282dは、特徴領域の特徴量に応じて、複数の特徴領域のうちの少なくとも一部の特徴領域において差分値を持つが、当該少なくとも一部の特徴領域以外の領域において差分値を持たない差分画像を生成して圧縮する。
In addition, the inter-layer
このように、階層間差分圧縮部282b−dは、入力動画画質制御部280または画質低減部281から受け取った動画構成画像と、より低い解像度の動画構成画像を拡大した動画構成画像との間の差分をとることによって得られた差分画像を圧縮する。そして、再圧縮ユニット270は、階層間差分圧縮部282のそれぞれが圧縮して得られた動画のそれぞれを再圧縮する。さらに、出力部207は、再圧縮ユニット270によって再圧縮されたそれぞれの動画を多重化して出力する。具体的には、出力部207は、階層間差分圧縮部282が圧縮した後に、再圧縮ユニット270によって再圧縮された動画を画像処理装置170に送信する。このように、画像処理装置120は、特徴領域の特徴量に応じてスケーラブルに圧縮符号化された動画を提供することができる。
In this way, the inter-layer
図5は、階層間差分圧縮部282aおよびbのブロック構成の一例を示す。階層間差分圧縮部282aは、動き解析部285a、動き符号化部286a、差分処理部287a、および符号化部288aを有する。動き解析部285aは、差分対象領域決定部294aおよび位置差情報生成部295aを含む。差分処理部287aは、差分画素画像生成部296a、空間周波数領域変換部297a、および量子化部298aを含む。
FIG. 5 shows an example of a block configuration of the inter-tier
階層間差分圧縮部282bは、動き解析部285b、動き符号化部286b、差分処理部287b、画像拡大部293b、画像復号部292b、画素値変更部291b、および符号化部288bを有する。動き解析部285bは、差分対象領域決定部294bおよび位置差情報生成部295bを含む。差分処理部287bは、差分画素画像生成部296b、空間周波数領域変換部297b、量子化部298b、および周波数領域画質変換部299bを含む。なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、階層間差分圧縮部282bが有する構成要素と略同一の構成要素を有するので、説明を省略する。
The inter-layer
以下に、階層間差分圧縮部282aの各構成要素の機能および動作について説明する。動き解析部285aは、画質低減部281から受け取った複数の動画構成画像の画像内容に基づいて、複数の動画構成画像にわたる動きを解析することによって、動きに基づいて動画構成画像を圧縮する部分領域を決定する。
The function and operation of each component of the inter-layer
具体的には、差分対象領域決定部294aは、複数の動画構成画像にわたる部分領域の画素値に基づいて、動画構成画像を他の動画構成画像との差分により圧縮する場合における、差分対象となる他の動画構成画像における部分領域を決定する。差分対象領域決定部294aは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を差分処理部287aに供給する。
Specifically, the difference target
また、位置差情報生成部295aは、差分により圧縮する部分領域と差分対象となる部分領域との間の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295aは、動き補償に用いる動きベクトルを生成する。そして、位置差情報生成部295aは、生成した位置差情報を動き符号化部286aに供給する。
In addition, the position difference
動き符号化部286aは、位置差情報生成部295aから供給された位置差情報を符号化して、再圧縮ユニット270に供給する。例えば、動き符号化部286は、隣接する部分領域における位置差情報との間の差を符号化して、再圧縮ユニット270に供給する。
The
差分処理部287aは、動き解析部285aから受け取った圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により、圧縮対象の部分領域の画像を圧縮する。具体的には、差分画素画像生成部296aは、圧縮対象の部分領域の画素情報と差分対象の部分領域の画素情報との間の差分により差分画素画像を生成する。
The
そして、空間周波数領域変換部297aは、差分画素画像を部分領域cに空間周波数領域に変換する。具体的には、空間周波数領域変換部297aは、離散コサイン変換(DCT)により、差分画素画像における部分領域ごとに空間周波数領域に変換する。なお、空間周波数領域変換部297aは、アダマール変換あるはウェーブレット変換等のような種々の周波数変換により、差分画素画像を部分領域ごとに空間周波数領域に変換してよい。
Then, the spatial frequency
なお、動き解析部285aが他の動画構成画像の部分領域との間の差分により圧縮しない旨を判断した場合には、差分処理部287aは圧縮対象の部分領域の画素情報を空間周波数領域変換部297aに供給する。空間周波数領域変換部297aは画素情報を、上記のように部分領域ごとに空間周波数領域に変換する。
When the
量子化部298aは、空間周波数領域変換部297aが空間周波数領域に変換することによって得られた変換係数を量子化する。そして、符号化部288aは、量子化部298aによって量子化された変換係数を符号化することによって圧縮する。例えば、符号化部288は、量子化部298aによって量子化された変換係数を、ハフマン符号化、算術符号化等のエントロピー符号化により符号化する。そして、符号化部288aは、符号化することによって得られた動画を再圧縮ユニット270に供給する。
The
以下に、階層間差分圧縮部282bが含む各構成要素の機能および動作について説明する。階層間差分圧縮部282bが含む構成要素のうち、階層間差分圧縮部282aが含む構成要素と同一の符号が付された構成要素は、階層間差分圧縮部282aが含む構成要素と類似する機能および動作をするので、その相違点を除いて説明を省略する。
Hereinafter, functions and operations of each component included in the inter-layer
差分対象領域決定部294bは、差分対象領域決定部294aと同様に、画質低減部281から受け取った複数の動画構成画像のそれぞれについて、動画構成画像に含まれる圧縮対象の部分領域と差分をとるべき、他の動画構成画像における部分領域を特定する。このように、差分対象領域決定部294bは、特徴領域画像との間で差分をとるべき、他の動画構成画像から生成された特徴領域画像における部分領域である特徴領域部分領域を決定する。そして、差分対象領域決定部294bは、圧縮対象の部分領域の画素情報および差分対象の部分領域の画素情報を画素値変更部291bに供給する。
Similar to the difference target
また、画像復号部292bは、符号化部288aから動画構成画像を取得するとともに、動き符号化部286aから位置差情報を取得する。そして、画像復号部292bは、符号化部288aから取得した動画構成画像を、動き符号化部286aから取得した位置差情報を用いて復号する。なお、画像復号部292bは、量子化部298aにより量子化された動画構成画像を取得して復号してよく、符号化部288aが符号化した動画構成画像を取得して復号してもよい。なお、画像復号部292bによって復号されて得られた動画構成画像は、この発明における低画質画像の一例であってよい。この場合、階層間差分圧縮部282aは、この発明における低画質画像を生成する画像生成部として機能する。
In addition, the
画像拡大部293bは、画像復号部292bにより復号された動画構成画像を拡大することによって拡大画像を生成する。そして、画素値変更部291bは、差分対象領域決定部294bが決定した部分領域のうち、特徴領域を含む部分領域の画素値を変更せずに、特徴領域に含まれない部分領域の画素値を、拡大画像における部分領域の画素値で置き換える。
The
このように、画素値変更部291bは、入力された動画構成画像から、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する。なお、画素値変更部291bは、この発明において、特徴領域以外の領域の画素値を拡大した画像の画素値で置き換えた特徴領域画像を生成する画像生成部として機能することができる。
As described above, the pixel
差分処理部287bは、圧縮対象の特徴領域画像、特徴領域画像に含まれる部分領域の差分対象となる部分領域の画像情報、および拡大画像を、画素値変更部291bから受け取る。そして、差分処理部287bは、圧縮対象の特徴領域画像に含まれる複数の部分領域のそれぞれについて、同じ特徴領域画像の画素情報を用いて符号化するか(以下、イントラ符号化と呼ぶ。)、他の動画構成画像に含まれる差分対象の部分領域との間の差分により符号化するか(以下、インター符号化と呼ぶ。)、拡大画像との間の差分により符号化するか(以下、階層間圧縮と呼ぶ。)を決定する。このとき、差分処理部287bは符号化後の符号量がより小さい符号化方法をより優先して選択する。特徴領域以外の領域において差分を持たないように画素値が置き換えられているので階層間符号化が選択されるので階層間符号化が選択された場合についてまず説明するが、加えて、インター符号化、イントラ符号化が選択された場合についても説明する。
The
階層間符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像と拡大画像との間の画素値の差分を示す差分画素画像を生成する。具体的には、差分画素画像生成部296bは、特徴領域以外の領域の画素値が置き換えられた特徴領域画像と拡大画像との間の差分により差分画素画像を生成する。なお、特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域において特徴領域画像と拡大した画像との間の画素値の差分値を持ち、特徴領域以外の領域において画素値の差分値を持たない差分画素画像を生成することができる。
When the inter-layer coding is selected, the difference pixel
インター符号化が選択された場合には、差分画素画像生成部296bは、画素値変更部291bにより生成された特徴領域画像と、他の動画構成画像から画素値変更部291bが生成した特徴領域画像との間の差分をとる。具体的には、差分画素画像生成部296bは、特徴領域に含まれる部分領域の画像と、当該部分領域について差分対象領域決定部294bが決定した差分対象部分領域の画像との間の差分をとる。特徴領域画像においては特徴領域以外の領域の画素値は拡大画像の画素値で置き換えられているので、差分画素画像生成部296bは、特徴領域に含まれる部分領域において差分対象領域決定部294bが決定した部分領域との間の画素値の差分値を持ち、特徴領域以外の領域において差分対象領域決定部294bが決定した部分領域との間で画素値の差分値を持つ差分画素画像が生成される。
When inter coding is selected, the difference pixel
なお、イントラ符号化が選択された場合には、差分画素画像生成部296bは、特徴領域画像のそれぞれが含む部分領域の画像を、特徴領域画像の他の領域の画素値または同じ部分領域の画素値との間で差分をとることにより、差分画素画像を生成する。
When intra coding is selected, the difference pixel
空間周波数領域変換部297bは、差分画素画像を、部分領域ごとに空間周波数領域に変換する。具体的には、空間周波数領域変換部297bは、差分画素画像が示す差分値を、空間周波数領域変換部297aと同様に、離散コサイン変換(DCT)、アダマール変換、またはウェーブレット変換等により、部分領域ごとに空間周波数領域に変換する。量子化部298bは、量子化部298aと同様に、空間周波数領域変換部297bが空間周波数領域に変換することによって得られた変換係数を量子化する。
The spatial frequency domain conversion unit 297b converts the difference pixel image into a spatial frequency domain for each partial region. Specifically, the spatial frequency domain transform unit 297b converts the difference value indicated by the difference pixel image into a partial region by discrete cosine transform (DCT), Hadamard transform, wavelet transform, or the like, similar to the spatial frequency
そして、周波数領域画質変換部299bは、空間周波数領域変換部297bにより空間周波数領域に変換されて得られる部分領域ごとの空間周波数成分のうち、特徴領域以外の領域を含む少なくとも一部の部分領域の空間周波数成分のデータ量を低減することによって、特徴領域差分画像または特徴領域間差分画像を生成する。具体的には、周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数の大きさを低減する。周波数領域画質変換部299bは、予め定められた周波数より高い周波数成分を示す変換係数を0にしてもよい。
Then, the frequency domain image
このように、差分処理部287bは、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。そして、符号化部288bは、差分処理部287bが生成した特徴領域差分画像を符号化する。
As described above, the
また、上記したように、差分処理部287bは、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。より具体的には、差分処理部287は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。
In addition, as described above, the
なお、以上の説明においては、画素値変更部291bは、差分画素画像における少なくとも特徴領域以外の領域(予め定められた特徴の種類を持つ特徴領域以外の領域であって、当該特徴領域より高解像度を持つべき特徴の種類を持つ特徴領域以外の領域)において差分値を0とすべく、特徴領域以外の画素値を拡大画像の画素値で置き換えた。しかしながら、他の方法により、差分画素画像における差分値を0とすることもできる。
In the above description, the pixel
例えば、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を所定の画素値に変換するとともに、拡大画像における特徴領域以外の領域と同じ画像領域の画素値を当該所定の画素値に変換してよい。このようにしても、差分画素画像における特徴領域以外の領域の差分値を0とすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
For example, the pixel
このように、画素値変更部291bは、動画構成画像から、特徴領域以外の領域の画素値および拡大した画像における特徴領域以外の領域の画素値を、所定値で置き換えた特徴領域画像を生成する。そして、差分画素画像生成部296は、特徴領域以外の領域の画素値が置き換えられた、特徴領域画像と拡大した画像との間の差分により差分画素画像を生成する。
In this way, the pixel
なお、画素値変更部291bは、画質低減部281から取得した動画構成画像の特徴領域以外の領域の画素値を、下位階層の階層間差分圧縮部282(例えば、階層間差分圧縮部282a)に提供される動画構成画像を拡大した画像における同一領域の画素値で置き換えてもよい。このようにしても、差分画素画像における差分値を略0にすることができ、特徴領域以外の領域の情報量を実質的に低減することができる。
Note that the pixel
なお、位置差情報生成部295bは、特徴領域以外の領域に含まれる、差分対象となる部分領域の位置差を示す位置差情報を生成する。具体的には、位置差情報生成部295bは、位置差情報生成部295aと同様に、差分により圧縮する部分領域と差分対象となる部分領域である差分対象部分領域との間の位置差を示す位置差情報を生成する。なお、位置差情報は、動き補償における動きベクトルを含む。
Note that the position difference
位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域が同じ位置の部分領域との間で差分がとられることを位置差情報が示すべく、位置差情報を変更する。具体的には、位置差情報変更部290bは、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差がないことを示す情報に変換する。また、位置差情報変更部290bは、動き符号化部286aから位置差情報を取得して、特徴領域以外の領域に含まれる部分領域における位置差情報を、位置差ないことを示す情報に変換する。具体的には、位置差情報変更部290bは、特徴領域以外の領域における動きベクトルの大きさを0にする。具体的には、位置差情報変更部290bは、特徴領域以外の領域について、位置差情報生成部295bから受け取った動きベクトルの大きさを0にするとともに、動き符号化部286aから受け取った動きベクトルの大きさを0にする。
The position difference
そして、動き符号化部286bは、位置差情報を符号化する。具体的には、動き符号化部286bは、動き符号化部286aと同様に、隣接する部分領域における位置差情報との間の差を符号化する。動き符号化部286bにより符号化された位置差情報は、再圧縮ユニット270に供給される。
Then, the
なお、本実施形態では、位置差情報変更部290は、特徴領域以外の領域の位置差情報を変換したが、位置差情報変更部290bは、動き符号化部286bにより符号化された符号化形式上で、特徴領域以外の領域の位置差情報を変換してもよい。すなわち、位置差情報変更部290bは、特徴領域以外の部分領域が同じ位置の部分領域との間で差分がとられることを示すべく、動き符号化部286により符号化された位置差情報を変更してもよい。
In the present embodiment, the position difference information changing unit 290 converts the position difference information of the region other than the feature region, but the position difference
なお、符号化部288bは、特徴領域以外の領域における差分情報を持たない符号化データを生成してよい。具体的には、特徴領域以外の領域に含まれる部分領域の差分情報を持たない符号化データを生成してよい。また、動き符号化部286bは、特徴領域以外の領域に含まれる部分領域における位置差情報を持たない符号化データを生成してよい。このように、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを、差分情報および位置差情報を持たないことによって示す符号化データを生成する。例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域の画像内容が他の動画構成画像における同じ領域の画像内容と同じであることを示す部分領域の種別を含む符号化データを生成してよい。
Note that the
例えば、符号化部288bおよび動き符号化部286bは、特徴領域以外の領域に含まれる部分領域が、単純フレーム間予測であり、かつ変換係数を持たないことを示す符号化モードで符号化された部分領域であることを示す部分領域の種別を含む符号化データを生成してよい。例えば、当該部分領域の種別は、MPEG符号化におけるNonMC NotCodedに相当する種別であってよい。このように、符号化部288bおよび動き符号化部286bが動きベクトルの大きさおよび差分情報が0であることを示す情報を持たない符号化データを生成することにより、符号化後の動画構成画像の符号量をより低減することができる。なお、階層間差分圧縮部282bは、上記符号化モードを含む予測モードを決定する場合に、ラグランジェの未定乗数法に基づいて、レート・歪コストを最小化することができる予測モードを選択してよい。
For example, the
なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、階層間差分圧縮部282bと同様の機能を有する構成要素を有する。なお、以後の説明において、階層間差分圧縮部282cおよび階層間差分圧縮部282dが有する、階層間差分圧縮部282と同名の構成要素には同じ符号を付す。そして、符号の末尾(b、c、d)により、階層間差分圧縮部282b−dのいずれに含まれる構成要素であるかを区別する。
Note that the inter-layer difference compression unit 282c and the inter-layer
例えば、動き解析部285cは階層間差分圧縮部282cが有する構成要素の一つであって、動き解析部285dは階層間差分圧縮部282dが有する構成要素の一つとなる。なお、以下の説明において、符号の末尾に英文字が付されていない構成要素は、階層間差分圧縮部282b−dが有する当該符号が付された構成要素の全体を示す。例えば、画素値変更部291は、画素値変更部291b−dを示す。
For example, the motion analysis unit 285c is one of the components included in the inter-layer difference compression unit 282c, and the motion analysis unit 285d is one of the components included in the inter-layer
なお、階層間差分圧縮部282cおよび階層間差分圧縮部282dの機能および動作と、階層間差分圧縮部282bの機能および動作は、画質低減部281から異なる画質の動画を取得して処理すること、および位置差情報変更部290cおよびd、ならびに画像復号部292cおよびdが、より画質が低い動画を処理する他の階層間差分圧縮部282から、差分のための位置差情報および動画構成画像を取得するところが異なる。
The functions and operations of the inter-layer difference compression unit 282c and the inter-layer
より具体的には、位置差情報変更部290cは、動き符号化部286bから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部292cは、動き符号化部286bから位置差情報を取得するとともに、符号化部288bから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。また、位置差情報変更部290dは、動き符号化部286cから位置差情報を取得して、取得した位置差情報を変換する。また、画像復号部292dは、動き符号化部286cから位置差情報を取得するとともに、符号化部288cから動画構成画像を取得して、取得した動画構成画像を当該位置差情報を用いて復号する。
More specifically, the position difference information changing unit 290c acquires the position difference information from the
なお、特徴領域検出部203は、入力された動画構成画像から特徴の種類が異なる複数の特徴領域を検出する。この場合、画質低減部281は、一の特徴の種類を持つ特徴領域において解像度を低減することにより入力画像から一の特徴領域画像を生成するとともに、他の特徴の種類を持つ特徴領域において当該特徴領域画像より高解像度な他の特徴領域画像を入力画像から生成する。そして、階層間差分圧縮部282b−cは、特徴領域の種類ごとに用意されており、少なくとも予め定められた種類の特徴領域において、特徴領域以外の領域との間で解像度の差を持つ特徴領域画像を処理する。
Note that the feature
具体的には、階層間差分圧縮部282bは、全ての特徴領域を含む領域において、最も低い解像度を持つ低解像度特徴領域画像を処理する。階層間差分圧縮部282cは、予め定められた種類の特徴領域において低解像度特徴領域画像より解像度が高い中解像度特徴領域画像を処理する。そして、階層間差分圧縮部282dは、予め定められた他の種類の特徴領域において高い解像度を持つ高解像度特徴領域画像を処理する。
Specifically, the inter-layer
このように、差分処理部287は、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域および他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。 In this way, the difference processing unit 287 converts the difference between one feature region image and an enlarged image into a spatial frequency region in a feature region having one feature type and a feature region having another feature type. A feature region difference image is generated in which the amount of spatial frequency component data is reduced in regions other than the feature region having the spatial frequency component and having one feature type and the other feature type.
このように、差分処理部287は、一の特徴の種類を持つ特徴領域において一の特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、一の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成するとともに、他の特徴の種類を持つ特徴領域において他の特徴領域画像と他の特徴領域画像における特徴領域を拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、他の特徴の種類を持つ特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域間差分画像を生成する。 As described above, the difference processing unit 287 has a spatial frequency component in which a difference between one feature area image and an enlarged image is converted into a spatial frequency domain in a feature area having one feature type. A feature region difference image in which the amount of spatial frequency component data is reduced in a region other than a feature region having a feature type is generated, and another feature region image and another feature region in a feature region having another feature type The difference between the image and the enlarged image of the feature area has a spatial frequency component converted to the spatial frequency domain, and the amount of spatial frequency component data is reduced in areas other than those with other feature types A difference image between feature areas is generated.
符号化部288は、特徴領域差分画像、特徴領域間差分画像、および低画質画像をそれぞれ符号化する。そして、再圧縮ユニット270は、動き符号化部286a−dにより符号化された位置差情報および符号化部288a−dにより符号化された動画構成画像(例えば、低画質画像、特徴領域差分画像、および特徴領域間差分画像)を、再圧縮する。さらに、出力部207は、再圧縮ユニット270によって再圧縮された位置差情報および動画構成画像を、多重化して出力する。
The encoding unit 288 encodes the feature region difference image, the feature region difference image, and the low-quality image. Then, the
以上説明したように、階層間差分圧縮部282aは、特徴領域を含む全画像領域を低画質化した動画構成画像、いわば入力された動画構成画像の低空間周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、階層間差分圧縮部282aよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部282cよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282bは、特徴領域以外の領域において、階層間差分圧縮部282aが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
As described above, the inter-layer
同様に、階層間差分圧縮部282cは、階層間差分圧縮部282bよりも高い周波数成分を有する動画構成画像であって、階層間差分圧縮部282dよりも低い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282dは、階層間差分圧縮部282cよりも高い周波数成分を有する動画構成画像を生成する。そして、階層間差分圧縮部282cおよび階層間差分圧縮部282dは、特徴領域以外の領域において、それぞれ階層間差分圧縮部282bおよびcが生成した動画構成画像に対する差分値が低減された動画構成画像を生成する。
Similarly, the inter-layer difference compression unit 282c generates a moving image composition image having a higher frequency component than the inter-layer
このように、階層間差分圧縮部282b−dのそれぞれは、予め定められた特徴の種類を持つ特徴領域について、他の領域より高い画質の動画を処理することによって、特徴の種類に応じて画質が異なる動画を外部に提供することができる。このとき、階層間差分圧縮部282b−dは、他の階層間差分圧縮部282が処理する低画質の動画構成画像との間の差分により圧縮するので、効率的に圧縮することができる。
In this way, each of the inter-layer
なお、特徴領域検出部203は、複数の特徴領域のそれぞれの特徴量を検出した場合に、特徴領域として検出した信頼性の度合いを示す確信度を複数の特徴領域毎に算出してよい。そして、階層間差分圧縮部282b−dは、複数の特徴領域のそれぞれの特徴量および確信度に応じて解像度が調整された特徴領域の画像を圧縮する。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、それぞれの特徴量および確信度に応じて解像度を調整して、階層間差分圧縮部282に供給してよい。例えば、画質低減部281は、複数の特徴領域のそれぞれの画像を、確信度が低いほど、特徴量に応じて予め定められた解像度より高い解像度にしてよい。
Note that the feature
なお、画像処理装置120は、上記のように解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことから明らかなように、画像処理装置120による圧縮方式の一部は、H.264/SVCによる圧縮方式を含むことが明らかである。
Note that the
なお、画像処理装置170は、階層間差分圧縮部282a−dのそれぞれにより圧縮された後に、再圧縮ユニット270によって再圧縮された複数の動画構成画像を取得する。そして、画像処理装置170は、取得した複数の動画構成画像をそれぞれ復号する。そして、画像処理装置170は、復号することにより得られた複数の動画構成画像を重ね合わせることにより一の合成画像を生成する。そして、画像処理装置170は、生成した合成画像を動画構成画像として含む動画を、表示装置180に供給する。
The
図6は、再圧縮ユニット270のブロック構成の一例を示す。再圧縮ユニット270は、動画取得部271、変化量検出部272、および再圧縮部273を有する。
FIG. 6 shows an example of a block configuration of the
動画取得部271は、イントラ符号化された領域を有する動画構成画像を含む動画を取得する。たとえば、動画取得部271は、符号化部231または階層間差分圧縮部282から、動画を取得する。また、動画取得部271は、イントラ符号化された領域を有する動画構成画像であるIピクチャを含む動画を取得してもよい。たとえば、動画取得部271は、イントラ符号化された領域を有する動画構成画像であるIピクチャを含むMPEG動画を取得してもよい。
The moving
なお、動画取得部271は、イントラ符号化された領域を有する動画構成画像であるIピクチャ以外の動画構成画像を含む、MPEG動画以外の動画を取得してもよい。たとえば、動画取得部271は、イントラ符号化されたマクロブロックを有するPピクチャ又はBピクチャを含む動画を取得してもよい。また、動画取得部271は、MotionJPEG動画を取得してもよい。
Note that the moving
また、動画取得部271は、イントラ符号化された領域を有する動画構成画像と、他の動画構成画像との間のインター符号化された動画構成画像とを含む動画を取得してもよい。たとえば、動画取得部271は、イントラ符号化された領域を有する動画構成画像であるIピクチャと、他の動画構成画像との間のインター符号化された動画構成画像であるBピクチャまたはPピクチャとを含む動画を取得してもよい。
Moreover, the moving
変化量検出部272は、動画取得部271によって取得された動画構成画像と他の動画構成画像との間の画像の変化量を検出する。たとえば、変化量検出部272は、イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間の画像の変化量を検出する。なお、変化量検出部272は、動画構成画像におけるイントラ符号化された領域を有する特徴領域と他の動画構成画像における特徴領域との間の変化量を検出してもよい。また、変化量検出部272は、Iピクチャである動画構成画像における特徴領域と他の動画構成画像における特徴領域との間の変化量を検出してもよい。
The change
なお、変化量検出部272は、動画取得部271がインター符号化された動画構成画像を取得している場合、当該インター符号化された動画構成画像に含まれる符号化情報に基づいて上記変化量を検出してもよい。たとえば、変化量検出部272は、インター符号化された複数の動画構成画像から、符号化情報を取得して、取得した符号化情報を用いた線形補完処理などにより、上記変化量を予測する。なお、変化量検出部272は、インター符号化された動画構成画像に含まれる画像の差分情報および動きベクトルの少なくとも一方に基づいて、上記変化量を検出してもよい。
Note that, when the moving
なお、変化量検出部272は、イントラ符号化された領域を有する動画構成画像と、他の動画構成画像とを比較して差分をとることにより、イントラ符号化された領域を有する動画構成画像を圧縮してもよい。この場合、変化量検出部272は、イントラ符号化された領域を有する動画構成画像がより高い圧縮率で圧縮されるほど、より小さい上記変化量を検出する。
Note that the change
また、変化量検出部272は、イントラ符号化された領域を有する動画構成画像および他の動画構成画像を、画素データまで復号化してから、動画取得部271によって取得された動画構成画像と他の動画構成画像との間の画像の変化量を検出してもよい。また、変化量検出部272は、イントラ符号化された領域を有する動画構成画像および他の動画構成画像を、DCT係数まで復号化してから、動画取得部271によって取得された動画構成画像と他の動画構成画像との間の画像の変化量を検出してもよい。
In addition, the change
再圧縮部273は、変化量検出部272によって検出された変化量が予め定められた値より小さい場合に、動画構成画像のイントラ符号化された領域の画像を、他の動画構成画像を参照するインター符号化により圧縮する。このとき、再圧縮部273は、動画構成画像のイントラ符号化された領域の画像を、画素データまで復号化してから圧縮してもよい。また、再圧縮部273は、動画構成画像のイントラ符号化された領域の画像を、DCT係数まで復号化してから圧縮してもよい。
When the amount of change detected by the
また、再圧縮部273は、変化量検出部272によって検出された変化量が予め定められた値より小さい場合に、イントラ符号化された領域を有する特徴領域の画像を、他の動画構成画像における特徴領域を参照するインター符号化により圧縮してもよい。また、再圧縮部273は、変化量検出部272によって検出された変化量が予め定められた値より小さい場合に、Iピクチャである動画構成画像を、他の動画構成画像を参照するPピクチャまたはBピクチャに変換することにより圧縮してもよい。
Also, the
また、再圧縮部273は、変化量検出部272によって検出された変化量が予め定められた値より小さい場合に、Iピクチャである前記動画構成画像を、他のIピクチャである他の動画構成画像を参照するPピクチャまたはBピクチャに変換することにより圧縮してもよい。また、再圧縮部273は、変化量検出部272によって検出された変化量が予め定められた値より小さい場合に、イントラ符号化された領域を有する特徴領域と他の動画構成画像における特徴領域との間の画像の差分により、イントラ符号化された領域を有する前記特徴領域の画像を圧縮してもよい。なお、再圧縮部273は、変化量検出部272によって検出された変化量が予め定められた値より小さい場合に、イントラ符号化された領域を有する特徴領域と他の動画構成画像における特徴領域との間の画像の差分が無いとみなして、イントラ符号化された領域を有する前記特徴領域の画像を圧縮してもよい。また、再圧縮部273は、イントラ符号化された領域を有する特徴領域と差分をとる他の動画構成画像の特徴領域における差分対象領域の位置と、イントラ符号化された領域を有する特徴領域の位置との間の位置差、およびイントラ符号化された領域を有する特徴領域と上記差分対象領域との間の画像の差分により、イントラ符号化された領域を有する特徴領域の画像を圧縮してもよい。
Also, the
また、再圧縮部273は、画像伸張部273aと、差分再圧縮部273bとを有する。画像伸張部273aは、イントラ符号化された領域を有する特徴領域および他の動画構成画像における特徴領域を伸張して、イントラ符号化された領域を有する特徴領域の画素情報および他の動画構成画像における特徴領域の画素情報を取得する。差分再圧縮部273bは、画像伸張部273aにより伸張されて得られた画素情報に基づいて生成される画像の差分により、イントラ符号化された領域を有する特徴領域の画像を圧縮する。再圧縮部は、再圧縮した画像を、対応付け処理部206または出力部207へ出力する。
In addition, the
図7は、動画構成画像を圧縮する方法の一例を示す。上段に示す動画700は、再圧縮ユニット270が画像処理をする前のMPEG動画を示す。動画700は、GOP710、GOP720、およびGOP730を含む。GOP710、GOP720、およびGOP730は、それぞれ、動画構成画像を複数含む。
FIG. 7 shows an example of a method for compressing a moving image constituent image. The moving
また、GOP710、GOP720、およびGOP730は、それぞれ、イントラ符号化された動画構成画像であるIフレームを一つ含む。たとえば、GOP710は、Iフレームである動画構成画像711を含む。また、GOP720は、Iフレームである動画構成画像721を含む。そして、GOP730は、Iフレームである動画構成画像731を含む。
Each of
一方、下段に示す動画700は、再圧縮ユニット270が画像処理をした後のMPEG動画を示す。下段に示す動画700は、動画構成画像721がPフレームとなっており、それに伴い、GOP710と720とが結合され、一つのGOPであるGOP715になっている点が、上段に示す動画700と相違する。
On the other hand, a moving
再圧縮ユニット270は、動画700の一部または全部を画素データまたはDCT係数まで復号化した後に、動画構成画像711、721、および731のそれぞれについて、他の動画構成画像との間の画像の変化量を検出する。このとき、上記他の動画構成画像は、Pフレーム、Bフレーム、およびIフレームのいずれであってもよい。また、再圧縮ユニット270は、動画構成画像711、721、および731のそれぞれについて、複数の他の動画構成画像との間の変化量を検出してもよい。
The
そして、再圧縮ユニット270は、動画構成画像711、721、および731のそれぞれについて、検出された変化量が予め定められた値より小さいか否かを判断する。さらに、再圧縮ユニット270は、動画構成画像711、721、および731のうち、検出された変化量が予め定められた値より小さいと判断した動画構成画像をインター符号化する。
Then, the
たとえば、動画構成画像721は、検出された変化量が予め定められた値より小さいと判断されているので、再圧縮ユニット270は、動画構成画像721を、Pフレームに変換する。これにより、再圧縮ユニット270は、動画構成画像721をインター符号化する。一方、動画構成画像711および731は、検出された変化量が予め定められた値より大きいと判断されているので、再圧縮ユニット270は、動画構成画像711および731を、インター符号化しない。
For example, since the moving image
図8は、画像の変化量を検出する方法の一例を示す。動画800は、再圧縮ユニット270が画像処理する前のMPEG動画である。動画800は、連続する複数の動画構成画像を含む。複数の動画構成画像のうち、動画構成画像801aは、イントラ符号化された動画構成画像であるIフレームである。この動画構成画像801aは、被写体810を含んでいる領域である特徴領域802aを含む。
FIG. 8 shows an example of a method for detecting the amount of change in an image. The moving
また、複数の動画構成画像のうち、動画構成画像801bは、イントラ符号化された動画構成画像であるIフレームである。動画構成画像801bは、被写体810を含んでいる領域である特徴領域802bを含む。特徴領域802bの面積、各画素の輝度の平均値、および各画素の色差の平均値は、特徴領域802aと同一である。また、動画構成画像801bにおける特徴領域802bの位置は、動画構成画像801aにおける特徴領域801aの位置と異なる。
Of the plurality of moving image constituent images, the moving image
このように構成された動画800に対して、再圧縮ユニット270は、動画構成画像801aの特徴領域802aと動画構成画像801bの特徴領域802bとの間の画像の変化量を検出する。たとえば、再圧縮ユニット270は、特徴領域802aと特徴領域802bとの間の、各画素の輝度の平均値、および各画素の色差の平均値の変化量を検出する。このとき、再圧縮ユニット270は、特徴領域802aおよび特徴領域802bの、各画素の輝度および色差を得ることができるように、動画構成画像801aおよび動画構成画像801bを復号化してもよい。また、再圧縮ユニット270は、動画構成画像801aと動画構成画像801bとの間に位置する動画構成画像に含まれる符号化情報から、上記変化量を予測してもよい。
For the moving
そして、再圧縮ユニット270は、検出された変化量が予め定められた値より小さいか否かを判断する。そして、再圧縮ユニット270は、検出された変化量が予め定められた値より小さいと判断した場合、動画構成画像801aをインター符号化する。このとき、再圧縮ユニット270は、動画構成画像801aのうちの特徴領域802aだけをインター符号化してもよい。また、再圧縮ユニット270は、動画構成画像801aの全部をインター符号化してもよい。
Then, the
このように、本実施形態の画像処理装置120は、イントラ符号化された動画構成画像と他の動画構成画像との変換量を検出して、検出された変化量が予め定められた値より小さい場合は、イントラ符号化された動画構成画像をインター符号化する。これにより、本実施形態の画像処理装置120を実際の監視システムに適用した場合には、本実施形態の画像処理装置120を適用しない監視システムよりも、効率的に動画のデータ量を削減することができる場合がある。
As described above, the
図9は、画像処理装置120および画像処理装置170のハードウェア構成の一例を示す。画像処理装置120および画像処理装置170は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、および入出力チップ1570を有する。
FIG. 9 shows an example of the hardware configuration of the
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、およびRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、およびデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。
The input /
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、および入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、放射線撮像システムが起動時に実行するブート・プログラム、あるいは放射線撮像システムのハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。
A program executed by the
CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した圧縮動画取得部201、圧縮動画伸張部202、特徴領域検出部203、画像分割部204、および画像生成部205として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した固定値化部211、画質低減部221、符号化部231、対応付け処理部206、および出力部207として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した、入力動画画質制御部280、画質低減部281、および階層間差分圧縮部282として機能させる。
The program executed by the
また、CPU1505により実行されるプログラムは、画像処理装置120を、図1から図8に関連して説明した動画取得部271、変化量検出部272、および再圧縮部273として機能させる。また、CPU1505により実行されるプログラムは、画像処理装置170を、図1から図8に関連して説明した圧縮動画取得部301、対応付け解析部302、圧縮動画伸張部311、動画生成部303、および出力部304として機能させる。
The program executed by the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置120および画像処理装置170に提供してもよい。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
10 画像処理システム
100 撮像装置
110 通信ネットワーク
120 画像処理装置
130 人物
140 移動物体
150 監視対象空間
160 空間
170 画像処理装置
180 表示装置
201 圧縮動画取得部
202 圧縮動画伸張部
203 特徴領域検出部
204 画像分割部
205 画像生成部
206 対応付け処理部
207 出力部
210 固定値化ユニット
211 固定値化部
220 低減化ユニット
221 画質低減部
230 符号化ユニット
231 符号化部
231a 背景領域動画符号化部
231b−d 特徴領域動画符号化部
240 圧縮部
270 再圧縮ユニット
271 動画取得部
272 変化量検出部
273 再圧縮部
273a 画像伸張部
273b 差分再圧縮部
280 入力動画画質制御部
281 画質低減部
282 階層間差分圧縮部
285 動き解析部
286 動き符号化部
287 差分処理部
288 符号化部
290 位置差情報変更部
291 画素値変更部
292 画像復号部
293 画像拡大部
294 差分対象領域決定部
295 位置差情報生成部
296 差分画素画像生成部
297 空間周波数領域変換部
298 量子化部
299 周波数領域画質変換部
301 圧縮動画取得部
302 対応付け解析部
310 圧縮動画伸張ユニット
311 圧縮動画伸張部
303 動画生成部
304 出力部
DESCRIPTION OF
Claims (12)
前記イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間の画像の変化量を検出する変化量検出部と、
前記変化量が予め定められた値より小さい場合に、前記動画構成画像の前記イントラ符号化された領域の画像を、前記他の動画構成画像を参照するインター符号化により圧縮する再圧縮部と、
を備える画像処理装置。 A moving image acquisition unit that acquires a moving image including a moving image constituent image having an intra-coded region;
A change amount detection unit that detects a change amount of an image between a moving image constituent image having the intra-coded region and another moving image constituent image;
A recompression unit that compresses the image of the intra-coded region of the moving image constituent image by inter encoding that refers to the other moving image forming image when the amount of change is smaller than a predetermined value;
An image processing apparatus comprising:
をさらに備え、
前記変化量検出部は、前記動画構成画像におけるイントラ符号化された領域を有する前記特徴領域と前記他の動画構成画像における前記特徴領域との間の前記変化量を検出し、
前記再圧縮部は、前記変化量が予め定められた値より小さい場合に、前記イントラ符号化された領域を有する前記特徴領域の画像を、前記他の動画構成画像における前記特徴領域を参照するインター符号化により圧縮する
請求項1に記載の画像処理装置。 A feature region detecting unit for detecting feature regions in a plurality of movie composition images included in the movie,
The change amount detection unit detects the change amount between the feature region having an intra-coded region in the moving image constituent image and the feature region in the other moving image constituent image,
The recompressing unit refers to an image of the feature region having the intra-coded region when the amount of change is smaller than a predetermined value, and refers to the feature region in the other moving image constituent image. The image processing apparatus according to claim 1, wherein compression is performed by encoding.
前記変化量検出部は、Iピクチャである前記動画構成画像における前記特徴領域と前記他の動画構成画像における前記特徴領域との間の変化量を検出し、
前記再圧縮部は、前記変化量が予め定められた値より小さい場合に、前記Iピクチャである動画構成画像を、前記他の動画構成画像を参照するPピクチャまたはBピクチャに変換することにより圧縮する
請求項2に記載の画像処理装置。 The moving image acquisition unit acquires a moving image including an I picture that is a moving image constituent image having the intra-coded region,
The change amount detecting unit detects a change amount between the feature region in the moving image constituent image that is an I picture and the feature region in the other moving image constituent image,
The recompression unit compresses the moving picture constituent image, which is the I picture, by converting it into a P picture or a B picture that refers to the other moving picture constituent image when the amount of change is smaller than a predetermined value. The image processing apparatus according to claim 2.
前記再圧縮部は、前記変化量が予め定められた値より小さい場合に、前記Iピクチャである前記動画構成画像を、前記他のIピクチャである前記他の動画構成画像を参照するPピクチャまたはBピクチャに変換することにより圧縮する
請求項3に記載の画像処理装置。 The change amount detection unit detects a change amount between the feature region in the moving image constituent image that is an I picture and the feature region in the other moving image constituent image that is another I picture,
The recompression unit, when the amount of change is smaller than a predetermined value, refers to the moving picture constituent image that is the I picture, a P picture that refers to the other moving picture constituent image that is the other I picture, or The image processing apparatus according to claim 3, wherein the image processing apparatus compresses the picture by converting it into a B picture.
請求項2に記載の画像処理装置。 The recompression unit, when the amount of change is smaller than a predetermined value, the image difference between the feature region having the intra-coded region and the feature region in the other moving image constituent image The image processing apparatus according to claim 2, wherein the image of the feature area having the intra-coded area is compressed.
請求項5に記載の画像処理装置。 The recompression unit includes the position of the difference target region in the feature region of the other moving image constituent image that takes a difference from the feature region having the intra-coded region and the intra-coded region. The image of the feature region having the intra-coded region based on the position difference between the region and the difference between the feature region having the intra-coded region and the difference target region. The image processing device according to claim 5, wherein the image processing device is compressed.
前記イントラ符号化された領域を有する前記特徴領域および前記他の動画構成画像における前記特徴領域を伸張して、前記イントラ符号化された領域を有する前記特徴領域の画素情報および前記他の動画構成画像における前記特徴領域の画素情報を取得する画像伸張部と、
前記画像伸張部により伸張されて得られた画素情報に基づいて生成される前記画像の差分により、前記イントラ符号化された領域を有する前記特徴領域の画像を圧縮する差分再圧縮部と、
を有する請求項5に記載の画像処理装置。 The recompression unit
The feature region having the intra-coded region and the feature region in the other moving image constituent image are expanded, and the pixel information of the characteristic region having the intra-coded region and the other moving image forming image are obtained. An image decompression unit for obtaining pixel information of the feature region in
A differential recompression unit that compresses the image of the feature region having the intra-coded region based on the difference of the image generated based on the pixel information obtained by decompression by the image decompression unit;
The image processing apparatus according to claim 5.
前記変化量検出部は、前記インター符号化された動画構成画像に含まれる符号化情報に基づいて前記変化量を検出する
請求項1に記載の画像処理装置。 The video acquisition unit acquires the video including an inter-coded video constituent image between the video constituent image having the intra-coded region and the other video constituent image,
The image processing apparatus according to claim 1, wherein the change amount detection unit detects the change amount based on encoding information included in the inter-coded moving image constituent image.
請求項8に記載の画像処理装置。 The image processing apparatus according to claim 8, wherein the change amount detection unit detects the change amount based on at least one of image difference information and a motion vector included in the inter-coded moving image constituent image.
請求項1に記載の画像処理装置。 The change amount detection unit compresses the moving image constituent image having the intra-coded region by comparing it with the other moving image forming image, and the moving image constituent image having the intra-coded region is more compressed. The image processing apparatus according to claim 1, wherein the smaller the amount of change is detected as compression is performed at a rate.
前記イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間の画像の変化量を検出する変化量検出段階と、
前記変化量が予め定められた値より小さい場合に、前記動画構成画像の前記イントラ符号化された領域の画像を、前記他の動画構成画像を参照するインター符号化により圧縮する再圧縮段階と
を備える画像処理方法。 A video acquisition stage for acquiring a video including a video composition image having an intra-coded region;
A change amount detecting step for detecting a change amount of an image between the moving image constituent image having the intra-coded region and another moving image constituent image;
A recompression step of compressing the image of the intra-coded region of the moving image constituent image by inter encoding referring to the other moving image forming image when the amount of change is smaller than a predetermined value. An image processing method provided.
イントラ符号化された領域を有する動画構成画像を含む動画を取得する動画取得部、
前記イントラ符号化された領域を有する動画構成画像と他の動画構成画像との間の画像の変化量を検出する変化量検出部、
前記変化量が予め定められた値より小さい場合に、前記動画構成画像の前記イントラ符号化された領域の画像を、前記他の動画構成画像を参照するインター符号化により圧縮する再圧縮部
として機能させるプログラム。 A program for an image processing apparatus for processing an image, wherein the image processing apparatus is
A moving image acquisition unit for acquiring a moving image including a moving image constituent image having an intra-coded region;
A change amount detection unit for detecting a change amount of an image between a moving image constituent image having the intra-coded region and another moving image constituent image;
When the amount of change is smaller than a predetermined value, it functions as a recompression unit that compresses the image of the intra-coded region of the moving image constituent image by inter encoding that refers to the other moving image constituent image Program to make.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007240185A JP4817263B2 (en) | 2007-09-14 | 2007-09-14 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007240185A JP4817263B2 (en) | 2007-09-14 | 2007-09-14 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009071731A true JP2009071731A (en) | 2009-04-02 |
JP4817263B2 JP4817263B2 (en) | 2011-11-16 |
Family
ID=40607504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007240185A Expired - Fee Related JP4817263B2 (en) | 2007-09-14 | 2007-09-14 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4817263B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011061287A (en) * | 2009-09-07 | 2011-03-24 | Brother Industries Ltd | Communication control device, communication control method, and communication control program |
KR20140110950A (en) * | 2012-01-26 | 2014-09-17 | 니폰 덴신 덴와 가부시끼가이샤 | Video encoding method, device, and program |
WO2016203539A1 (en) * | 2015-06-16 | 2016-12-22 | 三菱電機株式会社 | Image encoding scheme conversion device and image encoding scheme conversion method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1023427A (en) * | 1996-07-04 | 1998-01-23 | Matsushita Electric Ind Co Ltd | Video signal encoding and decoding device and video signal transmitter |
JP2004274216A (en) * | 2003-03-06 | 2004-09-30 | Sharp Corp | Moving image data dividing apparatus |
JP2006074327A (en) * | 2004-09-01 | 2006-03-16 | Alpine Electronics Inc | Re-coder for video data and video distribution system |
-
2007
- 2007-09-14 JP JP2007240185A patent/JP4817263B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1023427A (en) * | 1996-07-04 | 1998-01-23 | Matsushita Electric Ind Co Ltd | Video signal encoding and decoding device and video signal transmitter |
JP2004274216A (en) * | 2003-03-06 | 2004-09-30 | Sharp Corp | Moving image data dividing apparatus |
JP2006074327A (en) * | 2004-09-01 | 2006-03-16 | Alpine Electronics Inc | Re-coder for video data and video distribution system |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011061287A (en) * | 2009-09-07 | 2011-03-24 | Brother Industries Ltd | Communication control device, communication control method, and communication control program |
KR20140110950A (en) * | 2012-01-26 | 2014-09-17 | 니폰 덴신 덴와 가부시끼가이샤 | Video encoding method, device, and program |
KR101678138B1 (en) * | 2012-01-26 | 2016-11-21 | 니폰 덴신 덴와 가부시끼가이샤 | Video encoding method, device, and program |
US10051270B2 (en) | 2012-01-26 | 2018-08-14 | Nippon Telegraph And Telephone Corporation | Video encoding method using at least two encoding methods, device and computer program |
WO2016203539A1 (en) * | 2015-06-16 | 2016-12-22 | 三菱電機株式会社 | Image encoding scheme conversion device and image encoding scheme conversion method |
JPWO2016203539A1 (en) * | 2015-06-16 | 2017-08-31 | 三菱電機株式会社 | Image coding method conversion apparatus and image coding method conversion method |
Also Published As
Publication number | Publication date |
---|---|
JP4817263B2 (en) | 2011-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8233527B2 (en) | Software video transcoder with GPU acceleration | |
JP2009049979A (en) | Image processing device, image processing method, image processing system, and program | |
JP5531327B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009089356A (en) | Image processing apparatus, image processing method, and program | |
WO2009122718A1 (en) | Imaging system, imaging method, and computer-readable medium containing program | |
JP2009048620A (en) | Image processor, image processing method, and program | |
JP2009049976A (en) | Image processing apparatus, image processing method and program | |
JP2002223443A (en) | Transcoding method and transcoder | |
JP5256496B2 (en) | Image processing system, image processing method, and program | |
JP4817263B2 (en) | Image processing apparatus, image processing method, and program | |
JP5082134B2 (en) | Image processing apparatus, image processing method, and program | |
Feng et al. | Supporting region-of-interest cropping through constrained compression | |
JP4911468B2 (en) | Image processing apparatus, image processing method, and program | |
JP4895044B2 (en) | Image processing apparatus, image processing method, and program | |
JP4817262B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009296382A (en) | Image processing system, image processing method, and program | |
JP4900602B2 (en) | Image processing apparatus, image processing method, program, and image processing system | |
JP4895041B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009071733A (en) | Image processor, image processing system, method and program | |
JP4817260B2 (en) | Image processing apparatus, image processing method, and program | |
JP2007151062A (en) | Image encoding device, image decoding device and image processing system | |
JP5062407B2 (en) | Image processing apparatus, image processing method, and program | |
JP4873488B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009253581A (en) | Image processing apparatus, image processing method, and program | |
JP2004363875A (en) | Image signal processing method and image signal processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110824 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4817263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |