JP4939890B2 - Video encoding apparatus, video decoding apparatus, and video decoding method - Google Patents
Video encoding apparatus, video decoding apparatus, and video decoding method Download PDFInfo
- Publication number
- JP4939890B2 JP4939890B2 JP2006271167A JP2006271167A JP4939890B2 JP 4939890 B2 JP4939890 B2 JP 4939890B2 JP 2006271167 A JP2006271167 A JP 2006271167A JP 2006271167 A JP2006271167 A JP 2006271167A JP 4939890 B2 JP4939890 B2 JP 4939890B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- simulation
- specific
- specific area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Description
本発明は、フレーム間符号化が行われる映像に対する映像符号化装置、映像復号化装置及び映像復号化方法に関する。 The present invention relates to a video encoding device, a video decoding device, and a video decoding method for a video on which interframe coding is performed.
近年においては、映像を構成する時系列の画像に対して、MPEG等の動き補償を伴うフレーム間符号化を行う符号化手段を用いることにより、フレーム間符号化を行わない場合よりも動画像の画像データ量を低減する映像符号化装置や、符号化された映像或いは画像を復号化する映像復号化装置が広く用いられるようになった。
このような場合、従来例の映像符号化装置においては、符号化を行おうとする画像として特に煙、炎等のように時間的な変化が激しい、換言すると異なるフレーム間における対応する画像の動き量若しくはずれ量が大きい特定領域を含む画像が符号化対象となる場合には、フレーム間符号化に伴う予測誤差が大きくなりがちとなる。
In recent years, by using encoding means that performs inter-frame encoding with motion compensation, such as MPEG, for time-series images constituting a video, a moving image can be generated more than when no inter-frame encoding is performed. Video encoding devices that reduce the amount of image data and video decoding devices that decode encoded video or images have come to be widely used.
In such a case, in the video encoding device of the conventional example, the temporal change such as smoke, flame, etc. is particularly severe as the image to be encoded, in other words, the motion amount of the corresponding image between different frames Alternatively, when an image including a specific region with a large deviation amount is to be encoded, a prediction error associated with interframe encoding tends to increase.
予測誤差が大きくなる場合は、フレーム内で符号化を行うイントラピクチャ（I-pictureと略記）を多く入れるなどの対応を行う場合があるが、いずれにしても符号量が増大してしまうという問題がある。
なお、特許文献１には、煙の領域を検出する装置が開示されている。
しかしながら、この特許文献１における装置は、符号化或いは復号化を行う手段を開示していない。
However, the apparatus in
本発明は上述した点に鑑みてなされたもので、煙、炎等、動き量若しくはずれ量が大きい特定領域を含む映像に対して小さな符号量での符号化を可能とする映像符号化装置、その符号化に対する復号化を可能とする映像復号化装置及び映像復号化方法を提供することを目的とする。 The present invention has been made in view of the above points, and is a video encoding device that enables encoding with a small code amount for a video including a specific region with a large amount of movement or displacement, such as smoke or flame, An object of the present invention is to provide a video decoding apparatus and a video decoding method that enable decoding for the encoding.
本発明の一実施形態に係る映像復号化装置は、フレーム内符号化及びフレーム間符号化によって生成した符号化画像であって、前記フレーム間符号化に際して、色相が特定画像の平均的な色相に対応する所定範囲内かつ異なるフレーム間における動き量が閾値以上となる特定領域を前記特定画像以外の背景画像又は置換画像で置換して生成された符号化画像中のフレーム間符号化されたフレームについて、前記特定領域以外の画像部分をフレーム間復号化する復号化手段と、前記符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行い、復号結果の画像を用い離散差分方程式に初期条件を設定して積分するシミュレーションによってシミュレーション画像を生成し、生成したシミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成手段と、を具備する。
A video decoding apparatus according to an embodiment of the present invention is an encoded image generated by intraframe encoding and interframe encoding, and the hue is set to an average hue of a specific image during the interframe encoding. Regarding inter-frame encoded frames in an encoded image generated by replacing a specific region in which a motion amount between different frames within a corresponding predetermined range is equal to or greater than a threshold with a background image or a replacement image other than the specific image Decoding means for inter-frame decoding the image portion other than the specific region, and intra-frame decoding of the image portion of the specific region for the intra-frame encoded frame in the encoded image, A simulation image is generated by a simulation that sets and integrates an initial condition for a discrete difference equation using an image, and the generated simulation It comprises a simulation image generating means for the emission and decoding images of the image portion of the specific region of the encoded frame across the frame.
本発明の映像復号化装置によれば、煙、炎等、動き量若しくはずれ量が大きい特定領域を含む映像に対して小さな符号量での符号化を可能とする。
また、本発明の映像復号化装置及び映像復号化方法によれば、前記小さな符号量での符号化された映像に対する復号化を可能とする。
According to the video decoding device of the present invention, it is possible to encode a video including a specific region having a large amount of movement or displacement, such as smoke or flame, with a small code amount.
Also, according to the video decoding apparatus and video decoding method of the present invention, it is possible to decode the video encoded with the small code amount.
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る映像符号化装置１の構成を示す。この映像符号化装置１は、入力される入力画像２に対して煙、炎等、動きが激しい或いは時間的な変化が大きい特定領域を検出する特定領域検出部３を有する。
つまり、煙、炎等、動きが激しい或いは時間的な変化が大きい特定領域の場合には、動き検出を伴うフレーム間符号化を行った場合にはその予測誤差或いはフレーム間符号化量が増大してしまう。
このため、本実施形態では、このような特性を示す特定領域を検出し、その特定領域に対してはそのままの状態では、フレーム間符号化を行わないようにする。
この特定領域検出部３により検出された特定領域を含むフレームの画像は、背景合成部４に入力される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 shows the configuration of a
In other words, in the case of a specific area where the motion is intense or the temporal change is large, such as smoke or flame, when the inter-frame coding with motion detection is performed, the prediction error or the inter-frame coding amount increases. End up.
For this reason, in this embodiment, a specific area exhibiting such characteristics is detected, and interframe coding is not performed for the specific area as it is.
An image of a frame including the specific area detected by the specific area detection unit 3 is input to the
背景合成部４は、イントラピクチャ（I-pictureと略記）の以外の画像においては、特定領域部分の画像データを除去し、その特定領域部分を、より予測誤差が小さくできる背景画像等で置換した背景合成画像（或いは置換画像）を生成する。
なお、I-pictureは、フレーム内で符号化が行われる画像（フレーム）であり、これ以外の画像、つまりインターピクチャの画像は、フレーム間符号化が行われる。
背景合成部４から出力される背景合成画像は、所定画素数からなる（Macro Block等の）ブロックに分割されて画像符号化部５に入力され、この画像符号化部５は、入力される背景合成画像の各ブロックを符号化して出力画像２２を生成する。この画像符号化部５は、通常広く採用されている画像符号化装置に該当する。
The background synthesizing
Note that I-picture is an image (frame) that is encoded within a frame, and inter-frame encoding is performed on other images, that is, inter-picture images.
The background synthesized image output from the
なお、背景合成部４は、I-pictureのフレームの場合には、特定領域部分の情報を生成する（この情報は映像復号時に用いられる）が、入力画像のまま、分割されたブロックを、画像符号化部５に出力する。
そして、後述する第２の実施形態等で説明する映像復号化装置３１側においては、映像符号化装置１から出力される符号化された画像に対して、I-picture以外のフレームに対して、背景画像等で置換等された特定領域部分に対して、I-pictureにおける特定領域部分の情報を用いて煙、炎等の特性を示す特定領域を復号化する処理を行うことになる。 上記特定領域検出部３は、入力画像２が、煙等が有する色相に合致する領域か否かを検出する色相検出回路６と、この色相検出回路６により検出された領域を含むフレームを格納する第１のフレームバッファ７と、フレーム間の画像から動き若しくは画像間のずれ量を検出する動き／ずれ量検出回路８とを有する。
In the case of an I-picture frame, the
On the
色相検出回路６は、入力画像のカラー画像を、例えばR、G、B成分に分解する。そして、色相検出回路６は、分解したRGB画像成分が、煙等が持つ特徴の１つとなるその色相範囲内に入るか否かを閾値と比較することにより検出する。
色相検出回路６による閾値との比較により、煙等の特定画像部分が有する色相範囲内にある特定領域の可能性を持つ候補領域と判定された場合には、そのフレームが第１のフレームバッファ７に格納され、次のフレームにおいても、色相検出回路６は同様の検出を行う。
そして、隣接するフレーム間で色相検出により、閾値以内で一致すると判定された両候補領域に対して、動き／ずれ量検出回路８は、例えば対応する両候補領域の中心位置間のずれ量による動き量や、対応する両画素値の差の２乗和（２乗の積算値）等の算出により、両候補領域間の動き量若しくはずれ量が閾値を超えるか否かを検出（判定）する。
The
When the
Then, for both candidate areas determined to match within the threshold by hue detection between adjacent frames, the motion / deviation
動き／ずれ量検出回路８は、両候補領域間の動き量若しくはずれ量が閾値を超えるか否かを検出（判定）することにより、煙、炎等の特定画像が持つ主要な特徴としてのフレーム間符号化の際の予測誤差が大きくなって（従って、符号化量が増大しまう）特定領域であるか否かの判定を行う。
なお、動き／ずれ量検出回路８による上記２乗和等の算出の代わりに両候補領域間の動きベクトルの値の検出を行い、その値が閾値を超えるか否かにより特定画像に相当する特定領域であるか否かを判定しても良い。
そして、そのような判定が行われた特定領域部分に対して、次の背景合成部４は、その特定領域以外の例えば背景画像等で置換する処理を行う。
なお、特定領域検出部３は、色相検出と動き／ずれ量検出の他に、特定領域か否かの検出精度を上げるため、さらに濃度を調べる方法もある。具体的には、あるブロックに対して輝度値・色差の分散行列を求め、閾値に収まる成分の数を数えることで、煙等の特定画像部分が持つ特定領域であるか否かを判定することができる。
The motion / deviation
Instead of calculating the sum of squares and the like by the motion / deviation
Then, the next
In addition to the hue detection and the motion / deviation amount detection, the specific area detection unit 3 also has a method of further checking the density in order to increase the detection accuracy of whether or not the area is a specific area. Specifically, it is determined whether or not a specific area of a specific image part such as smoke is obtained by calculating a variance matrix of luminance values and color differences for a certain block and counting the number of components falling within the threshold. Can do.
背景合成部４は、特定領域検出部３を経た画像における特定領域を除去する特定領域除去＆背景生成回路９と、この特定領域除去＆背景生成回路９により特定領域が除去された残りのフレーム画像部分を格納する第２のフレームバッファ１０とを有する。
また、特定領域除去＆背景生成回路９は、第２のフレームバッファ１０から特定領域が除去された残りのフレーム画像部分を読み出し、その特定領域部分に背景画像等で置換して背景合成画像を生成して、その背景合成画像を複数のブロックに分割して、各ブロックを画像符号化部５に出力する。
なお、上述したように背景合成部４は、フレーム間符号化を行わない、つまり動きベクトルを検出しないI-pictureの場合には、入力画像２における特定領域部分を背景画像等で置換する処理を行うことなく、複数のブロックに分割して、各ブロックを、画像符号化部５に出力する。
The
Further, the specific area removal &
As described above, the
（I-picture以外に対して）この背景合成部４における特定領域除去＆背景生成回路９は、予測誤差が大きくなってしまう特定領域を、少なくともその特定領域以外となる背景画像等の所定画像で埋める（置換する）までの処理手順の概略は、
（ａ）I-pictureの前後の数フレームの画像から予測誤差が大きくなってしまう煙等の特定領域に対して、その特定領域でなく背景が映っているフレームを探す。
（ｂ）そして、注目している特定領域を含むブロックと同じ位置のブロックを背景画像のブロックとして採用する。
（ｃ）また、あるフレームの前後で背景が映っているものがあれば、動き補償した上で背景画像のブロックとして採用しても良い。
この他、特定領域を含むブロックを、上述した背景画像ではなく、特定領域の平均の色相、例えば特定領域が煙の場合には、煙の平均的な色相値となる白色のブロックで埋める等の処理を適用しても良い。つまり、特定領域を背景画像や置換画像等の所定画像で置換しても良い。
The specific area removal &
(A) For a specific area such as smoke in which a prediction error increases from images of several frames before and after the I-picture, a frame in which the background is reflected is searched instead of the specific area.
(B) Then, a block at the same position as the block including the particular area of interest is adopted as the block of the background image.
(C) In addition, if there is an image of the background before and after a certain frame, it may be adopted as a block of the background image after motion compensation.
In addition, the block including the specific area is not the background image described above, but is filled with an average hue of the specific area, for example, a white block having an average hue value of smoke when the specific area is smoke. Processing may be applied. That is, the specific area may be replaced with a predetermined image such as a background image or a replacement image.
煙等、予測誤差が大きくなってしまう特定領域を背景画像で置換する方法についてさらに補足説明する。図２はI-pictureの次の（I-picture以外の）フレーム（１）とさらに次のフレーム（２）とを示す。また、ここでは、特定領域として煙の場合で示している。 図２の上側に示すようにI-pictureの前後（ここでは後）における注目しているフレーム（１）に特定領域として煙のブロックＡが存在する場合、他のフレーム（２）の同位置のブロックＡ′が、そのフレーム（２）において煙領域でなければ背景画像として採用する。
一方、ブロックＢのように他のフレーム（２）におけるブロックＢ′においても煙で完全に覆われている場合には、上述したように前後の数フレームから煙でなく、背景が映っているフレームを探し、そのフレームにおける背景のブロックが動きベクトルを持っている時は動き補償を行う。
A supplementary description will be given of a method of replacing a specific area where a prediction error such as smoke becomes large with a background image. FIG. 2 shows a frame (1) next to I-picture (other than I-picture) and a further next frame (2). In addition, here, the specific region is indicated by smoke. As shown in the upper side of FIG. 2, when the smoke block A exists as a specific area in the frame (1) of interest before and after (here, after) the I-picture, the same position of the other frame (2) If the block A ′ is not a smoke area in the frame (2), it is adopted as a background image.
On the other hand, when the block B ′ in the other frame (2) is completely covered with smoke as in the block B, as described above, the frame showing the background instead of smoke from several frames before and after. When the background block in the frame has a motion vector, motion compensation is performed.
また、煙のブロックＡのように大部分が煙で覆われていて、残りの数画素の小さい部分が背景として見えている場合は、背景が映っている画素で最も距離が近い画素で背景を補間する。また、煙が映っている一連のフレームにおいて、時間変化に関係なく煙しかない全画素真っ白なブロックについては背景画像を探さずに周囲のブロックの画素値の平均を画素値として持つ単調なブロックを背景画像に設定する。
この場合、隣接する２つのI-pictureの間となる数フレーム程度だけ考えれば十分である。以上により、I-pictureの以外のフレームについては煙等が一切現れない背景合成画像が生成され、このブロックが画像符号化部５に入力される。
そして、画像符号化部５は、そのようなフレームのブロックに対して、本来の煙等の特定画像部分に対する動きベクトル検出を行うことなく、つまり特定領域部分が背景画像等で置換された背景合成画像に対して、通常のフレーム間符号化による画像符号化を行うことになる。
In addition, when most of the smoke block A is covered with smoke and a small portion of the remaining several pixels is visible as the background, the background pixel is the closest pixel to which the background is reflected. Interpolate. In addition, in a series of frames in which smoke is reflected, a monotonous block that has the average pixel value of surrounding blocks as the pixel value without searching for the background image for all pixels that have only white smoke regardless of temporal changes. Set as background image.
In this case, it is sufficient to consider only a few frames between two adjacent I-pictures. As described above, a background composite image in which smoke or the like does not appear at all for frames other than I-picture is generated, and this block is input to the
Then, the
このため、本来の煙等を含む画像のままでフレーム間符号化を行った場合における予測誤差量が増大し、そのフレーム間符号化量が増大してしまうことを回避できるようになる。 この画像符号化部５は、入力される背景合成画像のブロックに対して減算を行う減算器１１と、この減算器１１の出力信号を離散コサイン変換（ＤＣＴと略記 ）するＤＣＴ 回路１２と、このＤＣＴ 回路１２の出力信号を量子化して出力する量子化回路１３とを有する。
なお、I-pictureのフレームの場合には、背景合成画像の代わりにI-pictureのブロックが減算器１１をスルーして、ＤＣＴ回路１２に入力される。
この画像符号化部５は、入力されるブロックについてのＤＣＴ 係数あるいは後述する動きベクトルを可変長符号化したパケットに区切って、ビットストリーム信号の出力画像を出力する可変長符号化回路１４を有する。
For this reason, it is possible to avoid an increase in the prediction error amount when the inter-frame encoding is performed with an image including the original smoke or the like, and the increase in the inter-frame encoding amount. The
In the case of an I-picture frame, an I-picture block passes through the
The
この画像符号化部５は、上記量子化回路１３から出力されたＤＣＴ係数を逆量子化する逆量子化回路（図１ではＩＱと略記）１５と、逆量子化されたＤＣＴ係数をさらに逆離散コサイン変換する逆ＤＣＴ回路（図１ではＩＤＣＴと略記）１６とを有する。
また、この画像符号化部５は、逆離散コサイン変換された画像を加算する加算器１７と、この加算器１７の出力を格納するフレームメモリ１８と、このフレームメモリ１８に格納されていた画像が入力され、動き補償された予測画像を作成する動き補償回路（或いは予測画像作成回路）１９とを有する。なお、フレームメモリ１８には、背景合成画像も入力される。
動き補償回路１９により作成された予測画像は、減算器１１と加算器１７とに出力される。
The
In addition, the
The predicted image created by the
また、画像符号化部５は、入力される背景合成画像（のブロック）と、フレームメモリ１８に格納された画像を参照画像として動き検出を行う動き検出回路２０と、この動き検出回路２０から出力されるブロックの動きベクトルが入力されることにより、出力されるブロックへの動きを示す信号である動きベクトルを予測する動きベクトル予測回路２１とを有する。
このような構成の画像符号化部５は、この画像符号化部５に入力される画像がI-pictureの場合には、イントラ符号化（フレーム内符号化）を行うのみであり、イントラ符号化されて可変長符号化回路１４から、イントラ符号化された出力画像２２が出力される。
これに対して、I-picture以外の場合には、フレームメモリ１８に格納された画像を参照画像として、次に入力される背景合成画像のブロックに対して、参照画像のブロックとブロックマッチングを行う。そして、画像符号化部５は、参照画像のブロックからの動きベクトルを検出すると共に、動き補償された予測画像を作成して、入力される背景合成画像から予測画像を減算した予測誤差の画像データを符号化する。
Further, the
When the image input to the
On the other hand, in cases other than I-picture, the image stored in the
つまり、I-picture以外の（インター）フレームの場合には、画像符号化部５は、フレーム間符号化を行う。この場合、上述したように煙等のように予測誤差が大きくなる特定領域は、周囲の背景画像等で置換されているので、予測誤差が大きくなることなく、フレーム間符号化を行うことができる。
従って、この映像符号化装置１を用いて動画像（映像）の符号化を行うことにより、その動画像におけるI-picture以外の各フレームは、煙等の各特定領域が予測誤差を小さくできる背景画像等の所定画像で置換されているので、小さなデータ量でフレーム間符号化を行うことができる。
本実施形態における映像符号化装置１による概略の動作は、図３のようになる。入力画像２は、映像符号化装置１に入力され、ステップＳ１において特定領域検出部３は、入力画像２から特定領域の検出を行う。
That is, in the case of an (inter) frame other than I-picture, the
Therefore, by encoding the moving image (video) using the
The schematic operation of the
特定領域が検出された場合には、次のステップＳ２において例えば特定領域検出部３は、入力画像２がI-pictureか否かの判定を行う（換言すると、入力画像２をI-pictureとして符号化するか否かの判定を行う）。そしてI-pictureの場合には、次のステップＳ３において、そのI-pictureが画像符号化部５に送られ、この画像符号化部５は、I-picturとしてイントラ符号化を行う。
一方、ステップＳ１において特定領域が検出されない場合にも、ステップＳ４において入力画像２がI-pictureか否かの判定が行われる。そして、入力画像２がI-pictureの場合には、ステップＳ３に移り、I-pictureに対してイントラ符号化が行われる。
また、ステップＳ２において入力画像２がI-pictureでないと判定された場合には、ステップＳ５に進み、このステップＳ５において特定領域除去＆背景合成部４は、特定領域部分を背景画像等で置換して背景合成画像を生成する。そして、次のステップＳ６において画像符号化部５は、I-picture以外の背景合成画像に対してフレーム間符号化を行う。
When the specific area is detected, for example, the specific area detection unit 3 determines whether or not the
On the other hand, even when the specific area is not detected in step S1, it is determined whether or not the
If it is determined in step S2 that the
また、ステップＳ４において入力画像２がI-pictureでないと判定された場合にも、このステップＳ６においてフレーム間符号化が行われる。
このように動作する本実施形態は、入力画像２が煙等、動き量又はずれ量が大きく、予測誤差が大きくなる特定領域が有るか否かを特定領域検出部３により検出し、そのような特定領域が検出されない場合には通常の符号化処理を行う。
逆に、特定領域が検出された場合にはI-picture以外のフレームに対して、特定領域部分を背景画像等で置換して、フレーム間符号化を行う。
従って、本実施形態によれば、煙等、動き量又はずれ量が大きい特定領域を含む映像に対して小さな符号量での符号化が可能となる。
Even when it is determined in step S4 that the
In this embodiment that operates as described above, the specific area detection unit 3 detects whether or not there is a specific area where the
Conversely, when a specific area is detected, inter-frame coding is performed by replacing the specific area portion with a background image or the like for a frame other than I-picture.
Therefore, according to the present embodiment, it is possible to encode with a small code amount for a video including a specific region having a large amount of movement or displacement such as smoke.
（第２の実施形態）
次に本発明の第２の実施形態を説明する。図４は、本発明の第２の実施形態に係る映像復号化装置３１の構成を示す。
この映像復号化装置３１は、第１の実施形態に係る映像符号化装置１により符号化された出力画像２２のストリーム信号が入力されることにより、復号化の処理を行う。その際、最初のI-pictureのフレームにおける煙等の特定画像部分を利用して、I-picture以外のフレームにおける特定領域部分を復号（再生）する。
このため、この映像復号化装置３１は、通常の映像復号化を行う第１の映像復号化部３２に、特定領域部分に対する映像復号化を行う第２の映像復号化部３３を備えている。 ストリーム信号は、第１の映像復号化部３２を構成する可変長復号化回路３４に入力される。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. FIG. 4 shows a configuration of a
The
For this reason, the
この可変長復号化回路３４には、最初にI-pictureのフレームに対する符号化されたストリーム信号が入力され、可変長復号化回路３４は、そのストリーム信号における可変長符号を、固定長の符号に戻し、逆量子化回路３５に出力する。
また、I-pictureに続くI-picture以外のフレームの場合には、可変長復号化回路３４は、同様に可変長符号を、固定長の符号に戻し、逆量子化回路３５に出力すると共に、ストリーム信号における符号化された動きベクトルのデータ部分を抽出して動きベクトル再構成回路３６に出力する。
動きベクトル再構成回路３６は、入力された符号化された動きベクトルから動き補償処理で参照する動きベクトルの位置情報を算出する。そして、この動きベクトル再構成回路３６は、算出した動きベクトルの位置情報を動き補償回路３７に送る。動き補償回路３７は、動きベクトルの位置情報を用いて、動き補償した予測画像を生成する。
The variable
In the case of a frame other than I-picture following I-picture, the variable-
The motion
逆量子化回路３５は、固定長符号により予測残差の再生ＤＣＴ係数値を生成し、逆ＤＣＴ回路３８に出力する。この逆ＤＣＴ回路３８は、例えば８×８個の係数を再生予測残差画像に変換し、加算器３９に出力する。
加算器３９は、再生予測残差画像に、動き補償回路３７から出力される予測画像が第２の映像復号化部３３を経て入力され、この予測画像を加算して、再生画像を生成する。なお、I-pictureの場合には、動き補償することなく、再生画像が生成される。
第２の映像復号化部３３は、特定領域を除いた画像部分の場合には、動き補償回路３７から出力される予測画像を加算器３９に出力する。一方、特定領域部分の場合にはこの第２の映像復号化部３３で生成した予測特定画像を加算器３９に出力し、特定領域部分にこの予測特定画像を埋め込み、特定領域部分が予測特定画像で置換された再生画像が生成されるようにする。
The
The
In the case of the image portion excluding the specific region, the second video decoding unit 33 outputs the predicted image output from the
この再生画像は、出力端子から出力画像として出力されると共に、フレームメモリ４０に送られ、動き補償する際の参照画像としてフレームメモリ４０に格納される。
このフレームメモリ４０に格納された画像は、動き補償回路３７に出力され、この動き補償回路３７は、フレームメモリ４０に格納されている画像を参照画像として動きベクトル再構成回路３６から得られる動きベクトルの位置情報に基づいて動き補償し、予測画像を生成する。得られた予測画像は加算器３９に出力され、次のフレームの再生画像の生成に利用される。
また、本実施形態においては、第２の映像復号化部３３は、フレームメモリ４０に格納された最初のI-pictureにおける煙等の特定画像部分を用いて、I-picture以外のフレームにおける特定領域部分に対応する予測画像（以下、予測特定画像という）を生成し、この予測特定画像で特定領域部分を置換して、再生画像を生成する処理を行う。
The reproduced image is output as an output image from the output terminal, is sent to the
The image stored in the
In the present embodiment, the second video decoding unit 33 uses the specific image portion such as smoke in the first I-picture stored in the
そのため、この第２の映像復号化部３３は、最初のI-pictureの画像を用いて次のI-pictureが現れるまで、本来の画像となる煙等に相当する予測特定画像を生成する予測特定画像生成回路４１と、この予測特定画像生成回路４１により生成された予測特定画像をI-picture以外のフレームにおける特定領域に埋め込む等の処理により特定領域の特定画像として復号する特定画像合成回路４２とを有する。
この予測特定画像生成回路４１は、本実施形態においては予測特定画像としてシミュレーションによるシミュレーション画像を生成するシミュレーション画像生成回路４１ａを備えている。
シミュレーション画像による予測特定画像を生成するため、以下に示すようなNavier-Stokes方程式を利用する。I-picture以外のフレームにおける特定領域における元画像に相当する予測特定画像を生成するまでの手順の概略は以下のようになる。
Therefore, the second video decoding unit 33 uses the first I-picture image to generate a prediction specific image corresponding to smoke or the like that is the original image until the next I-picture appears. An image generation circuit 41, and a specific
In this embodiment, the prediction specific image generation circuit 41 includes a simulation image generation circuit 41a that generates a simulation image by simulation as the prediction specific image.
The Navier-Stokes equation as shown below is used to generate the prediction specific image by the simulation image. The outline of the procedure until the generation of the predicted specific image corresponding to the original image in the specific region in the frame other than the I-picture is as follows.
（ａ）符号化された各フレームを復号化する。
（ｂ）最初のI-pictureのフレームにおける煙等の特定画像の各位置に初期条件として速度ベクトルと圧力（及び必要に応じて外力）を与える。
（ｃ）その初期条件の下で、離散化した2次元Navier-Stokes方程式を解いて次のフレームでの位置を予測し、予測特定画像を特定領域に埋め込み、合成して次のフレームを生成する。
（ｄ）その予測特定画像を次のフレームを予測する画像として採用し、さらに速度ベクトルと圧力を初期条件として、（ｃ）のように更に次のフレームを生成する。
（ｅ）上記（ｃ）（ｄ）の操作を次のI-pictureが現れるまで繰り返し行い、I-pictureの間の各フレームにおける特定領域に対する予測特定画像を生成する。
(A) Decode each encoded frame.
(B) A velocity vector and pressure (and external force if necessary) are given to each position of a specific image such as smoke in the first I-picture frame as initial conditions.
(C) Under the initial conditions, the discretized two-dimensional Navier-Stokes equation is solved to predict the position in the next frame, and the predicted specific image is embedded in the specific region and synthesized to generate the next frame. .
(D) The predicted specific image is adopted as an image for predicting the next frame, and further, the next frame is generated as shown in (c) with the velocity vector and pressure as initial conditions.
(E) The above operations (c) and (d) are repeated until the next I-picture appears to generate a predicted specific image for a specific region in each frame between the I-pictures.
なお、（ｃ）において、予測特定画像を特定領域に埋め込み、特定画像を生成する処理を、最後に纏めて行うようにしても良い。以下では、この処理を最後に行う方法で説明する。
これらの手順に関して以下、説明する。
第１の実施形態で述べたとおり、I-picture以外のフレームにおいては煙等の本来の特定画像部分に相当する特定領域は、別の所定画像で置換されており、従って元画像の動きの情報は、符号化された後の情報には含まれていない。
そこで、除去されている煙等、元画像部分の動きを、シミュレーションにより生成されるシミュレーション画像により予測特定画像とする。
本実施形態では、元画像部分が例えば煙とし、煙の場合には、この煙を流体と見なしてその流体の振る舞いを記述する2次元Navier-Stokes方程式［数式１］を採用する。
In (c), the process of embedding the predicted specific image in the specific region and generating the specific image may be performed collectively at the end. Hereinafter, a method of performing this process last will be described.
These procedures will be described below.
As described in the first embodiment, in a frame other than I-picture, the specific area corresponding to the original specific image portion such as smoke is replaced with another predetermined image, and therefore information on the motion of the original image Is not included in the encoded information.
Therefore, the motion of the original image portion such as smoke that has been removed is set as a predicted specific image by a simulation image generated by simulation.
In the present embodiment, the original image portion is, for example, smoke. In the case of smoke, the two-dimensional Navier-Stokes equation [Formula 1] describing the behavior of the fluid is adopted by regarding the smoke as a fluid.
また、2次元Navier-Stokes方程式を、ｘ、ｙ成分［数式２］に分け、それを離散化し、差分方程式［数式３］にすることによって近似的に解き、煙の動きを算出する。
［数式１］
(∂/∂ｔ＋(ｗ・∇))ｗ＝ν・∇２ｗ−∇ｐ−ｆ(ｔ，ｘ，ｙ) （１−１）
∇ｗ＝０ （１−２）
但し、∇２＝∂２/∂ｘ２＋∂２/∂ｙ２、ｗ＝ｗ（ｕ，ｖ）
［数式２］
(∂/∂ｔ＋ｕ∂/∂ｘ＋ｖ∂/∂ｙ)ｕ＝ν・∇２ｕ−∂ｐ/∂ｘ−ｆｘ(ｔ，ｘ) （２−１）
(∂/∂ｔ＋ｕ∂/∂ｘ＋ｖ∂/∂ｙ)ｖ＝ν・∇２ｖ−∂ｐ/∂ｙ−ｆｙ(ｔ，ｙ) （２−２））
［数式３］
圧力項：
ｕ＝ｐ/４+ｄＵｘ ２+ｄＵｙ ２+２・ｄＵｙ/ｄＵｘ-(ｄＵｘ+ｄＶｙ)+ｆ(ｔ,ｘ,ｙ)/(Δｘ・Δy) （３−１）
ｘ成分：
ｕｔ＋１＝ｕｔ+｛ν・(ｒ（ｕ）−４ｕ)-ｄＰｘ-ｕ・ｄＵｘ-ｖ・ｄＵｙ+ｆｘ(ｔ,ｘ)｝・Δｔ
（３−２）
ｙ成分：
ｖｔ＋１＝ｖｔ+｛ν・(ｒ（ｖ）−４ｖ)-ｄＰｙ-ｕ・ｄＶｘ-ｖ・ｄＵｙ+ｆｙ(ｔ,ｙ)｝・Δｔ
（３−３）
但し、ｒ(ｕ)＝ｕ(ｘ+Δｘ，ｙ)+ｕ(ｘ-Δｘ，ｙ)+ ｕ(ｘ，ｙ+Δｙ)+ｕ(ｘ，ｙ-Δｙ)、
ｄＵｘ＝(ｕｉ＋１-ｕｉ−１)/(２Δｘ)，ｄＵｙ＝(ｕｊ＋１-ｕｊ−１)/(２Δｙ)，Δｘ＝Δｙ＝１，
Δｔはフレーム間隔の時間などである。
なお、数式１における（１−１）が2次元Navier-Stokes方程式であり、（１−２）により、煙の湧き出しが無い条件を課している。また、数式１におけるｗは速度ベクトル、νは粘性係数、ｐは圧力、ｆは外力を示す。
Further, the two-dimensional Navier-Stokes equation is divided into x and y components [Formula 2], which is discretized and converted into a difference equation [Formula 3] to be solved approximately to calculate the movement of smoke.
[Formula 1]
(∂ / ∂t + (w · ∇)) w = ν · ∇ 2 w−∇pf (t, x, y) (1-1)
∇w = 0 (1-2)
However, ∇ 2 = ∂ 2 / ∂x 2 + ∂ 2 / ∂y 2 , w = w (u, v)
[Formula 2]
(∂ / ∂t + u∂ / ∂x + v∂ / ∂y) u = ν · ∇ 2 u-∂p / ∂x-f x (t, x) (2-1)
(∂ / ∂t + u∂ / ∂x + v∂ / ∂y) v = ν · ∇ 2 v-∂p / ∂y-f y (t, y) (2-2))
[Formula 3]
Pressure term:
u = p / 4 + dU x 2 +
x component:
u t + 1 = u t + {ν · (r (u) −4u) −dP x −u · dU x −v · dU y + f x (t, x)} · Δt
(3-2)
y component:
v t + 1 = v t + {ν · (r (v) −4v) −dP y −u · dV x −v · dU y + fy (t, y)} · Δt
(3-3)
Where r (u) = u (x + Δx, y) + u (x−Δx, y) + u (x, y + Δy) + u (x, y−Δy),
dU x = (u i + 1 −u i−1 ) / (2Δx), dU y = (u j + 1 −u j−1 ) / (2Δy), Δx = Δy = 1,
Δt is a frame interval time or the like.
In addition, (1-1) in
また、（１−１）は、数式２の様にｘ，ｙ成分に分けられる。
一般に、Navier-Stokes方程式は非線形偏微分方程式であり、一般解を具体的に求めることは困難である。そこでNavier-Stokes方程式を時間方向に離散化し、差分方程式にした上で積分することで解く。
そこで、数式２を差分方程式に直したものが数式３における（３−２）及び（３−３）となる。なお、（３−１）は、速度ベクトルのｘ成分を表す（３−２）及びｙ成分を表す（３−３）中における圧力項を表している。
このように差分化したNavier-Stokes方程式を解く際に重要になるのが初期条件の選び方である。初期条件を誤って選択すると、次々に求められる煙の画像が、次のI-pictureとの間で大きな乖離が生じかねない。そこで初期条件の設定は、例えば図５に示すように行う。
Further, (1-1) is divided into x and y components as in
In general, the Navier-Stokes equation is a nonlinear partial differential equation, and it is difficult to obtain a general solution specifically. Therefore, the Navier-Stokes equation is discretized in the time direction, solved by making a difference equation and integrating.
Therefore, what is obtained by converting
It is important to select the initial conditions when solving the Navier-Stokes equations differentiated in this way. If the initial conditions are selected by mistake, the smoke images that are required one after another may cause a large discrepancy between the next I-picture. Therefore, initial conditions are set as shown in FIG. 5, for example.
なお、図５は、上側が映像復号化装置３１に順次入力される（実際には符号化された）フレームを示し、その下側にシミュレーションで生成される煙の予測特定画像を示す。図５の下側では、予測特定画像の部分を生成するが、上側のフレーム（ｉ）と対応付けして示している。
図５の最も左に示すフレームは、最初のI-pictureのフレームを示し、このフレームにおける煙の画像部分に初期条件を設定する。
初期条件としては、煙を形成する各粒子の速度ベクトル、圧力、外力ベクトル、粘性係数の4つであるが、粘性係数に関しては、全フレームで一定とする。まず最初のI-pictureのフレーム（１）において、煙の各粒子に適当な初期条件を与える。図５では速度ベクトルｕ１ｘ，ｖ１ｙと圧力ｐの初期値ｕ１ｘ ０，ｖ１ｙ ０、ｐ０を設定した様子を示している。
In FIG. 5, the upper side shows frames that are sequentially input (actually encoded) to the
The leftmost frame in FIG. 5 indicates the first I-picture frame, and the initial condition is set for the smoke image portion in this frame.
There are four initial conditions: the velocity vector, pressure, external force vector, and viscosity coefficient of each particle forming the smoke. The viscosity coefficient is constant for all frames. In the first I-picture frame (1), appropriate initial conditions are given to each smoke particle. FIG. 5 shows a state in which the velocity vectors u 1x and v 1y and the initial values u 1x 0 , v 1y 0 and p 0 of the pressure p are set.
そして次のフレーム（２）に対応する予測特定画像、次のフレーム（３）に対応する予測特定画像、という具合にして時系列的に次のI-pictureのフレーム（ｎ）に相当するフレーム（ｎ）における煙の予測特定画像を生成していく。
なお、図５ではフレーム（１）での速度ベクトルｕ１ｘ，ｖ１ｙが、フレーム（２）に対応する予測特定画像、I-pictureのフレーム（ｎ）に対応するフレーム（ｎ）における予測特定画像ではそれぞれｕ２ｘ，ｖ２ｙ、ｕｎｘ，ｖｎｙのように変化する。
図５の最も右における下側に示すフレーム（ｎ）まで、煙の予測特定画像（或いはシミュレーション画像）を生成したところで、その上に示す実際のI-pictureのフレーム（ｎ）における実際の煙の画像との比較を行う。
比較を行う具体的な方策としては、例えば煙の画像領域における対応する画素値の差の絶対値の2乗和を取るなどして比較を行う。
A frame (n) corresponding to the frame (n) of the next I-picture in time series, such as a prediction specific image corresponding to the next frame (2), a prediction specific image corresponding to the next frame (3), and so on. The predicted specific image of smoke in n) is generated.
In FIG. 5, the velocity vectors u 1x and v 1y in the frame (1) indicate the prediction specific image corresponding to the frame (2) and the prediction specific image in the frame (n) corresponding to the frame (n) of the I-picture. Then, it changes like u 2x , v 2y , u nx , and v ny , respectively.
When the prediction specific image (or simulation image) of smoke is generated up to the frame (n) shown on the lower right side in FIG. 5, the actual smoke in the frame (n) of the actual I-picture shown above is generated. Compare with the image.
As a specific measure for performing the comparison, for example, the comparison is performed by taking the sum of squares of the absolute values of the differences between the corresponding pixel values in the smoke image area.
ここで画素値とは輝度値及び色差値であり、輝度値のみ比較してもよいし、輝度値と色差値の両方を比較してもよい。
このようにして、初期条件を変更して複数組の煙の予測特定画像を生成する。そして、次のI-pictureの煙の画像領域との画素値の差の絶対値の2乗和が最も小さくなるときの初期条件を元のI-pictureの最適な初期条件として選ぶ。
さらに煙の各粒子の初期条件を摂動（小さく変動）させ、次のI-pictureの煙の画像領域との比較を行うことで各粒子の速度ベクトルと圧力を最適なものに選び、前の数フレームを（差分方程式を逆に解く、即ち微分することで）適宜修正しても良い。
但し、各フレームにおける煙の各粒子に働く外力に関しては、初期条件からNavier-Stokes方程式を解くことでは得られないので、各フレームの各粒子毎に外力を摂動させて、最適なものを選ぶようにしても良い。
Here, the pixel value is a luminance value and a color difference value, and only the luminance value may be compared, or both the luminance value and the color difference value may be compared.
In this way, a plurality of sets of predicted specific images of smoke are generated by changing the initial conditions. Then, the initial condition when the sum of squares of the absolute value of the pixel value difference from the smoke area of the next I-picture is the smallest is selected as the optimal initial condition of the original I-picture.
In addition, the initial condition of each particle of smoke is perturbed (smallly changed), and the velocity vector and pressure of each particle are selected to be optimal by comparing with the smoke image area of the next I-picture. The frame may be modified as appropriate (by solving the difference equation in reverse, ie, by differentiating).
However, the external force acting on each smoke particle in each frame cannot be obtained by solving the Navier-Stokes equation from the initial conditions. Anyway.
具体的には、「I-pictureの煙の粒子の速度ベクトル、圧力の初期条件を一つ固定して、次のI-pictureまでのフレームの煙粒子の外力ベクトルを摂動させて、次のI-pictureとの差が最適になるように各フレームの各粒子の外力ベクトルを決定する」を、他の速度ベクトル等の初期条件で最適なものを探すごとに実行し、次のI-pictureとの差が最適になるようにする。このようにして自然な煙の流れを実現することができる。
このようにして、I-pictureとの差が最適になる煙の予測特定画像を生成できた場合には、時系列的に生成された煙の各予測特定画像を、各予測特定画像と最も近い関係になるフレームにおける所定領域に填め込むことにより、特定領域が特定画像で復号された再生画像を生成する。
図６は、本実施形態に係る映像復号化装置３１による映像復号化方法の動作内容の概略を示す。
Specifically, “I-picture smoke particle velocity vector, one initial pressure condition is fixed, the external force vector of smoke particles in the frame up to the next I-picture is perturbed, and the next I `` Determine the external force vector of each particle in each frame so that the difference from -picture is optimal '' is executed every time the optimal one is searched for under the initial conditions such as other velocity vectors, and the next I-picture So that the difference is optimal. In this way, a natural smoke flow can be realized.
In this way, when a smoke specific prediction image with an optimal difference from I-picture can be generated, each prediction specific image of smoke generated in time series is closest to each prediction specific image. By fitting into a predetermined area in a related frame, a reproduction image in which the specific area is decoded with the specific image is generated.
FIG. 6 shows an outline of the operation content of the video decoding method by the
最初のステップＳ１１において可変長復号化回路３４は、入力されるストリ−ム信号（符号化画像）がI-pictureか否かの判定を行う。そして、I-pictureの場合にはステップＳ１２に示すように第１の映像復号化装置３２によりイントラ復号化（フレーム内復号化）が行われる。
また、この復号化されたI-pictureは、フレームメモリ４０に格納され、ステップＳ１３に示すように第２の映像復号化部３３は、その特定領域の画像を用いて、I-picture以外のフレームの特定領域の元画像に対応する予測特定画像（シミュレーション画像）を生成する。
一方、I-pictureでない場合には、ステップＳ１４に示すように、第１の映像復号化部３２は、フレーム間復号化により、特定領域以外の画像を復号化する。そして、ステップＳ１５において、ステップＳ１３とステップＳ１４でそれぞれ生成された画像が合成されて再生画像が生成される。
In the first step S11, the variable
The decoded I-picture is stored in the
On the other hand, if it is not an I-picture, as shown in step S14, the first
図６の映像復号化する処理方法においては、I-picture以外のフレームの特定領域は、その元画像よりも小さい符号量で符号化されているので、小さい符号量で符号化された映像の復号化ができる効果を有する。 In the video decoding processing method of FIG. 6, since the specific area of the frame other than I-picture is encoded with a code amount smaller than that of the original image, decoding of the video encoded with a small code amount is performed. It has the effect that can be made.
次に図７により図５で説明した予測特定画像（シミュレーション画像）を生成する動作を説明する。
図７は、第２の映像復号化部３３により、図５で説明した処理を行う動作内容を示すフローチャートである。図７では図５の場合と同様に特定画像が煙の場合で説明する。最初のステップＳ２１において予測特定画像生成回路４１は、最初のI-pictureの煙の画像領域における各点に適当な初期条件を設定する。
そして、次のステップＳ２２においてこの予測特定画像生成回路４１におけるシミュレーション画像生成回路４１ａを構成する例えばＣＰＵは、次のI-pictureに至るまでの時間、上述したシミュレーションを行う。
次のステップＳ２３において、ＣＰＵは、シミュレーションにより得られた次のI-pictureの煙に対応する煙の予測特定画像としてのシミュレーション画像とを比較する。
Next, an operation of generating the prediction specific image (simulation image) described with reference to FIG. 5 will be described with reference to FIG.
FIG. 7 is a flowchart showing the operation contents for performing the processing described in FIG. 5 by the second video decoding unit 33. In FIG. 7, the case where the specific image is smoke will be described as in the case of FIG. In the first step S21, the predicted specific image generation circuit 41 sets appropriate initial conditions for each point in the first I-picture smoke image region.
In the next step S22, for example, the CPU constituting the simulation image generation circuit 41a in the prediction specific image generation circuit 41 performs the above-described simulation for the time until the next I-picture.
In the next step S23, the CPU compares the simulation image as the predicted specific image of smoke corresponding to the smoke of the next I-picture obtained by the simulation.
次のステップＳ２４においてＣＰＵは、この比較結果が閾値以下かの判定を行う。そして、閾値以下にならない場合には、ステップＳ２５において設定された初期条件を変更して、ステップＳ２２に戻る。
このようにして、ステップＳ２４の判定処理において、比較結果が閾値以下になった場合には、ステップＳ２６に進む。
ステップＳ２６において特定画像合成回路４２は、両I-picture間のフレームにおける特定領域をシミュレーション結果で置換する。そして、この処理を終了する。
このようにして、本実施形態は、I-picture以外の（インター）フレームにおいても煙等の元画像を、符号量が小さいストリーム信号としての画像符号化信号から生成することができる。
このように本実施形態によれば、符号量が小さくされた（符号化された）映像から復号化を行うことができる。
また、本実施形態によれば、映像符号化装置側から伝送する符号化された映像情報の伝送量を低減できる効果を有する。
In the next step S24, the CPU determines whether the comparison result is equal to or less than a threshold value. And when it is not below a threshold value, the initial condition set in step S25 is changed, and it returns to step S22.
In this way, when the comparison result is equal to or less than the threshold value in the determination process of step S24, the process proceeds to step S26.
In step S26, the specific
In this way, this embodiment can generate an original image such as smoke from an image encoded signal as a stream signal with a small code amount even in an (inter) frame other than I-picture.
As described above, according to the present embodiment, decoding can be performed from a video with a small code amount (encoded).
In addition, according to the present embodiment, there is an effect that the transmission amount of encoded video information transmitted from the video encoding device side can be reduced.
（第３の実施形態）
次に本発明の第３の実施形態を説明する。第２の実施形態は、符号化された画像に対して映像復号時に、フレーム間符号化が行われるフレームにおける特定領域部分に対して、I-pictureの特定画像からシミュレーションで生成したシミュレーション画像で置換等する処理を適用した。
本実施形態は、符号化時にシミュレーションで生成したシミュレーション画像を生成する。また、この場合、シミュレーション画像を、符号化時における煙等の実際の特定画像（元画像）と比較し、その比較結果に応じてシミュレーション画像と、実際の特定画像を符号化する。
図８は本発明の第３の実施形態に係る映像符号化装置１Ｂの構成を示す。入力画像２は、図１に示した特定領域検出部３に入力され、特定領域検出部３は入力画像に特定領域が存在するか否かの有無及び存在する場合における特定領域を検出する。
(Third embodiment)
Next, a third embodiment of the present invention will be described. In the second embodiment, at the time of video decoding of an encoded image, a specific region portion in a frame where inter-frame encoding is performed is replaced with a simulation image generated by simulation from a specific image of I-picture. Equal processing was applied.
In the present embodiment, a simulation image generated by simulation at the time of encoding is generated. In this case, the simulation image is compared with an actual specific image (original image) such as smoke at the time of encoding, and the simulation image and the actual specific image are encoded according to the comparison result.
FIG. 8 shows the configuration of a video encoding device 1B according to the third embodiment of the present invention. The
この特定領域検出部３により特定領域が検出された場合の出力は、特定領域除去部９Ａに入力されると共に、マルチプレクサ５２の第１の入力端に入力される。
特定領域除去回路９Ａは、特定領域検出部３により検出された特定領域を除去し、背景生成回路５３に出力する。
背景生成回路５３は、入力画像から特定領域を除去して、背景画像等で置換して背景合成画像を生成し、フレームバッファ５１に出力すると共に、シミュレーション回路５３に出力する。
フレームバッファ５１には、入力画像２も入力される。そして、このフレームバッファ５１は、入力画像から背景画像等で置換される特定領域を差し引いた特定領域部分の画像を画像比較回路５４に出力する。
The output when the specific area is detected by the specific area detecting unit 3 is input to the specific
The specific
The
The
なお、I-pictureのフレームの場合には、特定領域除去回路９Ａは特定領域を除去しないで、背景生成回路９Ｂを経てシミュレーション回路５３とマルチプレクサ５２に出力する。このシミュレーション回路５３には、特定領域の情報も入力される。
このシミュレーション回路５３は、I-pictureのフレームからその特定領域における煙等の画像部分に対してシミュレーションを行い、I-picture以外の各フレームにおける特定領域に対応するシミュレーション画像を生成して画像比較回路５４に出力する。
また、このシミュレーション回路５３は、このシミュレーション画像を生成する情報を符号化してマルチプレクサ５２の他方の入力端に出力する。
画像比較回路５４は、シミュレーション回路５３から出力されるシミュレーション画像と、フレームバッファ５１から出力される煙等の実際の特定画像部分とを比較して、その比較結果によりマルチプレクサ５２の切換（選択）を制御する。
In the case of an I-picture frame, the specific
The
The
The
例えば、画像比較回路５４は、シミュレーション画像と対応する特定画像部分とで各画素値の差の２乗和が閾値を超えるか否かを比較する。比較した結果が、閾値を超える場合には、マルチプレクサ５２から入力画像２が画像符号化部５に出力されるように切換を制御する。なお、画像比較回路５４は、比較結果が閾値を超える場合、その結果をシミュレーション回路５３に戻し、さらに異なる初期条件でシミュレーションを行わせるようにすることもできる。
一方、画像比較回路５４は、閾値以下となる場合には、背景合成画像にシミュレーション画像を生成する情報が付加された状態で画像符号化部５に出力されるように切換を制御する。
従って、画像符号化部５は、シミュレーション画像と対応する特定画像部分とが閾値を超えるずれが検出された場合には、実際に煙等を含む入力画像２に対して、通常の画像符号化を行う。一方、閾値以下のずれの場合には、画像符号化部５は、特定領域が置換された背景合成画像とシミュレーション画像を生成する情報に対して符号化を行う。
また、上記特定領域検出部３により特定領域が検出されない場合には、入力画像２は、この画像符号化部５を構成する減算器１１、フレームメモリ１８、動き補償回路１９、動き検出回路２０に入力され、画像符号化部５は、通常の画像符号化を行う。
For example, the
On the other hand, when the
Therefore, the
If the specific region is not detected by the specific region detection unit 3, the
なお、マルチプレクサ５２からの出力信号は、画像符号化部５における減算器１１，フレームメモリ１８、動き補償回路１９，動き検出回路２０に入力される。図８における画像符号化部５におけるその他の構成は、図１にて説明したのでその説明を省略する。
本実施形態に係る映像符号化装置１Ｂは、例えば図９に示すような動作を行う。
最初のステップＳ３１において、入力画像２が煙等の特定画像を含むか否かを特定領域検出部３により検出する。
特定領域が検出されない場合には、ステップＳ３７に進み、入力画像２を通常の方式で符号化する。つまり、特定領域が検出されない場合には、既存の方式と同様に画像符号化部５により符号化を行う。
一方、特定領域が検出された場合には、ステップＳ３２に進み、I-picture以外の場合には、特定領域除去回路５１は、入力画像２から特定領域を除外し、背景生成回路９Ｂは背景画像等を挿入し、背景合成画像を生成する。なお、I-pictureの場合には、このフレームと、その場合における特定領域の情報がシミュレーション回路５３に入力される。
The output signal from the
The video encoding device 1B according to the present embodiment performs an operation as shown in FIG. 9, for example.
In the first step S31, the specific area detection unit 3 detects whether or not the
If the specific area is not detected, the process proceeds to step S37, and the
On the other hand, if the specific area is detected, the process proceeds to step S32. If the specific area is other than I-picture, the specific
次のステップＳ３３においてシミュレーション回路５３は、最初のI-pictureにおける特定領域の画像に対して、初期条件を設定して、第２の実施形態において説明したように各フレームに対応するシミュレーション画像を次のI-pictureに至るまで順次、生成する。 そして、次のステップＳ３４において、画像比較回路５４は、シミュレーション画像と、実際に入力される各フレームにおける特定領域の画像とに対して、例えば特定領域のMacro Block毎に対応する画素値の差の２乗和を算出する。
そして、次のステップＳ３５において、画像比較回路５４は、対応する画素値の差の２乗和の特定領域の１Macro Block当たりの平均値が閾値を超えるか否かを比較（判定）する。
この比較結果が閾値を超える画像のフレームに対しては、ステップＳ３７に示すようにそのフレームを既存の方式と同様に画像符号化部５により通常の画像符号化を行う。つまり、I-picture以外のフレームにおいても煙等の元画像を含む状態のまま、そのフレームを画像符号化する。なお、この場合、閾値を超える場合には、初期条件を変更して同様の処理を繰り返すようにしても良い。
In the next step S33, the
Then, in the next step S35, the
For a frame of an image whose comparison result exceeds the threshold value, as shown in step S37, the frame is subjected to normal image coding by the
そして、初期条件を変更して、閾値以下になる場合には、ステップＳ３６に進むようにし、初期条件を変更して設定された回数、同様の処理を行っても、閾値を超える場合にはステップＳ３７に進むようにしても良い。
一方、比較結果が閾値を超えないフレームのものに対しては、ステップＳ３６に示すように、そのフレームにおける特定領域を除いた背景画像部分を既存の方式と同様に画像符号化部５により符号化を行う。この場合、特定領域部分に対しては、画像符号化部５によりシミュレーション画像を生成する情報を符号化する。
このような処理を行うことにより、シミュレーションによるシミュレーション画像が適正に生成された場合には、従来例の場合よりも符号化した場合における符号量を小さくできる。つまり、符号量を低減できる。
If the initial condition is changed to be equal to or less than the threshold value, the process proceeds to step S36. If the same process is performed for the number of times set by changing the initial condition, but the threshold value is exceeded, the process proceeds to step S36. You may make it progress to S37.
On the other hand, for a frame whose comparison result does not exceed the threshold, as shown in step S36, the background image portion excluding the specific area in the frame is encoded by the
By performing such processing, when a simulation image by simulation is properly generated, the amount of code in the case of encoding can be made smaller than in the case of the conventional example. That is, the code amount can be reduced.
また、本実施形態に係る映像符号化装置１Ｂによれば、煙等の動き量等が大きい特定領域が存在した場合、その特定領域の元画像をシミュレーションにより生成したシミュレーション画像が適切に元画像を表しているか否かを、元画像との比較により判定できる（比較結果が得られる）。
この比較結果は、例えばフレーム単位（の短い時間間隔）で得ることができる。従って、シミュレーションをより適切に行い易くなる。
また、シミュレーションにより生成した情報を用いることにより、以下に説明する映像復号化装置３１Ｂ側における映像復号化をより少ない処理で行うことを可能とする。
Further, according to the video encoding device 1B according to the present embodiment, when there is a specific area where the amount of movement of smoke or the like is large, a simulation image generated by simulating the original image of the specific area appropriately changes the original image. It can be determined by comparison with the original image (a comparison result is obtained).
This comparison result can be obtained, for example, in frame units (with a short time interval). Therefore, it becomes easy to perform a simulation more appropriately.
Also, by using information generated by simulation, it is possible to perform video decoding on the
図１０は、第３の実施形態に係る映像符号化装置１Ｂに対応する映像復号化装置３１Ｂの構成を示す。
この映像復号化装置３１Ｂは、図４の映像復号化装置３１において、加算器３９に入力される信号を切り換える切換手段（選択手段）として例えばマルチプレクサ５９を設けた第１の映像復号化部３２Ｂと、予測特定画像生成回路４１をシミュレーション画像生成回路４１ａとした第２の映像復号化部３３Ｂとにしている。
このマルチプレクサ５９は、通常は動き補償回路３７から出力される予測画像を加算器３９に入力されるように選択しており、可変長復号化回路３４の出力信号に、シミュレーション画像を生成する情報が存在するか否かを検出し、その情報が存在すると、第２の映像復号化部３３Ｂの出力が加算器３９に入力されるように切り換える。
FIG. 10 shows a configuration of a
This
The
また、シミュレーション画像を生成する情報は、シミュレーション画像生成回路４１ａに入力され、このシミュレーション画像生成回路４１ａは、この情報を用いて図８のシミュレーション回路５３によるシミュレーション画像を生成する。
そして、このシミュレーション画像は、特定画像合成回路４２及び加算器３９により特定領域部分に埋め込む等の合成処理がされて再生画像が生成される。なお、図１０において、特定画像合成回路４２は、シミュレーション画像とその周囲の背景画像とは混在するブロック部分では、動き補償回路３７からの予測画像も入力され、特定画像合成回路４２は、は両画像を合成する。
Information for generating a simulation image is input to the simulation image generation circuit 41a, and the simulation image generation circuit 41a generates a simulation image by the
Then, the simulation image is subjected to a synthesis process such as embedding in a specific area portion by the specific
図１１は、図１０の映像復号化装置３１Ｂによる映像復号化方法の概略の動作内容のフローチャートを示す。図１１は、図６において、ステップＳ１３以降の処理が変更された内容となっている。以下、異なる点のみを説明する。
この映像復号化装置３１Ｂにおいては、ステップＳ１２の後のステップＳ１３′において、I-picture以外のフレームにおける特定フレームにおけるその特定領域の元画像に対応するシミュレーション画像を生成する。ここで、特定フレームとは、I-picture以外のフレームにおけるシミュレーション画像を生成する情報が付加されているフレームを意味する。
FIG. 11 is a flowchart showing the outline of the operation contents of the video decoding method by the
In the
また、ステップＳ１１においてI-pictureでないと判定された場合には、ステップＳ１４′に示すように通常のフレーム間復号化により復号化された画像を生成する。この場合、特定領域が置換されたものと置換されていない符号化画像の両方が含まれる。
そして、ステップＳ１４′により生成された画像は、ステップＳ１５′により特定フレームか否かが判定され、特定フレームでない場合にはステップＳ１６に進み、ステップＳ１４′で生成された画像が再生画像として出力される。ステップＳ１６の処理は、図１０において、動き補償回路３７の予測画像がマルチプレクサ５９を経て加算器３９で加算されて生成される再生画像に相当する。
一方、ステップＳ１５′において特定フレームと判定された場合には、ステップＳ１７４においてＳ１４′で生成された画像における特定領域部分がステップＳ１３′で生成されたシミュレーション画像で置換する合成により再生画像が生成される。
If it is determined in step S11 that it is not an I-picture, an image decoded by normal interframe decoding is generated as shown in step S14 '. In this case, both of the encoded image in which the specific area is replaced and the encoded image in which the specific area is not replaced are included.
Then, it is determined whether or not the image generated in step S14 ′ is a specific frame in step S15 ′. If it is not a specific frame, the process proceeds to step S16, and the image generated in step S14 ′ is output as a reproduced image. The The processing in step S16 corresponds to a reproduced image generated by adding the predicted image of the
On the other hand, if it is determined in step S15 ′ that the frame is a specific frame, a reproduction image is generated by combining the specific region portion in the image generated in step S174 ′ with the simulation image generated in step S13 ′ in step S174. The
本実施形態に係る映像復号化装置３１Ｂによれば、入力される符号化された画像に、煙等の動き量等が大きい特定領域が存在した場合においても、その特定領域の元画像をシミュレーションにより生成できる場合にはその情報が付加されているので、（予め算出された）その情報を利用することにより効率良くかつ少ない処理量で復号化された再生画像を生成できる。
なお、シミュレーションによりシミュレーション画像を生成する例として、上述の数式２では２次元に簡略化しているが、３次元として扱い、その結果を２次元平面に投影するようにしても良い。また、上述した例では、煙に対してNavier-Stokes方程式を適用したシミュレーションの場合を説明したが、炎やその他の特定画像に対してもシミュレーションを適用することもできる。例えば、モンテカルロ法を用いたシミュレーションを利用しても良い。
また、上述した各実施形態等を組み合わせたり、変形などした実施形態等も本発明に属する。
According to the
In addition, as an example of generating a simulation image by simulation, the above-described
In addition, embodiments in which the above-described embodiments are combined or modified also belong to the present invention.
１、１Ｂ…映像符号化装置
２…入力画像
３…特定領域検出部
４…背景合成部
５…画像符号化部
３１、３１Ｂ…映像復号化装置
４１ａ…シミュレーション画像生成回路
DESCRIPTION OF
Claims (4)
前記符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行い、復号結果の画像を用い離散差分方程式に初期条件を設定して積分するシミュレーションによってシミュレーション画像を生成し、生成したシミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成手段と、
を備えることを特徴とする映像復号化装置。 A coded image generated by intraframe coding and interframe coding, and the amount of motion between different frames within a predetermined range corresponding to the average hue of a specific image at the time of the interframe coding. Inter-frame decoding of the image portion other than the specific region for the inter-frame encoded frame in the encoded image generated by replacing the specific region with the background image or replacement image other than the specific image. Decryption means to
A simulation image is obtained by a simulation in which an intra-frame decoding of an image portion of the specific region is performed on an intra-coded frame in the encoded image, an initial condition is set in a discrete difference equation using an image of the decoding result, and integration is performed. And a simulation image generation means that uses the generated simulation image as a decoded image of the image portion of the specific region of the inter-coded frame,
A video decoding apparatus comprising:
前記特定領域検出手段により検出された特定領域部分の画像を用い離散差分方程式に初期条件を設定して積分するシミュレーションにより以後のフレームの特定領域部分のシミュレーション画像を生成するシミュレーション画像生成手段と、
前記入力される画像に対してフレーム内符号化及びフレーム間符号化を含む符号化処理を行うものであって、前記特定領域についての前記フレーム内符号化及びフレーム間符号化のうち前記フレーム間符号化に代えて前記シミュレーション画像生成手段のシミュレーションに関する情報の符号化を行う符号化手段と、
を備えることを特徴とする映像符号化装置。 A specific area detecting means for detecting a specific area in which a hue is within a predetermined range corresponding to an average hue of the specific image and an amount of motion between different frames is greater than or equal to a threshold value from an image input in time series constituting a video;
A simulation image generating means for generating a simulation image of a specific area portion of a subsequent frame by a simulation of setting and integrating an initial condition in a discrete difference equation using an image of the specific area portion detected by the specific area detecting means;
An encoding process including intra-frame coding and inter-frame coding is performed on the input image, and the inter-frame code among the intra-frame coding and the inter-frame coding for the specific region. Encoding means for encoding information related to the simulation of the simulation image generating means instead of encoding,
A video encoding device comprising:
前記映像符号化装置によって符号化された符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行うと共に前記シミュレーションに関する情報の復号化を行い、復号結果の画像及びシミュレーションに関する情報を用いて、前記シミュレーション画像を復元し、復元した前記シミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成手段と、
を備えることを特徴とする映像復号化装置。 A specific area detecting means for detecting a specific area in which a hue is within a predetermined range corresponding to an average hue of the specific image and an amount of motion between different frames is greater than or equal to a threshold value from an image input in time series constituting a video; A simulation image generating means for generating a simulation image of a specific area portion of a subsequent frame by a simulation of setting and integrating an initial condition in a discrete difference equation using an image of the specific area portion detected by the specific area detecting means; An encoding process including intra-frame coding and inter-frame coding is performed on an input image, and the inter-frame coding among the intra-frame coding and the inter-frame coding for the specific region. A code for encoding information relating to the simulation of the simulation image generating means instead of Means, for a frame that is inter-frame coded in the coded coded image by the video encoding apparatus and a decoding means for inter-frame decoding image portions other than the specific area,
Intra- frame decoding of the image portion of the specific region is performed on the intra-coded frame in the encoded image encoded by the video encoding device, and information on the simulation is decoded. Simulation image generating means for restoring the simulation image using the information about the image and the simulation, and using the restored simulation image as a decoded image of the image portion of the specific region of the inter-coded frame;
A video decoding apparatus comprising:
前記映像符号化装置によって符号化された符号化画像中のフレーム内符号化されたフレームについて前記特定領域の画像部分のフレーム内復号化を行い、復号結果の画像を用い離散差分方式的に初期条件を設定して積分するシミュレーションによってシミュレーション画像を生成し、生成したシミュレーション画像を前記フレーム間符号化されたフレームの前記特定領域の画像部分の復号画像とするシミュレーション画像生成ステップと、
を備えることを特徴とする映像復号化方法。 A specific area detecting means for detecting a specific area in which a hue is within a predetermined range corresponding to an average hue of the specific image and an amount of motion between different frames is greater than or equal to a threshold value from an image input in time series constituting a video; A coding process including intra-frame coding and inter-frame coding is performed, and a background image or a replacement image other than the specific image is used for inter-frame coding of the specific area detected by the specific area detecting unit. And encoding means for encoding the image of the frame replaced in step (b), with respect to the inter-frame encoded frame encoded in the encoded image encoded by the video encoding device, image portions other than the specific region A decoding step for inter-frame decoding;
Intra- frame decoding of the image portion of the specific region is performed on the intra-coded frame in the encoded image encoded by the video encoding device, and the initial condition is determined in a discrete difference manner using the image of the decoding result. A simulation image generation step of generating a simulation image by a simulation of setting and integrating, and generating the generated simulation image as a decoded image of an image portion of the specific region of the inter-frame encoded frame;
A video decoding method comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006271167A JP4939890B2 (en) | 2006-10-02 | 2006-10-02 | Video encoding apparatus, video decoding apparatus, and video decoding method |
| US11/860,823 US8320691B2 (en) | 2006-10-02 | 2007-09-25 | Image coding apparatus, image decoding apparatus, and image decoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006271167A JP4939890B2 (en) | 2006-10-02 | 2006-10-02 | Video encoding apparatus, video decoding apparatus, and video decoding method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008092301A JP2008092301A (en) | 2008-04-17 |
| JP4939890B2 true JP4939890B2 (en) | 2012-05-30 |
Family
ID=39261277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006271167A Expired - Fee Related JP4939890B2 (en) | 2006-10-02 | 2006-10-02 | Video encoding apparatus, video decoding apparatus, and video decoding method |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8320691B2 (en) |
| JP (1) | JP4939890B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7247825B2 (en) | 2018-12-17 | 2023-03-29 | Ａｇｃ株式会社 | Glass composition, composite powder material, composite powder material paste, printer head for laser printer, and thermal printer head |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100987786B1 (en) | 2008-07-23 | 2010-10-13 | (주)에이치엠씨 | Fire detecting system using smoke sensing |
| US8958478B2 (en) * | 2010-12-03 | 2015-02-17 | Technische Universitaet Berlin | Method and device for processing pixels contained in a video sequence |
| CN107483946B (en) | 2011-11-08 | 2021-01-12 | 株式会社Kt | Method for decoding video signal by using decoding device |
| KR102039688B1 (en) * | 2013-03-14 | 2019-11-01 | 삼성전자주식회사 | User device and operating method thereof |
| US9876964B2 (en) * | 2014-05-29 | 2018-01-23 | Apple Inc. | Video coding with composition and quality adaptation based on depth derivations |
| JP2016066922A (en) * | 2014-09-25 | 2016-04-28 | ソニー株式会社 | Signal processor, imaging apparatus, and signal processing method in them |
| US9940689B2 (en) | 2015-11-02 | 2018-04-10 | Nvidia Corporation | Latency-resistant sparse simulation technique, system and method |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4689671A (en) * | 1985-06-27 | 1987-08-25 | Nec Corporation | Coding apparatus for moving object image |
| JPS6212286A (en) * | 1985-07-09 | 1987-01-21 | Nec Corp | System and device for encoding moving image signal |
| JPS6212287A (en) * | 1985-07-09 | 1987-01-21 | Nec Corp | Adaptive predictive encoding device for moving image signal |
| US4941193A (en) * | 1987-10-02 | 1990-07-10 | Iterated Systems, Inc. | Methods and apparatus for image compression by iterated function system |
| DE69126585T2 (en) * | 1990-09-20 | 1998-01-02 | Nec Corp | Method and device for coding moving image signals |
| US5592228A (en) | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
| JPH07264597A (en) * | 1994-03-18 | 1995-10-13 | Nippon Telegr & Teleph Corp <Ntt> | Compensating method for motion |
| US6052414A (en) * | 1994-03-30 | 2000-04-18 | Samsung Electronics, Co. Ltd. | Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation |
| KR0171120B1 (en) | 1995-04-29 | 1999-03-20 | 배순훈 | Method and apparatus for determining motion region in video coding technique using feature point based motion compensation |
| JP3570863B2 (en) * | 1997-08-05 | 2004-09-29 | 三菱電機株式会社 | Moving picture decoding apparatus and moving picture decoding method |
| US6335985B1 (en) * | 1998-01-07 | 2002-01-01 | Kabushiki Kaisha Toshiba | Object extraction apparatus |
| JPH11308623A (en) * | 1998-04-24 | 1999-11-05 | Sony Corp | Image processor |
| JP4157234B2 (en) * | 1999-09-02 | 2008-10-01 | 株式会社東芝 | Moving object detection device in moving images |
| US6774908B2 (en) * | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
| JP4596216B2 (en) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP3953350B2 (en) * | 2002-03-28 | 2007-08-08 | 日本電信電話株式会社 | Video scene prediction method, apparatus, program, and recording medium |
| JP4049702B2 (en) * | 2003-05-09 | 2008-02-20 | 日本電信電話株式会社 | VIDEO GENERATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM |
| JP2005277733A (en) * | 2004-03-24 | 2005-10-06 | Seiko Epson Corp | Moving image processing apparatus |
| JP2007180808A (en) * | 2005-12-27 | 2007-07-12 | Toshiba Corp | Video image encoding device, video image decoding device, and video image encoding method |
| EP1973074A4 (en) * | 2006-01-10 | 2011-03-16 | Panasonic Corp | Color correction device, color correction method, dynamic camera color correction device, and video search device using the same |
| JP2008042659A (en) * | 2006-08-08 | 2008-02-21 | Sony Corp | Image processing apparatus and method, program, and program storage medium |
| KR100803611B1 (en) * | 2006-11-28 | 2008-02-15 | 삼성전자주식회사 | Method and apparatus for encoding video, method and apparatus for decoding video |
-
2006
- 2006-10-02 JP JP2006271167A patent/JP4939890B2/en not_active Expired - Fee Related
-
2007
- 2007-09-25 US US11/860,823 patent/US8320691B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7247825B2 (en) | 2018-12-17 | 2023-03-29 | Ａｇｃ株式会社 | Glass composition, composite powder material, composite powder material paste, printer head for laser printer, and thermal printer head |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080080779A1 (en) | 2008-04-03 |
| JP2008092301A (en) | 2008-04-17 |
| US8320691B2 (en) | 2012-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4939890B2 (en) | Video encoding apparatus, video decoding apparatus, and video decoding method | |
| US8326064B2 (en) | Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method | |
| JP5423948B2 (en) | Moving picture encoding method, and apparatus and program using the same | |
| KR101473278B1 (en) | Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program | |
| JP3975188B2 (en) | Video coding and decoding method and apparatus using spatial prediction coding of hue | |
| JP4528694B2 (en) | Video encoding device | |
| JP2005532725A (en) | Method and system for selecting interpolation filter type in video coding | |
| JP2009218742A (en) | Image encoder | |
| JP2008219876A (en) | Moving image encoding device, moving image encoding method and moving image decoding device | |
| EP2960855A1 (en) | Method and device for determining a set of modifiable elements in a group of pictures | |
| CA2788946A1 (en) | Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof | |
| RU2734616C1 (en) | Prediction video decoding method and prediction video decoding device | |
| KR20100030671A (en) | Video signal generating device, video signal generating method, video signal generating program and computer readable recording medium on which the program is recorded | |
| JP2010081498A (en) | Image compression coding method and apparatus | |
| JP3778208B2 (en) | Image coding apparatus and image coding method | |
| JP5180887B2 (en) | Encoding apparatus and method thereof | |
| CN100508615C (en) | Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus | |
| JP4964689B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and computer-readable recording medium | |
| JP2009218965A (en) | Image processor, imaging device mounted with the same and image reproduction device | |
| US20210120245A1 (en) | Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program | |
| JP2007214991A (en) | Image quality measuring apparatus and method, and its program | |
| TWI755653B (en) | Image encoding device, image encoding method, image decoding device, image decoding method | |
| JP2007020216A (en) | Encoding apparatus, encoding method, filtering apparatus and filtering method | |
| Sowmyayani et al. | Frame differencing-based segmentation for low bit rate video codec using H. 264 | |
| JP4478480B2 (en) | Video encoding apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120131 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |