JP2010206628A - Video image decoding apparatus - Google Patents
Video image decoding apparatus Download PDFInfo
- Publication number
- JP2010206628A JP2010206628A JP2009050858A JP2009050858A JP2010206628A JP 2010206628 A JP2010206628 A JP 2010206628A JP 2009050858 A JP2009050858 A JP 2009050858A JP 2009050858 A JP2009050858 A JP 2009050858A JP 2010206628 A JP2010206628 A JP 2010206628A
- Authority
- JP
- Japan
- Prior art keywords
- image
- error
- retained
- complement
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
この発明は、映像ES(Elementary Stream)のデコード時にマクロブロックのエラーを検出し、デコード済み画像でエラーを補完する動画像復号装置に関するものである。 The present invention relates to a moving picture decoding apparatus that detects a macroblock error when decoding a video ES (Elementary Stream) and supplements the error with a decoded image.
従来の動画像復号装置は、入力された動画像データ中の文法誤りなどにより、復号画像中に現れるエラーを発見した際に、その時点より時間的に前、もしくは、その画像より前に復号した画像の情報を用いてエラーの補完を行っていた(例えば、特許文献1参照)。 When a conventional video decoding device finds an error that appears in a decoded image due to a grammatical error in the input video data, etc., it is decoded before that point in time or before that image. Error compensation was performed using image information (see, for example, Patent Document 1).
エラー補完を行う従来の動画像復号装置では、エラー補完を行う対象の画像より時間的に前の画像、もしくは、エラー補完を行う対象の画像より前に復号が必要な画像のみを補完元画像として使用しており、これらの、従来技術における補完元画像より、対象よりも後の画像の方がエラーが少ない場合や、従来技術における補完元画像より、対象よりも後の画像の方が、対象の画像と類似している場合など、対象の画像よりも後の画像を使用した方が効果的なエラー補完を行える場合に対応することができないという課題があった。 In a conventional video decoding device that performs error complementation, only an image that is temporally prior to an image that is subject to error compensation or an image that needs to be decoded before an image that is subject to error compensation is used as a complement source image. If there are fewer errors in the image after the target than the complementary image in the conventional technology, or the image after the target than the complementary image in the conventional technology There is a problem that it is not possible to cope with the case where the error compensation can be effectively performed by using the image after the target image, such as when the image is similar to the image of the image.
この発明は、上記のような課題を解決するためになされたもので、エラー補完が必要な画像を時間的に前後の画像から補完することにより、効果的にエラー補完を行うことができる動画像復号装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and a moving image that can effectively perform error compensation by complementing images that need error compensation from temporally preceding and following images. An object is to obtain a decoding device.
この発明に係る動画像復号装置は、入力された動画像情報を示す画像ストリームを復号して復号画像を得るとともに、動画像情報のエラーによる復号画像上のエラー箇所を検出し、当該エラー箇所を示すエラー箇所情報を生成する復号手段と、復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持し、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択し、エラー補完先の保持画像のエラー箇所をエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完するエラー補完手段とを備えるものである。 The moving image decoding apparatus according to the present invention obtains a decoded image by decoding an image stream indicating input moving image information, detects an error portion on the decoded image due to an error in the moving image information, and detects the error portion. A decoding unit that generates error location information to be shown, and a predetermined number of decoded images that are sequentially decoded by the decoding unit, are held as a retained image, and the presence of an error location in the retained image is detected by the error location information And the error complement source image is selected from among the retained images before and after the detected error complement destination retained image, and the error location of the error complement destination retained image is selected as the error location of the error complement source image. And error complementing means for complementing errors with image information corresponding to.
この発明によれば、エラー補完手段が、復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持し、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択し、エラー補完先の保持画像のエラー箇所をエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する。
このように、エラー補完が必要な画像に関して時系列の前後にある保持画像のうちから選択したエラー補完元画像を利用してエラー補完するので、従来と比較してエラー補完元画像として選択可能な画像を増やすことができる。これにより、効果的にエラー補完を行うことができるという効果がある。また、エラー補完が必要な画像との類似度などからエラー補完元画像を評価することで、伝送等によって発生するエラーをより目立たないように補完できる。
According to the present invention, the error complementing means holds the predetermined number of decoded images arranged in time series sequentially decoded by the decoding means as the retained image, and the presence of the error location is detected in the retained image based on the error location information. And the error complement source image is selected from among the retained images before and after the detected error complement destination retained image, and the error location of the error complement destination retained image is selected as the error location of the error complement source image. Error compensation is performed with image information corresponding to.
In this way, since error complementation is performed using the error complementing source image selected from the retained images before and after the time series for images that need error compensation, it can be selected as an error complementing source image compared to the conventional case. The image can be increased. Thereby, there is an effect that error compensation can be performed effectively. Further, by evaluating the error complement source image based on the degree of similarity with an image that needs error complementation, it is possible to complement an error generated by transmission or the like so as to be less noticeable.
実施の形態1.
図1は、この発明の実施の形態1による動画像復号装置の構成を示すブロック図である。図1において、実施の形態1による動画像復号装置は、映像デコーダ101及びエラー補完部102を備える。映像デコーダ(復号手段)101は、映像ES(Elementary Stream)をデコード(復号)して、デコード結果であるデコード画像、当該デコード画像の映像ES中での表現形式を示す画像タイプ及び当該デコード画像のエラー箇所情報(エラーの発生した部分の座標)を順次出力する手段である。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing the configuration of a moving picture decoding apparatus according to Embodiment 1 of the present invention. 1, the moving picture decoding apparatus according to Embodiment 1 includes a
ここで、例えば映像ESは、MPEG−Video形式で符号化されたビットストリームであり、画像タイプは、MPEG−Video形式のI、P、Bのいずれか、エラー箇所情報はエラーを含むマクロブロックの座標である。なお、エラー箇所情報は、デコード過程において、デコード対象画像のあるマクロブロック中で記述されるべき符号が揃う前に次のスタートコードを得た場合、当該マクロブロックにエラーがあると見なすなどの、文法エラーを検出することによって得ることができる。 Here, for example, the video ES is a bit stream encoded in the MPEG-Video format, the image type is any one of I, P, and B in the MPEG-Video format, and the error location information is a macroblock including an error. Coordinates. It should be noted that the error location information is such that, in the decoding process, if the next start code is obtained before the codes to be described in the macro block of the decoding target image are obtained, the macro block is considered to have an error. It can be obtained by detecting grammatical errors.
エラー補完部(エラー補完手段)102は、映像デコーダ101からのデコード画像、画像タイプ及びエラー箇所情報を入力してエラーの補完を行い、補完画像を順次出力する手段である。例えば、映像デコーダ101から、デコード画像、画像タイプ及びエラー箇所情報とを入力し、当該画像タイプとエラー箇所情報とに従ってデコード画像の補完を行い、補完結果を補完画像として得る。
An error complementing unit (error complementing unit) 102 is a unit that inputs a decoded image, an image type, and error location information from the
図2は、図1中のエラー補完部の構成を示すブロック図である。図2において、エラー補完部102は、画像メモリ201、補完計画部202及び補完操作部203を備える。画像メモリ201は、映像デコーダ101でデコードされたデコード画像を順次入力すると、時間的に新しい方から時系列に並んだ複数枚の画像を保持画像として保持し、補完操作部203によって上記時系列に並んだ保持画像のうちの1つの画像が補完処理された結果を入力すると、当該画像を補完画像として出力する。
FIG. 2 is a block diagram showing a configuration of the error complementing unit in FIG. In FIG. 2, the
補完計画部202は、映像デコーダ101から画像タイプとエラー箇所情報を順次入力して、画像メモリ201に保持された保持画像の画像タイプとエラー箇所情報を保持し、画像メモリ201の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該保持画像の後に初めて画像タイプがIフレームとなるものが何枚目の保持画像であるかを探索し、探索結果の保持画像が何枚目であるかを示す情報及びエラー箇所情報を補完指示として出力する。
The
補完操作部203は、補完計画部202から補完指示を入力し、当該補完指示に従う枚数目の保持画像の上記エラー箇所情報が示す部分についての画像情報を画像メモリ201から読み出し、エラーが存在する保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
The
次に動作について説明する。
映像デコーダ101は、再生対象となる動画像の映像ESを入力すると、当該映像ESをデコードし、デコード結果のデコード画像、当該デコード画像の映像ES中での表現形式を示す画像タイプ及び当該デコード画像のエラー箇所情報をエラー補完部102へ出力する。
Next, the operation will be described.
When the
エラー補完部102において、画像メモリ201が、デコード画像を順次入力して、図3に示すように、時間的に新しい方からN枚分のデコード画像(時系列に並んだN枚のフレーム)を保持画像として保持する。また、補完計画部202は、映像デコーダ101から画像タイプとエラー箇所情報を順次入力して、画像メモリ201に保持されたN枚分の保持画像についての画像タイプとエラー箇所情報を保持する。
In the
補完計画部202が、画像メモリ201におけるM(MはM≦Nなる所定の自然数)枚目の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、M枚目の後に初めて画像タイプがIフレームとなるものが何枚目の保持画像であるかを探索し、当該保持画像がx枚目である旨と当該エラー箇所情報を補完指示として補完操作部203に出力する。
When the
補完操作部203では、補完計画部202から入力した補完指示に従って、x枚目の保持画像中の上記補完指示におけるエラー箇所情報が示す部分の画像情報を画像メモリ201から読み出し、M枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
In the
画像メモリ201は、図3に示すように、補完操作部203によってM枚前の保持画像が補完処理された結果を入力すると、当該画像を補完画像として出力する。
As shown in FIG. 3, the
なお、上記説明では、画像タイプがMPEG−Video形式のIフレームとしたが、画像タイプが単独のフレームで画像全体が保持される符号化種類で表現された画像であればよく、MPEG−Video形式以外の動画像符号化方式であっても、本発明は適用可能である。また、画像タイプが存在しない、もしくは画像タイプで判断してもエラー補完に効果がない動画像符号化形式においては、画像タイプの判断を行わず、直後の画像を使用することもできる。 In the above description, the I-frame of the MPEG-Video format is used as the image type. However, the image type may be an image represented by an encoding type in which the entire image is held in a single frame, and the MPEG-Video format. The present invention can also be applied to video encoding methods other than those described above. Also, in a moving image coding format that does not have an image type or has no effect on error compensation even if it is determined by the image type, the immediately following image can be used without determining the image type.
以上のように、この実施の形態1によれば、エラー補完部102が、映像デコーダ101によって映像ESから順次デコード(復号)された時系列に並ぶ所定数分のデコード画像を保持画像として保持し、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択して、エラー補完先の保持画像のエラー箇所をエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する。このようにすることで、デコード画像中のエラーを、当該画像のデコード時にはデコードされていなかった画像も使用して補完することが可能であり、デコード時点でデコード済みの画像のみを使用する場合に比べて補完元となる画像候補を増やすことができる。これにより、効果的なエラー補完が期待できる。
As described above, according to the first embodiment, the
また、この実施の形態1によれば、エラー補完部102が、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、画像タイプが単独のフレームで画像全体が保持される符号化種類で表現された画像(例えば、MPEG形式のIフレーム)であって、検知されたエラー補完先の保持画像に関して時系列の後に最初に出現する保持画像をエラー補完元画像として選択する。これにより、エラーの影響を低減できる。特に、画像タイプがPやBのデコード画像ではそれらが参照した画像のエラーを蓄積するのに対し、画像タイプがIのデコード画像ではエラーの蓄積がないため、デコード画像の時間的に後に現れる画像タイプがIフレームのデコード画像でエラー補完すれば、エラーの影響を最小に止めることが可能である。
Further, according to the first embodiment, when the
実施の形態2.
この実施の形態2は、デコード画像中のエラー箇所をその前後のデコード画像のうち、より似た方でエラー補完するように構成したものである。なお、実施の形態2による動画像復号装置の全体構成は、上記実施の形態1で図1を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態2では、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。
Embodiment 2. FIG.
In the second embodiment, an error portion in a decoded image is configured to be error-complemented by a more similar one of the preceding and subsequent decoded images. The overall configuration of the video decoding apparatus according to the second embodiment is the same as that shown in FIG. 1 in the first embodiment, but the configuration and operation of the error complementing unit are different. In the second embodiment, it is not necessary for the video decoder to acquire the image type, and the error complementing unit performs error compensation by inputting only error location information from the video decoder.
図4は、この発明の実施の形態2による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態2によるエラー補完部(エラー補完手段)102は、画像メモリ401、補完計画部402及び補完操作部403を備え、補完計画部402が、エラー検知部404、類似度算出部405a,405b及び比較部406を備える。
FIG. 4 is a block diagram showing a configuration of an error complementation unit in the video decoding apparatus according to Embodiment 2 of the present invention. The error complementing unit (error complementing unit) 102 according to the second embodiment includes an
エラー検知部404は、映像デコーダ101からエラー箇所情報を順次入力し、画像メモリ201に保持された保持画像を保持し、画像メモリ201の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該保持画像及びその時間的に前後の保持画像を画像メモリ201から取得する。
The
類似度算出部405aは、エラー検知部404により取得されたエラーが存在する保持画像とこの保持画像について時間的に前に存在する保持画像との類似度を算出する。類似度算出部405bでは、エラー検知部404により取得されたエラーが存在する保持画像とこの保持画像について時間的に後に存在する保持画像との類似度を算出する。
The
比較部406は、類似度算出部405a,405bで算出された各類似度を比較して、この比較結果から時間的に前後にそれぞれ存在する保持画像のうち、エラーが存在する保持画像により類似する方を特定して当該保持画像が何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部403へ出力する。
The
補完操作部403は、補完計画部402から補完指示を入力し、当該補完指示に従う枚数目の保持画像の上記エラー箇所情報が示す部分についての画像情報を画像メモリ401から読み出し、エラーが存在する保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
The
次に動作について説明する。
実施の形態2による映像デコーダ101では、再生対象となる動画像の映像ESを入力すると、当該映像ESをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部102へ出力する。
Next, the operation will be described.
In the
エラー補完部102において、画像メモリ401が、デコード画像を順次入力して、図4に示すように、時間的に新しい方からN枚分のデコード画像(時系列に並んだN枚のフレーム)を保持画像として保持する。また、補完計画部402のエラー検知部404は、映像デコーダ101からエラー箇所情報を順次入力して保持する。
In the
エラー検知部404が、画像メモリ401におけるM(MはM≦Nなる所定の自然数)枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、M枚目の保持画像、その時間的に前後にあるM−1枚目の保持画像とM+1枚目の保持画像とを画像メモリ401から取得し、類似度算出部405a,405bへ出力する。
When the
類似度算出部405aは、エラー検知部404により取得されたM枚目の保持画像とM−1枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲(エラー箇所で特定される部分自体は含まない)の類似度(第1の類似度)を算出する。また、類似度算出部405bは、同様にしてM枚目の保持画像とM+1枚目の保持画像との類似度(第2の類似度)を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。
The
比較部406は、類似度算出部405a,405bで算出された各類似度を入力して比較を行い、類似度算出部405bよりも類似度算出部405aが算出した類似度が高ければx=M−1、類似度算出部405bが算出した類似度が高ければx=M+1として、エラー補完元の保持画像がx枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部403に出力する。
The
補完操作部403では、補完計画部402から入力した補完指示に従って、x枚目の保持画像中の上記補完指示におけるエラー箇所情報が示す部分の画像情報を画像メモリ401から読み出し、M枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
In the
以上のように、この実施の形態2によれば、エラー補完部102を図4に示すように構成することにより、デコード画像中のエラー箇所を、その前後のデコード画像のうち、より似た方で補完することができる。より似ているデコード画像から補完を行うため、シーンチェンジなどの画像の急激な変化の影響を受けなくなることが期待できる。
As described above, according to the second embodiment, the
実施の形態3.
この実施の形態3は、上記実施の形態2と同様に、デコード画像中のエラー箇所をその前後のデコード画像のうち、より似た方でエラー補完するように構成したものである。なお、実施の形態3による動画像復号装置の全体構成は、上記実施の形態1で図1を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態3では、上記実施の形態2と同様に、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。
Embodiment 3 FIG.
In the third embodiment, as in the second embodiment, the error part in the decoded image is configured such that the error is complemented by a more similar one of the preceding and succeeding decoded images. The overall configuration of the video decoding apparatus according to the third embodiment is the same as that shown in FIG. 1 in the first embodiment, but the configuration and operation of the error complementing unit are different. In the third embodiment, as in the second embodiment, it is not necessary for the video decoder to acquire the image type, and the error complementing unit performs error compensation by inputting only error location information from the video decoder. .
図5は、この発明の実施の形態3による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態3によるエラー補完部(エラー補完手段)102は、画像メモリ601、補完計画部602及び補完操作部603を備え、補完計画部602が、エラー検知部604、類似度算出部605、閾値メモリ606及び比較部607を備える。
FIG. 5 is a block diagram showing the configuration of the error complementation unit in the video decoding apparatus according to Embodiment 3 of the present invention. The error complementing unit (error complementing unit) 102 according to the third embodiment includes an
エラー検知部604は、映像デコーダ101からエラー箇所情報を順次入力し、画像メモリ601に保持された保持画像を保持し、画像メモリ601の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該保持画像の時間的に前後の保持画像を画像メモリ601から取得する。
The
類似度算出部605は、エラー検知部604により取得されたエラーが存在する保持画像について時間的に前後に存在する保持画像間の類似度を算出する。閾値メモリ606には、類似度に関する所定の閾値が記憶される。
The
比較部607は、類似度算出部605で算出された類似度と閾値メモリ606から読み出した所定の閾値とを比較して、この比較結果から類似度が所定の閾値を超える場合に、時間的に前後にそれぞれ存在する保持画像がそれぞれ何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部603へ出力する。
The
補完操作部603は、補完計画部602から補完指示を入力し、当該補完指示に従う枚数目の各保持画像における上記エラー箇所情報が示す部分の画像情報を画像メモリ601から取得してこれらの中間画像を生成し、当該中間画像の画像情報をエラーが存在する保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
The
次に動作について説明する。
実施の形態3による映像デコーダ101では、再生対象となる動画像の映像ESを入力すると、当該映像ESをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部102へ出力する。
Next, the operation will be described.
In the
エラー補完部102において、画像メモリ601が、デコード画像を順次入力して、図5に示すように、時間的に新しい方からN枚分のデコード画像(時系列に並んだN枚のフレーム)を保持画像として保持する。また、補完計画部602のエラー検知部604は、映像デコーダ101からエラー箇所情報を順次入力して、画像メモリ601に保持されたN枚分の保持画像についてのエラー箇所情報を保持する。
In the
エラー検知部604が、画像メモリ601におけるM(MはM≦Nなる所定の自然数)枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、M枚目の保持画像との間で時間的に前後にあるM−1枚目の保持画像及びM+1枚目の保持画像を画像メモリ601から取得し、類似度算出部605へ出力する。
When the
類似度算出部605は、エラー検知部604により取得されたM−1枚目の保持画像とM+1枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲(エラー箇所で特定される部分自体は含まない)の類似度を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。
The
比較部607は、類似度算出部605で算出された類似度と閾値メモリ606から読み出した所定の閾値とを入力して比較を行い、類似度算出部605が算出した類似度が所定の閾値より高ければ、x=M−1、y=M+1として、エラー補完元の保持画像がx枚目及びy枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部603に出力する。
The
補完操作部603では、補完計画部602から入力した補完指示に従って、x枚目とy枚目の保持画像におけるエラー箇所情報が示す部分の画像情報を画像メモリ601からそれぞれ取得し、これらの中間画像を生成してM枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。なお、中間画像としては、2つの保持画像の輝度の平均値などを使用する。
In the
以上のように、この実施の形態3によれば、エラー補完部102を図5に示すように構成することにより、デコード画像中のエラー箇所が、その前後のデコード画像双方と似ていると期待できる場合にのみ補完することが可能である。これにより、画像の変化が少ない場合にのみ補完を行うことができ、誤った補完を避けることが期待できる。
As described above, according to the third embodiment, by configuring the
実施の形態4.
この実施の形態4は、エラー補完元となる直前若しくは直後の画像にエラーがあっても、上記実施の形態2と同様に、デコード画像中のエラー箇所をその前後のデコード画像のうち、より似た方でエラー補完するように構成したものである。なお、実施の形態4による動画像復号装置の全体構成は、上記実施の形態1で図1を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態4では、上記実施の形態2と同様に、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。
Embodiment 4 FIG.
In the fourth embodiment, even if there is an error in the image immediately before or immediately after the error complement source, the error location in the decoded image is more similar to that in the decoded images before and after that as in the second embodiment. It is configured so that error correction is performed by the user. The overall configuration of the moving picture decoding apparatus according to the fourth embodiment is the same as that shown in FIG. 1 in the first embodiment, but the configuration and operation of the error complementing unit are different. In the fourth embodiment, as in the second embodiment, it is not necessary for the video decoder to acquire the image type, and the error complementing unit performs error compensation by inputting only error location information from the video decoder. .
図6は、この発明の実施の形態4による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態4によるエラー補完部(エラー補完手段)102は、画像メモリ801、補完計画部802及び補完操作部803を備え、補完計画部802が、エラー検知部804、類似度算出部805a,805b及び比較部806を備える。
FIG. 6 is a block diagram showing the configuration of the error complementation unit in the video decoding apparatus according to Embodiment 4 of the present invention. The error complementing unit (error complementing unit) 102 according to the fourth embodiment includes an
エラー検知部804は、映像デコーダ101からエラー箇所情報を順次入力し、画像メモリ801に保持された保持画像を保持し、画像メモリ801の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該エラーを検出した保持画像(以下、補完対象保持画像と称す)の時間的に直前にある保持画像から、それ以前に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像を特定すると共に、上記補完対象保持画像の時間的に直後にある保持画像から、それ以後に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像を特定して、上記補完対象保持画像及び上記特定した各保持画像を画像メモリ801から取得する。
The
類似度算出部805aは、エラー検知部804により取得された補完対象保持画像とこれの時間的に前に存在する保持画像から特定された保持画像との類似度を算出する。類似度算出部805bでは、エラー検知部804により取得された補完対象保持画像とこれの時間的に後に存在する保持画像から特定された保持画像との類似度を算出する。
The
比較部806は、類似度算出部805a,805bで算出された各類似度を比較して、この比較結果から時間的に前後にそれぞれ存在する保持画像のうち、補完対象保持画像により類似する方を特定して当該保持画像が何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部803へ出力する。
The
補完操作部803は、補完計画部802から補完指示を入力し、当該補完指示に従う枚数目の保持画像の上記エラー箇所情報が示す部分についての画像情報を画像メモリ801から読み出し、補完対象保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
The
次に動作について説明する。
実施の形態4による映像デコーダ101では、再生対象となる動画像の映像ESを入力すると、当該映像ESをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部102へ出力する。
Next, the operation will be described.
In the
エラー補完部102において、画像メモリ801が、デコード画像を順次入力して、図6に示すように、時間的に新しい方からN枚分のデコード画像(時系列に並んだN枚のフレーム)を保持画像として保持する。また、補完計画部802のエラー検知部804は、映像デコーダ101からエラー箇所情報を順次入力して、画像メモリ801に保持されたN枚分の保持画像についてのエラー箇所情報を保持する。
In the
エラー検知部804が、画像メモリ801におけるM(MはM≦Nなる所定の自然数)枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、M−k枚目保持画像をkを1から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のkの値をiとして特定する。さらに、エラー検知部804は、M+k枚目保持画像をkを1から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のkの値をjとして特定する。この後、エラー検知部804は、補完対象となるM枚目の保持画像、M−i枚目の保持画像及びM+j枚目の保持画像を画像メモリ801から取得し、類似度算出部805a,805bへ出力する。
When the
類似度算出部805aは、エラー検知部804により取得されたM枚目の保持画像とM−i枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲(エラー箇所で特定される部分自体は含まない)の類似度(第3の類似度)を算出する。また、類似度算出部805bは、エラー検知部804により取得されたM枚目の保持画像とM+j枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲(エラー箇所で特定される部分自体は含まない)の類似度(第4の類似度)を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。
The
比較部806は、類似度算出部805a,805bで算出された両類似度を入力して比較を行い、類似度算出部805bより類似度算出部805aが算出した類似度が高ければx=M−iとし、類似度算出部805bが算出した類似度が高ければy=M+jとして、エラー補完元の保持画像がM−i枚目又はM+j枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部803に出力する。
The
補完操作部803では、補完計画部802から入力した補完指示に従って、M−i枚目又はM+j枚目の保持画像におけるエラー箇所情報が示す部分の画像情報を画像メモリ801から取得し、M枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
In the
以上のように、この実施の形態4によれば、エラー補完部102を図6に示すように構成することにより、エラー補完元となる直前若しくは直後の画像にエラーがあった場合にも、上記実施の形態2と同様の効果を得ることができる。
As described above, according to the fourth embodiment, by configuring the
実施の形態5.
この実施の形態5は、エラー補完元となる直前若しくは直後の画像にエラーがあっても、上記実施の形態3と同様に、デコード画像中エラー箇所情報がその前後のデコード画像双方と似ていると期待できる場合にのみ補完することを可能としたものである。なお、実施の形態5による動画像復号装置の全体構成は、上記実施の形態1で図1を用いて示したものと同様であるが、エラー補完部の構成及び動作が異なる。なお、この実施の形態5では、上記実施の形態2と同様に、映像デコーダが画像タイプを取得する必要がなく、エラー補完部は、映像デコーダからエラー箇所情報のみを入力してエラー補完を行う。
Embodiment 5 FIG.
In the fifth embodiment, even if there is an error in the image immediately before or immediately after the error complement source, the error location information in the decoded image is similar to both the preceding and subsequent decoded images as in the third embodiment. It is possible to supplement only when it can be expected. The overall configuration of the moving picture decoding apparatus according to the fifth embodiment is the same as that shown in FIG. 1 in the first embodiment, but the configuration and operation of the error complementing unit are different. In the fifth embodiment, as in the second embodiment, it is not necessary for the video decoder to acquire the image type, and the error complementing unit performs error compensation by inputting only error location information from the video decoder. .
図7は、この発明の実施の形態5による動画像復号装置におけるエラー補完部の構成を示すブロック図である。実施の形態5によるエラー補完部(エラー補完手段)102は、画像メモリ901、補完計画部902及び補完操作部903を備え、補完計画部902が、エラー検知部904、類似度算出部905、閾値メモリ906及び比較部907を備える。
FIG. 7 is a block diagram showing a configuration of an error complementation unit in the video decoding apparatus according to Embodiment 5 of the present invention. The error complementing unit (error complementing unit) 102 according to the fifth embodiment includes an
エラー検知部904は、映像デコーダ101からエラー箇所情報を順次入力し、画像メモリ901に保持された保持画像を保持し、画像メモリ901の保持画像に対して上記エラー箇所情報によりエラーの存在を検知すると、当該エラーを検出した保持画像(以下、補完対象保持画像と称す)の時間的に直前にある保持画像から、それ以前に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定して最初にエラー箇所情報が存在しなくなった保持画像を特定すると共に、上記補完対象保持画像の時間的に直後にある保持画像から、それ以後に存在する保持画像を順次参照して上記エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定して最初にエラー箇所情報が存在しなくなった保持画像を特定し、特定した各保持画像を画像メモリ901から取得する。
The
類似度算出部905は、エラー検知部904により取得された各保持画像間の類似度を算出する。閾値メモリ906には、類似度に関する所定の閾値が記憶される。比較部907は、類似度算出部905で算出された類似度と閾値メモリ906から読み出した所定の閾値とを比較して、この比較結果から類似度が所定の閾値を超える場合に、時間的に前後にそれぞれ存在する保持画像がそれぞれ何枚目の画像であるかを示す情報及び上記エラー箇所情報を補完指示として補完操作部903へ出力する。
The
補完操作部903は、補完計画部902から補完指示を入力し、当該補完指示に従う枚数目の各保持画像における上記エラー箇所情報が示す部分の画像情報を画像メモリ901から取得してこれらの中間画像を生成し、当該中間画像の画像情報を補完対象保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。
The
次に動作について説明する。
実施の形態5による映像デコーダ101では、再生対象となる動画像の映像ESを入力すると、当該映像ESをデコードし、デコード結果のデコード画像及び当該デコード画像のエラー箇所情報をエラー補完部102へ出力する。
Next, the operation will be described.
In the
エラー補完部102において、画像メモリ901が、デコード画像を順次入力して、図7に示すように、時間的に新しい方からN枚分のデコード画像(時系列に並んだN枚のフレーム)を保持画像として保持する。また、補完計画部902のエラー検知部904は、映像デコーダ101からエラー箇所情報を順次入力して、画像メモリ901に保持されたN枚分の保持画像についてのエラー箇所情報を保持する。
In the
エラー検知部904が、画像メモリ901におけるM(MはM≦Nなる所定の自然数)枚目の保持画像に上記エラー箇所情報によってエラーの存在を検知すると、M−k枚目保持画像をkを1から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のkの値をiとして特定する。さらに、エラー検知部904は、M+k枚目保持画像をkを1から順に増加させながら、当該エラー箇所情報が示す部分の位置に同様のエラー箇所情報が存在するか否かを判定し、最初にエラー箇所情報が存在しなくなった保持画像のkの値をjとして特定する。この後、エラー検知部904は、M−i枚目の保持画像及びM+j枚目の保持画像を画像メモリ901から取得し、類似度算出部905へ出力する。
When the
類似度算出部905は、エラー検知部904により取得されたM−i枚目の保持画像とM+j枚目の保持画像とについて上記エラー箇所情報で特定される部分を中心に所定の広さの範囲(エラー箇所で特定される部分自体は含まない)の類似度を算出する。ここで、類似度とは、例えば画像を構成するピクセル輝度について差の絶対値総和や正規化相関演算などの計算結果に従い、相関が高いほど高い値を示すようにしたものを使用する。
The
比較部907は、類似度算出部905で算出された類似度と閾値メモリ906から読み出した所定の閾値とを入力して比較を行い、類似度算出部905が算出した類似度が所定の閾値より高ければ、x=M−i、y=M+jとして、エラー補完元の保持画像がx枚目及びy枚目であることを示す情報及び上記エラー箇所を補完指示として補完操作部903に出力する。
The
補完操作部903では、補完計画部902から入力した補完指示に従って、x枚目とy枚目の保持画像におけるエラー箇所情報が示す部分の画像情報を画像メモリ901からそれぞれ取得し、これらの中間画像を生成してM枚目の保持画像の当該エラー箇所情報が示す部分へ書き込むことにより補完処理を実行する。なお、中間画像としては、2つの保持画像の輝度の平均値などを使用する。
In the
以上のように、この実施の形態5によれば、エラー補完部102を図7に示すように構成することにより、補完元となる直前若しくは直後の画像にエラーがあった場合にも、上記実施の形態3と同様の効果を得ることができる。
As described above, according to the fifth embodiment, by configuring the
実施の形態6.
図8は、この発明の実施の形態6による動画像復号装置の構成を示すブロック図である。図8において、実施の形態6による動画像復号装置は、映像デコーダ101a、エラー補完部102a及びエラー追跡部103を備える。映像デコーダ(復号手段)101は、映像ESをデコード(復号)して、デコード結果であるデコード画像、当該デコード画像の映像ES中での表現形式を示す画像タイプ、当該デコード画像の動きベクトル情報及び当該デコード画像のエラー箇所情報(エラーの発生した部分の座標)を順次出力する手段である。なお、デコード画像の動きベクトル情報とは、当該デコード画像の参照元デコード画像、参照元座標及びその移動量を含む情報である。
Embodiment 6 FIG.
FIG. 8 is a block diagram showing a configuration of a moving picture decoding apparatus according to Embodiment 6 of the present invention. In FIG. 8, the moving picture decoding apparatus according to the sixth embodiment includes a
エラー補完部(エラー補完手段)102aは、映像デコーダ101aからデコード画像及び画像タイプを入力し、エラー追跡部103から追跡エラー箇所情報を入力して、上記実施の形態1〜5で示したエラー補完を実行して補完画像を順次出力する手段である。例えば、デコード画像、画像タイプ及び追跡エラー箇所情報を入力して、当該画像タイプと追跡エラー箇所情報とに従ってデコード画像の補完を行い、補完結果を補完画像として得る。
The error complementing unit (error complementing unit) 102a inputs the decoded image and the image type from the
エラー追跡部(エラー追跡手段)103は、映像デコーダ101aからデコード画像の動きベクトル情報及び検出されたエラー箇所情報を入力し、映像デコーダ101aで順次デコードされたデコード画像における当該エラー箇所情報で特定されるエラーの波及範囲を追跡し、当該エラーが及んだデコード画像のエラー箇所情報を追跡エラー箇所情報として出力する手段である。
The error tracking unit (error tracking means) 103 receives the motion vector information of the decoded image and the detected error location information from the
次に動作について説明する。
映像デコーダ101aは、再生対象となる動画像の映像ESを入力すると、当該映像ESをデコードし、デコード結果のデコード画像及び当該デコード画像の映像ES中での表現形式を示す画像タイプをエラー補完部102aへ出力し、当該デコード画像の動きベクトル情報及び当該デコード画像から検出したエラー箇所情報をエラー追跡部103へ出力する。
Next, the operation will be described.
When the
エラー追跡部103では、動きベクトル情報に含まれる参照元デコード画像のうち、映像デコーダ101aから入力したエラー箇所情報で特定される部分の座標が、参照元座標と重なる場合、当該参照元デコード画像中のエラー箇所の座標を、動きベクトル情報に含まれる移動量だけ移動させ、移動先の座標(エラー箇所の参照先座標)をエラー箇所の座標として加えた追跡エラー箇所情報としてエラー補完部102aへ出力する。
In the
エラー補完部102aは、エラー追跡部103から入力した追跡エラー箇所情報を、上記実施の形態1〜5で示したエラー箇所情報と同様に扱って、上記実施の形態1〜5で示したエラー補完を実行し、補完画像を順次出力する。
The
以上のように、この実施の形態6によれば、図8に示すエラー追跡部103を備えたので、エラー画像を参照することによって波及したエラーも追跡し、補完対象とすることができる。
As described above, according to the sixth embodiment, since the
101,101a 映像デコーダ(復号手段)、102,102a エラー補完部(エラー補完手段)、103 エラー追跡部(エラー追跡手段)、201,401,601,801,901 画像メモリ、202,402,602,802,902 補完計画部、203,403,603,803,903 補完操作部、405a,405b,605,805a,805b,905 類似度算出部、406,607,806,907 比較部、606,906 閾値メモリ。 101, 101a Video decoder (decoding unit), 102, 102a Error complementing unit (error complementing unit), 103 Error tracking unit (error tracking unit), 201, 401, 601, 801, 901 Image memory, 202, 402, 602 802, 902 complement planning unit, 203, 403, 603, 803, 903 complement operation unit, 405a, 405b, 605, 805a, 805b, 905 similarity calculation unit, 406, 607, 806, 907 comparison unit, 606, 906 threshold memory.
Claims (10)
前記復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持し、前記エラー箇所情報によって前記保持画像にエラー箇所の存在が検知されると、当該検知されたエラー補完先の保持画像に関して時系列の前後にある保持画像のうちからエラー補完元画像を選択し、前記エラー補完先の保持画像のエラー箇所を前記エラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完するエラー補完手段とを備えた動画像復号装置。 Decoding that decodes an input image stream indicating moving image information to obtain a decoded image, detects an error portion on the decoded image due to an error in the moving image information, and generates error portion information indicating the error portion Means,
When a predetermined number of decoded images arranged in time series sequentially decoded by the decoding unit are held as a retained image, and the presence of an error location is detected in the retained image by the error location information, the detected error compensation is performed The error complement source image is selected from the retained images before and after the time series with respect to the previous retained image, and the error part of the retained image of the error complement destination is the image information corresponding to the error part of the error supplement source image. A moving picture decoding apparatus comprising error complementing means for error compensation.
エラー補完手段は、エラー箇所情報によって保持画像にエラー箇所の存在が検知されると、前記画像タイプが単独のフレームで画像全体が保持される符号化種類で表現された画像であって、前記検知されたエラー補完先の保持画像に関して時系列の後に最初に出現する保持画像をエラー補完元画像として選択し、前記エラー補完先の保持画像のエラー箇所を前記エラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完することを特徴とする請求項1記載の動画像復号装置。 When decoding the image stream indicating the input moving image information, the decoding means acquires an image type indicating an expression format in the moving image information of the decoded image,
When the presence of an error location is detected in the retained image based on the error location information, the error complementing means is an image represented by an encoding type in which the entire image is retained in a single frame. The retained image that appears first after the time series with respect to the retained image of the error complement destination is selected as the error complement source image, and the error location of the retained image of the error complement destination corresponds to the error location of the error complement source image The moving image decoding apparatus according to claim 1, wherein error compensation is performed using image information to be processed.
復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持する画像メモリと、
前記復号手段から入力したエラー箇所情報によって前記保持画像にエラー箇所の存在を検知すると、当該検知されたエラー補完先の保持画像、前記エラー補完先の保持画像に関して時系列の直前にある保持画像及び時系列の直後にある保持画像を前記画像メモリから取得し、前記エラー補完先の保持画像と前記時系列の直前にある保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について第1の類似度を算出するとともに、前記エラー補完先の保持画像と前記時系列の直後にある保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について第2の類似度を算出して、前記第1及び前記第2の類似度間の比較結果から前記時系列の直前又は直後の保持画像のうち類似度が高い方をエラー補完元画像として選択する補完計画部と、
前記エラー補完先の保持画像のエラー箇所を、前記補完計画部で選択されたエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する補完操作部とを備えたことを特徴とする請求項1記載の動画像復号装置。 Error completion means are
An image memory for holding a predetermined number of decoded images arranged in time series sequentially decoded by the decoding means as a retained image;
When the presence of an error location is detected in the retained image based on the error location information input from the decoding unit, the detected error complement destination retained image, the retained image immediately before the time series with respect to the error complement destination retained image, and A retained image immediately after the time series is acquired from the image memory, and a range of a predetermined area around the error portion between the retained image at the error complement destination and the retained image immediately before the time series A first similarity is calculated, and a second similarity is calculated for a range of a predetermined area around the error portion between the error complement destination retained image and the retained image immediately after the time series. A complement planning unit that calculates and selects, from the comparison result between the first and second similarities, the higher-similarity of the retained images immediately before or after the time series as the error complementing source image ,
And a complement operation unit that complements an error part of the error complement destination retained image with image information corresponding to the error part of the error complement source image selected by the complement plan part. Item 4. A moving picture decoding apparatus according to Item 1.
復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持する画像メモリと、
前記復号手段から入力したエラー箇所情報によって前記保持画像にエラー箇所の存在を検知すると、当該検知されたエラー補完先の保持画像に関して時系列の直前にある保持画像及び時系列の直後にある保持画像を前記画像メモリから取得して、当該時系列の直前にある保持画像と前記時系列の直後にある保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について類似度を算出し、所定の閾値との比較結果から当該類似度が前記閾値より高い場合、前記時系列の直前及び直後の保持画像の中間画像を生成してエラー補完元画像とする補完計画部と、
前記エラー補完先の保持画像のエラー箇所を、前記補完計画部で得られたエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する補完操作部とを備えたことを特徴とする請求項1記載の動画像復号装置。 Error completion means are
An image memory for holding a predetermined number of decoded images arranged in time series sequentially decoded by the decoding means as a retained image;
When the presence of an error location is detected in the retained image based on the error location information input from the decoding unit, the retained image immediately before the time series and the retained image immediately after the time series with respect to the detected retained image of the error complement destination Is calculated from the image memory, and a similarity is calculated for a range of a predetermined width around the error portion between the retained image immediately before the time series and the retained image immediately after the time series. If the similarity is higher than the threshold from the comparison result with a predetermined threshold, a complement planning unit that generates an intermediate image of the retained images immediately before and immediately after the time series and serves as an error complement source image,
And a complement operation unit that complements an error part of the error complement destination retained image with image information corresponding to the error part of the error complement source image obtained by the complement planning unit. Item 4. A moving picture decoding apparatus according to Item 1.
復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持する画像メモリと、
前記復号手段から入力したエラー箇所情報によって、前記保持画像にエラー箇所の存在を検知すると、当該検知されたエラー補完先の保持画像を前記画像メモリから取得するとともに、前記エラー補完先の保持画像に関して時系列の直前にある保持画像からそれ以前に存在する保持画像を順次参照して前記エラー箇所情報が示す位置にエラー箇所が存在するか否かを判定し、最初にエラー箇所が存在しなくなった保持画像を前記画像メモリから取得し、前記エラー補完先の保持画像に関して時系列の直後にある保持画像からそれ以後に存在する保持画像を順次参照して前記エラー箇所情報が示す位置にエラー箇所が存在するか否かを判定し、最初にエラー箇所が存在しなくなった保持画像を前記画像メモリから取得するとともに、前記エラー補完先の保持画像と前記時系列の直前からそれ以前にある保持画像のうちから取得された保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について第3の類似度を算出し、前記エラー補完先の保持画像と前記時系列の直後からそれ以後にある保持画像のうちから取得された保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について第4の類似度を算出して、前記第3及び前記第4の類似度間の比較結果から類似度が高い保持画像をエラー補完元画像として選択する補完計画部と、
前記エラー補完先の保持画像のエラー箇所を、前記補完計画部で得られたエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する補完操作部とを備えたことを特徴とする請求項1記載の動画像復号装置。 Error completion means are
An image memory for holding a predetermined number of decoded images arranged in time series sequentially decoded by the decoding means as a retained image;
When the presence of an error location is detected in the retained image based on the error location information input from the decoding unit, the detected error supplement destination retained image is acquired from the image memory, and the error supplement destination retained image is obtained. It is determined whether there is an error location at the position indicated by the error location information by sequentially referring to the retention image existing before the retention image immediately before the time series, and the error location no longer exists first The retained image is acquired from the image memory, and the error location is indicated at the position indicated by the error location information by sequentially referring to the retained image immediately after the retained image immediately after the time series with respect to the retained image of the error complement destination. A determination is made as to whether or not there is an error, and a retained image that no longer has an error portion is first obtained from the image memory, and the error A third similarity is calculated for a range of a predetermined width around the error portion between the complete retained image and the retained image acquired from the previous retained images immediately before the time series. A fourth range of a predetermined area around the error portion between the error complement destination retained image and a retained image acquired immediately after the time series and thereafter. Calculating a similarity, and selecting a retained image having a high similarity from the comparison result between the third and fourth similarities as an error complementing source image;
And a complement operation unit that complements an error part of the error complement destination retained image with image information corresponding to the error part of the error complement source image obtained by the complement planning unit. Item 4. A moving picture decoding apparatus according to Item 1.
復号手段により順次復号された時系列に並ぶ所定数分の復号画像を保持画像として保持する画像メモリと、
前記復号手段から入力したエラー箇所情報によって、前記保持画像にエラー箇所の存在を検知すると、当該検知されたエラー補完先の保持画像に関して時系列の直前にある保持画像からそれ以前に存在する保持画像を順次参照して前記エラー箇所情報が示す位置にエラー箇所が存在するか否かを判定し、最初にエラー箇所が存在しなくなった保持画像を前記画像メモリから取得し、前記エラー補完先の保持画像に関して時系列の直後にある保持画像からそれ以後に存在する保持画像を順次参照して前記エラー箇所情報が示す位置にエラー箇所が存在するか否かを判定し、最初にエラー箇所が存在しなくなった保持画像を前記画像メモリから取得するとともに、前記時系列の直前からそれ以前にある保持画像のうちから取得された保持画像と前記時系列の直後からそれ以後にある保持画像のうちから取得された保持画像との間で前記エラー箇所の周囲で所定の広さの範囲について類似度を算出し、所定の閾値との比較結果から当該類似度が前記閾値より高い場合、前記時系列の直前及び直後の保持画像の中間画像を生成してエラー補完元画像とする補完計画部と、
前記エラー補完先の保持画像のエラー箇所を、前記補完計画部で得られたエラー補完元画像の当該エラー箇所に対応する画像情報でエラー補完する補完操作部とを備えたことを特徴とする請求項1記載の動画像復号装置。 Error completion means are
An image memory for holding a predetermined number of decoded images arranged in time series sequentially decoded by the decoding means as a retained image;
When the presence of an error location is detected in the retained image based on the error location information input from the decoding unit, the retained image existing before that from the retained image immediately before the time series with respect to the detected retained image of the error complement destination Are sequentially referred to to determine whether or not there is an error location at the position indicated by the error location information, and a retained image in which no error location exists first is acquired from the image memory, and the error complement destination is retained. With respect to the image, the retained image immediately after the time series is sequentially referred to to determine whether or not there is an error location at the position indicated by the error location information. The lost retained image is acquired from the image memory, and the retained image acquired from the previous retained images immediately before the time series and the previous The degree of similarity is calculated for a range of a predetermined area around the error portion between the stored images acquired immediately after the time series and the stored images after that, and the result of comparison with a predetermined threshold is calculated. If the similarity is higher than the threshold value, a complement planning unit that generates an intermediate image of the retained images immediately before and after the time series and serves as an error complement source image;
And a complement operation unit that complements an error part of the error complement destination retained image with image information corresponding to the error part of the error complement source image obtained by the complement planning unit. Item 4. A moving picture decoding apparatus according to Item 1.
エラー箇所情報によって検知されたエラー補完先の保持画像のエラー箇所の座標が、前記動きベクトル情報で特定される前記エラー補完先の保持画像についての参照元復号画像の参照元座標と重なる場合、当該参照元座標から前記エラー箇所の座標を前記動きベクトル情報に含まれる移動量だけ移動させ、当該移動先の座標をエラー箇所の座標として加えた追跡エラー箇所情報を生成するエラー追跡手段を備え、
エラー補完手段は、前記エラー追跡手段から入力した追跡エラー箇所情報をエラー箇所情報として扱ってエラー補完を実行することを特徴とする請求項1から請求項8のうちのいずれか1項記載の動画像復号装置。 The decoding unit generates motion vector information of the decoded image when decoding the image stream indicating the moving image information and obtaining the decoded image,
When the coordinates of the error location of the retained image of the error complement destination detected by the error location information overlaps the reference source coordinates of the reference source decoded image for the retained image of the error complement destination specified by the motion vector information, The error tracking means for generating the tracking error location information by moving the coordinates of the error location from the reference source coordinates by the movement amount included in the motion vector information and adding the coordinates of the movement destination as the coordinates of the error location,
The moving image according to any one of claims 1 to 8, wherein the error complementing means performs error compensation by treating the tracking error location information input from the error tracking means as error location information. Image decoding device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009050858A JP5089632B2 (en) | 2009-03-04 | 2009-03-04 | Video decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009050858A JP5089632B2 (en) | 2009-03-04 | 2009-03-04 | Video decoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010206628A true JP2010206628A (en) | 2010-09-16 |
JP5089632B2 JP5089632B2 (en) | 2012-12-05 |
Family
ID=42967634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009050858A Expired - Fee Related JP5089632B2 (en) | 2009-03-04 | 2009-03-04 | Video decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5089632B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018536311A (en) * | 2015-09-16 | 2018-12-06 | ヴォゴVogo | Method for optimizing the transmission of a video data stream over a wireless network |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0479689A (en) * | 1990-07-20 | 1992-03-13 | Matsushita Electric Ind Co Ltd | Method for correcting error of picture |
JPH08256311A (en) * | 1995-02-16 | 1996-10-01 | Thomson Multimedia Sa | Apparatus and method for concealing error in terms of time and space for video signal processor |
JPH09247681A (en) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | Dynamic image decoding method and dynamic image decoder |
JPH1023435A (en) * | 1996-06-27 | 1998-01-23 | Sanyo Electric Co Ltd | Error processor and decoder |
JPH11112976A (en) * | 1997-09-30 | 1999-04-23 | Nec Corp | Error correction circuit for image signal |
JP2001309388A (en) * | 2000-04-25 | 2001-11-02 | Oki Electric Ind Co Ltd | Error image supplementing method in image decoder |
WO2006046476A1 (en) * | 2004-10-29 | 2006-05-04 | Sharp Kabushiki Kaisha | Moving image decoding apparatus and moving image decoding method |
JP2007288462A (en) * | 2006-04-17 | 2007-11-01 | Hitachi Ltd | Video image display device |
-
2009
- 2009-03-04 JP JP2009050858A patent/JP5089632B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0479689A (en) * | 1990-07-20 | 1992-03-13 | Matsushita Electric Ind Co Ltd | Method for correcting error of picture |
JPH08256311A (en) * | 1995-02-16 | 1996-10-01 | Thomson Multimedia Sa | Apparatus and method for concealing error in terms of time and space for video signal processor |
JPH09247681A (en) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | Dynamic image decoding method and dynamic image decoder |
JPH1023435A (en) * | 1996-06-27 | 1998-01-23 | Sanyo Electric Co Ltd | Error processor and decoder |
JPH11112976A (en) * | 1997-09-30 | 1999-04-23 | Nec Corp | Error correction circuit for image signal |
JP2001309388A (en) * | 2000-04-25 | 2001-11-02 | Oki Electric Ind Co Ltd | Error image supplementing method in image decoder |
WO2006046476A1 (en) * | 2004-10-29 | 2006-05-04 | Sharp Kabushiki Kaisha | Moving image decoding apparatus and moving image decoding method |
JP2007288462A (en) * | 2006-04-17 | 2007-11-01 | Hitachi Ltd | Video image display device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018536311A (en) * | 2015-09-16 | 2018-12-06 | ヴォゴVogo | Method for optimizing the transmission of a video data stream over a wireless network |
Also Published As
Publication number | Publication date |
---|---|
JP5089632B2 (en) | 2012-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
US8098733B2 (en) | Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables | |
JP2009201112A (en) | Coding and decoding methods for direct mode | |
RU2013120007A (en) | DEVICE picture prediction encoding, process for predictive coding images, software picture prediction encoding, the device is projected image decoding, image decoding predicts METHOD, AND PROGRAM predicts image decoding | |
JP2005354528A (en) | Device and method for detecting motion vector | |
US9948859B2 (en) | Video image alignment for video stabilization | |
US8428137B2 (en) | Motion search apparatus in video coding | |
JP5089632B2 (en) | Video decoding device | |
US20110069761A1 (en) | Parallel encoding device, recording medium, and imaging data encoding method | |
JP2008060836A (en) | Motion vector search method and device | |
CN105100588A (en) | Image processing device, imaging device, and image processing method | |
JP2008109270A (en) | Moving image regeneration apparatus with camera shake correction function | |
JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
US20040247032A1 (en) | Motion vector detection device and motion vector detection method | |
JP2017098601A (en) | Encoding device, imaging device, encoding method, and program | |
JP2006215657A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
JP2007181226A5 (en) | ||
JP4235209B2 (en) | Motion vector detection apparatus and motion vector detection method | |
JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
JP2006013873A (en) | Motion vector detecting apparatus and method | |
JP2009266169A (en) | Information processor and method, and program | |
JP2007288681A (en) | Image processing apparatus and method, and program | |
KR100987584B1 (en) | Movie change system and method for efficient save of high-resolution movie | |
JP2006295702A (en) | Image processing apparatus and method, image processing program, and storage medium | |
JP4378801B2 (en) | Image processing method and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120814 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120911 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5089632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |