JP3623679B2 - 動画像符号化装置 - Google Patents
動画像符号化装置 Download PDFInfo
- Publication number
- JP3623679B2 JP3623679B2 JP00150899A JP150899A JP3623679B2 JP 3623679 B2 JP3623679 B2 JP 3623679B2 JP 00150899 A JP00150899 A JP 00150899A JP 150899 A JP150899 A JP 150899A JP 3623679 B2 JP3623679 B2 JP 3623679B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- signal
- significance
- refresh
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連続する入力画像信号を符号化する動画像符号化装置に関し、特に伝送中のエラーによる符号化データの欠損に伴う画質劣化を抑制するための動画像符号化装置に関する。
【０００２】
【従来の技術】
従来より、この種の動画像符号化装置として刊行物｛刊行物の題名：Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ １４４９６−２ （ＭＰＥＧ−４ Ｖｉｓｕａｌ），著者：ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／Ｗ１１，発行年月日：１９９８年３月，説明ページ・行・図面：Ａｐｐｅｎｄｉｘ×Ｈ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｒｅｆｒｅｓｈ）｝に記載されているものが知られている。図８に示すように、従来の動画像符号化装置は、フレーム内符号化およびフレーム間予測符号化を符号化単位であるブロック毎に適宜に選択して行う動画像符号化部１０１において、強制的にフレーム内符号化を行うブロックを選択する。従来の動画像符号化装置は、動画像符号化部１０１とリフレッシュマップ生成部１０２とリフレッシュ信号発生部１０３とを有している。リフレッシュマップ生成部１０２は、動画像符号化部１０１に接続されている。リフレッシュ信号発生部１０３は、動画像符号化部１０１およびリフレッシュマップ生成部１０２に接続されている。
【０００３】
動画像符号化部１０１は、動き量推定部１０４とフレームメモリ１０５と予測画像生成部１０６と減算器１０７とモード制御部１０８とブロック選択部１０９と２次元離散コサイン変換部１１０と量子化部１１１と可変長符号化部１１２と逆量子化部１１３と２次元離散コサイン逆変換部１１４と加算器１１５とを有している。
【０００４】
動き量推定部１０４は、入力画像信号１１６が入力されると、入力画像信号１１６とフレームメモリ１０５に格納されている参照画像信号１１７とからフレーム間の動きを検出し、動きベクトル１１８を出力する。また、動き量推定部１０４は、入力画像信号１１６内の各ブロックと参照画像信号１１７上で同一位置にあるブロックとの誤差パワー信号１１９を算出してリフレッシュマップ生成部１０２に出力する。リフレッシュマップ生成部１０２は、誤差パワー信号１１９がある閾値より大きいブロックを強制リフレッシュの優先度が高いと判定し、各ブロックの強制リフレッシュ優先度を示すリフレッシュマップ信号１２０を出力する。リフレッシュ信号発生部１０３は、１フレーム中の強制リフレッシュ処理を行うことのできるブロックの許容数を示す許容ブロック数信号１２１とリフレッシュマップ信号１２０とに基づいて、強制リフレッシュされるブロックを指定するリフレッシュ信号１２２を各ブロックの符号化モードを制御するモード制御部１０８に出力する。許容ブロック数信号１２１は、符号化データの伝送環境に応じて外部信号として与えられる。リフレッシュブロックの数を増やしていくとエラー隠蔽処理能力は向上するが符号化効率が劣化してしまう。許容ブロック数信号１２１は、伝送レートに応じてエラー隠蔽処理能力と符号化効率とのトレードオフによって一意に決定される量を示す信号である。
【０００５】
一方、予測画像生成部１０６は、フレームメモリ１０５からの参照画像信号１１７に動き量推定部１０４からの動きベクトル１１８とに基づいて動き補償処理を施した予測画像信号１２３を生成して減算器１０７に与える。減算器１０７は、入力画像信号１１６の値から予測画像生成部１０６の予測画像信号１２３の値を減算して誤差信号１２４を生成してブロック選択部１０９に与える。また、ブロック選択部１０９は、入力画像信号１１６も受ける。モード制御部１０８は、入力画像信号１１６と誤差信号１２４およびリフレッシュ信号１２２を受ける。
【０００６】
モード制御部１０８は、リフレッシュ信号発生部１０３からのリフレッシュ信号１２２を受けている時には、このリフレッシュ信号１２２の指定するブロックに対してフレーム内符号化を選択するための選択制御信号１２５をブロック選択部１０９に与える。この時には、ブロック選択部１０９は、入力画像信号１０１のブロック（データ）を選択して２次元離散コサイン変換部１１０に与える。モード制御部１０８は、リフレッシュ信号発生部１０３からのリフレッシュ信号１２２を受けていない時において、誤差信号１２４の値が所定の閾値以下である時にフレーム間予測符号化を選択するための選択制御信号１２５をブロック選択部１０９に与える。この時には、ブロック選択部１０９は、誤差信号１２４のブロック（データ）を選択して２次元離散コサイン変換部１１０に与える。また、モード制御部１０８は、リフレッシュ信号発生部１０３からのリフレッシュ信号１２２を受けていない時において、誤差信号１２４の値が所定の閾値以上である時にフレーム内符号化を選択するための選択制御信号１２５をブロック選択部１０９に与える。この時には、ブロック選択部１０９は、入力画像信号１０１のブロック（データ）を選択して２次元離散コサイン変換部１１０に与える。
【０００７】
２次元離散コサイン変換部１１０は、ブロック選択部１０９により選択されたデータを２次元離散コサイン変換をして量子化部１１１に与える。この量子化部１１１は、データを量子化して可変長符号化部１１２に与える。この可変長符号化部１１２は、データを可変長符号化して出力データ１２６を生成する。また、逆量子化部１１３は、量子化部１１１からのデータを受けて逆量子化をして２次元離散コサイン逆変換部１１４に与える。この２次元離散コサイン逆変換部１１４は、逆量子化部１１３からのデータを逆量子化して加算器１１５に与える。この加算器１１５は、２次元離散コサイン逆変換部１１４からのデータの値を予測画像生成部１０６からの予測画像信号１２３の値とを合成して参照画像信号１２７を生成してフレームメモリ１０５に格納する。
【０００８】
図９は前記従来の符号化方法で想定されている復号側でのエラー隠蔽方法を説明する図である。伝送中のエラーでデータ欠損したブロックは、前フレームにおいて同一位置にあるブロックをコピーすることで補完される。前記従来の符号化方法では、前記補完処理において画質劣化が大きいブロックを選択的に強制リフレッシュすることにより、データ欠損が生じたときの画質劣化を抑制することができる。このように、従来の動画像符号化装置では、エラー隠蔽処理時の画像劣化がある閾値以上のものを強制リフレッシュの対象とし、これら対象となるブロックを等確率で周期的にリフレッシュしている。
【０００９】
【発明が解決しようとする課題】
しかし、従来の動画像符号化装置においては、エラー隠蔽処理の性能を決定する強制リフレッシュの頻度およびリフレッシュ候補ブロックを決定する閾値の設定が伝送路の環境および画像の分布に大きく依存するため、画質に特に影響する領域が効果的にリフレッシュされず、エラー隠蔽処理が行われても主観評価の低い画像しか得られないという問題がある。
【００１０】
また、従来の動画像符号化装置においては、復号側での簡単なエラー隠蔽のみしか想定していないので、復号側でより高度なエラー隠蔽処理を用いた場合に画質の向上が得られない可能性があるという問題がある。
【００１１】
本発明の目的は、データの伝送中にエラーが発生しやすい環境下においても、画質劣化を防止する動画像符号化装置を提供することにある。
【００１２】
【課題を解決するための手段】
前記課題を解決するために、請求項１記載の発明は、連連続する入力画像信号を符号化する動画像符号化装置において、前記入力画像信号を参照して、符号化単位となるブロック毎の視覚的な目の付きやすさを表す重要度であるブロック有意度を算出するブロック有意度判定手段と、前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、前記リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定するリフレッシュ信号を発生する適応リフレッシュ信号発生手段と、前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に実行する動画像符号化手段とを有することを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックのブロック有意度を発生する有意度生成手段とを有することを特徴とする。
【００１４】
請求項３記載の発明は、請求項１記載の発明において、前記ブロック有意度判定手段は、ブロック内信号の分散を表す量であるブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックのブロック有意度を生成する有意度生成手段とを有することを特徴とする。
【００１５】
請求項４記載の発明は、請求項１記載の発明において、前記ブロック有意度判定手段は、ブロック内信号をバンドパスフィルタに通した信号のパワーを表す量であるブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量を１または複数の閾値とを比較して各ブロックのブロック有意度を生成する有意度生成手段とを有することを特徴とする。
【００１６】
請求項５記載の発明は、連続する入力画像信号を符号化する動画像符号化装置において、前記入力画像信号に加えて、動画像符号化によるブロックの符号化処理過程において算出される、入力画像信号と参照フレーム内同一位置にあるブロックとの第１の誤差パワー、入力画像信号と動き補償処理を行った予測画像上で同一位置にあるブロックとの第２の誤差パワー、およびブロックの動き量からなるブロック情報を参照して、符号化単位となるブロック毎の視覚的な目の付きやすさを表す重要度であるブロック有意度を算出するブロック有意度判定手段と、前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、前記リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定するリフレッシュ信号を生成する適応リフレッシュ信号発生手段と、前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に行うと同時に、前記ブロック情報を出力する動画像符号化手段とを有することを特徴とする。
【００１７】
請求項６記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報からブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画質劣化の度合を表す視覚劣化量を算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００１８】
請求項７記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第 １ の誤差パワーをそのまま視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００１９】
請求項８記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第２の誤差パワーをそのまま視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値判定して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２０】
請求項９記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第 １ の誤差パワーをブロックの動き量に応じて重みづけした値を視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２１】
請求項１０記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第２の誤差パワーをブロックの動き量に応じて重みづけした値を視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して判定して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２２】
請求項１１記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、人間の視覚特性に基づいて得られる感度モデルに従い、ブロック内信号の輝度分散および輝度平均から１対１に得られるブロック毎の感度レベルをブロック特徴量としてを算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報からブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画質劣化の度合を表す視覚劣化量を算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２３】
請求項１２記載の発明は、連続する入力画像信号を符号化する動画像符号化装置において、前記入力画像信号に加えて、動画像符号化によるブロックの符号化処理過程において算出される、入力画像信号と参照フレーム内同一位置にあるブロックとの第１の誤差パワー、入力画像信号と動き補償処理を行った予測画像上で同一位置にあるブロックとの第２の誤差パワー、およびブロックの動き量からなるブロック情報を参照して、符号化単位となるブロック毎の視覚的な目の付きやすさを表す重要度であるブロック有意度を算出するブロック有意度判定手段と、前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、該マップ生成手段からの前記リフレッシュマップ信号を一旦保持しこのリフレッシュマップ信号の履歴とリフレッシュ信号とを参照して前記リフレッシュマップ信号の示す強制リフレッシュ優先度の値を修正して修正リフレッシュマップ信号を生成するリフレッシュ履歴判定手段と、前記修正リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定する前記リフレッシュ信号を生成する適応リフレッシュ信号発生手段と、前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に行うと同時に、前記ブロック情報を出力する動画像符号化手段とを有することを特徴とする。
【００２４】
請求項１３記載の発明は、請求項１２記載の発明において、前記リフレッシュ履歴判定手段は、前記マップ生成手段からの前記リフレッシュマップ信号と前記適応リフレッシュ信号発生手段からの前記リフレッシュ信号とを参照して符号化処理開始時からのリフレッシュマップの履歴を更新し格納するマップ履歴メモリと、前記リフレッシュ信号の履歴を格納するリフレッシュ信号履歴メモリと、前記マップ履歴メモリの格納するマップ履歴と前記リフレッシュ信号履歴メモリの格納するリフレッシュ履歴とを参照して前記マップ生成手段からの前記リフレッシュマップ信号の示す強制リフレッシュ優先度を修正するマップ修正部とを有することを特徴とする。
【００２５】
【発明の実施の形態】
次に、本発明の実施の形態を図面に基づいて詳細に説明する。
図１に示すように、本発明の第１の実施形態としての動画像符号化装置は、動画像符号化部１とブロック有意度判定部２とマップ生成部３と適応リフレッシュ信号発生部４とを有している。ブロック有意度判定部２は、入力画像信号５を受ける。マップ生成部３は、ブロック有意度判定部２に接続されている。適応リフレッシュ信号発生部４は、動画像符号化部１およびマップ生成部３に接続されている。
【００２６】
動画像符号化部１は、動き量推定部６とフレームメモリ７と予測画像生成部８と減算器９とモード制御部１０とブロック選択部１１と２次元離散コサイン変換部１２と量子化部１３と可変長符号化部１４と逆量子化部１５と２次元離散コサイン逆変換部１６と加算器１７とを有している。動き量推定部６は、入力画像信号５を受ける。フレームメモリ７は、動き量推定部６に接続されている。予測画像生成部８は、動き量推定部６およびフレームメモリ７に接続されている。減算器９は、入力画像信号５を受ける。減算器９は、予測画像生成部８に接続されている。モード制御部１０は、入力画像信号５を受ける。モード制御部１０は、適応リフレッシュ信号発生部４および減算器９に接続されている。ブロック選択部１１は、入力画像信号５を受ける。ブロック選択部１１は、減算器９およびモード制御部１０に接続されている。２次元離散コサイン変換部１２は、ブロック選択部１１に接続されている。量子化部１３は、２次元離散コサイン変換部１２に接続されている。可変長符号化部１４は、量子化部１３に接続されている。逆量子化部１５は、量子化部１３に接続されている。２次元離散コサイン逆変換部１６は、逆量子化部１５に接続されている。加算器１７は、予測画像生成部８および２次元離散コサイン逆変換部１６に接続されている。
【００２７】
動き量推定部６は、入力画像信号５が入力されると、入力画像信号５とフレームメモリ７に格納されている参照画像信号１８とからフレーム間の動きを検出し、動きベクトル１９を出力する。予測画像生成部８は、フレームメモリ７からの参照画像信号１８に動き量推定部６からの動きベクトル１９とに基づいて動き補償処理を施した予測画像信号２０を生成して減算器９に与える。減算器９は、入力画像信号５の値から予測画像生成部８の予測画像信号２０の値を減算して誤差信号２１を生成してブロック選択部１１に与える。また、ブロック選択部１１は、入力画像信号５も受ける。モード制御部１０は、入力画像信号５および誤差信号２１を受ける。また、モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受ける。
【００２８】
モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受けている時には、このリフレッシュ信号２２の指定するブロックに対してフレーム内符号化を選択するための選択制御信号２３をブロック選択部１１に与える。この時には、ブロック選択部１１は、入力画像信号５のブロック（データ）を選択して２次元離散コサイン変換部１２に与える。モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受けていない時において、誤差信号２１の値が所定の閾値以下である時にフレーム間予測符号化を選択するための選択制御信号２３をブロック選択部１１に与える。この時には、ブロック選択部１１は、誤差信号２１のブロック（データ）を選択して２次元離散コサイン変換部１２に与える。また、モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受けていない時において、誤差信号２１の値が所定の閾値以上である時にフレーム内符号化を選択するための選択制御信号２３をブロック選択部１０に与える。この時には、ブロック選択部１０は、入力画像信号５のブロック（データ）を選択して２次元離散コサイン変換部１２に与える。
【００２９】
２次元離散コサイン変換部１２は、ブロック選択部１０により選択されたデータを２次元離散コサイン変換をして量子化部１３に与える。この量子化部１３は、データを量子化して可変長符号化部１４に与える。この可変長符号化部１４は、データを可変長符号化して出力データ２４を生成する。また、逆量子化部１５は、量子化部１３からのデータを受けて逆量子化をして２次元離散コサイン逆変換部１６に与える。この２次元離散コサイン逆変換部１６は、逆量子化部１５からのデータを逆量子化して加算器１７に与える。この加算器１７は、２次元離散コサイン逆変換部１６からのデータの値を予測画像生成部８からの予測画像信号２０の値とを合成して参照画像信号２５を生成してフレームメモリ７に格納する。
【００３０】
ブロック有意度判定部２は、入力画像信号５を参照してブロック毎の有意度を表すブロック有意度２６を算出する。マップ生成部３は、ブロック有意度判定部２からのブロック有意度２６を強制リフレッシュ処理を行う優先度とみなして、入力画像信号５の各ブロックについてのリフレッシュ処理優先度を表すリフレッシュマップ信号２７を発生して適応リフレッシュ信号発生部４に与える。適応リフレッシュ信号発生部４は、１フレーム中、強制リフレッシュ処理を行うことのできるブロックの許容数を示す許容ブロック数信号２８とリフレッシュマップ信号２７とに基づいて強制リフレッシュされるブロックを指定するリフレッシュ信号２２を発生して動画像符号化部１のモード制御部１０に与える。許容ブロック数信号２８は、データの伝送環境に応じて外部信号として与えられる。リフレッシュブロックの数を増やしていくとエラー隠蔽処理能力は向上するが符号化効率が劣化してしまう。許容ブロック数信号２８は、伝送レートに応じてエラー隠蔽処理能力と符号化効率とのトレードオフによって一意に決定される量を示す信号である。
【００３１】
図２は、ブロック有意度判定部２を示している。ブロック有意度判定部２は、ブロック特徴量算出部２９と有意度生成部３０とを有している。ブロック特徴量算出部２９は、入力画像信号５を受ける。有意度生成部３０は、ブロック特徴量算出部２９およびマップ生成部３に接続されている。ブロック特徴量算出部２９は入力画像信号５に対して、ブロック毎に画質向上における重要度を表すブロック特徴量３１を算出する。画像向上における重要度とは、輪郭部分など視覚的に重要な情報を含む度合または画質劣化が主観的に目につきやすい度合を表す。この第１の実施形態では、ブロック特徴量として、ブロック内信号の変動の度合を表す輝度成分や色差成分の分散およびそれらの重み付け和または高域通過フィルタやその他のエッジ抽出フィルタによって得られるエッジ成分のパワーを示す量が用いられる。ブロック内の変動が大きい部分や輪郭部分は、視覚的に重要な情報であり主観画質に大きく影響する。その他ブロック特徴量としては、ブロック内信号の最大値と最小値との距離、当該ブロック内輝度信号のパワーと隣接ブロック内輝度信号のパワーとの差分、当該ブロック内色差信号のパワーと隣接ブロック内色差信号のパワーとの差分、周波数変換後の係数信号を視覚モデルに基づいて重み付け加算した値および彩度（色差信号の絶対値） などが考えられる。
【００３２】
有意度生成部３０は、ブロック特徴量３１と予め定められた閾値とを比較し、ブロック有意度２６を発生する。有意度生成部３０は、１または複数の閾値を持ち、ブロック特徴量３１と閾値とを比較してブロック有意度２６を判定する。適応リフレッシュ信号発生部４は、リフレッシュマップ信号２７の示すリフレッシュ優先度に応じて、優先度の高いブロックではリフレッシュ周期を短く、優先度の低いブロックではリフレッシュ周期を長くするといったようにブロックの重要度に応じた適応的なリフレッシュ処理を実現する。
【００３３】
次に、本発明の第２の実施形態を図面に基づいて詳細に説明する。本発明の第２の実施形態においては、本発明の第１の実施形態と同じ構成要素には同じ参照符号が付される。本発明の第２の実施形態においては、ブロック有意度判定部２は、入力画像信号５に加えて、動画像符号部１が入力画像信号５においてブロック情報生成部３２が各ブロックを符号化する際に生成したブロック情報３３を参照して、ブロック有意度２６を生成することを特徴とする。
【００３４】
図４は、本発明の第２の実施形態おけるブロック有意度判定部２を示している。ブロック有意度判定２は、ブロック特徴量算出部２９と有意度生成部３０と視覚劣化量算出部３４と有意度生成部３５とブロック有意度統合部３６とを有している。視覚劣化量算出部３４は、動画像符号部１のブロック情報生成部３２に接続されている。視覚劣化量算出部３４は、ブロック情報生成部３２からのブロック情報３３を受ける。有意度生成部３５は、視覚劣化量算出部３４と接続されている。ブロック有意度統合部３６は、有意度生成部３０と有意度生成部３５およびマップ生成部３に接続されている。有意度生成部３０は、ブロック特徴量３１と予め定められた１または複数の閾値とを比較し、ブロック有意度３７を発生する。視覚劣化量算出部３４は、ブロック情報３３を参照してブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画像劣化の度合を表す視覚劣化量３８を算出する。有意度生成部３５は、視覚劣化量３８と予め定められた閾値とを比較し、ブロック有意度３９を発生する。有意度生成部３５は、１または複数の閾値を持ち、視覚劣化量３８と閾値とを比較してブロック有意度２６を判定して設定する。
【００３５】
ブロック情報３３としては、前述の従来の装置で用いられた参照フレーム内同一位置にあるブロックとの第１の誤差パワーに加えて、動き補償処理を行った予測画像上で同一位置にあるブロックとの第２の誤差パワーおよびブロックの動き量がある。視覚劣化量３８としては、第１もしくは第２の誤差パワーもしくは動き量の他、動き量と誤差パワーとの積が用いられる。前記誤差パワーは、エラー発生時に失われる信号のエネルギーを表す。また誤差パワーの同じブロックであってもフレーム間の動きの大きいものの方が、画質劣化をより広い領域に伝搬する可能性があることから、誤差パワーに動き量を重み付けすることが考えられる。
【００３６】
ブロック有意度統合部３６は、有意度生成部３０からのブロック有意度３７と有意度生成部３５からのブロック有意度３９とを合成してブロック有意度２６を生成してマップ生成部３に与える。ブロック有意度統合部３６における有意度の統合値として、有意度が２値である場合には論理和値または論理積値が用いられ、有意度が多値である場合には加算値または乗算値が用いられる。
【００３７】
従来の装置ではエラー隠蔽処理における画質劣化の評価値として、参照フレーム上で同一位置にあるブロックとの誤差パワーを用い、これがある閾値以上のものすべてに等確率に強制リフレッシュ優先度をあげていた。これに対し、本発明第２の実施形態では、これらリフレッシュ候補となるブロックの中でもさらにエラー隠蔽時の画質向上に影響のあるものを優先的にリフレッシュすることが可能である。この画質向上に影響のあるブロックとは、前に述べた輪郭情報など視覚的に重要な情報を含むブロックを示す。
【００３８】
一方、人間の視覚特性として、同程度の誤差パワーを持つブロックであっても、ブロックの輝度平均が中程度であれば画質劣化に対する感度は上昇する。さらに、その中でもブロックの輝度変化が大きければ、感度はさらに上昇することが知られている。図４におけるブロック特徴量算出部２９では、ブロック内信号の平均と分散とから、画質劣化に対する人間の視覚特性に基づく感度情報を算出する。この感度情報をブロック特徴量３１として有意度生成部３０の出力するブロック有意度３７を、視覚劣化量３８にもとづく有意度生成部３５の出力するブロック有意度３９と合成することで、画質劣化の著しいブロックのうち特に視覚的に目立つものを優先的にリフレッシュすることが可能となる。これにより、本発明の第２の実施形態は、従来の装置よりもさらにエラー隠蔽処理の際の画質を向上させることができる。
【００３９】
また、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の発行する刊行物｛Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ １４４９６−２ （ＭＰＥＧ−４Ｖｉｓｕａｌ）｝において、エラー耐性の要求される伝送環境でのデータの伝送方法として、フレーム間予測符号化方式に用いる動き量と変換係数情報を独立に伝送するという方法が記載されている。この伝送方法を用いることで、エラーによって変換係数情報にデータ欠損が起こった場合に、図５に示すように参照フレームと動き量とから動き補償処理によって予測画像を生成し対応するブロックをコピーする高度なエラー隠蔽処理が可能となる。しかし、従来の装置の強制リフレッシュの実施では、強制リフレッシュの評価値に参照フレーム上の同一位置にあるブロックとの誤差パワーを用いているため、画質劣化の著しいブロックを効果的に選択することができない。この場合は、前述の第２の誤差パワーすなわち予測誤差信号のパワーを評価値とした強制リフレッシュ処理が有効である。本発明の第２の実施形態は、それに対応した効果的な符号化制御を実現することが可能である。
【００４０】
次に、本発明の第３の実施形態を図面に基づいて詳細に説明する。本発明の第３の実施形態においては、本発明の第１の実施形態と同じ構成要素には同じ参照符号が付される。図６に示すように、本発明の第３の実施形態としての動画像符号化装置は、図１に示す動画像符号化装置において、リフレッシュ履歴判定部４０を追加してなるものである。すなわち、本発明の第３の実施形態としての動画像符号化装置は、動画像符号化部１とブロック有意度判定部２とマップ生成部３とリフレッシュ履歴判定部４０と適応リフレッシュ信号発生部４とを有している。ブロック有意度判定部２は、入力画像信号５を受ける。マップ生成部３は、ブロック有意度判定部２に接続されている。リフレッシュ履歴判定部４０は、マップ生成部３に接続されている。適応リフレッシュ信号発生部４は、動画像符号化部１およびリフレッシュ履歴判定部４０に接続されている。リフレッシュ履歴判定部４０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２とマップ生成部３からのリフレッシュマップ信号２７を参照して、内部に格納しているリフレッシュに関する履歴情報を更新し、これを用いてリフレッシュマップ信号２７を修正して修正リフレッシュマップ信号４１を発生して適応リフレッシュ信号発生部４に与える。
【００４１】
図７は、リフレッシュ履歴判定部４０を示している。リフレッシュ履歴判定部４０は、マップ履歴メモリ４２とリフレッシュ信号履歴メモリ４３とマップ修正部４４とを有している。マップ履歴メモリ４２は、マップ生成部３に接続されている。マップ履歴メモリ４２は、マップ生成部３からのリフレッシュマップ信号２７を受ける。リフレッシュ信号履歴メモリ４３は、適応リフレッシュ信号発生部４に接続されている。リフレッシュ信号履歴メモリ４３は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受ける。マップ修正部４４は、マップ履歴メモリ４２とリフレッシュ信号履歴メモリ４３および適応リフレッシュ信号発生部４に接続されている。
【００４２】
マップ履歴メモリ４２は、符号化開始時からのリフレッシュマップ信号２７の示す強制リフレッシュ優先度の累積に関する情報と、ある時刻でブロックが高いリフレッシュ優先度を有していた時その時刻から現在までの経過時間に関する情報を表すマップ履歴４５を格納している。従来の動画像符号化装置または本発明の動画像符号化装置では、データの伝送環境に応じて許容ブロック数を示す許容ブロック数信号が定められており、その数に従ってリフレッシュ処理対象となるブロックを決定する。そのため強制リフレッシュ優先度が高くとも実際にリフレッシュされないブロックが存在する。ある時刻でリフレッシュ優先度が高くそれ以降では優先度が低いようなブロック、すなわち、ある時刻以降フレーム間で動きのない領域においてデータ欠損が発生した場合に、動きのあった時点でリフレッシュ処理が実行されなければ、画質劣化の大きいブロックが予測画像として利用され続けることになる。マップ履歴メモリ４２は、リフレッシュマップ信号２７が入力される度に、リフレッシュ優先度を累積加算してマップ履歴４５を生成していくのと同時にマップ履歴４５がある閾値以上であり、かつ、リフレッシュマップ信号２７の示すリフレッシュ優先度がゼロの時には予め定められた値だけマップ履歴４５に示す累積リフレッシュ優先度を増加させる。また、マップ履歴メモリ４２は、リフレッシュ信号２２が発生した時点でそれを参照し、リフレッシュされたブロックに対してマップ履歴４５に示す累積されたリフレッシュ優先度をゼロにリセットする。マップ修正部４４は、マップ履歴４５を参照し、累積されたリフレッシュ優先度がある閾値よりも大きいブロックに対して、リフレッシュマップ信号２７内の対応するリフレッシュ優先度を上げる。
【００４３】
一方、リフレッシュ信号履歴メモリ４３は、直前の数フレームにおいて実際にリフレッシュされたブロックの位置を示す情報であるリフレッシュ信号履歴４６を格納している。リフレッシュ信号履歴メモリ４３は、リフレッシュ信号履歴４６をリフレッシュ信号２２が出力された時点で更新し、次のフレームの符号化が行われる段階でリフレッシュ信号履歴４６を出力する。マップ修正部４４は、リフレッシュ信号履歴４６を参照し、過去の数フレームの間にリフレッシュされたブロックに対してリフレッシュマップ信号２７内の対応するリフレッシュ優先度を下げる。
【００４４】
例えば、特開平４−１７６２９１号公報に記載されている従来の画像符号化方法において、入力画像内ブロックの符号化の際にフレーム内符号化かフレーム間予測符号化のいづれが選択されたを監視し、一定時間以上フレーム間予測符号化が連続して選択された場合には、次のフレームで強制的にリフレッシュするという符号化制御方法がある。それに対し、本発明の第３の実施形態は、リフレッシュマップの履歴を参照することで、フレーム間予測符号化が連続して選択されているブロックのうち、画質劣化に影響のあるブロックを優先してリフレッシュすることにより、上記の従来方法よりも効果的な符号化制御を実現できる。なお、本発明の第２の実施形態と第３の実施形態とを組み合わせてもよい。
【００４５】
本発明の実施形態においては、ブロック有意度判定部２によって選び出された有意ブロックの強制リフレッシュ優先度を上げ、主観画質に影響のある領域を優先的にリフレッシュすることにより、伝送中にデータ欠損があった場合の画質劣化を抑制することが可能となる。また、本発明の実施形態においては、ブロック有意度判定部２が動き検出時に得られる情報を利用した従来の方法を併せて用いることにより、適応性のあるエラー隠蔽処理が可能となる。さらに、本発明の第３の実施形態においては、リフレッシュ履歴判定部４０がリフレッシュマップの履歴を参照し、画像劣化が著しい領域がリフレッシュされずに表示され続けるのを防ぐことができる。
【００４６】
【発明の効果】
本発明は、強制リフレッシュを行うブロックの数が限られているなかで、輪郭情報などの画像中で重要な情報あるいは視覚的に目に付きやすい領域またはリフレッシュされずに残っている可能性のあるブロックなどの画質劣化に影響するブロックを考慮して強制リフレッシュ優先度を与えることにより適宜なエラー隠蔽処理を実現できるから、エラー発生時に欠損データを復元した画像を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態としての動画像符号化装置を示すブロック図である。
【図２】図１の動画像符号化装置におけるブロック有意度判定部を示すブロック図である。
【図３】本発明の第２の実施形態としての動画像符号化装置を示すブロック図である。
【図４】図３の動画像符号化装置におけるブロック有意度判定部を示すブロック図である。
【図５】図３の動画像符号化装置における動き量を用いる高度なエラー隠蔽処理を説明するための図である。
【図６】本発明の第３の実施形態としての動画像符号化装置を示すブロック図である。
【図７】図６の動画像符号化装置におけるリフレッシュ履歴判定部を示すブロック図である。
【図８】従来の動画像符号化装置を示すブロック図である。
【図９】従来の動画像符号化装置のエラー隠蔽処理を説明するための図である。
【符号の説明】
１ 動画像符号化部
２ ブロック有意度判定部
３ マップ生成部
４ 適応リフレッシュ信号発生
５ 入力画像信号
６ 動き量推定部
７ フレームメモリ
８ 予測画像生成部
９ 減算器
１０ モード制御部
１１ ブロック選択部
１２ ２次元離散コサイン変換部
１３ 量子化部
１４ 可変長符号化部
１５ 逆量子化部
１６ ２次元離散コサイン逆変換部
１７ 加算器
１８ 参照画像信号
１９ 動きベクトル
２０ 予測画像信号
２１ 誤差信号
２２ リフレッシュ信号
２３ 選択制御信号
２４ 出力データ
２５ 参照画像信号
２６ ブロック有意度
２７ リフレッシュマップ信号
２８ 許容ブロック数信号
２９ ブロック特徴量算出部
３０ 有意度生成部
３１ ブロック特徴量
３２ ブロック情報生成部
３３ ブロック情報
３４ 視覚劣化量算出部
３５ 有意度生成部
３６ ブロック有意度統合部
３７ ブロック有意度
３８ 視覚劣化量
３９ ブロック有意度
４０ リフレッシュ履歴判定部
４１ 修正リフレッシュマップ信号
４２ マップ履歴メモリ
４３ リフレッシュ信号履歴メモリ
４４ マップ修正部
４５ マップ履歴
４６ リフレッシュ信号履歴
【発明の属する技術分野】
本発明は、連続する入力画像信号を符号化する動画像符号化装置に関し、特に伝送中のエラーによる符号化データの欠損に伴う画質劣化を抑制するための動画像符号化装置に関する。
【０００２】
【従来の技術】
従来より、この種の動画像符号化装置として刊行物｛刊行物の題名：Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ １４４９６−２ （ＭＰＥＧ−４ Ｖｉｓｕａｌ），著者：ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／Ｗ１１，発行年月日：１９９８年３月，説明ページ・行・図面：Ａｐｐｅｎｄｉｘ×Ｈ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｒｅｆｒｅｓｈ）｝に記載されているものが知られている。図８に示すように、従来の動画像符号化装置は、フレーム内符号化およびフレーム間予測符号化を符号化単位であるブロック毎に適宜に選択して行う動画像符号化部１０１において、強制的にフレーム内符号化を行うブロックを選択する。従来の動画像符号化装置は、動画像符号化部１０１とリフレッシュマップ生成部１０２とリフレッシュ信号発生部１０３とを有している。リフレッシュマップ生成部１０２は、動画像符号化部１０１に接続されている。リフレッシュ信号発生部１０３は、動画像符号化部１０１およびリフレッシュマップ生成部１０２に接続されている。
【０００３】
動画像符号化部１０１は、動き量推定部１０４とフレームメモリ１０５と予測画像生成部１０６と減算器１０７とモード制御部１０８とブロック選択部１０９と２次元離散コサイン変換部１１０と量子化部１１１と可変長符号化部１１２と逆量子化部１１３と２次元離散コサイン逆変換部１１４と加算器１１５とを有している。
【０００４】
動き量推定部１０４は、入力画像信号１１６が入力されると、入力画像信号１１６とフレームメモリ１０５に格納されている参照画像信号１１７とからフレーム間の動きを検出し、動きベクトル１１８を出力する。また、動き量推定部１０４は、入力画像信号１１６内の各ブロックと参照画像信号１１７上で同一位置にあるブロックとの誤差パワー信号１１９を算出してリフレッシュマップ生成部１０２に出力する。リフレッシュマップ生成部１０２は、誤差パワー信号１１９がある閾値より大きいブロックを強制リフレッシュの優先度が高いと判定し、各ブロックの強制リフレッシュ優先度を示すリフレッシュマップ信号１２０を出力する。リフレッシュ信号発生部１０３は、１フレーム中の強制リフレッシュ処理を行うことのできるブロックの許容数を示す許容ブロック数信号１２１とリフレッシュマップ信号１２０とに基づいて、強制リフレッシュされるブロックを指定するリフレッシュ信号１２２を各ブロックの符号化モードを制御するモード制御部１０８に出力する。許容ブロック数信号１２１は、符号化データの伝送環境に応じて外部信号として与えられる。リフレッシュブロックの数を増やしていくとエラー隠蔽処理能力は向上するが符号化効率が劣化してしまう。許容ブロック数信号１２１は、伝送レートに応じてエラー隠蔽処理能力と符号化効率とのトレードオフによって一意に決定される量を示す信号である。
【０００５】
一方、予測画像生成部１０６は、フレームメモリ１０５からの参照画像信号１１７に動き量推定部１０４からの動きベクトル１１８とに基づいて動き補償処理を施した予測画像信号１２３を生成して減算器１０７に与える。減算器１０７は、入力画像信号１１６の値から予測画像生成部１０６の予測画像信号１２３の値を減算して誤差信号１２４を生成してブロック選択部１０９に与える。また、ブロック選択部１０９は、入力画像信号１１６も受ける。モード制御部１０８は、入力画像信号１１６と誤差信号１２４およびリフレッシュ信号１２２を受ける。
【０００６】
モード制御部１０８は、リフレッシュ信号発生部１０３からのリフレッシュ信号１２２を受けている時には、このリフレッシュ信号１２２の指定するブロックに対してフレーム内符号化を選択するための選択制御信号１２５をブロック選択部１０９に与える。この時には、ブロック選択部１０９は、入力画像信号１０１のブロック（データ）を選択して２次元離散コサイン変換部１１０に与える。モード制御部１０８は、リフレッシュ信号発生部１０３からのリフレッシュ信号１２２を受けていない時において、誤差信号１２４の値が所定の閾値以下である時にフレーム間予測符号化を選択するための選択制御信号１２５をブロック選択部１０９に与える。この時には、ブロック選択部１０９は、誤差信号１２４のブロック（データ）を選択して２次元離散コサイン変換部１１０に与える。また、モード制御部１０８は、リフレッシュ信号発生部１０３からのリフレッシュ信号１２２を受けていない時において、誤差信号１２４の値が所定の閾値以上である時にフレーム内符号化を選択するための選択制御信号１２５をブロック選択部１０９に与える。この時には、ブロック選択部１０９は、入力画像信号１０１のブロック（データ）を選択して２次元離散コサイン変換部１１０に与える。
【０００７】
２次元離散コサイン変換部１１０は、ブロック選択部１０９により選択されたデータを２次元離散コサイン変換をして量子化部１１１に与える。この量子化部１１１は、データを量子化して可変長符号化部１１２に与える。この可変長符号化部１１２は、データを可変長符号化して出力データ１２６を生成する。また、逆量子化部１１３は、量子化部１１１からのデータを受けて逆量子化をして２次元離散コサイン逆変換部１１４に与える。この２次元離散コサイン逆変換部１１４は、逆量子化部１１３からのデータを逆量子化して加算器１１５に与える。この加算器１１５は、２次元離散コサイン逆変換部１１４からのデータの値を予測画像生成部１０６からの予測画像信号１２３の値とを合成して参照画像信号１２７を生成してフレームメモリ１０５に格納する。
【０００８】
図９は前記従来の符号化方法で想定されている復号側でのエラー隠蔽方法を説明する図である。伝送中のエラーでデータ欠損したブロックは、前フレームにおいて同一位置にあるブロックをコピーすることで補完される。前記従来の符号化方法では、前記補完処理において画質劣化が大きいブロックを選択的に強制リフレッシュすることにより、データ欠損が生じたときの画質劣化を抑制することができる。このように、従来の動画像符号化装置では、エラー隠蔽処理時の画像劣化がある閾値以上のものを強制リフレッシュの対象とし、これら対象となるブロックを等確率で周期的にリフレッシュしている。
【０００９】
【発明が解決しようとする課題】
しかし、従来の動画像符号化装置においては、エラー隠蔽処理の性能を決定する強制リフレッシュの頻度およびリフレッシュ候補ブロックを決定する閾値の設定が伝送路の環境および画像の分布に大きく依存するため、画質に特に影響する領域が効果的にリフレッシュされず、エラー隠蔽処理が行われても主観評価の低い画像しか得られないという問題がある。
【００１０】
また、従来の動画像符号化装置においては、復号側での簡単なエラー隠蔽のみしか想定していないので、復号側でより高度なエラー隠蔽処理を用いた場合に画質の向上が得られない可能性があるという問題がある。
【００１１】
本発明の目的は、データの伝送中にエラーが発生しやすい環境下においても、画質劣化を防止する動画像符号化装置を提供することにある。
【００１２】
【課題を解決するための手段】
前記課題を解決するために、請求項１記載の発明は、連連続する入力画像信号を符号化する動画像符号化装置において、前記入力画像信号を参照して、符号化単位となるブロック毎の視覚的な目の付きやすさを表す重要度であるブロック有意度を算出するブロック有意度判定手段と、前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、前記リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定するリフレッシュ信号を発生する適応リフレッシュ信号発生手段と、前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に実行する動画像符号化手段とを有することを特徴とする。
【００１３】
請求項２記載の発明は、請求項１記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックのブロック有意度を発生する有意度生成手段とを有することを特徴とする。
【００１４】
請求項３記載の発明は、請求項１記載の発明において、前記ブロック有意度判定手段は、ブロック内信号の分散を表す量であるブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックのブロック有意度を生成する有意度生成手段とを有することを特徴とする。
【００１５】
請求項４記載の発明は、請求項１記載の発明において、前記ブロック有意度判定手段は、ブロック内信号をバンドパスフィルタに通した信号のパワーを表す量であるブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量を１または複数の閾値とを比較して各ブロックのブロック有意度を生成する有意度生成手段とを有することを特徴とする。
【００１６】
請求項５記載の発明は、連続する入力画像信号を符号化する動画像符号化装置において、前記入力画像信号に加えて、動画像符号化によるブロックの符号化処理過程において算出される、入力画像信号と参照フレーム内同一位置にあるブロックとの第１の誤差パワー、入力画像信号と動き補償処理を行った予測画像上で同一位置にあるブロックとの第２の誤差パワー、およびブロックの動き量からなるブロック情報を参照して、符号化単位となるブロック毎の視覚的な目の付きやすさを表す重要度であるブロック有意度を算出するブロック有意度判定手段と、前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、前記リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定するリフレッシュ信号を生成する適応リフレッシュ信号発生手段と、前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に行うと同時に、前記ブロック情報を出力する動画像符号化手段とを有することを特徴とする。
【００１７】
請求項６記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報からブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画質劣化の度合を表す視覚劣化量を算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００１８】
請求項７記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第 １ の誤差パワーをそのまま視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００１９】
請求項８記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第２の誤差パワーをそのまま視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値判定して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２０】
請求項９記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第 １ の誤差パワーをブロックの動き量に応じて重みづけした値を視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２１】
請求項１０記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、ブロック毎の少なくとも輪郭部分を含む視覚的に重要な情報を含む度合、または画像劣化が主観的に目に付きやすい度合を表すブロック特徴量を算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報のうち、第２の誤差パワーをブロックの動き量に応じて重みづけした値を視覚劣化量として算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して判定して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２２】
請求項１１記載の発明は、請求項５記載の発明において、前記ブロック有意度判定手段は、人間の視覚特性に基づいて得られる感度モデルに従い、ブロック内信号の輝度分散および輝度平均から１対１に得られるブロック毎の感度レベルをブロック特徴量としてを算出するブロック特徴量算出手段と、前記ブロック特徴量と１または複数の閾値とを比較して各ブロックの第１のブロック有意度を生成する第１の有意度生成手段と、前記ブロック情報からブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画質劣化の度合を表す視覚劣化量を算出する視覚劣化量算出手段と、前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする。
【００２３】
請求項１２記載の発明は、連続する入力画像信号を符号化する動画像符号化装置において、前記入力画像信号に加えて、動画像符号化によるブロックの符号化処理過程において算出される、入力画像信号と参照フレーム内同一位置にあるブロックとの第１の誤差パワー、入力画像信号と動き補償処理を行った予測画像上で同一位置にあるブロックとの第２の誤差パワー、およびブロックの動き量からなるブロック情報を参照して、符号化単位となるブロック毎の視覚的な目の付きやすさを表す重要度であるブロック有意度を算出するブロック有意度判定手段と、前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、該マップ生成手段からの前記リフレッシュマップ信号を一旦保持しこのリフレッシュマップ信号の履歴とリフレッシュ信号とを参照して前記リフレッシュマップ信号の示す強制リフレッシュ優先度の値を修正して修正リフレッシュマップ信号を生成するリフレッシュ履歴判定手段と、前記修正リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定する前記リフレッシュ信号を生成する適応リフレッシュ信号発生手段と、前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に行うと同時に、前記ブロック情報を出力する動画像符号化手段とを有することを特徴とする。
【００２４】
請求項１３記載の発明は、請求項１２記載の発明において、前記リフレッシュ履歴判定手段は、前記マップ生成手段からの前記リフレッシュマップ信号と前記適応リフレッシュ信号発生手段からの前記リフレッシュ信号とを参照して符号化処理開始時からのリフレッシュマップの履歴を更新し格納するマップ履歴メモリと、前記リフレッシュ信号の履歴を格納するリフレッシュ信号履歴メモリと、前記マップ履歴メモリの格納するマップ履歴と前記リフレッシュ信号履歴メモリの格納するリフレッシュ履歴とを参照して前記マップ生成手段からの前記リフレッシュマップ信号の示す強制リフレッシュ優先度を修正するマップ修正部とを有することを特徴とする。
【００２５】
【発明の実施の形態】
次に、本発明の実施の形態を図面に基づいて詳細に説明する。
図１に示すように、本発明の第１の実施形態としての動画像符号化装置は、動画像符号化部１とブロック有意度判定部２とマップ生成部３と適応リフレッシュ信号発生部４とを有している。ブロック有意度判定部２は、入力画像信号５を受ける。マップ生成部３は、ブロック有意度判定部２に接続されている。適応リフレッシュ信号発生部４は、動画像符号化部１およびマップ生成部３に接続されている。
【００２６】
動画像符号化部１は、動き量推定部６とフレームメモリ７と予測画像生成部８と減算器９とモード制御部１０とブロック選択部１１と２次元離散コサイン変換部１２と量子化部１３と可変長符号化部１４と逆量子化部１５と２次元離散コサイン逆変換部１６と加算器１７とを有している。動き量推定部６は、入力画像信号５を受ける。フレームメモリ７は、動き量推定部６に接続されている。予測画像生成部８は、動き量推定部６およびフレームメモリ７に接続されている。減算器９は、入力画像信号５を受ける。減算器９は、予測画像生成部８に接続されている。モード制御部１０は、入力画像信号５を受ける。モード制御部１０は、適応リフレッシュ信号発生部４および減算器９に接続されている。ブロック選択部１１は、入力画像信号５を受ける。ブロック選択部１１は、減算器９およびモード制御部１０に接続されている。２次元離散コサイン変換部１２は、ブロック選択部１１に接続されている。量子化部１３は、２次元離散コサイン変換部１２に接続されている。可変長符号化部１４は、量子化部１３に接続されている。逆量子化部１５は、量子化部１３に接続されている。２次元離散コサイン逆変換部１６は、逆量子化部１５に接続されている。加算器１７は、予測画像生成部８および２次元離散コサイン逆変換部１６に接続されている。
【００２７】
動き量推定部６は、入力画像信号５が入力されると、入力画像信号５とフレームメモリ７に格納されている参照画像信号１８とからフレーム間の動きを検出し、動きベクトル１９を出力する。予測画像生成部８は、フレームメモリ７からの参照画像信号１８に動き量推定部６からの動きベクトル１９とに基づいて動き補償処理を施した予測画像信号２０を生成して減算器９に与える。減算器９は、入力画像信号５の値から予測画像生成部８の予測画像信号２０の値を減算して誤差信号２１を生成してブロック選択部１１に与える。また、ブロック選択部１１は、入力画像信号５も受ける。モード制御部１０は、入力画像信号５および誤差信号２１を受ける。また、モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受ける。
【００２８】
モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受けている時には、このリフレッシュ信号２２の指定するブロックに対してフレーム内符号化を選択するための選択制御信号２３をブロック選択部１１に与える。この時には、ブロック選択部１１は、入力画像信号５のブロック（データ）を選択して２次元離散コサイン変換部１２に与える。モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受けていない時において、誤差信号２１の値が所定の閾値以下である時にフレーム間予測符号化を選択するための選択制御信号２３をブロック選択部１１に与える。この時には、ブロック選択部１１は、誤差信号２１のブロック（データ）を選択して２次元離散コサイン変換部１２に与える。また、モード制御部１０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受けていない時において、誤差信号２１の値が所定の閾値以上である時にフレーム内符号化を選択するための選択制御信号２３をブロック選択部１０に与える。この時には、ブロック選択部１０は、入力画像信号５のブロック（データ）を選択して２次元離散コサイン変換部１２に与える。
【００２９】
２次元離散コサイン変換部１２は、ブロック選択部１０により選択されたデータを２次元離散コサイン変換をして量子化部１３に与える。この量子化部１３は、データを量子化して可変長符号化部１４に与える。この可変長符号化部１４は、データを可変長符号化して出力データ２４を生成する。また、逆量子化部１５は、量子化部１３からのデータを受けて逆量子化をして２次元離散コサイン逆変換部１６に与える。この２次元離散コサイン逆変換部１６は、逆量子化部１５からのデータを逆量子化して加算器１７に与える。この加算器１７は、２次元離散コサイン逆変換部１６からのデータの値を予測画像生成部８からの予測画像信号２０の値とを合成して参照画像信号２５を生成してフレームメモリ７に格納する。
【００３０】
ブロック有意度判定部２は、入力画像信号５を参照してブロック毎の有意度を表すブロック有意度２６を算出する。マップ生成部３は、ブロック有意度判定部２からのブロック有意度２６を強制リフレッシュ処理を行う優先度とみなして、入力画像信号５の各ブロックについてのリフレッシュ処理優先度を表すリフレッシュマップ信号２７を発生して適応リフレッシュ信号発生部４に与える。適応リフレッシュ信号発生部４は、１フレーム中、強制リフレッシュ処理を行うことのできるブロックの許容数を示す許容ブロック数信号２８とリフレッシュマップ信号２７とに基づいて強制リフレッシュされるブロックを指定するリフレッシュ信号２２を発生して動画像符号化部１のモード制御部１０に与える。許容ブロック数信号２８は、データの伝送環境に応じて外部信号として与えられる。リフレッシュブロックの数を増やしていくとエラー隠蔽処理能力は向上するが符号化効率が劣化してしまう。許容ブロック数信号２８は、伝送レートに応じてエラー隠蔽処理能力と符号化効率とのトレードオフによって一意に決定される量を示す信号である。
【００３１】
図２は、ブロック有意度判定部２を示している。ブロック有意度判定部２は、ブロック特徴量算出部２９と有意度生成部３０とを有している。ブロック特徴量算出部２９は、入力画像信号５を受ける。有意度生成部３０は、ブロック特徴量算出部２９およびマップ生成部３に接続されている。ブロック特徴量算出部２９は入力画像信号５に対して、ブロック毎に画質向上における重要度を表すブロック特徴量３１を算出する。画像向上における重要度とは、輪郭部分など視覚的に重要な情報を含む度合または画質劣化が主観的に目につきやすい度合を表す。この第１の実施形態では、ブロック特徴量として、ブロック内信号の変動の度合を表す輝度成分や色差成分の分散およびそれらの重み付け和または高域通過フィルタやその他のエッジ抽出フィルタによって得られるエッジ成分のパワーを示す量が用いられる。ブロック内の変動が大きい部分や輪郭部分は、視覚的に重要な情報であり主観画質に大きく影響する。その他ブロック特徴量としては、ブロック内信号の最大値と最小値との距離、当該ブロック内輝度信号のパワーと隣接ブロック内輝度信号のパワーとの差分、当該ブロック内色差信号のパワーと隣接ブロック内色差信号のパワーとの差分、周波数変換後の係数信号を視覚モデルに基づいて重み付け加算した値および彩度（色差信号の絶対値） などが考えられる。
【００３２】
有意度生成部３０は、ブロック特徴量３１と予め定められた閾値とを比較し、ブロック有意度２６を発生する。有意度生成部３０は、１または複数の閾値を持ち、ブロック特徴量３１と閾値とを比較してブロック有意度２６を判定する。適応リフレッシュ信号発生部４は、リフレッシュマップ信号２７の示すリフレッシュ優先度に応じて、優先度の高いブロックではリフレッシュ周期を短く、優先度の低いブロックではリフレッシュ周期を長くするといったようにブロックの重要度に応じた適応的なリフレッシュ処理を実現する。
【００３３】
次に、本発明の第２の実施形態を図面に基づいて詳細に説明する。本発明の第２の実施形態においては、本発明の第１の実施形態と同じ構成要素には同じ参照符号が付される。本発明の第２の実施形態においては、ブロック有意度判定部２は、入力画像信号５に加えて、動画像符号部１が入力画像信号５においてブロック情報生成部３２が各ブロックを符号化する際に生成したブロック情報３３を参照して、ブロック有意度２６を生成することを特徴とする。
【００３４】
図４は、本発明の第２の実施形態おけるブロック有意度判定部２を示している。ブロック有意度判定２は、ブロック特徴量算出部２９と有意度生成部３０と視覚劣化量算出部３４と有意度生成部３５とブロック有意度統合部３６とを有している。視覚劣化量算出部３４は、動画像符号部１のブロック情報生成部３２に接続されている。視覚劣化量算出部３４は、ブロック情報生成部３２からのブロック情報３３を受ける。有意度生成部３５は、視覚劣化量算出部３４と接続されている。ブロック有意度統合部３６は、有意度生成部３０と有意度生成部３５およびマップ生成部３に接続されている。有意度生成部３０は、ブロック特徴量３１と予め定められた１または複数の閾値とを比較し、ブロック有意度３７を発生する。視覚劣化量算出部３４は、ブロック情報３３を参照してブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画像劣化の度合を表す視覚劣化量３８を算出する。有意度生成部３５は、視覚劣化量３８と予め定められた閾値とを比較し、ブロック有意度３９を発生する。有意度生成部３５は、１または複数の閾値を持ち、視覚劣化量３８と閾値とを比較してブロック有意度２６を判定して設定する。
【００３５】
ブロック情報３３としては、前述の従来の装置で用いられた参照フレーム内同一位置にあるブロックとの第１の誤差パワーに加えて、動き補償処理を行った予測画像上で同一位置にあるブロックとの第２の誤差パワーおよびブロックの動き量がある。視覚劣化量３８としては、第１もしくは第２の誤差パワーもしくは動き量の他、動き量と誤差パワーとの積が用いられる。前記誤差パワーは、エラー発生時に失われる信号のエネルギーを表す。また誤差パワーの同じブロックであってもフレーム間の動きの大きいものの方が、画質劣化をより広い領域に伝搬する可能性があることから、誤差パワーに動き量を重み付けすることが考えられる。
【００３６】
ブロック有意度統合部３６は、有意度生成部３０からのブロック有意度３７と有意度生成部３５からのブロック有意度３９とを合成してブロック有意度２６を生成してマップ生成部３に与える。ブロック有意度統合部３６における有意度の統合値として、有意度が２値である場合には論理和値または論理積値が用いられ、有意度が多値である場合には加算値または乗算値が用いられる。
【００３７】
従来の装置ではエラー隠蔽処理における画質劣化の評価値として、参照フレーム上で同一位置にあるブロックとの誤差パワーを用い、これがある閾値以上のものすべてに等確率に強制リフレッシュ優先度をあげていた。これに対し、本発明第２の実施形態では、これらリフレッシュ候補となるブロックの中でもさらにエラー隠蔽時の画質向上に影響のあるものを優先的にリフレッシュすることが可能である。この画質向上に影響のあるブロックとは、前に述べた輪郭情報など視覚的に重要な情報を含むブロックを示す。
【００３８】
一方、人間の視覚特性として、同程度の誤差パワーを持つブロックであっても、ブロックの輝度平均が中程度であれば画質劣化に対する感度は上昇する。さらに、その中でもブロックの輝度変化が大きければ、感度はさらに上昇することが知られている。図４におけるブロック特徴量算出部２９では、ブロック内信号の平均と分散とから、画質劣化に対する人間の視覚特性に基づく感度情報を算出する。この感度情報をブロック特徴量３１として有意度生成部３０の出力するブロック有意度３７を、視覚劣化量３８にもとづく有意度生成部３５の出力するブロック有意度３９と合成することで、画質劣化の著しいブロックのうち特に視覚的に目立つものを優先的にリフレッシュすることが可能となる。これにより、本発明の第２の実施形態は、従来の装置よりもさらにエラー隠蔽処理の際の画質を向上させることができる。
【００３９】
また、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の発行する刊行物｛Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ １４４９６−２ （ＭＰＥＧ−４Ｖｉｓｕａｌ）｝において、エラー耐性の要求される伝送環境でのデータの伝送方法として、フレーム間予測符号化方式に用いる動き量と変換係数情報を独立に伝送するという方法が記載されている。この伝送方法を用いることで、エラーによって変換係数情報にデータ欠損が起こった場合に、図５に示すように参照フレームと動き量とから動き補償処理によって予測画像を生成し対応するブロックをコピーする高度なエラー隠蔽処理が可能となる。しかし、従来の装置の強制リフレッシュの実施では、強制リフレッシュの評価値に参照フレーム上の同一位置にあるブロックとの誤差パワーを用いているため、画質劣化の著しいブロックを効果的に選択することができない。この場合は、前述の第２の誤差パワーすなわち予測誤差信号のパワーを評価値とした強制リフレッシュ処理が有効である。本発明の第２の実施形態は、それに対応した効果的な符号化制御を実現することが可能である。
【００４０】
次に、本発明の第３の実施形態を図面に基づいて詳細に説明する。本発明の第３の実施形態においては、本発明の第１の実施形態と同じ構成要素には同じ参照符号が付される。図６に示すように、本発明の第３の実施形態としての動画像符号化装置は、図１に示す動画像符号化装置において、リフレッシュ履歴判定部４０を追加してなるものである。すなわち、本発明の第３の実施形態としての動画像符号化装置は、動画像符号化部１とブロック有意度判定部２とマップ生成部３とリフレッシュ履歴判定部４０と適応リフレッシュ信号発生部４とを有している。ブロック有意度判定部２は、入力画像信号５を受ける。マップ生成部３は、ブロック有意度判定部２に接続されている。リフレッシュ履歴判定部４０は、マップ生成部３に接続されている。適応リフレッシュ信号発生部４は、動画像符号化部１およびリフレッシュ履歴判定部４０に接続されている。リフレッシュ履歴判定部４０は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２とマップ生成部３からのリフレッシュマップ信号２７を参照して、内部に格納しているリフレッシュに関する履歴情報を更新し、これを用いてリフレッシュマップ信号２７を修正して修正リフレッシュマップ信号４１を発生して適応リフレッシュ信号発生部４に与える。
【００４１】
図７は、リフレッシュ履歴判定部４０を示している。リフレッシュ履歴判定部４０は、マップ履歴メモリ４２とリフレッシュ信号履歴メモリ４３とマップ修正部４４とを有している。マップ履歴メモリ４２は、マップ生成部３に接続されている。マップ履歴メモリ４２は、マップ生成部３からのリフレッシュマップ信号２７を受ける。リフレッシュ信号履歴メモリ４３は、適応リフレッシュ信号発生部４に接続されている。リフレッシュ信号履歴メモリ４３は、適応リフレッシュ信号発生部４からのリフレッシュ信号２２を受ける。マップ修正部４４は、マップ履歴メモリ４２とリフレッシュ信号履歴メモリ４３および適応リフレッシュ信号発生部４に接続されている。
【００４２】
マップ履歴メモリ４２は、符号化開始時からのリフレッシュマップ信号２７の示す強制リフレッシュ優先度の累積に関する情報と、ある時刻でブロックが高いリフレッシュ優先度を有していた時その時刻から現在までの経過時間に関する情報を表すマップ履歴４５を格納している。従来の動画像符号化装置または本発明の動画像符号化装置では、データの伝送環境に応じて許容ブロック数を示す許容ブロック数信号が定められており、その数に従ってリフレッシュ処理対象となるブロックを決定する。そのため強制リフレッシュ優先度が高くとも実際にリフレッシュされないブロックが存在する。ある時刻でリフレッシュ優先度が高くそれ以降では優先度が低いようなブロック、すなわち、ある時刻以降フレーム間で動きのない領域においてデータ欠損が発生した場合に、動きのあった時点でリフレッシュ処理が実行されなければ、画質劣化の大きいブロックが予測画像として利用され続けることになる。マップ履歴メモリ４２は、リフレッシュマップ信号２７が入力される度に、リフレッシュ優先度を累積加算してマップ履歴４５を生成していくのと同時にマップ履歴４５がある閾値以上であり、かつ、リフレッシュマップ信号２７の示すリフレッシュ優先度がゼロの時には予め定められた値だけマップ履歴４５に示す累積リフレッシュ優先度を増加させる。また、マップ履歴メモリ４２は、リフレッシュ信号２２が発生した時点でそれを参照し、リフレッシュされたブロックに対してマップ履歴４５に示す累積されたリフレッシュ優先度をゼロにリセットする。マップ修正部４４は、マップ履歴４５を参照し、累積されたリフレッシュ優先度がある閾値よりも大きいブロックに対して、リフレッシュマップ信号２７内の対応するリフレッシュ優先度を上げる。
【００４３】
一方、リフレッシュ信号履歴メモリ４３は、直前の数フレームにおいて実際にリフレッシュされたブロックの位置を示す情報であるリフレッシュ信号履歴４６を格納している。リフレッシュ信号履歴メモリ４３は、リフレッシュ信号履歴４６をリフレッシュ信号２２が出力された時点で更新し、次のフレームの符号化が行われる段階でリフレッシュ信号履歴４６を出力する。マップ修正部４４は、リフレッシュ信号履歴４６を参照し、過去の数フレームの間にリフレッシュされたブロックに対してリフレッシュマップ信号２７内の対応するリフレッシュ優先度を下げる。
【００４４】
例えば、特開平４−１７６２９１号公報に記載されている従来の画像符号化方法において、入力画像内ブロックの符号化の際にフレーム内符号化かフレーム間予測符号化のいづれが選択されたを監視し、一定時間以上フレーム間予測符号化が連続して選択された場合には、次のフレームで強制的にリフレッシュするという符号化制御方法がある。それに対し、本発明の第３の実施形態は、リフレッシュマップの履歴を参照することで、フレーム間予測符号化が連続して選択されているブロックのうち、画質劣化に影響のあるブロックを優先してリフレッシュすることにより、上記の従来方法よりも効果的な符号化制御を実現できる。なお、本発明の第２の実施形態と第３の実施形態とを組み合わせてもよい。
【００４５】
本発明の実施形態においては、ブロック有意度判定部２によって選び出された有意ブロックの強制リフレッシュ優先度を上げ、主観画質に影響のある領域を優先的にリフレッシュすることにより、伝送中にデータ欠損があった場合の画質劣化を抑制することが可能となる。また、本発明の実施形態においては、ブロック有意度判定部２が動き検出時に得られる情報を利用した従来の方法を併せて用いることにより、適応性のあるエラー隠蔽処理が可能となる。さらに、本発明の第３の実施形態においては、リフレッシュ履歴判定部４０がリフレッシュマップの履歴を参照し、画像劣化が著しい領域がリフレッシュされずに表示され続けるのを防ぐことができる。
【００４６】
【発明の効果】
本発明は、強制リフレッシュを行うブロックの数が限られているなかで、輪郭情報などの画像中で重要な情報あるいは視覚的に目に付きやすい領域またはリフレッシュされずに残っている可能性のあるブロックなどの画質劣化に影響するブロックを考慮して強制リフレッシュ優先度を与えることにより適宜なエラー隠蔽処理を実現できるから、エラー発生時に欠損データを復元した画像を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態としての動画像符号化装置を示すブロック図である。
【図２】図１の動画像符号化装置におけるブロック有意度判定部を示すブロック図である。
【図３】本発明の第２の実施形態としての動画像符号化装置を示すブロック図である。
【図４】図３の動画像符号化装置におけるブロック有意度判定部を示すブロック図である。
【図５】図３の動画像符号化装置における動き量を用いる高度なエラー隠蔽処理を説明するための図である。
【図６】本発明の第３の実施形態としての動画像符号化装置を示すブロック図である。
【図７】図６の動画像符号化装置におけるリフレッシュ履歴判定部を示すブロック図である。
【図８】従来の動画像符号化装置を示すブロック図である。
【図９】従来の動画像符号化装置のエラー隠蔽処理を説明するための図である。
【符号の説明】
１ 動画像符号化部
２ ブロック有意度判定部
３ マップ生成部
４ 適応リフレッシュ信号発生
５ 入力画像信号
６ 動き量推定部
７ フレームメモリ
８ 予測画像生成部
９ 減算器
１０ モード制御部
１１ ブロック選択部
１２ ２次元離散コサイン変換部
１３ 量子化部
１４ 可変長符号化部
１５ 逆量子化部
１６ ２次元離散コサイン逆変換部
１７ 加算器
１８ 参照画像信号
１９ 動きベクトル
２０ 予測画像信号
２１ 誤差信号
２２ リフレッシュ信号
２３ 選択制御信号
２４ 出力データ
２５ 参照画像信号
２６ ブロック有意度
２７ リフレッシュマップ信号
２８ 許容ブロック数信号
２９ ブロック特徴量算出部
３０ 有意度生成部
３１ ブロック特徴量
３２ ブロック情報生成部
３３ ブロック情報
３４ 視覚劣化量算出部
３５ 有意度生成部
３６ ブロック有意度統合部
３７ ブロック有意度
３８ 視覚劣化量
３９ ブロック有意度
４０ リフレッシュ履歴判定部
４１ 修正リフレッシュマップ信号
４２ マップ履歴メモリ
４３ リフレッシュ信号履歴メモリ
４４ マップ修正部
４５ マップ履歴
４６ リフレッシュ信号履歴
Claims (13)
- 連続する入力画像信号を符号化する動画像符号化装置において、
前記入力画像信号の符号化単位となるブロック毎の少なくとも輪郭情報を含む画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量とデータ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量によって決まり、人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表すブロック有意度を算出するブロック有意度判定手段と、
前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、
前記リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定するリフレッシュ信号を発生する適応リフレッシュ信号発生手段と、
前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に実行する動画像符号化手段とを有することを特徴とする動画像符号化装置。 - 連続する入力画像信号を符号化する動画像符号化装置において、
前記入力画像信号の符号化単位となるブロック毎に、少なくとも輪郭情報を含み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量を生成するブロック特徴量算出手段と、
前記ブロック特徴量と１つまたは複数の閾値とを比較して、人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表すブロック有意度を判定する有意度生成手段と、
前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、
前記リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定するリフレッシュ信号を発生する適応リフレッシュ信号発生手段と、
前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を適宜に選択して行う動画像符号化手段とを有することを特徴とする動画像符号化装置。 - 請求項１に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
ブロック内信号の分散を表す量であるブロック特徴量を算出するブロック特徴量算出手段と、
前記ブロック特徴量と１または複数の閾値とを比較して各ブロックのブロック有意度を生成する有意度生成手段と
を有することを特徴とする動画像符号化装置。 - 請求項１に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
ブロック内信号をバンドパスフィルタに通した信号のパワーを表す量であるブロック特徴量を算出するブロック特徴量算出手段と、
前記ブロック特徴量を１または複数の閾値とを比較して各ブロックのブロック有意度を生成する有意度生成手段とを有することを特徴とする動画像符号化装置。 - 連続する入力画像信号を符号化する動画像符号化装置において、
前記入力画像信号の符号化単位となるブロック毎の、少なくとも輪郭情報を含 み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量によって決まり、人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表すブロック有意度を判定するブロック有意度判定手段と、
前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、
前記リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定するリフレッシュ信号を生成する適応リフレッシュ信号発生手段と、
ブロックの符号化の際に生成するフレーム間の誤差パワーおよび動き量を表す前記ブロック情報を発生して前記ブロック有意度判定手段に与え、前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に行うと同時に、前記ブロック情報を出力する動画像符号化手段とを有することを特徴とする動画像符号化装置。 - 請求項５に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
前記入力画像信号の符号化単位となるブロック毎に、少なくとも輪郭情報を含み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量を算出するブロック特徴量算出手段と、
前記ブロック特徴量と１つまたは複数の閾値とを比較して、人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表す第１のブロック有意度を生成する第１の有意度生成手段と、
前記ブロック情報からブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画質劣化の度合を表す視覚劣化量を算出する視覚劣化量算出手段と、
前記視覚劣化量と１つまたは複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、
前記第１のブロック有意度と前記第２のブロック有意度を合成してマップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする動画像符号化装置。 - 請求項５に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
前記入力画像信号の符号化単位となるブロック毎に、少なくとも輪郭情報を含み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量を算出するブロック特徴量算出手段と、
前記ブロック特徴量と１つまたは複数の閾値とを比較して、人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表す第１のブロック有意度を生成する第１の有意度生成手段と、
前記入力画像信号上のブロックと参照フレーム上で同一位置にあるブロックとの誤差パワーを表す視覚劣化量を算出する視覚劣化量算出手段と、
前記視覚劣化量と１つまたは複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、
前記第１のブロック有意度と前記第２のブロック有意度を合成してマップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする動画像符号化装置。 - 請求項５に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
前記入力画像信号の符号化単位となるブロック毎に、少なくとも輪郭情報を含み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠 落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量を算出するブロック特徴量算出手段と、
前記ブロック特徴量と１つまたは複数の閾値とを比較して、人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表す第１のブロック有意度を生成する第１の有意度生成手段と、
前記入力画像信号上のブロックとフレーム間予測処理によって得られた予測画像上で同一位置にあるブロックとの誤差パワーを表す視覚劣化量を算出する視覚劣化量算出手段と、
前記視覚劣化量と１つまたは複数の閾値判定して第２のブロック有意度を生成する第２の有意度生成手段と、前記第１のブロック有意度と前記第２のブロック有意度を合成してマップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする動画像符号化装置。 - 請求項５に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
前記入力画像信号の符号化単位となるブロック毎に、少なくとも輪郭情報を含み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量を算出するブロック特徴量算出手段と、
前記ブロック特徴量と１つまたは複数の閾値とを比較して人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表す第１のブロック有意度を生成する第１の有意度生成手段と、
前記入力画像信号上のブロックと参照フレーム上で同一位置にあるブロックとの誤差パワーにブロックの動き量に応じて重みづけした量を表す視覚劣化量を算出する視覚劣化量算出手段と、
前記視覚劣化量と１つまたは複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、
前記第１のブロック有意度と前記第２のブロック有意度を合成してマップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする動画像符号化装置。 - 請求項５に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
前記入力画像信号の符号化単位となるブロック毎に、少なくとも輪郭情報を含み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量を算出するブロック特徴量算出手段と、
前記ブロック特徴量と１つまたは複数の閾値とを比較して人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表す第１のブロック有意度を生成する第１の有意度生成手段と、
前記入力画像信号上のブロックとフレーム間予測処理によって得られた予測画像上で同一位置にあるブロックとの誤差パワーにブロックの動き量に応じて重みづけした量を表す視覚劣化量を算出する視覚劣化量算出手段と、
前記視覚劣化量と１つまたは複数の閾値とを比較して判定して第２のブロック有意度を生成する第２の有意度生成手段と、
前記第１のブロック有意度と前記第２のブロック有意度を合成して前記マップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする動画像符号化装置。 - 請求項５に記載の動画像符号化装置において、
前記ブロック有意度判定手段は、
ブロック内信号の輝度変化と輝度レベルの情報を、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度を表すブロック特徴量として算出するブロック特徴量算出手段と、
前記ブロック特徴量と１または複数の閾値とを比較して人間の目の感度の高さ に基づいて早期に画質回復を行う優先度を表す第１のブロック有意度を生成する第１の有意度生成手段と、
前記ブロック情報からブロック単位で予測誤差信号の欠損が生じた場合の視覚的な画質劣化の度合を表す視覚劣化量を算出する視覚劣化量算出手段と、
前記視覚劣化量と１または複数の閾値とを比較して第２のブロック有意度を生成する第２の有意度生成手段と、
前記第１のブロック有意度と前記第２のブロック有意度を合成してマップ生成手段に与えるブロック有意度統合手段とを有することを特徴とする動画像符号化装置。 - 連続する入力画像信号を符号化する動画像符号化装置において、
前記入力画像信号の符号化単位となるブロック毎の、少なくとも輪郭情報を含み画像の視覚的刺激に対する人間の目の感度に寄与する信号特徴量と、データ欠落によって画質劣化が生じたと仮定したとき発生する画質劣化量に対し人間の目が感知する劣化の強度に影響する信号特徴量とからなるブロック特徴量によって決まり、人間の目の感度の高さに基づいて早期に画質回復を行う優先度を表すブロック有意度を算出するブロック有意度判定手段と、
前記ブロック有意度に基づいて各ブロックにおけるリフレッシュ処理の優先度を表すリフレッシュマップ信号を生成するマップ生成手段と、
該マップ生成手段からの前記リフレッシュマップ信号を一旦保持しこのリフレッシュマップ信号の履歴とリフレッシュ信号とを参照して前記リフレッシュマップ信号の示す強制リフレッシュ優先度の値を修正して修正リフレッシュマップ信号を生成するリフレッシュ履歴判定手段と、
前記修正リフレッシュマップ信号の示すリフレッシュ優先度と符号化対象のフレーム内でリフレッシュ処理の対象となる許容ブロック数を参照して処理対象ブロックを選択して前記処理対象ブロックを指定する前記リフレッシュ信号を生成する適応リフレッシュ信号発生手段と、
前記リフレッシュ信号が指定するブロックに対してはフレーム内符号化を行い、かつ、前記リフレッシュ信号が指定しないブロックに対してはフレーム内符号化またはフレーム間予測符号化を選択的に行うと同時に、前記ブロック情報を出力する動画像符号化手段とを有することを特徴とする動画像符号化装置。 - 請求項１２に記載の動画像符号化装置において、
前記リフレッシュ履歴判定手段は、
前記マップ生成手段からの前記リフレッシュマップ信号と前記適応リフレッシュ信号発生手段からの前記リフレッシュ信号とを参照して符号化処理開始時からのリフレッシュマップの履歴を更新し格納するマップ履歴メモリと、
前記リフレッシュ信号の履歴を格納するリフレッシュ信号履歴メモリと、
前記マップ履歴メモリの格納するマップ履歴と前記リフレッシュ信号履歴メモリの格納するリフレッシュ履歴とを参照して前記マップ生成手段からの前記リフレッシュマップ信号の示す強制リフレッシュ優先度を修正するマップ修正部とを有することを特徴とする動画像符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00150899A JP3623679B2 (ja) | 1999-01-06 | 1999-01-06 | 動画像符号化装置 |
| US09/476,241 US7110450B1 (en) | 1999-01-06 | 1999-12-30 | Moving picture encoding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00150899A JP3623679B2 (ja) | 1999-01-06 | 1999-01-06 | 動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000201354A JP2000201354A (ja) | 2000-07-18 |
| JP3623679B2 true JP3623679B2 (ja) | 2005-02-23 |
Family
ID=11503434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00150899A Expired - Fee Related JP3623679B2 (ja) | 1999-01-06 | 1999-01-06 | 動画像符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7110450B1 (ja) |
| JP (1) | JP3623679B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4525878B2 (ja) * | 2000-10-02 | 2010-08-18 | 日本電気株式会社 | 動画像符号化方法 |
| JP3936335B2 (ja) * | 2001-11-30 | 2007-06-27 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| JP2004015501A (ja) | 2002-06-07 | 2004-01-15 | Nec Corp | 動画像符号化装置および動画像符号化方法 |
| KR100619007B1 (ko) * | 2003-06-24 | 2006-08-31 | 삼성전자주식회사 | 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 |
| KR100571920B1 (ko) * | 2003-12-30 | 2006-04-17 | 삼성전자주식회사 | 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치 |
| US20050201470A1 (en) * | 2004-03-12 | 2005-09-15 | John Sievers | Intra block walk around refresh for H.264 |
| KR100647948B1 (ko) * | 2004-03-22 | 2006-11-17 | 엘지전자 주식회사 | 적응적 인트라 매크로 블록 리프레쉬 방법 |
| US9237347B2 (en) * | 2005-03-21 | 2016-01-12 | The Regents Of The University Of California | Systems and methods for video compression for low bit rate and low latency video communications |
| FR2910211A1 (fr) * | 2006-12-19 | 2008-06-20 | Canon Kk | Procedes et dispositifs pour re-synchroniser un flux video endommage. |
| WO2008093714A1 (ja) * | 2007-01-31 | 2008-08-07 | Nec Corporation | 画質評価方法、画質評価装置および画質評価プログラム |
| US8699818B2 (en) | 2008-04-30 | 2014-04-15 | Nec Corporation | Method, system, and program for determining image quality based on pixel changes between image frames |
| FR2932050B1 (fr) * | 2008-06-03 | 2010-05-21 | Canon Kk | Procede et dispositif de transmission de donnees video |
| US8780986B2 (en) * | 2008-06-06 | 2014-07-15 | Apple Inc. | Refresh pixel group selection and coding adjustment |
| US8477846B2 (en) * | 2009-10-07 | 2013-07-02 | Ittiam Systems (P) Ltd. | System and method for adaptive intra refresh rate setting in a video encoder |
| US8694985B2 (en) * | 2009-10-30 | 2014-04-08 | Apple Inc. | Managing digital content in hierarchies |
| JP5667364B2 (ja) * | 2010-02-10 | 2015-02-12 | 株式会社メガチップス | 画像符号化装置 |
| JP5737753B2 (ja) | 2011-03-30 | 2015-06-17 | 日本電気株式会社 | ネットワーク装置、ネットワーク装置の管理方法、管理プログラム、パケットネットワークシステム |
| JP5801614B2 (ja) * | 2011-06-09 | 2015-10-28 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP5839848B2 (ja) | 2011-06-13 | 2016-01-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP6034010B2 (ja) | 2011-10-24 | 2016-11-30 | ソニー株式会社 | 符号化装置、符号化方法、およびプログラム |
| US9514544B2 (en) * | 2013-04-25 | 2016-12-06 | Nec Corporation | Storage medium, method, and device for evaluating importance of in-image region |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06101841B2 (ja) * | 1984-01-11 | 1994-12-12 | 日本電気株式会社 | 動画像信号の符号化方法およびその装置 |
| US4754492A (en) * | 1985-06-03 | 1988-06-28 | Picturetel Corporation | Method and system for adapting a digitized signal processing system for block processing with minimal blocking artifacts |
| US4739390A (en) * | 1985-08-30 | 1988-04-19 | Hitachi, Ltd. | Television signal processing circuit |
| US4984076A (en) * | 1988-07-27 | 1991-01-08 | Kabushiki Kaisha Toshiba | Image compression coding system |
| JP2872774B2 (ja) * | 1990-08-16 | 1999-03-24 | 日本電信電話株式会社 | 画像復号化方法 |
| JP2834313B2 (ja) | 1990-11-09 | 1998-12-09 | 株式会社日立製作所 | 画像符号化復号装置 |
| US5440344A (en) * | 1992-04-28 | 1995-08-08 | Mitsubishi Denki Kabushiki Kaisha | Video encoder using adjacent pixel difference for quantizer control |
| KR970000683B1 (ko) * | 1993-05-31 | 1997-01-16 | 삼성전자 주식회사 | 해상도 가변 적응적 화상압축/복원방법 및 장치 |
| US6313863B1 (en) * | 1994-07-29 | 2001-11-06 | Canon Kabushiki Kaisha | Image communication apparatus and system |
| JP3681835B2 (ja) * | 1995-12-27 | 2005-08-10 | 三菱電機株式会社 | 画像符号化装置及び画像復号化装置及び符号化・復号化システム |
| JP3157101B2 (ja) * | 1996-03-08 | 2001-04-16 | 沖電気工業株式会社 | 画像符号化方法及び画像符号化装置 |
| JPH10174103A (ja) * | 1996-12-13 | 1998-06-26 | Matsushita Electric Ind Co Ltd | 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法 |
| KR100243430B1 (ko) * | 1997-12-31 | 2000-02-01 | 구자홍 | 적응형 양자화 제어방법 |
| US6192148B1 (en) * | 1998-11-05 | 2001-02-20 | Winbond Electronics Corp. | Method for determining to skip macroblocks in encoding video |
| JP3166736B2 (ja) * | 1998-11-25 | 2001-05-14 | 日本電気株式会社 | 動画像符号化装置および動画像符号化方法 |
-
1999
- 1999-01-06 JP JP00150899A patent/JP3623679B2/ja not_active Expired - Fee Related
- 1999-12-30 US US09/476,241 patent/US7110450B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7110450B1 (en) | 2006-09-19 |
| JP2000201354A (ja) | 2000-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3623679B2 (ja) | 動画像符号化装置 | |
| US8279923B2 (en) | Video coding method and video coding apparatus | |
| US5790196A (en) | Adaptive video coding method | |
| JP4529919B2 (ja) | 適応量子化装置及び適応量子化プログラム | |
| JP4189358B2 (ja) | 画像符号化装置及び方法 | |
| Karczewicz et al. | Geometry transformation-based adaptive in-loop filter | |
| JP2001507908A (ja) | 画像シーケンスの符号化 | |
| KR20070038700A (ko) | 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치 | |
| MX2011004849A (es) | Dispositivo de codificacion de imagen y dispositivo de decodificacion de imagen. | |
| JP2009135902A (ja) | 符号化装置、符号化装置の制御方法及びコンピュータプログラム | |
| JP4644097B2 (ja) | 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。 | |
| JP5534261B2 (ja) | 動画像処理装置、動画像処理方法、および動画像処理プログラム | |
| US9635359B2 (en) | Method and apparatus for determining deblocking filter intensity | |
| JP2006067302A (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
| JP4469904B2 (ja) | 動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体 | |
| JP4004597B2 (ja) | 映像信号のエラー隠ぺい装置 | |
| JP5295089B2 (ja) | 画像符号化装置 | |
| CN112055965A (zh) | 预测图像校正装置、图像编码装置、图像解码装置以及程序 | |
| JP5913929B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム | |
| JP5701018B2 (ja) | 画像復号装置 | |
| JP4325536B2 (ja) | 動画像符号化装置及び方法 | |
| KR100304897B1 (ko) | 압축 영상신호의 고속 실시간 처리를 위한 블럭현상 및 링현상 제거방법 | |
| JP4223577B2 (ja) | 画像符号化装置とその方法、および、画像復号化装置とその方法 | |
| JPH10210480A (ja) | 動画像符号化方式 | |
| JPS60229484A (ja) | 動画像信号の符号化・復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041125 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |