JP3840020B2 - 動画像符号化装置 - Google Patents
動画像符号化装置 Download PDFInfo
- Publication number
- JP3840020B2 JP3840020B2 JP35511599A JP35511599A JP3840020B2 JP 3840020 B2 JP3840020 B2 JP 3840020B2 JP 35511599 A JP35511599 A JP 35511599A JP 35511599 A JP35511599 A JP 35511599A JP 3840020 B2 JP3840020 B2 JP 3840020B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- coding
- value
- threshold value
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の高能率符号化装置に関し、特に、伝送誤りから生じた画質劣化の回復をイントラ符号化を用いて行う動画像符号化装置に関する。
【０００２】
【従来の技術】
動画像の帯域圧縮符号化の基本的な方式として、予測符号化方式と変換符号化方式がある。映像信号には統計的な性質があること、すなわちフレーム内の画素間およびフレーム間の画素間に相関性があることが知られており、この性質を利用して高能率の符号化が行われる。予測符号化方式は、時間領域における相関性を利用した方式であり、変換符号化方式は周波数領域における相関性を利用した方式である。前者は、動き補償予測により得られる予測画像との差分信号を符号化する動き補償予測符号化方式が知られている。また、変換符号化方式は、画面を画素ごとにブロック化したものを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ：ＤＣＴ）により周波数領域に変換し、得られた各周波数成分の変換係数（これを「ＤＣＴ係数」と呼ぶ。）を量子化し伝送する。そして、近年においてはこの両者を組み合わせた方式が一般的に採用されている。 たとえば、国際電気通信連合電気通信標準化部門：ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）のＨ２６１，Ｈ２６３や国際標準化機構：ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）の下に設立された画像圧縮の標準化作業グループによるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では１６×１６の画素ブロック（これを、マクロブロックという。）単位で符号化が行われる。
【０００３】
図１０は、一般的な動画像符号化装置の構成を示すブロック図である。
【０００４】
同図に基づいて、一般的な動画像符号化装置の符号化動作を説明する。
【０００５】
最初に、動き補償予測を行わず入力した画面のデータをそのまま符号化するイントラ符号化について説明する。
【０００６】
図示しない画像入力部から入力された画面は、ブロック切出し部５１でいくつかの画素単位でブロックに分割されブロック情報として出力される。分割された各ブロック情報はＤＣＴ・量子化部５４にて離散コサイン変換してＤＣＴ係数を得、このＤＣＴ係数が量子化され、可変長符号化部５６で各ブロックのモード情報などとともにＤＣＴ係数の可変長符号化が行われる。
【０００７】
次に、動き補償予測を行うインター符号化について説明する。
【０００８】
フレームメモリ５７に蓄積されている補償予測画像と切出された入力画面の原画ブロックとを用いて、動き検出部５２で動きベクトルが算出される。その後、フレームメモリ５７に蓄積されている補償予測画像とその動きベクトルとから次の画面である補償予測画像が形成される。そして、ブロック切出し部５１から出力された入力画面の原画ブロックとその補償予測画像との差分画像が形成され、この差分画像に対してＤＣＴ・量子化が行われる。また、逆離散コサイン変換：ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）・逆量子化部５５では、ＤＣＴ係数の逆量子化および逆ＤＣＴ処理を行ない、補償予測画像を加算した後復号化し形成された画像がフレームメモリ５７に蓄積される。この蓄積された画像は次画面の動き補償予測に用いられる。
【０００９】
ところで、送信側では動き補償予測を用いて符号化を行っていることから、動画像符号化装置側のフレームメモリには原画像とは多少異なる画像を保有している。したがって、一定時間が経過すると原画像との差が大きくなり、最終的に原画像とは大きく異なる画像データを保有することになる。このため、この異なった画像のマクロブロックのデータを周辺のブロックの動き補償に用いる結果、誤ったデータが周辺にまで拡散され、これらの誤ったデータは、イントラ符号化によるリフレッシュ処理が行われるまで残留し続けることになる。
【００１０】
また、予測符号化方式は、予測誤差信号のみを伝送し、これを送信先の動画像復号化装置側で蓄積することにより画像信号を再生するものである。このため、伝送路符号誤りが発生すると動画像復号化装置側では誤りを含む信号が受信側のフレームメモリに入力される。そして、保有している現ブロックの画像データが破壊されてしまうだけでなく、可変長データの同期が外れることにより、その後の符号化データがすべて破壊されてしまうことになる。この結果、動画像復号化装置側で復号化する際に保有する原画像が消失し、誤りのない画像データが送信されてきても、この誤りの影響がリセットされるまで、正しい画像信号の再生が不可能になる。
【００１１】
したがって、動画像符号化装置側では定期的にイントラ符号化によるリフレッシュを行い、破壊されたデータを一掃して新しい画像データと置き換え、壊れたデータの伝搬を防止する必要が生じる。
【００１２】
このイントラ符号化によるリフレッシュについては、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６−２）では、第１の方式として１つのマクロブロックについて１３２回符号化する間に少なくとも１回はリフレッシュを行うように規定されている。この規定を満たす為、所定のマクロブロックに対して周期的にイントラ符号化によるリフレッシュを行い、誤りの伝搬を抑えるという方式が用いられる。
【００１３】
また、ＭＰＥＧ−４では、第２の方式として非周期的なイントラリフレッシュ手法が記述されている。これは、各マクロブロック毎に予測画像と現画像の差分値を求め、この値がある基準以上になったマクロブロックを、即ち差分情報が多いマクロブロックをすべて重要領域とし、重要領域内のマクロブロックについて優先度の高いものから順番にリフレッシュを行っていくという方式である。
【００１４】
【発明が解決しようとする課題】
以上、説明したように、上記で説明した方式、例えば第１の方式であるサイクリックリフレッシュのみを用いてリフレッシュを行う場合、ある画面でイントラ符号化を行ったマクロブロックは次の周期がくるまでリフレッシュが行われない。このため、例えば１画面内で１回イントラ符号化によるリフレッシュが行われた直後に、あるマクロブロックが壊れると次のリフレッシュが行われるまで画質劣化が残留するだけでなく、その動き補償予測により誤りデータがその壊れたマクロブロックの周囲まで拡散されてしまうという課題があった。
【００１５】
また、第２の方式である非周期的なイントラ符号化によるリフレッシュのみを用いてリフレッシュを行う場合、１枚の画面中でリフレッシュ対象と認定された重要領域に含まれるマクロブロックの数が、１枚の画面中で実際にリフレッシュされるマクロブロック総数よりも多い場合には、１枚の画面内で選択されたマクロブロックのすべてがリフレッシュされない。このため、リフレッシュをする必要があると判断してもこの判断と同時にリフレッシュが行われないだけでなく、リフレッシュ対象とされるマクロブロックが次の画面で新たに算出されることになり、リフレッシュされずに残っているマクロブロックと合わせて、リフレッシュ対象であるマクロブロックが増加していくという課題があった。
【００１６】
さらに、リフレッシュ対象か否かの判断は１枚の画面の画素差分値のみで判断される。しかしながら、たとえば、この画素差分値が大きくても離散コサイン変換を行った結果、ＤＣＴ係数が少なければ１マイクロブロックに用いられる符号化量は少なくなり、誤りが混入する確率も小さくなる場合が生じ、１枚の画面の画素差分値のみで判断するという手法では正しい判断が行われないという課題もあった。
【００１７】
本発明は、これらの課題を解決するためになされたもので、本発明の目的は、複数画面で発生した符号量の状態を細かに監視して、イントラ符号化かインター符号化かを適切に判定した後イントラ符号化によるリフレッシュを行い、誤ったデータが残留し拡散することを防止することができる動画像符号化装置を提供することにある。本発明は、また、サイクリックリフレッシュでリフレッシュっを行った場合における画質劣化の残留およびこれの拡散を防止することを目的とする。本発明は、さらに、非周期的なリフレッシュを行った場合においてリフレッシュされないブロックの残存と画面毎にその残存するブロックが増加することを防止することを目的とする。
【００１８】
また、本発明は１枚の画面におけるマクロブロックがリフレッシュの対象か否かの判断を適正に行えるようにすることを目的とする。
【００１９】
【課題を解決するための手段】
上記目的を達成するために、第１の発明は、入力した動画像を構成するフレームをブロックに分割し、当該ブロック単位で符号化を行う動画像符号化装置において、イントラ符号化が選択されるとブロックに分割されたブロックを出力し、インター符号化が選択されるとブロックに分割されたブロックと他のフレームから求めたブロックとの差分を求めて出力する演算手段と、演算手段の出力に基づいて量子化データを求める量子化手段と、量子化手段によって得られた量子化データを符号化する符号化手段と、インター符号化が行われた場合、符号化されたブロック毎に符号化手段の符号化後に発生したビット数を抽出する発生ビット量抽出手段と、抽出したビット数と第１の閾値とを比較して該ビット数が該第１の閾値より大きいとき、ブロック毎に設けられ、比較対象としたブロックに対応するパラメータ値をカウントアップするパラメータ値制御手段と、パラメータ値と第２の閾値とを比較し、該パラメータ値が該第２の閾値より大きい場合に次のブロックの符号化としてイントラ符号化を選択し、それ以外の場合に次のブロックの符号化としてインター符号化を維持する符号化選択手段と、符号化選択手段によってイントラ符号化が選択された場合、パラメータ値をリセットするリセット手段とを具備することを特徴とする。
【００２０】
第２の発明は、入力した動画像を構成するフレームをブロックに分割し、当該ブロック単位で離散コサイン変換および量子化を施した後に符号化を行う動画像符号化装置において、イントラ符号化が選択されるとブロックに分割されたブロックを出力し、インター符号化が選択されるとブロックに分割されたブロックと他のフレームから求めたブロックとの差分データを求めて出力する演算手段と、演算手段の出力を離散コサイン変換および量子化を行うＤＣＴ・量子化手段と、ＤＣＴ・量子化手段によって得られた量子化データを符号化する符号化手段と、インター符号化が行われた場合、離散コサイン変換で求められた係数のうち非ゼロ係数の数をブロック単位で抽出する係数抽出手段と、抽出した非ゼロ係数の数と第１の閾値とを比較して該非ゼロ係数の数が該第１の閾値より大きいとき、ブロック毎に設けられ、比較対象としたブロックに対応するパラメータ値をカウントアップするパラメータ値制御手段と、パラメータ値と第２の閾値とを比較し、該パラメータ値が該第２の閾値より大きい場合に次のブロックの符号化としてイントラ符号化を選択し、それ以外の場合に次のブロックの符号化としてインター符号化を維持する符号化選択手段と、符号化選択手段によってイントラ符号化が選択された場合、パラメータ値をリセットするリセット手段とを具備することを特徴とする。
【００２１】
第１および第２の発明によれば、符号化された分割ブロックから、複数の符号化からいずれかの符号化を選択し切り換える制御を行うための情報（たとえば、動画像の分割ブロックを符号化した後、発生するビット数または生成された非ゼロ係数の計数値）を抽出し、この抽出した情報と前記パラメータ値の更新基準との比較結果に基づいて、分割されたブロック単位にもつパラメータ値を更新し、さらに複数の符号化からいずれかの符号化を選択し切り換えるための判断基準を超えたと同時にイントラ符号化に切り換えることにより、誤りによる画面の画質劣化の伝搬を最小限に抑えることができるようになる。
【００２２】
第３の発明は、第２の発明において、伝送路上の誤り率を検出する検出手段と、検出した誤り率と第３の閾値を比較して該誤り率が該第３の閾値より大きいときは、第１の閾値の値もしくは第２の閾値の値を所定量減ずる変更手段とをさらに具備することを特徴とする。また、第４の発明は、第２の発明において、伝送路上の誤り率を検出する検出手段と、誤り率と閾値との対応関係を複数記憶する記憶手段と、検出手段によって検出された誤り率と記憶手段に記憶されている誤り率とを比較して対応する閾値を求め、この閾値を第１もしくは第２の閾値の値として設定する変更手段とを更に具備することを特徴とする。
【００２３】
第３および第４の発明によれば、伝送路で発生する誤り率を検出し、この検出した誤り率に応じてパラメータ値を更新するための更新基準もしくは複数の符号化からいずれかの符号化を選択し切り換えるための判断基準の双方または一方を下方に変更することにより、選択されたイントラ符号化モードによるリフレッシュ動作をきめ細かく行え、動画像復号化装置側の画質劣化の残留を防止することができるようになる。
【００２４】
第５の発明は、第２の発明において、ブロック単位で符号化された符号化データを蓄積する蓄積手段と、蓄積手段に蓄積されている符号化データの符号量を計数する計数手段と、計数手段によって計数された符号量と第４の閾値とを比較して該符号量が該第４の閾値より大きいときは、第１の閾値の値もしくは第２の閾値の値を所定量減ずる変更手段とをさらに具備することを特徴とする。
【００２５】
第５の発明によれば、蓄積手段に蓄積された符号化データを計数し、計数された符号化データの符号量に応じて、パラメータ値を更新するための更新基準もしくは複数の符号化からいずれかの符号化を選択し切り換えるための判断基準の双方または一方を下方に変更することにより、選択されたイントラ符号化モードによるリフレッシュ動作をきめ細かく行え、動画像復号化装置側の画質劣化の残留を防止することができるようになる。また、イントラ符号化におけるリフレッシュ動作により符号化量を増加させ、蓄積手段に規定値以上の符号化データを格納することにより、発生する符号量が少ない場合においても誤ったデータの伝搬を防止することができるようになる。
【００３０】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００３１】
図１は、本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。また、図３は本発明の第１の実施形態においてイントラ符号化モードでリフレッシュするまでの手順を示すフローチャートである。図２は、動画像符号化装置の符号化の手順を示すフローチャートである。ここで、図３における記号（Ａ）は、図２の（Ａ）と接続されることを示している。
【００３２】
本発明の第１の実施形態は、インター符号化において各マクロブロック単位で可変長符号化され発生したビット数を監視することにより、イントラ符号化を行うか、インター符号化を行うかを選択するものである。即ち、可変長符号化部で符号化され発生する符号化量が多ければ、入力された画像に大きな変動が起きていると判断でき、その発生しているビット数を計数し、この計数値に応じてイントラ符号化によるリフレッシュ動作を行おうとするものである。
【００３３】
図１において、この動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，離散コサイン変換：ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）・量子化部１４，逆離散コサイン変換：ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，発生ビット量抽出部１８，パラメータ値制御部１９，およびイントラ／インター判定部２０，モード切替部２１から構成される。
【００３４】
ブロック切出し部１１は、入力画面をいくつかの画素ごとに特定サイズのブロックに分割する。ＤＣＴ・量子化部１４は、分割されたブロック単位で離散コサイン変換、いわゆるＤＣＴ演算を行い、得られたＤＣＴ係数を量子化する。
【００３５】
可変長符号化部１６は、特定のサイズに分割されたブロックのモード情報などともに量子化されたＤＣＴ係数の可変長符号化を行う。すなわち、発生確率の高い信号に対して短い符号を割り当て、確率の低い信号に対しては長い符号を割り当て、平均の符号長を短くするという操作を行う。
【００３６】
動き検出部１２では、動き補償予測を行うインター符号化の場合において、フレームメモリ１７に蓄積されている画像データと分割された原画ブロックとを用いて入力画面の動きベクトル、すなわち１フレーム以上前の近傍画素の値を参照して被写体の動きの方向および距離を検出する。
【００３７】
動き補償部１３では、この検出された動きベクトルに対応したフレームメモリ１７に蓄積されている対応画素の値を予測値として、１フレーム以上前の近傍画素からの予測原画像を作成し、インタ符号化のときは差分画素を形成する。ＩＤＣＴ・逆量子化部１５では、ＤＣＴ係数データの逆量子化および逆離散コサイン変換を行う。
【００３８】
フレームメモリ１７には、ＤＣＴ係数を逆量子化および逆離散コサイン変換したマクロブロックに動き補償部１３で作成した予測原画像が加算され、次の入力画面の動き補償予測画像データが１フレーム単位で蓄積される。
【００３９】
発生ビット量抽出部１８は、各マクロブロック毎に可変長符号化されたビット数ＭＢ＿ｂｉｔｓを抽出する。
【００４０】
パラメータ値制御部１９は、各マクロブロック毎に得られたＤＣＴ係数に対し、可変長符号化により生成されたビット数ＭＢ＿ｂｉｔｓと予め設定されその生成されたビット数を制限する所定値ｂｉｔｓ＿Ｔｈｒとを比較して、その比較結果に応じて該当するマクロブロックのパラメータ値Ｔ（ｎ）の更新を行う。
【００４１】
イントラ／インター判定部２０では、そのパラメータ値Ｔ（ｎ）と予め設定されそのパラメーター値を制限する境界値ｒｅｆｒｅｓｈ＿Ｔｈｒとを比較し、その結果に応じてイントラ符号化モードかインター符号化モ−ドかのいずれかの符号化に切り換えるという指示信号を出力する。
【００４２】
モード切替部２１では、イントラ／インター判定部２０からの指示信号によりイントラ符号化モードかインター符号化モ−ドかのいずれかの符号化に切り替える。イントラ符号化モードのときは切り替え接点ＳをＡに、インター符号化モードのときは切り替え接点ＳをＢに、切り替える。
【００４３】
このように構成された第１の実施形態における動画像符号化装置を用いて動画像を符号化する場合の動作について、図２を参照して説明する。
【００４４】
最初に、動き補償予測を行わないイントラ符号化の場合について説明する。
【００４５】
図示しない画像入力部から入力された画面は、ブロック切出し部１１で１６×１６画素の輝度情報と８×８画素の２つの色差情報を持つマクロブロックに分割され、ブロック情報として出力される（ステップＳ２０１，Ｓ２０２）。そして、ゼロと差分が採られたマクロブロックのデータは（ステップＳ２１１）、８×８画素のブロック単位でＤＣＴ・量子化部１４において離散コサイン変換、いわゆるＤＣＴ演算によりＤＣＴ係数を得て、この得られたＤＣＴ係数を量子化する（ステップＳ２１２，Ｓ２１３）。この後、可変長符号化部１６で各ブロックのモード情報などともにＤＣＴ係数の可変長符号化が行われる（ステップＳ２１４）。
【００４６】
次に、動き補償予測を行うインター符号化の場合について説明する。
【００４７】
フレームメモリ１７に蓄積されている補償予測画像データと切出された入力画面の原画マクロブロックとから動き検出部１２にて動きベクトルが算出される（ステップＳ２０４）。この後、フレームメモリ１７に蓄積されている１フレーム以前のデータと動きベクトルとから、１フレーム以前のデータからの予測画像が形成される（ステップＳ２０５）。そして、ブロック切出し部１１から出力された入力画面のブロックとその予測画像との差分画像が形成され（ステップＳ２０６）、この差分画像に対してＤＣＴ・量子化が行われる（ステップＳ２１２，Ｓ２１３）。
【００４８】
即ち、この差分画像は８×８画素単位で離散コサイン変換、いわゆるＤＣＴ演算によりＤＣＴ係数が形成され、得られたＤＣＴ係数が量子化される。また、ＩＤＣＴ・逆量子化部１５では、このＤＣＴ係数データの逆量子化および逆ＤＣＴ処理を行こない、補償予測画像を加算した後復号化し形成された内部復号画像がフレームメモリ１７に蓄積される（ステップＳ２０７〜Ｓ２１０）。この蓄積された画像は次画面の動き補償予測に用いられる。
【００４９】
ＤＣＴ量子化後のＤＣＴ係数データ、各種符号化情報および動きベクトルなどが可変長符号化部１６で可変長データに変換され符号化されたデータが形成される（ステップＳ２１４）。
【００５０】
さらに、可変長符号化され発生したビット数に基づいて、イントラ符号化モードに切り換えられリフレッシュ動作に至るまでの手順について、図３を参照して説明する。
【００５１】
各マクロブロック毎に可変長符号化し生成された発生ビット数ＭＢ＿ｂｉｔｓを発生ビット量抽出部１８で抽出し、パラメータ値制御部１９に送られる（ステップＳ３０１）。このパラメータ値Ｔ（ｎ）は１つのマクロブロックがもつパラメータの１つであり、発生ビット数ＭＢ＿ｂｉｔｓが予め設定されたビット数の所定値ｂｉｔｓ＿Ｔｈｒを越えるとこのパラメータ値Ｔ（ｎ）が＋１だけインクリメントされる（ステップＳ３０２，Ｓ３０３）。例えば、ｎ番目のマクロブロックが可変長符号化により発生したビット数が１００ビットで、予め設定されたビット数値ｂｉｔｓ＿Ｔｈｒが７５ビットであったとすると、その制限値を越えているためパラメータ値Ｔ（ｎ）が１だけ繰り上がることになる。この操作を行うのがパラメータ値制御部１９である。
【００５２】
次の画面において、ｎ番目のマクロブロックの量子化されたＤＣＴ係数が可変長符号化される前に、イントラ／インター判定部２０において、このパラメータ値Ｔ（ｎ）と予め設定されたそのパラメータ値の境界値ｒｅｆｒｅｓｈ＿Ｔｈｒとが比較される（ステップＳ３０４）。そして、Ｔ（ｎ）＞ｒｅｆｒｅｓｈ＿Ｔｈｒのときは、イントラ符号化モードで符号化を行うようモード切替部２１に指示が出され、モード切替部２１はイントラ符号化モードとなるよう切り換え接点Ｓを端子ＢからＡに切り換え（ステップＳ３０５）、イントラモードで符号化が行われる。
【００５３】
そして、イントラ符号化でリフレッシュ動作が行われ（ステップＳ３０７）、イントラ符号化モードでの符号化が終了した後はパラメータ値Ｔ（ｎ）がリセットされる（ステップＳ３０８）。Ｔ（ｎ）＜ｒｅｆｒｅｓｈ＿Ｔｈｒのときは切り換え接点Ｓは端子Ｂと接続されたままで、インター符号化モードで符号化を継続する（ステップＳ３０６）。
【００５４】
以上、説明したように、インター符号化モード時において各マクロブロック単位で可変長符号化され発生したビット数を計数して、パラメータ値Ｔ（ｎ）の更新条件である所定のビット数値や、イントラ符号化モードの符号化に切り換えるための判断基準となる所定の境界値をきめ細かく設定してリフレッシュを行うことで、誤りによる画面の画質劣化を最小限に抑えることができる。
【００５５】
図４は、本発明の第２の実施形態における動画像符号化装置の構成を示すブロック図である。また、図５は、本発明の第２の実施形態においてイントラ符号化モードでリフレッシュするまでの手順を示すフローチャートである。
【００５６】
本発明の第２の実施形態は、インター符号化時にＤＣＴ・量子化部１４で得られた各マクロブロック単位での非ゼロ係数が多いか少ないかを監視することにより、イントラ符号化を行うか、インター符号化を行うかを選択するものである。即ち、ＤＣＴ演算で得られたＤＣＴ係数のうち非ゼロ係数が多ければ入力された画像に大きな変動が起きていると判断でき、その非ゼロ係数を計数してこの計数値に応じてリフレッシュ動作を行うかどうかを判断するものである。
【００５７】
図４において、動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，ＤＣＴ・量子化部１４，ＩＤＣＴ・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，パラメータ値制御部１９，係数量総数抽出部２２およびイントラ／インター判定部２０，モード切替部２１から構成される。
【００５８】
ここで、図１と同一の番号を付してある機能ブロックは同一の機能を有していることを示す。
【００５９】
係数量総数抽出部２２は、ＤＣＴ・量子化部１４から各マクロブロック単位で離散コサイン変換され、得られたＤＣＴ係数のうち非ゼロ係数を計数し非ゼロ係数の総数を抽出する。
【００６０】
次に、このように構成された動画像符号化装置において、動画像を符号化しイントラ符号化に切り換えられリフレッシュ動作に至るまでの手順について、図５を参照して説明する。ここで、図５における記号（Ｂ）は、図２の（Ｂ）と接続され、図２の（Ｂ）から継続して処理が行われることを示している。すなわち、イントラ符号化ならびにインター符号化において、可変長符号化部１６で、各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数を可変長符号化し、符号化データが形成されるまでは図２に示したフローチャートと同じである。
【００６１】
通常、動画像符号化において、各マクロブロックを離散コサイン変換し、量子化を行った後可変長符号化を行う際に、各マクロブロックに非ゼロ係数が存在するか否かを表すパラメータ値が形成される。本発明は、この抽出された非ゼロ係数の総数を用いて発生符号量を推測し、そのパラメータ値を更新させるというものである。
【００６２】
インターモード符号化時において、ＤＣＴ・量子化部１４で各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数のうち、非ゼロ係数のみを計数しその総数を抽出し、パラメータ値制御部１９へ送られる（ステップＳ５０１）。そして、パラメータ値制御部１９では、ｎ番目のマクロブロックについて、その非ゼロ係数の総数ｎ＿ｃｏｅｆと予め設定されている非ゼロ係数の所定値ｔｃｏｅｆ＿Ｔｈとを比較して（ステップＳ５０２）、ｎ＿ｃｏｅｆ＞ｔｃｏｅｆ＿Ｔｈの場合、該当のｎ番目のマクロブロックのパラメータＴ（ｎ）の値が＋１だけインクリメントされる（ステップＳ５０３）。
【００６３】
次の画面でｎ番目のマクロブロックを符号化する際に、イントラ／インター判定部２０でパラメータ値Ｔ（ｎ）と予め設定された境界値ｒｅｆｒｅｓｈ＿Ｔｈｒとを比較し（ステップＳ５０４）、Ｔ（ｎ）＞ｒｅｆｒｅｓｈ＿Ｔｈｒのときはイントラモードで符号化を行うようモード切替部２１に指示を出す。モード切替部２１は、この指示に基づいてイントラ符号化モードとなるよう切り換え接点Ｓを端子ＢからＡに切り換え（ステップＳ５０５）、この直後イントラ符号化でリフレッシュ動作が行われる（図５ ステップＳ５０７）。そして、イントラ符号化モードでの符号化が終了した後はパラメータ値Ｔ（ｎ）がリセットされる（ステップＳ５０８）。Ｔ（ｎ）＜ｒｅｆｒｅｓｈ＿Ｔｈｒのときは、切り換え接点Ｓは端子Ｂと接続されたままでインター符号化モードで符号化を継続する（ステップＳ５０６）。
【００６４】
以上、説明したように、インター符号化モード時において各マクロブロック単位で離散コサイン変換されたＤＣＴ係数のうち非ゼロ係数が計数され、パラメータ値Ｔ（ｎ）の更新条件である所定の非ゼロ係数の総数値や、イントラ符号化モードの切り換えのための判断基準となる所定の境界値をきめ細かく設定しリフレッシュを行うことで、誤りによる画面の画質劣化を最小限に抑えることができる。 また、各マクロブロック単位で離散コサイン変換されたＤＣＴ係数のうちこの非ゼロ係数を計数するために新たな機能を追加することなく、容易に非ゼロ係数を計数することができる。
【００６５】
図６は、本発明の第３の実施形態における動画像符号化装置の構成を示すブロック図である。また、図７は、本発明の第３の実施形態においてイントラ符号化モードでリフレッシュを行うまでの手順を示すフローチャートである。ここで、図７における記号（Ａ）および（Ｂ）は、図３の（Ａ）および図５の（Ｂ）とそれぞれ接続され、さらに接続先における処理が行われることを示している。
【００６６】
本発明の第３の実施形態は、伝送路の誤り率に応じて、パラメータ値Ｔ(ｎ)の更新条件またはイントラ／インター符号化の切り換えのための判定基準の双方または一方を変更するというものである。
【００６７】
図６において、動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，ＤＣＴ・量子化部１４，ＩＤＣＴ・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，パラメータ値制御部１９，係数量総数抽出部２２，パラメータ値制御部１９，誤り率検出部３１およびイントラ／インター判定部２０から構成される。ここで、図１および図４と同一番号を付してある機能ブロックは同一の機能を有していることを示している。
【００６８】
誤り率検出部３１は、図示しない伝送路で発生した誤りの誤り率を検出するものである。
【００６９】
次に、このように構成された動画像符号化装置において、動画像が符号化されイントラ符号化に切り換えられリフレッシュ動作に至るまでの手順について、図７を参照して説明する。なお、イントラ符号化ならびにインター符号化において、可変長符号化部１６で、各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数を可変長符号化し、符号化データが形成されるまでは、図２に示したフローテャートと同じである。
【００７０】
伝送路で発生した誤りは誤り率検出部３１で誤り率Ｅｒとして検出され、この結果はパラメータ値制御部１９，およびイントラ／インター判定部２０に送られる（ステップＳ７０１）。パラメータ値制御部１９やイントラ／インター判定部２０では、伝送路の誤り率の基準値を複数用意し（α１〜αｋ）、この検出した誤り率Ｅｒとその誤り率の基準値αｋとが比較される（ステップＳ７０２）。
そして、検出した誤り率Ｅｒがこの基準値αｋより高くなった場合、パラメータ値制御部１９の更新条件である予め設定されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定のゼロ係数総数値ｔｃｏｅｆ＿Ｔｈまたはイントラ／インター判定部２０の判断条件である予め設定された境界値ｒｅｆｒｅｓｈ＿Ｔｈｒの双方または一方が下方修正される（ステップＳ７０３）。
【００７１】
これ以降の処理については、修正されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定の係数総数値ｔｃｏｅｆ＿Ｔｈ、境界値ｒｅｆｒｅｓｈ＿Ｔｈｒを用いて、図３の（Ａ）または図５の（Ｂ）のそれぞれの接続先において前述した処理が行われる。
【００７２】
以上、説明したように、伝送路で発生する誤りを監視し、これに応じた伝送路の誤り率の基準値を複数用意し、検出した誤り率が１つの基準値より高くなった場合、パラメータ値の更新条件またはイントラ符号化に切り換えるための判断条件の双方または一方を下方修正することにより、イントラ符号化モードによるリフレッシュ動作がきめ細かく行うことができ、イントラ符号化されるマクロブロック数が増加して、動画像復号化装置側での画質劣化の残留を防止することができる。
【００７３】
図８は、本発明の第４の実施形態における動画像符号化装置の構成を示すブロック図である。また、図９は、本発明の第４の実施形態においてイントラ符号化モードでリフレッシュするまでの手順を示すフローチャートである。ここで、図９における記号（Ａ）および（Ｂ）は、図３の（Ａ）および図５の（Ｂ）とそれぞれ接続され、さらに接続先における処理が行われることを示している。
【００７４】
本発明の第４の実施形態は、レイト制御用バッファに蓄積されている符号化データに応じて、パラメータ値Ｔ(ｎ)の更新条件またはイントラ／インター符号化の切り換えのための判断条件の双方または一方を変更させるというものである。
【００７５】
図８において、動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，ＤＣＴ・量子化部１４，ＩＤＣＴ・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，レイト制御用バッファー４１，バッファー量測定部４２，係数量総数抽出部２２，パラメータ値制御部１９およびイントラ／インター判定部２０から構成される。ここで、図１、図４および図６と同一の番号を付してある機能ブロックは同一の機能を有していることを示している。
【００７６】
レイト制御用バッファ４１は、可変長符号化された画像データを音声等他のデータと多重化し蓄積するためのバッファメモリである。このバッファメモリは、符号化レートを一定に保つために、バッファメモリ中の蓄積量をある一定の範囲以上となるように制御されるバッファである。
【００７７】
バッファ量測定部４２は、画面単位でレイト制御用バッファに蓄積されている符号量を計数し、予め設定されている基準値以下となったとき、その結果をパラメータ値制御部１９，およびイントラ／インター判定部２０に送る。
【００７８】
次に、このように構成された動画像符号化装置において、動画像が符号化されイントラ符号化に切り換えられてリフレッシュ動作に至るまでの手順について、図９を参照して説明する。また、イントラ符号化ならびにインター符号化において、可変長符号化部１６で、各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数を可変長符号化し、符号化データが形成されるまでは、図２示したフローチャートと同じである。
【００７９】
画面単位でレイト制御用バッファに蓄積されている符号量ｂｕｆ＿ｃｏｄをバッファ量測定部４２で計数し（ステップ９０２）、ある基準値ｂｕｆ＿Ｔｈｒと比較してｂｕｆ＿Ｔｈｒ＞ｂｕｆ＿ｃｏｄとなった場合（ステップ９０３）にパラメータ値Ｔ（ｎ）の更新条件またはイントラ／インター符号化の切り換えのための判断条件の双方または一方を変更するよう要求信号を出力する。この結果に基づいて、パラメータ値制御部１９の更新条件である予め設定されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定の係数総数値ｔｃｏｅｆ＿Ｔｈまたはイントラ／インター判定部２０の判断条件である予め設定された境界値ｒｅｆｒｅｓｈ＿Ｔｈｒの双方または一方を下方修正する（ステップ９０４）。これ以降の処理については、修正されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定の係数総数値ｔｃｏｅｆ＿Ｔｈ、境界値ｒｅｆｒｅｓｈ＿Ｔｈｒを用いて、前述した図３の（Ａ）または図５の（Ｂ）のそれぞれの接続先において前述した処理が行われる。
【００８０】
以上、説明したように、レイト制御用バッファに蓄積されるバッファ量を計数し、計数されたバッファ量がその規定値以下になった場合、パラメータ値の更新条件またはイントラ符号化に切り換えるための判断条件の双方または一方を下方修正することにより、イントラ符号化モードによるリフレッシュ動作がきめ細かく行うことができ、イントラ符号化されるマクロブロック数が増加し、動画像復号化装置側での誤りにより画質劣化した画面の残留を防ぐことができる。
【００８１】
また、通常、レイト制御用バッファに蓄積されるバッファ量が規定値以下となった場合は、動画像復号化装置側で捨てられるダミーのビット（これを、「スタッフィングビット」という。）が付加される。この第４の実施形態においては、このダミービットの代わりにイントラ符号化におけるリフレッシュによるマクロブロックを増加させて、レイト制御用バッファに規定値以上の符号化データを格納することにより、発生した符号量が少ない場合においても誤ったデータの伝搬を防止することができる。
【００８２】
本発明は、これらの実施形態に限定されるものではなく、本発明の技術的思想の範囲以内で種々の変更や拡張が可能である。例えば、予測符号化方式として、動き予想補償による符号化方式を例にして説明したが、背景予測やフレーム間差分抑圧等の符号化技術を利用しても、以上説明した効果と同様の効果を得ることができる。
【００８３】
【発明の効果】
以上、詳細に説明したように、本発明によれば、各マクロブロック単位で可変長符号化されたビット数の計数値や離散コサイン変換されたＤＣＴ係数のうち非ゼロ係数の計数値に応じて、パラメータ値の更新条件および符号化モードの切り換えのための判断条件をきめ細かく設定し、イントラ符号化によるリフレッシュを行うことで、誤りによる画面の画質劣化を抑えることができる。
【００８４】
また、前述の非ゼロ係数を計数する場合において、これを計数するために新たな機能追加をすることなく、容易に非ゼロ係数を計数することができる。
【００８５】
そして、伝送路での誤り率が所定値より高くなった場合やレイト制御用バッファに蓄積されるバッファ量が規定値以下となった場合に、パラメータ値の更新条件またはイントラ符号化に切り換えるための判断条件の双方または一方を下方修正することにより、イントラ符号化モードによるリフレッシュ動作をきめ細かく行うことができ、動画像復号化装置側での誤りにより画質劣化の残留を防ぐことができる。
【００８６】
さらに、レイト制御用バッファに蓄積するバッファ量が規定されている場合において、蓄積されるバッファ量を監視し、そのバッファア量に応じて前述の更新条件や判断条件を適切に設定することでイントラ符号化モードによるリフレッシュ動作をさせて、発生する符号量が少ない場合においても誤ったデータの伝搬を防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。
【図２】本発明である動画像符号化装置の符号化の手順を示すフローチャーである。
【図３】本発明の第１の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図４】本発明の第２の実施形態における動画像符号化装置の構成を示すブロック図である。
【図５】本発明の第２の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図６】本発明の第３の実施形態における動画像符号化装置の構成を示すブロック図である。
【図７】本発明の第３の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図８】本発明の第４の実施形態における動画像符号化装置の構成を示すブロック図である。
【図９】本発明の第４の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図１０】一般的な動画像符号化装置の構成を示すブロック図である。
【符号の説明】
１１，５１…ブロック切出し部
１２，５２…動き検出部
１３，５３…動き補償部
１４，５４…ＤＣＴ・量子化部
１５，５５…ＩＤＣＴ・逆量子化部
１６，５６…可変長符号化部
１７，５７…フレームメモリ
１８ …発生ビット量抽出部
１９ …パラメータ値制御部
２０ …イントラ／インター判定部
２１ …モード切換部
２２ …係数量総数抽出部
３１ …誤り率検出部
４１ …レイト制御用バッファー
４２ …バッファー量測定部
【発明の属する技術分野】
本発明は、動画像の高能率符号化装置に関し、特に、伝送誤りから生じた画質劣化の回復をイントラ符号化を用いて行う動画像符号化装置に関する。
【０００２】
【従来の技術】
動画像の帯域圧縮符号化の基本的な方式として、予測符号化方式と変換符号化方式がある。映像信号には統計的な性質があること、すなわちフレーム内の画素間およびフレーム間の画素間に相関性があることが知られており、この性質を利用して高能率の符号化が行われる。予測符号化方式は、時間領域における相関性を利用した方式であり、変換符号化方式は周波数領域における相関性を利用した方式である。前者は、動き補償予測により得られる予測画像との差分信号を符号化する動き補償予測符号化方式が知られている。また、変換符号化方式は、画面を画素ごとにブロック化したものを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ：ＤＣＴ）により周波数領域に変換し、得られた各周波数成分の変換係数（これを「ＤＣＴ係数」と呼ぶ。）を量子化し伝送する。そして、近年においてはこの両者を組み合わせた方式が一般的に採用されている。 たとえば、国際電気通信連合電気通信標準化部門：ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）のＨ２６１，Ｈ２６３や国際標準化機構：ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）の下に設立された画像圧縮の標準化作業グループによるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では１６×１６の画素ブロック（これを、マクロブロックという。）単位で符号化が行われる。
【０００３】
図１０は、一般的な動画像符号化装置の構成を示すブロック図である。
【０００４】
同図に基づいて、一般的な動画像符号化装置の符号化動作を説明する。
【０００５】
最初に、動き補償予測を行わず入力した画面のデータをそのまま符号化するイントラ符号化について説明する。
【０００６】
図示しない画像入力部から入力された画面は、ブロック切出し部５１でいくつかの画素単位でブロックに分割されブロック情報として出力される。分割された各ブロック情報はＤＣＴ・量子化部５４にて離散コサイン変換してＤＣＴ係数を得、このＤＣＴ係数が量子化され、可変長符号化部５６で各ブロックのモード情報などとともにＤＣＴ係数の可変長符号化が行われる。
【０００７】
次に、動き補償予測を行うインター符号化について説明する。
【０００８】
フレームメモリ５７に蓄積されている補償予測画像と切出された入力画面の原画ブロックとを用いて、動き検出部５２で動きベクトルが算出される。その後、フレームメモリ５７に蓄積されている補償予測画像とその動きベクトルとから次の画面である補償予測画像が形成される。そして、ブロック切出し部５１から出力された入力画面の原画ブロックとその補償予測画像との差分画像が形成され、この差分画像に対してＤＣＴ・量子化が行われる。また、逆離散コサイン変換：ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）・逆量子化部５５では、ＤＣＴ係数の逆量子化および逆ＤＣＴ処理を行ない、補償予測画像を加算した後復号化し形成された画像がフレームメモリ５７に蓄積される。この蓄積された画像は次画面の動き補償予測に用いられる。
【０００９】
ところで、送信側では動き補償予測を用いて符号化を行っていることから、動画像符号化装置側のフレームメモリには原画像とは多少異なる画像を保有している。したがって、一定時間が経過すると原画像との差が大きくなり、最終的に原画像とは大きく異なる画像データを保有することになる。このため、この異なった画像のマクロブロックのデータを周辺のブロックの動き補償に用いる結果、誤ったデータが周辺にまで拡散され、これらの誤ったデータは、イントラ符号化によるリフレッシュ処理が行われるまで残留し続けることになる。
【００１０】
また、予測符号化方式は、予測誤差信号のみを伝送し、これを送信先の動画像復号化装置側で蓄積することにより画像信号を再生するものである。このため、伝送路符号誤りが発生すると動画像復号化装置側では誤りを含む信号が受信側のフレームメモリに入力される。そして、保有している現ブロックの画像データが破壊されてしまうだけでなく、可変長データの同期が外れることにより、その後の符号化データがすべて破壊されてしまうことになる。この結果、動画像復号化装置側で復号化する際に保有する原画像が消失し、誤りのない画像データが送信されてきても、この誤りの影響がリセットされるまで、正しい画像信号の再生が不可能になる。
【００１１】
したがって、動画像符号化装置側では定期的にイントラ符号化によるリフレッシュを行い、破壊されたデータを一掃して新しい画像データと置き換え、壊れたデータの伝搬を防止する必要が生じる。
【００１２】
このイントラ符号化によるリフレッシュについては、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６−２）では、第１の方式として１つのマクロブロックについて１３２回符号化する間に少なくとも１回はリフレッシュを行うように規定されている。この規定を満たす為、所定のマクロブロックに対して周期的にイントラ符号化によるリフレッシュを行い、誤りの伝搬を抑えるという方式が用いられる。
【００１３】
また、ＭＰＥＧ−４では、第２の方式として非周期的なイントラリフレッシュ手法が記述されている。これは、各マクロブロック毎に予測画像と現画像の差分値を求め、この値がある基準以上になったマクロブロックを、即ち差分情報が多いマクロブロックをすべて重要領域とし、重要領域内のマクロブロックについて優先度の高いものから順番にリフレッシュを行っていくという方式である。
【００１４】
【発明が解決しようとする課題】
以上、説明したように、上記で説明した方式、例えば第１の方式であるサイクリックリフレッシュのみを用いてリフレッシュを行う場合、ある画面でイントラ符号化を行ったマクロブロックは次の周期がくるまでリフレッシュが行われない。このため、例えば１画面内で１回イントラ符号化によるリフレッシュが行われた直後に、あるマクロブロックが壊れると次のリフレッシュが行われるまで画質劣化が残留するだけでなく、その動き補償予測により誤りデータがその壊れたマクロブロックの周囲まで拡散されてしまうという課題があった。
【００１５】
また、第２の方式である非周期的なイントラ符号化によるリフレッシュのみを用いてリフレッシュを行う場合、１枚の画面中でリフレッシュ対象と認定された重要領域に含まれるマクロブロックの数が、１枚の画面中で実際にリフレッシュされるマクロブロック総数よりも多い場合には、１枚の画面内で選択されたマクロブロックのすべてがリフレッシュされない。このため、リフレッシュをする必要があると判断してもこの判断と同時にリフレッシュが行われないだけでなく、リフレッシュ対象とされるマクロブロックが次の画面で新たに算出されることになり、リフレッシュされずに残っているマクロブロックと合わせて、リフレッシュ対象であるマクロブロックが増加していくという課題があった。
【００１６】
さらに、リフレッシュ対象か否かの判断は１枚の画面の画素差分値のみで判断される。しかしながら、たとえば、この画素差分値が大きくても離散コサイン変換を行った結果、ＤＣＴ係数が少なければ１マイクロブロックに用いられる符号化量は少なくなり、誤りが混入する確率も小さくなる場合が生じ、１枚の画面の画素差分値のみで判断するという手法では正しい判断が行われないという課題もあった。
【００１７】
本発明は、これらの課題を解決するためになされたもので、本発明の目的は、複数画面で発生した符号量の状態を細かに監視して、イントラ符号化かインター符号化かを適切に判定した後イントラ符号化によるリフレッシュを行い、誤ったデータが残留し拡散することを防止することができる動画像符号化装置を提供することにある。本発明は、また、サイクリックリフレッシュでリフレッシュっを行った場合における画質劣化の残留およびこれの拡散を防止することを目的とする。本発明は、さらに、非周期的なリフレッシュを行った場合においてリフレッシュされないブロックの残存と画面毎にその残存するブロックが増加することを防止することを目的とする。
【００１８】
また、本発明は１枚の画面におけるマクロブロックがリフレッシュの対象か否かの判断を適正に行えるようにすることを目的とする。
【００１９】
【課題を解決するための手段】
上記目的を達成するために、第１の発明は、入力した動画像を構成するフレームをブロックに分割し、当該ブロック単位で符号化を行う動画像符号化装置において、イントラ符号化が選択されるとブロックに分割されたブロックを出力し、インター符号化が選択されるとブロックに分割されたブロックと他のフレームから求めたブロックとの差分を求めて出力する演算手段と、演算手段の出力に基づいて量子化データを求める量子化手段と、量子化手段によって得られた量子化データを符号化する符号化手段と、インター符号化が行われた場合、符号化されたブロック毎に符号化手段の符号化後に発生したビット数を抽出する発生ビット量抽出手段と、抽出したビット数と第１の閾値とを比較して該ビット数が該第１の閾値より大きいとき、ブロック毎に設けられ、比較対象としたブロックに対応するパラメータ値をカウントアップするパラメータ値制御手段と、パラメータ値と第２の閾値とを比較し、該パラメータ値が該第２の閾値より大きい場合に次のブロックの符号化としてイントラ符号化を選択し、それ以外の場合に次のブロックの符号化としてインター符号化を維持する符号化選択手段と、符号化選択手段によってイントラ符号化が選択された場合、パラメータ値をリセットするリセット手段とを具備することを特徴とする。
【００２０】
第２の発明は、入力した動画像を構成するフレームをブロックに分割し、当該ブロック単位で離散コサイン変換および量子化を施した後に符号化を行う動画像符号化装置において、イントラ符号化が選択されるとブロックに分割されたブロックを出力し、インター符号化が選択されるとブロックに分割されたブロックと他のフレームから求めたブロックとの差分データを求めて出力する演算手段と、演算手段の出力を離散コサイン変換および量子化を行うＤＣＴ・量子化手段と、ＤＣＴ・量子化手段によって得られた量子化データを符号化する符号化手段と、インター符号化が行われた場合、離散コサイン変換で求められた係数のうち非ゼロ係数の数をブロック単位で抽出する係数抽出手段と、抽出した非ゼロ係数の数と第１の閾値とを比較して該非ゼロ係数の数が該第１の閾値より大きいとき、ブロック毎に設けられ、比較対象としたブロックに対応するパラメータ値をカウントアップするパラメータ値制御手段と、パラメータ値と第２の閾値とを比較し、該パラメータ値が該第２の閾値より大きい場合に次のブロックの符号化としてイントラ符号化を選択し、それ以外の場合に次のブロックの符号化としてインター符号化を維持する符号化選択手段と、符号化選択手段によってイントラ符号化が選択された場合、パラメータ値をリセットするリセット手段とを具備することを特徴とする。
【００２１】
第１および第２の発明によれば、符号化された分割ブロックから、複数の符号化からいずれかの符号化を選択し切り換える制御を行うための情報（たとえば、動画像の分割ブロックを符号化した後、発生するビット数または生成された非ゼロ係数の計数値）を抽出し、この抽出した情報と前記パラメータ値の更新基準との比較結果に基づいて、分割されたブロック単位にもつパラメータ値を更新し、さらに複数の符号化からいずれかの符号化を選択し切り換えるための判断基準を超えたと同時にイントラ符号化に切り換えることにより、誤りによる画面の画質劣化の伝搬を最小限に抑えることができるようになる。
【００２２】
第３の発明は、第２の発明において、伝送路上の誤り率を検出する検出手段と、検出した誤り率と第３の閾値を比較して該誤り率が該第３の閾値より大きいときは、第１の閾値の値もしくは第２の閾値の値を所定量減ずる変更手段とをさらに具備することを特徴とする。また、第４の発明は、第２の発明において、伝送路上の誤り率を検出する検出手段と、誤り率と閾値との対応関係を複数記憶する記憶手段と、検出手段によって検出された誤り率と記憶手段に記憶されている誤り率とを比較して対応する閾値を求め、この閾値を第１もしくは第２の閾値の値として設定する変更手段とを更に具備することを特徴とする。
【００２３】
第３および第４の発明によれば、伝送路で発生する誤り率を検出し、この検出した誤り率に応じてパラメータ値を更新するための更新基準もしくは複数の符号化からいずれかの符号化を選択し切り換えるための判断基準の双方または一方を下方に変更することにより、選択されたイントラ符号化モードによるリフレッシュ動作をきめ細かく行え、動画像復号化装置側の画質劣化の残留を防止することができるようになる。
【００２４】
第５の発明は、第２の発明において、ブロック単位で符号化された符号化データを蓄積する蓄積手段と、蓄積手段に蓄積されている符号化データの符号量を計数する計数手段と、計数手段によって計数された符号量と第４の閾値とを比較して該符号量が該第４の閾値より大きいときは、第１の閾値の値もしくは第２の閾値の値を所定量減ずる変更手段とをさらに具備することを特徴とする。
【００２５】
第５の発明によれば、蓄積手段に蓄積された符号化データを計数し、計数された符号化データの符号量に応じて、パラメータ値を更新するための更新基準もしくは複数の符号化からいずれかの符号化を選択し切り換えるための判断基準の双方または一方を下方に変更することにより、選択されたイントラ符号化モードによるリフレッシュ動作をきめ細かく行え、動画像復号化装置側の画質劣化の残留を防止することができるようになる。また、イントラ符号化におけるリフレッシュ動作により符号化量を増加させ、蓄積手段に規定値以上の符号化データを格納することにより、発生する符号量が少ない場合においても誤ったデータの伝搬を防止することができるようになる。
【００３０】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００３１】
図１は、本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。また、図３は本発明の第１の実施形態においてイントラ符号化モードでリフレッシュするまでの手順を示すフローチャートである。図２は、動画像符号化装置の符号化の手順を示すフローチャートである。ここで、図３における記号（Ａ）は、図２の（Ａ）と接続されることを示している。
【００３２】
本発明の第１の実施形態は、インター符号化において各マクロブロック単位で可変長符号化され発生したビット数を監視することにより、イントラ符号化を行うか、インター符号化を行うかを選択するものである。即ち、可変長符号化部で符号化され発生する符号化量が多ければ、入力された画像に大きな変動が起きていると判断でき、その発生しているビット数を計数し、この計数値に応じてイントラ符号化によるリフレッシュ動作を行おうとするものである。
【００３３】
図１において、この動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，離散コサイン変換：ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）・量子化部１４，逆離散コサイン変換：ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，発生ビット量抽出部１８，パラメータ値制御部１９，およびイントラ／インター判定部２０，モード切替部２１から構成される。
【００３４】
ブロック切出し部１１は、入力画面をいくつかの画素ごとに特定サイズのブロックに分割する。ＤＣＴ・量子化部１４は、分割されたブロック単位で離散コサイン変換、いわゆるＤＣＴ演算を行い、得られたＤＣＴ係数を量子化する。
【００３５】
可変長符号化部１６は、特定のサイズに分割されたブロックのモード情報などともに量子化されたＤＣＴ係数の可変長符号化を行う。すなわち、発生確率の高い信号に対して短い符号を割り当て、確率の低い信号に対しては長い符号を割り当て、平均の符号長を短くするという操作を行う。
【００３６】
動き検出部１２では、動き補償予測を行うインター符号化の場合において、フレームメモリ１７に蓄積されている画像データと分割された原画ブロックとを用いて入力画面の動きベクトル、すなわち１フレーム以上前の近傍画素の値を参照して被写体の動きの方向および距離を検出する。
【００３７】
動き補償部１３では、この検出された動きベクトルに対応したフレームメモリ１７に蓄積されている対応画素の値を予測値として、１フレーム以上前の近傍画素からの予測原画像を作成し、インタ符号化のときは差分画素を形成する。ＩＤＣＴ・逆量子化部１５では、ＤＣＴ係数データの逆量子化および逆離散コサイン変換を行う。
【００３８】
フレームメモリ１７には、ＤＣＴ係数を逆量子化および逆離散コサイン変換したマクロブロックに動き補償部１３で作成した予測原画像が加算され、次の入力画面の動き補償予測画像データが１フレーム単位で蓄積される。
【００３９】
発生ビット量抽出部１８は、各マクロブロック毎に可変長符号化されたビット数ＭＢ＿ｂｉｔｓを抽出する。
【００４０】
パラメータ値制御部１９は、各マクロブロック毎に得られたＤＣＴ係数に対し、可変長符号化により生成されたビット数ＭＢ＿ｂｉｔｓと予め設定されその生成されたビット数を制限する所定値ｂｉｔｓ＿Ｔｈｒとを比較して、その比較結果に応じて該当するマクロブロックのパラメータ値Ｔ（ｎ）の更新を行う。
【００４１】
イントラ／インター判定部２０では、そのパラメータ値Ｔ（ｎ）と予め設定されそのパラメーター値を制限する境界値ｒｅｆｒｅｓｈ＿Ｔｈｒとを比較し、その結果に応じてイントラ符号化モードかインター符号化モ−ドかのいずれかの符号化に切り換えるという指示信号を出力する。
【００４２】
モード切替部２１では、イントラ／インター判定部２０からの指示信号によりイントラ符号化モードかインター符号化モ−ドかのいずれかの符号化に切り替える。イントラ符号化モードのときは切り替え接点ＳをＡに、インター符号化モードのときは切り替え接点ＳをＢに、切り替える。
【００４３】
このように構成された第１の実施形態における動画像符号化装置を用いて動画像を符号化する場合の動作について、図２を参照して説明する。
【００４４】
最初に、動き補償予測を行わないイントラ符号化の場合について説明する。
【００４５】
図示しない画像入力部から入力された画面は、ブロック切出し部１１で１６×１６画素の輝度情報と８×８画素の２つの色差情報を持つマクロブロックに分割され、ブロック情報として出力される（ステップＳ２０１，Ｓ２０２）。そして、ゼロと差分が採られたマクロブロックのデータは（ステップＳ２１１）、８×８画素のブロック単位でＤＣＴ・量子化部１４において離散コサイン変換、いわゆるＤＣＴ演算によりＤＣＴ係数を得て、この得られたＤＣＴ係数を量子化する（ステップＳ２１２，Ｓ２１３）。この後、可変長符号化部１６で各ブロックのモード情報などともにＤＣＴ係数の可変長符号化が行われる（ステップＳ２１４）。
【００４６】
次に、動き補償予測を行うインター符号化の場合について説明する。
【００４７】
フレームメモリ１７に蓄積されている補償予測画像データと切出された入力画面の原画マクロブロックとから動き検出部１２にて動きベクトルが算出される（ステップＳ２０４）。この後、フレームメモリ１７に蓄積されている１フレーム以前のデータと動きベクトルとから、１フレーム以前のデータからの予測画像が形成される（ステップＳ２０５）。そして、ブロック切出し部１１から出力された入力画面のブロックとその予測画像との差分画像が形成され（ステップＳ２０６）、この差分画像に対してＤＣＴ・量子化が行われる（ステップＳ２１２，Ｓ２１３）。
【００４８】
即ち、この差分画像は８×８画素単位で離散コサイン変換、いわゆるＤＣＴ演算によりＤＣＴ係数が形成され、得られたＤＣＴ係数が量子化される。また、ＩＤＣＴ・逆量子化部１５では、このＤＣＴ係数データの逆量子化および逆ＤＣＴ処理を行こない、補償予測画像を加算した後復号化し形成された内部復号画像がフレームメモリ１７に蓄積される（ステップＳ２０７〜Ｓ２１０）。この蓄積された画像は次画面の動き補償予測に用いられる。
【００４９】
ＤＣＴ量子化後のＤＣＴ係数データ、各種符号化情報および動きベクトルなどが可変長符号化部１６で可変長データに変換され符号化されたデータが形成される（ステップＳ２１４）。
【００５０】
さらに、可変長符号化され発生したビット数に基づいて、イントラ符号化モードに切り換えられリフレッシュ動作に至るまでの手順について、図３を参照して説明する。
【００５１】
各マクロブロック毎に可変長符号化し生成された発生ビット数ＭＢ＿ｂｉｔｓを発生ビット量抽出部１８で抽出し、パラメータ値制御部１９に送られる（ステップＳ３０１）。このパラメータ値Ｔ（ｎ）は１つのマクロブロックがもつパラメータの１つであり、発生ビット数ＭＢ＿ｂｉｔｓが予め設定されたビット数の所定値ｂｉｔｓ＿Ｔｈｒを越えるとこのパラメータ値Ｔ（ｎ）が＋１だけインクリメントされる（ステップＳ３０２，Ｓ３０３）。例えば、ｎ番目のマクロブロックが可変長符号化により発生したビット数が１００ビットで、予め設定されたビット数値ｂｉｔｓ＿Ｔｈｒが７５ビットであったとすると、その制限値を越えているためパラメータ値Ｔ（ｎ）が１だけ繰り上がることになる。この操作を行うのがパラメータ値制御部１９である。
【００５２】
次の画面において、ｎ番目のマクロブロックの量子化されたＤＣＴ係数が可変長符号化される前に、イントラ／インター判定部２０において、このパラメータ値Ｔ（ｎ）と予め設定されたそのパラメータ値の境界値ｒｅｆｒｅｓｈ＿Ｔｈｒとが比較される（ステップＳ３０４）。そして、Ｔ（ｎ）＞ｒｅｆｒｅｓｈ＿Ｔｈｒのときは、イントラ符号化モードで符号化を行うようモード切替部２１に指示が出され、モード切替部２１はイントラ符号化モードとなるよう切り換え接点Ｓを端子ＢからＡに切り換え（ステップＳ３０５）、イントラモードで符号化が行われる。
【００５３】
そして、イントラ符号化でリフレッシュ動作が行われ（ステップＳ３０７）、イントラ符号化モードでの符号化が終了した後はパラメータ値Ｔ（ｎ）がリセットされる（ステップＳ３０８）。Ｔ（ｎ）＜ｒｅｆｒｅｓｈ＿Ｔｈｒのときは切り換え接点Ｓは端子Ｂと接続されたままで、インター符号化モードで符号化を継続する（ステップＳ３０６）。
【００５４】
以上、説明したように、インター符号化モード時において各マクロブロック単位で可変長符号化され発生したビット数を計数して、パラメータ値Ｔ（ｎ）の更新条件である所定のビット数値や、イントラ符号化モードの符号化に切り換えるための判断基準となる所定の境界値をきめ細かく設定してリフレッシュを行うことで、誤りによる画面の画質劣化を最小限に抑えることができる。
【００５５】
図４は、本発明の第２の実施形態における動画像符号化装置の構成を示すブロック図である。また、図５は、本発明の第２の実施形態においてイントラ符号化モードでリフレッシュするまでの手順を示すフローチャートである。
【００５６】
本発明の第２の実施形態は、インター符号化時にＤＣＴ・量子化部１４で得られた各マクロブロック単位での非ゼロ係数が多いか少ないかを監視することにより、イントラ符号化を行うか、インター符号化を行うかを選択するものである。即ち、ＤＣＴ演算で得られたＤＣＴ係数のうち非ゼロ係数が多ければ入力された画像に大きな変動が起きていると判断でき、その非ゼロ係数を計数してこの計数値に応じてリフレッシュ動作を行うかどうかを判断するものである。
【００５７】
図４において、動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，ＤＣＴ・量子化部１４，ＩＤＣＴ・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，パラメータ値制御部１９，係数量総数抽出部２２およびイントラ／インター判定部２０，モード切替部２１から構成される。
【００５８】
ここで、図１と同一の番号を付してある機能ブロックは同一の機能を有していることを示す。
【００５９】
係数量総数抽出部２２は、ＤＣＴ・量子化部１４から各マクロブロック単位で離散コサイン変換され、得られたＤＣＴ係数のうち非ゼロ係数を計数し非ゼロ係数の総数を抽出する。
【００６０】
次に、このように構成された動画像符号化装置において、動画像を符号化しイントラ符号化に切り換えられリフレッシュ動作に至るまでの手順について、図５を参照して説明する。ここで、図５における記号（Ｂ）は、図２の（Ｂ）と接続され、図２の（Ｂ）から継続して処理が行われることを示している。すなわち、イントラ符号化ならびにインター符号化において、可変長符号化部１６で、各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数を可変長符号化し、符号化データが形成されるまでは図２に示したフローチャートと同じである。
【００６１】
通常、動画像符号化において、各マクロブロックを離散コサイン変換し、量子化を行った後可変長符号化を行う際に、各マクロブロックに非ゼロ係数が存在するか否かを表すパラメータ値が形成される。本発明は、この抽出された非ゼロ係数の総数を用いて発生符号量を推測し、そのパラメータ値を更新させるというものである。
【００６２】
インターモード符号化時において、ＤＣＴ・量子化部１４で各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数のうち、非ゼロ係数のみを計数しその総数を抽出し、パラメータ値制御部１９へ送られる（ステップＳ５０１）。そして、パラメータ値制御部１９では、ｎ番目のマクロブロックについて、その非ゼロ係数の総数ｎ＿ｃｏｅｆと予め設定されている非ゼロ係数の所定値ｔｃｏｅｆ＿Ｔｈとを比較して（ステップＳ５０２）、ｎ＿ｃｏｅｆ＞ｔｃｏｅｆ＿Ｔｈの場合、該当のｎ番目のマクロブロックのパラメータＴ（ｎ）の値が＋１だけインクリメントされる（ステップＳ５０３）。
【００６３】
次の画面でｎ番目のマクロブロックを符号化する際に、イントラ／インター判定部２０でパラメータ値Ｔ（ｎ）と予め設定された境界値ｒｅｆｒｅｓｈ＿Ｔｈｒとを比較し（ステップＳ５０４）、Ｔ（ｎ）＞ｒｅｆｒｅｓｈ＿Ｔｈｒのときはイントラモードで符号化を行うようモード切替部２１に指示を出す。モード切替部２１は、この指示に基づいてイントラ符号化モードとなるよう切り換え接点Ｓを端子ＢからＡに切り換え（ステップＳ５０５）、この直後イントラ符号化でリフレッシュ動作が行われる（図５ ステップＳ５０７）。そして、イントラ符号化モードでの符号化が終了した後はパラメータ値Ｔ（ｎ）がリセットされる（ステップＳ５０８）。Ｔ（ｎ）＜ｒｅｆｒｅｓｈ＿Ｔｈｒのときは、切り換え接点Ｓは端子Ｂと接続されたままでインター符号化モードで符号化を継続する（ステップＳ５０６）。
【００６４】
以上、説明したように、インター符号化モード時において各マクロブロック単位で離散コサイン変換されたＤＣＴ係数のうち非ゼロ係数が計数され、パラメータ値Ｔ（ｎ）の更新条件である所定の非ゼロ係数の総数値や、イントラ符号化モードの切り換えのための判断基準となる所定の境界値をきめ細かく設定しリフレッシュを行うことで、誤りによる画面の画質劣化を最小限に抑えることができる。 また、各マクロブロック単位で離散コサイン変換されたＤＣＴ係数のうちこの非ゼロ係数を計数するために新たな機能を追加することなく、容易に非ゼロ係数を計数することができる。
【００６５】
図６は、本発明の第３の実施形態における動画像符号化装置の構成を示すブロック図である。また、図７は、本発明の第３の実施形態においてイントラ符号化モードでリフレッシュを行うまでの手順を示すフローチャートである。ここで、図７における記号（Ａ）および（Ｂ）は、図３の（Ａ）および図５の（Ｂ）とそれぞれ接続され、さらに接続先における処理が行われることを示している。
【００６６】
本発明の第３の実施形態は、伝送路の誤り率に応じて、パラメータ値Ｔ(ｎ)の更新条件またはイントラ／インター符号化の切り換えのための判定基準の双方または一方を変更するというものである。
【００６７】
図６において、動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，ＤＣＴ・量子化部１４，ＩＤＣＴ・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，パラメータ値制御部１９，係数量総数抽出部２２，パラメータ値制御部１９，誤り率検出部３１およびイントラ／インター判定部２０から構成される。ここで、図１および図４と同一番号を付してある機能ブロックは同一の機能を有していることを示している。
【００６８】
誤り率検出部３１は、図示しない伝送路で発生した誤りの誤り率を検出するものである。
【００６９】
次に、このように構成された動画像符号化装置において、動画像が符号化されイントラ符号化に切り換えられリフレッシュ動作に至るまでの手順について、図７を参照して説明する。なお、イントラ符号化ならびにインター符号化において、可変長符号化部１６で、各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数を可変長符号化し、符号化データが形成されるまでは、図２に示したフローテャートと同じである。
【００７０】
伝送路で発生した誤りは誤り率検出部３１で誤り率Ｅｒとして検出され、この結果はパラメータ値制御部１９，およびイントラ／インター判定部２０に送られる（ステップＳ７０１）。パラメータ値制御部１９やイントラ／インター判定部２０では、伝送路の誤り率の基準値を複数用意し（α１〜αｋ）、この検出した誤り率Ｅｒとその誤り率の基準値αｋとが比較される（ステップＳ７０２）。
そして、検出した誤り率Ｅｒがこの基準値αｋより高くなった場合、パラメータ値制御部１９の更新条件である予め設定されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定のゼロ係数総数値ｔｃｏｅｆ＿Ｔｈまたはイントラ／インター判定部２０の判断条件である予め設定された境界値ｒｅｆｒｅｓｈ＿Ｔｈｒの双方または一方が下方修正される（ステップＳ７０３）。
【００７１】
これ以降の処理については、修正されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定の係数総数値ｔｃｏｅｆ＿Ｔｈ、境界値ｒｅｆｒｅｓｈ＿Ｔｈｒを用いて、図３の（Ａ）または図５の（Ｂ）のそれぞれの接続先において前述した処理が行われる。
【００７２】
以上、説明したように、伝送路で発生する誤りを監視し、これに応じた伝送路の誤り率の基準値を複数用意し、検出した誤り率が１つの基準値より高くなった場合、パラメータ値の更新条件またはイントラ符号化に切り換えるための判断条件の双方または一方を下方修正することにより、イントラ符号化モードによるリフレッシュ動作がきめ細かく行うことができ、イントラ符号化されるマクロブロック数が増加して、動画像復号化装置側での画質劣化の残留を防止することができる。
【００７３】
図８は、本発明の第４の実施形態における動画像符号化装置の構成を示すブロック図である。また、図９は、本発明の第４の実施形態においてイントラ符号化モードでリフレッシュするまでの手順を示すフローチャートである。ここで、図９における記号（Ａ）および（Ｂ）は、図３の（Ａ）および図５の（Ｂ）とそれぞれ接続され、さらに接続先における処理が行われることを示している。
【００７４】
本発明の第４の実施形態は、レイト制御用バッファに蓄積されている符号化データに応じて、パラメータ値Ｔ(ｎ)の更新条件またはイントラ／インター符号化の切り換えのための判断条件の双方または一方を変更させるというものである。
【００７５】
図８において、動画像符号化装置は、ブロック切出し部１１，動き検出部１２，動き補償部１３，ＤＣＴ・量子化部１４，ＩＤＣＴ・逆量子化部１５，可変長符号化部１６，フレームメモリ１７，レイト制御用バッファー４１，バッファー量測定部４２，係数量総数抽出部２２，パラメータ値制御部１９およびイントラ／インター判定部２０から構成される。ここで、図１、図４および図６と同一の番号を付してある機能ブロックは同一の機能を有していることを示している。
【００７６】
レイト制御用バッファ４１は、可変長符号化された画像データを音声等他のデータと多重化し蓄積するためのバッファメモリである。このバッファメモリは、符号化レートを一定に保つために、バッファメモリ中の蓄積量をある一定の範囲以上となるように制御されるバッファである。
【００７７】
バッファ量測定部４２は、画面単位でレイト制御用バッファに蓄積されている符号量を計数し、予め設定されている基準値以下となったとき、その結果をパラメータ値制御部１９，およびイントラ／インター判定部２０に送る。
【００７８】
次に、このように構成された動画像符号化装置において、動画像が符号化されイントラ符号化に切り換えられてリフレッシュ動作に至るまでの手順について、図９を参照して説明する。また、イントラ符号化ならびにインター符号化において、可変長符号化部１６で、各マクロブロック毎に離散コサイン変換し量子化されたＤＣＴ係数を可変長符号化し、符号化データが形成されるまでは、図２示したフローチャートと同じである。
【００７９】
画面単位でレイト制御用バッファに蓄積されている符号量ｂｕｆ＿ｃｏｄをバッファ量測定部４２で計数し（ステップ９０２）、ある基準値ｂｕｆ＿Ｔｈｒと比較してｂｕｆ＿Ｔｈｒ＞ｂｕｆ＿ｃｏｄとなった場合（ステップ９０３）にパラメータ値Ｔ（ｎ）の更新条件またはイントラ／インター符号化の切り換えのための判断条件の双方または一方を変更するよう要求信号を出力する。この結果に基づいて、パラメータ値制御部１９の更新条件である予め設定されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定の係数総数値ｔｃｏｅｆ＿Ｔｈまたはイントラ／インター判定部２０の判断条件である予め設定された境界値ｒｅｆｒｅｓｈ＿Ｔｈｒの双方または一方を下方修正する（ステップ９０４）。これ以降の処理については、修正されたビット数の所定値ｂｉｔｓ＿Ｔｈｒ、所定の係数総数値ｔｃｏｅｆ＿Ｔｈ、境界値ｒｅｆｒｅｓｈ＿Ｔｈｒを用いて、前述した図３の（Ａ）または図５の（Ｂ）のそれぞれの接続先において前述した処理が行われる。
【００８０】
以上、説明したように、レイト制御用バッファに蓄積されるバッファ量を計数し、計数されたバッファ量がその規定値以下になった場合、パラメータ値の更新条件またはイントラ符号化に切り換えるための判断条件の双方または一方を下方修正することにより、イントラ符号化モードによるリフレッシュ動作がきめ細かく行うことができ、イントラ符号化されるマクロブロック数が増加し、動画像復号化装置側での誤りにより画質劣化した画面の残留を防ぐことができる。
【００８１】
また、通常、レイト制御用バッファに蓄積されるバッファ量が規定値以下となった場合は、動画像復号化装置側で捨てられるダミーのビット（これを、「スタッフィングビット」という。）が付加される。この第４の実施形態においては、このダミービットの代わりにイントラ符号化におけるリフレッシュによるマクロブロックを増加させて、レイト制御用バッファに規定値以上の符号化データを格納することにより、発生した符号量が少ない場合においても誤ったデータの伝搬を防止することができる。
【００８２】
本発明は、これらの実施形態に限定されるものではなく、本発明の技術的思想の範囲以内で種々の変更や拡張が可能である。例えば、予測符号化方式として、動き予想補償による符号化方式を例にして説明したが、背景予測やフレーム間差分抑圧等の符号化技術を利用しても、以上説明した効果と同様の効果を得ることができる。
【００８３】
【発明の効果】
以上、詳細に説明したように、本発明によれば、各マクロブロック単位で可変長符号化されたビット数の計数値や離散コサイン変換されたＤＣＴ係数のうち非ゼロ係数の計数値に応じて、パラメータ値の更新条件および符号化モードの切り換えのための判断条件をきめ細かく設定し、イントラ符号化によるリフレッシュを行うことで、誤りによる画面の画質劣化を抑えることができる。
【００８４】
また、前述の非ゼロ係数を計数する場合において、これを計数するために新たな機能追加をすることなく、容易に非ゼロ係数を計数することができる。
【００８５】
そして、伝送路での誤り率が所定値より高くなった場合やレイト制御用バッファに蓄積されるバッファ量が規定値以下となった場合に、パラメータ値の更新条件またはイントラ符号化に切り換えるための判断条件の双方または一方を下方修正することにより、イントラ符号化モードによるリフレッシュ動作をきめ細かく行うことができ、動画像復号化装置側での誤りにより画質劣化の残留を防ぐことができる。
【００８６】
さらに、レイト制御用バッファに蓄積するバッファ量が規定されている場合において、蓄積されるバッファ量を監視し、そのバッファア量に応じて前述の更新条件や判断条件を適切に設定することでイントラ符号化モードによるリフレッシュ動作をさせて、発生する符号量が少ない場合においても誤ったデータの伝搬を防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。
【図２】本発明である動画像符号化装置の符号化の手順を示すフローチャーである。
【図３】本発明の第１の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図４】本発明の第２の実施形態における動画像符号化装置の構成を示すブロック図である。
【図５】本発明の第２の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図６】本発明の第３の実施形態における動画像符号化装置の構成を示すブロック図である。
【図７】本発明の第３の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図８】本発明の第４の実施形態における動画像符号化装置の構成を示すブロック図である。
【図９】本発明の第４の実施形態においてイントラ符号化モードに切り換えてリフレッシュするまでの手順を示すフローチャートである。
【図１０】一般的な動画像符号化装置の構成を示すブロック図である。
【符号の説明】
１１，５１…ブロック切出し部
１２，５２…動き検出部
１３，５３…動き補償部
１４，５４…ＤＣＴ・量子化部
１５，５５…ＩＤＣＴ・逆量子化部
１６，５６…可変長符号化部
１７，５７…フレームメモリ
１８ …発生ビット量抽出部
１９ …パラメータ値制御部
２０ …イントラ／インター判定部
２１ …モード切換部
２２ …係数量総数抽出部
３１ …誤り率検出部
４１ …レイト制御用バッファー
４２ …バッファー量測定部
Claims (5)
- 入力した動画像を構成するフレームをブロックに分割し、当該ブロック単位で符号化を行う動画像符号化装置において、
イントラ符号化が選択されると前記ブロックに分割されたブロックを出力し、インター符号化が選択されると前記ブロックに分割されたブロックと他のフレームから求めたブロックとの差分を求めて出力する演算手段と、
前記演算手段の出力に基づいて量子化データを求める量子化手段と、
前記量子化手段によって得られた量子化データを符号化する符号化手段と、
前記インター符号化が行われた場合、符号化されたブロック毎に前記符号化手段の符号化後に発生したビット数を抽出する発生ビット量抽出手段と、
前記抽出したビット数と第１の閾値とを比較して該ビット数が該第１の閾値より大きいとき、ブロック毎に設けられ、前記比較対象としたブロックに対応するパラメータ値をカウントアップするパラメータ値制御手段と、
前記パラメータ値と第２の閾値とを比較し、該パラメータ値が該第２の閾値より大きい場合に次のブロックの符号化としてイントラ符号化を選択し、それ以外の場合に次のブロックの符号化としてインター符号化を維持する符号化選択手段と、
前記符号化選択手段によってイントラ符号化が選択された場合、前記パラメータ値をリセットするリセット手段と
を具備することを特徴とする動画像符号化装置。 - 入力した動画像を構成するフレームをブロックに分割し、当該ブロック単位で離散コサイン変換および量子化を施した後に符号化を行う動画像符号化装置において、
イントラ符号化が選択されると前記ブロックに分割されたブロックを出力し、インター符号化が選択されると前記ブロックに分割されたブロックと他のフレームから求めたブロックとの差分データを求めて出力する演算手段と、
前記演算手段の出力を離散コサイン変換および量子化を行うＤＣＴ・量子化手段と、
前記ＤＣＴ・量子化手段によって得られた量子化データを符号化する符号化手段と、
前記インター符号化が行われた場合、前記離散コサイン変換で求められた係数のうち非ゼロ係数の数を前記ブロック単位で抽出する係数抽出手段と、
前記抽出した非ゼロ係数の数と第１の閾値とを比較して該非ゼロ係数の数が該第１の閾値より大きいとき、ブロック毎に設けられ、前記比較対象としたブロックに対応するパラメータ値をカウントアップするパラメータ値制御手段と、
前記パラメータ値と第２の閾値とを比較し、該パラメータ値が該第２の閾値より大きい場合に次のブロックの符号化としてイントラ符号化を選択し、それ以外の場合に次のブロックの符号化としてインター符号化を維持する符号化選択手段と、
前記符号化選択手段によってイントラ符号化が選択された場合、前記パラメータ値をリセットするリセット手段と
を具備することを特徴とする動画像符号化装置。 - 伝送路上の誤り率を検出する検出手段と、
前記検出した誤り率と第３の閾値を比較して該誤り率が該第３の閾値より大きい場合は、前記第１の閾値の値もしくは前記第２の閾値の値を所定量減ずる変更手段と
を更に具備することを特徴とする請求項２に記載の動画像符号化装置。 - 伝送路上の誤り率を検出する検出手段と、
誤り率と閾値との対応関係を複数記憶する記憶手段と、
前記検出手段によって検出された誤り率と前記記憶手段に記憶されている誤り率とを比較して対応する閾値を求め、この閾値を前記第１もしくは前記第２の閾値の値として設定する変更手段と
を更に具備することを特徴とする請求項２に記載の動画像符号化装置。 - 前記ブロック単位で符号化された符号化データを蓄積する蓄積手段と、
前記蓄積手段に蓄積されている符号化データの符号量を計数する計数手段と、
前記計数手段によって計数された符号量と第４の閾値とを比較して該符号量が該第４の閾値より大きいときは、前記第１の閾値の値もしくは前記第２の閾値の値を所定量減ずる変更手段と
を更に具備することを特徴とする請求項２に記載の動画像符号化装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35511599A JP3840020B2 (ja) | 1999-12-14 | 1999-12-14 | 動画像符号化装置 |
| US10/148,185 US6907072B2 (en) | 1999-12-14 | 2000-12-14 | Moving image encoding apparatus |
| PCT/JP2000/008872 WO2001045423A2 (en) | 1999-12-14 | 2000-12-14 | Moving image encoding apparatus |
| DE60045311T DE60045311D1 (de) | 1999-12-14 | 2000-12-14 | Bewegtbildkodierungsvorrichtung |
| EP20000983483 EP1238539B1 (en) | 1999-12-14 | 2000-12-14 | Moving image encoding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35511599A JP3840020B2 (ja) | 1999-12-14 | 1999-12-14 | 動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001169286A JP2001169286A (ja) | 2001-06-22 |
| JP3840020B2 true JP3840020B2 (ja) | 2006-11-01 |
Family
ID=18442032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35511599A Expired - Fee Related JP3840020B2 (ja) | 1999-12-14 | 1999-12-14 | 動画像符号化装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6907072B2 (ja) |
| EP (1) | EP1238539B1 (ja) |
| JP (1) | JP3840020B2 (ja) |
| DE (1) | DE60045311D1 (ja) |
| WO (1) | WO2001045423A2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6625211B1 (en) * | 1999-02-25 | 2003-09-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transforming moving picture coding system |
| JP2004531925A (ja) * | 2001-03-05 | 2004-10-14 | インタービデオインコーポレイテッド | 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法 |
| KR100425676B1 (ko) * | 2001-03-15 | 2004-04-03 | 엘지전자 주식회사 | 비디오 전송 시스템의 에러 복구 방법 |
| US6959042B1 (en) * | 2001-10-01 | 2005-10-25 | Cisco Technology, Inc. | Methods and apparatus for measuring compressed video signals and applications to statistical remultiplexing |
| US7020203B1 (en) * | 2001-12-21 | 2006-03-28 | Polycom, Inc. | Dynamic intra-coded macroblock refresh interval for video error concealment |
| US9351013B2 (en) * | 2003-11-13 | 2016-05-24 | Qualcomm Incorporated | Selective and/or scalable complexity control for video codecs |
| US20050232350A1 (en) * | 2004-03-30 | 2005-10-20 | Mana Hamada | Inverse prediction apparatus and decoding apparatus using the same |
| JP4574235B2 (ja) * | 2004-06-04 | 2010-11-04 | キヤノン株式会社 | 画像処理装置、及びその制御方法、プログラム |
| KR100668324B1 (ko) * | 2005-01-21 | 2007-01-12 | 삼성전자주식회사 | 화상 데이터 부호화시의 비트율 제어방법 및 장치 |
| US20060176953A1 (en) * | 2005-02-04 | 2006-08-10 | Nader Mohsenian | Method and system for video encoding with rate control |
| JP4081103B2 (ja) | 2005-05-11 | 2008-04-23 | 株式会社東芝 | 動画像符号化装置 |
| US9661376B2 (en) * | 2005-07-13 | 2017-05-23 | Polycom, Inc. | Video error concealment method |
| JP4724061B2 (ja) * | 2006-07-06 | 2011-07-13 | 株式会社東芝 | 動画像符号化装置 |
| JP4901450B2 (ja) * | 2006-12-19 | 2012-03-21 | 株式会社東芝 | 動画像符号化装置 |
| US8824567B2 (en) * | 2007-04-04 | 2014-09-02 | Ittiam Systems (P) Ltd. | Method and device for tracking error propagation and refreshing a video stream |
| JP4799477B2 (ja) * | 2007-05-08 | 2011-10-26 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
| US8780986B2 (en) * | 2008-06-06 | 2014-07-15 | Apple Inc. | Refresh pixel group selection and coding adjustment |
| JP2010004142A (ja) * | 2008-06-18 | 2010-01-07 | Hitachi Kokusai Electric Inc | 動画像符号化装置、復号化装置、符号化方法及び復号化方法 |
| KR20100095992A (ko) | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
| US8675730B2 (en) * | 2009-07-13 | 2014-03-18 | Nvidia Corporation | Macroblock grouping in a destination video frame to improve video reconstruction performance |
| US8368423B2 (en) * | 2009-12-23 | 2013-02-05 | L-3 Communications Integrated Systems, L.P. | Heterogeneous computer architecture based on partial reconfiguration |
| US9106793B2 (en) | 2013-01-03 | 2015-08-11 | Cisco Technology, Inc. | Method and apparatus for motion based participant switching in multipoint video conferences |
| US9774869B2 (en) * | 2013-03-25 | 2017-09-26 | Blackberry Limited | Resilient signal encoding |
| JP2015002429A (ja) * | 2013-06-14 | 2015-01-05 | 株式会社東芝 | 符号化装置及び監視システム |
| JP7224892B2 (ja) * | 2018-12-18 | 2023-02-20 | ルネサスエレクトロニクス株式会社 | 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0490648A (ja) * | 1990-08-06 | 1992-03-24 | Fujitsu Ltd | 符号化送信方式 |
| JPH05111008A (ja) * | 1991-10-15 | 1993-04-30 | Sony Corp | 情報伝送装置及び情報受信装置 |
| FR2691272B1 (fr) | 1992-05-15 | 1997-01-17 | Thomson Csf | Procede de codage d'images tres bas debit et dispositif de codage mettant en óoeuvre ce procede. |
| JP3450384B2 (ja) | 1993-09-20 | 2003-09-22 | 株式会社東芝 | 動画像符号化装置 |
| EP0661885A1 (en) | 1993-12-28 | 1995-07-05 | Canon Kabushiki Kaisha | Image processing method and apparatus for converting between data coded in different formats |
| US5486863A (en) * | 1994-04-29 | 1996-01-23 | Motorola, Inc. | Method for determining whether to intra code a video block |
| JP3954656B2 (ja) | 1994-09-29 | 2007-08-08 | ソニー株式会社 | 画像符号化装置及び方法 |
| JP3068002B2 (ja) | 1995-09-18 | 2000-07-24 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
| US5959672A (en) * | 1995-09-29 | 1999-09-28 | Nippondenso Co., Ltd. | Picture signal encoding system, picture signal decoding system and picture recognition system |
| GB2306867B (en) | 1995-10-26 | 1998-06-03 | Bosch Gmbh Robert | Method of optimizing the transmission of signals |
| US6057893A (en) * | 1995-12-28 | 2000-05-02 | Sony Corporation | Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium |
| JPH10164581A (ja) * | 1996-12-03 | 1998-06-19 | Sony Corp | 画像信号符号化方法及び装置、信号記録媒体 |
| JP3197868B2 (ja) | 1997-03-28 | 2001-08-13 | 松下電器産業株式会社 | 画像符号化方法、イントラ符号化制御方法及びデータ記録媒体 |
| US6563549B1 (en) * | 1998-04-03 | 2003-05-13 | Sarnoff Corporation | Method and apparatus for adaptively encoding an information stream |
| GB9817292D0 (en) * | 1998-08-07 | 1998-10-07 | Nokia Mobile Phones Ltd | Digital video coding |
-
1999
- 1999-12-14 JP JP35511599A patent/JP3840020B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-14 WO PCT/JP2000/008872 patent/WO2001045423A2/en active Application Filing
- 2000-12-14 EP EP20000983483 patent/EP1238539B1/en not_active Expired - Lifetime
- 2000-12-14 US US10/148,185 patent/US6907072B2/en not_active Expired - Fee Related
- 2000-12-14 DE DE60045311T patent/DE60045311D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60045311D1 (de) | 2011-01-13 |
| US20020172283A1 (en) | 2002-11-21 |
| JP2001169286A (ja) | 2001-06-22 |
| EP1238539A2 (en) | 2002-09-11 |
| EP1238539B1 (en) | 2010-12-01 |
| US6907072B2 (en) | 2005-06-14 |
| WO2001045423A3 (en) | 2002-05-10 |
| WO2001045423A2 (en) | 2001-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3840020B2 (ja) | 動画像符号化装置 | |
| EP0933948B1 (en) | Video encoder and video encoding method | |
| US5737022A (en) | Motion picture error concealment using simplified motion compensation | |
| CN109862359B (zh) | 基于分层b帧的码率控制方法、装置和电子设备 | |
| JP3157101B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| US7437009B2 (en) | Image coding apparatus, image coding method, and image coding program for coding at least one still frame with still frame coding having a higher quality than normal frame coding of other frames | |
| JP4644939B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| AU2012206839B2 (en) | Image coding and decoding method, image data processing method and devices thereof | |
| JP3576402B2 (ja) | 画像復号化装置 | |
| JPH09247681A (ja) | 動画像復号方法および動画像復号装置 | |
| JP4532980B2 (ja) | 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| US6389073B1 (en) | Coding control method, coding control apparatus and storage medium containing coding control program | |
| JP4133346B2 (ja) | 予測タイプの選択によるビデオデータブロックのイントラ符号化 | |
| JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
| JP4432582B2 (ja) | 動画像情報復元装置、動画像情報復元方法、動画像情報復元プログラム | |
| JPH08251597A (ja) | 動画像符号化／復号化装置 | |
| JP4718736B2 (ja) | 動画像符号化装置 | |
| AU2015268694B2 (en) | Image coding and decoding method, image data processing method, and devices thereof | |
| Ding et al. | Correction of random and outburst error in MPEG-2 code | |
| JP4264790B2 (ja) | 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 | |
| KR960006607A (ko) | 장면 전환시의 비트율 제어방법 | |
| JP3884003B2 (ja) | 画像復号化装置 | |
| US8358694B2 (en) | Effective error concealment in real-world transmission environment | |
| KR100372127B1 (ko) | 화상부호화방법및화상부호화장치 | |
| JP2005318257A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060804 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |