JP6111556B2 - 動画像再符号化装置、方法及びプログラム - Google Patents

動画像再符号化装置、方法及びプログラム Download PDF

Info

Publication number
JP6111556B2
JP6111556B2 JP2012179071A JP2012179071A JP6111556B2 JP 6111556 B2 JP6111556 B2 JP 6111556B2 JP 2012179071 A JP2012179071 A JP 2012179071A JP 2012179071 A JP2012179071 A JP 2012179071A JP 6111556 B2 JP6111556 B2 JP 6111556B2
Authority
JP
Japan
Prior art keywords
encoding
mode
picture
information
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012179071A
Other languages
English (en)
Other versions
JP2014039095A (ja
Inventor
章弘 屋森
章弘 屋森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012179071A priority Critical patent/JP6111556B2/ja
Priority to US13/897,977 priority patent/US9544594B2/en
Publication of JP2014039095A publication Critical patent/JP2014039095A/ja
Application granted granted Critical
Publication of JP6111556B2 publication Critical patent/JP6111556B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

開示の技術は動画像再符号化装置、動画像再符号化方法及び動画像再符号化プログラムに関する。
動画像の符号化方式として、ISO/IEC(International Standardization Organization/International Electrotechnical Commission)で策定されたMPEG-2(Moving Picture Experts Group)が広く普及している。また、通信向けの国際標準規格を定めるITU-T(International Telecommunication Union Telecommunication Standardization Sector)で策定されたH.264/AVC(H.264/ MPEG-4 Advanced Video Coding)も広範に普及している。
これらの符号化方式は、映像素材として図１９に示すような順次走査であるプログレッシブ映像や１ライン毎の飛び越し走査であるインターレース映像に対応している。動画像の符号化には、図２０に示すフレーム符号化(プログレッシブ符号化)とフィールド符号化がある。フレーム符号化は１フレームの垂直方向ラインを隙間なく全ライン取り出した映像を用いて符号化を行い、フィールド符号化は１フレームを１ラインおきに取り出した映像を用いて符号化を行う。フィールド符号化は、映像の取り出し位置により、トップフィールド符号化とボトムフィールド符号化が存在する。
ところで、個々の符号化方式は、サポートされている符号化技術が異なるために、符号化効率も異なり、符号化処理又は復号処理の演算量も異なる。このため、ハードウェアリソースが限られている装置、例えば、携帯電話機や携帯情報端末等では、相対的に演算量が少ない符号化方式しかサポートされていないことがある。そこで、第１の符号化方式により一旦符号化された動画像データを復号し、復号した動画像データを第２の符号化方式に従って再度符号化する動画像再符号化装置（トランスコーダとも呼ばれる）が開発されている。例えば、MPEG-2に従って符号化された動画像データをH.264 MPEG-4 AVCに従って再符号化する際に、フィールド符号化モードとフレーム符号化モードとを切り替えられるトランスコーダが提案されている。
特開２００９−２１２６０８号公報
図２１に示ように、MPEG2では符号化処理ブロック単位でフィールド符号化モードとフレーム符号化モードの切り替えが可能である。それに対してH.264/AVCではフィールド符号化モードとフレーム符号化モードを１フレーム単位で切り替え可能な符号化方式があり、これをPAFF(Picture Adaptive Frame Field)と称している。具体例を挙げると、MPEG-2ではMB(MacroBlock)と呼ばれる16×16画素の符号化処理ブロック単位でフィールド符号化モードとフレーム符号化モードを切替可能で、H.264 PAFFではフレーム単位でフィールド符号化モードとフレーム符号化モードを切替可能である。
ここで、MPEG-2で符号化されたビットストリームをH.264 PAFFのビットストームへ再符号化することを考える。PAFFで再符号化を行う場合、ピクチャ毎にフィールド符号化、フレーム符号化の双方を実際にビットストリーム生成まで行い、結果的に効率の良い符号化モードを選択する２パス符号化を行えば符号化効率が最大となる。しかし、２パス符号化は、符号化処理を２回実行してフィールド符号化かフレーム符号化かを選択するので、演算量が従来の２倍以上必要となり演算量が大きいという課題がある。
開示の技術は、一つの側面として、ブロック単位で符号化モードを切り替えて符号化された動画像を、ピクチャ単位で符号化モードを切り替えて再符号化する場合の符号化モードを、符号化を複数回行うことなく適切に決定することが目的である。
開示の技術は、復号部、符号化モード情報取得部、再符号化情報取得部、符号化モード判定部及び再符号化部を含んでいる。復号部は、ピクチャを分割したブロック単位で、フレームを基準として符号化するフレーム符号化モード又はフィールドを基準として符号化するフィールド符号化モードに切り替え可能な第１の符号化方式で符号化された符号化済み動画像データを復号する。符号化モード情報取得部は、符号化済み動画像データが復号部によって復号される際に、ブロック単位で切り替えられた符号化モードがフレーム符号化モードかフィールド符号化モードかに応じて相違する符号化モード情報を復号部から取得する。再符号化情報取得部は、復号部によって復号された動画像データに対してピクチャ単位でフレーム符号化モード又はフィールド符号化モードに切り替え可能な第２の符号化方式で第２の符号化が実施された際の第２の符号化に割り当てられた情報量に関する統計情報を取得する。符号化モード判定部は、符号化モード情報取得部によって取得されたブロック単位の符号化モード情報、及び、再符号化情報取得部によって取得された統計情報に基づいて、ピクチャを単位とした符号化を行う際にピクチャを構成するブロックの符号化モードの割合によってフレーム符号化モード又はフィールド符号化モードと判定する基準を、統計情報が表す情報量のうち、Ｉピクチャの発生情報量の比率が大きくなるに従ってフィールド符号化モードが選択され易くなるように調整し、第２の符号化方式の符号化モードを判定する。そして再符号化部は、符号化モード判定部で判定された符号化モードに従い、復号部によって復号された動画像データに対して第２の符号化を行う。
開示の技術は、一つの側面として、ブロック単位で符号化モードを切り替えて符号化された動画像を、ピクチャ単位で符号化モードを切り替えて再符号化する場合の符号化モードを、符号化を複数回行うことなく適切に決定できる、という効果を有する。
実施形態に係る動画像再符号化装置の概略構成を示すブロック図である。 第１実施形態における復号・符号化モード取得処理のフローチャートである。 ＭＰＥＧ２におけるマクロブロックモードのシンタックスを示す図表である。 ＭＰＥＧ２におけるＤＣＴモード(フレームＤＣＴ及びフィールドＤＣＴ)の説明図である。 frame_motion_typeの取り得る要素を示す図表である。 field_motion_typeの取り得る要素を示す図表である。 dct_typeの取り得る要素を示す図表である。 第１実施形態における再符号化モード判定処理のフローチャートである。 第２実施形態における再符号化情報取得処理のフローチャートである。 再符号化部から取得した統計情報を、符号化モードの判定式の閾値にフィードバックさせる例を示すタイミングチャートである。 再符号化部から取得した統計情報を、符号化モードの判定式の閾値にフィードバックさせる例を示すタイミングチャートである。 第３実施形態における再符号化情報取得処理のフローチャートである。 第４実施形態における再符号化モード判定処理のフローチャートである。 第５実施形態における再符号化情報取得処理のフローチャートである。 第６実施形態に係るコンピュータの概略ブロック図である。 比較例に係る動画像再符号化装置の概略構成を示すブロック図である。 符号化モード毎の符号化発生情報量とＳＮ比の関係の一例を示す線図である。 符号化モード毎のＩピクチャの割合の一例を示す線図である。 プログレッシブ映像及びインターレース映像を各々示す概略図である。 プログレッシブ符号化及びインターレース符号化を各々示す概略図である。 ブロック単位でのフィールド符号化モードとフレーム符号化モードの切り替えを示す概略図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下では開示の技術の実施形態の説明に先立ち、まず開示の技術の比較例を説明する。
〔比較例〕
図１６には、本比較例に係る動画像再符号化装置１００が示されている。動画像再符号化装置１００は、復号部１２、再符号化部１４、重要度情報取得部１６及び符号化モード判定部２０を有する。動画像再符号化装置１００の各部は、各々別個の回路として形成される。また、動画像再符号化装置１００の各部は、各部に対応する回路が集積された一つの集積回路として実装されてもよい。また、動画像再符号化装置１００の各部は、ＣＰＵがコンピュータプログラムを実行することで実現される機能モジュールであってもよい。
動画像再符号化装置１００は、符号化された動画像データを含むデータストリームを、例えば、通信ネットワーク及び動画像再符号化装置１００を通信ネットワークに接続するためのインターフェース回路を介して取得する。動画像再符号化装置１００は、取得したデータストリームを、図示しないバッファメモリに記憶させる。動画像再符号化装置１００は、符号化された動画像データを、符号化されたピクチャの順序に従ってバッファメモリから読み出し、読み出したピクチャを復号部１２へ入力する。
復号部１２は、符号化されたピクチャを復号し、復号されたピクチャを再符号化部１４へ渡す。また復号部１２は、符号化されたピクチャがマクロブロック単位でフレーム符号化されていたかフィールド符号化されていたかを表す情報を重要度情報取得部１６へ出力する。なお、マクロブロックは、例えば、16×16画素のサイズを持つが、16×16画素のサイズよりも大きくてもよいし、16×16画素のサイズよりも小さくてもよい。
復号部１２は、可変長復号部２２、逆量子化・逆直交変換部２４、加算部２６、参照画像記憶部２８及び動き補償部３０を有する。
可変長復号部２２は、入力された入力ビットストリームを、マクロブロック(ＭＢ)単位で可変長符号化されている動画像データに可変長復号する。なお、可変長符号化方式としては、例えば、Context-based Adaptive VariableLength Coding(CAVLC)といったハフマン符号化方式、或いは、Context-based AdaptiveBinary Arithmetic Coding(CABAC)といった算術符号化方式が適用される。可変長復号部２２は、量子化された予測誤差信号である量子化信号を再生する。また可変長復号部２２は、着目するマクロブロックがインター符号化されていれば、そのマクロブロックについての動きベクトルを可変長復号する。なお、インター符号化とは、着目するピクチャと、その前後のピクチャ間の相関性を利用して着目するピクチャを符号化する符号化方式を表す。そして可変長復号部２２は、再生した動きベクトルを動き補償部３０へ出力し、量子化信号を逆量子化・逆直交変換部２４へ出力する。
また、可変長復号部２２は、符号化されている動画像データに含まれるヘッダ情報から復号に必要な各種の情報、例えば、イントラ予測符号化またはインター予測符号化されているマクロブロックに対して適用された予測モードを表す情報などを抽出する。そして可変長復号部２２は、その予測モードを動き補償部３０に通知する。
可変長復号部２２は、入力された動画像データがMPEG-2に従って符号化されている場合、frameMotionType、fieldMotionTypeまたはdctTypeという３種類のフラグを符号化モード情報として参照することで、符号化モードを特定する。例えば、可変長復号部２２は、fieldMotionTypeが規定されているマクロブロックはフィールド符号化されていると判定する。また、可変長復号部２２は、frameMotionTypeのコード値が'10'であれば、そのframeMotionTypeに対応するマクロブロックはフレーム符号化されていると判定する。
一方、frameMotionTypeのコード値がその他の値であれば、可変長復号部２２は、そのframeMotionTypeに対応するマクロブロックはフィールド符号化されていると判定する。また、可変長復号部２２は、dctTypeの値が'1'であれば、そのdctTypeに対応するマクロブロックはフィールド符号化されていると判定し、dctTypeの値が'0'であれば、そのdctTypeに対応するマクロブロックはフレーム符号化されていると判定する。可変長復号部２２は、マクロブロック毎に、フレーム符号化されているかフィールド符号化されているかを表す情報を重要度情報取得部１６へ出力する。
逆量子化・逆直交変換部２４は、可変長復号部２２から入力された量子化信号に、符号化された動画像データに含まれるヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、着目するマクロブロックの周波数信号が復元される。周波数信号は、例えば、入力された動画像データを符号化した動画像符号化装置がマクロブロックに対して実行した直交変換処理により得られる、周波数成分毎の強度を表す係数の組である。例えば、直交変換処理として離散コサイン変換(Discrete cosine transform,ＤＣＴ)が用いられている場合、量子化信号を逆量子化することによってＤＣＴ係数の組が得られる。また直交変換処理としてアダマール(Hadamard)変換が用いられている場合、量子化信号を逆量子化することによってアダマール係数の組が復元される。
続いて逆量子化・逆直交変換部２４は、周波数信号を逆直交変換処理する。この逆直交変換処理は、マクロブロックに対して実行された直交変換処理の逆変換である。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより予測誤差信号が再生される。逆量子化・逆直交変換部２４は、マクロブロック毎に再生された予測誤差信号を加算部２６へ出力する。
加算部２６は、マクロブロック毎に、動き補償部３０から入力された予測画像の各画素値に、その画素に対応する再生された予測誤差信号を加算することで、マクロブロックを再生する。そして加算部２６は、再生されたマクロブロックを符号化順序に従って結合することによりピクチャを再生する。加算部２６は、再生されたピクチャを参照画像記憶部２８に記憶させる。
参照画像記憶部２８は、例えば、フレームメモリを有する。参照画像記憶部２８は、加算部２６から入力されたピクチャを一時的に記憶する。また参照画像記憶部２８は、動き補償部３０に参照画像としてピクチャを供給する。また参照画像記憶部２８に記憶された各ピクチャは、例えば、時間順に再配置された後に読み出されて、再符号化部１４へ出力される。なお、入力された動画像データにおける各ピクチャの符号化順序が、再符号化の各ピクチャの符号化順序と同一でよければ、復号部１２は、再生された順序に従って各ピクチャを出力してもよい。
動き補償部３０は、予測符号化されたマクロブロック毎に、ヘッダ情報から抽出された予測モードに従って、予測画像を生成する。動き補償部３０は、参照画像記憶部２８から、着目するマクロブロックを符号化する際に用いられた参照画像を読み込む。動き補償部３０は、適用された予測モードが前方向予測モードまたは後方向予測モードなど、インター符号化用の予測モードの何れかであれば、動きベクトルを用いて参照画像の動きを補償することにより予測画像を生成する。動きベクトルは、着目するマクロブロックと、そのマクロブロックに最も類似する参照画像との空間的な移動量を表す。また、動き補償は、動きベクトルで表された、マクロブロックとそれに対して最も類似する参照画像上のブロックの位置ずれ量を相殺するように、その最も類似する参照画像上のブロックの位置を移動する処理である。
動き補償部３０は、着目するマクロブロックがフレーム符号化されていれば、フレームに対して設定されたマクロブロックに対して求められた動きベクトルを用いて参照画像の動き補償を行う。一方、着目するマクロブロックがフィールド符号化されていれば、動き補償部３０は、トップフィールドに対して求められた動きベクトルとボトムフィールドに対して求められた動きベクトルとを各々用いて、フィールド毎に参照画像の動き補償を行う。また、動き補償部３０は、適用された予測モードが、ピクチャ内の既に符号化されたマクロブロックを参照先とするイントラ符号化用の予測モードであれば、そのイントラ符号化モードのうちの適用された予測モードに従って参照画像から予測画像を生成する。動き補償部３０は、生成した予測画像を加算部２６へ出力する。
前述のように、重要度情報取得部１６は、可変長復号の結果から、フレーム符号化されているかフィールド符号化されているかを表す情報(符号化モード)をマクロブロック単位で可変長復号部２２より取得し、結果をカウントする。また、重要度情報取得部１６は、符号化モード毎の発生情報量及び符号化モード毎の動きベクトルの分散をマクロブロック単位で可変長復号部２２より取得する。符号化モード判定部２０は、重要度情報取得部１６によって取得された情報に基づき、PAFF方式に準拠した再符号化単位毎に、フレーム符号化モード及びフィールド符号化モードの中から再符号化の際に適用する符号化モードを判定する。
なお、再符号化の単位は、例えば、フレームを、複数のスライスに分割した個々のスライス単位、フレーム単位、またはGroupOfPictures(ＧＯＰ)単位とすることができる。なお、個々のスライスは、複数のマクロブロックを含むように設定される。例えば、フレームは、フレームの上半分を含むスライスとフレームの下半分を含むスライスとに分割される。或いは、再符号化単位は、インター符号化される際に順序が入れ替えられるフレームの組に相当するリオーダ単位とすることができる。
また、符号化モード判定部２０は、より詳しくは、以下の(１)〜(３)式の条件を満たすか否かに基づいて符号化モードの判定を行う。
FieldNum≧TH1 …(１)
上記の(１)式において、FieldNumは重要度情報取得部１６によって取得される復号部１２のブロック単位のフィールド符号化ブロック数、Th1は判定閾値である。
FieldInfo≧FlameInfo×TH2 …(２)
上記の(２)式において、FieldInfoは重要度情報取得部１６によって取得されるフィールド符号化ブロックにおける累積発生情報量、FlameInfoは重要度情報取得部１６によって取得されるフレーム符号化ブロックにおける累積発生情報量、TH2は判定閾値である。
AveFieldMVx≧AveFlameMVx×TH3 …(３)
上記の(３)式において、AveFieldMVxは重要度情報取得部１６によって取得されるフィールド符号化ブロックにおける各動きベクトルの水平成分の平均である。AveFlameMVxは重要度情報取得部１６によって取得されるフレーム符号化ブロックにおける各動きベクトルの平均であり、TH3は判定閾値である。符号化モード判定部２０は、(１)〜(３)式の条件の何れかを満たす場合には、再符号化部１４で行う符号化をフィールド符号化モードと判定し、(１)〜(３)式の条件の何れかも満たさない場合には、フレーム符号化モードと判定する。
再符号化部１４は、復号された動画像データをPAFF方式に従って再符号化する。再符号化部１４は、動きベクトル検出部３２、動き補償部３４、予測誤差信号生成部３６、直交変換・量子化部３８、逆直交変換・逆量子化部４０、加算部４２、参照画像記憶部４４及び可変長符号化部４６とを有する。
動きベクトル検出部３２は、インター符号化用の予測画像を生成するために、入力されたマクロブロックと参照画像とを用いて、動きベクトルを検出する。動きベクトル検出部３２は、符号化モード判定部２０からフレーム符号化モードを適用することが通知されている場合には、フレームから生成したマクロブロック毎に動きベクトルを検出する。一方、動きベクトル検出部３２は、符号化モード判定部２０からフィールド符号化モードを適用することが通知された場合には、トップフィールドから生成したマクロブロック毎、及び、ボトムフィールドから生成したマクロブロック毎に動きベクトルを検出する。
動きベクトル検出部３２は、入力されたマクロブロックと、参照画像とのブロックマッチングを実行することにより、入力されたマクロブロックと最も一致する参照画像及び当該参照画像が含まれるピクチャ上での位置を決定する。具体的には、ブロックマッチングは、原画像のマクロブロックと参照画像から切り出したマクロブロックの各画素間の差分絶対値和累積値を演算することで動き探索を行い、最小値を探索する等により、最適な動きベクトルを探索する。なお、マクロブロックが16×16画素の場合、差分絶対値和累積値は、左上から右下までの256画素の各画素について差分絶対値を累積した値となる。
なお、動き探索は、画素の差分絶対値和の大きさのみでなく、動きベクトルの評価値も付加する事が一般的である。動きベクトルの符号化は、成分そのものでなく周辺のマクロブロックの動きベクトルとの差分ベクトルを符号化するので、差分ベクトルを求め、差分ベクトルの成分の大きさにより、動きベクトル符号長相当の評価値を出力する。動きベクトル検出部３２は、例えば次の(４)式で示される動き探索の評価値costを最小値にする、動きベクトル位置を探し出すことができる。
cost＝SAD_cost＋MV_cost …(４)
なお、(４)式において、SAD_cost(Sum Absolute Difference)は差分絶対値、MV_cost(Motion Vector)は動きベクトルの符号量相当の評価値である。
SAD()は、マクロブロック内の画素差分絶対値和を求めるもので、この場合、原画像のマクロブロックと参照画像のマクロブロックの16×16画素の差分絶対値和を求める。
SAD()＝Σ|*org−*ref|
実際には、マクロブロックは、１つのマクロブロックを複数のサブブロックに分割可能なので、例えば8×8画素のサブブロック４つに分かれている場合は、8×8＝64画素の差分絶対値和の４つの集まりが、SAD評価値となる。サブブロックは、16×16画素や8×8画素の他に、8×16画素、16×8画素、4×8画素、8×4画素、4×4画素と様々な大きさを採用可能である。
イントラマクロブロックの場合は、差分画像でなく原画像そのものを符号化するので、アクティビティACT()という別の評価値を用いる。イントラの場合は、原画像のマクロブロックそのものを直交変換に掛けるので、アクティビティACT()としては、マクロブロックの各画素の平均値(=AveMB)からの隔たり等により求める。
ACT()＝Σ|*org−AveMB|
評価値MV_COSTについては、動きベクトルの符号量に比例した評価値を出力する。具体的に動きベクトルは、成分そのものではなくて、周辺のマクロブロックとの差分ベクトルを符号化するので、差分ベクトルの絶対値の大きさにより評価値を決定する。重み定数λを使用し、評価値MV_COSTの全体cost評価値に対する影響度を変更することも一般的に行われている。
動きベクトル検出部３２は、入力されたマクロブロックのピクチャ上の位置と、前記マクロブロックに最も一致する参照画像との水平方向及び垂直方向の移動量と、参照画像が属するピクチャを表す識別情報を、それぞれ要素とする動きベクトルを検出する。動きベクトル検出部３２は、検出した動きベクトルを、動き補償部３４及び可変長符号化部４６へ出力する。
動き補償部３４は、入力されたマクロブロックに対する予測画像の生成方法を規定する予測モードを決定する。動き補償部３４は、例えば、復号部１２から取得した、入力されたマクロブロックが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのマクロブロックの予測モードを決定する。動き補償部３４は、符号化対象のピクチャのタイプがＩピクチャである場合には、適用される予測モードとしてイントラ符号化モードを選択する。
また動き補償部３４は、符号化対象のピクチャのタイプがＰピクチャである場合には、例えば、適用される予測モードとして、インター符号化モード及びイントラ符号化モードの何れかを選択する。なお、インター符号化モードが、時間的に前のピクチャを参照する前方向予測モードか、時間的に後のピクチャを参照する後方向予測モードかについては、符号化対象のピクチャのＧＯＰ(Group Of Pictures)内の位置を示す情報に基づいて決定される。
さらに、動き補償部３４は、符号化対象のピクチャのタイプがＢピクチャである場合には、適用される予測モードを、イントラ符号化モード、前方向予測モード、後方向予測モード、及び双方向予測モードの中から選択する。
動き補償部３４は、複数の予測モードの中から一つの予測モードを選択する場合、各予測モードについてのマクロブロックの符号化されたデータ量の評価値であるコストをそれぞれ算出する。そして動き補償部３４は、コストが最小となる予測モードを、入力されたマクロブロックに対して適用される予測モードとする。各予測モードに対するコストは、例えば、次の(５)式のように計算される。
ここで、costf、costb、costbi、costiは、それぞれ、前方向予測モード、後方向予測モード、双方向予測モード及びイントラ符号化モードに対応するコストである。orgi,jは、入力されたマクロブロックに含まれる水平方向座標i、垂直方向座標jの画素の値を表す。またrefi,jは、予測画像に含まれる水平方向座標i、垂直方向座標jの画素の値を表す。なお、動き補償部３４は参照画像から予測画像を生成する。またmv1、mv2は、入力されたマクロブロックに対する動きベクトルを表し、premv1、premv2は、直前に符号化されたマクロブロックの動きベクトルを表す。さらに、Table[a,b]は、ベクトルaとベクトルbの差分ベクトルに対応する推定符号量を出力する。例えば、Table[a,b]は、様々な差分ベクトルに対する推定符号量を示した参照テーブルであってもよい。またλは重み定数であり、例えば、1に設定される。AveMBは、入力されたマクロブロックに含まれる画素値の平均値である。また、動き予測に関して、注目するピクチャのマクロブロックの動きベクトルを、その前後のピクチャの動きベクトルから予測するダイレクトモードが適用可能な場合には、動き補償部３４は、ダイレクトモードについてもコストを計算してもよい。
上記のように、マクロブロックが複数のブロックに分割され、個々のブロック毎に動きベクトルが求められることがある。この場合、動き補償部３４は、前方向予測モード、後方向予測モード及び双方向予測モードに関しては、個々のブロック毎に(５)式の演算を行い、ブロック毎に得られたコストの総和をそのモードのコストとする。動き補償部３４は、(５)式に従って、選択対象となる予測モードのそれぞれについてコストを算出する。そして動き補償部３４は、コストが最小となる予測モードを、入力されたマクロブロックに対して適用される予測モードとして選択する。
また動き補償部３４は、選択した予測モードに従って予測画像を生成する。動き補償部３４は、入力されたマクロブロックが前方向予測モード、後方向予測モードによってインター符号化される場合、参照画像記憶部４４から得た参照画像を、動きベクトル検出部３２から提供される動きベクトルに基づいて動き補償する。そして動き補償部３４は、動き補償を行ったマクロブロック単位のインター符号化用の予測画像を生成する。なお、マクロブロックがフレーム符号化モードで符号化される場合、参照画像はフレームから作成され、一方、マクロブロックがフィールド符号化モードで符号化される場合、参照画像はトップフィールドまたはボトムフィールドから作成される。
また、動き補償部３４は、入力されたマクロブロックが双方向予測モードによってインター符号化される場合、二つの動きベクトルのそれぞれによって特定された参照画像に対し、その対応する動きベクトルで動き補償を行う。そして動き補償部３４は、動き補償により得られた二つの補償画像の対応する画素間で画素値を平均することにより予測画像を生成する。動き補償部３４は、入力されたマクロブロックがイントラ予測符号化される場合、入力されたマクロブロックに隣接するマクロブロックから予測画像を生成する。その際、動き補償部３４は、例えば、H.264 MPEG-4 AVCに規定されている水平モード、ＤＣモード、プレーンモードなどに従って予測画像を生成する。動き補償部３４は、生成された予測画像を予測誤差信号生成部３６へ出力する。
予測誤差信号生成部３６は、入力されたマクロブロックと、動き補償部３４により生成された予測画像との差分演算を実行する。また予測誤差信号生成部３６は、差分演算により得られたマクロブロック内の各画素に対応する差分値を予測誤差信号とする。なお、フレーム符号化モードが適用される場合、各マクロブロックはフレームを分割することにより得られる。一方、フィールド符号化モードが適用される場合、各マクロブロックはトップフィールドまたはボトムフィールドを分割することにより得られる。従って、この場合には、予測誤差信号も、トップフィールドとボトムフィールドのそれぞれについて作成される。予測誤差信号生成部３６は、予測誤差信号を直交変換・量子化部３８へ出力する。
直交変換・量子化部３８は、入力されたマクロブロックの予測誤差信号を直交変換することにより、予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す周波数信号を求める。例えば、直交変換・量子化部３８は、直交変換処理として、ＤＣＴを予測誤差信号に対して実行することにより、周波数信号として、マクロブロック毎のＤＣＴ係数の組を得る。或いは、直交変換・量子化部３８は、直交変換処理として、アダマール変換を予測誤差信号に対して実行することにより、周波数信号として、マクロブロック毎のアダマール係数の組を求めてもよい。
次に、直交変換・量子化部３８は周波数信号に対して量子化処理を行う。量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そして、前記一定区間は量子化幅と呼ばれる。例えば、直交変換・量子化部３８は、周波数信号から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、周波数信号に対して量子化処理を行う。量子化幅は、量子化パラメータによって決定される。例えば、直交変換・量子化部３８は、量子化パラメータの値に対する量子化幅の値を表す関数に従って、使用される量子化幅を決定する。また前記関数は量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。
或いは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが、予め複数準備され、直交変換・量子化部３８が有するメモリに記憶される。そして直交変換・量子化部３８は、量子化パラメータに従って、量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして直交変換・量子化部３８は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化幅を決定してもよい。
また直交変換・量子化部３８は、MPEG-2、MPEG-4、H.264 MPEG-4 AVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。直交変換・量子化部３８は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、ｈｔｔｐ：／／ｗｗｗ．ｍｐｅｇ．ｏｒｇ／ＭＰＥＧ／ＭＳＳＧ／ｔｍ5／Ｃｈ10／Ｃｈ10．ｈｔｍｌで特定されるＵＲＬに開示されている。
直交変換・量子化部３８は、量子化処理を実行することにより、周波数信号の各周波数成分を表すために使用されるビットの数を削減することができ、入力されたマクロブロックに含まれる情報量を低減できる。直交変換・量子化部３８は、量子化信号を可変長符号化部４６及び逆直交変換・逆量子化部４０に出力する。
逆直交変換・逆量子化部４０及び加算部４２は、一旦符号化されたマクロブロックを再生することで、ピクチャ内の後続するマクロブロック又は当該マクロブロックが含まれるピクチャに後続するピクチャを符号化するために参照される参照画像を生成する。
逆直交変換・逆量子化部４０は、直交変換・量子化部３８から入力された量子化信号に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、入力されたマクロブロックの周波数信号、例えば、ＤＣＴ係数の組が復元される。その後、逆直交変換・逆量子化部４０は、周波数信号に対して逆直交変換処理を行う。例えば、直交変換・量子化部３８でＤＣＴ処理が行われる場合、逆直交変換・逆量子化部４０は、逆量子化信号に対して逆ＤＣＴ処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。そして逆直交変換・逆量子化部４０は、再生されたマクロブロック毎の予測誤差信号を加算部４２へ出力する。
加算部４２は、マクロブロック毎に、予測画像の各画素値に、各画素に対応する再生された予測誤差信号を加算することで、各マクロブロックを再生する。そして加算部４２は、再生されたマクロブロックをその符号化順序に従って結合することにより、参照画像を生成する。加算部４２は、参照画像を参照画像記憶部４４に記憶させる。参照画像記憶部４４は、例えばフレームメモリを有する。参照画像記憶部４４は、加算部４２から入力された参照画像を一時的に記憶する。また参照画像記憶部４４は、動きベクトル検出部３２、動き補償部３４に参照画像を供給する。
可変長符号化部４６は、直交変換・量子化部３８から入力された量子化された周波数信号及び動きベクトル検出部３２から受け取った動きベクトルを可変長符号化することにより、データ量が圧縮された符号化信号を生成する。そのために、可変長符号化部４６は、例えば、量子化された周波数信号に対して、CAVLCといったハフマン符号化処理、或いはCABACといった算術符号化処理を用いることができる。
可変長符号化部４６により生成された符号化信号に対して、動画像再符号化装置１００は、マクロブロック毎の予測モードなどを含む所定の情報をヘッダ情報として付加することにより、符号化された動画像データを含むデータストリームを生成する。動画像再符号化装置１００は、データストリームを磁気記録媒体、光記録媒体、或いは半導体メモリなどを有する記憶部(図示省略)に記憶するか、或いは、データストリームを他の機器へ出力する。
以上説明したように、本比較例では、符号化モード判定部２０が先の(１)〜(３)式の条件を満たすか否かに基づいて、再符号化の符号化モードがフィールド符号化モードであるかフレーム符号化モードであるかを判定している。しかしながら、実際に、再符号化の圧縮率(再符号化ビットレート)を変更すると、図１７に示すように、フレーム符号化(固定)の効率とフィールド符号化(固定)の効率が逆転する場合がある。この場合、低ビットレートになる程、フィールド符号化モードの方が符号化の効率が高くなる。すなわち、先の(１)〜(３)式の判定では、再符号化の圧縮率を考慮していないために、再符号化のビットレートが変更される場合、特に超低ビットレートで再符号化を行われる場合に、符号化モードが誤選択されて符号化効率が低下することがある。
低ビットレートになる程、フィールド符号化モードの方が符号化の効率が高くなる理由としては、図１８に示すように、各符号化モードにおけるＩピクチャの情報量の違いが考えられる。すなわち、同じＧＯＰ(Group Of Picture)周期でＩピクチャが存在すると考えた場合、フレーム符号化モードではＧＯＰ１周期当りでＩピクチャが１フレームとなるが、フィールド符号化モードではＧＯＰ１周期当りでＩピクチャが１フィールドで済む。１フレーム＝２フィールドなので、フィールド符号化はフレーム符号化に対してＩピクチャの数が半分であり、Ｉピクチャは符号化効率が低いことから、低ビットレートになる程Ｉピクチャの割合が少ないフィールド符号化モードの方が符号化効率の点で有利になる。
〔第１実施形態〕
次に開示の技術の第１実施形態を説明する。なお、本第１実施形態において、先に説明した比較例と同一の部分には同一の符号を付し、説明を省略する。
図１には本第１実施形態に係る動画像再符号化装置１０が示されている。本第１実施形態に係る動画像再符号化装置１０は、先に説明した比較例に係る動画像再符号化装置１００と比較して、再符号化情報取得部４８が設けられている点が相違している。本第１実施形態において、再符号化情報取得部４８は、再符号化の符号化ビットレート(再符号化に割り当てられる情報量)を可変長符号化部４６から取得する。
また、本第１実施形態に係る符号化モード判定部２０は、再符号化の符号化ビットレートが低く(再符号化に割り当てられる情報量が小さく)なるに従って、フィールド符号化モードが選択され易くなるように、前出の(１)〜(３)式の閾値TH1〜TH3の値を変更する。なお、以下では説明を簡単にするために、(１)式を用いて符号化モードの判定を行う態様を説明するが、(２)式や(３)式、或いは他の判定式を用いてもよい。
なお、復号部１２は開示の技術における復号部の一例であり、重要度情報取得部１６は開示の技術における符号化モード情報取得部の一例であり、再符号化情報取得部４８は開示の技術における再符号化情報取得部の一例である。また、符号化モード判定部２０は開示の技術における符号化モード判定部の一例であり、再符号化部１４は開示の技術における再符号化部の一例である。
次に本第１実施形態の作用として、まず、復号部１２及び重要度情報取得部１６による復号・符号化モード取得処理について、図２を参照して説明する。復号・符号化モード取得処理のステップ２００において、重要度情報取得部１６は、フィールド符号化モードのブロック数FieldNumに初期値０を設定する。次のステップ２０２において、可変長復号部２２は、１枚のピクチャの動画像データの復号をブロック単位で開始する。
ステップ２０４において、重要度情報取得部１６は、処理対象のブロックの符号化モードを可変長復号部２２から取得する。次のステップ２０６において、重要度情報取得部１６は、可変長復号部２２から取得した符号化モードがフィールド符号化モードか否か判定する。ステップ２０６の判定が否定された場合はステップ２１０へ移行する。また、ステップ２０６の判定が肯定された場合はステップ２０８へ移行し、ステップ２０８において、重要度情報取得部１６は、フィールド符号化モードのブロック数FieldNumを１だけインクリメントする。
次のステップ２１０において、逆量子化・逆直交変換部２４は、逆量子化処理を行い、ステップ２１２において、逆量子化・逆直交変換部２４は、逆直交変換処理を行い、ステップ２１４において、動き補償部３０は、動き補償処理を行う。ステップ２１６において、可変長復号部２２は、１枚のピクチャの全てのブロックの復号を行ったか否か判定する。判定が否定された場合はステップ２０２に戻り、ステップ２０２〜ステップ２１６を繰り返す。これにより、フィールド符号モードのブロック数FieldNumが計数される。そして、ステップ２１６の判定が肯定されると処理を終了する。
なお、上記ではフィールド符号化モードのブロック数FieldNumを計数しているが、これに代えてフレーム符号化モードのブロック数を計数してもよいし、両方を各々計数してもよい。但し、符号化サイズにより処理ピクチャの全体ブロック数は既知であるので、フィールド符号化モードのブロック数がわかれば、フィールド符号化モードのピクチャ内の割合を求めることは可能である。
また、フィールド符号化モードのブロック数FieldNumは、例えば元のビットストリームにおける各マクロブロックのＤＣＴタイプ、又は予測タイプを参照することにより決定することができる。図３には、ＭＰＥＧ２におけるマクロブロックモードのシンタックスを示す。フィールド符号化モードかフレーム符号化モードかを表す要素としては、frame_motion_type,field_motion_type,dct_typeが存在する。
ＤＣＴタイプ(dct_type)が、フレームＤＣＴかフィールドＤＣＴかは、マクロブロックの画素を毎ライン読み込んで取り出したブロックでＤＣＴを掛けるか、１ラインおきに取り出したブロックでＤＣＴを掛けるかの違いである。図４に、ＭＰＥＧ２規格書におけるＤＣＴモードの説明図を示す。図４の上図がフレームＤＣＴで、下図がフィールドＤＣＴである。
予測タイプに関しても、基本はＤＣＴタイプと同様に、毎ライン読み込んだブロックで動き探索を行うか、１ラインおきに取り出したブロックで動き探索を行うかによって分かれる。フレームブロック単位に動きベクトルを持つ予測モードをフレーム予測(frame_pred)、フィールドブロック単位に動きベクトルを持つ予測モードをフィールド予測(field_pred)と呼ぶ。
図５〜図７には、frame_motion_type,field_motion_type,dct_typeの取り得る要素を示す。この例では、Frme-basedと記載されている予測モードをフレーム予測と考え、Dual-Prime予測や16x8MC予測を含む、それ以外をフィールド予測と考える。また、図７に示すdct_typeに関しては、値が0であればフレームＤＣＴ、値が1であればフィールドＤＣＴである。dct_typeは、ビットストリームに明示的に示されない場合もあるので、その場合は図７に示すテーブルのように判定する。
また、Ｉピクチャの場合は、フレーム間予測を行なわず動きベクトルを持たないので、
FieldNum＝Σ(FieldＤＣＴ)
とする。また、ＰピクチャやＢピクチャの場合は、
FieldNum＝Σ(FieldＤＣＴ/FieldPred)
とすることができる。もちろん、後者の場合は、例えば、
FieldNum＝Σ(FieldPred)
と片方の要素だけで判定する事も可能である。
以上、再符号化前の元のビットストリームがＭＰＥＧ２であった場合を説明したが、元のビットストリームがMPEG-4AVC(H.264)である場合も考え方は同様である。処理ブロック単位に、そのブロックがフレーム符号化モードで符号化されたか、フィールド符号化モードで符号化されたかをカウントしていき、フィールド符号モードのブロック数FieldNumを求めることが可能である。
続いて、図８を参照し、符号化モード判定部２０による再符号化モード判定処理を説明する。ステップ２２０において、符号化モード判定部２０は、ピクチャタイプを判定し、ピクチャタイプに応じて分岐する。すなわち、ピクチャタイプがＰピクチャ又はＢピクチャの場合は処理を終了し、ピクチャタイプがＩピクチャの場合はステップ２２２へ移行する。ステップ２２２において、符号化モード判定部２０は、フィールド符号モードのブロック数FieldNumが閾値TH1以上か否か判定する。なお、フィールド符号モードのブロック数FieldNumに代えて、ピクチャ内のブロック総数に対する割合を判定に用いてもよい。ステップ２２２の判定が肯定された場合はステップ２２４へ移行し、ステップ２２４において、符号化モード判定部２０は、フィールド符号化モードと判定する。また、ステップ２２２の判定が否定された場合はステップ２２６へ移行し、ステップ２２６において、符号化モード判定部２０は、フレーム符号化モードと判定する。
閾値TH1に関しては、単純に考えると、ピクチャ内のブロック総数に対する割合の半分、すなわち50％とする事が考えられる。しかし、フィールド符号化モードが選択され易くするために、例えば40％程度の低い値に設定することも可能であるし、逆に60％と高い値に設定することも可能である。
図８に示す再符号化モード判定処理では、最初に、再符号化で用いるピクチャタイプを判定している。これは、符号化モードの切替頻度を操作するために用いることができる。例えば、図８に示す再符号化モード判定処理では、フレーム内符号化(Ｉピクチャ)でのみ、ピクチャの符号化モードを切り替え可能としており、符号化モードの切替えがＧＯＰ(Group Of Pictures)単位で行われる。また、Ｉピクチャ、Ｐピクチャのみ、ピクチャの符号化モードを切り替え可能とすると、符号化の動き予測の為のフレームのリオーダ単位で、符号化モード切替えとすることもできる。もちろん、全てのピクチャタイプで、フレーム符号化かフィールド符号化かの判定を行うことも可能である。
図８に示した再符号化モード判定処理では、ＧＯＰ単位でピクチャの符号化モードを切替え可能としている。この場合、フィールド符号モードのブロック数FieldNumとしては、再符号化でＩピクチャに相当する復号ピクチャのフィールド符号化に関するブロック数としてもよい。また、再符号化でＩピクチャを含む１ＧＯＰ分に相当する復号ピクチャのフィールド符号化に関するブロック数としてもよい。
第１実施形態では、再符号化における符号化ビットレートを用いて、図８に示した再符号化モード判定処理で用いられる閾値TH1を変更する。符号化ビットレートは、トランスコーダにおける設定パラメータである事が多いので、その設定値については一般にＡＰＩなどの外部のインターフェースから入手する事が可能である。前述のように、符号化のビットレートが低くなると、フィールド符号化モードの方が符号化効率が良くなるので、再符号化ビットレートEncBitrateが小さくなるに従って閾値を小さくする。例えば前出の(１)式における閾値TH1として用いる修正後の閾値をTH1'は、次の(６)式で求めることができる。
TH1'＝Ｆ1(EncBitrate)×TH1 …(６)
なお、(６)式におけるＦ1(ｎ)はｎに対する減少関数である。Ｆ1(ｎ)に関して、符号化をH.264と仮定すると、量子化スケールは、量子化パラメータＱＰ値に対して指数的に増加する。量子化スケール値をＱＳｃａｌｅとすると、具体的な計算式は以下の(７)式で定義されている

(７)式におけるεは、ＤＣＴ係数の周波数位置により変更される定数で、数通りのパターンを取る定数である。(７)式より、

となる。発生情報量は量子化スケールに比例して増加することより、Ｆ1(ｎ)は次の(９)式に示すような対数的に減少する関数として示すことが可能である。

なお、(９)式において、α＞0,β＞0の定数である。(９)式の定数α,βについては、例えば、フレーム符号化モードとフィールド符号化モードの符号化効率がクロスするポイント(例えば図１７の上の図の例ではビットレートが1.3Ｍbps程度のポイント)や符号化の水平サイズ、垂直サイズの大きさ等によって適応的に変化させることができる。
このように、第１実施形態によれば、再符号化における符号化ビットレートに応じて、再符号化のモード判定に用いる閾値TH1を変更している。これにより、再符号化におけるビットレートが低い場合にも、２パスの再符号化を行うことなく、符号化効率の高い適切な符号化モードを選択することができる。
〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態の作用を説明する。
本第２実施形態は、先に説明した第１実施形態と同様に、前出の(１)〜(３)式における閾値TH1〜TH3を、ピクチャタイプ毎の発生情報量の比率に応じて変更する。具体的には、全体(全ピクチャタイプ)の発生情報量のうち、Ｉピクチャの発生情報量がどの程度の割合を占めるかをＧＯＰ単位などで求める。本第２実施形態は、再符号化のビットレートが低くなればなる程、Ｉピクチャの発生情報量の全体に対する割合が増える事から、当該割合に応じて閾値TH1〜TH3を変更することで、ピクチャ単位のフレーム/フィールドの判定の重み(cost)を変更している。
図９を参照し、本第２実施形態に係る再符号化情報取得処理を説明する。なお、図９に示す再符号化情報取得処理はピクチャ単位で行われる。再符号化情報取得処理のステップ２３０において、可変長符号化部４６は、スライス単位でエントロピー符号化処理を行う。次のステップ２３２において、再符号化情報取得部４８は、ピクチャタイプを判定し、ピクチャタイプに応じて処理を分岐する。ピクチャタイプがＩピクチャの場合はステップ２３２からステップ２３４へ移行する。ステップ２３４において、再符号化情報取得部４８は、スライス単位のエントロピー符号化の結果として得られる発生情報量を可変長符号化部４６から取得し、取得した発生情報量をＩピクチャの発生情報量に累積する。
また、ピクチャタイプがＰピクチャの場合はステップ２３２からステップ２３６へ移行する。ステップ２３６において、再符号化情報取得部４８は、スライス単位のエントロピー符号化の結果として得られる発生情報量を可変長符号化部４６から取得し、取得した発生情報量をＰピクチャの発生情報量に累積する。また、ピクチャタイプがＢピクチャの場合はステップ２３２からステップ２３８へ移行する。ステップ２３８において、再符号化情報取得部４８は、スライス単位のエントロピー符号化の結果として得られる発生情報量を可変長符号化部４６から取得し、取得した発生情報量をＢピクチャの発生情報量に累積する。
次のステップ２４０において、再符号化情報取得部４８は、１枚のピクチャの符号化処理が完了したか否か判定する。ステップ２４０の判定が否定された場合はステップ２３０に戻り、ステップ２４０の判定が肯定される迄ステップ２３０〜ステップ２４０を繰り返す。例えばH.264では、スライス単位でCABAC等のエントロピー符号化処理が実施されるので、ピクチャ内のスライス数に応じて、ステップ２３０におけるエントロピー符号化処理が１回以上実施されることになる。そして、１枚のピクチャにおける発生情報量がピクチャタイプ毎に累積される。ステップ２４０の判定が肯定されるとステップ２４２へ移行し、ステップ２４２において、再符号化情報取得部４８は、各ピクチャタイプ毎の発生情報量を符号化モード判定部２０へ出力し、再符号化情報取得処理を終了する。
上述した再符号化情報取得処理は、再符号化のビットレートの大小を実発生情報量により求めるもので、ＶＢＲ(Variable Bit Rate)等のように絵柄によってビットレートが変動する場合にも、適切な閾値制御が可能となる。
本第２実施形態において、符号化モード判定部２０は、再符号化情報取得部４８から入力された各ピクチャタイプ毎の発生情報量に基づき、次の(10)式に従って閾値TH1を変更する。
TH1'＝Ｆ2{EncIPicInfo／Σ(EncIPicInfo,EncPPicInfo,EncBPicInfo)}×TH1 …(10)
但し、(10)式において、EncIPicInfo,EncPPicInfo,EncBPicInfoは各々ピクチャタイプ別の発生情報量であり、Ｆ2(ｎ)はｎに対する減少関数である。(10)式は、第１実施形態と同様に、Ｉ,Ｐ,Ｂの各ピクチャタイプ全体の発生情報量の和に対し、Ｉピクチャの発生情報量の比率が大きくなるに従って閾値TH1'の値が小さくされる。
このように、本第２実施形態では、再符号化のピクチャタイプ別のピクチャ単位の発生情報量に応じて、再符号化のモード判定に用いる閾値TH1を変更している。これにより、再符号化におけるビットレートが低い場合にも、２パスの再符号化を行うことなく、符号化効率の高い適切な符号化モードを選択することができる。
再符号化情報取得部４８が再符号化部１４から取得した統計情報(各ピクチャタイプ毎の発生情報量)を、符号化モードの判定式((１)〜(３)式)の閾値TH1〜TH3にフィードバックさせる例を図１０,図１１を用いて説明する。復号側における(１)〜(３)式を用いた符号化モードの判定と、再符号化側における(10)式の演算は、再符号化側で処理遅延が発生する事になるので、統計情報のフィードバックも遅延する事になる。
例えば、図１０に、Ｂピクチャが２枚のＧＯＰ構造のビットストリームを再符号化する例を示す。復号側では、Ｂピクチャの後方向予測を行うためのフレームのリオーダ処理を行い、再符号化側で通常のエンコード処理の様に、再度リオーダ処理を行う。図１０の点線で示した矢印が、同一フレームの処理の推移を示したものである。この場合、復号側のリオーダ処理で１〜４フレーム分の遅延、再符号化側のリオーダ処理で、１〜４フレーム分の遅延が発生し、全体で約５フレーム分の処理遅延が発生する。実際には、Ｉピクチャ、ＰピクチャとＢピクチャは傾向がそれぞれ異なるため、図１０の太実線で示すように、６フレーム分の遅延で再符号化側の統計情報をフィードバックさせることができる。このフィードバックについては、(10)式自体が、例えば１ＧＯＰ程度の発生情報量の割合など、大きな流れで計算した値をフィードバックしているので、ある程度の遅延は許容出来るものと考える。
図１１は、別の再符号化の例である。再符号化においては、符号化で行ったリオーダを戻さないまま、再符号化を行うという方法がある。つまり、復号側がＩ2,Ｂ0,Ｂ1,…の順で復号したら、再符号化側も同じく、Ｉ2,Ｂ0,Ｂ1,…の順で符号化するというものである。動きベクトルの参照、非参照の関係は、復号順処理とＧＯＰ構造を保ったまま再符号化を行えば、矛盾なく実行可能であり、処理遅延を抑制した再符号化を行うことができる。つまり、１フレーム分の処理遅延で再符号化が可能である。この場合も図１０の場合と同様、Ｉピクチャ、ＰピクチャはＩピクチャ、Ｐピクチャに、ＢピクチャはＢピクチャにフィードバックさせる事を考えると、図１１の太実線で示す様に３フレーム分の遅延でフィードバックを行うことができる。
〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、本第３実施形態は第１実施形態及び第２実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第３実施形態の作用を説明する。
本第３実施形態では、符号化モードの判定式((１)〜(３)式)の閾値TH1〜TH3を、ＧＣＭ(Global Complexity Measure：再符号化のピクチャタイプ別の複雑度)の比率によって修正する。なお、
ＧＣＭ＝ピクチャの発生情報量×ピクチャの平均量子化値 …(11)
である。本第３実施形態では、ピクチャタイプ毎にＧＣＭを計算し、ＩピクチャのＧＣＭが全体(全ピクチャタイプ)のＧＣＭの和に対して、どの程度の割合を占めるかに応じて閾値を変更する。低ビットレートになればなるほどＩピクチャのＧＣＭの全体に対する割合が増える事から、本第３実施形態では、当該割合によって閾値TH1〜TH3を変更することで、ピクチャ単位のフレーム/フィールドの判定の重み(cost)を変更している。
図１２を参照し、本第３実施形態に係る再符号化情報取得処理を説明する。なお、図１２に示す再符号化情報取得処理はピクチャ単位で行われる。再符号化情報取得処理のステップ２５０において、可変長符号化部４６は、スライス単位でエントロピー符号化処理を行う。次のステップ２５２において、再符号化情報取得部４８は、ピクチャタイプを判定し、ピクチャタイプに応じて処理を分岐する。ピクチャタイプがＩピクチャの場合はステップ２５２からステップ２５４へ移行する。ステップ２５４において、再符号化情報取得部４８は、スライス単位のエントロピー符号化の結果として得られる発生情報量と量子化値を可変長符号化部４６から取得し、取得した発生情報量と量子化値をＩピクチャの発生情報量と量子化値に累積する。量子化値においては、１ピクチャの処理終了後に、処理ブロック数で除算し、平均量子化値を求める。なお、平均量子化値は、ステップ２６０の判定が肯定された後の処理で求めてもよい。
また、ピクチャタイプがＰピクチャの場合はステップ２５２からステップ２５６へ移行する。ステップ２５６において、再符号化情報取得部４８は、スライス単位のエントロピー符号化の結果として得られる発生情報量と平均量子化値を可変長符号化部４６から取得し、取得した発生情報量と量子化値をＰピクチャの発生情報量と量子化値に累積する。Ｐピクチャの量子化値においては、Ｉピクチャと同様に、１ピクチャの処理終了後に、処理ブロック数で除算し、平均量子化値を求める。また、ピクチャタイプがＢピクチャの場合はステップ２５２からステップ２５８へ移行する。ステップ２５８において、再符号化情報取得部４８は、スライス単位のエントロピー符号化の結果として得られる発生情報量と量子化値を可変長符号化部４６から取得し、取得した発生情報量と量子化値をＢピクチャの発生情報量と量子化値に累積する。Ｂピクチャの量子化値においては、Ｉピクチャと同様に、１ピクチャの処理終了後に、処理ブロック数で除算し、平均量子化値を求める。
次のステップ２６０において、再符号化情報取得部４８は、１枚のピクチャの符号化処理が完了したか否か判定する。ステップ２６０の判定が否定された場合はステップ２５０に戻り、ステップ２６０の判定が肯定される迄ステップ２５０〜ステップ２６０を繰り返す。例えばH.264では、スライス単位でCABAC等のエントロピー符号化処理が実施されるので、ピクチャ内のスライス数に応じて、ステップ２５０におけるエントロピー符号化処理が１回以上実施されることになる。そして、１枚のピクチャにおける発生情報量と平均量子化値がピクチャタイプ毎に累積される。
ステップ２６０の判定が肯定されるとステップ２６２へ移行し、ステップ２４２において、再符号化情報取得部４８は、先の(11)式に従って各ピクチャタイプ毎のＧＣＭを演算し、演算した各ピクチャタイプ毎のＧＣＭを符号化モード判定部２０へ出力する。そして再符号化情報取得処理を終了する。
本第３実施形態において、符号化モード判定部２０は、再符号化情報取得部４８から入力された各ピクチャタイプ毎のＧＣＭに基づき、次の(12)式に従って閾値TH1を変更する。
TH1'＝Ｆ3{Ｘi／Σ(Ｘi,Ｘp,Ｘb)}×TH1 …(12)
但し、(12)式において、Ｘi,Ｘp,Ｘbは各ピクチャタイプ別のＧＣＭであり、Ｆ3(ｎ)はｎに対する減少関数である。(12)式は、第１実施形態及び第２実施形態と同様に、Ｉ,Ｐ,Ｂの各ピクチャタイプ全体のＧＣＭの和に対し、ＩピクチャのＧＣＭの比率が大きくなるに従って閾値TH1'の値が小さくされる。
このように、本第３実施形態では、再符号化のピクチャタイプ別のＧＣＭに応じて、再符号化のモード判定に用いる閾値TH1を変更している。これにより、再符号化におけるビットレートが低い場合にも、２パスの再符号化を行うことなく、符号化効率の高い適切な符号化モードを選択することができる。
なお、第２実施形態及び第３実施形態における減少関数Ｆ2(ｎ),Ｆ3(ｎ)は、発生情報量やGCMの全体に対する比率なので、傾き負の単純な線形関数(例えば次の(13)式参照)とすることが考えられる。
Ｆk(ｎ)＝−χ×ｎ＋δ …(13)
なお、(13)式において、ｋ＝2,3、χ＞0,δ＞0の定数である。
〔第４実施形態〕
次に開示の技術の第４実施形態について説明する。なお、本第３実施形態は第１実施形態〜第３実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第４実施形態の作用を説明する。
本第４実施形態では、符号化モードの判定式((１)〜(３)式)の閾値TH1〜TH3を、再符号化に用いる量子化値の大きさによって修正する。本第４実施形態では、ピクチャタイプ毎にターゲットの量子化値を計算し、求めたピクチャタイプ別の量子化値の大きさに応じて、フィールド符号化モード／フレーム符号化モードの判定を変更している。なお、各ピクチャタイプ毎のターゲット量子化には、前述の第３実施形態でＧＣＭを求める際に求めたピクチャタイプ別の平均量子化値を使用することが可能である。ピクチャタイプ別の平均量子化値を求める処理に関しては、第３実施形態で説明した再符号化情報取得処理(図１２)と同等になるので説明を省略する。
続いて図１３を参照し、本第４実施形態に係る再符号化モード判定処理を説明する。再符号化モード判定処理は、各ピクチャ毎に、ピクチャタイプ別にレート制御で割り当てられるターゲット情報量を用いて、各ピクチャのフィールド符号化モード／フレーム符号化モードの判定を変更している。
具体的には、まずステップ２７０において、重要度情報取得部１６は、可変長復号部２２による復号によって得られた統計情報(例えば符号化モード毎の発生情報量等)を取得する。また、ステップ２７２において、再符号化情報取得部４８は、可変長符号化部４６による再符号化によって得られた統計情報(例えばピクチャタイプ別の平均量子化値等)を取得する。次のステップ２７４,２７６において、符号化モード判定部２０は、ステップ２７０,２７２で取得された情報に基づいて、再符号化における符号化モードがフィールド符号化モードかフレーム符号化モードかを判定する。この判定は、例えば復号フィールド統計情報が閾値TH以上か否かに基づいて行うことができる。
再符号化における符号化モードをフィールド符号化モードと判定した場合には、ステップ２７６からステップ２７８へ移行し、ステップ２７８において、再符号化部１４は、フィールド符号化モードでピクチャレート制御を行う。また、次のステップ２８０において、符号化モード判定部２０は、各ピクチャ[i]のターゲットＱＰ(ＴＱＰ[i])を演算する。
例えば、再符号化の現在のピクチャ符号化モードがフレーム符号化である場合に、ピクチャのレート制御で割り当てられる情報量は、MPEG-2のリファレンスモデルTM5(Test Model 5)のピクチャ情報割当を用いると、以下の(14)式から求まる。

なお、(14)式において、Ｔi,Ｔp,ＴbはＩピクチャ、Ｐピクチャ、Ｂピクチャの割当情報量、Ｋp,ＫbはＰピクチャ、Ｂピクチャの量子化のＩピクチャ量子化に対する比率、Ｎi,Ｎp,ＮbはＩピクチャ、Ｐピクチャ、ＢピクチャのＧＯＰ内残りピクチャ数である。また、picture_rateは設定フレームレートである。
ここで、各ピクチャのターゲットＱＰをＴＱＰi,ＴＱＰp,ＴＱＰb、各ピクチャのＧＣＭをＸi,Ｘp,Ｘbとすると、ＧＣＭ＝発生情報量×平均量子化値であり、すなわち平均量子化値＝ＧＣＭ／発生情報量なので、以下の(15)式が得られる。
ＴＱＰi＝Ｘi／Ｔi、ＴＱＰp＝Ｘp／Ｔp、ＴＱＰb＝Ｘb／Ｔb …(15)
上記の(15)式より、各ピクチャ[i]のターゲットＱＰ(ＴＱＰ[i])を演算できる。
ステップ２８２において、符号化モード判定部２０は、演算した各ピクチャ[i]のターゲットＱＰ(ＴＱＰ[i])が閾値TH[i]未満か否か判定する。ステップ２８２の判定が否定された場合はステップ２８２からステップ２９４へ移行し、再符号化部１４は、フィールド符号化モードでのピクチャレート制御を継続する。一方、ステップ２８２の判定が肯定された場合、例えば、
ＴＱＰi＜THi かつ ＴＱＰp＜THp かつ ＴＱＰb＜THb
の場合には、ステップ２８２からステップ２８４へ移行する。そして、ステップ２８４,２８６において、再符号化部１４は、符号化モードをフレーム符号化モードへ変更してピクチャレートの再制御を行う。
また、ステップ２７４,２７６において、再符号化における符号化モードをフレーム符号化モードと判定した場合には、ステップ２７６からステップ２８６へ移行し、ステップ２８６において、再符号化部１４は、フレーム符号化モードでピクチャレート制御を行う。また、次のステップ２８８において、符号化モード判定部２０は、前出の(15)式により各ピクチャ[i]のターゲットＱＰ(ＴＱＰ[i])を演算する。
ステップ２９０において、符号化モード判定部２０は、演算した各ピクチャ[i]のターゲットＱＰ(ＴＱＰ[i])が閾値TH[i]よりも大きいか否か判定する。ステップ２９０の判定が否定された場合はステップ２９０からステップ２９６へ移行し、再符号化部１４は、フレーム符号化モードでのピクチャレート制御を継続する。一方、ステップ２９０の判定が肯定された場合、例えば、
ＴＱＰi≧THi かつ ＴＱＰp≧THp かつ ＴＱＰb≧THb
の場合には、ステップ２９０からステップ２９２へ移行する。そして、ステップ２９２,２９４において、再符号化部１４は、符号化モードをフィールド符号化モードへ変更してピクチャレートの再制御を行う。
次のステップ２９８において、符号化モード判定部２０は、１枚のピクチャの処理が完了したか否か判定する。ステップ２９８の判定が否定された場合はステップ２７０に戻り、ステップ２６０の判定が肯定される迄ステップ２７０〜ステップ２９８を繰り返す。そしてステップ２９８の判定が肯定されると、再符号化モード判定処理を終了する。
このように、本第４実施形態では、或る符号化モードでのピクチャレート制御を一旦開始した後に、ピクチャタイプ別のターゲットＱＰ(ＴＱＰ[i])と閾値TH[i]との大小関係に基づき必要に応じて符号化モードを変更している。これにより、再符号化におけるビットレートが低い場合にも、２パスの再符号化を行うことなく、符号化効率の高い適切な符号化モードを選択することができる。
〔第５実施形態〕
次に開示の技術の第５実施形態について説明する。なお、本第５実施形態は第１実施形態〜第４実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第５実施形態の作用を説明する。
先に説明した第１実施形態〜第３実施形態では、ピクチャタイプ別に処理を行う態様を説明したが、本第５実施形態では、より細かくマクロブロック単位で統計情報を取得している。具体的には、ピクチャタイプ別の情報を、マクロブロックタイプ別(イントラマクロブロック／非イントラマクロブロック)のブロック数や、マクロブロックタイプ別の発生情報量に置き換えて閾値変更を行っている。
以下、図１４を参照し、本第５実施形態に係る再符号化情報取得処理を説明する。なお、図１４に示す再符号化情報取得処理はピクチャ単位で行われる。再符号化情報取得処理のステップ３００において、再符号化情報取得部４８は、変数IntraMBNumを０に初期設定する。次のステップ３０２において、可変長符号化部４６は、ブロック単位でエントロピー符号化処理を行う。次のステップ３０４において、再符号化情報取得部４８は、変数IntraMBNumを１だけインクリメントする。
次のステップ３０６において、再符号化情報取得部４８は、ピクチャタイプを判定し、ピクチャタイプに応じて処理を分岐する。ピクチャタイプがＩピクチャの場合はステップ３０６からステップ３０８へ移行する。ステップ３０８において、再符号化情報取得部４８は、ブロック単位のエントロピー符号化の結果として得られる発生情報量と量子化値を可変長符号化部４６から取得し、取得した発生情報量と量子化値をＩピクチャの発生情報量と量子化値に累積する。量子化値においては、１ピクチャの処理終了後に、処理ブロック数で除算し、平均量子化値を求める。なお、平均量子化値は、ステップ３１４の判定が肯定された後の処理で求めてもよい。
また、ピクチャタイプがＰピクチャの場合はステップ３０６からステップ３１０へ移行する。ステップ３１０において、再符号化情報取得部４８は、ブロック単位のエントロピー符号化の結果として得られる発生情報量と量子化値を可変長符号化部４６から取得し、取得した発生情報量と量子化値をＰピクチャの発生情報量と量子化値に累積する。Ｐピクチャの量子化値においては、Ｉピクチャと同様に、１ピクチャの処理終了後に、処理ブロック数で除算し、平均量子化値を求める。また、ピクチャタイプがＢピクチャの場合はステップ３０６からステップ３１２へ移行する。ステップ３１２において、再符号化情報取得部４８は、ブロック単位のエントロピー符号化の結果として得られる発生情報量と量子化値を可変長符号化部４６から取得し、取得した発生情報量と量子化値をＢピクチャの発生情報量と量子化値に累積する。Ｂピクチャの量子化値においては、Ｉピクチャと同様に、１ピクチャの処理終了後に、処理ブロック数で除算し、平均量子化値を求める。
次のステップ３１４において、再符号化情報取得部４８は、１枚のピクチャの符号化処理が完了したか否か判定する。ステップ３１４の判定が否定された場合はステップ３０２に戻り、ステップ３１４の判定が肯定される迄ステップ３０２〜ステップ３１４を繰り返す。ステップ３１４の判定が肯定されるとステップ３１６へ移行し、ステップ２４２において、再符号化情報取得部４８は、変数IntraMBNumを符号化モード判定部２０へ出力する。また、次のステップ３１８において、各ピクチャタイプ毎の発生情報量を符号化モード判定部２０へ出力する。更にステップ３２０において、再符号化情報取得部４８は、先の(11)式に従って各ピクチャタイプ毎のＧＣＭを演算し、演算した各ピクチャタイプ毎のＧＣＭを符号化モード判定部２０へ出力する。そして再符号化情報取得処理を終了する。
上述した再符号化情報取得処理によってブロック単位に得られた統計情報は、第２実施形態や第３実施形態のピクチャ単位の情報フィードバックと同様に、閾値の変更に適用することができる。第２実施形態や第３実施形態で説明した減少関数Ｆ2(ｎ),Ｆ3(ｎ)は、ピクチャ単位に見て、情報全体に対するＩピクチャの割合で判定していたが、本第５実施形態では、情報全体に対するイントラマクロブロックBの割合で判定するように変更すればよい。
第１実施形態〜第３実施形態では、Ｉピクチャにおけるイントラマクロブロック数に関し、フレーム符号化モードはフィールド符号化モードの２倍存在するということで、低ビットレート時はフィールド符号化モードが選択され易くしていた。しかし、ＰピクチャやＢピクチャにもイントラマクロブロックが存在する可能性はあり、本第５実施形態によれば、この点も考慮されることになる。
〔第６実施形態〕
次に開示の技術の第６実施形態を説明する。図１５には、動画像再符号化装置１０として機能することが可能なコンピュータ１１０が示されている。
コンピュータ１１０はＣＰＵ１１２、メモリ１１４、不揮発性の記憶部１１６を備え、これらはバス１１８を介して互いに接続されている。なお、記憶部１１６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部１１６には、コンピュータ１１０を動画像再符号化装置１０として機能させるための動画像再符号化プログラム１２０が記憶されている。ＣＰＵ１１２は、動画像再符号化プログラム１２０を記憶部１１６から読み出してメモリ１１４に展開し、動画像再符号化プログラム１２０が有するプロセスを順次実行する。
動画像再符号化プログラム１２０は、復号プロセス１２１、再符号化プロセス１２２、重要情報取得プロセス１２４、再符号化情報取得プロセス１２８及び符号化モード判定プロセス１３０を有する。
ＣＰＵ１１２は、復号プロセス１２１を実行することで、図１に示した復号部１２として機能する。ＣＰＵ１１２は、再符号化プロセス１２２を実行することで、図１に示した再符号化部１４として機能する。ＣＰＵ１１２は、重要情報取得プロセス１２４を実行することで、図１に示した重要度情報取得部１６として機能する。ＣＰＵ１１２は、再符号化情報取得プロセス１２８を実行することで、図１に示した再符号化情報取得部４８として機能する。ＣＰＵ１１２は、符号化モード判定プロセス１３０を実行することで、図１に示した符号化モード判定部２０として機能する。
また、復号プロセス１２１は、可変長復号プロセス１３２、逆量子化・逆直交変換プロセス１３４、加算プロセス１３６及び動き補償プロセス１３８を有する。ＣＰＵ１１２は、可変長復号プロセス１３２を実行することで、図１に示した可変長復号部２２として機能する。ＣＰＵ１１２は、逆量子化・逆直交変換プロセス１３４を実行することで、図１に示した逆量子化・逆直交変換部２４として機能する。ＣＰＵ１１２は、加算プロセス１３６を実行することで、図１に示した加算部２６として機能する。ＣＰＵ１１２は、動き補償プロセス１３８を実行することで、図１に示した動き補償部３０として機能する。
また、再符号化プロセス１２２は、動きベクトル検出プロセス１４０、動き補償プロセス１４２、予測誤差信号生成プロセス１４４、直交変換・量子化プロセス１４６、可変長符号化プロセス１４８を有する。また、再符号化プロセス１２２は、逆直交変換・逆量子化プロセス１５０及び加算プロセス１５２を有する。
ＣＰＵ１１２は、動きベクトル検出プロセス１４０を実行することで、図１に示した動きベクトル検出部３２として機能する。ＣＰＵ１１２は、動き補償プロセス１４２を実行することで、図１に示した動き補償部３４として機能する。ＣＰＵ１１２は、予測誤差信号生成プロセス１４４を実行することで、図１に示した予測誤差信号生成部３６として機能する。ＣＰＵ１１２は、直交変換・量子化プロセス１４６を実行することで、図１に示した直交変換・量子化部３８として機能する。ＣＰＵ１１２は、可変長符号化プロセス１４８を実行することで、図１に示した可変長符号化部４６として機能する。ＣＰＵ１１２は、逆直交変換・逆量子化プロセス１５０を実行することで、図１に示した逆直交変換・逆量子化部４０として機能する。ＣＰＵ１１２は、加算プロセス１５２を実行することで、図１に示した加算部４２として機能する。
なお、メモリ１１４の一部の記憶領域は参照画像記憶部２８及び参照画像記憶部４４として用いられる。これにより、動画像再符号化プログラム１２０を実行したコンピュータ１１０は、動画像再符号化装置１０として機能することになる。なお、ここでは動画像再符号化プログラム１２０を記憶部１１６から読み出す場合を例示したが、動画像再符号化プログラム１２０は、任意の記録媒体から読み出して実行することができる。
なお、上記では再符号化の統計情報として幾つかを例示したが、何れか１つの情報を用いてもよいし、複数、或いは全てを組み合わせて条件判定を行うようにしてもよい。
また、上記では第１の符号化方式としてＭＰＥＧ２、第２の符号化方式としてH.264を例に説明したが、開示の技術はこれに限定されるものではなく、任意の符号化方式を適用可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
ピクチャを分割したブロック単位で、フレームを基準として符号化するフレーム符号化モード又はフィールドを基準として符号化するフィールド符号化モードに切り替え可能な第１の符号化方式で符号化された符号化済み動画像データを復号する復号部(図１：12)と、
前記符号化済み動画像データが前記復号部によって復号される際に、前記ブロック単位で切り替えられた符号化モードの重要度に関連する重要度情報を取得する重要度情報取得部(図１：16)と、
ピクチャ単位で前記フレーム符号化モード又は前記フィールド符号化モードに切り替え可能な第２の符号化方式に設定された符号化パラメータ、又は、前記復号部によって復号された動画像データに対して前記第２の符号化が実施された際の統計情報を取得する再符号化情報取得部(図１：48)と、
前記重要度情報取得部によって取得された前記重要度情報、及び、前記再符号化情報取得部によって取得された前記符号化パラメータ又は前記統計情報に基づいて、前記第２の符号化方式の符号化モードを判定する符号化モード判定部(図１：20)と、
前記符号化モード判定部で判定された符号化モードに従い、前記復号部によって復号された動画像データに対して前記第２の符号化を行う再符号化部(図１：14)と、
を含む動画像再符号化装置。
（付記２）
前記重要度情報取得部は、前記重要度情報として、フレーム内符号化の場合は、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す符号化モード情報を取得し、フレーム間符号化の場合は、動き予測がフレーム予測であるかフィールド予測であるかを表す予測モード情報、及び、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す符号化モード情報の少なくとも一方を取得する付記１記載の動画像再符号化装置。
（付記３）
前記重要度情報取得部は、前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードのブロック数を累積した値を前記重要度情報として取得し、
前記符号化モード判定部は、フィールド符号化モードのブロック数の累積値が閾値TH1以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、フィールド符号化モードのブロック数の累積値が閾値TH1未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記１記載の動画像再符号化装置。
（付記４）
前記重要度情報取得部は、前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードのピクチャ符号化発生情報量を前記重要度情報として取得し、
前記符号化モード判定部は、前記フレーム符号化モードのピクチャ符号化発生情報量の大きさに対する、前記フィールド符号化のピクチャ符号化発生情報量の大きさの比率を求め、求めた前記比率が閾値TH2以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH2未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記１記載の動画像再符号化装置。
（付記５）
前記重要度情報取得部は、前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードにおける、動きベクトルの平均又は分散を表す情報を前記重要度情報として取得し、
前記符号化モード判定部は、前記フレーム符号化モードの動きベクトルの平均又は分散の大きさに対する、前記フィールド符号化モードの動きベクトルの平均又は分散の大きさの比率を求め、求めた前記比率が閾値TH3以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH3未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記１記載の動画像再符号化装置。
（付記６）
前記再符号化情報取得部は、前記符号化パラメータとして、前記第２の符号化方式に設定されるビットレートを表す情報を取得し、
前記符号化モード判定部は、前記再符号化情報取得部によって取得された情報が表すビットレートが低くなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記３〜付記５の何れか１項記載の動画像再符号化装置。
（付記７）
前記再符号化情報取得部は、前記統計情報として、全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合を表す情報を取得し、
前記符号化モード判定部は、前記再符号化情報取得部によって取得された情報が表す、全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合が小さくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記３〜付記５の何れか１項記載の動画像再符号化装置。
（付記８）
前記再符号化情報取得部は、前記統計情報として、前記第２の符号化方式における符号化済ピクチャの量子化スケールの平均値を表す情報を取得し、
前記符号化モード判定部は、前記再符号化情報取得部によって取得された情報が表す、前記量子化スケールの平均値が大きくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記３〜付記５の何れか１項記載の動画像再符号化装置。
（付記９）
ピクチャを分割したブロック単位で、フレームを基準として符号化するフレーム符号化モード又はフィールドを基準として符号化するフィールド符号化モードに切り替え可能な第１の符号化方式で符号化された符号化済み動画像データを復号すると共に、
前記符号化済み動画像データを復号する際に、前記ブロック単位で切り替えられた符号化モードの重要度に関連する重要度情報を取得し、
ピクチャ単位で前記フレーム符号化モード又は前記フィールド符号化モードに切り替え可能な第２の符号化方式に設定された符号化パラメータ、又は、前記復号した動画像データに対して前記第２の符号化を実施した際の統計情報を取得し、
取得した前記重要度情報及び取得した前記符号化パラメータ又は前記統計情報に基づいて、前記第２の符号化方式の符号化モードを判定し、
前記判定した符号化モードに従い、前記復号した動画像データに対して前記第２の符号化を行う
ことを含む動画像再符号化方法。
（付記１０）
前記重要度情報として、フレーム内符号化の場合は、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す符号化モード情報を取得し、フレーム間符号化の場合は、動き予測がフレーム予測であるかフィールド予測であるかを表す予測モード情報、及び、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す符号化モード情報の少なくとも一方を取得する付記９記載の動画像再符号化方法。
（付記１１）
前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードのブロック数を累積した値を前記重要度情報として取得し、
フィールド符号化モードのブロック数の累積値が閾値TH1以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、フィールド符号化モードのブロック数の累積値が閾値TH1未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記９記載の動画像再符号化方法。
（付記１２）
前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードのピクチャ符号化発生情報量を前記重要度情報として取得し、
前記フレーム符号化モードのピクチャ符号化発生情報量の大きさに対する、前記フィールド符号化のピクチャ符号化発生情報量の大きさの比率を求め、求めた前記比率が閾値TH2以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH2未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記９記載の動画像再符号化方法。
（付記１３）
前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードにおける、動きベクトルの平均又は分散を表す情報を前記重要度情報として取得し、
前記フレーム符号化モードの動きベクトルの平均又は分散の大きさに対する、前記フィールド符号化モードの動きベクトルの平均又は分散の大きさの比率を求め、求めた前記比率が閾値TH3以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH3未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記９記載の動画像再符号化方法。
（付記１４）
前記符号化パラメータとして、前記第２の符号化方式に設定されるビットレートを表す情報を取得し、
取得した前記情報が表すビットレートが低くなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記１１〜付記１３の何れか１項記載の動画像再符号化方法。
（付記１５）
前記統計情報として、全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合を表す情報を取得し、
取得した前記情報が表す全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合が小さくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記１１〜付記１３の何れか１項記載の動画像再符号化方法。
（付記１６）
前記統計情報として、前記第２の符号化方式における符号化済ピクチャの量子化スケールの平均値を表す情報を取得し、
取得した前記情報が表す前記量子化スケールの平均値が大きくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記１１〜付記１３の何れか１項記載の動画像再符号化方法。
（付記１７）
コンピュータに、
ピクチャを分割したブロック単位で、フレームを基準として符号化するフレーム符号化モード又はフィールドを基準として符号化するフィールド符号化モードに切り替え可能な第１の符号化方式で符号化された符号化済み動画像データを復号すると共に、
前記符号化済み動画像データを復号する際に、前記ブロック単位で切り替えられた符号化モードの重要度に関連する重要度情報を取得し、
ピクチャ単位で前記フレーム符号化モード又は前記フィールド符号化モードに切り替え可能な第２の符号化方式に設定された符号化パラメータ、又は、前記復号した動画像データに対して前記第２の符号化を実施した際の統計情報を取得し、
取得した前記重要度情報及び取得した前記符号化パラメータ又は前記統計情報に基づいて、前記第２の符号化方式の符号化モードを判定し、
前記判定した符号化モードに従い、前記復号した動画像データに対して前記第２の符号化を行う
ことを含む処理を実行させるための動画像再符号化プログラム又は当該動画像再符号化プログラムが記録された記録媒体。
（付記１８）
前記重要度情報として、フレーム内符号化の場合は、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す符号化モード情報を取得し、フレーム間符号化の場合は、動き予測がフレーム予測であるかフィールド予測であるかを表す予測モード情報、及び、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す符号化モード情報の少なくとも一方を取得する付記１７記載の動画像再符号化プログラム又は記録媒体。
（付記１９）
前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードのブロック数を累積した値を前記重要度情報として取得し、
フィールド符号化モードのブロック数の累積値が閾値TH1以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、フィールド符号化モードのブロック数の累積値が閾値TH1未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記１７記載の動画像再符号化プログラム又は記録媒体。
（付記２０）
前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードのピクチャ符号化発生情報量を前記重要度情報として取得し、
前記フレーム符号化モードのピクチャ符号化発生情報量の大きさに対する、前記フィールド符号化のピクチャ符号化発生情報量の大きさの比率を求め、求めた前記比率が閾値TH2以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH2未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記１７記載の動画像再符号化プログラム又は記録媒体。
（付記２１）
前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードの少なくとも一方の符号化モードにおける、動きベクトルの平均又は分散を表す情報を前記重要度情報として取得し、
前記フレーム符号化モードの動きベクトルの平均又は分散の大きさに対する、前記フィールド符号化モードの動きベクトルの平均又は分散の大きさの比率を求め、求めた前記比率が閾値TH3以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH3未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する付記１７記載の動画像再符号化プログラム又は記録媒体。
（付記２２）
前記符号化パラメータとして、前記第２の符号化方式に設定されるビットレートを表す情報を取得し、
取得した前記情報が表すビットレートが低くなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記１９〜付記２１の何れか１項記載の動画像再符号化プログラム又は記録媒体。
（付記２３）
前記統計情報として、全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合を表す情報を取得し、
取得した前記情報が表す全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合が小さくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記１９〜付記２１の何れか１項記載の動画像再符号化プログラム又は記録媒体。
（付記２４）
前記統計情報として、前記第２の符号化方式における符号化済ピクチャの量子化スケールの平均値を表す情報を取得し、
取得した前記情報が表す前記量子化スケールの平均値が大きくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする付記１９〜付記２１の何れか１項記載の動画像再符号化プログラム又は記録媒体。
１０ 動画像再符号化装置
１２ 復号部
１４ 再符号化部
１６ 重要度情報取得部
２０ 符号化モード判定部
４８ 再符号化情報取得部
１１０ コンピュータ
１１２ ＣＰＵ
１１４ メモリ
１１６ 記憶部
１２０ 動画像再符号化プログラム

Claims (11)

  1. ピクチャを分割したブロック単位で、フレームを基準として符号化するフレーム符号化モード又はフィールドを基準として符号化するフィールド符号化モードに切り替え可能な第１の符号化方式で符号化された符号化済み動画像データを復号する復号部と、
    前記符号化済み動画像データが前記復号部によって復号される際に、前記ブロック単位で切り替えられた符号化モードがフレーム符号化モードかフィールド符号化モードかに応じて相違する符号化モード情報を前記復号部から取得する符号化モード情報取得部と、
    前記復号部によって復号された動画像データに対してピクチャ単位で前記フレーム符号化モード又は前記フィールド符号化モードに切り替え可能な第２の符号化方式で第２の符号化が実施された際の前記第２の符号化に割り当てられた情報量に関する統計情報を取得する再符号化情報取得部と、
    前記符号化モード情報取得部によって取得された前記ブロック単位の符号化モード情報、及び、前記再符号化情報取得部によって取得された前記統計情報に基づいて、ピクチャを単位とした符号化を行う際に前記ピクチャを構成するブロックの符号化モードの割合によってフレーム符号化モード又はフィールド符号化モードと判定する基準を、前記統計情報が表す前記情報量のうち、Ｉピクチャの発生情報量の比率が大きくなるに従って前記フィールド符号化モードが選択され易くなるように調整し、前記第２の符号化方式の符号化モードを判定する符号化モード判定部と、
    前記符号化モード判定部で判定された符号化モードに従い、前記復号部によって復号された動画像データに対して前記第２の符号化を行う再符号化部と、
    を含む動画像再符号化装置。
  2. 前記符号化モード情報取得部は、前記符号化モード情報として、フレーム内符号化の場合は、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す情報を取得し、フレーム間符号化の場合は、動き予測がフレーム予測であるかフィールド予測であるかを表す情報、及び、直交変換がフレームＤＣＴであるかフィールドＤＣＴであるかを表す情報の少なくとも一方を取得する請求項１記載の動画像再符号化装置。
  3. 前記符号化モード情報取得部は、前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モードのブロック数を累積した値を前記符号化モード情報として取得し、
    前記符号化モード判定部は、フィールド符号化モードのブロック数の累積値が閾値TH1以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、フィールド符号化モードのブロック数の累積値が閾値TH1未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する請求項１記載の動画像再符号化装置。
  4. 前記符号化モード情報取得部は、前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードのピクチャ符号化発生情報量を前記符号化モード情報として取得し、
    前記符号化モード判定部は、前記フレーム符号化モードのピクチャ符号化発生情報量の大きさに対する、前記フィールド符号化モードのピクチャ符号化発生情報量の大きさの比率を求め、求めた前記比率が閾値TH2以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH2未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する請求項１記載の動画像再符号化装置。
  5. 前記符号化モード情報取得部は、前記第１の符号化方式で符号化された符号化済み動画像データに関して、フィールド符号化モード及びフレーム符号化モードにおける、動きベクトルの平均を表す情報を前記符号化モード情報として取得し、
    前記符号化モード判定部は、前記フレーム符号化モードの動きベクトルの平均の大きさに対する、前記フィールド符号化モードの動きベクトルの平均の大きさの比率を求め、求めた前記比率が閾値TH3以上の場合は前記第２の符号化方式の符号化モードとしてフィールド符号化モードを選択し、前記比率が閾値TH3未満の場合は前記第２の符号化方式の符号化モードとしてフレーム符号化モードを選択する請求項１記載の動画像再符号化装置。
  6. 前記再符号化情報取得部は、前記第２の符号化方式に設定されるビットレートを表す情報を取得し、
    前記符号化モード判定部は、前記再符号化情報取得部によって取得された情報が表すビットレートが低くなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする請求項３〜請求項５の何れか１項記載の動画像再符号化装置。
  7. 前記再符号化情報取得部は、前記統計情報として、全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合を表す情報を取得し、
    前記符号化モード判定部は、前記再符号化情報取得部によって取得された情報が表す、全ピクチャの発生情報量に占めるＩピクチャの発生情報量の割合が大きくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする請求項３〜請求項５の何れか１項記載の動画像再符号化装置。
  8. 前記再符号化情報取得部は、前記統計情報として、再符号化のピクチャタイプ別の複雑度を取得し、
    前記符号化モード判定部は、前記再符号化情報取得部によって取得された前記複雑度から求まる、ピクチャタイプ全体の複雑度の和に対するＩピクチャの複雑度の比率が大きくなるに従って、前記閾値TH1〜前記閾値TH3のうち判定に用いる閾値を小さくする請求項３〜請求項５の何れか１項記載の動画像再符号化装置。
  9. 前記再符号化情報取得部は、前記統計情報として、ピクチャタイプ別のターゲット量子化パラメータＴＱＰを取得し、
    前記符号化モード判定部は、符号化モードをフィールド符号化モードと判定した後に、前記再符号化情報取得部によって取得されたピクチャタイプ別のターゲット量子化パラメータＴＱＰの各々が、ピクチャタイプ別の閾値よりも小さい場合には、判定した符号化モードをフレーム符号化モードに変更し、符号化モードをフレーム符号化モードと判定した後に、前記再符号化情報取得部によって取得されたピクチャタイプ別のターゲット量子化パラメータＴＱＰの各々が、ピクチャタイプ別の閾値以上の場合には、判定した符号化モードをフィールド符号化モードに変更する請求項１〜請求項８の何れか１項記載の動画像再符号化装置。
  10. ピクチャを分割したブロック単位で、フレームを基準として符号化するフレーム符号化モード又はフィールドを基準として符号化するフィールド符号化モードに切り替え可能な第１の符号化方式で符号化された符号化済み動画像データを復号すると共に、
    前記符号化済み動画像データを復号する際に、前記ブロック単位で切り替えられた符号化モードがフレーム符号化モードかフィールド符号化モードかに応じて相違する符号化モード情報を取得し、
    前記復号した動画像データに対してピクチャ単位で前記フレーム符号化モード又は前記フィールド符号化モードに切り替え可能な第２の符号化方式で第２の符号化を実施した際の前記第２の符号化に割り当てられた情報量に関する統計情報を取得し、
    取得した前記ブロック単位の符号化モード情報及び取得した前記統計情報に基づいて、ピクチャを単位とした符号化を行う際に前記ピクチャを構成するブロックの符号化モードの割合によってフレーム符号化モード又はフィールド符号化モードと判定する基準を、前記統計情報が表す前記情報量のうち、Ｉピクチャの発生情報量の比率が大きくなるに従って前記フィールド符号化モードが選択され易くなるように調整し、前記第２の符号化方式の符号化モードを判定し、
    前記判定した符号化モードに従い、前記復号した動画像データに対して前記第２の符号化を行う
    ことを含む処理をコンピュータが実行する動画像再符号化方法。
  11. コンピュータに、
    ピクチャを分割したブロック単位で、フレームを基準として符号化するフレーム符号化モード又はフィールドを基準として符号化するフィールド符号化モードに切り替え可能な第１の符号化方式で符号化された符号化済み動画像データを復号すると共に、
    前記符号化済み動画像データを復号する際に、前記ブロック単位で切り替えられた符号化モードがフレーム符号化モードかフィールド符号化モードかに応じて相違する符号化モード情報を取得し、
    前記復号した動画像データに対してピクチャ単位で前記フレーム符号化モード又は前記フィールド符号化モードに切り替え可能な第２の符号化方式で第２の符号化を実施した際の前記第２の符号化に割り当てられた情報量に関する統計情報を取得し、
    取得した前記ブロック単位の符号化モード情報及び取得した前記統計情報に基づいて、ピクチャを単位とした符号化を行う際に前記ピクチャを構成するブロックの符号化モードの割合によってフレーム符号化モード又はフィールド符号化モードと判定する基準を、前記統計情報が表す前記情報量のうち、Ｉピクチャの発生情報量の比率が大きくなるに従って前記フィールド符号化モードが選択され易くなるように調整し、前記第２の符号化方式の符号化モードを判定し、
    前記判定した符号化モードに従い、前記復号した動画像データに対して前記第２の符号化を行う
    ことを含む処理を実行させるための動画像再符号化プログラム。
JP2012179071A 2012-08-10 2012-08-10 動画像再符号化装置、方法及びプログラム Expired - Fee Related JP6111556B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012179071A JP6111556B2 (ja) 2012-08-10 2012-08-10 動画像再符号化装置、方法及びプログラム
US13/897,977 US9544594B2 (en) 2012-08-10 2013-05-20 Moving image reencoding device and moving image reencoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012179071A JP6111556B2 (ja) 2012-08-10 2012-08-10 動画像再符号化装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014039095A JP2014039095A (ja) 2014-02-27
JP6111556B2 true JP6111556B2 (ja) 2017-04-12

Family

ID=50066177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012179071A Expired - Fee Related JP6111556B2 (ja) 2012-08-10 2012-08-10 動画像再符号化装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US9544594B2 (ja)
JP (1) JP6111556B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971905B (zh) * 2014-03-14 2023-11-17 Vid拓展公司 编解码视频内容的方法、装置和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141407A (ja) * 2006-11-30 2008-06-19 Matsushita Electric Ind Co Ltd 符号化方式変換装置及び符号化方式変換方法
JP2009049764A (ja) * 2007-08-21 2009-03-05 Kddi Corp 動画像の符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記録媒体
JP4989416B2 (ja) 2007-10-26 2012-08-01 Ｋｄｄｉ株式会社 動画像圧縮符号化装置
JP5003534B2 (ja) 2008-02-29 2012-08-15 富士通株式会社 トランスコード装置、トランスコード方法およびトランスコードプログラム
JP2013055587A (ja) * 2011-09-06 2013-03-21 Sony Corp 画像処理装置、画像処理方法、および画像処理システム

Also Published As

Publication number Publication date
US20140044177A1 (en) 2014-02-13
JP2014039095A (ja) 2014-02-27
US9544594B2 (en) 2017-01-10

Similar Documents

Publication Publication Date Title
JP4127818B2 (ja) 動画像符号化方法及びその装置
KR100987765B1 (ko) 동영상 부호화기에서의 예측 수행 방법 및 장치
CN101543074B (zh) 去块滤波装置和方法
US9445094B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program, relating to use of an image quality control parameter
US8213505B2 (en) Encoding apparatus, encoding method, program for encoding method, and recording medium having program for encoding method recorded thereon
KR101420957B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
US10638127B2 (en) Adaptive anchor frame and quantization parameter decision in video coding
US20110150074A1 (en) Two-pass encoder
US20120207219A1 (en) Picture encoding apparatus, picture encoding method, and program
JP2007267414A (ja) フレーム内画像符号化方法及びその装置
US20130170554A1 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
JPWO2006101126A1 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
JP5489557B2 (ja) 画像符号化装置及び画像符号化方法
JP5649296B2 (ja) 画像符号化装置
US8654844B1 (en) Intra frame beating effect reduction
JP5760950B2 (ja) 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム
JP2001128179A (ja) 動画像符号化装置および方法
US9185420B2 (en) Moving image coding apparatus and moving image coding method
JP6111556B2 (ja) 動画像再符号化装置、方法及びプログラム
JP4572137B2 (ja) 符号化装置および符号化プログラム
US8126277B2 (en) Image processing method, image processing apparatus and image pickup apparatus using the same
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5741073B2 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP2007251996A (ja) 動画像符号化方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160812

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170227

R150 Certificate of patent or registration of utility model

Ref document number: 6111556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees