JP3956323B2

JP3956323B2 - 画像情報の再符号化方法及び装置

Info

Publication number: JP3956323B2
Application number: JP20420096A
Authority: JP
Inventors: 康弘滝嶋; 茂之酒澤; 正裕和田
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 1996-07-16
Filing date: 1996-07-16
Publication date: 2007-08-08
Anticipated expiration: 2016-07-16
Also published as: JPH1032829A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報を複数回符号化する場合の再符号化方法及び装置に関し、特に、デジタルテレビジョン伝送、デジタル画像蓄積・伝送システム、画像データベース等における画像情報の再符号化方法及び装置に関する。
【０００２】
【従来の技術】
近年、符号化ビットストリームからデジタル画像情報を復号し、それを異なる符号化条件にて再符号化して伝送や蓄積を行うアプリケーションが増加している。例えば、放送の分野においては、画像素材の収集、テレビ局間の１次分配、家庭への２次分配等、編集処理及び符号化処理を交えながらのデジタル信号の縦列的な伝送、即ち１つの画像を複数回処理する階層的な伝送が行われ、さらに放送形態が多様化するに従ってこの階層的な伝送と異なったより自由度の高い伝送方式が普及しつつある。また、画像データベース等に格納されライブラリとして利用されるビデオクリップについては、多くのユーザからソースが提供されると同時に、多くのユーザがこれを利用し、かつ編集及び符号化を交えて反復的に伝送・蓄積することが行われる。
【０００３】
画像情報を複数回符号化すると画像情報は符号化履歴を有することとなるが、このような画像情報についても、従来技術では、その符号化履歴を無視した形で再符号化が行われる。即ち、再符号化時にもその再符号化器毎に独立のパラメータ、例えばその再符号化器における圧縮率だけを考慮して処理が行われる。
【０００４】
本願出願人は、このような符号化履歴を無視した再符号化が大幅な画質劣化を引き起こすことを定量的に解析し、その結果に鑑みて、前段符号化における符号化パラメータを読出してこれに適応する符号化パラメータを決定し、この決定した符号化パラメータを用いて画像情報の再符号化を行うことを既に提案している（特開平８−１１１８７０号公報）。
【０００５】
【発明が解決しようとする課題】
本願出願人のこの提案技術によると、前段符号化における符号化パラメータをそのまま利用できる場合は問題ないが、例えばデジタルビデオテープ等によって画像情報が提供される場合は、前回の符号化における符号化パラメータが共に提供されないため、これを利用することが不可能となってしまう。
【０００６】
従って本発明の目的は、前段符号化のパラメータを直接入手できない場合にも、符号化履歴を持つ画像に対して良好な画質を得ることができる画像情報の再符号化方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明によれば、符号化履歴を有する画像情報を再符号化する方法であって、入力した画像情報をフレーム内符号化で符号化し、符号化した画像情報の画質を表わすＳＮＲ値を計算し、この計算結果に基づいてそのピクチャの位相を同定することを少なくとも行うことによって前段符号化におけるピクチャタイプの周期及び位相を推定し、該推定したピクチャタイプの周期及び位相を用いて入力された画像情報の再符号化を行う画像情報の再符号化方法が提供される。
【０００８】
さらに本発明によれば、符号化履歴を有する画像情報を再符号化する装置であって、入力した画像情報をフレーム内符号化で符号化し、符号化した画像情報の画質を表わすＳＮＲ値を計算し、この計算結果に基づいてそのピクチャの位相を同定することを少なくとも行うことによって前段符号化におけるピクチャタイプの周期及び位相を推定する手段と、該推定手段によって推定したピクチャタイプの周期及び位相を用いて入力された画像情報の再符号化を行う再符号化手段とを備えた画像情報の再符号化装置が提供される。
【０００９】
再符号化を行う際に、入力した画像情報をフレーム内符号化で符号化し、符号化した画像情報の画質を表わすＳＮＲ値を計算し、この計算結果に基づいてそのピクチャの位相を同定することを少なくとも行うことによって前段符号化における符号化パラメータであるピクチャタイプの周期及び位相を推定し、この推定したピクチャタイプの周期及び位相を用いることにより、前段符号化のパラメータを直接入手できない場合にも、符号化履歴を持つ画像に対して良好な画質の再符号化を行うことができる。
【００１２】
ピクチャタイプの位相の推定が、Ｉピクチャの位相を推定することであることが特に好ましい。
【００１３】
ピクチャタイプの周期の推定が、ＧＯＰ周期及び／又はＩ／Ｐピクチャ周期を推定することであるかもしれない。
【００１４】
符号化パラメータの推定が、入力した画像情報の性質から前段の量子化ステップサイズの推定を行うことを含んでいてもよい。
【００１５】
また、符号化パラメータの推定が、入力した画像情報の性質から前段の画像ブロック境界の推定を行うことを含んでいてもよい。
【００１６】
入力した画像情報が前段の符号化パラメータ情報を伴っているかどうか検出し、伴っていない場合にピクチャタイプの周期及び位相の推定を行うようにすることも好ましい。
【００１７】
【発明の実施の形態】
図１は、本発明の一実施形態における画像情報再符号化装置を概略的に示すブロック図である。
【００１８】
同図において、１０は符号化履歴を有しない画像情報（原画情報）又はＭＰＥＧ−２による符号化履歴を有する画像情報が前段の符号化パラメータを伴って又は前段の符号化パラメータを伴うことなしに入力される入力線路、１１は各フレームについて画像情報と共に入力された前段符号化における符号化パラメータを抽出するか又は入力された画像情報の性質から前段符号化における符号化パラメータを推定する前処理部、１２は同じく符号化履歴を有しない画像情報又は符号化履歴を有する画像情報が入力され、実際に情報圧縮のための符号化を行う符号化部、１３は前処理部１１から与えられる前段の符号化パラメータ等から符号化部１２の符号化動作を制御する符号化制御部、１４は符号化部１２からの符号化ビットストリームが出力される出力線路をそれぞれ示している。符号化履歴を有しない画像情報（原画情報）が入力される場合はこの図１の装置は１回目の符号化装置として働き、符号化履歴を有する画像情報が入力される場合はこの図１の装置は再符号化装置として働く。
【００１９】
図２は、本実施形態における前処理部１１の構成例を概略的に示すブロック図である。
【００２０】
同図において、２０は入力した画像情報が前段の符号化パラメータ情報を伴っているかどうかを検出し分類する検出分類器、２１ａは前段の符号化パラメータとして前段符号化において各フレームがどのピクチャタイプ（Ｉ／Ｐ／Ｂ）で処理されたかを推定してＩ／Ｐ／Ｂ情報を出力するピクチャタイプ推定器、２１ｂは前段の符号化パラメータとして前段符号化における各フレームのピクチャタイプ（Ｉ／Ｐ／Ｂ）情報を抽出してそのＩ／Ｐ／Ｂ情報を出力するピクチャタイプ読出器、２２ａは前段の符号化パラメータとして前段符号化における量子化ステップサイズ（Ｑ）を推定してＱ情報を出力する量子化ステップサイズ推定器、２２ｂは前段の符号化パラメータとして前段符号化の量子化ステップサイズ（Ｑ）情報を抽出してそのＱ情報を出力する量子化ステップサイズ読出器、２３ａは前段の符号化パラメータとして前段符号化におけるブロック境界を推定して画像ブロック境界情報を出力するブロック境界推定器、２３ｂは前段の符号化パラメータとして前段符号化における画像ブロック境界情報を抽出してその画像ブロック境界情報を出力するブロック境界読出器をそれぞれ示している。
【００２１】
検出分類器２０の制御によって、入力した画像情報が前段の符号化パラメータ情報を伴っていない場合（符号化履歴があるのに前段の符号化パラメータ情報を伴っていない場合又は符号化履歴が全くない場合）には、ピクチャタイプ推定器２１ａ、量子化ステップサイズ推定器２２ａ及びブロック境界推定器２３ａが動作して各符号化パラメータの推定を行う。これとは逆に、入力した画像情報が前段の符号化パラメータ情報を伴っている場合には、ピクチャタイプ読出器２１ｂ、量子化ステップサイズ読出器２２ｂ及びブロック境界読出器２３ｂが動作して各符号化パラメータの抽出を行う。なお、ピクチャタイプ読出器２１ｂ、量子化ステップサイズ読出器２２ｂ及びブロック境界読出器２３ｂは、各フレームのヘッダに記録されている符号化パラメータを単に読出すような構成となっている。前処理部１１は、ピクチャタイプ読出器２１ｂ、量子化ステップサイズ読出器２２ｂ及びブロック境界読出器２３ｂを設けることなく、ピクチャタイプ推定器２１ａ、量子化ステップサイズ推定器２２ａ及びブロック境界推定器２３ａのみを設けた構成であってもよい。この場合、入力される全ての画像情報について、符号化パラメータを推定することとなる。
【００２２】
図３は、ピクチャタイプ推定器２１ａの構成例を概略的に示すブロック図である。
【００２３】
この例において、ピクチャタイプ推定器２１ａは、フレーム内符号化におけるＩピクチャの同定を行うものであり、入力画像情報の全フレームをフレーム内符号化する（ただし、量子化ステップサイズ等は固定した状態とする）フレーム内符号器３０と、符号化したビットストリームからＳＮＲ値を計算するＳＮＲ計算器３１と、計算して得たＳＮＲ値からＩピクチャの位相（フレーム位置）を検出するＩピクチャ検出器３２とから構成されている。
【００２４】
図４は、Ｉピクチャの同定を行う場合のフレーム内符号化におけるＳＮＲ値の特性を表わしたものであり、横軸はフレーム番号、縦軸はＳＮＲ値をそれぞれ示しており、パラメータとして量子化ステップサイズ、量子化マトリクス、及び画像種類を用いている。同図から分かるように、フレーム内符号化におけるＳＮＲ値は、量子化マトリクスや前段量子化、画像種類等に依存せず、前段符号化時にＩピクチャ処理されたフレームの方が他のピクチャ（Ｐピクチャ、Ｂピクチャ）で処理されたフレームより高い値を有している。従って、Ｉピクチャのフレーム位置を容易に検出することができる。
【００２５】
なお、図３のピクチャタイプ推定器２１ａは、Ｉピクチャの同定のみを行うものであるが、Ｉピクチャの同定の後、同様の方法でさらにＰピクチャの同定を行うようにしてもよい。Ｉピクチャ及びＰピクチャの同定を行えばＢピクチャの位置が自動的に同定されることは言うまでもない。
【００２６】
図５は、量子化ステップサイズ推定器２２ａの構成例を概略的に示すブロック図である。
【００２７】
この量子化ステップサイズ推定器２２ａは、例えば、入力画像情報について例えばＤＣＴ処理、ＭＥ処理等の前処理をする前処理器５０と、前処理された信号の分布を計算する信号分布計算器５１と、計算して得た分布から前段符号化時の量子化ステップサイズを判定するＱ判定器５２とから構成されている。
【００２８】
図６は、ブロック境界推定器２３ａの構成例を概略的に示すブロック図である。
【００２９】
このブロック境界推定器２３ａは、画像情報のケプストラムを計算するケプストラム計算器６０と、計算して得たケプストラムからブロック歪位置を判定して画像ブロック境界を検出する検出器６１とから構成されており、画像のブロック符号化において発生するブロック歪が周期性を有することから画像情報のケプストラムを求めてブロック境界を推定するものである。このような、画像情報のケプストラム特性については、小田他、「画像信号に対するケプストラム情報の基本特性について」、１９９５年電子情報通信学会総合大会、Ｄ−３６１、８７頁、１９９５年３月に記載されている。
【００３０】
図７は、本実施形態における符号化制御部１３の構成例を概略的に示すブロック図である。
【００３１】
この符号化制御部１３は、符号化部１２からの画像特徴量及び符号化状態を受け取ると共に前処理部１１から前段の符号化における符号化パラメータを受け取り、これらを後述のごとく参照することにより、符号化部１２の符号化における適切なパラメータを決定し、この符号化部１２の動作を制御する。符号化制御部１３は、さらに、符号化履歴を持たない画像情報が入力された場合には、初期パラメータにより規定される制御、即ち入力画像の性質（画像特徴量）及び符号化状態のみを参照し、従来の単一符号化における符号化制御と同様の符号化制御を行う。
【００３２】
図７に示すように、符号化制御部１３は、前処理部１１のピクチャタイプ推定器２１ａ又はピクチャタイプ読出器２１ｂから与えられる前段符号化におけるＩ／Ｐ／Ｂ情報に基づいて、各フレーム毎に、今回の再符号化のピクチャタイプを決定するピクチャタイプ決定部７０と、前処理部１１の量子化ステップサイズ推定器２２ａ又は量子化ステップサイズ読出器２２ｂから与えられる前段符号化におけるＱ情報と符号化部１２から与えられる画像特徴量及び符号化状態とに基づいて、各マクロブロック毎に、今回の再符号化の量子化ステップサイズを決定する量子化ステップサイズ決定部７１と、前処理部１１のブロック境界推定器２３ａ又はブロック境界読出器２３ｂから与えられる前段符号化における画像ブロック境界情報に基づいて、一連の符号化画像を全て処理する毎に、再符号化の画像ブロック位置を決定する画像ブロック位置決定部７２とを備えている。
【００３３】
ピクチャタイプ決定部７０では、入力されるＩ／Ｐ／Ｂ情報に応じて、そのフレームに関する前段符号化がＩピクチャタイプである場合は、再符号化時の符号化をＩピクチャタイプで行うように選択する。このように、Ｉピクチャの位相を前段符号化の場合と同一になるようにすることが最も重要であるが、Ｐピクチャ及びＢピクチャについても、前段符号化の場合と同一位相となるようにしてもよい。
【００３４】
周知のようにＭＰＥＧ−２の符号化においては、フレーム内符号化（Ｉ）、前方向フレーム間予測符号化（Ｐ）及び両方向フレーム間予測符号化（Ｂ）という３種類の異なる予測タイプを周期的に組み合わせることによって、符号化効率の向上を図っている。各ピクチャタイプで予測・符号化された映像フレームは、互いに異なる信号性質を有しているため、再符号化時には、これを考慮した予測ピクチャタイプを選択することが重要となる。即ち、ピクチャタイプの周期、例えばＧＯＰ周期（Ｎ）、Ｉ／Ｐ周期（Ｍ）と共にその位相が前段符号化の場合と一致させて制御すると、大幅な画質劣化を防止することができるのである。
【００３５】
図８は、２種類の画像について、ピクチャタイプの周期を固定して（Ｎ＝１５、Ｍ＝３）再符号化を行った場合において、位相の異なる際の符号化画質特性を比較して示す特性図であり、横軸はフレーム番号、縦軸は２種類の画像についてのＳＮＲ値をそれぞれ示しており、パラメータとしてフレームオフセット量を用いている。ただし、量子化ステップサイズは、固定している（Ｑ＝１２）。
【００３６】
同図より、Ｉ／Ｐピクチャの位相が一致することによって画質劣化が緩和されるが、その劣化を最小に抑えるためには、ＧＯＰ位相（Ｉピクチャの位置）をも一致させることが必要であることが分かる。
【００３７】
量子化ステップサイズ決定部７１では、符号化部１２から与えられる画像特徴量及び符号化状態等から再符号化時のビットレート等に適合する最適な量子化ステップサイズを選択するが、本実施形態ではその際に、再符号化時の量子化ステップサイズＱ₂ を、前段符号化時の量子化ステップサイズＱ₁ に対して、次のＱ規則を満たすように決定する。即ち、Ｑ₂ ≧Ｑ₁ かつＱ₂ ＝ｎ×Ｑ₁ （ただし、ｎは自然数）というＱ規則を満たすように設定する。符号化履歴を有する画像では、量子化により信号レベルの分布が符号化履歴のない画像と大きく異なるため、量子化ステップサイズと量子化歪との間に単調な関係が成立しない。即ち、前段及び再符号化時の量子化ステップサイズの組み合わせにより、符号化歪は一定の関係式で表わされる複雑な変化をする。このため、このように前段符号化の量子化ステップサイズを考慮した量子化ステップサイズの設定が必要となる。
【００３８】
図９は、このＱ規則に従った量子化ステップサイズを用いて再符号化した場合及びこのＱ規則に従わない量子化ステップサイズを用いて再符号化した場合、それぞれの画質特性を示す特性図であり、横軸はビットレート、縦軸はＳＮＲ値をそれぞれ示している。
【００３９】
同図からも分かるように、上述のＱ規則を用いて再符号化した場合に、前段符号化レートよりやや低いレートにおける再符号化画質が向上している。Ｑ規則を用いて再符号化した場合に符号化歪が小さくなる根拠を以下説明する。
【００４０】
１回目の符号化における歪をＥ₁ 、量子化ステップサイズをＱ₁ とし、２回目の符号化における歪をＥ₂ 、量子化ステップサイズをＱ₂ とする。
【数１】

【００４１】
この数式をグラフに表わすと、図１０に示すごとき量子化ステップサイズＱ₁ 及びＱ₂ に対する再符号化歪Ｅ₂ の特性図が得られる。同図より、Ｑ₂ がＱ₁ の倍数であるときに再符号化歪Ｅ₂ が相対的に小さくなっていることが分かる。
【００４２】
画像ブロック位置決定部７２では、前段符号化における画像ブロック境界がそのまま維持されるように、再符号化の画像ブロック位置を設定する。
【００４３】
符号化部１２は、再符号化のための画像情報を取り込み、符号化制御部１３から与えられた符号化パラメータを用いて再符号化を行い、再符号化したビットストリームを出力する。この符号化部１２及び符号化制御部１３のその他の構成及び動作は一般的な符号化装置の場合と同様である。
【００４４】
以下、一般的な符号化装置についてその構成を簡単に説明すると、符号化装置は、動き補償付き予測手段と、直行変換手段と、量子化手段と、符号化手段と、バッファ手段とを直列に接続し、バッファ手段の出力を量子化制御手段に帰還させて上述の量子化手段を制御するように構成されている。動き補償付き予測手段は、入力した現時刻の現画像とその直前の前画像とのＭ×Ｍブロック単位での動きを例えばブロックマッチング法によって検出し、前画像から動きを考慮した現画像の予測画像を作り、現画像と予測画像との差分画像を出力する。直交変換手段は、入力された差分画像をＮ×Ｎのブロックに分割し、例えば離散余弦変換（ＤＣＴ）等で画像をブロック毎に直交変換し、画像ブロック情報を量子化手段へ出力する。量子化手段は、与えられた量子化ステップサイズに基づいて画像ブロック情報を量子化し、量子化された画像情報を出力する。符号化手段は、量子化された画像情報を、例えば連続するゼロデータの個数とそれに続く非ゼロデータのレベルを複合したハフマン符号化法等で可変長符号化し、符号化された画像情報をバッファ手段へ出力する。バッファ手段は、例えばファーストイン・ファーストアウト（ＦＩＦＯ）メモリで構成され、符号化された画像情報を一時的に格納すると共に、ＦＩＦＯの法則に従って一定のビットレートで出力する。量子化制御手段は、バッファ手段の占有量を一定時間おきに観測し、この占有量に応じて量子化手段に与える量子化ステップサイズを決定し、符号発生量を制御する。
【００４５】
以上述べた実施形態においては、符号化パラメータとして、ピクチャタイプ、量子化ステップサイズ及び画像ブロック境界を用いているが、その他に、ピクチャフォーマットや動ベクトル等も符号化パラメータとして用いてもよい。
【００４６】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【００４７】
【発明の効果】
以上詳細に説明したように本発明によれば、再符号化を行う際に、入力した画像情報の性質から前段符号化における符号化パラメータを推定し、この推定した符号化パラメータを用いているので、前段符号化のパラメータを直接入手できない場合にも、符号化履歴を持つ画像に対して良好な画質の再符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像情報再符号化装置を概略的に示すブロック図である。
【図２】図１の実施形態における前処理部の構成例を概略的に示すブロック図である。
【図３】図２の前処理部におけるピクチャタイプ推定器の構成例を概略的に示すブロック図である。
【図４】Ｉピクチャの同定を行う場合のフレーム内符号化におけるＳＮＲ値の特性を表わす特性図である。
【図５】図２の前処理部における量子化ステップサイズ推定器の構成例を概略的に示すブロック図である。
【図６】図２の前処理部におけるブロック境界推定器の構成例を概略的に示すブロック図である。
【図７】図１の実施形態における符号化制御部の構成例を概略的に示すブロック図である。
【図８】ピクチャタイプの周期を固定して再符号化を行った場合において、位相の異なる際の符号化画質特性を比較して示す特性図である。
【図９】Ｑ規則に従った量子化ステップサイズを用いて再符号化した場合及びＱ規則に従わない量子化ステップサイズを用いて再符号化した場合それぞれの画質特性を示す特性図である。
【図１０】量子化ステップサイズＱ₁ 及びＱ₂ に対する再符号化歪Ｅ₂ の特性を表わす特性図である。
【符号の説明】
１０入力線路
１１前処理部
１２符号化部
１３符号化制御部
１４出力線路
２０検出分類器
２１ａピクチャタイプ推定器
２１ｂピクチャタイプ読出器
２２ａ量子化ステップサイズ推定器
２２ｂ量子化ステップサイズ読出器
２３ａブロック境界推定器
２３ｂブロック境界読出器

Claims

符号化履歴を有する画像情報を再符号化する方法であって、入力した画像情報をフレーム内符号化で符号化し、該符号化した画像情報の画質を表わすＳＮＲ値を計算し、該計算結果に基づいて該ピクチャの位相を同定することを少なくとも行うことによって前段符号化におけるピクチャタイプの周期及び位相を推定し、該推定したピクチャタイプの周期及び位相を用いて入力された画像情報の再符号化を行うことを特徴とする画像情報の再符号化方法。
前記ピクチャタイプの位相の推定が、Ｉピクチャの位相を推定することであることを特徴とする請求項１に記載の方法。
前記ピクチャタイプの周期の推定が、ＧＯＰ周期及び／又はＩ／Ｐピクチャ周期を推定することを含むことを特徴とする請求項１又は２に記載の方法。
入力した画像情報の性質から前段の量子化ステップサイズを推定し、該推定した量子化ステップサイズをさらに用いて入力された画像情報の前記再符号化を行うことを特徴とする請求項１から３のいずれか１項に記載の方法。
入力した画像情報の性質から前段の画像ブロック境界を推定し、該推定した前段の画像ブロック境界をさらに用いて入力された画像情報の前記再符号化を行うことを特徴とする請求項１から４のいずれか１項に記載の方法。
入力した画像情報が前段の符号化パラメータ情報を伴っているかどうか検出し、伴っていない場合に前記ピクチャタイプの周期及び位相の推定を行うことを特徴とする請求項１から５のいずれか１項に記載の方法。
符号化履歴を有する画像情報を再符号化する装置であって、入力した画像情報をフレーム内符号化で符号化し、該符号化した画像情報の画質を表わすＳＮＲ値を計算し、該計算結果に基づいて該ピクチャの位相を同定することを少なくとも行うことによって前段符号化におけるピクチャタイプの周期及び位相を推定する手段と、該推定手段によって推定したピクチャタイプの周期及び位相を用いて入力された画像情報の再符号化を行う再符号化手段とを備えたことを特徴とする画像情報の再符号化装置。
前記推定手段が、Ｉピクチャの位相を推定する手段であることを特徴とする請求項７に記載の装置。
前記推定手段が、ＧＯＰ周期及び／又はＩ／Ｐピクチャ周期を推定する手段を含むことを特徴とする請求項７又は８に記載の装置。
前記推定手段が、入力した画像情報の性質から前段の量子化ステップサイズの推定を行う手段を含むことを特徴とする請求項７から９のいずれか１項に記載の装置。
前記推定手段が、入力した画像情報の性質から前段の画像ブロック境界の推定を行う手段を含むことを特徴とする請求項７から１０のいずれか１項に記載の装置。
入力した画像情報に前段の符号化パラメータが伴っているかどうか検出し、伴っていない場合には前記推定手段にピクチャタイプの周期及び位相の推定を行わせる手段をさらに備えたことを特徴とする請求項７から１１のいずれか１項に記載の装置。