JPH1032830A - 画像情報の再符号化方法及び装置 - Google Patents
画像情報の再符号化方法及び装置Info
- Publication number
- JPH1032830A JPH1032830A JP20420196A JP20420196A JPH1032830A JP H1032830 A JPH1032830 A JP H1032830A JP 20420196 A JP20420196 A JP 20420196A JP 20420196 A JP20420196 A JP 20420196A JP H1032830 A JPH1032830 A JP H1032830A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- step size
- quantization step
- image information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 符号化履歴を持つ画像に対してより良好な画
質向上を図ることができる画像情報の再符号化方法及び
装置を提供する。 【解決手段】 前段符号化における量子化ステップサイ
ズQ1 に対して再符号化時の量子化ステップサイズQ2
を、Q2 ≧Q1 かつQ2 =n×Q1 (ただし、nは自然
数)となるように決定し、該決定した量子化ステップサ
イズQ2 を用いて入力された画像情報の再符号化を行
う。
質向上を図ることができる画像情報の再符号化方法及び
装置を提供する。 【解決手段】 前段符号化における量子化ステップサイ
ズQ1 に対して再符号化時の量子化ステップサイズQ2
を、Q2 ≧Q1 かつQ2 =n×Q1 (ただし、nは自然
数)となるように決定し、該決定した量子化ステップサ
イズQ2 を用いて入力された画像情報の再符号化を行
う。
Description
【0001】
【発明の属する技術分野】本発明は、画像情報を複数回
符号化する場合の再符号化方法及び装置に関し、特に、
デジタルテレビジョン伝送、デジタル画像蓄積・伝送シ
ステム、画像データベース等における画像情報の再符号
化方法及び装置に関する。
符号化する場合の再符号化方法及び装置に関し、特に、
デジタルテレビジョン伝送、デジタル画像蓄積・伝送シ
ステム、画像データベース等における画像情報の再符号
化方法及び装置に関する。
【0002】
【従来の技術】近年、符号化ビットストリームからデジ
タル画像情報を復号し、それを異なる符号化条件にて再
符号化して伝送や蓄積を行うアプリケーションが増加し
ている。例えば、放送の分野においては、画像素材の収
集、テレビ局間の1次分配、家庭への2次分配等、編集
処理及び符号化処理を交えながらのデジタル信号の縦列
的な伝送、即ち1つの画像を複数回処理する階層的な伝
送が行われ、さらに放送形態が多様化するに従ってこの
階層的な伝送と異なったより自由度の高い伝送方式が普
及しつつある。また、画像データベース等に格納されラ
イブラリとして利用されるビデオクリップについては、
多くのユーザからソースが提供されると同時に、多くの
ユーザがこれを利用し、かつ編集及び符号化を交えて反
復的に伝送・蓄積することが行われる。
タル画像情報を復号し、それを異なる符号化条件にて再
符号化して伝送や蓄積を行うアプリケーションが増加し
ている。例えば、放送の分野においては、画像素材の収
集、テレビ局間の1次分配、家庭への2次分配等、編集
処理及び符号化処理を交えながらのデジタル信号の縦列
的な伝送、即ち1つの画像を複数回処理する階層的な伝
送が行われ、さらに放送形態が多様化するに従ってこの
階層的な伝送と異なったより自由度の高い伝送方式が普
及しつつある。また、画像データベース等に格納されラ
イブラリとして利用されるビデオクリップについては、
多くのユーザからソースが提供されると同時に、多くの
ユーザがこれを利用し、かつ編集及び符号化を交えて反
復的に伝送・蓄積することが行われる。
【0003】画像情報を複数回符号化すると画像情報は
符号化履歴を有することとなるが、このような画像情報
についても、従来技術では、その符号化履歴を無視した
形で再符号化が行われる。即ち、再符号化時にもその再
符号化器毎に独立のパラメータ、例えばその再符号化器
における圧縮率だけを考慮して処理が行われる。
符号化履歴を有することとなるが、このような画像情報
についても、従来技術では、その符号化履歴を無視した
形で再符号化が行われる。即ち、再符号化時にもその再
符号化器毎に独立のパラメータ、例えばその再符号化器
における圧縮率だけを考慮して処理が行われる。
【0004】本願出願人は、このような符号化履歴を無
視した再符号化が大幅な画質劣化を引き起こすことを定
量的に解析し、その結果に鑑みて、前段符号化における
符号化パラメータを読出してこれに適応する符号化パラ
メータを決定し、この決定した符号化パラメータを用い
て画像情報の再符号化を行うことを既に提案している
(特開平8−111870号公報)。
視した再符号化が大幅な画質劣化を引き起こすことを定
量的に解析し、その結果に鑑みて、前段符号化における
符号化パラメータを読出してこれに適応する符号化パラ
メータを決定し、この決定した符号化パラメータを用い
て画像情報の再符号化を行うことを既に提案している
(特開平8−111870号公報)。
【0005】
【発明が解決しようとする課題】本願出願人のこの提案
技術においては、再符号化時の量子化ステップサイズ
を、前段符号化の量子化ステップサイズを考慮した親和
性の高い値としている。しかしながら、このような方法
で決定した量子化ステップサイズを用いて再符号化して
も、充分な画質向上を得ることができなかった。
技術においては、再符号化時の量子化ステップサイズ
を、前段符号化の量子化ステップサイズを考慮した親和
性の高い値としている。しかしながら、このような方法
で決定した量子化ステップサイズを用いて再符号化して
も、充分な画質向上を得ることができなかった。
【0006】従って本発明の目的は、符号化履歴を持つ
画像に対して、より良好な画質向上を図ることができる
画像情報の再符号化方法及び装置を提供することにあ
る。
画像に対して、より良好な画質向上を図ることができる
画像情報の再符号化方法及び装置を提供することにあ
る。
【0007】
【課題を解決するための手段】本発明によれば、符号化
履歴を有する画像情報を再符号化する方法であって、前
段符号化における量子化ステップサイズQ1 に対して再
符号化時の量子化ステップサイズQ2 を、Q2 ≧Q1 か
つQ2 =n×Q1 (ただし、nは自然数)となるように
決定し、該決定した量子化ステップサイズQ2 を用いて
入力された画像情報の再符号化を行う画像情報の再符号
化方法が提供される。
履歴を有する画像情報を再符号化する方法であって、前
段符号化における量子化ステップサイズQ1 に対して再
符号化時の量子化ステップサイズQ2 を、Q2 ≧Q1 か
つQ2 =n×Q1 (ただし、nは自然数)となるように
決定し、該決定した量子化ステップサイズQ2 を用いて
入力された画像情報の再符号化を行う画像情報の再符号
化方法が提供される。
【0008】さらに本発明によれば、符号化履歴を有す
る画像情報を再符号化する装置であって、前段符号化に
おける量子化ステップサイズQ1 に対して再符号化時の
量子化ステップサイズQ2 を、Q2 ≧Q1 かつQ2 =n
×Q1 (ただし、nは自然数)となるように決定する手
段と、該決定手段によって決定された量子化ステップサ
イズQ2 を用いて入力された画像情報の再符号化を行う
再符号化手段とを備えた画像情報の再符号化装置が提供
される。
る画像情報を再符号化する装置であって、前段符号化に
おける量子化ステップサイズQ1 に対して再符号化時の
量子化ステップサイズQ2 を、Q2 ≧Q1 かつQ2 =n
×Q1 (ただし、nは自然数)となるように決定する手
段と、該決定手段によって決定された量子化ステップサ
イズQ2 を用いて入力された画像情報の再符号化を行う
再符号化手段とを備えた画像情報の再符号化装置が提供
される。
【0009】前段符号化における量子化ステップサイズ
Q1 に対して再符号化時の量子化ステップサイズQ2
が、Q2 ≧Q1 かつQ2 =n×Q1 (ただし、nは自然
数)となる規則を用いて、量子化ステップサイズQ2 を
決めることにより、再符号化の画質を大幅に向上させる
ことができる。
Q1 に対して再符号化時の量子化ステップサイズQ2
が、Q2 ≧Q1 かつQ2 =n×Q1 (ただし、nは自然
数)となる規則を用いて、量子化ステップサイズQ2 を
決めることにより、再符号化の画質を大幅に向上させる
ことができる。
【0010】前段符号化における量子化ステップサイズ
Q1 は、入力した画像情報の性質から推定してもよい
し、入力する画像情報と共に供給されるものを抽出する
ようにしてもよい。
Q1 は、入力した画像情報の性質から推定してもよい
し、入力する画像情報と共に供給されるものを抽出する
ようにしてもよい。
【0011】
【発明の実施の形態】図1は、本発明の一実施形態にお
ける画像情報再符号化装置を概略的に示すブロック図で
ある。
ける画像情報再符号化装置を概略的に示すブロック図で
ある。
【0012】同図において、10は符号化履歴を有しな
い画像情報(原画情報)又はMPEG−2による符号化
履歴を有する画像情報が前段の符号化パラメータを伴っ
て又は前段の符号化パラメータを伴うことなしに入力さ
れる入力線路、11は各フレームについて画像情報と共
に入力された前段符号化における符号化パラメータを抽
出するか又は入力された画像情報の性質から前段符号化
における符号化パラメータを推定する前処理部、12は
同じく符号化履歴を有しない画像情報又は符号化履歴を
有する画像情報が入力され、実際に情報圧縮のための符
号化を行う符号化部、13は前処理部11から与えられ
る前段の符号化パラメータ等から符号化部12の符号化
動作を制御する符号化制御部、14は符号化部12から
の符号化ビットストリームが出力される出力線路をそれ
ぞれ示している。符号化履歴を有しない画像情報(原画
情報)が入力される場合はこの図1の装置は1回目の符
号化装置として働き、符号化履歴を有する画像情報が入
力される場合はこの図1の装置は再符号化装置として働
く。
い画像情報(原画情報)又はMPEG−2による符号化
履歴を有する画像情報が前段の符号化パラメータを伴っ
て又は前段の符号化パラメータを伴うことなしに入力さ
れる入力線路、11は各フレームについて画像情報と共
に入力された前段符号化における符号化パラメータを抽
出するか又は入力された画像情報の性質から前段符号化
における符号化パラメータを推定する前処理部、12は
同じく符号化履歴を有しない画像情報又は符号化履歴を
有する画像情報が入力され、実際に情報圧縮のための符
号化を行う符号化部、13は前処理部11から与えられ
る前段の符号化パラメータ等から符号化部12の符号化
動作を制御する符号化制御部、14は符号化部12から
の符号化ビットストリームが出力される出力線路をそれ
ぞれ示している。符号化履歴を有しない画像情報(原画
情報)が入力される場合はこの図1の装置は1回目の符
号化装置として働き、符号化履歴を有する画像情報が入
力される場合はこの図1の装置は再符号化装置として働
く。
【0013】図2は、本実施形態における前処理部11
の構成例を概略的に示すブロック図である。
の構成例を概略的に示すブロック図である。
【0014】同図において、20は入力した画像情報が
前段の符号化パラメータ情報を伴っているかどうかを検
出し分類する検出分類器、21aは前段の符号化パラメ
ータとして前段符号化において各フレームがどのピクチ
ャタイプ(I/P/B)で処理されたかを推定してI/
P/B情報を出力するピクチャタイプ推定器、21bは
前段の符号化パラメータとして前段符号化における各フ
レームのピクチャタイプ(I/P/B)情報を抽出して
そのI/P/B情報を出力するピクチャタイプ読出器、
22aは前段の符号化パラメータとして前段符号化にお
ける量子化ステップサイズ(Q)を推定してQ情報を出
力する量子化ステップサイズ推定器、22bは前段の符
号化パラメータとして前段符号化の量子化ステップサイ
ズ(Q)情報を抽出してそのQ情報を出力する量子化ス
テップサイズ読出器、23aは前段の符号化パラメータ
として前段符号化におけるブロック境界を推定して画像
ブロック境界情報を出力するブロック境界推定器、23
bは前段の符号化パラメータとして前段符号化における
画像ブロック境界情報を抽出してその画像ブロック境界
情報を出力するブロック境界読出器をそれぞれ示してい
る。
前段の符号化パラメータ情報を伴っているかどうかを検
出し分類する検出分類器、21aは前段の符号化パラメ
ータとして前段符号化において各フレームがどのピクチ
ャタイプ(I/P/B)で処理されたかを推定してI/
P/B情報を出力するピクチャタイプ推定器、21bは
前段の符号化パラメータとして前段符号化における各フ
レームのピクチャタイプ(I/P/B)情報を抽出して
そのI/P/B情報を出力するピクチャタイプ読出器、
22aは前段の符号化パラメータとして前段符号化にお
ける量子化ステップサイズ(Q)を推定してQ情報を出
力する量子化ステップサイズ推定器、22bは前段の符
号化パラメータとして前段符号化の量子化ステップサイ
ズ(Q)情報を抽出してそのQ情報を出力する量子化ス
テップサイズ読出器、23aは前段の符号化パラメータ
として前段符号化におけるブロック境界を推定して画像
ブロック境界情報を出力するブロック境界推定器、23
bは前段の符号化パラメータとして前段符号化における
画像ブロック境界情報を抽出してその画像ブロック境界
情報を出力するブロック境界読出器をそれぞれ示してい
る。
【0015】検出分類器20の制御によって、入力した
画像情報が前段の符号化パラメータ情報を伴っていない
場合(符号化履歴があるのに前段の符号化パラメータ情
報を伴っていない場合又は符号化履歴が全くない場合)
には、ピクチャタイプ推定器21a、量子化ステップサ
イズ推定器22a及びブロック境界推定器23aが動作
して各符号化パラメータの推定を行う。これとは逆に、
入力した画像情報が前段の符号化パラメータ情報を伴っ
ている場合には、ピクチャタイプ読出器21b、量子化
ステップサイズ読出器22b及びブロック境界読出器2
3bが動作して各符号化パラメータの抽出を行う。な
お、ピクチャタイプ読出器21b、量子化ステップサイ
ズ読出器22b及びブロック境界読出器23bは、各フ
レームのヘッダに記録されている符号化パラメータを単
に読出すような構成となっている。前処理部11は、ピ
クチャタイプ読出器21b、量子化ステップサイズ読出
器22b及びブロック境界読出器23bを設けることな
く、ピクチャタイプ推定器21a、量子化ステップサイ
ズ推定器22a及びブロック境界推定器23aのみを設
けた構成であってもよい。この場合、入力される全ての
画像情報について、符号化パラメータを推定することと
なる。
画像情報が前段の符号化パラメータ情報を伴っていない
場合(符号化履歴があるのに前段の符号化パラメータ情
報を伴っていない場合又は符号化履歴が全くない場合)
には、ピクチャタイプ推定器21a、量子化ステップサ
イズ推定器22a及びブロック境界推定器23aが動作
して各符号化パラメータの推定を行う。これとは逆に、
入力した画像情報が前段の符号化パラメータ情報を伴っ
ている場合には、ピクチャタイプ読出器21b、量子化
ステップサイズ読出器22b及びブロック境界読出器2
3bが動作して各符号化パラメータの抽出を行う。な
お、ピクチャタイプ読出器21b、量子化ステップサイ
ズ読出器22b及びブロック境界読出器23bは、各フ
レームのヘッダに記録されている符号化パラメータを単
に読出すような構成となっている。前処理部11は、ピ
クチャタイプ読出器21b、量子化ステップサイズ読出
器22b及びブロック境界読出器23bを設けることな
く、ピクチャタイプ推定器21a、量子化ステップサイ
ズ推定器22a及びブロック境界推定器23aのみを設
けた構成であってもよい。この場合、入力される全ての
画像情報について、符号化パラメータを推定することと
なる。
【0016】図3は、ピクチャタイプ推定器21aの構
成例を概略的に示すブロック図である。
成例を概略的に示すブロック図である。
【0017】この例において、ピクチャタイプ推定器2
1aは、フレーム内符号化におけるIピクチャの同定を
行うものであり、入力画像情報の全フレームをフレーム
内符号化する(ただし、量子化ステップサイズ等は固定
した状態とする)フレーム内符号器30と、符号化した
ビットストリームからSNR値を計算するSNR計算器
31と、計算して得たSNR値からIピクチャの位相
(フレーム位置)を検出するIピクチャ検出器32とか
ら構成されている。
1aは、フレーム内符号化におけるIピクチャの同定を
行うものであり、入力画像情報の全フレームをフレーム
内符号化する(ただし、量子化ステップサイズ等は固定
した状態とする)フレーム内符号器30と、符号化した
ビットストリームからSNR値を計算するSNR計算器
31と、計算して得たSNR値からIピクチャの位相
(フレーム位置)を検出するIピクチャ検出器32とか
ら構成されている。
【0018】図4は、Iピクチャの同定を行う場合のフ
レーム内符号化におけるSNR値の特性を表わしたもの
であり、横軸はフレーム番号、縦軸はSNR値をそれぞ
れ示しており、パラメータとして量子化ステップサイ
ズ、量子化マトリクス、及び画像種類を用いている。同
図から分かるように、フレーム内符号化におけるSNR
値は、量子化マトリクスや前段量子化、画像種類等に依
存せず、前段符号化時にIピクチャ処理されたフレーム
の方が他のピクチャ(Pピクチャ、Bピクチャ)で処理
されたフレームより高い値を有している。従って、Iピ
クチャのフレーム位置を容易に検出することができる。
レーム内符号化におけるSNR値の特性を表わしたもの
であり、横軸はフレーム番号、縦軸はSNR値をそれぞ
れ示しており、パラメータとして量子化ステップサイ
ズ、量子化マトリクス、及び画像種類を用いている。同
図から分かるように、フレーム内符号化におけるSNR
値は、量子化マトリクスや前段量子化、画像種類等に依
存せず、前段符号化時にIピクチャ処理されたフレーム
の方が他のピクチャ(Pピクチャ、Bピクチャ)で処理
されたフレームより高い値を有している。従って、Iピ
クチャのフレーム位置を容易に検出することができる。
【0019】なお、図3のピクチャタイプ推定器21a
は、Iピクチャの同定のみを行うものであるが、Iピク
チャの同定の後、同様の方法でさらにPピクチャの同定
を行うようにしてもよい。Iピクチャ及びPピクチャの
同定を行えばBピクチャの位置が自動的に同定されるこ
とは言うまでもない。
は、Iピクチャの同定のみを行うものであるが、Iピク
チャの同定の後、同様の方法でさらにPピクチャの同定
を行うようにしてもよい。Iピクチャ及びPピクチャの
同定を行えばBピクチャの位置が自動的に同定されるこ
とは言うまでもない。
【0020】図5は、量子化ステップサイズ推定器22
aの構成例を概略的に示すブロック図である。
aの構成例を概略的に示すブロック図である。
【0021】この量子化ステップサイズ推定器22a
は、例えば、入力画像情報について例えばDCT処理、
ME処理等の前処理をする前処理器50と、前処理され
た信号の分布を計算する信号分布計算器51と、計算し
て得た分布から前段符号化時の量子化ステップサイズを
判定するQ判定器52とから構成されている。
は、例えば、入力画像情報について例えばDCT処理、
ME処理等の前処理をする前処理器50と、前処理され
た信号の分布を計算する信号分布計算器51と、計算し
て得た分布から前段符号化時の量子化ステップサイズを
判定するQ判定器52とから構成されている。
【0022】図6は、ブロック境界推定器23aの構成
例を概略的に示すブロック図である。
例を概略的に示すブロック図である。
【0023】このブロック境界推定器23aは、画像情
報のケプストラムを計算するケプストラム計算器60
と、計算して得たケプストラムからブロック歪位置を判
定して画像ブロック境界を検出する検出器61とから構
成されており、画像のブロック符号化において発生する
ブロック歪が周期性を有することから画像情報のケプス
トラムを求めてブロック境界を推定するものである。こ
のような、画像情報のケプストラム特性については、小
田他、「画像信号に対するケプストラム情報の基本特性
について」、1995年電子情報通信学会総合大会、D
−361、87頁、1995年3月に記載されている。
報のケプストラムを計算するケプストラム計算器60
と、計算して得たケプストラムからブロック歪位置を判
定して画像ブロック境界を検出する検出器61とから構
成されており、画像のブロック符号化において発生する
ブロック歪が周期性を有することから画像情報のケプス
トラムを求めてブロック境界を推定するものである。こ
のような、画像情報のケプストラム特性については、小
田他、「画像信号に対するケプストラム情報の基本特性
について」、1995年電子情報通信学会総合大会、D
−361、87頁、1995年3月に記載されている。
【0024】図7は、本実施形態における符号化制御部
13の構成例を概略的に示すブロック図である。
13の構成例を概略的に示すブロック図である。
【0025】この符号化制御部13は、符号化部12か
らの画像特徴量及び符号化状態を受け取ると共に前処理
部11から前段の符号化における符号化パラメータを受
け取り、これらを後述のごとく参照することにより、符
号化部12の符号化における適切なパラメータを決定
し、この符号化部12の動作を制御する。符号化制御部
13は、さらに、符号化履歴を持たない画像情報が入力
された場合には、初期パラメータにより規定される制
御、即ち入力画像の性質(画像特徴量)及び符号化状態
のみを参照し、従来の単一符号化における符号化制御と
同様の符号化制御を行う。
らの画像特徴量及び符号化状態を受け取ると共に前処理
部11から前段の符号化における符号化パラメータを受
け取り、これらを後述のごとく参照することにより、符
号化部12の符号化における適切なパラメータを決定
し、この符号化部12の動作を制御する。符号化制御部
13は、さらに、符号化履歴を持たない画像情報が入力
された場合には、初期パラメータにより規定される制
御、即ち入力画像の性質(画像特徴量)及び符号化状態
のみを参照し、従来の単一符号化における符号化制御と
同様の符号化制御を行う。
【0026】図7に示すように、符号化制御部13は、
前処理部11のピクチャタイプ推定器21a又はピクチ
ャタイプ読出器21bから与えられる前段符号化におけ
るI/P/B情報に基づいて、各フレーム毎に、今回の
再符号化のピクチャタイプを決定するピクチャタイプ決
定部70と、前処理部11の量子化ステップサイズ推定
器22a又は量子化ステップサイズ読出器22bから与
えられる前段符号化におけるQ情報と符号化部12から
与えられる画像特徴量及び符号化状態とに基づいて、各
マクロブロック毎に、今回の再符号化の量子化ステップ
サイズを決定する量子化ステップサイズ決定部71と、
前処理部11のブロック境界推定器23a又はブロック
境界読出器23bから与えられる前段符号化における画
像ブロック境界情報に基づいて、一連の符号化画像を全
て処理する毎に、再符号化の画像ブロック位置を決定す
る画像ブロック位置決定部72とを備えている。
前処理部11のピクチャタイプ推定器21a又はピクチ
ャタイプ読出器21bから与えられる前段符号化におけ
るI/P/B情報に基づいて、各フレーム毎に、今回の
再符号化のピクチャタイプを決定するピクチャタイプ決
定部70と、前処理部11の量子化ステップサイズ推定
器22a又は量子化ステップサイズ読出器22bから与
えられる前段符号化におけるQ情報と符号化部12から
与えられる画像特徴量及び符号化状態とに基づいて、各
マクロブロック毎に、今回の再符号化の量子化ステップ
サイズを決定する量子化ステップサイズ決定部71と、
前処理部11のブロック境界推定器23a又はブロック
境界読出器23bから与えられる前段符号化における画
像ブロック境界情報に基づいて、一連の符号化画像を全
て処理する毎に、再符号化の画像ブロック位置を決定す
る画像ブロック位置決定部72とを備えている。
【0027】ピクチャタイプ決定部70では、入力され
るI/P/B情報に応じて、そのフレームに関する前段
符号化がIピクチャタイプである場合は、再符号化時の
符号化をIピクチャタイプで行うように選択する。この
ように、Iピクチャの位相を前段符号化の場合と同一に
なるようにすることが最も重要であるが、Pピクチャ及
びBピクチャについても、前段符号化の場合と同一位相
となるようにしてもよい。
るI/P/B情報に応じて、そのフレームに関する前段
符号化がIピクチャタイプである場合は、再符号化時の
符号化をIピクチャタイプで行うように選択する。この
ように、Iピクチャの位相を前段符号化の場合と同一に
なるようにすることが最も重要であるが、Pピクチャ及
びBピクチャについても、前段符号化の場合と同一位相
となるようにしてもよい。
【0028】周知のようにMPEG−2の符号化におい
ては、フレーム内符号化(I)、前方向フレーム間予測
符号化(P)及び両方向フレーム間予測符号化(B)と
いう3種類の異なる予測タイプを周期的に組み合わせる
ことによって、符号化効率の向上を図っている。各ピク
チャタイプで予測・符号化された映像フレームは、互い
に異なる信号性質を有しているため、再符号化時には、
これを考慮した予測ピクチャタイプを選択することが重
要となる。即ち、ピクチャタイプの周期、例えばGOP
周期(N)、I/P周期(M)と共にその位相が前段符
号化の場合と一致させて制御すると、大幅な画質劣化を
防止することができるのである。
ては、フレーム内符号化(I)、前方向フレーム間予測
符号化(P)及び両方向フレーム間予測符号化(B)と
いう3種類の異なる予測タイプを周期的に組み合わせる
ことによって、符号化効率の向上を図っている。各ピク
チャタイプで予測・符号化された映像フレームは、互い
に異なる信号性質を有しているため、再符号化時には、
これを考慮した予測ピクチャタイプを選択することが重
要となる。即ち、ピクチャタイプの周期、例えばGOP
周期(N)、I/P周期(M)と共にその位相が前段符
号化の場合と一致させて制御すると、大幅な画質劣化を
防止することができるのである。
【0029】図8は、2種類の画像について、ピクチャ
タイプの周期を固定して(N=15、M=3)再符号化
を行った場合において、位相の異なる際の符号化画質特
性を比較して示す特性図であり、横軸はフレーム番号、
縦軸は2種類の画像についてのSNR値をそれぞれ示し
ており、パラメータとしてフレームオフセット量を用い
ている。ただし、量子化ステップサイズは、固定してい
る(Q=12)。
タイプの周期を固定して(N=15、M=3)再符号化
を行った場合において、位相の異なる際の符号化画質特
性を比較して示す特性図であり、横軸はフレーム番号、
縦軸は2種類の画像についてのSNR値をそれぞれ示し
ており、パラメータとしてフレームオフセット量を用い
ている。ただし、量子化ステップサイズは、固定してい
る(Q=12)。
【0030】同図より、I/Pピクチャの位相が一致す
ることによって画質劣化が緩和されるが、その劣化を最
小に抑えるためには、GOP位相(Iピクチャの位置)
をも一致させることが必要であることが分かる。
ることによって画質劣化が緩和されるが、その劣化を最
小に抑えるためには、GOP位相(Iピクチャの位置)
をも一致させることが必要であることが分かる。
【0031】量子化ステップサイズ決定部71では、符
号化部12から与えられる画像特徴量及び符号化状態等
から再符号化時のビットレート等に適合する最適な量子
化ステップサイズを選択するが、本実施形態ではその際
に、再符号化時の量子化ステップサイズQ2 を、前段符
号化時の量子化ステップサイズQ1 に対して、次のQ規
則を満たすように決定する。即ち、Q2 ≧Q1 かつQ2
=n×Q1 (ただし、nは自然数)というQ規則を満た
すように設定する。符号化履歴を有する画像では、量子
化により信号レベルの分布が符号化履歴のない画像と大
きく異なるため、量子化ステップサイズと量子化歪との
間に単調な関係が成立しない。即ち、前段及び再符号化
時の量子化ステップサイズの組み合わせにより、符号化
歪は一定の関係式で表わされる複雑な変化をする。この
ため、このように前段符号化の量子化ステップサイズを
考慮した量子化ステップサイズの設定が必要となる。
号化部12から与えられる画像特徴量及び符号化状態等
から再符号化時のビットレート等に適合する最適な量子
化ステップサイズを選択するが、本実施形態ではその際
に、再符号化時の量子化ステップサイズQ2 を、前段符
号化時の量子化ステップサイズQ1 に対して、次のQ規
則を満たすように決定する。即ち、Q2 ≧Q1 かつQ2
=n×Q1 (ただし、nは自然数)というQ規則を満た
すように設定する。符号化履歴を有する画像では、量子
化により信号レベルの分布が符号化履歴のない画像と大
きく異なるため、量子化ステップサイズと量子化歪との
間に単調な関係が成立しない。即ち、前段及び再符号化
時の量子化ステップサイズの組み合わせにより、符号化
歪は一定の関係式で表わされる複雑な変化をする。この
ため、このように前段符号化の量子化ステップサイズを
考慮した量子化ステップサイズの設定が必要となる。
【0032】図9は、このQ規則に従った量子化ステッ
プサイズを用いて再符号化した場合及びこのQ規則に従
わない量子化ステップサイズを用いて再符号化した場
合、それぞれの画質特性を示す特性図であり、横軸はビ
ットレート、縦軸はSNR値をそれぞれ示している。
プサイズを用いて再符号化した場合及びこのQ規則に従
わない量子化ステップサイズを用いて再符号化した場
合、それぞれの画質特性を示す特性図であり、横軸はビ
ットレート、縦軸はSNR値をそれぞれ示している。
【0033】同図からも分かるように、上述のQ規則を
用いて再符号化した場合に、前段符号化レートよりやや
低いレートにおける再符号化画質が向上している。Q規
則を用いて再符号化した場合に符号化歪が小さくなる根
拠を以下説明する。
用いて再符号化した場合に、前段符号化レートよりやや
低いレートにおける再符号化画質が向上している。Q規
則を用いて再符号化した場合に符号化歪が小さくなる根
拠を以下説明する。
【0034】1回目の符号化における歪をE1 、量子化
ステップサイズをQ1 とし、2回目の符号化における歪
をE2 、量子化ステップサイズをQ2 とする。
ステップサイズをQ1 とし、2回目の符号化における歪
をE2 、量子化ステップサイズをQ2 とする。
【数1】
【0035】この数式をグラフに表わすと、図10に示
すごとき量子化ステップサイズQ1及びQ2 に対する再
符号化歪E2 の特性図が得られる。同図より、Q2 がQ
1 の倍数であるときに再符号化歪E2 が相対的に小さく
なっていることが分かる。
すごとき量子化ステップサイズQ1及びQ2 に対する再
符号化歪E2 の特性図が得られる。同図より、Q2 がQ
1 の倍数であるときに再符号化歪E2 が相対的に小さく
なっていることが分かる。
【0036】画像ブロック位置決定部72では、前段符
号化における画像ブロック境界がそのまま維持されるよ
うに、再符号化の画像ブロック位置を設定する。
号化における画像ブロック境界がそのまま維持されるよ
うに、再符号化の画像ブロック位置を設定する。
【0037】符号化部12は、再符号化のための画像情
報を取り込み、符号化制御部13から与えられた符号化
パラメータを用いて再符号化を行い、再符号化したビッ
トストリームを出力する。この符号化部12及び符号化
制御部13のその他の構成及び動作は一般的な符号化装
置の場合と同様である。
報を取り込み、符号化制御部13から与えられた符号化
パラメータを用いて再符号化を行い、再符号化したビッ
トストリームを出力する。この符号化部12及び符号化
制御部13のその他の構成及び動作は一般的な符号化装
置の場合と同様である。
【0038】以下、一般的な符号化装置についてその構
成を簡単に説明すると、符号化装置は、動き補償付き予
測手段と、直行変換手段と、量子化手段と、符号化手段
と、バッファ手段とを直列に接続し、バッファ手段の出
力を量子化制御手段に帰還させて上述の量子化手段を制
御するように構成されている。動き補償付き予測手段
は、入力した現時刻の現画像とその直前の前画像とのM
×Mブロック単位での動きを例えばブロックマッチング
法によって検出し、前画像から動きを考慮した現画像の
予測画像を作り、現画像と予測画像との差分画像を出力
する。直交変換手段は、入力された差分画像をN×Nの
ブロックに分割し、例えば離散余弦変換(DCT)等で
画像をブロック毎に直交変換し、画像ブロック情報を量
子化手段へ出力する。量子化手段は、与えられた量子化
ステップサイズに基づいて画像ブロック情報を量子化
し、量子化された画像情報を出力する。符号化手段は、
量子化された画像情報を、例えば連続するゼロデータの
個数とそれに続く非ゼロデータのレベルを複合したハフ
マン符号化法等で可変長符号化し、符号化された画像情
報をバッファ手段へ出力する。バッファ手段は、例えば
ファーストイン・ファーストアウト(FIFO)メモリ
で構成され、符号化された画像情報を一時的に格納する
と共に、FIFOの法則に従って一定のビットレートで
出力する。量子化制御手段は、バッファ手段の占有量を
一定時間おきに観測し、この占有量に応じて量子化手段
に与える量子化ステップサイズを決定し、符号発生量を
制御する。
成を簡単に説明すると、符号化装置は、動き補償付き予
測手段と、直行変換手段と、量子化手段と、符号化手段
と、バッファ手段とを直列に接続し、バッファ手段の出
力を量子化制御手段に帰還させて上述の量子化手段を制
御するように構成されている。動き補償付き予測手段
は、入力した現時刻の現画像とその直前の前画像とのM
×Mブロック単位での動きを例えばブロックマッチング
法によって検出し、前画像から動きを考慮した現画像の
予測画像を作り、現画像と予測画像との差分画像を出力
する。直交変換手段は、入力された差分画像をN×Nの
ブロックに分割し、例えば離散余弦変換(DCT)等で
画像をブロック毎に直交変換し、画像ブロック情報を量
子化手段へ出力する。量子化手段は、与えられた量子化
ステップサイズに基づいて画像ブロック情報を量子化
し、量子化された画像情報を出力する。符号化手段は、
量子化された画像情報を、例えば連続するゼロデータの
個数とそれに続く非ゼロデータのレベルを複合したハフ
マン符号化法等で可変長符号化し、符号化された画像情
報をバッファ手段へ出力する。バッファ手段は、例えば
ファーストイン・ファーストアウト(FIFO)メモリ
で構成され、符号化された画像情報を一時的に格納する
と共に、FIFOの法則に従って一定のビットレートで
出力する。量子化制御手段は、バッファ手段の占有量を
一定時間おきに観測し、この占有量に応じて量子化手段
に与える量子化ステップサイズを決定し、符号発生量を
制御する。
【0039】以上述べた実施形態においては、符号化パ
ラメータとして、ピクチャタイプ、量子化ステップサイ
ズ及び画像ブロック境界を用いているが、その他に、ピ
クチャフォーマットや動ベクトル等も符号化パラメータ
として用いてもよい。
ラメータとして、ピクチャタイプ、量子化ステップサイ
ズ及び画像ブロック境界を用いているが、その他に、ピ
クチャフォーマットや動ベクトル等も符号化パラメータ
として用いてもよい。
【0040】以上述べた実施形態は全て本発明を例示的
に示すものであって限定的に示すものではなく、本発明
は他の種々の変形態様及び変更態様で実施することがで
きる。従って本発明の範囲は特許請求の範囲及びその均
等範囲によってのみ規定されるものである。
に示すものであって限定的に示すものではなく、本発明
は他の種々の変形態様及び変更態様で実施することがで
きる。従って本発明の範囲は特許請求の範囲及びその均
等範囲によってのみ規定されるものである。
【0041】
【発明の効果】以上詳細に説明したように本発明によれ
ば、前段符号化における量子化ステップサイズQ1 に対
して再符号化時の量子化ステップサイズQ2 が、Q2 ≧
Q1 かつQ2 =n×Q1 (ただし、nは自然数)となる
規則を用いて量子化ステップサイズQ2 を決めているの
で、再符号化の画質を大幅に向上させることができる。
ば、前段符号化における量子化ステップサイズQ1 に対
して再符号化時の量子化ステップサイズQ2 が、Q2 ≧
Q1 かつQ2 =n×Q1 (ただし、nは自然数)となる
規則を用いて量子化ステップサイズQ2 を決めているの
で、再符号化の画質を大幅に向上させることができる。
【図1】本発明の一実施形態における画像情報再符号化
装置を概略的に示すブロック図である。
装置を概略的に示すブロック図である。
【図2】図1の実施形態における前処理部の構成例を概
略的に示すブロック図である。
略的に示すブロック図である。
【図3】図2の前処理部におけるピクチャタイプ推定器
の構成例を概略的に示すブロック図である。
の構成例を概略的に示すブロック図である。
【図4】Iピクチャの同定を行う場合のフレーム内符号
化におけるSNR値の特性を表わす特性図である。
化におけるSNR値の特性を表わす特性図である。
【図5】図2の前処理部における量子化ステップサイズ
推定器の構成例を概略的に示すブロック図である。
推定器の構成例を概略的に示すブロック図である。
【図6】図2の前処理部におけるブロック境界推定器の
構成例を概略的に示すブロック図である。
構成例を概略的に示すブロック図である。
【図7】図1の実施形態における符号化制御部の構成例
を概略的に示すブロック図である。
を概略的に示すブロック図である。
【図8】ピクチャタイプの周期を固定して再符号化を行
った場合において、位相の異なる際の符号化画質特性を
比較して示す特性図である。
った場合において、位相の異なる際の符号化画質特性を
比較して示す特性図である。
【図9】Q規則に従った量子化ステップサイズを用いて
再符号化した場合及びQ規則に従わない量子化ステップ
サイズを用いて再符号化した場合それぞれの画質特性を
示す特性図である。
再符号化した場合及びQ規則に従わない量子化ステップ
サイズを用いて再符号化した場合それぞれの画質特性を
示す特性図である。
【図10】量子化ステップサイズQ1 及びQ2 に対する
再符号化歪E2 の特性を表わす特性図である。
再符号化歪E2 の特性を表わす特性図である。
10 入力線路 11 前処理部 12 符号化部 13 符号化制御部 14 出力線路 20 検出分類器 21a ピクチャタイプ推定器 21b ピクチャタイプ読出器 22a 量子化ステップサイズ推定器 22b 量子化ステップサイズ読出器 23a ブロック境界推定器 23b ブロック境界読出器
Claims (6)
- 【請求項1】 符号化履歴を有する画像情報を再符号化
する方法であって、前段符号化における量子化ステップ
サイズQ1 に対して再符号化時の量子化ステップサイズ
Q2 を、Q2 ≧Q1 かつQ2 =n×Q1 (ただし、nは
自然数)となるように決定し、該決定した量子化ステッ
プサイズQ2 を用いて入力された画像情報の再符号化を
行うことを特徴とする画像情報の再符号化方法。 - 【請求項2】 前段符号化における量子化ステップサイ
ズQ1 が、入力した画像情報の性質から推定されること
を特徴とする請求項1に記載の方法。 - 【請求項3】 前段符号化における量子化ステップサイ
ズQ1 が、入力する画像情報と共に供給されることを特
徴とする請求項1に記載の方法。 - 【請求項4】 符号化履歴を有する画像情報を再符号化
する装置であって、前段符号化における量子化ステップ
サイズQ1 に対して再符号化時の量子化ステップサイズ
Q2 を、Q2 ≧Q1 かつQ2 =n×Q1 (ただし、nは
自然数)となるように決定する手段と、該決定手段によ
って決定された量子化ステップサイズQ2 を用いて入力
された画像情報の再符号化を行う再符号化手段とを備え
たことを特徴とする画像情報の再符号化装置。 - 【請求項5】 前段符号化における量子化ステップサイ
ズQ1 を入力した画像情報の性質から推定する手段をさ
らに備えたことを特徴とする請求項4に記載の装置。 - 【請求項6】 入力する画像情報と共に供給される前段
符号化における量子化ステップサイズQ1 を抽出する手
段をさらに備えたことを特徴とする請求項4に記載の装
置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20420196A JPH1032830A (ja) | 1996-07-16 | 1996-07-16 | 画像情報の再符号化方法及び装置 |
US08/893,379 US6856650B1 (en) | 1996-07-16 | 1997-07-11 | Method and apparatus for second or later generation coding of video signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20420196A JPH1032830A (ja) | 1996-07-16 | 1996-07-16 | 画像情報の再符号化方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1032830A true JPH1032830A (ja) | 1998-02-03 |
Family
ID=16486514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20420196A Pending JPH1032830A (ja) | 1996-07-16 | 1996-07-16 | 画像情報の再符号化方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1032830A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100338725B1 (ko) * | 1998-05-02 | 2002-07-18 | 윤종용 | 목표부호량에근접시킨영상신호부호화방법및그에따른장치 |
US6959041B2 (en) | 1999-12-03 | 2005-10-25 | Nec Corporation | Picture encoding system conversion device and encoding rate conversion device |
US7236526B1 (en) | 1999-02-09 | 2007-06-26 | Sony Corporation | Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method |
US7606124B2 (en) | 2003-05-14 | 2009-10-20 | Sony Corporation | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
USRE43021E1 (en) | 1994-03-29 | 2011-12-13 | Sony Corporation | Picture signal transmitting method and apparatus |
US8170118B2 (en) | 1999-12-03 | 2012-05-01 | Sony Corporation | Information processing apparatus, information processing method and recording medium |
US8638849B2 (en) | 1998-03-10 | 2014-01-28 | Sony Corporation | Transcoding system using encoding history information |
-
1996
- 1996-07-16 JP JP20420196A patent/JPH1032830A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE43021E1 (en) | 1994-03-29 | 2011-12-13 | Sony Corporation | Picture signal transmitting method and apparatus |
USRE43238E1 (en) | 1994-03-29 | 2012-03-13 | Sony Corporation | Picture signal transmitting method and apparatus |
USRE43111E1 (en) | 1994-03-29 | 2012-01-17 | Sony Corporation | Picture signal transmitting method and apparatus |
USRE43043E1 (en) | 1994-03-29 | 2011-12-27 | Sony Corporation | Picture signal transmitting method and apparatus |
US8687690B2 (en) | 1998-03-10 | 2014-04-01 | Sony Corporation | Transcoding system using encoding history information |
US8638849B2 (en) | 1998-03-10 | 2014-01-28 | Sony Corporation | Transcoding system using encoding history information |
KR100338725B1 (ko) * | 1998-05-02 | 2002-07-18 | 윤종용 | 목표부호량에근접시킨영상신호부호화방법및그에따른장치 |
US8681868B2 (en) | 1999-02-09 | 2014-03-25 | Sony Corporation | Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method |
US7680187B2 (en) | 1999-02-09 | 2010-03-16 | Sony Corporation | Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method |
US7236526B1 (en) | 1999-02-09 | 2007-06-26 | Sony Corporation | Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method |
US7809065B2 (en) | 1999-12-03 | 2010-10-05 | Nec Corporation | Picture encoding system conversion device and encoding rate conversion device |
US6959041B2 (en) | 1999-12-03 | 2005-10-25 | Nec Corporation | Picture encoding system conversion device and encoding rate conversion device |
US8170118B2 (en) | 1999-12-03 | 2012-05-01 | Sony Corporation | Information processing apparatus, information processing method and recording medium |
US7606124B2 (en) | 2003-05-14 | 2009-10-20 | Sony Corporation | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
US7859956B2 (en) | 2003-05-14 | 2010-12-28 | Sony Corporation | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5606591B2 (ja) | ビデオ圧縮方法 | |
AU2007202789B2 (en) | High-fidelity motion summarisation method | |
EP1289301B1 (en) | Method and device for encoding image | |
US6347117B1 (en) | Apparatus and method for encoding images and medium in which image encoding program has been recorded | |
US6466624B1 (en) | Video decoder with bit stream based enhancements | |
US7949053B2 (en) | Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium | |
US6934334B2 (en) | Method of transcoding encoded video data and apparatus which transcodes encoded video data | |
US6493386B1 (en) | Object based bitstream transcoder | |
US6931064B2 (en) | Motion picture data converter, and computer product | |
US6252905B1 (en) | Real-time evaluation of compressed picture quality within a digital video encoder | |
JP2008219870A (ja) | 動画像符号化方法及び動画像符号化装置 | |
JP3293369B2 (ja) | 画像情報の再符号化方法及び装置 | |
CN101184238A (zh) | 编码装置及编码方法 | |
US7881366B2 (en) | Moving picture encoder | |
US20020122481A1 (en) | Transcoding method and transcoding apparatus | |
KR100988006B1 (ko) | 복호 장치 및 방법, 그리고 기록 매체 | |
JP4023324B2 (ja) | 透かし埋め込み及び画像圧縮部 | |
JP3956323B2 (ja) | 画像情報の再符号化方法及び装置 | |
JPH1032830A (ja) | 画像情報の再符号化方法及び装置 | |
JP4224778B2 (ja) | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム | |
US6856650B1 (en) | Method and apparatus for second or later generation coding of video signal | |
JP4165752B2 (ja) | 画像データへの秘匿データ挿入方式および秘匿データ検出方式 | |
US8199832B2 (en) | Video-signal switching apparatus | |
JP4073541B2 (ja) | 動画像再符号化装置 | |
JP4871848B2 (ja) | 動画像再符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050329 |