JP2003299095A - 動画像処理装置、動画処理方法及び動画記録装置 - Google Patents

Abstract

(57)【要約】 【課題】実時間で最適な符号量制御を行う。 【解決手段】符号化パラメータが異なる符号化を行った
ビットストリームから、2つ以上のストリームを選択
し、それらを接続して出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル動画像
信号を高能率符号化する動画像符号化装置及び符号化方
法に関する。

【０００２】

【従来の技術】動画像を圧縮する方法として、ＩＳＯ／
ＩＥＣ１３８１８−２（通称MPEG2（Ｍｏｖｉｎｇ Ｐ
ｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２））が
ある。

【０００３】

【発明が解決しようとする課題】MPEG2による動画像圧
縮では、画像をマクロブロックと呼ばれる１６画素×１
６画素の矩形ブロック群に分割し、時間的に前後の画像
の中から、エンコードするマクロブロックに似た領域
（参照領域）を抽出し、参照領域との空間的な距離、方
位（動きベクトル）と、参照領域とエンコードしようと
する領域の差分情報を計算し、これらの情報を、ＤＣ
Ｔ、可変長符号化を用いてビットストリームに圧縮して
いる。このように動きベクトルと差分情報だけを圧縮す
る手法は、原画像そのものを圧縮する手法よりも、はる
かに高能率な圧縮が実現可能である。しかし、差分情報
によって圧縮されたピクチャーは参照するピクチャーが
ないと復元できないため、ビットストリームの途中から
伸長するような用途に対処するためには、他のピクチャ
ーを参照しないピクチャーを周期的に設ける必要があ
る。このピクチャーをＩ(Intra)ピクチャーと称する。
Ｉピクチャーを参照ピクチャーとして、次のピクチャー
を圧縮し、さらに、すでに圧縮されたピクチャーを参照
ピクチャーとして後続のピクチャーを圧縮していく。参
照ピクチャーを用いて圧縮するピクチャーの中には、時
間的に前のピクチャーのみを参照ピクチャーとするＰピ
クチャーと、時間的に前後のピクチャーを参照ピクチャ
ーとするＢピクチャーがある。Ｐピクチャーは、Ｉピク
チャーと同様に、他の画像の参照ピクチャーとなりう
る。圧縮の過程で生じる画質劣化を均一にする条件で圧
縮した場合、Iピクチャーが最も大きい符号量のビット
ストリームに圧縮される傾向があり、次にPピクチャ
ー、Bピクチャーの順にビットストリームの符号量は小
さくなる傾向がある。また、入力される画像の性質によ
り、圧縮の度合いは大きく変化する。

【０００４】このように、MPEGのような手法で圧縮して
得られるビットストリームの符号量は、入力される画像
の性質によって変化するため、同じ符号化パラメータで
圧縮を行ったとしても、予想した符号量どおりのビット
ストリームが得られるとは限らない。しかし、DVDディ
スクなどの容量が定められた記録媒体にビットストリー
ムを記録する事を想定して圧縮を行う場合、全体として
目的の符号量となるように圧縮を行い、かつ、圧縮の過
程で生じる画質劣化が目立つ箇所を極力少なくする、言
い換えれば、ストリームの全般に渡って均一な圧縮歪み
となるように制御を行う必要がある。

【０００５】この要求を実現するために、フィードバッ
ク制御と呼ばれる手法が用いられている。この制御で
は、動画像を先頭から圧縮していく過程で、全体圧縮後
の符号量を予想し、目的とする符号量(ターゲット値)よ
り大きくなる事が予想されるならば、より少ない符号量
となるように以降の部分を圧縮し、ターゲット値より小
さくなる事が予想されるならば、より大きい符号量とな
るように以降の部分を圧縮する手法である。全体に渡っ
て均一な圧縮歪となるように調整するためには、後続の
画像の性質を知らねばならず、そのために様々な工夫が
なされてきた。

【０００６】圧縮歪を調整する例として、特開平10-191
343号公報「映像データ圧縮装置およびその方法」(以
下、文献1と称する)がある。本従来技術によれば、入力
動画像全体を圧縮した結果得られる符号量を予測する方
法として、複数の符号化器を用意して並列して第１の符
号化を行い、その中で最もターゲットに近い符号量とな
る制御方式を求め、そのパラメータで再度第２の符号化
を行うという手法である。本方式によれば、複数の制御
方式で圧縮した結果得られる符号量を正確に予測できる
ため、その中から最もターゲット符号量に近い結果が得
られる方法で圧縮を行うため、ターゲット符号量を正確
に予想する事が出来る。

【０００７】しかしながら、文献１の従来技術によれ
ば、１度目の圧縮とは時間をずらして２度目の圧縮を行
う必要があるため、その時間差に相当する分だけ処理遅
延が増加し、圧縮された結果得られるストリームを利用
できるまでに遅延を生じるという問題があった。

【０００８】文献１のような２度の圧縮を行わず圧縮歪
を調整する例にとして、特開平9-74559号公報「情報蓄
積出力装置」(以下、文献２と称する)、特開2000-16387
8号公報「記録再生装置及び記録再生方法」(以下、文献
３と称する)がある。本従来技術によれば、入力動画像
全体を、異なる符号化レートになる様に複数のビットス
トリームを作成して記憶し、出力対象に応じて記憶した
ストリームを切り替えて出力している。

【０００９】しかしながら、文献２及び３では、画像フ
ァイル全体での符号量を制御するのみで、部分部分の画
質を考慮していなかった。符号化後の画質は、入力画像
の性質に大きく依存するため、ある符号化レートで圧縮
されたビットストリームにて他の期間よりも大きな符号
化歪を持つ期間は、他の符号化レートで圧縮してもやは
り他の期間によりも大きな符号化歪を持つ。従って、理
想的なビット配分の場合に比べて部分的に画質が劣化す
るという欠点は補う事が出来なかった。

【００１０】

【課題を解決するための手段】本発明は、符号化パラメ
ータのうち少なくとも一部について、取りうる値の範囲
が異なるように制御して作成した複数のビットストリー
ムを作成し、最後まで記録媒体に保持し、複数のストリ
ームから部分部分で目的にかなったストリームを２つ以
上選択し、選択されたストリームを接続させて出力する
ことにより、部分部分で理想的なビット配分をもつビッ
トストリームを選択することが可能となり、最適な全体
的に符号化歪みの少ない画像ファイルを得ることが可能
となる。

【００１１】

【発明の実施の形態】以下、本発明の実施形態を図面に
て説明する。

【００１２】図１は、本発明の一実施形態による動画像
圧縮機能を持つ動画像処理装置の構成を示したブロック
図である。同図中、動画像処理装置は、動画像入力端子
1、n個の符号化制御部11〜13、n個の符号化部21〜23、
ビットストリーム選択部31、ビットストリーム記憶部4
1、ビットストリーム出力端子2からなる。括弧内のビッ
トストリーム加工部32、検出部34、選択指示部33、及び
フィルタ制御部51〜53、フィルタ61〜63については後述
する。

【００１３】動画像入力端子1から入力された動画像情
報は、符号化部21〜23に並列に入力され、それぞれ、符
号化制御部11〜13の制御の元で符号化され、それぞれ、
ハードディスク(HDD)などからなる記憶部41に記憶され
る。MPEGによる符号化では、入力動画像に対して、動き
補償、DCT、量子化、可変長符号化の各過程を経て符号
化が行われる。符号化のパラメータは、符号化制御部11
〜13によって制御される。

【００１４】この動画像処理装置は、ハードディスク内
蔵のＤＶＤレコーダなどに使用されるものであり、ビッ
トストリーム出力端子2から出力されたストリームは、
不図示の記録部により、DVD-R等の記憶媒体に記憶され
る。また、ビットストリームは、不図示の通信手段によ
りネットワーク上に送信されてもよい。

【００１５】従来技術にて説明した様に、MPEGを用いて
符号化を行って最終的に得られる符号量を目的の値に収
める場合、フィードバック制御が用いられる事が多い。
以下にその概要を説明する。フィードバック制御におい
て、符号量制御のために最もよく用いられるパラメータ
は量子化係数Q (Quantization)である。この値は、動き
補償、DCT処理をなされた動画像データを、定められた
定数(量子化係数Q)で除算し、符号長を減少させる際に
用いられるパラメータである。量子化係数Qを大きくす
る程、処理後の符号長が短くなり、より少ない符号量に
圧縮される。この場合、切り捨てられるビット量が多い
ため、圧縮歪が大きくなる。一方、量子化係数Qを小さ
くする程、処理後の符号長が長くなり、より多い符号量
に圧縮される。この場合、切り捨てられるビット量が少
ないため、圧縮歪は小さくなる。動画像を先頭から逐次
符号化していき、目的とする符号量よりも大きな符号量
に圧縮されているならば、後続の画像の圧縮では量子化
係数を大きくし、目的とする符号量よりも小さな符号量
に圧縮されているならば、後続の画像の圧縮では量子化
係数を小さくしていく事により、最終的には圧縮後の全
体の符号量が目的の符号量となるように制御する手法で
ある。この方法では、量子化係数は逐次変化していくた
め、１つのストリームの中で、量子化係数が大きい部分
と小さい部分が混在し、全体としては符号量が目的の値
になっている。量子化係数が小さい部分では圧縮歪が小
さくて歪が目立たない画像となるが、量子化係数が大き
い部分では圧縮歪が大きくて歪が目立つ。量子化係数が
大きい部分での量子化係数の値は、全体を均一な量子化
係数で同じ符号量となる様に符号化した場合の量子化係
数よりも大きな値となる。そのため、より均一な量子化
係数で動画像全体を符号化する事が望まれる。

【００１６】本実施例では、複数の符号化部を用意して
それぞれ量子化係数を固定値として圧縮を行う事によ
り、量子化係数がそれぞれ固定で全体の符号量が異なる
複数のビットストリームを作成し、それぞれビットスト
リーム記憶部41に記憶する。動画像の全ての部分の符号
化を終えた時点で、得られたビットストリームから、目
的とする符号量に最も近い符号量となったビットストリ
ーム、または、目的の符号量以下で目的の符号量に最も
近い符号量となったビットストリームを選択部31にて選
択し、ビットストリーム出力端子2から出力する。この
ような構成にする事により、入力動画像を複数回処理装
置に通す事なく、最適な量子化係数で圧縮されたビット
ストリームを得る事が出来る。例えば、MPEG2方式で
は、量子化係数は、1〜31の31通りをとる事が出来る。
そのため、符号化部を31個並列すれば、全ての量子化係
数についてビットストリームを作成する事が出来、その
中から符号量が最適のビットストリームを選択する事が
出来る。また、極端に大きな量子化係数や、極端に小さ
な量子化係数は最適な符号量となる可能性は低いとして
排除する事により、並列処理の個数を減らす事も可能で
ある。また、最終的な符号量にある程度の誤差が許され
る場合は、量子化係数を奇数に限定するなどして、並列
処理の個数を減らす事も可能である。

【００１７】図2には、本実施例で符号化した様々な固
定量子化係数での画質と符号量の推移と、従来技術によ
るフィードバック制御で符号化した場合の画質と符号量
の推移を表した模式図を示す。この図において、期間、
画質、符号量などの数値は目安である。期間について
は、値が大きいほど後の時間であり、画質については、
値が大きい程画質が良く、符号量については、値が大き
いほど符号量が大きいことを示している。但し、MPEG方
式における量子化係数については、整数値しか取り得な
いため、値を整数に限定して記述してある。

【００１８】この例では、図2中入力画像の性質として
表したように、時間とともに入力画像の性質が変わり、
平坦な画像である期間と複雑な画像である期間が交互に
現れる例を示している。平坦な画像とは、入力画像の動
きが少ない、または、空間的な変化が少ない画像を代表
して表し、MPEG符号化において、このような画像では、
同じ量子化係数という条件では他の画像に対してより少
ない符号量のビットストリームに圧縮され、同じ符号量
のビットストリームという条件では、他の画像に対して
より小さい量子化係数で圧縮される傾向がある。また、
複雑な画像とは、入力画像の動きが多く複雑、空間的な
変化が多い画像などを代表して表し、MPEG符号化におい
て、このような画像では、同じ量子化係数という条件で
は他の画像に対してより多い符号量のビットストリーム
に圧縮され、同じ符号量のビットストリームという条件
では、他の画像に対してより大きい量子化係数で圧縮さ
れる傾向がある。この例では、目的とする符号量が平均
符号量3と設定され、量子化係数3で全体の符号化を行っ
た場合にこの符号量となり、この条件では画質は3とな
るような入力画像であるとする。これら最適な値を、同
図中で点線で示した。

【００１９】同図フィードバック制御と示した段は、従
来技術によるフィードバッグ制御を行った例の模式図で
ある。この例では、まず平坦な画像である期間1を、平
均符号量3となる様に制御し、その結果、量子化係数2、
画質4となる。実際には、フィードバック制御により、
量子化係数は上下するが、本図ではその点は簡略化して
記述してある。その後、期間2に入ると複雑な画像とな
るため、同じ量子化係数では急激に符号量が増大する。
そのため、符号量からフィードバック制御がかかり、リ
バウンドで量子化係数は5まで増大し、画質1に悪化す
る。その後平衡状態となり、量子化係数は4、画質は2、
平均符号量は3で安定する。さらに、期間3に移ると、平
坦な画像である期間となるため、同じ量子化係数では急
激に符号量が減少する。そのため、符号量からフィード
バック制御がかかり、リバウンドで量子化係数は1まで
減少し、画質5まで改善する。その後平衡状態となり、
量子化係数は2、画質は4、平均符号量は3で安定する。
この様な推移をたどり、平均すれば符号量は3となるも
のの、画質は平衡状態では2〜4、過渡期も含めれば1〜5
の範囲で変化する。視聴者は、画質が悪化した期間から
強い印象を受けるため、悪い画質の映像であるという印
象を受ける。

【００２０】一方、同図で量子化係数大と示した段は、
複数の固定の量子化係数で符号化を行ったうちの、最適
な場合よりは僅かに大きな量子化係数で圧縮を行った例
を示している。この段では、量子化係数は一定値4とな
り、画質も一定値2となる。この場合は、平坦な画像で
ある期間1、3では少ない符号量1となり、複雑な画像で
ある期間2、4では多い符号量3となり、平均では、符号
量2となる。この値は、目的とする平均符号量3よりは小
さな値となる。

【００２１】一方、同図で量子化係数最適と示した段
は、複数の固定の量子化係数で符号化を行ったうちの、
最適な量子化係数で圧縮を行った例を示している。この
段では、量子化係数は一定値3となり、画質も一定値3と
なる。この場合は、平坦な画像である期間1、3では少な
い符号量2となり、複雑な画像である期間2、4では多い
符号量4となり、平均では、符号量3となる。この値は、
目的とする平均符号量3に合っている。

【００２２】一方、同図で量子化係数小と示した段は、
複数の固定の量子化係数で符号化を行ったうちの、最適
な場合よりは僅かに小さな量子化係数で圧縮を行った例
を示している。この段では、量子化係数は一定値2とな
り、画質も一定値4となる。この場合は、平坦な画像で
ある期間1、3では少ない符号量3となり、複雑な画像で
ある期間2、4では多い符号量5となり、平均では、符号
量4となる。この値は、目的とする平均符号量3よりは大
きな値となる。

【００２３】以上のような符号化処理の結果、最適であ
ると評価された量子化係数3で符号化されたビットスト
リームを選択して出力する。選択部３１が、複数のスト
リームのうち、どのストリームが最適であるかを評価す
るのであるが、これは予め目標の平均符号量を設けてお
き、これに最適な平均符号量をもつものを選択するよう
にしてもよいし、さらに、記憶部の容量から記憶された
１つのストリームを全て記録できるのはいずれのもので
あるかを判断して選択するようにしても良い。さらに、
ユーザがどのストリーム選択するかを指示するこの選択
指示部33を設け、選択指示部の指示に従って選択された
ストリームを選択部31が選択することとしても良い。こ
の選択指示部33は、量子化係数や符号量を選択するもの
であっても良いし、画質のレベルを選択するスイッチで
あっても良い。なお、記憶部41の容量などの制限から不
要なデータを速やかに消去する必要がある場合は、ここ
で不要とされたストリームの破棄を行う。

【００２４】以上のように、フィードバック量子化での
画質は、最も悪い画質は過渡状態で1、平衡状態でも2で
あるのに対し、量子化係数を固定して複数の符号化を行
ってその中から最適な符号量となったストリームを選択
して出力する本発明の方式では、画質は3で固定され、
より良い画質に符号化できる。本例では、最適な場合よ
りは僅かに大きな量子化係数で圧縮、最適な量子化係数
で圧縮、最適な場合よりは僅かに大きな量子化係数で圧
縮の３通りの例を示しているが、より多くの符号化部を
用意し、より多くの量子化係数で符号化を行い、その中
から最適な量子化係数の結果を選択する事により、より
確実に最適な量子化係数で圧縮されたビットストリーム
を得る事も可能である。

【００２５】図3には、本例での累積符号量の推移の模
式図を示す。フィードバック制御(同図中破線)では、ど
の期間もほぼ符号量3で符号化されているため、推移は
全期間に渡って傾きがほぼ同じで全体としてもほぼ直線
となり、全期間の符号化を終えた時点で、平均符号量3
(トータル符号量12)に符号化される。一方、量子化係数
固定制御では、平坦な画像である期間1、3では傾きが小
さく、複雑な画像である期間2、4では傾きが大きいとい
う推移を取り、全体としてトータルの符号量は全期間の
符号化を終えた時点でないと不明となる。しかし、本発
明によれば、複数量子化係数で符号化したストリームを
蓄積して最適なトータル符号量となったストリームを選
択出力するため、フィードバック制御と同じトータル符
号量のビットストリームを作成する事が可能となる。本
実施形態によれば、量子化係数は最適な値で一定値とな
るため、フィードバック制御の場合に比べて、符号化歪
の少ないビットストリームを生成する事が可能となる。

【００２６】図4に、本発明の他の実施例を示す。図２
は、本実施例で符号化した様々な固定量子化係数での画
質と符号量の推移と、従来技術によるフィードバック制
御で符号化した場合の画質と符号量の推移を表した模式
図である。

【００２７】本実施例においては、複数のビットストリ
ームから１つを選択するだけでなく、１つの画像ファイ
ルを生成するのに、２つ以上のビットストリームを選択
し、それらを接続して出力させるところに特徴がある。
なお、入力画像の性質は図2の例と同じであるが、目的
とする符号量が平均符号量3.5と設定され、量子化係数
が平均2.5で符号化を行った場合にこの符号量となり、
この条件では画質は3.5となるような入力画像であると
する。これら最適な値を、同図中で点線で示した。

【００２８】同図フィードバック制御と示した段は、従
来技術によるフィードバック制御を行った例の模式図で
ある。この例では、まず平坦な画像である期間1を、平
均符号量3.5となる様に制御し、その結果、平均量子化
係数1.5、画質4.5となる。MPEGでは、量子化係数の値は
整数しか取らないため、実際には1〜2を中心にフィード
バック制御により上下する。これらの現象を、同図中で
は櫛形波形で示した。その後、期間2に入ると複雑な画
像となるため、同じ量子化係数では急激に符号量が増大
する。そのため、符号量からフィードバック制御がかか
り、リバウンドで量子化係数は5まで増大し、画質1に悪
化する。その後平衡状態となり、量子化係数は3.5、画
質は2.5、平均符号量は3.5で安定する。さらに、期間3
に移ると、平坦な画像である期間となるため、同じ量子
化係数では急激に符号量が減少する。そのため、符号量
からフィードバック制御がかかり、リバウンドで量子化
係数は1まで減少し、画質5まで改善する。その後平衡状
態となり、量子化係数は1.5、画質は4.5、平均符号量は
3.5で安定する。この様な推移をたどり、平均すれば符
号量は3.5となるものの、画質は平衡状態では1.5〜3.
5、過渡期も含めれば1〜5の範囲で変化する。視聴者
は、画質が悪化した期間から強い印象を受けるため、悪
い画質の映像であるという印象を受ける。

【００２９】一方、同図で量子化係数大と示した段は、
複数の固定の量子化係数で符号化を行ったうちの、最適
な場合よりは大きな量子化係数で圧縮を行った例を示し
ている。この段では、量子化係数は一定値3となり、画
質も一定値3となる。この場合は、平坦な画像である期
間1、3では少ない符号量2となり、複雑な画像である期
間2、4では多い符号量4となり、平均では、符号量3とな
る。この値は、目的とする平均符号量3.5よりは小さな
値となる。

【００３０】一方、同図で量子化係数小と示した段は、
複数の固定の量子化係数で符号化を行ったうちの、最適
な場合よりは小さな量子化係数で圧縮を行った例を示し
ている。この段では、量子化係数は一定値2となり、画
質も一定値4となる。この場合は、平坦な画像である期
間1、3では少ない符号量3となり、複雑な画像である期
間2、4では多い符号量5となり、平均では、符号量4とな
る。この値は、目的とする平均符号量3.5よりは大きな
値となる。

【００３１】以上のような符号化処理の結果、最適であ
る平均符号量3.5は、整数値の固定量子化係数では実現
できない。そのため、本例では、目標値よりもわずかに
符号量が小さいビットストリーム(同図中量子化係数大)
と、目標値よりもわずかに符号量が大きいビットストリ
ーム(同図中量子化係数小)を中央で繋ぎあわせ、平均符
号量が3.5となるように、図1中の選択部31でそれぞれの
ビットストリームを選択し、これらをつなぎ合わせて出
力する。この選択処理後のビットストリームを同図中最
下段に示す。このストリームでは、期間1、2、3、4がそ
れぞれ量子化係数3、3、2、2、で符号化され、平均符号
量は3.5となる。このビットストリーム接続点を調整す
る事により、任意の長さのストリームを作成する事が可
能である。

【００３２】この例では、前半は量子化係数が大きく、
後半が量子化係数が小さい例を示したが、逆に前半の量
子化係数が小さく後半の量子化係数が大きい組み合わせ
でも同等な効果を得る事が出来る。また、量子化係数の
大きい期間と小さい期間をより頻繁に切り替える事も可
能である。

【００３３】本実施例によれば、複数のストリームから
部分部分で目的にかなったストリームを２つ以上選択
し、選択されたストリームを接続させて出力することに
より、部分部分で理想的なビット配分をもつビットスト
リームを選択することが可能となり、最適な全体的に符
号化歪みの少ない画像ファイル、つまり、均質な画像を
有する画像ファイルを得ることが可能となる。

【００３４】なお、MPEG2規格では、ビットストリーム
を途切れなく再生させるための情報として、VBV_delay
という値がビットストリーム中に記載されている。ビッ
トストリームを受信または再生してから復号するまでの
時間間隔をこの値にする事により、規定の転送レートで
途切れなく復号出来る事を保証する数値である。ビット
ストリームを選択して接続したならば、この値を書き換
える必要がある場合があるため、ビットストリーム加工
部32にて、必要に応じてVBV_delay値を加工する。

【００３５】なお、ビットストリームを切断するには、
切断可能点をあらかじめ設けておく必要がある場合があ
る。例えば、MPEG規格では、GOP(Group Of Pictures)境
界で切断すると、比較的容易にビットストリームを切断
する事が可能である。そのため、複数のビットストリー
ムのGOP境界の位置を揃えて符号化しておく事により、
ビットストリームの切断が比較的容易になる。

【００３６】図5に、接続点でのGOP構成例を示す。接続
対象となるストリーム0とストリーム1が、それぞれI、
P、Bピクチャーを用いて、異なる量子化係数で符号化さ
れている。それぞれの枠が1枚のピクチャーを表し、そ
の中にピクチャータイプ、ストリーム番号、その中での
ピクチャー番号が示されている。ピクチャーの順番は表
示順で示している。図中上部の矢印は、矢印元の画像が
矢印先の画像の参照画像となっている。Bピクチャーに
とっては、前後のIまたはPピクチャーが参照画像とな
り、Pピクチャーにとっては前のIまたはPが参照画像と
なり、Iピクチャーは、参照画像を必要としない。スト
リーム0とストリーム1は、同じ画像は同じピクチャータ
イプとなるように符号化されている。その結果、GOP境
界は一致している。この図において、フレーム4までは
ストリーム0のビットストリームを用い、フレーム6以降
は、ストリーム1のビットストリームを用いて、選択処
理したストリームを作成している。フレーム5について
は、選択部31若しくは加工部33が、前後の参照画像の組
が異なるため、一旦デコードしてから再エンコード、ま
たは、MPEG規格が定めるBroken Linkフラグの設定など
の加工処理を行う。図中では、この事を1-5'として示し
ている。このように、材料となるストリームを作成する
際に、各々のGOP境界を揃えて置く事により、GOP境界で
接続が容易になる。また、境界部での参照画像の食い違
いは、量子化誤差相当だけであるので、量子化係数が十
分小さい場合などその誤差が目立たない場合は、ストリ
ームを単に接続するだけでも、再生に支障の無いストリ
ームを作成する事が可能である。

【００３７】また、接続部分のGOP構成を、MPEG規格に
定めるClosed GOP構成にしておく事により、ビットスト
リームの切断をさらに容易にする事が可能である。Clos
ed GOPは、境界部にあるBピクチャーが前のIやPを参照
していない事を保証し、後続のストリームが前のストリ
ームと切り離されても正しく復号出来るようにする工夫
であるため、接続部の前のストリームはClosed GOPであ
る必要は無く、後続のストリームがClosed GOPであれば
良い。

【００３８】図6には、接続点でClosed GOPとした構成
例を示す。接続対象となるストリーム0とストリーム1
が、それぞれI、P、Bピクチャーを用いて、異なる量子
化係数で符号化されている。それぞれの枠が1枚のピク
チャーを表し、その中にピクチャータイプ、ストリーム
番号、その中でのピクチャー番号が示されている。参照
関係の表記は、図５と同一である。本例では、ストリー
ム1のフレーム5が前のIまたはPピクチャーを参照してい
ない事が保証されており、その結果、フレーム5を含むG
OPがClosed GOPとなっている。この図において、フレー
ム4まではストリーム0のビットストリームを用い、フレ
ーム5以降は、ストリーム1のビットストリームを用い
て、編集した後のストリームを作成している。境界部で
も参照関係に乱れは生じないため、GOP境界で接続が容
易になる。

【００３９】また、接続点においては、符号化歪の大き
さが変わるため、平坦な部分や動きの少ない部分で接続
すると、その前後で歪量の違いが視聴者に違和感を生じ
させる可能性がある。そのため、複雑な部分、動きの激
しい部分を検出する検出部34を設け、その点で接続する
事により、より自然に接続する事が出来る。また、入力
画像がシーンチェンジする場面において接続する事も、
接続前後で歪量の違いから来る違和感を減少させるため
には有効であるため、検出部34は、シーンチェンジを入
力画像から検出し、この検出結果に基づいて、選択部31
が、異なる符号量のストリームを接続させることとして
もよい。

【００４０】並列する符号化部の数は、可変である量子
化係数の範囲の数だけあれば十分である。例えばMPEGで
は量子化係数は1〜31の31通りを取り得るので、31個の
符号化部で同時に31通りのストリームを生成すれば、考
えうるあらゆる組み合わせの量子化係数の値を取る事が
出来る。しかし、この数を減らしても、ほぼ同等の画質
を得る事は可能である。

【００４１】図7には、符号化部の数を減らしつつほぼ
同等の効果が得らえるように制御した例を示す。本例
は、符号化部の量子化係数を適切に変化させ、接続させ
る事により、少ない符号化部で最適なビットストリーム
を生成する例である。この例では、符号化部は、一定期
間の間固定量子化係数で符号化を行い、その値と期間を
適応的に制御する例について、累積符号量の変化の観点
から説明する。本図の入力画像は図2の例と同一とし、
平均符号量1.5を目標として、符号化部を3系統持って符
号化する例である。

【００４２】本制御では、累積符号量が所定の条件から
外れたならば、その符号化パラメータでは目的の符号量
に収束させる事は不可能であると判断し、該当する処理
をしていた符号化部を適応的に他のパラメータ値に設定
しなおして符号化を再開し、最終的に好適なビットスト
リームを生成する例である。同図中、網掛けで示した領
域を推移するビットストリーム生成条件は、収束する見
込みが無いとして打ち切る。

【００４３】まず、量子化係数(Q)を１、４、８の3通り
として符号化を開始する。時刻aにて、Q=1の条件は網掛
け領域に達してしまうため、処理を打ち切る。この時点
で、Q=4は平均符号量を超える推移を示しており、Q=8は
平均符号量を下回る推移を示しているため、この符号化
部は、その中間のQ=6として符号化を開始する。Q=6の符
号化部の符号量は、時刻a以前の時刻にはQ=4、Q=8とし
て符号化していたストリームと接続すると想定し、それ
ぞれの推移曲線に接続するように評価する。この時点に
おいても、Q=4、Q=8で通して符号化された場合に対して
も評価は続けられるため、評価するストリームは4種類
となる。次に、時刻bにおいて、Q=8の条件は網掛け領域
に達してしまうため、処理を打ち切る。この時点では、
Q＝4→6は平均符号量を超える推移を示しており、Q=8→
6は平均符号量を下回る推移を示しているため、この符
号化部は、6と8の間のQ=7として符号化を開始する。こ
の符号量は、その時点で評価が続いている他の符号化条
件に接続するように評価する。以上のような処理を繰り
返した結果、Qを4、6、7と推移させた場合、目的とする
符号量に収めながら全体を符号化する事が可能であると
評価される。この評価に基づき、ビットストリームを加
工して出力ストリームを生成する。同図の推移図では、
時刻cで符号化部3の量子化係数の変更(Q＝4→5)につい
ては省略してある。この動作での符号化部の量子化係数
の推移を下段に示す。

【００４４】この処理においてQ=1で符号化されたスト
リームは、時刻aにて不要である事が判明するため、こ
の時点でストリームを破棄する事も可能である。このよ
うな処理を行う事により、記憶部41の容量を効率よく使
う事が可能となる。

【００４５】図8には、符号化部の数を減らしつつほぼ
同等の効果が得られるように制御した他の例を示す。本
例では、符号化部を３系統用意し、それぞれ、目標符号
量より30%少ない符号量となるように制御しながら各期
間を符号化、目標符号量通りとなるように制御しながら
各期間を符号化、目標符号量より30%多い符号量となる
ように制御しながら各期間を符号化するように制御を行
う。その結果、それぞれ同図に表したような量子化係
数、画質の推移となる。ここでは、入力画像の性質が変
化する近辺の遷移期間の記述は省略してある。このよう
にしてストリーム全体を符号化し、得られたストリーム
から、画質の変動が少なく、合計で見た符号量が目的の
符号量となる組み合わせとなるように、ストリーム選択
を行う。このようなストリーム選択の結果、同図最下段
に選択出力と表したように、比較的均一なストリームが
得られる。

【００４６】本例において、選択処理した後のビットス
トリームを生成するアルゴリズムとしては、以下のよう
な例がある。符号量が目標通りとして符号化したビット
ストリームにおいて、最も量子化係数が大きい部分(画
質が悪い部分)と、最も量子化係数が小さい部分(画質が
良い部分)とを抽出し、それぞれを、符号量大で符号化
(より高画質に符号化)したストリームと、符号量小で符
号化(より低画質に符号化)したストリームとで、合計の
ビットストリーム量が変化しないようにフレーム長を定
めて置き換える。図7の例では、期間2、4が量子化係数
が大きく、期間1、3が量子化係数が小さい。この両者を
それぞれ、符号量大で符号化したストリームと、符号量
小で符号化したストリームとで置き換える事により、画
質変化の少ないストリームとなる。この処理を繰り返す
事により、目的のビットストリームを得る事が出来る。

【００４７】ここで3系統用意する例を説明したが、こ
の系統数は3に限らず、任意の値で良い。また、目標符
号量に対する増減値も任意に設定できる。さらに、１つ
のストリーム中で、部分部分で符号量を替え、より最適
な制御を行う事も可能である。例えば、前半において±
30%でビットレートを変化させて符号化を行ったが、そ
の結果より狭い範囲でビットストリームを変化させても
安定した符号量制御が出来る見通しが得られたならば、
後半は±15%でビットレートを変化させてビットストリ
ームを生成する事により、より正確に制御を行う事が可
能となる。

【００４８】符号量を制御するための符号化パラメータ
として、量子化係数以外の値を用いる事も可能である。
図9には、入力フィルタを用いて符号量制御を行う例を
示す。図１の括弧部分で示した入力フィルタ61,62,63を
それぞれONにする事により、入力画像の高帯域成分が削
除され、同じ量子化係数であってもより符号量の少ない
ビットストリームに符号化される。そのため、入力フィ
ルタ制御部51,52,53により入力フィルタ61,62,63をそれ
ぞれON/OFFすることにより、符号量を制御する事が可能
である。この場合、復号画像においても高帯域成分が削
除されているため、画質が低下する要因となる。

【００４９】本例では、入力画像の性質は図2に示した
例と同一であり、平均符号量2.5となるように符号量制
御を行う例を示している。量子化係数の値を複数の値に
固定し、入力フィルタON/OFFの複数条件で符号化したス
トリームのうち、目的とする平均符号量2.5に最も近い
条件として、量子化係数3、入力フィルタONの条件で平
均符号量2が得られ、量子化係数3、入力フィルタOFFの
条件で平均符号量3が得られ、両者を接続し、平均符号
量2.5で接続したビットストリームを生成する例であ
る。

【００５０】図10には、ピクチャータイプを用いて符号
量制御を行う例を示す。通常の符号化では、15枚周期な
どでIピクチャーを挿入し、ランダムアクセスに対応し
ている。しかし、画像の変化が少ない期間などでは、こ
のIをPに置き換えても支障は無い。そのため、例えば、
符号化部11で、ストリーム0を生成する際には、頻繁にI
ピクチャーが発生する条件で符号化を行い、符号化部22
でストリーム1を生成する際には、Iピクチャーの頻度が
少ない条件で符号化を行い、最終的に得られたストリー
ムにおいて、符号化部11のストリーム0の符号量が目標
値を越えているならば、適切に一部のIピクチャー部を
符号化部符号化部12で生成されたストリーム1のPピクチ
ャーで符号化された同じ画像のビットストリームに置き
換える。同じ量子化係数で同じ画像を符号化してあるな
らば、Iピクチャーで符号化された画像とPピクチャーで
符号化された画像との間の歪の違いはごく僅かであり両
者を置き換えても参照される画像及ぼす影響は少ない。
そのため、符号量制御方法として、ピクチャータイプを
用いる事が出来る。図10の例では、フレーム6をストリ
ーム1に置き換える事により、選択処理後のストリーム
を生成し、出力する。ストリーム1については、置き換
え候補のPピクチャーのみを記憶し、記憶容量を削減す
る事も可能である。また、この構成では、ストリーム1
を作成する符号化部は、ストリーム0を作成する符号化
部と回路を共用できる部分が多いため、回路を共用化す
ることができ、回路の共用化により回路規模を削減する
事も可能である。

【００５１】一般に、符号量を厳密に制御する必要があ
る場合は、高い圧縮率で圧縮を行う場合である事が多
い。そのため、画面全体を縮小するなど、入力情報その
ものを削減する処理が併用される可能性がある。そのよ
うな場合は、１つの符号化部で２つ以上のストリームを
時分割で処理できる例も有りうる。または、処理部の速
度を向上させる事により、画像サイズを縮小させない場
合でも、１つの符号化部で２つ以上のストリームを時分
割で処理できる例も有りうる。図11には、そのような構
成例を示す。同図において、1は動画像入力端子、71は
符号化制御部、21は符号化部、31はビットストリーム選
択部、41はビットストリーム記憶部、2はビットストリ
ーム出力端子であり、それぞれ、図1の同じ番号の部位
と同等の機能を有する。本例では、入力画像の並列か部
51を有し、入力動画像を縮小して繰り返した画像を作成
し、それを符号化部に送る。符号化部では、時分割に複
数のストリームを生成し、記憶部に出力する。記憶部で
は、必要に応じて選択がなされ、出力される。この例に
おいても、累積符号量が所定の条件から外れた場合に、
時分割で行わせる符号化において、他の符号化パラメー
タに変更して符号化を行うように制御範囲を可変する、
などの上述した符号化方法を組み合わせることができる
ことはいうまでもない。従って本実施例においても、こ
れまでに説明した例と同様な効果を得る事が出来る。

【００５２】

【発明の効果】以上説明した通り、本発明によれば、部
分部分の画質に適したビットストリームを選択でき、効
率のよい符号量に制御した画像ファイルを得ることが可
能となる。

【図面の簡単な説明】

【図１】 本発明による動画像処理装置の第１実施形態
を示すブロック図である。

【図２】 本発明による動画像処理装置の第１実施形態
の動作を示すタイミングチャート例である。

【図３】 本発明による動画像処理装置の第１実施形態
の動作を示す累積符号量推移図例である。

【図４】 本発明による動画像処理装置の第１実施形態
の動作を示すタイミングチャートの他の例である。

【図５】 本発明による動画像処理装置の第１実施形態
の動作を示すピクチャー組み合わせ例である。

【図６】 本発明による動画像処理装置の第１実施形態
の動作を示すClosed GOP配置例である。

【図７】 本発明による動画像処理装置の第１実施形態
の動作を示す累積符号量推移図例である。

【図８】 本発明による動画像処理装置の第１実施形態
の動作を示すタイミングチャートの他の例である。

【図９】 本発明による動画像処理装置の第１実施形態
の動作を示すタイミングチャートの他の例である。

【図１０】 本発明による動画像処理装置の第１実施形
態の動作を示すピクチャー組み合わせ例である。

【図１１】 本発明による動画像処理装置の第２実施形
態を示すブロック図である。

【符号の説明】

１…動画像入力端子 ２…ビットストリーム出力端子 １１、１２，１３…符号化制御部 ２１、２２、２３…符号化部 ３１…ビットストリーム選択部 ３２…ビットストリーム加工部 ３３…選択指示部 ３４…検出部 ４１…ビットストリーム記憶部 ５１、５２、５３…フィルタ制御部 ６１、６２、６３…フィルタ ７１…並列化部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 KK13 MA00 MA23 MC11 ME01 NN43 PP05 PP06 PP07 SS13 TA41 TA46 TB03 TC04 TC06 TC10 TC14 TC38 UA02 UA11 UA34

Claims (21)

【特許請求の範囲】
1. 【請求項１】入力された動画像を符号化して、異なる符
   号化量の複数のビットストリームを生成する符号化部
   と、 該符号化部から出力された複数のビットストリームを記
   憶する記憶部と、 該記憶部に記憶されたビットストリームから、該符号化
   量が異なる２つ以上のビットストリームを選択し、該選
   択されたビットストリームを接続して出力させる選択部
   と、 該選択部により選択され、接続されたビットストリーム
   を出力する出力部と、を有することを特徴とする動画像
   処理装置。
2. 【請求項２】入力された動画像を符号化して、異なる符
   号化量の複数のビットストリームを生成する符号化部
   と、 該符号化部から出力された複数のビットストリームを記
   憶する記憶部と、 該記憶部に記憶されたビットストリームから、該符号化
   量が異なる２つ以上のビットストリームを選択し、該選
   択されたビットストリームを組み合わせて１つの画像フ
   ァイルとなるように該記憶部から該ビットストリームを
   出力させる選択部と、 該選択部により選択されたビットストリームを出力する
   出力部と、を有することを特徴とする動画像処理装置。
3. 【請求項３】前記符号化部は、入力された動画像に対し
   てそれぞれ異なる符号化パラメータにより符号化を行う
   複数の符号化部から構成されることを特徴とする請求項
   １又は２に記載の動画像処理装置。
4. 【請求項４】前記符号化部が符号化した符号化データの
   累積符号量が所定の条件から外れた場合に、他の符号化
   パラメータに変更して符号化を行うように制御する複数
   の符号化制御部とから構成されることを特徴とする請求
   項３に記載の動画像処理装置。
5. 【請求項５】前記符号化部は、時分割で同一の入力画像
   に対して異なる符号化パラメータにより符号化を行うこ
   とにより、前記符号量の異なる複数のビットストリーム
   を生成することを特徴とする請求項１又は２に記載の動
   画像処理装置。
6. 【請求項６】前記入力された動画像の高域成分をカット
   するフィルタと、 該フィルタのオンオフを制御するフィルタ制御部とを設
   け、前記符号化部は前記フィルタから出力された動画像
   を符号化することを特徴とする請求項１乃至５のいずれ
   か１項に記載の動画像処理装置。
7. 【請求項７】入力画像が複雑な部分、入力画像の動きが
   激しい部分、シーンチェンジの少なくとも一つを検出す
   る検出部を有し、 前記選択部は、該検出部の出力に基づいて前記ビットス
   トリームの接続を行うことを特徴とする請求項１乃至６
   のいずれか１項に記載の動画像処理装置。
8. 【請求項８】前記符号化部は、前記複数のビットストリ
   ームのGOP境界を揃えて符号化することを特徴とする請
   求項１乃至７のいずれか１項に記載の動画像処理装置。
9. 【請求項９】接続する部分の前記GOPは、クローズドGOP
   であることを特徴とする請求項８に記載の動画像処理装
   置。
10. 【請求項１０】前記符号化部は、異なる前記量子化係数
    を用いて符号化を行うことにより、前記符号量の異なる
    複数のビットストリームを生成することを特徴とする請
    求項１乃至９のいずれか１項に記載の動画像処理装置。
11. 【請求項１１】前記符号化部は、MPEG圧縮方式により符
    号化を行い、ピクチャータイプを制御することにより、
    前記符号量の異なる複数のビットストリームを生成する
    ことを特徴とする請求項１乃至１０のいずれか１項に記
    載の動画像処理装置。
12. 【請求項１２】前記記憶部は、前記選択部の選択処理の
    結果、不要となった前記ビットストリームを削除するこ
    とを特徴とする請求項１乃至１１のいずれか１項に記載
    の動画像処理装置。
13. 【請求項１３】前記符号化部は、MPEG規格により符号化
    を行い、 前記接続されたビットストリームのMPEG規格が定めるVB
    V_delay値を、接続点以降において書き換える加工部を
    有することを特徴とする請求項１乃至１２のいずれか１
    項に記載の動画像処理装置。
14. 【請求項１４】請求項１乃至１３のいずれか１項に記載
    の動画像処理装置と、 前記動画像処理装置から出力されたビットストリームを
    記憶媒体に記録させる記録部とを有することを特徴とす
    る動画像記録装置。
15. 【請求項１５】動画像を符号化して出力する動画像処理
    装置における動画像処理方法であって、動画像処理装置
    が、 入力された動画像を符号化して、異なる符号化量の複数
    のビットストリームを生成し、 符号化部から出力された複数のビットストリームを記憶
    し、 該記憶部に記憶されたビットストリームから、該符号化
    量が異なる２つ以上のビットストリームを選択し、 該選択されたビットストリームを接続して出力すること
    を特徴とする動画像処理方法。
16. 【請求項１６】前記動画像処理装置が、入力された動画
    像に対してそれぞれ異なる符号化パラメータにより並列
    処理して複数のビットストリームを生成すること特徴と
    する請求項１５に記載の動画像処理方法。
17. 【請求項１７】前記動画像処理装置が、累積符号量が所
    定の条件から外れた場合に、他の符号化パラメータに変
    更して符号化を行うことを特徴とする請求項１５に記載
    の動画像処理方法。
18. 【請求項１８】前記動画像処理装置が、前記符号化部
    は、時分割で同一の入力画像に対して異なる符号化パラ
    メータにより符号化を行うことにより、前記符号量の異
    なる複数のビットストリームを生成することを特徴とす
    る請求項１５に記載の動画像処理方法。
19. 【請求項１９】前記動画像処理装置が、 入力画像が複雑な部分、入力画像の動きが激しい部分、
    シーンチェンジの少なくとも一つを検出し、 検出結果に基づいて前記ビットストリームの接続を行う
    ことを特徴とする請求項１５乃至１８のいずれか１項に
    記載の動画像処理方法。
20. 【請求項２０】前記動画像処理装置が、 前記複数のビットストリームのGOP境界を揃えて符号化
    する請求項１５乃至１９のいずれか１項に記載の動画像
    処理方法。
21. 【請求項２１】前記動画像処理装置が、 前記ビットストリームを、クローズドGOP単位で接続す
    ることを特徴とする請求項１５乃至２０のいずれか１項
    に記載の動画像処理方法。