JP2003023637A - 画像符号化方法および画像符号化装置 - Google Patents

画像符号化方法および画像符号化装置

Info

Publication number
JP2003023637A
JP2003023637A JP2001206092A JP2001206092A JP2003023637A JP 2003023637 A JP2003023637 A JP 2003023637A JP 2001206092 A JP2001206092 A JP 2001206092A JP 2001206092 A JP2001206092 A JP 2001206092A JP 2003023637 A JP2003023637 A JP 2003023637A
Authority
JP
Japan
Prior art keywords
image
coding
encoding
bit rate
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001206092A
Other languages
English (en)
Other versions
JP2003023637A5 (ja
Inventor
Naoki Morimoto
森本  直樹
Makoto Yamada
誠 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001206092A priority Critical patent/JP2003023637A/ja
Priority to PCT/JP2002/006610 priority patent/WO2003005730A1/ja
Publication of JP2003023637A publication Critical patent/JP2003023637A/ja
Publication of JP2003023637A5 publication Critical patent/JP2003023637A5/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 本発明は、画像を符号化する際に割り振られ
るビット量を該画像の特徴量に応じて適応的に変えるこ
とによって、再生画質を改善する画像符号化方法および
画像符号化装置に関する。 【解決手段】 本発明では、画像群の各画像を画面内符
号化および予測符号化のうちの何れかで可変ビットレー
トにより符号化する画像符号化方法において、画面内符
号化の目標ビットレートを画像の特徴量に応じて算出す
ることで構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像を符号化する
際に割り振られるビット量を該画像の特徴量に応じて適
応的に変えることによって、再生画質を改善する画像符
号化方法および画像符号化装置に関する。
【0002】
【従来の技術】画像信号を符号化する技術規格は、例え
ば、JPEG、H.26XシリーズおよびMPEGなどがある。
【0003】JPEGは、離散コサイン変換(以下、「DC
T」と略記する。)と量子化と可変長符号化とから、カ
ラー静止画を符号化する規格である。
【0004】H.26Xシリーズは、テレビ電話やテレビ会
議などのオーディオビジュアル通信の応用を目的とする
ビデオ符号化の規格であり、DCT、量子化および可変長
符号化に、フレーム間の冗長度を削減する前方向の動き
補償フレーム間予測をさらに組み合わせる。
【0005】MPEGは、DCT、量子化、可変長符号化およ
び前方向の動き補償フレーム間予測に、双方向の動き補
償フレーム間予測をさらに組み合わせ、そして、ランダ
ム・アクセスを可能とするために、数枚(例えば、15
枚)のフレームデータを一纏まりにした画面のグルー
プ;GOP(Group Of Pictures)構造を採用する。GOP
は、Iピクチャ(intra-coded picture)、Pピクチャ(p
redictive-coded picture)およびBピクチャ(bidirect
ionally predictive-coded picture)で構成される。I
ピクチャは、当該画面の情報だけから符号化され、フレ
ーム間予測を使用することなく生成される画面である。
Pピクチャは、IまたはPピクチャからの予測を行うこと
によって生成される画面である。Bピクチャは、双方向
予測によって生成される画面である。
【0006】MPEGは、CD−ROMなどの蓄積メディア向け
である符号化技術を規格化するMPEG−1から、放送、通
信、蓄積など、対象とするメディアを選ばない汎用ディ
ジタルビデオ信号と付随するオーディオ信号とを符号化
する技術を規格化するMPEG−2を経て、コンテンツのス
トリーム管理、シーン合成、コンテンツ単位の著作権保
護など、機能性の強化および超低ビットレートの符号化
技術を規格化するMPEG−4へと段階的に標準化されてい
る。なかでも、MPEG−2は、放送やAV機器などに広く利
用されている。
【0007】画像信号を符号化する画像符号化装置は、
所定の画素数から成るブロックに分割された画像を各ブ
ロックごとに2次元直交変換によって符号化に適するデ
ータに変換する直交変換回路と、変換後のデータを適当
な量子化スケールで量子化する量子化回路と、量子化回
路の出力を予め定められた符号表に従って可変長符号化
する可変長符号化回路と、画像符号化装置の出力ビット
レートを考慮して量子化スケールを適当な値に制御する
レート制御回路とを備えて基本的に構成される。
【0008】特に、MPEG−2用の画像符号化装置は、画
面並替部、減算部、DCT部、量子化部、可変長符号化
部、バッファメモリ、レート制御部、逆量子化部、逆DC
T部、加算部、フレームメモリおよび動き補償部の各電
子回路を備えて構成される。
【0009】ビデオカメラから供給された入力ビデオ信
号は、所定の画素数のブロックに分割され、アナログ信
号からディジタル信号に変換された後に、ピクチャの順
序を符号化処理に適した順に並び替えられる。
【0010】画面並替部の出力は、減算部を介してDCT
部においてDCT符号化され、量子化部において所定のビ
ットレートで量子化され、可変長符号化部において可変
長符号、例えば、ハフマン符号で符号化され、そして、
バッファメモリに出力される。バッファメモリは、所定
のビットレートで符号化データを出力する。
【0011】また、IピクチャおよびPピクチャの場合
は、動き補償部において参照画面として使用されるた
め、量子化部の出力は、逆量子化部にも入力され、逆量
子化された後に逆DCT部において逆DCTが行われる。逆DC
T部の出力は、加算部で動き補償部の出力と加算され、
フレームメモリに入力され、そして、動き補償部に入力
されて順次に処理される。動き補償部は、前方向予測、
後方向予測および両方向予測を行い、加算部および減算
部に出力する。
【0012】減算部は、画像並替部の出力と動き補償予
測部の出力との間で減算を行い、逆量子化部や逆DCT部
などで復号された復号ビデオ信号とビデオ信号との間の
予測誤差を演算する。フレーム内符号化(Iピクチャ)
の場合では、減算部は、減算処理を行わず、単にデータ
が通過する。
【0013】一方、レート制御部は、可変長符号化部で
発生する符号量が可変であるため、バッファメモリを監
視することによって所定のビットレートを保つように、
量子化部の量子化動作を制御する。
【0014】レート制御部は、GOPの目標ビット量を設
定し、このGOP目標ビット量の中でピクチャ単位毎にピ
クチャの目標ビット量を割り当てながら、所定の目標ビ
ット量で符号化する。ピクチャ内におけるビット割り当
ては、マクロブロック(以下、「MB」と略記する。)ご
とに量子化スケールを設定することによって行われる。
【0015】すなわち、一般に、次の3つのステップで
ピクチャのビット量が割り振られる。
【0016】第1ステップでは、GOP内の各ピクチャに
対する割り当てビット量を、割り当て対象ピクチャを含
めGOP内でまだ符号化されていないピクチャに対して割
り当てられるビット量を基にして配分する。この配分を
GOP内の符号化ピクチャ順に繰り返し、ピクチャごとに
ピクチャの目標ビット量を設定する。
【0017】第2ステップは、MB単位に量子化スケール
の基準値を設定する。つまり、第2ステップでは、第1
ステップで求められた各ピクチャに対する割り当てビッ
ト量と実際の発生ビット量とを一致させるため、各ピク
チャタイプごとに独立に設定した3種類の仮想バッファ
の容量を基に、量子化スケールの基準値をMB単位のフィ
ードバック制御で求める。
【0018】第3ステップは、視覚特性を反映させるべ
く、MB単位でMBのアクティビティに基づいて量子化スケ
ール値を補正する。ピクチャの目標ビット量を維持しつ
つ、アクティビティが低いMBでは量子化スケールを基準
値より小さく補正し、アクティビティが高いMBでは量子
化スケールを基準値より大きく補正する。補正の結果、
Qスケールコードが決定される。
【0019】このようなMPEGについては、例えば、「総
合マルチメディア選書MPEG」(映像情報メディア学会
編、オーム社)に開示されている。
【0020】
【発明が解決しようとする課題】ところで、上述の第1
ステップでは、ピクチャの目標ビット量を設定する際
に、その時点におけるGOPの残りピクチャがすべてこ
れから符号化するピクチャと同じタイプであると仮定し
て換算された枚数を計算し、その枚数で残りのビット量
を割ることで次の1枚当たりの目標ビット量が算出され
ている。つまり、この方法では、GOP全体に亘って同
じ難易度の入力画像が続くと想定しているため、GOP
の途中で入力画像の難易度が変動した場合、例えば、動
きの少ない入力画像から動きの激しい入力画像に変動し
た場合に、GOP内のそれ以降のピクチャにおいてビッ
ト量が不足してしまうという問題があった。すなわち、
再生画像が劣化してしまうという問題があった。
【0021】特に、ビデオカメラのように、リアルタイ
ムでしかも一回で符号化処理が行われ記録媒体に記録さ
れてしまう場合には、各ピクチャに割り当てられるビッ
ト量を再割り当てすることができないため、重大な問題
となる。
【0022】そこで、本発明では、画面内符号化の目標
ビットレートに上限値を設けたり、画面の特徴量に応じ
て目標ビットレートを算出したりすることによって、画
像群の各画像を適切なビットレートで符号化することが
できる画像符号化方法および画像符号化装置を提供する
ことを目的とする。
【0023】
【課題を解決するための手段】本発明では、画像群の各
画像を画面内符号化および予測符号化のうちの何れかで
可変ビットレートにより符号化する画像符号化方法にお
いて、画面内符号化の目標ビットレートに、画像の特徴
量に応じた上限値を設けて構成する。
【0024】通常、エムペグ(MPEG、Moving Picture c
oding Experts Group)では、画像群(GOP)の最初
に符号化を行う画面内符号化のピクチャ(Iピクチャ)
が最も多くのビットを消費する。そこで、このように画
像符号化方法を構成することによって、画面内符号化の
ピクチャに割り当てられるビット量が上限値以下に制限
されるので、必要以上のビットをIピクチャに割り振る
ことがなくなり、そのような場合において画像群の他の
ピクチャに従来より多くのビットを割り当てることがで
きる。このため、とりわけGOPの途中から難易度が増
加するような入力画像に対して再生画質を向上すること
ができる。
【0025】そして、本発明では、画像群の各画像を画
面内符号化および予測符号化のうちの何れかで可変ビッ
トレートにより符号化する画像符号化方法において、画
面内符号化の目標ビットレートを画像の特徴量に応じて
算出することで構成する。
【0026】また、本発明では、画像群の各画像を画面
内符号化および予測符号化のうちの何れかで可変ビット
レートにより符号化する画像符号化方法において、予測
符号化の目標ビットレートを画像の残差値に応じて算出
することで構成する。
【0027】さらに、本発明では、画像を直交変換し直
交変換係数を出力する直交変換手段と、前記直交変換係
数を所定の量子化ステップで量子化する量子化手段と、
前記量子化手段の出力を可変符号化する可変符号化手段
と、目標ビットレートになるように前記所定の量子化ス
テップを調整する制御手段とを備え、前記直交変換手段
に画像群の各画像を入力して、画面内符号化および予測
符号化のうちの何れかで可変ビットレートにより符号化
する画像符号化装置において、前記制御手段は、さらに
画面内符号化の目標ビットレートを画像の特徴量に応じ
て算出することで構成する。
【0028】また、画像を直交変換し直交変換係数を出
力する直交変換手段と、前記直交変換係数を所定の量子
化ステップで量子化する量子化手段と、前記量子化手段
の出力を可変符号化する可変符号化手段と、目標ビット
レートになるように前記所定の量子化ステップを調整す
る制御手段とを備え、前記直交変換手段に画像群の各画
像を入力して、画面内符号化および予測符号化のうちの
何れかで可変ビットレートにより符号化する画像符号化
装置において、前記制御手段は、さらに予測符号化の目
標ビットレートを画像の残差値に応じて算出することで
構成する。
【0029】このような画像符号化方法および画像符号
化装置では、目標ビットレートを画像の特徴量から直接
求めるので、画質が最適となるビットを割り当てること
ができる。特に、動きの激しい画像の再生画質と、動き
の易しい画像の再生画質とを主観的視覚において均一に
することができる。
【0030】そして、本発明では、被写体の映像を撮影
しディジタル映像信号に変換して出力する撮影手段と、
前記撮影手段からの画像データを圧縮符号化する画像符
号化手段と、前記画像符号化手段で符号化された符号化
データを記録媒体に記録する記録手段とを備えるディジ
タルビデオカメラにおいて、前記画像符号化手段は、上
述の画像符号化装置であることで構成される。
【0031】
【発明の実施の形態】以下、本発明の実施形態について
図面に基づいて説明する。なお、各図において、同一の
構成については、同一の符号を付す。
【0032】図1は、画像符号化装置の構成を示すブロ
ック図である。
【0033】図1において、画像符号化装置は、画像並
替部11、減算部12、スイッチ13、DCT部14、
量子化部15、可変長符号化部16、バッファメモリ1
7、制御部18、逆量子化部21、逆DCT部22、加
算部23、フレームメモリ24、26、動き補償部2
5、動き検出部27、残差演算部28、アクティビティ
演算部29およびフレームコンプレキシティ演算部30
を備えて構成される。
【0034】入力ビデオ信号は、画像並替部11に入力
され、アナログ信号からディジタル信号に変換後に、ピ
クチャの順序を符号化処理に適した順に並び替えられ
る。画像並替部11は、すなわち、IピクチャおよびPピ
クチャを先に符号化し、その後、Bピクチャを符号化す
るのに適した順に並び替える。
【0035】画像並替部11は、所定の画素数のブロッ
ク、例えば、16×16のMBに分割し、MBごとに出力す
る。この出力は、減算器12およびスイッチ13を介し
てDCT部14に入力され、DCT符号化が行われる。
DCTは、直交変換の1つであり、他に、アダマール
(Hadamard)変換、カルーネン・レーベ(Karuhnen・Lo
eve)変換、フーリエ変換などがある。
【0036】DCT部の出力は、量子化部15に入力さ
れ、制御部18で指定された量子化スケール(量子化ス
テップ)で量子化される。量子化スケールは、量子化特
性のスケーリングを行うことにより発生ビット量を制御
するためのパラメータである。量子化特性は、ブロック
内DCT係数値間での相対的な量子化精度を設定するた
めに、8×8のマトリクスで表示され、例えば、イント
ラマクロブロック量子化マトリクスや非イントラマクロ
ブロック量子化マトリクスなどが用意される。制御部1
8は、出力ビットレートを制御する回路であり、指定し
た量子化スケールを逆量子化部21にも通知する。
【0037】量子化部15の出力は、可変長符号化部1
6および逆量子化部21に入力される。可変長符号化部
16は、出現頻度がより高いデータにより短いコードを
割り当てる可変長符号、例えば、ハフマン符号で符号化
され、符号化データは、メモリのバッファメモリ17に
出力される。バッファメモリ17は、所定のビットレー
トで符号化データを画像符号化装置の出力として出力す
る。制御部18は、可変長符号化部16で発生する符号
量が可変であるため、バッファメモリ17を監視するこ
とによって所定のビットレートを保つように、量子化部
15の量子化動作を制御する。
【0038】一方、量子化部15の出力がIピクチャお
よびPピクチャの場合は、動き補償部25で参照画面と
して使用されるため、量子化部15の出力は、逆量子化
部21にも入力される。入力された信号は、制御部18
から通知された量子化スケールで逆量子化された後に逆
DCT部22に入力され、逆DCTが行われる。逆DC
T部22の出力は、加算部23で動き補償部25の出力
と加算され、フレームメモリ24に入力される。そし
て、画面並替部11の出力は、フレームメモリ26およ
び動き検出部27にも入力される。
【0039】動き検出部27は、フレームメモリ26に
蓄積されている比較すべき時間の画像データと画面並替
部11からの現時間の画像データとから、各MBの動きベ
クトル(以下、「MV」と略記する。)をそれぞれ算出
する。例えば、動き検出部27は、各MBに対して予め定
められた探索範囲内で各MBごとに現フレームと予測フレ
ームとのブロックマッチングを行って予測誤差が最小と
なる動き量を検出することでMVを検出する。動き検出部
27で算出されたMVは、動き補償部25および残差演
算部28にそれぞれ入力される。
【0040】動き補償部25では、フレームメモリ24
に蓄積されている比較すべき時間の復号画像データに基
づいてMVを用いて予測画像を再構成する。そして、動き
補償部25は、加算部23および減算部12に予測画像
を出力する。
【0041】これら逆量子化部21、逆DCT部22、加
算部23、フレームメモリ24、26、動き補償部25
および動き検出部27は、ローカル復号部を構成する。
【0042】減算部12は、画面並替部11の出力(現
時間の画像データ)と動き補償部25の出力(比較すべ
き時間の画像データ)との間で減算を行い、予測誤差を
形成する。フレーム内符号化(Iピクチャ)の場合で
は、スイッチ13により、減算部12は、減算処理を行
わず、単にデータが通過する。
【0043】すなわち、スイッチ13は、画面並替部1
1の出力がIピクチャの場合では、スイッチ13-aにお
ける端子bと端子cとを接続し、スイッチ13-bにおける
端子fと端子gとを接続する。スイッチ13は、画面並替
部11の出力がPピクチャおよびBピクチャの場合では、
スイッチ13-aにおける端子aと端子cとを接続し、スイ
ッチ13-bにおける端子eと端子gとを接続する。
【0044】残差演算部28は、PピクチャおよびBピ
クチャにおいて、動き検出部27でベクトルを検出する
際の残差量Bdを算出し、制御部18に出力する。
【0045】また、画面並替部11の出力は、アクティ
ビティ演算部29およびフレームコンプレキシティ演算
部30にも入力される。
【0046】アクティビティ演算部29は、式1を用い
て、入力画像a_i,jから低域成分画像f_m,nを生成する。
【0047】
【数1】 ここで、m=0,1,2……、n=0,1,2……であ
る。
【0048】次に、アクティビティ演算部29は、式2
を用いて、入力画像a_i,jからアクティビティ画像成分g
_m,nを生成する。
【0049】
【数2】 ここで、m=0,1,2……、n=0,1,2……であ
る。
【0050】そして、アクティビティ演算部29は、こ
れらf_m,nおよびg_m,nより、式3を用いて、アクティビ
ティ値Actを求め、制御部18に出力する。
【0051】
【数3】 フレームコンプレキシティ演算部30は、式4で定義さ
れるフレームコンプレキシティ値F_Compを制御部18
に出力する。
【0052】
【数4】 ここで、Y_iは、I番目における画素の輝度レベルであ
り、Nは、フレームの総画素数である。
【0053】次に、画像符号化装置の動作について説明
する。
【0054】図2は、画像符号化装置の主要な処理を説
明するフローチャートである。
【0055】図2において、制御部18は、1フレーム
分の画像データを取り込む(S10)。
【0056】次に、制御部18は、アクティビティ演算
部29およびフレームコンプレキシティ演算部30から
それぞれ出力される画像の特徴量を取得する(S1
1)。
【0057】次に、制御部18は、MPEG2のTM5
で採用された方式により目標ビット量Tを算出する(S
12)。この方式は、例えば、先の文献に開示されてい
る。
【0058】次に、制御部18は、上限値TLim1を算出
する(S13)。
【0059】次に、制御部18は、目標ビット量Tが上
限値TLim1以下であるか否かを判断する(S14)。
【0060】次に、制御部18は、目標ビット量Tが上
限値TLim1以下である場合には、目標ビット量Tで1フ
レームの画像データを符号化する(S15)。一方、制
御部18は、目標ビット量Tが上限値TLim1より大きい
場合には、上限値TLim1で1フレームの画像データを符
号化する(S16)。
【0061】従来技術で説明した第1ステップでは、例
えば、静止画像のような動きのあまりない入力画像で
は、GOPの全ビット量のうちの大半のビット量がIピ
クチャに割り当てられることになる。
【0062】ところが、このようにピクチャの目標ビッ
ト量Tに上限値TLim1を設けることによって、後半のB
ピクチャやPピクチャにより多くのビット量を割り当て
ることができるようになるため、GOPの途中から動き
の激しい画像になった場合にも対応することができる。
さらに、必要以上のビット量を割り当てることを防止す
ることができる。このため、従来の上限値の無い場合に
較べて、再生画質を改善することができる。
【0063】次に、制御部18は、符号化が終了か否か
を判断し、終了の場合には、プログラムを終了し、一
方、終了ではない場合には、S10の処理に戻る(S1
7)。
【0064】ここで、上限値TLim1の設定方法例につい
て説明する。
【0065】上限値TLim1は、符号化するピクチャがI
ピクチャである場合には、例えば、記録ビットレートの
値bitrateから次式5によって定める。
【0066】 TLim1_I=k×bitrate …(式5) また、フレームコンプレキシティ値F_Compを考慮し
て、上限値TLim1は、符号化するピクチャがIピクチャ
である場合に、次式6によって定めてもよい。
【0067】 TLim1_I=k×F_Comp×bitrate …(式6) あるいは、ピクチャ内のアクティビティActの総和Act_
sumを考慮して、上限値TLim1は、符号化するピクチャ
がIピクチャである場合に、次式7によって定めてもよ
い。
【0068】 TLim1_I=k×Act_sum×bitrate …(式7) kの値は、例えば、1/20〜1/10に設定される。
【0069】図2に示す動作では、目標ビット量Tの制
御を上限値TLim1を設けることで行ったが、直接、入力
画像の特徴量を用いて設定しても良い。
【0070】図3は、特徴量から目標ビット量Tを求め
る場合における、画像符号化装置の主要な処理を説明す
る第1のフローチャートである。
【0071】図3において、制御部18は、ユーザが設
定した記録モードから高画質モードであるか否かを判断
する(S21)。
【0072】判断の結果、高画質モードである場合に
は、標準として所定の値に設定された標準ビットレート
より高いビットレートの高ビットレート用変換テーブル
が選択され(S23)、変換テーブルとして高ビットレ
ート用変換テーブルが準備される(S26)。一方、判
断の結果、高画質モードでない場合には、長時間モード
であるか否かを判断する(S22)。
【0073】判断の結果、長時間モードである場合に
は、標準ビットレートより低いビットレートの低ビット
レート用変換テーブルが選択され(S24)、変換テー
ブルとして低ビットレート用変換テーブルが準備される
(S26)。一方、長時間モードではない場合には、標
準ビットレート用に用意された標準ビットレート用変換
テーブルが準備される(S25、S26)。
【0074】このユーザの設定は、例えば、後述の操作
部26から入力される。
【0075】このようにモード選択を可能とすること
で、画像を高画質で記録したいとか長時間に亘って画像
を記録したいなど、ユーザの目的に応じることができ
る。
【0076】次に、制御部18は、1フレーム分の画像
データを取り込む(S27)。
【0077】次に、制御部18は、アクティビティ演算
部29およびフレームコンプレキシティ演算部30から
それぞれ出力される画像の特徴量を取得する(S2
8)。
【0078】次に、制御部18は、選択された変換テー
ブルに基づいて入力画像の特徴量から目標ビット量Tを
算出する(S29)。
【0079】次に、制御部18は、目標ビット量Tで1
フレームの画像データを符号化する(S30)。
【0080】次に、制御部18は、符号化が終了か否か
を判断し、終了の場合には、プログラムを終了し、一
方、終了ではない場合には、S27の処理に戻る(S3
1)。
【0081】ここで、目標ビット量Tは、次のように算
出される。例えば、入力画像の特徴量として、フレーム
コンプレキシティF_Compを用いて、符号化するピクチ
ャがIピクチャである場合に、 T_I=k×F_Comp+st …(式8) で、目標ビット量を定めても良い。stは、オフセット
量である。
【0082】あるいは、例えば、入力画像の特徴量とし
て、アクティビティのピクチャ内の総和Act_sumを用い
て、符号化するピクチャがIピクチャである場合に、 T_I=k×Act_sum+st …(式9) で、目標ビット量を定めても良い。stは、オフセット
量である。
【0083】kは、図4に示すように、F_CompやAct_
sumの特徴量の値が小さい領域と大きい領域とでは、小
さく、中間の領域では大きくする。これは、次の理由に
よる。特徴量が大きい領域では、入力画像が複雑になる
に連れてビット割り当ては、増大していく。そして、特
徴量の値がかなり大きくなり、或る程度のビット量を与
えれば、さらに複雑な入力画像が入力されたとしても破
綻が視覚上目立たなくなるため、傾きkは、小さくする
ことができる。一方、特徴量が小さい領域では、入力画
像が単純になるに連れてビット割り当ては、減少してい
く。そして、特徴量の値がかなり小さくなり、ビット割
り当てがかなり小さくなるとビットストリームにおいて
最低限必要なヘッダその他各種信号やパラメータの占め
る割合が単純な画像情報に比較して増大してくるので、
直線的に割り当てビットを減らすと画質劣化が目立つこ
とになる。そのため、傾きkは、小さくし、さらにT_I
にオフセット量stを与える。
【0084】一方、次のように、符号化するピクチャが
PピクチャやBピクチャである場合にも目標ビット量を
定めて、すべてのピクチャにおいて、ピクチャの特徴量
に応じて必要充分なビット量を算出するようにしてもよ
い。これによって、各ピクチャにおいて、複雑な画像で
はより多くのビット量を割り振り、易しい画像ではより
少ないビット量を割り振ることができる。このため、例
えば、従来に較べて、入力画像が急激に変化するような
場合に画質の劣化を低減して常により均一な画質を保つ
ことができる。さらに、ピクチャ毎にエンコードに先立
って演算するため、急激な画像の変化にも遅れることな
く追随することができる。
【0085】また、易しい入力画像が連続する場合に
は、ビット量の割り当てが従来に較べて少なくなるの
で、結果的に、トータルなビットレートが減少して、可
変レート記録できる場合には、記録時間を延ばすことが
できる。あるいは、通信回線でデータを転送する場合に
は、通信回線の帯域幅を有効に活用することができる。
【0086】ここで、符号化するピクチャがPピクチャ
やBピクチャである場合に、例えば、入力画像の特徴量
として、残差値Bdのピクチャ内の総和Bd_sumを用い
て、 T_p、T_b=k×Bd_sum …(式10 ) で、目標ビット量を定める。
【0087】また、Bd_sumの変動分を利用しても良
い。例えば、1つ手前の同じピクチャタイプのピクチャ
における残差値Bd_sum_oldとして、 if(Bd_sum−Bd_sum_old>Th) T_p、T_b=k1×Bd_sum else T_p、T_b=k2×Bd_sum …(式11 ) で、目標ビット量を定めても良い。1つ手前に較べて急
に残差が増加した場合には、より多くのビット量を割り
当てる。
【0088】ところで、このように入力画像の特徴量か
ら目標ビット量Tを算出する場合では、非常に小さい目
標ビット量となってしまい、再生画像を劣化させる可能
性がある。そこで、下限値TLim2を用いてこれを防止す
る。
【0089】図5は、特徴量から目標ビット量Tを求め
る場合における、画像符号化装置の主要な処理を説明す
る第2のフローチャートである。
【0090】図5において、S21ないしS29は、図
3と同一なので説明を省略する。
【0091】図5のS41において、制御部18は、下
限値TLim2を算出する。
【0092】次に、制御部18は、目標ビット量Tが下
限値TLim2以上であるか否かを判断する(S42)。
【0093】次に、制御部18は、目標ビット量Tが下
限値TLim2以上である場合には、目標ビット量Tで1フ
レームの画像データを符号化する(S43)。一方、制
御部18は、目標ビット量Tが下限値TLim2より小さい
場合には、下限値TLim2で1フレームの画像データを符
号化する(S44)。
【0094】次に、制御部18は、符号化が終了か否か
を判断し、終了の場合には、プログラムを終了し、一
方、終了ではない場合には、S27の処理に戻る(S3
1)。
【0095】下限値TLim2は、所定値で各ピクチャごと
に定めても良いが、残差値Bdのピクチャ内の総和Bd_s
umを用いて動的に変えるようにしても良い。
【0096】 if(Bd_sum−Bd_sum_old>Th) TLim2=Min1 else TLim2=Min2 …(式11) で、下限値TLim2を定めても良い。Min1、Min2は、所定
の定数である。
【0097】図2では、従来技術で説明した第1ステッ
プにおける目標ビット量Tに対して上限値TLim1を設け
る場合であるが、図3および図5に示す入力画像の特徴
量から目標ビット量Tを求める場合にも、上限値を設け
るようにしても良い。この上限値を設けることによっ
て、記録装置などにおけるシステムの最大ビットレート
以下になるようにすることができ、そして、可変レート
記録の場合における最小記録時間を保証することができ
るようになる。
【0098】なお、図5の例では、ユーザの目的に応じ
て変換テーブルを用意するようにしたが、入力機器に応
じて変換テーブルを用意するようにしても良い。
【0099】図6は、特徴量から目標ビット量を求める
場合における、画像符号化装置の主要な処理を説明する
第3のフローチャートである。
【0100】図6において、制御部18は、接続されて
いる入力機器がビデオカメラであるか否かを判断する
(S51)。
【0101】判断の結果、ビデオカメラである場合に
は、標準として所定の値に設定された標準ビットレート
と異なるビデオカメラ用変換テーブルが選択され(S5
4)、変換テーブルとしてビデオカメラ用変換テーブル
が準備される(S26)。一方、判断の結果、ビデオカ
メラでない場合には、地上波アナログ放送受信機である
か否かを判断する(S52)。
【0102】判断の結果、地上波アナログ放送受信機で
ある場合には、標準ビットレートと異なる地上波用変換
テーブルが選択され(S55)、変換テーブルとして地
上波用変換テーブルが準備される(S26)。一方、判
断の結果、地上波アナログ放送受信機ではない場合に
は、ディジタル画像出力機器であるか否かを判断する
(S53)。ディジタル画像出力機器は、例えば、DV
DプレーヤーやBSディジタル放送受信機である。
【0103】判断の結果、ディジタル画像出力機器であ
る場合には、標準ビットレートと異なるディジタル画像
用変換テーブルが選択され(S56)、変換テーブルと
してディジタル画像用変換テーブルが準備される(S2
6)。一方、判断の結果、ディジタル画像出力機器では
ない場合には、標準ビットレート用に用意された標準ビ
ットレート用変換テーブルが準備される(S57、S2
6)。
【0104】以下S27ないしS31は、図5と同一な
ので、その説明を省略する。
【0105】入力機器がビデオカメラである場合では、
本来の画像信号に含まれる情報に加えて、CCD(Char
ge Coupled Device)撮像素子のランダムノイズ、撮影
者の手振れ、MPEGの動き予測では補正できない回転
方向のブレ、および、オートフォーカスなどの自動調整
により画像が変動するで生じる時間相関の減少などの諸
要素のために、情報量を余分に多く必要とする。
【0106】一方、地上波アナログ放送、ディジタル画
像と高品位な画像になるに従って、上記の成分が減少す
るので、同じような画像でもフレームコンプレキシティ
の値、アクティビティの値および残差の値が減少する傾
向となる。このため、より傾きの大きい、すなわち、同
じ指標値でも割付けビット量が大きくなる割付けカーブ
を用いることで、同等な平均記録レートに揃えることが
できる。
【0107】上述の各変換テーブルは、このようなこと
を踏まえて作成される。
【0108】入力機器によって入力画像の特徴が異なる
ので、このように入力機器によって変換テーブルを切り
替えることによって、各ピクチャに最適にビット量を割
り振ることができる。次に、画像復号装置について説明
する。
【0109】図7は、画像復号装置のブロック図を示す
図である。
【0110】図7において、画像復号装置は、メモリの
バッファメモリ41、可変長符号復号部42、逆量子化
部43、逆DCT部44、加算部45、フレームメモリ
48、動き補償部49および画面並替部46の各電子回
路を備えて構成される。
【0111】符号化データ(ビデオエレメンタリストー
ム)は、一旦バッファメモリ41に蓄積され、可変長復
号部42に入力される。可変長復号部42は、マクロブ
ロック符号化情報が復号され、符号化モード、MV、量
子化スケールを含む量子化情報および量子化DCT係数
が分離される。MVなどは、動き補償部49に出力され
る。量子化DCT係数は、量子化スケールに基づいて逆
量子化部43でDCT係数に復元され、逆DCT部44
で画素空間データに変換される。加算部45は、逆量子
化部44の出力と動き補償部49の出力とを加算する
が、Iピクチャを復号する場合には、加算しない。画面
内のすべてのMBが復号され、画面は、画面並替部46
で元の入力順序に並べ替えられて、アナログ信号に変換
されて出力される。また、加算器45の出力は、Iピク
チャおよびPピクチャの場合には、その後の復号処理で
参照画面として使用されるため、フレームメモリ48に
蓄積され、動き補償部49に出力される。
【0112】このような画像符号化装置および画像復号
装置は、画像圧縮伸張装置として、カメラ一体型ディジ
タル記録再生装置や地上波放送受信機などとの間で映像
信号をやり取りする記録再生装置に備えることができ
る。さらに、本発明は、画像圧縮処理および画像伸張処
理の何れか一方または両方を実現するプログラムを記録
した記録媒体を介して該プログラムをコンピュータにイ
ンストールすることで、コンピュータを画像符号化装
置、画像復号装置または画像圧縮伸張装置にすることも
できる。
【0113】以下、一例として、本発明に係る画像符号
化装置を備えるカメラ一体型ディジタル記録再生装置に
ついて説明する。
【0114】図8は、カメラ一体型ディジタル記録再生
装置の構成を示すブロック図である。
【0115】図8において、カメラ一体型ディジタル記
録再生装置は、ビデオ符号器111、オーディオ符号器
112、ビデオ復号器113、オーディオ復号器11
4、ファイル生成器115、ファイル復号器116、メ
モリ117、120、メモリコントローラ118、シス
テム制御マイコン119、エラー訂正符号/復号器12
1、ドライブ制御マイコン122、データ変復調器12
3、磁界変調ドライバ124、操作部126、サーボ回
路130、モータ131、磁界ヘッド132および光ピ
ックアップ133を備えて構成される。
【0116】ビデオ信号は、ビデオ入力端子からビデオ
符号器111に供給され、圧縮符号化される。オーディ
オ信号は、オーディオ入力端子からオーディオ符号器1
12に供給され、圧縮符号化される。ビデオ入力端子に
は、例えば、図示しない光学系によって被写体の撮像光
がCCD(Charge Coupled Device)などの撮像素子に供
給されることによってビデオ信号を生成するビデオカメ
ラで、撮影された画像がビデオ信号として供給される。
オーディオ入力端子には、マイクロホンで集音された音
声がオーディオ信号として供給される。
【0117】ビデオ符号器111は、本発明に係る画像
符号化装置が利用される。
【0118】オーディオ符号器112は、例えば、MPEG
/Audioレイヤ1/レイヤ2の場合では、サブバンド符
号化部および適応量子化ビット割り当て部などの各電子
回路を備えて構成される。オーディオ信号は、サブバン
ド符号化部で32帯域のサブバンド信号に分割され、適
応量子化ビット割り当て部で心理聴覚重み付けに従って
量子化され、ビットストリームに形成された後に出力さ
れる。なお、符号化品質を向上させるために、MPEG/Au
dioレイヤ3の場合では、さらに、適応ブロック長変形
離散コサイン変換部、折り返し歪み削減バタフライ部、
非線形量子化部および可変長符号化部などが導入され
る。
【0119】ビデオ符号器111の出力およびオーディ
オ符号器112の出力がファイル生成器115に供給さ
れる。ファイル生成器115は、特定のハードウェア構
成を使用することなく動画、音声およびテキストなどを
同期して再生することができるコンピュータソフトウェ
アにより扱うことができるファイル構造を持つように、
ビデオエレメンタリストリームおよびオーディオエレメ
ンタリストームのデータ構造を変換する。このようなソ
フトウェアは、例えば、QuickTime(クイック・タイ
ム)である。そして、ファイル生成器115は、符号化
ビデオデータと符号化オーディオデータとを多重化す
る。ファイル生成器115は、システム制御マイコン1
19によって制御される。
【0120】ファイル生成器115の出力であるQuickT
imeムービーファイルは、メモリコントローラ118を
介してメモリ117に順次に書き込まれる。メモリコン
トローラ118は、システム制御マイコン119から記
録媒体140へのデータ書き込みが要求されると、メモ
リ117からQuickTimeムービーファイルを読み出す。
【0121】ここで、QuickTimeムービー符号化の転送
レートは、記録媒体140への書き込みデータの転送レ
ートより低い転送レート、例えば、1/2に設定され
る。よって、QuickTimeムービーファイルが連続的にメ
モリ117に書き込まれるのに対し、メモリ117から
のQuickTimeムービーファイルの読み出しは、メモリ1
17がオーバーフローまたはアンダーフローしないよう
に、システム制御マイコン119によって監視されなが
ら間欠的に行われる。
【0122】メモリ117から読み出されたQuickTime
ムービーファイルは、メモリコントローラ118からエ
ラー訂正符号/復号器121に供給される。エラー訂正
符号/復号器121は、このQuickTimeムービーファイ
ルを一旦メモリ120に書き込み、インターリーブ(in
terleaved)およびエラー訂正符号の冗長データの生成
を行う。エラー訂正符号/復号器121は、冗長データ
が付加されたデータをメモリ120から読み出し、これ
をデータ変復調器123に供給する。
【0123】データ変復調器123は、デジタルデータ
を記録媒体140に記録する際に、再生時のクロック抽
出を容易とし、符号間干渉などの問題が生じないよう
に、データを変調する。例えば、(1,7)RLL(ru
n length limited)符号やトレリス符号などを利用する
ことができる。
【0124】データ変復調器123の出力は、磁界変調
ドライバ124および光ピックアップ133に供給され
る。磁界変調ドライバ124は、入力信号に応じて、磁
界ヘッド132を駆動して記録媒体140に磁界を印加
する。光ピックアップ133は、入力信号に応じて記録
用のレーザビームを記録媒体140に照射する。このよ
うにして、記録媒体140にデータが記録される。
【0125】記録媒体140は、書き換え可能な光ディ
スク、例えば、光磁気ディスク(MO、magneto-optical
disk)、相変化型ディスクなどである。記録媒体140
は、モータ131によって、線速度一定(CLV)、角速
度一定(CAV)またはゾーンCLV(ZCLV)で回転される。
【0126】ドライブ制御マイコン122は、システム
制御マイコン119の要求に応じて、サーボ回路130
に信号を出力する。サーボ回路130は、この出力に応
じて、モータ131および光ピックアップ133を制御
することによって、ドライブ全体を制御する。例えば、
サーボ回路130は、光ピックアップ133に対し、記
録媒体140の径方向の移動サーボ、トラッキングサー
ボおよびフォーカスサーボを行い、モータ131に対
し、回転数を制御する。
【0127】また、システム制御マイコン119には、
ユーザが所定の指示を入力する操作部126が接続され
る。例えば、上述した高画質モードの選択や長時間モー
ドの選択などが操作部126から入力される。
【0128】一方、再生の際には、光ピックアップ13
3は、再生用の出力でレーザビームを記録媒体140に
照射し、その反射光を光ピックアップ133内の光検出
器で受光することによって、再生信号を得る。この場合
において、ドライブ制御マイコン122は、光ピックア
ップ133内の光検出器の出力信号からトラッキングエ
ラーおよびフォーカスエラーを検出し、読み取りのレー
ザビームがトラック上に位置し、トラック上に合焦する
ように、サーボ回路130によって光ピックアップ13
3を制御する。さらに、ドライブ制御マイコン122
は、記録媒体140上における所望の位置のデータを再
生するために、光ピックアップの径方向における移動も
制御する。所望の位置は、記録時と同様にシステム制御
マイコン119によって、ドライブ制御マイコン122
に信号が与えられ、決定される。
【0129】光ピックアップ133の再生信号は、デー
タ変復調器123に供給され、復調される。復調された
データは、エラー訂正符号/復号器121に供給され、
再生データを一旦メモリ120に格納し、デインターリ
ーブ(deinterleaved)およびエラー訂正が行われる、
エラー訂正後のQuickTimeムービーファイルは、メモリ
コントローラ118を介してメモリ117に格納され
る。
【0130】メモリ117に格納されたQuickTimeムー
ビーファイルは、システム制御マイコン119の要求に
応じて、ファイル復号器116に出力される。システム
制御マイコン119は、ビデオ信号およびオーディオ信
号を連続再生するために、記録媒体140の再生信号が
メモリ117に格納されるデータ量と、メモリ117か
ら読み出されてファイル復号器116に供給されるデー
タ量とを監視することによって、メモリ117がオーバ
ーフローまたはアンダーフローしないようにメモリコン
トローラ118およびドライブ制御マイコン122を制
御する。こうして、システム制御マイコン119は、記
録媒体140から間欠的にデータを読み出す。
【0131】ファイル復号器116は、システム制御マ
イコン119の制御下で、QuickTimeムービーファイル
をビデオエレメンタリストリームとオーディオエレメン
タリファイルとに分離する。ビデオエレメンタリストリ
ームは、ビデオ復号器113に供給され、圧縮符号化の
復号が行われ、ビデオ出力となってビデオ出力端子から
出力される。オーディオエレメンタリストリームは、オ
ーディオ復号器114に供給され、圧縮符号化の復号が
行われてオーディオ出力となってオーディオ出力端子か
ら出力される。ここで、ファイル復号器116は、ビデ
オエレメンタリストリームとオーディオエレメンタリス
トリームとが同期するように出力する。
【0132】ビデオ復号器113は、上述の画像復号装
置を備えて構成される。
【0133】オーディオ復号器114は、例えば、MPEG
/Audioレイヤ1/レイヤ2の場合では、ビットストリ
ーム分解部、逆量子化部およびサブバンド合成フィルタ
バンク部などの各電子回路を備えて構成される。入力さ
れたオーディオエレメンタリストリームは、ビットスト
リーム分解部でヘッダと補助情報と量子化サブバンド信
号とに分離され、量子化サブバンド信号は、逆量子化部
で割り当てられたビット数で逆量子化され、サブバンド
合成フィルタバンクで合成された後に、出力される。
【0134】
【発明の効果】本発明にかかる画像符号化方法および画
像符号化装置では、画面内符号化のピクチャに割り当て
られるビット量が上限値以下に制限されるでの、画像群
の他のピクチャに従来より多くのビットを割り当てるこ
とができる。このため、再生画質を向上することができ
る。
【0135】そして、本発明にかかる画像符号化方法お
よび画像符号化装置では、目標ビットレートを画像の特
徴量から直接求めるので、画質が最適となるビットを割
り当てることができる。特に、動きの激しい画像の再生
画質と、動きの易しい画像の再生画質とを主観的視覚に
おいて均一にすることができる。
【0136】このように本発明では、画像群(GOP)
単位ではなくフレーム単位で、しかも符号化に先立って
得られる画像の特徴量によるフィードフォワードで、各
画像の目標ビット量を割り振るので、画像群の分解能以
内における急激な変化に対しても全く遅れることなく、
最適なビット量を割り振ることができる。
【図面の簡単な説明】
【図1】画像符号化装置の構成を示すブロック図であ
る。
【図2】画像符号化装置の主要な処理を説明するフロー
チャートである。
【図3】特徴量から目標ビット量を求める場合におけ
る、画像符号化装置の主要な処理を説明する第1のフロ
ーチャートである。
【図4】特徴量と目標ビット量との関係を示す図であ
る。
【図5】特徴量から目標ビット量を求める場合におけ
る、画像符号化装置の主要な処理を説明する第2のフロ
ーチャートである。
【図6】特徴量から目標ビット量を求める場合におけ
る、画像符号化装置の主要な処理を説明する第3のフロ
ーチャートである。
【図7】画像復号装置の構成を示すブロック図である。
【図8】カメラ一体型ディジタル記録再生装置の構成を
示すブロック図である。
【符号の説明】
11 画面並替部 12 減算部 13 スイッチ 14 離散コサイン変換部 15 量子化部 16 可変長符号化部 17 バッファメモリ 18 制御部 21 逆量子化部 22 逆離散コサイン変換部 23 加算部 24、26 フレームメモリ 25 動き補償部 27 動き検出部 28 残差演算部 29 アクティビティ演算部 30 フレームコンプレキシティ演算部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 FA23 GA11 GB09 GB17 GB22 GB26 GB28 GB30 GB32 GB38 KA01 LA01 5C059 KK01 KK23 LA09 MA00 MA04 MA23 MC11 ME01 PP05 PP06 PP07 SS14 TA46 TA60 TB04 TC08 TC38 TD01 TD11 UA02 UA05 5J064 AA01 BA09 BA16 BB03 BB05 BC01 BC08 BC16 BC23 BD03

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 画像群の各画像を画面内符号化および予
    測符号化のうちの何れかで可変ビットレートにより符号
    化する画像符号化方法において、 画面内符号化の目標ビットレートに、画像の特徴量に応
    じた上限値を設けたことを特徴とする画像符号化方法。
  2. 【請求項2】 前記画像の特徴量は、フレームコンプレ
    キシティであることを特徴とする請求項1に記載の画像
    符号化方法。
  3. 【請求項3】 前記画像の特徴量は、アクティビティで
    あることを特徴とする請求項1に記載の画像符号化方
    法。
  4. 【請求項4】 画像群の各画像を画面内符号化および予
    測符号化のうちの何れかで可変ビットレートにより符号
    化する画像符号化方法において、 画面内符号化の目標ビットレートを画像の特徴量に応じ
    て算出することを特徴とする画像符号化方法。
  5. 【請求項5】 前記画像の特徴量は、フレームコンプレ
    キシティであることを特徴とする請求項4に記載の画像
    符号化方法。
  6. 【請求項6】 前記画像の特徴量は、アクティビティで
    あることを特徴とする請求項4に記載の画像符号化方
    法。
  7. 【請求項7】 前記画像の特徴量と前記目標ビットレー
    トとの対応関係を示す変換テーブルを、画質に応じて複
    数用意されることを特徴とする請求項4に記載の画像符
    号化方法。
  8. 【請求項8】 前記画像の特徴量と前記目標ビットレー
    トとの対応関係を示す変換テーブルを、画像を供給する
    機器の種類に応じて複数用意されることを特徴とする請
    求項4に記載の画像符号化方法。
  9. 【請求項9】 画像群の各画像を画面内符号化および予
    測符号化のうちの何れかで可変ビットレートにより符号
    化する画像符号化方法において、 予測符号化の目標ビットレートを画像の残差値に応じて
    算出することを特徴とする画像符号化方法。
  10. 【請求項10】 画像群の各画像を画面内符号化および
    予測符号化のうちの何れかで可変ビットレートにより符
    号化する画像符号化方法において、 予測符号化の目標ビットレートを画像の残差値および残
    差値の変動分に応じて算出することを特徴とする画像符
    号化方法。
  11. 【請求項11】 前記目標ビットレートに下限値を設け
    たことを特徴とする請求項4、請求項9および請求項1
    0の何れか1項に記載の画像符号化方法。
  12. 【請求項12】 画像を直交変換し直交変換係数を出力
    する直交変換手段と、前記直交変換係数を所定の量子化
    ステップで量子化する量子化手段と、前記量子化手段の
    出力を可変符号化する可変符号化手段と、目標ビットレ
    ートになるように前記所定の量子化ステップを調整する
    制御手段とを備え、前記直交変換手段に画像群の各画像
    を入力して、画面内符号化および予測符号化のうちの何
    れかで可変ビットレートにより符号化する画像符号化装
    置において、 前記制御手段は、さらに画面内符号化の目標ビットレー
    トを画像の特徴量に応じて算出することを特徴とする画
    像符号化装置。
  13. 【請求項13】 画像を直交変換し直交変換係数を出力
    する直交変換手段と、前記直交変換係数を所定の量子化
    ステップで量子化する量子化手段と、前記量子化手段の
    出力を可変符号化する可変符号化手段と、目標ビットレ
    ートになるように前記所定の量子化ステップを調整する
    制御手段とを備え、前記直交変換手段に画像群の各画像
    を入力して、画面内符号化および予測符号化のうちの何
    れかで可変ビットレートにより符号化する画像符号化装
    置において、 前記制御手段は、さらに予測符号化の目標ビットレート
    を画像の残差値に応じて算出することを特徴とする画像
    符号化装置。
  14. 【請求項14】 被写体の映像を撮影しディジタル映像
    信号に変換して出力する撮影手段と、前記撮影手段から
    の画像データを圧縮符号化する画像符号化手段と、前記
    画像符号化手段で符号化された符号化データを記録媒体
    に記録する記録手段とを備えるディジタルビデオカメラ
    において、 前記画像符号化手段は、請求項12または請求項13に
    記載の画像符号化装置であることを特徴とするディジタ
    ルビデオカメラ。
JP2001206092A 2001-07-06 2001-07-06 画像符号化方法および画像符号化装置 Pending JP2003023637A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001206092A JP2003023637A (ja) 2001-07-06 2001-07-06 画像符号化方法および画像符号化装置
PCT/JP2002/006610 WO2003005730A1 (en) 2001-07-06 2002-06-28 Image encoding method and image encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001206092A JP2003023637A (ja) 2001-07-06 2001-07-06 画像符号化方法および画像符号化装置

Publications (2)

Publication Number Publication Date
JP2003023637A true JP2003023637A (ja) 2003-01-24
JP2003023637A5 JP2003023637A5 (ja) 2008-08-14

Family

ID=19042282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001206092A Pending JP2003023637A (ja) 2001-07-06 2001-07-06 画像符号化方法および画像符号化装置

Country Status (2)

Country Link
JP (1) JP2003023637A (ja)
WO (1) WO2003005730A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005084520A1 (ja) * 2004-03-04 2005-09-15 Olympus Corporation 内視鏡撮像装置
WO2006090755A1 (en) * 2005-02-23 2006-08-31 Canon Kabushiki Kaisha Image processing apparatus
US7195588B2 (en) 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
US7492950B2 (en) 2003-07-18 2009-02-17 Sony Corporation Image encoding apparatus and method for handling intra-image predictive encoding with various color spaces and color signal resolutions
US7756349B2 (en) 2005-03-28 2010-07-13 Casio Hitachi Mobile Communications Co., Ltd. Image processing apparatus and computer-readable storage medium
CN101305617B (zh) * 2005-11-09 2013-02-20 佳能株式会社 图像信号处理设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028753A (ja) * 1999-07-13 2001-01-30 Victor Co Of Japan Ltd 動画像符号化装置及びその方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2558996B2 (ja) * 1992-07-21 1996-11-27 松下電器産業株式会社 画像符号化方法及び画像符号化装置
JPH114444A (ja) * 1997-06-11 1999-01-06 Sony Corp 画像符号化装置および方法
WO1999003282A1 (en) * 1997-07-08 1999-01-21 Sony Corporation Video data encoder, video data encoding method, video data transmitter, and video data recording medium
JP2000287210A (ja) * 1999-03-31 2000-10-13 Nec Ic Microcomput Syst Ltd 画像圧縮方法及び装置
JP2001084698A (ja) * 1999-09-09 2001-03-30 Kenwood Corp ディジタル記録システムおよび方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028753A (ja) * 1999-07-13 2001-01-30 Victor Co Of Japan Ltd 動画像符号化装置及びその方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7938771B2 (en) 2002-11-01 2011-05-10 Olympus Corporation Endoscope image pick-up apparatus
US8675976B2 (en) 2003-07-18 2014-03-18 Sony Corporation Image encoding apparatus and method for handling intra-image predictive encoding with various color spaces and color signal resolutions
US9843817B2 (en) 2003-07-18 2017-12-12 Sony Corporation Image decoding apparatus and method for handling intra-image predictive decoding with various color spaces and color signal resolutions
US9344719B2 (en) 2003-07-18 2016-05-17 Sony Corporation Image decoding apparatus and method for handling intra-image predictive decoding with various color spaces and color signal resolutions
US7492950B2 (en) 2003-07-18 2009-02-17 Sony Corporation Image encoding apparatus and method for handling intra-image predictive encoding with various color spaces and color signal resolutions
US8873870B2 (en) 2003-07-18 2014-10-28 Sony Corporation Image encoding apparatus and method for handling intra-image predictive encoding with various color spaces and color signal resolutions
US7912301B2 (en) 2003-07-18 2011-03-22 Sony Corporation Image decoding apparatus and method for handling intra-image predictive decoding with various color spaces and color signal resolutions
US8873873B2 (en) 2003-07-18 2014-10-28 Sony Corporation Image decoding apparatus and method for handling intra-image predictive decoding with various color spaces and color signal resolutions
US8682090B2 (en) 2003-07-18 2014-03-25 Sony Corporation Image decoding apparatus and method for handling intra-image predictive decoding with various color spaces and color signal resolutions
US8303491B2 (en) 2004-03-01 2012-11-06 Olympus Corporation Endoscope image pick-up apparatus
US8182420B2 (en) 2004-03-01 2012-05-22 Olympus Corporation Endoscope image pick-up apparatus
US7195588B2 (en) 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
WO2005084520A1 (ja) * 2004-03-04 2005-09-15 Olympus Corporation 内視鏡撮像装置
US8634458B2 (en) 2005-02-23 2014-01-21 Canon Kabushiki Kaisha Image processing apparatus
WO2006090755A1 (en) * 2005-02-23 2006-08-31 Canon Kabushiki Kaisha Image processing apparatus
US7756349B2 (en) 2005-03-28 2010-07-13 Casio Hitachi Mobile Communications Co., Ltd. Image processing apparatus and computer-readable storage medium
CN101305617B (zh) * 2005-11-09 2013-02-20 佳能株式会社 图像信号处理设备

Also Published As

Publication number Publication date
WO2003005730A1 (en) 2003-01-16

Similar Documents

Publication Publication Date Title
JP3268306B2 (ja) 画像符号化方法
US8634458B2 (en) Image processing apparatus
KR100569613B1 (ko) 신호부호화방법,신호부호화장치,신호기록매체및신호전송방법
JP2000278692A (ja) 圧縮データ処理方法及び処理装置並びに記録再生システム
JPH11285002A (ja) 動画像符号化装置及び動画像符号化方法
JP2001346165A (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP2008283432A (ja) 画像記録再生装置
JP2003304538A (ja) 画像符号化装置、画像復号化装置及びそれらの方法
JP4797974B2 (ja) 撮像装置
JP2002238060A (ja) 画像符号化方法、画像符号化装置、プログラムおよび記録媒体
JP4724639B2 (ja) 撮像装置
JP3300561B2 (ja) 可変レート圧縮装置及び可変レート伸長装置
JP2003023637A (ja) 画像符号化方法および画像符号化装置
KR100860661B1 (ko) 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기
JP4421734B2 (ja) 符号化データ変換方法,及びデータ記録媒体
JPH07203456A (ja) 符号化装置と復号化装置と映像記録装置
JP2007142809A (ja) 映像記録装置
JPH11196410A (ja) 動画像符号化方法、動画像符号化装置及び動画像信号記録媒体
JP3586069B2 (ja) 動画像符号化方法および装置
JPH10271498A (ja) 圧縮データ変換方法、画像圧縮データの情報量変換方法およびその方法を適用した画像記録装置
JPH11289515A (ja) 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
JP3660514B2 (ja) 可変レート動画像符号化方法および動画像編集システム
JPH0951538A (ja) 画像信号の符号化方法
JP2004015351A (ja) 符号化装置及び方法、プログラム、記録媒体
JP3307367B2 (ja) 可変転送レート符号化装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080630

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110426