JP4261630B2 - 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 - Google Patents
画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 Download PDFInfo
- Publication number
- JP4261630B2 JP4261630B2 JP02327998A JP2327998A JP4261630B2 JP 4261630 B2 JP4261630 B2 JP 4261630B2 JP 02327998 A JP02327998 A JP 02327998A JP 2327998 A JP2327998 A JP 2327998A JP 4261630 B2 JP4261630 B2 JP 4261630B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- target
- encoded
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置及び方法、画像復号化装置及び方法、画像符号化処理プログラムが記録されたコンピュータ可読記録媒体及び画像復号化処理プログラムが記録されたコンピュータ可読記録媒体に関するものである。
【０００２】
【従来の技術】
従来、動画像の符号化方式として、H.261、MPEG-1、MPEG-2などが知られている。これらの符号化方式はＩＴＵ（International Telecommunication Union：国際電気通信連合）やＩＳＯ(International Organization for Standardization：国際標準化機構)によって国際標準化されており、それぞれ、H.264勧告、ＩＳＯ１１１７２、１３８１８として文書化されている。また、静止画符号化（例えば、JPEG（Joint Photographic Coding Experts Group）符号化）を各フレームに適応させることで符号化するMotion JPEG符号化も知られている。
【０００３】
以下、図２１を用いて、ビデオ信号をMPEG-1で符号化する符号化システムについて説明する。
【０００４】
図２１において、ＴＶカメラ１００１により供給されたビデオ信号は、入力端子１００３によって動画像符号化装置１００２に入力される。
【０００５】
入力端子１００３から入力されたビデオ信号は、Ａ／Ｄ変換器１００４によってディジタル信号に変換され、ブロック形成器１００５に入力される。
【０００６】
ブロック形成器１００５では、１６×１６画素で構成されるマクロブロックを画像の左上から右下方向の順に形成する。
【０００７】
MPEG-1では画像データを３つの符号化モードで符号化することができる。フレーム内符号化を行うＩ−フレームモード（以下、Ｉ―フレーム）、過去のフレームからフレーム間符号化を行うＰ−フレームモード（以下、Ｐ―フレーム）、過去と未来のフレームからフレーム間符号化を行うＢ−フレームモード（以下、Ｂ―フレーム）とがある。
【０００８】
上記したフレームのモード決定はフレームモード器１０１７によって行われる。フレームモードは符号化のビットレート、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）の演算誤差の蓄積による画質劣化の防止、画像の編集やシーンチェンジを考慮して決定される。
【０００９】
まず、Ｉ−フレームの符号化処理について述べる。
【００１０】
Ｉ−フレームでは動き補償器１００６は作動せず、動き補償器１００６からは“０”を出力する。差分器１００７ではブロック形成器１００５の出力から動き補償器１００６からの出力を引き、ＤＣＴ変換器１００８へ供給する。
【００１１】
ＤＣＴ変換器１００８では、差分器１００７から供給された差分データを８×８画素のブロック単位にＤＣＴ変換を行い、量子化器１００９へ供給する。
【００１２】
量子化器１００９ではＤＣＴ変換器１００８によって変換された変換データを量子化し、符号化器１０１０へ供給する。
【００１３】
符号化器１０１０では量子化器１００９によって量子化された量子化データを１次元に並び替え、０ラン長と値で符号を決定し、その符号化データを出力端子１０１１へ供給し出力される。
【００１４】
また、量子化器１００９によって量子化された量子化データは、逆量子化器１０１２にも供給される。逆量子化器１０１２は、供給された量子化データを逆量子化して逆ＤＣＴ変換器１０１３に供給する。逆ＤＣＴ変換器１０１３では逆量子化されたデータを逆ＤＣＴ変換して加算器１０１４に供給する。加算器１０１４では、動き補償器１００６の出力“０”と逆ＤＣＴ変換器１０１３の出力とが加算され、フレームメモリ１０１５又は１０１６に記憶される。
【００１５】
次に、Ｐ−フレームの符号化処理について述べる。
【００１６】
Ｐ−フレームでは動き補償器１００６を作動させ、ブロック形成器１００５の出力は動き補償器１００６に入力され、フレームメモリ１０１５又は１０１６から時間的に直前のフレームの画像も動き補償器１００６に入力され、動き補償器１００６では入力された画像データを用いて動き補償を行い動きベクトルと予測マクロブロックを出力する。
【００１７】
差分器１００７は、ブロック形成器１００５からの出力と予測マクロブロックとの差分を求め、ＤＣＴ変換し、量子化して符号器１０１０で動きベクトルとともに符号を決定し端子１０１１から出力される。
【００１８】
また、量子化器１００９によって量子化された量子化データは逆量子化器１０１２にも供給される。逆量子化器１０１２では供給された量子化データを逆量子化して逆ＤＣＴ変換器１０１３に供給する。逆ＤＣＴ変換器１０１３では逆量子化されたデータを逆ＤＣＴ変換して加算器１０１４に供給する。加算器１０１４では逆ＤＣＴ変換器１０１３からの出力と動き補償器１００６から出力される予測マクロブロックデータとが加算され、フレームメモリ１０１５又は１０１６に記憶される。
【００１９】
次に、Ｂ−フレームの符号化処理について述べる。
【００２０】
Ｂ―フレームではＰ―フレームと同様に動き補償を行うが、動き補償器１００６はフレームメモリ１０１５及び１０１６の両方から動き補償を行い、予測マクロブロックを生成し、符号化を行う。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述したような画像全体を符号化する方法では、動きの無い背景部分等を繰り返して送る必要があり、符号長を無駄に使用している。例えば、テレビ電話やテレビ会議等での画像では実際に動いているのは人物だけであり、背景は動いていない。一定の時間毎に送られるＩ−フレームでは動いていない背景画像も送られており、無駄な符号（背景画像の符号データ）が生じている。
【００２２】
図２２にテレビ会議等の画像の一例を示す。
【００２３】
図２２は部屋で人物がテレビカメラに向かっている図である。人物１０５０と背景１０５１は同じフレーム内で同じ符号化方法により符号化されている。
【００２４】
背景１０５１には動きはないため、動き補償を行えば符号はほとんど発生しないが、Ｉ−フレームでは多大な符号が発生する。
【００２５】
このため、動きがない部分に関しても多大な符号化データを繰り返し送ることになり、無駄である。また、人物１０５０の動きが大きく、符号化で大きな符号量を発生した後のＩ−フレームによる符号化処理では十分な符号量が得られず、量子化係数を荒くする必要が生じ、動きのない背景の画質まで低下させてしまうという欠点を持っている。尚、上記した人物１０５０のように動きがある物体を以下では対象と呼ぶ。
【００２６】
従って、本発明は前記課題を考慮して符号化効率の高い画像符号化装置及び方法並びに画像符号化プログラムが記録されたコンピュータ可読記録媒体、及びその符号化データを復号化するための画像復号化装置及び方法並びに画像復号化プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。
【００２７】
【課題を解決するための手段】
本発明の画像符号化装置は、動画像を形成する複数のフレームを入力する入力手段と、前記入力手段によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離手段と、前記分離手段によって分離された背景画像を第一の符号化方法で符号化する第一の符号化手段と、前記分離手段によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化手段と、前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化手段で符号化される前記複数の対象画像の目標符号量を制御する制御手段とを有し、前記第２の符号化手段は量子化手段を含み、前記第２の符号化手段は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする。
【００２８】
本発明の画像符号化方法は、動画像を形成する複数のフレームを入力する入力工程と、前記入力工程によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離工程と、前記分離工程によって分離された背景画像を第一の符号化方法で符号化する第一の符号化工程と、前記分離工程によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化工程と、前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化工程で符号化される前記複数の対象画像の目標符号量を制御する制御工程とを有し、前記第２の符号化工程は量子化工程を含み、前記第２の符号化工程は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする。
【００２９】
本発明の画像符号化プログラムが記録されたコンピュータ可読記録媒体は、動画像を形成する複数のフレームを入力する入力手順と、前記入力手順によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離手順と、前記分離手順によって分離された背景画像を第一の符号化方法で符号化する第一の符号化手順と、前記分離手順によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化手順と、前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化手順で符号化される前記複数の対象画像の目標符号量を制御する制御手順とを記録し、前記第２の符号化手順は量子化手順を含み、前記第２の符号化手順は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする。
【００４５】
【発明の実施の形態】
＜第１の実施例＞
以下、図面を参照しながら本発明の好適な実施形態を詳細に説明する。
【００４６】
図１は、本発明にかかる第１の実施例の動画像符号化装置の構成を示すブロック図である。尚、本実施例では、動画像の入力手段としてＶＴＲを用い、ＣＤ−ＲＯＭに符号化データを書き込むシステムの場合について説明する。
【００４７】
図１において、１０１は動画像シーケンスを蓄積してあるビデオテープレコーダ（ＶＴＲ）である。尚、ＶＴＲ１０１は動画像の入力手段であってＴＶカメラや他の記憶媒体等の動画像入力手段でもよい。
【００４８】
１０２は本発明に係るところの動画像符号化装置である。１０３はＶＴＲから出力される動画像のアナログ画像信号を入力する入力端子、１０４はアナログ画像信号をディジタル画像信号に変換するＡ／Ｄ変換器、１０５は画像の背景画像を格納する背景メモリである。
【００４９】
１０６は背景画像を静止画像の符号化方式で符号化する静止画像符号化部である。静止画像符号化部１０６で使用される符号化方式は、本実施例ではJPEG符号化方式を用いている。尚、静止画像符号化部１０６で使用する符号化方式はこれに限定されず、Wavelet符号化やDPCM符号化、ベクトル量子化等の静止画像を符号化する方式等も適用できる。また、画像のＩ−フレームの符号化方式を用いてももちろんかまわない。
【００５０】
１０７はフレームメモリであり、１画面分の画像データを格納する。１０８は背景メモリ１０５とフレームメモリ１０８から符号化する対象を抽出する対象抽出器、１０９は抽出された対象を格納する対象メモリ、１１０は抽出された対象に動き補償を用いない符号化を行う動画像符号化部、１１１は静止画像符号化部１０６と動画像符号化部１１０で生成される符号の符号長を入力し、発生する符号長の制御を行う符号長制御部、１１２は静止画像符号化部１０６と動画像符号化部１１０で生成される符号化データを合成して１つの符号化データを生成する符号合成部、１１３は符号合成部１１２によって生成された符号化データを出力する出力端子、１１４は符号化データをＣＤ−ＲＯＭに記録するＣＤ−ＲＯＭ書き込み装置、１１５はＶＴＲ１０１に格納されている動画像シーケンスの長さ等の情報を入力する端子、１１６はＣＤ−ＲＯＭの記憶可能容量等の情報を入力する端子、１１７はユーザーが所望するフレームレートを入力するためのフレームレート入力部である。
【００５１】
以下、上述のように構成された装置の動作を説明する。
【００５２】
まず、ＶＴＲ１０１の動画像シーケンスにおいては先頭に対象が全く写っていないフレームが入っているものとする。
【００５３】
ＶＴＲ１０１から入力端子１１５を介して符号化する動画像シーケンスの長さ（時間）Ｔｓを入力し、符号長制御部１１１に入力する。また、ＣＤ−ＲＯＭ書き込み装置１１４からはＣＤ−ＲＯＭの空き容量Ｃｃを入力する。この空き容量Ｃｃが符号化時の目標符号長になる。
【００５４】
次に、ＶＴＲ１０１から対象が写っていないフレームの画像データ（つまり、背景画像のみ写っている）を、入力端子１０３を介して入力し、Ａ／Ｄ変換器１０４でディジタル信号に変換し、背景メモリ１０５に格納する。図２２の画像に対して図２に示す画像が背景画像であったとする。この画像が背景メモリ１０５に格納される。
【００５５】
背景メモリ１０５に背景画像が入力されたら、静止画像符号化部１０６は背景画像をJPEG符号化方式で比較的細かな量子化ステップで符号化し、符号合成部１１２に供給する。また、この時発生した符号長Ｌｂを符号長制御部１１１へ供給する。符号長制御部１１１で動画像シーケンスの長さＴｓ、空き容量Ｃｃ、背景画像の符号長Ｌｂから動画像シーケンスの符号化レートＲｏを下式に従って算出する。
【００５６】
Ｒｏ ＝（Ｃｃ−Ｌｂ）／Ｔｓ／Ｆ …（１）
ここで変数Ｆはフレームレート入力部１１７によって入力された動画像のフレームレートである。つまり、フレームレート入力部１１７によりフレームレートを可変に設定することができる。従って、符号化レートＲｏは１枚のフレームに費やすことのできる符号長を表している。
【００５７】
次に、対象が含まれるフレームをＶＴＲ１０１から時間順にフレームの画像データを入力する。入力端子１０３を介して入力されたアナログ信号はＡ／Ｄ変換器１０４でディジタル信号に変換され、フレームメモリ１０７に入力される。フレームメモリ１０７に１画面分の画像データが蓄積されたら、対象抽出器１０８はフレームメモリ１０７と背景メモリ１０５の画像データから対象を抽出する。つまり、対象抽出器１０８は画像中に含まれる複数種のオブジェクト（背景、人物）を分離していることになる。
【００５８】
対象の抽出の一つとして以下の方法が考えられる。例えば、フレームメモリ１０７及び背景メモリ１０５に記憶された画像データを同期して読み出し、その画像データ同士の画素差分を求める。画素差分が閾値以下であれば背景に含まれる画素とし０そうでなければ対象に含まれる画素とする。画面１面分の閾値比較が終了したら、複数の対象に含まれる画素の固まりを対象の候補とする。以前に対象の抽出を行っている場合は、対象メモリ１０９に格納されている各対象の画像データと比較し、もっとも類似度の高いものを同じ対象とする。類似度は、対象の位置、大きさ、濃度（輝度）平均等を考慮して決定すればよい。また、複数画素で構成されたブロックにより動きベクトルを検出し、その動きベクトルが同じような動きをしている固まりは同一のオブジェクトであると判断するようにしてもよい。
【００５９】
対象が特定できたら、その位置や大きさといった情報を符号化し、符号合成部１１２に供給する。抽出された対象は矩形に切り出された画像データとその位置の背景画素／対象画素を表す閾値比較結果（以下、背景／対象判定結果と称す）を対象メモリ１０９に格納する。図２２を例にとれば図３の対象を含む矩形が切り出され、図４の背景／対象判定結果とともに格納される。これらの情報は動画像符号化部１１０に供給される。
【００６０】
図５は、動画像符号化部１１０の構成の一例を示す図である。尚、動画像符号化部１１０では説明を簡単にするためにフレーム単位で固定長の符号化をする符号化方式を例にとって説明する。
【００６１】
図５において、１２０は図１の対象メモリ１０９から符号化する対象の矩形の画像データを入力する端子、１２１はその背景／対象判定結果を入力する端子、１２２は入力された背景／対象判定結果を符号化する背景／対象判定符号化器である。符号化方式はたとえば２値符号化である、JBIG符号化方式を用いればよい。また、MMR符号化方式や同じような符号化であれば問題はない。
【００６２】
１２３は背景／対象判定符号化器１２２で生成された符号化データを外部に送出する端子であり、符号合成部１１２に接続している。１２４は各フレームの符号長の目標値Ｒｏを入力する端子であり、符号長制御部１１１に接続している。
【００６３】
１２５は背景／対象判定符号化器１２２で生成された符号長Ｌｏを目標値Ｒｏから引いた値を算出する差分器、１２６は差分器１２５の出力値を格納するラッチ、１２７は対象の画像データの平均値ｍを求める平均値算出器、１２８は切り出された矩形の中の背景を表す画素の値を平均値ｍに置換する背景画素置換器、１２９は背景画素置換器１２８の出力データを格納するメモリ、１３０はメモリ１２９をブロック分割し、ＤＣＴ変換を行うＤＣＴ変換器である。
【００６４】
１３１は量子化系数算出器、１３２は量子化係数算出器１３１によって算出された量子化値によってＤＣＴ変換器１３０の出力を量子化する量子化器である。量子化はJPEG符号化やMPEG符号化で用いられているのと同様であり、ＤＣＴ係数に対応する量子化マトリックスに量子化係数Ｑを積算したもので量子化する。
【００６５】
１３３は量子化結果を１次元に整列し、０ラン長と値に対して符号を割り当て、符号長を算出する符号器、１３５は生成された符号化データを最終的に出力する端子、１３４は算出された符号長をカウントする符号長カウンタ、１３６は対象の大きさの情報を対象抽出器１０８から入力する端子である。
【００６６】
以下、上述のように構成された動画像符号化部１１０の動作を説明する。
【００６７】
あるフレームの対象の画像データを符号化するに先立ち、端子１２１から背景／対象判定結果を入力し、背景／対象判定符号化器１２２でJBIG符号化を行う。得られた符号化データは端子１２３を介して符号合成部１１２へ供給される。
【００６８】
また、背景／対象判定符号化器１２２で符号化された符号化データの符号長Ｌｏは差分器１２５に入力され、目標値Ｒｏとの差分Ｏｏが求められる。その差分値Ｏｏはラッチ１２６に保持される。
【００６９】
符号長カウンタ１３４はその内容のＬｔを０にリセットし、量子化係数算出器１３１は対象画像の矩形の大きさ、矩形の符号長の目標値である差分Ｏｏから量子化器１３２の量子化係数Ｑの初期値を決定する。これは過去の経験からある程度決められるものであり、矩形のサイズが大きければ同じ符号長にするためには量子化係数が大きくなる傾向があり、これを鑑みて初期値を算出する。
【００７０】
対象の画像データを端子１２０から、端子１２１から背景／対象判定結果を同期して読み込む。平均値算出器１２７は入力された画素の背景／対象判定結果が対象画素を表していればその内容を加算し、対象画素の数Ｎをカウントアップする。尚、背景画素を表す場合、この処理は行わない。
【００７１】
対象の画像データのすべてについて判定と加算、カウントアップが終了したら、その加算値を対象画素の数Ｎで割って、対象の平均値ｍを算出する対象の画像データのすべてについて判定と加算、カウントアップが終了したら、その加算値を対象画素の数Ｎで割って、対象の平均値ｍを算出する。次に、背景画素置換器１２８は対象の画像データと背景／対象判定結果を同期して読み込み、入力された画素の背景／対象判定結果が背景画素を表していれば平均値ｍを出力し、そうでなければ入力された画素値をそのまま出力する。この出力はメモリ１２９に格納される。
【００７２】
対象の矩形内の全画素について処理がされ、メモリ１２９にその結果が蓄積された後、メモリ１２９からブロック毎に画像が読み出される。同期して背景／対象判定結果が読み出され、ブロック内に対象画素が含まれているブロックのみがＤＣＴ変換器１３０でＤＣＴ変換され、その係数は量子化器１３２で量子化係数Ｑに基づく量子化係数で量子化される。量子化結果は符号器１３３で符号を割り当てられ、その長さを符号長カウンタ１３４でＬｔに加算する。
【００７３】
図６に上述した処理の様子を表す。図６で濃い網点がかかったブロックは符号化されず、対象を含むブロックのみが符号化される。そのうち、背景画素を含むもののみについて、背景画素は平均値ｍで置き換えられている（図６中の薄い網点部）。対象の矩形内の全画素について符号化されたとき、量子化係数算出器１３１はラッチ１２６の内容と符号長カウンタ１３４の内容Ｌｔとを比較し、新たな量子化係数Ｑ’を次式で算出する。
【００７４】
If （Ｌｔ＜Ｏｏ） Ｑ’＝Ｑ−１
Else if （Ｌｔ＞Ｏｏ）Ｑ’＝Ｑ＋１ …（２）
Else Ｑ’＝Ｑ
【００７５】
Ｑ’がＱと等しければ量子化係数Ｑ’が最適な量子化係数であり、メモリ１２９から符号化の対象となるブロックを順に読み出し、ＤＣＴ変換後、量子化器１３２で量子化係数Ｑ’によって量子化され、符号器１３３で符号化され、端子１３５から出力される。この時の量子化係数Ｑ’は、符号化した次フレームの量子化係数Ｑの初期値とするため、これを対象毎に保持しておく。Ｑ’がＱと等しくなければＱ’を過去の量子化係数Ｑｏと比較し、Ｑ’がＱｏと等しければ量子化係数Ｑ’が最適な量子化係数とされ、上記と同様に対象画像を符号化して端子１３５から出力し、量子化係数Ｑを保持する。Ｑ’がＱｏと等しくなければ量子化係数Ｑを過去の量子化係数Ｑｏとして保持する。上述の処理を繰り返し、最適な量子化係数が求まるまで繰り返す。
【００７６】
上述したような動作により動画像符号化部１１０で符号化された符号化データは符号合成部１１２に入力され、各部で生成された符号化データを合成して１つの符号化データを生成する。
【００７７】
図２２の画像について符号合成器１１２から出力される符号化データの例を図７に示す。図２２の画像には対象が１つなので、符号合成部１１２では符号化データの先頭に対象が１つであることを含めたシーケンスヘッダが備わり。次に、静止画像符号化部１０６から出力された背景画像の符号化データエリアが備わる。その後には各対象の各フレーム単位の符号化データエリアが続く。本実施例では人物１０５０の第１フレームから第（Ｔｓ×Ｆ）フレームの符号化データが含まれる。
【００７８】
各フレームの符号化データでは、対象抽出器１０８から出力された対象の大きさを表す符号化データと対象の背景画像の中での位置を表す符号化データを含むフレームヘッダが先頭に格納される。続いて、図５中の動画像符号化部１１０の背景／対象判定符号化器１２２で生成された背景／対象判定結果の符号化データが格納される。最後に、図５中の符号器１３３で生成された対象画像の符号化データが格納される。生成された符号化データは端子１１３を介してＣＤ−ＲＯＭ書き込み装置１１４でＣＤ−ＲＯＭに書き込まれていく。
【００７９】
尚、対象が複数ある場合は、対象の符号化時に、目標値Ｒｏを各対象に分配する。分配の方法としてはたとえば、各対象の大きさ（対象の画素数、矩形の大きさ等）の比によって分配すればよい。図８に示すようにシーケンス内に含まれるオブジェクトの数をシーケンスヘッダに書き込み、背景画像につづいて、フレーム単位で、抽出された複数の対象（対象１、対象２…）の画像符号化データが格納される。すなわち、背景画像符号化データの直後には対象１の第１フレームの符号化データ、対象２の第１フレームの符号化データ…と続き、全対象の第１フレームの符号化データが格納されたら、以下、対象１の第２フレームの符号化データ、対象２の第２フレームの符号化データ…と格納されていく。
【００８０】
図９に第１の実施例で生成された符号化データを復号してモニタに表示するシステムの構成を示す。
【００８１】
図９において、１５０はＣＤ−ＲＯＭ書き込み器１１４で書き込まれた符号化データをＣＤ−ＲＯＭから読み出すＣＤ−ＲＯＭ読み出し器、１５１は動画像復号装置である。
【００８２】
１５２は符号化データを読み込む端子、１５３は符号化データから各符号を分離する符号分離部、１５４は背景画像の画像データを復号する静止画像復号部、１５５は再生された背景画像を格納する背景メモリ、１５６は各対象の符号化データを復号する動画像復号部、１５７は復号化された対象の画像データを格納する対象メモリ、１５６は背景メモリ１５５の内容に各対象の画像データを各対象の位置に合成して最終的な復号画像を得る対象合成器、１５９は対象合成器１５８で生成された画像を格納するフレームメモリ、１６０はフレームメモリ１５９からのディジタル画像信号をアナログ画像信号に変換するＤ／Ａ変換器、１６１は前記アナログ画像信号を外部に出力する端子、１６２は前記アナログ画像信号を表示するモニタである。
【００８３】
以下、上述のように構成された装置における動作を説明する。
【００８４】
ＣＤ−ＲＯＭ読み出し器１５０は符号化データを先頭から逐次読み出し、端子１５２を介して動画像復号装置１５１に供給する。端子１５２を介して入力された符号化データは符号分離部１５３で各ヘッダを解釈し、各符号に分離して後段に出力する。最初にシーケンスヘッダを入力し、オブジェクトの数を検出し、動画像復号部１５６、対象メモリ１５７、対象合成器１５８の各所を初期化する。
【００８５】
続いて、背景画像符号化データを入力し、静止画像復号部１５４に供給する。静止画像復号部１５４は入力された背景画像符号化データをJPEG符号化方式の復号手順に従って、復号し、結果を背景メモリ１５５に格納する。
【００８６】
その後、各対象の各フレーム画像の符号化データを入力する。この符号化データから、対象の位置の符号を復号して、各フレームでの各対象毎に対象合成器１５８に供給する。また、それ以外の符号化データに関しては動画像復号部１５６に供給する。動画像復号部１５６では各対象の符号化データから背景／対象判定結果をJBIG符号化方式の復号手順に従って、復号し、結果を対象メモリ１５７に格納する。
【００８７】
また、対象画像符号化データも逆量子化を経た後、逆ＤＣＴ変換され、画像データに復号化され、背景／対象判定結果を参照して対象メモリ１５７の該当する位置に格納される。
【００８８】
対象合成器１５８は背景メモリ１５５の画像の上に対象メモリ１５７に格納された対象の画像データと背景／対象判定結果を読み出し、背景／対象判定結果が背景画素を表している画素については対象の画素値は使用せず、背景画像の画素値を使用し、対象画素を表している画素については対象の画素値を使用する。復号化された対象は各位置にしたがって配置され、最終的な再生画像を生成し、フレームメモリ１５９に格納する。復号画像は読み出され、Ｄ／Ａ変換器１６０でアナログ画像信号に変換され、端子１６１を介してモニタ１６２に供給し、表示する。
【００８９】
上述のような一連の動作により背景画像と対象画像とを分離し、それぞれについて符号化することで符号化効率を向上させるとともに、背景画像と対象画像、対象画像の画像データと背景／対象判定結果をそれぞれ符号化する際に背景画像の符号長と背景／対象判定結果の符号長を考慮して対象画像の画像データの符号化を制御することで、容易に量子化制御を行うことができる。そして、所望する符号長の符号化データを得ることが可能になる。
【００９０】
尚、第１の実施例においては、動画像符号化部１１０でフレーム単位で固定長の符号化を行う方式を例にとって説明を行ったが、MPEG符号化方式のように複数フレームの符号化結果が一定の符号長に収まるような符号化を行ってもかまわない。
【００９１】
また、第１の実施例においては、背景画像として先頭のフレームを利用したが、同一の効果が得られるのであればその方法はなんでもかまわない。図１０に示すように別途前処理手段を設けてもかまわない。前処理器１８０は複数のフレームから背景画像を求めるのに、各画素について平均値を求めて背景画素の値とするように動作してもかまわないし、全てのフレームから全く動きがない画素について背景画素とすることも可能である。
【００９２】
また、第１の実施例においては、背景画素置換器１２８を分離させて動作させたが、メモリ読み出し後に対象を含むブロック毎に置換処理を行ってもよい。
【００９３】
＜第２の実施例＞
図１１は本発明にかかる第２の実施例の動画像通信装置の構成を示すブロック図である。尚、図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００９４】
図１１において、２０１は動画像を入力するためのビデオカメラであり、カメラの向いている方向を検出する機能がついたものである。これはモータ等で雲台を駆動させて方向を変化させるカメラで代用することが出来る。
【００９５】
２０２は本発明に係る動画像符号化装置、２０３はビデオカメラ２０１から動画像のアナログ信号を入力する端子、２０４はカメラの方向情報を入力する端子、２０５は背景抽出器、２０６は抽出された対象に動き補償を用いた符号化を行う動画像符号化部、２０７は符号長制御部、２０９は外部の通信回線と接続している通信インターフェース、２０８は通信インターフェース２０９に接続されている通信回線の容量（伝送ビットレート）を入力する端子である。
【００９６】
上述のように構成された装置の動作を説明する。
【００９７】
まず、ビデオカメラ２０１は初期状態で図２に示すように対象となる人が写っていない画像を入力する。ビデオカメラ２０１から端子２０３を介してＡ／Ｄ変換器１０４でディジタル信号に変換し、背景抽出器２０５に供給する。
【００９８】
背景抽出器２０５は動作せずに入力データをそのまま背景メモリ１０５に格納する。また、背景メモリ１０５に背景画像が入力されたら、静止画像符号化部１０６は背景画像をJPEG-LS符号化方式で劣化のない可逆な符号化で符号を生成し、符号合成部１１２に供給する。尚、第１の実施例と同様に静止画像符号化部１０６の符号化方式は同じ機能を果たすものであればよい。
【００９９】
符号合成部１１２は端子１１３を介して通信インターフェース２０８により背景符号化データを外部へ送出する。
【０１００】
また、端子２０９を介して通信回線の容量Ｎｏが符号長制御部２０７へ供給されている。回線容量Ｎｏが符号化時の目標符号長になる。符号長制御部２０７で通信回線容量ＮｏとフレームレートＦからフレーム毎の符号化レートＲｆを下式にしたがって算出する。
【０１０１】
Ｒｆ ＝ Ｎｏ／Ｆ … （３）
【０１０２】
次に、対象がビデオカメラ２０１の視野に入った状態から画像の符号化を開始する。この状態では、人物１０５０の位置移動はなく、ビデオカメラ２０１もカメラの向きは固定されている。この時、背景抽出器２０５は動作しない。Ａ／Ｄ変換器１０４、フレームメモリ１０７、対象抽出器１０８、対象メモリ１０９は第１の実施例と同様の動作を行う。即ち、対象抽出器１０８から抽出された各対象の矩形に切り出された画像データとその位置の背景／対象判定結果が対象メモリ２０６に格納される。ここで、動画像符号化部２０６はMPEG符号化のようにフレーム内符号化を行うＩ−フレームとフレーム間符号化を行うＰ−フレームに分けられ、１つのＩ−フレームと２つのＰ−フレームを１つの符号化単位とする符号化を行うものとする。つまり、３フレームの符号化データで固定長とする。
【０１０３】
図１２は、動画像符号化部２０６の構成の一例を示す図である。尚、図５と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【０１０４】
図１２において、２２０は静止画像符号化器１０６から背景を符号化した時の符号長Ｌｂを入力する端子、２２４は各フレームの符号長の目標値Ｒｆを入力する端子であり、符号長制御部２０７に接続している。
【０１０５】
２２７は各フレームの目標符号長を決定する符号長割当器、２２５は背景/対象判定符号化器１２２で生成された符号長Ｌｏを各フレームの目標符号長から引いた値を算出する差分器、２２６は差分器２２５で算出された値を格納するラッチ、２２８は差分器、２２９は動き補償器であり、Ｉ−フレームの時は動作せず、値０のマクロブロックを出力する。また、動きベクトルは出力しない。また、Ｐ−フレームの時は動作し、予測マクロブロックを出力する。また、動きベクトルも出力する。
【０１０６】
２３１はフレームのモード毎に量子化値算出する量子化系数算出器、２３３は符号器であり、量子化結果を１次元に整列し、０ラン長と値に対して符号を割り当て、符号長を算出する。尚、Ｐ−フレームの時は動きベクトルも符号化する。
【０１０７】
２３２は逆量子化を行う逆量子化器、２３４は逆ＤＣＴ変換、２３６はメモリである。
【０１０８】
以下、上述のように構成された動画像符号化部２０６の動作を説明する。
【０１０９】
まず、端子２２４を介して各フレームの符号長の目標値Ｒｆを入力する。符号長割当器２２７は目標値Ｒｆから３フレームからなる符号化単位で費やすことの出来る符号長Ｒｆ×３を求め、Ｉ−フレームとＰ−フレームに割り当てる符号長を算出する。ここでは説明を簡略化するためにＩ−フレームとＰ−フレームに割り当てる符号長の比をＩ：Ｐ：Ｐ＝８：１：１とする。
【０１１０】
従って、各フレームの目標値ＲｏはＩ−フレームであれば
Ｒｏ ＝ Ｒｆ×３×８／１０ …（４）
Ｐ−フレームであれば、
Ｒｏ ＝ Ｒｆ×３／１０ …（５）
【０１１１】
第１実施例と同様に、背景／対象判定結果は背景／対象判定符号化器１２２でJBIG符号化され、得られた符号化データは端子１２３を介して符号合成部１１２に出力する。差分器２２５は目標値Ｒｏと符号長Ｌｏとの差分Ｏｏが求める。差分値Ｏｏはラッチ２２６に保持される。
【０１１２】
符号長カウンタ１３４はその内容のＬｔを０にリセットし、量子化係数算出器２３１は各フレームモード毎に、対象画像の矩形の大きさ、差分Ｏｏから、量子化器１３２の量子化係数Ｑの初期値を決定する。
【０１１３】
Ｉ−フレームであれば、第１の実施例と同様に、平均値算出器１２７は対象の平均値ｍを算出する。背景画素置換器１２８は対象の画素の背景／対象判定結果が背景画素である画素の値を平均値ｍに置換し、メモリ１２９に格納する。メモリ１２９に結果が蓄積された後、メモリ１２９からブロック毎に画像が背景／対象判定結果と同期して読み出され、ブロック内に対象画素が含まれているブロックのみが差分器２２８に入力される。この時の動き補償器２２９からの出力は０であり、そのままＤＣＴ変換器１３０で８×８画素のブロック単位でＤＣＴ変換され、その係数は量子化器１３２で量子化係数Ｑに基づく量子化係数で量子化される。量子化結果は符号器２３３で符号を割り当てられ、その長さを符号長カウンタ１３４でＬｔに加算する。
【０１１４】
符号化されるブロックは図６に示すとおりである。対象の矩形内の全画素について符号化されたとき、量子化係数算出器２３１は新たな量子化係数Ｑ’を（２）式にしたがって算出する。第１の実施例と同様に、量子化係数Ｑ’とＱを比較して、最適な量子化係数が求まるまで操作を行う。最適な量子化係数Ｑが求まったら、量子化係数Ｑで量子化し、符号器２３３で符号化して、端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２に入力され、逆量子化され、逆ＤＣＴ変換器２３４で逆ＤＣＴ変換され加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１１５】
次に、Ｐ−フレームであれば、第１の実施例と同様に、背景画素の画素値を平均値ｍで置換した画像をメモリ１２９に格納する。メモリ１２９からブロック毎に画像が背景／対象判定結果と同期して読み出され、ブロック内に対象画素が含まれているブロックのみが差分器２２８に入力される。この時、動き補償器２２９は時間的に直前フレームの対象の画像が格納されているメモリ２３６と入力画像データから動き補償を行い、動きベクトルと予測マクロブロックを出力する。
【０１１６】
差分器２２８はメモリ１２９の出力と予測マクロブロックとの差分を求め、ＤＣＴ変換器１３０で８×８画素のブロック単位にＤＣＴ変換を行い、量子化器１３２で量子化する。
【０１１７】
符号器２３３は、動き補償器２２９で生成された動きベクトルと量子化データを符号化し、端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２に入力され、逆量子化され、逆ＤＣＴ変換器２３４で逆ＤＣＴ変換され加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１１８】
次に、対象が移動した場合について述べる。図２２において、人物１０５０が右に移動した場合、ビデオカメラ２０１はカメラを人１０５０の動きに合わせて右にその方向を変化させる。図１３にその様子を示す。人１０５０が右に移動した時のビデオカメラ２０１の視野は太枠１０５２で表した部分となる。
【０１１９】
視野１０５２にはビデオカメラ２０１の視野に新たな背景画像が含まれる。新たに入ってきた背景画像は図１４に示す部分であり、これはビデオカメラ２０１の方向を検出することでその方向の移動量と過去の移動の方向や移動量から求めることは容易である。
【０１２０】
ビデオカメラ２０１の動きは図１１の端子２０４を介して背景抽出器２０５に入力される。この時の画像は端子２０３を介してＡ／Ｄ変換器１０４でディジタル信号に変換されてフレームメモリ１０７と背景抽出器２０５に入力される。背景抽出器２０５はそのビデオカメラ２０１の方向の移動量と過去の移動の情報から図１４ に示す新たな背景画像を認識し、背景メモリ１０５に格納されている従来の背景画像に付け加えて新たな背景画像とする。
【０１２１】
この時の背景画像の内容を図１５に示す。また、この移動についての情報を背景抽出器２０５に保持しておく。この情報は最初のビデオカメラ２０１による背景画像の入力時に初期化される。
【０１２２】
背景抽出器２０５はこの新たに発生した背景画像の画像データを静止画像符号化部１０６に送り、JPEG-LS符号化方式で符号を生成し、符号合成部１１２に供給する。同時にその符号長Ｌｂは端子２２０を介して符号長割当器２２７に入力される。符号長割当器２２７は、符号化するフレームがＩ−フレームであるときに、符号長Ｌｂが入力されたことで新たな背景画像の発生を検知した場合、Ｉ−フレームとＰ−フレームに割り当てる符号長の比をＩ：Ｐ：Ｐ＝３：１：１と変更する。
【０１２３】
従って、各フレームの目標値ＲｏはＩ−フレームについては
Ｒｏ ＝ Ｒｆ×３×６／１０ …（６）
Ｐ−フレームについては、
Ｒｏ ＝ Ｒｆ×３×２／１０ …（７）
となる。尚、符号化するフレームがＰ−フレームであるときに、新たな背景画像の発生を検知した場合は符号長の割当の変更は行わない。また、Ｉ−フレームの符号化を行う場合に新たな背景画像の発生がなければ符号長の比を８：１：１に戻す。
【０１２４】
更に、符号長割当器２２７は、各フレームで、新たな背景画像が生じた場合は目標値Ｒｏから発生した符号長Ｌｂを引いたものをそのフレームの目標値Ｒｏ’として更新する。
【０１２５】
Ｒｏ’ ＝ Ｒｏ−Ｌｂ …（８）
【０１２６】
以下の処理は、新たな背景の発生がない場合と同様に、背景／対象判定結果は背景／対象判定符号化器１２２でJBIG符号化され、得られた符号は端子１２３を介して符号合成部１１２に出力する。
【０１２７】
目標値Ｒｏと符号長Ｌｏとの差分Ｏｏはラッチ２２６に保持される。量子化係数算出器２３１が各フレームモード毎に、最適な量子化係数Ｑを決定する。背景画素の画素値を平均値ｍで置換した画像をメモリ１２９に格納する。
【０１２８】
Ｉ−フレームであれば、ブロック内に対象画素が含まれているブロックのみをＤＣＴ変換し、量子化係数Ｑに基づく量子化係数で量子化し、符号器２３３で符号化して端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２により逆量子化され、逆ＤＣＴ変換器２３４により逆ＤＣＴ変換されて加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１２９】
また、Ｐ−フレームであれば、動き補償器２２９は時間的に直前フレームの対象の画像が格納されているメモリ２３６と入力画像データから動き補償を行い、動きベクトルと予測マクロブロックを出力し、メモリ１２９の出力と予測マクロブロックとの差分を求め、差分に対してＤＣＴ変換を行い、量子化する。符号器２３３は、動きベクトルと量子化データを符号化し、端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２により逆量子化され、逆ＤＣＴ変換器２３４により逆ＤＣＴ変換されて加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１３０】
図１１に戻り、上述のようにして動画像符号化部２０６で符号化して得られた符号化データは符号合成部１１２に入力され、各部で生成された符号化データを合成して１つの符号化データを生成する。
【０１３１】
符号合成器１１２から出力される符号化データの例を図１６に示す。
【０１３２】
符号合成部１１２は動画像のシーケンスを伝送する前に、予め最初の背景画像の符号化データを別途伝送する。これは図２の内容を符号化したものである。符号合成器１１２で生成される符号化データは、先頭に背景画像の符号化データであることを表すスタートコード、続いて、背景画像の大きさ等の情報を持つ背景画像ヘッダ、最後にJPEG-LS符号化された符号化データが続く。
【０１３３】
次に、対象の符号化データの生成を行っていく。先頭に対象画像の符号化データであることを表すスタートコード、続いて、各対象の第１フレームの符号化データが続く。
【０１３４】
各フレームの符号化データでは、フレーム単位の符号化データに背景画像の符号化データの有無を表す符号、対象抽出器１０８から出力された対象の大きさを表す符号、対象の背景画像の中での位置を表す符号、フレームの符号化モード（ＩまたはＰ）を含むフレームヘッダが先頭に格納される。
【０１３５】
背景画像が含まれていない場合、フレームヘッダには背景画像が含まれていないことを表す符号が入っている。その他は第１の実施例と同様に、背景／対象判定符号化器１２２で生成された背景／対象判定結果の符号と対象画像の符号化データが生成される。
【０１３６】
背景画像が含まれる場合（図１６中の第Ｎフレーム）、フレームヘッダには背景画像が含まれていることを表す符号が入っている。続いて、付け加えられる背景画像の大きさ、元の背景に対する位置等の情報を含む背景画像ヘッダと背景画像の符号化データが生成される。その後に背景／対象判定結果の符号と対象画像の符号化データが生成される。対象が複数ある場合も第１の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。
【０１３７】
符号合成部１１２で生成された符号化データは端子１１３を介して通信インターフェース２０８により外部へ送出される。
【０１３８】
復号処理については第１の実施例と同様であるが、符号分離部１５３が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部１５４が背景画像を生成し、ヘッダ情報にしたがって背景メモリに書き込めばよい。
【０１３９】
以上説明したように、第２の実施例によれば、広い背景画像に対して、必要に応じて背景画像を付け加えを行うことができ、符号化の効率を改善することが可能になる。特に、伝送においては最初から広い画像を送らなくてすむので動画像の符号化を開始するまでの遅延を低減することも可能となる。さらに、背景画像の付け加えを行う際に符号長のレートの変換を行うようにすることで背景画像の符号化による一時的な画質の劣化を押さえることも可能になる。
【０１４０】
尚、第２の実施例においては、最初に伝送する背景画像としてビデオカメラ２０１の視野の大きさのものを伝送したが、予め視野外の背景領域を含めた領域を符号化し、最初の視野の位置を背景画像ヘッダに書き込んでももちろんかまわない。これによって比較的頻度が高そうな背景を予め送っておき、最初に想定していないような位置にビデオカメラ２０１が向いた時のみ背景画像の追加を行うことも可能である。
【０１４１】
更に、第２の本実施例においては、新たな背景の生成のＩ，Ｐのいずれのフレームからでも可能としたが、たとえばビデオカメラ２０１の向きを変える場合は動画像符号化装置２０２の符号化モードと同期を取って動作させることによって符号長のレートの変換を必ず行うようにすることは簡単に実現でき、これによって背景画像の符号化による一時的な画質の劣化を最小限に押さえることも可能になる。
【０１４２】
また、第２の実施例においては、動画像符号化でＩ，Ｐのフレームモードを使用したが、ＭＰＥＧ符号化のようにＢモードを利用することには全く問題はなく、さらには全てをフレーム内符号化するような符号化であってもかまわない。
【０１４３】
また、第２の本実施例においては、ビデオカメラ２０１からカメラの向きの変化を捉えて背景画像の付け加えを行ったが、これに限定されない。背景画像の付け加える部分を自動的に抽出してももちろんかまわなし、予め全ての背景画像をメモリに蓄積しておいてもかまわない。
【０１４４】
＜第３の実施例＞
図１７は、本発明にかかる第３の実施例の動画像通信装置の構成を示すブロック図である。なお、図１１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【０１４５】
図１７において、３００は本発明に係るところの動画像符号化装置、３０１及び３０２は背景画像を格納する背景メモリであり、背景メモリ３０１は背景画像の全てを、背景メモリ３０２はその一部を格納する。
【０１４６】
以下、上述のように構成された装置の動作を説明する。
【０１４７】
ビデオカメラ２０１は初期状態で図１８に示すように、対象となる人が写っていない状態で、ビデオカメラ２０１が動作可能な範囲の全視野の背景画像を入力する。ビデオカメラ２０１から端子２０３を介してＡ／Ｄ変換器１０４でディジタル信号に変換し、ビデオカメラ２０１の方向から算出される背景画像中の位置をアドレスとして背景メモリ３０１に格納する。動作可能な範囲の全視野の背景画像を背景メモリ３０１に格納し終わったら、符号化の動作を開始する。
【０１４８】
まず、第２の実施例と同様に最初に初期状態の背景画像を伝送する。これは図１８では太枠で囲んだ視野領域３５０である。これを静止画像符号化部１０６で符号化し、符号合成部１１２、端子１１３を介して通信インターフェース２０８によって外部へ送出される。視野領域３５０のデータは背景メモリ３０２に格納され、対象の抽出に用いられる。
【０１４９】
次に、対象を含む符号化を行う。最初に、符号長制御部２０７で通信回線の容量ＮｏとフレームレートＦからフレーム毎の符号化レートＲｆを（３）式にしたがって算出する。対象がビデオカメラ２０１の視野に入った状態（図２２）から画像の符号化を開始する。この状態では、人物１０５０の位置移動はなく、ビデオカメラ２０１もカメラの向きは固定されている。Ａ／Ｄ変換器１０４、フレームメモリ１０７、対象抽出器１０８、対象メモリ１０９は第２の実施例と同様の動作を行う。即ち、背景メモリ３０２を参照して対象抽出器１０８から抽出された各対象の矩形に切り出された画像データとその位置の背景／対象判定結果が対象メモリ２０６に格納される。ここで、動画像符号化部２０６は第２の実施例と同様に１つのＩ−フレームと２つのＰ−フレームを１つの符号化単位とする符号化を行う。つまり、３フレームの符号化データで固定長とする。
【０１５０】
第３の実施例では第２の実施例と異なり、最初は人物の位置移動はないが背景メモリ３０１から動画像の符号化に大きな影響を与えないような符号長で背景画像を細分化した領域を符号化して伝送する。背景メモリ３０１は伝送済みの背景画像以外の領域を領域３５１〜３６０（図１８参照）のように細分化して符号化し、各フレームに付加していく。ただし、送出されていない背景画像の領域にビデオカメラ２０１の視野がかかった場合には第２の実施例と同様にかかった部分を優先する。
【０１５１】
細分化された領域は静止画像符号化部１０６に入力され、符号化データは符号合成部１１２に、符号長Ｌｂが符号長割当器２２７に入力される。符号長割当器２２７ではＩ−フレームとＰ−フレームに割り当てる符号長の比をＩ：Ｐ：Ｐ＝１４：３：３とする。第２の実施例と同様に背景／対象判定結果を背景／対象判定符号化器１２２でJBIG符号化し、ラッチ２２６に保持された差分Ｏｏに最適な量子化パラメータＱにしたがって、Ｉ−フレームやＰ−フレームの符号化を行う。
【０１５２】
対象が移動した場合は、ビデオカメラ２０１から方向の変化を検出し、背景メモリ３０２の内容を方向の変化に合わせて必要な対象画像の抽出に必要な背景画像を背景メモリ３０１から読み出して更新する。
【０１５３】
静止画像符号化部１０６と動画像符号化部２０６で符号化して得られた符号化データは符号合成部１１２に入力され、各部で生成された符号を合成して１つの符号化データを生成する。
【０１５４】
符号合成器１１２から出力される符号化データの例を図１９に示す。
【０１５５】
第２の実施例と同様に、符号合成部１１２は動画像のシーケンスを伝送する前に、予め最初の背景画像の符号化データを別途伝送する。これは図１８の視野領域３５０の内容を符号化したものである。符号合成器１１２で生成される符号化データは、先頭に背景画像の符号化データであることを表すスタートコード、続いて、背景画像の大きさ等の情報を持つ背景画像ヘッダ、最後にJPEG-LS符号化された符号化データが続く。
【０１５６】
次に、符号合成部１１２は対象の符号化データの合成を行っていく。先頭に対象画像の符号化データであることを表すスタートコード、続いて、各対象の第１フレームの符号化データが続く。
【０１５７】
各フレームの符号化データでは、フレームヘッダには背景画像が含まれていることを表す符号、対象抽出器１０８から出力された対象の大きさを表す符号、対象の背景画像の中での位置を表す符号、フレームの符号化モード（ＩまたはＰ）を含むフレームヘッダが先頭に格納される。続いて、付け加えられる背景画像の大きさ、元の背景に対する位置等の情報を含む背景画像ヘッダと背景画像の符号化データが生成される。その後に背景／対象判定結果の符号と対象画像の符号化データが生成される。対象が複数ある場合も第１の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。
【０１５８】
符号合成部１１２によって生成された符号化データは端子１１３を介して通信インターフェース２０８によって外部へ送出される。
【０１５９】
尚、復号動作については第１の実施例と同様であるが、符号分離部１５３が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部１５４が背景画像を生成し、ヘッダ情報にしたがって背景メモリに書き込めばよい。
【０１６０】
以上説明したように、第３の本実施例によれば、第２の実施例では必要に応じて付け加える部分を伝送していたが、第３の実施例では背景画像を細分化して各フレームに少しずつ付加して送るため、復号側で予め背景画像を用意しておくことが可能となるので、新たな背景が発生した時に一時的に画質が劣化することない効果がある。
【０１６１】
尚、第３の実施例では画像を横方向のみに細分化したが当然、縦方向に細分化してもかまわない。また、背景画像も説明を簡単にするために横方向にのみ広がりがあるように説明したが、もちろんこれに限定されない。また、細分化の数、符号化の順もこれに限定されないことは言うまでもない。
【０１６２】
＜第４の実施例＞
図２０は、本発明にかかる第４の実施例の動画像通信装置の構成を示すブロック図である。尚、図１７と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【０１６３】
図２０において、４００は本発明に係るところの動画像符号化装置、４０１はビデオカメラであり、第２の実施例のビデオカメラ２０１から雲台の機能や方向情報の送出機能を省いたものである。
【０１６４】
４０２、４０５は背景画像を格納する背景メモリ、４０３は静止画像を階層符号化する静止画像符号化部である。静止画像符号化部４０３では最初に粗い画像を生成して符号化し、続いて、解像度を向上させるための符号化データを段階毎に生成する。たとえばJPEG階層符号化であったり、Wavelet変換やＤＣＴ変換等の直交変換のサブバンド符号化であったりする。尚、第４の実施例ではJPEG階層符号化に似た方式で説明する。４０４は静止画像符号化部４０３で符号化された符号化データを階層復号する静止画像復号部である。
【０１６５】
以下、上述のように構成された装置の動作を説明する。
【０１６６】
まず、第１の実施例と同様に符号化に先立ち、ビデオカメラ４０１から背景画像を入力し、背景メモリ４０２に格納する。
【０１６７】
符号化を開始するにあたり、静止画像符号化部４０３は背景メモリ４０２の内容を最初に大きな量子化係数で符号化する。符号化された画像データは符号合成部１１２に入力される。また、静止画像符号化部４０３によって符号化された符号化データは静止画像復号部４０４に入力され、復号され、復号画像は背景メモリ４０５に格納される。
【０１６８】
次に、対象を含む符号化を行う。最初に、符号長制御部２０７でフレーム毎の符号化レートＲｆを（３）式にしたがって算出する。Ａ／Ｄ変換器１０４、フレームメモリ１０７、対象抽出器１０８、対象メモリ１０９は第３の実施例と同様の動作を行い、対象を抽出して対象メモリ１０９にその結果を格納する。
【０１６９】
動画像符号化部２０６は第２の実施例と同様に１つのＩ−フレームと２つのＰ−フレームを１つの符号化単位とする符号化を行う。つまり、３フレームの符号化データで固定長とする。
【０１７０】
第４の実施例では第３の実施例と異なり、静止画像符号化部４０３は、フレーム単位で背景メモリ３０１から動画像の符号化に大きな影響を与えないような符号長で、背景メモリ４０５の内容を参照しつつ解像度を向上させるための階層符号化データを生成する。符号化された画像データは符号合成部１１２に入力され、符号長は動画像符号化部２０６に入力される。動画像符号化部２０６は第２及び３の実施例と同様に対象を符号化する。
【０１７１】
符号合成部１１２は対象の符号化データの合成を行っていく。合成して得られる符号の構造は第３の実施例の図１９に示す符号化データの構造と同じである。しかしながら各背景画像ヘッダと背景画像符号化データの内容が異なる。
【０１７２】
背景画像ヘッダには元の背景に対する位置ではなく、階層の順番を表す階層情報が入っている。背景画像の符号化データも細分化された背景画像の符号化データではなく、解像度を向上させるための階層符号化データである。対象が複数ある場合も第１の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。
【０１７３】
符号合成部１１２によって生成された符号化データは端子１１３を介して通信インターフェース２０８によって外部へ送出される。
【０１７４】
尚、復号処理については第１の実施例と同様であるが、符号分離部１５３が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部１５４が復号済みの背景画像と復号したデータから背景画像を更新すればよい。
【０１７５】
以上説明したように、第４の実施例によれば、最初に粗い画像で背景画像を送ることによって、最初に送る背景画像の伝送による遅延を低減する効果がある。画質を向上させるための階層符号化データは動画像の符号化データに比べて少量なので、動画像自体の符号を大きく割くことはなく、画質に与える影響は小さい。
【０１７６】
また、階層符号の符号長も一定の符号長で送ることが可能なので全体の符号長制御を容易にする効果もある。
【０１７７】
＜その他の実施例＞
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。
【０１７８】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０１７９】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１８０】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０１８１】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１８２】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０１８３】
【発明の効果】
以上の説明から明らかなように、本発明では、動画像から背景画像と対象画像を分離して所望する符号長で符号化することができる。また、対象画像の動きが大きい時に、動きのない背景画像の画質の低下を防ぐことができる。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施例の動画像符号化装置の構成を示すブロック図である。
【図２】本発明にかかる本実施例の背景画像の一例を表す図である。
【図３】本発明にかかる本実施例の対象画像の一例を表す図である。
【図４】本発明にかかる本実施例の対象の背景／対象判定結果の一例を表す図である。
【図５】本発明にかかる第１の実施例の動画像符号化部１１０の構成を示すブロック図である。
【図６】本発明にかかる第１の実施例における対象の符号化の状態を説明するための図である。
【図７】本発明にかかる第１の実施例における符号化データの構成の一例を表す図である。
【図８】本発明にかかる第１の実施例における符号化データの構成の別な例を表す図である。
【図９】本発明にかかる第１の実施例としての動画像復号化装置の構成を示すブロック図である。
【図１０】本発明にかかる第１の実施例の動画像符号化装置の別な構成を示すブロック図である。
【図１１】本発明にかかる第２の実施例の動画像通信装置の構成を示すブロック図である。
【図１２】本発明にかかる第２の実施例の動画像符号化部２０６の構成を示すブロック図である。
【図１３】本発明にかかる実施例における画像の全体を表す図である。
【図１４】本発明にかかる第２の実施例における背景画像の発生の様子を表す図である。
【図１５】本発明にかかる第２の実施例における背景画像の合成の様子を表す図である。
【図１６】本発明にかかる第３の実施例における符号化データの構成の一例を表す図である。
【図１７】本発明にかかる第３の実施例としての動画像通信装置の構成を示すブロック図である。
【図１８】本発明にかかる第３の実施例における背景画像の分割の様子を表す図である。
【図１９】本発明にかかる第３の実施例における符号化データの構成の一例を表す図である。
【図２０】本発明にかかる第４の実施例としての動画像通信装置の構成を示すブロック図である。
【図２１】従来の動画像符号化装置の構成を示すブロック図である。
【図２２】符号化する画像の内容を表す図である。
【発明の属する技術分野】
本発明は、画像符号化装置及び方法、画像復号化装置及び方法、画像符号化処理プログラムが記録されたコンピュータ可読記録媒体及び画像復号化処理プログラムが記録されたコンピュータ可読記録媒体に関するものである。
【０００２】
【従来の技術】
従来、動画像の符号化方式として、H.261、MPEG-1、MPEG-2などが知られている。これらの符号化方式はＩＴＵ（International Telecommunication Union：国際電気通信連合）やＩＳＯ(International Organization for Standardization：国際標準化機構)によって国際標準化されており、それぞれ、H.264勧告、ＩＳＯ１１１７２、１３８１８として文書化されている。また、静止画符号化（例えば、JPEG（Joint Photographic Coding Experts Group）符号化）を各フレームに適応させることで符号化するMotion JPEG符号化も知られている。
【０００３】
以下、図２１を用いて、ビデオ信号をMPEG-1で符号化する符号化システムについて説明する。
【０００４】
図２１において、ＴＶカメラ１００１により供給されたビデオ信号は、入力端子１００３によって動画像符号化装置１００２に入力される。
【０００５】
入力端子１００３から入力されたビデオ信号は、Ａ／Ｄ変換器１００４によってディジタル信号に変換され、ブロック形成器１００５に入力される。
【０００６】
ブロック形成器１００５では、１６×１６画素で構成されるマクロブロックを画像の左上から右下方向の順に形成する。
【０００７】
MPEG-1では画像データを３つの符号化モードで符号化することができる。フレーム内符号化を行うＩ−フレームモード（以下、Ｉ―フレーム）、過去のフレームからフレーム間符号化を行うＰ−フレームモード（以下、Ｐ―フレーム）、過去と未来のフレームからフレーム間符号化を行うＢ−フレームモード（以下、Ｂ―フレーム）とがある。
【０００８】
上記したフレームのモード決定はフレームモード器１０１７によって行われる。フレームモードは符号化のビットレート、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）の演算誤差の蓄積による画質劣化の防止、画像の編集やシーンチェンジを考慮して決定される。
【０００９】
まず、Ｉ−フレームの符号化処理について述べる。
【００１０】
Ｉ−フレームでは動き補償器１００６は作動せず、動き補償器１００６からは“０”を出力する。差分器１００７ではブロック形成器１００５の出力から動き補償器１００６からの出力を引き、ＤＣＴ変換器１００８へ供給する。
【００１１】
ＤＣＴ変換器１００８では、差分器１００７から供給された差分データを８×８画素のブロック単位にＤＣＴ変換を行い、量子化器１００９へ供給する。
【００１２】
量子化器１００９ではＤＣＴ変換器１００８によって変換された変換データを量子化し、符号化器１０１０へ供給する。
【００１３】
符号化器１０１０では量子化器１００９によって量子化された量子化データを１次元に並び替え、０ラン長と値で符号を決定し、その符号化データを出力端子１０１１へ供給し出力される。
【００１４】
また、量子化器１００９によって量子化された量子化データは、逆量子化器１０１２にも供給される。逆量子化器１０１２は、供給された量子化データを逆量子化して逆ＤＣＴ変換器１０１３に供給する。逆ＤＣＴ変換器１０１３では逆量子化されたデータを逆ＤＣＴ変換して加算器１０１４に供給する。加算器１０１４では、動き補償器１００６の出力“０”と逆ＤＣＴ変換器１０１３の出力とが加算され、フレームメモリ１０１５又は１０１６に記憶される。
【００１５】
次に、Ｐ−フレームの符号化処理について述べる。
【００１６】
Ｐ−フレームでは動き補償器１００６を作動させ、ブロック形成器１００５の出力は動き補償器１００６に入力され、フレームメモリ１０１５又は１０１６から時間的に直前のフレームの画像も動き補償器１００６に入力され、動き補償器１００６では入力された画像データを用いて動き補償を行い動きベクトルと予測マクロブロックを出力する。
【００１７】
差分器１００７は、ブロック形成器１００５からの出力と予測マクロブロックとの差分を求め、ＤＣＴ変換し、量子化して符号器１０１０で動きベクトルとともに符号を決定し端子１０１１から出力される。
【００１８】
また、量子化器１００９によって量子化された量子化データは逆量子化器１０１２にも供給される。逆量子化器１０１２では供給された量子化データを逆量子化して逆ＤＣＴ変換器１０１３に供給する。逆ＤＣＴ変換器１０１３では逆量子化されたデータを逆ＤＣＴ変換して加算器１０１４に供給する。加算器１０１４では逆ＤＣＴ変換器１０１３からの出力と動き補償器１００６から出力される予測マクロブロックデータとが加算され、フレームメモリ１０１５又は１０１６に記憶される。
【００１９】
次に、Ｂ−フレームの符号化処理について述べる。
【００２０】
Ｂ―フレームではＰ―フレームと同様に動き補償を行うが、動き補償器１００６はフレームメモリ１０１５及び１０１６の両方から動き補償を行い、予測マクロブロックを生成し、符号化を行う。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述したような画像全体を符号化する方法では、動きの無い背景部分等を繰り返して送る必要があり、符号長を無駄に使用している。例えば、テレビ電話やテレビ会議等での画像では実際に動いているのは人物だけであり、背景は動いていない。一定の時間毎に送られるＩ−フレームでは動いていない背景画像も送られており、無駄な符号（背景画像の符号データ）が生じている。
【００２２】
図２２にテレビ会議等の画像の一例を示す。
【００２３】
図２２は部屋で人物がテレビカメラに向かっている図である。人物１０５０と背景１０５１は同じフレーム内で同じ符号化方法により符号化されている。
【００２４】
背景１０５１には動きはないため、動き補償を行えば符号はほとんど発生しないが、Ｉ−フレームでは多大な符号が発生する。
【００２５】
このため、動きがない部分に関しても多大な符号化データを繰り返し送ることになり、無駄である。また、人物１０５０の動きが大きく、符号化で大きな符号量を発生した後のＩ−フレームによる符号化処理では十分な符号量が得られず、量子化係数を荒くする必要が生じ、動きのない背景の画質まで低下させてしまうという欠点を持っている。尚、上記した人物１０５０のように動きがある物体を以下では対象と呼ぶ。
【００２６】
従って、本発明は前記課題を考慮して符号化効率の高い画像符号化装置及び方法並びに画像符号化プログラムが記録されたコンピュータ可読記録媒体、及びその符号化データを復号化するための画像復号化装置及び方法並びに画像復号化プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。
【００２７】
【課題を解決するための手段】
本発明の画像符号化装置は、動画像を形成する複数のフレームを入力する入力手段と、前記入力手段によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離手段と、前記分離手段によって分離された背景画像を第一の符号化方法で符号化する第一の符号化手段と、前記分離手段によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化手段と、前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化手段で符号化される前記複数の対象画像の目標符号量を制御する制御手段とを有し、前記第２の符号化手段は量子化手段を含み、前記第２の符号化手段は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする。
【００２８】
本発明の画像符号化方法は、動画像を形成する複数のフレームを入力する入力工程と、前記入力工程によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離工程と、前記分離工程によって分離された背景画像を第一の符号化方法で符号化する第一の符号化工程と、前記分離工程によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化工程と、前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化工程で符号化される前記複数の対象画像の目標符号量を制御する制御工程とを有し、前記第２の符号化工程は量子化工程を含み、前記第２の符号化工程は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする。
【００２９】
本発明の画像符号化プログラムが記録されたコンピュータ可読記録媒体は、動画像を形成する複数のフレームを入力する入力手順と、前記入力手順によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離手順と、前記分離手順によって分離された背景画像を第一の符号化方法で符号化する第一の符号化手順と、前記分離手順によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化手順と、前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化手順で符号化される前記複数の対象画像の目標符号量を制御する制御手順とを記録し、前記第２の符号化手順は量子化手順を含み、前記第２の符号化手順は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする。
【００４５】
【発明の実施の形態】
＜第１の実施例＞
以下、図面を参照しながら本発明の好適な実施形態を詳細に説明する。
【００４６】
図１は、本発明にかかる第１の実施例の動画像符号化装置の構成を示すブロック図である。尚、本実施例では、動画像の入力手段としてＶＴＲを用い、ＣＤ−ＲＯＭに符号化データを書き込むシステムの場合について説明する。
【００４７】
図１において、１０１は動画像シーケンスを蓄積してあるビデオテープレコーダ（ＶＴＲ）である。尚、ＶＴＲ１０１は動画像の入力手段であってＴＶカメラや他の記憶媒体等の動画像入力手段でもよい。
【００４８】
１０２は本発明に係るところの動画像符号化装置である。１０３はＶＴＲから出力される動画像のアナログ画像信号を入力する入力端子、１０４はアナログ画像信号をディジタル画像信号に変換するＡ／Ｄ変換器、１０５は画像の背景画像を格納する背景メモリである。
【００４９】
１０６は背景画像を静止画像の符号化方式で符号化する静止画像符号化部である。静止画像符号化部１０６で使用される符号化方式は、本実施例ではJPEG符号化方式を用いている。尚、静止画像符号化部１０６で使用する符号化方式はこれに限定されず、Wavelet符号化やDPCM符号化、ベクトル量子化等の静止画像を符号化する方式等も適用できる。また、画像のＩ−フレームの符号化方式を用いてももちろんかまわない。
【００５０】
１０７はフレームメモリであり、１画面分の画像データを格納する。１０８は背景メモリ１０５とフレームメモリ１０８から符号化する対象を抽出する対象抽出器、１０９は抽出された対象を格納する対象メモリ、１１０は抽出された対象に動き補償を用いない符号化を行う動画像符号化部、１１１は静止画像符号化部１０６と動画像符号化部１１０で生成される符号の符号長を入力し、発生する符号長の制御を行う符号長制御部、１１２は静止画像符号化部１０６と動画像符号化部１１０で生成される符号化データを合成して１つの符号化データを生成する符号合成部、１１３は符号合成部１１２によって生成された符号化データを出力する出力端子、１１４は符号化データをＣＤ−ＲＯＭに記録するＣＤ−ＲＯＭ書き込み装置、１１５はＶＴＲ１０１に格納されている動画像シーケンスの長さ等の情報を入力する端子、１１６はＣＤ−ＲＯＭの記憶可能容量等の情報を入力する端子、１１７はユーザーが所望するフレームレートを入力するためのフレームレート入力部である。
【００５１】
以下、上述のように構成された装置の動作を説明する。
【００５２】
まず、ＶＴＲ１０１の動画像シーケンスにおいては先頭に対象が全く写っていないフレームが入っているものとする。
【００５３】
ＶＴＲ１０１から入力端子１１５を介して符号化する動画像シーケンスの長さ（時間）Ｔｓを入力し、符号長制御部１１１に入力する。また、ＣＤ−ＲＯＭ書き込み装置１１４からはＣＤ−ＲＯＭの空き容量Ｃｃを入力する。この空き容量Ｃｃが符号化時の目標符号長になる。
【００５４】
次に、ＶＴＲ１０１から対象が写っていないフレームの画像データ（つまり、背景画像のみ写っている）を、入力端子１０３を介して入力し、Ａ／Ｄ変換器１０４でディジタル信号に変換し、背景メモリ１０５に格納する。図２２の画像に対して図２に示す画像が背景画像であったとする。この画像が背景メモリ１０５に格納される。
【００５５】
背景メモリ１０５に背景画像が入力されたら、静止画像符号化部１０６は背景画像をJPEG符号化方式で比較的細かな量子化ステップで符号化し、符号合成部１１２に供給する。また、この時発生した符号長Ｌｂを符号長制御部１１１へ供給する。符号長制御部１１１で動画像シーケンスの長さＴｓ、空き容量Ｃｃ、背景画像の符号長Ｌｂから動画像シーケンスの符号化レートＲｏを下式に従って算出する。
【００５６】
Ｒｏ ＝（Ｃｃ−Ｌｂ）／Ｔｓ／Ｆ …（１）
ここで変数Ｆはフレームレート入力部１１７によって入力された動画像のフレームレートである。つまり、フレームレート入力部１１７によりフレームレートを可変に設定することができる。従って、符号化レートＲｏは１枚のフレームに費やすことのできる符号長を表している。
【００５７】
次に、対象が含まれるフレームをＶＴＲ１０１から時間順にフレームの画像データを入力する。入力端子１０３を介して入力されたアナログ信号はＡ／Ｄ変換器１０４でディジタル信号に変換され、フレームメモリ１０７に入力される。フレームメモリ１０７に１画面分の画像データが蓄積されたら、対象抽出器１０８はフレームメモリ１０７と背景メモリ１０５の画像データから対象を抽出する。つまり、対象抽出器１０８は画像中に含まれる複数種のオブジェクト（背景、人物）を分離していることになる。
【００５８】
対象の抽出の一つとして以下の方法が考えられる。例えば、フレームメモリ１０７及び背景メモリ１０５に記憶された画像データを同期して読み出し、その画像データ同士の画素差分を求める。画素差分が閾値以下であれば背景に含まれる画素とし０そうでなければ対象に含まれる画素とする。画面１面分の閾値比較が終了したら、複数の対象に含まれる画素の固まりを対象の候補とする。以前に対象の抽出を行っている場合は、対象メモリ１０９に格納されている各対象の画像データと比較し、もっとも類似度の高いものを同じ対象とする。類似度は、対象の位置、大きさ、濃度（輝度）平均等を考慮して決定すればよい。また、複数画素で構成されたブロックにより動きベクトルを検出し、その動きベクトルが同じような動きをしている固まりは同一のオブジェクトであると判断するようにしてもよい。
【００５９】
対象が特定できたら、その位置や大きさといった情報を符号化し、符号合成部１１２に供給する。抽出された対象は矩形に切り出された画像データとその位置の背景画素／対象画素を表す閾値比較結果（以下、背景／対象判定結果と称す）を対象メモリ１０９に格納する。図２２を例にとれば図３の対象を含む矩形が切り出され、図４の背景／対象判定結果とともに格納される。これらの情報は動画像符号化部１１０に供給される。
【００６０】
図５は、動画像符号化部１１０の構成の一例を示す図である。尚、動画像符号化部１１０では説明を簡単にするためにフレーム単位で固定長の符号化をする符号化方式を例にとって説明する。
【００６１】
図５において、１２０は図１の対象メモリ１０９から符号化する対象の矩形の画像データを入力する端子、１２１はその背景／対象判定結果を入力する端子、１２２は入力された背景／対象判定結果を符号化する背景／対象判定符号化器である。符号化方式はたとえば２値符号化である、JBIG符号化方式を用いればよい。また、MMR符号化方式や同じような符号化であれば問題はない。
【００６２】
１２３は背景／対象判定符号化器１２２で生成された符号化データを外部に送出する端子であり、符号合成部１１２に接続している。１２４は各フレームの符号長の目標値Ｒｏを入力する端子であり、符号長制御部１１１に接続している。
【００６３】
１２５は背景／対象判定符号化器１２２で生成された符号長Ｌｏを目標値Ｒｏから引いた値を算出する差分器、１２６は差分器１２５の出力値を格納するラッチ、１２７は対象の画像データの平均値ｍを求める平均値算出器、１２８は切り出された矩形の中の背景を表す画素の値を平均値ｍに置換する背景画素置換器、１２９は背景画素置換器１２８の出力データを格納するメモリ、１３０はメモリ１２９をブロック分割し、ＤＣＴ変換を行うＤＣＴ変換器である。
【００６４】
１３１は量子化系数算出器、１３２は量子化係数算出器１３１によって算出された量子化値によってＤＣＴ変換器１３０の出力を量子化する量子化器である。量子化はJPEG符号化やMPEG符号化で用いられているのと同様であり、ＤＣＴ係数に対応する量子化マトリックスに量子化係数Ｑを積算したもので量子化する。
【００６５】
１３３は量子化結果を１次元に整列し、０ラン長と値に対して符号を割り当て、符号長を算出する符号器、１３５は生成された符号化データを最終的に出力する端子、１３４は算出された符号長をカウントする符号長カウンタ、１３６は対象の大きさの情報を対象抽出器１０８から入力する端子である。
【００６６】
以下、上述のように構成された動画像符号化部１１０の動作を説明する。
【００６７】
あるフレームの対象の画像データを符号化するに先立ち、端子１２１から背景／対象判定結果を入力し、背景／対象判定符号化器１２２でJBIG符号化を行う。得られた符号化データは端子１２３を介して符号合成部１１２へ供給される。
【００６８】
また、背景／対象判定符号化器１２２で符号化された符号化データの符号長Ｌｏは差分器１２５に入力され、目標値Ｒｏとの差分Ｏｏが求められる。その差分値Ｏｏはラッチ１２６に保持される。
【００６９】
符号長カウンタ１３４はその内容のＬｔを０にリセットし、量子化係数算出器１３１は対象画像の矩形の大きさ、矩形の符号長の目標値である差分Ｏｏから量子化器１３２の量子化係数Ｑの初期値を決定する。これは過去の経験からある程度決められるものであり、矩形のサイズが大きければ同じ符号長にするためには量子化係数が大きくなる傾向があり、これを鑑みて初期値を算出する。
【００７０】
対象の画像データを端子１２０から、端子１２１から背景／対象判定結果を同期して読み込む。平均値算出器１２７は入力された画素の背景／対象判定結果が対象画素を表していればその内容を加算し、対象画素の数Ｎをカウントアップする。尚、背景画素を表す場合、この処理は行わない。
【００７１】
対象の画像データのすべてについて判定と加算、カウントアップが終了したら、その加算値を対象画素の数Ｎで割って、対象の平均値ｍを算出する対象の画像データのすべてについて判定と加算、カウントアップが終了したら、その加算値を対象画素の数Ｎで割って、対象の平均値ｍを算出する。次に、背景画素置換器１２８は対象の画像データと背景／対象判定結果を同期して読み込み、入力された画素の背景／対象判定結果が背景画素を表していれば平均値ｍを出力し、そうでなければ入力された画素値をそのまま出力する。この出力はメモリ１２９に格納される。
【００７２】
対象の矩形内の全画素について処理がされ、メモリ１２９にその結果が蓄積された後、メモリ１２９からブロック毎に画像が読み出される。同期して背景／対象判定結果が読み出され、ブロック内に対象画素が含まれているブロックのみがＤＣＴ変換器１３０でＤＣＴ変換され、その係数は量子化器１３２で量子化係数Ｑに基づく量子化係数で量子化される。量子化結果は符号器１３３で符号を割り当てられ、その長さを符号長カウンタ１３４でＬｔに加算する。
【００７３】
図６に上述した処理の様子を表す。図６で濃い網点がかかったブロックは符号化されず、対象を含むブロックのみが符号化される。そのうち、背景画素を含むもののみについて、背景画素は平均値ｍで置き換えられている（図６中の薄い網点部）。対象の矩形内の全画素について符号化されたとき、量子化係数算出器１３１はラッチ１２６の内容と符号長カウンタ１３４の内容Ｌｔとを比較し、新たな量子化係数Ｑ’を次式で算出する。
【００７４】
If （Ｌｔ＜Ｏｏ） Ｑ’＝Ｑ−１
Else if （Ｌｔ＞Ｏｏ）Ｑ’＝Ｑ＋１ …（２）
Else Ｑ’＝Ｑ
【００７５】
Ｑ’がＱと等しければ量子化係数Ｑ’が最適な量子化係数であり、メモリ１２９から符号化の対象となるブロックを順に読み出し、ＤＣＴ変換後、量子化器１３２で量子化係数Ｑ’によって量子化され、符号器１３３で符号化され、端子１３５から出力される。この時の量子化係数Ｑ’は、符号化した次フレームの量子化係数Ｑの初期値とするため、これを対象毎に保持しておく。Ｑ’がＱと等しくなければＱ’を過去の量子化係数Ｑｏと比較し、Ｑ’がＱｏと等しければ量子化係数Ｑ’が最適な量子化係数とされ、上記と同様に対象画像を符号化して端子１３５から出力し、量子化係数Ｑを保持する。Ｑ’がＱｏと等しくなければ量子化係数Ｑを過去の量子化係数Ｑｏとして保持する。上述の処理を繰り返し、最適な量子化係数が求まるまで繰り返す。
【００７６】
上述したような動作により動画像符号化部１１０で符号化された符号化データは符号合成部１１２に入力され、各部で生成された符号化データを合成して１つの符号化データを生成する。
【００７７】
図２２の画像について符号合成器１１２から出力される符号化データの例を図７に示す。図２２の画像には対象が１つなので、符号合成部１１２では符号化データの先頭に対象が１つであることを含めたシーケンスヘッダが備わり。次に、静止画像符号化部１０６から出力された背景画像の符号化データエリアが備わる。その後には各対象の各フレーム単位の符号化データエリアが続く。本実施例では人物１０５０の第１フレームから第（Ｔｓ×Ｆ）フレームの符号化データが含まれる。
【００７８】
各フレームの符号化データでは、対象抽出器１０８から出力された対象の大きさを表す符号化データと対象の背景画像の中での位置を表す符号化データを含むフレームヘッダが先頭に格納される。続いて、図５中の動画像符号化部１１０の背景／対象判定符号化器１２２で生成された背景／対象判定結果の符号化データが格納される。最後に、図５中の符号器１３３で生成された対象画像の符号化データが格納される。生成された符号化データは端子１１３を介してＣＤ−ＲＯＭ書き込み装置１１４でＣＤ−ＲＯＭに書き込まれていく。
【００７９】
尚、対象が複数ある場合は、対象の符号化時に、目標値Ｒｏを各対象に分配する。分配の方法としてはたとえば、各対象の大きさ（対象の画素数、矩形の大きさ等）の比によって分配すればよい。図８に示すようにシーケンス内に含まれるオブジェクトの数をシーケンスヘッダに書き込み、背景画像につづいて、フレーム単位で、抽出された複数の対象（対象１、対象２…）の画像符号化データが格納される。すなわち、背景画像符号化データの直後には対象１の第１フレームの符号化データ、対象２の第１フレームの符号化データ…と続き、全対象の第１フレームの符号化データが格納されたら、以下、対象１の第２フレームの符号化データ、対象２の第２フレームの符号化データ…と格納されていく。
【００８０】
図９に第１の実施例で生成された符号化データを復号してモニタに表示するシステムの構成を示す。
【００８１】
図９において、１５０はＣＤ−ＲＯＭ書き込み器１１４で書き込まれた符号化データをＣＤ−ＲＯＭから読み出すＣＤ−ＲＯＭ読み出し器、１５１は動画像復号装置である。
【００８２】
１５２は符号化データを読み込む端子、１５３は符号化データから各符号を分離する符号分離部、１５４は背景画像の画像データを復号する静止画像復号部、１５５は再生された背景画像を格納する背景メモリ、１５６は各対象の符号化データを復号する動画像復号部、１５７は復号化された対象の画像データを格納する対象メモリ、１５６は背景メモリ１５５の内容に各対象の画像データを各対象の位置に合成して最終的な復号画像を得る対象合成器、１５９は対象合成器１５８で生成された画像を格納するフレームメモリ、１６０はフレームメモリ１５９からのディジタル画像信号をアナログ画像信号に変換するＤ／Ａ変換器、１６１は前記アナログ画像信号を外部に出力する端子、１６２は前記アナログ画像信号を表示するモニタである。
【００８３】
以下、上述のように構成された装置における動作を説明する。
【００８４】
ＣＤ−ＲＯＭ読み出し器１５０は符号化データを先頭から逐次読み出し、端子１５２を介して動画像復号装置１５１に供給する。端子１５２を介して入力された符号化データは符号分離部１５３で各ヘッダを解釈し、各符号に分離して後段に出力する。最初にシーケンスヘッダを入力し、オブジェクトの数を検出し、動画像復号部１５６、対象メモリ１５７、対象合成器１５８の各所を初期化する。
【００８５】
続いて、背景画像符号化データを入力し、静止画像復号部１５４に供給する。静止画像復号部１５４は入力された背景画像符号化データをJPEG符号化方式の復号手順に従って、復号し、結果を背景メモリ１５５に格納する。
【００８６】
その後、各対象の各フレーム画像の符号化データを入力する。この符号化データから、対象の位置の符号を復号して、各フレームでの各対象毎に対象合成器１５８に供給する。また、それ以外の符号化データに関しては動画像復号部１５６に供給する。動画像復号部１５６では各対象の符号化データから背景／対象判定結果をJBIG符号化方式の復号手順に従って、復号し、結果を対象メモリ１５７に格納する。
【００８７】
また、対象画像符号化データも逆量子化を経た後、逆ＤＣＴ変換され、画像データに復号化され、背景／対象判定結果を参照して対象メモリ１５７の該当する位置に格納される。
【００８８】
対象合成器１５８は背景メモリ１５５の画像の上に対象メモリ１５７に格納された対象の画像データと背景／対象判定結果を読み出し、背景／対象判定結果が背景画素を表している画素については対象の画素値は使用せず、背景画像の画素値を使用し、対象画素を表している画素については対象の画素値を使用する。復号化された対象は各位置にしたがって配置され、最終的な再生画像を生成し、フレームメモリ１５９に格納する。復号画像は読み出され、Ｄ／Ａ変換器１６０でアナログ画像信号に変換され、端子１６１を介してモニタ１６２に供給し、表示する。
【００８９】
上述のような一連の動作により背景画像と対象画像とを分離し、それぞれについて符号化することで符号化効率を向上させるとともに、背景画像と対象画像、対象画像の画像データと背景／対象判定結果をそれぞれ符号化する際に背景画像の符号長と背景／対象判定結果の符号長を考慮して対象画像の画像データの符号化を制御することで、容易に量子化制御を行うことができる。そして、所望する符号長の符号化データを得ることが可能になる。
【００９０】
尚、第１の実施例においては、動画像符号化部１１０でフレーム単位で固定長の符号化を行う方式を例にとって説明を行ったが、MPEG符号化方式のように複数フレームの符号化結果が一定の符号長に収まるような符号化を行ってもかまわない。
【００９１】
また、第１の実施例においては、背景画像として先頭のフレームを利用したが、同一の効果が得られるのであればその方法はなんでもかまわない。図１０に示すように別途前処理手段を設けてもかまわない。前処理器１８０は複数のフレームから背景画像を求めるのに、各画素について平均値を求めて背景画素の値とするように動作してもかまわないし、全てのフレームから全く動きがない画素について背景画素とすることも可能である。
【００９２】
また、第１の実施例においては、背景画素置換器１２８を分離させて動作させたが、メモリ読み出し後に対象を含むブロック毎に置換処理を行ってもよい。
【００９３】
＜第２の実施例＞
図１１は本発明にかかる第２の実施例の動画像通信装置の構成を示すブロック図である。尚、図１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００９４】
図１１において、２０１は動画像を入力するためのビデオカメラであり、カメラの向いている方向を検出する機能がついたものである。これはモータ等で雲台を駆動させて方向を変化させるカメラで代用することが出来る。
【００９５】
２０２は本発明に係る動画像符号化装置、２０３はビデオカメラ２０１から動画像のアナログ信号を入力する端子、２０４はカメラの方向情報を入力する端子、２０５は背景抽出器、２０６は抽出された対象に動き補償を用いた符号化を行う動画像符号化部、２０７は符号長制御部、２０９は外部の通信回線と接続している通信インターフェース、２０８は通信インターフェース２０９に接続されている通信回線の容量（伝送ビットレート）を入力する端子である。
【００９６】
上述のように構成された装置の動作を説明する。
【００９７】
まず、ビデオカメラ２０１は初期状態で図２に示すように対象となる人が写っていない画像を入力する。ビデオカメラ２０１から端子２０３を介してＡ／Ｄ変換器１０４でディジタル信号に変換し、背景抽出器２０５に供給する。
【００９８】
背景抽出器２０５は動作せずに入力データをそのまま背景メモリ１０５に格納する。また、背景メモリ１０５に背景画像が入力されたら、静止画像符号化部１０６は背景画像をJPEG-LS符号化方式で劣化のない可逆な符号化で符号を生成し、符号合成部１１２に供給する。尚、第１の実施例と同様に静止画像符号化部１０６の符号化方式は同じ機能を果たすものであればよい。
【００９９】
符号合成部１１２は端子１１３を介して通信インターフェース２０８により背景符号化データを外部へ送出する。
【０１００】
また、端子２０９を介して通信回線の容量Ｎｏが符号長制御部２０７へ供給されている。回線容量Ｎｏが符号化時の目標符号長になる。符号長制御部２０７で通信回線容量ＮｏとフレームレートＦからフレーム毎の符号化レートＲｆを下式にしたがって算出する。
【０１０１】
Ｒｆ ＝ Ｎｏ／Ｆ … （３）
【０１０２】
次に、対象がビデオカメラ２０１の視野に入った状態から画像の符号化を開始する。この状態では、人物１０５０の位置移動はなく、ビデオカメラ２０１もカメラの向きは固定されている。この時、背景抽出器２０５は動作しない。Ａ／Ｄ変換器１０４、フレームメモリ１０７、対象抽出器１０８、対象メモリ１０９は第１の実施例と同様の動作を行う。即ち、対象抽出器１０８から抽出された各対象の矩形に切り出された画像データとその位置の背景／対象判定結果が対象メモリ２０６に格納される。ここで、動画像符号化部２０６はMPEG符号化のようにフレーム内符号化を行うＩ−フレームとフレーム間符号化を行うＰ−フレームに分けられ、１つのＩ−フレームと２つのＰ−フレームを１つの符号化単位とする符号化を行うものとする。つまり、３フレームの符号化データで固定長とする。
【０１０３】
図１２は、動画像符号化部２０６の構成の一例を示す図である。尚、図５と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【０１０４】
図１２において、２２０は静止画像符号化器１０６から背景を符号化した時の符号長Ｌｂを入力する端子、２２４は各フレームの符号長の目標値Ｒｆを入力する端子であり、符号長制御部２０７に接続している。
【０１０５】
２２７は各フレームの目標符号長を決定する符号長割当器、２２５は背景/対象判定符号化器１２２で生成された符号長Ｌｏを各フレームの目標符号長から引いた値を算出する差分器、２２６は差分器２２５で算出された値を格納するラッチ、２２８は差分器、２２９は動き補償器であり、Ｉ−フレームの時は動作せず、値０のマクロブロックを出力する。また、動きベクトルは出力しない。また、Ｐ−フレームの時は動作し、予測マクロブロックを出力する。また、動きベクトルも出力する。
【０１０６】
２３１はフレームのモード毎に量子化値算出する量子化系数算出器、２３３は符号器であり、量子化結果を１次元に整列し、０ラン長と値に対して符号を割り当て、符号長を算出する。尚、Ｐ−フレームの時は動きベクトルも符号化する。
【０１０７】
２３２は逆量子化を行う逆量子化器、２３４は逆ＤＣＴ変換、２３６はメモリである。
【０１０８】
以下、上述のように構成された動画像符号化部２０６の動作を説明する。
【０１０９】
まず、端子２２４を介して各フレームの符号長の目標値Ｒｆを入力する。符号長割当器２２７は目標値Ｒｆから３フレームからなる符号化単位で費やすことの出来る符号長Ｒｆ×３を求め、Ｉ−フレームとＰ−フレームに割り当てる符号長を算出する。ここでは説明を簡略化するためにＩ−フレームとＰ−フレームに割り当てる符号長の比をＩ：Ｐ：Ｐ＝８：１：１とする。
【０１１０】
従って、各フレームの目標値ＲｏはＩ−フレームであれば
Ｒｏ ＝ Ｒｆ×３×８／１０ …（４）
Ｐ−フレームであれば、
Ｒｏ ＝ Ｒｆ×３／１０ …（５）
【０１１１】
第１実施例と同様に、背景／対象判定結果は背景／対象判定符号化器１２２でJBIG符号化され、得られた符号化データは端子１２３を介して符号合成部１１２に出力する。差分器２２５は目標値Ｒｏと符号長Ｌｏとの差分Ｏｏが求める。差分値Ｏｏはラッチ２２６に保持される。
【０１１２】
符号長カウンタ１３４はその内容のＬｔを０にリセットし、量子化係数算出器２３１は各フレームモード毎に、対象画像の矩形の大きさ、差分Ｏｏから、量子化器１３２の量子化係数Ｑの初期値を決定する。
【０１１３】
Ｉ−フレームであれば、第１の実施例と同様に、平均値算出器１２７は対象の平均値ｍを算出する。背景画素置換器１２８は対象の画素の背景／対象判定結果が背景画素である画素の値を平均値ｍに置換し、メモリ１２９に格納する。メモリ１２９に結果が蓄積された後、メモリ１２９からブロック毎に画像が背景／対象判定結果と同期して読み出され、ブロック内に対象画素が含まれているブロックのみが差分器２２８に入力される。この時の動き補償器２２９からの出力は０であり、そのままＤＣＴ変換器１３０で８×８画素のブロック単位でＤＣＴ変換され、その係数は量子化器１３２で量子化係数Ｑに基づく量子化係数で量子化される。量子化結果は符号器２３３で符号を割り当てられ、その長さを符号長カウンタ１３４でＬｔに加算する。
【０１１４】
符号化されるブロックは図６に示すとおりである。対象の矩形内の全画素について符号化されたとき、量子化係数算出器２３１は新たな量子化係数Ｑ’を（２）式にしたがって算出する。第１の実施例と同様に、量子化係数Ｑ’とＱを比較して、最適な量子化係数が求まるまで操作を行う。最適な量子化係数Ｑが求まったら、量子化係数Ｑで量子化し、符号器２３３で符号化して、端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２に入力され、逆量子化され、逆ＤＣＴ変換器２３４で逆ＤＣＴ変換され加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１１５】
次に、Ｐ−フレームであれば、第１の実施例と同様に、背景画素の画素値を平均値ｍで置換した画像をメモリ１２９に格納する。メモリ１２９からブロック毎に画像が背景／対象判定結果と同期して読み出され、ブロック内に対象画素が含まれているブロックのみが差分器２２８に入力される。この時、動き補償器２２９は時間的に直前フレームの対象の画像が格納されているメモリ２３６と入力画像データから動き補償を行い、動きベクトルと予測マクロブロックを出力する。
【０１１６】
差分器２２８はメモリ１２９の出力と予測マクロブロックとの差分を求め、ＤＣＴ変換器１３０で８×８画素のブロック単位にＤＣＴ変換を行い、量子化器１３２で量子化する。
【０１１７】
符号器２３３は、動き補償器２２９で生成された動きベクトルと量子化データを符号化し、端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２に入力され、逆量子化され、逆ＤＣＴ変換器２３４で逆ＤＣＴ変換され加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１１８】
次に、対象が移動した場合について述べる。図２２において、人物１０５０が右に移動した場合、ビデオカメラ２０１はカメラを人１０５０の動きに合わせて右にその方向を変化させる。図１３にその様子を示す。人１０５０が右に移動した時のビデオカメラ２０１の視野は太枠１０５２で表した部分となる。
【０１１９】
視野１０５２にはビデオカメラ２０１の視野に新たな背景画像が含まれる。新たに入ってきた背景画像は図１４に示す部分であり、これはビデオカメラ２０１の方向を検出することでその方向の移動量と過去の移動の方向や移動量から求めることは容易である。
【０１２０】
ビデオカメラ２０１の動きは図１１の端子２０４を介して背景抽出器２０５に入力される。この時の画像は端子２０３を介してＡ／Ｄ変換器１０４でディジタル信号に変換されてフレームメモリ１０７と背景抽出器２０５に入力される。背景抽出器２０５はそのビデオカメラ２０１の方向の移動量と過去の移動の情報から図１４ に示す新たな背景画像を認識し、背景メモリ１０５に格納されている従来の背景画像に付け加えて新たな背景画像とする。
【０１２１】
この時の背景画像の内容を図１５に示す。また、この移動についての情報を背景抽出器２０５に保持しておく。この情報は最初のビデオカメラ２０１による背景画像の入力時に初期化される。
【０１２２】
背景抽出器２０５はこの新たに発生した背景画像の画像データを静止画像符号化部１０６に送り、JPEG-LS符号化方式で符号を生成し、符号合成部１１２に供給する。同時にその符号長Ｌｂは端子２２０を介して符号長割当器２２７に入力される。符号長割当器２２７は、符号化するフレームがＩ−フレームであるときに、符号長Ｌｂが入力されたことで新たな背景画像の発生を検知した場合、Ｉ−フレームとＰ−フレームに割り当てる符号長の比をＩ：Ｐ：Ｐ＝３：１：１と変更する。
【０１２３】
従って、各フレームの目標値ＲｏはＩ−フレームについては
Ｒｏ ＝ Ｒｆ×３×６／１０ …（６）
Ｐ−フレームについては、
Ｒｏ ＝ Ｒｆ×３×２／１０ …（７）
となる。尚、符号化するフレームがＰ−フレームであるときに、新たな背景画像の発生を検知した場合は符号長の割当の変更は行わない。また、Ｉ−フレームの符号化を行う場合に新たな背景画像の発生がなければ符号長の比を８：１：１に戻す。
【０１２４】
更に、符号長割当器２２７は、各フレームで、新たな背景画像が生じた場合は目標値Ｒｏから発生した符号長Ｌｂを引いたものをそのフレームの目標値Ｒｏ’として更新する。
【０１２５】
Ｒｏ’ ＝ Ｒｏ−Ｌｂ …（８）
【０１２６】
以下の処理は、新たな背景の発生がない場合と同様に、背景／対象判定結果は背景／対象判定符号化器１２２でJBIG符号化され、得られた符号は端子１２３を介して符号合成部１１２に出力する。
【０１２７】
目標値Ｒｏと符号長Ｌｏとの差分Ｏｏはラッチ２２６に保持される。量子化係数算出器２３１が各フレームモード毎に、最適な量子化係数Ｑを決定する。背景画素の画素値を平均値ｍで置換した画像をメモリ１２９に格納する。
【０１２８】
Ｉ−フレームであれば、ブロック内に対象画素が含まれているブロックのみをＤＣＴ変換し、量子化係数Ｑに基づく量子化係数で量子化し、符号器２３３で符号化して端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２により逆量子化され、逆ＤＣＴ変換器２３４により逆ＤＣＴ変換されて加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１２９】
また、Ｐ−フレームであれば、動き補償器２２９は時間的に直前フレームの対象の画像が格納されているメモリ２３６と入力画像データから動き補償を行い、動きベクトルと予測マクロブロックを出力し、メモリ１２９の出力と予測マクロブロックとの差分を求め、差分に対してＤＣＴ変換を行い、量子化する。符号器２３３は、動きベクトルと量子化データを符号化し、端子１３５から出力する。同時に、量子化器１３２の出力は逆量子化器２３２により逆量子化され、逆ＤＣＴ変換器２３４により逆ＤＣＴ変換されて加算器２３５で動き補償器２２９の出力と加算され、メモリ２３６に格納される。
【０１３０】
図１１に戻り、上述のようにして動画像符号化部２０６で符号化して得られた符号化データは符号合成部１１２に入力され、各部で生成された符号化データを合成して１つの符号化データを生成する。
【０１３１】
符号合成器１１２から出力される符号化データの例を図１６に示す。
【０１３２】
符号合成部１１２は動画像のシーケンスを伝送する前に、予め最初の背景画像の符号化データを別途伝送する。これは図２の内容を符号化したものである。符号合成器１１２で生成される符号化データは、先頭に背景画像の符号化データであることを表すスタートコード、続いて、背景画像の大きさ等の情報を持つ背景画像ヘッダ、最後にJPEG-LS符号化された符号化データが続く。
【０１３３】
次に、対象の符号化データの生成を行っていく。先頭に対象画像の符号化データであることを表すスタートコード、続いて、各対象の第１フレームの符号化データが続く。
【０１３４】
各フレームの符号化データでは、フレーム単位の符号化データに背景画像の符号化データの有無を表す符号、対象抽出器１０８から出力された対象の大きさを表す符号、対象の背景画像の中での位置を表す符号、フレームの符号化モード（ＩまたはＰ）を含むフレームヘッダが先頭に格納される。
【０１３５】
背景画像が含まれていない場合、フレームヘッダには背景画像が含まれていないことを表す符号が入っている。その他は第１の実施例と同様に、背景／対象判定符号化器１２２で生成された背景／対象判定結果の符号と対象画像の符号化データが生成される。
【０１３６】
背景画像が含まれる場合（図１６中の第Ｎフレーム）、フレームヘッダには背景画像が含まれていることを表す符号が入っている。続いて、付け加えられる背景画像の大きさ、元の背景に対する位置等の情報を含む背景画像ヘッダと背景画像の符号化データが生成される。その後に背景／対象判定結果の符号と対象画像の符号化データが生成される。対象が複数ある場合も第１の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。
【０１３７】
符号合成部１１２で生成された符号化データは端子１１３を介して通信インターフェース２０８により外部へ送出される。
【０１３８】
復号処理については第１の実施例と同様であるが、符号分離部１５３が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部１５４が背景画像を生成し、ヘッダ情報にしたがって背景メモリに書き込めばよい。
【０１３９】
以上説明したように、第２の実施例によれば、広い背景画像に対して、必要に応じて背景画像を付け加えを行うことができ、符号化の効率を改善することが可能になる。特に、伝送においては最初から広い画像を送らなくてすむので動画像の符号化を開始するまでの遅延を低減することも可能となる。さらに、背景画像の付け加えを行う際に符号長のレートの変換を行うようにすることで背景画像の符号化による一時的な画質の劣化を押さえることも可能になる。
【０１４０】
尚、第２の実施例においては、最初に伝送する背景画像としてビデオカメラ２０１の視野の大きさのものを伝送したが、予め視野外の背景領域を含めた領域を符号化し、最初の視野の位置を背景画像ヘッダに書き込んでももちろんかまわない。これによって比較的頻度が高そうな背景を予め送っておき、最初に想定していないような位置にビデオカメラ２０１が向いた時のみ背景画像の追加を行うことも可能である。
【０１４１】
更に、第２の本実施例においては、新たな背景の生成のＩ，Ｐのいずれのフレームからでも可能としたが、たとえばビデオカメラ２０１の向きを変える場合は動画像符号化装置２０２の符号化モードと同期を取って動作させることによって符号長のレートの変換を必ず行うようにすることは簡単に実現でき、これによって背景画像の符号化による一時的な画質の劣化を最小限に押さえることも可能になる。
【０１４２】
また、第２の実施例においては、動画像符号化でＩ，Ｐのフレームモードを使用したが、ＭＰＥＧ符号化のようにＢモードを利用することには全く問題はなく、さらには全てをフレーム内符号化するような符号化であってもかまわない。
【０１４３】
また、第２の本実施例においては、ビデオカメラ２０１からカメラの向きの変化を捉えて背景画像の付け加えを行ったが、これに限定されない。背景画像の付け加える部分を自動的に抽出してももちろんかまわなし、予め全ての背景画像をメモリに蓄積しておいてもかまわない。
【０１４４】
＜第３の実施例＞
図１７は、本発明にかかる第３の実施例の動画像通信装置の構成を示すブロック図である。なお、図１１と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【０１４５】
図１７において、３００は本発明に係るところの動画像符号化装置、３０１及び３０２は背景画像を格納する背景メモリであり、背景メモリ３０１は背景画像の全てを、背景メモリ３０２はその一部を格納する。
【０１４６】
以下、上述のように構成された装置の動作を説明する。
【０１４７】
ビデオカメラ２０１は初期状態で図１８に示すように、対象となる人が写っていない状態で、ビデオカメラ２０１が動作可能な範囲の全視野の背景画像を入力する。ビデオカメラ２０１から端子２０３を介してＡ／Ｄ変換器１０４でディジタル信号に変換し、ビデオカメラ２０１の方向から算出される背景画像中の位置をアドレスとして背景メモリ３０１に格納する。動作可能な範囲の全視野の背景画像を背景メモリ３０１に格納し終わったら、符号化の動作を開始する。
【０１４８】
まず、第２の実施例と同様に最初に初期状態の背景画像を伝送する。これは図１８では太枠で囲んだ視野領域３５０である。これを静止画像符号化部１０６で符号化し、符号合成部１１２、端子１１３を介して通信インターフェース２０８によって外部へ送出される。視野領域３５０のデータは背景メモリ３０２に格納され、対象の抽出に用いられる。
【０１４９】
次に、対象を含む符号化を行う。最初に、符号長制御部２０７で通信回線の容量ＮｏとフレームレートＦからフレーム毎の符号化レートＲｆを（３）式にしたがって算出する。対象がビデオカメラ２０１の視野に入った状態（図２２）から画像の符号化を開始する。この状態では、人物１０５０の位置移動はなく、ビデオカメラ２０１もカメラの向きは固定されている。Ａ／Ｄ変換器１０４、フレームメモリ１０７、対象抽出器１０８、対象メモリ１０９は第２の実施例と同様の動作を行う。即ち、背景メモリ３０２を参照して対象抽出器１０８から抽出された各対象の矩形に切り出された画像データとその位置の背景／対象判定結果が対象メモリ２０６に格納される。ここで、動画像符号化部２０６は第２の実施例と同様に１つのＩ−フレームと２つのＰ−フレームを１つの符号化単位とする符号化を行う。つまり、３フレームの符号化データで固定長とする。
【０１５０】
第３の実施例では第２の実施例と異なり、最初は人物の位置移動はないが背景メモリ３０１から動画像の符号化に大きな影響を与えないような符号長で背景画像を細分化した領域を符号化して伝送する。背景メモリ３０１は伝送済みの背景画像以外の領域を領域３５１〜３６０（図１８参照）のように細分化して符号化し、各フレームに付加していく。ただし、送出されていない背景画像の領域にビデオカメラ２０１の視野がかかった場合には第２の実施例と同様にかかった部分を優先する。
【０１５１】
細分化された領域は静止画像符号化部１０６に入力され、符号化データは符号合成部１１２に、符号長Ｌｂが符号長割当器２２７に入力される。符号長割当器２２７ではＩ−フレームとＰ−フレームに割り当てる符号長の比をＩ：Ｐ：Ｐ＝１４：３：３とする。第２の実施例と同様に背景／対象判定結果を背景／対象判定符号化器１２２でJBIG符号化し、ラッチ２２６に保持された差分Ｏｏに最適な量子化パラメータＱにしたがって、Ｉ−フレームやＰ−フレームの符号化を行う。
【０１５２】
対象が移動した場合は、ビデオカメラ２０１から方向の変化を検出し、背景メモリ３０２の内容を方向の変化に合わせて必要な対象画像の抽出に必要な背景画像を背景メモリ３０１から読み出して更新する。
【０１５３】
静止画像符号化部１０６と動画像符号化部２０６で符号化して得られた符号化データは符号合成部１１２に入力され、各部で生成された符号を合成して１つの符号化データを生成する。
【０１５４】
符号合成器１１２から出力される符号化データの例を図１９に示す。
【０１５５】
第２の実施例と同様に、符号合成部１１２は動画像のシーケンスを伝送する前に、予め最初の背景画像の符号化データを別途伝送する。これは図１８の視野領域３５０の内容を符号化したものである。符号合成器１１２で生成される符号化データは、先頭に背景画像の符号化データであることを表すスタートコード、続いて、背景画像の大きさ等の情報を持つ背景画像ヘッダ、最後にJPEG-LS符号化された符号化データが続く。
【０１５６】
次に、符号合成部１１２は対象の符号化データの合成を行っていく。先頭に対象画像の符号化データであることを表すスタートコード、続いて、各対象の第１フレームの符号化データが続く。
【０１５７】
各フレームの符号化データでは、フレームヘッダには背景画像が含まれていることを表す符号、対象抽出器１０８から出力された対象の大きさを表す符号、対象の背景画像の中での位置を表す符号、フレームの符号化モード（ＩまたはＰ）を含むフレームヘッダが先頭に格納される。続いて、付け加えられる背景画像の大きさ、元の背景に対する位置等の情報を含む背景画像ヘッダと背景画像の符号化データが生成される。その後に背景／対象判定結果の符号と対象画像の符号化データが生成される。対象が複数ある場合も第１の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。
【０１５８】
符号合成部１１２によって生成された符号化データは端子１１３を介して通信インターフェース２０８によって外部へ送出される。
【０１５９】
尚、復号動作については第１の実施例と同様であるが、符号分離部１５３が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部１５４が背景画像を生成し、ヘッダ情報にしたがって背景メモリに書き込めばよい。
【０１６０】
以上説明したように、第３の本実施例によれば、第２の実施例では必要に応じて付け加える部分を伝送していたが、第３の実施例では背景画像を細分化して各フレームに少しずつ付加して送るため、復号側で予め背景画像を用意しておくことが可能となるので、新たな背景が発生した時に一時的に画質が劣化することない効果がある。
【０１６１】
尚、第３の実施例では画像を横方向のみに細分化したが当然、縦方向に細分化してもかまわない。また、背景画像も説明を簡単にするために横方向にのみ広がりがあるように説明したが、もちろんこれに限定されない。また、細分化の数、符号化の順もこれに限定されないことは言うまでもない。
【０１６２】
＜第４の実施例＞
図２０は、本発明にかかる第４の実施例の動画像通信装置の構成を示すブロック図である。尚、図１７と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【０１６３】
図２０において、４００は本発明に係るところの動画像符号化装置、４０１はビデオカメラであり、第２の実施例のビデオカメラ２０１から雲台の機能や方向情報の送出機能を省いたものである。
【０１６４】
４０２、４０５は背景画像を格納する背景メモリ、４０３は静止画像を階層符号化する静止画像符号化部である。静止画像符号化部４０３では最初に粗い画像を生成して符号化し、続いて、解像度を向上させるための符号化データを段階毎に生成する。たとえばJPEG階層符号化であったり、Wavelet変換やＤＣＴ変換等の直交変換のサブバンド符号化であったりする。尚、第４の実施例ではJPEG階層符号化に似た方式で説明する。４０４は静止画像符号化部４０３で符号化された符号化データを階層復号する静止画像復号部である。
【０１６５】
以下、上述のように構成された装置の動作を説明する。
【０１６６】
まず、第１の実施例と同様に符号化に先立ち、ビデオカメラ４０１から背景画像を入力し、背景メモリ４０２に格納する。
【０１６７】
符号化を開始するにあたり、静止画像符号化部４０３は背景メモリ４０２の内容を最初に大きな量子化係数で符号化する。符号化された画像データは符号合成部１１２に入力される。また、静止画像符号化部４０３によって符号化された符号化データは静止画像復号部４０４に入力され、復号され、復号画像は背景メモリ４０５に格納される。
【０１６８】
次に、対象を含む符号化を行う。最初に、符号長制御部２０７でフレーム毎の符号化レートＲｆを（３）式にしたがって算出する。Ａ／Ｄ変換器１０４、フレームメモリ１０７、対象抽出器１０８、対象メモリ１０９は第３の実施例と同様の動作を行い、対象を抽出して対象メモリ１０９にその結果を格納する。
【０１６９】
動画像符号化部２０６は第２の実施例と同様に１つのＩ−フレームと２つのＰ−フレームを１つの符号化単位とする符号化を行う。つまり、３フレームの符号化データで固定長とする。
【０１７０】
第４の実施例では第３の実施例と異なり、静止画像符号化部４０３は、フレーム単位で背景メモリ３０１から動画像の符号化に大きな影響を与えないような符号長で、背景メモリ４０５の内容を参照しつつ解像度を向上させるための階層符号化データを生成する。符号化された画像データは符号合成部１１２に入力され、符号長は動画像符号化部２０６に入力される。動画像符号化部２０６は第２及び３の実施例と同様に対象を符号化する。
【０１７１】
符号合成部１１２は対象の符号化データの合成を行っていく。合成して得られる符号の構造は第３の実施例の図１９に示す符号化データの構造と同じである。しかしながら各背景画像ヘッダと背景画像符号化データの内容が異なる。
【０１７２】
背景画像ヘッダには元の背景に対する位置ではなく、階層の順番を表す階層情報が入っている。背景画像の符号化データも細分化された背景画像の符号化データではなく、解像度を向上させるための階層符号化データである。対象が複数ある場合も第１の実施例と同様にフレーム毎に対象の符号化データを生成すればよい。
【０１７３】
符号合成部１１２によって生成された符号化データは端子１１３を介して通信インターフェース２０８によって外部へ送出される。
【０１７４】
尚、復号処理については第１の実施例と同様であるが、符号分離部１５３が各フレームに含まれる背景画像のヘッダや符号化データを認識し、その符号化データから静止画像復号部１５４が復号済みの背景画像と復号したデータから背景画像を更新すればよい。
【０１７５】
以上説明したように、第４の実施例によれば、最初に粗い画像で背景画像を送ることによって、最初に送る背景画像の伝送による遅延を低減する効果がある。画質を向上させるための階層符号化データは動画像の符号化データに比べて少量なので、動画像自体の符号を大きく割くことはなく、画質に与える影響は小さい。
【０１７６】
また、階層符号の符号長も一定の符号長で送ることが可能なので全体の符号長制御を容易にする効果もある。
【０１７７】
＜その他の実施例＞
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。
【０１７８】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０１７９】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０１８０】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０１８１】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０１８２】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０１８３】
【発明の効果】
以上の説明から明らかなように、本発明では、動画像から背景画像と対象画像を分離して所望する符号長で符号化することができる。また、対象画像の動きが大きい時に、動きのない背景画像の画質の低下を防ぐことができる。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施例の動画像符号化装置の構成を示すブロック図である。
【図２】本発明にかかる本実施例の背景画像の一例を表す図である。
【図３】本発明にかかる本実施例の対象画像の一例を表す図である。
【図４】本発明にかかる本実施例の対象の背景／対象判定結果の一例を表す図である。
【図５】本発明にかかる第１の実施例の動画像符号化部１１０の構成を示すブロック図である。
【図６】本発明にかかる第１の実施例における対象の符号化の状態を説明するための図である。
【図７】本発明にかかる第１の実施例における符号化データの構成の一例を表す図である。
【図８】本発明にかかる第１の実施例における符号化データの構成の別な例を表す図である。
【図９】本発明にかかる第１の実施例としての動画像復号化装置の構成を示すブロック図である。
【図１０】本発明にかかる第１の実施例の動画像符号化装置の別な構成を示すブロック図である。
【図１１】本発明にかかる第２の実施例の動画像通信装置の構成を示すブロック図である。
【図１２】本発明にかかる第２の実施例の動画像符号化部２０６の構成を示すブロック図である。
【図１３】本発明にかかる実施例における画像の全体を表す図である。
【図１４】本発明にかかる第２の実施例における背景画像の発生の様子を表す図である。
【図１５】本発明にかかる第２の実施例における背景画像の合成の様子を表す図である。
【図１６】本発明にかかる第３の実施例における符号化データの構成の一例を表す図である。
【図１７】本発明にかかる第３の実施例としての動画像通信装置の構成を示すブロック図である。
【図１８】本発明にかかる第３の実施例における背景画像の分割の様子を表す図である。
【図１９】本発明にかかる第３の実施例における符号化データの構成の一例を表す図である。
【図２０】本発明にかかる第４の実施例としての動画像通信装置の構成を示すブロック図である。
【図２１】従来の動画像符号化装置の構成を示すブロック図である。
【図２２】符号化する画像の内容を表す図である。
Claims (7)
- 動画像を形成する複数のフレームを入力する入力手段と、
前記入力手段によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離手段と、
前記分離手段によって分離された背景画像を第一の符号化方法で符号化する第一の符号化手段と、
前記分離手段によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化手段と、
前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化手段で符号化される前記複数の対象画像の目標符号量を制御する制御手段とを有し、
前記第２の符号化手段は量子化手段を含み、前記第２の符号化手段は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする画像符号化装置。 - 更に、前記第１の符号化手段によって符号化された背景画像と前記第２の符号化手段によって符号化された複数の対象画像とを記録媒体に記録する記録手段を備え、
前記画像全体の目標符号量は、前記記録媒体の記録容量に基づいて設定されることを特徴とする前記請求項１に記載の画像符号化装置。 - 更に、前記第１の符号化手段によって符号化された背景画像と前記第２の符号化手段によって符号化された対象画像とを外部に送信する通信手段を備え、
前記入力された複数のフレーム全体の目標符号量は、前記通信手段の通信データレートに基づいて設定されることを特徴とする前記請求項１に記載の画像符号化装置。 - 前記第１の符号化手段によって符号化された背景画像と前記第２の符号化手段によって符号化された複数の対象画像とを合成する合成手段を有することを特徴とする前記請求項１乃至３に記載の画像符号化装置。
- 前記合成手段は前記第１の符号化手段によって符号化された背景画像を分割して合成することを特徴とする前記請求項４に記載の画像符号化装置。
- 動画像を形成する複数のフレームを入力する入力工程と、
前記入力工程によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離工程と、
前記分離工程によって分離された背景画像を第一の符号化方法で符号化する第一の符号化工程と、
前記分離工程によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化工程と、
前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化工程で符号化される前記複数の対象画像の目標符号量を制御する制御工程とを有し、
前記第２の符号化工程は量子化工程を含み、前記第２の符号化工程は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする画像符号化方法。 - 画像符号化プログラムが記録されたコンピュータ可読記録媒体であって、
動画像を形成する複数のフレームを入力する入力手順と、
前記入力手順によって入力された複数のフレームを背景画像と複数の対象画像とに分離する分離手順と、
前記分離手順によって分離された背景画像を第一の符号化方法で符号化する第一の符号化手順と、
前記分離手順によって分離された複数の対象画像のそれぞれを第２の符号化方法で符号化する第２の符号化手順と、
前記符号化された背景画像の符号量を前記入力された複数のフレーム全体の目標符号量から引いた値に基づいて、前記第２の符号化手順で符号化される前記複数の対象画像の目標符号量を制御する制御手順とを記録し、
前記第２の符号化手順は量子化手順を含み、前記第２の符号化手順は符号化対象の前記対象画像の符号量と前記対象画像の目標符号量の大小比較の結果に基づいて、次の符号化対象となる次フレームの対象画像の量子化ステップを、前フレームの対象画像の量子化ステップを最小単位で変化させることで決定することを特徴とする画像符号化プログラムが記録されたコンピュータ可読記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02327998A JP4261630B2 (ja) | 1998-02-04 | 1998-02-04 | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
| US09/241,871 US6798977B2 (en) | 1998-02-04 | 1999-02-02 | Image data encoding and decoding using plural different encoding circuits |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02327998A JP4261630B2 (ja) | 1998-02-04 | 1998-02-04 | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11225329A JPH11225329A (ja) | 1999-08-17 |
| JP4261630B2 true JP4261630B2 (ja) | 2009-04-30 |
Family
ID=12106173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02327998A Expired - Fee Related JP4261630B2 (ja) | 1998-02-04 | 1998-02-04 | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6798977B2 (ja) |
| JP (1) | JP4261630B2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6879723B1 (en) * | 1999-11-12 | 2005-04-12 | 8X8, Inc. | Method and apparatus for encoding frames of image data at a varying quality level |
| JP3603737B2 (ja) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
| JP2001285894A (ja) * | 2000-03-31 | 2001-10-12 | Olympus Optical Co Ltd | ３次元画像データの掲載方法 |
| JP4355881B2 (ja) | 2000-11-08 | 2009-11-04 | 日本電気株式会社 | 動画像符号化方式 |
| US20030007784A1 (en) * | 2001-06-20 | 2003-01-09 | Loui Alexander C. | System and method for authoring a multimedia enabled disc |
| US7650058B1 (en) * | 2001-11-08 | 2010-01-19 | Cernium Corporation | Object selective video recording |
| US20060165386A1 (en) * | 2002-01-08 | 2006-07-27 | Cernium, Inc. | Object selective video recording |
| US20040096102A1 (en) * | 2002-11-18 | 2004-05-20 | Xerox Corporation | Methodology for scanned color document segmentation |
| US8638846B1 (en) * | 2003-06-23 | 2014-01-28 | At&T Intellectual Property Ii, L.P. | Systems and methods for encoding and decoding video streams |
| JP4612797B2 (ja) * | 2004-03-11 | 2011-01-12 | キヤノン株式会社 | 符号化装置、符号化方法 |
| JP4702928B2 (ja) * | 2004-03-12 | 2011-06-15 | キヤノン株式会社 | 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP2005295505A (ja) * | 2004-03-12 | 2005-10-20 | Canon Inc | 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
| US7833187B2 (en) * | 2004-04-16 | 2010-11-16 | Nuvue Therapeutics, Inc. | Systems and methods for improving image-guided tissue ablation |
| US7026961B2 (en) * | 2004-05-03 | 2006-04-11 | Lsi Logic Corporation | Real time binary arithmetic encoding |
| JP2006074391A (ja) * | 2004-09-01 | 2006-03-16 | Canon Inc | ファイル記録方法および記録装置 |
| US7751478B2 (en) * | 2005-01-21 | 2010-07-06 | Seiko Epson Corporation | Prediction intra-mode selection in an encoder |
| US7830961B2 (en) * | 2005-06-21 | 2010-11-09 | Seiko Epson Corporation | Motion estimation and inter-mode prediction |
| US8026945B2 (en) | 2005-07-22 | 2011-09-27 | Cernium Corporation | Directed attention digital video recordation |
| KR100765761B1 (ko) * | 2005-09-30 | 2007-10-15 | 삼성전자주식회사 | 화상 형성 시스템 및 화상 형성 방법 |
| TWI297994B (en) * | 2005-12-08 | 2008-06-11 | Inst Information Industry | Encoder, method for adjusting decoding calculation, and computer readable record medium therefor |
| US7843995B2 (en) * | 2005-12-19 | 2010-11-30 | Seiko Epson Corporation | Temporal and spatial analysis of a video macroblock |
| US8170102B2 (en) * | 2005-12-19 | 2012-05-01 | Seiko Epson Corporation | Macroblock homogeneity analysis and inter mode prediction |
| JP5082134B2 (ja) * | 2007-07-18 | 2012-11-28 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US9532001B2 (en) * | 2008-07-10 | 2016-12-27 | Avaya Inc. | Systems, methods, and media for providing selectable video using scalable video coding |
| US9215467B2 (en) | 2008-11-17 | 2015-12-15 | Checkvideo Llc | Analytics-modulated coding of surveillance video |
| JP4760973B2 (ja) * | 2008-12-16 | 2011-08-31 | カシオ計算機株式会社 | 撮像装置及び画像処理方法 |
| KR101452713B1 (ko) | 2009-10-30 | 2014-10-21 | 삼성전자주식회사 | 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치 |
| US8331760B2 (en) * | 2010-06-02 | 2012-12-11 | Microsoft Corporation | Adaptive video zoom |
| US9693110B2 (en) * | 2010-06-03 | 2017-06-27 | Cox Communications, Inc | Dynamic content stream management |
| US9866877B2 (en) | 2011-03-08 | 2018-01-09 | Cox Communications, Inc. | Transparent scalable video coding |
| JP6056124B2 (ja) * | 2011-09-05 | 2017-01-11 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| EP3176729A1 (en) | 2011-09-06 | 2017-06-07 | Intel Corporation | Analytics assisted encoding |
| GB201312382D0 (en) | 2013-07-10 | 2013-08-21 | Microsoft Corp | Region-of-interest aware video coding |
| US10432877B2 (en) * | 2014-06-30 | 2019-10-01 | Nec Corporation | Image processing system, image processing method and program storage medium for protecting privacy |
| JP6672363B2 (ja) * | 2018-03-23 | 2020-03-25 | シャープ株式会社 | 符号化装置、表示装置、符号化装置の制御方法、および制御プログラム |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2530090B2 (ja) * | 1992-02-28 | 1996-09-04 | 三星電子株式会社 | 映像信号符号化装置 |
| US5283646A (en) * | 1992-04-09 | 1994-02-01 | Picturetel Corporation | Quantizer control method and apparatus |
| EP0648400A1 (en) * | 1992-06-29 | 1995-04-19 | BRITISH TELECOMMUNICATIONS public limited company | Coding and decoding video signals |
| US5845088A (en) * | 1992-11-16 | 1998-12-01 | Multimedia Systems Corporation | Method for the production and transmission of enhanced interactive multimedia information |
| JPH07154798A (ja) * | 1993-05-31 | 1995-06-16 | Canon Inc | 画像符号化装置および画像符号化方法 |
| JP3258840B2 (ja) * | 1994-12-27 | 2002-02-18 | シャープ株式会社 | 動画像符号化装置および領域抽出装置 |
| US5886743A (en) * | 1994-12-28 | 1999-03-23 | Hyundai Electronics Industries Co. Ltd. | Object-by information coding apparatus and method thereof for MPEG-4 picture instrument |
| JP3309642B2 (ja) * | 1995-05-31 | 2002-07-29 | ソニー株式会社 | 画像情報記録方法及びそのシステム |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| US5883678A (en) * | 1995-09-29 | 1999-03-16 | Kabushiki Kaisha Toshiba | Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio |
| JP3249729B2 (ja) * | 1995-10-24 | 2002-01-21 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| WO1997029595A1 (en) * | 1996-02-07 | 1997-08-14 | Sharp Kabushiki Kaisha | Moving image encoding and decoding device |
| KR100501902B1 (ko) * | 1996-09-25 | 2005-10-10 | 주식회사 팬택앤큐리텔 | 영상정보부호화/복호화장치및방법 |
| JP3934712B2 (ja) * | 1996-09-27 | 2007-06-20 | 日本ビクター株式会社 | 映像信号符号化方法及び装置 |
| US6173013B1 (en) * | 1996-11-08 | 2001-01-09 | Sony Corporation | Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal |
| KR100463004B1 (ko) * | 1997-03-20 | 2005-06-02 | 주식회사 팬택앤큐리텔 | Mpeg-4vop부호화방법 |
| ES2323358T3 (es) * | 1997-04-01 | 2009-07-14 | Sony Corporation | Codificador de imagenes, metodo de codificacion de imagenes, descodificador de imagenes, metodo de descodificacion de imagenes, y medio de distribucion. |
| US6233356B1 (en) * | 1997-07-08 | 2001-05-15 | At&T Corp. | Generalized scalability for video coder based on video objects |
| KR100251051B1 (ko) * | 1997-07-14 | 2000-04-15 | 윤종용 | 임의 형상 부호화 방법 |
| DE69937816T2 (de) | 1998-04-28 | 2008-12-24 | Canon K.K. | Datenverarbeitungsgerät und Verfahren |
-
1998
- 1998-02-04 JP JP02327998A patent/JP4261630B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-02 US US09/241,871 patent/US6798977B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6798977B2 (en) | 2004-09-28 |
| JPH11225329A (ja) | 1999-08-17 |
| US20030147462A1 (en) | 2003-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4261630B2 (ja) | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 | |
| US6683987B1 (en) | Method and apparatus for altering the picture updating frequency of a compressed video data stream | |
| US5731850A (en) | Hybrid hierarchial/full-search MPEG encoder motion estimation | |
| KR100393125B1 (ko) | 동화상의 부호화방법 및 복호화방법 | |
| US6628713B1 (en) | Method and device for data encoding and method for data transmission | |
| JP4616057B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2009290463A (ja) | 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム | |
| JP3893350B2 (ja) | 符号化データ変換装置及びその方法 | |
| KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JP3227674B2 (ja) | 動画像符号化装置および方法 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
| JP2011055023A (ja) | 画像符号化装置及び画像復号化装置 | |
| JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
| JP3721972B2 (ja) | Ｍｐｅｇ画像データ記録方法 | |
| JP3428549B2 (ja) | 動画像圧縮装置 | |
| JP4359273B2 (ja) | 符号化モード選択方法 | |
| JP3724662B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP6942504B2 (ja) | 符号化装置、撮像装置、符号化方法、及びプログラム | |
| JPH11298902A (ja) | 画像符号化装置および方法 | |
| JP3721971B2 (ja) | Ｍｐｅｇ画像データ記録装置及び記録媒体 | |
| JPH07264594A (ja) | 動画像の動き補償予測符号化方法 | |
| JPH11234675A (ja) | 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体 | |
| JP2000032467A (ja) | 画像処理装置および方法、並びに提供媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |