JP4789127B2 - 画像配信方法、画像記録方法、およびそれらのプログラム - Google Patents
画像配信方法、画像記録方法、およびそれらのプログラム Download PDFInfo
- Publication number
- JP4789127B2 JP4789127B2 JP2001283460A JP2001283460A JP4789127B2 JP 4789127 B2 JP4789127 B2 JP 4789127B2 JP 2001283460 A JP2001283460 A JP 2001283460A JP 2001283460 A JP2001283460 A JP 2001283460A JP 4789127 B2 JP4789127 B2 JP 4789127B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- key
- signal
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化した動画像を配信する画像配信方法、配信を受けた動画像を記録する画像記録方法、およびそれらのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した画像配信方法、画像記録方法、およびそれらのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図２１を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図２１に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図２２を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて生成される圧縮符号化画像信号を、配信を受ける端末装置の側で、高いフレームレートで表示するとともに、低いフレームレートで記録することを可能にする画像配信方法、画像記録方法、およびそれらのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、画像配信装置が通信回線を通じて端末装置へ圧縮符号化画像信号を配信する画像配信方法であって、(A)前記画像配信装置が前記通信回線を通じて前記端末装置から、配信要求信号と記録レートを通知する記録レート信号とを受信する工程と、(B)前記画像配信装置が、前記工程(A)の後に、順次入力される複数のフレームからなる画像信号を圧縮符号化する画像圧縮符号化工程とを備える。
【０００９】
さらに、当該画像圧縮符号化工程(B)は、(a)前記画像配信装置が、前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、(b)前記画像配信装置が、前記キーフレームの後に入力するフレームを、第１種フレームと第２種フレームとのいずれかに振り分ける工程と、(c)入力する前記フレームが前記第１種フレームであるときに、前記画像配信装置が、当該第１種フレームに対する処理を行う工程とを備える。
【００１０】
さらに、当該工程(c)は、(c-1)前記画像配信装置が、前記第１種フレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、(c-2)前記画像配信装置が、前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、(c-3)前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記工程(c-1)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、を有する。
【００１１】
前記工程(B)は、さらに、(d)入力する前記フレームが前記第２種フレームであるときに、前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記第２種フレームに対してフレーム間符号化を実行する工程と、(e)前記画像配信装置が、前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、(f)前記画像配信装置が、前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、を備えており、前記工程(a)は、(a-1)前記画像配信装置が、指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備えている。
【００１２】
前記方法は、さらに、(C)前記画像配信装置が、前記工程(B)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された後の信号を、前記圧縮符号化画像信号として前記通信回線を通じて前記端末装置へ配信する工程、を備えており、前記工程(B)において、前記画像配信装置は、前記工程(C)で配信する前記圧縮符号化画像信号から前記第２種フレームを間引いたときのフレームレートが前記工程(A)で受信した前記記録レート以内の値となるように、前記工程(b)で振り分ける第２種フレームの比率を設定する。
【００１３】
本発明のうち第２の態様にかかるものは、端末装置が、通信回線を通じて画像配信装置から圧縮符号化画像信号の配信を受け、記録する画像記録方法であって、(i)前記端末装置が、前記通信回線を通じて前記画像配信装置へ、配信要求信号と記録レートを通知する記録レート信号とを送信する工程と、(ii)前記配信要求信号と前記記録レート信号とに応答して、第１の態様にかかる画像配信方法によって前記画像配信装置から配信される前記圧縮符号化画像信号を前記端末装置が受信する工程と、(iii)前記端末装置が、前記工程(ii)で受信された前記圧縮符号化画像信号から前記第２種フレームを間引く工程と、(iv)前記端末装置が、前記工程(iii)で間引かれた後の前記圧縮符号化画像信号を記録する工程と、(v)前記端末装置が、前記工程(ii)で受信され、前記工程(iii)で間引かれる前の前記圧縮符号化画像信号を復号化することにより、復号化画像信号を得る工程と、を備える。
【００１４】
本発明のうち第３の態様にかかるものは、第２の態様にかかる画像記録方法において、(vi)前記端末装置が、前記工程(v)で得られた前記復号化画像信号を画像として表示する工程を、さらに備える。
【００１５】
本発明のうち第４の態様にかかるものは、第１ないし第３のいずれかの態様にかかる方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１７】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１８】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１９】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００２０】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００２１】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００２２】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００２３】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図４（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００２４】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２５】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２６】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２７】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２８】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２９】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００３０】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００３１】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００３２】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００３３】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００３４】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３５】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ２〜Ｆ５が生成される。
【００３６】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３７】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。
【００３８】
（画像配信システムの概略）
図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を通信回線４０へ出力する。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。端末装置３０は、通信回線４０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、端末装置３０のユーザが指定する任意の時点から受信し、かつ復号化するように構成されている。
【００３９】
なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。また、画像配信装置２０に接続される通信回線４０および端末装置３０の双方を含めて、画像配信装置２０の「配信対象」と仮称する。したがって、配信対象のフレームレート（単位時間当たりのフレーム数）は、通信回線４０とそれに接続される端末装置３０との双方のフレームレートによって規定される。画像配信装置２０は、配信対象のフレームレートに適合したフレームレートで、圧縮符号化画像信号を配信する。
【００４０】
端末装置３０は、画像配信装置２０が圧縮符号化画像信号を配信するときのフレームレート、すなわち配信レートで、圧縮符号化画像信号を受信し、画像復号化を行った上でモニタへ表示する。一方、端末装置３０は、受信した圧縮符号化画像信号を、必要なときに復号化し表示することを可能にするために、記録媒体へ記録する場合がある。しかしながら、配信レートと同じフレームレートで記録を行ったのでは、例えばハードディスクなど、記憶容量の限られた記録媒体が、短時間でオーバフローしてしまう。これに対して、端末装置３０が画像信号を記録するときのフレームレートすなわち記録レートを、配信レートよりも低く抑えることができれば、記憶容量の低い記憶媒体を用いて長時間の記録が可能となる。すなわち、配信を受けた圧縮符号化画像信号からフレームを間引くことができれば、間引き前の画像信号を表示すると同時に、間引き後の画像信号を記録することにより、動きの緻密な画像の表示と、記憶容量の低い記録媒体への記録とを、両立的に実現することが可能となる。
【００４１】
図１０が示すように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームＫからつぎのキーフレームＫの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームＫおよびこれに後続する複数の第１種フレームP-GOBが含まれる。フレームP-GOBとは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有するフレームであり、「キーＧＯＢありＰピクチャ」とも仮称する。フレームP-GOBのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームＫを参照フレーム（「第１の参照フレーム」とも称する）としてフレーム間符号化されている。
【００４２】
したがってフレームP-GOBは、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。また、フレームP-GOBに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームＡ（「第２の参照フレーム」とも称する）として用いられ、当該キーフレームＫは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームＫは前のフレーム群に属するフレームP-GOBに依存している。
【００４３】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのキーフレームＫおよびフレームP-GOBは、互いに補完関係にある。したがって、ＳＲＶＣ方式にもとづく圧縮符号化画像信号は、復号化されるまでに、一連のキーフレームＫおよびフレームP-GOBのうちのいずれの１フレームをも捨てることができない。このため、圧縮符号化画像信号を高いフレームレートで表示し、低いフレームレートで記録する場合に、高いフレームレートで配信された圧縮符号化画像信号を、そのまま復号化して表示すると同時に、一連のキーフレームＫおよびフレームP-GOBの一部を間引くことによって低いフレームレートでの記録を実現することはできない。
【００４４】
これに対して、図１０が示すように、フレーム群の中には、第２種フレームＰを挿入することが可能である。フレームＰは、キーＧＯＢを含まず、同一のフレーム群に属するキーフレームＫを参照フレームとして、フレーム全体にわたってフレーム間符号化されたフレームである。フレームＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。すなわち、フレームＰはフレームP-GOBと同様に、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。しかしながら、フレームＰはフレームP-GOBとは異なり、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームとして用いられることはない。すなわち、フレームＰには、他のフレームが従属することはない。
【００４５】
したがって、画像配信装置２０が配信する圧縮符号化画像信号にフレームＰを含めておき、端末装置３０の側でフレームＰのみを間引くことによって、記録媒体に適合したフレームレートでの記録が可能となる。以下に、画像配信装置２０および端末装置３０について、その構成および動作手順について詳細に説明する。
【００４６】
（画像配信装置の構成）
図１１は、画像配信装置２０の構成を示すブロック図である。この画像配信装置２０は、画像配信装置の本体部をなす画像信号処理装置２１と、カメラ２２とを備えている。画像信号処理装置２１は、ビデオデコーダ２３、圧縮部２４、画像記録部２５、インタフェース２６、制御部２７、ワークメモリ２９、およびこれらを互いに接続するバスライン２８を備えている。
【００４７】
カメラ２２で撮像することにより得られる画像信号は、ビデオデコーダ２３によって、アナログ形式からデジタル形式へ変換される。ビデオデコーダ２３が出力するデジタル形式の画像信号は、圧縮部２４によって圧縮符号化される。
【００４８】
ワークメモリ２９は、圧縮符号化処理の過程で一時的に画像信号を保持するためのメモリであり、図１に示したキーブロックメモリ（特定領域メモリ）２およびキーフレームメモリ１を含んでいる。圧縮部２４が出力する圧縮符号化画像信号は、画像記録部２５へストアされるか、あるいはそれと同時に、インタフェース２６へ送られる。インタフェース２６は、外部の通信回線４０へ接続されることにより、圧縮部２４が出力する圧縮符号化画像信号、または画像記録部２５にストアされている圧縮符号化画像信号を、通信回線４０へ送出する。
【００４９】
制御部２７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵ（コンピュータ）で構成され、各要素２３〜２６，２９を制御する機能を果たしている。制御部２７がＣＰＵで形成される場合には、画像記録部２５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。圧縮部２４は、例えば画像信号の圧縮をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。画像信号処理装置２１に含まれる要素２３〜２７，２９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５０】
以上のように、画像配信装置２０では、カメラ１から入力される画像信号に同期して、すなわちリアルタイムで、圧縮符号化画像信号を通信回線４０へ出力することが可能なように構成されている。また、圧縮符号化画像信号をストアする画像記録部２５が備わるので、目的および条件に応じて、圧縮符号化画像信号の配信だけでなく記録をも行うことができる。さらに、リアルタイムでの配信に代えて、記録された圧縮符号化画像信号を画像記録部２５から読出し、インタフェース２６を通じて通信回線４０へ送出することも可能である。
【００５１】
（端末装置の構成）
図１２は、端末装置３０の内部構成を示すブロック図である。端末装置３０は、端末装置本体部３１およびモニタ３２を備えている。端末装置本体部３１は、インタフェース３３、伸張部３４、画像記憶部３５、ビデオエンコーダ３６、制御部３７、記録媒体３９、および、これらを互いに接続するバスライン３８を備えている。インタフェース３３は、通信回線４０に接続されることにより、通信回線４０を媒介して画像配信装置２０との通信を行う。伸張部３４は、インタフェース３３が受信する圧縮符号化画像信号を復号化する。ビデオエンコーダ３６は、伸張部３４で復号化された画像信号を、デジタル形式からアナログ形式へ変換する。ビデオエンコーダ３６が出力するアナログ画像信号は、モニタ３２へ入力される。モニタ３２は、入力されたアナログ画像信号を画面に表示する。
【００５２】
制御部３７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素３３〜３６，３９を制御する機能を果たしている。制御部３７は、ＣＰＵに代えて、ハードウェアのみで構成されるＬＳＩで構成されても良い。画像記憶部３５は、伸張部３４による処理の過程で一時的に画像信号を保持するためのワークメモリであり、図６に示したキーブロックメモリ１１およびキーフレームメモリ１０を含んでいる。制御部３７がＣＰＵで形成される場合には、画像記憶部３５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。
【００５３】
記録媒体３９は、インタフェース３３が受信する圧縮符号化画像信号からフレームを間引いたものを記録する。フレームの間引きは、制御部３７によって行われる。端末装置本体部３１に含まれる要素３３〜３７，３９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５４】
（画像配信システムの動作）
図１３は画像配信システム１２０の動作手順を示すフローチャートである。また、図１４および図１５は、図１３の一部の処理の内部手順を示すフローチャートである。さらに、図１６〜図２０は、画像配信システム１２０の動作説明図である。
【００５５】
画像配信システム１２０では、端末装置３０が通信回線４０を通じて画像配信装置２０へ、配信要求信号と記録レートを通知する記録レート信号とを送信すると（ステップＳＴ８１）、これに応答して画像配信装置２０は端末装置３０へ圧縮符号化画像信号を配信するための一連の処理を開始する（ステップＳＴ４０，８２，８３，８４）。
【００５６】
画像配信装置２０は、この一連の処理を開始すると、まず一フレーム群に挿入すべきフレームＰ（図１０）の個数、すなわちフレームＰの挿入数を決定する（ステップＳＴ４０）。フレームＰの挿入数は、画像配信装置２０が配信する圧縮符号化画像信号からフレームＰを間引いたときのフレームレートが、受信した記録レート以内となるように決定される。ステップＳＴ４０の処理は、制御部２７で実行される。
【００５７】
つぎに、画像配信装置２０は、決定した挿入数にもとづいて、画像の圧縮符号化を実行する（ステップＳＴ８２）。ステップＳＴ８２の内部手順は図１４で表される。図１４の処理は圧縮部２４で実行され、ステップＳＴ４１，４２が付加されている点において、図１に示した基本的な処理とは特徴的に異なっている。ステップＳＴ１では、画像信号がフレームごとに圧縮部２４へ入力される。後述するように、図１４の処理は各フレームに対して反復的に実行されるので、ステップＳＴ１におけるフレームレートが配信レートを規定する。
【００５８】
つぎに、ステップＳＴ２において、入力されたフレームがキーフレームＫではないと判定されると、当該フレームが、キーＧＯＢありＰピクチャであるか否か、すなわちフレームP-GOBであるか否かが判定される（ステップＳＴ４１）。入力されたフレームがフレームP-GOBであると判定されると、図１のステップＳＴ９以下と同様の処理が行われる。一方、入力されたフレームがフレームP-GOBでない、すなわちフレームＰであると判定されると、ステップＳＴ４２の処理が行われた後に、処理はステップＳＴ１９へ移行する。ステップＳＴ４２では、ステップＳＴ１４と同じ処理、すなわち図３の処理が、フレーム全体にわたって実行される。ステップＳＴ４２によるフレーム間符号化では、ステップＳＴ１４と同様に、キーフレームメモリ１に格納されているキーフレームが参照される。
【００５９】
このように、入力されたフレームが、ステップＳＴ２およびステップＳＴ４１を通じて、キーフレームＫ、フレームP-GOB、およびフレームＰのいずれかに振り分けられ、それぞれに応じた圧縮符号化処理が施される。振り分けは、ステップＳＴ４０で決定されたフレームＰの挿入数にもとづいて行われる。それにより、フレームＰへの振り分けの比率は、ステップＳＴ４０で決定されたフレームＰの挿入数に対応する。
【００６０】
ステップＳＴ１９は、生成した圧縮符号化画像信号のビットストリームをインタフェース２６へ出力する。インタフェース２６へ出力されたビットストリームは、通信回線４０を通じて端末装置３０へ配信される（図１３のステップＳＴ８３）。ステップＳＴ１９ではビットストリームを、インタフェース２６へ出力するのに代えて、あるいはそれと同時に、画像記録部２５へ出力してもよい。それにより、ビットストリームを一旦記録し、必要に応じて、その後に読み出し、インタフェース２６を通じて端末装置３０へ配信すること（ステップＳＴ８３）も可能となる。
【００６１】
配信される圧縮符号化画像信号は、フレームＰの挿入がない場合には、図１６が示すように、キーフレームＫとフレームP-GOBとで構成される。これに対して、配信レートが例えば３０ｆｐｓ（ｆｐｓは「フレーム毎秒」を表す）であって、通知された記録レートが約１５ｆｐｓであれば、配信される圧縮符号化画像信号には、図１７が示すように約１／２の比率でフレームＰが含まれる。一般に、配信レートがＸであって、通知する記録レートがＸ／ｋ（ｋ＞１）であるときには、約（１−１／ｋ）の比率でフレームＰが挿入される。
【００６２】
端末装置３０は、配信された圧縮符号化画像信号を受信し（ステップＳＴ８３）、復号化する（ステップＳＴ８５）。ステップＳＴ８５の内部手順は図１５で表される。図１５の処理は伸張部３４で実行され、ステップＳＴ２１が、フレームＰの復号化をも行うステップＳＴ４１へ置き換えられている点において、図６の処理とは特徴的に異なっている。
【００６３】
ステップＳＴ２０では、例えば図１７で表される圧縮符号化画像信号のビットストリームが、フレームごとにインタフェース３３から伸張部３４へ入力される。ステップＳＴ５１は、キーフレームＫおよびフレームP-GOBに対しては、図６のステップＳＴ２１と同等の処理を行い、フレームＰに対しては、フレームP-GOBのうちのキーＧＯＢに属しないブロックに対する処理と同等の復号化処理を、フレーム全体にわたって実行する。
【００６４】
端末装置３０は、図１５の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ２３の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ２０の処理が同時に行われることも有り得る。すなわち好ましくは、端末装置３０は圧縮符号化画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、図１、図６、および図１４の各々に示した処理においても同様である。図１、図６、図１４、および図１５の各々は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を限定しなければ、図１、図６、図１４、および図１５の各々の処理は、１フレーム毎に反復的に実行されると、一般に表現することが可能である。
【００６５】
図１３へ戻って、配信された圧縮符号化画像信号は、ステップＳＴ８５で復号化されると同時に、間引きされる（ステップＳＴ８７）。ステップＳＴ８７は制御部３７（図１２）によって実行され、圧縮符号化画像信号からフレームＰを間引く。間引かれた後の圧縮符号化画像信号は、図１８に例示するように、キーフレームＫとフレームP-GOBとを含みフレームＰを含まないビットストリームとなっている。間引かれた後の圧縮符号化画像信号は、図１９が示すように、記録媒体３９へ記録される（ステップＳＴ８８）。
【００６６】
配信レートＸと記録レートＸ／ｋとの比率ｋが大きいほど、図２０が示すように、フレームＰの挿入数が高められるので、フレームＰを間引いた後のフレームレートを低くすることができる。それによって記録媒体３９は、ステップＳＴ８１で画像配信装置２０へ通知した記録レート、ないしそれ以下のフレームレートで、圧縮符号化画像信号を記録することが可能となる。
【００６７】
図１５のステップＳＴ２３で出力される復号化後の画像信号、すなわち復号化画像信号は、ビデオエンコーダ３６を通じてモニタ３２へ送られる（図１２）。したがってモニタ３２は、図１９が示すように、配信された圧縮符号化画像信号が表現する画像を、配信レートと同じフレームレートで表示する（図１３のステップＳＴ８６）。
【００６８】
一つのフレームについてステップＳＴ８６およびＳＴ８８が終了すると、制御部３７は処理を終了すべきか否かを判断する（ステップＳＴ８９）。例えば端末装置３０のユーザが終了を指示している場合など、終了すべきと判断した場合には、制御部３７は配信終了を通知する信号を画像配信装置２０へ送信し（ステップＳＴ８９）、その後に通信を終了させる（ステップＳＴ９１）。一方、処理を終了すべきでないと判断する間は、制御部３７は圧縮符号化画像信号の受信（ステップＳＴ８３）からステップＳＴ８９までの処理を、フレーム毎に反復させる。
【００６９】
画像配信装置２０では、圧縮符号化画像信号の配信（ステップＳＴ８３）が終了すると、処理を終了すべきか否かを制御部２７が判断する。配信終了を通知する信号を受信している、あるいは画像配信装置２０のオペレータが終了を指示している場合など、処理を終了すべきと判断した場合には、制御部２７は端末装置３０との通信を終了させる（ステップＳＴ９０）。一方、処理を終了すべきでないと判断する間は、制御部２７は画像信号の圧縮符号化処理（ステップＳＴ８２）からステップＳＴ８４までの処理を、フレーム毎に反復させる。
【００７０】
（付記．）
すでに述べたように、画像配信装置２０の配信レートは、通信回線４０の伝送容量および端末装置３０の処理能力に応じて設定される。配信レートの設定方法自体は従来周知であるので、その詳細な説明は略する。一例を挙げれば、図１３のステップＳＴ８１において、端末装置３０から画像配信装置２０へ配信要求、記録レートの通知、とともに配信レートが通知される。画像配信装置２０は、通知された配信レートにもとづいて、あるいは通信回線４０の伝送容量が低ければ、伝送容量にもとづいて、配信レートを設定する。端末装置３０に関しては、配信レートを左右する処理能力は、より特定的には伸張部３４が画像伸張処理を行う能力である。
【００７１】
【発明の効果】
本発明のうち第１の態様にかかる方法では、互いに従属関係を持つように圧縮符号化されるキーフレームと第１種フレームとの他に、他のフレームが自身に従属することのないように圧縮符号化される第２種フレームが割り当てられる。しかも、通信回線を通じて受信した記録レートに応じて、第２種フレームの比率がが設定される。このため、通信回線に接続される端末装置は、自身の記録レートを送信し、これに応答して配信される圧縮符号化画像信号のうちから第２種フレームを間引くことによって、圧縮符号化画像信号を、復号化可能な画像信号として記録することが可能となる。
【００７２】
本発明のうち第２の態様にかかる方法では、第１の態様にかかる方法によって配信される圧縮符号化画像信号から第２種フレームを間引いたものが記録される。このため、復号化可能な画像信号としての圧縮符号化画像信号を、送信した記録レートで記録することが可能となる。また、間引き前の圧縮符号化画像信号が復号化されるので、間引かれない画像を表示することが可能となる。
【００７３】
本発明のうち第３の態様にかかる方法では、間引き前の圧縮符号化画像信号を復号化して得られた復号化画像信号が、画像として表示されるので、動きの滑らかな動画像を鑑賞または監視することができる。
【００７４】
本発明のうち第４の態様にかかるプログラムでは、コンピュータに搭載することにより、第１ないし第３の態様の各々にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置が出力する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１１】図９の画像配信装置の構成を示すブロック図である。
【図１２】図９の端末装置の構成を示すブロック図である。
【図１３】図１１の画像配信システムの動作手順を示すフローチャートである。
【図１４】図１１の画像配信装置の動作手順を示すフローチャートである。
【図１５】図１２の端末装置の動作手順を示すフローチャートである。
【図１６】図１１の画像配信システムの動作を示す動作説明図である。
【図１７】図１１の画像配信システムの動作を示す動作説明図である。
【図１８】図１１の画像配信システムの動作を示す動作説明図である。
【図１９】図１２の端末装置の動作を示す動作説明図である。
【図２０】図１１の画像配信システムの動作を示す動作説明図である。
【図２１】従来の符号化方法を説明するためのフローチャートである。
【図２２】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１ キーフレームメモリ
２ 特定領域メモリ
１０ キーフレームメモリ
１１ 特定領域メモリ
Ａ 参照フレーム
ｆ１，Ｋ キーフレーム
Ｋｅｙ−ＧＯＢ 特定領域
Ｐ−ＧＯＢ 第１種フレーム
Ｐ 第２種フレーム
【発明の属する技術分野】
本発明は、圧縮符号化した動画像を配信する画像配信方法、配信を受けた動画像を記録する画像記録方法、およびそれらのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した画像配信方法、画像記録方法、およびそれらのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図２１を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図２１に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図２２を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて生成される圧縮符号化画像信号を、配信を受ける端末装置の側で、高いフレームレートで表示するとともに、低いフレームレートで記録することを可能にする画像配信方法、画像記録方法、およびそれらのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、画像配信装置が通信回線を通じて端末装置へ圧縮符号化画像信号を配信する画像配信方法であって、(A)前記画像配信装置が前記通信回線を通じて前記端末装置から、配信要求信号と記録レートを通知する記録レート信号とを受信する工程と、(B)前記画像配信装置が、前記工程(A)の後に、順次入力される複数のフレームからなる画像信号を圧縮符号化する画像圧縮符号化工程とを備える。
【０００９】
さらに、当該画像圧縮符号化工程(B)は、(a)前記画像配信装置が、前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、(b)前記画像配信装置が、前記キーフレームの後に入力するフレームを、第１種フレームと第２種フレームとのいずれかに振り分ける工程と、(c)入力する前記フレームが前記第１種フレームであるときに、前記画像配信装置が、当該第１種フレームに対する処理を行う工程とを備える。
【００１０】
さらに、当該工程(c)は、(c-1)前記画像配信装置が、前記第１種フレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、(c-2)前記画像配信装置が、前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、(c-3)前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記工程(c-1)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、を有する。
【００１１】
前記工程(B)は、さらに、(d)入力する前記フレームが前記第２種フレームであるときに、前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記第２種フレームに対してフレーム間符号化を実行する工程と、(e)前記画像配信装置が、前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、(f)前記画像配信装置が、前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、を備えており、前記工程(a)は、(a-1)前記画像配信装置が、指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備えている。
【００１２】
前記方法は、さらに、(C)前記画像配信装置が、前記工程(B)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された後の信号を、前記圧縮符号化画像信号として前記通信回線を通じて前記端末装置へ配信する工程、を備えており、前記工程(B)において、前記画像配信装置は、前記工程(C)で配信する前記圧縮符号化画像信号から前記第２種フレームを間引いたときのフレームレートが前記工程(A)で受信した前記記録レート以内の値となるように、前記工程(b)で振り分ける第２種フレームの比率を設定する。
【００１３】
本発明のうち第２の態様にかかるものは、端末装置が、通信回線を通じて画像配信装置から圧縮符号化画像信号の配信を受け、記録する画像記録方法であって、(i)前記端末装置が、前記通信回線を通じて前記画像配信装置へ、配信要求信号と記録レートを通知する記録レート信号とを送信する工程と、(ii)前記配信要求信号と前記記録レート信号とに応答して、第１の態様にかかる画像配信方法によって前記画像配信装置から配信される前記圧縮符号化画像信号を前記端末装置が受信する工程と、(iii)前記端末装置が、前記工程(ii)で受信された前記圧縮符号化画像信号から前記第２種フレームを間引く工程と、(iv)前記端末装置が、前記工程(iii)で間引かれた後の前記圧縮符号化画像信号を記録する工程と、(v)前記端末装置が、前記工程(ii)で受信され、前記工程(iii)で間引かれる前の前記圧縮符号化画像信号を復号化することにより、復号化画像信号を得る工程と、を備える。
【００１４】
本発明のうち第３の態様にかかるものは、第２の態様にかかる画像記録方法において、(vi)前記端末装置が、前記工程(v)で得られた前記復号化画像信号を画像として表示する工程を、さらに備える。
【００１５】
本発明のうち第４の態様にかかるものは、第１ないし第３のいずれかの態様にかかる方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１７】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１８】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１９】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００２０】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００２１】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００２２】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００２３】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図４（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００２４】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２５】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２６】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２７】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２８】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２９】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００３０】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００３１】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００３２】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００３３】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００３４】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３５】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ２〜Ｆ５が生成される。
【００３６】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３７】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。
【００３８】
（画像配信システムの概略）
図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を通信回線４０へ出力する。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。端末装置３０は、通信回線４０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、端末装置３０のユーザが指定する任意の時点から受信し、かつ復号化するように構成されている。
【００３９】
なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。また、画像配信装置２０に接続される通信回線４０および端末装置３０の双方を含めて、画像配信装置２０の「配信対象」と仮称する。したがって、配信対象のフレームレート（単位時間当たりのフレーム数）は、通信回線４０とそれに接続される端末装置３０との双方のフレームレートによって規定される。画像配信装置２０は、配信対象のフレームレートに適合したフレームレートで、圧縮符号化画像信号を配信する。
【００４０】
端末装置３０は、画像配信装置２０が圧縮符号化画像信号を配信するときのフレームレート、すなわち配信レートで、圧縮符号化画像信号を受信し、画像復号化を行った上でモニタへ表示する。一方、端末装置３０は、受信した圧縮符号化画像信号を、必要なときに復号化し表示することを可能にするために、記録媒体へ記録する場合がある。しかしながら、配信レートと同じフレームレートで記録を行ったのでは、例えばハードディスクなど、記憶容量の限られた記録媒体が、短時間でオーバフローしてしまう。これに対して、端末装置３０が画像信号を記録するときのフレームレートすなわち記録レートを、配信レートよりも低く抑えることができれば、記憶容量の低い記憶媒体を用いて長時間の記録が可能となる。すなわち、配信を受けた圧縮符号化画像信号からフレームを間引くことができれば、間引き前の画像信号を表示すると同時に、間引き後の画像信号を記録することにより、動きの緻密な画像の表示と、記憶容量の低い記録媒体への記録とを、両立的に実現することが可能となる。
【００４１】
図１０が示すように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームＫからつぎのキーフレームＫの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームＫおよびこれに後続する複数の第１種フレームP-GOBが含まれる。フレームP-GOBとは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有するフレームであり、「キーＧＯＢありＰピクチャ」とも仮称する。フレームP-GOBのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームＫを参照フレーム（「第１の参照フレーム」とも称する）としてフレーム間符号化されている。
【００４２】
したがってフレームP-GOBは、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。また、フレームP-GOBに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームＡ（「第２の参照フレーム」とも称する）として用いられ、当該キーフレームＫは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームＫは前のフレーム群に属するフレームP-GOBに依存している。
【００４３】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのキーフレームＫおよびフレームP-GOBは、互いに補完関係にある。したがって、ＳＲＶＣ方式にもとづく圧縮符号化画像信号は、復号化されるまでに、一連のキーフレームＫおよびフレームP-GOBのうちのいずれの１フレームをも捨てることができない。このため、圧縮符号化画像信号を高いフレームレートで表示し、低いフレームレートで記録する場合に、高いフレームレートで配信された圧縮符号化画像信号を、そのまま復号化して表示すると同時に、一連のキーフレームＫおよびフレームP-GOBの一部を間引くことによって低いフレームレートでの記録を実現することはできない。
【００４４】
これに対して、図１０が示すように、フレーム群の中には、第２種フレームＰを挿入することが可能である。フレームＰは、キーＧＯＢを含まず、同一のフレーム群に属するキーフレームＫを参照フレームとして、フレーム全体にわたってフレーム間符号化されたフレームである。フレームＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。すなわち、フレームＰはフレームP-GOBと同様に、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。しかしながら、フレームＰはフレームP-GOBとは異なり、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームとして用いられることはない。すなわち、フレームＰには、他のフレームが従属することはない。
【００４５】
したがって、画像配信装置２０が配信する圧縮符号化画像信号にフレームＰを含めておき、端末装置３０の側でフレームＰのみを間引くことによって、記録媒体に適合したフレームレートでの記録が可能となる。以下に、画像配信装置２０および端末装置３０について、その構成および動作手順について詳細に説明する。
【００４６】
（画像配信装置の構成）
図１１は、画像配信装置２０の構成を示すブロック図である。この画像配信装置２０は、画像配信装置の本体部をなす画像信号処理装置２１と、カメラ２２とを備えている。画像信号処理装置２１は、ビデオデコーダ２３、圧縮部２４、画像記録部２５、インタフェース２６、制御部２７、ワークメモリ２９、およびこれらを互いに接続するバスライン２８を備えている。
【００４７】
カメラ２２で撮像することにより得られる画像信号は、ビデオデコーダ２３によって、アナログ形式からデジタル形式へ変換される。ビデオデコーダ２３が出力するデジタル形式の画像信号は、圧縮部２４によって圧縮符号化される。
【００４８】
ワークメモリ２９は、圧縮符号化処理の過程で一時的に画像信号を保持するためのメモリであり、図１に示したキーブロックメモリ（特定領域メモリ）２およびキーフレームメモリ１を含んでいる。圧縮部２４が出力する圧縮符号化画像信号は、画像記録部２５へストアされるか、あるいはそれと同時に、インタフェース２６へ送られる。インタフェース２６は、外部の通信回線４０へ接続されることにより、圧縮部２４が出力する圧縮符号化画像信号、または画像記録部２５にストアされている圧縮符号化画像信号を、通信回線４０へ送出する。
【００４９】
制御部２７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵ（コンピュータ）で構成され、各要素２３〜２６，２９を制御する機能を果たしている。制御部２７がＣＰＵで形成される場合には、画像記録部２５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。圧縮部２４は、例えば画像信号の圧縮をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。画像信号処理装置２１に含まれる要素２３〜２７，２９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５０】
以上のように、画像配信装置２０では、カメラ１から入力される画像信号に同期して、すなわちリアルタイムで、圧縮符号化画像信号を通信回線４０へ出力することが可能なように構成されている。また、圧縮符号化画像信号をストアする画像記録部２５が備わるので、目的および条件に応じて、圧縮符号化画像信号の配信だけでなく記録をも行うことができる。さらに、リアルタイムでの配信に代えて、記録された圧縮符号化画像信号を画像記録部２５から読出し、インタフェース２６を通じて通信回線４０へ送出することも可能である。
【００５１】
（端末装置の構成）
図１２は、端末装置３０の内部構成を示すブロック図である。端末装置３０は、端末装置本体部３１およびモニタ３２を備えている。端末装置本体部３１は、インタフェース３３、伸張部３４、画像記憶部３５、ビデオエンコーダ３６、制御部３７、記録媒体３９、および、これらを互いに接続するバスライン３８を備えている。インタフェース３３は、通信回線４０に接続されることにより、通信回線４０を媒介して画像配信装置２０との通信を行う。伸張部３４は、インタフェース３３が受信する圧縮符号化画像信号を復号化する。ビデオエンコーダ３６は、伸張部３４で復号化された画像信号を、デジタル形式からアナログ形式へ変換する。ビデオエンコーダ３６が出力するアナログ画像信号は、モニタ３２へ入力される。モニタ３２は、入力されたアナログ画像信号を画面に表示する。
【００５２】
制御部３７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素３３〜３６，３９を制御する機能を果たしている。制御部３７は、ＣＰＵに代えて、ハードウェアのみで構成されるＬＳＩで構成されても良い。画像記憶部３５は、伸張部３４による処理の過程で一時的に画像信号を保持するためのワークメモリであり、図６に示したキーブロックメモリ１１およびキーフレームメモリ１０を含んでいる。制御部３７がＣＰＵで形成される場合には、画像記憶部３５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。
【００５３】
記録媒体３９は、インタフェース３３が受信する圧縮符号化画像信号からフレームを間引いたものを記録する。フレームの間引きは、制御部３７によって行われる。端末装置本体部３１に含まれる要素３３〜３７，３９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５４】
（画像配信システムの動作）
図１３は画像配信システム１２０の動作手順を示すフローチャートである。また、図１４および図１５は、図１３の一部の処理の内部手順を示すフローチャートである。さらに、図１６〜図２０は、画像配信システム１２０の動作説明図である。
【００５５】
画像配信システム１２０では、端末装置３０が通信回線４０を通じて画像配信装置２０へ、配信要求信号と記録レートを通知する記録レート信号とを送信すると（ステップＳＴ８１）、これに応答して画像配信装置２０は端末装置３０へ圧縮符号化画像信号を配信するための一連の処理を開始する（ステップＳＴ４０，８２，８３，８４）。
【００５６】
画像配信装置２０は、この一連の処理を開始すると、まず一フレーム群に挿入すべきフレームＰ（図１０）の個数、すなわちフレームＰの挿入数を決定する（ステップＳＴ４０）。フレームＰの挿入数は、画像配信装置２０が配信する圧縮符号化画像信号からフレームＰを間引いたときのフレームレートが、受信した記録レート以内となるように決定される。ステップＳＴ４０の処理は、制御部２７で実行される。
【００５７】
つぎに、画像配信装置２０は、決定した挿入数にもとづいて、画像の圧縮符号化を実行する（ステップＳＴ８２）。ステップＳＴ８２の内部手順は図１４で表される。図１４の処理は圧縮部２４で実行され、ステップＳＴ４１，４２が付加されている点において、図１に示した基本的な処理とは特徴的に異なっている。ステップＳＴ１では、画像信号がフレームごとに圧縮部２４へ入力される。後述するように、図１４の処理は各フレームに対して反復的に実行されるので、ステップＳＴ１におけるフレームレートが配信レートを規定する。
【００５８】
つぎに、ステップＳＴ２において、入力されたフレームがキーフレームＫではないと判定されると、当該フレームが、キーＧＯＢありＰピクチャであるか否か、すなわちフレームP-GOBであるか否かが判定される（ステップＳＴ４１）。入力されたフレームがフレームP-GOBであると判定されると、図１のステップＳＴ９以下と同様の処理が行われる。一方、入力されたフレームがフレームP-GOBでない、すなわちフレームＰであると判定されると、ステップＳＴ４２の処理が行われた後に、処理はステップＳＴ１９へ移行する。ステップＳＴ４２では、ステップＳＴ１４と同じ処理、すなわち図３の処理が、フレーム全体にわたって実行される。ステップＳＴ４２によるフレーム間符号化では、ステップＳＴ１４と同様に、キーフレームメモリ１に格納されているキーフレームが参照される。
【００５９】
このように、入力されたフレームが、ステップＳＴ２およびステップＳＴ４１を通じて、キーフレームＫ、フレームP-GOB、およびフレームＰのいずれかに振り分けられ、それぞれに応じた圧縮符号化処理が施される。振り分けは、ステップＳＴ４０で決定されたフレームＰの挿入数にもとづいて行われる。それにより、フレームＰへの振り分けの比率は、ステップＳＴ４０で決定されたフレームＰの挿入数に対応する。
【００６０】
ステップＳＴ１９は、生成した圧縮符号化画像信号のビットストリームをインタフェース２６へ出力する。インタフェース２６へ出力されたビットストリームは、通信回線４０を通じて端末装置３０へ配信される（図１３のステップＳＴ８３）。ステップＳＴ１９ではビットストリームを、インタフェース２６へ出力するのに代えて、あるいはそれと同時に、画像記録部２５へ出力してもよい。それにより、ビットストリームを一旦記録し、必要に応じて、その後に読み出し、インタフェース２６を通じて端末装置３０へ配信すること（ステップＳＴ８３）も可能となる。
【００６１】
配信される圧縮符号化画像信号は、フレームＰの挿入がない場合には、図１６が示すように、キーフレームＫとフレームP-GOBとで構成される。これに対して、配信レートが例えば３０ｆｐｓ（ｆｐｓは「フレーム毎秒」を表す）であって、通知された記録レートが約１５ｆｐｓであれば、配信される圧縮符号化画像信号には、図１７が示すように約１／２の比率でフレームＰが含まれる。一般に、配信レートがＸであって、通知する記録レートがＸ／ｋ（ｋ＞１）であるときには、約（１−１／ｋ）の比率でフレームＰが挿入される。
【００６２】
端末装置３０は、配信された圧縮符号化画像信号を受信し（ステップＳＴ８３）、復号化する（ステップＳＴ８５）。ステップＳＴ８５の内部手順は図１５で表される。図１５の処理は伸張部３４で実行され、ステップＳＴ２１が、フレームＰの復号化をも行うステップＳＴ４１へ置き換えられている点において、図６の処理とは特徴的に異なっている。
【００６３】
ステップＳＴ２０では、例えば図１７で表される圧縮符号化画像信号のビットストリームが、フレームごとにインタフェース３３から伸張部３４へ入力される。ステップＳＴ５１は、キーフレームＫおよびフレームP-GOBに対しては、図６のステップＳＴ２１と同等の処理を行い、フレームＰに対しては、フレームP-GOBのうちのキーＧＯＢに属しないブロックに対する処理と同等の復号化処理を、フレーム全体にわたって実行する。
【００６４】
端末装置３０は、図１５の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ２３の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ２０の処理が同時に行われることも有り得る。すなわち好ましくは、端末装置３０は圧縮符号化画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、図１、図６、および図１４の各々に示した処理においても同様である。図１、図６、図１４、および図１５の各々は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を限定しなければ、図１、図６、図１４、および図１５の各々の処理は、１フレーム毎に反復的に実行されると、一般に表現することが可能である。
【００６５】
図１３へ戻って、配信された圧縮符号化画像信号は、ステップＳＴ８５で復号化されると同時に、間引きされる（ステップＳＴ８７）。ステップＳＴ８７は制御部３７（図１２）によって実行され、圧縮符号化画像信号からフレームＰを間引く。間引かれた後の圧縮符号化画像信号は、図１８に例示するように、キーフレームＫとフレームP-GOBとを含みフレームＰを含まないビットストリームとなっている。間引かれた後の圧縮符号化画像信号は、図１９が示すように、記録媒体３９へ記録される（ステップＳＴ８８）。
【００６６】
配信レートＸと記録レートＸ／ｋとの比率ｋが大きいほど、図２０が示すように、フレームＰの挿入数が高められるので、フレームＰを間引いた後のフレームレートを低くすることができる。それによって記録媒体３９は、ステップＳＴ８１で画像配信装置２０へ通知した記録レート、ないしそれ以下のフレームレートで、圧縮符号化画像信号を記録することが可能となる。
【００６７】
図１５のステップＳＴ２３で出力される復号化後の画像信号、すなわち復号化画像信号は、ビデオエンコーダ３６を通じてモニタ３２へ送られる（図１２）。したがってモニタ３２は、図１９が示すように、配信された圧縮符号化画像信号が表現する画像を、配信レートと同じフレームレートで表示する（図１３のステップＳＴ８６）。
【００６８】
一つのフレームについてステップＳＴ８６およびＳＴ８８が終了すると、制御部３７は処理を終了すべきか否かを判断する（ステップＳＴ８９）。例えば端末装置３０のユーザが終了を指示している場合など、終了すべきと判断した場合には、制御部３７は配信終了を通知する信号を画像配信装置２０へ送信し（ステップＳＴ８９）、その後に通信を終了させる（ステップＳＴ９１）。一方、処理を終了すべきでないと判断する間は、制御部３７は圧縮符号化画像信号の受信（ステップＳＴ８３）からステップＳＴ８９までの処理を、フレーム毎に反復させる。
【００６９】
画像配信装置２０では、圧縮符号化画像信号の配信（ステップＳＴ８３）が終了すると、処理を終了すべきか否かを制御部２７が判断する。配信終了を通知する信号を受信している、あるいは画像配信装置２０のオペレータが終了を指示している場合など、処理を終了すべきと判断した場合には、制御部２７は端末装置３０との通信を終了させる（ステップＳＴ９０）。一方、処理を終了すべきでないと判断する間は、制御部２７は画像信号の圧縮符号化処理（ステップＳＴ８２）からステップＳＴ８４までの処理を、フレーム毎に反復させる。
【００７０】
（付記．）
すでに述べたように、画像配信装置２０の配信レートは、通信回線４０の伝送容量および端末装置３０の処理能力に応じて設定される。配信レートの設定方法自体は従来周知であるので、その詳細な説明は略する。一例を挙げれば、図１３のステップＳＴ８１において、端末装置３０から画像配信装置２０へ配信要求、記録レートの通知、とともに配信レートが通知される。画像配信装置２０は、通知された配信レートにもとづいて、あるいは通信回線４０の伝送容量が低ければ、伝送容量にもとづいて、配信レートを設定する。端末装置３０に関しては、配信レートを左右する処理能力は、より特定的には伸張部３４が画像伸張処理を行う能力である。
【００７１】
【発明の効果】
本発明のうち第１の態様にかかる方法では、互いに従属関係を持つように圧縮符号化されるキーフレームと第１種フレームとの他に、他のフレームが自身に従属することのないように圧縮符号化される第２種フレームが割り当てられる。しかも、通信回線を通じて受信した記録レートに応じて、第２種フレームの比率がが設定される。このため、通信回線に接続される端末装置は、自身の記録レートを送信し、これに応答して配信される圧縮符号化画像信号のうちから第２種フレームを間引くことによって、圧縮符号化画像信号を、復号化可能な画像信号として記録することが可能となる。
【００７２】
本発明のうち第２の態様にかかる方法では、第１の態様にかかる方法によって配信される圧縮符号化画像信号から第２種フレームを間引いたものが記録される。このため、復号化可能な画像信号としての圧縮符号化画像信号を、送信した記録レートで記録することが可能となる。また、間引き前の圧縮符号化画像信号が復号化されるので、間引かれない画像を表示することが可能となる。
【００７３】
本発明のうち第３の態様にかかる方法では、間引き前の圧縮符号化画像信号を復号化して得られた復号化画像信号が、画像として表示されるので、動きの滑らかな動画像を鑑賞または監視することができる。
【００７４】
本発明のうち第４の態様にかかるプログラムでは、コンピュータに搭載することにより、第１ないし第３の態様の各々にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置が出力する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１１】図９の画像配信装置の構成を示すブロック図である。
【図１２】図９の端末装置の構成を示すブロック図である。
【図１３】図１１の画像配信システムの動作手順を示すフローチャートである。
【図１４】図１１の画像配信装置の動作手順を示すフローチャートである。
【図１５】図１２の端末装置の動作手順を示すフローチャートである。
【図１６】図１１の画像配信システムの動作を示す動作説明図である。
【図１７】図１１の画像配信システムの動作を示す動作説明図である。
【図１８】図１１の画像配信システムの動作を示す動作説明図である。
【図１９】図１２の端末装置の動作を示す動作説明図である。
【図２０】図１１の画像配信システムの動作を示す動作説明図である。
【図２１】従来の符号化方法を説明するためのフローチャートである。
【図２２】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１ キーフレームメモリ
２ 特定領域メモリ
１０ キーフレームメモリ
１１ 特定領域メモリ
Ａ 参照フレーム
ｆ１，Ｋ キーフレーム
Ｋｅｙ−ＧＯＢ 特定領域
Ｐ−ＧＯＢ 第１種フレーム
Ｐ 第２種フレーム
Claims (4)
- 画像配信装置が通信回線を通じて端末装置へ圧縮符号化画像信号を配信する画像配信方法であって、
(A)前記画像配信装置が前記通信回線を通じて前記端末装置から、配信要求信号と記録レートを通知する記録レート信号とを受信する工程と、
(B)前記画像配信装置が、前記工程(A)の後に、順次入力される複数のフレームからなる画像信号を圧縮符号化する画像圧縮符号化工程であって、
(a)前記画像配信装置が、前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、
(b)前記画像配信装置が、前記キーフレームの後に入力するフレームを、第１種フレームと第２種フレームとのいずれかに振り分ける工程と、
(c)入力する前記フレームが前記第１種フレームであるときに、前記画像配信装置が、当該第１種フレームに対する処理を行う工程であって、
(c-1)前記画像配信装置が、前記第１種フレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、
(c-2)前記画像配信装置が、前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、
(c-3)前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記工程(c-1)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、を有する工程と、
(d)入力する前記フレームが前記第２種フレームであるときに、前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記第２種フレームに対してフレーム間符号化を実行する工程と、
(e)前記画像配信装置が、前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、
(f)前記画像配信装置が、前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、
を備え、
前記工程(a)が、
(a-1)前記画像配信装置が、指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備える画像圧縮符号化工程と、
(C)前記画像配信装置が、前記工程(B)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された後の信号を、前記圧縮符号化画像信号として前記通信回線を通じて前記端末装置へ配信する工程と、を備え、
前記工程(B)において、
前記画像配信装置は、前記工程(C)で配信する前記圧縮符号化画像信号から前記第２種フレームを間引いたときのフレームレートが前記工程(A)で受信した前記記録レート以内の値となるように、前記工程(b)で振り分ける第２種フレームの比率を設定する、画像配信方法。 - 端末装置が、通信回線を通じて画像配信装置から圧縮符号化画像信号の配信を受け、記録する画像記録方法であって、
(i)前記端末装置が、前記通信回線を通じて前記画像配信装置へ、配信要求信号と記録レートを通知する記録レート信号とを送信する工程と、
(ii)前記配信要求信号と前記記録レート信号とに応答して、請求項１に記載の画像配信方法によって前記画像配信装置から配信される前記圧縮符号化画像信号を前記端末装置が受信する工程と、
(iii)前記端末装置が、前記工程(ii)で受信された前記圧縮符号化画像信号から前記第２種フレームを間引く工程と、
(iv)前記端末装置が、前記工程(iii)で間引かれた後の前記圧縮符号化画像信号を記録する工程と、
(v)前記端末装置が、前記工程(ii)で受信され、前記工程(iii)で間引かれる前の前記圧縮符号化画像信号を復号化することにより、復号化画像信号を得る工程と、を備える画像記録方法。 - (vi)前記端末装置が、前記工程(v)で得られた前記復号化画像信号を画像として表示する工程を、さらに備える請求項２に記載の画像記録方法。
- 請求項１ないし請求項３のいずれかに記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001283460A JP4789127B2 (ja) | 2001-09-18 | 2001-09-18 | 画像配信方法、画像記録方法、およびそれらのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001283460A JP4789127B2 (ja) | 2001-09-18 | 2001-09-18 | 画像配信方法、画像記録方法、およびそれらのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003092745A JP2003092745A (ja) | 2003-03-28 |
| JP4789127B2 true JP4789127B2 (ja) | 2011-10-12 |
Family
ID=19106940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001283460A Expired - Fee Related JP4789127B2 (ja) | 2001-09-18 | 2001-09-18 | 画像配信方法、画像記録方法、およびそれらのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4789127B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4305055B2 (ja) * | 2003-05-22 | 2009-07-29 | 株式会社日立製作所 | 画像記録装置 |
| WO2007043227A1 (ja) * | 2005-10-11 | 2007-04-19 | Megachips Corporation | カメラおよびビデオレコーダ並びにカメラシステム |
| JP6915473B2 (ja) * | 2017-09-22 | 2021-08-04 | 沖電気工業株式会社 | 符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2689632B2 (ja) * | 1989-08-15 | 1997-12-10 | ソニー株式会社 | 画像信号の伝送装置および伝送方法 |
| JP3581382B2 (ja) * | 1993-10-13 | 2004-10-27 | キヤノン株式会社 | 符号化装置及びその方法 |
| JPH08251597A (ja) * | 1995-03-10 | 1996-09-27 | Toshiba Corp | 動画像符号化／復号化装置 |
| JP3807776B2 (ja) * | 1996-04-19 | 2006-08-09 | 沖電気工業株式会社 | 圧縮記録画像再生装置 |
| JP2000092496A (ja) * | 1998-09-11 | 2000-03-31 | Ishikawajima Harima Heavy Ind Co Ltd | 圧縮動画像データ通信方法 |
| JP4736233B2 (ja) * | 2001-05-08 | 2011-07-27 | 株式会社メガチップス | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム |
| JP4721028B2 (ja) * | 2001-05-22 | 2011-07-13 | 株式会社メガチップス | 動画像配信システム、動画像配信方法及びそれらのプログラム |
| JP4451023B2 (ja) * | 2001-06-06 | 2010-04-14 | 株式会社メガチップス | 動画像復号化方法およびそのプログラム |
| JP4458712B2 (ja) * | 2001-06-08 | 2010-04-28 | 株式会社メガチップス | 監視映像の高速再生方法及びそれらのプログラム |
| JP4599609B2 (ja) * | 2001-09-18 | 2010-12-15 | 株式会社メガチップス | 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム |
-
2001
- 2001-09-18 JP JP2001283460A patent/JP4789127B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003092745A (ja) | 2003-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0843485B1 (en) | Video decoder with unified memory | |
| JP3163830B2 (ja) | 画像信号伝送方法及び装置 | |
| US6650783B2 (en) | Image processing apparatus and method for processing images with different scalabilites | |
| JP4820559B2 (ja) | 映像データ符号化及び復号化方法及び装置 | |
| JPH0630442A (ja) | 画像符号化／復号装置及び画像区分方法 | |
| JP4265642B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP3855522B2 (ja) | 動画変換装置 | |
| JPH11266457A (ja) | 画像処理装置、方法、及び記録媒体 | |
| JPH0879766A (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP4451023B2 (ja) | 動画像復号化方法およびそのプログラム | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4599609B2 (ja) | 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム | |
| JP4789127B2 (ja) | 画像配信方法、画像記録方法、およびそれらのプログラム | |
| JP4458712B2 (ja) | 監視映像の高速再生方法及びそれらのプログラム | |
| JP4721028B2 (ja) | 動画像配信システム、動画像配信方法及びそれらのプログラム | |
| JP3927422B2 (ja) | 動画像送受信システム、動画像送受信方法及びそれらのプログラム | |
| JP4451022B2 (ja) | 画像配信方法、画像復号化方法、およびそれらのプログラム | |
| JP4706072B2 (ja) | 影像処理システム、動画像の圧縮符号化方法、動画像の復号化方法及びそれらのプログラム | |
| JP3568392B2 (ja) | 動画像復号化装置 | |
| JP3990011B2 (ja) | 復号画像変換回路および復号画像変換装置 | |
| JP3852838B2 (ja) | 動画像送受信システム、動画像送信装置、及び動画像受信装置 | |
| JP4364422B2 (ja) | 動画像の圧縮符号化方法およびその復号化方法 | |
| JP4736233B2 (ja) | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム | |
| JP4211023B2 (ja) | 動画像処理方法及び動画像処理装置 | |
| KR101071201B1 (ko) | 폴리페이즈 방식을 이용한 영상 압축 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080828 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080828 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110412 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110628 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110713 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4789127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |