JP3927422B2 - 動画像送受信システム、動画像送受信方法及びそれらのプログラム - Google Patents
動画像送受信システム、動画像送受信方法及びそれらのプログラム Download PDFInfo
- Publication number
- JP3927422B2 JP3927422B2 JP2002051201A JP2002051201A JP3927422B2 JP 3927422 B2 JP3927422 B2 JP 3927422B2 JP 2002051201 A JP2002051201 A JP 2002051201A JP 2002051201 A JP2002051201 A JP 2002051201A JP 3927422 B2 JP3927422 B2 JP 3927422B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- key
- specific area
- data
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、圧縮符号化された動画像を送受信する動画像送受信システム及びそれに関連する技術に関する。
【０００２】
【従来の技術】
一般に、動画像を遠隔地に送信することが行われている。例えば、図１１の如く、監視対象に向けて撮像カメラ１を設置しておき、この撮像カメラ１で撮像された監視映像（動画像）を、サーバ２からネットワーク３を通じて遠隔地のクライアント４に送信し、このクライアント４側のモニタ装置５で監視映像を監視する。
【０００３】
ところで、ネットワーク３を通じて動画像を送信する場合、通信速度や記録時のデータ容量を考慮すると、動画像を圧縮符号化してデータサイズを低減することが望ましい。即ち、図１１及び図１２の如く、例えば撮像カメラ１で撮像した動画像を符号化器６で圧縮符号化し、サーバ２からネットワーク３を通じて遠隔地のクライアント４に送信する。クライアント４側では、サーバ２から与えられた圧縮符号化された動画像を復号器７で復号し、モニタ装置５に表示する。
【０００４】
このような監視映像等の動画像を圧縮符号化する方法としては、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法（第１従来技術）が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内（イントラ）符号化に適用される。また動き補償予測符号化（フレーム間（インター）符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化（フレーム間符号化）の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００５】
図１３を参照しつつ従来の差分符号化方式の概略を説明する。撮像カメラ１から順次出力される複数のフレームｆ１，ｆ２，…は、符号化器６（図１１及び図１２）に順次入力される。このように、符号化器６に各フレームｆｎ（ｎ＝１，２，…）が入力されると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。即ち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３で、その量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成され、ビットストリームにされて出力される。また、上述のステップＳＴ１０２で算出された量子化係数が、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００６】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力されると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定される。フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６で、その差分値が所定範囲内か否かが判定される。その差分値が所定範囲内にある場合は、ステップＳＴ１０７でフレーム間（インター）符号化、即ちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合は、ステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後に、サーバ２を通じてネットワーク３へ出力される。
【０００７】
このようなビットストリームの復号化処理の例を図１４を参照しつつ以下に説明する。上記したビットストリームがネットワーク３を通じてクライアント４側に入力されると（ＳＴ１１０）、復号器７において、このビットストリームから圧縮符号化信号が取り出され、可変長復号化されて上記量子化係数が得られる。続くステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されて所定のキーフレームメモリ１０１に蓄積される。そしてステップＳＴ１０８において、その量子化係数がフレーム内符号化されていた場合は、その復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が、モニタ装置５に表示される（ＳＴ１１２）。
【０００８】
このようなＭＰＥＧ方式に代表される動画像の圧縮符号化方式では、フレーム間の差分情報の圧縮をとることで高い圧縮効率を得ることができる。
【０００９】
この他、ＭｏｔｉｏｎＪＰＥＧ方式のように、静止画像の圧縮方式（フレーム内符号化方式）を採用し、かかる静止画像を時系列的に切り替えて表示することで、見かけ上、動画像のように再生する方式（第２従来技術）もある。
【００１０】
【発明が解決しようとする課題】
上記した第１従来技術に係る差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【００１１】
また、第２従来技術に係る差分符号化方式では、全てのフレームについてにフレーム内符号化を行っているため、データサイズが大きくなり、その結果、動画像の連続的な送受信が困難であるため、フレームレートが減少するという問題があった。
【００１２】
そこで、本出願人は、特願２０００−３６８５１０において、ストリーミングデータの送受信に際し、各フレーム間のデータサイズの不均衡を可及的に軽減する差分符号化方式（提案例）を提案している。
【００１３】
この提案例では、撮像カメラ１から与えられる動画像の各フレームの画像を複数のブロック（ＧＯＢ＝Group of Block）に分割し、各フレーム毎にそれぞれ振り分けられた特定のブロック（キーＧＯＢ）についてフレーム内符号化を行う一方、その特定のブロック（キーＧＯＢ）以外のブロック（ＧＯＢ）についてフレーム間符号化を行うようにする。こうして一定のフレーム数の動画像が符号化されて、上記したキーＧＯＢを繋ぎ合わせて画像全体の領域に相当するデータ量が得られた時点で、このキーＧＯＢを繋ぎ合わせた画像を参照フレームとし、この参照フレームに基づく画像全体の経時的差分データを生成する。この経時的差分データに基づいて復号化される画像をキーフレームとする。そして、その次にフレーム間符号化する際には、このキーフレームに基づいてフレーム間符号化を行うようにする。
【００１４】
これにより、キーフレーム以外のフレームを送受信する際には、一部のブロック（キーＧＯＢ）のみをフレーム内符号化することになるため、フレーム間符号化したデータのみを送受信する第１従来技術に係る差分符号化方式に比べてデータサイズが若干増大するものの、キーフレームの送信時には、時系列差分データを送信するだけでよく、キーフレーム全体につきフレーム内符号化したデータを送信していた第１従来技術に係る差分符号化方式に比べて、キーフレームの送信データ量を大幅に削減できる。したがって、ストリーミングデータの送受信において、第１従来技術で最も問題となっていたキーフレームの符号化処理量の急激な増大を抑制することができ、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にすることが可能となる。
【００１５】
ところで、近年、通信技術の向上とコンピュータ機器の普及に伴って、インターネットを通じたデータの送受信が、活発に行われている。したがって、遠隔地に動画像を送受信する場合においても、インターネットの通信基盤を活用して送受信を行うことが、通信コスト及び設備コストを低減する上で望ましいと考えられている。
【００１６】
ここで、インターネットを通じたデータ送受信のプロトコルとしては、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）やＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等がある。このうち、ＴＣＰ／ＩＰが採用しているＴＣＰは、誤り検出、再送及びフロー制御等の上位処理を行うものであり、何らかの通信エラーがあったときには必ず再送するようになっている。これに対して、ＵＤＰは、主としてパケット伝送を行う下位処理のプロトコルのＩＰをほとんどそのまま採用しただけのものであり、故に、このＵＤＰでデータを送受信する場合、そのままでは通信エラー時の再送が行われる仕組みとはなっていない。
【００１７】
しかしながら、上述した提案例にかかる符号化方式で動画像を送受信する場合は、例えばキーＧＯＢの送受信時に何らかの通信エラーがあった場合であっても、ＵＤＰを採用した場合は、そのままではそのキーＧＯＢが再送されることがなく、後続するフレームの再生に重大な損失を与え、後の動画像をクライアント４側で再生不能となる事態が生じ得る。
【００１８】
即ち、キーＧＯＢにエラーが発生すると、そのキーＧＯＢを含むフレームだけでなく、エラーが発生したフレームを参照して復号されるキーフレームやそのキーフレームを参照して復号される後続のフレームにまで大きな影響を及ぼす。このエラーの影響は、次のキーフレームが復号されるまで続く。またキーＧＯＢを含むフレームの符号量の中では、キーＧＯＢの符号量が大半を占めているので、キーＧＯＢの符号でパケット落ちによるバイト欠落やビット反転によるエラーが発生する確率が大きくなる。
【００１９】
このような問題に鑑みてこの発明が解決しようとするところは、動画像を高い圧縮率で効率よく送受信しつつ、通信エラーがあっても速やかに対処し得る動画像送受信システム及びそれに関連する技術を提供する点にある。
【００２０】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、動画像を圧縮符号化して送信する送信局と、前記送信局で圧縮符号化されネットワークを通じて与えられた前記動画像のデータを受信する受信局とを備え、前記送信局が、前記動画像の複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域を前記他のフレーム内の情報のみで圧縮符号化する一方、前記第１の差分が所定より小さい場合に前記差分信号を圧縮符号化し、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームを前記フレーム内の情報のみで圧縮符号化する一方、前記第２の差分が所定より小さい場合に前記差分信号を圧縮符号化する符号化手段と、前記符号化手段から与えられた圧縮符号化された動画像のデータを前記ネットワークに送出するデータ送出手段とを備え、前記受信局が、前記ネットワークを通じて前記データ送出手段から与えられた圧縮符号化された前記動画像のデータを受信する受信手段と、前記受信手段で受信した圧縮符号化された前記動画像のデータを復号化する復号化手段とを備え、前記受信手段の前記復号化手段が、前記動画像のデータのうちの前記特定領域のエラーの有無を検出し、前記受信手段が、前記復号化手段で前記特定領域にエラーが有る旨を検出したときに、当該特定領域の再送要求を前記ネットワークを通じて前記送信局に送信し、前記送信局が、前記受信手段から前記ネットワークを通じて前記特定領域の前記再送要求が与えられた際に、前記特定領域を前記受信手段に再送するものである。
【００２１】
請求項２に記載の発明は、請求項１に記載の動画像送受信システムであって、前記送信局が、前記動画像のデータを前記受信手段に送信する際に、再送要求に備えて前記特定領域を一時的に格納する特定領域データ記憶部を有するものである。
【００２２】
請求項３に記載の発明は、請求項１または請求項２に記載の動画像送受信システムであって、前記送信局が、所定の撮像対象を撮像する撮像カメラを有し、前記受信局が、前記撮像カメラで撮像された動画像を表示または記録するものである。
【００２３】
請求項４に記載の発明は、ａ）送信局において、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有せしめ、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域を前記他のフレーム内の情報のみで圧縮符号化する一方、前記第１の差分が所定より小さい場合に前記差分信号を圧縮符号化し、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームを前記フレーム内の情報のみで圧縮符号化する一方、前記第２の差分が所定より小さい場合に前記差分信号を圧縮符号化する工程と、ｂ）前記送信局において、前記特定領域のデータを所定の特定領域データ記憶部内に記憶する工程と、ｃ）前記送信局において、前記ａ）の工程で圧縮符号化された動画像のデータを受信局に送信する工程と、ｄ）前記受信局において、前記ｃ）の工程で送信された前記動画像のデータのうち、前記特定領域のデータのエラーの有無を検出する工程と、ｅ）前記ｄ）の工程で前記特定領域のデータにエラーがある旨を検出した場合に、前記受信局が、前記送信局に対して前記特定領域のデータの再送要求を行う工程と、ｆ）前記送信局において、前記ｅ）の工程で前記受信局から与えられた再送要求に応じて、前記特定領域データ記憶部内に記憶された前記特定領域のデータを前記受信局に対して再送する工程とを備える。
【００２４】
請求項５に記載の発明は、請求項４に記載の動画像送受信方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００２５】
【発明の実施の形態】
＜動画像送受信システムの基本的概念＞
まず、この発明の一の実施の形態に使用する動画像送受信システムの基本的概念について説明する。この動画像送受信システムは、図１の如く、例えば撮像カメラ１１で撮像した監視映像等の動画像を符号化器１６で圧縮符号化し、この動画像（圧縮フレームデータ）を、図２中のステップＳ１，Ｓ２のように送信局としてのサーバ１２（サーバ機１２ａ）からネットワーク１３を通じて遠隔地の受信局としてのクライアント１４（クライアント機１４ａ）に送信する。クライアント１４側では、サーバ１２から与えられた圧縮符号化された動画像（圧縮フレームデータ）を復号器１７で復号し、モニタ装置１５に表示する。
【００２６】
この復号器１７での復号処理において、与えられた動画像のうちキーＧＯＢについてエラー検出を行い、図２中のステップＳ３のようにキーＧＯＢにエラーが発見された場合には、クライアント１４を通じてキーＧＯＢの再送要求をサーバ１２に送信する（図２中のステップＳ４）。サーバ１２では、圧縮フレームデータを送信している途中であっても（図２中のステップＳ５）、クライアント１４から与えられた再送要求に応じて、ステップＳ６，Ｓ７のように、エラーのあったキーＧＯＢをクライアント１４側に再送する。クライアント１４側の復号器１７では、ステップＳ８において、再送された正常なキーＧＯＢを受信し、この正常なキーＧＯＢを用いて復号処理を行う。しかる後、ステップＳ９及びステップＳ１０のように、通常通りに、クライアント１４側から圧縮フレームデータ及びキーフレームデータを順次送信する。
【００２７】
ここで、サーバ機（データ送出手段）１２ａ及びクライアント機１４ａは、ＲＡＭ、ＲＯＭ、ハードディスクドライブ等の所定のデータ記録装置及び中央演算処理装置（ＣＰＵ）を備えたコンピュータ機器が利用され、中央演算処理装置により、データ記録装置に格納された圧縮画像データを管理し、また動画像の送受信に応じた再生を行うための圧縮画像データの処理順序を決定する。この中央演算処理装置の動作手順は、データ記録装置内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って、以下の各方法を実行するようになっている。
【００２８】
＜圧縮符号化方法＞
上記の動画像送受信システムを使用した圧縮符号化方法を詳説する。図３は、この圧縮符号化方法を説明するための模式図、図４は、この圧縮符号化方法を実現するためのフローチャートである。
【００２９】
この実施の形態の圧縮符号化方法は、符号化器（符号化手段）１６（図１及び図２）において、直前のフレームを基準として差分をとるＭＰＥＧ方式とは異なり、図３のように、基準フレームを固定して圧縮するものであり、これにより、再生時の間引きや逆の時間方向への再生を比較的に容易に行っている。
【００３０】
この圧縮符号化方法では、図３の如く、例えば、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像カメラ１で時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が符号化器１６に入力される（図４中のステップＳＴ１）。尚、図４中のキーブロックメモリ２１Ａには、フレームｆ１が入力される前に、所定の特定領域（キーＧＯＢ）をそのまま繋ぎ合わせて構成される参照フレームｆ０（図示省略）が格納されている。この参照フレームｆ０は、後述する復号器（復号化手段）１７のキーブロックメモリ２１Ｂに圧縮伝送された後、復号化されて格納されることになる。
【００３１】
そして、この圧縮符号化方法で使用される符号化器１６は、入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定するようになっており、図３においては、入力フレームｆ１がキーフレームとなっている。
【００３２】
図４中のステップＳＴ２において、その入力フレームｆ１がキーフレームか否かを条件判定する。図３においては、フレームｆ１は上述のようにキーフレームであるから、そのままステップＳＴ３に処理が移行し、フレーム内（イントラ）／フレーム間（インター）符号化処理を実行する。
【００３３】
このステップＳＴ３の処理手順を図５に示している。図５に示すように、ステップＳＴ４でキーブロックメモリ２１Ａに格納した参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとが算出される。
【００３４】
次いで、図５中のステップＳＴ５で、差分絶対値和が所定の閾値以下か否かが条件判定される。例えば、その差分値をΔＰｉ（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ１｜＋｜ΔＰ２｜＋…＋｜ΔＰｎ｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして、入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ステップＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつ小ブロック（マクロブロック）単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００３５】
他方、図５中のステップＳＴ５において、上記ステップＳＴ４で算出した差分絶対値和Ｓが所定の閾値を超える場合は、ステップＳＴ７に処理が移行する。そして、入力フレームｆ１（キーフレーム）について、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００３６】
尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化（ステップＳＴ７）またはフレーム間符号化（ステップＳＴ６）を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣｂＣｒ座標系などを使用すればよい。例えば、ＹＣｂＣｒ座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃｂ，ＣｒとからなるＹＣｂＣｒ成分の座標系へと変換される。ＹＣｂＣｒ成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００３７】
フレーム内／フレーム間符号化処理（ステップＳＴ３、即ち、図５の処理）の実行後、図４中のステップＳＴ１９に処理が移行する。この際、上記ステップＳＴ６，ＳＴ７（図５）で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各小ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されて、ビットストリームとしてサーバ機１２ａに出力される。また、上記ステップＳＴ６，ＳＴ７（図５）で算出された量子化係数は、図４中のステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図４に示したキーフレームメモリ２０Ａに格納される。よって、キーフレームメモリ２０Ａには符号化（ＳＴ６，ＳＴ７）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は、後述する復号器１７で復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００３８】
次に、図３に示すように、上記フレームｆ１に続いてフレームｆ２が符号化器１６に入力される。そうすると、図４中のステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。図３において、フレームｆ２はキーフレームでは無い。したがって、図４においてはステップＳＴ９に処理が移行する。
【００３９】
ステップＳＴ９では、フレームｆ２は複数のブロック領域（ＧＯＢ）に分割される。ここで、ＧＯＢは、１フレームの画像において、例えば１６ラインまたは３２ライン分の領域で構成されており、例えば１６ラインの領域を１つのＧＯＢとした場合、６４０×４８０画素の画像だと、１フレームが３０（＝４８０／１６）個のＧＯＢに分割される。
【００４０】
次いで、ステップＳＴ１０において、これらＧＯＢの中から単数または複数の特定領域（キーＧＯＢ）が指定される。
【００４１】
ここで、図７（ａ）に、４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢ（「キーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器１６に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割されることになる。ただし、それぞれのキーＧＯＢとしては、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ４」）が指定される。これら、キーフレームｆ１及びキーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５は、図３に示すように、時間軸に沿って配列されることになる。
【００４２】
再びフレームｆ２の説明に戻る。この時点で、図４中のステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割した小ブロック毎に順次処理されることになる。ただし、このステップＳＴ１１では、処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなってサーバ機１２ａに出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ２１Ａに蓄積される。
【００４３】
このようにしてキーＧＯＢをフレーム内符号化する際には、各キーＧＯＢのデータの先頭に、キーＧＯＢであることを示すフラグを付与しておく。
【００４４】
また、ここでフレーム内符号化されたキーＧＯＢのデータは、揮発性メモリ（ＲＡＭ）等の所定のキーＧＯＢデータ記憶部（特定領域データ記憶部）１８に格納しておく。特にキーＧＯＢについては、クライアント１４に送信した後も、そのクライアント１４から再送要求が送られてくる可能性があるため、少なくともそのキーＧＯＢが含まれる周期の符号化が終了する時点、即ち、次のキーフレームが作成される際に開放される。
【００４５】
他方、上記ステップＳＴ１１において、ブロックがキーＧＯＢに属しない場合はステップＳＴ１４のフレーム内／フレーム間符号化処理に処理が移行する。ここで、図６はフレーム内／フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図６に示すように、まずステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ２０Ａに格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いで、ステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ２０Ａに格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。
【００４６】
このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図４に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなってサーバ機１２ａに出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００４７】
次に、図３において、上記フレームｆ２に続いて符号化器１６に入力するフレームｆ３，ｆ４，…も、キーフレームが入力される迄はフレームｆ２の場合と同様に処理される。ただし、上述のように、各フレームｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯＢ１〜キーＧＯＢ４）の位置は互いに異なっている。このようにして、上記ステップＳＴ１３で局部復号化されたキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ２１Ａにフレーム１枚分蓄積され、図３に模式的に図示するように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロックメモリ２１Ａ内において、参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００４８】
そして、符号化器１６で圧縮符号化された動画像（圧縮画像データ）は、サーバ機１２ａからネットワーク１３を通じてＵＤＰ等の所定のプロトコルでクライアント１４側へ送信される。
【００４９】
このように、上記ステップＳＴ３でキーブロックメモリ２１Ａに蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。
【００５０】
またキーブロックメモリ２１Ａでは複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。この実施の形態ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００５１】
＜復号化方法＞
次に、復号化方法を詳説する。図８は、この復号化方法を説明するための模式図、図９は、この復号化方法を実現するためのフローチャートである。
【００５２】
まず、図１及び図２の如く、サーバ１２側からネットワーク１３を通じて与えられた圧縮画像データが、ビットストリームデータとしてクライアント機１４ａに与えられ、復号器１７に入力される（図９中のステップＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。即ち、上記符号化器１６から所定の復号器１７に、図８に示したフレームｆ１，ｆ２，…の圧縮データが順次入力される。この際、図９中のステップＳＴ２１において、キーフレームｆ１の圧縮データに対して、図５のステップＳＴ４〜ＳＴ７に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、８×８画素や１６×１６画素程度の小ブロック単位で施される。ここで、図８中のキーフレームｆ１の圧縮データを復号化する際、予めキーブロックメモリ２１Ｂ（図９）に格納した参照フレームｆ０（図示省略）が利用される。ここで復号化したキーフレームｆ１は、キーフレームメモリ２０Ｂ（図９）に格納される。
【００５３】
また、図８において、キーフレームｆ１の圧縮データに続いて復号器１７に入力するフレームｆ２，ｆ３，…の圧縮データに対して、図４中のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、キーフレームメモリ２０Ｂに格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位である小ブロックがキーＧＯＢに属する場合は、当該小ブロックはキーブロックメモリ２１Ｂに蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡ（図３参照）が合成される。この合成された参照フレームＡは、復号器１７に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図７（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データを復号器１７に入力する場合、各キーＧＯＢを構成するブロックの圧縮データは、フレーム内復号化を施された後に、キーブロックメモリ２１Ｂに順次蓄積され、参照フレームＡを再構成する。
【００５４】
ところで、このように、ステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像として表示する場合、上記符号化器１６でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図９に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を実行する。
【００５５】
図１０は、ステップＳＴ２２のキーＧＯＢ再量子化処理のサブルーチンの処理手順を示すフローチャートである。図１０に示すように、先ず８×８画素または１６×１６画素程度の小ブロックが入力される（ステップＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定される。具体的に、このステップＳＴ３１では、データの先頭にキーＧＯＢであることを示すフラグがあるか否かをもって、当該データがキーＧＯＢであるか否かを判断する。
【００５６】
ここで、当該ブロックがキーＧＯＢに属しない場合は、当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図９に示すステップＳＴ２３に処理が移行する。
【００５７】
他方、ステップＳＴ３１において、当該ブロックがキーＧＯＢに属すると判断された場合は、続いてステップＳＴ３１ａにおいて、そのキーＧＯＢにエラーがあるか否かを判断する。このステップＳＴ３１ａでのエラー判定方法としては、例えば、復号中の可変長符号が予め保有している符号表に存在しているかどうか判断し、符号表中に存在していない場合に、当該キーＧＯＢ上に伝送によるエラーが発生した旨を判定する。あるいは、キーＧＯＢ内のマクロブロックの数が、予め定められた個数と異なるという矛盾が生じた場合に、当該キーＧＯＢ上に伝送によるエラーがに発生した旨を判定してもよい。そのほか、符号化器１６側で、キーＧＯＢのデータの先頭部分に誤り検出符号を付しておき、この符号が正常なものかどうかを判断するなど、通常知られているどのようなエラー検出方法を採用してもよく、これらの複数のエラー検出方法を組み合わせて採用してもよい。
【００５８】
このステップＳＴ３１ａで、エラーがあると判定された場合は、ステップＳＴ３１ｂに進み、キーＧＯＢの再送要求を行う（図２中のステップＳ４）。このときのキーＧＯＢの再送方法は後述する。
【００５９】
一方、このステップＳＴ３１ａで、エラーがないと判定された場合は、ステップＳＴ３２に処理が移行し、キーフレームメモリ２０Ｂに蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。
【００６０】
次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図９に示すステップＳＴ２３に処理が移行する。
【００６１】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合は、ステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器１６で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。
【００６２】
その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器１６でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号器１７でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。
【００６３】
次に、ステップＳＴ３８でキーフレームメモリ２０Ｂに格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００６４】
このキーＧＯＢ再量子化処理を施されたブロックは、図９に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。
【００６５】
以上のキーＧＯＢ再量子化工程を図７に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ２０Ｂに格納したキーフレームとの差分をとられる。
【００６６】
次に、上記ステップＳＴ３３でその差分値の差分絶対値和Ｓが閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００６７】
このようにして、圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器１６でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号器１７でその符号化信号を復号化した場合と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００６８】
＜キーＧＯＢの再送方法＞
次に、上記のステップＳＴ３１ａ（図１０）において、クライアント１４側で受信したキーＧＯＢにエラーが検出された場合の手順について説明する。
【００６９】
まず、図２中のステップＳ３及び図１０中のステップＳＴ３１ａにおいて、復号器１７に与えられたキーＧＯＢにエラーが検出されると、その旨の信号が復号器１７からクライアント機１４ａに通知される。クライアント機１４ａは、図２中のステップＳ４において、ネットワーク１３を通じて、キーＧＯＢの再送要求をサーバ１２側に送信する。
【００７０】
この再送要求を受信したサーバ機１２ａは、図２中のステップＳ５のような圧縮フレームデータの送信を実行する合間に、キーＧＯＢデータ記憶部１８内に格納されているキーＧＯＢを読み出して、図２中のステップＳ６，Ｓ７のように、ネットワーク１３を通じてクライアント機１４ａに再送する。
【００７１】
クライアント機１４ａは、正常なキーＧＯＢのデータを受信し、これを復号器１７に出力する。そして復号器１７は、図２中のステップＳ８において、受信した正常なキーＧＯＢについて、上述した図９中のステップＳＴ２０〜ＳＴ２３（図１０中のステップＳＴ３０〜ＳＴ３８を含む）の処理を再度実行する。
【００７２】
ここで、クライアント１４側の処理においては、或るキーＧＯＢを受信して復号してから、次のキーフレームとなるフレームをサーバ１２側から受信するまでにかなりの時間差が生じる。この時間差を利用し、キーＧＯＢにエラーが検出されたときに、クライアント１４側からサーバ１２側へキーＧＯＢの再送要求を送信し、続けて正常なキーＧＯＢの再送を行う。これにより、通信処理の効率を大きく妨げることなく、エラーの伝播を防ぐことが可能となる。
【００７３】
尚、再送の対象をキーＧＯＢに限定したのは次の理由による。即ち、上記した復号化方法においては、復号器１７においては、復号器は１フレーム分のキーＧＯＢである参照フレームを参照してキーフレームを復号し、さらにそれを参照して各フレームを復号していく。そのため、もしキーＧＯＢにエラーが発生すると、そのキーＧＯＢを含むフレームだけでなく、エラーが発生したキーＧＯＢを参照して復号されるキーフレームやそのキーフレームを参照して復号される後続のフレームにまで次々と影響を及ぼすことになり、このエラーの影響は次のキーフレームが復号されるまで続く。即ち、キーＧＯＢ内に発生したエラーは、他のＧＯＢに発生したエラーよりも圧倒的に悪影響が大きいと言える。したがって、このキーＧＯＢの再送を確実に行うことは、他のＧＯＢの再送を行うよりも動画像の品質の向上に寄与する度合いが高いと言える。また、監視映像のように動きが少ない動画像の場合、フレーム間符号化したデータのサイズは限りなくゼロ値に近くなり、フレーム内符号化したデータのサイズに比べて極めて小さい。即ち、各フレームにおいて、キーＧＯＢのデータサイズはキーＧＯＢ以外のＧＯＢのデータサイズよりも圧倒的に大きくなる。このことから、キーＧＯＢを含むフレームのデータ量の中では、キーＧＯＢの符号量が大半を占めることになる。このため、各フレームにおいてパケット落ちによるバイト欠落やビット反転によるエラー等が生じる部分は、キーＧＯＢ内である確率が極めて高い。したがって、エラーの検出対象としてキーＧＯＢのみを対象とし、また再送の対象をキーＧＯＢに限定するだけで、かなり大きな確率で動画像の品質を保つことが可能となる。
【００７４】
しかる後、図２中のステップＳ９，Ｓ１０のように、後続するフレームデータについての送受信を繰り返し実行すればよい。
【００７５】
以上のように、インターネット上で例えばＵＤＰによりデータを送受信する場合のように、そのままでは通信エラー時の再送が行われる仕組みとはなっていない場合においても、キーＧＯＢの再送要求を速やかに行うことができ、動画像の再生品質を極めて高い確率で向上できる。しかも、全てのデータについてエラー検出及び再送を行うのではなく、キーＧＯＢに限定してエラー検出及び再送を行うので、例えば次のキーフレームとなるフレームをサーバ１２側から受信するまでに生じた時間差を利用して、ストリーミングデータの送受信に支障を来さないようにキーＧＯＢの再送を行うことができ、よって、サーバ１２及びクライアント１４の処理負荷を可及的に低く維持でき、また、送受信データのデータ量を抑制することで、速やかな送受信を実現できる。
【００７６】
尚、上記実施の形態では、インターネット上で例えばＵＤＰによりデータを送受信する場合を例示して説明したが、例えばＴＣＰ／ＩＰのように、エラー時の再送要求がある場合に適用しても差し支えない。この場合であっても、再送される信号をキーＧＯＢに限定する点で、信号の全てを送信する場合に比べて通信データ量の軽減化を実現できる。
【００７７】
また、上記実施の形態では、クライアント１４側において、送信されてきた動画像をモニタ装置１５に表示する例を説明したが、これに代えてまたはこれに加えて、クライアント１４側において、動画像を所定の記録装置に蓄積的に記録するようしても差し支えない。
【００７８】
さらに、上記実施の形態では、送信局として「サーバ」という用語を、受信局として「クライアント」という用語を使用したが、必ずしもこれに拘泥されるものではなく、例えば各地域に分散された撮像カメラで撮像された動画像を集中センターで集中的に管理する場合には、送信局として「クライアント」を、受信局として「サーバ」をそれぞれ適用してもよいことは勿論である。
【００７９】
【発明の効果】
請求項１、請求項４及び請求項５に記載の発明によれば、受信局において、エラー時の動画像の劣化に影響度の高い特定領域のデータの再送要求を行うようにしているので、動画像の画質を飛躍的に向上できる。そして、再送要求の対象を特定領域とすることで、その他の領域の再送を行わずに、例えば次のキーフレームとなるフレームを受信するまでの時間差を利用するなどして再送を行うことができ、トラフィックを阻害することなく、動画像の画質を効率よく向上できる。
【００８０】
請求項２請求項４及び請求項５に記載の発明によれば、送信局において特定領域のデータを特定領域データ記憶部に記憶させているので、受信局から特定領域のデータの再送要求があった際に、その特定領域のデータを特定領域データ記憶部から読み出すだけで、効率よく特定領域のデータを受信局に再送できる。
【００８１】
請求項３に記載の発明によれば、送信局側の撮像カメラで撮像された動画像を受信局側に送信するようなストリーミングデータの場合に、フレーム内符号化処理量が時間的に分散されて、送信局及び受信局双方の処理負荷が時間的に平坦化するとともに、送信局と受信局との間の伝送路における通信負荷も低減できる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態で使用される動画像送受信システムの基本的構成を示すブロック図である。
【図２】この発明の一の実施の形態に係る動画像送受信システムの動画像送受信方法を説明するためのフローチャートである。
【図３】この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
【図４】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図５】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図６】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図７】４つのブロック領域に分割された各フレームを示す説明図である。
【図８】この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
【図９】この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
【図１０】再量子化処理を説明するためのフローチャートである。
【図１１】従来の動画像送受信システムの概要を示す概念図である。
【図１２】従来の動画像送受信システムを示すブロック図である。
【図１３】従来の符号化方法を説明するためのフローチャートである。
【図１４】従来の符号化方法を説明するためのフローチャートである。
【符号の説明】
１１ 撮像カメラ
１２ サーバ
１２ａ サーバ機
１３ ネットワーク
１４ クライアント
１４ａ クライアント機
１５ モニタ装置
１６ 符号化器
１７ 復号器
１８ キーＧＯＢデータ記憶部
【発明の属する技術分野】
この発明は、圧縮符号化された動画像を送受信する動画像送受信システム及びそれに関連する技術に関する。
【０００２】
【従来の技術】
一般に、動画像を遠隔地に送信することが行われている。例えば、図１１の如く、監視対象に向けて撮像カメラ１を設置しておき、この撮像カメラ１で撮像された監視映像（動画像）を、サーバ２からネットワーク３を通じて遠隔地のクライアント４に送信し、このクライアント４側のモニタ装置５で監視映像を監視する。
【０００３】
ところで、ネットワーク３を通じて動画像を送信する場合、通信速度や記録時のデータ容量を考慮すると、動画像を圧縮符号化してデータサイズを低減することが望ましい。即ち、図１１及び図１２の如く、例えば撮像カメラ１で撮像した動画像を符号化器６で圧縮符号化し、サーバ２からネットワーク３を通じて遠隔地のクライアント４に送信する。クライアント４側では、サーバ２から与えられた圧縮符号化された動画像を復号器７で復号し、モニタ装置５に表示する。
【０００４】
このような監視映像等の動画像を圧縮符号化する方法としては、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法（第１従来技術）が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内（イントラ）符号化に適用される。また動き補償予測符号化（フレーム間（インター）符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化（フレーム間符号化）の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００５】
図１３を参照しつつ従来の差分符号化方式の概略を説明する。撮像カメラ１から順次出力される複数のフレームｆ１，ｆ２，…は、符号化器６（図１１及び図１２）に順次入力される。このように、符号化器６に各フレームｆｎ（ｎ＝１，２，…）が入力されると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。即ち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３で、その量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成され、ビットストリームにされて出力される。また、上述のステップＳＴ１０２で算出された量子化係数が、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００６】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力されると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定される。フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６で、その差分値が所定範囲内か否かが判定される。その差分値が所定範囲内にある場合は、ステップＳＴ１０７でフレーム間（インター）符号化、即ちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合は、ステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後に、サーバ２を通じてネットワーク３へ出力される。
【０００７】
このようなビットストリームの復号化処理の例を図１４を参照しつつ以下に説明する。上記したビットストリームがネットワーク３を通じてクライアント４側に入力されると（ＳＴ１１０）、復号器７において、このビットストリームから圧縮符号化信号が取り出され、可変長復号化されて上記量子化係数が得られる。続くステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されて所定のキーフレームメモリ１０１に蓄積される。そしてステップＳＴ１０８において、その量子化係数がフレーム内符号化されていた場合は、その復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が、モニタ装置５に表示される（ＳＴ１１２）。
【０００８】
このようなＭＰＥＧ方式に代表される動画像の圧縮符号化方式では、フレーム間の差分情報の圧縮をとることで高い圧縮効率を得ることができる。
【０００９】
この他、ＭｏｔｉｏｎＪＰＥＧ方式のように、静止画像の圧縮方式（フレーム内符号化方式）を採用し、かかる静止画像を時系列的に切り替えて表示することで、見かけ上、動画像のように再生する方式（第２従来技術）もある。
【００１０】
【発明が解決しようとする課題】
上記した第１従来技術に係る差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【００１１】
また、第２従来技術に係る差分符号化方式では、全てのフレームについてにフレーム内符号化を行っているため、データサイズが大きくなり、その結果、動画像の連続的な送受信が困難であるため、フレームレートが減少するという問題があった。
【００１２】
そこで、本出願人は、特願２０００−３６８５１０において、ストリーミングデータの送受信に際し、各フレーム間のデータサイズの不均衡を可及的に軽減する差分符号化方式（提案例）を提案している。
【００１３】
この提案例では、撮像カメラ１から与えられる動画像の各フレームの画像を複数のブロック（ＧＯＢ＝Group of Block）に分割し、各フレーム毎にそれぞれ振り分けられた特定のブロック（キーＧＯＢ）についてフレーム内符号化を行う一方、その特定のブロック（キーＧＯＢ）以外のブロック（ＧＯＢ）についてフレーム間符号化を行うようにする。こうして一定のフレーム数の動画像が符号化されて、上記したキーＧＯＢを繋ぎ合わせて画像全体の領域に相当するデータ量が得られた時点で、このキーＧＯＢを繋ぎ合わせた画像を参照フレームとし、この参照フレームに基づく画像全体の経時的差分データを生成する。この経時的差分データに基づいて復号化される画像をキーフレームとする。そして、その次にフレーム間符号化する際には、このキーフレームに基づいてフレーム間符号化を行うようにする。
【００１４】
これにより、キーフレーム以外のフレームを送受信する際には、一部のブロック（キーＧＯＢ）のみをフレーム内符号化することになるため、フレーム間符号化したデータのみを送受信する第１従来技術に係る差分符号化方式に比べてデータサイズが若干増大するものの、キーフレームの送信時には、時系列差分データを送信するだけでよく、キーフレーム全体につきフレーム内符号化したデータを送信していた第１従来技術に係る差分符号化方式に比べて、キーフレームの送信データ量を大幅に削減できる。したがって、ストリーミングデータの送受信において、第１従来技術で最も問題となっていたキーフレームの符号化処理量の急激な増大を抑制することができ、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にすることが可能となる。
【００１５】
ところで、近年、通信技術の向上とコンピュータ機器の普及に伴って、インターネットを通じたデータの送受信が、活発に行われている。したがって、遠隔地に動画像を送受信する場合においても、インターネットの通信基盤を活用して送受信を行うことが、通信コスト及び設備コストを低減する上で望ましいと考えられている。
【００１６】
ここで、インターネットを通じたデータ送受信のプロトコルとしては、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）やＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等がある。このうち、ＴＣＰ／ＩＰが採用しているＴＣＰは、誤り検出、再送及びフロー制御等の上位処理を行うものであり、何らかの通信エラーがあったときには必ず再送するようになっている。これに対して、ＵＤＰは、主としてパケット伝送を行う下位処理のプロトコルのＩＰをほとんどそのまま採用しただけのものであり、故に、このＵＤＰでデータを送受信する場合、そのままでは通信エラー時の再送が行われる仕組みとはなっていない。
【００１７】
しかしながら、上述した提案例にかかる符号化方式で動画像を送受信する場合は、例えばキーＧＯＢの送受信時に何らかの通信エラーがあった場合であっても、ＵＤＰを採用した場合は、そのままではそのキーＧＯＢが再送されることがなく、後続するフレームの再生に重大な損失を与え、後の動画像をクライアント４側で再生不能となる事態が生じ得る。
【００１８】
即ち、キーＧＯＢにエラーが発生すると、そのキーＧＯＢを含むフレームだけでなく、エラーが発生したフレームを参照して復号されるキーフレームやそのキーフレームを参照して復号される後続のフレームにまで大きな影響を及ぼす。このエラーの影響は、次のキーフレームが復号されるまで続く。またキーＧＯＢを含むフレームの符号量の中では、キーＧＯＢの符号量が大半を占めているので、キーＧＯＢの符号でパケット落ちによるバイト欠落やビット反転によるエラーが発生する確率が大きくなる。
【００１９】
このような問題に鑑みてこの発明が解決しようとするところは、動画像を高い圧縮率で効率よく送受信しつつ、通信エラーがあっても速やかに対処し得る動画像送受信システム及びそれに関連する技術を提供する点にある。
【００２０】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、動画像を圧縮符号化して送信する送信局と、前記送信局で圧縮符号化されネットワークを通じて与えられた前記動画像のデータを受信する受信局とを備え、前記送信局が、前記動画像の複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域を前記他のフレーム内の情報のみで圧縮符号化する一方、前記第１の差分が所定より小さい場合に前記差分信号を圧縮符号化し、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームを前記フレーム内の情報のみで圧縮符号化する一方、前記第２の差分が所定より小さい場合に前記差分信号を圧縮符号化する符号化手段と、前記符号化手段から与えられた圧縮符号化された動画像のデータを前記ネットワークに送出するデータ送出手段とを備え、前記受信局が、前記ネットワークを通じて前記データ送出手段から与えられた圧縮符号化された前記動画像のデータを受信する受信手段と、前記受信手段で受信した圧縮符号化された前記動画像のデータを復号化する復号化手段とを備え、前記受信手段の前記復号化手段が、前記動画像のデータのうちの前記特定領域のエラーの有無を検出し、前記受信手段が、前記復号化手段で前記特定領域にエラーが有る旨を検出したときに、当該特定領域の再送要求を前記ネットワークを通じて前記送信局に送信し、前記送信局が、前記受信手段から前記ネットワークを通じて前記特定領域の前記再送要求が与えられた際に、前記特定領域を前記受信手段に再送するものである。
【００２１】
請求項２に記載の発明は、請求項１に記載の動画像送受信システムであって、前記送信局が、前記動画像のデータを前記受信手段に送信する際に、再送要求に備えて前記特定領域を一時的に格納する特定領域データ記憶部を有するものである。
【００２２】
請求項３に記載の発明は、請求項１または請求項２に記載の動画像送受信システムであって、前記送信局が、所定の撮像対象を撮像する撮像カメラを有し、前記受信局が、前記撮像カメラで撮像された動画像を表示または記録するものである。
【００２３】
請求項４に記載の発明は、ａ）送信局において、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有せしめ、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域を前記他のフレーム内の情報のみで圧縮符号化する一方、前記第１の差分が所定より小さい場合に前記差分信号を圧縮符号化し、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームを前記フレーム内の情報のみで圧縮符号化する一方、前記第２の差分が所定より小さい場合に前記差分信号を圧縮符号化する工程と、ｂ）前記送信局において、前記特定領域のデータを所定の特定領域データ記憶部内に記憶する工程と、ｃ）前記送信局において、前記ａ）の工程で圧縮符号化された動画像のデータを受信局に送信する工程と、ｄ）前記受信局において、前記ｃ）の工程で送信された前記動画像のデータのうち、前記特定領域のデータのエラーの有無を検出する工程と、ｅ）前記ｄ）の工程で前記特定領域のデータにエラーがある旨を検出した場合に、前記受信局が、前記送信局に対して前記特定領域のデータの再送要求を行う工程と、ｆ）前記送信局において、前記ｅ）の工程で前記受信局から与えられた再送要求に応じて、前記特定領域データ記憶部内に記憶された前記特定領域のデータを前記受信局に対して再送する工程とを備える。
【００２４】
請求項５に記載の発明は、請求項４に記載の動画像送受信方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００２５】
【発明の実施の形態】
＜動画像送受信システムの基本的概念＞
まず、この発明の一の実施の形態に使用する動画像送受信システムの基本的概念について説明する。この動画像送受信システムは、図１の如く、例えば撮像カメラ１１で撮像した監視映像等の動画像を符号化器１６で圧縮符号化し、この動画像（圧縮フレームデータ）を、図２中のステップＳ１，Ｓ２のように送信局としてのサーバ１２（サーバ機１２ａ）からネットワーク１３を通じて遠隔地の受信局としてのクライアント１４（クライアント機１４ａ）に送信する。クライアント１４側では、サーバ１２から与えられた圧縮符号化された動画像（圧縮フレームデータ）を復号器１７で復号し、モニタ装置１５に表示する。
【００２６】
この復号器１７での復号処理において、与えられた動画像のうちキーＧＯＢについてエラー検出を行い、図２中のステップＳ３のようにキーＧＯＢにエラーが発見された場合には、クライアント１４を通じてキーＧＯＢの再送要求をサーバ１２に送信する（図２中のステップＳ４）。サーバ１２では、圧縮フレームデータを送信している途中であっても（図２中のステップＳ５）、クライアント１４から与えられた再送要求に応じて、ステップＳ６，Ｓ７のように、エラーのあったキーＧＯＢをクライアント１４側に再送する。クライアント１４側の復号器１７では、ステップＳ８において、再送された正常なキーＧＯＢを受信し、この正常なキーＧＯＢを用いて復号処理を行う。しかる後、ステップＳ９及びステップＳ１０のように、通常通りに、クライアント１４側から圧縮フレームデータ及びキーフレームデータを順次送信する。
【００２７】
ここで、サーバ機（データ送出手段）１２ａ及びクライアント機１４ａは、ＲＡＭ、ＲＯＭ、ハードディスクドライブ等の所定のデータ記録装置及び中央演算処理装置（ＣＰＵ）を備えたコンピュータ機器が利用され、中央演算処理装置により、データ記録装置に格納された圧縮画像データを管理し、また動画像の送受信に応じた再生を行うための圧縮画像データの処理順序を決定する。この中央演算処理装置の動作手順は、データ記録装置内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って、以下の各方法を実行するようになっている。
【００２８】
＜圧縮符号化方法＞
上記の動画像送受信システムを使用した圧縮符号化方法を詳説する。図３は、この圧縮符号化方法を説明するための模式図、図４は、この圧縮符号化方法を実現するためのフローチャートである。
【００２９】
この実施の形態の圧縮符号化方法は、符号化器（符号化手段）１６（図１及び図２）において、直前のフレームを基準として差分をとるＭＰＥＧ方式とは異なり、図３のように、基準フレームを固定して圧縮するものであり、これにより、再生時の間引きや逆の時間方向への再生を比較的に容易に行っている。
【００３０】
この圧縮符号化方法では、図３の如く、例えば、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像カメラ１で時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が符号化器１６に入力される（図４中のステップＳＴ１）。尚、図４中のキーブロックメモリ２１Ａには、フレームｆ１が入力される前に、所定の特定領域（キーＧＯＢ）をそのまま繋ぎ合わせて構成される参照フレームｆ０（図示省略）が格納されている。この参照フレームｆ０は、後述する復号器（復号化手段）１７のキーブロックメモリ２１Ｂに圧縮伝送された後、復号化されて格納されることになる。
【００３１】
そして、この圧縮符号化方法で使用される符号化器１６は、入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定するようになっており、図３においては、入力フレームｆ１がキーフレームとなっている。
【００３２】
図４中のステップＳＴ２において、その入力フレームｆ１がキーフレームか否かを条件判定する。図３においては、フレームｆ１は上述のようにキーフレームであるから、そのままステップＳＴ３に処理が移行し、フレーム内（イントラ）／フレーム間（インター）符号化処理を実行する。
【００３３】
このステップＳＴ３の処理手順を図５に示している。図５に示すように、ステップＳＴ４でキーブロックメモリ２１Ａに格納した参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとが算出される。
【００３４】
次いで、図５中のステップＳＴ５で、差分絶対値和が所定の閾値以下か否かが条件判定される。例えば、その差分値をΔＰｉ（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ１｜＋｜ΔＰ２｜＋…＋｜ΔＰｎ｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして、入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ステップＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつ小ブロック（マクロブロック）単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００３５】
他方、図５中のステップＳＴ５において、上記ステップＳＴ４で算出した差分絶対値和Ｓが所定の閾値を超える場合は、ステップＳＴ７に処理が移行する。そして、入力フレームｆ１（キーフレーム）について、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００３６】
尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化（ステップＳＴ７）またはフレーム間符号化（ステップＳＴ６）を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣｂＣｒ座標系などを使用すればよい。例えば、ＹＣｂＣｒ座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃｂ，ＣｒとからなるＹＣｂＣｒ成分の座標系へと変換される。ＹＣｂＣｒ成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００３７】
フレーム内／フレーム間符号化処理（ステップＳＴ３、即ち、図５の処理）の実行後、図４中のステップＳＴ１９に処理が移行する。この際、上記ステップＳＴ６，ＳＴ７（図５）で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各小ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されて、ビットストリームとしてサーバ機１２ａに出力される。また、上記ステップＳＴ６，ＳＴ７（図５）で算出された量子化係数は、図４中のステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図４に示したキーフレームメモリ２０Ａに格納される。よって、キーフレームメモリ２０Ａには符号化（ＳＴ６，ＳＴ７）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は、後述する復号器１７で復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００３８】
次に、図３に示すように、上記フレームｆ１に続いてフレームｆ２が符号化器１６に入力される。そうすると、図４中のステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。図３において、フレームｆ２はキーフレームでは無い。したがって、図４においてはステップＳＴ９に処理が移行する。
【００３９】
ステップＳＴ９では、フレームｆ２は複数のブロック領域（ＧＯＢ）に分割される。ここで、ＧＯＢは、１フレームの画像において、例えば１６ラインまたは３２ライン分の領域で構成されており、例えば１６ラインの領域を１つのＧＯＢとした場合、６４０×４８０画素の画像だと、１フレームが３０（＝４８０／１６）個のＧＯＢに分割される。
【００４０】
次いで、ステップＳＴ１０において、これらＧＯＢの中から単数または複数の特定領域（キーＧＯＢ）が指定される。
【００４１】
ここで、図７（ａ）に、４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢ（「キーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器１６に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割されることになる。ただし、それぞれのキーＧＯＢとしては、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ４」）が指定される。これら、キーフレームｆ１及びキーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５は、図３に示すように、時間軸に沿って配列されることになる。
【００４２】
再びフレームｆ２の説明に戻る。この時点で、図４中のステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割した小ブロック毎に順次処理されることになる。ただし、このステップＳＴ１１では、処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなってサーバ機１２ａに出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ２１Ａに蓄積される。
【００４３】
このようにしてキーＧＯＢをフレーム内符号化する際には、各キーＧＯＢのデータの先頭に、キーＧＯＢであることを示すフラグを付与しておく。
【００４４】
また、ここでフレーム内符号化されたキーＧＯＢのデータは、揮発性メモリ（ＲＡＭ）等の所定のキーＧＯＢデータ記憶部（特定領域データ記憶部）１８に格納しておく。特にキーＧＯＢについては、クライアント１４に送信した後も、そのクライアント１４から再送要求が送られてくる可能性があるため、少なくともそのキーＧＯＢが含まれる周期の符号化が終了する時点、即ち、次のキーフレームが作成される際に開放される。
【００４５】
他方、上記ステップＳＴ１１において、ブロックがキーＧＯＢに属しない場合はステップＳＴ１４のフレーム内／フレーム間符号化処理に処理が移行する。ここで、図６はフレーム内／フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図６に示すように、まずステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ２０Ａに格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いで、ステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ２０Ａに格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。
【００４６】
このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図４に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなってサーバ機１２ａに出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００４７】
次に、図３において、上記フレームｆ２に続いて符号化器１６に入力するフレームｆ３，ｆ４，…も、キーフレームが入力される迄はフレームｆ２の場合と同様に処理される。ただし、上述のように、各フレームｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯＢ１〜キーＧＯＢ４）の位置は互いに異なっている。このようにして、上記ステップＳＴ１３で局部復号化されたキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ２１Ａにフレーム１枚分蓄積され、図３に模式的に図示するように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロックメモリ２１Ａ内において、参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００４８】
そして、符号化器１６で圧縮符号化された動画像（圧縮画像データ）は、サーバ機１２ａからネットワーク１３を通じてＵＤＰ等の所定のプロトコルでクライアント１４側へ送信される。
【００４９】
このように、上記ステップＳＴ３でキーブロックメモリ２１Ａに蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。
【００５０】
またキーブロックメモリ２１Ａでは複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。この実施の形態ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００５１】
＜復号化方法＞
次に、復号化方法を詳説する。図８は、この復号化方法を説明するための模式図、図９は、この復号化方法を実現するためのフローチャートである。
【００５２】
まず、図１及び図２の如く、サーバ１２側からネットワーク１３を通じて与えられた圧縮画像データが、ビットストリームデータとしてクライアント機１４ａに与えられ、復号器１７に入力される（図９中のステップＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。即ち、上記符号化器１６から所定の復号器１７に、図８に示したフレームｆ１，ｆ２，…の圧縮データが順次入力される。この際、図９中のステップＳＴ２１において、キーフレームｆ１の圧縮データに対して、図５のステップＳＴ４〜ＳＴ７に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、８×８画素や１６×１６画素程度の小ブロック単位で施される。ここで、図８中のキーフレームｆ１の圧縮データを復号化する際、予めキーブロックメモリ２１Ｂ（図９）に格納した参照フレームｆ０（図示省略）が利用される。ここで復号化したキーフレームｆ１は、キーフレームメモリ２０Ｂ（図９）に格納される。
【００５３】
また、図８において、キーフレームｆ１の圧縮データに続いて復号器１７に入力するフレームｆ２，ｆ３，…の圧縮データに対して、図４中のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、キーフレームメモリ２０Ｂに格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位である小ブロックがキーＧＯＢに属する場合は、当該小ブロックはキーブロックメモリ２１Ｂに蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡ（図３参照）が合成される。この合成された参照フレームＡは、復号器１７に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図７（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データを復号器１７に入力する場合、各キーＧＯＢを構成するブロックの圧縮データは、フレーム内復号化を施された後に、キーブロックメモリ２１Ｂに順次蓄積され、参照フレームＡを再構成する。
【００５４】
ところで、このように、ステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像として表示する場合、上記符号化器１６でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図９に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を実行する。
【００５５】
図１０は、ステップＳＴ２２のキーＧＯＢ再量子化処理のサブルーチンの処理手順を示すフローチャートである。図１０に示すように、先ず８×８画素または１６×１６画素程度の小ブロックが入力される（ステップＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定される。具体的に、このステップＳＴ３１では、データの先頭にキーＧＯＢであることを示すフラグがあるか否かをもって、当該データがキーＧＯＢであるか否かを判断する。
【００５６】
ここで、当該ブロックがキーＧＯＢに属しない場合は、当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図９に示すステップＳＴ２３に処理が移行する。
【００５７】
他方、ステップＳＴ３１において、当該ブロックがキーＧＯＢに属すると判断された場合は、続いてステップＳＴ３１ａにおいて、そのキーＧＯＢにエラーがあるか否かを判断する。このステップＳＴ３１ａでのエラー判定方法としては、例えば、復号中の可変長符号が予め保有している符号表に存在しているかどうか判断し、符号表中に存在していない場合に、当該キーＧＯＢ上に伝送によるエラーが発生した旨を判定する。あるいは、キーＧＯＢ内のマクロブロックの数が、予め定められた個数と異なるという矛盾が生じた場合に、当該キーＧＯＢ上に伝送によるエラーがに発生した旨を判定してもよい。そのほか、符号化器１６側で、キーＧＯＢのデータの先頭部分に誤り検出符号を付しておき、この符号が正常なものかどうかを判断するなど、通常知られているどのようなエラー検出方法を採用してもよく、これらの複数のエラー検出方法を組み合わせて採用してもよい。
【００５８】
このステップＳＴ３１ａで、エラーがあると判定された場合は、ステップＳＴ３１ｂに進み、キーＧＯＢの再送要求を行う（図２中のステップＳ４）。このときのキーＧＯＢの再送方法は後述する。
【００５９】
一方、このステップＳＴ３１ａで、エラーがないと判定された場合は、ステップＳＴ３２に処理が移行し、キーフレームメモリ２０Ｂに蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。
【００６０】
次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図９に示すステップＳＴ２３に処理が移行する。
【００６１】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合は、ステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器１６で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。
【００６２】
その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器１６でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号器１７でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。
【００６３】
次に、ステップＳＴ３８でキーフレームメモリ２０Ｂに格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００６４】
このキーＧＯＢ再量子化処理を施されたブロックは、図９に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。
【００６５】
以上のキーＧＯＢ再量子化工程を図７に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ２０Ｂに格納したキーフレームとの差分をとられる。
【００６６】
次に、上記ステップＳＴ３３でその差分値の差分絶対値和Ｓが閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００６７】
このようにして、圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器１６でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号器１７でその符号化信号を復号化した場合と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００６８】
＜キーＧＯＢの再送方法＞
次に、上記のステップＳＴ３１ａ（図１０）において、クライアント１４側で受信したキーＧＯＢにエラーが検出された場合の手順について説明する。
【００６９】
まず、図２中のステップＳ３及び図１０中のステップＳＴ３１ａにおいて、復号器１７に与えられたキーＧＯＢにエラーが検出されると、その旨の信号が復号器１７からクライアント機１４ａに通知される。クライアント機１４ａは、図２中のステップＳ４において、ネットワーク１３を通じて、キーＧＯＢの再送要求をサーバ１２側に送信する。
【００７０】
この再送要求を受信したサーバ機１２ａは、図２中のステップＳ５のような圧縮フレームデータの送信を実行する合間に、キーＧＯＢデータ記憶部１８内に格納されているキーＧＯＢを読み出して、図２中のステップＳ６，Ｓ７のように、ネットワーク１３を通じてクライアント機１４ａに再送する。
【００７１】
クライアント機１４ａは、正常なキーＧＯＢのデータを受信し、これを復号器１７に出力する。そして復号器１７は、図２中のステップＳ８において、受信した正常なキーＧＯＢについて、上述した図９中のステップＳＴ２０〜ＳＴ２３（図１０中のステップＳＴ３０〜ＳＴ３８を含む）の処理を再度実行する。
【００７２】
ここで、クライアント１４側の処理においては、或るキーＧＯＢを受信して復号してから、次のキーフレームとなるフレームをサーバ１２側から受信するまでにかなりの時間差が生じる。この時間差を利用し、キーＧＯＢにエラーが検出されたときに、クライアント１４側からサーバ１２側へキーＧＯＢの再送要求を送信し、続けて正常なキーＧＯＢの再送を行う。これにより、通信処理の効率を大きく妨げることなく、エラーの伝播を防ぐことが可能となる。
【００７３】
尚、再送の対象をキーＧＯＢに限定したのは次の理由による。即ち、上記した復号化方法においては、復号器１７においては、復号器は１フレーム分のキーＧＯＢである参照フレームを参照してキーフレームを復号し、さらにそれを参照して各フレームを復号していく。そのため、もしキーＧＯＢにエラーが発生すると、そのキーＧＯＢを含むフレームだけでなく、エラーが発生したキーＧＯＢを参照して復号されるキーフレームやそのキーフレームを参照して復号される後続のフレームにまで次々と影響を及ぼすことになり、このエラーの影響は次のキーフレームが復号されるまで続く。即ち、キーＧＯＢ内に発生したエラーは、他のＧＯＢに発生したエラーよりも圧倒的に悪影響が大きいと言える。したがって、このキーＧＯＢの再送を確実に行うことは、他のＧＯＢの再送を行うよりも動画像の品質の向上に寄与する度合いが高いと言える。また、監視映像のように動きが少ない動画像の場合、フレーム間符号化したデータのサイズは限りなくゼロ値に近くなり、フレーム内符号化したデータのサイズに比べて極めて小さい。即ち、各フレームにおいて、キーＧＯＢのデータサイズはキーＧＯＢ以外のＧＯＢのデータサイズよりも圧倒的に大きくなる。このことから、キーＧＯＢを含むフレームのデータ量の中では、キーＧＯＢの符号量が大半を占めることになる。このため、各フレームにおいてパケット落ちによるバイト欠落やビット反転によるエラー等が生じる部分は、キーＧＯＢ内である確率が極めて高い。したがって、エラーの検出対象としてキーＧＯＢのみを対象とし、また再送の対象をキーＧＯＢに限定するだけで、かなり大きな確率で動画像の品質を保つことが可能となる。
【００７４】
しかる後、図２中のステップＳ９，Ｓ１０のように、後続するフレームデータについての送受信を繰り返し実行すればよい。
【００７５】
以上のように、インターネット上で例えばＵＤＰによりデータを送受信する場合のように、そのままでは通信エラー時の再送が行われる仕組みとはなっていない場合においても、キーＧＯＢの再送要求を速やかに行うことができ、動画像の再生品質を極めて高い確率で向上できる。しかも、全てのデータについてエラー検出及び再送を行うのではなく、キーＧＯＢに限定してエラー検出及び再送を行うので、例えば次のキーフレームとなるフレームをサーバ１２側から受信するまでに生じた時間差を利用して、ストリーミングデータの送受信に支障を来さないようにキーＧＯＢの再送を行うことができ、よって、サーバ１２及びクライアント１４の処理負荷を可及的に低く維持でき、また、送受信データのデータ量を抑制することで、速やかな送受信を実現できる。
【００７６】
尚、上記実施の形態では、インターネット上で例えばＵＤＰによりデータを送受信する場合を例示して説明したが、例えばＴＣＰ／ＩＰのように、エラー時の再送要求がある場合に適用しても差し支えない。この場合であっても、再送される信号をキーＧＯＢに限定する点で、信号の全てを送信する場合に比べて通信データ量の軽減化を実現できる。
【００７７】
また、上記実施の形態では、クライアント１４側において、送信されてきた動画像をモニタ装置１５に表示する例を説明したが、これに代えてまたはこれに加えて、クライアント１４側において、動画像を所定の記録装置に蓄積的に記録するようしても差し支えない。
【００７８】
さらに、上記実施の形態では、送信局として「サーバ」という用語を、受信局として「クライアント」という用語を使用したが、必ずしもこれに拘泥されるものではなく、例えば各地域に分散された撮像カメラで撮像された動画像を集中センターで集中的に管理する場合には、送信局として「クライアント」を、受信局として「サーバ」をそれぞれ適用してもよいことは勿論である。
【００７９】
【発明の効果】
請求項１、請求項４及び請求項５に記載の発明によれば、受信局において、エラー時の動画像の劣化に影響度の高い特定領域のデータの再送要求を行うようにしているので、動画像の画質を飛躍的に向上できる。そして、再送要求の対象を特定領域とすることで、その他の領域の再送を行わずに、例えば次のキーフレームとなるフレームを受信するまでの時間差を利用するなどして再送を行うことができ、トラフィックを阻害することなく、動画像の画質を効率よく向上できる。
【００８０】
請求項２請求項４及び請求項５に記載の発明によれば、送信局において特定領域のデータを特定領域データ記憶部に記憶させているので、受信局から特定領域のデータの再送要求があった際に、その特定領域のデータを特定領域データ記憶部から読み出すだけで、効率よく特定領域のデータを受信局に再送できる。
【００８１】
請求項３に記載の発明によれば、送信局側の撮像カメラで撮像された動画像を受信局側に送信するようなストリーミングデータの場合に、フレーム内符号化処理量が時間的に分散されて、送信局及び受信局双方の処理負荷が時間的に平坦化するとともに、送信局と受信局との間の伝送路における通信負荷も低減できる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態で使用される動画像送受信システムの基本的構成を示すブロック図である。
【図２】この発明の一の実施の形態に係る動画像送受信システムの動画像送受信方法を説明するためのフローチャートである。
【図３】この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
【図４】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図５】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図６】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図７】４つのブロック領域に分割された各フレームを示す説明図である。
【図８】この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
【図９】この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
【図１０】再量子化処理を説明するためのフローチャートである。
【図１１】従来の動画像送受信システムの概要を示す概念図である。
【図１２】従来の動画像送受信システムを示すブロック図である。
【図１３】従来の符号化方法を説明するためのフローチャートである。
【図１４】従来の符号化方法を説明するためのフローチャートである。
【符号の説明】
１１ 撮像カメラ
１２ サーバ
１２ａ サーバ機
１３ ネットワーク
１４ クライアント
１４ａ クライアント機
１５ モニタ装置
１６ 符号化器
１７ 復号器
１８ キーＧＯＢデータ記憶部
Claims (5)
- 動画像を圧縮符号化して送信する送信局と、
前記送信局で圧縮符号化されネットワークを通じて与えられた前記動画像のデータを受信する受信局と
を備え、
前記送信局が、
前記動画像の複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域を前記他のフレーム内の情報のみで圧縮符号化する一方、前記第１の差分が所定より小さい場合に前記差分信号を圧縮符号化し、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームを前記フレーム内の情報のみで圧縮符号化する一方、前記第２の差分が所定より小さい場合に前記差分信号を圧縮符号化する符号化手段と、
前記符号化手段から与えられた圧縮符号化された動画像のデータを前記ネットワークに送出するデータ送出手段と
を備え、
前記受信局が、
前記ネットワークを通じて前記データ送出手段から与えられた圧縮符号化された前記動画像のデータを受信する受信手段と、
前記受信手段で受信した圧縮符号化された前記動画像のデータを復号化する復号化手段と
を備え、
前記受信手段の前記復号化手段が、前記動画像のデータのうちの前記特定領域のエラーの有無を検出し、
前記受信手段が、前記復号化手段で前記特定領域にエラーが有る旨を検出したときに、当該特定領域の再送要求を前記ネットワークを通じて前記送信局に送信し、
前記送信局が、前記受信手段から前記ネットワークを通じて前記特定領域の前記再送要求が与えられた際に、前記特定領域を前記受信手段に再送することを特徴とする動画像送受信システム。 - 請求項１に記載の動画像送受信システムであって、
前記送信局が、前記動画像のデータを前記受信手段に送信する際に、再送要求に備えて前記特定領域を一時的に格納する特定領域データ記憶部を有することを特徴とする動画像送受信システム。 - 請求項１または請求項２に記載の動画像送受信システムであって、
前記送信局が、所定の撮像対象を撮像する撮像カメラを有し、
前記受信局が、前記撮像カメラで撮像された動画像を表示または記録することを特徴とする動画像送受信システム。 - ａ）送信局において、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有せしめ、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域を前記他のフレーム内の情報のみで圧縮符号化する一方、前記第１の差分が所定より小さい場合に前記差分信号を圧縮符号化し、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームを前記フレーム内の情報のみで圧縮符号化する一方、前記第２の差分が所定より小さい場合に前記差分信号を圧縮符号化する工程と、
ｂ）前記送信局において、前記特定領域のデータを所定の特定領域データ記憶部内に記憶する工程と、
ｃ）前記送信局において、前記ａ）の工程で圧縮符号化された動画像のデータを受信局に送信する工程と、
ｄ）前記受信局において、前記ｃ）の工程で送信された前記動画像のデータのうち、前記特定領域のデータのエラーの有無を検出する工程と、
ｅ）前記ｄ）の工程で前記特定領域のデータにエラーがある旨を検出した場合に、前記受信局が、前記送信局に対して前記特定領域のデータの再送要求を行う工程と、
ｆ）前記送信局において、前記ｅ）の工程で前記受信局から与えられた再送要求に応じて、前記特定領域データ記憶部内に記憶された前記特定領域のデータを前記受信局に対して再送する工程と
を備える動画像送受信方法。 - 請求項４に記載の動画像送受信方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002051201A JP3927422B2 (ja) | 2002-02-27 | 2002-02-27 | 動画像送受信システム、動画像送受信方法及びそれらのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002051201A JP3927422B2 (ja) | 2002-02-27 | 2002-02-27 | 動画像送受信システム、動画像送受信方法及びそれらのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259375A JP2003259375A (ja) | 2003-09-12 |
| JP3927422B2 true JP3927422B2 (ja) | 2007-06-06 |
Family
ID=28663239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002051201A Expired - Fee Related JP3927422B2 (ja) | 2002-02-27 | 2002-02-27 | 動画像送受信システム、動画像送受信方法及びそれらのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3927422B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005043915A1 (ja) * | 2003-10-31 | 2005-05-12 | Kddi Media Will Corporation | 映像解析装置及び映像障害検出装置 |
| JP6642573B2 (ja) | 2015-06-24 | 2020-02-05 | ソニー株式会社 | 符号化装置、復号装置及び伝送制御方法 |
| JP6897059B2 (ja) * | 2016-10-26 | 2021-06-30 | セイコーエプソン株式会社 | 回路装置、電気光学装置、電子機器及び移動体 |
| JP6840994B2 (ja) * | 2016-10-26 | 2021-03-10 | セイコーエプソン株式会社 | 回路装置、電気光学装置、電子機器、移動体及びエラー検出方法 |
| JP6720517B2 (ja) * | 2015-12-15 | 2020-07-08 | セイコーエプソン株式会社 | 回路装置、電気光学装置、電子機器、移動体 |
| EP3392872A4 (en) | 2015-12-15 | 2019-08-14 | Seiko Epson Corporation | CIRCUIT-FORMING DEVICE, ELECTRO-OPTICAL DEVICE, ELECTRONIC APPARATUS, MOBILE BODY, AND ERROR DETECTION METHOD |
-
2002
- 2002-02-27 JP JP2002051201A patent/JP3927422B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003259375A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2431866C (en) | Switching between bit-streams in video transmission | |
| US7706447B2 (en) | Switching between bit-streams in video transmission | |
| JP4603695B2 (ja) | 映像コーディング | |
| JP4820559B2 (ja) | 映像データ符号化及び復号化方法及び装置 | |
| JP4707514B2 (ja) | ビデオストリーム供給システム、ビデオストリーム供給装置、及びビデオストリーム受信装置 | |
| JPWO2006085500A1 (ja) | 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法 | |
| US7221761B1 (en) | Error resilient digital video scrambling | |
| JP2006508574A (ja) | 要求に応じたｉ画像の挿入 | |
| KR20170101227A (ko) | 고프레임율-저프레임율 전송 기술 | |
| JP2003274410A (ja) | 監視映像の符号化装置及び復号装置並びに符号化方法 | |
| WO2008100000A1 (en) | Method of compressing and restoring moving picture using i frame tag | |
| JP2004350263A (ja) | 画像処理装置及び画像処理方法 | |
| JP3927422B2 (ja) | 動画像送受信システム、動画像送受信方法及びそれらのプログラム | |
| JP4721028B2 (ja) | 動画像配信システム、動画像配信方法及びそれらのプログラム | |
| JP4458712B2 (ja) | 監視映像の高速再生方法及びそれらのプログラム | |
| JP4451023B2 (ja) | 動画像復号化方法およびそのプログラム | |
| JP4599609B2 (ja) | 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム | |
| JP4789127B2 (ja) | 画像配信方法、画像記録方法、およびそれらのプログラム | |
| JPH1070727A (ja) | 動画像伝送方法および動画像伝送装置 | |
| JP4706072B2 (ja) | 影像処理システム、動画像の圧縮符号化方法、動画像の復号化方法及びそれらのプログラム | |
| JP4364422B2 (ja) | 動画像の圧縮符号化方法およびその復号化方法 | |
| KR100734141B1 (ko) | 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치 | |
| JP4451022B2 (ja) | 画像配信方法、画像復号化方法、およびそれらのプログラム | |
| JP4043406B2 (ja) | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 | |
| JP4554114B2 (ja) | 動画像記録システムおよび動画像記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070302 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160309 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |