JP2016129304A - 映像伝送システム - Google Patents

Abstract

【課題】フレームメモリに格納するデータの情報量が少ない映像伝送システム等を提供する。【解決手段】実施形態の映像伝送システムは、複数の入力画像を圧縮する符号化装置と、圧縮された画像を伸長する復号化装置と、を備える。符号化装置は、参照画像と入力画像とに基づいて予測誤差データを生成する予測符号化部と、予測誤差データを圧縮するデータ圧縮部と、圧縮された入力画像を圧縮された状態のままフレームメモリに格納する、又はローカルデコード画像を圧縮して前記フレームメモリに格納する画像格納部と、フレームメモリに格納されている画像を伸長する画像伸長部と、を備える。また、復号化装置は、予測誤差データを伸長するデータ伸長部と、すでに復号が完了している入力画像を参照画像として取得し、取得した参照画像と予測誤差データとに基づいて新たに入力画像を復号する予測復号部と、を備える。【選択図】図１

Description

本発明の実施態様は、映像伝送システムに関する。

フレーム間予測を使用した動画圧縮技術が知られている。フレーム間予測とは、フレーム間の差分を符号化する圧縮方法である。

特開平９−２４７６７１号公報

フレーム間予測を使用して動画を圧縮する場合、参照する画像データを記憶しておくメモリ（以下、「フレームメモリ」という。）が必要となる。画像データは情報量が多いので、動画圧縮装置は大きな記憶容量のフレームメモリを用意する必要がある。しかしながら、大きな記憶容量のフレームメモリは、動画圧縮装置の回路規模及び製造コストを大きくする。

本発明が解決しようとする課題は、フレームメモリに格納するデータの情報量が少ない映像伝送システムを提供することである。

実施形態の映像伝送システムは、複数の入力画像を圧縮する符号化装置と、符号化装置が圧縮した入力画像を伸長する復号化装置と、を備える。符号化装置は、参照画像と入力画像とに基づいて予測誤差データを生成する予測符号化部と、予測誤差データを圧縮するデータ圧縮部と、すでに圧縮が完了した入力画像を圧縮された状態のままフレームメモリに格納する、又は復号側で復号される入力画像の模擬生成画像であるローカルデコード画像を圧縮してフレームメモリに格納する画像格納部と、フレームメモリに格納されている画像を伸長することにより予測符号化部が使用する参照画像を取得する画像伸長部と、を備える。復号化装置は、データ圧縮部で圧縮された予測誤差データを伸長するデータ伸長部と、すでに復号が完了している入力画像を参照画像として取得し、取得した参照画像と予測誤差データとに基づいて、参照画像とは別の新たな入力画像を復号する予測復号部と、を備える。

実施形態の映像伝送システムのブロック図である。 実施形態１の動画圧縮装置が備える圧縮部の機能ブロック図である。 実施形態１の動画伸長装置が備える伸長部の機能ブロック図である。 実施形態１の動画圧縮処理を示すフローチャートである。 実施形態１の動画伸長処理を示すフローチャートである。 実施形態２の動画伸長装置が備える伸長部の機能ブロック図である。 実施形態２の動画伸長処理を示すフローチャートである。 実施形態３の動画圧縮装置が備える圧縮部の機能ブロック図である。 実施形態３の動画圧縮処理を示すフローチャートである。 実施形態４の動画圧縮装置が備える圧縮部の機能ブロック図である。 実施形態４の動画圧縮処理を示すフローチャートである。 実施形態５の動画圧縮処理を示すフローチャートである。 ノイズ除去部を備える動作圧縮装置の構成の一例を示す図である。

以下、発明を実施するための形態について図面を参照しながら説明する。なお、図中、同一または同等の部分には同一の符号を付す。

（実施形態１）
図１は、本実施形態の映像伝送システム１のブロック図である。映像伝送システム１は、動画を圧縮して送信する動画圧縮装置（符号化装置）１００と、動画圧縮装置１００から受信した動画を伸長する動画伸長装置（復号化装置）２００と、を備える。動画圧縮装置１００は、例えば、映像ストリームを無線やネットワークを介して送信する。また、動画伸長装置２００は映像ストリームを無線やネットワークを介して受信する。

動画圧縮装置１００の構成を説明する。動画圧縮装置１００は、制御部１１０、入力部１２０、送信部１３０、及び圧縮部１４０を備える。
制御部１１０は、プロセッサ等の処理装置から構成される。制御部１１０は、動画圧縮装置１００の各部を制御する。

入力部１２０は、外部の装置（例えばカメラ）から映像信号を取得する入力インタフェースである。入力部１２０は、映像信号をＡ／Ｄ変換して動画データを生成する。そして、入力部１２０は、動画データを圧縮部１４０に送信する。動画データは、圧縮されていない複数のフレーム（以下、「入力画像」という。）から構成されている。

送信部１３０は、外部の装置にデータを送信する出力インタフェースである。送信部１３０は、圧縮部１４０で圧縮されたデータ（例えば、予測誤差データ、動きベクトル、及びＩフレーム）を多重化して動画伸長装置２００に送信する。Ｉフレーム(Intra-coded Frame)とは、フレーム間予測を使用しないで符号化されたフレームである。

圧縮部１４０は、プロセッサ等の処理装置から構成される。図２は、圧縮部１４０のブロック図である。圧縮部１４０は、予測符号化部１４１、データ圧縮部１４２、ローカルデコード部１４３、画像格納部１４４、画像伸長部１４５及びフレームメモリ１４６を備えている。なお、圧縮部１４０は、１つのプロセッサから構成されていてもよいし、複数のプロセッサから構成されていてもよい。複数のプロセッサで圧縮部１４０を構成する場合、圧縮部１４０は、複数のプロセッサの協働により「動画圧縮処理」を実現してもよい。また、フレームメモリ１４６は、圧縮部１４０の外部にあってもよい。

予測符号化部１４１は、動き検出を実行して動きベクトルを生成するとともに、フレーム間予測を実行して予測誤差データを作成する。動きベクトルとは、フレーム間の画像の動きをベクトルで表現したデータのことである。また、予測誤差データとは、予測画像と入力画像との差分データのことである。ここで、予測画像とは、圧縮側のローカルデコーダで生成されるローカルデコード画像、若しくは、ローカルデコード画像を動き補償して生成される動き補償画像のことである。予測符号化部１４１は、動き検出部１４１ａ、動き補償部１４１ｂ及び減算器１４１ｃを備える。

データ圧縮部１４２は、予測符号化部１４１で生成された予測誤差データを圧縮する。データ圧縮部１４２は、変換符号化部１４２ａ、量子化部１４２ｂ及びエントロピー符号化部１４２ｃを備える。

ローカルデコード部１４３は、ローカルデコード画像を生成する。ローカルデコード画像とは、復号側で復号される入力画像を、符号側が模擬的に生成する画像のことである。ローカルデコード部１４３は、複数の入力画像の中から、予測符号化部１４１が参照画像として使用する入力画像のローカルデコード画像を生成する。ローカルデコード部１４３は、逆量子化部１４３ａ、変換復号部１４３ｂ及び加算器１４３ｃを備える。

画像格納部１４４は、ローカルデコード画像を圧縮してフレームメモリ１４６に格納する。圧縮方法は既知の様々な方法を使用可能である。これにより、フレームメモリ１４６の記憶容量を削減できる。

画像伸長部１４５は、フレームメモリ１４６に格納されているローカルデコード画像を伸長する。画像伸長部１４５は、画像格納部１４４が使用した圧縮方法に対応した伸長方法を用いる。画像伸長部１４５は、伸長したローカルデコード画像を予測符号化部１４１に送信する。

フレームメモリ１４６は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、半導体メモリ、ハードディスク等のデータ読み書き可能な記憶装置から構成される。フレームメモリ１４６は、予測符号化部１４１が参照画像として使用する画像データを格納する。

次に、動画伸長装置２００の構成を説明する。動画伸長装置２００は、制御部２１０、受信部２２０、出力部２３０、及び伸長部２４０を備える。
制御部２１０は、プロセッサ等の処理装置から構成される。制御部２１０は、動画伸長装置２００の各部を制御する。

受信部２２０は、動画圧縮装置１００からデータを受信する通信インタフェースである。受信部２２０は、予測誤差データ及び動きベクトルが多重化されたデータを受信する。受信部２２０は、多重化されたデータを分離し、伸長部２４０に出力する。

出力部２３０は、外部の出力装置（例えば、液晶ディスプレイ）に映像情報を出力する出力インタフェースである。出力部２３０は、伸長部２４０で伸長された入力画像を基に映像情報を生成する。そして、出力部２３０は、映像情報を外部の出力装置に出力する。

伸長部２４０は、プロセッサ等の処理装置から構成される。図３は、伸長部２４０のブロック図である。伸長部２４０は、データ伸長部２４１、予測復号部２４２、画像格納部２４３及びフレームメモリ２４４を備えている。なお、伸長部２４０は、１つのプロセッサから構成されていてもよいし、複数のプロセッサから構成されていてもよい。複数のプロセッサで伸長部２４０を構成する場合、伸長部２４０は、複数のプロセッサの協働により「動画伸長処理」を実現してもよい。また、フレームメモリ２４４は、伸長部２４０の外部にあってもよい。

データ伸長部２４１は、入力されたデータを伸長する。データ伸長部２４１は、データ圧縮部１４２が使用した圧縮方法に対応する伸長方法を用いる。データ伸長部２４１は、エントロピー復号部２４１ａ、逆量子化部２４１ｂ、及び変換復号部２４１ｃを備える。

予測復号部２４２は、フレームメモリ２４４に格納されている画像及び動きベクトルに基づいて、動き補償画像を生成する。また、予測復号部２４２は、動き補償画像と予測誤差データを加算し、入力画像を復号する。予測復号部２４２は、動き補償部２４２ａと加算器２４２ｂを備える。

画像格納部２４３は、復号された入力画像（以下、「復号画像」という。）をフレームメモリ２４４に格納する。

フレームメモリ２４４は、ＤＲＡＭ、ＳＲＡＭ、半導体メモリ、ハードディスク等のデータ読み書き可能な記憶装置から構成される。フレームメモリ２４４は、予測復号部２４２が参照画像として使用する画像データを格納する。

次に、映像伝送システム１の動作について説明する。映像伝送システム１の動作は、動画圧縮装置１００で実行される「動画圧縮処理」と、動画伸長装置２００で実行される「動画伸長処理」と、に分けられる。

最初に動画圧縮処理について説明する。圧縮部１４０は、制御部１１０の命令により動画圧縮処理を開始する。図４は、動画圧縮処理のフローチャートである。

予測符号化部１４１は、フレーム間予測を実行する。まず、画像伸長部１４５は、圧縮されたローカルデコード画像をフレームメモリ１４６から取得する。そして、画像伸長部１４５は、ローカルデコード画像を伸長し、動き検出部１４１ａ及び動き補償部１４１ｂに送信する（Ｓ１０１）。なお、フレームメモリ１４６にローカルデコード画像が格納されていない場合、画像伸長部１４５は、ＮＵＬＬデータで構成される画像データを仮のローカルデコード画像としてもよい。

続いて、動き検出部１４１ａは、ローカルデコード画像を参照画像として入力画像の動き検出を実行する（Ｓ１０２）。具体的には、動き検出部１４１ａは、参照画像と入力画像との間で動き探索を実行し、動きベクトルを生成する。動き探索には、例えば、ブロックマッチング法や勾配法が使用可能である。そして、動き検出部１４１ａは、動きベクトルを、動き補償部１４１ｂ及びエントロピー符号化部１４２ｃに送信する。

続いて、動き補償部１４１ｂは、動きベクトルに及び参照画像に基づいて、動き補償画像を生成する（Ｓ１０３）。そして、動き補償部１４１ｂは、動き補償画像を予測画像として減算器１４１ｃに送信する。なお、予測符号化部１４１は、動き検出機能及び動き補償機能を有していなくてもよい。この場合、予測符号化部１４１は、ローカルデコード画像をそのまま予測画像とする。

続いて、減算器１４１ｃは、入力画像と予測画像の差分を算出し、予測誤差データを生成する（Ｓ１０４）。そして、予測符号化部１４１は、予測誤差データをデータ圧縮部１４２に送信する。

なお、Ｓ１０１〜Ｓ１０４では、予測符号化部１４１は、フレーム間予測を使用して入力画像を符号化したが、圧縮対象の入力画像がＩフレーム（以下、符号化前の画像も単に「Ｉフレーム」という。）の場合、予測符号化部１４１は、フレーム間予測を使用せず、フレーム内予測（イントラ予測）を使用して入力画像を符号化してもよい。

続いて、データ圧縮部１４２は、予測誤差データと動きベクトルの圧縮を行う（Ｓ１０５）。具体的には、変換符号化部１４２ａは、離散コサイン変換（ＤＣＴ）などの直交変換を使って符号化されたデータを空間周波数領域に変換する。量子化部１４２ｂは、変換符号化部１４２ａが直交変換により生成した変換係数のうち、人の視覚への影響が低い高次の変換係数を切り捨てる。

続いて、エントロピー符号化部１４２ｃは、量子化部１４２ｂからのデータに対して、可変長符号化（ＶＬＣ）を実行する。可変長符号化には、例えば、ハフマン符号化、ランレングス符号化、算術符号化、適応ビット割当等が使用可能である。また、エントロピー符号化部１４２ｃは、動きベクトルの可変長符号化も実行する。そして、エントロピー符号化部１４２ｃは、符号化したデータを送信部１３０に送信する。送信部１３０は、符号化されたデータを多重化して、動画伸長装置２００に送信する。

続いて、ローカルデコード部１４３は、ローカルデコード画像を生成する（Ｓ１０６）。具体的には、逆量子化部１４３ａは、量子化部１４２ｂから量子化されたデータを取得する。そして、逆量子化部１４３ａは、取得したデータの逆量子化を行う。変換復号部１４３ｂは、逆量子化されたデータから予測誤差データを復号する。そして、加算器１４３ｃは、復号した予測誤差データと動き補償画像とを加算し、ローカルデコード画像を生成する。

続いて、画像格納部１４４は、ローカルデコード画像を圧縮し、フレームメモリ１４６に格納する（Ｓ１０７）。ローカルデコード画像の格納が完了したら、圧縮部１４０はＳ１０１に戻り、Ｓ１０１〜Ｓ１０７の処理を繰り返す。

次に動画伸長処理について説明する。伸長部２４０は、制御部２１０からの命令により、動画伸長処理を開始する。図５は、動画伸長処理のフローチャートである。

データ伸長部２４１は、入力された圧縮データ（予測誤差データ及び動きベクトルデータ、又はＩフレーム）を伸長する（Ｓ１１１）。動きベクトルは、エントロピー復号部２４１ａで伸長される。また、予測誤差データ及びＩフレームは、エントロピー復号部２４１ａ、逆量子化部２４１ｂ、及び変換復号部２４１ｃで伸長される。逆量子化部２４１ｂ及び変換復号部２４１ｃの動作は、Ｓ１０６で説明した逆量子化部１４３ａ及び変換復号部１４３ｂと同じである。エントロピー復号部２４１ａは、エントロピー符号化部１４２ｃが使用した圧縮方法に対応する伸長方法を用いる。エントロピー復号部２４１ａは、伸長した動きベクトルを動き補償部２４２ａに出力する。また、変換復号部２４１ｃは、伸長した予測誤差データ及びＩフレームを加算器２４２ｂに出力する。

動き補償部２４２ａは、フレームメモリ２４４に格納されている復号画像を参照画像として取得する。なお、フレームメモリ２４４に復号画像が格納されていない場合、動き補償部２４２ａは、ＮＵＬＬデータで構成される画像データを仮の参照画像としてもよい。そして、動き補償部２４２ａは、動きベクトル及び参照画像に基づき、動き補償画像を生成する。その後、動き補償部２４２ａは、動き補償画像を加算器２４２ｂに出力する（Ｓ１１２）。

加算器２４２ｂは、予測誤差データと動き補償画像とを加算し、入力画像を復号する。そして、加算器２４２ｂは、復号した入力画像（復号画像）を出力部２３０に出力する（Ｓ１１３）。出力部２３０は復号画像を外部の装置に出力する。

続いて、画像格納部２４３は、動き補償部２４２ａが参照画像として使用する復号画像をフレームメモリ２４４に格納する（Ｓ１１４）。復号画像の格納が完了したら、伸長部２４０はＳ１１１に戻り、Ｓ１１１〜Ｓ１１４の処理を繰り返す。

本実施形態によれば、データ圧縮部１４２がローカルデコード画像を圧縮してフレームメモリ１４６に格納しているので、フレームメモリ１４６に格納されるデータの情報量は小さい。そのため、フレームメモリ１４６の記憶容量を小さくでき、動画圧縮装置１００の回路規模及び製造コストを小さくできる。

（実施形態２）
動画の画質を劣化させないためには、動画圧縮装置１００が動き補償に使用する参照画像と、動画伸長装置２００が動き補償に使用する参照画像とが、一致していることが望ましい。しかしながら、実施形態１の動画圧縮装置１００は、ローカルデコード画像に対して圧縮及び伸長の処理を施しているため、符号側の参照画像と復号側の参照画像との間には誤差が生じている。この誤差が蓄積した場合、動画伸長装置２００が復号する動画の画質は大きく劣化したものとなる。

そこで、実施形態２の映像伝送システム１は、動画伸長装置２００が動き補償に使用する参照画像にも、圧縮及び伸長の処理を施す。これにより、動画圧縮装置１００が動き補償に使用する参照画像と、動画伸長装置２００が動き補償に使用する参照画像とを一致させる。実施形態２の映像伝送システム１は、図１の映像伝送システム１と同様の構成である。以下、実施形態１と異なる部分のみ説明する。

図６は、実施形態２の伸長部２４０のブロック図である。伸長部２４０は、データ伸長部２４１、予測復号部２４２、画像格納部２４３、画像伸長部２４５及びフレームメモリ２４４を備えている。データ伸長部２４１、予測復号部２４２、及びフレームメモリ２４４の構成は実施形態１と同じである。

画像格納部２４３は、予測復号部２４２が参照画像として使用する復号画像をフレームメモリ２４４に格納する。このとき、画像格納部２４３は、復号画像を圧縮してフレームメモリ２４４に格納する。画像格納部２４３は、画像格納部１４４と同じ圧縮方法を用いる。

画像伸長部２４５は、格納されている復号画像を伸長する。画像伸長部２４５は、画像格納部２４３が使用した圧縮方法に対応する伸長方法を用いる。画像伸長部２４５は、伸長した復号画像を動き補償部２４２ａに送信する。

次に、実施形態２の映像伝送システム１の動作について説明する。動画圧縮処理は実施形態１と同じであるので説明を省略する。図７は、実施形態２の動画伸長処理のフローチャートである。

データ伸長部２４１は、入力された圧縮データを伸長する（Ｓ２０１）。データ伸長部２４１が実行する伸長処理は、実施形態１のＳ１１１と同じである。

続いて、画像伸長部２４５は、フレームメモリ２４４から圧縮された復号画像を取得する。そして、画像伸長部２４５は、復号画像を伸長して参照画像として動き補償部２４２ａに出力する（Ｓ２０２）。

続いて、動き補償部２４２ａは、データ伸長部２４１が伸長した動きベクトル及び参照画像に基づき、動き補償画像を生成する。その後、動き補償部２４２ａは、動き補償画像を加算器２４２ｂに出力する（Ｓ２０３）。

加算器２４２ｂは、予測誤差データと動き補償画像とを加算し、入力画像を復号する。そして、加算器２４２ｂは、復号した入力画像（復号画像）を出力部２３０に出力する（Ｓ２０４）。

続いて、画像格納部２４３は、動き補償部２４２ａが参照画像として使用する復号画像を圧縮してフレームメモリ２４４に格納する。このとき、画像格納部２４３は、画像格納部１４４と同じ圧縮方法を使用して復号画像を圧縮する（Ｓ２０５）。復号画像の格納が完了したら、伸長部２４０はＳ２０１に戻り、Ｓ２０１〜Ｓ２０５の処理を繰り返す。

本実施形態によれば、画像格納部１４４と同じ圧縮方法を使用して、画像格納部２４３が復号画像を圧縮している。したがって、動画圧縮装置１００が動き補償に使用する参照画像と、動画伸長装置２００が動き補償に使用する参照画像とを一致させることができる。そのため、動画伸長装置２００が復号する動画の画質はあまり劣化しない。

また、画像格納部２４３が、フレームメモリ２４４に復号画像を格納する際に、復号画像を圧縮しているので、フレームメモリ２４４の記憶容量を小さくでき、動画伸長装置２００の回路規模及び製造コストを小さくできる。

（実施形態３）
実施形態３の映像伝送システム１は、Ｉフレームを動き補償の参照画像とすることで、動画伸長装置２００が参照画像を圧縮及び伸長する構成を備えていなくても、符号側の参照画像と復号側の参照画像とを一致させることを可能とする。以下、実施形態３の映像伝送システム１について、実施形態１及び２と異なる部分のみ説明する。

図８は、圧縮部１４０のブロック図である。圧縮部１４０は、予測符号化部１４１、データ圧縮部１４２、画像格納部１４４、画像伸長部１４５及びフレームメモリ１４６を備えている。

画像格納部１４４は、データ圧縮部１４２が出力したフレームの中からＩフレームを圧縮された状態のままフレームメモリ１４６に格納する。
画像伸長部１４５は、フレームメモリ１４６に格納されているＩフレームを伸長する。画像伸長部１４５は、予測符号化部１４１及びデータ圧縮部１４２がＩフレームの圧縮に使用した圧縮方法に対応した伸長方法を用いる。画像伸長部１４５は、伸長したＩフレームを動き検出部１４１ａ及び動き補償部１４１ｂに送信する。

次に、実施形態３の映像伝送システム１の動画伸長処理について説明する。図９は、動画伸長処理のフローチャートである。

まず、画像伸長部１４５は、フレームメモリ１４６からのＩフレームを伸長し、動き検出部１４１ａ及び動き補償部１４１ｂに送信する（Ｓ３０１）。

動き検出部１４１ａは、Ｉフレームを参照画像として入力画像の動き検出を実行する。そして、動き検出部１４１ａは、動き探索の結果生成された動きベクトルを、動き補償部１４１ｂ及びエントロピー符号化部１４２ｃに送信する（Ｓ３０２）。

動き補償部１４１ｂは、動きベクトル及び参照画像に基づいて、動き補償画像を生成する。そして、動き補償部１４１ｂは、生成された動き補償画像を予測画像として減算器１４１ｃに送信する（Ｓ３０３）。

減算器１４１ｃは、入力画像と予測画像の差分を算出し、予測誤差データを生成する（Ｓ３０４）。そして、予測符号化部１４１は、予測誤差データをデータ圧縮部１４２に送信する。

データ圧縮部１４２は、予測誤差データと動きベクトルの圧縮を行う。そして、データ圧縮部１４２は、圧縮した予測誤差データ及び動きベクトルを送信部１３０に送信する（Ｓ３０５）。送信部１３０は、予測誤差データ及び動きベクトルを、多重化して動画伸長装置２００に送信する。

画像格納部１４４は、データ圧縮部１４２から取得したＩフレームを圧縮された状態のままフレームメモリ１４６に格納する（Ｓ３０６）。Ｉフレームの格納が完了したら、圧縮部１４０はＳ３０１に戻り、入力画像の入力が途切れるまでＳ３０１〜Ｓ３０６の処理を繰り返す。

本実施形態によれば、画像格納部１４４がすでに圧縮が完了したＩフレームを圧縮された状態のままフレームメモリ１４６に格納する。予測符号化部１４１が伸長されたＩフレームを参照画像として使用しているので、動画伸長装置２００は、符号側と同じ参照画像を得ることができる。従って、動画伸長装置２００は、参照画像を圧縮及び伸長させるための構成を備える必要はない。

しかも、画像格納部１４４がフレームメモリ１４６に格納する画像データは、すでに圧縮が完了したＩフレームである。したがって、フレームメモリ１４６に格納されるデータの情報量は小さい。

（実施形態４）
Ｉフレームの挿入間隔はＰフレームの挿入間隔より大きい。Ｉフレームのみを参照画像とした場合、参照画像と入力画像との時間距離が大きくなる。実施形態３の映像伝送システム１のように、Ｉフレームのみを参照画像として使用した場合、動画の内容によっては、復号側で復号される動画の画質が低いものとなる。

実施形態４の映像伝送システム１は、ＩフレームのみならずＰフレームも参照画像として使用することで、復号側で復号される動画の画質の劣化を抑える。以下、実施形態４の映像伝送システム１について説明する。

実施形態４の映像伝送システム１は、図１の映像伝送システム１と同様である。図１０は、圧縮部１４０の機能ブロック図である。圧縮部１４０は、予測符号化部１４１、データ圧縮部１４２、ローカルデコード部１４３、画像格納部１４４、画像伸長部１４５、及びフレームメモリ１４６を備えている。

ローカルデコード部１４３は、複数の入力画像の中からＰフレームの画像を実施形態１と同じ方法でローカルデコードする。

画像格納部１４４は、ローカルデコード部１４３から取得したＰフレームを圧縮してフレームメモリ１４６に格納する。また、画像格納部１４４は、データ圧縮部１４２が出力したＩフレームを圧縮された状態のままフレームメモリ１４６に格納する。

画像伸長部１４５は、格納されているＩフレーム及びＰフレームを伸長する。画像伸長部１４５は、伸長したＩフレーム及びＰフレームを動き検出部１４１ａ及び動き補償部１４１ｂに送信する。

次に、実施形態４の映像伝送システム１の動作について説明する。動画伸長処理は実施形態１と同じであるので説明を省略する。図１１は、動画伸長処理のフローチャートである。

まず、画像伸長部１４５は、圧縮されたＩフレーム及びＰフレームをフレームメモリ１４６から取得する。そして、画像伸長部１４５はＩフレーム及びＰフレームを伸長し、動き検出部１４１ａ及び動き補償部１４１ｂにそれぞれ送信する（Ｓ４０１）。

動き検出部１４１ａは、Ｉフレーム及びＰフレームの両方を参照画像として入力画像の動き検出を実行する（Ｓ４０２）。例えば、動き検出部１４１ａは、入力画像を複数のブロックに分割し、ブロック毎にＩフレーム及びＰフレームの中から類似ブロックを探索する。各類似ブロックは、異なるフレームに位置していてもよい。そして、動き検出部１４１ａは、探索結果として動きベクトルを生成する。動き検出部１４１ａは、動きベクトルを、動き補償部１４１ｂ及びエントロピー符号化部１４２ｃに送信する。

動き補償部１４１ｂは、動きベクトルと、参照画像（本実施形態の場合、Ｉフレーム及びＰフレーム）を使って、動き補償画像を生成する。そして、動き補償部１４１ｂは、動き補償画像を予測画像として減算器１４１ｃに送信する（Ｓ４０３）。

減算器１４１ｃは、入力画像と予測画像の差分を算出し、予測誤差データを生成する（Ｓ４０４）。そして、予測符号化部１４１は、予測誤差データをデータ圧縮部１４２に送信する（Ｓ４０４）。

データ圧縮部１４２は、予測誤差データと動きベクトルを圧縮し、送信部１３０に送信する（Ｓ４０５）。送信部１３０は、予測誤差データ及び動きベクトルを、多重化して動画伸長装置２００に送信する。

ローカルデコード部１４３は、量子化部１４２ｂの出力の中からＰフレームを選択する。そして、ローカルデコード部１４３は、Ｐフレームのローカルデコード画像を生成する（Ｓ４０６）。

画像格納部１４４は、ローカルデコード画像を圧縮してフレームメモリ１４６に格納する。また、画像格納部１４４は、データ圧縮部１４２の出力の中からＩフレームをフレームメモリ１４６に格納する（Ｓ４０７）。Ｉフレームは、データ圧縮部１４２で圧縮された状態のままフレームメモリ１４６に格納される。

Ｉフレーム及びＰフレームの格納が完了したら、圧縮部１４０はＳ４０１に戻り、Ｓ４０１〜Ｓ４０７の処理を繰り返す。

本実施形態によれば、ＩフレームのみならずＰフレームも参照画像として使用しているので、動画圧縮装置１００は、変化の激しい内容の動画であっても、圧縮の際に大きく画質を劣化させることがない。

（実施形態５）
実施形態４の動画圧縮装置１００は、ＩフレームのみならずＰフレームも参照画像として使用することで、画質の劣化を抑えた。しかし、実施形態４の動画圧縮装置１００は、ＩフレームとＰフレームの両方をフレームメモリ１４６に格納しているため、他の実施形態の動画圧縮装置１００に比べて、フレームメモリ１４６に格納するデータの情報量が大きい。

実施形態５の動画圧縮装置１００は、動画中の画像の変化の大きさに基づいて、ＩフレームとＰフレームのいずれかを選択し、フレームメモリ１４６に格納する。これにより、動画圧縮装置１００は、フレームメモリ１４６に格納するデータの情報量を抑えつつ、圧縮の際の画質の劣化も抑える。以下、実施形態５の映像伝送システム１について説明する。

実施形態５の映像伝送システム１は、図１の映像伝送システム１と同様である。動画圧縮装置１００は、制御部１１０と、入力部１２０と、送信部１３０と、圧縮部１４０と、を備える。

実施形態５の圧縮部１４０は、図１０と同じである。圧縮部１４０は、予測符号化部１４１、データ圧縮部１４２、ローカルデコード部１４３、画像格納部１４４、及び画像伸長部１４５、及びフレームメモリ１４６を備えている。

画像格納部１４４は、予め設定された基準に従い、ＩフレームとＰフレームのいずれをフレームメモリ１４６に格納するか判別する。Ｉフレームの場合、画像格納部１４４はＩフレームを圧縮された状態のままフレームメモリ１４６に格納する。また、Ｐフレームの場合、画像格納部１４４はＰフレームを圧縮してフレームメモリ１４６に格納する。なお、画像格納部１４４は、Ｐフレームを圧縮する場合、予測符号化部１４１及びデータ圧縮部１４２と同じ圧縮方法を用いる。これにより、フレームを伸長する際、画像伸長部１４５はＩフレームとＰフレームとを同じ伸長方法で伸長できる。

画像伸長部１４５は、格納されているＩフレーム又はＰフレームを伸長する。画像伸長部１４５は、予測符号化部１４１及びデータ圧縮部１４２がＩフレームを圧縮する際に使用した圧縮方法に対応する伸長方法を用いる。そして、画像伸長部１４５は、伸長したフレームを動き検出部１４１ａ及び動き補償部１４１ｂに送信する。

次に、実施形態５の映像伝送システム１の動作について説明する。動画伸長処理は実施形態１と同じであるので説明を省略する。図１２は、動画伸長処理のフローチャートである。

まず、画像伸長部１４５は、圧縮されたＩフレーム又はＰフレームを伸長し、動き検出部１４１ａ及び動き補償部１４１ｂに送信する（Ｓ５０１）。

動き検出部１４１ａは、取得したフレームを参照画像として入力画像の動き検出を実行し、動きベクトルを生成する。つまり、予測符号化部１４１は、取得したフレームがＩフレームの場合はＩフレームを、取得したフレームがＰフレームの場合はＰフレームを、参照画像として動き検出を実行する（Ｓ５０２）。

動き補償部１４１ｂは、動きベクトルと参照画像を使って、動き補償画像を生成する。そして、動き補償部１４１ｂは、動き補償画像を予測画像として減算器１４１ｃに送信する（Ｓ５０３）。

減算器１４１ｃは、入力画像と予測画像の差分を算出し、予測誤差データを生成する（Ｓ５０４）。そして、予測符号化部１４１は、予測誤差データをデータ圧縮部１４２に送信する。

データ圧縮部１４２は、予測誤差データと動きベクトルの圧縮を行い、送信部１３０に送信する（Ｓ５０５）。送信部１３０は、予測誤差データ及び動きベクトルを、多重化して動画伸長装置２００に送信する。

ローカルデコード部１４３は、量子化部１４２ｂの出力の中からＰフレームを選択する。そして、ローカルデコード部１４３は、Ｐフレームのローカルデコード画像を生成する（Ｓ５０６）。

画像格納部１４４は、ローカルデコード部１４３からＰフレームのローカルデコード画像を取得する。また、画像格納部１４４は、データ圧縮部１４２の出力の中からＩフレームを取得する。そして、画像格納部１４４は、予め設定された基準に従い、ＩフレームとＰフレームのいずれをフレームメモリ１４６に格納するか判別する（Ｓ５０７）。このとき、画像格納部１４４は、動画中の画像の変化の大きさに基づいて、判別する。具体的には、画像格納部１４４は、画像の変化が基準より小さい場合は、Ｉフレームをフレームメモリ１４６に格納し、画像の変化が基準より大きい場合は、Ｐフレームをフレームメモリ１４６に格納する（Ｓ５０８）。

このとき、画像格納部１４４は、過去一定時間分若しくは過去一定フレーム分の入力画像の変化の大きさに基づいて、判別してもよい。具体的には、画像格納部１４４は、動きベクトルに基づいて動画中の画像の変化の大きさを判別してもよい。例えば、画像格納部１４４は、過去一定期間分若しくは過去一定フレーム分の動きベクトルを取得する。そして、画像格納部１４４は、取得した複数の動きベクトルの大きさの総和若しくは平均値を算出する。その後、画像格納部１４４は、動きベクトルの大きさ総和若しくは平均値が予め設定された閾値より小さい場合は、Ｉフレームをフレームメモリ１４６に格納し、総和若しくは平均値が予め設定された閾値より大きい場合は、Ｐフレームをフレームメモリ１４６に格納する。

また、画像格納部１４４は、予測符号化部１４１が生成する予測誤差データに基づいて動画中の画像の変化の大きさを判別してもよい。例えば、画像格納部１４４は、過去一定期間分若しくは過去一定フレーム分の予測誤差データを取得する。そして、画像格納部１４４は、取得した予測誤差データに含まれる複数の差分値の総和若しくは平均値を算出する。その後、画像格納部１４４は、算出した総和若しくは平均値が予め設定された閾値より小さい場合は、Ｉフレームをフレームメモリ１４６に格納し、総和若しくは平均値が予め設定された閾値より大きい場合は、Ｐフレームをフレームメモリ１４６に格納する。なお、動画中の画像の変化が大きいか否かを判別する方法は、上記に限定されず、既知の様々な方法を使用可能である。

続いて、画像格納部１４４は、Ｓ５０７で判別した方のフレームをフレームメモリ１４６に格納する（Ｓ５０８）。このとき、画像格納部１４４は、格納するフレームがＩフレームの場合は、Ｉフレームを圧縮された状態のまま格納する。また、画像格納部１４４は、格納するフレームがＰフレームの場合は、Ｐフレームを圧縮して格納する。このとき、画像格納部１４４は、予測符号化部１４１及びデータ圧縮部１４２と同じ圧縮方法を使用する。

Ｉフレーム又はＰフレームの格納が完了したら、圧縮部１４０はＳ５０１に戻り、Ｓ５０１〜Ｓ５０７の処理を繰り返す。

本実施形態によれば、画像格納部１４４がＩフレームとＰフレームのいずれをフレームメモリ１４６に格納するか判別しているので、動画圧縮装置１００は、フレームメモリ１４６に格納するデータの情報量を少なくできる。しかも、画像格納部１４４は動画中の画像の動きの大きさに基づいてフレームメモリ１４６に格納するフレームを選択している。すなわち、動画中の画像の動きが小さいときは、Ｉフレームを、動画中の画像の動きが大きいときは、Ｐフレームを、参照画像としている。そのため、動画圧縮装置１００は、動画伸長装置２００で復号される動画の画質はあまり劣化しない。

また、Ｐフレームを格納する際の圧縮方法は、Ｉフレームを圧縮する際に使用した圧縮方法と同じである。そのため、画像伸長部１４５は、フレームを伸長する場合に、ＩフレームとＰフレームとで共通の伸長方法を使用でき、伸長処理を簡易なものとできる。

なお、上述の各実施形態は、それぞれ一例を示したものであり、種々の変更及び応用が可能である。例えば、上述の各実施形態では、変換符号化部１４２ａは、離散コサイン変換（ＤＣＴ）を使って予測誤差データやＩフレームを直交変換するものとしたが、変換符号化部１４２ａが使用する直交変換は離散コサイン変換に限定されない。変換符号化部１４２ａが使用する直交変換は、離散フーリエ変換、カルーネン・レーベ変換等、他の直交変換であってもよい。

また、上述の各実施形態では、動画圧縮装置１００は外部の装置（例えば、カメラ）から映像信号を取得するよう構成されていたが、動画圧縮装置１００は動画を撮像する撮像部を備え、圧縮して動画伸長装置２００に送信する動画を撮像部で撮像するよう構成されていてもよい。

また、上述の各実施形態の動画圧縮装置１００は、入力画像のノイズを除去するノイズ除去部を備えていてもよい。図１３は、ノイズ除去部１５０を備える動画圧縮装置１００の構成の一例を示す図である。ノイズ除去部１５０は、入力部１２０と圧縮部１４０との間に設けられ、入力部１２０から入力された入力画像のノイズリダクションを実行する。そして、ノイズ除去部１５０は、ノイズを削減した入力画像を圧縮部１４０に入力する。ノイズ除去部１５０が実行するノイズリダクションは、２次元ノイズリダクションであってもよいし、３次元ノイズリダクションであってもよい。２次元ノイズリダクションとは、１枚のフレーム内でノイズを検出して除去する信号処理のことである。３次元ノイズリダクションとは、他のフレーム（例えば、過去のフレーム）の情報を使ってノイズを検出して除去する信号処理のことである。

３次元ノイズリダクションは、既知の様々な方法を使用可能である。例えば、ノイズ除去部１５０は、画像伸長部１４５から画像を取得するよう構成されていてもよい。そして、ノイズ除去部１５０は、画像伸長部１４５が伸長した画像を他のフレーム（過去のフレーム）としてもよい。画像伸長部１４５が伸長した画像を使用することにより、３次元ノイズリダクションに必要なフレームバッファおよびフレームバッファ圧縮伸長回路を削減することができる。

また、上述の実施形態では、動画伸長装置２００は伸長した動画を外部の装置に出力するよう構成されていたが、動画伸長装置２００は液晶ディスプレイ等の表示部を備え、伸長した動画を表示部に表示するよう構成されていてもよい。

また、上述の各実施形態では、動画圧縮装置１００及び動画伸長装置２００は、サーバ装置、テレビ、レコーダ、パーソナルコンピュータ、固定電話機、携帯電話機、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、ゲーム機等の完成品に適宜応用できる。

本実施形態に係る動画圧縮装置１００及び動画伸長装置２００は、専用のコンピュータシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによって動画圧縮装置１００及び動画伸長装置２００を構成してもよい。また、上記プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことが出来る。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１...映像伝送システム
１００...動画圧縮装置
１１０、２１０...制御部
１２０...入力部
１３０...送信部
１４０...圧縮部
１４１...予測符号化部
１４１ａ...動き検出部
１４１ｂ、２４２ａ...動き補償部
１４１ｃ...減算器
１４２...データ圧縮部
１４２ａ...変換符号化部
１４２ｂ...量子化部
１４２ｃ...エントロピー符号化部
１４３...ローカルデコード部
１４３ａ、２４１ｂ...逆量子化部
１４３ｂ、２４１ｃ...変換復号部
１４３ｃ、２４２ｂ...加算器
１４４、２４３...画像格納部
１４５、２４５...画像伸長部
１４６、２４４...フレームメモリ
１５０...ノイズ除去部
２００...動画伸長装置
２２０...受信部
２３０...出力部
２４０...伸長部
２４１...データ伸長部
２４１ａ...エントロピー復号部
２４２...予測復号部

Claims (6)

1. 複数の入力画像を圧縮する符号化装置と、前記符号化装置が圧縮した前記入力画像を伸長する復号化装置と、を備える映像伝送システムであって、
   前記符号化装置は、
   参照画像と前記入力画像とに基づいて予測誤差データを生成する予測符号化部と、
   前記予測誤差データを圧縮するデータ圧縮部と、
   すでに圧縮が完了した前記入力画像を圧縮された状態のままフレームメモリに格納する、又は復号側で復号される前記入力画像の模擬生成画像であるローカルデコード画像を圧縮して前記フレームメモリに格納する画像格納部と、
   前記フレームメモリに格納されている画像を伸長することにより前記予測符号化部が使用する前記参照画像を取得する画像伸長部と、を備え、
   前記復号化装置は、
   前記データ圧縮部で圧縮された前記予測誤差データを伸長するデータ伸長部と、
   すでに復号が完了している前記入力画像を前記参照画像として取得し、取得した前記参照画像と前記予測誤差データとに基づいて、前記参照画像とは別の新たな前記入力画像を復号する予測復号部と、を備える、
   映像伝送システム。
2. 前記符号化装置は、復号側で復号される前記入力画像を模擬生成するローカルデコード部、を備え、
   前記画像格納部は、前記ローカルデコード部で生成されたローカルデコード画像を圧縮し、圧縮した前記ローカルデコード画像を前記フレームメモリに格納し、
   前記画像伸長部は、前記フレームメモリに格納されている前記ローカルデコード画像を伸長し、
   前記予測符号化部は、
   前記画像伸長部で伸長された前記ローカルデコード画像を前記参照画像として前記入力画像の動き検出を行い、前記ローカルデコード画像を前記動き検出の結果に基づいて動き補償することにより動き補償画像を生成し、
   前記動き補償画像と前記入力画像との差分を予測誤差データとして取得する、
   請求項１に記載の映像伝送システム。
3. 前記符号化装置は、復号側で復号される前記入力画像を模擬生成するローカルデコード部、を備え、
   前記画像格納部は、前記ローカルデコード部で生成されたローカルデコード画像を圧縮し、圧縮した前記ローカルデコード画像を前記フレームメモリに格納し、
   前記画像伸長部は、前記フレームメモリに格納されている前記ローカルデコード画像を伸長し、
   前記予測符号化部は、前記画像伸長部で伸長された前記ローカルデコード画像を前記参照画像として取得し、
   前記復号化装置は、
   すでに復号が完了している前記入力画像を、前記画像格納部が前記ローカルデコード画像を圧縮する際に使用する圧縮方法と同じ圧縮方法を使用して圧縮し、圧縮した前記入力画像を第２のフレームメモリに格納する第２の画像格納部と、
   前記第２のフレームメモリに格納された前記入力画像を伸長する第２の画像伸長部と、を備え、
   前記予測復号部は、前記第２の画像伸長部で伸長された前記入力画像を前記参照画像として取得する、
   請求項１に記載の映像伝送システム。
4. 前記複数の入力画像には、少なくともＩフレームが含まれ、
   前記画像格納部は、すでに圧縮が完了した前記Ｉフレームを圧縮された状態のまま前記フレームメモリに格納し、
   前記画像伸長部は、前記フレームメモリに格納されている前記Ｉフレームを伸長し、
   前記予測符号化部は、
   前記画像伸長部で伸長された前記Ｉフレームを前記参照画像として前記入力画像の動き検出を行い、前記Ｉフレームを前記動き検出の結果に基づいて動き補償画像を生成し、
   前記動き補償画像と前記入力画像との差分を予測誤差データとして取得する、
   請求項１に記載の映像伝送システム。
5. 前記複数の入力画像には、少なくともＩフレーム及びＰピクチャーが含まれ、
   前記符号化装置は、復号側で復号される前記Ｐピクチャーを模擬生成するローカルデコード部、を備え、
   前記画像格納部は、
   前記ローカルデコード部で生成された前記Ｐピクチャーを圧縮して前記フレームメモリに格納し、
   すでに圧縮が完了した前記Ｉフレームを圧縮された状態のまま前記フレームメモリに格納し、
   前記画像伸長部は、前記フレームメモリに格納されている前記Ｉフレーム及び前記Ｐピクチャーを伸長し、
   前記予測符号化部は、前記画像伸長部で伸長された前記Ｉフレーム及び前記Ｐピクチャーの少なくとも１つを前記参照画像として取得する、
   請求項１に記載の映像伝送システム。
6. 前記複数の入力画像には、少なくともＩフレーム及びＰピクチャーが含まれ、
   前記符号化装置は、復号側で復号される前記Ｐピクチャーを模擬生成するローカルデコード部、を備え、
   前記画像格納部は、
   予め設定された基準に基づいて前記Ｐピクチャー及び前記Ｉフレームのいずれを前記フレームメモリに格納するか判別し、
   前記Ｉフレームを前記フレームメモリに格納する場合には、すでに圧縮が完了した前記Ｉフレームを圧縮された状態のまま前記フレームメモリに格納し、
   前記Ｐピクチャーを前記フレームメモリに格納する場合には、前記ローカルデコード部で生成された前記Ｐピクチャーを圧縮して前記フレームメモリに格納し、
   前記画像伸長部は、前記フレームメモリに格納されている前記Ｉフレーム又は前記Ｐピクチャーを伸長し、
   前記予測符号化部は、前記画像伸長部で伸長された前記Ｉフレーム又は前記Ｐピクチャーを前記参照画像として取得し、
   前記復号化装置は、
   すでに復号が完了している前記入力画像を、前記画像格納部が前記ローカルデコード画像を圧縮する際に使用する圧縮方法と同じ圧縮方法を使用して圧縮し、圧縮した前記入力画像を第２のフレームメモリに格納する第２の画像格納部と、
   前記第２のフレームメモリに格納された前記入力画像を伸長する第２の画像伸長部と、を備え、
   前記予測復号部は、前記第２の画像伸長部で伸長された前記入力画像を前記参照画像として取得する、
   請求項１に記載の映像伝送システム。

Images