JP6239838B2 - 動画像符号化装置、その制御方法、及び撮像装置 - Google Patents

Description

本発明は、動画像符号化装置、その制御方法、及び撮像装置に関する。

近年、記録媒体としてディスク媒体、ハードディスク、又はメモリなどを用いてハイビジョン記録を行うビデオカメラが製品化され始めた。これらのビデオカメラは、小型で持ち運びも容易であり、かつ高画質の映像を記録できるため、今後ますます普及していくと思われる。このようなビデオカメラは、ハイビジョン記録を行うため、例えばＭＰＥＧ４ ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０、別名Ｈ．２６４）に従って圧縮符号化されたビデオストリームで記録媒体に映像を保存する。この圧縮符号化方式では、画像間の相関を利用したフレーム間予測（インター予測）と、画像内の相関を利用したフレーム内予測（イントラ予測）とを用いると共に、算術符号化を用いることで高効率な圧縮符号化を実現している。

また、圧縮符号化の際に、量子化や動き予測を行うブロックのサイズを可変とすることで、符号化効率の向上を図る技術が存在する。動きベクトルはブロックあたりに１つ含まれるので、ブロックサイズを大きくすると、小さくした場合と比較して動きベクトルの数を削減できる。そのため、符号量を削減することができる。一方、ブロックサイズを小さくすると、各ブロックにより適した動きベクトルや量子化幅を設定可能となる。そこで、入力された映像の特徴に応じてブロックサイズを切り替えることで、符号化効率を向上させることができる。

特許文献１は、このような技術を採用した画像符号化装置を開示している。特許文献１の画像符号化装置は、入力された映像を細かく分割して各分割領域の動きベクトルを算出し、或るブロックと隣接ブロックとの動きベクトルの差分が少ない場合に、当該ブロックと隣接ブロックとを結合したサイズをブロックサイズとする。これにより、ベクトル数が削減され、符号化効率が向上する。

特開平９−１３０８０１号公報

上記従来技術の構成では、動きベクトルのみを利用してブロックサイズが決定される。この場合、ブロックサイズが大きくなると、ベクトル数が削減される代わりに、ブロック内に複雑な領域と平坦な領域とが混在する可能性が高くなる。ブロック内は一様に量子化しなければならないため、ブロック内に複雑な領域と平坦な領域とが混在する場合、複雑な領域と平坦な領域とに一様に量子化幅を設定しなければならない。従って、量子化幅を大きくすると、平坦な領域で画質劣化が目立ってしまい、量子化幅を小さくすると、複雑な領域で発生符号量が増大して符号化効率が下がってしまうという問題がある。

本発明はこのような状況に鑑みてなされたものであり、動き補償及び量子化を用いる符号化において、画質劣化を抑制しつつ動きベクトルの数を減少させる技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、動き補償及び量子化を用いる符号化を行う動画像符号化装置であって、符号化対象画像を複数の第１のブロック画像に分割する第１の分割手段と、前記第１のブロック画像の動きベクトルを検出する動きベクトル検出手段と、前記第１のブロック画像を複数の第２のブロック画像に分割する第２の分割手段と、前記複数の第２のブロック画像の各々について、量子化による画質劣化の目立ち易さを示す特徴量を算出する特徴量算出手段と、前記複数の第２のブロック画像の各々の前記特徴量のばらつきの度合いが閾値以上の場合は前記複数の第２のブロック画像を選択し、そうでない場合は前記第１のブロック画像を選択する選択手段と、前記選択手段による選択に従い、前記複数の第２のブロック画像の各々、又は前記第１のブロック画像を符号化する符号化手段と、を備え、前記符号化手段は、前記複数の第２のブロック画像の各々を符号化する場合、各ブロック画像の動きベクトルとして当該複数の第２のブロック画像に対応する第１のブロック画像の動きベクトルを使用して動き補償を行い、各ブロック画像について個別に決定された量子化幅を使用して各ブロック画像の量子化を行うことを特徴とする動画像符号化装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、動き補償及び量子化を用いる符号化において、画質劣化を抑制しつつ動きベクトルの数を減少させることが可能となる。

第１の実施形態に係る動画像符号化装置１００の構成を示すブロック図。 第１のブロック画像を説明するための図。 第２のブロック画像を説明するための図。 動画像符号化装置１００による符号化処理を示すフローチャート。 第１の実施形態に係る、動画像符号化装置１００による符号化処理の具体例を示す図。 第２の実施形態に係る動画像符号化装置６００の構成を示すブロック図。 第２の実施形態に係る、動き探索部６０１による動きベクトルの検出処理を説明するための図。 第２の実施形態に係る、動画像符号化装置６００による符号化処理の具体例を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る動画像符号化装置１００の構成を示すブロック図である。動画像符号化装置１００は、入力された映像（動画像）を可変サイズのブロックに分割し、動き補償及び量子化を用いる符号化を行うことで符号化ストリームを生成して記録するように構成される。

映像入力部１０１は、撮像装置より映像信号を入力し、第１のブロック分割部１０２（第１の分割手段）へと出力する。第１のブロック分割部１０２は、入力された映像信号の符号化対象画像を、可変サイズの複数の第１のブロック画像に分割する。分割方法の詳細は後述する。加算器１０３は、ブロックサイズ決定部１１４による制御（後述）に従って、入力されるブロック画像の画素値と予測に用いられる参照画素値との予測誤差を算出する。直交変換部１０４は、予測誤差を例えば離散コサイン係数に変換する。量子化部１０５は、離散コサイン係数を量子化する。

逆量子化部１０６及び逆直交変換部１０７は、量子化部１０５による量子化の結果に対して逆量子化及び逆直交変換を行うことにより、参照画素値との予測誤差を求める。加算器１０８は、予測誤差と参照画素値とを加算することで、局所的な復号結果である画素値を求める。加算器１０８によって得られた画素値は、参照フレーム保持部１０９に保持される。

動き探索部１１０（動きベクトル検出手段）は、第１のブロック画像と、参照フレーム保持部１０９に保持されている、先行する画像の参照画素値を用いてパターンマッチングを行う。そして、動き探索部１１０は、参照画素値との誤差が最小となるベクトルを、入力画像（符号化対象画像）における第１のブロック画像の動きベクトルとして検出する。
動き探索部１１０にて検出された、第１のブロック画像の動きベクトルは、動き補償部１１５へと出力される。

第２のブロック分割部１１１（第２の分割手段）は、入力された第１のブロック画像を、更に細かい複数の第２のブロック画像へと分割し、分散値算出部１１２へと出力する。分散値算出部１１２は、入力された第２のブロック画像の各々の分散値を算出し、特徴量算出部１１３へと出力する。

特徴量算出部１１３は、分散値算出部１１２より入力された分散値を用いて、各第２のブロック画像の量子化による画質劣化の目立ち易さを示す特徴量（以後、劣化レベルと呼ぶ）を算出し、ブロックサイズ決定部１１４へと出力する。分散値が高い領域は、一般的に視覚的な劣化が目立ちにくく、分散値が低い領域は、一般的に視覚的な劣化が目立ち易い。そこで、特徴量算出部１１３は、分散値が高い領域については劣化レベルとして低い値を算出し、分散値が低い領域については劣化レベルとして高い値を算出する。

ブロックサイズ決定部１１４は、特徴量算出部１１３から出力された劣化レベルを用いて、第１のブロック画像と第２のブロック画像のどちらを符号化のサイズ（単位）とするかを選択する。ブロックサイズ決定部１１４は、選択結果を加算器１０３と動き補償部１１５へと通知することにより、加算器１０３及び動き補償部１１５の動作を制御する。選択方法の詳細は後述する。

動き補償部１１５は、動き探索部１１０で検出された動きベクトルを取得し、ブロックサイズ決定部１１４の指示に従い、第１のブロック画像又は第２のブロック画像の、参照画像内の動きベクトルで表される画素値を参照画素値として出力する。そして、加算器１０３は、動き補償部１１５からの参照画素値を用いて、ブロックサイズ決定部１１４の指示に従い、後続するフレーム又はフィールドにおける第１のブロック画像又は第２のブロック画像の画素値と選択された参照画素値との誤差を算出する。これにより、後続する符号化が実行される。即ち、ブロックサイズ決定部１１４の選択に応じて、複数の第２のブロック画像の各々、又は第１のブロック画像の符号化が実行される。

エントロピー符号化部１１６は、量子化部１０５による量子化の結果、及び、動き探索部１１０により求められた動きベクトルをエントロピー符号化し、ストリームとして記録媒体１１７へと出力する。

なお、動画像符号化装置１００は、映像入力部１０１に入力する符号化対象画像を撮像する撮像部を更に備えてもよい。この場合、動画像符号化装置１００は、撮像装置として機能する。

次に、第１のブロック分割部１０２における符号化対象画像の分割方法の詳細について説明する。本実施例態では、第１のブロック画像のサイズは可変であり、例えば、３２画素×３２画素、１６画素×１６画素、１６画素×８画素、８画素×８画素、等を選択可能であるものとする。

図２は、第１のブロック画像を説明するための図である。図２の左側は符号化対象画像を示し、図２の右側は符号化対象画像を複数の第１のブロック画像に分割した様子を示す。図２の右側には様々なサイズのブロック画像が存在するが、いずれも第１のブロック画像である。このように、第１のブロック分割部１０２は、符号化対象画像を可変サイズの複数の第１のブロック画像に分割する。

なお、第１のブロック画像のサイズは固定サイズであってもよい。また、可変サイズの場合、様々な方法でサイズを決定可能であるが、一例として、第１のブロック分割部１０２は、隣接した画素値との差分が小さい画素をまとめるようにしてブロック画像のサイズを決定することができる。

次に、第２のブロック分割部１１１における第１のブロック画像の分割方法の詳細について説明する。

図３は、第２のブロック画像を説明するための図である。図３の左側は符号化対象画像を複数の第１のブロック画像に分割した様子を示し、図３の右側は第１のブロック画像３０１を複数の第２のブロック画像に分割した様子を示す。本実施形態では、第２のブロック分割部１１１は、第１のブロック画像を、縦方向に２分割、横方向に２分割するものとする。例えば、第２のブロック分割部１１１は、複数の第１のブロック画像の１つである第１のブロック画像３０１を、４つの第２のブロック画像３１１、３１２、３１３、３１４に分割する。

次に、動画像符号化装置１００による符号化処理、特に、ブロックサイズ決定部１１４におけるブロック画像の選択方法の詳細について説明する。図４は、動画像符号化装置１００による符号化処理を示すフローチャートである。

Ｓ４０１で、第１のブロック分割部１０２は、図２を参照して前述したように、符号化対象画像を複数の第１のブロック画像に分割する。Ｓ４０２で、動き探索部１１０は、第１のブロック画像の動きベクトルを検出する。Ｓ４０３で、第２のブロック分割部１１１は、図３を参照して前述したように、第１のブロック画像を複数の第２のブロック画像に分割する。

Ｓ４０４で、分散値算出部１１２は、複数の第２のブロック画像の各々について、画素値の分散値を算出する。そして、特徴量算出部１１３は、分散値に基づき、複数の第２のブロック画像の各々について、劣化レベル（量子化による画質劣化の目立ち易さを示す特徴量）を算出する。

Ｓ４０５で、ブロックサイズ決定部１１４は、各第２のブロック画像の劣化レベルが近いか否かを判定する。各劣化レベルが近い場合、処理はＳ４０６に進み、そうでない場合、処理はＳ４０７に進む。Ｓ４０５における判定は、例えば、各劣化レベルのばらつきの度合いが閾値以上か否かを判定することにより行われる。ブロックサイズ決定部１１４は、各劣化レベルのばらつきの度合いが閾値以上の場合、各劣化レベルが近くないと判定し、そうでない場合、各劣化レベルが近いと判定する。

Ｓ４０６では、ブロックサイズ決定部１１４は、第１のブロック画像を選択し、その旨を加算器１０３と動き補償部１１５へと通知する。Ｓ４０７では、ブロックサイズ決定部１１４は、複数の第２のブロック画像を選択し、その旨を加算器１０３と動き補償部１１５へと通知する。

Ｓ４０８で、動画像符号化装置１００は、加算器１０３、動き補償部１１５、直交変換部１０４、量子化部１０５などを用いて、Ｓ４０６又はＳ４０７で選択されたブロック画像を符号化する。複数の第２のブロック画像が選択された場合、動き補償部１１５は、各ブロック画像の動きベクトルとして、これらの第２のブロック画像に対応する第１のブロック画像の動きベクトル（即ち、Ｓ４０２で検出された動きベクトル）を用いる。

図５を参照して、Ｓ４０４乃至Ｓ４０８の処理について更に詳細に説明する。図５において、５０１は符号化対象画像を示す。５０２は、第１のブロック画像を示す。５０３は、第１のブロック画像５０２を分割した、第２のブロック画像を示す。５０４は、第１のブロック画像５０２とは別の第１のブロック画像を示す。５０５は、第１のブロック画像５０４を分割した、第２のブロック画像を示す。５０６は、動き探索部１１０で検出された第１のブロック画像５０２の動きベクトルを示す。５０７は、動き探索部１１０で検出された第１のブロック画像５０４の動きベクトルを示す。

第１のブロック画像５０２には、平坦な領域と複雑な領域とが混在している。従って、第１のブロック画像５０２からは、複数の第２のブロック画像５０３として、劣化レベルが高いものと低いものとが得られる。従って、ブロックサイズ決定部１１４は、各劣化レベルが近くないと判定し、複数の第２のブロック画像５０３を選択する。この場合、動き補償部１１５は、動き探索部１１０で検出された第１のブロック画像５０２の動きベクトル５０６を取得し、この動きベクトルを、複数の第２のブロック画像５０３の各々の動きベクトルとして用いる。

一方、第１のブロック画像５０４には、平坦な領域のみが含まれている。従って、第１のブロック画像５０４からは、複数の第２のブロック画像５０５として、劣化レベルが低いもののみが得られる。従って、ブロックサイズ決定部１１４は、各劣化レベルが近いと判定し、第１のブロック画像５０４を選択する。この場合、動き補償部１１５は、動き探索部１１０で検出された第１のブロック画像５０４の動きベクトル５０７を取得し、この動きベクトルを使用して動き補償を行う。

以上説明したように、本実施形態によれば、動画像符号化装置１００は、符号化対象画像から得られる第１のブロック画像を複数の第２のブロック画像に分割し、複数の第２のブロック画像の各々について、劣化レベルを算出する。そして、動画像符号化装置１００は、各劣化レベルが近い場合は第１のブロック画像を符号化し、そうでない場合は複数の第２のブロック画像の各々を符号化する。

従って、各劣化レベルが近い場合は第２のブロック画像よりも大きな第１のブロック画像が選択されるため、動きベクトルの数が減少するが、この場合は、第１のブロック画像の全体を一様な量子化幅で量子化しても画質劣化は目立ちにくい。また、各劣化レベルが近くない場合は、第１のブロック画像よりも小さな第２のブロック画像が選択され、各第２のブロック画像について個別に量子化幅が決定されるため、画質劣化が抑制される。その結果、動き補償及び量子化を用いる符号化において、画質劣化を抑制しつつ動きベクトルの数を減少させることが可能となる。

［第２の実施形態］
図６は、第２の実施形態に係る動画像符号化装置６００の構成を示すブロック図である。図６において、図１の動画像符号化装置１００と同一又は同様の構成要素には同一の符号を付し、その説明を省略する。第１の実施形態では、動画像符号化装置１００は、第２のブロック画像の動きベクトルとして第１のブロック画像の動きベクトルを用いたが、第２の実施形態では、動画像符号化装置６００は、第２のブロック画像についても動きベクトルを検出する。

動き探索部６０１は、動き探索部１１０と同様、第１のブロック画像の動きベクトルを検出する。加えて、動き探索部６０１は、第２のブロック分割部１１１から第２のブロック画像を取得し、第２のブロック画像の動きベクトルも検出する。検出された第１及び第２のブロック画像の動きベクトルは、動きベクトル保持部６０２に保持される。

ブロックサイズ決定部１１４により第１のブロック画像が選択された場合、動き補償部６０３は、動きベクトル保持部６０２から第１のブロック画像の動きベクトルを取得し、この動きベクトルを使用して動き補償を行う。一方、ブロックサイズ決定部１１４により複数の第２のブロック画像が選択された場合、動き補償部６０３は、動きベクトル保持部６０２から各第２のブロック画像の動きベクトルを取得し、これらの動きベクトルを使用して動き補償を行う。

従って、第２の実施形態においては、動画像符号化装置６００は、図４のフローチャートに従って符号化処理を行う場合、Ｓ４０２において、第１のブロック画像の動きベクトルに加えて第２のブロック画像の動きベクトルを検出する。また、Ｓ４０７において第２のブロック画像が選択された場合、Ｓ４０８において、動画像符号化装置６００は、Ｓ４０２で検出された第２のブロック画像の動きベクトルを使用して符号化を行う。

図７及び図８を参照して、第２の実施形態に係る符号化処理の具体例を説明する。図７は、動き探索部６０１による動きベクトルの検出処理を説明するための図である。図７において、７０１は、符号化対象画像の第１のブロック画像を示し、７０２は、第１のブロック画像７０１から得られる第２のブロック画像を示す。７０３は、参照画像を示し、７０４は、第１のブロック画像７０１の動きベクトルを示し、７０５は、４つの第２のブロック画像の各々の動きベクトルを示す。

動き探索部６０１は、入力された第１のブロック画像７０１及び参照画像７０３に対してパターンマッチングを行うことで、第１の動きベクトル７０４を検出し、動きベクトル保持部６０２へと出力する。また、動き探索部６０１は、入力された４つの第２のブロック画像７０２の各々について、参照画像７０３に対してパターンマッチングを行うことで、第２の動きベクトル７０５を算出し、動きベクトル保持部６０２へと出力する。

次に図８を参照する。図８において、５０１乃至５０６は、図５の５０１乃至５０６と同じものを示す。８０６は、動き探索部６０１で検出された４つの第２のブロック画像５０３の各々の動きベクトルを示す。第１の実施形態の場合（図５参照）と異なり、第２の実施形態では、複数の第２のブロック画像５０３が選択された場合、動き補償部６０３は、動き探索部６０１で検出された複数の第２のブロック画像５０３の各々の動きベクトルを取得して符号化を行う。

以上説明したように、第２の実施形態によれば、動画像符号化装置６００は、第２のブロック画像についても動きベクトルを検出する。これにより、動き補償の精度が向上し、第２のブロック画像を符号化する場合の画質が向上する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 動き補償及び量子化を用いる符号化を行う動画像符号化装置であって、
   符号化対象画像を複数の第１のブロック画像に分割する第１の分割手段と、
   前記第１のブロック画像の動きベクトルを検出する動きベクトル検出手段と、
   前記第１のブロック画像を複数の第２のブロック画像に分割する第２の分割手段と、
   前記複数の第２のブロック画像の各々について、量子化による画質劣化の目立ち易さを示す特徴量を算出する特徴量算出手段と、
   前記複数の第２のブロック画像の各々の前記特徴量のばらつきの度合いが閾値以上の場合は前記複数の第２のブロック画像を選択し、そうでない場合は前記第１のブロック画像を選択する選択手段と、
   前記選択手段による選択に従い、前記複数の第２のブロック画像の各々、又は前記第１のブロック画像を符号化する符号化手段と、
   を備え、
   前記符号化手段は、前記複数の第２のブロック画像の各々を符号化する場合、
   各ブロック画像の動きベクトルとして当該複数の第２のブロック画像に対応する第１のブロック画像の動きベクトルを使用して動き補償を行い、
   各ブロック画像について個別に決定された量子化幅を使用して各ブロック画像の量子化を行う
   ことを特徴とする動画像符号化装置。
2. 前記特徴量算出手段は、前記特徴量として、前記第２のブロック画像の画素値の分散に基づく値を算出する
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記第１の分割手段は、前記符号化対象画像を複数のサイズの前記複数の第１のブロック画像に分割する
   ことを特徴とする請求項１又は２に記載の動画像符号化装置。
4. 請求項１乃至３のいずれか１項に記載の動画像符号化装置と、
   前記符号化対象画像を撮像する撮像手段と、
   を備えることを特徴とする撮像装置。
5. 動き補償及び量子化を用いる符号化を行う動画像符号化装置の制御方法であって、
   前記動画像符号化装置の第１の分割手段が、符号化対象画像を複数の第１のブロック画像に分割する第１の分割工程と、
   前記動画像符号化装置の動きベクトル検出手段が、前記第１のブロック画像の動きベクトルを検出する動きベクトル検出工程と、
   前記動画像符号化装置の第２の分割手段が、前記第１のブロック画像を複数の第２のブロック画像に分割する第２の分割工程と、
   前記動画像符号化装置の特徴量算出手段が、前記複数の第２のブロック画像の各々について、量子化による画質劣化の目立ち易さを示す特徴量を算出する特徴量算出工程と、
   前記動画像符号化装置の選択手段が、前記複数の第２のブロック画像の各々の前記特徴量のばらつきの度合いが閾値以上の場合は前記複数の第２のブロック画像を選択し、そうでない場合は前記第１のブロック画像を選択する選択工程と、
   前記動画像符号化装置の符号化手段が、前記選択工程における選択に従い、前記複数の第２のブロック画像の各々、又は前記第１のブロック画像を符号化する符号化工程と、
   を備え、
   前記符号化工程では、前記複数の第２のブロック画像の各々を符号化する場合、
   各ブロック画像の動きベクトルとして当該複数の第２のブロック画像に対応する第１のブロック画像の動きベクトルを使用して動き補償を行い、
   各ブロック画像について個別に決定された量子化幅を使用して各ブロック画像の量子化を行う
   ことを特徴とする制御方法。
6. コンピュータに、請求項５に記載の制御方法の各工程を実行させるためのプログラム。
7. コンピュータに、請求項５に記載の制御方法の各工程を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images