JP6151909B2 - 動画像符号化装置、方法およびプログラム - Google Patents

動画像符号化装置、方法およびプログラム Download PDF

Info

Publication number
JP6151909B2
JP6151909B2 JP2012271615A JP2012271615A JP6151909B2 JP 6151909 B2 JP6151909 B2 JP 6151909B2 JP 2012271615 A JP2012271615 A JP 2012271615A JP 2012271615 A JP2012271615 A JP 2012271615A JP 6151909 B2 JP6151909 B2 JP 6151909B2
Authority
JP
Japan
Prior art keywords
color component
motion vector
vector
motion
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012271615A
Other languages
English (en)
Other versions
JP2014116902A (ja
Inventor
竹田　英史
英史 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012271615A priority Critical patent/JP6151909B2/ja
Priority to US14/096,118 priority patent/US9641838B2/en
Priority to CN201310680905.3A priority patent/CN103873865B/zh
Publication of JP2014116902A publication Critical patent/JP2014116902A/ja
Application granted granted Critical
Publication of JP6151909B2 publication Critical patent/JP6151909B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像信号の符号化装置に関し、特に同じサンプル比の複数の色成分から構成される動画像信号を、色成分ごとに独立して動き補償予測符号化する動画像符号化装置および方法に関する。
従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。
圧縮符号化方式としては、フレーム間の動き予測を用いて高い圧縮率での圧縮が可能なＭＰＥＧ２方式が一般的に用いられている。特に、近年では、より複雑な予測方式を用いるなどして、高圧縮が可能なＨ．２６４方式なども用いられるようになっている。ところで、上記のような圧縮符号化方式では、主に４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットが使われている。
４：２：０とは、ＲＧＢなどのカラー動画像信号を輝度成分（Ｙ）と２つの色差成分（Ｃｂ、Ｃｒ）に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。
色差成分は輝度成分に比べて視認性が落ちることから、符号化を行う前に色差成分のダウンサンプリングを行うことで符号化対象の源情報量の削減を行っていた。また、放送素材映像など業務向けには、色差成分を水平方向にのみ半分にダウンサンプリングする４：２：２フォーマットが用いられることもある。
さらに近年、ディスプレイの高解像度化や高階調化に伴い、色差成分をダウンサンプリングすることなく、輝度成分と同じサンプル数のまま符号化する符号化方式の開発も進んでいる。
なお、色差成分のサンプル数が輝度成分と同じフォーマットは、４：４：４フォーマットと呼ばれる。
４：２：０フォーマットの符号化においては、輝度成分に対してのみ動き補償予測のための情報が多重化され、色差成分については、輝度成分の情報を用いて動き補償を行うことになっている。
４：２：０フォーマットの符号化では、画像情報のほとんどが輝度成分に集約されていることと、輝度信号に比べて色差成分の方が歪みの視認性が低く、画像再現性に関する寄与が小さいという特徴のもとに成り立つものである。
一方、４：４：４フォーマットの符号化では、３つの成分が同程度に画像情報を持っている。従って、４：２：０フォーマットのように、画像情報が１成分に大きく依存していることを前提とした従来の符号化方式とは異なる符号化方式が望ましい。
４：４：４フォーマットに対応した符号化方式としては、例えば特許文献１に開示されている。特許文献１では、ＲＧＢ信号の三原色から成る入力画像において、Ｇ成分とＲＧＢ成分から生成した輝度成分Ｙの両方について動きベクトル検出を行った後、各ベクトルの相関を計算している。そしてＧ成分とＹ成分ベクトルの相関が高い場合は、Ｒ，Ｇ，Ｂ成分の動きベクトルにＹ成分の動きベクトルを適用している。
特開２００７−１３３８２３号公報
上述の４：４：４フォーマットに対応した符号化方式の符号化処理においては、動き予測を色成分毎に行うため、色成分によっては参照画像と符号化対象画像間での画面間差分値に明らかな差が現れない場合がある。
結果、実際の被写体の動きと異なる画面位置を指した動きベクトルの値のまま符号化を行ってしまうことになる。
符号化効率の点では、探索範囲内で最小となる座標位置を指し示すので、出力された符号化ビットストリームのデータ量としては、ベクトル符号量を少なく制御できる利点はある。
しかし、同一位置又は周辺の符号化ブロックの異なる色成分の量子化パラメタにバラツキが出たり、色成分の動きベクトルが実際のオブジェクトの動きと乖離することによって、色ズレ等の画質的な弊害を発生する虞がある。
上記特許文献１に開示の方法では、ＢやＲの色成分に対して動きベクトル検出をせず、すべての色成分について一意にＹまたはＧ成分の動きベクトルを適用しているため、上記の色ズレ等の弊害を必ずしも解決できない。
そこで、本発明は上述の点に鑑み、同じサンプル比の複数の色成分から構成される画像信号を、色成分毎に動き予測を行う符号化において、色ズレによる画質劣化を低減することを目的とする。
上述の課題を解決するために、本発明の一観点によれば、複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、前記動画像を構成する前記複数の色成分を取得する色成分取得手段と、前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動きベクトルを生成する生成手段と、前記生成された各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である場合に、ベクトル間の距離が最小である色成分以外の色成分の動きベクトルを補正対象として決定し、前記決定された色成分の動きベクトルを他の色成分の動きベクトルの平均ベクトルに補正する補正手段と、前記補正された動きベクトルを符号化パラメタとして取得し、前記取得した符号化パラメタを用いてインター符号化に用いる参照画像データを生成する符号化手段とを備えることを特徴とする動画像符号化装置が提供される。
本発明によれば、同じサンプル比の複数の色成分から構成される動画像を、色成分毎に動き予測を行う符号化において、色ズレによる画質劣化を低減できる動画符号化装置を提供することが可能となる。
本発明の第１の実施例に係る動画像符号化装置を含む符号化システムのブロック図 本発明の第１の実施例に係る動画像符号化装置のフレームメモリのデータ配置図 本発明の第１の実施例に係わる動画像符号化装置での動き予測動作の概念図 本発明の第１の実施例に係わる動画像符号化装置での動き予測での画面間差分と動きベクトルの関係を示す図 本発明第１の実施例に係る動画像符号化装置での動きベクトルの補正動作のフローチャートを示す図 本発明の第１の実施例に係る動きベクトルの補正動作を説明するための図 本発明の第１の実施例に係る動画像符号化装置での動きベクトルの補正動作のフローチャートを示す図 本発明の第１の実施例に係る動きベクトルの補正における画面間差分値と動きベクトルの関係を示す図 本発明の第１の実施例の変形例１に係る動きベクトルの補正動作のフローチャートを示す図 本発明の第１の実施例の変形例２に係る動きベクトルの補正動作のフローチャートを示す図 本発明の第２の実施例に係る動きベクトルの補正動作のフローチャートを示す図 本発明の第２の実施例に係る動きベクトルの補正を説明するための図 本発明の第２の実施例に係る動きベクトルの補正動作のフローチャートを示す図 本発明の第２の実施例の変形例１に係る動きベクトルの補正動作のフローチャートを示す図 本発明の第２の実施例の変形例２に係る動きベクトルの補正動作のフローチャートを示す図 本発明の第２の実施例の変形例２に係る動きベクトルの補正における画面間差分値と動きベクトルとの関係を示す図 本発明の第２の実施例の変形例３に係る動きベクトルの補正動作のフローチャートを示す図 本発明の第２の実施例の変形例３に係る動きベクトルの補正における画像信号の色成分のヒストグラムを説明するための図 本発明の第３の実施例に係る動画像符号化装置を含む符号化システムのブロック図 本発明の第３の実施例に係る動画像符号化装置における参照画像番号の補正動作のフローチャートを示す図 本発明の第３の実施例に係る動画像符号化装置における参照画像番号の補正動作のフローチャートを示す図 本発明の第３の実施例に係る参照画像番号の補正の概念図 本発明の第３の実施例に係る参照画像番号の補正の概念図 本発明の第４の実施例に係る動画像符号化装置を含む符号化システムのブロック図 本発明の第４の実施例に係る動画像符号化装置における参照画像番号の補正動作のフローチャートを示す図 本発明の第４の実施例に係る参照画像番号の補正の概念図
以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。
（第１の実施例）
＜システム構成＞
図１には、本発明の第１の実施例に係わる動画像符号化装置をビデオカメラなどの撮像装置に適用した場合の動画像符号化システムのブロック図である。なお、図１の構成では、図示しないプロセッサ等から構成される制御部（ＣＰＵ）がプログラムに従って各部の動作を制御することによって本実施例に係わる符号化動作を達成する。
当該動画像符号化システムは、撮像部１０１、色成分分離部１０２、フレームメモリ１０３、整数変換器１０４、量子化器１０５、エントロピー符号化部１０６、符号量制御部１０７、イントラ予測部１０８を有する。また、イントラ・インター判定部１０９、動き補償部１１０、ループ内フィルタ１１１、逆整数変換器１１２、逆量子化器１１３を有する。さらに、第一の色成分動き予測部１１４、第二の色成分動き予測部１１５、第三の色成分動き予測部１１６、ベクトル間距離取得部１１７、ベクトル間距離比較部１１８、動きベクトル補正部１１９を有する。
なお、本実施例に係わる動画像符号化装置としては、上記動画像符号化システムから撮像部１０１が除かれ、後述するフローチャートに従った動作をコンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
撮像部１０１は、レンズや撮像センサ等のカメラ部、光学部を含み、レンズから取り込んだ光信号をセンサにて電気信号へ変換した後、符号化に使用するフォーマットに変換したデジタル画像データとして後段の回路へ伝送する。
色成分分離部１０２は（色成分取得手段）、撮像部１０１から読み出したデジタル画像データを、ＲＧＢ三原色のそれぞれの色成分毎に分離して、フレームメモリに１０３に格納する。
フレームメモリ１０３は、複数枚の画像データを蓄積可能な大容量メモリであり、前記色成分分離部から転送された画像データや、後述する動き予測処理で用いる参照用画像データを格納する。
なお、本発明の実施例においては説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
図２に、前記フレームメモリ１０３のメモリ領域の分割例を示す。
フレームメモリ１０３は、入力画像の領域と、後述する参照画像の領域が色成分毎に複数フレーム分格納できるように分割され配置されるものとする。
整数変換器１０４は、隣接画素で類似性が高いという空間的相関を利用して画像情報の冗長度を削減するために、符号化対象のブロック単位で画素データの空間解像度変換を行って空間周波数領域に変換する。
量子化器１０５は、後段の符号量制御部１０７より設定された目標符号量に基づいて量子化ステップサイズを算出し、整数変換器１０４で空間周波数領域に変換された係数データに対して量子化処理を行う。
量子化した係数データは、符号化ビットストリームを出力するエントロピー符号化部１０６と、参照画像や予測画像を算出するために逆量子化器１１３の両方へ出力される。
エントロピー符号化部１０６は、量子化器１０５にて量子化された係数データや、インター予測の場合には動き予測で用いたベクトルを、ＣＡＢＡＣ方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による符号化データ長の圧縮を行う。ＣＡＢＡＣとは、コンテキスト適応算術符号化を意味する。
符号量制御部１０７は、エントロピー符号化部１０６で発生した符号化データの符号量を取得し、ビットレートやＶＢＶ等のバッファモデルに基づいて１フレーム当たりの目標符号量を算出した後、前記量子化器１０５に設定するフィードバック制御を行う。
イントラ予測部１０８は、フレームメモリ１０３の入力画像データから符号化対象ブロックの画像データを読み出し、既に符号化済みの符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像との相関を計算する。
そして、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部へ通知する。
イントラ・インター判定部１０９は、後述の動き補償部１１０にて動きベクトルを用いたインター予測の結果とイントラ予測部１０８の結果とを入力し、最も画面間差分値が小さい予測方式を選択して予測画像を生成する。
動き補償部１１０は、ループ内フィルタ１１１でフィルタ処理された予測画像データと、後述する動きベクトル補正部１１９から通知される動きベクトルを用いてインター符号化に用いる参照画像データを生成する。生成した参照画像データは、フレームメモリ１０３に格納する。
ループ内フィルタ１１１は、逆整数変換器１１２から出力された画像データと予測画像とを加算した画像データに対して、符号化歪み（ブロックノイズ）を軽減するフィルタ処理を施す。
逆整数変換器１１２は、逆量子化器１１３から出力された係数データを画素データに逆整数変換する。
逆量子化器１１３は、量子化器１０５にて量子化した係数データを、再度量子化ステップサイズを乗じて係数データを計算する。
第一の色成分動き予測部１１４は、フレームメモリ１０３に格納した符号化対象となる原画像のデータと既に符号化済みの画像の復号データ（参照画像データ）から、ブロック単位で画素データのパターンマッチングを行う。そして、第一の色成分動き予測部１１４は、動き予測情報である動きベクトルを算出する。また、動きベクトルの算出の際に参照した参照画像の番号情報も動き予測情報として生成する。
第二の色成分動き予測部１１５および第三の色成分動き予測部１１６についても、動き予測の対象となるフレームメモリ１０３上の色成分が異なるだけであり処理内容は同一である。このように、各色成分は独立して予測符号化される。
ベクトル間距離取得部１１７は、第一から第三の色成分動き予測部１１４、１１５、１１６で求めた、各色成分の同じ符号化対象ブロック位置の動きベクトルからベクトル間距離を求める。
ベクトル間距離比較部１１８は、ベクトル間距離取得部１１７より通知された色成分間のベクトル間距離に基づいて、特定の色成分の動きベクトルが他の色成分のベクトルに比べて異なっているか否かを比較判定する。
動きベクトル補正部１１９は、ベクトル間距離比較部１１８の判定結果に基づいて、当該色成分の動きベクトルを別の適切なベクトルに補正する。
そして、補正ベクトルを符号化パラメタとして動き補償部１１０へ出力し、参照画像生成やベクトル符号化時に適用する。
尚、本発明では特に断わりの無い限り、１６行×１６列の画素データの集まりを符号化ブロック（または符号化対象ブロック）と呼称し、当該符号化ブロック単位で動き予測等の符号化処理を行うものとする。以上が本発明の第１の実施例に係わる動画像符号化装置を含む動画像符号化システムの構成である。
＜動きベクトル探索＞
本実施例に係わる動画像符号化装置の各動き予測部１１４−１１６での動きベクトル探索方法を、図３および図４を用いて説明する。動きベクトルの探索方法としては、符号化ブロック単位で原画像フレーム３０１と参照画像フレーム３０２間で、画面間差分が最小になる画素座標位置を求めるパターンマッチング法が公知技術として知られている。
画面間差分ＳＡＤとは、次式１のように符号化ブロック画像における全画素値の差分絶対値を積算した評価値で、符号化ブロック同士の画像データの類似度を示す量となる。
Figure 0006151909
ここでＰＩＸｒｅｆ（ｘ，ｙ）は参照先の符号化ブロック３０５の画素値、ＰＩＸｃｕｒ（ｘ，ｙ）は符号化対象の符号化ブロック３０３の画素値に相当する。
また、処理量が膨大であることから、参照画像の全領域を探索することはせず、符号化ブロック３０３を中心として、周囲の複数の符号化ブロック分のエリアだけを探索するサーチウィンドウ３０４を設定することが一般的な手法である。
そして、サーチウィンドウ３０４内で参照先符号化ブロック３０５の位置を移動させ、符号化対象の符号化ブロック３０３との間の画面間差分値ＳＡＤが最も小さくなる符号化ブロック位置を求めることで、動きベクトルを決定する。
例として、上述のサーチウィンドウ内の画素位置と、画面間差分値をグラフとしてプロットすると図４のように表すことができる。
ただし、図示した例では簡略化のため、サーチウィンドウの座標をｘ方向とｙ方向の２次元ではなく１次元としているため、動きベクトル値は１次元となっているが、実際は２次元のベクトル値となる。
図の場合では、符号化対象の符号化ブロックの位置を原点として、サーチウィンドウを±５ピクセルの領域に設定した時、最も画面間差分値ＳＡＤが最小だった座標位置として−２を検出する。
このことは、当該座標位置の参照先符号化ブロックと符号化対象の符号化ブロックの画像データがエリア内で最も類似しており、−２ピクセル相当分の画面移動があったと判断できるため、動きベクトルとして−２（一次元）を出力する。
本発明では、上述した動き予測処理を、フレームメモリ１０３に格納された色成分毎に前記第一から第三までの動き予測部１１４，１１５，１１６において同様に行うものとする。
＜ベクトル間距離取得および比較＞
続いて、本実施例に係わる動画像符号化装置の動きベクトルの補正動作について、図５と図６を用いて説明する。
当該動作は、前記動画像符号化装置のベクトル間距離取得部１１７、およびベクトル間距離比較部１１８にて実行される。なお、この動作は上述のように、図示しないプロセッサ等から構成される制御部（ＣＰＵ）がプログラムに従って各部を制御することで達成する。以下、特に記載しない限り同様の制御であるとする。
はじめにステップＳ５０１では、上述した動き予測処理によって求めたＲ成分の動きベクトルｍｖＲを第一の動き予測部１１４から取得する。同様に、Ｇ成分の動きベクトルｍｖＧを第二の動き予測部１１５から（ステップＳ５０２）、Ｂ成分の動きベクトルｍｖＢを第三の動き予測部１１６からそれぞれ取得する（ステップＳ５０３）。
続いて、３つの色成分の動きベクトルｍｖＲ，ｍｖＧ、ｍｖＢを取得した後、次式（２）に基づいて、それぞれのベクトル間距離を算出する。
Figure 0006151909
ここで、ｍｖＸ、ｍｖＹは色成分のある色成分についての動きベクトルのｘ成分値、ｙ成分値をそれぞれ示す。
この式は、図６の例で示したように、２つの各色成分動きベクトル間の頂点を結んだ距離を表わすスカラ量Ｄを求めて、後述のベクトルの相関関係を判定するために使用する。
上式に基づいて、Ｒ成分とＧ成分の動きベクトルのベクトル間距離ＤＲ−Ｇ（ステップＳ５０４）を計算する。さらに、Ｇ成分とＢ成分の動きベクトルのベクトル間距離ＤＧ−Ｂ（ステップＳ５０５）、そしてＢ成分とＲ成分の動きベクトルのベクトル間距離ＤＢ−Ｒを計算する（ステップＳ５０６）。
図６の例では、各色成分の動きベクトルは
ｍｖＲ=(４，３)、ｍｖＧ＝（４，４）、ｍｖＢ＝（−２，２）
であり、それぞれのベクトル間距離は、
ＤＲ−Ｇ＝１、ＤＧ−Ｂ＝√２９、ＤＢ−Ｒ＝√２６
と計算できる。
続いて上記ステップＳ５０４からステップＳ５０６までに取得した、３つの色成分間のベクトル間距離、ＤＲ−Ｇ，ＤＧ−Ｂ，ＤＢ−Ｒの差をそれぞれ計算し、すべての差が予め定めた所定値以下であるかを判断する（ステップＳ５０７）。
いずれのベクトル間距離も所定値未満の場合（ステップＳ５０７のＦＡＬＳＥ）は、３つの色成分のベクトル値が類似した方向・長さを持つことを意味する。
結果、ベクトル探索処理が実際の撮像部１０１で撮影した被写体の動きを検出できた可能性が高いものと判断できることから、本発明の動きベクトル補正処理をする必要がないため、当該フローを終了する。
一方、いずれかのベクトル間距離が所定値以上（ステップＳ５０７のＴＲＵＥ）の場合は、特定の色信号の動きベクトルを補正する必要があるものと判断し、以下の処理ステップによって、補正すべきベクトルの色成分を特定する。
具体的な色成分の特定方法を以下に説明する。
ステップＳ５０８からステップＳ５１２は、上記の特定方法に基づき３つのベクトル間距離について、順次最小値判定し補正する動きベクトルを求めている。
ステップＳ５０８では、Ｒ成分とＧ成分のベクトル間距離ＤＲ−Ｇが、三つのベクトル間距離のうち最小であるかを判断する。最小値であった場合（ステップＳ５０８のＴＲＵＥ）は，Ｂ成分の動きベクトルを補正すると判断して本動作を終了する（ステップＳ５０９）。
一方、ＤＲ−Ｇが最小値でない場合（ステップＳ５０８のＦＡＬＳＥ）は、ステップＳ５１０へ遷移する。
ステップＳ５１０では、Ｇ成分とＢ成分のベクトル間距離ＤＧ−Ｂが、三つのベクトル間距離中で最小であるかを判断する。最小値であった場合（ステップＳ５１１のＴＲＵＥ）は、Ｒ成分の動きベクトルを補正すると判断して本フローを終了する（ステップＳ５１１）。
一方、ＤＧ−Ｂが最小値でない場合（ステップＳ５１０のＦＡＬＳＥ）は、ＤＢ−Ｒが最小値であることから、Ｇ成分の動きベクトルを補正すると判断し、本フローを終了する（ステップＳ５１２）。
図６中のベクトル値を使用して本動作を実行した場合を例とすると、ベクトル間ＤＲ−Ｇが、他２つベクトル間距離ＤＧ−Ｂ、ＤＢ−Ｒよりも小さい最小値を持っている。そのため、計算対象外のＢ成分の動きベクトルｍｖＢを補正対象の動きベクトルと判断する。
以上が、本実施例に係わる動画像符号化装置における各色成分の動きベクトルのベクトル間距離取得と比較判定の動作である。
＜動きベクトル補正＞
続いて、本実施例の動きベクトル補正動作について、図７のフローチャートを用いて説明する。
当該動作は、前記動画像符号化装置の動きベクトル補正部１１９にて実行される。
はじめにステップＳ７０１では、上述のベクトル間距離取得と比較判定フローの出力結果として取得した、補正対象の色成分の動きベクトルｍｖＯＲＧを取得する。
当該動きベクトルｍｖＯＲＧは、Ｒ，Ｇ，Ｂ成分いずれかの色成分の動きベクトル値とする。
尚、前記比較判定において補正すべきベクトルが無いと判定された場合は、当該補正は実行しないものとする。
続いてステップＳ７０２では、ベクトル補正対象外の成分の動きベクトルを２つ取得して、当該ベクトルの平均を求めて補正用ベクトルｍｖＣＲＲを計算する。
例えば、前述のベクトル間距離取得および比較の結果、Ｒ信号の動きベクトルｍｖＲの補正が必要と判断した場合には、Ｇ成分とＢ成分の動きベクトルｍｖＧ，ｍｖＢの平均ベクトルを次式のように求めることで補正用ベクトルを決定する。
Figure 0006151909
そして、ベクトル補正対象の色成分の符号化ブロックに対して、上記ステップで求めた補正用ベクトルｍｖＣＲＲを適用した場合の、画面間差分値ＳＡＤＣＲＲを計算する（ステップＳ７０３）。
続いてステップＳ７０４では、補正ベクトル適用時の画面間差分ＳＡＤＣＲＲと、補正前の画面間差分値の差を求め、所定値未満の差であるか否かを判断する。
上記判断ステップを設けた後にベクトル補正処理をすることによって、結果として画面間差分値の大きい座標位置にベクトルを指してしまい、それによって画質劣化を目立たせてしまうという矛盾を予め防止することが可能となる。
そして、所定値以上の画面間差分の差がある場合（ステップＳ７０４のＦＡＬＳＥ）は、ベクトル補正はせずに、そのまま動き補償部１１０に動きベクトルを符号化パラメタとして通知して、本動作を終了する。これは、他の色成分とはベクトル間距離が異なる動きベクトル検出しているものの、補正ベクトルに比べて実際の被写体の動きに追従できていると判断したためである。
一方、補正ベクトルｍｖＣＲＲ適用前後で、画面間差分の差に大きな違いが無い場合（ステップＳ７０４のＴＲＵＥ）は、当該色成分の符号化ブロックにおける動きベクトルをｍｖＯＲＧからｍｖＣＲＲの値に補正する。そして、補正された動きベクトルを動き補償部１１０へ符号化パラメタとして通知する（ステップＳ７０５）。この補正は、符号化ブロックレベルでの視覚的な画質劣化はほとんど無いものの、他の色成分と動きベクトルを揃えることでピクチャ単位、画面間での画質劣化を防止する必要があるとの判断に基づく。
尚、上記ステップにおける補正前の画面間差分値は、ここで改めてメモリアクセスして再取得する必要はない。例えば、前段の動き予測部にてベクトル探索時に使用したサーチウィンドウ内で最小となった画面間差分値を保持しておくことで、当該ステップにて流用することが可能であり、処理の効率化が可能である。
＜ベクトル補正適用例＞
続いて、本実施例に係わる上記動作における画面間差分と動きベクトルとの関係について図８を用いて説明する。
図８は、ベクトル補正を行う場合とベクトル補正を行わない場合それぞれの、画面間差分と補正前後のベクトルの関係を示している。
前記補正動作では、補正前の動きベクトルｍｖＯＲＧと、当該動きベクトルとは異なる各色信号の動きベクトルの平均ベクトルｍｖＣＲＲの二つを求める。
図８では、−４から−６ピクセル付近に画面間差分の最小値ＳＡＤＯＲＧが検出され、補正用ベクトルｍｖＣＲＲが、＋２から＋３の値として計算したケースである。
本実施例では、補正ベクトルをそのまま使って符号化する前に、ベクトル補正前後で画面間差分の変化量を調べて補正の可否を判断する。具体的には、前記ｍｖＣＲＲを適用した場合の画面間差分値ＳＡＤＣＲＲを取得計算し、ＳＡＤＯＲＧとＳＡＤＣＲＲの差分（図中のΔＳＡＤ相当）を計算する。上記差分値が小さい場合（図中（ａ））は、ベクトル補正前後の画面間差分が小さいため、ｍｖＯＲＧをｍｖＣＲＲに置換した動きベクトルでベクトル符号化行う。
一方、図中（ｂ）の差分値が大きい場合には、元々の動きベクトルｍｖＯＲＧが実際の被写体動きを正しく反映しているものと判断できるため、ベクトル補正は行わず、そのままｍｖＯＲＧを動き補償部１１０へ符号化パラメタとして通知出力する。
このような判断を適用することで、色成分毎にそれぞれ動き予測を行った場合において、実際の被写体の動きと異なる動きベクトルを出力しても、適切な動きベクトルに補正することが可能となる。そのため、色成分ごとの動き予測符号化において画質劣化を防止することが可能となる。
第１の実施例では、色成分毎の動きベクトル間の距離を算出し、ベクトル間距離が他の動きベクトルとは異なるベクトルを、他の色成分の動きベクトルの平均ベクトルに置換して補正した。しかし、補正ベクトルとして補正対象以外の色成分の動きベクトルの平均以外のベクトルにすることも考えられる。以下、その例を第１の実施例の変形例として説明する。
（第１の実施例の変形例１）
本変形例１では、補正対象の動きベクトルをベクトル間距離がより近い方の他の色成分の動きベクトルに補正する。これにより、平均ベクトルを用いた補正ベクトルを使用した場合に比べて、画面間差分のより小さな座標位置に動きベクトルを指すことができるようになり、画質劣化を抑制が可能となる。
以下、本変形例について、図を用いて説明する。
なお、本変形例の説明において、上述した第１の実施例と共通する部分については同じ符号を付して示し、適宜それらの説明を省略する。特に、動画符号化システムの構成については第１の実施例と同様であるので、その説明は省略する。
＜動きベクトル補正＞
以下、本変形例の動きベクトル補正動作について、図９のフローチャートを用いて説明する。なお、ベクトル間距離取得と比較判定動作については、第１の実施例と同様であるため説明を省略する。また、動き補正ベクトルの補正動作についても、第１の実施例と同様のステップには同じ符号を付して示す。
動きベクトル補正動作は、第１の実施例と同様にステップＳ７０１の補正対象の動きベクトルｍｖＯＲＧの取得ステップから開始する。
そして、さらに第１の実施例でのベクトル間距離取得動作で計算した補正対象外の動きベクトルを基準としたベクトル間距離Ｄ１およびＤ２を取得する（ステップＳ９０１）。
Ｄ１とＤ２は、例えば図６の例では、ｍｖＢが補正対象ベクトルとして選択された場合には、ＤＧ−ＢとＤＢ−Ｒが相当する。
同様にｍｖＲが補正対象の場合は、ＤＢ−ＲとＤＲ−Ｇが、ｍｖＧが補正対象の場合は、ＤＧ−Ｂ、ＤＲ−Ｇとなる。
ステップＳ９０２では、上記ベクトル間距離Ｄ１とＤ２の大小関係を比較し、どちらの色成分の動きベクトルの方が、補正対象ベクトルに近いかを判断する。
Ｄ１の方が小さい場合は（ステップＳ９０２のＴＲＵＥ）、Ｄ１を計算する時に使用した動きベクトルのうち、補正対象の色成分とは異なる色成分の動きベクトルを補正ベクトルｍｖＣＲＲとして設定する（ステップＳ９０３）。
一方、Ｄ２の方が小さい場合は（ステップＳ９０２のＦＡＬＳＥ）、Ｄ２を計算する時に使用した動きベクトルのうち、補正対象の色成分とは異なる色成分の動きベクトルを補正ベクトルｍｖＣＲＲとして設定する（ステップＳ９０４）。
これ以下は、第１の実施例と同様にステップＳ７０３からステップＳ７０５を実行して、動きベクトル補正動作を終了する。
以上が、本発明の第１の実施例の変形例１の動きベクトル補正処理動作である。
（第１の実施例の変形例２）
上記変形例１では、補正対象の色成分の動きベクトルをベクトル間距離がより近い方の色成分のベクトルへ補正した。
本変形例２では、補正対象の色成分の動きベクトルを画面間差分値がより小さない値となる色成分のベクトルへ補正する。これにより、第１の実施例に記載の補正ベクトルを適用した場合より、画面内の画素値のコントラスト、すなわち濃淡の区別が視認しやすい座標位置を指し示すベクトルを参照するようになる。そのため、色成分ごとの動画像符号化において画質劣化を抑制することが可能となる。
以下、本変形例２について、図を用いて説明する。
なお、本変形例２の説明において、上述した第１の実施例およびその変形例１と共通する部分については音字符号を付し、適宜その説明を省略する。特に、動画符号システムの構成については第１の実施例と同様であるので、その説明は省略する。
＜動きベクトル補正＞
本変形例２の動きベクトル補正動作について、図１０のフローチャートを用いて説明する。なお、同図において、第１の実施例と同様のステップ同じ符号を付して示し、特に必要のない限りここでの説明を省略する。
本変形例２の動きベクトル補正動作は、第１の実施例と同様にステップＳ７０１の補正対象の動きベクトルｍｖＯＲＧの取得ステップから開始する。
そして、第１の実施例の動画像符号化装置の各色成分動き予測部のうち補正対象外の色成分の動き予測部において計算した画面間差分値の最小値ＳＡＤ１と、ＳＡＤ２を取得する（ステップＳ１００１）。
ＳＡＤ１とＳＡＤ２は、例えば図６においてのｍｖＢを補正対象ベクトルとして選択した場合には、ｍｖＧのベクトル座標を決定した時の画面間差分値、そしてｍｖＲのベクトル座標を決定した時の画面間差分値に相当する。
ステップＳ１００２は、上記ＳＡＤ１とＳＡＤ２の大小関係を比較し、どちらの色成分の動きベクトルの方が、画面間差分値が小さかったか、すなわち原画像と参照画像間の動きが明確に検出できたかを判断する。
画面間差分値ＳＡＤ１の方が小さい場合は（ステップＳ１００２のＴＲＵＥ）、ＳＡＤ１計算時の色成分の動きベクトルを補正ベクトルｍｖＣＲＲとして設定する（ステップＳ１００３）。
一方、画面間差分値ＳＡＤ２の方が小さい場合は（ステップＳ１００２のＦＡＬＳＥ）、ＳＡＤ２計算時の色成分の動きベクトルを補正ベクトルｍｖＣＲＲ（符号化パラメタ）
として動き補償部１１０に通知出力する（ステップＳ１００４）。
これ以下は、第１の実施例と同様にステップＳ７０３からステップＳ７０５を実行して、動きベクトル補正動作を終了する。
以上が、本発明の第１の実施例の変形例２における動きベクトル補正動作である。
（第２の実施例）
次に、本発明の第２の実施例を、図を用いて説明する。
本実施例は、各色成分の動きベクトルのうちいずれかを、画像の動きを最も反映していると考えられる基準ベクトルとして設定し、他の色成分の動きベクトルを基準ベクトルに補正する構成である。なお、本実施例に係わる動画像符号化装置も、第１の実施例と同様に、ビデオカメラ等の撮像装置に本発明を適用した動画像符号化システムで実現するものとし、その構成は第１の実施例と同様であるので、ここでの説明は省略する。
また、第１の実施例と同様に、本実施例に係わる動画像符号化装置も、上記動画像符号化システムから撮像部１０１および色成分分離部１０２が除かれた、コンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
また、本発明の実施例においても説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
＜基準ベクトル決定処理＞
本実施例に係わる動画像符号化装置の基準ベクトル決定動作について、図１１を用いて説明する。
当該動作は、第１の実施例に係わる動画像符号化装置のベクトル間距離取得部１１７にて実行される。
初めに、ステップＳ５０１では、前記第一の色成分の動きベクトル予測部１１４にて求めたＲ成分の動きベクトルｍｖＲを取得する。同様にして、第二の色成分の動きベクトル予測部１１５からＧ成分の動きベクトルｍｖＧを（ステップＳ１１０２）、第三の色成分の動きベクトル予測部１１６からＢ成分の動きベクトルｍｖＢを取得する（ステップＳ１１０３）。
そして本実施例では、上記３つの色信号の中で、人間の視覚特性として輝度成分が最も認識しやすいことから、輝度成分を最も多く含むＧ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦとして設定する（ステップＳ５０４）。
以上が、基準ベクトルの決定動作である。
＜ベクトル間距離比較および動きベクトル補正＞
次に、本実施例のベクトル間距離比較および動きベクトル補正動作について図１２および図１３を用いて説明する。
当該動作は、前記動画像符号化装置のベクトル間距離比較部１１８と動きベクトル補正部１１９にて実行される。
初めに、ステップＳ１３０１で、上述の基準ベクトル決定動作にて求めた基準ベクトルｍｖＲＥＦと、基準ベクトルの色成分以外の第一の色成分の動きベクトルｍｖ１を取得し、２つの動きベクトルのベクトル間距離Ｄ１を、上記式（２）に基づいて算出する。
同様に、ステップＳ１３０２では、基準ベクトルｍｖＲＥＦと、基準ベクトルおよびｍｖ１ベクトルの色成分以外の第二の色成分の動きベクトルｍｖ２を取得し、２つの動きベクトルのベクトル間距離Ｄ２を、上記式（２）に基づいて算出する。
これにより、図１３の例で示すように、２つの各色成分動きベクトル間の頂点を結んだ距離を表わすスカラ量Ｄを求め、後述のベクトルの相関関係を判定する。
図１２の例では、各色成分の動きベクトルはｍｖＲ=(４，３)、ｍｖＧ＝（４，４）、ｍｖＢ＝（−２，２）であり、また、上述の基準ベクトル決定動作により、Ｇ成分の動きベクトルｍｖＧをｍｖＲＥＦと設定している。
このことから、Ｇ成分とＢ成分のベクトル間距離Ｄ１と、Ｇ成分とＲ成分のベクトル間距離Ｄ２は、それぞれ
Ｄ１＝√２９、Ｄ２＝１
と計算できる。
上記の計算結果をもとに、ステップＳ１３０３では、基準ベクトルに対する第一の色成分の動きベクトルの乖離量を示す前記ベクトル間距離Ｄ１を、予め定めた所定値と比較し、所定値未満か否かを判断する。図１２では、Ｄ１はＧ成分の動きベクトルに対するＢ成分の動きベクトルの頂点間の距離に相当する。
一般的にベクトル間距離が数ピクセル未満であれば（ステップＳ１３０３のＴＲＵＥ）、基準ベクトルｍｖＲＥＦとｍｖ１は、ほぼ同じベクトル方向・長さを持つため、視覚的に色ズレ等の問題は発生しにくいと判断する。前記比較判定ステップで閾値として設定する前記所定値はこのような判断に沿って設定する。
結果、動きベクトルｍｖ１は補正せずに、そのまま動き補償部１１０へ符号化パラメタとして出力し、参照画像の生成やベクトル符号化を行う。
一方、ベクトル間距離Ｄ１が所定値以上の値を持つ場合には（ステップＳ１３０３のＦＡＬＳＥ）、当該色成分の動きベクトルｍｖ１を、基準ベクトルｍｖＲＥＦと同じベクトルに補正して出力する（ステップＳ１３０４）。
同様にして、ステップＳ１３０５では、基準ベクトルに対する第二の色成分の動きベクトルの乖離量を示す前記ベクトル間距離Ｄ２を、予め定めた所定値と比較して、所定値未満か否かを比較する。図１２では、Ｄ２はＧ成分の動きベクトルに対するＲ成分の動きベクトルの頂点間の距離に相当する。
Ｄ２が所定値未満の場合は（ステップＳ１３０５のＴＲＵＥ）、基準ベクトルｍｖＲＥＦとｍｖ２は、ほぼ同じベクトル方向・長さを持つため、ｍｖ２は補正せずに、そのまま動き補償部１１０へ出力し、参照画像の生成やベクトル符号化を行う。
一方、ベクトル間距離Ｄ２が所定値以上の値を持つ場合には（ステップＳ１３０５のＦＡＬＳＥ）、当該色成分の動きベクトルｍｖ２を、基準ベクトルｍｖＲＥＦと同じに補正して出力する（ステップＳ１３０６）。
以上が、本実施例のベクトル間距離比較とベクトル補正動作である。
上述した本発明の第２の実施例に拠れば、色成分毎にそれぞれ動き予測を行った場合において、実際の被写体の動きと異なる動きベクトルを出力しても、適切な動きベクトルに補正することができるため、画質劣化を防止することが可能となる。
上記第２の実施例では、色成分毎の動きベクトルの内、Ｇ成分の動きベクトルを基準ベクトルとし、当該基準ベクトルとのベクトル間距離が所定値以上となった動きベクトルを補正した。
次に、基準ベクトルの設定構成の他の例を、第２の実施例の変形例１および２として説明する。なお、本変形例においても動画像符号化システムの構成は第１の実施例と同様であるので、ここでの説明は省略する。
（第２の実施例の変形例１）
第２の実施例の変形例１では、記録動作時のユーザ指定の撮影モードに応じて、基準ベクトルを決定する。これにより、撮影モードによって異なる色味や明るさ等の撮影パラメタに適した色成分の動きベクトルを優先し、画質劣化を抑制することが可能である。
＜基準ベクトル決定＞
以下、本変形例１の基準ベクトル決定動作について、図１４のフローチャートを用いて説明する。なお、第２の実施例と共通する部分については、同一の符号を付して適宜その説明を省略する。
当該基準ベクトル決定動作は、第２の実施例と同様にステップＳ５０１からステップＳ５０３までのＲ、Ｇ，Ｂの三つの色成分の動きベクトルｍｖＲ、ｍｖＧ，ｍｖＢを取得するステップから開始する。
そして、図１には示していない操作ボタンやタッチパネル等のユーザインタフェース経由で入力された、ユーザ設定による撮影モードを動画像符号化装置のＣＰＵ等の制御部から取得する（ステップＳ１４０１）。
次いで、ステップＳ１４０２から、当該撮影モードの種別を判断し、該モードで入力された動画像を符号化する時、最適な色成分の動きベクトルを基準ベクトルに設定する処理を順次実行する。
ステップＳ１４０２では、撮影モードに夜景モードが指定されたかどうかを判断する。夜景モードとは夜景を被写体として好適に撮影するために各種撮影パラメタが自動設定される撮影モードである。夜景のように暗い画像では（ステップＳ１４０２のＴＲＵＥ）、緑や赤よりも青の色味が画質を左右する要因となることから、基準となる動きベクトルｍｖＲＥＦには、Ｂ成分を優先したｍｖＢを設定する（ステップＳ１４０３）。
続いて、夜景モードでない場合は（ステップＳ１４０２のＦＡＬＳＥ）、撮影モードに風景モードが設定されているかどうかを判断する（ステップＳ１４０４）。風景モードとは風景を被写体として好適に撮影するために各種撮影パラメタが自動設定される撮影モードである。
風景モード設定時には（ステップＳ１４０４のＴＲＵＥ）、被写体として人物や動体よりも、山や木等のＧ成分を多く含む画像を撮影するケースが多い。このことから、撮影モードが風景モード指定の場合は、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１４０５）。
そして、設定モードが夜景モードでも風景モードでもない場合は（ステップＳ１４０４のＦＡＬＳＥ）、キッズモードやポートレートモード等、人物を中心にした被写体を撮影するモードが指定されているか否かを判断する（ステップＳ１４０６）。キッズモードとは動き回る人物を、ポートレートモードとは静止した人物をそれぞれ被写体として好適に撮影するために各種撮影パラメタが自動設定される撮影モードである。
ステップＳ１４０６にてＴＲＵＥとなり、人物を撮影するモードが設定されている場合は、肌色の色味や質感等が画質を左右する要因となることから、Ｒ成分のベクトルｍｖＲを基準ベクトルｍｖＲＥＦと設定する（ステップＳ１４０７）。
最後に上記のいずれの撮影モードにも該当しなかった場合には（ステップＳ１４０６のＦＡＬＳＥ）、第２の実施例の基準ベクトル決定処理により、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定し、本フローを終了する。
その後、図１３のフローチャートに従って、設定した基準ベクトルを用いて、他の色成分の動きベクトルの補正を行なう。
以上が、本発明の第２の実施例の変形例１に係わる基準ベクトル決定動作である。
（第２の実施例の変形例２）
上述の第２の実施例の変形例１では、記録動作時のユーザ指定の撮影モードに応じて、基準ベクトルを決定した。本変形例２では、三つの色成分の動きベクトルの内、最も画面間差分値が小さかった動きベクトルを基準ベクトルに設定する。これにより、どの色成分の動きベクトルが被写体の動きを忠実に追従しているかが判断され、その動きベクトルを基準としたベクトル補正処理の精度が向上し、画質劣化の抑制が可能となる。
＜基準ベクトル決定＞
以下、本変形例２の基準ベクトル決定動作について、図１５および図１６を用いて説明する。なお、本変形例２において、上述した第２の実施例およびその変形例１と共通する部分については同一の符号を付し、適宜その説明を省略する。
当該基準ベクトル決定動作は、第２の実施例と同様にステップＳ５０１からステップＳ５０３までのＲ、Ｇ，Ｂの三つの色成分の動きベクトルｍｖＲ、ｍｖＧ、ｍｖＢを取得するステップから開始する。
そして、第一から第三の動きベクトル予測部１１４、１１５、１１６において前記動きベクトルを生成する時の画面間差分値（最小値）を、各色成分について取得する（ステップＳ１５０１、Ｓ１５０２，Ｓ１５０３）。
図１６に例として、当該動きベクトルｍｖＲ，ｍｖＧ，ｍｖＢの決定時の、サーチウィンドウ内での各色成分の画面間差分値をそれぞれ示す。
同図の例によれば、ｍｖＲ決定時の画面間差分値の最小値をＳＡＤＲ、ｍｖＧ決定時の画面間差分値の最小値をＳＡＤＧ、ｍｖＢ決定時の画面間差分値の最小値をＳＡＤＢと定義する。
以降ステップＳ１５０４から、上述の処理ステップで取得した三つの色成分の画面間差分値の最小値のうち、最も値が小さくなった色成分を検索し、当該色成分の動きベクトルを基準ベクトルに設定する処理を順次実行する。
ステップＳ１５０４では、三つの画面間差分値の最小値のうち、最も小さな値を有する色成分がＢ成分であったかを判断する。
Ｂ成分の画面間差分値ＳＡＤＢが最も小さいかった場合は（ステップＳ１５０４のＴＲＵＥ）、Ｂ成分の動きベクトルｍｖＢを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１５０５）。
一方、Ｂ成分の画面間差分値ＳＡＤＢ以外が小さな値を有する場合は（ステップＳ１５０４のＦＡＬＳＥ）、Ｇ成分の画面間差分値の最小値が、最も小さな値だったかを判断する（ステップＳ１５０６）。
そしてＧ成分の画面間差分値ＳＡＤＧが最も小さいかった場合は（ステップＳ１５０６のＴＲＵＥ）、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１５０７）。
最後に、三つの画面間差分値の最小値のうち、最も小さな値を有する色成分がＢ成分でもＧ成分でもなかった場合（ステップＳ１５０６のＦＡＬＳＥ）、Ｒ成分の画面間差分値ＳＡＤＲが最も小さかったものと判断される。そのため、Ｒ成分の動きベクトルｍｖＲを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１５０８）。
以上が、本発明の第２の実施例の変形例２における基準ベクトル決定動作である。この後は、図１３のフローチャートに従って、設定した基準ベクトルを用いて、他の色成分の動きベクトルの補正を行なう。
なお、上記決定動作では、Ｂ成分、Ｇ成分、Ｒ成分の順番で比較判定をしているが、本発明を実施する上で色成分の判定順番はどちらでも良く、全色成分について比較する動作であれば特に制限するものではない。
また、図１６の例において上記決定動作に従って基準ベクトルを決定した場合には、最もＳＡＤ値が小さな値となるＳＡＤＢを有するＢ成分の動きベクトルｍｖＢ（−２、２）が基準ベクトルとして選択される。
（第２の実施例の変形例３）
第２の実施例の変形例２では、三つの色成分の動きベクトルのうち、最も画面間差分値が小さかったベクトルを基準ベクトルとして設定した。
本変形例３では、３つの色成分の入力画像について、画面内あるいは画像領域毎に画素値の出現度数（ヒストグラム）を求め、当該画素値分布のバラつきに応じて基準ベクトルを決定して設定する。これは、画面内の画素値の分布が広い、すなわち濃淡のレンジが大きい色成分の方が、被写体の動きをより正確に反映したベクトルを計算しやすいことから基準ベクトルを決定する構成であり、画質劣化の抑制が可能となる。
＜基準ベクトル決定処理＞
以下、第２の実施例の変形例３を、図１７および図１８を用いて説明する。
なお、本変形例３の説明において、上述した第２の実施例および変形例１、２と共通する部分については同一の符号を付して示し、適宜その説明を省略する。
基準ベクトル決定動作は、第２の実施例と同様にステップＳ５０１からステップＳ５０３までのＲ、Ｇ，Ｂの三つの色成分の動きベクトルｍｖＲ、ｍｖＧ，ｍｖＢを取得するステップから開始する。
そして、三つの色成分すべてについて画素ヒストグラムを生成する（ステップＳ１７０１、Ｓ１７０２，Ｓ１７０３）。
図１８に、各色成分のヒストグラムの例を示す。ヒストグラムの横軸は、画素値が取り得る値域を表わし、一般的に1画素の画素値を８ビットで表現した場合には、整数値で０から２５５までの値となる。そして縦軸は、当該画素値が、1フレーム単位、サーチウィンドウ単位、あるいは符号化ブロック単位での画像データ中の出現個数を表わす。
本変形例では、ヒストグラム計算を行う画像データの単位の大きさを特に限定するものではない。しかし、画面内の細かな制御とサンプル数に依存したデータ信頼性の両方を満たす場合、サーチウィンドウ単位が望ましい。
次に、ステップＳ１７０４以降で、上述の処理ステップで生成した三つの色成分のヒストグラムのうち、最も画素値のバラつきが大きくなった色成分を検索し、当該色成分の動きベクトルを基準ベクトルに設定する処理を順次実行する。
本変形例において、前記色成分毎の画素値バラツキを求める手段としては、一般的な分布評価として使われている標準分散σ２を下式（４）に基づいて求め、当該分散値の大小関係を色成分間で比較する。
Figure 0006151909
 ここで、ｘｉは、各画素値の出現度数、Ｘは下式（５）にて求めた算術平均値である。また、ｎは画素値の最大値である２５５、ｉは０から２５５までの整数値を取るものとする。
Figure 0006151909
上式に基づいて求めた分散値の値が大きいほど、分布のバラツキが広いこと意味し、０から２５５までのレンジに広く画素が存在することを示す。
ステップＳ１７０４では、三つのヒストグラムの内、最もヒストグラムの分布バラツキが大きな値を有する色成分がＢ成分であるかどうかを判断する。
Ｂ成分のヒストグラム分布が最も大きい場合は（ステップＳ１７０４のＴＲＵＥ）、Ｂ成分の動きベクトルｍｖＢを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１７０５）。
一方、Ｂ成分のヒストグラム分布以外が大きな値を有する場合は（ステップＳ１７０４のＦＡＬＳＥ）、Ｇ成分のヒストグラム分布値が、最も大きな値であるかどうかを判断する（ステップＳ１７０６）。
そしてＧ成分のヒストグラム分布が最も大きい場合は（ステップＳ１７０６のＴＲＵＥ）、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１７０７）。
最後に、三つのヒストグラム分布のうち、最も大きな値を有する色成分がＢ成分でもＧ成分でもなかった場合（ステップＳ１７０６のＦＡＬＳＥ）、Ｒ成分のヒストグラム分布が最も大きいものと判断される。そのため、Ｒ成分の動きベクトルｍｖＲを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１７０８）。
以上が、本発明の第２の実施例の変形例３における基準ベクトルの決定動作である。基準ベクトルを設定した後の動きベクトルの補正は、図１３のフローチャートに従って第２の実施例と同様に行う。
なお、上記決定フローでは、Ｂ成分、Ｇ成分、Ｒ成分の順番で比較判断をしているが、本変形例を実施する上で色成分の判断順番はどちらでも良く、全色成分について比較するフローであれば特に制限するものではない。
また、図１８の例において上記決定動作に従って基準ベクトルを決定した場合には、最もヒストグラム分布が大きい色成分はＲ成分となり、Ｒ成分の動きベクトルｍｖＢが基準ベクトルとして選択される。
（第３の実施例）
第１の実施例では、色成分毎の動きベクトルのベクトル間距離を算出し、それらを比較してベクトル間距離が他の色成分と異なる色成分を検出した。そして当該色成分の動きベクトルを、他の色成分の動きベクトルの平均ベクトルや、ベクトル間距離が最小となる色成分の動きベクトル、又は画面間差分値が最小となる色成分の動きベクトルに補正した。また、第２の実施例では、色成分の動きベクトルのうち、一つを基準ベクトルと決定し、それと他の動きベクトルとの距離に従って補正対象となる色成分を決定した。
第３の実施例では、色成分毎の参照画像番号を比較し、他の色成分の参照画像番号と異なる色成分があった場合に、当該参照画像番号を適切な参照画像番号に補正し、対応する動きベクトルも補正する。これにより、２次元のベクトル値の大小関係に加えて、時間方向も含めた精度の高い補正が可能となり、さらに画質劣化を抑制することが可能となる。
以下、本発明の第３の実施例について、図を用いて説明する。なお、第３の実施例の説明において、上述した第１および第２の実施例と共通する部分については同一の符号を付して示し、適宜その説明を省略する。
＜システム構成＞
図１９は、本発明の第３の実施例に係わる動画像符号化装置をビデオカメラ等の撮像装置に適用したときの動画像符号化システムの構成を示すブロックである。
なお、第１の実施例と同様に、本実施例に係わる動画像符号化装置も、上記動画像符号化システムから撮像部１０１および色成分分離部１０２が除かれた、コンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
また、本発明の実施例においても説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
本実施例のシステムは、構成要素１０１から１１６なる第１の実施例の構成と、参照画像番号取得部１９０１、参照画像番号比較部１９０２、参照画像番号補正部１９０３、第二の動きベクトル補正部１９０４からなる構成とからなる。
動き補償部１１０は、ループ内フィルタ１１１でフィルタ処理された予測画像データ、後述する第二の動きベクトル補正部１９０４から通知された動きベクトルおよび参照画像番号を用いてインター符号化の際に用いる参照画像データを生成する。生成した参照画像データは、フレームメモリ１０３に格納される。
参照画像番号取得部１９０１は、第一から第三までの色成分の動き予測部１１４，１１５、１１６で求めた、各色成分の同一位置の符号化ブロックでの参照画像番号を取得する。参照画像番号を示す情報としては、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４規格で定義される、符号化ブロック単位に符号化するｒｅｆ＿ｉｄｘというシンタックス値を本実施例では適用する。しかし、当該情報と同義の値が取得できれば特に限定しない。
上記ｒｅｆ＿ｉｄｘ値は、当該符号化ブロックが参照する画像位置を一意に識別する情報として符号化データ中に記述され、復号時に用いられる。また、色成分毎に独立に符号化した場合においても、時間的に同じ位置の画像であるときには同じｒｅｆ＿ｉｄｘ値が記述されている。
参照画像番号比較部１９０２は、参照画像番号取得部１９０１より通知された各色成分の参照画像の時間的な位置情報(ｒｅｆ＿ｉｄｘ)を比較し、特定の色成分ｒｅｆ＿ｉｄｘが異なるか否かを比較判定する。
参照画像番号補正部１９０３は、参照画像番号比較部１９０２の判定結果に基づいて、当該色成分の参照画像番号を適切な参照画像番号に補正する。
第二の動きベクトル補正部１９０４は、前記参照画像番号補正部で設定された補正前後の参照画像番号で示される各参照画像の参照距離に基づいて動きベクトルを比例計算によって補正する。そして補正した参照画像番号と動きベクトルを符号化パラメタとして動き補償部１１０へ出力し、そこで予測画像生成時に適用される。
以上が本発明の第３の実施例における動画像符号化システムの構成である。
＜参照画像番号比較＞
以下、本発明の第３の実施例の参照画像番号比較動作について、図２０のフローチャートを用いて説明する。当該動作は、本実施例に係わる動画像符号化システムの参照画像番号取得部１９０１、および参照画像番号比較部１９０２にて実行する。
初めに、ステップＳ２００１で、上述した動き予測処理によって求めたＲ成分の参照画像番号ｒｅｆ＿ｉｄｘＲを第一の動き予測部１１４から取得する。同様に、Ｇ成分の参照画像番号ｒｅｆ＿ｉｄｘＧを第二の動き予測部１１５から（ステップＳ２００２）、Ｂ成分の参照画像番号ｒｅｆ＿ｉｄｘＢを第三の動き予測部１１６からそれぞれ取得する（ステップＳ２００３）。
続いて、上記ステップＳ２００１からＳ２００３によって取得した、３つの色成分の参照画像番号を比較して、どの色成分の参照画像番号を補正するかどうかの比較判断を行う。
ステップＳ２００４では、Ｒ成分だけが他の色成分とは異なる参照画像番号であるかどうかを比較判定する。前記比較判定の結果、Ｒ成分だけ異なる（ステップＳ２００４のＴＲＵＥ）場合は、Ｒ成分の参照画像番号ｒｅｆ＿ｉｄｘR値を補正して符号化するものと決定する。この決定は、後段の参照画像番号補正処理部へ通知され、その後本フローを終了する（ステップＳ２００８）。
一方、Ｒ成分以外の参照画像番号が異なる（ステップＳ２００４のＦＡＬＳＥ）場合は、続けてＧ成分だけが他の色成分とは異なる参照画像番号であるかどうかを比較判定する（ステップＳ２００５）。この比較判定の結果、Ｇ成分だけ異なる（ステップＳ２００５のＴＲＵＥ）場合は、Ｇ成分の参照画像番号ｒｅｆ＿ｉｄｘG値を補正して符号化するものと決定する。この決定は、後段の参照画像番号補正処理部へ通知され、その後本動作を終了する（ステップＳ２００９）。
一方、Ｇ成分以外の参照画像番号が異なる（ステップＳ２００５のＦＡＬＳＥ）場合は、さらにＢ成分だけが他の色成分とは異なる参照画像番号であるかどうかを比較判定する（ステップＳ２００６）。その結果、Ｂ成分だけ異なる（ステップＳ２００６のＴＲＵＥ）場合は、Ｂ成分の参照画像番号ｒｅｆ＿ｉｄｘxＢ値を補正して符号化するものと決定する。決定の結果は、後段の参照画像番号補正処理部に通知され、その後、本動作を終了する（ステップＳ２０１０）。
最後に、全ての色成分の参照画像番号が異なる場合（ステップＳ２００６のＦＡＬＳＥ）は、すべての色成分の参照画像番号を補正して符号化するものと決定して、本動作を終了する（ステップＳ２００７）。
以上が、本発明の第３の実施例における参照画像番号比較動作である。
＜参照画像番号補正＞
次に、本発明の第３の実施例の参照画像番号補正動作について、図２１のフローチャートを用いて説明する。
当該動作は、本実施例の動画像符号化システムの参照画像番号補正部１９０３および第二の動きベクトル補正部１９０４にて実行する。
初めに、前記参照画像番号比較動作のステップＳ２１０１では、補正対象の色成分についての参照画像番号ｒｅｆ＿ｉｄｘＯＲＧと、当該色成分の動きベクトル値ｍｖＯＲＧを取得する。
動きベクトル値ｍｖＯＲＧは、第一の動き予測部１１４から１１６にて出力された、各色成分の動きベクトルである。
続いて、前記参照画像番号ｒｅｆ＿ｉｄｘＯＲＧと動きベクトルｍｖＯＲＧである動き予測情報を用いて、当該符号化ブロックの予測画像と参照画像間との画面間差分値ＳＡＤＯＲＧを計算する（ステップＳ２１０２）。
続いて、上述の参照画像番号比較動作での判定結果が、いずれかの色成分についてだけ補正が必要か、あるいは全色成分について補正が必要かのいずれであったかを判断する（ステップＳ２１０３）。
特定色の参照画像番号について補正が必要な場合（ステップＳ２１０３のＦＡＬＳＥ）、補正対象外の色成分の参照画像番号を、補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲとして設定する（ステップＳ２１０５）。
一方、全色成分の参照画像番号の補正が必要な場合（ステップＳ２１０３のＴＲＵＥ）は、全色成分のうち、符号化画像位置を起点に、最も時間距離が短い画像番号を持つｒｅｆ＿ｉｄｘ値を、補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲとして設定する（ステップＳ２１０４）。
続いて、前記ステップＳ２１０４あるいはＳ２１０５にて設定した参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲと補正前の参照画像番号ｒｅｆ＿ｉｄｘＯＲＧの参照距離から、補正前の動きベクトルｍｖＯＲＧから比例計算によって補正動きベクトルｍｖＣＯＲＲを計算する（ステップＳ２１０６）。参照方向が反転した場合は、ベクトル成分の符号を反転して、参照画像位置の時間的な距離がＮ倍になったら、ベクトル成分の要素をＮ倍するという比例計算によって導出する方法を採用する。
そして、参照画像番号補正対象の色成分の符号化ブロックに対して、上記補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲと動きベクトルｍｖＣＯＲＲから、ステップＳ２１０２と同様に画面間差分値ＳＡＤＣＯＲＲを計算する（ステップＳ２１０７）。
続いてステップＳ２１０８では、参照画像番号補正時の画面間差分ＳＡＤＣＯＲＲと補正前の画面間差分値ＳＡＤＯＲＧの差を求め、所定値未満の差であるか否かを判断する。この判断ステップを経て実際に符号化する参照画像番号を決定する。これにより、結果として画面間差分値の大きい参照画像にベクトルを指してしまい、それによって画質劣化を目立たせてしまうという逆効果を予め防止する。
所定値以上の画面間差分の差がある場合は（ステップＳ２１０８のＦＡＬＳＥ）、他の色成分と参照画像番号が異なる動き予測結果となっているが、参照画像番号補正適用時に比べて実際のオブジェクトの動きに追従できていると判断する。その結果、参照画像番号補正はせず、そのまま動き補償部１１０に動きベクトルｍｖＯＲＧとｒｅｆ＿ｉｄｘＯＲＧを通知して、本動作を終了する（ステップＳ２１０９）。
一方、補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲの適用後でも、画面間差分の差に大きな違いが無い場合は（ステップＳ２１０８のＴＲＵＥ）、次のように判断する。符号化ブロックレベルでの視覚的な画質劣化がほとんど伴わずに他の色成分と参照画像番号を揃えることが可能で、ピクチャ単位、画面間での画質劣化を防止できる効果あるものと判断する。
そして、当該色成分の符号化ブロックにおける動きベクトルｍｖＣＯＲＲとｒｅｆ＿ｉｄｘＯＲＧからｒｅｆ＿ｉｄｘＣＯＲＲの値に補正した参照画像番号を、符号化パラメタとして動き補償部１１０へ通知出力する（ステップＳ２１１０）。
以上が、本発明の第３の実施例における参照画像番号補正動作である。
＜参照画像番号補正動作例＞
続いて、本実施例による上記動作例を、図２２および図２３を用いて説明する。
図２２の例は、ＲＧＢの三成分の符号化画像において、同一の符号化ブロック位置で、動き予測を行った時の参照画像番号を補正する前と、補正した後を示している。なお、図の例では、符号化画像に対して過去の画像を参照する前方参照画像を１つまたは３つ持つ構成となっているが、本発明を実施する上では、参照方向や画像枚数を特に図の構成に限定するものではない。
図の例では、Ｒ成分とＧ成分は、動き予測部の結果として、前方参照画像である参照画像番号が０となるフレーム画像に対して、動きベクトル予測を行っている。一方、Ｂ成分については、後方参照画像である参照画像番号が1となるフレーム画像に対して動きベクトル予測を行っている。
本実施例は、動きベクトル値のみを補正対象とする第１および第２の実施例と比較して、各色成分において動きベクトルが同じだが、参照画像が異なるような場合に発生し得る画質劣化の防止が可能となる。即ち、時間軸方向の参照関係についても各色成分で揃えるように、特定、あるいは全ての色成分について参照画像番号を補正して符号化することが可能となる。
具体的には、図２２（ｂ）のように、Ｂ成分の参照画像番号ｒｅｆ＿ｉｄｘを１から、Ｒ成分やＧ成分と同じ０に変更して符号化を行う。またＢ成分の動きベクトルｍｖＢについても、元の参照画像番号と補正後の参照画像番号とで、時間方向が逆転しているので、ベクトルの向きが逆になる正負の符号反転を行ったベクトル（−ｍｖＢ）で符号化する。
また図２３の例では、同じ符号化ブロック位置において、すべての色成分の参照画像番号が異なる場合の参照画像番号の補正前と、補正後について示している。
同図（ａ）では、Ｒ成分が参照画像番号２を、Ｇ成分が参照画像番号０を、Ｂ成分が参照画像番号１に相当するフレーム画像をそれぞれ参照してベクトル予測を行っている。
本実施例によれば、各色成分が異なる参照画像番号となった場合は、符号化画像位置から最も時間的に近い場所、すなわち画像番号０のフレーム画像をすべての色成分が参照するように参照画像番号を補正する（図（ｂ））。また、各色成分の動きベクトルについても、参照画像番号の補正前後での参照距離に基づいて、元の動きベクトルｍｖＲを１／３倍、またｍｖＢを１／２倍した動きベクトルｍｖＲ´、ｍｖＢ´に補正する。
上述のように本実施例によれば、動きベクトルの向きや大小関係に加えて、時間軸方向も考慮した動き予測情報の補正が可能となる。そのため、画面間で被写体やオブジェクトの動きがあった時に、特定の色成分だけが他の色成分と大きく異なる画像参照をした場合に起こる画質劣化の防止が可能となる。
（第４の実施例）
第３の実施例では、色成分毎の参照画像番号を比較し、他と参照画像番号と異なる色成分があった場合に、当該参照画像番号を適切な参照画像番号に補正し、対応する動きベクトルも補正した。この時、動きベクトルの補正は、補正前後の参照画像番号について、時間方向の前後関係および時間的な距離に基づく比例関係から導出される値を適用する構成であった。
第４の実施例は、上述の第３の実施例での参照画像番号の補正とそれに対応する動きベクトルの補正後に、第１及び第２の実施例の動きベクトルの補正を行う構成とする。これにより、参照画像番号の補正によって各色成分が同一時刻の参照画像番号に基づく動き予測を行なった後に、さらに動きベクトルを補正して最適な値を導出することが可能となる。
以下、本発明の第４の実施例について、図を用いて説明する。なお、本実施例の説明において、上述した第１から第３の実施例と共通する部分については同一の符号を付して示し、適宜その説明を省略する。特に実施例の参照画像番号比較動作は、上記第３の実施例と同一である。
＜システム構成＞
図２４には、本発明の第４の実施例に係わる動画像符号化装置をビデオカメラ等の撮像装置に適用したときの動画像符号化システムの構成を示すブロックである。本実施例のシステムは、第１および第３の実施例で示したシステム構成の要素すべてから構成される。
なお、第１の実施例と同様に、本実施例に係わる動画像符号化装置も、上記動画像符号化システムから撮像部１０１および色成分分離部１０２が除かれた、コンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
また、本発明の実施例においても説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
本実施例での動き補償部１１０は、ループ内フィルタ１１１でフィルタ処理された予測画像データを入力することは第１乃至第３の実施例と同様である。しかし、本実施例ではさらに参照画像番号補正部１９０３から通知された補正後の参照画像番号と動きベクトル補正部１１９から通知された動きベクトルを符号化パラメタとして入力する。動き補償部１１０は、これらの入力情報に基づいてインター符号化の際に用いる参照画像データを生成し、フレームメモリ１０３に格納する。
第三の動きベクトル補正部２４０１は、第３の実施例の比例計算による動きベクトル補正と、第一から第三の色成分の動き予測部１１４，１１５，１１６からの補正前の動きベクトルとを切り換える。切り換えられた動きベクトルはベクトル間距離取得部１１７に通知される。
以上が本発明の第４の実施例における動画像符号化システムの構成である。
＜参照画像番号補正＞
以下、本発明の第４の実施例の参照画像番号補正動作について、図２５のフローチャートを用いて説明する。
当該動作は、本実施例に係わる動画像符号化装置の参照画像番号補正部１９０３および第二の動きベクトル補正部１９０４にて実行する。
当該フローチャートのステップＳ２１０１からＳ２１０９までは、上述の第３の実施例での参照画像番号補正と同一である。
本実施例では、ステップＳ２１０８において，補正前後の画面間差分が小さく、動きベクトルと参照画像番号の補正値出力が必要と判断した場合（ＦＡＬＳＥ）の動作が第３の実施例と異なる。この場合本実施例では、補正した参照画像番号としてｒｅｆ＿ｉｄｘＣＯＲＲを動き補償部１１０へ通知出力すると供に、各色成分について比例計算によって補正した動きベクトルｍｖＣＯＲＲをベクトル間距離取得部１１７に通知する。そして、上述した実施例１および２のいずれかの方法で、各色成分間のベクトル間距離を計算し、最適な動きベクトル補正をした後、動き補償部１１０に通知出力する（ステップＳ２５０１）。
以上が、本発明の第４の実施例における参照画像番号補正動作である。
＜参照画像番号補正適用例＞
上記本実施例の動作例を、図２６を用いて説明する。
図２６は、ＲＧＢの三成分の符号化画像において、同一の符号化ブロック位置に対する本実施例による動き予測情報の補正動作を示している。同図（ａ）は、ベクトル探索後の参照画像番号補正前、（ｂ）は比例計算による動きベクトルと参照画像番号補正後、（ｃ）はベクトル間距離時基づく動きベクトル補正後（ｃ）を示している。
図２６の例では、符号化画像に対して、過去の映像を参照する前方参照画像を２つ、未来の映像を参照する後方参照画像を１つ持つ構成となっている。しかし、第３の実施例と同様に、本発明を実施する上では、参照方向や画像枚数を特に図の構成に限定するものではない。
図２６の（ａ）では、Ｒ成分が前方参照画像番号１を、Ｇ成分が後方参照画像番号２を、そしてＢ成分が前方参照画像番号０に相当するフレーム画像をそれぞれ参照してベクトル予測を行っている。
そして第３の実施例と同様に、各色成分が異なる参照画像となった場合において、符号化ピクチャ位置から最も時間的に近い場所である参照画像番号０のフレーム画像を参照するよう参照画像番号を補正する（図２６（ｂ））。同様に参照画像番号の補正前後の参照距離の比例関係に基づいて、補正した色成分の動きベクトルも補正する。
さらに本実施例では、各色成分の参照画像番号を補正して揃えた後に比例計算によって補正した各色成分の動きベクトルを第１又は第２の実施例による動きベクトル間距離に基づく一連のベクトル補正を行う。
図２６の（ｂ）では、比例計算による補正をした後の色成分の動きベクトルが、異なる長さ、方向を有する値として算出されたことを想定している。これらの動きベクトルは、その後、第１および第２の実施例のいずれかの方法で、各色成分の動きベクトル間の距離に応じて共通のｍｖＣＲＲに補正されている（図２６（ｃ））。
以上が、本発明の第４の実施例による参照画像番号および動きベクトル補正の構成である。
（その他の実施形態）
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（図示したフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (8)

  1. 複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、
    前記動画像を構成する前記複数の色成分を取得する色成分取得手段と、
    前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動きベクトルを生成する生成手段と、
    前記生成された各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である場合に、ベクトル間の距離が最小である色成分以外の色成分の動きベクトルを補正対象として決定し、前記決定された色成分の動きベクトルを他の色成分の動きベクトルの平均ベクトルに補正する補正手段と、
    前記補正された動きベクトルを符号化パラメタとして取得し、前記取得した符号化パラメタを用いてインター符号化に用いる参照画像データを生成する符号化手段と
    を備えることを特徴とする動画像符号化装置。
  2. 複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、
    前記動画像を構成する前記複数の色成分を取得する色成分取得手段と、
    前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動きベクトルを生成する生成手段と、
    前記生成された各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である場合に、ベクトル間の距離が最小である色成分以外の色成分の動きベクトルを補正対象として決定し、前記決定された色成分の動きベクトルを、他の色成分の動きベクトルのうち、前記補正対象と決定された色成分の動きベクトルとの距離が最小である他の色成分の動きベクトルに補正する補正手段と、
    前記補正された動きベクトルを符号化パラメタとして取得し、前記取得した符号化パラメタを用いてインター符号化に用いる参照画像データを生成する符号化手段と
    を備えることを特徴とする動画像符号化装置。
  3. 複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、
    前記動画像を構成する前記複数の色成分を取得する色成分取得手段と、
    前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動きベクトルを生成する生成手段と、
    前記生成された各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である場合に、ベクトル間の距離が最小である色成分以外の色成分の動きベクトルを補正対象として決定し、前記決定された色成分の動きベクトルを、他の色成分の動きベクトルのうち、前記他の色成分の動きベクトルに係わる参照画像と前記符号化画像との画面間差分値が最小である動きベクトルに補正する補正手段と、
    前記補正された動きベクトルを符号化パラメタとして取得し、前記取得した符号化パラメタを用いてインター符号化に用いる参照画像データを生成する符号化手段と
    を備えることを特徴とする動画像符号化装置。
  4. 前記補正手段は、前記補正対象となる色成分の動きベクトルを補正した場合、前記補正対象の色成分の動きベクトルに係わる参照画像と前記符号化画像との画面間差分値と、前記補正対象の色成分の動きベクトルの代わりに前記他の色成分の対応する動きベクトルを用いたときの前記参照画像と前記符号化画像との画面間差分値を算出し、前記算出した画面間差分値の差が所定値以下の場合には、前記補正対象の色成分の補正した動きベクトルと前記他の色成分の動きベクトルを前記符号化パラメタとして取得し、前記所定値より大きい場合には、前記補正対象の色成分の補正前の動きベクトルと前記他の色成分の動きベクトルを前記符号化パラメタとして取得することを特徴とする請求項１乃至３のいずれか１項に記載の動画像符号化装置。
  5. 複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、
    前記動画像を構成する前記複数の色成分を取得する色成分取得ステップと、
    前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動きベクトルを生成する生成ステップと、
    前記生成された各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である場合に、ベクトル間の距離が最小である色成分以外の色成分の動きベクトルを補正対象として決定し、前記決定された色成分の動きベクトルを他の色成分の動きベクトルの平均ベクトルに補正する補正ステップと、
    前記補正された動きベクトルを符号化パラメタとして取得し、前記取得した符号化パラメタを用いてインター符号化に用いる参照画像データを生成する符号化ステップと
    を有することを特徴とする動画像符号化方法。
  6. 複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、
    前記動画像を構成する前記複数の色成分を取得する色成分取得ステップと、
    前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動きベクトルを生成する生成ステップと、
    前記生成された各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である場合に、ベクトル間の距離が最小である色成分以外の色成分の動きベクトルを補正対象として決定し、前記決定された色成分の動きベクトルを、他の色成分の動きベクトルのうち、前記補正対象と決定された色成分の動きベクトルとの距離が最小である他の色成分の動きベクトルに補正する補正ステップと、
    前記補正された動きベクトルを符号化パラメタとして取得し、前記取得した符号化パラメタを用いてインター符号化に用いる参照画像データを生成する符号化ステップと
    を有することを特徴とする動画像符号化方法。
  7. 複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、
    前記動画像を構成する前記複数の色成分を取得する色成分取得ステップと、
    前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動きベクトルを生成する生成ステップと、
    前記生成された各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である場合に、ベクトル間の距離が最小である色成分以外の色成分の動きベクトルを補正対象として決定し、前記決定された色成分の動きベクトルを、他の色成分の動きベクトルのうち、前記他の色成分の動きベクトルに係わる参照画像と前記符号化画像との画面間差分値が最小である動きベクトルに補正する補正ステップと、
    前記補正された動きベクトルを符号化パラメタとして取得し、前記取得した符号化パラメタを用いてインター符号化に用いる参照画像データを生成する符号化ステップと
    を有することを特徴とする動画像符号化方法。
  8. コンピュータを請求項１乃至４のいずれか一項に記載の動画像符号化装置の各手段として機能させるプログラム。
JP2012271615A 2012-12-12 2012-12-12 動画像符号化装置、方法およびプログラム Expired - Fee Related JP6151909B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012271615A JP6151909B2 (ja) 2012-12-12 2012-12-12 動画像符号化装置、方法およびプログラム
US14/096,118 US9641838B2 (en) 2012-12-12 2013-12-04 Moving image coding apparatus, method and program
CN201310680905.3A CN103873865B (zh) 2012-12-12 2013-12-12 运动图像编码设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012271615A JP6151909B2 (ja) 2012-12-12 2012-12-12 動画像符号化装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014116902A JP2014116902A (ja) 2014-06-26
JP6151909B2 true JP6151909B2 (ja) 2017-06-21

Family

ID=50880951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012271615A Expired - Fee Related JP6151909B2 (ja) 2012-12-12 2012-12-12 動画像符号化装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US9641838B2 (ja)
JP (1) JP6151909B2 (ja)
CN (1) CN103873865B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6410513B2 (ja) * 2014-08-07 2018-10-24 キヤノン株式会社 画像符号化装置及び方法
CN105100549B (zh) * 2015-07-27 2018-06-29 京东方科技集团股份有限公司 图像补偿方法及装置
JP6875821B2 (ja) 2016-10-19 2021-05-26 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法およびプログラム
CN113628240A (zh) * 2017-04-21 2021-11-09 泽尼马克斯媒体公司 通过预期运动矢量的玩家输入运动补偿
GB2569556B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video sequence
GB2569555B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting deviation from a motion pattern in a video
GB2569557B (en) 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video
KR102551362B1 (ko) * 2018-02-28 2023-07-04 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN113032274B (zh) * 2021-04-07 2021-09-10 北京电信易通信息技术股份有限公司 一种针对h.265的cabac连续图像验证的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
KR100624429B1 (ko) 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
JP4557752B2 (ja) * 2005-03-07 2010-10-06 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
WO2007010690A1 (ja) * 2005-07-22 2007-01-25 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4630174B2 (ja) 2005-11-14 2011-02-09 日本放送協会 動きベクトル検出装置
KR101311403B1 (ko) * 2006-07-04 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP5030495B2 (ja) 2006-07-14 2012-09-19 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
EP2200326A1 (en) * 2008-12-18 2010-06-23 Thomson Licensing Method and device for encoding a block of an image using a reference block of a further image, data carrier carrying an encoded block of an image and method for decoding a block of an image
JPWO2010137323A1 (ja) 2009-05-29 2012-11-12 三菱電機株式会社 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
CN102726043B (zh) * 2009-11-06 2016-03-02 弗劳恩霍夫应用研究促进协会 混合视频编码
KR20110111853A (ko) 2010-04-05 2011-10-12 삼성전자주식회사 복수의 부분에 기초한 영상 부호화, 복호화 방법 및 장치
JP2011259362A (ja) 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法

Also Published As

Publication number Publication date
CN103873865A (zh) 2014-06-18
JP2014116902A (ja) 2014-06-26
US9641838B2 (en) 2017-05-02
CN103873865B (zh) 2017-04-12
US20140161185A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
JP6151909B2 (ja) 動画像符号化装置、方法およびプログラム
JP7404481B2 (ja) 画像コーディングシステムにおけるサブブロック単位の動き予測に基づく画像デコーディング方法及び装置
CN104380738A (zh) 图像处理装置及方法
TW201909637A (zh) 影像預測解碼方法
CN113261294B (zh) 基于sbtmvp的帧间预测方法和设备
US11973938B2 (en) Image decoding method for deriving weight index information for biprediction, and device for same
JP7432035B2 (ja) 予測サンプルを生成するための加重値インデックス情報を導出する映像デコーディング方法、及びその装置
US20230353725A1 (en) Video decoding method using bi-prediction and device therefor
US20220368891A1 (en) Image encoding/decoding method and apparatus, and method of transmitting bitstream using sequence parameter set including information on maximum number of merge candidates
US11616948B2 (en) Method and device for subpicture-based image encoding/decoding, and method for transmitting bitstream
US20220247997A1 (en) Encoder, decoder, encoding method, and decoding method
US11546591B2 (en) System and method for video coding
US20110280308A1 (en) Moving image encoding apparatus and method of controlling the same
JP2024019432A (ja) 決定された予測モードを適用して予測サンプルを生成する映像デコーディング方法及びその装置
US20220224912A1 (en) Image encoding/decoding method and device using affine tmvp, and method for transmitting bit stream
US20220132137A1 (en) Image encoding/decoding method and device using symmetric motion vector difference (smvd), and method for transmitting bitstream
US20230328238A1 (en) Image encoding/decoding method and apparatus using maximum transform size setting for chroma block, and method for transmitting bitstream
US11539941B2 (en) Image decoding method for deriving predicted sample by using merge candidate and device therefor
KR102630798B1 (ko) Sbtmvp 기반 영상 또는 비디오 코딩
US20220337842A1 (en) Image encoding/decoding method and device for performing bdof, and method for transmitting bitstream
JP6190103B2 (ja) 動画像符号化装置、動画像符号化方法およびプログラム
JP6066583B2 (ja) 動画像符号化装置及び動画像符号化方法
RU2812840C2 (ru) Способ и устройство декодирования изображения для выведения информации индекса веса для генерации выборки предсказания
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
US12028519B2 (en) System and method for video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170526

R151 Written notification of patent or utility model registration

Ref document number: 6151909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees