JP2004266778A

JP2004266778A - 動きベクトル検出装置

Info

Publication number: JP2004266778A
Application number: JP2003057667A
Authority: JP
Inventors: Tatsuro Shigesato; 達郎重里
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-03-04
Filing date: 2003-03-04
Publication date: 2004-09-24

Abstract

【課題】消費電力を低減することができる動きベクトル検出装置を提供する。
【解決手段】動きベクトル検出装置は、符号化フレームを縮小した縮小符号化フレームと符号化ブロックの動きベクトルを検出するための参照フレームを縮小した縮小参照フレームとを生成する縮小フレーム生成器１と、縮小フレーム生成器１によって生成された縮小参照フレームに含まれる第１縮小参照領域に存在する画素データに基づいて、縮小フレーム生成器１によって生成された縮小符号化フレームに含まれる縮小符号化ブロックの縮小動きベクトルを検出する縮小動きベクトル検出器２と、縮小動きベクトル検出器２によって検出された縮小動きベクトルに基づいて、符号化ブロックの動きベクトルを検出する動きベクトル検出器３とを具備する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化フレームに含まれる符号化ブロックの動きベクトルを検出するための動きベクトル検出装置に関する。
【０００２】
【従来の技術】
半導体技術等の進歩によって画像を圧縮するための符号化技術が家庭用のビデオ記録機器に導入されている。特に、画像を表す複数のフレームの間の動きベクトルを利用したＭＰＥＧ２、ＭＰＥＧ４等の符号化技術が広く利用されている。
【０００３】
このようなＭＰＥＧ２、ＭＰＥＧ４等の符号化技術を利用した動きベクトル検出装置においては、フレームの間の動きベクトルをブロックごとに検出する。動きベクトル検出装置は、画像情報を符号化するための動きベクトルを検出するために設けられた回路と符号化すべき画像情報を記憶するために設けられたメモリとが符号化集積回路（ＩＣ）とメモリＩＣとの別個のＩＣとしてそれぞれ構成されている。
【０００４】
【発明が解決しようとする課題】
しかしながら前述した従来技術の構成では、動きベクトルを検出するために、メモリＩＣに記憶された画像情報を符号化ＩＣへ高速に読み出す必要があるので、メモリＩＣから符号化ＩＣへの画像情報の転送速度が高速になる結果、消費電力が増大するという問題がある。
【０００５】
このような問題を解決するために、画像情報が記憶されたメモリを符号化ＩＣの中に配置しようとすると、画像情報を記憶するための大容量のメモリを符号化ＩＣに内蔵する必要が生じるために、符号化ＩＣが非常に高価になるという問題がある。
【０００６】
本発明は係る問題を解決するためになされたものであり、その目的は、消費電力を低減することができる動きベクトル検出装置を提供することにある。
【０００７】
【課題を解決するための手段】
係る目的を達成するために本発明に係る動きベクトル検出装置は、符号化フレームに含まれる符号化ブロックの動きベクトルを検出するための動きベクトル検出装置であって、前記符号化フレームを周辺の画素を演算して画素数を低減した縮小符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームを周辺の画素を演算して画素数を低減した縮小参照フレームとを生成する縮小フレーム生成手段と、前記縮小フレーム生成手段によって生成された前記縮小参照フレームに含まれる第１縮小参照領域に存在する画素データに基づいて、前記縮小フレーム生成手段によって生成された前記縮小符号化フレームに含まれる縮小符号化ブロックの縮小動きベクトルを検出する縮小動きベクトル検出手段と、前記縮小動きベクトル検出手段によって検出された前記縮小動きベクトルに基づいて、前記符号化ブロックの動きベクトルを検出する動きベクトル検出手段とを具備することを特徴とする。
【０００８】
本発明に係る他の動きベクトル検出装置は、符号化フレームに含まれる符号化ブロックの動きベクトルを検出するための動きベクトル検出装置であって、前記符号化フレームの画質を変換した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの画質を変換した画質変換参照フレームとを生成する画質変換手段と、前記画質変換手段によって生成された前記画質変換参照フレームに含まれる画質変換参照領域に存在する画素データに基づいて、前記画質変換手段によって生成された前記画質変換符号化フレームに含まれる画質変換符号化ブロックの画質変換動きベクトルを検出する画質変換動きベクトル検出手段と、前記画質変換動きベクトル検出手段によって検出された前記画質変換動きベクトルに基づいて、前記符号化ブロックの動きベクトルを検出する動きベクトル検出手段とを具備することを特徴とする。
【０００９】
本発明に係るさらに他の動きベクトル検出装置は、符号化フレームに含まれる符号化ブロックの動きベクトルを検出するための動きベクトル検出装置であって、前記符号化フレームを周辺の画素を演算して画素数を低減した縮小符号化フレームと、前記符号化ブロックの動きベクトルを検出するための参照フレームを周辺の画素を演算して画素数を低減した縮小参照フレームとを生成する縮小フレーム生成手段と、前記縮小フレーム生成手段によって生成された前記縮小参照フレームに含まれる第１縮小参照領域に存在する画素データに基づいて、前記縮小フレーム生成手段によって生成された前記縮小符号化フレームに含まれる縮小符号化ブロックの縮小動きベクトルを検出する縮小動きベクトル検出手段と、前記縮小動きベクトル検出手段によって検出された前記縮小動きベクトルに基づいて、前記符号化ブロックの動きベクトルを検出する動きベクトル検出手段と、前記縮小符号化フレームまたは縮小参照フレームを用いて、画像情報の特徴を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴に応じて符号化方法を制御する符号化制御手段を具備することを特徴とする。
【００１０】
【発明の実施の形態】
本実施の形態に係る動きベクトル検出装置においては、縮小動きベクトル検出手段によって検出された縮小動きベクトルに基づいて、符号化ブロックの動きベクトルが検出される。このため、動きベクトルを検出するための検索範囲が、縮小画像を使用しない従来技術の構成における検索範囲よりも狭くなる。その結果、動きベクトルを検出するための演算量、消費電力およびコストを低減することができる。
【００１１】
前記縮小フレーム生成手段によって生成された前記縮小参照フレームを格納する第１メモリと、前記縮小参照フレームに含まれる前記第１縮小参照領域に存在する画素データを格納する第２メモリとをさらに具備しており、前記縮小動きベクトル検出手段は、前記第２メモリに格納された前記第１縮小参照領域に存在する画素データに基づいて前記縮小動きベクトルを検出することが好ましい。
【００１２】
次の符号化ブロックの動きベクトルを検出するために、前記第１縮小参照領域よりも狭い第２縮小参照領域に存在する画素データを前記第１メモリから前記第２メモリへ複製する画素データ複製手段をさらに具備しており、前記縮小動きベクトル検出手段は、前記画素データ複製手段によって複製された前記第２縮小参照領域に存在する画素データと前記第２メモリに格納された前記第１縮小参照領域に存在する画素データとに基づいて、次の符号化ブロックの動きベクトルを検出するための縮小動きベクトルを検出することが好ましい。
【００１３】
前記第２メモリと前記縮小フレーム生成手段と前記縮小動きベクトル検出手段と前記動きベクトル検出手段とは、同一の集積回路内に配置されており、前記第１メモリは、前記集積回路に接続されていることが好ましい。
【００１４】
前記縮小フレーム生成手段は、前記符号化フレームを構成する画素数に応じて前記符号化フレームおよび前記参照フレームの縮小率を変更することが好ましい。
【００１５】
前記縮小フレーム生成手段は、前記符号化フレームと前記参照フレームとの垂直方向または水平方向の高域成分を低減するフィルタを有していることが好ましい。
【００１６】
前記縮小フレーム生成手段は、前記符号化フレームと前記参照フレームとの垂直方向または水平方向の中域成分または高域成分を強調するフィルタを有していることが好ましい。
【００１７】
前記縮小フレーム生成手段は、前記符号化フレームと前記参照フレームとの斜め方向の成分を強調するフィルタを有していることが好ましい。
【００１８】
前記縮小フレーム生成手段は、ローカルデコードされた参照フレームに基づいて、画素数を低減するように縮小した縮小参照フレームを生成し、前記動きベクトル検出手段は、前記ローカルデコードされた参照フレーム上における位置の周辺に存在する前記参照フレームの画素データに基づいて前記符号化ブロックの動きベクトルを検出することが好ましい。
【００１９】
前記縮小フレーム生成手段は、外部から入力された参照フレームに基づいて、画素数を低減するように縮小した縮小参照フレームを生成し、前記動きベクトル検出手段は、ローカルデコードされた参照フレーム上における位置の周辺に存在する前記ローカルデコードされた参照フレームの画素データに基づいて前記符号化ブロックの動きベクトルを検出することが好ましい。
【００２０】
本実施の形態に係る他の動きベクトル検出装置においては、画質変換手段によって画質を変換された画質変換参照フレームに含まれる画質変換参照領域に存在する画素データに基づいて、画質変換手段によって画質を変換された画質変換符号化フレームに含まれる画質変換符号化ブロックの画質変換動きベクトルが検出され、画質変換動きベクトルに基づいて動きベクトルが検出される。
【００２１】
このため、動きベクトルの検出におけるノイズの影響、高域における微妙な位相差による誤差の影響、フェードアウト、フェードイン時における直流レベルの影響および輪郭部分の影響を除去することができる。その結果、動きベクトルの検出精度を高めることができる。
【００２２】
前記画質変換手段は、前記符号化フレームの高域を低減した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの高域を低減した画質変換参照フレームとを生成することが好ましい。
【００２３】
前記画質変換手段は、前記符号化フレームの低域を低減した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの低域を低減した画質変換参照フレームとを生成することが好ましい。
【００２４】
前記画質変換手段は、前記符号化フレームの中域または高域を強調した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの中域または高域を強調した画質変換参照フレームとを生成することが好ましい。
【００２５】
以下、本発明の実施の形態を図面を参照して説明する。
【００２６】
（実施の形態１）
図１は実施の形態１に係る動きベクトル検出装置１００の構成を示すブロック図であり、図２は動きベクトル検出装置１００が動きベクトルを検出する符号化フレーム７を説明するための図であり、図３は動きベクトル検出装置１００に設けられた縮小フレーム生成器１によって生成された縮小符号化フレーム９を説明するための図であり、図４は動きベクトル検出装置１００が動きベクトルを検出するために参照する参照フレーム１３を説明するための図であり、図５は動きベクトル検出装置１００に設けられた縮小動きベクトル検出器２が縮小動きベクトルを検出するために参照する縮小参照フレーム１４を説明するための図であり、図６は動きベクトル検出装置１００に設けられた動きベクトル検出器３が参照フレーム１３を参照して動きベクトルを検出する方法を説明するための図である。
【００２７】
動きベクトル検出装置１００は、集積回路２１を備えている。集積回路２１は、縮小フレーム生成器１を有している。縮小フレーム生成器１は、符号化すべき符号化ブロック８を含む符号化フレーム７と符号化ブロック８を符号化するための動きベクトルを検出するために参照する参照フレーム１３とを受け取り、符号化フレーム７を周辺の画素を演算して画素数を低減した縮小符号化フレーム９と符号化ブロック８の動きベクトルを検出するための参照フレーム１３を周辺の画素を演算して画素数を低減した縮小参照フレーム１４とを生成する。
【００２８】
縮小フレーム生成器１には、フィルタ１８が設けられている。フィルタ１８は、符号化フレーム７と参照フレーム１３との垂直方向または水平方向の高域成分を低減する。
【００２９】
動きベクトル検出装置１００は、ＳＤＲＡＭ４を備えている。ＳＤＲＡＭ４は、集積回路２１とは別個のＩＣによって構成されており、縮小フレーム生成器１によって生成された縮小符号化フレーム９および縮小参照フレーム１４を格納する。
【００３０】
集積回路２１には、ローカルＲＡＭ５が設けられている。ローカルＲＡＭ５には、縮小フレーム生成器１によって生成された縮小参照フレーム１４に含まれる第１縮小参照領域１５に存在する画素データが格納されている。第１縮小参照領域１５は、例えば３９画素×３９画素によって構成されている。
【００３１】
集積回路２１は、縮小動きベクトル検出器２を有している。縮小動きベクトル検出器２は、ローカルＲＡＭ５に格納された第１縮小参照領域１５に存在する画素データに基づいて、縮小フレーム生成器１によって生成された縮小符号化フレーム９に含まれる縮小符号化ブロック１０の縮小動きベクトルを検出する。
【００３２】
集積回路２１には、動きベクトル検出器３が設けられている。動きベクトル検出器３は、縮小動きベクトル検出器２によって検出された縮小動きベクトルに基づいて、符号化ブロック８の動きベクトルを検出する。
【００３３】
集積回路２１は、画素データ複製器６を有している。画素データ複製器６は、次の符号化ブロックの動きベクトルを検出するために、第１縮小参照領域１５よりも狭い次回縮小参照領域１７に存在する画素データをＳＤメモリ４からローカルＲＡＭ５へ複製する。
【００３４】
このように構成された動きベクトル検出装置１００の動作を説明する。まず、縮小フレーム生成器１は、符号化フレーム７を受け取る。符号化フレーム７は、例えば７２０画素×４８０画素によって構成されている。符号化フレーム７は、符号化すべき符号化ブロック８を含んでいる。符号化ブロック８は、例えば８画素×８画素によって構成されている。
【００３５】
縮小フレーム生成器１に設けられたフィルタ１８は、符号化フレーム７における垂直方向または水平方向の高域成分を低減する。縮小フレーム生成器１は、フィルタ１８によって高域成分が低減された符号化フレーム７を縮小して縮小符号化フレーム９を生成する。
【００３６】
図３に示す例では、縮小符号化フレーム９は３６０画素×２４０画素によって構成されており、符号化フレーム７が水平方向に沿って２分の１に縮小されており、垂直方向に沿って２分の１に縮小されている。
【００３７】
符号化フレーム７に含まれる符号化ブロック８は、水平方向に沿って２分の１に縮小され、垂直方向に沿って２分の１に縮小されており、縮小符号化ブロック１０になっている。縮小符号化ブロック１０は、４画素×４画素によって構成されている。
【００３８】
縮小フレーム生成器１は、ローカルデコードされた参照フレーム１３をさらに受け取る。ローカルデコードされた参照フレーム１３は、例えば７２０画素×４８０画素によって構成されている。縮小フレーム生成器１に設けられたフィルタ１８は、ローカルデコードされた参照フレーム１３における垂直方向または水平方向の高域成分を低減する。
【００３９】
縮小フレーム生成器１は、フィルタ１８によって高域成分が低減された参照フレーム１３を縮小して縮小参照フレーム１４を生成する。図５に示す例では、縮小参照フレーム１４は３６０画素×２４０画素によって構成されており、ローカルデコードされた参照フレーム１３が水平方向に沿って２分の１に縮小されており、垂直方向に沿って２分の１に縮小されている。
【００４０】
そして、ＳＤＲＡＭ１４は、縮小フレーム生成器１によって生成された縮小参照フレーム１４を格納する。次に、ローカルＲＡＭ５は、縮小フレーム生成器１によって生成された縮小参照フレーム１４に含まれる第１縮小参照領域１５に存在する画素データを格納する。
【００４１】
その後、縮小動きベクトル検出器２は、第１縮小参照領域１５を縮小符号化ブロック１０と略同様の形状を有する縮小参照領域ブロックに分割する。次に、縮小動きベクトル検出器２は、各縮小参照領域ブロックに存在する画素データと縮小符号化ブロック１０に存在する画素データとの間の差分値を求める。そして、縮小動きベクトル検出器２は、差分値が最小になる縮小参照領域ブロックを求め、縮小符号化ブロック１０の中心を始点１１Ａとし、差分値が最小になる縮小参照領域ブロックの中心を終点１１Ｂとする縮小動きベクトル１１を検出する。
【００４２】
図６を参照すると、動きベクトル検出器３は、ローカルデコードされた参照フレーム１３において、縮小動きベクトル検出器２によって検出された縮小動きベクトル１１の終点１１Ｂを求める。そして、動きベクトル検出器３は、ローカルデコードされた参照フレーム１３上における終点１１Ｂの周辺における複数の位置２１に存在する画素データと縮小符号化ブロック１０に存在する画素データとの間の差分値を求める。次に、動きベクトル検出器３は、差分値が最小になる周辺の位置２１を求め、縮小符号化ブロック１０の中心を始点とし、差分値が最小になる周辺の位置２１を終点とする動きベクトルを検出する。
【００４３】
差分値は、終点１１Ｂに対して１画素精度によって白の丸印で示す周辺の位置２１に存在する画素データとの間の差分値を求めてもよく、また、終点１１Ｂに対して０．５画素精度によって黒の四角印および黒の三角印で示す周辺の位置２１に存在する画素データとの間の差分値を求めてもよい。
【００４４】
再び図５を参照すると、その後、画素データ複製器６は、図２に示す符号化ブロック８に隣接する次の符号化ブロックの動きベクトルを検出するために、第１縮小参照領域１５よりも狭い次回縮小参照領域１７に存在する画素データをＳＤＲＡＭ４からローカルＲＡＭ５へ複製する。次回縮小参照領域１７は、例えば８画素×８画素によって構成されており、第１縮小参照領域１５の左辺における下方において第１縮小参照領域１５に隣接している領域である。
【００４５】
そして、縮小動きベクトル検出器２は、第１縮小参照領域１５の左上に存在する８画素×８画素の次回解放領域１７Ａを第１縮小参照領域１５から除いた領域と次回縮小参照領域１７とを、前述した縮小動きベクトルを検出する動作と同様にして、縮小参照領域ブロックに分割し、差分値を求め、差分値が最小になる縮小参照領域ブロックの中心を終点とする次の縮小動きベクトルを検出する。
【００４６】
このように、次の符号化ブロックの動きベクトルを検出するためには、８画素×８画素の画素データをＳＤＲＡＭ４からローカルＲＡＭ５へ複製するだけで、次の縮小参照領域を構成することができる。このため、３９画素×３９画素の大きさの縮小参照領域を符号化ブロック１個ごとにＳＤＲＡＭ４からローカルＲＡＭ５へ複製する必要がない。従って、ＳＤＲＡＭ４からローカルＲＡＭ５へのアクセス量は、（８画素×８画素）／（３９画素×３９画素）＝約１／２４に低減することができ、約７．８メガバイト／秒となる。
【００４７】
次に、動きベクトル検出器３は、前述した動きベクトルを検出する動作と同様にして、縮小動きベクトル検出器２によって検出された次の縮小動きベクトルに基づいて、次の符号化ブロックの動きベクトルを検出する。
【００４８】
このように、縮小動きベクトル検出器２は、画素データ複製器６によって複製された次回縮小参照領域１７に存在する画素データとローカルＲＡＭ５に格納された第１縮小参照領域１５から次回解放領域１７Ａを除いた領域に存在する画素データとに基づいて、次の符号化ブロックの動きベクトルを検出するための縮小動きベクトルを検出する。
【００４９】
以上のように実施の形態１によれば、縮小動きベクトル検出器２によって検出された縮小動きベクトル１１に基づいて、符号化ブロック８の動きベクトルが検出される。このため、動きベクトルを検出するための検索範囲が、縮小画像を使用しない従来技術の構成における検索範囲よりも狭くなる。従って、動きベクトルを検出するときにおいてブロック単位のマッチングの回数を低減することができるとともに、縮小によってブロック内の画素数が減少するので、１回のマッチングにおける演算回数を低減することができる。その結果、動きベクトルを検出するための演算量、消費電力およびコストを低減することができる。
【００５０】
また、縮小動きベクトル検出器２と動きベクトル検出器３とは、いずれもローカルデコードされた参照フレームを使用しているので、メモリアクセス量を低減することができる。
【００５１】
さらに、縮小フレーム生成器１に設けられたフィルタ１８が、符号化フレーム７と参照フレーム１３との垂直方向または水平方向の高域成分を低減するので、動きベクトルを検出するときにおいて、ノイズの影響および高域における微妙な位相差による影響を低減することができるとともに、縮小によって画素数が減少したときの折り返し歪みの影響を低減することができる。このため、動きベクトルの検出精度を高めることができる。
【００５２】
なお、実施の形態１においては、縮小フレーム生成器１に設けられたフィルタ１８が、符号化フレーム７と参照フレーム１３との垂直方向または水平方向の高域成分を低減する例を示したが、本発明はこれに限定されない。フィルタ１８は、低域成分を低減してもよい。低域成分を低減すると、フェードイン時およびフェードアウト時における直流レベルの影響を低減することができるために、動きベクトルの検出精度を高めることができる。
【００５３】
また、符号化フレーム７と参照フレーム１３との垂直方向または水平方向の中域成分または高域成分を強調するフィルタを縮小フレーム生成器１に設けてもよい。中域成分または高域成分を強調するフィルタを設けると、輪郭部分等の画像の特徴を強調することができるために、動きベクトルの検出精度を高めることができる。さらに、符号化フレーム７と参照フレーム１３との斜め方向の成分を強調するフィルタを設けてもよい。
【００５４】
縮小フレーム生成器１によって生成された縮小符号化フレーム９または縮小参照フレーム１４に基づいて、符号化フレーム７によって表される画像の特徴を検出し、検出した画像の特徴に基づいて、符号化フレーム７を符号化するための量子化等を制御するようにしてもよい。このように縮小符号化フレーム９または縮小参照フレーム１４に基づいて画像の特徴を検出すると、画像の特徴を検出するための演算の規模を小さくすることができる。また、縮小した画像を用いるので、広い範囲における画素情報を画像の特徴検出に利用することができる。このため、画像の特徴検出における精度を向上させることができる。さらに、縮小動きベクトル検出器２が使用する縮小符号化フレーム９または縮小参照フレーム１４を画像の特徴検出に利用することができるので、縮小画像を生成するための演算と縮小画像を記憶するメモリとを動きベクトル検出処理と画像の特徴検出処理とにおいて共通化することができる。
【００５５】
実施の形態１においては、縮小動きベクトル検出器２と動きベクトル検出器３とが、いずれもローカルデコードされた参照フレームを使用する例を示したが、本発明はこれに限定されない。縮小動きベクトル検出器２は、入力画像を縮小した縮小参照フレームに基づいて縮小動きベクトルを検出し、動きベクトル検出器３は、ローカルデコードされた参照フレームに基づいて動きベクトルを検出するように構成してもよい。入力画像を縮小した縮小参照フレームに基づいて縮小動きベクトルを検出すると、縮小動きベクトルの検出精度を高めることができる。ローカルデコードされた参照フレームに基づいて動きベクトルを検出すると、符号化ブロックを動きベクトルによって符号化した後のデータ量を低減することができる。
【００５６】
この場合、縮小フレーム生成器１によって生成された縮小符号化フレーム９または縮小参照フレーム１４に基づいて、符号化フレーム７によって表される画像の特徴を広範囲に検出すると、特徴検出の精度を向上させることができる。
【００５７】
縮小フレーム生成器１は、符号化フレーム７を構成する画素数に応じて符号化フレーム７および参照フレーム１３の縮小率を変更してもよい。例えば、符号化フレーム７を構成する画素数が多ければ多いほど縮小率を大きくし、符号化フレーム７を構成する画素数が少ければ少ないほど縮小率を小さくすると、動きベクトルを検出するための演算量を調整することができる。また、縮小率を調整することによって、複数の画面サイズまたはフレーム周波数を有する入力画像に対しても、集積回路２１が有する演算能力に最適な動きベクトルの検出処理を実現することができる。
【００５８】
縮小フレーム生成器１、縮小動きベクトル検出器２および動きベクトル検出器３は、プロセッサによって構成してもよい。
【００５９】
（実施の形態２）
図７は、実施の形態２に係る動きベクトル検出装置１００Ａの構成を示すブロック図である。図１を参照して前述した実施の形態１に係る動きベクトル検出装置１００の構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【００６０】
動きベクトル検出装置１００Ａは、符号化器２５を備えている。符号化器２５は、動きベクトル検出器３Ａによって検出された動きベクトルに基づいて符号化ブロック８を符号化してローカルデコーダ２４へ供給する。ローカルデコーダ２４は、符号化器２５によって符号化された符号化ブロック８を参照フレームとしてローカルデコードしてローカルＲＡＭ５Ａへ供給する。
【００６１】
動きベクトル検出装置１００Ａは、縮小フレーム生成器１Ａを備えている。縮小フレーム生成器１Ａは、ローカルデコーダ２４によってローカルデコードされてローカルＲＡＭ５Ａへ供給された参照フレームに基づいて、画素数を低減するように縮小した縮小参照フレームを生成する。
【００６２】
縮小フレーム生成器１はまた、符号化すべき符号化ブロック８を含む符号化フレーム７を受け取り、符号化フレーム７を画素数を低減するように縮小した縮小符号化フレーム９を生成する。
【００６３】
動きベクトル検出装置１００Ａは、動きベクトル検出器３Ａを備えている。動きベクトル検出器３Ａは、ローカルデコーダ２４によってローカルデコードされてローカルＲＡＭ５Ａへ供給された参照フレーム上における位置の周辺に存在する参照フレームの画素データに基づいて符号化ブロックの動きベクトルを検出する。
【００６４】
このように、第１ステップにおける縮小動きベクトルの検出においては、ローカルデコードされた参照画像に基づいて縮小動きベクトルを検出し、第２ステップにおける動きベクトルの検出においては、ローカルデコードされた参照画像に基づいて動きベクトルを検出する。従って、第１ステップと第２ステップとの双方においてローカルデコードされた参照画像を使用する。その結果、メモリアクセス量を低減することができる。
【００６５】
（実施の形態３）
図８は、実施の形態３に係る動きベクトル検出装置１００Ｂの構成を示すブロック図である。図７を参照して前述した実施の形態２に係る動きベクトル検出装置１００Ａの構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【００６６】
動きベクトル検出装置１００Ｂは、集積回路２１Ｂを備えている。集積回路２１Ｂは、縮小フレーム生成器１を有している。縮小フレーム生成器１は、符号化すべき符号化ブロック８を含む符号化フレーム７と符号化ブロック８を符号化するための動きベクトルを検出するために参照する参照フレーム１３とを受け取り、符号化フレーム７を画素数を低減するように縮小した縮小符号化フレーム９と符号化ブロック８の動きベクトルを検出するための参照フレーム１３を画素数を低減するように縮小した縮小参照フレーム１４とを生成する。
【００６７】
動きベクトル検出装置１００Ｂは、符号化器２５を備えている。符号化器２５は、動きベクトル検出器３Ａによって検出された動きベクトルに基づいて符号化ブロック８を符号化してローカルデコーダ２４へ供給する。ローカルデコーダ２４は、符号化器２５によって符号化された符号化ブロック８を参照フレームとしてローカルデコードしてローカルＲＡＭ５Ｂへ供給する。
【００６８】
動きベクトル検出器３Ａは、ローカルデコーダ２４によってローカルデコードされてローカルＲＡＭ５Ａへ供給された参照フレーム上における位置の周辺に存在する参照フレームの画素データに基づいて符号化ブロックの動きベクトルを検出する。
【００６９】
このように、第１ステップにおける縮小動きベクトルの検出においては、集積回路２１Ｂの外部から集積回路２１Ｂに設けられた縮小フレーム生成器１へ入力された入力参照画像に基づいて縮小動きベクトルを検出するので、縮小動きベクトルの検出精度を高めることができる。第２ステップにおける動きベクトルの検出においては、ローカルデコードされた参照画像に基づいて動きベクトルを検出するので、符号化後のデータ量を低減することができる。
【００７０】
（実施の形態４）
図９は、実施の形態４に係る動きベクトル検出装置１００Ｃの構成を示すブロック図である。図８を参照して前述した実施の形態３に係る動きベクトル検出装置１００Ｂの構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【００７１】
動きベクトル検出装置１００Ｃは、集積回路２１Ｃを備えている。集積回路２１Ｃは、画質変換器２６を有している。画質変換器２６は、符号化フレームの高域を低減するように画質を変換した画質変換符号化フレームと符号化ブロックの動きベクトルを検出するための参照フレームの高域を低減するように画質を変換した画質変換参照フレームとを生成する。
【００７２】
動きベクトル検出装置１００Ｃは、ＳＤＲＡＭ４を備えている。ＳＤＲＡＭ４は、画質変換器２６によって生成された画質変換符号化フレームおよび画質変換参照フレームを格納する。
【００７３】
集積回路２１Ｃには、ローカルＲＡＭ５Ｃが設けられている。ローカルＲＡＭ５Ｃには、画質変換器２６によって生成された画質変換参照フレームに含まれる第１参照領域に存在する画素データが格納されている。
【００７４】
集積回路２１Ｃは、画質変換動きベクトル検出器２Ｃを有している。画質変換動きベクトル検出器２Ｃは、ローカルＲＡＭ５Ｃに格納された第１参照領域に存在する画素データに基づいて、画質変換器２６によって生成された画質変換符号化フレームに含まれる画質変換符号化ブロックの画質変換動きベクトルを検出する。
【００７５】
集積回路２１Ｃには、動きベクトル検出器３Ｃが設けられている。動きベクトル検出器３Ｃは、画質変換動きベクトル検出器２Ｃによって検出された画質変換動きベクトルに基づいて、符号化ブロックの動きベクトルを検出する。
【００７６】
このように、画質変換器２６によって高域を低減するように画質が変換された画質変換符号化フレームと参照フレームの高域を低減するように画質が変換された画質変換参照フレームとに基づいて検出された画質変換動きベクトルに従って、動きベクトルが検出される。このため、ノイズの影響および高域における微妙な位相差による誤差の影響を低減することができる。その結果、動きベクトルの検出精度を高めることができる。
【００７７】
なお、画質変換器２６が符号化フレームの高域を低減するように画質を変換し、参照フレームの高域を低減するように画質を変換する例を示したが、本発明はこれに限定されない。画質変換器２６は、符号化フレームの低域を低減するように画質を変換した画質変換符号化フレームと符号化ブロックの動きベクトルを検出するための参照フレームの低域を低減するように画質を変換した画質変換参照フレームとを生成するように構成してもよい。低域を低減するように画質変換器２６を構成すると、フェードアウト時およびフェードイン時における直流レベルの影響を低減することができる。その結果、動きベクトルの検出精度を高めることができる。
【００７８】
また、画質変換器２６は、符号化フレームの中域または高域を強調するように画質を変換した画質変換符号化フレームと符号化ブロックの動きベクトルを検出するための参照フレームの中域または高域を強調するように画質を変換した画質変換参照フレームとを生成するように構成してもよい。中域または高域を強調するように画質変換器２６を構成すると、輪郭部分等の画質の特徴を強調することができる。その結果、動きベクトルの検出精度を高めることができる。
【００７９】
（実施の形態５）
図１０は、実施の形態５に係る動きベクトル検出装置１００Ｄの構成を示すブロック図である。図８を参照して前述した実施の形態３に係る動きベクトル検出装置１００Ｂの構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【００８０】
動きベクトル検出装置１００Ｄは、集積回路２１Ｄを備えている。集積回路２１Ｄは、特徴抽出器３０を有している。特徴抽出器３０は、縮小フレーム生成器１で生成される縮小フレームの情報からその画像の特徴抽出を行う。人間の視覚は、なめらかに変化する画像や、エッジ部分、肌色等特定の特徴のある箇所に対して視覚感度が高く、少しの歪みも検出することができる。このため、このような特定の特徴がある部分については、符号化歪みを通常の部分よりも低減する必要がある。そこで特徴検出器３０で検出された情報にしたがって符号化器２５で、符号化時の量子化幅等を制御して、符号化歪みを制御する。
【００８１】
ここで特徴抽出器３０は縮小されたフレーム情報を用いるため、特徴抽出に要する演算回数を大幅に低減することが可能となる。また縮小フレーム生成器１で特徴抽出に適したフィルタ処理を実施することによって、特徴抽出の精度を向上させることも可能となる。
【００８２】
【発明の効果】
以上のように本発明によれば、消費電力を低減することができる動きベクトル検出装置を提供することができると共に符号化画質の向上も実現できる。
【図面の簡単な説明】
【図１】実施の形態１に係る動きベクトル検出装置の構成を示すブロック図
【図２】実施の形態１に係る動きベクトル検出装置が動きベクトルを検出する符号化フレームを説明するための図
【図３】実施の形態１に係る動きベクトル検出装置に設けられた縮小フレーム生成器によって生成された縮小符号化フレームを説明するための図
【図４】実施の形態１に係る動きベクトル検出装置が動きベクトルを検出するための参照フレームを説明するための図
【図５】実施の形態１に係る動きベクトル検出装置に設けられた縮小動きベクトル検出器が縮小動きベクトルを検出するための縮小参照フレームを説明するための図
【図６】実施の形態１に係る動きベクトル検出装置に設けられた動きベクトル検出器が参照フレームにおいて動きベクトルを検出する方法を説明するための図
【図７】実施の形態２に係る動きベクトル検出装置の構成を示すブロック図
【図８】実施の形態３に係る動きベクトル検出装置の構成を示すブロック図
【図９】実施の形態４に係る動きベクトル検出装置の構成を示すブロック図
【図１０】実施の形態５に係る動きベクトル検出装置の構成を示すブロック図
【符号の説明】
１縮小フレーム生成器
２縮小動きベクトル検出器
３動きベクトル検出器
４ＳＤメモリ
５ローカルＲＡＭ
６画素データ複製器
７符号化フレーム
８符号化ブロック
９縮小符号化フレーム
１０縮小符号化ブロック
１１縮小動きベクトル
１１Ａ始点
１１Ｂ終点
１３参照フレーム
１４縮小参照フレーム
１５縮小参照領域
１７次回縮小参照領域
１８フィルタ
２１、２２位置
３０特徴抽出器

Claims

符号化フレームに含まれる符号化ブロックの動きベクトルを検出するための動きベクトル検出装置であって、
前記符号化フレームを周辺の画素を演算して画素数を低減した縮小符号化フレームと、前記符号化ブロックの動きベクトルを検出するための参照フレームを周辺の画素を演算して画素数を低減した縮小参照フレームとを生成する縮小フレーム生成手段と、
前記縮小フレーム生成手段によって生成された前記縮小参照フレームに含まれる第１縮小参照領域に存在する画素データに基づいて、前記縮小フレーム生成手段によって生成された前記縮小符号化フレームに含まれる縮小符号化ブロックの縮小動きベクトルを検出する縮小動きベクトル検出手段と、
前記縮小動きベクトル検出手段によって検出された前記縮小動きベクトルに基づいて、前記符号化ブロックの動きベクトルを検出する動きベクトル検出手段とを具備することを特徴とする動きベクトル検出装置。
前記縮小フレーム生成手段によって生成された前記縮小参照フレームを格納する第１メモリと、
前記縮小参照フレームに含まれる前記第１縮小参照領域に存在する画素データを格納する第２メモリとをさらに具備しており、
前記縮小動きベクトル検出手段は、前記第２メモリに格納された前記第１縮小参照領域に存在する画素データに基づいて前記縮小動きベクトルを検出する、請求項１記載の動きベクトル検出装置。
次の符号化ブロックの動きベクトルを検出するために、前記第１縮小参照領域よりも狭い第２縮小参照領域に存在する画素データを前記第１メモリから前記第２メモリへ複製する画素データ複製手段をさらに具備しており、
前記縮小動きベクトル検出手段は、前記画素データ複製手段によって複製された前記第２縮小参照領域に存在する画素データと前記第２メモリに格納された前記第１縮小参照領域に存在する画素データとに基づいて、次の符号化ブロックの動きベクトルを検出するための縮小動きベクトルを検出する、請求項２記載の動きベクトル検出装置。
前記第２メモリと前記縮小フレーム生成手段と前記縮小動きベクトル検出手段と前記動きベクトル検出手段とは、同一の集積回路内に配置されており、
前記第１メモリは、前記集積回路に接続されている、請求項２記載の動きベクトル検出装置。
前記縮小フレーム生成手段は、前記符号化フレームを構成する画素数に応じて前記符号化フレームおよび前記参照フレームの縮小率を変更する、請求項１記載の動きベクトル検出装置。
前記縮小フレーム生成手段は、前記符号化フレームと前記参照フレームとの垂直方向または水平方向の高域成分を低減するフィルタを有している、請求項１記載の動きベクトル検出装置。
前記縮小フレーム生成手段は、前記符号化フレームと前記参照フレームとの垂直方向または水平方向の中域成分または高域成分を強調するフィルタを有している、請求項１記載の動きベクトル検出装置。
前記縮小フレーム生成手段は、前記符号化フレームと前記参照フレームとの斜め方向の成分を強調するフィルタを有している、請求項１記載の動きベクトル検出装置。
前記縮小フレーム生成手段は、ローカルデコードされた参照フレームに基づいて、画素数を低減するように縮小した縮小参照フレームを生成し、
前記動きベクトル検出手段は、前記ローカルデコードされた参照フレーム上における位置の周辺に存在する前記参照フレームの画素データに基づいて前記符号化ブロックの動きベクトルを検出する、請求項１記載の動きベクトル検出装置。
前記縮小フレーム生成手段は、外部から入力された参照フレームに基づいて、画素数を低減するように縮小した縮小参照フレームを生成し、
前記動きベクトル検出手段は、ローカルデコードされた参照フレーム上における位置の周辺に存在する前記ローカルデコードされた参照フレームの画素データに基づいて前記符号化ブロックの動きベクトルを検出する、請求項１記載の動きベクトル検出装置。
符号化フレームに含まれる符号化ブロックの動きベクトルを検出するための動きベクトル検出装置であって、
前記符号化フレームの画質を変換した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの画質を変換した画質変換参照フレームとを生成する画質変換手段と、
前記画質変換手段によって生成された前記画質変換参照フレームに含まれる画質変換参照領域に存在する画素データに基づいて、前記画質変換手段によって生成された前記画質変換符号化フレームに含まれる画質変換符号化ブロックの画質変換動きベクトルを検出する画質変換動きベクトル検出手段と、
前記画質変換動きベクトル検出手段によって検出された前記画質変換動きベクトルに基づいて、前記符号化ブロックの動きベクトルを検出する動きベクトル検出手段とを具備することを特徴とする動きベクトル検出装置。
前記画質変換手段は、前記符号化フレームの高域を低減した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの高域を低減した画質変換参照フレームとを生成する、請求項１１記載の動きベクトル検出装置。
前記画質変換手段は、前記符号化フレームの低域を低減した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの低域を低減した画質変換参照フレームとを生成する、請求項１１記載の動きベクトル検出装置。
前記画質変換手段は、前記符号化フレームの中域または高域を強調した画質変換符号化フレームと前記符号化ブロックの動きベクトルを検出するための参照フレームの中域または高域を強調した画質変換参照フレームとを生成する、請求項１１記載の動きベクトル検出装置。
符号化フレームに含まれる符号化ブロックの動きベクトルを検出するための動きベクトル検出装置であって、
前記符号化フレームを周辺の画素を演算して画素数を低減した縮小符号化フレームと、前記符号化ブロックの動きベクトルを検出するための参照フレームを周辺の画素を演算して画素数を低減した縮小参照フレームとを生成する縮小フレーム生成手段と、
前記縮小フレーム生成手段によって生成された前記縮小参照フレームに含まれる第１縮小参照領域に存在する画素データに基づいて、前記縮小フレーム生成手段によって生成された前記縮小符号化フレームに含まれる縮小符号化ブロックの縮小動きベクトルを検出する縮小動きベクトル検出手段と、
前記縮小動きベクトル検出手段によって検出された前記縮小動きベクトルに基づいて、前記符号化ブロックの動きベクトルを検出する動きベクトル検出手段と、
前記縮小符号化フレームまたは縮小参照フレームを用いて、画像情報の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴に応じて符号化方法を制御する符号化制御手段を具備することを特徴とする動きベクトル検出装置。