JP5163429B2 - 動きベクトル検出装置、その処理方法およびプログラム - Google Patents

動きベクトル検出装置、その処理方法およびプログラム Download PDF

Info

Publication number
JP5163429B2
JP5163429B2 JP2008284628A JP2008284628A JP5163429B2 JP 5163429 B2 JP5163429 B2 JP 5163429B2 JP 2008284628 A JP2008284628 A JP 2008284628A JP 2008284628 A JP2008284628 A JP 2008284628A JP 5163429 B2 JP5163429 B2 JP 5163429B2
Authority
JP
Japan
Prior art keywords
luminance difference
sum
reference block
search range
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008284628A
Other languages
English (en)
Other versions
JP2010114597A (ja
Inventor
正幸 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008284628A priority Critical patent/JP5163429B2/ja
Priority to US12/588,329 priority patent/US8619863B2/en
Priority to CN2009102118562A priority patent/CN101739688B/zh
Publication of JP2010114597A publication Critical patent/JP2010114597A/ja
Application granted granted Critical
Publication of JP5163429B2 publication Critical patent/JP5163429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

本発明は、動きベクトル検出装置に関し、特にブロックマッチング手法を用いる動きベクトル検出装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
動画像データを扱う際には、動画像データにおけるフレーム間の動きベクトルを用いることによって動画像データを圧縮できることが広く知られている。この動きベクトルを検出する手法としては、一般にブロックマッチングと呼ばれる手法が用いられる。このブロックマッチング手法では、2つの入力画像である基準フレームおよび参照フレームにおいて、その基準フレームに設定される基準ブロックと、参照フレームにおける探索領域内に複数設定される参照ブロックとの間の相関度がそれぞれ求められる。そして、その求められた相関度のうち最も相関度の高い参照ブロックに基づいて基準ブロックに対する動きベクトルを算出する。
このようなブロックマッチング手法においては、複数設定される参照ブロックと基準ブロックとの間の相関度を参照フレームごとに算出するため、処理量が多くなり、消費電力が大きくなってしまう。このため、2つの入力画像に基づいて参照フレームにおける探索領域の大きさを変更する手法が考案されている。例えば、基準フレームにおける基準ブロックと、参照フレームにおける所定位置のブロックとの間の相関度に基づいて探索領域を設定する動きベクトル検出装置が提案されている(例えば、特許文献1参照。)。
特開2000−078580号公報(図2)
上述の従来技術では、基準フレームにおける基準ブロックと参照フレームにおける所定位置のブロックとの間の相関度に基づいて、探索領域を所定の大きさに設定することができる。しかしながら、基準ブロック内に物体のエッジなどが含まれる場合には、相関度が低くなり、大きな探索領域が設定されることによって、処理量が増えて消費電力が大きくなってしまうことがある。
本発明はこのような状況に鑑みてなされたものであり、ブロックマッチング手法による動きベクトル検出処理における消費電力を抑制することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、基準フレームに設定される基準ブロックにおける所定の画素に対する画素間の輝度差である空間輝度差の絶対値の総和を算出する空間輝度差総和算出部と、上記基準ブロックに対応する参照フレームにおける対応ブロックと上記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算出部と、上記基準ブロックに対する動きベクトルを探索するための上記参照フレームにおける探索範囲を上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和とに基づいて算出する探索範囲算出部と、上記探索範囲によって定まる上記参照フレームにおける探索領域内に参照ブロックを設定して上記設定された参照ブロックと上記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって上記動きベクトルを計算するブロックマッチング計算部とを具備する動きベクトル検出装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、上記参照フレームにおける探索範囲を、空間輝度差の絶対値の総和と時間輝度差の絶対値の総和とに基づいて算出させるという作用をもたらす。
また、この第1の側面において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和が大きいほど上記探索範囲を小さくし、上記時間輝度差の絶対値の総和が大きいほど上記探索範囲を大きくするようにしてもよい。これにより、空間輝度差の絶対値の総和が大きいほど探索範囲を小さくさせ、時間輝度差の絶対値の総和が大きいほど探索範囲を大きさせるという作用をもたらす。この場合において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和に反比例するとともに上記時間輝度差の絶対値の総和に比例する上記探索範囲を算出するようにしてもよい。これにより、空間輝度差の絶対値の総和に反比例するとともに、時間輝度差の絶対値の総和に比例する探索範囲を算出させるという作用をもたらす。
また、この第1の側面において、上記空間輝度差総和算出部は、上記空間輝度差の絶対値の総和として上記基準ブロックに対して水平方向および垂直方向の各方向における上記空間輝度差の絶対値の総和をそれぞれ算出し、上記探索範囲算出部は、上記時間輝度差の絶対値の総和と上記各方向における上記空間輝度差の絶対値の総和とに基づいて上記各方向における上記探索範囲をそれぞれ算出するようにしてもよい。これにより、基準ブロックに対して水平方向および垂直方向の各方向における空間輝度差の絶対値の総和をそれぞれ算出し、時間輝度差の絶対値の総和と、各方向における空間輝度差の絶対値の総和とに基づいて、各方向における探索範囲をそれぞれ算出させるという作用をもたらす。この場合において、上記空間輝度差総和算出部は、上記基準ブロックにおける上記所定の画素に対する上記時間輝度差の符号と上記各方向における上記空間輝度差の符号とに基づいて上記各方向における上記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算するようにしてもよい。これにより、基準ブロックにおける所定の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、各方向における空間輝度差の絶対値を、正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算させるという作用をもたらす。この場合において、上記時間輝度差総和算出部は、上記基準ブロックにおける上記所定の画素に対する上記時間輝度差の符号と上記各方向における上記空間輝度差の符号とに基づいて上記各方向における上記時間輝度差の絶対値を正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算するようにしてもよい。これにより、基準ブロックにおける所定の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、各方向における時間輝度差の絶対値を、正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算させるという作用をもたらす。この場合において、上記探索範囲算出部は、上記各方向における上記正側空間輝度差総和と上記各方向における上記正側時間輝度差総和とに基づいて上記各方向における正側の上記探索範囲をそれぞれ算出する正側探索範囲算出部と、上記各方向における上記負側空間輝度差総和と上記各方向における上記負側時間輝度差総和とに基づいて上記各方向における負側の上記探索範囲をそれぞれ算出する正側探索範囲算出部とを含むようにしてもよい。これにより、各方向における正側の探索範囲および負側の探索範囲をそれぞれ算出させるという作用をもたらす。
また、上記空間輝度差総和算出部は、上記基準ブロックにおける上記所定の画素に対する上記時間輝度差の符号と上記各方向における上記空間輝度差の符号とに基づいて上記各方向における上記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する場合において、上記各方向において上記正側空間輝度差総和および上記負側空間輝度差総和に基づいて正側尤度および負側尤度をそれぞれ算出する尤度算出部をさらに具備するようにしてもよい。これにより、各方向において正側空間輝度差総和および負側空間輝度差総和に基づいて、正側尤度および負側尤度をそれぞれ算出させるという作用をもたらす。この場合において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和と上記各方向における上記正側尤度とに基づいて上記各方向における正側の上記探索範囲をそれぞれ算出する正側探索範囲算出部と、上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和と上記各方向における上記負側尤度とに基づいて上記各方向における負側の上記探索範囲をそれぞれ算出する負側探索範囲算出部とを含むようにしてもよい。これにより、空間輝度差の絶対値の総和と、時間輝度差の絶対値の総和と、各方向における正側尤度および負側尤度とに基づいて、各方向における正側の探索範囲および負側の探索範囲をそれぞれ算出させるという作用をもたらす。
また、この第1の側面において、上記基準ブロックにおける所定の画素の輝度値に基づいて上記基準ブロックの基準輝度値を生成する基準輝度値生成部と、上記基準ブロックの各画素の輝度値と上記基準輝度値とに基づいて上記基準ブロックの各画素の有効度を計算する有効度計算部とをさらに具備し、ブロックマッチング計算部は、上記探索範囲によって定まる上記参照フレームにおける探索領域内に複数の参照ブロックを設定して上記設定された参照ブロックにおける上記基準ブロックの画素位置に対応する各画素の輝度値と上記基準ブロックの画素位置に対応する上記有効度とに基づいて上記参照ブロックにおける上記基準ブロックとの上記相関度を上記参照ブロック毎に算出する相関度算出部を含むようにしてもよい。これにより、基準ブロックの各画素位置に対応する有効度に基づいて、基準ブロックと各参照ブロックとの相関度を算出させるという作用をもたらす。
また、この第1の側面において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和とに基づいて算出された上記探索範囲および所定の範囲のいずれか一方を上記探索範囲とするようにしてもよい。これにより、空間輝度差の絶対値の総和と時間輝度差の絶対値の総和とに基づいて算出された探索範囲および所定の範囲のいずれか一方を上記探索範囲として算出させるという作用をもたらす。
本発明によれば、ブロックマッチング手法による動きベクトル検出処理における消費電力を抑制することができるという優れた効果を奏し得る。
以下、本発明を実施するための最良の形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(ブロックマッチング計算制御:各画素に有効度を付与する例)
2.第2の実施の形態(動きベクトル検出制御:探索領域を制御する例)
3.第3の実施の形態(動きベクトル検出制御:階層的ME(動き推定)による例)
4.第4の実施の形態(動きベクトル検出制御:各画素に有効度を付与する例と探索領域を制御する例との組合せ)
<1.第1の実施の形態>
[動きベクトル検出装置の機能構成例]
図1は、本発明の第1の実施の形態における動きベクトル検出装置100の機能構成例を示すブロック図である。動きベクトル検出装置100は、基準フレームバッファ110と、基準ブロック決定部120と、参照フレームバッファ130と、参照ブロック決定部140と、基準輝度値生成部150と、有効度計算部160と、ブロックマッチング計算部170とを備える。
基準フレームバッファ110は、信号線101を介して供給される画像を基準フレーム(current frame)として一時的に保存しておくものである。この基準フレームは、例えば、動画像における現在のフレームの画像である。この基準フレームバッファ110は、その基準フレームを基準ブロック決定部120に供給する。
基準ブロック決定部120は、基準フレームバッファ110から供給された基準フレームに対して基準ブロックの位置を決定し、その決定された基準ブロックにおける各画素の輝度を抽出するものである。なお、この基準ブロックとは、例えば、基準ブロック決定部120において予め規定された大きさの領域である。また、この基準ブロック決定部120は、例えば、基準フレーム内において基準ブロックを1画素単位に順次移動させることにより基準ブロックの位置を決定する。また、基準ブロック決定部120は、例えば、基準フレーム内において基準ブロックを基準ブロック単位に順次移動させることにより基準ブロックの位置を決定する。また、この基準ブロック決定部120は、決定された基準ブロックの各画素の輝度値を、基準輝度値生成部150、有効度計算部160およびブロックマッチング計算部170に供給する。また、この基準ブロック決定部120は、決定された基準ブロックの位置を、参照ブロック決定部140およびブロックマッチング計算部170に供給する。
参照フレームバッファ130は、信号線102を介して供給される画像を参照フレーム(reference frame)として一時的に保存しておくものである。この参照フレームは、例えば、基準フレームに対して1フレーム前の画像である(前方参照)。この参照フレームバッファ130は、参照フレームを参照ブロック決定部140に供給する。
参照ブロック決定部140は、基準ブロック決定部120から供給された基準ブロックの位置に基づいて、参照フレームバッファ130から供給された参照フレームにおける参照ブロックの位置を決定するものである。この参照ブロック決定部140は、基準ブロック決定部120から供給された基準ブロックの位置に基づいて、基準ブロックに対する動きベクトルを探索するための探索領域を参照フレームに規定する。そして、この参照ブロック決定部140は、その規定された探索領域において、参照ブロックの位置を決定する。なお、この探索領域とは、例えば、参照ブロック決定部140によって基準ブロックの位置を基準に規定される一定の大きさの領域である。この参照ブロック決定部140は、例えば、基準ブロックに対応する位置を中心に螺旋状に移動させながら参照ブロックの位置を順次決定してもよい。また、参照ブロック決定部140は、その決定された参照ブロックの各画素の輝度値および参照ブロックの位置をブロックマッチング計算部170に供給する。
基準輝度値生成部150は、基準ブロック決定部120から供給された基準ブロックにおける全部または予め定められた一部の画素の輝度値に基づいて基準輝度値を生成するものである。ここにいう基準輝度値とは、基準ブロックにおける動体を含む画素を識別するための基準となる輝度値である。この基準輝度値生成部150は、例えば、基準ブロックにおける全画素または一部の画素の統計値を基準輝度値として生成する。統計値としては、例えば、平均値または中間値などが考えられる。また、この基準輝度値生成部150は、例えば、基準ブロックにおける1つの画素の輝度値を基準輝度値として生成する。また、この基準輝度値生成部150は、その生成された基準輝度値を有効度計算部160に供給する。なお、基準輝度値生成部150は、特許請求の範囲に記載の基準輝度値生成部の一例である。
有効度計算部160は、基準ブロックの各画素の輝度値と、基準輝度値とに基づいて基準ブロックの各画素の有効度を算出するものである。この有効度計算部160は、輝度値差分算出部161および重み算出部162を備える。なお、有効度計算部160は、特許請求の範囲に記載の有効度計算部の一例である。
輝度値差分算出部161は、基準輝度値生成部150から供給される基準輝度値と、基準ブロック決定部120から供給される基準ブロックの各画素の輝度値との差分絶対値を基準ブロックの画素毎に算出するものである。この輝度値差分算出部161は、下式に基づいて差分絶対値D(i,j)を算出する。
なお、Ibaseは、基準輝度値生成部150から供給される基準輝度値である。また、I(i,j)は、基準ブロック決定部120から供給される基準ブロックの各画素の輝度値である。なお、(i,j)は画素の位置を示し、iは垂直方向の位置を、jは水平方向の位置を示す。
また、この輝度値差分算出部161は、このようにして算出された基準ブロックの各画素の差分絶対値を重み算出部162に供給する。
重み算出部162は、基準ブロックの各画素の重みを算出するものである。この輝度値差分算出部161から供給された基準ブロックの各画素の差分絶対値に基づいて、基準ブロックの各画素の有効度である重みを算出する。この重み算出部162は、この算出された基準ブロックの各画素の重みをブロックマッチング計算部170に供給する。
ブロックマッチング計算部170は、基準ブロックと参照ブロックとの相関度に基づいてブロックマッチングを行うことによって、基準ブロックに対する動きベクトルを計算するものである。このブロックマッチング計算部170は、相関度算出部171と、相関度マップ記憶部172と、位置取得部173と、動きベクトル算出部174とを備える。
相関度算出部171は、基準ブロックに対する各参照ブロックの重み付きSAD(Sum of Absolute Difference:差分絶対値の総和)を相関度として算出するものである。この相関度算出部171は、基準ブロックの各画素の輝度値と、参照ブロックにおける基準ブロックの画素位置に対応する各画素の輝度値との差分絶対値に、画素位置に対応する重みを乗じて各画素の相関値を算出する。そして、この相関度算出部171は、この相関値を総和することにより重み付きSADを算出する。この重み付きSADは、低い値であるほど高い相関度を示す値である。具体的には、この相関度算出部171は、次式に基づいて重み付きSADを算出する。
なお、I(i,j)は、基準ブロックの画素位置に対応する各画素の輝度値である。また、W(i,j)は、基準ブロックの画素位置に対応する重みである。
また、この相関度算出部171は、その算出された各参照ブロックの重み付きSADを相関度として相関度マップ記憶部172に供給する。なお、相関度算出部171は、特許請求の範囲に記載の相関度算出部の一例である。
相関度マップ記憶部172は、相関度算出部171から供給された参照ブロックの相関度と、参照ブロック決定部140から供給された参照ブロックの位置とを関連付けて一時的に保存するものである。相関度マップ記憶部172は、その保存された全ての参照ブロックにおける相関度および位置を位置取得部173に供給する。
位置取得部173は、相関度マップ記憶部172から供給された全ての参照ブロックのうち、最も相関度の高い参照ブロックの位置を取得するものである。すなわち、位置取得部173は、重み付きSADが最も低い参照ブロックの位置を取得する。この位置取得部173は、全ての参照ブロックにおける相関度および位置が相関度マップ記憶部172に保存された場合に、最も相関度の高い参照ブロックの位置を取得する。この位置取得部173は、その取得された参照ブロックの位置を動きベクトル算出部174に供給する。
動きベクトル算出部174は、位置取得部173から供給された最も相関度の高い参照ブロックの位置と、基準ブロック決定部120から供給された基準ブロックの位置とに基づいて動きベクトルを算出するものである。この動きベクトル算出部174は、その算出された動きベクトルを信号線103に供給する。
次に、本発明の実施の形態における基準フレームおよび参照フレームの設定について図面を参照して説明する。
[動きベクトルの検出例]
図2は、本発明の第1の実施の形態における動きベクトル検出装置100による基準フレームおよび参照フレームに同一の2つの動体が含まれる場合における動きベクトルの検出例を示す図である。図2(a)には、動画像における現在のフレームである基準フレーム200が示されている。図2(b)には、基準フレームに対して1つ前のフレーム(前方参照の場合)である参照フレーム220が示されている。
基準フレーム200には、動体A201と、動体B202と、基準ブロック210とが示されている。動体A201および動体B202は、時間変化に伴いフレーム内を移動する動体である。基準ブロック210は、基準ブロック決定部120によって決定される領域である。この基準ブロック210には、動体A201の右下部分と、背景画像とが含まれている。
参照フレーム220には、基準フレーム200に含まれる動体A201および動体B202と、探索領域221と、参照ブロック230とが示されている。探索領域221は、参照ブロック決定部140によって規定される基準ブロック210の移動元を検索する領域である。この参照ブロック230には、動体A201の右下部分と、動体B202の一部が含まれている。
この場合において、動きベクトル検出装置100は、基準ブロック210に含まれる動体A201に対応する画素の有効度を高くすることによって、基準ブロック210と参照ブロック230との相関度が最も高くなる。これにより、動きベクトル検出装置100は、動体A201の動きベクトルを正確に検出することができるようになる。
[基準輝度値の生成例]
図3は、本発明の第1の実施の形態における基準輝度値生成部150による基準輝度値の生成例を示す図である。
図3(a)は、基準ブロック210の各辺の画素数が「5」である場合における基準ブロック210の中心画素の輝度値を基準輝度値とする例を示す図である。基準ブロック210には、基準ブロックの画素#1乃至#25と、画素#1乃至#25のうち基準ブロック210の中心に位置する基準画素211とが示されている。また、画素#1乃至#25に括弧付きで示している値はその画素の輝度値である。ここでは、画素#13が基準画素211となるため、画素#13の輝度値である「150」が基準輝度値となる。
図3(b)は、基準ブロック210の各辺の画素数が「4」である場合における基準ブロックの中心付近における画素の輝度値の統計値を基準輝度値とする例を示す図である。ここでは、画素#7と画素#8と画素#12と画素#13とから基準輝度値が生成される。例えば、画素#7と画素#8と画素#12と画素#13との輝度値の平均値である「151.5」が基準輝度となる。
このように、基準輝度値生成部150により、基準ブロック決定部120からの基準ブロックにおける全体または一部の画素の輝度値に基づいて基準輝度値が生成され、その基準輝度値が有効度計算部160に供給される。
[有効度の計算例]
図4は、本発明の第1の実施の形態における有効度計算部160による有効度の計算例を示す図である。ここでは、図3(a)に示した基準ブロック210を例にして、有効度を高く設定する画素の分類手法について説明する。また、基準輝度値Ibaseを「150」とし、閾値Dthを「20」とする。
この場合、輝度値差分算出部161において、図1に示した式1により、画素#1乃至#25の輝度値I(i,j)と、基準輝度値生成部150により供給される基準輝度値Ibaseとの差分絶対値D(i,j)が算出される。そして、重み算出部162において、画素#1乃至#25の差分絶対値D(i,j)が閾値Dth以下か否かが判断される。
この例では、画素#1、画素#4および画素#15乃至#25は、閾値Dthより高い画素として判断され、それ以外の画素#2、画素#3および画素#5乃至#14は、閾値Dth以下の画素として判断される。
このように、基準ブロックの各画素の輝度値と基準輝度値との差分絶対値に基づいて、有効度を高く設定する画素が区別される。次に、差分絶対値と重みとの関係について以下に説明する。
[差分絶対値と重みとの関係例]
図5は、本発明の第1の実施の形態における輝度値差分算出部161により算出された差分絶対値と、重み算出部162により算出される重みとの関係の一例を示す図である。図5(a)および(b)には、横軸を差分絶対値Dとし、縦軸を重みWとするグラフを示す。
図5(a)は、輝度値差分算出部161により算出された差分絶対値Dが閾値Dth以下である場合に重みWを一定値とする例を示す図である。ここでは、差分絶対値D(i,j)が閾値Dth以下である場合には、重み算出部162により、Wmaxが重みW(i,j)として相関度算出部171に供給される。一方、差分絶対値D(i,j)が閾値Dthより大きい場合には、Wmaxより低い値を示すWminが重みW(i,j)として相関度算出部171に供給される。例えば、WmaxおよびWminは「1」および「0」に設定される。
具体的には、重み算出部162により、以下の式に基づいて基準ブロックの各画素の重みW(i,j)が算出される。なお、WminとWmaxは定数である。
このように、差分絶対値Dが閾値Dthより低い画素には、一定の重みを算出する。これにより、相関度算出部171における相関度算出において、基準ブロックの各画素の輝度値と参照ブロックにおける各画素の輝度値との間の差分絶対値が閾値以下の画素における有効度を高くすることができる。
図5(b)は、輝度値差分算出部161により算出された差分絶対値Dが閾値Dth以下である場合に重みWが差分絶対値Dに反比例する例を示す図である。ここでは、差分絶対値D(i,j)が閾値Dth以下である場合には、重み算出部162により、差分絶対値Dに反比例する重みWが重みW(i,j)として相関度算出部171に供給される。一方、差分絶対値D(i,j)が閾値Dthより大きい場合には、最も低い値を示すWminが重みW(i,j)として相関度算出部171に供給される。
この例では、重み算出部162において以下の式に基づいて基準ブロックの各画素の重みW(i,j)が算出される。なお、WminとWは定数である。
このように、差分絶対値Dが閾値Dthより低い画素には、差分絶対値Dに反比例する重みを算出することができる。これにより、相関度算出部171における相関度算出において、基準ブロックの各画素の輝度値と参照ブロックにおける各画素の輝度値との間の差分絶対値が低いほど有効度を高くすることができる。
[動きベクトル検出装置の動作例]
次に、本発明の実施の形態における動きベクトル検出装置100の動作について図面を参照して説明する。
図6は、本発明の第1の実施の形態における動きベクトル検出装置100における動きベクトル計算処理の処理手順例を示すフローチャートである。
まず、基準ブロック決定部120により、基準フレームバッファ110からの基準フレームに対して基準ブロックが決定される(ステップS911)。次に、基準輝度値生成部150により、基準ブロック決定部120からの基準ブロックにおける全体または予め定められた一部の画素の輝度値に基づいて基準輝度値が生成される(ステップS912)。次に、輝度値差分算出部161により、基準輝度値生成部150からの基準輝度値と、基準ブロックの各画素の輝度値との差分絶対値が算出される(ステップS913)。次に、重み算出部162により、輝度値差分算出部161からの基準ブロックの各画素の差分絶対値に基づいて、基準ブロックの各画素の重みが算出される(ステップS914)。
次に、参照ブロック決定部140により、参照フレームバッファ130からの参照フレームに対して参照フレームが決定される(ステップS915)。相関度算出部171により、基準ブロックの各画素の重みと、基準ブロックの各画素の輝度値と、参照ブロックの各画素の輝度値とに基づいて、基準ブロックと参照ブロックとの相関度が算出される(ステップS916)。
次に、相関度算出部171により算出された相関度と、その参照ブロックの位置とを関連付けて相関度マップ記憶部172に記憶する(ステップS917)。次に、位置取得部173により、検索領域において決定される全ての参照ブロックにおける相関度および位置が相関度マップ記憶部172に記憶されたか否かが判断される(ステップS918)。そして、全ての参照ブロックにおける相関度および位置が記憶されていない場合には、ステップS915に戻り、探索領域内に設定される全ての参照ブロックにおける相関度および位置が記憶されまで繰り返される。
一方、全ての参照ブロックにおける相関度と位置が記憶された場合には、位置取得部173により相関度が最大である参照ブロックの位置が取得される(ステップS919)。次に、動きベクトル算出部174により、位置取得部173からの参照ブロックの位置と、基準ブロックの位置とに基づいて動きベクトルが算出される(ステップS920)。
次に、動きベクトル算出部174によって算出された動きベクトルが全ての基準ブロックについて算出されたか否かが判断される(ステップS921)。そして、全ての基準ブロックについて動きベクトルの算出が終了していない場合には、ステップS911に戻り、新たな基準ブロックが決定されてステップS912以下の処理が行われる。一方、全ての基準ブロックについて算出された場合には、動きベクトル計算処理は終了する。
このように、本発明の第1の実施の形態によれば、有効度計算部160で算出した基準ブロックの各画素の有効度を基準ブロックと参照ブロックとの相関度の算出に反映させることによって、動きベクトルの検出精度を向上させることができる。
<2.第2の実施の形態>
[動きベクトル検出装置の一構成例]
図7は、本発明の第2の実施の形態における動きベクトル検出装置の一構成を示すブロック図である。動きベクトル検出装置300は、対応ブロック抽出部310と、探索範囲生成部320と、基準フレームバッファ110と、基準ブロック決定部120と、参照フレームバッファ130と、参照ブロック決定部140と、ブロックマッチング計算部870とを備える。また、ブロックマッチング計算部870は、相関度算出部871と、相関度マップ記憶部872と、位置取得部873と、動きベクトル算出部874とを備える。ここでは、基準フレームバッファ110、基準ブロック決定部120および参照フレームバッファ130は、図1に示したものと同様であるため、図1と同一の符号を付してここでの説明を省略する。
対応ブロック抽出部310は、基準ブロックの位置に対応する参照フレームにおける対応ブロックの全体または予め定められた一部の画素の輝度値を抽出するものである。この対応ブロック抽出部310は、基準ブロック決定部120から供給された基準ブロックの位置に基づいて対応ブロックの位置を設定する。そして、対応ブロック抽出部310は、参照フレームバッファ130から供給された参照フレームにおける各画素の輝度値のうち、その設定された対応ブロックにおける各画素の輝度値を抽出する。また、この対応ブロック抽出部310は、その抽出された対応ブロックにおける各画素の輝度値を、信号線311を介して探索範囲生成部320に供給する。
探索範囲生成部320は、対応ブロックにおける全体または一部の画素の輝度値と、基準ブロックにおける全体または一部の画素の輝度値とに基づいて、基準ブロックに対する動きベクトルを算出するための参照フレームにおける探索範囲を生成するものである。この探索範囲生成部320は、基準ブロック決定部120から供給された基準ブロックにおける全体または予め定められた一部の画素に対する画素間の空間(space)上の輝度差である空間輝度差の絶対値の総和を算出する。さらに、この探索範囲生成部320は、基準ブロック決定部120からの基準ブロックと対応ブロック抽出部310からの対応ブロックとにおいて、互いに対応する画素間の時間(time)上の輝度差である時間輝度差の絶対値の総和を算出する。そして、この探索範囲生成部320は、空間輝度差の絶対値の総和と、時間輝度差の絶対値の総和とに基づいて、参照フレームにおける探索範囲を算出する。また、この探索範囲生成部320は、その算出された参照フレームにおける探索範囲を、信号線329を介して参照ブロック決定部140に供給する。
参照ブロック決定部140は、基準ブロック決定部120から供給された基準ブロックの位置と、探索範囲生成部320から供給された探索範囲とに基づいて参照フレームにおける探索領域を規定する。そして、参照ブロック決定部140は、図1で述べたとおり、探索領域内において参照ブロックを順次決定する。また、参照ブロック決定部140は、その決定された参照ブロックにおける各画素の輝度値を相関度算出部871に供給するとともに、その参照ブロックの位置を相関度マップ記憶部872に保存させる。
ブロックマッチング計算部870は、参照ブロックと基準ブロックとの間の相関度に基づいて、ブロックマッチングを行うことによって、基準ブロックに対する動きベクトルを計算するものである。なお、ブロックマッチング計算部870は、特許請求の範囲に記載のブロックマッチング計算部の一例である。相関度算出部871は、基準ブロック決定部120からの基準ブロックと、参照ブロック決定部140からの参照ブロックとにおいて、互いに対応する画素間の輝度差の絶対値の総和であるSADを相関度として、参照ブロックごとに算出するものである。ここでは、SADの値が低いほど、相関度が高くなることを意味する。この相関度算出部871は、その参照ブロックごとに算出される相関度を相関度マップ記憶部872に保存させる。
相関度マップ記憶部872は、相関度算出部871から供給された参照ブロックの相関度と、参照ブロック決定部140から供給された参照ブロックの位置とを関連付けて一時的に保存するものである。相関度マップ記憶部872は、その保存された全ての参照ブロックにおける相関度および位置を位置取得部873に供給する。
位置取得部873は、相関度マップ記憶部872から供給された全ての参照ブロックのうち、最も相関度の高い参照ブロックの位置を取得するものである。すなわち、位置取得部873は、重み付きSADが最も低い参照ブロックの位置を取得する。この位置取得部873は、全ての参照ブロックにおける相関度および位置が相関度マップ記憶部872に保存された場合に、最も相関度の高い参照ブロックの位置を取得する。また、この位置取得部873は、その取得された参照ブロックの位置を動きベクトル算出部874に供給する。
動きベクトル算出部874は、位置取得部873から供給された最も相関度の高い参照ブロックの位置と、基準ブロック決定部120から供給された基準ブロックの位置とに基づいて、動きベクトルを算出するものである。
ここで、探索範囲生成部320により生成される探索範囲と、基準ブロックの位置とに基づいて規定される参照フレームにおける探索領域の一例について図面を参照して説明する。
[探索領域の規定例]
図8は、本発明の第2の実施の形態における動きベクトル検出装置300により規定される参照フレームにおける探索領域の一例を示す概念図である。ここでは、参照フレームにおける探索領域410および最大探索領域430が示されている。ここでは、基準ブロックに対して水平方向および垂直方向をそれぞれx方向およびy方向とする。
探索領域410は、探索範囲生成部320により生成されるx方向の探索範囲Lおよびy方向の探索範囲Lと、探索領域基準ブロック240とに基づいて規定される領域である。この探索領域基準ブロック240は、参照フレームにおける基準ブロックの位置と同一位置のブロックである。すなわち、この探索領域基準ブロック240は、基準ブロックに対する動きベクトルが「0」となる位置に設定されるブロックである。
x方向の探索範囲Lは、基準ブロック210を基準として、x方向に対して参照ブロックを右側および左側に移動させることができる最大範囲を示す。y方向の探索範囲Lは、探索領域基準ブロック240を基準として、y方向に対して参照ブロックを上側および下側に移動させることができる最大範囲を示す。
最大探索領域430は、最大探索範囲Lmaxおよび探索領域基準ブロック240に基づいて規定される領域である。この最大探索範囲Lmaxは、画像の解像度や圧縮率によって定まるものであり、例えば、32画素に設定される。
このように、動きベクトル検出装置300は、探索範囲生成部320においてx方向の探索範囲Lおよびy方向の探索範囲Lをそれぞれ生成するため、探索領域におけるx方向およびy方向の探索範囲を独立して規定することができる。また、動きベクトル検出装置300は、最大探索範囲Lmaxを設けることによって、想定される最大の領域より探索領域が拡大することを防止することができる。次に、x方向の探索範囲Lおよびy方向の探索範囲Lを生成する探索範囲生成部320の構成の一例について次図を参照して詳細に説明する。
[探索範囲生成部の第1の構成例]
図9は、本発明の第2の実施の形態における探索範囲生成部320の第1の構成例を示すブロック図である。探索範囲生成部320は、F算出部330と、F算出部340と、L算出部370とを備える。
算出部330は、信号線311から供給される対応ブロックと、信号線121から供給される基準ブロックとにおいて、互いに対応する画素間の輝度差である時間輝度差の総和を時間輝度差総和Fとして算出するものである。このF算出部330は、次式に基づいて時間輝度差総和Fを算出する。また、このF算出部330は、その算出された時間輝度差総和FをL算出部330に供給する。なお、F算出部330は、特許請求の範囲に記載の時間輝度差総和部の一例である。
なお、I(i,j)は、時間輝度差である。I(i,j)は、基準ブロック内の画素の輝度値である。I(i,j)は、参照ブロック内の画素の輝度値である。また、iおよびjは、各ブロックに対するx方向の画素位置およびy方向の画素位置をそれぞれ示す。また、Nは、各ブロックにおける各方向における画素数から「1」を減じた値である。
このように、上式に基づいて算出される時間輝度差総和Fは、動体の動く速度が速い程、基準ブロックに含まれる動体と対応ブロックに含まれる同一の動体との位置の差が大きくなるため、大きくなり易い。一方、動体の動く速度が遅い程、基準ブロックと対応ブロックとにおける動体の位置の差が小さくなるため、時間輝度差総和Fは小さくなり易い。これにより、基準ブロックに含まれる動体の速度を推定することができる。
算出部340は、信号線121から供給される基準ブロックにおける各画素に対する隣接画素間の輝度差である空間輝度差の絶対値の総和を空間輝度差総和として算出するものである。なお、F算出部340は、特許請求の範囲に記載の時間輝度差総和部の一例である。
また、F算出部340は、基準ブロックに対して水平方向および垂直方向の各方向における空間輝度差総和をそれぞれ算出する。このF算出部350およびF算出部360を備える。F算出部350は、基準ブロックにおける各画素に対する水平方向における空間輝度差の絶対値の総和を、x方向の空間輝度差総和として算出するものである。すなわち、F算出部350は、基準ブロックにおける各画素に対してx方向に隣接する画素間の輝度差の総和をx方向の空間輝度差総和Fとして算出する。このx方向の空間輝度差総和Fは、空間輝度差総和Fのx方向の成分を示す値である。また、このF算出部350は、その算出されたx方向の空間輝度差総和FをL算出部380に供給する。なお、F算出部350は、特許請求の範囲に記載の時間輝度差総和部の一例である。
算出部360は、基準ブロックにおける各画素に対する垂直方向における空間輝度差の絶対値の総和をy方向の空間輝度差総和として算出するものである。すなわち、F算出部360は、基準ブロックにおける各画素に対してy方向に隣接する画素間の輝度差の総和をy方向の空間輝度差総和Fとして算出する。このy方向の空間輝度差総和Fは、空間輝度差総和Fのy方向の成分を示す値である。また、このF算出部360は、その算出されたy方向の空間輝度差総和FをL算出部380に供給する。なお、F算出部360は、特許請求の範囲に記載の時間輝度差総和部の一例である。
ここで、上述のx方向の空間輝度差総和Fおよびy方向の空間輝度差総和Fの算出例としては、次式により表わすことができる。
なお、I(i,j)は、基準ブロックの各画素に対するx方向の空間輝度差である。I(i,j)は、基準ブロックの各画素に対するy方向の空間輝度差である。
このように、上式に基づいて算出される空間輝度差総和Fは、動体の動く速度が速い程、基準ブロックに含まれる動体はブレた画像となるため、小さくなり易い。一方、動体の動く速度が遅い程、基準ブロックに含まれる動体はブレの少ない鮮明な画像となるため、空間輝度差総和Fは大きくなり易い。これにより、基準ブロックに含まれる動体の速度を推定することができる。
L算出部370は、基準ブロックに対する動きベクトルを探索するための参照フレームにおける探索範囲を、F算出部330からの時間輝度差総和Fと、F算出部340からの空間輝度差総和Fとに基づいて算出するものである。このL算出部370は、空間輝度差総和Fが大きいほど探索範囲を小さくし、時間輝度差総和Fが大きいほど探索範囲を大きくする。すなわち、このL算出部370は、空間輝度差総和Fに反比例するとともに時間輝度差総和Fに正比例する探索範囲を算出する。そして、このL算出部370は、その算出された探索範囲および予め定められた範囲のいずれか一方を、参照フレームにおける探索範囲として算出する。具体的には、L算出部370は、次式の関数Gに基づいて探索範囲Lを算出する。
なお、Lmaxは、図8に示した最大探索範囲である。また、αは、固定値であり、例えば、「1」に設定される。上式より、αを小さい値に設定することによって、探索範囲が小さくなるため、ブロックマッチングによる処理量を抑えることができる。
また、このL算出部370は、信号線329を介して、算出された探索範囲Lを参照ブロック決定部140に供給する。なお、L算出部370は、特許請求の範囲に記載の探索範囲算出部の一例である。
また、L算出部370は、時間輝度差の絶対値の総和と、各方向における空間輝度差の絶対値の総和とに基づいて各方向における探索範囲をそれぞれ算出する。このL算出部370は、L算出部380およびL算出部390を備える。L算出部380は、図8に示したx方向の探索範囲Lを算出するものである。このL算出部380は、F算出部330からの時間輝度差総和Fと、F算出部350からのx方向の空間輝度差総和Fとに基づいて、x方向の探索範囲Lを算出する。また、このL算出部380は、その算出されたx方向の探索範囲Lを、信号線329を介して参照ブロック決定部140に供給する。
算出部390は、図8に示したy方向の探索範囲Lを算出するものである。このL算出部390は、F算出部330からの時間輝度差総和Fと、F算出部360からのy方向の空間輝度差総和Fとに基づいて、y方向の探索範囲Lを算出する。このL算出部390は、その算出されたy方向の探索範囲Lを、信号線329を介して参照ブロック決定部140に供給する。
ここで、上述のx方向の探索範囲Lおよびy方向の探索範囲Lの算出例としては、次式により表わすことができる。
このように、時間輝度差総和Fおよび空間輝度差総和Fの2つのパラメータを用いることによって、基準ブロックに含まれる物体の動きを正確に推定できるため、基準ブロックにおける物体の動きに合わせた探索領域を規定することができる。また、x方向およびy方向の探索範囲を別々に算出することによって、最適な探索領域を規定することができる。なお、ここでは、x方向およびy方向の各方向の探索範囲を対称に生成する例について説明したが、探索領域基準ブロック240に対して上下方向および左右方向の探索範囲を個別に生成する例について以下に説明する。
[探索領域の規定例]
図10は、本発明の第2の実施の形態における動きベクトル検出装置300により非対称に規定される参照フレームにおける探索領域の一例を示す概念図である。ここでは、参照フレームにおける探索領域420および最大探索領域430が示されている。なお、参照フレームにおける探索領域420以外は、図8と同様であるため、図8と同一符号を付してここでの説明を省略する。
探索領域420は、探索領域基準ブロック240と、x方向における正側の探索範囲L および負側の探索範囲L と、y方向における正側の探索範囲L および負側の探索範囲L とに基づいて規定される領域である。このx方向における正側の探索範囲L および負側の探索範囲L と、y方向における正側の探索範囲L および負側の探索範囲L とは、探索範囲生成部320により生成される。
x方向における正側の探索範囲L は、探索領域基準ブロック240を基準として、x方向に対して参照ブロックを右側に移動させることができる最大範囲を示す。x方向における負側の探索範囲L は、探索領域基準ブロック240を基準として、x方向に対して参照ブロックを左側に移動させることができる最大範囲を示す。
y方向における正側の探索範囲L は、探索領域基準ブロック240を基準として、y方向に対して参照ブロックを下側に移動させることができる最大範囲を示す。y方向における負側の探索範囲L は、探索領域基準ブロック240を基準として、y方向に対して参照ブロックを上側に移動させることができる最大範囲を示す。
このように、探索範囲生成部320により各方向における正側および負側の探索範囲を個別に生成することによって、各方向において探索領域基準ブロック240を基準として非対称に探索領域を規定する。次に、非対称に探索領域を規定する場合における探索範囲生成部320の一構成例について以下に説明する。
[探索範囲生成部の第2の構成例]
図11は、本発明の第2の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部320の第2の構成例を示すブロック図である。探索範囲生成部320は、F算出部330と、F算出部350と、F算出部360と、L算出部380と、L算出部390とを備える。
算出部330は、F x−算出部331、F x+算出部332、F y−算出部333およびF y+算出部334を含む。F算出部350は、F 算出部351およびF 算出部352を含む。F算出部360は、F 算出部361およびF 算出部362を含む。L算出部380は、L 算出部381およびL 算出部382を含む。L算出部390は、L 算出部391およびL 算出部392を含む。
算出部330は、x方向およびy方向の各方向における時間輝度差の絶対値を、各方向における正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算するものである。このF算出部330は、基準ブロックにおける全体または一部の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、基準ブロックにおける全体または一部の画素に対する各方向における時間輝度差の絶対値を加算する。なお、このF算出部330は、特許請求の範囲に記載の時間輝度差総和部の一例である。
x−算出部331は、基準ブロックにおける各画素に対するx方向の時間輝度差の絶対値を、その各画素に対する時間輝度差の符号とx方向の空間輝度差の符号とに基づいて、x方向の負側時間輝度差総和F x−に加算するものである。このF x−算出部331は、その算出されたx方向の負側時間輝度差総和F x−をL 算出部381に供給する。
x+算出部332は、基準ブロックにおける各画素に対するx方向の時間輝度差の絶対値を、その各画素に対する時間輝度差の符号とx方向の空間輝度差の符号とに基づいて、x方向の正側時間輝度差総和F x+に加算するものである。このF x+算出部332は、その算出されたx方向の正側時間輝度差総和F x+をL 算出部382に供給する。
y−算出部333は、基準ブロックにおける各画素に対するy方向の時間輝度差の絶対値を、その各画素に対する時間輝度差の符号とy方向における空間輝度差の符号とに基づいて、y方向の負側時間輝度差総和F y−に加算するものである。このF y−算出部333は、その算出されたy方向の負側時間輝度差総和F y−をL 算出部391に供給する。
y+算出部334は、基準ブロックにおける各画素に対するy方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とy方向における空間輝度差の符号とに基づいて、y方向の正側時間輝度差総和F y+に加算するものである。このF y+算出部334は、その算出されたy方向の正側時間輝度差総和F y+をL 算出部392に供給する。
ここで、x方向の負側時間輝度差総和F x−、x方向の正側時間輝度差総和F x+、y方向の負側時間輝度差総和F y−およびy方向の正側時間輝度差総和F y+の算出例としては、次式により表わすことができる。
ここで、I x−(i,j)、I x+(i,j)、I y−(i,j)およびI y+(i,j)は、次式により表わすことができる。
このように、F算出部330では、基準ブロックにおける各画素に対する空間輝度差の符号および時間輝度差の符号に基づいて推定される動体の速度の向きを用いることによって、各方向における正側および負側の時間輝度差の絶対値の総和を算出する。
算出部350は、基準ブロックにおける全体または一部の画素に対するx方向における空間輝度差の絶対値を、x方向における正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算するものである。このF算出部350は、基準ブロックにおける全体または一部の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、その全体または一部の画素に対するx方向の空間輝度差を加算する。なお、このF算出部350は、特許請求の範囲に記載の空間輝度差総和部の一例である。
算出部351は、基準ブロックにおける各画素に対するx方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とx方向の空間輝度差の符号とに基づいて、x方向の負側空間輝度差総和F に加算するものである。このF x−算出部351は、その算出されたx方向の負側空間輝度差総和F をL 算出部381に供給する。
算出部352は、基準ブロックにおける各画素に対するx方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とx方向の空間輝度差の符号とに基づいて、x方向の正側空間輝度差総和F に加算するものである。このF 算出部352は、その算出されたx方向の正側空間輝度差総和F をL 算出部382に供給する。
算出部360は、基準ブロックにおける全体または一部の画素に対するy方向における空間輝度差の絶対値を、y方向における正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算するものである。このF算出部360は、基準ブロックにおける全体または一部の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、その各画素に対するy方向の空間輝度差を加算する。なお、このF算出部360は、特許請求の範囲に記載の空間輝度差総和部の一例である。
算出部361は、基準ブロックにおける各画素に対するy方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とy方向の空間輝度差の符号とに基づいて、y方向の負側空間輝度差総和F に加算するものである。このF 算出部361は、その算出されたy方向の負側空間輝度差総和F をL 算出部391に供給する。
算出部362は、基準ブロックにおける各画素に対するy方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とy方向の空間輝度差の符号とに基づいて、y方向の正側空間輝度差総和F に加算するものである。このF 算出部362は、その算出されたy方向の正側空間輝度差総和F をL 算出部392に供給する。
ここで、上述のx方向の負側空間輝度差総和F 、x方向の正側空間輝度差総和F 、y方向の負側空間輝度差総和F およびy方向の正側空間輝度差総和F の算出例としては、次式により表わすことができる。
なお、I (i,j)、I (i,j)、I (i,j)およびI (i,j)は、次式により表わすことができる。
このように、F算出部350およびF算出部360では、基準ブロックにおける各画素に対する空間輝度差の符号および時間輝度差の符号に基づいて推定される動体の速度の向きを用いることによって、正側および負側の空間輝度差の絶対値の総和を算出する。
算出部380は、x方向における負側の探索範囲L および正側の探索範囲L を算出するものである。L 算出部381は、x方向の負側空間輝度差総和F と、x方向の負側時間輝度差総和F x−とに基づいて、x方向における負側の探索範囲L を算出するものである。このL 算出部381は、その算出されたx方向における負側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。なお、このL 算出部381は、特許請求の範囲に記載の負側探索範囲算出部の一例である。
算出部382は、x方向の正側空間輝度差総和F と、x方向の正側時間輝度差総和F x+とに基づいて、x方向における正側の探索範囲L を算出するものである。このL 算出部382は、その算出されたx方向における正側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。なお、このL 算出部382は、特許請求の範囲に記載の正側探索範囲算出部の一例である。
算出部390は、y方向における負側の探索範囲L および正側の探索範囲L を算出するものである。L 算出部391は、y方向の負側空間輝度差総和F と、y方向の負側時間輝度差総和F y−とに基づいて、y方向における負側の探索範囲L を算出するものである。このL 算出部391は、その算出されたy方向における負側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。なお、このL 算出部391は、特許請求の範囲に記載の負側探索範囲算出部の一例である。
算出部392は、y方向の正側空間輝度差総和F と、y方向の正側時間輝度差総和F y+とに基づいて、y方向における正側の探索範囲L を算出するものである。このL 算出部392は、その算出されたy方向における正側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。なお、このL 算出部392は、特許請求の範囲に記載の正側探索範囲算出部の一例である。
ここで、上述のx方向における負側の探索範囲L および正側の探索範囲L と、y方向における負側の探索範囲L および正側の探索範囲L との算出例としては、次式により表わすことができる。
このように、探索範囲生成部320により各方向における正側および負側の探索範囲を生成することによって、各方向において非対称に探索領域を規定することができる。これにより、図9の構成に比べて探索領域をより適切に規定することができるため、精度良く動きベクトルを検出することができる。なお、この構成においては、動きベクトル検出装置300におけるレジスタの数が多くなるため、レジスタの数を少なくするように改良したものが、次に説明する変形例である。
[探索範囲生成部の第2の構成例の変形例]
図12は、本発明の第2の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部320の第2の構成例の変形例を示すブロック図である。
探索範囲生成部320は、図11に示した構成におけるF算出部330に代えて、ρ算出部510およびρ算出部520と、図9に示したF算出部330、F算出部350およびF算出部360とを備える。ここでは、F 算出部351、F 算出部352、F 算出部361およびF 算出部362は、図11に示したものと同様であるため、ここでの説明を省略する。また、F算出部330、F算出部350およびF算出部360も、図9に示したものと同様であるため、ここでの説明を省略する。なお、ρ算出部510およびρ算出部520は、特許請求の範囲に記載の尤度算出部の一例である。
ρ算出部510は、x方向における負側空間輝度差総和F および正側空間輝度差総和F に基づいて、x方向における正側尤度および負側尤度をそれぞれ算出するものである。このρ算出部510は、ρ 算出部511およびρ 算出部512を備える。
ρ 算出部511は、x方向における負側空間輝度差総和F および正側空間輝度差総和F に基づいて、x方向の負側尤度を算出するものである。このρ 算出部511は、その算出されたx方向の正側尤度ρ をL 算出部381に供給する。
ρ 算出部512は、x方向における負側空間輝度差総和F および正側空間輝度差総和F に基づいて、x方向の正側尤度ρ を算出するものである。このρ 算出部512は、その算出されたx方向の正側尤度をL 算出部382に供給する。
ρ算出部520は、y方向における負側空間輝度差総和F および正側空間輝度差総和F に基づいて、y方向における正側尤度および負側尤度をそれぞれ算出するものである。このρ算出部520は、ρ 算出部521およびρ 算出部522を備える。
ρ 算出部521は、y方向における負側空間輝度差総和F および正側空間輝度差総和F に基づいて、y方向の負側尤度ρ を算出するものである。このρ 算出部521は、その算出されたy方向の負側尤度ρ をL 算出部381に供給する。
ρ 算出部522は、y方向における負側空間輝度差総和F および正側空間輝度差総和F に基づいて、y方向の正側尤度ρ を算出するものである。このρ 算出部522は、その算出されたy方向の正側尤度ρ をL 算出部382に供給する。
ここで、上述のx方向の負側尤度ρ 、x方向の正側尤度ρ 、y方向の負側尤度ρ およびy方向の正側尤度ρ の算出例としては、次式により表わすことができる。
このように、ρ算出部510およびρ算出部520では、正側輝度差総和および負側輝度差総和を用いることによって、基準ブロックに含まれる動体の上下または左右の移動方向の尤度を算出する。
算出部381は、x方向の負側空間輝度差総和F と、x方向の負側時間輝度差総和F x−と、x方向の負側尤度ρ とに基づいて、x方向における負側の探索範囲L を算出するものである。このL 算出部381は、その算出されたx方向における負側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。
算出部382は、x方向の正側空間輝度差総和F と、x方向の正側時間輝度差総和F x+と、x方向の正側尤度ρ とに基づいて、x方向における正側の探索範囲L を算出するものである。このL 算出部382は、その算出されたx方向における正側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。なお、L 算出部381およびL 算出部382は、特許請求の範囲に記載の探索範囲算出部の一例である。
算出部391は、y方向の負側空間輝度差総和F と、y方向の負側時間輝度差総和F y−と、y方向の負側尤度ρ とに基づいて、y方向における負側の探索範囲L を算出するものである。このL 算出部391は、その算出されたy方向における負側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。
算出部392は、y方向の正側空間輝度差総和F と、y方向の正側時間輝度差総和F y+と、y方向の負側尤度ρ とに基づいて、y方向における正側の探索範囲L を算出するものである。このL 算出部392は、その算出されたy方向における正側の探索範囲L を、信号線329を介して参照ブロック決定部140に供給する。なお、L 算出部391およびL 算出部392は、特許請求の範囲に記載の探索範囲算出部の一例である。
ここで、上述のx方向における負側の探索範囲L および正側の探索範囲L と、y方向における負側の探索範囲L および正側の探索範囲L との算出例としては、次式により表わすことができる。
このように、ρ算出部510およびρ算出部520を設けることにより、図11の構成に比べて、各方向における負側および正側の探索範囲の算出における処理量を低減することができる。
[動きベクトル検出装置の動作例]
次に、動きベクトル検出装置300の動作について図面を参照して説明する。
図13は、本発明の第2の実施の形態における動きベクトル検出装置300の処理方法における処理手順例を示すフローチャートである。
まず、基準ブロック決定部120により、基準フレームバッファ110からの基準フレームにおいて基準ブロックが決定される(ステップS931)。次に、F算出部340により、基準ブロック決定部120からの基準ブロックにおける各画素に対する画素間の輝度差である空間輝度差の絶対値の総和として空間輝度差総和が算出される(ステップS932)。なお、ステップS932は、特許請求の範囲に記載の空間輝度差総和算出手順の一例である。
次に、F算出部330により、対応ブロック抽出部310からの対応ブロックと、基準ブロック決定部120からの基準ブロックとにおいて、互いに対応する画素間の輝度差である時間輝度差の総和として時間輝度差総和が算出される(ステップS933)。なお、ステップS933は、特許請求の範囲に記載の時間輝度差総和算出手順の一例である。次に、L算出部370により、F算出部330からの空間輝度差総和と、F算出部340からの時間輝度差総和とに基づいて参照フレームにおける探索範囲が算出される(ステップS934)。なお、ステップS934は、特許請求の範囲に記載の探索範囲算出手順の一例である。
次に、参照ブロック決定部140により、参照フレームバッファ130からの参照フレームに対して参照フレームが決定される(ステップS935)。相関度算出部871により、基準ブロックの各画素の輝度値と、参照ブロックの各画素の輝度値とに基づいて、基準ブロックと参照ブロックとの相関度が算出される(ステップS936)。次に、相関度算出部871により算出された相関度と、その参照ブロックの位置とを関連付けて相関度マップ記憶部872に記憶する(ステップS937)。次に、位置取得部873により、検索領域において決定される全ての参照ブロックにおける相関度および位置が相関度マップ記憶部872に記憶されたか否かが判断される(ステップS938)。そして、全ての参照ブロックにおける相関度および位置が記憶されていない場合には、ステップS935に戻り、探索領域内に設定される全ての参照ブロックにおける相関度および位置が記憶されまで繰り返される。
一方、全ての参照ブロックにおける相関度と位置が記憶された場合には、位置取得部873により相関度が最大である参照ブロックの位置が取得される(ステップS939)。次に、動きベクトル算出部874により、位置取得部873からの参照ブロックの位置と、基準ブロックの位置とに基づいて動きベクトルが算出される(ステップS940)。なお、ステップS935乃至S940は、特許請求の範囲に記載のブロックマッチング計算手順の一例である。
次に、動きベクトル算出部874によって算出された動きベクトルが全ての基準ブロックについて算出されたか否かが判断される(ステップS941)。そして、全ての基準ブロックについて動きベクトルの算出が終了していない場合には、ステップS941に戻り、新たな基準ブロックが決定されてステップS942以下の処理が行われる。一方、全ての基準ブロックについて算出された場合には、動きベクトル計算処理は終了する。
このように、本発明の第2の実施の形態によれば、探索範囲生成部320を設けることによって、基準ブロックに対する動きベクトルの探索領域を適切に規定することができる。これにより、探索領域を最小限に抑制することができるため、ブロックマッチングによる処理量を低減することができ、消費電力を抑制することができる。また、基準ブロックに対する動きベクトルの探索領域を適切に規定することによって、動きベクトルの検出精度を向上させることができる。
<3.第3の実施の形態>
[動き検出器の一構成例]
図14は、本発明の第3の実施の形態における動き検出器600の一構成例を示すブロック図である。動き検出器600は、縮小画像を用いて階層的に動きベクトルを検出することによって動きを推定する階層的ME(Motion Estimation:動き推定)を行うものである。この動き検出器600は、基準フレーム縮小画像生成部610と、フレームメモリ620と、参照フレーム縮小画像生成部630と、第1動きベクトル検出部640と、第2動きベクトル検出部650とを備える。
基準フレーム縮小画像生成部610は、信号線601から供給される基準フレームにおける予め定められた倍率となる縮小画像を生成するものである。この基準フレーム縮小画像生成部610は、その生成された縮小画像を、基準フレーム縮小画像として第1動きベクトル検出部640に供給する。
フレームメモリ620は、信号線601から供給された基準フレームを一時的に保持するものである。このフレームメモリ620は、その保持された基準フレームを参照フレームとして参照フレーム縮小画像生成部630および第2動きベクトル検出部640にそれぞれ供給する。
参照フレーム縮小画像生成部630は、フレームメモリ620から供給される参照フレームにおける予め定められた倍率となる縮小画像を生成するものである。この参照フレーム縮小画像生成部630は、その生成された縮小画像を、参照フレーム縮小画像として第1動きベクトル検出部640に供給する。
第1動きベクトル検出部640は、基準フレーム縮小画像に設定される基準ブロックと、参照フレーム縮小画像に複数設定される参照ブロックの各々との間の相関度に基づいて基準縮小画像における基準ブロックに対する動きベクトルを検出するものである。この第1動きベクトル検出部640は、基準フレーム縮小画像における基準ブロックに対して検出された動きベクトルを第2動きベクトル検出部650に供給する。この第1動きベクトル検出部640には、図7に示した動きベクトル検出装置300を適用することができる。これにより、動きベクトルを効率良く検出することができるため、消費電力を低減することができる。
第2動きベクトル検出部650は、基準フレームに設定される基準ブロックと、参照フレームに複数設定される参照ブロックの各々との間の相関度に基づいて、基準ブロックに対する動きベクトルを検出するものである。この第2動きベクトル検出部650は、第1動きベクトル検出部640からの動きベクトルに基づいて探索領域を規定する。そして、この第2動きベクトル検出部650は、その規定された探索領域内に複数設定された参照ブロックの各々と、基準フレームに設定された基準ブロックとの間の相関度に基づいて、基準フレームにおける基準ブロックに対する動きベクトルを検出する。また、この第2動きベクトル検出部650は、検出された基準フレームにおける基準ブロックに対する動きベクトルを信号線609に供給する。この第2動きベクトル検出部650には、図7に示した動きベクトル検出装置300を適用するようにしてもよい。
ここで、第1動きベクトル検出部640からの動きベクトルに基づいて、第2動きベクトル検出部650において基準フレームにおける基準ブロックに対する動きベクトルを検出する階層サーチ手法について、次図を参照して簡単に説明する。
[動きベクトルの検出例]
図15は、本発明の第3の実施の形態における動き検出器600の階層サーチ手法を例示する概念図である。ここでは、基準フレーム602と、参照フレーム621と、推定ブロック654と、基準縮小フレーム611と、参照縮小フレーム631と、動きベクトル641および651乃至653とが示されている。基準フレーム602は、動画像における現在のフレームの画像である。参照フレーム621は、フレームメモリ620に保持されている基準フレーム602に対して1つ前の画像である。基準ブロック603は、動きベクトルを検出するための基準フレーム602におけるブロックである。
基準縮小フレーム611は、基準フレーム縮小画像生成部610により生成される基準フレーム602における縮小画像である。参照縮小フレーム631は、参照フレーム縮小画像生成部630により生成される参照フレーム621における縮小画像である。基準ブロック612は、基準ブロック603に対応する基準縮小フレーム611におけるブロックである。ここでは、基準縮小フレーム611および参照縮小フレーム631が基準フレーム602および参照フレーム621に対してそれぞれ1/n倍に縮小されることを想定する。
この場合において、第1動きベクトル検出部640は、基準縮小フレーム611に設定された基準ブロック612に対する動きベクトル641を検出する。次に、第2動きベクトル検出部650は、第1動きベクトル検出部によって検出された動きベクトル641の大きさをn倍した動きベクトル651に基づいて推定ブロック654の位置を決定する。そして、第2動きベクトル検出部650は、推定ブロック654の位置を基準として動きベクトル652を検出し、動きベクトル651および動きベクトル652に基づいて基準フレーム602における基準ブロック603に対する動きベクトル653を算出する。
このように、本発明の第3の実施の形態によれば、動きベクトル検出装置300を、第1および第2動きベクトル検出部640および650に適用することによって、精度良く動きベクトルを検出することができる。
<4.第4の実施の形態>
[動きベクトル検出装置の一構成例]
図16は、本発明の第4の実施の形態における動きベクトル検出装置700の一構成例を示すブロック図である。動きベクトル検出装置700は、図1に示した構成に加えて、図7に示した対応ブロック抽出部310および探索範囲生成部320を備える。この動きベクトル検出装置700において、対応ブロック抽出部310および探索範囲生成部320は図7に示したものと同様であるため、ここでの説明を省略する。また、これら以外の構成については、図1に示したものと同様であるため、ここでの説明を省略する。
このように、本発明の第4の実施の形態では、有効度計算部160を設けることによって、フレーム内に複数の動体が含まれる場合であっても精度良く動きベクトルを検出することができる。それとともに、探索領域を最適化させることによってブロックマッチングによる相関度の算出処理を低減させることができる。
このように、本発明の実施の形態によれば、基準ブロックに対する動きベクトルを精度良く検出することができるため、消費電力を抑制することができる。
なお、本発明の実施の形態における動きベクトル検出装置300および700を撮像装置710に適用する例について次図を参照して説明する。
図17は、本発明の実施の形態における撮像装置710の一構成例を示すブロック図である。撮像装置710は、制御部711と、撮像部712と、信号処理部715と、顔検出部716と、動きベクトル検出部717とを備える。また、撮像装置710は、ブレ補正部718と、画像記憶部719と、バス721と、ユーザインターフェース722と、画像圧縮伸張部725と、記憶媒体726と、入出力端子727と、メモリ728と、振動センサ729とを備える。なお、各ブロック間における画像信号の送受信は、直接のやりとり、または、画像記憶部719またはバス721を経由したやりとりによって行われる。
制御部711は、メモリ(図示せず)に格納されている各種制御プログラムに基づいて撮像装置710の各部を制御する制御部である。
撮像部712は、光学系713および撮像素子714を備え、被写体からの入射光を電気信号に光電変換し、光電変換された電気信号を信号処理部715に出力するものである。光学系713は、フォーカスレンズ、ズームレンズ、ブレ補正用レンズ、ブレ補正用プリズム等のレンズ郡を備え、これらのレンズ郡を介して入力された被写体からの入射光を撮像素子714に出力するものである。撮像素子714は、光学系713から出力された入射光を光電変換し、光電変換された電気信号を信号処理部715に出力するものである。なお、撮像部712において、ブレ補正用レンズの移動または傾き、ブレ補正用プリズムの変形や傾き、撮像素子714の移動等をすることによって、検出されたブレを光学的に補正することができる。これらは制御部711からの制御に基づいて実行される。
信号処理部715は、撮像素子714から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像記憶部719と画像圧縮伸張部725と、ユーザインターフェース722と顔検出部716とに出力するものである。信号処理部715における信号処理として、ノイズ軽減処理、レベル補正処理、A/D変換処理および色彩補正処理等の信号処理がある。また、信号処理部715は、制御部711の指示に基づいて各部から入力された画像に対して各種の画像処理を実行する。
顔検出部716は、入力された画像データに対応する画像に含まれる人の顔を検出するものである。
動きベクトル検出部717は、入力された画像データに対応する画像について分割された各ブロックの動きベクトルを画像処理によって検出し、検出された動きベクトルに対応する値を制御部711に出力するものである。この動きベクトル検出部717に対して、本発明の実施の形態における動きベクトル検出装置300および700を適用することができる。
ブレ補正部718は、動きベクトル検出部717が検出した動きベクトルに基づいて算出されるブレ補正量等に基づいて、入力された画像データに対応する画像の位置を移動させて、その画像のブレを補正するものである。なお、ブレ補正部718は、電子的ブレ補正手段および光学的ブレ補正手段を有する。
なお、ブレ補正部718によりブレが補正された画像が画像圧縮伸張部725に出力される。そして、画像圧縮伸張部725は、ブレが補正された画像に対して画像圧縮処理を施し、画像圧縮処理が施された画像を記憶媒体726に記録する。また、ブレが補正された画像が表示部723に表示される。
画像記憶部719は、撮像装置710において処理対象となる画像データを記憶するものである。
バス721は、画像データを伝達するための共有バスである。ユーザインターフェース722は、表示部723と選択受付部724とを備え、撮像装置710を使用するユーザに対するインターフェースを提供するものである。
表示部723は、信号処理部715または画像圧縮伸張部725が出力した画像データに対応する画像を表示する表示部である。表示部723は、例えば、撮像装置710が撮像する被写体の画像である撮像画像を表示する。
選択受付部724は、ユーザが入力した選択情報を電気信号に変換し、変換された電気信号を制御部711に出力するものである。例えば、撮像部712が出力した撮像画像から顔検出部716が顔を検出した場合には、その撮像画像について検出された顔に基づくブレ補正処理を撮像装置710が実行する。このように、撮像画像に顔が含まれている場合において、その顔に基づくブレ補正処理を実行するように設定(ON設定)することができるとともに、その顔に基づくブレ補正処理を実行しない設定(OFF設定)をすることができる。このON/OFF設定を選択受付部724において行う。
なお、ユーザインターフェース722は、例えば、タッチパネルとして表示部723と選択受付部724とが一体で構成するようにしてもよく、表示部723を液晶ディスプレイ(LCD)とし、選択受付部724をハードキーとしてもよい。
画像圧縮伸張部725は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部725により圧縮処理が施された画像データが記憶媒体726に出力されて記憶媒体726に記憶される。また、画像圧縮伸張部725により伸張処理が施された画像データが画像記憶部719、表示部723、顔検出部716に出力される。なお、圧縮形式として、例えばJPEG(Joint Photographic Experts Group)形式を採用することができる。
記憶媒体726は、画像圧縮伸張部725が出力した画像データを記憶するとともに、記憶されている画像データを画像圧縮伸張部725に出力する画像記憶媒体である。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体および内蔵の記憶媒体の少なくとも何れか一方である。
入出力端子727は、画像圧縮伸張部725が出力した画像データを外部記憶媒体等の外部装置に出力するとともに、外部記憶媒体から入力された画像データを画像圧縮伸張部725に出力する入出力端子である。
メモリ728は、各種情報を記憶する揮発/不揮発性の記憶媒体である。
振動センサ729は、撮像装置710の振動を検出し、画像に依存しないブレ成分(すなわち、撮像装置710本体のブレ成分)を検出するものであり、検出された各種情報を制御部711に出力する。振動センサ729は、例えばジャイロセンサ、速度センサ、加速度センサにより実現することができる。
このように、本発明の実施の形態における動きベクトル検出装置300および700を、撮像装置710に適用することによって、撮像装置710における消費電力を抑制することができる。
なお、本発明の実施の形態では、参照フレームを基準フレームに対して1つ前のフレームとする例について説明したが、参照フレームを現在のフレームとし、基準フレームを参照フレームに対して1つ前のフレームとした場合においても適用することができる。
なお、本発明の実施の形態では、基準ブロックにおける全画素に対する輝度値を用いる例について説明したが、基準ブロックにおける一部の画素に対する輝度値を用いるようにしてもよい。
なお、本発明の実施の形態は、カムコーダやビデオレコーダ等の撮像装置や画像記憶装置において、記憶処理における動画を圧縮する画像符号化処理に適用することができる。
なお、本発明の実施の形態では、動画を撮像した時のブレを検出するカムコーダやビデオレコーダ等の撮像装置や画像記憶装置において、再生処理や記憶処理におけるブレ軽減処理に適用することができる。
なお、本発明の実施の形態は、撮像処理部において起因するランダムノイズを検出するカムコーダやビデオレコーダ等の撮像装置や画像記憶装置において、再生処理や記憶処理におけるノイズ低減処理に適用することができる。
なお、本発明の実施の形態は、ビデオレコーダ等の画像記憶装置において、フレーム不足による時間方向の解像度不足を低減させるための再生処理におけるフレーム補間処理に適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
本発明の第1の実施の形態における動きベクトル検出装置100の機能構成例を示すブロック図である。 本発明の第1の実施の形態における動きベクトル検出装置100による基準フレームおよび参照フレームに同一の2つの動体が含まれる場合における動きベクトルの検出例を示す図である。 本発明の第1の実施の形態における基準輝度値生成部150による基準輝度値の生成例を示す図である。 本発明の第1の実施の形態における有効度計算部160により有効度の計算例を示す図である。 本発明の第1の実施の形態における輝度値差分算出部161により算出された差分絶対値と、重み算出部162により算出される重みとの関係の一例を示す図である。 本発明の第1の実施の形態における動きベクトル検出装置100における動きベクトル計算処理の処理手順を示すフローチャートである。 本発明の第2の実施の形態における動きベクトル検出装置の一構成を示すブロック図である。 本発明の第2の実施の形態における動きベクトル検出装置300により規定される参照フレームにおける探索領域の一例を示す概念図である。 本発明の第2の実施の形態における探索範囲生成部320の第1の構成例を示すブロック図である。 本発明の第2の実施の形態における動きベクトル検出装置300により非対称に規定される参照フレームにおける探索領域の一例を示す概念図である。 本発明の第2の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部320の第2の構成例を示すブロック図である。 本発明の第2の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部320の第2の構成例の変形例を示すブロック図である。 本発明の第2の実施の形態における動きベクトル検出装置300の処理方法における処理手順例を示すフローチャートである。 本発明の第3の実施の形態における動き検出器600の一構成例を示すブロック図である。 本発明の第3の実施の形態における動き検出器600の階層サーチ手法を例示する概念図である。 本発明の第4の実施の形態における動きベクトル検出装置700の一構成例を示すブロック図である。 本発明の実施の形態における撮像装置710の一構成例を示すブロック図である。
符号の説明
100、300、700 動きベクトル検出装置
101、102、103、311、329、601、609 信号線
110 基準フレームバッファ
120 基準ブロック決定部
130 参照フレームバッファ
140 参照ブロック決定部
150 基準輝度値生成部
160 有効度計算部
161 輝度値差分算出部
162 重み算出部
170、870 ブロックマッチング計算部
171、871 相関度算出部
172、872 相関度マップ記憶部
173、873 位置取得部
174、874 動きベクトル算出部
310 対応ブロック抽出部
320 探索範囲生成部
330 F算出部
331 F x−算出部
332 F x+算出部
333 F y−算出部
334 F y+算出部
340 F算出部
350 F算出部
351 F 算出部
352 F 算出部
360 F算出部
361 F 算出部
362 F 算出部
370 L算出部
380 L算出部
381 L 算出部
382 L 算出部
390 L算出部
391 L 算出部
392 L 算出部
510 ρ算出部
511 ρ 算出部
512 ρ 算出部
520 ρ算出部
521 ρ 算出部
522 ρ 算出部
600 動き検出器
610 基準フレーム縮小画像生成部
620 フレームメモリ
630 参照フレーム縮小画像生成部
640 第1動きベクトル検出部
650 第2動きベクトル検出部

Claims (11)

  1. 基準フレームに設定される基準ブロックにおける所定の画素に対する水平方向および垂直方向の各方向における画素間の輝度差である空間輝度差の絶対値の総和を前記各方向についてそれぞれ算出する空間輝度差総和算出部と、
    前記基準ブロックに対応する参照フレームにおける対応ブロックと前記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算出部と、
    前記基準ブロックに対する動きベクトルを探索するための前記参照フレームにおける探索範囲を前記各方向における前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて前記各方向についてそれぞれ算出する探索範囲算出部と、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に参照ブロックを設定して前記設定された参照ブロックと前記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって前記動きベクトルを計算するブロックマッチング計算部と
    を具備し、
    前記空間輝度差総和算出部は、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する
    動きベクトル検出装置。
  2. 前記探索範囲算出部は、前記空間輝度差の絶対値の総和が大きいほど前記探索範囲を小さくし、前記時間輝度差の絶対値の総和が大きいほど前記探索範囲を大きくする請求項1記載の動きベクトル検出装置。
  3. 前記探索範囲算出部は、前記空間輝度差の絶対値の総和に反比例するとともに前記時間輝度差の絶対値の総和に比例する前記探索範囲を算出する請求項2記載の動きベクトル検出装置。
  4. 前記時間輝度差総和算出部は、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記時間輝度差の絶対値を正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算する請求項記載の動きベクトル検出装置。
  5. 前記探索範囲算出部は、
    前記各方向における前記正側空間輝度差総和と前記各方向における前記正側時間輝度差総和とに基づいて前記各方向における正側の前記探索範囲をそれぞれ算出する正側探索範囲算出部と、
    前記各方向における前記負側空間輝度差総和と前記各方向における前記負側時間輝度差総和とに基づいて前記各方向における負側の前記探索範囲をそれぞれ算出する負側探索範囲算出部と
    を含む請求項記載の動きベクトル検出装置。
  6. 前記各方向において前記正側空間輝度差総和および前記負側空間輝度差総和に基づいて正側尤度および負側尤度をそれぞれ算出する尤度算出部をさらに具備する請求項記載の動きベクトル検出装置。
  7. 前記探索範囲算出部は、
    前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和と前記各方向における前記正側尤度とに基づいて前記各方向における正側の前記探索範囲をそれぞれ算出する正側探索範囲算出部と、
    前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和と前記各方向における前記負側尤度とに基づいて前記各方向における負側の前記探索範囲をそれぞれ算出する負側探索範囲算出部と
    を含む請求項記載の動きベクトル検出装置。
  8. 前記基準ブロックにおける所定の画素の輝度値に基づいて前記基準ブロックの基準輝度値を生成する基準輝度値生成部と、
    前記基準ブロックの各画素の輝度値と前記基準輝度値とに基づいて前記基準ブロックの各画素の有効度を計算する有効度計算部とをさらに具備し、
    ブロックマッチング計算部は、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に複数の参照ブロックを設定して前記設定された参照ブロックにおける前記基準ブロックの画素位置に対応する各画素の輝度値と前記基準ブロックの画素位置に対応する前記有効度とに基づいて前記参照ブロックにおける前記基準ブロックとの前記相関度を前記参照ブロック毎に算出する相関度算出部を含む
    請求項1記載の動きベクトル検出装置。
  9. 前記探索範囲算出部は、前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて算出された前記探索範囲および所定の範囲のいずれか一方を前記探索範囲とする請求項1記載の動きベクトル検出装置。
  10. 基準フレームに設定される基準ブロックにおける所定の画素に対する水平方向および垂直方向の各方向における画素間の輝度差である空間輝度差の絶対値の総和を前記各方向についてそれぞれ算出する空間輝度差総和算出手順と、
    前記基準ブロックに対応する参照フレームにおける対応ブロックと前記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算手順と、
    前記基準ブロックに対する動きベクトルを探索するための前記参照フレームにおける探索範囲を前記各方向における前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて前記各方向についてそれぞれ算出する探索範囲算出手順と、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に参照ブロックを設定して前記設定された参照ブロックと前記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって前記動きベクトルを計算するブロックマッチング計算手順と
    を具備し、
    前記空間輝度差総和算出手順において、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する
    動きベクトル検出方法。
  11. 基準フレームに設定される基準ブロックにおける所定の画素に対する水平方向および垂直方向の各方向における画素間の輝度差である空間輝度差の絶対値の総和を前記各方向についてそれぞれ算出する空間輝度差総和算出手順と、
    前記基準ブロックに対応する参照フレームにおける対応ブロックと前記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算手順と、
    前記基準ブロックに対する動きベクトルを探索するための前記参照フレームにおける探索範囲を前記各方向における前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて前記各方向についてそれぞれ算出する探索範囲算出手順と、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に参照ブロックを設定して前記設定された参照ブロックと前記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって前記動きベクトルを計算するブロックマッチング計算手順と
    をコンピュータに実行させるプログラムであって、
    前記空間輝度差総和算出手順において、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する
    プログラム
JP2008284628A 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム Expired - Fee Related JP5163429B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008284628A JP5163429B2 (ja) 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム
US12/588,329 US8619863B2 (en) 2008-11-05 2009-10-13 Motion vector detection apparatus, motion vector processing method and program
CN2009102118562A CN101739688B (zh) 2008-11-05 2009-11-05 运动矢量检测装置和运动矢量处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008284628A JP5163429B2 (ja) 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010114597A JP2010114597A (ja) 2010-05-20
JP5163429B2 true JP5163429B2 (ja) 2013-03-13

Family

ID=42302816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008284628A Expired - Fee Related JP5163429B2 (ja) 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム

Country Status (3)

Country Link
US (1) US8619863B2 (ja)
JP (1) JP5163429B2 (ja)
CN (1) CN101739688B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
US8400533B1 (en) * 2010-02-23 2013-03-19 Xilinx, Inc. Methods of reducing aberrations in a digital image
CN101950423B (zh) * 2010-09-06 2012-08-29 北京航空航天大学 一种运动方向异常物体检测方法和装置
TWI511547B (zh) * 2012-04-10 2015-12-01 Acer Inc 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置
KR101347062B1 (ko) * 2012-06-27 2014-01-10 숭실대학교산학협력단 움직임 벡터의 예측을 위한 탐색영역 설정 장치 및 방법
US9924189B2 (en) 2012-09-28 2018-03-20 Sony Corporation Image processing device and method
JP6163919B2 (ja) * 2013-07-01 2017-07-19 富士通株式会社 画像処理装置、補正方法および補正プログラム
WO2016185598A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP6543578B2 (ja) * 2016-01-27 2019-07-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0281589A (ja) * 1988-09-19 1990-03-22 Toshiba Corp 動きベクトル検出方式
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JP3724653B2 (ja) * 1995-03-20 2005-12-07 ソニー株式会社 動き量検出方法及び動き量検出装置
JPH09121354A (ja) * 1995-10-25 1997-05-06 Oki Electric Ind Co Ltd ループフィルタ制御方法、動きベクトル検出方法及びループフィルタ制御回路
JP4294743B2 (ja) * 1996-12-13 2009-07-15 富士通株式会社 動きベクトル探索装置および動画像符号化装置
JP2000078580A (ja) 1998-08-28 2000-03-14 Sony Corp 動きベクトル検出装置および方法、並びに提供媒体
EP1022678B1 (en) * 1999-01-25 2011-03-23 Nippon Telegraph And Telephone Corporation Method, apparatus and program storage medium for embedding and detecting a digital watermark
JP4366571B2 (ja) * 2003-09-18 2009-11-18 日本電気株式会社 動画像符号化装置及び方法
JP2005295319A (ja) * 2004-04-01 2005-10-20 Renesas Technology Corp 動き検出装置
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
JP4655217B2 (ja) * 2005-09-09 2011-03-23 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN1791224A (zh) * 2005-12-19 2006-06-21 宁波大学 一种基于h.264的自适应块搜索范围快速运动估计方法
CN100548049C (zh) * 2007-01-09 2009-10-07 浙江大学 一种基于多参考帧的h.264快速运动估计的方法
US8670484B2 (en) * 2007-12-17 2014-03-11 General Instrument Corporation Method and apparatus for selecting a coding mode
US9641861B2 (en) * 2008-01-25 2017-05-02 Mediatek Inc. Method and integrated circuit for video processing

Also Published As

Publication number Publication date
CN101739688B (zh) 2012-11-14
US8619863B2 (en) 2013-12-31
JP2010114597A (ja) 2010-05-20
US20100110302A1 (en) 2010-05-06
CN101739688A (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
JP5163429B2 (ja) 動きベクトル検出装置、その処理方法およびプログラム
JP5284048B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US9674441B2 (en) Image processing apparatus, image processing method, and storage medium
US8818046B2 (en) Image processing device, image processing method, and program
US20110243451A1 (en) Image processing apparatus and method, and program
US20140363087A1 (en) Methods of Image Fusion for Image Stabilization
US11062464B2 (en) Image processing apparatus, method, and storage medium to derive optical flow
JP2009147807A (ja) 画像処理装置
KR101830077B1 (ko) 화상처리장치, 그 제어 방법 및 기억매체
US20100150465A1 (en) Method and apparatus for removing image noise
JP2010114596A (ja) 動きベクトル検出装置、その処理方法およびプログラム
US20200036895A1 (en) Image processing apparatus, control method thereof, and image capture apparatus
JP4617883B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP2009212605A (ja) 情報処理方法、情報処理装置及びプログラム
JP5173549B2 (ja) 画像処理装置及び撮像装置
KR20190087119A (ko) 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
JP5812808B2 (ja) 画像処理装置及び画像処理方法
JP2009021929A (ja) 撮像装置及び撮像方法
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
KR102131903B1 (ko) 모션 벡터 추정 방법 및 모션 벡터 추정 장치
JP2005197862A (ja) 画像処理装置
JP2011254233A (ja) 画像処理装置および方法、並びに、プログラム
JP2009100017A (ja) 画像処理装置及び方法、並びにプログラム
JP6454112B2 (ja) ぶれ補正装置、ぶれ補正方法及びプログラム、並びに撮像装置
JP2021044652A (ja) 動きベクトル検出装置及び動きベクトル検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees