JP2021044652A - 動きベクトル検出装置及び動きベクトル検出方法 - Google Patents
動きベクトル検出装置及び動きベクトル検出方法 Download PDFInfo
- Publication number
- JP2021044652A JP2021044652A JP2019164300A JP2019164300A JP2021044652A JP 2021044652 A JP2021044652 A JP 2021044652A JP 2019164300 A JP2019164300 A JP 2019164300A JP 2019164300 A JP2019164300 A JP 2019164300A JP 2021044652 A JP2021044652 A JP 2021044652A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- vector detection
- image
- degree
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】 フレーム画像間のボケ度合いの変化に応じた動きベクトル検出を行うことができるようにする。【解決手段】 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、を有する。【選択図】 図2
Description
本発明は、動きベクトル検出に関する。
デジタルカメラ等の撮像装置による撮影時に、カメラ本体部を保持するユーザの手ぶれ等で被写体像にぶれ(像ぶれ)が生じる場合がある。この像ぶれを補正するためには、補正対象である像ぶれ量を検出する必要がある。像ぶれ量を検出する方法の1つである画像を用いた方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず異なるタイミングで撮影された2枚のフレーム画像の一方を基準画像、もう一方を参照画像とする。そして、基準画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の輝度値の分布との相関を求める。その結果、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、基準画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。
このとき、フレーム画像間で画像のボケ度合いが異なると、基準画像と参照画像との間の相関が低くなり、動きベクトルを検出することが困難になってしまう。そこで、特許文献1では、基準画像または参照画像に対して、平滑化または尖鋭化の画像処理を行うことで、画像間のボケ度合いの差異を小さくして動きベクトルを検出している。
しかしながら、特許文献1に記載された技術では、画像処理前のボケ度合いの差異が大きく画像処理を行ってもボケ度合いの差異を十分に小さくすることができず動きベクトルの検出が困難な場合が考えられる。
そこで、本発明は、フレーム画像間のボケ度合いの変化に応じた動きベクトル検出を行うことができる動きベクトル検出装置を提供することを目的とする。
上記の課題を解決するために、本発明に係る動きベクトル検出装置は、撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、を有することを特徴とする。
本発明によれば、フレーム画像間のボケ度合いの変化に応じた動きベクトル検出を行うことができる。
以下、本発明の実施例について図面を参照しながら説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る動きベクトル検出装置である画像処理装置の構成を示す図である。
図1は、本発明の第1の実施形態に係る動きベクトル検出装置である画像処理装置の構成を示す図である。
フォーカスレンズや像ぶれ補正レンズなどを有する光学系101により形成された被写体像は、CMOSやCCDなどの撮像素子を有する撮像手段102にて第1の画像(第1の画像信号)に変換される。変換された第1の画像は、現像処理手段103にてホワイトバランス処理や色(輝度・色差信号)変換、γ補正などの現像処理が実施される。現像処理手段103は、撮像手段102の撮像レートに従って各種処理を行う。
ボケ検出手段104は、現像処理手段103で現像された第1の画像に基づいて、ボケ度合いを検出する。
サンプリングレート制御手段105は、現像処理手段103により得られる第1の画像から、ボケ検出手段104の出力に基づくサンプリングレートに従って信号を抽出することで第2の画像(第2の画像信号)を生成する。そして、第2の画像を後述の動きベクトル検出手段108に供給する。ここで、第1の画像から信号を抽出するサンプリングレートは、撮像レート以下の範囲で制御される。
画像メモリ106は、サンプリングレート制御手段105により得られる第2の画像を1フレーム分又は複数のフレーム分、一時的に記憶保持する。
動きベクトル検出手段107は、サンプリングレート制御手段105からの入力画像および画像メモリ106からの入力画像に基づいて動きベクトルを検出する。動きベクトル検出手段107は、サンプリングレート制御手段105により制御されるサンプリングレートに従って処理を行う。
なお、本実施形態では、現像処理手段103、ボケ検出手段104、サンプリングレート制御手段105、動きベクトル検出手段107は、少なくとも1つのCPUなどの処理回路により実行されるものとする。
次に、本実施形態の画像処理装置による動きベクトル検出動作について図2を用いて説明する。図2は、本実施形態の画像処理装置による動きベクトル検出動作を示す図であって、第1の画像の現像処理が終了すると開始される。
ステップS201にて、ボケ検出手段104は、現像処理手段103により現像された第1の画像に基づいてボケ度合いを検出する。画像のボケ度合いを検出する方法としては、例えば、画像の空間周波数成分を解析する方法を利用すればよい。具体的には、画像を8×8画素程度の画素ブロックに分割し、画素ブロックごとにDCT変換(離散コサイン変換)を施して、各空間周波数成分の量を示す係数(DCT係数)を算出する。そして、算出されたDCT係数に基づいて画素ブロックごとに画像のボケ度合いを検出する。
ここで、DCT係数と画像のボケ度合いとの相関について図3を用いて説明する。図3はモノクロ画像における輪郭部分での階調変化を示す図であり、横軸が画素位置、縦軸が輝度値を表している。図3(a)のように明暗の変化が急峻な場合(ボケ度合いが小さい場合)には、画像に高域空間周波数成分が多く含まれる。そのため、DCT変換後の各周波数成分に対応するDCT係数は、高い空間周波数まで0でない値を有する。
一方、図3(b)のように明暗の変化がなだらかな場合(ボケ度合いが大きい場合)は、図3(a)の場合と比べて画像から高域空間周波数成分が少なくなる。このようなボケた画像をDCT変換した場合には、図3(a)の場合に比較して低い空間周波数成分から係数が0となる。
したがって、DCT変換後の各周波数成分に対する係数の分布から画像のボケ度合い(画像における高域空間周波数成分の多さ)を判断することができる。ボケ度合いの値は、例えば所定の空間周波数成分以上のDCT係数値の和で定義される。なお、ボケ度合いが大きくなるほど、画像に含まれる高域空間周波数成分の量は少なくなる。
なお、画像のボケ度合いを検出する方法はその他の公知の方法を用いてもよい。
ステップS202にて、サンプリングレート制御手段105は、ステップS201で検出されたボケ度合いに基づいて、現像処理手段103より得られる第1の画像から信号を抽出するサンプリングレートを制御する。抽出された信号は、第2の画像として出力される。
ボケ度合いに基づくサンプリングレートの決定方法について、図4を用いて説明する。図4は、ボケ度合いとサンプリングレートとの関係を説明する図であって、図4(a)は、横軸にフレーム画像間のボケ度合いの変化量、縦軸に動きベクトル検出に用いる画像のサンプリングレートを示す図である。ボケ度合いの変化量は、直前のフレーム画像に対するボケ度合いと、現在のフレーム画像に対するボケ度合いとで差分を取ったものを表している。動きベクトル検出はフレーム画像間でボケ度合いが異なるほど困難になる。そのため、フレーム画像間でボケ度合いが大きく変化する場合には、動きベクトル検出に用いる画像の時間的な差異を小さくするため動きベクトル検出に用いる画像のサンプリングレートを高くすることが好ましい。
図4(b)は、横軸にフォーカス位置、縦軸にボケ度合いを示したボケ曲線を示す図である。画像のボケ度合いはフォーカス位置X0で最小となり、X0から離れるにつれて大きくなる。ボケ曲線はX0近傍で緩やかに(小さく)変化し、±X1近傍で急峻に(大きく)変化し、±X2近傍で再び緩やかに(小さく)変化する変化特性がある。
そのため、図4(c)に示したフォーカス位置とサンプリングレートの関係のように、ボケ度合いの変化が緩やかなX0近傍やX2近傍ではサンプリングレートを低く、ボケ度合いの変化が急峻なX1近傍ではサンプリングレートを高くすることが好ましい。なお、図4(c)に示すように、サンプリングレートをフォーカス位置X0で最小、フォーカス位置X1近傍で最大とし、最大と最小の間でフォーカス位置に応じて線形に変化させているが、フォーカス位置に応じて段階的に変化させてもよい。また、フォーカス位置X0の近傍のサンプリングレートも最小にしてもよい。
以上のように、フレーム画像間のボケ度合いの変化を求める方法は、2つの画像のボケ度合いを比較して直接求める方法でもよいし、動きベクトル検出に用いる一方の画像を撮像する際の光学系のフォーカス位置に基づいて間接的に求める方法でもよい。なお、2つの画像のボケ度合いを比較して直接求める方法の場合、連続した撮像を開始してから最初にステップS202へ進んだ際は、フレーム画像間のボケ度合いの変化は求められない。そのため、ステップS202を省略するか予め決定されたサンプリングレートを設定すればよい。
次に、サンプリングレートの制御方法について図5を用いて説明する。図5は、サンプリングレート制御を説明する図であり、サンプリングレート制御手段105は、図5に示すように、撮像レートおよび撮像時のシャッタスピード情報(Tv値)に基づいて、入力の画像を加工することで、サンプリングレートの制御を行う。
以下では、撮像レートが120fps、出力画像のサンプリングレートが30fpsの場合の例を考える。撮像レートが出力画像のサンプリングレートの4倍であるので、入力画像の4フレーム[0A]、[0B]、[0C]、[0D]を用いて、出力画像の1フレーム[0]を生成することになる。なお、シャッタスピードの上限は出力画像のサンプリングレートによって決まり、今回の例の場合は1/30秒が上限になる。
図5(a)は、シャッタスピードが1/180秒で、撮像間隔の1/120秒よりも短い場合の入力データを示している。この場合、図5(b)のように、特に入力画像を加工する必要はなく、[0]=[0D]として出力画像を生成できる。
図5(c)は、シャッタスピードが1/60秒で、撮像間隔の1/120秒よりも長い場合の入力データを示している。撮像間隔が1/120秒であるので、入力データの1フレームの蓄積期間の上限は1/120秒となり、シャッタスピード1/60秒に届かない。この場合、図5(d)のように、入力画像を撮像間隔とシャッタスピードとの比に応じて合成することで、出力画像を生成する。今回は撮像間隔に対してシャッタスピードが2倍であるので、入力画像[0C]と[0D]の2枚を合成し、[0]=[0C]+[0D]として出力画像を生成できる。
図5(e)は、シャッタスピードが1/45秒で、図5(c)と同様に、撮像間隔の1/120秒よりも長い場合の入力データを示している。この場合も、図5(e)のように、入力画像を撮像間隔とシャッタスピードとの比に応じて合成することで、出力画像を生成する。今回は撮像間隔に対してシャッタスピードが8/3倍であるので、入力画像[0C]と[0D]の2枚に加え、[0B]に2/3を乗じたデータを合成し、[0]=(2/3)×[0B]+[0C]+[0D]として出力画像を生成できる。
以上のようにして、サンプリングレート制御手段105は、現像処理手段103から出力される画像のサンプリングレートを制御し、動きベクトル検出手段107に供給する。なお、上記のサンプリングレートの制御方法は一例であって、複数フレームの入力画像を用いて1つの出力画像を生成するのではなく、複数フレームの入力画像から1つの出力画像を選択するようにしてもよい。
ステップS203にて、動きベクトル検出手段107は、サンプリングレート制御手段105から出力される第2の画像を用いて、例えばテンプレートマッチングにより動きベクトルを検出する。
図6はテンプレートマッチングの概要を示す図であり、図6(a)は2つのベクトル検出画像の一方である基準画像を示し、図6(b)は他方である参照画像を示している。ここでは、基準画像として画像メモリ106に保持されているフレーム画像、参照画像としてサンプリングレート制御手段105から入力される画像を用いることで、過去のフレーム画像から現在のフレーム画像への動きベクトルを算出する。なお、基準画像と参照画像は逆に入れ替えてもよく、その場合は現在のフレーム画像から過去のフレーム画像への動きベクトルを算出することを意味する。
動きベクトル検出手段107は、基準画像にテンプレート領域601、参照画像にサーチ領域602を配置し、テンプレート領域601とサーチ領域602との相関値を算出する。ここで、テンプレート領域601の配置は任意であり、画面内に定められた複数の固定的な座標を中心に配置してもよいし、公知の手法により検出される特徴点の座標を中心に配置してもよい。サーチ領域602はテンプレート領域601を上下左右均等に包含するように所定の大きさで配置するのが好ましい。
本実施形態では、相関値の算出方法として、差分絶対値和(Sum of Absolute Difference:以下、SADと略す)を使用する。SADの計算式を式(1)に示す。
式(1)において、f(i,j)はテンプレート領域601内の座標(i,j)での輝度値を示している。また、g(i,j)はサーチ領域602内において相関値の算出対象となる領域(以下、相関値算出領域という)603内の各座標での輝度値を示す。SADでは、両領域602,603内の輝度値f(i,j),g(i,j)の差の絶対値を計算し、その総和を求めることで相関値S_SADを得る。相関値S_SADの値が小さいほど、テンプレート領域601と相関値算出領域603のテクスチャの類似度が高いことを表す。
なお、相関値の算出にSAD以外の方法を用いてもよく、例えば差分二乗和(SSD)や正規化相互相関(NCC)を用いてもよい。
動きベクトル検出手段107は、サーチ領域602の全域にて相関値算出領域603を移動させて相関値を算出する。これにより、サーチ領域602に対して図7に示すような相関値マップを作成する。図7は、相関値マップを説明する図であり、図7(a)はサーチ領域602の座標系で算出した相関値マップを示しており、X軸とY軸は相関値マップ座標、Z軸は各座標での相関値の大きさを表している。また、図7(b)は、図7(a)の等高線を示したものである。
図7(a)および図7(b)において、相関値が最も小さいのは極小値701であり、サーチ領域602内で極小値701が算出された領域にはテンプレート領域601と非常に類似したテクスチャが存在していると判定できる。702は二番目の極小値、703は三番目の極小値を表わしており、これらは701に次いで類似したテクスチャが存在していることを意味する。
このように、動きベクトル検出手段107は、テンプレート領域601とサーチ領域602との間で相関値を算出し、その値が最も小さくなる相関値算出領域603の位置を判定する。これにより、基準画像上のテンプレート領域601の参照画像上での移動先を特定することができる。そして、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量を方向および大きさとした動きベクトルを検出することができる。なお、参照画像と基準画像がそろっていない際にはステップS203を省略する。
以上のように、本実施形態では、フレーム画像間のボケ度合いの差異(変化)に応じて、動きベクトル検出に用いる画像のサンプリングレートを動的に制御することで、ボケ度合いの変化が大きいシーンにおいても安定的に動きベクトルを検出することができる。
(第2の実施形態)
続いて、本発明の第2の実施形態について説明する。図8は、第2の実施形態に係る動きベクトル検出装置である画像処理装置の構成を示す図である。図8において、図1に示した構成要素と共通するものについては図1と同符号を付し、第1の実施形態と異なる処理を行う部分についてのみ説明する。
続いて、本発明の第2の実施形態について説明する。図8は、第2の実施形態に係る動きベクトル検出装置である画像処理装置の構成を示す図である。図8において、図1に示した構成要素と共通するものについては図1と同符号を付し、第1の実施形態と異なる処理を行う部分についてのみ説明する。
本実施形態の画像処理装置は、図1に示した構成に加えて、信頼度算出手段801を有する。信頼度算出手段801は、動きベクトル検出手段107から入力される動きベクトルに対して信頼度を算出する。なお、現像処理手段103、ボケ検出手段104、サンプリングレート制御手段105a、動きベクトル検出手段107、信頼度算出手段801は、少なくとも1つのCPUなどの処理回路により実行されるものとする。
本実施形態が第1の実施形態と異なるのは、サンプリングレート制御手段105aに対して、信頼度算出手段801から得られる動きベクトルの信頼度をフィードバックする点である。検出された動きベクトルの信頼度を考慮することで、より適切にサンプリングレートを制御し、第1の実施形態よりも動きベクトル検出の安定性を向上させることができる。
次に、本実施形態の画像処理装置による動きベクトル検出動作について図9を用いて説明する。図9は、本実施形態の画像処理装置による動きベクトル検出動作を示す図であって、第1の画像の現像処理が終了すると開始される。また、図9において図2に示したステップと共通するものについては、図2と同符号を付し説明を省略する。
ステップS901では、サンプリングレート制御手段105aは、ステップS201で得られたボケ度合いと、後述するステップS902で得られる動きベクトルの信頼度に基づいて、第1の画像から信号を抽出するサンプリングレートを制御する。抽出された信号は、第2の画像として出力される。
なお、連続した撮像を開始してから最初にステップS901へ進んだ際にはステップS902はまだ実行されていないため、ステップS202と同様に進めればよい。
ステップS902では、信頼度算出手段801は、ステップS203で得られた動きベクトルの信頼度を算出する。
動きベクトルの信頼度の算出には二次元の相関値マップを用いる。図10は、相関値マップの表現方法を説明する図であって、図7(b)の2次元相関値マップにおいて、相関値を704のようにラスター順に並べ1次元で表わしたものを示している。図10の縦軸は相関値、横軸は相関値マップのX座標とY座標により一意に定まる画素アドレスである。以降、動きベクトルの信頼度を算出するため、この図10の表現を用いることにする。なお、1001は図7の極小値に対応する位置である。
図11は、動きベクトルの信頼度を表わす相関値指標を説明する図であり、図11の横軸は画素アドレス、縦軸は相関値である。図11(a)では、指標として相関値の最小値と最大値の差分Daを用いる。Daは相関値マップのレンジを表わしており、Daが小さい場合、テクスチャのコントラストが低いと考えられ、信頼度が低いことを示す。図11(b)では、指標として相関値の最小値と最大値の差分Aと、最小値と平均値の差分Bとの比率Db(=B/A)を用いる。Dbは相関値ピークの急峻性を表わしており、Dbが小さい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを示す。
図11(c)では、指標として相関値の極小値と二番目の極小値の差分Dcを用いる。ここで1101、1102、1103は、それぞれ図7の相関値701、702、703と対応している。よって、図11(c)は、図7(b)の等高線において、相関値の最小と類似した極小値が存在しないかを確認することを意味している。
Dcは相関値マップの周期性を表わし、Dcが小さい場合、テクスチャが繰り返しパターンやエッジなどであることが考えられ、信頼度が低いことを示す。なお、ここでは極小値と二番目の極小値を選択したが、相関値マップの周期性を判定できればよいため、その他の極小値を選択してもよい。
図11(d)では、指標として相関値の最小値Ddを用いる。Ddが大きい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを表わす。Ddと信頼度は反比例の関係にあるため、Ddの逆数(1/Dd)を指標とする。
上記で説明した相関値の指標はそのまま信頼度として用いることができるが、例えば図12のように相関値指標と信頼度の対応付けを行ってもよい。図12は、動きベクトルの信頼度と相関値指標の関係を説明する図であり、図12の横軸は相関値指標(上述のDa,Db,Dc,1/Ddのいずれか)、縦軸は信頼度である。この例では、二つの閾値T1,T2を設けており、T1以下なら信頼度を0、T2以上なら信頼度を1としている。閾値は相関値指標ごとに変更してもよい。また、閾値T1とT2の間の区間は、相関値指標と信頼度とを非線形に対応付けてもよいし段階的に対応付けてもよい。以降の説明では、各相関値指標から得られる信頼度をRa,Rb,Rc,Rdと表現する。ここで、Ra=f(Da),Rb=f(Db),Rc=f(Dc),Rd=f(Dd)の関係にある。
最終的な動きベクトルの信頼度Rは、これらRa,Rb,Rc,Rdを組み合わせて算出すれば良い。ここでは、重み付け加算と論理演算による組み合わせ方法を説明する。
重み付け加算による組み合わせでは、Ra,Rb,Rc,Rdの重みをそれぞれWa,Wb,Wc,Wdとすれば、信頼度Rは式(2)のように計算される。
例えば重みをWa=0.4,Wb=0.3,Wc=0.2,Wd=0.1とする。全ての信頼度が十分に高く、Ra=Rb=Rc=Rd=1の場合には、式(2)よりR=1.0となる。またRa=0.6,Rb=0.5,Rc=0.7,Rd=0.7のような場合には、式(2)よりR=0.6となる。
論理演算による組み合わせでは、Ra,Rb,Rc,Rdに対する閾値をそれぞれTa,Tb,Tc,Tdとすれば、信頼度Rは例えば論理積を用いて式(3)のように計算する。
Ra≧Ta、Rb≧Tb,Rc≧Tc,Rd≧Tdが全て成立する場合にR=1(高信頼)、それ以外の場合にR=0(低信頼)となる。
また論理和を用いて式(4)のように計算してもよい。
Ra<Ta、Rb<Tb,Rc<Tc,Rd<Tdの全てが成立しない場合にR=1(高信頼)、それ以外の場合にR=0(低信頼)となる。
なお、画像のボケ度合いが大きくなると、正しい動きベクトルが検出できていたとしても、相関値マップのレンジを表すRaは小さくなる傾向にある。そのため、画像のボケ度合いが大きくなるほど、Raに対する閾値Taを小さくすることが好ましい。
ステップS902の後、ステップS201に移行しその後再びステップS901が実行される。
2回目以降のステップS901では、サンプリングレート制御手段105aは、ステップS201で得たボケ度合い及びステップS902で得た動きベクトルの信頼度に基づいて、現像処理手段103から出力される画像のサンプリングレートを制御する。
動きベクトルの信頼度を、サンプリングレート制御に反映する方法の一例について、図13を用いて説明する。図13は、動きベクトルの信頼度とサンプリングレートの関係を説明する図であり、横軸に信頼度が所定の閾値以上の動きベクトルの数、縦軸に動きベクトル検出に用いる画像のサンプリングレートの増加量を示している。
信頼度の高い動きベクトルの数が少ない場合、フレーム画像間のボケ度合いの変化量に対して、現状のサンプリングレートでは不足していると判断し、サンプリングレートを増加させる。なお、現状のサンプリングレートが上限(=撮像レート)に達している場合は、増加させずに現状を維持するものとする。
信頼度の高い動きベクトルの数が多い場合、フレーム画像間のボケ度合いの変化量に対して、現状のサンプリングレートで十分と判断し、現状のサンプリングレートを維持する。なお、維持するのではなく、サンプリングレートを減少させるようにしてもよい。その場合、現状のサンプリングレートが下限に達している場合は、減少させずに現状を維持するものとする。
以上のように、本実施形態では、フレーム画像間のボケ度合いの差異(変化)に加え、動きベクトルの信頼度に基づいて、動きベクトル検出に用いる画像のサンプリングレートを制御するようにした。そのため、本実施形態では第1の実施形態よりもさらに安定的に動きベクトルを検出できる。
なお、上記の2つの実施形態では、動きベクトル検出装置として光学系や撮像手段を有する画像処理装置を説明したが、光学系や撮像手段を有する撮像装置とは別の機器を動きベクトル検出装置としてもよい。例えば、撮像装置で撮像された画像を通信などにより取得して現像処理や動きベクトル検出を実行する動きベクトル検出装置であってもよい。
また、動きベクトル検出に用いる画像のサンプリングレートを頻繁に変更すると、動きベクトル検出が不安定になってしまうおそれがある。そのため、サンプリングレートの変更後に所定数以上の画像をサンプリングするまでは、次のサンプリングレートに変更しないようにしてもよい。
101 光学系
102 撮像手段
103 現像処理手段
104 ボケ検出手段
105 サンプリングレート制御手段
106 画像メモリ
107 動きベクトル検出手段
801 信頼度判定手段
102 撮像手段
103 現像処理手段
104 ボケ検出手段
105 サンプリングレート制御手段
106 画像メモリ
107 動きベクトル検出手段
801 信頼度判定手段
Claims (10)
- 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、
前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、
を有することを特徴とする動きベクトル検出装置。 - 前記検出手段が動きベクトル検出に用いる画像のボケ度合いを検出するボケ検出手段を有し、
前記ボケ検出手段は、前記検出手段が動きベクトル検出に用いる画像の空間周波数の分布に基づいて当該画像のボケ度合いを検出することを特徴とする請求項1に記載の動きベクトル検出装置。 - 前記制御手段は、前記画像間のボケ度合いの変化が大きいほど、前記サンプリングレートを高くすることを特徴とする請求項1または2に記載の動きベクトル検出装置。
- 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像を撮像する際の光学系のフォーカス位置に応じたボケ度合いの変化特性に基づいて、前記サンプリングレートを制御することを特徴とする請求項1に記載の動きベクトル検出装置。
- 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像を撮像する際の光学系のフォーカス位置に対応したボケ度合いの変化が急峻であるほど、前記サンプリングレートを高くすることを特徴とする請求項4に記載の動きベクトル検出装置。
- 前記検出手段により検出された動きベクトルの信頼度を算出する算出手段をさらに有し、
前記制御手段は、前記検出手段が動きベクトル検出に用いる画像間のボケ度合いの変化及び前記算出手段より算出された信頼度に応じて、前記サンプリングレートを制御することを特徴とする請求項1に記載の動きベクトル検出装置。 - 前記制御手段は、前記信頼度が所定の閾値以上の動きベクトルの数が少ないほど、前記サンプリングレートを高くすることを特徴とする請求項6に記載の動きベクトル検出装置。
- 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像のボケ度合いに応じて、前記閾値を変更することを特徴とする請求項7に記載の動きベクトル検出装置。
- 前記制御手段は、前記検出手段が動きベクトル検出に用いる画像のボケ度合いが大きいほど、前記閾値を低くすることを特徴とする請求項8に記載の動きベクトル検出装置。
- 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出ステップと、
前記検出ステップで動きベクトル検出に用いる画像間のボケ度合いの変化に応じて、前記検出ステップで動きベクトル検出に用いる画像のサンプリングレートを制御する制御ステップと、
を有することを特徴とする動きベクトル検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164300A JP2021044652A (ja) | 2019-09-10 | 2019-09-10 | 動きベクトル検出装置及び動きベクトル検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164300A JP2021044652A (ja) | 2019-09-10 | 2019-09-10 | 動きベクトル検出装置及び動きベクトル検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021044652A true JP2021044652A (ja) | 2021-03-18 |
Family
ID=74864300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019164300A Pending JP2021044652A (ja) | 2019-09-10 | 2019-09-10 | 動きベクトル検出装置及び動きベクトル検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021044652A (ja) |
-
2019
- 2019-09-10 JP JP2019164300A patent/JP2021044652A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
US9202263B2 (en) | System and method for spatio video image enhancement | |
US8472747B2 (en) | Image composition device, image composition method, and storage medium storing program | |
TWI767985B (zh) | 用於處理影像性質圖的方法及裝置 | |
US8390697B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and program | |
JP6577703B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
JP6564284B2 (ja) | 画像処理装置および画像処理方法 | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2017220885A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP2019101997A (ja) | 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法 | |
JP6576179B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7025237B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6231816B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
JPH1098644A (ja) | 動き検出装置 | |
JP2021044652A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018180964A (ja) | 画像処理装置及び画像処理方法 | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
JP6808446B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
JP2016072924A (ja) | 画像処理装置及び画像処理方法 | |
CN112132879A (zh) | 一种图像处理的方法、装置和存储介质 | |
JP2019192048A (ja) | 撮像装置 |