JP2015149656A - Motion detection processing apparatus, image processing apparatus, imaging device, and motion detection processing method - Google Patents
Motion detection processing apparatus, image processing apparatus, imaging device, and motion detection processing method Download PDFInfo
- Publication number
- JP2015149656A JP2015149656A JP2014022260A JP2014022260A JP2015149656A JP 2015149656 A JP2015149656 A JP 2015149656A JP 2014022260 A JP2014022260 A JP 2014022260A JP 2014022260 A JP2014022260 A JP 2014022260A JP 2015149656 A JP2015149656 A JP 2015149656A
- Authority
- JP
- Japan
- Prior art keywords
- motion detection
- image
- processing unit
- reference range
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、画像中の被写体の動きを検出する動き検出処理技術に関する。 The present invention relates to a motion detection processing technique for detecting the motion of a subject in an image.
画像中の被写体の動きを検出するために、時間的に連続する2つの画像の差分信号を利用する方法が広く採用されている。「差分信号」とは、一方の信号の値をもう一方の信号の値から引いた値又は、その絶対値のことを言う。画像の差分信号を画素毎に算出する方法は、被写体の動きを誤って検出するという欠点がある。この欠点は、動き検出対象である信号成分以外の信号の影響による。たとえば、特許文献1には、色信号成分による動きの誤検出を抑制するために、輝度信号成分の動き検出回路において、色信号成分を除去するローパスフィルタリング処理を行う動き検出回路が開示されている。
In order to detect the movement of a subject in an image, a method of using a difference signal between two temporally continuous images is widely adopted. The “difference signal” refers to a value obtained by subtracting the value of one signal from the value of the other signal, or an absolute value thereof. The method of calculating the difference signal of the image for each pixel has a drawback that the movement of the subject is detected erroneously. This drawback is due to the influence of signals other than the signal components that are motion detection targets. For example,
特許文献1に開示されている検出回路は、輝度信号低周波数成分の動きを検出する。特許文献1に開示されている検出回路は、1フレーム遅延した信号とフレームメモリの入力信号とを減算回路に供給し、差分信号を得る。1フレーム遅延した信号は、入力信号をフレームメモリに入力することで得るものである。減算回路の出力信号である差分信号は、ローパスフィルタに供給される。ローパスフィルタに供給された差分信号は、色信号帯域が除去される。色信号帯域を除去されることにより、輝度信号低域成分の動き情報が得られる。ローパスフィルタの出力が零のときは、入力信号が静止であると判定することができる。ローパスフィルタの出力が零以外のときは、入力信号が動きのある信号であると判定することができる。このローパスフィルタの出力信号には正負の極性があるため、検出回路は、ローパスフィルタの出力信号の絶対値を求める。検出回路は、絶対値を求めるために、絶対値回路を用いる。絶対値回路の出力信号は、変換回路により、非線形の入出力変換が行われる。この変換回路による非線形の入出力変換は、低いレベルの入力に対しては出力を零とするものである。この変換回路による非線形の入出力変換は、ノイズの影響を除去するものである。
The detection circuit disclosed in
ところで、ディジタルカメラでは、撮像画像に歪曲歪み(ディストーション)が生ずることがある。歪曲歪みは、例えば、レンズなどの撮像光学系の歪曲収差に起因する。「歪曲収差」とは、レンズにおいて直線が曲がって写ることであり、特に画像の周辺において起こる。この歪曲歪みは、撮像光学系により結像された像において画角の中心軸付近とその周辺部とで結像倍率(特に、横倍率)が異なることに起因して生じるものである。「結像倍率」とは、レンズとの関係において、結像した距離における像倍率のことを言う。「結像」とは、レンズなどの光学系を利用して像を得ることを言う。歪曲収差が発生した場合には、撮像画像においては画像の中心(撮像光学系の画角の中心軸上の画素)から周辺部に向かうにつれて歪曲歪みの量は大きくなる。 By the way, in a digital camera, distortion (distortion) may occur in a captured image. The distortion is caused by, for example, distortion of an imaging optical system such as a lens. “Distortion aberration” means that a straight line is bent in a lens and occurs particularly in the periphery of an image. This distortion is caused by the fact that the imaging magnification (particularly the lateral magnification) differs between the vicinity of the central axis of the angle of view and its peripheral portion in the image formed by the imaging optical system. The “imaging magnification” refers to an image magnification at an imaged distance in relation to a lens. “Imaging” refers to obtaining an image using an optical system such as a lens. When distortion occurs, the amount of distortion increases in the captured image from the center of the image (the pixel on the central axis of the angle of view of the imaging optical system) toward the periphery.
たとえば、撮像光学系として魚眼レンズ(超広角レンズ)を使用する場合には、撮像画像の周辺部では信号の低周波数成分の動き等を検出できなくなる。すなわち、歪んだ画像では、画像の歪み量により、同一サイズの画像領域の画像内に映し出される実際の空間領域の範囲が異なる。このため、時間的に連続する歪んだ画像の同一サイズの単純な差分情報では、被写体の動きを正しく検出できないという問題がある。そして、同一被写体でも撮像画像の周辺部に位置する場合には、撮像画像の中心部に映る場合よりも、小さく映る。上記より、画像の中心部では検出できた被写体の動きが、画像の周辺部では検出できなくなる。 For example, when a fish-eye lens (super wide-angle lens) is used as the imaging optical system, it is impossible to detect the movement of the low frequency component of the signal at the periphery of the captured image. That is, in the distorted image, the range of the actual spatial region displayed in the image of the image region of the same size differs depending on the amount of image distortion. For this reason, there is a problem in that the movement of the subject cannot be detected correctly with simple difference information of the same size of temporally distorted images. And even if it is the same subject, when it is located in the peripheral part of the captured image, it appears smaller than when it is reflected in the central part of the captured image. As described above, the movement of the subject that can be detected at the center of the image cannot be detected at the periphery of the image.
上記の特許文献1の輝度信号の低周波数成分の動きを検出する検出回路は、入力画像が画角の中央部では歪んでおらず画角の周辺部で歪んでいる場合には、動きが検出できないおそれがある。その理由は、以下の通りである。画角の中央部にある被写体は、一定サイズの画素平均値の画像の差分値を用いて動きを検出することができる。これに対し、画角の中央部から画角の周辺部に移動した被写体は、一定サイズの画像領域における被写体の占める割合が小さくなる。このため画角の周辺部では、一定サイズの画像領域の画素平均値から画像の差分値を算出することができないためである。
The detection circuit for detecting the motion of the low frequency component of the luminance signal described in
上記に鑑みて、本発明の目的は、歪曲歪みを有する画像中の被写体の動き検出精度の劣化を抑制することができる動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法を提供することである。 In view of the above, an object of the present invention is to provide a motion detection processing device, an image processing device, an imaging device, and a motion detection processing method capable of suppressing deterioration in motion detection accuracy of a subject in an image having distortion. That is.
本発明の動き検出処理装置は、
撮像光学系の結像倍率が画角の中心軸付近とその周辺部とで異なることにより歪曲歪みが生じる入力画像を処理する動き検出処理装置であり、
前記入力画像中の注目画素を含む参照範囲内の複数画素に対して時空間フィルタリングを実行して得られた値の時系列変化により、入力画像中の被写体の動き検出を行う動き検出部と、
前記入力画像の前記結像倍率が大きい程、前記参照範囲を狭くするフィルタリング制御部と
を備えたことを特徴とする。
The motion detection processing apparatus of the present invention is
A motion detection processing device that processes an input image in which distortion occurs due to the imaging magnification of the imaging optical system being different between the vicinity of the central axis of the angle of view and its peripheral part,
A motion detection unit that detects a motion of a subject in the input image based on a time-series change in values obtained by performing spatiotemporal filtering on a plurality of pixels in a reference range including the target pixel in the input image;
And a filtering control unit that narrows the reference range as the imaging magnification of the input image increases.
本発明は被写体が歪むことに起因する動き検出の精度劣化を抑制する。 The present invention suppresses deterioration in accuracy of motion detection caused by distortion of the subject.
以下、本発明に係る実施の形態について図面を用いて説明する。 Embodiments according to the present invention will be described below with reference to the drawings.
実施の形態1.
図1は、実施の形態1の動き検出処理装置を含む画像処理装置21の構成を概略的に示す機能ブロック図である。なお、動き検出処理装置は、以下、動き検出処理部23として説明する。図1に示されるように、画像処理装置21は、動き検出処理部23の他に、パラメータ演算処理部22及び歪補正処理部24を備える。座標位置情報PIは、画像処理装置21に入力される。画像処理装置21に入力された座標位置情報PIは、パラメータ演算処理部22及び歪補正処理部24に入力される。また、画像入力Isは、画像処理装置21に入力される。入力画像Isは、動き検出処理部23及び歪補正処理部24に入力される。パラメータ演算処理部22は、入力画像Isを構成する画素の座標位置情報PIに基づいて動き検出パラメータRm及びベクトル(s,t)を出力する。動き検出パラメータRm及びベクトル(s,t)は、動き検出処理部23及び歪補正処理部24に入力される。動き検出処理部23は、動き検出情報Mvを出力する。歪補正処理部24は、画像出力信号Osを出力する。「入力画像」とは、画像処理装置21に入力される画像のことである。
FIG. 1 is a functional block diagram schematically showing a configuration of an
図2は、実施の形態1の動き検出処理部23の基本構成を概略的に示す機能ブロック図である。動き検出処理部23は、フィルタリング制御部29及び動き検出部30を備える。動き検出部30は、フレームメモリ38、差分器32、ローパスフィルタ31、絶対値処理部35、ロークリップ処理部33及びハイクリップ処理部34を有する。動き検出処理部23に関する詳細な説明は後述する。動き検出処理部23は、パラメータ演算処理部22から供給された動き検出パラメータRm及びベクトル(s,t)を用いる。動き検出処理部23は、入力画像Isと入力画像Isを1フレーム遅延した遅延画像Ifdとの差分画像に対して時空間フィルタリング処理を実施する。1フレーム遅延は、フレームメモリ36によりおこなわれる。差分画像の抽出は、差分器32によりおこなわれる。「差分画像」とは、一方の画像の値をもう一方の画像の値から引いた値又は、その絶対値を対応した画素の値とする画像のことを言う。時空間フィルタリング処理は、たとえばローパスフィルタ31を用いた高周波除去などである。動き検出処理部23は、フィルタリング処理を実施した後、絶対値処理、非線形変換であるロークリップ処理及びハイクリップ処理を実行することにより入力画像Is中の動き検出情報Mvを導出する機能を有する。絶対値処理は、絶対値処理部35によりおこなわれる。ロークリップ処理は、ロークリップ処理部33によりおこなわれる。ハイクリップ処理は、ハイクリップ処理部34によりおこなわれる。
FIG. 2 is a functional block diagram schematically showing the basic configuration of the motion
<歪補正処理部24の動作説明>
本発明の動き検出処理装置は、歪曲歪みの量に応じて設定を変更するものである。本発明の動き検出処理装置を含む画像処理装置21において、歪曲歪みの補正をおこなう歪補正処理部24の動作について説明する。
<Description of Operation of Distortion
The motion detection processing apparatus of the present invention changes the setting according to the amount of distortion. The operation of the distortion
歪補正処理部24は、入力画像Isを受信する。歪補正処理部24は、入力画像Isの歪曲歪みを補正する機能を有する。歪補正処理部24は、入力画像Isの局所的な歪曲歪み量FAに応じた倍率Rdを用いて入力画像Isを局所的に変形(拡大または縮小)する。倍率Rdは、動き検出パラメータRmの1つである。後述するように、s,tは、倍率Rdの適用方向を示すベクトル(s,t)の成分である。
The distortion
本実施の形態1では、入力画像Isは、撮像装置の撮像光学系により結像された光学像を固体撮像素子が光電変換することで得られたデジタル画像である。歪曲歪み量FAは、撮像光学系の歪曲収差に起因して発生する歪曲歪みの大きさを示す。歪曲歪み量FAは、撮像光学系の画角中心からの像高及び撮影条件に応じて予め計算されたものである。例えば、歪曲歪み量FAは、均一な升目上のチャート等に投影した画像などを測定して算出することで得られる。歪曲歪み量FAのデータは、歪補正処理部24の内部または外部の不揮発性メモリ(図示せず)に格納されている。歪補正処理部24は、この不揮発性メモリのデータを参照して歪曲歪み量FAを取得する。歪曲歪み量FAは、注目画素の座標位置に対応する。つまり、画像の各画素は個別に歪曲歪み量FAを有している。
In the first embodiment, the input image Is is a digital image obtained by the solid-state imaging device photoelectrically converting an optical image formed by the imaging optical system of the imaging apparatus. The distortion amount FA indicates the magnitude of distortion generated due to distortion aberration of the imaging optical system. The distortion amount FA is calculated in advance according to the image height from the center of the angle of view of the imaging optical system and the shooting conditions. For example, the distortion amount FA can be obtained by measuring and calculating an image projected on a uniform chart or the like. The distortion distortion amount FA data is stored in a nonvolatile memory (not shown) inside or outside the distortion
歪補正処理部24は、注目画素と画角の中心に対応する画像の中心との間の距離Lを算出する。「注目画素」とは、出力画像Osを処理した際に対象とした画素である。つまり、画像処理装置21で処理をする際の対象画素である。出力画像Osは、歪曲歪みが補正された画像である。
The distortion
図3は、注目画素と画像中心との間の関係を示す図である。図3は、出力画像Osを表している。図3では、例えば、出力画像Osの横方向をX軸で表し、縦方向をY軸で表している。図3の横軸はX軸で、縦軸はY軸である。図3中、X軸の右方向は+X軸方向で、Y軸の下方向は+Y軸方向である。画像中心は、画角中心に対応している。距離Lは、撮像光学系の画角中心からの理想的な像高に対応する量である。「理想的な像高」とは、歪曲収差が無い場合の像高である。図3において、出力画像Os中の任意の画素の座標は、原点座標(0,0)に対するX座標とY座標との組で与えられる。図3中で、原点座標(0,0)は左上の端の位置としている。注目画素の座標を(x,y)とし、画像中心の座標を(XC,YC)とするとき、距離Lは、次式(1)に従って算出される。 FIG. 3 is a diagram illustrating the relationship between the target pixel and the image center. FIG. 3 shows the output image Os. In FIG. 3, for example, the horizontal direction of the output image Os is represented by the X axis, and the vertical direction is represented by the Y axis. The horizontal axis in FIG. 3 is the X axis, and the vertical axis is the Y axis. In FIG. 3, the right direction of the X axis is the + X axis direction, and the downward direction of the Y axis is the + Y axis direction. The image center corresponds to the view angle center. The distance L is an amount corresponding to an ideal image height from the center of the angle of view of the imaging optical system. The “ideal image height” is an image height when there is no distortion. In FIG. 3, the coordinates of an arbitrary pixel in the output image Os are given as a set of an X coordinate and a Y coordinate with respect to the origin coordinate (0, 0). In FIG. 3, the origin coordinate (0, 0) is the position of the upper left end. When the coordinate of the pixel of interest is (x, y) and the coordinate of the image center is (XC, YC), the distance L is calculated according to the following equation (1).
次に、歪補正処理部24は、算出された距離Lに対応する歪曲歪み量を注目画素の歪曲歪み量FAとして取得する。図4は、歪曲歪み量FAと画像中心からの距離Lとの間の関係の一例を示す図である。図4の縦軸は、歪曲歪み量FAであり、図4の横軸は画像中心からの距離Lである。図4において、縦軸の上方向は歪曲歪み量FAが大きくなる方向である。つまり、歪曲歪み量FA5が最も小さい値であり、歪曲歪み量FA0が最も大きい値である。横軸の右方向は距離Lが大きくなる方向である。つまり、距離L1が最も小さい値であり、距離L5が最も大きい値である。図4は、一例として、画角中心から離れる程、歪曲歪み量FAが小さくなる場合を示している。図4に示されるように、歪曲歪み量FAは、離散的な点(座標)の距離Lkに対応する離散的な値FAkとして与えられている。距離Lkは、単位距離nの間隔の離散的な点(座標)として与えられる。つまり、歪曲歪み量FAは、単位距離nの間隔の離散的な点(座標)の距離L0(=0),L1,L2,L3,・・・にそれぞれ対応する離散的な歪曲歪み量FA0,FA1,FA2,FA3,…として与えられている。なお、距離及び歪曲歪み量等で使用する「・・・」は、距離及び歪曲歪み量等が整数単位で続くことを示している。離散的な点と点との間の任意の点に対応する歪曲歪み量FAは、補間により算出することができる。たとえば線形補間法を使用する場合には、距離Lk及びLk+1の間の内分点の距離Lに対応する歪曲歪み量FA=FA(k,k+1,Δ)は、次式(2)で与えられる。
Next, the distortion
上式(2)において、Δは、距離Lの点と距離Lkの点との間の距離である。また式(2)において、n−Δは、距離Lの点と距離Lk+1の点との間の距離である。なお、上記方法に代えて、N次の補間多項式(Nは2以上の整数)を用いて任意の点に対応する歪曲歪み量FAを算出することも可能である。 In the above formula (2), delta is the distance between the points of the distance L k of the distance L. In Expression (2), n−Δ is the distance between the point of distance L and the point of distance L k + 1 . Instead of the above method, it is also possible to calculate the distortion amount FA corresponding to an arbitrary point using an Nth-order interpolation polynomial (N is an integer of 2 or more).
次に、歪補正処理部24は、注目画素の画素値を算出するために入力画像Is内の参照すべき画素の参照座標(x0,y0)を算出する。「参照座標」とは、参照する画素の座標であり、歪曲収差がない場合、参照座標は注目画素の座標と一致する。歪曲歪みが補正された出力画像Osの座標(x,y)と、実際に撮像された入力画像Isの参照座標(x0,y0)との間には歪曲収差に起因するズレが生じている。本実施の形態1では、歪曲収差は、撮像光学系の画角中心からの距離(像高)のみに依存するものと想定されている。参照座標(x0,y0)は、座標(x,y)に対応する歪曲歪み量FAを用いて次式(3)により算出される。
Next, the distortion
参照座標の値x0,y0は、入力画像Is内に実存する画素の座標値と一致するとは限らない。言い換えれば、参照座標の値x0,y0は、必ずしも整数値にならない。このため、歪補正処理部24は、参照すべき画素又はその周辺画素の画素値をサンプリングする。歪補正処理部24は、サンプリングした画素値を用いた補間処理を行う。歪補正処理部24は、この補間処理により出力画像Osの注目画素の画素値G(x,y)を算出することができる。
The reference coordinate values x 0 and y 0 do not always match the coordinate values of the pixels existing in the input image Is. In other words, the reference coordinate values x 0 and y 0 are not necessarily integer values. For this reason, the distortion
図5は、線形補間法により参照座標(x0,y0)の画素値を加重平均で補間する方法の説明図である。図5は、入力画像Isを表している。図5では、例えば、入力画像Isの横方向をX軸で表し、縦方向をY軸で表している。図5の横軸はX軸で、縦軸はY軸である。図5中、X軸の右方向は+X軸方向で、Y軸の下方向は+Y軸方向である。 FIG. 5 is an explanatory diagram of a method of interpolating pixel values of reference coordinates (x 0 , y 0 ) with a weighted average by a linear interpolation method. FIG. 5 shows the input image Is. In FIG. 5, for example, the horizontal direction of the input image Is is represented by the X axis, and the vertical direction is represented by the Y axis. The horizontal axis in FIG. 5 is the X axis, and the vertical axis is the Y axis. In FIG. 5, the right direction of the X axis is the + X axis direction, and the downward direction of the Y axis is the + Y axis direction.
図5に示されるように、参照座標(x0,y0)に対する周辺画素の座標(i,j)の画素値、座標(i+1,j)の画素値、座標(i,j+1)の画素値及び座標(i+1,j+1)の画素値を用いて参照座標(x0,y0)の画素値を補間することができる。参照座標(x0,y0)の画素値は、注目画素の画素値である。参照座標(x0,y0)は、左上の座標(i,j)から水平方向に距離Dxだけ離れて位置している。また、参照座標(x0,y0)は、左上の座標(i,j)から垂直方向に距離Dyだけ離れて位置している。入力画像Isにおける任意座標(p,q)の画素値をg(p,q)と表す。出力画像Osにおける注目画素の画素値をG(x,y)と表す。このとき、注目画素の画素値G(x,y)は、次式(4)を用いて算出される。 As shown in FIG. 5, the pixel value of the coordinates (i, j) of the peripheral pixels with respect to the reference coordinates (x 0 , y 0 ), the pixel value of the coordinates (i + 1, j), and the pixel value of the coordinates (i, j + 1) The pixel value of the reference coordinate (x 0 , y 0 ) can be interpolated using the pixel value of the coordinate (i + 1, j + 1). The pixel value of the reference coordinates (x 0 , y 0 ) is the pixel value of the target pixel. The reference coordinates (x 0 , y 0 ) are located at a distance Dx in the horizontal direction from the upper left coordinates (i, j). Further, the reference coordinates (x 0 , y 0 ) are located away from the upper left coordinates (i, j) by a distance Dy in the vertical direction. A pixel value at an arbitrary coordinate (p, q) in the input image Is is represented as g (p, q). The pixel value of the target pixel in the output image Os is represented as G (x, y). At this time, the pixel value G (x, y) of the target pixel is calculated using the following equation (4).
以上に説明したように、歪補正処理部24は、歪曲歪み量FAに応じた倍率Rdで入力画像Isを局所的に変形(拡大または縮小)する。これにより、歪補正処理部24は、入力画像Isの歪曲歪みを補正することができる。
As described above, the distortion
次に、倍率Rdの求め方について説明する。入力画像Isにおける注目画素の画像中心からの距離をHで表す。このとき距離Hは、実像高に対応する量である。「実像高」とは、レンズ歪み(収差)の影響を含め、実際に結像している像の像高である。距離Hは、理想的な像高に対応する距離Lとこれに対応する歪曲歪み量FAとの積となる。すなわち、距離Hは、H=FA×Lで表される。上述のように、「理想的な像高」とは、歪曲収差が無い場合の像高である。 Next, how to obtain the magnification Rd will be described. The distance from the image center of the target pixel in the input image Is is represented by H. At this time, the distance H is an amount corresponding to the real image height. The “real image height” is the image height of an image that is actually formed, including the influence of lens distortion (aberration). The distance H is the product of the distance L corresponding to the ideal image height and the distortion amount FA corresponding thereto. That is, the distance H is represented by H = FA × L. As described above, the “ideal image height” is an image height when there is no distortion.
前述の通り、本実施の形態1では、歪曲収差は、撮像光学系の画角中心からの距離(像高)のみに依存するものと想定されている。よって、距離Hは、距離Lを独立変数とする関数H=f(L)と表現することができる。歪曲歪みを補正するための撮像画像の局所的な変形(拡大または縮小)倍率をRdで表すとする。このとき倍率Rdは、Lに関するHの1次微分の逆数として表現することができる。倍率Rdは、次式(5)で与えられる。 As described above, in the first embodiment, it is assumed that the distortion aberration depends only on the distance (image height) from the center of the field angle of the imaging optical system. Therefore, the distance H can be expressed as a function H = f (L) with the distance L as an independent variable. Let Rd denote the local deformation (enlargement or reduction) magnification of the captured image for correcting distortion. At this time, the magnification Rd can be expressed as the reciprocal of the first derivative of H with respect to L. The magnification Rd is given by the following equation (5).
ここで、倍率Rd=1の場合は等倍を意味する。すなわち、撮像画像の拡大または縮小を行わない場合を意味する。倍率Rdの値が1より大きい場合には、歪み補正処理によって注目画素を中心とする画素領域の部分が拡大されることを意味する。また、倍率Rdの値が1より小さい場合には、歪み補正処理によって注目画素を中心とする局所的な画素領域の部分が縮小されることを意味する。 Here, the magnification Rd = 1 means equal magnification. That is, it means a case where the captured image is not enlarged or reduced. When the value of the magnification Rd is larger than 1, it means that the portion of the pixel area centered on the target pixel is enlarged by the distortion correction processing. On the other hand, when the value of the magnification Rd is smaller than 1, it means that the local pixel region portion centered on the target pixel is reduced by the distortion correction processing.
<パラメータ演算処理部22の動作説明>
次に、パラメータ演算処理部22の動作について説明する。
<Description of Operation of Parameter
Next, the operation of the parameter
図6は、入力画像Is中の注目画素と画像中心との間の関係を示す図である。図6は、入力画像Isを表している。図6では、例えば、入力画像Isの横方向をX軸で表し、縦方向をY軸で表している。図6の横軸はX軸で、縦軸はY軸である。図6中、X軸の右方向は+X軸方向で、Y軸の下方向は+Y軸方向である。図6中、左上の端は、原点(0,0)である。 FIG. 6 is a diagram illustrating a relationship between a target pixel in the input image Is and the image center. FIG. 6 shows the input image Is. In FIG. 6, for example, the horizontal direction of the input image Is is represented by the X axis, and the vertical direction is represented by the Y axis. The horizontal axis in FIG. 6 is the X axis, and the vertical axis is the Y axis. In FIG. 6, the right direction of the X axis is the + X axis direction, and the downward direction of the Y axis is the + Y axis direction. In FIG. 6, the upper left end is the origin (0, 0).
まず、パラメータ演算処理部22は、図6に示されるように、入力画像Is中の注目画素と画像中心との間の距離Liを算出する。注目画素の座標を(xi,yi)とする。画像中心の座標を(XC,YC)とする。このとき、次式(6)に従って距離Liを算出することができる。
First, as shown in FIG. 6, the parameter
次に、パラメータ演算処理部22は、式(6)によって算出された距離Liに基づいて倍率Rdを算出する。また、パラメータ演算処理部22は、倍率Rdの適用方向(撮像画像の拡大または縮小が発生する方向)を示すベクトル(s,t)のベクトルの成分s,tを算出する。倍率Rdは、上式(5)と同様の次式(7)で表現することができる。
Next, the parameter
よって、距離Liを、関数Li=f(L)として与えることができれば、その一次微分関数を用いて倍率Rdを算出することができる。関数Li=f(L)は、距離Lを独立変数とする多項式関数である。あるいは、上式(7)の近似式を用いて倍率Rdを算出することも可能である。図4に例示されるように、歪曲歪み量FAが離散的な値FAk(FA0,FA1,FA2,・・・)として与えられている場合には、L=Lk(=n×k)のとき、上式(7)から以下の近似式(7a)を導出することができる。近似式(7a)は、単位距離nが微小であることにより近似している。 Therefore, if the distance Li can be given as a function Li = f (L), the magnification Rd can be calculated using the primary differential function. The function Li = f (L) is a polynomial function having the distance L as an independent variable. Alternatively, the magnification Rd can be calculated using the approximate expression of the above expression (7). As illustrated in FIG. 4, when the distortion amount FA is given as a discrete value FA k (FA0, FA1, FA2,...), L = L k (= n × k) In this case, the following approximate expression (7a) can be derived from the above expression (7). The approximate expression (7a) is approximated by the small unit distance n.
よって、次の近似式(7b)を導出することができる。 Therefore, the following approximate expression (7b) can be derived.
図7は、近似式(7b)を用いて倍率Rdを算出する手順を示すフローチャートである。図7に示されるように、パラメータ演算処理部22は、まず、変数kを「1」に設定する(ステップS11)。次に、パラメータ演算処理部22は、距離Liが距離FAk・Lk未満であるか否かを判定する(ステップS12)。距離FAk・Lkは、距離Lkに対応する歪み補正前の画角中心から注目画素までの距離である。距離Liが距離FAk・Lk未満ではない場合(ステップS12のN)には、パラメータ演算処理部22は、変数kに1を加算して(ステップS13)、その後、ステップS12に処理を戻す。距離Liが距離FAk・Lk未満となった場合(ステップS12のY)には、最初にLi<FAk・Lkの式を満たす距離Lkが検出される。このとき、上式(7b)に従って倍率Rdが算出される(ステップS14)。なお、「Y」は分岐条件が真、「N」は分岐条件が偽の場合を示す。
FIG. 7 is a flowchart showing a procedure for calculating the magnification Rd using the approximate expression (7b). As shown in FIG. 7, the parameter
一方、パラメータ演算処理部22は、次式(8)に従って、ベクトル(s,t)の成分s,tを算出することができる。ベクトル(s,t)は、倍率Rdの適用方向(撮像画像の拡大または縮小が発生する方向)を示すベクトルである。
On the other hand, the parameter
なお、倍率Rdとベクトルの成分s,tとを算出する順序は逆であってもよい。パラメータ演算処理部22は、算出された倍率Rdとベクトル(s,t)とを動き検出処理部23に供給する。
The order of calculating the magnification Rd and the vector components s and t may be reversed. The parameter
<動き検出処理部23の動作説明>
次に、動き検出処理部23の動作について説明する。
<Description of Operation of Motion
Next, the operation of the motion
図2は、前記の通り、動き検出処理部23の基本構成を概略的に示す機能ブロック図である。図2に示されるように、動き検出処理部23は、フィルタリング制御部29と動き検出部30とを有する。
FIG. 2 is a functional block diagram schematically showing the basic configuration of the motion
動き検出部30は、フレームメモリ38と、差分器32と、ローパスフィルタ31と、絶対値処理部35と、ロークリップ処理部33と、ハイクリップ処理部34とを含む。ローパスフィルタ31は、時空間フィルタリング処理を行う。
The
フレームメモリ38は、入力画像Isを1フレーム期間遅延し、1フレーム遅延画像Ifdを出力する。つまり、1フレーム遅延画像Ifdは、フレームメモリ38を介して得られる。差分器32は、入力画像Isおよび1フレーム遅延画像Ifdを入力して、差分画像Diを生成する。そして、差分器32は、この差分画像Diをローパスフィルタ31に供給する。上述のように、「差分画像」とは、一方の画像の値をもう一方の画像の値から引いた値又は、その絶対値を対応した画素の値とする画像のことを言う。 The frame memory 38 delays the input image Is by one frame period and outputs a one-frame delayed image Ifd. That is, the one frame delayed image Ifd is obtained via the frame memory 38. The differentiator 32 receives the input image Is and the one-frame delayed image Ifd, and generates a difference image Di. Then, the differentiator 32 supplies the difference image Di to the low-pass filter 31. As described above, the “difference image” refers to an image in which the value of one image is subtracted from the value of the other image, or the absolute value thereof is the value of the corresponding pixel.
ローパスフィルタ31は、差分画像Diに対して、時空間フィルタリング処理をおこなう。「時空間フィルタリング処理」とは、画像などを時間方向にフィルタリング処理をおこなうことである。この時空間フィルタリング処理は、入力画像Isの注目画素の位置を含む参照範囲SA(サンプリング範囲)内の複数の画素に対しておこなわれる。「参照範囲」とは、フィルタリング対象範囲であり、注目画素を中心とする局所的な領域である。「参照範囲」は「サンプリング範囲」とも呼ばれる。ローパスフィルタ31は、フィルタリング制御部29から重み係数Kwを受ける。ローパスフィルタ31は、重み係数Kwに応じて参照範囲を設定し、時空間フィルタリング処理をおこなう。ローパスフィルタ31は、時空間フィルタリング処理を実行した画像DLPFを絶対値処理部35へ出力する。ローパスフィルタ31は、基準設定範囲を有する。「基準設定範囲」とは、レンズ歪みの影響を受けない画像位置での参照範囲である。フィルタリング制御部29は基準設定範囲を基準として参照範囲を可変に設定することができる。
The low-pass filter 31 performs a spatiotemporal filtering process on the difference image Di. “Spatio-temporal filtering processing” refers to performing filtering processing on an image or the like in the time direction. This spatiotemporal filtering process is performed on a plurality of pixels in the reference range SA (sampling range) including the position of the target pixel of the input image Is. The “reference range” is a filtering target range, and is a local region centered on the target pixel. The “reference range” is also called “sampling range”. The low pass filter 31 receives the weighting coefficient Kw from the
本実施の形態1では、時空間フィルタリング処理として平滑化(ローパスフィルタリング)が実行される。差分画像Diにおける入力画像Isの注目画素の位置の画素と、注目画素の周辺の画素との画素値の差が大きい場合には、注目画素と注目画素の周辺の画素とを平滑化の対象としないフィルタリング処理にしてもよい。 In the first embodiment, smoothing (low-pass filtering) is performed as the spatiotemporal filtering process. When the pixel value difference between the pixel at the position of the target pixel of the input image Is in the difference image Di and the pixels around the target pixel is large, the target pixel and the pixels around the target pixel are smoothed. The filtering process may not be performed.
図8(A)及び図8(B)は、基準参照範囲SAを説明する図である。図8(A)は、入力画像Isを表している。図8(B)は、入力画像Isの中の基準参照範囲SAを拡大して表している。図8(A)及び図8(B)では、例えば、入力画像Isの横方向をX軸で表し、縦方向をY軸で表している。図8(A)の横軸はX軸で、縦軸はY軸である。図8(A)中、X軸の右方向は+X軸方向で、Y軸の下方向は+Y軸方向である。図8(B)は、図8(A)中の基準参照範囲SAを拡大した図である。 8A and 8B are diagrams for explaining the reference reference range SA. FIG. 8A shows the input image Is. FIG. 8B shows an enlarged reference reference range SA in the input image Is. In FIGS. 8A and 8B, for example, the horizontal direction of the input image Is is represented by the X axis, and the vertical direction is represented by the Y axis. In FIG. 8A, the horizontal axis is the X axis, and the vertical axis is the Y axis. In FIG. 8A, the right direction of the X axis is the + X axis direction, and the downward direction of the Y axis is the + Y axis direction. FIG. 8B is an enlarged view of the reference reference range SA in FIG.
基準参照範囲SAは、座標(x,y)での注目画素Pc(x,y)を中心とするマトリクス状配列からなる。「マトリクス状配列」とは、例えば横方向及び縦方向に値を配した状態を指す。また、この配列は、(2M+1)×(2N+1)画素の配列である。ここで、N,Mは、1以上の整数である。ローパスフィルタ31は、まず基準参照範囲SA2内の画素値g(x−i,y−j)に重み係数(フィルタ係数)Kw(i,j)を乗算する。ローパスフィルタ31は、次にその乗算結果g(x−i,y−j)×Kw(i,j)を基準参照範囲SA2内の全ての画素について加算する。この動作によりローパスフィルタ31は、フィルタ画像の画素値DLPF(x,y)を算出する。具体的には、次式(9)に従って注目画素Pc(x,y)に対応するフィルタ画像DLPFの画素値DLPF(x,y)を算出することができる。入力画像Isのノイズ量が多く、ノイズ抑圧量を大きくする場合には、重み係数Kw(i,j)は各々が均一となるように設定される。また、ノイズ抑圧量を大きくする必要がなければ、注目画素に対する重み係数Kw(0,0)は他の重み係数Kwよりも大きく設定される。 The reference reference range SA is composed of a matrix-like arrangement centered on the pixel of interest Pc (x, y) at coordinates (x, y). “Matrix-like arrangement” refers to a state in which values are arranged in the horizontal and vertical directions, for example. This array is an array of (2M + 1) × (2N + 1) pixels. Here, N and M are integers of 1 or more. The low-pass filter 31 first multiplies the pixel value g (xi, yj) within the reference reference range SA2 by a weighting coefficient (filter coefficient) Kw (i, j). The low-pass filter 31 then adds the multiplication result g (xi, yj) × Kw (i, j) for all the pixels in the reference reference range SA2. By this operation, the low pass filter 31 calculates the pixel value DLPF (x, y) of the filter image. Specifically, the pixel value D LPF (x, y) of the filter image D LPF corresponding to the target pixel Pc (x, y) can be calculated according to the following equation (9). When the amount of noise in the input image Is is large and the amount of noise suppression is increased, the weighting coefficient Kw (i, j) is set to be uniform. Further, if it is not necessary to increase the noise suppression amount, the weighting coefficient Kw (0, 0) for the target pixel is set to be larger than the other weighting coefficients Kw.
ここで、重み係数Kw(i,j)の値は、全て正の値である。重み係数Kw(i,j)の総和は、1である。また、注目画素Pc(x,y)の画素値g(x,y)に乗ずるべき重み係数Kw(0,0)は、他の重み係数Kwよりも大きな値を有するように設定される。 Here, the values of the weighting coefficient Kw (i, j) are all positive values. The total sum of the weighting factors Kw (i, j) is 1. Further, the weighting coefficient Kw (0, 0) to be multiplied by the pixel value g (x, y) of the target pixel Pc (x, y) is set to have a larger value than the other weighting coefficients Kw.
フィルタリング制御部29は、重み係数Kw(i,j)の設定値を変えることでローパスフィルタ31の参照範囲SAを変更することが可能である。たとえば、重み係数Kw(i,j)の全ての値が零でないときには、参照範囲は基準参照範囲SA2と一致する。参照範囲が基準参照範囲SA2と一致したときには、参照範囲の広さは最大となる。重み係数Kw(i,j)のいくつかの値を零とすることで参照範囲の広さを基準参照範囲SA2よりも狭くすることができる。
The
絶対値処理部35は、フィルタ画像の画素値DLPFの絶対値を取る。そして、絶対値処理部35は、差分絶対値画像DABSを生成する。生成された差分絶対値画像DABSは、ロークリップ処理部33に供給される。
The absolute
ロークリップ処理部33は、クリップ処理機能を有する。このクリップ処理は、ロークリップ閾値THlo以下の振幅範囲内の入力信号レベルを一定の振幅の出力信号レベルに変換するものである。具体的には、ロークリップ処理部33は、差分絶対値画像DABSのうち振幅の小さい信号成分をカットすることにより信号レベルを変換する。差分絶対値画像DABSは、差分器32、ローパスフィルタ31及び絶対値処理部35により変換された画像である。ロークリップ処理部33は、ローパスフィルタ31による低域成分の抽出により画像のノイズ成分の抑圧を行う。ロークリップ処理部33は、ノイズ成分の影響による動きの誤検出を抑制する。ロークリップ処理部33の出力信号は、ハイクリップ処理部34に入力される。
The low
図9は、ロークリップ処理部33の入出力特性の一例を示す図である。図9の縦軸は、出力信号レベルを表し、横軸は入力信号レベルを表す。図9において、縦軸の上方向の方が高い出力信号レベルを示している。また、横軸の右方向の方が高い入力信号レベルを示している。図9に示されるように、ロークリップ処理部33では入力信号振幅がロークリップ閾値THlo以下となる低振幅範囲内の入力信号レベルの信号を零に変換している。「ロークリップ閾値THlo以下」とは、ロークリップ閾値が−THloから+THloまでのことである。このような変換によりノイズ成分の抑圧が行われている。
FIG. 9 is a diagram illustrating an example of input / output characteristics of the low
ハイクリップ処理部34は、ロークリップ処理部33の出力を入力とする。ハイクリップ処理部34は、クリップ処理機能を有する。このクリップ処理機能は、ハイクリップ閾値THhi以上の振幅範囲内の入力信号レベルを一定の振幅の出力信号レベルに変換するものである。ハイクリップ閾値THhiは、ロークリップ閾値THloよりも大きな値である。このように一定の振幅以上の信号をクリップすることにより、常に一定以上の動きが見られる被写体において、被写体の動きが停止した際の動きの変化が検出される。
The high clip processing unit 34 receives the output of the low
図10は、ハイクリップ処理部34の入出力特性の一例を示す図である。図10の縦軸は、出力信号レベルを表し、横軸は入力信号レベルを表す。図10において、縦軸の上方向の方が高い出力信号レベルを示している。また、横軸の右方向の方が高い入力信号レベルを示している。図10に示されるように、ハイクリップ処理部34は、入力信号の振幅がハイクリップ閾値THhi以上となる高振幅範囲内の入力信号のレベルをそれぞれ一定の出力信号のレベルに変換する。すなわち、ハイクリップ処理部34では、+THhi以上の入力信号レベルの信号が一定の出力信号レベル(+Ms)に変換される。また、ハイクリップ処理部34では、−THhi以下の入力信号レベルの信号が一定の出力信号レベル(−Ms)に変換される。 FIG. 10 is a diagram illustrating an example of input / output characteristics of the high clip processing unit 34. The vertical axis in FIG. 10 represents the output signal level, and the horizontal axis represents the input signal level. In FIG. 10, the upper direction of the vertical axis indicates a higher output signal level. The right direction on the horizontal axis indicates a higher input signal level. As shown in FIG. 10, the high clip processing unit 34 converts the level of the input signal within the high amplitude range where the amplitude of the input signal is equal to or higher than the high clip threshold THhi to a constant level of the output signal. That is, in the high clip processing unit 34, a signal having an input signal level equal to or higher than + THhi is converted to a constant output signal level (+ Ms). Further, in the high clip processing unit 34, a signal having an input signal level equal to or lower than -THhi is converted to a constant output signal level (-Ms).
フィルタリング制御部29は、倍率Rdが大きい程、ローパスフィルタ31の参照範囲SA(サンプリング範囲)を狭くする機能を有する。例えば、フィルタリング制御部29は、倍率Rdが大きい程、倍率Rdのベクトル(s,t)と平行な方向の参照範囲SAを狭くする機能を有する。そのため、フィルタリング制御部29は、ローパスフィルタ31に対して重み係数Kwを出力する。ベクトル(s,t)は、倍率Rdの適用方向を示す。フィルタリング制御部29は、ローパスフィルタ31の出力が、注目画素の位置に関わらず、その変形後の画素範囲の広さが基準参照範囲SA2の広さと等しくなるように参照範囲を定める。なお、ここでの「広さが等しい」とは、画素範囲の水平方向及び垂直方向の画素数が完全に一致するものでなく、前後一画素分の差を許容するものである。画素数が完全に一致しない場合に、一番近い値の広さとするものである。例えば、演算結果の値が小数点以下となり隣の画素に画素範囲が広がることなどが起こりうる。上記のように、画素範囲の広さを定めることにより、光学歪みによる画像中の被写体のサイズを均一化することができる。
The
また、フィルタリング制御部29は、ルックアップテーブルを有している。このルックアップテーブルは、動き検出パラメータR及びベクトル(s,t)の値の組み合わせとローパスフィルタ31の候補参照範囲SA21〜29との対応関係を示している。フィルタリング制御部29は、このルックアップテーブルを参照して、複数の候補参照範囲SA21〜29の中から動き検出パラメータR及びベクトル(s,t)の現在値に応じて参照範囲SAを選択することができる。
The
図11は、ローパスフィルタに適用される5×5画素の候補参照範囲SA21〜29を示す図である。図11(A)〜図11(I)の候補参照範囲SA21〜29は、一例として、それぞれ5×5画素のマトリクスで表されている。図11(A)〜図11(I)において、中央の太線で示した画素は、注目画素Pc(x,y)である。図11(A)の候補参照範囲SA21は、ローパスフィルタ31の基準参照範囲SA2である。候補参照範囲SA21は、歪曲歪みが零である場合に選択される参照範囲SAである。図11(A)〜図11(I)において、灰色に塗られた画素は、参照範囲SAから除かれた画素であることを意味する。例えば、図11(B)は、左端の一列及び右端の一列の画素が灰色で示されている。図11(B)においては、左端の一列及び右端の一列の画素が参照範囲SAから除かれた画素の領域である。 FIG. 11 is a diagram illustrating candidate reference ranges SA21 to 29 of 5 × 5 pixels applied to the low-pass filter. The candidate reference ranges SA21 to 29 in FIGS. 11A to 11I are each represented by a 5 × 5 pixel matrix as an example. In FIG. 11A to FIG. 11I, the pixel indicated by the central thick line is the target pixel Pc (x, y). The candidate reference range SA21 in FIG. 11A is the standard reference range SA2 of the low-pass filter 31. The candidate reference range SA21 is a reference range SA that is selected when the distortion is zero. In FIG. 11A to FIG. 11I, a pixel painted in gray means a pixel excluded from the reference range SA. For example, in FIG. 11B, the pixels in the leftmost column and the rightmost column are shown in gray. In FIG. 11B, a pixel region in which the pixels at the leftmost column and the rightmost column are excluded from the reference range SA.
同様に、図11(C)は、左端の二列及び右端の二列の画素が灰色で示されている。図11(D)は、上端の一行及び下端の一行の画素が灰色で示されている。図11(E)は、上端の二行及び下端の二行の画素が灰色で示されている。図11(F)は、右上部の3画素及び左下部の3画素が灰色で示されている。図11(G)は、右上部の6画素及び左下部の6画素が灰色で示されている。図11(H)は、左上部の3画素及び右下部の3画素が灰色で示されている。図11(I)は、左上部の6画素及び右下部の6画素が灰色で示されている。 Similarly, in FIG. 11C, the leftmost two columns and the rightmost two columns of pixels are shown in gray. In FIG. 11D, the pixels in the top row and the bottom row are shown in gray. In FIG. 11E, the upper two rows and the lower two rows of pixels are shown in gray. In FIG. 11F, the upper right three pixels and the lower left three pixels are shown in gray. In FIG. 11G, the upper right 6 pixels and the lower left 6 pixels are shown in gray. In FIG. 11H, the upper left three pixels and the lower right three pixels are shown in gray. In FIG. 11I, the upper left 6 pixels and the lower right 6 pixels are shown in gray.
図12(A)、図12(C)及び図12(E)は、候補参照範囲SA21,SA23,SA25に適用されるべき重み係数(フィルタ係数)Kwの例を示す図である。図12(A)、図12(C)及び図12(E)は、それぞれ図11(A)、図11(C)及び図11(E)に対応している。図12(A)、図12(C)及び図12(E)における重み係数Kwは、5×5画素のそれぞれの画素に対応した重み係数Kwとなる。 12A, 12C, and 12E are diagrams illustrating examples of weighting coefficients (filter coefficients) Kw to be applied to the candidate reference ranges SA21, SA23, and SA25. FIGS. 12A, 12C, and 12E correspond to FIGS. 11A, 11C, and 11E, respectively. The weighting coefficient Kw in FIGS. 12A, 12C, and 12E is a weighting coefficient Kw corresponding to each of 5 × 5 pixels.
例えば、図12(A)の候補参照範囲SA21の左上の端の画素の重み係数Kwは、1/256である。また、図12(A)の候補参照範囲SA21の注目画素Pc(x,y)の重み係数Kwは、35/256である。同様に、図12(C)の候補参照範囲SA23の注目画素Pc(x,y)の重み係数Kwは、6/16である。また、図12(E)の候補参照範囲SA25の注目画素Pc(x,y)の重み係数Kwは、6/16である。 For example, the weight coefficient Kw of the upper leftmost pixel of the candidate reference range SA21 in FIG. Further, the weighting factor Kw of the target pixel Pc (x, y) in the candidate reference range SA21 in FIG. 12A is 35/256. Similarly, the weighting factor Kw of the target pixel Pc (x, y) in the candidate reference range SA23 in FIG. 12C is 6/16. Further, the weighting coefficient Kw of the target pixel Pc (x, y) in the candidate reference range SA25 in FIG. 12E is 6/16.
図13は、図2のローパスフィルタ31に適用される参照範囲SAを選択するために予め用意されたルックアップテーブルの一例を示す図である。図13は、角度Aと倍率Rdとの関係を示す。 FIG. 13 is a diagram showing an example of a lookup table prepared in advance for selecting the reference range SA applied to the low-pass filter 31 of FIG. FIG. 13 shows the relationship between the angle A and the magnification Rd.
図14は、方向パラメータs,tと角度Aとの関係を示す図である。図14は、ベクトル(s,t)の成分s,tをXY直交座標系にプロットした図である。X軸は成分sを表している。Y軸は成分tを表している。X軸は、図14中の右側に行く程大きな値となる。Y軸は、図14中の下側に行く程大きな値となる。X軸とY軸との交点はベクトル(0,0)となる。 FIG. 14 is a diagram illustrating the relationship between the direction parameters s and t and the angle A. FIG. 14 is a diagram in which the components s and t of the vector (s, t) are plotted in the XY orthogonal coordinate system. The X axis represents the component s. The Y axis represents the component t. The X axis becomes larger as it goes to the right side in FIG. The Y axis increases as it goes downward in FIG. The intersection of the X axis and the Y axis is a vector (0, 0).
図13にしめす角度Aは、図14に示されるように、原点に対する座標(s,t)の角度を−180°から180°の範囲で表した値である。図14は、ベクトル(s,t)の成分s,tをXY直交座標系にプロットした図である。角度Aは、X軸の正方向(図14中右側)を0度とし、半時計周りの角度を正とする。図13のルックアップテーブルには、図11(A)〜図11(I)における候補参照範囲SAが記載されている。図13の角度Aは、45度の範囲で区切られている。例えば、−22.5度より大きく+22.5度以下の範囲を1つの範囲としている。図13の倍率Rは、「Rd≦2.0」、「2.0<Rd≦3.0」及び「3.0<Rd」の3つの区分に区切って示している。 The angle A shown in FIG. 13 is a value representing the angle of the coordinates (s, t) with respect to the origin in the range of −180 ° to 180 ° as shown in FIG. FIG. 14 is a diagram in which the components s and t of the vector (s, t) are plotted in the XY orthogonal coordinate system. For the angle A, the positive direction of the X axis (right side in FIG. 14) is 0 degree, and the counterclockwise angle is positive. In the lookup table of FIG. 13, the candidate reference ranges SA in FIGS. 11A to 11I are described. The angle A in FIG. 13 is divided within a range of 45 degrees. For example, a range greater than −22.5 degrees and less than or equal to +22.5 degrees is defined as one range. The magnification R in FIG. 13 is divided into three sections of “Rd ≦ 2.0”, “2.0 <Rd ≦ 3.0”, and “3.0 <Rd”.
図2に示すフィルタリング制御部29は、図13に示すルックアップテーブルを参照して、動き検出パラメータRm及びベクトル(s,t)の組み合わせに対応する参照範囲SAを複数の候補参照範囲SA21〜29の中から選択することができる。
The
また、図13に示すルックアップテーブルに示されるように、倍率Rdが大きくなる程、ローパスフィルタ31の参照範囲SA(サンプリング範囲)は段階的に狭くなることが分かる。たとえば、図13に示されるように、−180度<A<−157.5度の範囲では、ローパスフィルタ31の適用範囲は、Rd≦2.0のときに範囲SA21が選択される。また、ローパスフィルタ31の適用範囲は、2.0<Rd≦3.0のときに範囲SA21よりも狭い範囲SA22が選択される。さらに、ローパスフィルタ31の適用範囲は、Rd>3.0のときに範囲SA22よりも狭い範囲SA23が選択される。 Further, as shown in the look-up table shown in FIG. 13, it can be seen that the reference range SA (sampling range) of the low-pass filter 31 is gradually reduced as the magnification Rd increases. For example, as shown in FIG. 13, in the range of −180 degrees <A <−157.5 degrees, the range SA21 is selected as the application range of the low-pass filter 31 when Rd ≦ 2.0. In addition, as the application range of the low-pass filter 31, a range SA22 that is narrower than the range SA21 is selected when 2.0 <Rd ≦ 3.0. Further, as the application range of the low pass filter 31, a range SA23 narrower than the range SA22 is selected when Rd> 3.0.
また、倍率Rdが大きくなると、ローパスフィルタ31の参照範囲は、主に、ベクトル(s,t)と平行な方向に段階的に狭くなることも分かる。ベクトル(s,t)の方向は、倍率Rdの適用方向である。たとえば、図13に示されるように、A=0度を中心とする−22.5度<A≦+22.5度の範囲内では、以下のようになる。ローパスフィルタ312の参照範囲SAは、倍率Rdが大きくなる程、基準参照範囲SA21から候補参照範囲SA22に切り換えられる。また、ローパスフィルタ312の参照範囲SAは、倍率Rdが大きくなる程、候補参照範囲SA22から候補参照範囲SA23に切り換えられる。つまり、ローパスフィルタ312の参照範囲SAは、倍率Rdが大きくなる程、角度A=0度の角度方向(X軸方向)に段階的に狭くなる。 It can also be seen that when the magnification Rd is increased, the reference range of the low-pass filter 31 is gradually reduced in a direction parallel to the vector (s, t). The direction of the vector (s, t) is the application direction of the magnification Rd. For example, as shown in FIG. 13, within the range of −22.5 degrees <A ≦ + 22.5 degrees centering on A = 0 degrees, the following is obtained. The reference range SA of the low-pass filter 312 is switched from the standard reference range SA21 to the candidate reference range SA22 as the magnification Rd increases. Further, the reference range SA of the low-pass filter 312 is switched from the candidate reference range SA22 to the candidate reference range SA23 as the magnification Rd increases. That is, the reference range SA of the low-pass filter 312 is gradually reduced in the angle direction (X-axis direction) where the angle A = 0 degrees as the magnification Rd increases.
<動き検出処理装置23の効果>
次に、実施の形態1の効果について説明する。
<Effect of the motion
Next, the effect of
上記のように本実施の形態1の動き検出処理装置23は、ローパスフィルタ31などの時空間フィルタリング処理を行う。上記の時空間フィルタリング処理は、画像に重畳されているノイズ成分の影響を低減することができる。このため、本実施の形態1の動き検出処理装置23は、動きの誤検出を低減できる効果がある。
As described above, the motion
上記のように本実施の形態1の動き検出処理装置23におけるフィルタリング制御部29は、入力画像Isの局所的な歪曲歪み量FAに応じた倍率Rdに応じてローパスフィルタ31の参照範囲SA(サンプリング範囲)の広さを動的に変更する。よって、フィルタリング制御部29は、倍率Rdが大きい程、参照範囲SAを狭くする。倍率Rdの大きい部分は、光学歪みの影響を大きく受ける部分である。このため、一般に、倍率Rdの大きい部分においては、被写体は小さくなる。被写体が小さくなれば、被写体の動きが検出されにくくなる。本実施の形態1の動き検出処理装置23におけるフィルタリング制御部29は、倍率Rdが大きい程、参照範囲SAを狭くすることにより、光学歪みの影響を大きく受ける倍率Rdの大きい部分においても、被写体の動きが検出されなくなることを防ぐ。
As described above, the
歪曲歪みを有する入力画像Is内の被写体が歪み補正処理により引き伸ばされた場合には、目視で確認できるにも関わらず、動きが検出されないことが起こりうる。図1の歪補正処理部24の歪み補正処理は、フィルタリング制御部29の上記の動作により、目視で確認できるにも関わらず、動きが検出されない現象を抑制することができる。
When the subject in the input image Is having distortion is stretched by the distortion correction processing, it is possible that the motion is not detected although it can be visually confirmed. The distortion correction processing of the distortion
また、フィルタリング制御部29は、歪んだ画像内を移動する被写体に対する動き検出精度の均一性を向上することができる。これは、フィルタリング制御部29が、ベクトル(s,t)の方向と平行な方向に参照範囲SAを狭くすることによる。ベクトル(s,t)の方向は、倍率Rdの適用方向である。ベクトル(s,t)の方向と平行な方向に参照範囲SAを狭くすることは、参照範囲SAが、常に基準参照範囲SA2の広さと等しくなるからである。基準参照範囲SA2は、倍率Rdが1.0のときの参照範囲SAである。
Further, the
また、フィルタリング制御部29は、倍率Rdに応じて参照範囲SAの広さを変更する際の演算負荷を低減することができる。上記の演算負荷の低減は、フィルタリング制御部29において、ルックアップテーブルを参照してローパスフィルタ31の参照範囲SAを動的に決定することとしたことによる。
Further, the
上記のように本実施の形態1の動き検出処理装置23の出力は、動き検出情報Mvとして出力される。動き検出情報Mvは例えば、画像信号を演算処理する場合に、動き検出情報の結果により演算処理を制御することで動きぼけのない演算をする場合に用いられる。
As described above, the output of the motion
実施の形態2.
次に、本発明に係る実施の形態2について説明する。本実施の形態2の動き検出処理装置の構成は、図2のフィルタリング制御部29の一部の動作を除いて、実施の形態1の動き検出処理装置23の構成と同じである。このため、図1及び図2を参照しつつ実施の形態2について説明する。上記実施の形態1では、フィルタリング制御部29は、ルックアップテーブルを参照してローパスフィルタ31の参照範囲SAを動的に決定していた。しかし、本実施の形態2のフィルタリング制御部29は、倍率Rdとベクトル(s,t)の成分s,tとを入力として、ローパスフィルタ31の参照範囲SAを定める画素位置を演算処理により算出する。
Next, a second embodiment according to the present invention will be described. The configuration of the motion detection processing device of the second embodiment is the same as the configuration of the motion
実施の形態1と同一の構成要素には同一の符号を付しその説明を省略する。実施の形態1と同一の構成要素は、パラメータ制御部22、歪補正制御部24及び動き検出部30である。なお、フィルタリング制御部は、実施の形態1のフィルタリング制御部29と上述の相違点を有するが、同一の符号「29」を用いて説明する。なお、実施の形態1と同じ構成要素の構成、機能又は動作等は、実施の形態2で説明を省いた場合でも、実施の形態1の記載を代用する。また、実施の形態2の中で説明した、実施の形態1に関する記載は、実施の形態1の説明として用いる。
The same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted. The same components as those in the first embodiment are a
図15は、本実施の形態の基準参照範囲SA2の一例を概略的に示す図である。図15において、整数Nは行を示す。また、図15において、整数Mは列を示す。図15では、N=4であり、M=4である。この基準参照範囲SA2は、注目画素Pcを中心とする(2M+1)×(2N+1)画素のマトリクス状の配列からなる。ここで、整数M,Nは、1以上の整数である。実施の形態1の場合と同様に、ローパスフィルタ31は、参照範囲の広さと等しい広さの基準参照範囲を有する。また、図15には、各画素に局所的な座標が示されている。注目画素Pcの座標は(0,0)である。 FIG. 15 is a diagram schematically showing an example of the reference reference range SA2 of the present embodiment. In FIG. 15, the integer N indicates a row. In FIG. 15, an integer M indicates a column. In FIG. 15, N = 4 and M = 4. This reference reference range SA2 is composed of a matrix-like arrangement of (2M + 1) × (2N + 1) pixels centered on the target pixel Pc. Here, the integers M and N are integers of 1 or more. As in the case of the first embodiment, the low-pass filter 31 has a standard reference range having the same width as the reference range. FIG. 15 shows local coordinates for each pixel. The coordinates of the target pixel Pc are (0, 0).
フィルタリング制御部29は、ローパスフィルタ31における基準参照範囲SA2内の全ての画素の座標(a,b)を次の変換式(10)に従って座標(p,q)に変換する。なお、整数aは、−M〜+Mの範囲内の整数である。また、整数bは、−N〜+Nの範囲内の整数である。
The
式(10)において、行列Rx(A)は、入力画像Isの局所的な変形における拡大の方向または縮小の方向がX軸と一致するように座標の回転を行う回転行列である。式(10)において、行列S(1/Rd)は、X軸方向に倍率Rdの逆倍率1/Rdで座標位置を変化させる行列である。式(10)において、行列Rx(−A)は、Rx(A)の逆行列である。
In Expression (10), a matrix Rx (A) is a rotation matrix that rotates coordinates so that the enlargement direction or the reduction direction in the local deformation of the input image Is matches the X axis. In Expression (10), the matrix S (1 / Rd) is a matrix that changes the coordinate position in the X-axis direction at a
上式(10)を整理すると、次式(10a)が得られる。 When the above equation (10) is arranged, the following equation (10a) is obtained.
フィルタリング制御部29は、上式(10a)を用いて算出された座標の集合{(p,q)}で特定される範囲を参照範囲SAとして指定する。なお、「集合{}」は、{}内の条件を満たす要素の集まりのことである。これにより、フィルタリング制御部29は、倍率Rdとベクトル(s,t)の成分s,tとに応じてローパスフィルタ31の参照範囲SA(サンプリング範囲)の広さを変更する。フィルタリング制御部29は、倍率Rdが大きい程、参照範囲SAを狭くすることができる。
The
また、フィルタリング制御部29は、歪補正処理部24で行われる入力画像Isを変形する方向に垂直な方向については参照範囲SAを変形しない。フィルタリング制御部29は、倍率Rdの適用方向であるベクトル(s,t)の方向と平行な方向に参照範囲SAを狭くすることができる。
Further, the
さらには、図1の歪補正処理部24は、入力画像Isに対する参照範囲を変形(拡大または縮小)することで画素範囲の歪曲歪みを補正する。一方、フィルタリング制御部29は、ローパスフィルタ31について、注目画素の位置に関わらず、変形後の画素範囲の広さが基準参照範囲SA21の広さと等しくなるように参照範囲SAを定めることができる。なお、変形後の画素範囲の広さは、基準参照範囲SA21の広さに対して前後一画素分の差を許容する。これは、演算結果の値が小数点以下となり隣の画素に画素範囲が広がることなどが起こりうるからである。
Furthermore, the distortion
したがって、実施の形態2に係る動き検出処理装置23は、実施の形態1の場合と同様に、歪曲歪みを有する画像において、被写体が画角のいずれにあっても同じ精度で被写体の動きを検出することができる。つまり、実施の形態2に係る動き検出処理装置23は、被写体が入力画像Is内のどの位置にあっても同じ精度で被写体の動きを検出することができる。
Therefore, as in the case of the first embodiment, the motion
また、実施の形態2に係る動き検出処理装置23は、変換式(10a)を使用して参照範囲SAが動的に決定するので、実施の形態1の場合のようにルックアップテーブルのデータを予め用意し保持する必要がない。さらに実施の形態2に係る動き検出処理装置23は、倍率Rd及び倍率Rdの適用方向について高い分解能で参照範囲SAの変更を行うことができる。
In addition, since the motion
実施の形態3.
次に、本発明に係る実施の形態3について説明する。図16は、実施の形態3の動き検出処理部23Bの構成を概略的に示す図である。本実施の形態3の動き検出処理装置23Bの構成は、動き検出パラメータ算出処理部37、ロークリップ処理部33A及びハイリップ処理部33Bの構成を除いて、上記実施の形態1の動き検出処理部23の構成と同じである。
Embodiment 3 FIG.
Next, a third embodiment according to the present invention will be described. FIG. 16 is a diagram schematically illustrating the configuration of the motion detection processing unit 23B according to the third embodiment. The configuration of the motion detection processing device 23B of the third embodiment is the same as that of the first embodiment except for the configuration of the motion detection parameter calculation processing unit 37, the low
実施の形態1と同一の構成要素には同一の符号を付しその説明を省略する。実施の形態1と同一の構成要素は、パラメータ演算処理部22、歪補正処理部24、フィルタリング制御部29、フレームメモリ38、差分器32、ローパスフィルタ31及び絶対値処理部35である。なお、実施の形態1と同じ構成要素の構成、機能又は動作等は、実施の形態3で説明を省いた場合でも、実施の形態1の記載を代用する。また、実施の形態3の中で説明した、実施の形態1に関する記載は、実施の形態1の説明として用いる。また、実施の形態3に実施の形態2で説明したフィルタリング制御部29を適用することもできる。実施の形態2のフィルタリング制御部29は、倍率Rdとベクトル(s,t)の成分s,tとを入力として、ローパスフィルタ31の参照範囲SAを定める画素位置を演算処理により算出する。
The same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted. The same components as those of the first embodiment are a parameter
図16に示されるように、動き検出処理部23Bは、上記実施の形態1の動き検出処理部23と同様にフィルタリング制御部29と動き検出部30Aとを有する。動き検出処理部23Bは、さらに動き検出パラメータ算出処理部37を有する。
As illustrated in FIG. 16, the motion detection processing unit 23B includes a
動き検出パラメータ算出処理部37は、パラメータ演算処理部22が出力する倍率Rdを入力する。倍率Rdは動き検出パラメータRmの1つのパラメータ値である。動き検出パラメータ算出処理部37は、ロークリップ処理部33Aに対してロークリップ閾値THloを出力する。同様に、動き検出パラメータ算出処理部37は、ハイリップ処理部33Bに対してハイクリップ閾値THhiを出力する。これにより、動き検出パラメータ算出処理部37は、倍率Rdに応じて、ロークリップ処理部33Aのロークリップ閾値THlo及びハイクリップ処理部34Aのハイクリップ閾値THhiを動的に変更する機能を有する。例えば、倍率Rdが大きいとき、動き検出パラメータ算出処理部37はロークリップ処理部33Aにおけるロークリップ閾値THloを大きい値に変更する。また、倍率Rdが大きいとき、動き検出パラメータ算出処理部37はハイクリップ処理部34Aにおけるハイクリップ閾値THhiを小さい値に変更する。
The motion detection parameter calculation processing unit 37 receives the magnification Rd output by the parameter
ロークリップ処理部33Aは、差分絶対値画像DABS及びロークリップ閾値THloを入力する。そして、ロークリップ処理部33Aはロークリップ信号DLCを出力する。また、ハイクリップ処理部33Bは、ロークリップ信号DLC及びハイクリップ閾値THhiを入力する。そして、ハイクリップ処理部33Bはハイクリップ信号DHCを出力する。
The low
図17は、倍率Rdとロークリップ閾値THloとの関係を示すルックアップテーブルを表す図である。また、図17は、倍率Rdとハイクリップ閾値THhiとの関係を示すルックアップテーブルを表す図である。 FIG. 17 is a diagram illustrating a look-up table showing the relationship between the magnification Rd and the low clip threshold THlo. FIG. 17 is a diagram illustrating a look-up table showing the relationship between the magnification Rd and the high clip threshold THhi.
図17には、ロークリップ処理部33Aのクリップ値及びハイクリップ処理部34Aのクリップ値が示されている。動き検出パラメータ算出処理部37は、図17のルックアップテーブルを参照して、倍率Rdの現在値に対応するロークリップ閾値THlo及びハイクリップ閾値THhiを得ることができる。図17において、例えば、倍率Rdの値が0.0のときは、ロークリップ閾値THloは0であり、ハイクリップ閾値THhiは40である。また、倍率Rdの値が1.0のときは、ロークリップ閾値THloは8であり、ハイクリップ閾値THhiは40である。
FIG. 17 shows the clip value of the low
図17によれば、ロークリップ処理部33Aに対するロークリップ閾値THloは、倍率Rdが大きくなる程、段階的に高くなる。また、ハイクリップ処理部33Aに対するハイクリップ閾値THhiは、倍率Rdが大きくなる程、段階的に低くなる。
According to FIG. 17, the low clip threshold THlo for the low
上記のように実施の形態3では、倍率Rdの現在値に応じて動き検出処理のパラメータを変動させる。パラメータを変動させることにより、実施の形態3では、倍率Rdの大きい部分に対して局所的に動き検出の判定条件を細かく調整する。倍率Rdの大きい部分は、画像の歪みの影響が大きい部分である。また、パラメータを変更することにより、実施の形態3では、歪んだ画像内を同一の被写体が移動する際の、動き検出精度の均一性をより高めることができる。 As described above, in the third embodiment, the parameter of the motion detection process is changed according to the current value of the magnification Rd. By varying the parameters, the third embodiment finely adjusts the determination condition for motion detection locally in a portion with a large magnification Rd. A portion where the magnification Rd is large is a portion where the influence of image distortion is large. Further, by changing the parameters, in Embodiment 3, the uniformity of motion detection accuracy when the same subject moves in a distorted image can be further improved.
実施の形態4.
次に、本発明に係る実施の形態4について説明する。実施の形態4は、実施の形態1〜3の動き検出処理装置のいずれか1つを有する撮像装置1の構成について説明するものである。
Next, a fourth embodiment according to the present invention will be described. The fourth embodiment describes the configuration of the
図18は、実施の形態4の撮像装置1の概略構成を示すブロック図である。図18に示されるように、撮像装置1は、撮像光学系(レンズ機構)11、CCD画像センサ12、フロントエンド部13、A/D変換器(ADC)14、駆動回路15、タイミングジェネレータ16及び制御回路2を有している。
FIG. 18 is a block diagram illustrating a schematic configuration of the
制御回路2は、信号処理部20、画像処理部21B、制御部40、メモリ41及び外部インタフェース部(外部I/F部)42を有する。これら構成要素20,21B,40,41,42は、バス43を介して相互に接続されている。制御部40は、制御回路2の全体動作を制御するMPU(Micro Processing Unit)である。画像処理部21Bは、上記実施の形態1〜3の動き検出処理装置を含む画像処理装置のいずれか1つと同じ構成を有する。メモリ41は、ROM41A及びRAM41Bを有する。
The
撮像光学系(レンズ機構)11は、前側レンズ110、開口絞り111及び後側レンズ112を有する。CCD画像センサ12は、例えば、単板式の固体撮像素子であり、単一の色フィルタアレイ121と単一のCCD素子122とを有する。色フィルタアレイ121は、互いに異なるN個の波長域の色の光をそれぞれ透過させるN種類の色フィルタ(Nは2以上の正整数)を周期的に且つ面状に配列したものであればよい。本実施の形態4では、色フィルタアレイ121の色フィルタ配列として原色系のベイヤ配列を使用することができる。しかし、これに限定されるものではなく、補色系のベイヤ配列を使用してもよい。なお、CCD画像センサに代えて、CMOS画像センサなどの他の固体撮像素子を使用してもよい。
The imaging optical system (lens mechanism) 11 includes a
タイミングジェネレータ16は、駆動タイミング信号を発生して駆動回路15に供給する。駆動回路15は、タイミングジェネレータ16から出力された駆動タイミング信号に応じてCCD画像センサ12を駆動するための駆動信号を生成する。CCD画像センサ12は、この駆動信号に基づいて、光電変換及び電荷転送を行う。
The
撮像光学系11は、前側レンズ110、開口絞り111及び後側レンズ112を経て、被写体の光学像をCCD画像センサ12に送る。CCD画像センサ12は、単一の色フィルタアレイ121を経て、単一のCCD素子122の撮像面上に被写体の光学像を合焦する。「合焦」とは、カメラを用いた撮影においてピントが合うことを言う。CCD画像センサ12で光電変換して得られた撮像信号は、フロントエンド部13に転送される。フロントエンド部13は、撮像信号に対して、相関二重サンプリング(CDS:Correllated Double Sampling)処理及びプログラマブル利得増幅(PGA:Programmable Gain Amplifier)を実行する。そして、フロントエンド部13は、上記の実行をした結果得られたアナログ信号をADC14に出力する。ここで、CDS処理は、CCD画像センサ12から出力される撮像信号からノイズなどの不要な成分を除去する処理である。ADC14は、フロントエンド部13の出力信号をデジタル信号に変換する。そしてADC14は、このデジタル信号を制御回路2の信号処理部20に供給する。
The imaging
信号処理部20は、ADC14の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理及び色補正処理などを施して得られる映像信号をバス43に出力する。バス43は、制御部40による制御を受けて、映像信号をメモリ41のRAM(Random Access Memory)41Bに転送する。画像処理部21Bは、RAM41Bから映像信号を読み出して、上記の時空間フィルタリングとクリップ処理と動き検出ノイズ抑圧強度調整処理とを実行することができる。
The
なお、上記画像処理部21Bの機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。たとえば、不揮発性メモリであるROM(Read Only Memory)41Aからコンピュータプログラムをロードし実行することによって画像処理部21Bの機能を実現することができる。画像処理部21Bは、上記実施の形態1〜3の動き検出処理装置を含む画像処理装置のいずれかと同じ構成を有し、生成された画像が、外部I/F部42から出力される。
Note that all or part of the functions of the
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、ロークリップ処理部33及びハイクリップ処理部34に代えて、ルックアップテーブル回路を用いてもよい。
Although various embodiments according to the present invention have been described above with reference to the drawings, these are examples of the present invention, and various forms other than the above can be adopted. For example, a lookup table circuit may be used in place of the low
また、歪補正処理部24を搭載せずに、例えば入力された魚眼画像をそのまま出力画像とする構成としてもよい。
Further, for example, an input fisheye image may be directly used as an output image without mounting the distortion
また、上記実施の形態1〜3では、歪曲歪み量FAは、図4に例示したように距離Lに対応する値として与えられるものであった。しかし、これに代えて、X座標値とY座標値との組に対応する値として与えられてもよい。 In the first to third embodiments, the distortion FA is given as a value corresponding to the distance L as illustrated in FIG. However, instead of this, it may be given as a value corresponding to a set of an X coordinate value and a Y coordinate value.
なお、上述の各実施の形態においては、「平行」や「垂直」などの部品間の位置関係もしくは部品の形状を示す用語を用いている場合がある。これらは、製造上の公差や組立て上のばらつきなどを考慮した範囲を含むことを表している。このため、請求の範囲に部品間の位置関係もしくは部品の形状を示す記載をした場合には、製造上の公差又は組立て上のばらつき等を考慮した範囲を含むことを示している。 In each of the above-described embodiments, there are cases where terms such as “parallel” or “vertical” are used to indicate the positional relationship between components or the shape of the components. These represent that a range that takes into account manufacturing tolerances and assembly variations is included. For this reason, when the description showing the positional relationship between the parts or the shape of the part is included in the claims, it indicates that the range including a manufacturing tolerance or an assembly variation is taken into consideration.
また、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。 Moreover, although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments.
1 撮像装置、2 制御回路、11 撮像光学系、12 CCD画像センサ、13 フロントエンド部(アナログ信号処理部)、14 A/D変換器(ADC)、15 駆動回路、16 タイミングジェネレータ、20 信号処理部、21,21B 画像処理装置(画像処理部)、22 パラメータ演算処理部、23,23B 動き検出処理部、24 歪補正処理部、29 フィルタリング制御部、30,30A 動き検出部、31 ローパスフィルタ、32 差分器、33,33A ロークリップ処理部、34,34A ハイクリップ処理部、35 絶対値処理部、37 動き検出パラメータ算出処理部、38 フレームメモリ、40 制御部、41 メモリ、41A ROM、41B RAM、42 外部I/F部、43 バス、110 前側レンズ、111 開口絞り、112 後側レンズ、121 色フィルタアレイ、122 CCD素子。
DESCRIPTION OF
Claims (8)
前記入力画像中の注目画素を含む参照範囲内の複数画素に対して時空間フィルタリングを実行して得られた値の時系列変化により、入力画像中の被写体の動き検出を行う動き検出部と、
前記入力画像中の注目画素の前記結像倍率が大きい程、前記参照範囲を狭くするフィルタリング制御部と
を備えたことを特徴とする動き検出処理装置。 In the motion detection processing apparatus for processing an input image in which distortion occurs due to the imaging magnification of the imaging optical system being different between the vicinity of the central axis of the angle of view and the peripheral portion near the central axis,
A motion detection unit that detects a motion of a subject in the input image based on a time-series change in values obtained by performing spatiotemporal filtering on a plurality of pixels in a reference range including the target pixel in the input image;
A motion detection processing apparatus, comprising: a filtering control unit that narrows the reference range as the imaging magnification of a target pixel in the input image increases.
ことを特徴とする請求項1に記載の動き検出処理装置。 When the distortion amount is zero, the filtering control unit sets the reference range as a reference reference range, and when the distortion amount is not zero, the area of the pixel range in which the distortion has occurred is The motion detection processing apparatus according to claim 1, wherein the reference range is determined to be equal to an area of a reference reference range.
ことを特徴とする請求項1または2に記載の動き検出処理装置。 The said filtering control part narrows the said reference range in the direction parallel to the direction where the expansion or contraction of the said input image generate | occur | produces, so that the said image formation magnification of the said input image is large. 3. The motion detection processing apparatus according to 2.
前記入力画像を入力しフレーム単位の遅延をおこないフレーム遅延信号を出力するフレームメモリと、
前記入力画像と前記フレーム遅延信号の差分信号を出力する差分器と、
前記差分信号を演算処理した信号について、指定された振幅範囲のうち第1閾値以下の低振幅範囲内の入力信号レベルを前記第1閾値よりも低い振幅の第1の出力信号レベルに変換するロークリップ処理部と、
前記差分信号を演算処理した信号について、指定された振幅範囲のうち前記第1閾値よりも大きな第2閾値以上の高振幅範囲内の入力信号レベルを一定の振幅の第2の出力信号レベルに変換するハイクリップ処理部と
を有する
ことを特徴とする請求項1から3のうちのいずれか1項に記載の動き検出処理装置。 The motion detection processing unit
A frame memory that inputs the input image, delays in frame units, and outputs a frame delay signal;
A differentiator for outputting a difference signal between the input image and the frame delay signal;
For a signal obtained by performing arithmetic processing on the differential signal, a low level signal that converts an input signal level in a low amplitude range equal to or lower than a first threshold value in a specified amplitude range to a first output signal level having an amplitude lower than the first threshold value. A clip processing unit;
For a signal obtained by performing arithmetic processing on the differential signal, an input signal level in a high amplitude range not less than a second threshold value that is greater than the first threshold value in a specified amplitude range is converted to a second output signal level having a constant amplitude. The motion detection processing device according to claim 1, further comprising: a high clip processing unit configured to perform the processing.
ことを特徴とする請求項4に記載の動き検出処理装置。 A detection parameter calculation processing unit that changes a low clip threshold value in the low clip processing unit to a large value and changes a high clip threshold value in the high clip processing unit to a small value when the magnification is changed to a large value; The motion detection processing apparatus according to claim 4.
ことを特徴とする画像処理装置。 An image processing apparatus comprising the motion detection processing apparatus according to claim 1.
ことを特徴とする撮像装置。 An imaging apparatus comprising the motion detection processing apparatus according to claim 1.
前記入力画像中の注目画素を含む参照範囲内の複数画素に対して時空間フィルタリングを実行して得られた値の時系列変化により、入力画像中の被写体の動き検出を行うステップと、
前記入力画像の前記結像倍率が大きい程、前記参照範囲を狭くするステップと
を備えたことを特徴とする動き検出処理方法。 In the motion detection processing step of processing an input image in which distortion occurs due to the imaging magnification of the imaging optical system being different between the vicinity of the central axis of the angle of view and the peripheral portion thereof,
Performing motion detection of a subject in the input image by time-series change of values obtained by executing spatio-temporal filtering on a plurality of pixels in a reference range including the target pixel in the input image;
And a step of narrowing the reference range as the image forming magnification of the input image is larger.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014022260A JP6090193B2 (en) | 2014-02-07 | 2014-02-07 | Motion detection processing device, image processing device, imaging device, and motion detection processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014022260A JP6090193B2 (en) | 2014-02-07 | 2014-02-07 | Motion detection processing device, image processing device, imaging device, and motion detection processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015149656A true JP2015149656A (en) | 2015-08-20 |
JP6090193B2 JP6090193B2 (en) | 2017-03-08 |
Family
ID=53892706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014022260A Expired - Fee Related JP6090193B2 (en) | 2014-02-07 | 2014-02-07 | Motion detection processing device, image processing device, imaging device, and motion detection processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6090193B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198189A1 (en) * | 2018-04-11 | 2019-10-17 | カイロス株式会社 | Microscope device |
JP2020004389A (en) * | 2018-05-04 | 2020-01-09 | アクシス アーベー | Method of detecting motion in video sequence |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6390987A (en) * | 1986-10-06 | 1988-04-21 | Hitachi Ltd | Moving detecting circuit |
JP2007013430A (en) * | 2005-06-29 | 2007-01-18 | Olympus Corp | Moving vector detecting device and method |
JP2008270877A (en) * | 2007-04-16 | 2008-11-06 | Sony Corp | Film detection device and method thereof, and picture signal processing device and method thereof |
-
2014
- 2014-02-07 JP JP2014022260A patent/JP6090193B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6390987A (en) * | 1986-10-06 | 1988-04-21 | Hitachi Ltd | Moving detecting circuit |
JP2007013430A (en) * | 2005-06-29 | 2007-01-18 | Olympus Corp | Moving vector detecting device and method |
JP2008270877A (en) * | 2007-04-16 | 2008-11-06 | Sony Corp | Film detection device and method thereof, and picture signal processing device and method thereof |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198189A1 (en) * | 2018-04-11 | 2019-10-17 | カイロス株式会社 | Microscope device |
JP2020004389A (en) * | 2018-05-04 | 2020-01-09 | アクシス アーベー | Method of detecting motion in video sequence |
Also Published As
Publication number | Publication date |
---|---|
JP6090193B2 (en) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4290193B2 (en) | Image processing device | |
TWI538506B (en) | Image processing apparatus, information processing method and computer-readble storage medium | |
KR20110029001A (en) | Image porcessing method and apparatus in the bayer image | |
JP6711396B2 (en) | Image processing device, imaging device, image processing method, and program | |
JP2009060329A (en) | Image processing device, image processing method, and image processing program | |
JP5693743B2 (en) | Image processing apparatus, image processing method, imaging apparatus, computer program, and recording medium | |
JP2010045534A (en) | Solid-state image-capturing apparatus | |
KR20150087056A (en) | Apparatus and method for stabilizing image | |
JPWO2017195267A1 (en) | Image processing apparatus, image processing method, and image processing program | |
WO2017154293A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP6090193B2 (en) | Motion detection processing device, image processing device, imaging device, and motion detection processing method | |
JP2009194721A (en) | Image signal processing device, image signal processing method, and imaging device | |
CN107979715B (en) | Image pickup apparatus | |
JP6408884B2 (en) | Image processing apparatus, image processing method, and program | |
JP6245847B2 (en) | Image processing apparatus and image processing method | |
JP5197447B2 (en) | Image processing apparatus and imaging apparatus | |
JP5472734B2 (en) | Image processing apparatus and method, and program | |
JP2005167896A (en) | Image signal processor and image signal processing method | |
JP2015064869A (en) | Image processing method and image processing apparatus | |
JP2020057242A (en) | Image processing system, image processing method, and program | |
JP2014039105A (en) | Image processor, image processing method, and computer program | |
JP6491445B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP6108773B2 (en) | Image processing apparatus, control method thereof, and control program | |
JP2019029834A (en) | Imaging apparatus | |
JP2015179951A (en) | Image processing apparatus, imaging apparatus, image processing method, program and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6090193 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |