JP2013190938A - Stereo image processing device - Google Patents
Stereo image processing device Download PDFInfo
- Publication number
- JP2013190938A JP2013190938A JP2012055960A JP2012055960A JP2013190938A JP 2013190938 A JP2013190938 A JP 2013190938A JP 2012055960 A JP2012055960 A JP 2012055960A JP 2012055960 A JP2012055960 A JP 2012055960A JP 2013190938 A JP2013190938 A JP 2013190938A
- Authority
- JP
- Japan
- Prior art keywords
- template matching
- size
- area
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、ステレオ画像処理装置に関し、特に、基準画像と参照画像とのテンプレートマッチングを行うステレオ画像処理装置に関する。 The present invention relates to a stereo image processing apparatus, and more particularly to a stereo image processing apparatus that performs template matching between a standard image and a reference image.
計測対象物体の三次元形状を求める従来手法として、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、計測対象物体に光を投射して、その光が反射して帰ってくるまでの時間を測定することで物体までの距離を求める方法や、計測対象物体にスリット状のパターン光をあてて物体に投影されたパターン光の形状を調べることによって物体の三次元形状を計測する光切断法といった方法がある。また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ画像法であり、これは、２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。 The conventional methods for obtaining the three-dimensional shape of the measurement target object are roughly classified into an active method (active method) and a passive method (passive method). As an active method, light is projected onto the measurement target object, and the time until the light is reflected and returned is obtained to obtain the distance to the object. There is a method such as a light cutting method in which a three-dimensional shape of an object is measured by applying light and examining the shape of the pattern light projected onto the object. A typical passive method is a stereo image method using the principle of triangulation, which uses two or more cameras to find the corresponding points between the images and finds the parallax. This is a method for measuring distance.
ステレオ画像法について、その原理を簡単に説明する。ステレオ画像法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物体を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「マッチング（対応点の決定）」を行うことで、三次元空間における計測対象物体の位置を求めようとするものである。例えば基準カメラと参照カメラにより異なる視点から同一対象物体を撮影して、それぞれの画像内の計測対象物体の距離を三角測量の原理により測定する。 The principle of the stereo imaging method will be briefly described. In the stereo image method, pixels in a plurality of images obtained by photographing the same target object from two or more viewpoints (different gaze directions) using a plurality of cameras are associated with each other, that is, “matching (determination of corresponding points). ) ”Is to obtain the position of the measurement target object in the three-dimensional space. For example, the same target object is photographed from different viewpoints by the reference camera and the reference camera, and the distance of the measurement target object in each image is measured by the principle of triangulation.
周知のように、マッチング処理は、互いに関連性を有する複数のデータに対して広く行われている。一対の画像データに対して行われるマッチングは、一方の画像データによって規定される領域の所定部分に対して高い相関を有する領域を、他方の画像データによって規定される領域内において特定する処理として知られている。例えば、ステレオカメラから得られる一対の画像データは、同一の瞬間にほぼ同様の景色を撮像して取得されているという点で互いに関連性を有する。このようなステレオ画像データに対してマッチング処理を行うことで、撮像された対象物体の三次元的な位置を検出することができる。また、単眼カメラで異なる複数の瞬間に撮像することによって得られる複数フレームの画像データは、時間軸上において互いに関連性を有する。このような画像データに対してマッチング処理を行うことで、オプティカルフローを検出することができる。さらに、マッチング処理は、一般的な画像データ（例えば輝度情報に基づく画像データ）に限定されるものではなく、距離情報に基づく距離画像やレーダ画像、或いは、温度情報に基づく温度分布画像等であっても、同様に行われ得る。 As is well known, the matching process is widely performed on a plurality of pieces of data that are related to each other. Matching performed on a pair of image data is known as a process of specifying an area having a high correlation with a predetermined portion of an area defined by one image data within the area defined by the other image data. It has been. For example, a pair of image data obtained from a stereo camera are related to each other in that they are acquired by capturing a substantially similar scene at the same moment. By performing matching processing on such stereo image data, the three-dimensional position of the captured target object can be detected. In addition, image data of a plurality of frames obtained by capturing images at a plurality of different moments with a monocular camera are related to each other on the time axis. An optical flow can be detected by performing matching processing on such image data. Furthermore, the matching processing is not limited to general image data (for example, image data based on luminance information), but is a distance image based on distance information, a radar image, a temperature distribution image based on temperature information, or the like. However, the same can be done.
ステレオ画像法に係る従来技術として、例えば特許文献１〜５の発明がある。 As conventional techniques related to the stereo imaging method, for example, there are inventions of Patent Documents 1 to 5.
例えば特許文献１には、マッチング処理に用いられるテンプレート画像のサイズを変え、マッチング画像を探索する画像処理装置が開示されている。特許文献１の画像処理装置では、異なる視点から計測対象画像を撮り込んで画像間のマッチング処理を行なう距離画像生成において、基準画像に設定したテンプレート画像を評価してマッチング処理用のテンプレートの大きさを変更する。評価は、変化率、行列固有値、分散値等の特徴量をテンプレート画像から算出し、しきい値と比較する。特徴量がしきい値より大となるまでテンプレートの拡大を行ない、十分なしきい値を有するテンプレートを用いてマッチング処理を実行する。特許文献１の画像処理装置では、テンプレート画像のランダム性（模様の複雑さ、輝度変化の激しさ等と同義）を指標値化した特徴量、具体的にはテンプレート画像に含まれる画素の縦横方向への平均輝度変化率が算出され、この特徴量が小さい場合にテンプレート画像が拡大される。テンプレート画像の拡大により、処理の対象とされる画素の数が増加されてマッチング処理が行われるため、特徴の少ない被写部分につきミスマッチングの発生が抑制される。 For example, Patent Document 1 discloses an image processing apparatus that searches for a matching image by changing the size of a template image used for matching processing. In the image processing apparatus of Patent Literature 1, in the distance image generation in which the measurement target images are captured from different viewpoints and matching processing between the images is performed, the template image set as the reference image is evaluated and the size of the template for matching processing is determined. To change. In the evaluation, feature quantities such as a change rate, a matrix eigenvalue, and a variance value are calculated from the template image and compared with a threshold value. The template is enlarged until the feature amount exceeds the threshold value, and matching processing is executed using a template having a sufficient threshold value. In the image processing apparatus disclosed in Patent Document 1, the feature amount obtained by converting the randomness of the template image (synonymous with the complexity of the pattern, the intensity of brightness change, etc.) into an index value, specifically, the vertical and horizontal directions of the pixels included in the template image An average luminance change rate is calculated, and the template image is enlarged when the feature amount is small. Due to the enlargement of the template image, the number of pixels to be processed is increased and matching processing is performed, so that occurrence of mismatching is suppressed for a portion to be imaged with few features.
本発明の目的は、基準画像と参照画像とのテンプレートマッチングを行う際のミスマッチングの発生を抑制するために、テンプレート画像の拡大及び縮小を行う新規な方法を用いたステレオ画像処理装置を提供することにある。 An object of the present invention is to provide a stereo image processing apparatus using a novel method for enlarging and reducing a template image in order to suppress the occurrence of mismatching when performing template matching between a standard image and a reference image. There is.
本発明の第１の態様に係るステレオ画像処理装置によれば、
第１の画像センサから第１の画像データを取得し、第２の画像センサから第２の画像データを取得し、上記第１の画像データ内の点と上記第２の画像データ内の点との対応関係をテンプレートマッチングで算出するステレオ画像処理装置において、上記ステレオ画像処理装置は、
上記テンプレートマッチングを行うテンプレートマッチング領域のサイズ及び位置を決定する領域設定手段と、
上記第１の画像データにおいて、上記領域設定手段によって決定されたサイズ及び位置を有するテンプレートマッチング領域に含まれる各画素に対してエッジ検出を行い、エッジを含む画素の個数をカウントするエッジ検出手段とを備え、
上記領域設定手段は、
上記エッジを含む画素の個数が、現在のテンプレートマッチング領域のサイズに関連付けられた第１のしきい値より多いときは、上記テンプレートマッチング領域のサイズを縮小し、
上記エッジを含む画素の個数が、現在のテンプレートマッチング領域のサイズに関連付けられた、上記第１のしきい値以下の第２のしきい値より小さいときは、上記テンプレートマッチング領域のサイズを拡大することを特徴とする。
According to the stereo image processing apparatus according to the first aspect of the present invention,
First image data is acquired from the first image sensor, second image data is acquired from the second image sensor, a point in the first image data, a point in the second image data, and In the stereo image processing apparatus that calculates the correspondence relationship of the above by template matching, the stereo image processing apparatus includes:
Region setting means for determining the size and position of the template matching region for performing the template matching;
Edge detection means for performing edge detection on each pixel included in the template matching area having the size and position determined by the area setting means in the first image data, and counting the number of pixels including edges; With
The area setting means includes
When the number of pixels including the edge is greater than a first threshold value associated with the current template matching area size, the size of the template matching area is reduced,
When the number of pixels including the edge is smaller than the second threshold value that is related to the size of the current template matching area and is less than or equal to the first threshold value, the size of the template matching area is increased. It is characterized by that.
本発明の第２の態様に係るステレオ画像処理装置によれば、
第１の画像センサから第１の画像データを取得し、第２の画像センサから第２の画像データを取得し、上記第１の画像データ内の点と上記第２の画像データ内の点との対応関係をテンプレートマッチングで算出するステレオ画像処理装置において、上記ステレオ画像処理装置は、
上記テンプレートマッチングを行うテンプレートマッチング領域のサイズ及び位置を決定する領域設定手段と、
上記第１の画像データにおいて、上記領域設定手段によって決定されたサイズ及び位置を有するテンプレートマッチング領域に含まれる各画素に対してラベルを付与するラベリング手段とを備え、
上記領域設定手段は、
上記ラベリング手段により付与された異なるラベルの個数が、現在のテンプレートマッチング領域のサイズに関連付けられた第１のしきい値より多いときは、上記テンプレートマッチング領域のサイズを縮小し、
上記ラベリング手段により付与された異なるラベルの個数が、現在のテンプレートマッチング領域のサイズに関連付けられた、上記第１のしきい値以下の第２のしきい値より小さいときは、上記テンプレートマッチング領域のサイズを拡大することを特徴とする。
According to the stereo image processing apparatus according to the second aspect of the present invention,
First image data is acquired from the first image sensor, second image data is acquired from the second image sensor, a point in the first image data, a point in the second image data, and In the stereo image processing apparatus that calculates the correspondence relationship of the above by template matching, the stereo image processing apparatus includes:
Region setting means for determining the size and position of the template matching region for performing the template matching;
Labeling means for applying a label to each pixel included in the template matching area having the size and position determined by the area setting means in the first image data,
The area setting means includes
When the number of different labels applied by the labeling means is greater than a first threshold associated with the size of the current template matching area, reduce the size of the template matching area;
When the number of different labels given by the labeling means is smaller than a second threshold value less than or equal to the first threshold value associated with the size of the current template matching area, It is characterized by enlarging the size.
本発明によれば、新規な基準に従ってテンプレート画像の拡大及び縮小を行うことで、基準画像と参照画像とのテンプレートマッチングを行う際のミスマッチングの発生を抑制するステレオ画像処理装置を提供することができる。 According to the present invention, it is possible to provide a stereo image processing apparatus that suppresses occurrence of mismatching when performing template matching between a standard image and a reference image by enlarging and reducing the template image according to a new standard. it can.
図１は、本発明の実施形態に係るステレオ画像処理装置１００の構成を示すブロック図である。ステレオ画像処理装置１００は、一対の画像センサ１０１，１０２、ラインバッファメモリ１０３，１０４、エッジ検出器１０５、エッジカウンタ１０６、領域設定器１０７、及びテンプレートマッチング回路１０８を備える。
FIG. 1 is a block diagram showing a configuration of a stereo
画像センサ１０１，１０２は、例えば水平方向に所定距離を有して設けられ、これによりステレオ画像を得ることができる。画像センサ１０１は、ステレオ画像の基準画像となる画像データを取得してラインバッファメモリ１０３に送り、画像センサ１０２は、ステレオ画像の参照画像となる画像データを取得してラインバッファメモリ１０４に送る。
The
ラインバッファメモリ１０３，１０４は、画像センサ１０１，１０２からそれぞれ送られた画像データをライン毎に蓄積し、次いで、蓄積された複数の所定ライン数の画像データをテンプレートマッチング回路１０８に送る。テンプレートマッチング回路１０８は、後述するように、基準画像及び参照画像のテンプレートマッチングを行う。基準画像のラインバッファメモリ１０３が蓄積するライン数は、テンプレートマッチングを行う際のテンプレートマッチング領域のサイズ及び位置に応じて決定される。テンプレートマッチング領域のサイズ及び位置は、領域設定器１０７によって決定される（後述）。
The
エッジ検出器１０５は、ラインバッファメモリ１０３からテンプレートマッチング回路１０８に送られる所定ライン数の画像データを取得し、この画像データにおいて、領域設定器１０７によって決定されたサイズ及び位置を有するテンプレートマッチング領域に含まれる各画素に対してエッジ検出を行う。次いで、エッジカウンタ１０６は、エッジ検出器１０５で検出されたエッジを含む画素の個数をカウントする。エッジ検出を行うために、例えば、隣接する画素間で画素値の差分を計算したり、直交エッジ強度符号相関を使用したりすることができる。
The
隣接する画素間で画素値の差分を計算してエッジ検出を行う場合、エッジ検出器１０５は、例えば、入力された前画素と現在の画素との画素値（輝度など）の差分を、予め設定されたしきい値と比較する。エッジ検出器１０５は、画素値の差分がしきい値より大きい場合は、エッジが存在すると判断して“１”を出力し、画素値の差分がしきい値より小さい場合は、エッジが存在しないと判断して“０”を出力する。
When edge detection is performed by calculating a difference in pixel value between adjacent pixels, the
直交エッジ強度符号相関を使用してエッジ検出を行う場合、エッジ検出器１０５は、例えば、以下のプリウィット（Prewitt）フィルタを使用する。
When performing edge detection using orthogonal edge strength code correlation, the
エッジ検出器１０５は、各画素に数１のオペレータを適用して横方向の濃度差ｄｘを計算し、各画素に数２のオペレータを適用して縦方向の濃度差ｄｙを計算する。そして、各画素のエッジ強度ｒを次式で計算する。
The
エッジ検出器１０５は、各画素のエッジ強度ｒを、予め設定されたしきい値と比較し、しきい値より大きい場合はエッジが存在すると判断して“１”を出力し、しきい値より小さい場合はエッジが存在しないと判断して“０”を出力する。
The
エッジカウンタ１０６は、エッジ検出器１０５からエッジ検出結果として入力される値“１”の個数をカウントし、そのカウント値を領域設定器１０７に送る。
The edge counter 106 counts the number of values “1” input as the edge detection result from the
図２は、図１のエッジ検出器１０５及びエッジカウンタ１０６の動作を説明するための図である。ラインバッファメモリ１０３は、例えばｎ個のラインの画像データを蓄積するとき、すでに蓄積されたライン１〜ライン（ｎ−１）の画像データと、新たに入力されたラインｎの画像データとを同時に出力する。ラインバッファメモリ１０３から出力された画像データは、テンプレートマッチング回路１０８及びエッジ検出器１０５に送られる。エッジ検出器１０５は、ｎ個のラインの画像データにおいて、テンプレートマッチング領域に含まれる各画素に対してエッジ検出を行い、各画素のエッジ検出結果をエッジカウンタ１０６に送る。各画素のエッジ検出結果は、テンプレートマッチング領域に含まれる画素数に等しいバス幅を有するデータバスを介してエッジ検出器１０５からエッジカウンタ１０６に送られてもよい。
FIG. 2 is a diagram for explaining the operation of the
領域設定器１０７は、テンプレートマッチング回路１０８により基準画像及び参照画像のテンプレートマッチングを行う際のテンプレートマッチング領域のサイズ及び位置を決定する。特に、領域設定器１０７は、エッジカウンタ１０６から入力されたエッジ検出結果のカウント値を現在のテンプレートマッチング領域の特徴量として用いて、テンプレートマッチング領域のサイズを決定する。領域設定器１０７は、現在のテンプレートマッチング領域のサイズに関連付けられた第１のしきい値Ｔｈ１と、第１のしきい値Ｔｈ１以下の第２のしきい値Ｔｈ２とを有する。領域設定器１０７は、エッジ検出結果のカウント値が第１のしきい値Ｔｈ１よりも大きな場合は、サイズ設定値を“２”に決定し、エッジ検出結果のカウント値が第２のしきい値Ｔｈ２よりも小さい場合は、サイズ設定値を“１”に決定し、エッジ検出結果のカウント値が第１のしきい値Ｔｈ１以下かつ第２のしきい値Ｔｈ２以上である場合は、サイズ設定値を“０”に決定する。第１のしきい値Ｔｈ１及び第２のしきい値Ｔｈ２は同じ値であってもよい。領域設定器１０７は、従来技術の方法を用いて、テンプレートマッチング領域の位置も決定する。領域設定器１０７によって決定されたテンプレートマッチング領域のサイズ及び位置は、ラインバッファメモリ１０３、エッジ検出器１０５、及びテンプレートマッチング回路１０８に通知される。
The
ラインバッファメモリ１０３、エッジ検出器１０５、及びテンプレートマッチング回路１０８は、サイズ設定値が“２”の場合はテンプレートマッチング領域のサイズを縮小し、“１”の場合はテンプレートマッチング領域のサイズを拡大し、“０”の場合はテンプレートマッチング領域のサイズを変更しない。例えば、テンプレートマッチング領域が「７画素×７画素」の領域であるとき、サイズ設定値が“２”の場合は「４画素×４画素」に縮小し、サイズ設定値が“１”の場合は「９画素×９画素」に拡大し、サイズ設定値が“０”の場合は「７画素×７画素」のままにする。以上のサイズは単なる例示であり、他のサイズでも同様である。
The
テンプレートマッチング回路１０８は、基準画像の画像データ内の点と参照画像の画像データ内の点との対応関係をテンプレートマッチングで算出する。テンプレートマッチング回路１０８は、まず、領域設定器１０７によって決定されたテンプレートマッチング領域のサイズ及び位置に従って、テンプレートマッチング領域を設定する。テンプレートマッチング回路１０８は、このテンプレートマッチング領域を用いてテンプレートマッチングを行い、ラインバッファメモリ１０３から入力される複数ラインの基準画像の画像データと、ラインバッファメモリ１０４から入力される複数ラインの参照画像の画像データとの対応点を探す。基準画像及び参照画像の画像データ（輝度など）をそれぞれＩ１及びＩ２により表し、テンプレートマッチング領域をＷにより表し、基準画像及び参照画像の間の変位をｄにより表すとき、次式のいずれかの目標関数を最小化する変位ｄを求める。
The
数４の目標関数Ｄ１（ｄ）は相関値を示し、数５の目標関数Ｄ２（ｄ）はＳＡＤ（Sum of Absolute Distance）値を示し、数６の目標関数Ｄ３（ｄ）はＳＳＤ（Sum of Squared Distance）値を示す。 The target function D 1 (d) in Expression 4 indicates the correlation value, the target function D 2 (d) in Expression 5 indicates the SAD (Sum of Absolute Distance) value, and the target function D 3 (d) in Expression 6 indicates the SSD. Indicates the (Sum of Squared Distance) value.
テンプレートマッチング回路１０８は、いずれかの目標関数を最小化する変位ｄと、そのときの目標関数の値とをマッチング結果として出力する。
The
図５は、図１のステレオ画像処理装置１００により近くの被写体を撮影したときの例であって、（ａ）は画像センサ１０１により取得された基準画像を示し、（ｂ）は画像センサ１０２により取得された参照画像を示す図である。点線で囲まれた領域２００ａ，２００ｂはそれぞれ、テンプレートマッチング領域を示す。図５では被写体が１人の人物のみであり、基準画像のテンプレートマッチング領域２００ａ内の画像データと、参照画像のテンプレートマッチング領域２００ｂ内の画像データとに実質的に違いがない。従って、図５の例では、テンプレートマッチング領域２００ａ，２００ｂの特徴量（すなわち、エッジ検出を行ったときのエッジ検出結果のカウント値）は小さい。テンプレートマッチング領域の特徴量が小さいときには、高精度のテンプレートマッチングが可能となる。
FIG. 5 is an example when a nearby subject is photographed by the stereo
図６は、図１のステレオ画像処理装置１００により遠くの被写体を撮影したときの第１の例であって、（ａ）は画像センサ１０１により取得された基準画像を示し、（ｂ）は画像センサ１０２により取得された参照画像を示す図である。図６の例では、基準画像のテンプレートマッチング領域２１０ａに含まれる被写体（２人の人物）と、参照画像のテンプレートマッチング領域２１０ｂに含まれる被写体（３人の人物）とは相違する。このとき、テンプレートマッチング領域２１０ａ，２１０ｂの特徴量は大きく、さらに互いに相違する。概して、テンプレートマッチング領域の特徴量が大きいときには、テンプレートマッチングの精度は低下する。
FIG. 6 is a first example when a far object is photographed by the stereo
図７は、図１のステレオ画像処理装置１００により遠くの被写体を撮影したときの第２の例であって、（ａ）は画像センサ１０１により取得された基準画像を示し、（ｂ）は画像センサ１０２により取得された参照画像を示す図である。領域設定器１０７は、図６のテンプレートマッチング領域２１０ａに係るエッジ検出結果のカウント値（第１のしきい値Ｔｈ１よりも大きなエッジ検出結果のカウント値）が入力されたとき、テンプレートマッチング領域のサイズを縮小する。テンプレートマッチング回路１０８は、図６のテンプレートマッチング領域２１０ａ，２１０ｂから縮小して、図７のテンプレートマッチング領域２２０ａ，２２０ｂを設定する。図７では被写体が１人の人物のみになり、基準画像のテンプレートマッチング領域２２０ａ内の画像データと、参照画像のテンプレートマッチング領域２２０ｂ内の画像データとは実質的に同じになる。従って、図７の例では、テンプレートマッチング領域２２０ａ，２２０ｂの特徴量は図６の場合よりも小さくなり、テンプレートマッチングの精度も向上する。
FIG. 7 is a second example when a distant subject is photographed by the stereo
以上説明したように、図１のステレオ画像処理装置１００によれば、新規な基準に従ってテンプレート画像の拡大及び縮小を行うことで、基準画像と参照画像とのテンプレートマッチングを行う際のミスマッチングの発生を抑制することができる。
As described above, according to the stereo
図３は、本発明の実施形態の第１の変形例に係るステレオ画像処理装置１１０の構成を示すブロック図である。図３のステレオ画像処理装置１１０は、図１のステレオ画像処理装置１００のエッジ検出器１０５、エッジカウンタ１０６、及び領域設定器１０７に代えて、２値化回路１１１、ラベリング回路１１２、及び領域設定器１１３を備え、他の構成要素は、図１のステレオ画像処理装置１００と同様である。
FIG. 3 is a block diagram showing a configuration of the stereo
２値化回路１１１は、ラインバッファメモリ１０３からテンプレートマッチング回路１０８に送られる所定ライン数の画像データを取得し、この画像データにおいて、領域設定器１１３によって決定されたサイズ及び位置を有するテンプレートマッチング領域に含まれる各画素に対して２値化処理を行う。２値化処理では、テンプレートマッチング領域に含まれる画像に対して、例えば、「ｐ−タイル法」、「モード法」、及び「判別分析法」のいずれかを用いてしきい値を決定し、このしきい値に基づいて画像データを２値化する。
The
ラベリング回路１１２は、２値化回路１１１から入力された２値画像データに含まれる各画素に対してラベルを付与する。ラベリング回路１１２は、テンプレートマッチング領域において４近傍もしくは８近傍のラスタスキャンを行って、各画素に付与された異なるラベル（ラベルの種類）の個数を領域設定器１０７に出力する。
The
領域設定器１１３は、テンプレートマッチング回路１０８により基準画像及び参照画像のテンプレートマッチングを行う際のテンプレートマッチング領域のサイズ及び位置を決定する。特に、領域設定器１１３は、ラベリング回路１１２によって付与された異なるラベルの個数を現在のテンプレートマッチング領域の特徴量として用いて、テンプレートマッチング領域のサイズを決定する。領域設定器１１３は、現在のテンプレートマッチング領域のサイズに関連付けられた第１のしきい値Ｔｈ１と、第１のしきい値Ｔｈ１以下の第２のしきい値Ｔｈ２とを有する。領域設定器１１３は、異なるラベルの個数が第１のしきい値Ｔｈ１よりも大きな場合は、サイズ設定値を“２”に決定し、異なるラベルの個数が第２のしきい値Ｔｈ２よりも小さい場合は、サイズ設定値を“１”に決定し、異なるラベルの個数が第１のしきい値Ｔｈ１以下かつ第２のしきい値Ｔｈ２以上である場合は、サイズ設定値を“０”に決定する。第１のしきい値Ｔｈ１及び第２のしきい値Ｔｈ２は同じ値であってもよい。領域設定器１１３は、従来技術の方法を用いて、テンプレートマッチング領域の位置も決定する。領域設定器１１３によって決定されたテンプレートマッチング領域のサイズ及び位置は、ラインバッファメモリ１０３、２値化回路１１１、及びテンプレートマッチング回路１０８に通知される。
The
テンプレートマッチング回路１０８は、図１のステレオ画像処理装置１００と同様に、基準画像の画像データ内の点と参照画像の画像データ内の点との対応関係をテンプレートマッチングで算出する。
Similar to the stereo
図３のステレオ画像処理装置１１０によれば、図５〜図７を参照して説明した図１のステレオ画像処理装置１００と同様に、新規な基準に従ってテンプレート画像の拡大及び縮小を行うことで、基準画像と参照画像とのテンプレートマッチングを行う際のミスマッチングの発生を抑制することができる。
According to the stereo
図４は、本発明の実施形態の第２の変形例に係るステレオ画像処理装置１２０の構成を示すブロック図である。図１のステレオ画像処理装置１００及び図２のステレオ画像処理装置１１０は、ハードウェアとして実装されても、ソフトウェアとして実装されてもよい。ステレオ画像処理装置１２０は、画像センサ１０１，１０２、プロセッサ１２１、及びメモリ１２２を備え、これらの構成要素はバス１２３を介して互いに接続されている。プロセッサ１２１は、メモリ１２２をラインバッファメモリ１０３，１０４として用いて、図１のエッジ検出器１０５、エッジカウンタ１０６、及び領域設定器１０７の動作、又は、図３の２値化回路１１１、ラベリング回路１１２、及び領域設定器１１３の動作を実行する。図４のステレオ画像処理装置１２０によれば、図５〜図７を参照して説明した図１のステレオ画像処理装置１００と同様に、新規な基準に従ってテンプレート画像の拡大及び縮小を行うことで、基準画像と参照画像とのテンプレートマッチングを行う際のミスマッチングの発生を抑制することができる。
FIG. 4 is a block diagram showing a configuration of a stereo
本発明の実施形態に係るステレオ画像処理装置によれば、特徴量が大きい場合は、テンプレートマッチング領域のサイズを縮小し、特徴量が小さい場合は、テンプレートマッチング領域のサイズを拡大することで、特徴量をある一定範囲に抑えることができるので、基準画像と参照画素との対応関係の演算を良好に行うことができる。 According to the stereo image processing apparatus according to the embodiment of the present invention, when the feature amount is large, the size of the template matching region is reduced, and when the feature amount is small, the size of the template matching region is increased. Since the amount can be suppressed within a certain range, the calculation of the correspondence between the standard image and the reference pixel can be performed satisfactorily.
本発明に係るステレオ画像処理装置は、三次元映像の記録及び表示を行うための映像機器や、画像センサから被写体までの距離を測定する測定装置に使用される。本発明はまた、人検知を行うための監視カメラ及び監視装置などに利用される。本発明によれば、さらに、そのようなステレオ画像処理装置の制御方法、及びステレオ画像処理装置の制御プログラムを提供することができる。 The stereo image processing apparatus according to the present invention is used in video equipment for recording and displaying 3D video and a measuring apparatus for measuring a distance from an image sensor to a subject. The present invention is also used in a monitoring camera and a monitoring device for performing human detection. According to the present invention, it is possible to further provide a control method for such a stereo image processing apparatus and a control program for the stereo image processing apparatus.
１００，１１０，１２０…ステレオ画像処理装置、
１０１，１０２…画像センサ、
１０３，１０４…ラインバッファメモリ、
１０５…エッジ検出器、
１０６…エッジカウンタ、
１０７…領域設定器、
１０８…テンプレートマッチング回路、
１１１…２値化回路、
１１２…ラベリング回路、
１１３…領域設定器、
１２１…プロセッサ、
１２２…メモリ、
１２３…バス。
100, 110, 120 ... Stereo image processing device,
101, 102 ... Image sensor,
103, 104 ... line buffer memory,
105 ... an edge detector,
106 ... an edge counter,
107 ... area setting device,
108: Template matching circuit,
111... Binarization circuit,
112 ... Labeling circuit,
113 ... Area setting device,
121 ... Processor,
122 ... Memory,
123 ... Bus.
Claims (2)
上記テンプレートマッチングを行うテンプレートマッチング領域のサイズ及び位置を決定する領域設定手段と、
上記第１の画像データにおいて、上記領域設定手段によって決定されたサイズ及び位置を有するテンプレートマッチング領域に含まれる各画素に対してエッジ検出を行い、エッジを含む画素の個数をカウントするエッジ検出手段とを備え、
上記領域設定手段は、
上記エッジを含む画素の個数が、現在のテンプレートマッチング領域のサイズに関連付けられた第１のしきい値より多いときは、上記テンプレートマッチング領域のサイズを縮小し、
上記エッジを含む画素の個数が、現在のテンプレートマッチング領域のサイズに関連付けられた、上記第１のしきい値以下の第２のしきい値より小さいときは、上記テンプレートマッチング領域のサイズを拡大することを特徴とするステレオ画像処理装置。 First image data is acquired from the first image sensor, second image data is acquired from the second image sensor, a point in the first image data, a point in the second image data, and In the stereo image processing apparatus that calculates the correspondence relationship of the above by template matching, the stereo image processing apparatus includes:
Region setting means for determining the size and position of the template matching region for performing the template matching;
Edge detection means for performing edge detection on each pixel included in the template matching area having the size and position determined by the area setting means in the first image data, and counting the number of pixels including edges; With
The area setting means includes
When the number of pixels including the edge is greater than a first threshold value associated with the current template matching area size, the size of the template matching area is reduced,
When the number of pixels including the edge is smaller than the second threshold value that is related to the size of the current template matching area and is less than or equal to the first threshold value, the size of the template matching area is increased. A stereo image processing apparatus.
上記テンプレートマッチングを行うテンプレートマッチング領域のサイズ及び位置を決定する領域設定手段と、
上記第１の画像データにおいて、上記領域設定手段によって決定されたサイズ及び位置を有するテンプレートマッチング領域に含まれる各画素に対してラベルを付与するラベリング手段とを備え、
上記領域設定手段は、
上記ラベリング手段により付与された異なるラベルの個数が、現在のテンプレートマッチング領域のサイズに関連付けられた第１のしきい値より多いときは、上記テンプレートマッチング領域のサイズを縮小し、
上記ラベリング手段により付与された異なるラベルの個数が、現在のテンプレートマッチング領域のサイズに関連付けられた、上記第１のしきい値以下の第２のしきい値より小さいときは、上記テンプレートマッチング領域のサイズを拡大することを特徴とするステレオ画像処理装置。 First image data is acquired from the first image sensor, second image data is acquired from the second image sensor, a point in the first image data, a point in the second image data, and In the stereo image processing apparatus that calculates the correspondence relationship of the above by template matching, the stereo image processing apparatus includes:
Region setting means for determining the size and position of the template matching region for performing the template matching;
Labeling means for applying a label to each pixel included in the template matching area having the size and position determined by the area setting means in the first image data,
The area setting means includes
When the number of different labels applied by the labeling means is greater than a first threshold associated with the size of the current template matching area, reduce the size of the template matching area;
When the number of different labels given by the labeling means is smaller than a second threshold value less than or equal to the first threshold value associated with the size of the current template matching area, A stereo image processing apparatus characterized by enlarging the size.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012055960A JP2013190938A (en) | 2012-03-13 | 2012-03-13 | Stereo image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012055960A JP2013190938A (en) | 2012-03-13 | 2012-03-13 | Stereo image processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013190938A true JP2013190938A (en) | 2013-09-26 |
Family
ID=49391126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012055960A Pending JP2013190938A (en) | 2012-03-13 | 2012-03-13 | Stereo image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013190938A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190135176A (en) * | 2018-05-28 | 2019-12-06 | 삼성에스디에스 주식회사 | Method for matching template and apparatus thereof |
| CN111640154A (en) * | 2020-05-24 | 2020-09-08 | 西安交通大学 | Vertical needle micro-plane sub-pixel level positioning method based on micro-vision |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001194126A (en) * | 2000-01-14 | 2001-07-19 | Sony Corp | Apparatus and method for measuring three-dimensional shape and program providing medium |
| WO2008041518A1 (en) * | 2006-10-02 | 2008-04-10 | Konica Minolta Holdings, Inc. | Image processing device, control method for image processing device and control program for image processing device |
| JP2011095975A (en) * | 2009-10-29 | 2011-05-12 | Konica Minolta Holdings Inc | Corresponding point search device, corresponding point search method, and program |
-
2012
- 2012-03-13 JP JP2012055960A patent/JP2013190938A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001194126A (en) * | 2000-01-14 | 2001-07-19 | Sony Corp | Apparatus and method for measuring three-dimensional shape and program providing medium |
| WO2008041518A1 (en) * | 2006-10-02 | 2008-04-10 | Konica Minolta Holdings, Inc. | Image processing device, control method for image processing device and control program for image processing device |
| JP2011095975A (en) * | 2009-10-29 | 2011-05-12 | Konica Minolta Holdings Inc | Corresponding point search device, corresponding point search method, and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190135176A (en) * | 2018-05-28 | 2019-12-06 | 삼성에스디에스 주식회사 | Method for matching template and apparatus thereof |
| KR102548722B1 (en) | 2018-05-28 | 2023-06-27 | 삼성에스디에스 주식회사 | Method for matching template and apparatus thereof |
| CN111640154A (en) * | 2020-05-24 | 2020-09-08 | 西安交通大学 | Vertical needle micro-plane sub-pixel level positioning method based on micro-vision |
| CN111640154B (en) * | 2020-05-24 | 2022-04-05 | 西安交通大学 | Vertical needle micro-plane sub-pixel level positioning method based on micro-vision |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10455141B2 (en) | Auto-focus method and apparatus and electronic device | |
| JP6554169B2 (en) | Object recognition device and object recognition system | |
| JP5954668B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| KR101687530B1 (en) | Control method in image capture system, control apparatus and a computer-readable storage medium | |
| JP2015035658A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP6566768B2 (en) | Information processing apparatus, information processing method, and program | |
| CN112927280A (en) | Method and device for acquiring depth image and monocular speckle structured light system | |
| US10205928B2 (en) | Image processing apparatus that estimates distance information, method of controlling the same, and storage medium | |
| EP3199914B1 (en) | Imaging device | |
| JP2017142613A (en) | Information processing device, information processing system, information processing method and information processing program | |
| JP6617150B2 (en) | Object detection method and object detection apparatus | |
| JP2013257244A (en) | Distance measurement device, distance measurement method, and distance measurement program | |
| JP2008275366A (en) | Stereoscopic 3-d measurement system | |
| JP5336325B2 (en) | Image processing method | |
| JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
| CN110800020B (en) | Image information acquisition method, image processing equipment and computer storage medium | |
| JP5727969B2 (en) | Position estimation apparatus, method, and program | |
| JP6602286B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2019021189A (en) | Object detection device | |
| JPWO2018012524A1 (en) | Projection apparatus, projection method and projection control program | |
| JP2013190938A (en) | Stereo image processing device | |
| WO2015159791A1 (en) | Distance measuring device and distance measuring method | |
| Karbasi et al. | Analysis and enhancement of the denoising depth data using Kinect through iterative technique | |
| JP6655869B2 (en) | Image processing apparatus, image processing method, and program | |
| KR101300166B1 (en) | Apparatus and method for detecting iris |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160212 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160329 |