JPWO2017090705A1 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JPWO2017090705A1 JPWO2017090705A1 JP2017552710A JP2017552710A JPWO2017090705A1 JP WO2017090705 A1 JPWO2017090705 A1 JP WO2017090705A1 JP 2017552710 A JP2017552710 A JP 2017552710A JP 2017552710 A JP2017552710 A JP 2017552710A JP WO2017090705 A1 JPWO2017090705 A1 JP WO2017090705A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- image blocks
- difference
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
画像処理装置100は、ペア画像それぞれから画像ブロックを抽出し、一方の画像の画像ブロックと他方の画像の画像ブロックとを組み合せ、画像ブロックの組を設定する画像抽出部10と、各組について、一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、一方の画像ブロックの画素の輝度とその画像ブロックの輝度の平均値との差を算出し、他方の画像ブロックの対応する画素の輝度とその画像ブロックの輝度の平均値との差を算出し、一方の差から他方を減算して輝度差を算出し、輝度差の積算値を相関値とする相関値算出部20と、相関値に基づき、画像ブロックの組毎に、一方の画像ブロックと他方の画像ブロックとが一致しているか否かを判定する判定部30とを備える。 The image processing apparatus 100 extracts an image block from each paired image, combines the image block of one image and the image block of the other image, and sets an image block set, and for each set, For each combination of a pixel of one image block and a corresponding pixel of the other image block, the difference between the luminance of the pixel of one image block and the average value of the luminance of the image block is calculated. A correlation value calculation unit that calculates the difference between the luminance of the corresponding pixel and the average value of the luminance of the image block, calculates the luminance difference by subtracting the other from one of the differences, and uses the integrated value of the luminance difference as the correlation value 20 and a determination unit 30 that determines whether one image block matches the other image block for each set of image blocks based on the correlation value.
Description
本発明は、2つの画像を用いた画像処理を行なうための、画像処理装置、画像処理方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。 The present invention relates to an image processing apparatus and an image processing method for performing image processing using two images, and a computer-readable recording medium on which a program for realizing these is recorded.
従来から、3次元データの自動生成方法として、人工衛星又は航空機等から得られたペア画像を基に、ステレオマッチング処理を行うことによって、地形を示す3次元データ[DSM(Digital Surface Model)データ]を生成する方法が広く知られている。ペア画像は、2台のカメラによって同一の被写体を異なる視点で撮影することによって得られた画像である。 Conventionally, as a method for automatically generating three-dimensional data, three-dimensional data [DSM (Digital Surface Model) data] indicating terrain is obtained by performing stereo matching processing based on pair images obtained from an artificial satellite or an aircraft. The method of generating is widely known. A pair image is an image obtained by photographing the same subject from different viewpoints with two cameras.
具体的には、ステレオマッチング処理では、まず、ステレオ画像を構成する各画像は一定サイズの画像ブロックが抽出され、次いで、一方の画像の画像ブロックに一致する他方の画像の画像ブロックが特定される。その後、一致する画像ブロック間で対応点を特定し、特定した対応点間の視差を用いて、三角測量を実行することによって、被写体の奥行き及び形状が求められる。 Specifically, in the stereo matching process, first, an image block of a certain size is extracted from each image constituting the stereo image, and then the image block of the other image that matches the image block of one image is specified. . Thereafter, the corresponding points are identified between the matching image blocks, and the depth and shape of the subject are obtained by performing triangulation using the parallax between the identified corresponding points.
ところで、ステレオマッチング処理において、精度を高めるためには、一致する画像ブロックを正確に特定することが重要となる。そして、一致する画像ブロックを特定する処理の具体的手法としては、輝度差の和(SAD:Sum of Absolute Difference)を利用した方法、輝度差の2乗和(SSD:Sum of Squared Difference)を利用した方法、正規化相互相関(NCC:Normalized Cross-Correlation)を利用した方法、などが知られている。 By the way, in stereo matching processing, it is important to accurately identify matching image blocks in order to increase accuracy. As a specific method for identifying the matching image block, a method using a sum of luminance differences (SAD) or a sum of squared differences (SSD) is used. And a method using Normalized Cross-Correlation (NCC) are known.
具体的には、SADを利用する場合は、下記の数1を用いて、RSADの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する(例えば、特許文献1〜3及び非特許文献1参照)。なお、数1において、I(i,j)及びT(i,j)は、画像ブロックにおける対応する画素の輝度を示している。また、(i,j)は、画素の座標を表している。Specifically, when SAD is used, a pair of image blocks having the smallest R SAD value is identified using the following Equation 1, and it is determined that the identified pairs are image blocks that match each other. (For example, refer to Patent Documents 1 to 3 and Non-Patent Document 1). In Equation 1, I (i, j) and T (i, j) indicate the luminance of the corresponding pixel in the image block. Further, (i, j) represents the coordinates of the pixel.
また、SSDを利用する場合は、下記の数2を用いて、RSSDの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する(例えば、特許文献4及び非特許文献1参照)。数2においても、I(i,j)及びT(i,j)は、画像ブロックにおける輝度を示している。In addition, when using SSD , the following equation 2 is used to identify a pair of image blocks with the smallest value of R SSD and determine that the identified pairs are image blocks that match each other (for example, (See Patent Document 4 and Non-Patent Document 1). Also in Equation 2, I (i, j) and T (i, j) indicate the luminance in the image block.
更に、NCCを利用する場合は、下記の数3を用いて、RNCCの値が1.0に最も近くなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する(例えば、特許文献5参照)。数3においても、I(i,j)及びT(i,j)は、画像ブロックにおける輝度を示している。Furthermore, when using NCC , the following equation 3 is used to identify a pair of image blocks whose RNCC value is closest to 1.0, and determine that the identified pairs are image blocks that match each other. (For example, refer to Patent Document 5). Also in Equation 3, I (i, j) and T (i, j) indicate the luminance in the image block.
ところで、上記数1及び数2から分かるように、SADを利用した方法及びSSDを利用した方法のいずれにおいても、値の算出は、比較対象となる2つの画像ブロックそれぞれの互いに対応する2つの画素毎に行なわれている。このため、これらの方法によれば、2枚の画像同士が同一かどうかを判定することを目的とした一般的なマッチング処理においては、非常に正確な判定が期待出来る。 By the way, as can be seen from the above formulas 1 and 2, in both the method using SAD and the method using SSD, the value is calculated by calculating two pixels corresponding to each of the two image blocks to be compared. It is done every time. Therefore, according to these methods, a very accurate determination can be expected in a general matching process for the purpose of determining whether two images are the same.
しかしながら、ステレオマッチング処理においては、ペア画像を撮影する2台のカメラそれぞれの撮影角度が異なるため、被写体で反射された光の入射角度が、カメラ毎に異なり、各カメラで得られる画像の輝度が互いに微妙に異なる場合がある。このため、SAD又はSSDを用いてステレオマッチング処理を行なった場合は、画像間の輝度の違いが原因で、互いに一致する画像ブロックのペアであるにもかかわらず、算出された値が高くなり、一致していないと判定される可能姓がある。 However, in the stereo matching process, the two cameras that shoot the pair images have different shooting angles. Therefore, the incident angle of the light reflected by the subject differs from camera to camera, and the brightness of the image obtained by each camera is different. May be slightly different from each other. For this reason, when the stereo matching process is performed using SAD or SSD, the calculated value becomes high due to the difference in luminance between images, even though they are a pair of matching image blocks, There is a possible surname that is determined not to match.
一方、NCCを利用した方法では、上記数3から分かるように、一般的には2枚の画像の輝度の違いが許容されると考えられる。しかしながら、NCCを利用した方法では、2つの画像ブロックそれぞれの2つの画素毎に計算が行なわれるわけではない。このため、NCCを利用してステレオマッチング処理を行なった場合は、一致しない画像ブロック間でも、画像全体的の輝度の条件によっては、一致すると判定されてしまう場合がある。つまり、NCCを利用してステレオマッチング処理を行なった場合には、誤判定が発生しやすいという問題がある。 On the other hand, in the method using NCC, as can be seen from Equation 3, it is generally considered that a difference in luminance between two images is allowed. However, in the method using NCC, calculation is not performed for every two pixels of each of the two image blocks. For this reason, when stereo matching processing is performed using NCC, it may be determined that even image blocks that do not match are matched, depending on the overall luminance conditions of the image. That is, when stereo matching processing is performed using NCC, there is a problem that erroneous determination is likely to occur.
本発明の目的の一例は、上記問題を解消し、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図り得る、画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。 An example of an object of the present invention is to provide an image processing apparatus, an image processing method, and a computer-readable recording medium capable of solving the above-described problem and improving determination accuracy in matching processing for paired images having different luminances. It is to provide.
上記目的を達成するため、本発明の一側面における画像処理装置は、
対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする。In order to achieve the above object, an image processing apparatus according to one aspect of the present invention provides:
A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and one of the image blocks extracted from the other image An image extraction unit that sets a set of a plurality of image blocks in combination with one,
For each set of image blocks set,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
A correlation value calculation unit that integrates the luminance difference between the pixels for each of the obtained combinations, and sets the obtained integration value as a correlation value of the set of the image block;
A determination unit that determines, for each set of image blocks, whether one image block of the set of image blocks matches the other image block based on a correlation value of each set of the image blocks; ,
It is characterized by having.
また、上記目的を達成するため、本発明の一側面における画像処理方法は、
(a)対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする。In order to achieve the above object, an image processing method according to one aspect of the present invention includes:
(A) A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and the other image are extracted. Combining one of the image blocks to set a set of multiple image blocks;
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
It is characterized by having.
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
(a)対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。Furthermore, in order to achieve the above object, a computer-readable recording medium according to one aspect of the present invention is provided.
On the computer,
(A) A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and the other image are extracted. Combining one of the image blocks to set a set of multiple image blocks;
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
A program including an instruction for executing is recorded.
以上のように本発明によれば、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。 As described above, according to the present invention, it is possible to improve the determination accuracy in the matching process for pair images having different luminances.
(実施の形態)
以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図1〜図12を参照しながら説明する。(Embodiment)
Hereinafter, an image processing apparatus, an image processing method, and a program according to an embodiment of the present invention will be described with reference to FIGS.
[装置構成]
最初に、図1を用いて、本発明の実施の形態における画像処理装置の概略構成について説明する。図1は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。[Device configuration]
First, a schematic configuration of the image processing apparatus according to the embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
図1に示すように、本実施の形態における画像処理装置100は、2枚の画像を対象として画像処理を行なう装置であり、画像抽出部10と、相関値算出部20と、判定部30とを備えている。
As shown in FIG. 1, the
画像抽出部10は、対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出する。また、画像抽出部10は、2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する。
The
相関値算出部20は、続いて、設定された画像ブロックの組それぞれについて、一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ(以下「画素間組合せ」と表記する。)毎に、(a)〜(c)の算出処理を行なう。
(a)一方の画像ブロックの画素における輝度と一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出する。
(b)他方の画像ブロックの対応する画素における輝度と他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出する。
(c)第1の輝度差と第2の輝度差との差を、画素間の輝度差として算出する。The correlation
(A) The difference between the luminance at the pixel of one image block and the average value of the luminance of the one image block is calculated as the first luminance difference.
(B) The difference between the luminance of the corresponding pixel of the other image block and the average value of the luminance of the other image block is calculated as the second luminance difference.
(C) The difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels.
更に、相関値算出部20は、画素間組合せ毎に算出した画素間の輝度差を積算し、得られた積算値を、計算対象となった画像ブロックの組の相関値とする。
Furthermore, the correlation
判定部30は、画像ブロックの組それぞれの相関値に基づいて、画像ブロックの組毎に、各画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する。
Based on the correlation value of each set of image blocks, the
このように、図1に示した構成では、一方の画像ブロックの画素と他方の画像ブロックの画素との間で相関値を比較する際に、両画像ブロックにおいて全体の平均の輝度値(平均値)と画素単独の輝度値との差が求められ、この差に基づいて、相関値が計算される。このため、図1に示した構成によれば、一方の画像ブロックと他方の画像ブロックとの間の全体的な輝度の違いによる影響が、大きく軽減されるので、輝度が異なるペア画像を対象としたマッチング処理において、従来からの方法に比べて、判定精度の向上が図られることになる。 Thus, in the configuration shown in FIG. 1, when comparing the correlation values between the pixels of one image block and the pixels of the other image block, the overall average luminance value (average value) in both image blocks is compared. ) And the luminance value of the pixel alone is obtained, and a correlation value is calculated based on this difference. For this reason, according to the configuration shown in FIG. 1, the influence of the overall luminance difference between one image block and the other image block is greatly reduced. In the matching process, the determination accuracy is improved as compared with the conventional method.
続いて、図2を用いて、本発明の実施の形態における画像処理装置の構成及び機能について更に具体的に説明する。図2は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。 Next, the configuration and function of the image processing apparatus according to the embodiment of the present invention will be described more specifically with reference to FIG. FIG. 2 is a block diagram showing a specific configuration of the image processing apparatus according to the embodiment of the present invention.
まず、本実施の形態では、画像処理装置100は、ステレオマッチング処理を行なう装置である。処理対象となる2つの画像は、異なる角度から同一対象を撮影して得られたペア画像、具体的には、人工衛星又は航空機等から撮影されたペア画像である。
First, in the present embodiment, the
また、図2に示すように、本実施の形態では、画像処理装置100は、図1に示した、画像抽出部10、相関値算出部20、及び判定部30に加えて、更に、画像取得部40と相関値補正部50とを備えている。
As shown in FIG. 2, in the present embodiment, the
画像取得部40は、処理対象となるペア画像を取得する。具体的には、画像取得部40は、ネットワーク等を介して送信されてきたペア画像の各画像データを取得し、取得した各画像データを画像抽出部10に入力する。また、画像取得部40は、ペア画像それぞれのエピポーラ線が水平方向において一致しているかどうかを判定し、一致していない場合は、一方又は両方の画像に対して、回転および射影変換のうち少なくとも1つを行なって、エピポーラ線が一致するように補正を実行する。
The
画像抽出部10は、図3に示すように、ペア画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、複数の画像ブロックを抽出する。本実施の形態で、画像抽出部10は、ペア画像それぞれを、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、タイル状に分割した形で、ペア画像それぞれから複数の画像ブロックを抽出する。図3は、本発明の実施の形態において画像ブロックを抽出したペア画像の一例を示す図である。
As shown in FIG. 3, the
具体的には、図3の例では、ペア画像は、画像201と画像202とで構成されている。そして、図3に示すように、画像抽出部10は、画像201及び画像202それぞれから、予め設定された大きさの矩形の画像ブロックを抽出する。これにより、画像ブロックは、画像の水平方向及び垂直方向に沿って配列される。
Specifically, in the example of FIG. 3, the pair image is composed of an
また、画像抽出部10は、本実施の形態では、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出する。そして、画像抽出部10は、選出した画像ブロック同士を組み合せて、画像ブロックの組を設定し、設定した画像ブロックの組を、相関値算出部20に入力する。
Further, in this embodiment, the
具体的には、上述したように、本実施の形態では、画像取得部40によって、ペア画像それぞれのエピポーラ線は水辺方向において一致している。従って、図4に示すように、画像抽出部10は、行数が一致する画像ブロック同士を組み合せて、画像ブロックの組を設定する。図4は、本発明の実施の形態において設定される画像ブロックの組の一例を説明する図である。
Specifically, as described above, in the present embodiment, the
図4の例では、画像抽出部10は、まず、画像201及び画像202それぞれの1行目から選出した画像ブロックを用いて、画像ブロックの組を設定する。つまり、画像抽出部10は、画像201の1行目の全画像ブロックと画像202の1行目の全画像ブロックとで得られる、全ての組合せを、画像ブロックの組として設定する。例えば、画像ブロック203は、画像ブロック204に加えて、画像ブロック205〜画像ブロック209それぞれとも組合せられる。
In the example of FIG. 4, the
続いて、画像抽出部10は、画像201及び画像202それぞれの2行目以降についても同様に、画像201の画像ブロックと画像202の画像ブロックとを組み合せて、画像ブロックの組を設定する。そして、画像抽出部10は、このようにして設定した各画像ブロックの組を相関値算出部20に入力する。
Subsequently, the
相関値算出部20は、入力された画像ブロックの組それぞれについて、画素間組合せ毎に算出処理を行なって、相関値を算出する。ここで、図5〜図7を用いて、相関値算出部による相関値の算出処理について具体的に説明する。
The correlation
図5は、本発明の実施の形態における相関値の算出処理で用いられる画素間組合せの一例を説明するための図である。図6は、ペア画像における画像ブロック間の輝度の相違の一例を示す図である。図7は、ペア画像それぞれにおける画像ブロックの輝度の平均値と特定の画素の輝度との差の一例を示す図である。 FIG. 5 is a diagram for explaining an example of the inter-pixel combination used in the correlation value calculation process according to the embodiment of the present invention. FIG. 6 is a diagram illustrating an example of a difference in luminance between image blocks in a pair image. FIG. 7 is a diagram illustrating an example of a difference between the average value of the luminance of the image block and the luminance of a specific pixel in each pair image.
図5に示すように、相関値算出部20は、まず、画像ブロック203及び204それぞれにおける座標が同じ画素によって画素間組合せを設定する。最上段の行の左端を原点(0,0)とすると、相関値算出部20は、例えば、画像ブロック203の座標(0,0)に位置する画素401を、画像ブロック204の同じ座標(0,0)に位置する画素402と組み合わせる。同様に、相関値算出部20は、画像ブロック203の座標(1,0)に位置する画素403を、画像ブロック204の座標(1,0)に位置する画素404と組み合わせる。更に、相関値算出部20は、画像ブロック203の他の座標に位置する画素についても、同様にして、画像ブロック204の画素と組み合わせる。
As shown in FIG. 5, the correlation
ところで、エピポーラ線が一致しているペア画像において、行数が同じ画像ブロック同士であっても、図6に示すように、画像ブロック全体の輝度値が相違する場合がある。これはペア画像それぞれの被写体は同じであっても、ペア画像を構成する画像毎に、撮影角度が異なり、それによって全体の輝度値が微妙に異なるからである。 By the way, as shown in FIG. 6, there are cases where the luminance values of the entire image blocks are different even in image blocks having the same number of rows in the pair images having the same epipolar lines. This is because, even if the subject of each pair image is the same, the shooting angle differs for each image constituting the pair image, and the overall luminance value varies slightly accordingly.
なお、図6において、実線は、画像ブロック203の特定の水平行を構成する画素の輝度値を示し、破線は、画像ブロック204の対応する水平行を構成する画素の輝度値を示している。
In FIG. 6, the solid line indicates the luminance value of the pixel constituting the specific horizontal line of the
一方、図7に示すように、ペア画像を構成する画像間では、両者の全体の輝度値が異なっていても、画像ブロックの輝度の平均値と各画素の輝度との差は両者間で極めて小さいものとなる。 On the other hand, as shown in FIG. 7, the difference between the average value of the luminance of the image block and the luminance of each pixel is extremely different between the images constituting the pair images even if the luminance values of the two images are different. It will be small.
なお、図7において、左側の図は画像ブロック203に対応し、右側の図は画像ブロック204に対応する。そして、左側の図における実線は、画像ブロック203の特定の水平行を構成する画素の輝度値を示し、右側の図における破線は、画像ブロック204の対応する水平行を構成する画素の輝度値を示している。また、左側の図における一点鎖線は、画像ブロック203の輝度の平均値を示し、右側の図における一点鎖線は、画像ブロック204の輝度の平均値を示している。
In FIG. 7, the left diagram corresponds to the
このため、相関値算出部20は、画素間組合せ毎に、第1の輝度差及び第2の輝度差を算出し、更に、両者の差(画素間の輝度差)を算出する。そして、相関値算出部20は、計算対象となっている画像ブロックの組について、画素間の輝度差を積算し、得られた積算値を、画像ブロックの組の相関値とする。具体的には、相関値算出部20は、下記の数4を用いて、画像ブロックの組の相関値Rを算出する。
For this reason, the correlation
また、上記数4において、Mは、各画像の水平方向における画像ブロックの数(列数)を示し、Nは、各画像の垂直方向における画像ブロックの数(行数)を示している。また、上記数4においてI(i,j)は、一方の画像の画像ブロックにおいて座標(i,j)に位置する画素の輝度値を示し、Iバーは、座標(i,j)に位置する画素が属する画像ブロックの輝度の平均値を示している。更に、上記数4においてJ(i,j)は、他方の画像の画像ブロックにおいて座標(i,j)に位置する画素の輝度値を示し、Jバーは、座標(i,j)に位置する画素が属する画像ブロックの輝度の平均値を示している。 In Equation 4, M represents the number of image blocks (number of columns) in the horizontal direction of each image, and N represents the number of image blocks (number of rows) in the vertical direction of each image. In the above equation 4, I (i, j) represents the luminance value of the pixel located at the coordinates (i, j) in the image block of one image, and the I bar is located at the coordinates (i, j). The average value of the brightness | luminance of the image block to which a pixel belongs is shown. Further, in the above equation 4, J (i, j) represents the luminance value of the pixel located at the coordinate (i, j) in the image block of the other image, and the J bar is located at the coordinate (i, j). The average value of the luminance of the image block to which the pixel belongs is shown.
ところで、例えば、被写体がビル壁などである場合は、複数の画像ブロックが同じ色で構成されてしまう。このため、図8に示すように、一致しないはずの画像ブロック間で輝度値の変化のパターンが近似することがある。図8は、画像ブロック間で輝度値の変化のパターンが近似している例を示す図である。 By the way, for example, when the subject is a building wall or the like, a plurality of image blocks are composed of the same color. For this reason, as shown in FIG. 8, the pattern of change in luminance value may be approximated between image blocks that should not match. FIG. 8 is a diagram illustrating an example in which the luminance value change pattern is approximated between image blocks.
なお、図8において、実線は、画像ブロック203の特定の水平行を構成する画素の輝度値を示し、破線は、画像ブロック204の対応する水平行を構成する画素の輝度値を示している。また、2本の一点鎖線のうち、下側の一点鎖線は、画像ブロック203の輝度の平均値を示し、上側の一点鎖線は、画像ブロック204の輝度の平均値を示している。
In FIG. 8, the solid line indicates the luminance value of the pixel constituting the specific horizontal line of the
そして、このようなケースにおいては、両者の輝度値は異なるが、上述の相関値Rの値は小さくなってしまい、後述する判定部30において間違った判定がなされるおそれがある。
In such a case, although the luminance values of the two are different, the value of the correlation value R described above becomes small, and there is a possibility that the
このため、本実施の形態では、相関値補正部50によって相関値の補正が行なわれる。相関値補正部50は、設定された画像ブロックの組毎に、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた差に基づいて、相関値算出部20によって算出された相関値を補正する。本実施の形態では、補正後の相関値が、判定部30に入力される。
For this reason, in the present embodiment, the correlation
具体的には、相関値補正部50は、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、求めた差を基準にペナルティPを算出し、ペナルティPが一定の閾値を超えている場合に、相関値に対して、算出したペナルティPを付与する。
Specifically, the correlation
ペナルティPの算出は、例えば、下記の数5を用いて行なうことができる。下記の数5において、αは、任意の値であり、サンプルとなるペア画像を用いた実験によって求められる。また、Iは、一方の画像ブロックの輝度の平均値であり、Jは、他方の画像ブロックの輝度の平均値である。また、本実施の形態において、ペナルティPの算出式は、下記の数5に限定されることはない。ペナルティPは、|I−J|を二乗したり、|I−J|の対数を取ったりすることによって算出されても良い。 The penalty P can be calculated using, for example, the following formula 5. In the following formula 5, α is an arbitrary value and is obtained by an experiment using a pair image as a sample. Further, I is an average value of luminance of one image block, and J is an average value of luminance of the other image block. In the present embodiment, the formula for calculating the penalty P is not limited to the following formula 5. The penalty P may be calculated by squaring | I−J | or taking the logarithm of | I−J |.
また、上記数5によってペナルティが算出され、ペナルティPが一定の閾値を超えている場合は、相関値補正部50は、例えば、相関値に対して、算出したペナルティPを乗算することによって、相関値を補正する。
Further, when the penalty is calculated by the above formula 5 and the penalty P exceeds a certain threshold, the correlation
また、相関値補正部50が、このように、一方の画像ブロックの輝度の平均値と他方の画像ブロックの輝度の平均値との差を基準にペナルティを計算しているのは、相関値計算部20によって算出された平均値をそのまま流用するためである。この結果、相関値補正部50による計算処理を削減でき、処理時間の短縮化が図られることになる。但し、相関値補正部50による補正処理の仕方は、上記態様に限定されるものではない。相関値補正部50は、例えば、一方の画像ブロックの輝度の分散値と、他方の画像ブロックの輝度の分散値との差を求めることによって、相関値を補正することもできる。
The correlation
判定部30は、本実施の形態では、一方の画像から抽出された画像ブロックの一つに組み合わされた、他方の画像から抽出された画像ブロックのうち、上記数4によって算出された相関値R(又は補正後の相関値R)が最も小さくなる画像ブロックを特定する。そして、判定部30は、特定した画像ブロックは、一方の画像から抽出された画像ブロックの一つと一致していると判定する。つまり、判定部30は、相関値Rが最も小さくなる画像ブロックの組を特定し、特定した画像ブロックを構成する画像ブロック同士は一致していると判定する。
In this embodiment, the
[装置動作]
次に、本発明の実施の形態における画像処理装置100の動作について図9を用いて説明する。図9は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図1〜図8を参酌する。また、本実施の形態では、画像処理装置100を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置100の動作説明に代える。[Device operation]
Next, the operation of the
図9に示すように、画像処理装置100においては、最初に、画像取得部40が、ネットワーク等を介して送信されてきたペア画像を取得する(ステップA1)。更に、画像取得部40は、ペア画像それぞれのエピポーラ線が水平方向において一致するように、一方又は両方の画像を補正する(ステップA2)。
As shown in FIG. 9, in the
次に、画像抽出部10は、ペア画像それぞれを、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、タイル状に分割した形で、ペア画像それぞれから複数の画像ブロックを抽出する(ステップA3)。
Next, the
次に、画像抽出部10は、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、画像ブロックの組を設定する(ステップA4)。具体的には、画像抽出部10は、行数が一致する画像ブロック同士を組み合せて、画像ブロックの組を設定する。
Next, the
次に、相関値算出部20は、入力された画像ブロックの組毎に、上記数4を用いて、相関値を算出する(ステップA5)。具体的には、相関値算出部20は、画像ブロック間で同じ座標に位置する2つの画素によって画素間組合せを設定し、画素間組合せ毎に、第1の輝度差及び第2の輝度差を算出し、更に、両者の差(画素間の輝度差)を算出する。そして、相関値算出部20は、算出した画素間の輝度差を積算し、得られた積算値を相関値とする。
Next, the correlation
次に、相関値補正部50は、算出された相関値に対して必要に応じて補正を実行する(ステップA6)。具体的には、相関値補正部50は、設定された画像ブロックの組毎に、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、求めた差を基準にペナルティPを算出する。そして、相関値補正部50は、ペナルティPが一定の閾値を超えている場合に、相関値に対して、算出したペナルティPを乗算する。
Next, the correlation
次に、判定部30は、画像ブロックの組それぞれの相関値に基づいて、画像ブロックの組毎に、画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する(ステップA7)。具体的には、判定部30は、相関値Rが最も小さくなる画像ブロックの組を特定し、特定した画像ブロックの組を構成する画像ブロック同士は一致していると判定する。
Next, the
このように、ステップA1〜A7の実行により、ペア画像において一致する画像ブロックの組が特定される。その後、画像処理装置100は、一致する画像ブロック間で対応点を特定し、特定した対応点間の視差を用いて、三角測量を実行する。更に、画像処理装置100は、三角測量の結果に基づいて、被写体の奥行き及び形状を特定する。
In this way, a set of matching image blocks in the pair image is specified by executing Steps A1 to A7. Thereafter, the
[実施の形態における効果]
以上のように、本実施の形態では、各画像ブロックにおいて、画像ブロック全体の平均の輝度値と画素単独の輝度値との差が求められ、この差に基づいて、画像ブロック間の相関値が求められる。従って、本実施の形態によれば、従来からのSAD又はSSDを利用する場合と異なり、直接の輝度値のみで相関値が算出されないので、画像ブロック間の全体的な輝度の違いによる影響が大きく軽減される。[Effects of the embodiment]
As described above, in the present embodiment, in each image block, the difference between the average luminance value of the entire image block and the luminance value of each pixel is obtained, and based on this difference, the correlation value between the image blocks is calculated. Desired. Therefore, according to the present embodiment, unlike the conventional case where SAD or SSD is used, the correlation value is not calculated only by the direct luminance value, so that the influence of the overall luminance difference between the image blocks is large. It is reduced.
また、本実施の形態では、NCCを利用する場合と異なり、画像ブロック間の相関値を計算するに際して、各画像ブロックの対応する画素同士が直接比較されるので、一致しない画像ブロックの組が誤って一致していると判断される可能姓は大きく低減される。 Also, in the present embodiment, unlike the case of using NCC, when calculating the correlation value between image blocks, the corresponding pixels of each image block are directly compared with each other. The possible surnames that are judged to match are greatly reduced.
また、一致しないはずの画像ブロックの組で、両者の輝度値の変化のパターンが近似していると、誤って両者が一致していると判断される可能姓がある。しかし、本実施の形態では、画像ブロック間の平均の輝度の差に応じて、相関値が補正され、輝度値の変化のパターンが近似しているだけの画像ブロックの組の相関値は高くなるので、このような事態が回避されることになる。 In addition, in a set of image blocks that should not match, there is a possibility that it is erroneously determined that both match if the pattern of change in luminance value of both is close. However, in the present embodiment, the correlation value is corrected according to the average luminance difference between the image blocks, and the correlation value of the set of image blocks in which only the luminance value change pattern is approximated becomes high. Therefore, such a situation will be avoided.
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図9に示すステップA1〜A7を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置100と画像処理方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、画像抽出部10、相関値算出部20、判定部30、画像取得部40、及び相関値補正部50として機能し、処理を行なう。[program]
The program in the present embodiment may be a program that causes a computer to execute steps A1 to A7 shown in FIG. By installing and executing this program on a computer, the
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像抽出部10、相関値算出部20、判定部30、画像取得部40、及び相関値補正部50のいずれかとして機能しても良い。
The program in the present embodiment may be executed by a computer system constructed by a plurality of computers. In this case, for example, each computer may function as any one of the
[変形例]
上述した例では、ステップA3において画像抽出部10は、ペア画像それぞれを予め設定されたサイズの画像ブロックに分割することによって、ペア画像それぞれから複数の画像ブロックを抽出しているが、ステップA3における画像ブロックの抽出方法は上述の例に限定されない。図10は、画像ブロックの抽出方法の変形例を説明するための図である。なお、図10には、画像取得部40によって取得された画像201及び画像202が示されている。図10においては、説明を分かりやすくするために、画像に含まれる各画素を大きく示している。したがって、実際には、各画像には、図10に示すよりも多くの画素が含まれていてもよい。[Modification]
In the example described above, in step A3, the
本実施の形態における変形例においても、画像抽出部10は、ペア画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、複数の画像ブロックを抽出する。具体的には、図10を参照して、画像抽出部10は、画像201,202それぞれにおいて、垂直方向(矢印Vで示す方向)及び水平方向(矢印Hで示す方法)に沿って、水平方向Hにおける行と垂直方向Vにおける列とを設定する。各行は、水平方向Hに並ぶ複数の画素によって構成されている。同様に、各列は、垂直方向Vに並ぶ複数の画素によって構成されている。図10の例では、画像201,202それぞれにおいて、垂直方向Vに沿って20個の行が設定され、水平方向Hに沿って24個の列が設定されている。各行は、水平方向Hに並ぶ24個の画素によって構成され、各列は、垂直方向Vに並ぶ20個の画素によって構成されている。
Also in the modification in the present embodiment, the
画像抽出部10は、上記のように複数の行及び複数の列が設定された画像201,202それぞれから、複数の画像ブロックを抽出する。画像ブロックは、複数の画素によって構成される。本変形例では、画像抽出部10は、画像201の画素ごとに、その画素を中心画素とする画像ブロックを抽出する。また、画像抽出部10は、画像202の画素ごとに、その画素を中心画素とする画像ブロックを抽出する。したがって、画像抽出部10は、例えば、画像201を構成する複数の画素と同数の画像ブロックを、画像201から抽出する。また、画像抽出部10は、例えば、画像202を構成する複数の画素と同数の画像ブロックを、画像202から抽出する。
The
図10においては、画像201から抽出された複数の画像ブロックのうちの一つの画像ブロック203が示され、画像202から抽出された複数の画像ブロックのうちの一つの画像ブロック204が示されている。図10においては、画像ブロック203,204を構成する複数の画素にハッチングを付している。図10の例では、画像ブロック203,204はそれぞれ、9画素によって構成されている。
In FIG. 10, one
なお、図11を参照して、例えば、画像201内の最も外側に並ぶ複数の画素のうちの一つを中心画素として画像ブロック203を抽出する際には、画像201内の画素のみによって画像ブロックを構成することはできない。この場合には、例えば、一定の輝度(例えば、零)を有する複数の画素(以下、仮想画素と記載する。)が、画像201を囲むように設けられていると仮定して画像ブロックを抽出する。図11の例では、例えば、画像201内の6個の画素と、3個の仮想画素とによって、画像ブロック203が構成されている。詳細な説明は省略するが、画像202から抽出される画像ブロックについても同様である。
Referring to FIG. 11, for example, when the
更に、本変形例では、画像抽出部10は、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出する。そして、選出した画像ブロック同士を組み合せて、複数の画像ブロックの組を設定し、設定した複数の画像ブロックの組を、相関値算出部20に入力する。例えば、図10では、画像202の一つの行は、24画素によって構成されている。上述したように、画像ブロックは画素ごとに設定されるので、画像202の一つの行に対して24個の画像ブロックが設定される。したがって、図10の例では、一方の画像201から抽出された任意の画像ブロックは、他方の画像202の対応する一つの行を構成する画素ごとに設定された24個の画像ブロックにそれぞれに組み合わされる。例えば、画像201から抽出された画像ブロックの中心画素が5行目に位置している場合には、その画像ブロックは、画像202の5行目の画素ごとに設定された24個の画像ブロックにそれぞれ組み合わされる。このようにして、本変形例では、画像201から抽出された画像ブロックごとに、24個の画像ブロックの組が設定される。すなわち、画像201を構成する全ての画素それぞれに対して、24個の画像ブロックの組が設定される。
Furthermore, in this modification, the
以上のように、本変形例においては、画像抽出部10は、ペア画像201,202から、画素と同数の画像ブロック203,204を抽出する。この場合、互いに一致する画像ブロックのペアをより高精度に特定することが可能になる。すなわち、ペア画像を対象としたマッチング処理において、判定精度をさらに向上させることができる。
As described above, in the present modification, the
ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置100を実現するコンピュータについて図12を用いて説明する。図12は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
Here, a computer that realizes the
図12に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
As shown in FIG. 12, the
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
The CPU 111 performs various calculations by developing the program (code) in the present embodiment stored in the
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
Specific examples of the
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
The data reader /
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
Specific examples of the
なお、本実施の形態における画像処理装置100は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置100は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
Note that the
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記15)によって表現することができるが、以下の記載に限定されるものではない。 Part or all of the above-described embodiment can be expressed by (Appendix 1) to (Appendix 15) described below, but is not limited to the following description.
(付記1)
対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする画像処理装置。(Appendix 1)
A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and one of the image blocks extracted from the other image An image extraction unit that sets a set of a plurality of image blocks in combination with one,
For each set of image blocks set,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
A correlation value calculation unit that integrates the luminance difference between the pixels for each of the obtained combinations, and sets the obtained integration value as a correlation value of the set of the image block;
A determination unit that determines, for each set of image blocks, whether one image block of the set of image blocks matches the other image block based on a correlation value of each set of the image blocks; ,
An image processing apparatus comprising:
(付記2)
前記2つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記1に記載の画像処理装置。(Appendix 2)
The image processing apparatus according to appendix 1, wherein the two images are pair images obtained by photographing the same object from different angles.
(付記3)
前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、相関値補正部を更に備えている、
付記1または2に記載の画像処理装置。(Appendix 3)
For each set of image blocks, the difference between the average value of the luminance of the one image block and the average value of the luminance of the other image block is obtained, and when a certain condition is satisfied, based on the obtained difference A correlation value correction unit for correcting the correlation value.
The image processing apparatus according to appendix 1 or 2.
(付記4)
前記2つの画像を取得し、取得した前記2つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記2つの画像の一方または両方に対して、回転および射影変換のうち少なくとも1つを行なって、前記2つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
前記画像抽出部が、前記2つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記1〜3のいずれかに記載の画像処理装置。(Appendix 4)
When the two images are acquired and the epipolar lines of the acquired two images do not match in the horizontal direction, at least one of rotation and projective transformation is performed on one or both of the two images. And further comprising an image acquisition unit that matches the epipolar lines of the two images in the horizontal direction,
The image extraction unit extracts the plurality of image blocks from each of the two images so that rows in the horizontal direction and columns in the vertical direction are formed along the vertical direction and the horizontal direction,
One of the image blocks extracted from the one image and one of the image blocks extracted from the other image are selected so that the rows in which they are located correspond to each other, and the selected image blocks To set the set of image blocks,
The image processing apparatus according to any one of appendices 1 to 3.
(付記5)
前記判定部は、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記4に記載の画像処理装置。(Appendix 5)
The determination unit identifies and specifies an image block having the smallest correlation value among image blocks extracted from the other image combined with one of the image blocks extracted from the one image. The determined image block matches one of the image blocks extracted from the one image,
The image processing apparatus according to appendix 4.
(付記6)
(a)対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする画像処理方法。(Appendix 6)
(A) A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and the other image are extracted. Combining one of the image blocks to set a set of multiple image blocks;
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
An image processing method characterized by comprising:
(付記7)
前記2つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記6に記載の画像処理方法。(Appendix 7)
The image processing method according to appendix 6, wherein the two images are pair images obtained by photographing the same object from different angles.
(付記8)
(d)前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に有する、
付記6または7に記載の画像処理方法。(Appendix 8)
(D) For each set of the image blocks, a difference between the average value of the luminance of the one image block and the average value of the luminance of the other image block is obtained, and when the predetermined condition is satisfied, the obtained Further correcting the correlation value based on the difference,
The image processing method according to appendix 6 or 7.
(付記9)
(e)前記2つの画像を取得し、取得した前記2つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記2つの画像の一方または両方に対して、回転および射影変換のうち少なくとも1つを行なって、前記2つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
前記(a)のステップにおいて、前記2つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記6〜8のいずれかに記載の画像処理方法。(Appendix 9)
(E) When the two images are acquired, and when epipolar lines of the two images acquired do not coincide with each other in the horizontal direction, one or both of the two images are subjected to rotation and projective transformation. Performing at least one to match the epipolar lines of each of the two images in the horizontal direction;
In the step (a), the plurality of image blocks are extracted from each of the two images so that rows in the horizontal direction and columns in the vertical direction are formed along the vertical direction and the horizontal direction.
One of the image blocks extracted from the one image and one of the image blocks extracted from the other image are selected so that the rows in which they are located correspond to each other, and the selected image blocks To set the set of image blocks,
The image processing method according to any one of appendices 6 to 8.
(付記10)
前記(c)のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から得られた画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記9に記載の画像処理方法。(Appendix 10)
In the step (c), the image block having the smallest correlation value is identified from among the image blocks obtained from the other image combined with one of the image blocks extracted from the one image. And determining that the identified image block matches one of the image blocks extracted from the one image.
The image processing method according to appendix 9.
(付記11)
コンピュータに、
(a)対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。(Appendix 11)
On the computer,
(A) Extracting a plurality of image blocks of a set size from each of the two target images, one of the image blocks extracted from one of the two images, and an image extracted from the other image Combining one of the blocks to set a set of multiple image blocks; and
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
The computer-readable recording medium which recorded the program containing the instruction | indication which performs this.
(付記12)
前記2つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記11に記載のコンピュータ読み取り可能な記録媒体。(Appendix 12)
The computer-readable recording medium according to appendix 11, wherein the two images are pair images obtained by photographing the same object from different angles.
(付記13)
前記コンピュータに、
(d)前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
付記11または12に記載のコンピュータ読み取り可能な記録媒体。(Appendix 13)
In the computer,
(D) For each set of the image blocks, a difference between the average value of the luminance of the one image block and the average value of the luminance of the other image block is obtained, and when the predetermined condition is satisfied, the obtained Further correcting the correlation value based on the difference,
The computer-readable recording medium according to appendix 11 or 12.
(付記14)
前記コンピュータに、
(e)前記2つの画像を取得し、取得した前記2つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記2つの画像の一方または両方に対して、回転および射影変換うち少なくとも1つを行なって、前記2つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記(a)のステップにおいて、前記2つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記11〜13のいずれかに記載のコンピュータ読み取り可能な記録媒体。(Appendix 14)
In the computer,
(E) When the two images are acquired, and when epipolar lines of the acquired two images do not coincide with each other in the horizontal direction, at least one of rotation and projective transformation is performed on one or both of the two images. Performing one step to further match the epipolar lines of each of the two images in the horizontal direction,
In the step (a), the plurality of image blocks are extracted from each of the two images so that rows in the horizontal direction and columns in the vertical direction are formed along the vertical direction and the horizontal direction.
One of the image blocks extracted from the one image and one of the image blocks extracted from the other image are selected so that the rows in which they are located correspond to each other, and the selected image blocks To set the set of image blocks,
The computer-readable recording medium according to any one of appendices 11 to 13.
(付記15)
前記(c)のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記14に記載のコンピュータ読み取り可能な記録媒体。(Appendix 15)
In the step (c), the image block having the smallest correlation value is identified from among the image blocks extracted from the other image combined with one of the image blocks extracted from the one image. And determining that the identified image block matches one of the image blocks extracted from the one image.
The computer-readable recording medium according to appendix 14.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
この出願は、2015年11月27日に出願された日本出願特願2015−232063を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2015-233203 for which it applied on November 27, 2015, and takes in those the indications of all here.
以上のように本発明によれば、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。本発明は、例えば、ステレオマッチングが必要な分野に有用である。 As described above, according to the present invention, it is possible to improve the determination accuracy in the matching process for pair images having different luminances. The present invention is useful, for example, in a field that requires stereo matching.
10 画像抽出部
20 相関値算出部
30 判定部
40 画像取得部
50 相関値補正部
100 画像処理装置
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バスDESCRIPTION OF
112
本発明は、2つの画像を用いた画像処理を行なうための、画像処理装置、画像処理方法、及びこれらを実現するためのプログラムに関する。 The present invention, for performing image processing using two images, the image processing apparatus, image processing method, and relates to a program for implementing them.
本発明の目的の一例は、上記問題を解消し、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図り得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。 An object of the present invention is to provide an image processing apparatus, an image processing method, and a program capable of solving the above-described problems and improving the determination accuracy in matching processing for pair images having different luminances. .
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
(a)対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させることを特徴とする。
Furthermore, in order to achieve the above object, a program according to one aspect of the present invention is provided.
On the computer,
(A) A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and the other image are extracted. Combining one of the image blocks to set a set of multiple image blocks;
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
Allowed to run and wherein the Turkey.
(付記11)
コンピュータに、
(a)対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させるプログラム。
(Appendix 11)
On the computer,
(A) Extracting a plurality of image blocks of a set size from each of the two target images, one of the image blocks extracted from one of the two images, and an image extracted from the other image Combining one of the blocks to set a set of multiple image blocks; and
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
Help Rogura-time to the execution.
(付記12)
前記2つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記11に記載のプログラム。
(Appendix 12)
The program according to appendix 11, wherein the two images are pair images obtained by photographing the same object from different angles.
(付記13)
前記コンピュータに、
(d)前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
付記11または12に記載のプログラム。
(Appendix 13)
In the computer,
(D) For each set of the image blocks, a difference between the average value of the luminance of the one image block and the average value of the luminance of the other image block is obtained, and when the predetermined condition is satisfied, the obtained Further correcting the correlation value based on the difference,
The program according to appendix 11 or 12.
(付記14)
前記コンピュータに、
(e)前記2つの画像を取得し、取得した前記2つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記2つの画像の一方または両方に対して、回転および射影変換うち少なくとも1つを行なって、前記2つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記(a)のステップにおいて、前記2つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記11〜13のいずれかに記載のプログラム。
(Appendix 14)
In the computer,
(E) When the two images are acquired, and when epipolar lines of the acquired two images do not coincide with each other in the horizontal direction, at least one of rotation and projective transformation is performed on one or both of the two images. Performing one step to further match the epipolar lines of each of the two images in the horizontal direction,
In the step (a), the plurality of image blocks are extracted from each of the two images so that rows in the horizontal direction and columns in the vertical direction are formed along the vertical direction and the horizontal direction.
One of the image blocks extracted from the one image and one of the image blocks extracted from the other image are selected so that the rows in which they are located correspond to each other, and the selected image blocks To set the set of image blocks,
The program according to any one of appendices 11 to 13.
(付記15)
前記(c)のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記14に記載のプログラム。
(Appendix 15)
In the step (c), the image block having the smallest correlation value is identified from among the image blocks extracted from the other image combined with one of the image blocks extracted from the one image. And determining that the identified image block matches one of the image blocks extracted from the one image.
The program according to appendix 14.
Claims (15)
設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする画像処理装置。A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and one of the image blocks extracted from the other image An image extraction unit that sets a set of a plurality of image blocks in combination with one,
For each set of image blocks set,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
A correlation value calculation unit that integrates the luminance difference between the pixels for each of the obtained combinations, and sets the obtained integration value as a correlation value of the set of the image block;
A determination unit that determines, for each set of image blocks, whether one image block of the set of image blocks matches the other image block based on a correlation value of each set of the image blocks; ,
An image processing apparatus comprising:
請求項1または2に記載の画像処理装置。For each set of image blocks, the difference between the average value of the luminance of the one image block and the average value of the luminance of the other image block is obtained, and when a certain condition is satisfied, based on the obtained difference A correlation value correction unit for correcting the correlation value.
The image processing apparatus according to claim 1.
前記画像抽出部が、前記2つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項1〜3のいずれかに記載の画像処理装置。When the two images are acquired and the epipolar lines of the acquired two images do not match in the horizontal direction, at least one of rotation and projective transformation is performed on one or both of the two images. And further comprising an image acquisition unit that matches the epipolar lines of the two images in the horizontal direction,
The image extraction unit extracts the plurality of image blocks from each of the two images so that rows in the horizontal direction and columns in the vertical direction are formed along the vertical direction and the horizontal direction,
One of the image blocks extracted from the one image and one of the image blocks extracted from the other image are selected so that the rows in which they are located correspond to each other, and the selected image blocks To set the set of image blocks,
The image processing apparatus according to claim 1.
請求項4に記載の画像処理装置。The determination unit identifies and specifies an image block having the smallest correlation value among image blocks extracted from the other image combined with one of the image blocks extracted from the one image. The determined image block matches one of the image blocks extracted from the one image,
The image processing apparatus according to claim 4.
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする画像処理方法。(A) A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and the other image are extracted. Combining one of the image blocks to set a set of multiple image blocks;
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
An image processing method characterized by comprising:
請求項6または7に記載の画像処理方法。(D) For each set of the image blocks, a difference between the average value of the luminance of the one image block and the average value of the luminance of the other image block is obtained, and when the predetermined condition is satisfied, the obtained Further correcting the correlation value based on the difference,
The image processing method according to claim 6 or 7.
前記(a)のステップにおいて、前記2つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項6〜8のいずれかに記載の画像処理方法。(E) When the two images are acquired, and when epipolar lines of the two images acquired do not coincide with each other in the horizontal direction, one or both of the two images are subjected to rotation and projective transformation. Performing at least one to match the epipolar lines of each of the two images in the horizontal direction;
In the step (a), the plurality of image blocks are extracted from each of the two images so that rows in the horizontal direction and columns in the vertical direction are formed along the vertical direction and the horizontal direction.
One of the image blocks extracted from the one image and one of the image blocks extracted from the other image are selected so that the rows in which they are located correspond to each other, and the selected image blocks To set the set of image blocks,
The image processing method according to claim 6.
請求項9に記載の画像処理方法。In the step (c), the image block having the smallest correlation value is identified from among the image blocks obtained from the other image combined with one of the image blocks extracted from the one image. And determining that the identified image block matches one of the image blocks extracted from the one image.
The image processing method according to claim 9.
(a)対象となる2つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記2つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
(b)設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第1の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第2の輝度差として算出し、
更に、前記第1の輝度差と前記第2の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
(c)前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。On the computer,
(A) A plurality of image blocks of a set size are extracted from each of the two target images, and one of the image blocks extracted from one of the two images and the other image are extracted. Combining one of the image blocks to set a set of multiple image blocks;
(B) For each set of set image blocks,
For each combination of pixels of one image block and corresponding pixels of the other image block,
Calculating the difference between the luminance at the pixel of the one image block and the average value of the luminance of the one image block as a first luminance difference;
Calculating the difference between the luminance at the corresponding pixel of the other image block and the average value of the luminance of the other image block as a second luminance difference;
Further, a difference between the first luminance difference and the second luminance difference is calculated as a luminance difference between pixels,
Integrating the luminance differences between the pixels for each of the obtained combinations, and setting the obtained integrated value as a correlation value of the set of image blocks;
(C) Based on the correlation value of each set of image blocks, for each set of image blocks, determine whether one image block of the set of image blocks and the other image block match, Steps,
The computer-readable recording medium which recorded the program containing the instruction | indication which performs this.
(d)前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
請求項11または12に記載のコンピュータ読み取り可能な記録媒体。In the computer,
(D) For each set of the image blocks, a difference between the average value of the luminance of the one image block and the average value of the luminance of the other image block is obtained, and when the predetermined condition is satisfied, the obtained Further correcting the correlation value based on the difference,
The computer-readable recording medium according to claim 11 or 12.
(e)前記2つの画像を取得し、取得した前記2つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記2つの画像の一方または両方に対して、回転および射影変換うち少なくとも1つを行なって、前記2つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記(a)のステップにおいて、前記2つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項11〜13のいずれかに記載のコンピュータ読み取り可能な記録媒体。In the computer,
(E) When the two images are acquired, and when epipolar lines of the acquired two images do not coincide with each other in the horizontal direction, at least one of rotation and projective transformation is performed on one or both of the two images. Performing one step to further match the epipolar lines of each of the two images in the horizontal direction,
In the step (a), the plurality of image blocks are extracted from each of the two images so that rows in the horizontal direction and columns in the vertical direction are formed along the vertical direction and the horizontal direction.
One of the image blocks extracted from the one image and one of the image blocks extracted from the other image are selected so that the rows in which they are located correspond to each other, and the selected image blocks To set the set of image blocks,
The computer-readable recording medium in any one of Claims 11-13.
請求項14に記載のコンピュータ読み取り可能な記録媒体。In the step (c), the image block having the smallest correlation value is identified from among the image blocks extracted from the other image combined with one of the image blocks extracted from the one image. And determining that the identified image block matches one of the image blocks extracted from the one image.
The computer-readable recording medium according to claim 14.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232063 | 2015-11-27 | ||
JP2015232063 | 2015-11-27 | ||
PCT/JP2016/084897 WO2017090705A1 (en) | 2015-11-27 | 2016-11-25 | Image processing device, image processing method and computer-readable recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017090705A1 true JPWO2017090705A1 (en) | 2018-09-20 |
Family
ID=58763485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017552710A Pending JPWO2017090705A1 (en) | 2015-11-27 | 2016-11-25 | Image processing apparatus, image processing method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017090705A1 (en) |
WO (1) | WO2017090705A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109094451A (en) * | 2018-07-23 | 2018-12-28 | 华南师范大学 | Night meeting high beam control method and its system, computer readable storage medium |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121711A (en) * | 1993-08-30 | 1995-05-12 | Omron Corp | Device and method for correcting correlation coefficient of normalized cross-correlation in pattern matching |
JPH11234701A (en) * | 1998-02-18 | 1999-08-27 | Fuji Heavy Ind Ltd | Stereoscopic image processing unit |
JP2001116513A (en) * | 1999-10-18 | 2001-04-27 | Toyota Central Res & Dev Lab Inc | Distance image calculating device |
JP2009276906A (en) * | 2008-05-13 | 2009-11-26 | Panasonic Corp | Travelling information providing device |
JP2013045276A (en) * | 2011-08-24 | 2013-03-04 | Ricoh Co Ltd | Image processing method and stereo camera system |
JP2015069568A (en) * | 2013-09-30 | 2015-04-13 | 富士重工業株式会社 | Filtering device |
JP2015172876A (en) * | 2014-03-12 | 2015-10-01 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring system, and program |
-
2016
- 2016-11-25 WO PCT/JP2016/084897 patent/WO2017090705A1/en active Application Filing
- 2016-11-25 JP JP2017552710A patent/JPWO2017090705A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121711A (en) * | 1993-08-30 | 1995-05-12 | Omron Corp | Device and method for correcting correlation coefficient of normalized cross-correlation in pattern matching |
JPH11234701A (en) * | 1998-02-18 | 1999-08-27 | Fuji Heavy Ind Ltd | Stereoscopic image processing unit |
JP2001116513A (en) * | 1999-10-18 | 2001-04-27 | Toyota Central Res & Dev Lab Inc | Distance image calculating device |
JP2009276906A (en) * | 2008-05-13 | 2009-11-26 | Panasonic Corp | Travelling information providing device |
JP2013045276A (en) * | 2011-08-24 | 2013-03-04 | Ricoh Co Ltd | Image processing method and stereo camera system |
JP2015069568A (en) * | 2013-09-30 | 2015-04-13 | 富士重工業株式会社 | Filtering device |
JP2015172876A (en) * | 2014-03-12 | 2015-10-01 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring system, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2017090705A1 (en) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7173772B2 (en) | Video processing method and apparatus using depth value estimation | |
US10559090B2 (en) | Method and apparatus for calculating dual-camera relative position, and device | |
EP3016071B1 (en) | Estimating device and estimation method | |
KR102137264B1 (en) | Apparatus and method for camera pose estimation | |
KR102483641B1 (en) | Method and apparatus for processing binocular image | |
JP6760957B2 (en) | 3D modeling method and equipment | |
US9967516B2 (en) | Stereo matching method and device for performing the method | |
US20130004079A1 (en) | Image processing apparatus, image processing method, and program thereof | |
CN110493488B (en) | Video image stabilization method, video image stabilization device and computer readable storage medium | |
JP2018534698A (en) | Method and system for large scale determination of RGBD camera attitude | |
JP2016201668A (en) | Image processing apparatus, image processing method, and program | |
EP3633606A1 (en) | Information processing device, information processing method, and program | |
JP2017021759A (en) | Image processor, image processing method and program | |
KR20160098012A (en) | Method and apparatus for image matchng | |
US10097808B2 (en) | Image matching apparatus and method thereof | |
JP4296617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
US20190306417A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP6601893B2 (en) | Image processing apparatus, image processing method, and program | |
US20170178351A1 (en) | Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium | |
JP5769248B2 (en) | Stereo matching processing device, stereo matching processing method, and program | |
WO2017090705A1 (en) | Image processing device, image processing method and computer-readable recording medium | |
JP6175878B2 (en) | Image processing circuit, image processing apparatus, and image processing method | |
KR20210075618A (en) | Method and apparatus for generating disparity map using edge image | |
US10417783B2 (en) | Image processing apparatus, image processing method, and storage medium | |
AU2022375768A1 (en) | Methods, storage media, and systems for generating a three-dimensional line segment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190826 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200121 |