JP2006031423A - Image processing method and image processor - Google Patents

Image processing method and image processor Download PDF

Info

Publication number
JP2006031423A
JP2006031423A JP2004209586A JP2004209586A JP2006031423A JP 2006031423 A JP2006031423 A JP 2006031423A JP 2004209586 A JP2004209586 A JP 2004209586A JP 2004209586 A JP2004209586 A JP 2004209586A JP 2006031423 A JP2006031423 A JP 2006031423A
Authority
JP
Japan
Prior art keywords
data
window
parallax
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004209586A
Other languages
Japanese (ja)
Other versions
JP4608978B2 (en
Inventor
Gyokuu Ryu
玉宇 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004209586A priority Critical patent/JP4608978B2/en
Publication of JP2006031423A publication Critical patent/JP2006031423A/en
Application granted granted Critical
Publication of JP4608978B2 publication Critical patent/JP4608978B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing method generating accurate parallax data on the basis of a stereo image. <P>SOLUTION: A window matching part 14_1 makes a window cost calculation part 18 generate, for each of a plurality of first window data containing pixel data of a processing object within photographed image data P_L in mutually different positions, cost data according to the difference between the first window data and second window data in photographed image data P_R corresponding to a designated parallax. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ステレオ画像を基に視差データを生成する画像処理方法および画像処理装置に関する。   The present invention relates to an image processing method and an image processing apparatus that generate parallax data based on a stereo image.

撮像対象を当該撮像対象の左右に配置した左カメラと右カメラで撮像し、両カメラで撮像した画像の対応点をエピポ−ラ線上で探索して、その対応点のずれを示す視差データを生成する画像処理装置がある。
このような画像処理装置は、上記視差データを利用して、例えば、撮像対象の３次元画像を生成したり、複数の異なる角度から撮像対象を撮像した場合の画像データを生成する。
ところで、上述した画像処理装置では、高精度な画像データを生成するために、高精度な視差データを生成することが重要である。
従来の画像処理装置では、例えば、左カメラの画像内の画素データについて、当該画素データを所定の単数の位置に含むウィンドウデータ内の画素データの累積画素値データを算出し、当該累積画素値データとの差分が最小となる累積画素値データを持つウィンドウデータを右カメラの画像内で探索し、当該探索したウィンドウデータの位置を基に視差データを生成する。 The imaging target is imaged with the left camera and the right camera arranged on the left and right of the imaging target, the corresponding points of the images captured by both cameras are searched on the epipolar line, and the parallax data indicating the deviation of the corresponding points is generated There is an image processing apparatus.
Such an image processing device uses the parallax data to generate, for example, a three-dimensional image of the imaging target or image data when imaging the imaging target from a plurality of different angles.
Incidentally, in the above-described image processing apparatus, it is important to generate high-precision parallax data in order to generate high-precision image data.
In a conventional image processing device, for example, for pixel data in an image of the left camera, cumulative pixel value data of pixel data in window data including the pixel data at a predetermined single position is calculated, and the cumulative pixel value data The window data having the accumulated pixel value data that minimizes the difference between and is searched in the image of the right camera, and the parallax data is generated based on the position of the searched window data.

A.Fusiello,V.Rob erto,and E. Trucco,Efficient stereo with multiple windowing, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.858-863, Puerto Rico,June 1997.A. Fusiello, V. Roberto, and E. Trucco, Efficient stereo with multiple windowing, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.858-863, Puerto Rico, June 1997.

M.Hariyama,T.takeuchi,M.Kameyama, VLSI processor for reliable stereo matching based on adaptive window-seze selection, International Conference on Robotics and Automation,pp.1168-1173, Korea,2001M.Hariyama, T.takeuchi, M.Kameyama, VLSI processor for reliable stereo matching based on adaptive window-seze selection, International Conference on Robotics and Automation, pp.1168-1173, Korea, 2001

しかしながら、上述した従来の画像処理装置では、上記ウィンドウデータ内にエッジ画像が含まれると、上記累積画素値データを基にしたウィンドウデータの探索精度が低くなり、視差データの精度が低下するという問題がある。   However, in the conventional image processing apparatus described above, when an edge image is included in the window data, the search accuracy of the window data based on the accumulated pixel value data is lowered, and the accuracy of the parallax data is lowered. There is.

本発明は、上述した従来技術の問題点に鑑みてなされ、ステレオ画像を基に高精度な視差データを生成できる画像処理方法および画像処理装置を提供することを目的とする。   The present invention has been made in view of the above-described problems of the prior art, and an object thereof is to provide an image processing method and an image processing apparatus capable of generating highly accurate parallax data based on a stereo image.

上述した従来技術の問題点を解決し、上述した目的を達成するために、第１の発明の画像処理方法は、所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の第１の位置に対応する、前記第２の画像内の第２のエピポ−ラ線の第２の位置を探索し、前記第１の位置と前記第２の位置との間の位置関係に基づいて視差データを生成する画像処理方法であって、前記第１の画像内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差データに対応した前記第２の画像データ内の第２のウィンドウデータとの間の差分に応じた指標データを生成する第１の工程と、前記第１の工程で生成した指標データのうち最小の指標データを、前記指定された視差データの指標データとして特定する第２の工程と、予め決められた複数の視差を前記第１の工程で指定させ、当該複数の視差データの各々について前記第２の工程で特定した前記指標データのうち最小の前記指標データに対応する前記視差データを、前記処理対象の画素データの視差データとして特定する第３の工程とを有する。   In order to solve the above-described problems of the prior art and achieve the above-described object, the image processing method according to the first aspect of the present invention includes a first image obtained by imaging a predetermined imaging target from different positions and the first image. A second position of the second epipolar line in the second image corresponding to a first position on the first epipolar line in the first image based on the second image , And generating parallax data based on a positional relationship between the first position and the second position, wherein the pixel data to be processed in the first image are correlated with each other. Difference between the first window data and the second window data in the second image data corresponding to the designated parallax data, for each of the plurality of first window data included in different positions A first step of generating index data according to the first process, and the first process A second step of specifying the minimum index data among the index data generated in step 1 as index data of the specified parallax data, and a plurality of predetermined parallaxes specified in the first step, A third step of specifying, as the parallax data of the pixel data to be processed, the parallax data corresponding to the minimum index data among the index data specified in the second step for each of the parallax data of Have.

第１の発明の画像処理方法の作用は以下のようになる。
先ず、第１の工程において、第１の画像内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差データに対応した前記第２の画像データ内の第２のウィンドウデータとの間の差分に応じた指標データを生成する。
次に、第２の工程において、前記第１の工程で生成した指標データのうち最小の指標データを、前記指定された視差データの指標データとして特定する。
次に、第３の工程において、予め決められた複数の視差を前記第１の工程で指定させ、当該複数の視差データの各々について前記第２の工程で特定した前記指標データのうち最小の前記指標データに対応する前記視差データを、前記処理対象の画素データの視差データとして特定する。 The operation of the image processing method of the first invention is as follows.
First, in the first step, for each of a plurality of first window data including pixel data to be processed in the first image at different positions, the first window data and designated parallax data Index data corresponding to the difference between the second image data and the second window data in the second image data is generated.
Next, in the second step, the minimum index data among the index data generated in the first step is specified as the index data of the designated parallax data.
Next, in a third step, a plurality of predetermined parallaxes are designated in the first step, and the smallest of the index data specified in the second step for each of the plurality of parallax data The parallax data corresponding to the index data is specified as parallax data of the pixel data to be processed.

第２の発明の画像処理装置は、所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の第１の位置に対応する、前記第２の画像内の第２のエピポ−ラ線の第２の位置を探索し、前記第１の位置と前記第２の位置との間の位置関係に基づいて視差データを生成する画像処理装置であって、前記第１の画像内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差データに対応した前記第２の画像データ内の第２のウィンドウデータとの間の差分に応じた指標データを生成する指標データ生成手段と、前記指標データ生成手段が生成した指標データのうち最小の指標データを、前記指定された視差データの指標データとして特定し、予め決められた複数の視差を前記指標データ生成手段に指定し、当該複数の視差データの各々について前記特定した前記指標データのうち最小の前記指標データに対応する前記視差データを、前記処理対象の画素データの視差データとして特定する視差データ生成手段とを有する。   According to a second aspect of the present invention, there is provided an image processing apparatus according to a first epigraph in the first image, based on a first image and a second image obtained by imaging a predetermined imaging target from different positions. A second position of the second epipolar line in the second image corresponding to the first position on the line, and a position between the first position and the second position An image processing apparatus that generates disparity data based on a relationship, wherein each of a plurality of first window data including pixel data to be processed in the first image at different positions Index data generating means for generating index data according to a difference between window data and second window data in the second image data corresponding to designated parallax data; and the index data generating means The smallest metric data of the generated metric data Specified as index data of the specified parallax data, a plurality of predetermined parallaxes are specified in the index data generating means, and the smallest index among the specified index data for each of the plurality of parallax data Disparity data generating means for specifying the disparity data corresponding to the data as the disparity data of the pixel data to be processed.

第２の発明の画像処理装置の作用は以下のようになる。
先ず、指標データ生成手段が、第１の画像内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差データに対応した前記第２の画像データ内の第２のウィンドウデータとの間の差分に応じた指標データを生成する。
次に、視差データ生成手段が、前記指標データ生成手段が生成した指標データのうち最小の指標データを、前記指定された視差データの指標データとして特定し、予め決められた複数の視差を前記指標データ生成手段に指定し、当該複数の視差データの各々について前記特定した前記指標データのうち最小の前記指標データに対応する前記視差データを、前記処理対象の画素データの視差データとして特定する。 The operation of the image processing apparatus of the second invention is as follows.
First, for each of a plurality of pieces of first window data including pixel data to be processed in the first image at positions different from each other, the index data generation unit includes the first window data and designated parallax data. Index data corresponding to the difference between the second image data and the second window data in the second image data is generated.
Next, the parallax data generation unit specifies the minimum index data among the index data generated by the index data generation unit as the index data of the designated parallax data, and determines a plurality of predetermined parallaxes as the index Designated as data generation means, the parallax data corresponding to the smallest index data among the specified index data for each of the plurality of parallax data is specified as the parallax data of the pixel data to be processed.

本発明によれば、ステレオ画像を基に高精度な視差データを生成できる画像処理方法および画像処理装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the image processing method and image processing apparatus which can produce | generate highly accurate parallax data based on a stereo image can be provided.

以下、本発明の実施形態に係わる画像処理装置を説明する。
先ず、本実施形態の画像処理装置の構成要素と、本発明の構成要素との対応関係を説明する。
本実施形態の第１のウィンドウデータが本発明の第１のウィンドウデータに対応し、本実施形態の第２のウィンドウデータが本発明の第２のウィンドウデータに対応している。
また、本実施形態のウィンドウサイズが、本発明のブロックサイズに対応している。
また、本実施形態のコストデータが本発明の指標データに対応している。
また、撮像画像データＰ＿Ｌが本発明の第１の画像に対応し、撮像画像データＰ＿Ｒが本発明の第２の画像に対応している。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
First, the correspondence between the components of the image processing apparatus of the present embodiment and the components of the present invention will be described.
The first window data of the present embodiment corresponds to the first window data of the present invention, and the second window data of the present embodiment corresponds to the second window data of the present invention.
Further, the window size of the present embodiment corresponds to the block size of the present invention.
Further, the cost data of the present embodiment corresponds to the index data of the present invention.
The captured image data P_L corresponds to the first image of the present invention, and the captured image data P_R corresponds to the second image of the present invention.

図６に示すステップＳＴ３が本発明の第１の工程および第２の工程に対応し、ステップＳＴ５およびＳＴ６が本発明の第３の工程に対応している。
また、図１に示す画素有効性判定部１０＿１が行なう処理が、本発明の第４の工程に対応している。
また、図１に示すマッチング有効性判定部１６＿１が行なう処理が、本発明の第５の工程に対応している。
また、図１に示すウィンドウコスト算出部１８がウィンドウマッチング部１４＿１に対して行なう処理が本発明の第７の工程に対応している。
また、図１に示すウィンドウマッチング部１４＿２が行なう処理が、本発明の第８の工程に対応している。
また、図１に示す視差データ生成部２０が行なう処理が本発明の第９の工程に対応している。 Step ST3 shown in FIG. 6 corresponds to the first step and the second step of the present invention, and steps ST5 and ST6 correspond to the third step of the present invention.
Further, the processing performed by the pixel validity determination unit 10_1 shown in FIG. 1 corresponds to the fourth step of the present invention.
Further, the processing performed by the matching validity determination unit 16_1 shown in FIG. 1 corresponds to the fifth step of the present invention.
Moreover, the process which the window cost calculation part 18 shown in FIG. 1 performs with respect to the window matching part 14_1 respond | corresponds to the 7th process of this invention.
Moreover, the process which the window matching part 14_2 shown in FIG. 1 performs respond | corresponds to the 8th process of this invention.
Moreover, the process which the parallax data generation part 20 shown in FIG. 1 performs respond | corresponds to the 9th process of this invention.

図１に示すウィンドウコスト算出部１８が本発明の指標データ生成手段に対応し、ウィンドウマッチング部１４＿１が本発明の視差データ生成手段に対応している。   The window cost calculation unit 18 shown in FIG. 1 corresponds to the index data generation unit of the present invention, and the window matching unit 14_1 corresponds to the parallax data generation unit of the present invention.

図１は、本実施形態に係わる画像処理装置１の構成図である。
図１に示すように、画像処理装置１は、例えば、カメラＬ＿Ｃ，カメラＲ＿Ｃ、画素有効性判定部１０＿１、ペナルティ決定部１２＿１，ウィンドウマッチング部１４＿１、マッチング有効性判定部１６＿１、ウィンドウコスト算出部１８および視差データ生成部２０を有する。 FIG. 1 is a configuration diagram of an image processing apparatus 1 according to the present embodiment.
As shown in FIG. 1, the image processing apparatus 1 includes, for example, a camera L_C, a camera R_C, a pixel validity determination unit 10_1, a penalty determination unit 12_1, a window matching unit 14_1, a matching validity determination unit 16_1, and a window cost calculation unit 18. And a parallax data generation unit 20.

〔カメラＲ＿Ｃ，カメラＬ＿Ｃ〕
図２は、カメラＲ＿Ｃ，カメラＬ＿Ｃと撮像対象ＴＡＲＧＥＴとの位置関係を説明するための図である。
図２に示すように、カメラＲ＿Ｃ，カメラＬ＿Ｃは、撮像対象ＴＡＧＥＴに対応して対向して配設される。
画像処理装置１は、例えば、パーソナルコンピュータなどに組み込まれる。この場合に、カメラＲ＿ＣおよびカメラＬ＿Ｃは、例えば、ユーザの顔の位置の左右両側に配設され、ユーザの顔を撮像対象ＴＡＲＧＥＴとする。
カメラＲ＿Ｃは、受光面８＿Ｒの結像結果に応じた撮像画像データＰ＿Ｒを画素有効性判定部１０＿１およびウィンドウコスト算出部１８に出力する。
カメラＬ＿Ｃは、受光面８＿Ｌの結像結果に応じた撮像画像データＰ＿Ｌを画素有効性判定部１０＿２およびウィンドウコスト算出部１８に出力する。
カメラＲ＿Ｃの受光面８＿Ｒの結像結果に応じた撮像画像データＰ＿Ｒと、カメラＬ＿Ｃの受光面８＿Ｌの結像結果に応じた撮像画像データＰ＿Ｌとの間にはエピポーラ拘束が成り立つ。すなわち、撮像画像データＰ＿Ｒ内の各点には、それに対応したエピポ−ラ線が１本定まり、そのエピポ−ラ線と対応して撮像画像データＰ＿Ｌ内に１本のエピポ−ラ線が定まる。
本実施形態では、撮像画像データＰ＿Ｒ，Ｐ＿Ｌを構成する画素データは、濃淡情報（輝度値）のみを示している。 [Camera R_C, Camera L_C]
FIG. 2 is a diagram for explaining the positional relationship between the cameras R_C and L_C and the imaging target TARGET.
As shown in FIG. 2, the camera R_C and the camera L_C are arranged to face each other corresponding to the imaging target TAGET.
The image processing apparatus 1 is incorporated into, for example, a personal computer. In this case, the camera R_C and the camera L_C are disposed on the left and right sides of the position of the user's face, for example, and the user's face is set as the imaging target TARGET.
The camera R_C outputs captured image data P_R corresponding to the imaging result of the light receiving surface 8_R to the pixel validity determination unit 10_1 and the window cost calculation unit 18.
The camera L_C outputs captured image data P_L corresponding to the imaging result of the light receiving surface 8_L to the pixel validity determination unit 10_2 and the window cost calculation unit 18.
Epipolar constraints are established between the captured image data P_R corresponding to the imaging result of the light receiving surface 8_R of the camera R_C and the captured image data P_L corresponding to the imaging result of the light receiving surface 8_L of the camera L_C. That is, one epipolar line corresponding to each point in the captured image data P_R is determined, and one epipolar line is determined in the captured image data P_L corresponding to the epipolar line.
In the present embodiment, the pixel data constituting the captured image data P_R and P_L indicates only light / dark information (luminance value).

〔画素有効性判定部１０＿１〕
画素有効性判定部１０＿１は、カメラＬ＿Ｃから入力した撮像画像データＰ＿Ｌ内の処理対象のスキャンライン（エピポ−ラ線に平行のライン）上の画素データについて、当該画素データを含む所定のサイズのウィンドウデータ内の画素データの標準偏差データを生成する。
当該所定のサイズのウィンドウデータとしては、例えば、後述する９ｘ９のウィンドウサイズのものを用いる。
そして、画素有効性判定部１０＿１は、上記標準偏差データが基準値より大きい上記画素データを有効と判定し、それ以外の画素データを無効と判定する。
そして、画素有効性判定部１０＿１は、撮像画像データＰ＿Ｌ内の上記有効と判定した画素データＳ１０＿１をペナルティ決定部１２＿１に出力する。
これは、後段のウィンドウマッチング部１４＿１において、テクスチャレベルが低い(Low Textureの）画素データを含む領域については、ウィンドウマッチングを正確に行えないため、このような画素データをマッチング対象から外すためである。
画像処理装置１では、画素有効性判定部１０＿１において、有効と判断された画素データについてのみ、ウィンドウマッチング部１４＿１、マッチング有効性判定部１６＿１および視差データ生成部２０による処理対象とする。 [Pixel validity determination unit 10_1]
The pixel validity determination unit 10_1 is a window having a predetermined size including pixel data for pixel data on a scan line to be processed (a line parallel to the epipolar line) in the captured image data P_L input from the camera L_C. Standard deviation data of pixel data in the data is generated.
As the window data of the predetermined size, for example, data having a 9 × 9 window size described later is used.
Then, the pixel validity determination unit 10_1 determines that the pixel data whose standard deviation data is larger than the reference value is valid, and determines other pixel data as invalid.
Then, the pixel validity determination unit 10_1 outputs the pixel data S10_1 determined to be valid in the captured image data P_L to the penalty determination unit 12_1.
This is because the window matching unit 14_1 at the subsequent stage cannot accurately perform window matching on an area including pixel data with a low texture level (low texture), and thus excludes such pixel data from the matching target. .
In the image processing apparatus 1, only the pixel data determined to be valid by the pixel validity determination unit 10_1 is set as a processing target by the window matching unit 14_1, the matching validity determination unit 16_1, and the parallax data generation unit 20.

〔ペナルティ決定部１２＿１〕
ペナルティ決定部１２＿１は、例えば、視差データ生成部２０において処理対象の画素データの１つ前に処理された画素データの視差データと、ウィンドウマッチング部１４＿１において処理に用いられる視差データとが一致するか否かを判断し、一致しない場合に、当該画素データに対応した所定のペナルティ値を示すペナルティデータを生成する。
また、ウィンドウマッチング部１４＿１は、撮像画像データＰ＿Ｌ内の処理対象の画素データが、エッジに対応したものである場合には、エッジ以外の部分に対応したものである場合に比べて、上記ペナルティ値を小さくする。
例えば、ウィンドウマッチング部１４＿１は、処理対象の画素データがエッジに対応していない場合に、処理対象の画素データがエッジに対応している場合に比べて２倍のペナルティ値を示すペナルティデータを生成する。
ペナルティ決定部１２＿１は、処理対象の画素データと１つ前の処理対象の画素データとの値の差分が基準値を越えている場合に、当該処理対象の画素データがエッジに対応したものであると判断する。
ペナルティ決定部１２＿１は、上述したペナルティデータＳ１２＿１をウィンドウマッチング部１４＿１に出力する。 [Penalty determination unit 12_1]
For example, the penalty determining unit 12_1 determines whether the disparity data of the pixel data processed immediately before the pixel data to be processed by the disparity data generating unit 20 matches the disparity data used for processing by the window matching unit 14_1. If it does not match, penalty data indicating a predetermined penalty value corresponding to the pixel data is generated.
Further, the window matching unit 14_1, when the pixel data to be processed in the captured image data P_L corresponds to an edge, compared to the case corresponding to a portion other than the edge, the penalty value Make it smaller.
For example, when the pixel data to be processed does not correspond to the edge, the window matching unit 14_1 generates penalty data indicating a penalty value that is twice that of the case in which the pixel data to be processed corresponds to the edge. To do.
The penalty determining unit 12_1 corresponds to an edge when the difference between the values of the pixel data to be processed and the previous pixel data to be processed exceeds a reference value. Judge.
The penalty determining unit 12_1 outputs the above-described penalty data S12_1 to the window matching unit 14_1.

なお、ペナルティ決定部１２＿１は、視差データ生成部２０において最終的に視差データが無効であると判断された画素データの周囲の画素データについては、ペナルティを付加しない。
また、視差データ生成部２０において最終的に無効であると判断された画素データの一つ前に処理される画素データについては、視差データを付加する場合に所定の制限を加えてもよい。
このようにすることで、処理対象の画素データについてのマッチング処理がエラーの場合に、その影響がその周囲の画素データに及ぶことを抑制できる。 The penalty determining unit 12_1 does not add a penalty to the pixel data around the pixel data that is finally determined to be invalid by the parallax data generating unit 20.
Further, for the pixel data processed immediately before the pixel data finally determined to be invalid in the parallax data generation unit 20, a predetermined restriction may be added when adding parallax data.
By doing in this way, when the matching process about the pixel data to be processed is an error, it is possible to suppress the influence on the surrounding pixel data.

〔ウィンドウマッチング部１４＿１〕
ウィンドウマッチング部１４＿１は、撮像画像データＰ＿Ｌ内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差に対応した撮像画像データＰ＿Ｒ内の第２のウィンドウデータとの間の差分に応じたコストデータをウィンドウコスト算出部１８に生成させる。
ウィンドウマッチング部１４＿１は、異なる複数のウィンドウサイズＷＳの各々について、ウィンドウコスト算出部１８に上述したコストデータを生成させる。
本実施形態では、ウィンドウサイズとして、例えば、図３（Ａ），図３（Ｂ），図３（Ｃ）に示すの３ｘ３，５ｘ５，９ｘ９の３種類を規定している。 [Window matching unit 14_1]
The window matching unit 14_1 corresponds to the first window data and the designated parallax for each of the plurality of first window data including pixel data to be processed in the captured image data P_L at different positions. The window cost calculation unit 18 is caused to generate cost data corresponding to the difference from the second window data in the captured image data P_R.
The window matching unit 14_1 causes the window cost calculation unit 18 to generate the cost data described above for each of a plurality of different window sizes WS.
In the present embodiment, for example, three types of 3x3, 5x5, and 9x9 shown in FIGS. 3A, 3B, and 3C are defined as window sizes.

本実施形態では、各ウィンドウサイズについて、撮像画像データＰ＿Ｌ内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータＷＤを規定している。
例えば、ウィンドウサイズ５ｘ５については、図４に示すように、処理対象の画素データを相互に異なる位置に含む９個の第１のウィンドウデータＷＤ１〜ＷＤ９を規定している。
これは、第１のウィンドウデータＷＤ内にエッジ部分を含む場合、すなわち、第１のウィンドウデータＷＤ内の画素データが不均一であると、コストデータの信頼性が低下するため、その影響を無くすためである。 In the present embodiment, a plurality of first window data WD including pixel data to be processed in the captured image data P_L at different positions is defined for each window size.
For example, for the window size 5 × 5, as shown in FIG. 4, nine first window data WD1 to WD9 including pixel data to be processed at different positions are defined.
This is because when the edge portion is included in the first window data WD, that is, when the pixel data in the first window data WD is not uniform, the reliability of the cost data is lowered, and the influence is eliminated. Because.

例えば、図５に示すように、撮像画像データＰ＿Ｌ内にエッジＥＤＧＥが存在する場合を考える。
この場合に、処理対象の画素データＴＰ１について図４に示す第１のウィンドウデータＷＤ１を選択すると、当該第１のウィンドウデータＷＤ１内にエッジＥＤＧＥが含まれ、そのコストデータの信頼性は低い。一方、処理対象の画素データＴＰ１について図４に示す第１のウィンドウデータＷＤ２を選択すると、当該第１のウィンドウデータＷＤ２内にエッジＥＤＧＥが含まれないため、そのコストデータの信頼性は高い。
また、処理対象の画素データＴＰ２について図４に示す第１のウィンドウデータＷＤ１を選択すると、当該第１のウィンドウデータＷＤ１内にエッジＥＤＧＥが含まれ、そのコストデータの信頼性は低い。一方、処理対象の画素データＴＰ２について図４に示す第１のウィンドウデータＷＤ７を選択すると、当該第１のウィンドウデータＷＤ２内にエッジＥＤＧＥが含まれないため、そのコストデータの信頼性は高い。 For example, as shown in FIG. 5, a case where an edge EDGE exists in the captured image data P_L is considered.
In this case, when the first window data WD1 shown in FIG. 4 is selected for the pixel data TP1 to be processed, the edge EDGE is included in the first window data WD1, and the reliability of the cost data is low. On the other hand, when the first window data WD2 shown in FIG. 4 is selected for the pixel data TP1 to be processed, since the edge EDGE is not included in the first window data WD2, the reliability of the cost data is high.
When the first window data WD1 shown in FIG. 4 is selected for the pixel data TP2 to be processed, the edge EDGE is included in the first window data WD1, and the reliability of the cost data is low. On the other hand, when the first window data WD7 shown in FIG. 4 is selected for the pixel data TP2 to be processed, since the edge EDGE is not included in the first window data WD2, the reliability of the cost data is high.

ウィンドウマッチング部１４＿１は、撮像画像データＰ＿Ｌ内の処理対象の画素データについて、図３に示す３種類のブロックサイズ３ｘ３，５ｘ５，９ｘ９の各々を用いて、当該処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータを順に特定する。
また、ウィンドウマッチング部１４＿１は、上記特定した第１のウィンドウデータＷＤに対応した撮像画像データＰ＿Ｒ内の第２のウィンドウデータＷＤを、複数の視差データのうち指定された視差データを基に特定する。
そして、ウィンドウマッチング部１４＿１は、上記特定した第１のウィンドウデータＷＤと、上記特定した第２のウィンドウデータＷＤとの間の差分に応じたコストデータをウィンドウコスト算出部１８に生成させる。 The window matching unit 14_1 uses each of the three types of block sizes 3x3, 5x5, and 9x9 shown in FIG. 3 for the pixel data to be processed in the captured image data P_L, and positions the pixel data to be processed at different positions. A plurality of first window data included in are sequentially specified.
In addition, the window matching unit 14_1 identifies the second window data WD in the captured image data P_R corresponding to the identified first window data WD based on the designated parallax data among the plurality of parallax data. .
Then, the window matching unit 14_1 causes the window cost calculation unit 18 to generate cost data corresponding to the difference between the specified first window data WD and the specified second window data WD.

ウィンドウマッチング部１４＿１は、ウィンドウコスト算出部１８からコストデータを入力し、上記３種類のブロックサイズ３ｘ３，５ｘ５，９ｘ９の各々について、最小のコストデータに対応した視差データを特定する。
ここで、ウィンドウマッチング部１４＿１がブロックサイズ３ｘ３について特定した最小のコストデータに対応した視差データを「ｄ３」とし、ブロックサイズ５ｘ５について特定した最小のコストデータに対応した視差データを「ｄ５」とし、ブロックサイズ９ｘ９について特定した最小のコストデータに対応した視差データを「ｄ９」とする。
ウィンドウマッチング部１４＿１は、視差データｄ３，ｄ５，ｄ９をマッチング有効性判定部１６＿１に出力する。 The window matching unit 14_1 receives the cost data from the window cost calculation unit 18, and specifies the parallax data corresponding to the minimum cost data for each of the three types of block sizes 3x3, 5x5, and 9x9.
Here, the parallax data corresponding to the minimum cost data specified for the block size 3 × 3 by the window matching unit 14_1 is “d3”, and the parallax data corresponding to the minimum cost data specified for the block size 5 × 5 is “d5”. The disparity data corresponding to the minimum cost data specified for the block size 9 × 9 is “d9”.
The window matching unit 14_1 outputs the parallax data d3, d5, d9 to the matching effectiveness determination unit 16_1.

以下、ウィンドウマッチング部１４＿１の処理を説明する。
図６は、図１に示すウィンドウマッチング部１４＿１の処理を説明するためのフローチャートである。
ステップＳＴ１：
ウィンドウマッチング部１４＿１は、視差データｄとして初期値「１」を設定する。
ステップＳＴ２：
ウィンドウマッチング部１４＿１は、ウィンドウサイズＷＳとして、３ｘ３を選択する。 Hereinafter, the processing of the window matching unit 14_1 will be described.
FIG. 6 is a flowchart for explaining the processing of the window matching unit 14_1 shown in FIG.
Step ST1:
The window matching unit 14_1 sets an initial value “1” as the parallax data d.
Step ST2:
The window matching unit 14_1 selects 3 × 3 as the window size WS.

ステップＳＴ３：
ウィンドウマッチング部１４＿１は、撮像画像データＰ＿Ｌ内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、視差データｄに対応した撮像画像データＰ＿Ｒ内の第２のウィンドウデータとの間の差分に応じたコストデータをウィンドウコスト算出部１８に生成させる。 そして、ウィンドウマッチング部１４＿１は、上記複数の第１のウィンドウデータについて生成したコストデータのうち最小のコストデータＭＡ＿ＣＯＳＴを特定する。
ステップＳＴ４：
ウィンドウマッチング部１４＿１は、当該処理対象の画素データの指定された視差データｄに対応して生成されたペナルティデータＳ１２＿１を、ステップＳＴ３で生成した最小のコストデーＭＡ＿ＣＯＳＴに加算する。 Step ST3:
The window matching unit 14_1 performs imaging corresponding to the first window data and the parallax data d for each of the plurality of first window data including pixel data to be processed in the captured image data P_L at different positions. The window cost calculation unit 18 generates cost data corresponding to the difference with the second window data in the image data P_R. Then, the window matching unit 14_1 identifies the minimum cost data MA_COST among the cost data generated for the plurality of first window data.
Step ST4:
The window matching unit 14_1 adds the penalty data S12_1 generated corresponding to the designated parallax data d of the pixel data to be processed to the minimum cost data MA_COST generated in step ST3.

ステップＳＴ５：
ウィンドウマッチング部１４＿１は、ステップＳＴ４で生成した最小のコストデータＭＡ＿ＣＯＳＴが、最小コストデータＭＩＮより小さいか否かを判断し、小さいと判断するとステップＳＴ６に進み、そうでないと判断するとステップＳＴ７に進む。
ステップＳＴ６：
ウィンドウマッチング部１４＿１は、ステップＳＴ４で生成した最小のコストデータＭＡ＿ＣＯＳＴで、最小コストデータＭＩＮを更新する。
また、ウィンドウマッチング部１４＿１は、ステップＳＴ４で生成した最小のコストデータＭＡ＿ＣＯＳＴに対応した視差データｄを記憶する。 Step ST5:
The window matching unit 14_1 determines whether or not the minimum cost data MA_COST generated in step ST4 is smaller than the minimum cost data MIN. If it is determined to be small, the window matching unit 14_1 proceeds to step ST6. If not, the window matching unit 14_1 proceeds to step ST7.
Step ST6:
The window matching unit 14_1 updates the minimum cost data MIN with the minimum cost data MA_COST generated in step ST4.
Further, the window matching unit 14_1 stores the parallax data d corresponding to the minimum cost data MA_COST generated in step ST4.

ステップＳＴ７：
ウィンドウマッチング部１４＿１は、３ｘ３，５ｘ５，９ｘ９の全てのウィンドウサイズＷＳを選択したか否かを判断し、選択したと判断するとステップＳＴ９に進み、選択してないと判断するとステップＳＴ８に進む。
ステップＳＴ８：
ウィンドウマッチング部１４＿１は、未選択のウィンドウサイズＷＳを選択して、ステップＳＴ３の処理に戻る。
ステップＳＴ９：
ウィンドウマッチング部１４＿１は、予め決められた範囲ＲＡＮＧＥの視差データについて処理を行ったか否かを判断し、行なったと判断するとステップＳＴ１１に進み、そうでない場合にはステップＳＴ１０に進む。 Step ST7:
The window matching unit 14_1 determines whether or not all the window sizes WS of 3x3, 5x5, and 9x9 have been selected. If it is determined that the window size is selected, the process proceeds to step ST9. If it is determined that it is not selected, the process proceeds to step ST8.
Step ST8:
The window matching unit 14_1 selects an unselected window size WS and returns to the process of step ST3.
Step ST9:
The window matching unit 14_1 determines whether or not processing has been performed on parallax data in a predetermined range RANGE. If it is determined that the processing has been performed, the process proceeds to step ST11. If not, the process proceeds to step ST10.

ステップＳＴ１０：
ウィンドウマッチング部１４＿１は、視差データｄを「１」だけインクリメントしてステップＳＴ２の処理に戻る。
ステップＳＴ１１：
ウィンドウマッチング部１４＿１は、ステップＳＴ６でウィンドウサイズ３ｘ３，５ｘ５，９ｘ９の各々について最終的に記憶した視差データｄを、それぞれ視差データｄ３，ｄ５，ｄ９としてマッチング有効性判定部１６＿１に出力する。 Step ST10:
The window matching unit 14_1 increments the parallax data d by “1” and returns to the process of step ST2.
Step ST11:
The window matching unit 14_1 outputs the parallax data d finally stored for each of the window sizes 3x3, 5x5, and 9x9 in step ST6 to the matching effectiveness determination unit 16_1 as the parallax data d3, d5, and d9, respectively.

〔マッチング有効性判定部１６＿１〕
マッチング有効性判定部１６＿１は、ウィンドウマッチング部１４＿１から入力した視差データｄ３，ｄ５，ｄ９を基に、これらの視差データｄ３，ｄ５，ｄ９の有効性（信頼性）を判断する。
マッチング有効性判定部１６＿１は、小さいウィンドウサイズが低いテクスチャ画像についてのマッチングの信頼性が低く、大きいウィンドウサイズが高いテクスチャ画像についてのマッチングの信頼性が低いという特定に基づいて上記有効性を判断する。 [Matching effectiveness determination unit 16_1]
The matching validity determination unit 16_1 determines the validity (reliability) of the parallax data d3, d5, and d9 based on the parallax data d3, d5, and d9 input from the window matching unit 14_1.
The matching validity determination unit 16_1 determines the validity based on the specification that the matching reliability for the texture image with a small window size is low and the matching reliability for the texture image with a large window size is low. .

図７は、マッチング有効性判定部１６＿１の処理を説明するためのフローチャートである。
ステップＳＴ２１：
マッチング有効性判定部１６＿１は、｜ｄ３−ｄ５｜と｜ｄ９−ｄ５｜を演算し、双方がしきい値Ｔｈｒより小さくない場合にステップＳＴ２２に進み、小さい場合に視差デーｄ３，ｄ５，ｄ９は有効であると判断する。
ステップＳＴ２２：
マッチング有効性判定部１６＿１は、｜ｄ３−ｄ５｜と｜ｄ９−ｄ５｜との何れか一方がしきい値Ｔｈｒより小さくい場合にステップＳＴ２３に進み、そうでない場合に視差デーｄ３，ｄ５，ｄ９は無効（信頼性が低い）と判断する。 FIG. 7 is a flowchart for explaining the processing of the matching validity determination unit 16_1.
Step ST21:
The matching effectiveness determination unit 16_1 calculates | d3-d5 | and | d9-d5 |. If both are not smaller than the threshold value Thr, the process proceeds to step ST22. If the both are smaller, the parallax data d3, d5, d9 are calculated. Judged to be valid.
Step ST22:
The matching validity determination unit 16_1 proceeds to step ST23 when any one of | d3-d5 | and | d9-d5 | is smaller than the threshold value Thr, and otherwise, the parallax data d3, d5, d9. Is invalid (low reliability).

ステップＳＴ２３：
マッチング有効性判定部１６＿１は、当該処理対象の画素データより１つ前に処理された画素データに視差データ生成部２０において視差データが割り当てられたか否かを判断し、割り当てられたと判断すると視差データｄ３，ｄ５，ｄ９は有効（信頼性が高い）と判断し、そうでない場合にステップＳＴ２４に進む。
ステップＳＴ２４：
マッチング有効性判定部１６＿１は、｜ｄ１−ｄ３｜を演算し、その結果が所定の基準値Ｒより小さいか否かを判断し、小さいと判断すると視差デーｄ３，ｄ５，ｄ９は有効（信頼性が高い）と判断し、そうでない場合に視差デーｄ３，ｄ５，ｄ９は無効（信頼性が低い）と判断する。
マッチング有効性判定部１６＿１は、視差データｄ３，ｄ５，ｄ９が有効であると判断した場合に、これらのうちの何れか、あるいはこれらを基に生成した視差データを、当該処理対象の画素データの座標データＸＬの視差データｄＬ（ＸＬ）として視差データ生成部２０に出力する。
なお、マッチング有効性判定部１６＿１は、無効の画素データに対応する視差データを「０」にする。 Step ST23:
The matching effectiveness determination unit 16_1 determines whether or not the parallax data generation unit 20 has assigned the parallax data to the pixel data processed immediately before the pixel data to be processed. It is determined that d3, d5, and d9 are valid (high reliability). If not, the process proceeds to step ST24.
Step ST24:
The matching validity determination unit 16_1 calculates | d1-d3 |, determines whether the result is smaller than a predetermined reference value R, and determines that the result is smaller, the parallax data d3, d5, d9 are effective (reliability). Otherwise, the parallax data d3, d5, d9 are determined to be invalid (low reliability).
When the matching validity determination unit 16_1 determines that the parallax data d3, d5, and d9 is valid, the matching validity determination unit 16_1 uses the parallax data generated based on any of these or the parallax data of the pixel data to be processed. The parallax data generation unit 20 outputs the parallax data dL (XL) of the coordinate data XL.
The matching validity determination unit 16_1 sets the parallax data corresponding to the invalid pixel data to “0”.

〔ウィンドウコスト算出部１８〕
ウィンドウコスト算出部１８は、ウィンドウマッチング部１４＿１が特定した撮像画像データＰ＿Ｌ内の第１のウィンドウデータと、撮像画像データＰ＿Ｒ内の第２のウィンドウデータとの間の差分に応じたコストデータを算出する。
このとき、ウィンドウコスト算出部１８は、第１のウィンドウデータ内の画素データの累積値である第１の累積画素値データＡＣＰと、第２のウィンドウデータ内の画素データの累積値である第２の累積画素値データＡＣＰとを算出する。
本実施形態において、第１のウィンドウデータおび第２のウィンドウデータは、矩形領域内の画素の画素データである。 [Window cost calculation unit 18]
The window cost calculation unit 18 calculates cost data according to the difference between the first window data in the captured image data P_L specified by the window matching unit 14_1 and the second window data in the captured image data P_R. To do.
At this time, the window cost calculation unit 18 uses the first accumulated pixel value data ACP that is the accumulated value of the pixel data in the first window data and the second accumulated value of the pixel data in the second window data. The accumulated pixel value data ACP is calculated.
In the present embodiment, the first window data and the second window data are pixel data of pixels in a rectangular area.

ウィンドウコスト算出部１８は、第１のウィンドウデータについて、例えば、図８に示すように、それに対応した矩形領域の対角点の座標が（ｘ１，ｙ１），（ｘ２，ｙ２）である場合に、座標（０，０）と座標（ｘ２，ｙ２）で囲まれた領域内の点の画素データの総和Ｉ（ｘ２，ｙ２）と、座標（０，０）と座標（ｘ１，ｙ１）で囲まれた領域内の点の画素データの総和Ｉ（ｘ１，ｙ１）とを加算し、座標（０，０）と座標（ｘ１−１，ｙ２）で囲まれた領域内の点の画素データの総和Ｉ（ｘ１−１，ｙ２）と、座標（０，０）と座標（ｘ２，ｙ１−１）で囲まれた領域内の点の画素データの総和Ｉ（ｘ２，ｙ１−１）とを減算した値を第１の累積画素値データＡＣＰとして算出する。
また、ウィンドウコスト算出部１８は、第２のウィンドウデータについても、上述した第１のウィンドウデータと同様に、第２の累積画素値データＡＣＰを算出する。 For example, as illustrated in FIG. 8, the window cost calculation unit 18 selects the first window data when the coordinates of the diagonal points of the corresponding rectangular area are (x1, y1), (x2, y2). , The sum I (x2, y2) of the pixel data of the points in the area surrounded by the coordinates (0, 0) and the coordinates (x2, y2), the coordinates (0, 0), and the coordinates (x1, y1) The sum I (x1, y1) of the pixel data of the points in the region is added, and the sum of the pixel data of the points in the region surrounded by the coordinates (0, 0) and the coordinates (x1-1, y2) I (x1-1, y2) is subtracted from the sum I (x2, y1-1) of the pixel data of the points in the area surrounded by the coordinates (0, 0) and the coordinates (x2, y1-1). The value is calculated as first accumulated pixel value data ACP.
Further, the window cost calculation unit 18 also calculates the second accumulated pixel value data ACP for the second window data in the same manner as the first window data described above.

そして、ウィンドウコスト算出部１８は、第１の累積画素値データＡＣＰと第２の累積画素値データＡＣＰとの差分をコストデータとしてウィンドウマッチング部１４＿１に出力する。
上述したウィンドウコスト算出部１８によるコストデータの算出方法は、ソフトウェアによる効率的な演算を実現できる。 Then, the window cost calculation unit 18 outputs the difference between the first accumulated pixel value data ACP and the second accumulated pixel value data ACP to the window matching unit 14_1 as cost data.
The above-described cost data calculation method by the window cost calculation unit 18 can realize efficient calculation by software.

ところで、ウィンドウコスト算出部１８は、例えば、第２の累積画素データを、過去に選択した視差データの第２の累積画素値データを生成する過程で用いた累積値を利用して算出する。
すなわち、例えば、今回選択した視差データに対応した第２のウィンドウデータＷＤａと、過去に選択した（１つ前に選択した）視差データに対応した第２のウィンドウデータＷＤｂとは、例えば、図９に示す関係にある。
従って、ウィンドウコスト算出部１８は、第２のウィンドウデータＷＤａの第２の累積画素値データから最左列の画素データの累積値ＡＣＰａを減算し、第２のウィンドウデータＷＤｂ内の最右列の画素データの累積値ＡＣＰｂを加算することで、第２のウィンドウデータＷＤｂの第２の累積画素値データを生成する。
ウィンドウコスト算出部１８は、この処理を、例えば、例えば、列単位に累積値をメモリに格納し、これをシフトして選択して加算することで、ハ−ドウェアによって簡単に実現可能である。 By the way, the window cost calculation unit 18 calculates, for example, the second accumulated pixel data using the accumulated value used in the process of generating the second accumulated pixel value data of the parallax data selected in the past.
That is, for example, the second window data WDa corresponding to the currently selected parallax data and the second window data WDb corresponding to the previously selected (previous selected) parallax data are, for example, FIG. The relationship is shown in
Therefore, the window cost calculation unit 18 subtracts the accumulated value ACPa of the leftmost column of pixel data from the second accumulated pixel value data of the second window data WDa to obtain the rightmost column of the second window data WDb. By adding the accumulated value ACPb of the pixel data, the second accumulated pixel value data of the second window data WDb is generated.
The window cost calculation unit 18 can easily realize this processing by, for example, hardware by storing the accumulated value in the memory in units of columns, and selecting and adding the shifted values.

〔画素有効性判定部１０＿２、ペナルティ決定部１２＿２、ウィンドウマッチング部１４＿２およびマッチング有効性判定部１６＿２〕
画素有効性判定部１０＿２、ペナルティ決定部１２＿２、ウィンドウマッチング部１４＿２およびマッチング有効性判定部１６＿２は、撮像画像データＰ＿Ｒにつて、前述した画素有効性判定部１０＿１、ペナルティ決定部１２＿１、ウィンドウマッチング部１４＿１およびマッチング有効性判定部１６＿１とそれぞれ同様の処理を行う。
これにより、マッチング有効性判定部１６＿２から視差データ生成部２０に、撮像画像データＰ＿Ｒ内の画素データの座標データＸＲの視差データｄＲ（ＸＲ）が出力される。 [Pixel validity determination unit 10_2, penalty determination unit 12_2, window matching unit 14_2, and matching effectiveness determination unit 16_2]
The pixel validity determination unit 10_2, the penalty determination unit 12_2, the window matching unit 14_2, and the matching validity determination unit 16_2 are the pixel validity determination unit 10_1, the penalty determination unit 12_1, and the window matching unit 14_1 described above for the captured image data P_R. The same processing as that performed by the matching effectiveness determination unit 16_1 is performed.
Thereby, the parallax data dR (XR) of the coordinate data XR of the pixel data in the captured image data P_R is output from the matching validity determination unit 16_2 to the parallax data generation unit 20.

〔視差データ生成部２０〕
視差データ生成部２０は、マッチング有効性判定部１６＿１から入力した座標ＸＬの視差データｄＬ（ＸＬ）と、マッチング有効性判定部１６＿２から入力した座標ＸＲの視差データｄＲ（ＸＲ）とを基に、各画素データの視差データの有効性を判断する。
図１０は、視差データ生成部２０の処理を説明するためのフローチャートである。
なお、図１０は、撮像画像データＰ＿Ｌ，Ｐ＿Ｒ上の各画素データについての処理を示している。
ステップＳＴ３１：
視差データ生成部２０は、撮像画像データＰ＿Ｌ，Ｐ＿Ｒ内の全ての画素データについて、図１０に示す処理を行なう。
ステップＳＴ３１：
視差データ生成部２０は、撮像画像データＰ＿Ｌ内の視差データｄＬ（ＸＲ＋ｄＲ（ＸＲ））を特定する。
また、視差データ生成部２０は、撮像画像データＰ＿Ｒ内の視差データｄＲ（ＸＲ）を特定する。
そして、視差データ生成部２０は、視差データｄＬ（ＸＲ＋ｄＲ（ＸＲ））と、視差データｄＲ（ＸＲ）との差分の絶対値が所定のしきい値Ｔｈｒより小さいか否かを判断する。
ステップＳＴ３２：
視差データ生成部２０は、撮像画像データＰ＿Ｒ内の視差データｄＲ（ＸＬ＋ｄＬ（ＸＬ））を特定する。
また、視差データ生成部２０は、撮像画像データＰ＿Ｌ内の視差データｄＬ（ＸＲ）を特定する。
そして、視差データ生成部２０は、視差データｄＲ（ＸＬ＋ｄＬ（ＸＬ））と、視差データｄＬ（ＸＬ）との差分の絶対値が所定のしきい値Ｔｈｒより小さいか否かを判断する。 [Parallax data generation unit 20]
The parallax data generation unit 20 is based on the parallax data dL (XL) of the coordinate XL input from the matching validity determination unit 16_1 and the parallax data dR (XR) of the coordinate XR input from the matching validity determination unit 16_2. The validity of the parallax data of each pixel data is determined.
FIG. 10 is a flowchart for explaining the processing of the parallax data generation unit 20.
FIG. 10 shows processing for each pixel data on the captured image data P_L and P_R.
Step ST31:
The parallax data generation unit 20 performs the process shown in FIG. 10 for all the pixel data in the captured image data P_L and P_R.
Step ST31:
The parallax data generation unit 20 specifies the parallax data dL (XR + dR (XR)) in the captured image data P_L.
Further, the parallax data generation unit 20 specifies the parallax data dR (XR) in the captured image data P_R.
Then, the parallax data generation unit 20 determines whether or not the absolute value of the difference between the parallax data dL (XR + dR (XR)) and the parallax data dR (XR) is smaller than a predetermined threshold value Thr.
Step ST32:
The parallax data generation unit 20 specifies the parallax data dR (XL + dL (XL)) in the captured image data P_R.
Further, the parallax data generation unit 20 specifies the parallax data dL (XR) in the captured image data P_L.
Then, the parallax data generation unit 20 determines whether or not the absolute value of the difference between the parallax data dR (XL + dL (XL)) and the parallax data dL (XL) is smaller than a predetermined threshold value Thr.

そして、視差データ生成部２０は、ステップＳＴ３１およびステップＳＴ３２の双方でしいき値Ｔｈｒより小さいと判断されたことを条件に、視差データｄＲ（ＸＲ），ｄＬ（ＸＬ）が有効（信頼性が高い）と判断する。
視差データ生成部２０は、有効であると判断された画素データの視差データｄＲ（ＸＲ），ｄＬ（ＸＬ）のみを用いて、撮像対象の視差データを生成する。 Then, the parallax data generation unit 20 uses the parallax data dR (XR) and dL (XL) as effective (high reliability) on the condition that it is determined that the threshold value Thr is smaller than both in step ST31 and step ST32. ).
The parallax data generation unit 20 generates parallax data to be imaged using only the parallax data dR (XR) and dL (XL) of the pixel data determined to be valid.

以下、画像処理装置１の全体動作例を説明する。
図１１は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
ステップＳＴ４１：
カメラＬ＿Ｃが、撮像対象ＴＡＲＧＥＴを撮像し、その撮像画像データＰ＿Ｌを画素有効性判定部１０＿１およびウィンドウコスト算出部１８に出力する。
また、カメラＲ＿Ｃが、撮像対象ＴＡＲＧＥＴを撮像し、その撮像画像データＰ＿Ｒを画素有効性判定部１０＿２およびウィンドウコスト算出部１８に出力する。 Hereinafter, an example of the overall operation of the image processing apparatus 1 will be described.
FIG. 11 is a flowchart for explaining an overall operation example of the image processing apparatus 1 shown in FIG.
Step ST41:
The camera L_C images the imaging target TARGET, and outputs the captured image data P_L to the pixel validity determination unit 10_1 and the window cost calculation unit 18.
Further, the camera R_C images the imaging target TARGET, and outputs the captured image data P_R to the pixel validity determination unit 10_2 and the window cost calculation unit 18.

ステップＳＴ４２：
画素有効性判定部１０＿１は、カメラＬ＿Ｃから入力した画素データの各々について、その標準偏差データが基準値より大きいことを条件に有効と判断し、有効と判定した画素データＳ１０＿１をペナルティ決定部１２＿１に出力する。
画素有効性判定部１０＿２は、カメラＲ＿Ｃから入力した画素データの各々について、その標準偏差データが基準値より大きいことを条件に有効と判断し、有効と判定した画素データＳ１０＿２をペナルティ決定部１２＿２に出力する。 Step ST42:
The pixel validity determination unit 10_1 determines that the pixel data input from the camera L_C is valid on the condition that the standard deviation data is larger than the reference value, and the pixel data S10_1 determined to be valid is used as the penalty determination unit 12_1. Output.
For each piece of pixel data input from the camera R_C, the pixel validity determination unit 10_2 determines that the standard deviation data is greater than the reference value, and determines the pixel data S10_2 determined to be valid to the penalty determination unit 12_2. Output.

ステップＳＴ４３：
ペナルティ決定部１２＿１は、画素有効性判定部１０＿１から入力した画素データの各々について、視差データ生成部２０において処理対象の画素データの１つ前に処理された画素データの視差データと、ウィンドウマッチング部１４＿１において処理に用いられる視差データとが一致するか否かを判断し、一致しない場合に、当該画素データに対応した所定のペナルティ値を示すペナルティデータＳ１２＿１をウィンドウマッチング部１４＿１に出力する。
また、ペナルティ決定部１２＿２は、画素有効性判定部１０＿１から入力した画素データの各々について、視差データ生成部２０において処理対象の画素データの１つ前に処理された画素データの視差データと、ウィンドウマッチング部１４＿２において処理に用いられる視差データとが一致するか否かを判断し、一致しない場合に、当該画素データに対応した所定のペナルティ値を示すペナルティデータＳ１２＿２をウィンドウマッチング部１４＿２に出力する。 Step ST43:
The penalty determination unit 12_1 includes, for each piece of pixel data input from the pixel validity determination unit 10_1, disparity data of pixel data processed immediately before the pixel data to be processed in the disparity data generation unit 20, and a window matching unit In 14_1, it is determined whether or not the disparity data used for the processing match, and if not, the penalty data S12_1 indicating a predetermined penalty value corresponding to the pixel data is output to the window matching unit 14_1.
Further, the penalty determining unit 12_2, for each of the pixel data input from the pixel validity determining unit 10_1, the parallax data of the pixel data processed in the parallax data generating unit 20 immediately before the pixel data to be processed, and the window In the matching unit 14_2, it is determined whether or not the parallax data used in the process matches, and if not matched, the penalty data S12_2 indicating a predetermined penalty value corresponding to the pixel data is output to the window matching unit 14_2.

ステップＳＴ４４：
ウィンドウマッチング部１４＿１は、撮像画像データＰ＿Ｌ内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差に対応した撮像画像データＰ＿Ｒ内の第２のウィンドウデータとの間の差分に応じたコストデータをウィンドウコスト算出部１８に生成させる。
このとき、ウィンドウマッチング部１４＿１は、異なる複数のウィンドウサイズＷＳの各々について、ウィンドウコスト算出部１８に上述したコストデータを生成させる。
そして、ウィンドウマッチング部１４＿１は、ウィンドウコスト算出部１８からコストデータを入力し、上記３種類のブロックサイズ３ｘ３，５ｘ５，９ｘ９の各々について、最小のコストデータに対応した視差データｄ３，ｄ５，ｄ９を特定し、これをマッチング有効性判定部１６＿１に出力する。
また、ウィンドウマッチング部１４＿２は、撮像画像データＰ＿Ｒ内の処理対象の画素データについて同様に、視差データｄ３，ｄ５，ｄ９を特定し、これをマッチング有効性判定部１６＿２に出力する。 Step ST44:
The window matching unit 14_1 corresponds to the first window data and the designated parallax for each of the plurality of first window data including pixel data to be processed in the captured image data P_L at different positions. The window cost calculation unit 18 is caused to generate cost data corresponding to the difference from the second window data in the captured image data P_R.
At this time, the window matching unit 14_1 causes the window cost calculation unit 18 to generate the cost data described above for each of a plurality of different window sizes WS.
Then, the window matching unit 14_1 receives the cost data from the window cost calculation unit 18, and sets the parallax data d3, d5, and d9 corresponding to the minimum cost data for each of the three types of block sizes 3x3, 5x5, and 9x9. It identifies and outputs this to the matching effectiveness determination part 16_1.
Similarly, the window matching unit 14_2 specifies the parallax data d3, d5, and d9 for the pixel data to be processed in the captured image data P_R, and outputs this to the matching validity determination unit 16_2.

ステップＳＴ４５：
マッチング有効性判定部１６＿１は、ウィンドウマッチング部１４＿１から入力した視差データｄ３，ｄ５，ｄ９を基に、これらの視差データｄ３，ｄ５，ｄ９の有効性（信頼性）を判断する。
そして、マッチング有効性判定部１６＿１は、視差データｄ３，ｄ５，ｄ９が有効であると判断した場合に、これらのうちの何れか、あるいはこれらを基に生成した視差データを、当該処理対象の画素データの座標データＸＬの視差データｄＬ（ＸＬ）として視差データ生成部２０に出力する。
マッチング有効性判定部１６＿２は、同様に、撮像画像データＰ＿Ｒについて、当該処理対象の画素データの座標データＸＲの視差データｄＲ（ＸＲ）を視差データ生成部２０に出力する。 Step ST45:
The matching validity determination unit 16_1 determines the validity (reliability) of the parallax data d3, d5, and d9 based on the parallax data d3, d5, and d9 input from the window matching unit 14_1.
When the matching validity determination unit 16_1 determines that the parallax data d3, d5, and d9 are valid, the matching validity determination unit 16_1 uses any of these or the parallax data generated based on these as the pixel to be processed. The data is output to the parallax data generation unit 20 as the parallax data dL (XL) of the coordinate data XL.
Similarly, the matching validity determination unit 16_2 outputs the parallax data dR (XR) of the coordinate data XR of the pixel data to be processed to the parallax data generation unit 20 for the captured image data P_R.

ステップＳＴ４６：
視差データ生成部２０は、マッチング有効性判定部１６＿１から入力した座標ＸＬの視差データｄＬ（ＸＬ）と、マッチング有効性判定部１６＿２から入力した座標ＸＲの視差データｄＲ（ＸＲ）とを基に、各画素データの視差データの有効性を判断し、有効な視差データのみを用いて対象画像全体の視差データを生成する。 Step ST46:
The parallax data generation unit 20 is based on the parallax data dL (XL) of the coordinate XL input from the matching validity determination unit 16_1 and the parallax data dR (XR) of the coordinate XR input from the matching validity determination unit 16_2. The validity of the parallax data of each pixel data is determined, and the parallax data of the entire target image is generated using only valid parallax data.

以上説明したように、画像処理装置１によれば、図４に示すように、ウィンドウマッチング部１４＿１，１４＿２において、処理対象の画素データを相互にとなる位置に含む複数の第１のウィンドウデータを基に、マッチングを行い、その最小のコストデータを基に視差データを決定する。
そのため、図５を用いて説明したように、第１のウィンドウデータ内にエッジ部分を含む場合の影響を抑制でき、高精度な視差データを生成できる。 As described above, according to the image processing apparatus 1, as shown in FIG. 4, the window matching units 14 </ b> _ <b> 1 and 14 </ b> _ <b> 2 include a plurality of pieces of first window data including pixel data to be processed at positions that are mutually. Based on the matching, the parallax data is determined based on the minimum cost data.
Therefore, as described with reference to FIG. 5, it is possible to suppress the influence when the first window data includes an edge portion, and it is possible to generate highly accurate parallax data.

また、画像処理装置１によれば、ウィンドウマッチング部１４＿１，１４＿２において、図３に示すように異なるサイズの第１のウィンドウデータを用い、その視差データｄ３，ｄ５，ｄ９をマッチング有効性判定部１６＿１，１６＿２で検証することで、テクスチャレベルによる影響を抑制でき、高精度な視差データを生成できる。   Further, according to the image processing apparatus 1, the window matching units 14_1 and 14_2 use first window data having different sizes as shown in FIG. 3, and the parallax data d3, d5, and d9 are used as the matching validity determination unit 16_1. , 16_2 can suppress the influence of the texture level, and can generate highly accurate parallax data.

また、画像処理装置１によれば、撮像画像データＰ＿Ｌについて、画素有効性判定部１０＿１、ペナルティ決定部１２＿１、ウィンドウマッチング部１４＿１およびマッチング有効性判定部１６＿１の処理を経て生成した視差データｄＬ（ＸＬ）と、撮像画像データＰ＿Ｒについて、画素有効性判定部１０＿２、ペナルティ決定部１２＿２、ウィンドウマッチング部１４＿２およびマッチング有効性判定部１６＿２の処理を経て生成した視差データｄＲ（ＸＲ）とを視差データ生成部２０において比較して、その有効性を検証するために、高精度な視差データを生成できる。   Further, according to the image processing apparatus 1, the parallax data dL (XL) generated through the processing of the pixel validity determination unit 10_1, the penalty determination unit 12_1, the window matching unit 14_1, and the matching validity determination unit 16_1 for the captured image data P_L. ) And the parallax data generation unit that generates the parallax data dR (XR) generated through the processing of the pixel validity determination unit 10_2, the penalty determination unit 12_2, the window matching unit 14_2, and the matching validity determination unit 16_2 for the captured image data P_R. In order to verify the effectiveness in comparison with 20, highly accurate parallax data can be generated.

本発明は上述した実施形態には限定されない。
上述した実施形態では、Ｌ，Ｒの２系統で視差データを生成する場合を例示したが、いずれか１系統で視差データを生成しておよい。例えば、図１において、画素有効性判定部１０＿２、ペナルティ決定部１２＿２、ウィンドウマッチング部１４＿２およびマッチング有効性判定部１６＿２を用いなくてもよい。
また、上述した実施形態では、カメラＬ＿Ｃ，Ｒ＿Ｃが濃淡情報のみを示す画素データを生成する場合を例示したが、カラーの画素データを生成する場合には、それを濃淡情報のみを示す画素データに変換して画素有効性判定部１０＿１，１０＿２およびウィンドウコスト算出部１８に出力するようにしてもよい。 The present invention is not limited to the embodiment described above.
In the above-described embodiment, the case where the parallax data is generated by the two systems of L and R is illustrated, but the parallax data may be generated by any one system. For example, in FIG. 1, the pixel validity determination unit 10_2, the penalty determination unit 12_2, the window matching unit 14_2, and the matching validity determination unit 16_2 may not be used.
Further, in the above-described embodiment, the case where the cameras L_C and R_C generate pixel data indicating only the light and shade information is illustrated. However, when generating color pixel data, the pixel data indicating only the light and dark information is used. You may make it convert and output to the pixel effectiveness determination part 10_1, 10_2 and the window cost calculation part 18. FIG.

本発明は、ステレオ画像を基に視差データを生成する画像処理システムに適用可能である。   The present invention is applicable to an image processing system that generates parallax data based on a stereo image.

図１は、本発明の実施形態に係わる画像処理装置の構成図である。FIG. 1 is a configuration diagram of an image processing apparatus according to an embodiment of the present invention. 図２は、カメラＲ＿Ｃ，カメラＬ＿Ｃと撮像対象ＴＡＲＧＥＴとの位置関係を説明するための図である。FIG. 2 is a diagram for explaining the positional relationship between the cameras R_C and L_C and the imaging target TARGET. 図３は、図１に示すウィンドウマッチング部で用いられるウィンドウデータのサイズを説明するための図である。FIG. 3 is a diagram for explaining the size of window data used in the window matching unit shown in FIG. 図４は、図１に示すウィンドウマッチング部で用いられるウィンドウデータの種類を説明するための図である。FIG. 4 is a diagram for explaining the types of window data used in the window matching unit shown in FIG. 図５は、図１に示すウィンドウマッチング部の処理を説明するための図である。FIG. 5 is a diagram for explaining the processing of the window matching unit shown in FIG. 図６は、図１に示すウィンドウマッチング部の処理を説明するためのフローチャートである。FIG. 6 is a flowchart for explaining the processing of the window matching unit shown in FIG. 図７は、図１に示すマッチング有効性判定部の処理を説明するためのフローチャートである。FIG. 7 is a flowchart for explaining the processing of the matching validity determination unit shown in FIG. 図８は、図１に示すウィンドウコスト算出部の処理を説明するためのフローチャートである。FIG. 8 is a flowchart for explaining the processing of the window cost calculation unit shown in FIG. 図９は、図１に示すウィンドウコスト算出部の処理を説明するためのフローチャートである。FIG. 9 is a flowchart for explaining processing of the window cost calculation unit shown in FIG. 図１０は、図１に示す視差データ生成部の処理を説明するためのフローチャートである。FIG. 10 is a flowchart for explaining processing of the parallax data generation unit shown in FIG. 図１１は、図１に示す画像処理装置の全体動作例を説明するためのフローチャートである。FIG. 11 is a flowchart for explaining an example of the overall operation of the image processing apparatus shown in FIG.

符号の説明Explanation of symbols

１…画像処理装置、Ｒ＿Ｃ，Ｌ＿Ｃ…カメラ、１０＿１，１０＿２…画素有効性判定部、１２＿１，１２＿２…ペナルティ決定部、１４＿１，１４＿２…ウィンドウマッチング部、１６＿１，１６＿２…マッチング有効性判定部、１８…ウィンドウコスト算出部、２０…視差データ生成部
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, R_C, L_C ... Camera, 10_1, 10_2 ... Pixel effectiveness determination part, 12_1, 12_2 ... Penalty determination part, 14_1, 14_2 ... Window matching part, 16_1, 16_2 ... Matching effectiveness determination part, 18 ... Window cost calculation unit, 20 ... parallax data generation unit

Claims (8)

所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の第１の位置に対応する、前記第２の画像内の第２のエピポ−ラ線の第２の位置を探索し、前記第１の位置と前記第２の位置との間の位置関係に基づいて視差データを生成する画像処理方法であって、
前記第１の画像内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差データに対応した前記第２の画像データ内の第２のウィンドウデータとの間の差分に応じた指標データを生成する第１の工程と、
前記第１の工程で生成した指標データのうち最小の指標データを、前記指定された視差データの指標データとして特定する第２の工程と、
予め決められた複数の視差を前記第１の工程で指定させ、当該複数の視差データの各々について前記第２の工程で特定した前記指標データのうち最小の前記指標データに対応する前記視差データを、前記処理対象の画素データの視差データとして特定する第３の工程と
を有する画像処理方法。 Corresponding to the first position on the first epipolar line in the first image based on the first image and the second image obtained by imaging the predetermined imaging target from different positions. An image for searching for a second position of a second epipolar line in the second image and generating parallax data based on a positional relationship between the first position and the second position A processing method,
For each of a plurality of first window data including pixel data to be processed in the first image at different positions, the second window corresponding to the first window data and the designated parallax data A first step of generating index data according to a difference between the second window data in the image data;
A second step of identifying the minimum index data among the index data generated in the first step as index data of the designated parallax data;
A plurality of predetermined parallaxes are specified in the first step, and the parallax data corresponding to the smallest index data among the index data specified in the second step for each of the plurality of parallax data And a third step of specifying as parallax data of the pixel data to be processed. 前記第１の画像および前記第２の画像の画素データは、濃淡情報のみを示す
請求項１に記載の画像処理方法。 The image processing method according to claim 1, wherein pixel data of the first image and the second image shows only grayscale information. 前記第１の画像内の前記処理対象の画素データの標準偏差が基準値以上であるか否かを判断する第４の工程
をさらに有し、
前記第１の工程、前記第２の工程および前記第３の工程は、前記第４の工程で前記処理対象の画素データの標準偏差が基準値以上であると判断したことを条件に、前記処理対象の画素データについて処理を行う
請求項１に記載の画像処理方法。 A fourth step of determining whether a standard deviation of the pixel data to be processed in the first image is greater than or equal to a reference value;
In the first step, the second step, and the third step, the processing is performed on the condition that it is determined in the fourth step that a standard deviation of the pixel data to be processed is a reference value or more. The image processing method according to claim 1, wherein processing is performed on target pixel data. 前記第１の工程は、異なる複数のブロックサイズの各々について、当該ブロックサイズに対応して各々規定された前記複数の第１のウィンドウデータについて前記指標デーを生成し、
前記第２の工程は、前記複数のブロックサイズの各々について、前記最小の指標データを特定し、
前記第３の工程は、前記複数のブロックサイズの各々について、前記視差データを特定し、
前記画像処理方法は、
前記第３の工程で前記複数のブロックサイズの各々について特定した前記視差データを比較して、当該視差データの有効性を判断する第５の工程
をさらに有する請求項１に記載の画像処理方法。 In the first step, for each of a plurality of different block sizes, the index data is generated for the plurality of first window data respectively defined corresponding to the block size,
The second step specifies the minimum index data for each of the plurality of block sizes,
The third step specifies the disparity data for each of the plurality of block sizes,
The image processing method includes:
The image processing method according to claim 1, further comprising: a fifth step of comparing the parallax data specified for each of the plurality of block sizes in the third step and determining the validity of the parallax data. 前記第１の工程は、
矩形の前記第１のウィンドウデータおよび前記第２のウィンドウデータの対角点の座標が（ｘ１，ｙ１），（ｘ２，ｙ２）である場合に、座標（０，０）と座標（ｘ２，ｙ２）で囲まれた領域内の点の画素データの総和と、座標（０，０）と座標（ｘ１，ｙ１）で囲まれた領域内の点の画素データの総和とを加算し、座標（０，０）と座標（ｘ１−１，ｙ２）で囲まれた領域内の点の画素データの総和と、座標（０，０）と座標（ｘ２，ｙ１−１）で囲まれた領域内の点の画素データの総和とを減算した値を累積画素値データとし、
前記第１の画像内の前記第１のウィンドウデータの前記累積画素値データと、前記第２の画像内の前記第２のウィンドウデータの前記累積画素値データとの差分を前記指標データとする
請求項１に記載の画像処理方法。 The first step includes
When the coordinates of the diagonal points of the rectangular first window data and the second window data are (x1, y1), (x2, y2), the coordinates (0, 0) and the coordinates (x2, y2) ) And the sum of the pixel data of the points in the area surrounded by the coordinates (0, 0) and the sum of the pixel data of the points in the area surrounded by the coordinates (x1, y1). , 0) and the sum of the pixel data of the points in the area surrounded by the coordinates (x1-1, y2), and the points in the area surrounded by the coordinates (0, 0) and the coordinates (x2, y1-1) The value obtained by subtracting the sum of the pixel data of the cumulative pixel value data,
The difference between the cumulative pixel value data of the first window data in the first image and the cumulative pixel value data of the second window data in the second image is used as the index data. Item 8. The image processing method according to Item 1. 前記第１の工程は、
第１の視差データに対応した前記第２のウィンドウデータ内の画素データの総和に対して、
前記第１の視差データに対応した第２のウィンドウデータに属し、第２の視差データに対応した第２のウィンドウデータに属さない画素データの累積値を減算し、
前記第２の視差データに対応した第２のウィンドウデータに属し、前記第１の視差データに対応した第２のウィンドウデータに属さない画素データの累積値を加算して、
前記第２の視差データに対応した前記第２のウィンドウデータの累積画素値データを生成し、
前記第１のウィンドウデータの累積画素値データと、前記第２のウィンドウデータの累積画素値データとの差分を、前記第２の視差データに対応した前記指標データとする
請求項１に記載の画像処理方法。 The first step includes
For the sum of the pixel data in the second window data corresponding to the first parallax data,
Subtracting the cumulative value of pixel data belonging to the second window data corresponding to the first parallax data and not belonging to the second window data corresponding to the second parallax data;
Adding a cumulative value of pixel data belonging to the second window data corresponding to the second parallax data and not belonging to the second window data corresponding to the first parallax data;
Generating cumulative pixel value data of the second window data corresponding to the second parallax data;
The image according to claim 1, wherein a difference between the accumulated pixel value data of the first window data and the accumulated pixel value data of the second window data is used as the index data corresponding to the second parallax data. Processing method. 前記第２の画像内の処理対象の画素データを相互に異なる位置に含む複数のウィンドウデータの各々について、当該ウィンドウデータと、指定された視差に対応した前記第１の画像データ内のウィンドウデータとの間の差分に応じた指標データを生成する第６の工程と、
前記第６の工程で生成した指標データのうち最小の指標データを、前記指定された視差の指標データとして特定する第７の工程と、
予め決められた複数の視差を前記第６の工程で指定させ、当該複数の視差の各々について前記第７の工程で特定した前記指標データのうち最小の前記指標データに対応する視差を、前記処理対象の画素データの視差データとする第８の工程と、
前記第１の画像内の前記第１の位置について前記第３の工程で取得した前記視差データと、当該第１の位置に対応した前記第２の画像内の前記第２の位置について前記第８の工程で取得した前記視差データとの差異が基準以下であることを条件に、前記第３の工程および前記第８の工程で取得した前記視差データが有効であると判断する第９の工程と
をさらに有する請求項１に記載の画像処理方法。 For each of a plurality of window data including pixel data to be processed in the second image at different positions, the window data and the window data in the first image data corresponding to the specified parallax A sixth step of generating index data according to the difference between
A seventh step of identifying the minimum index data among the index data generated in the sixth step as the specified parallax index data;
A plurality of predetermined parallaxes are designated in the sixth step, and the parallax corresponding to the smallest index data among the index data specified in the seventh step for each of the plurality of parallaxes is processed. An eighth step of setting the parallax data of the target pixel data;
The parallax data acquired in the third step for the first position in the first image and the eighth position for the second position in the second image corresponding to the first position. A ninth step of determining that the parallax data acquired in the third step and the eighth step is valid on condition that a difference from the parallax data acquired in the step is equal to or less than a reference; The image processing method according to claim 1, further comprising: 所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の第１の位置に対応する、前記第２の画像内の第２のエピポ−ラ線の第２の位置を探索し、前記第１の位置と前記第２の位置との間の位置関係に基づいて視差データを生成する画像処理装置であって、
前記第１の画像内の処理対象の画素データを相互に異なる位置に含む複数の第１のウィンドウデータの各々について、当該第１のウィンドウデータと、指定された視差データに対応した前記第２の画像データ内の第２のウィンドウデータとの間の差分に応じた指標データを生成する指標データ生成手段と、
前記指標データ生成手段が生成した指標データのうち最小の指標データを、前記指定された視差データの指標データとして特定し、予め決められた複数の視差を前記指標データ生成手段に指定し、当該複数の視差データの各々について前記特定した前記指標データのうち最小の前記指標データに対応する前記視差データを、前記処理対象の画素データの視差データとして特定する視差データ生成手段と
を有する画像処理装置。
Corresponding to the first position on the first epipolar line in the first image based on the first image and the second image obtained by imaging the predetermined imaging target from different positions. An image for searching for a second position of a second epipolar line in the second image and generating parallax data based on a positional relationship between the first position and the second position A processing device comprising:
For each of a plurality of first window data including pixel data to be processed in the first image at different positions, the second window corresponding to the first window data and the designated parallax data Index data generating means for generating index data according to the difference between the second window data in the image data;
The minimum index data among the index data generated by the index data generating unit is specified as index data of the designated parallax data, a plurality of predetermined parallaxes are specified to the index data generating unit, An image processing apparatus comprising: a parallax data generating unit that specifies the parallax data corresponding to the minimum index data among the specified index data for each of the parallax data, as parallax data of the pixel data to be processed.
JP2004209586A 2004-07-16 2004-07-16 Image processing method and image processing apparatus Expired - Fee Related JP4608978B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004209586A JP4608978B2 (en) 2004-07-16 2004-07-16 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004209586A JP4608978B2 (en) 2004-07-16 2004-07-16 Image processing method and image processing apparatus

Publications (2)

Publication Number Publication Date
JP2006031423A true JP2006031423A (en) 2006-02-02
JP4608978B2 JP4608978B2 (en) 2011-01-12

Family

ID=35897682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004209586A Expired - Fee Related JP4608978B2 (en) 2004-07-16 2004-07-16 Image processing method and image processing apparatus

Country Status (1)

Country Link
JP (1) JP4608978B2 (en)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07282259A (en) * 1994-04-13 1995-10-27 Matsushita Electric Ind Co Ltd Parallax arithmetic unit and image composite device
JPH08280026A (en) * 1994-04-27 1996-10-22 Matsushita Electric Ind Co Ltd Method and device for estimating motion and depth
JPH10318732A (en) * 1997-05-22 1998-12-04 Topcon Corp Shape measuring device and image formation apparatus of shape measurement
JPH11175725A (en) * 1997-12-11 1999-07-02 Tech Res & Dev Inst Of Japan Def Agency Frame processing type stereoscopic image processor
JP2000180121A (en) * 1998-12-18 2000-06-30 Sony Corp Processor and method for image processing and provision medium
JP2000295636A (en) * 1999-04-02 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> Method and system for measuring stereoscopic image and recording medium storing the method
JP2001075019A (en) * 1999-09-01 2001-03-23 Olympus Optical Co Ltd Endoscope device
JP2001082927A (en) * 1999-09-16 2001-03-30 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for processing three-dimensional image and recording medium recording three-dimensional image processing program
JP2001184497A (en) * 1999-10-14 2001-07-06 Komatsu Ltd Stereo image processor and recording medium
JP2002352241A (en) * 2001-05-25 2002-12-06 Nippon Hoso Kyokai <Nhk> Block matching device
JP2003006616A (en) * 2001-06-18 2003-01-10 Olympus Optical Co Ltd Device, method and program for acquiring three- dimensional information
JP2003141525A (en) * 2001-11-05 2003-05-16 Minolta Co Ltd Image processing apparatus
JP2003271975A (en) * 2002-03-15 2003-09-26 Sony Corp Method of extracting plane, extractor therefor, program therefor, recording medium therefor, and robot system mounted with plane extractor
JP2004184240A (en) * 2002-12-03 2004-07-02 Topcon Corp Image profiling apparatus, image-measuring method and image processing apparatus

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07282259A (en) * 1994-04-13 1995-10-27 Matsushita Electric Ind Co Ltd Parallax arithmetic unit and image composite device
JPH08280026A (en) * 1994-04-27 1996-10-22 Matsushita Electric Ind Co Ltd Method and device for estimating motion and depth
JPH10318732A (en) * 1997-05-22 1998-12-04 Topcon Corp Shape measuring device and image formation apparatus of shape measurement
JPH11175725A (en) * 1997-12-11 1999-07-02 Tech Res & Dev Inst Of Japan Def Agency Frame processing type stereoscopic image processor
JP2000180121A (en) * 1998-12-18 2000-06-30 Sony Corp Processor and method for image processing and provision medium
JP2000295636A (en) * 1999-04-02 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> Method and system for measuring stereoscopic image and recording medium storing the method
JP2001075019A (en) * 1999-09-01 2001-03-23 Olympus Optical Co Ltd Endoscope device
JP2001082927A (en) * 1999-09-16 2001-03-30 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for processing three-dimensional image and recording medium recording three-dimensional image processing program
JP2001184497A (en) * 1999-10-14 2001-07-06 Komatsu Ltd Stereo image processor and recording medium
JP2002352241A (en) * 2001-05-25 2002-12-06 Nippon Hoso Kyokai <Nhk> Block matching device
JP2003006616A (en) * 2001-06-18 2003-01-10 Olympus Optical Co Ltd Device, method and program for acquiring three- dimensional information
JP2003141525A (en) * 2001-11-05 2003-05-16 Minolta Co Ltd Image processing apparatus
JP2003271975A (en) * 2002-03-15 2003-09-26 Sony Corp Method of extracting plane, extractor therefor, program therefor, recording medium therefor, and robot system mounted with plane extractor
JP2004184240A (en) * 2002-12-03 2004-07-02 Topcon Corp Image profiling apparatus, image-measuring method and image processing apparatus

Also Published As

Publication number Publication date
JP4608978B2 (en) 2011-01-12

Similar Documents

Publication Publication Date Title
EP2153409B1 (en) Camera pose estimation apparatus and method for augmented reality imaging
JP5940453B2 (en) Method, computer program, and apparatus for hybrid tracking of real-time representations of objects in a sequence of images
US20130335535A1 (en) Digital 3d camera using periodic illumination
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
WO2017022033A1 (en) Image processing device, image processing method, and image processing program
WO2001001347A1 (en) Method and apparatus for performing geo-spatial registration using a euclidean representation
CN111080776B (en) Human body action three-dimensional data acquisition and reproduction processing method and system
CN112150551A (en) Object pose acquisition method and device and electronic equipment
JP2008176504A (en) Object detector and method therefor
WO2007052191A2 (en) Filling in depth results
KR20080029080A (en) System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor
CN109247068A (en) Method and apparatus for rolling shutter compensation
JP2020042772A (en) Depth data processing system capable of optimizing depth data by image positioning with respect to depth map
Placitelli et al. Low-cost augmented reality systems via 3D point cloud sensors
CN109902675B (en) Object pose acquisition method and scene reconstruction method and device
CN113393505A (en) Image registration method, visual positioning method, related device and equipment
JP7312026B2 (en) Image processing device, image processing method and program
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
CN116524022B (en) Offset data calculation method, image fusion device and electronic equipment
KR20190055632A (en) Object reconstruction apparatus using motion information and object reconstruction method using thereof
JP4608978B2 (en) Image processing method and image processing apparatus
US20230419524A1 (en) Apparatus and method for processing a depth map
JP5590680B2 (en) Image composition apparatus, image composition method, and image composition program
CN112615993A (en) Depth information acquisition method, binocular camera module, storage medium and electronic equipment
JPH11110566A (en) Method and device for image recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees