JP2009294733A

JP2009294733A - Image processor and image processing method

Info

Publication number: JP2009294733A
Application number: JP2008145290A
Authority: JP
Inventors: Yasushi Kawabe; 恭河邊
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2008-06-03
Filing date: 2008-06-03
Publication date: 2009-12-17
Anticipated expiration: 2028-06-03
Also published as: JP5062531B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a high-accuracy image processor and a high-accuracy image processing method, allowing reduction of an arithmetic amount, and allowing acquisition of high-reliability data. <P>SOLUTION: This image processor has: an image input part 11 for inputting and acquiring a standard image and a reference image; a multiple resolution image generation part 12 generating each multiple resolution image of the standard image and the reference image; a resolution selection/corresponding point search area setting part 13 selecting image resolution for performing corresponding point search processing, and setting a search area of the reference image corresponding to each area on the standard image performed with the corresponding point search processing; and a corresponding point search processing part 14 searching for corresponding points between the standard image and the reference image based on information of the resolution selection/corresponding point search area setting part 13. The image processor performs stereo image processing or time series image processing by use of the multiple resolution image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ステレオ画像処理または時系列画像処理を行う画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for performing stereo image processing or time-series image processing.

特許文献１は、１対のカメラにより物体を撮像し、その画像間のずれ量（視差）によりカメラから物体までの距離分布を高速に算出する相関演算方法として基本的なステレオマッチング方法を開示する。すなわち、１対の撮像装置で物体を撮像し、多重解像度画像生成部でその画像をピラミッド構造の多重解像度画像にし、次いで、演算量を削減するため空間フィルタによって各層の画像をエッジ画像化し、次いで、相関演算部によって、各層間でステレオ照合を行い、この時、先ず低解像度画像である上層の画像間でそれを行い概略の視差を求める。また、その視差より次層のステレオ照合に対する照合領域と探索領域を設定する。これを繰り返すことにより、最終層までステレオ照合を短時間で終了させる（要約参照）。
特開２００１−３１９２２９号公報 Patent Document 1 discloses a basic stereo matching method as a correlation calculation method in which an object is imaged by a pair of cameras and a distance distribution from the camera to the object is calculated at high speed based on a deviation amount (parallax) between the images. . That is, an object is imaged by a pair of imaging devices, the multi-resolution image generation unit converts the image into a multi-resolution image having a pyramid structure, and then an image of each layer is converted into an edge image by a spatial filter in order to reduce the amount of calculation. Then, stereo correlation is performed between the respective layers by the correlation calculation unit, and at this time, first, it is performed between the upper layer images, which are low resolution images, to obtain an approximate parallax. Also, a collation area and a search area for the next layer stereo collation are set based on the parallax. By repeating this, stereo matching is completed in a short time until the final layer (see summary).
JP 2001-319229 A

特許文献１では、すべてのピラミッド階層でステレオ演算をするか、または途中のピラミッド階層で低信頼度であると、それ以上の階層では演算を行わないようにしている。このように基本的にすべてのピラミッド階層でステレオマッチングの演算を行うので、演算量が増えてしまう。このため、演算処理時間が長くなったり回路構成が大規模になってしまい、装置コストの増大につながってしまう。 In Patent Document 1, stereo calculation is performed in all the pyramid layers, or if the reliability is low in the middle pyramid layer, the calculation is not performed in higher layers. As described above, since the stereo matching calculation is basically performed in all pyramid layers, the amount of calculation increases. For this reason, the calculation processing time becomes long and the circuit configuration becomes large, leading to an increase in apparatus cost.

本発明は、上述のような従来技術の問題に鑑み、演算量を減らすことができるとともに、信頼性の高いデータが得られかつ精度も高い画像処理装置および画像処理方法を提供することを目的とする。 An object of the present invention is to provide an image processing apparatus and an image processing method that can reduce the amount of calculation, obtain highly reliable data, and have high accuracy in view of the problems of the conventional technology as described above. To do.

上記目的を達成するための本実施形態の画像処理装置について図１〜図１０を参照して説明する。 The image processing apparatus of this embodiment for achieving the above object will be described with reference to FIGS.

図１の画像処理装置は、基準画像と参照画像とを入力し取得する画像入力部１１と、前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成部１２と、対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定部１３と、前記解像度選択・対応点探索領域設定部１３の情報に基づいて前記基準画像と前記参照画像との間の対応点を探索する対応点探索処理部１４と、を備えことを特徴とする。前記多重解像度画像を用いてステレオ画像処理または時系列画像処理を行うことができる。また、対応点探索処理結果は出力部１５から出力する。 1 includes an image input unit 11 that inputs and acquires a standard image and a reference image, a multi-resolution image generation unit 12 that generates multi-resolution images of the standard image and the reference image, and corresponding points. A resolution selection / corresponding point search region setting unit 13 for selecting a search region of a reference image corresponding to each region on the reference image for selecting the image resolution for performing the search processing and performing the corresponding point search processing, and the resolution selection / correspondence And a corresponding point search processing unit for searching for corresponding points between the base image and the reference image based on information of the point search region setting unit. Stereo image processing or time-series image processing can be performed using the multi-resolution image. The corresponding point search processing result is output from the output unit 15.

図１の画像処理装置によれば、解像度選択・対応点探索領域設定部１３で、対応点探索処理を行う画像解像度を選択し、対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定し、これらの画像解像度および探索領域に基づいて対応点探索処理部１４で基準画像と参照画像との間の対応点を探索することにより、すべての解像度画像で演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。 According to the image processing apparatus of FIG. 1, the resolution selection / corresponding point search region setting unit 13 selects an image resolution for performing the corresponding point search processing, and references corresponding to the regions on the reference image for performing the corresponding point search processing. The search area of the image is set, and the corresponding point search processing unit 14 searches for the corresponding point between the standard image and the reference image based on the image resolution and the search area. Therefore, the amount of calculation can be reduced by performing the calculation only in one layer, and highly reliable data can be obtained and the accuracy is high.

図２の画像処理装置は、図１において、前記解像度選択・対応点探索領域設定部１３が、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択する解像度選択部１６と、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定部１７と、前記解像度選択部１６で選択された解像度情報を保持する選択解像度保持部１８と、前記対応点探索領域設定部１７で設定された領域情報を保持する設定対応点探索領域保持部１９と、を備えることを特徴とする。 The image processing apparatus of FIG. 2 is the image resolution in which the resolution selection / corresponding point search area setting unit 13 in FIG. 1 performs corresponding point search processing based on one or more corresponding point search processing results before the current processing. And a search area on the reference image corresponding to each area on the reference image on which the corresponding point search processing is performed based on one or more corresponding point search processing results before the current processing. Corresponding point search region setting unit 17, selected resolution holding unit 18 holding the resolution information selected by the resolution selection unit 16, and setting corresponding points holding the region information set by the corresponding point search region setting unit 17 And a search area holding unit 19.

図２の画像処理装置によれば、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択し、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。 According to the image processing apparatus of FIG. 2, the image resolution for performing the corresponding point search process is selected based on one or more corresponding point search process results before the current process, and one or more corresponding points prior to the current process are selected. By setting the search area on the reference image corresponding to each area on the reference image for which the corresponding point search process is performed based on the search process result, the amount of calculation can be reduced by performing the calculation only in one level. Highly reliable data can be obtained and the accuracy is high.

図３の画像処理装置は、図１において、前記解像度選択・対応点探索領域設定部１３が、現在の処理より以前の１以上の対応点探索処理結果を保持する対応点探索処理結果保持部２０と、前記対応点探索処理結果保持部２０の情報に基づいて対応点探索処理を行う画像解像度を選択する解像度選択部２１と、前記対応点探索処理結果保持部２０の情報に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定部２２と、を備えることを特徴とする。 The image processing apparatus of FIG. 3 includes a corresponding point search processing result holding unit 20 in which the resolution selection / corresponding point search region setting unit 13 holds one or more corresponding point search processing results before the current processing in FIG. A resolution selection unit 21 that selects an image resolution for performing the corresponding point search process based on the information in the corresponding point search process result holding unit 20, and a corresponding point search based on the information in the corresponding point search process result holding unit 20 And a corresponding point search region setting unit 22 for setting a search region on the reference image corresponding to each region on the reference image to be processed.

図３の画像処理装置によれば、現在の処理より以前の１以上の対応点探索処理結果を保持し、その対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。 According to the image processing apparatus of FIG. 3, by holding one or more corresponding point search processing results before the current processing and selecting an image resolution for performing the corresponding point search processing based on the corresponding point search processing results. The calculation amount can be reduced by performing the calculation only in one layer, and highly reliable data can be obtained and the accuracy is high.

図２において前記選択解像度保持部１８および前記設定対応点探索領域保持部１９は、前記基準画像もしくは前記参照画像の画素数分だけ、または、前記対応点探索処理を行う点数分だけの前記画像解像度情報と前記探索領域情報を保持しておくことを特徴とする。 In FIG. 2, the selected resolution holding unit 18 and the set corresponding point search region holding unit 19 have the image resolution corresponding to the number of pixels of the base image or the reference image or the number of points for which the corresponding point search processing is performed. Information and the search area information are retained.

図３において前記対応点探索処理結果保持部２０は、１フレームまたは複数フレームの各フレームの対応点探索処理結果を保持することを特徴とする。 In FIG. 3, the corresponding point search processing result holding unit 20 holds the corresponding point search processing result of each frame of one frame or a plurality of frames.

図４，図５の画像処理装置は、図２，図３において前記解像度選択部１６，２１は、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算する所定値演算部２５を備え、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする。 4 and 5, the resolution selection units 16 and 21 in FIGS. 2 and 3 include a predetermined value calculation unit 25 that calculates a predetermined value in one or more frames before the nth frame, The image resolution of the (n + 1) th frame is selected using the predetermined value.

図２〜図５において前記解像度選択部１６，２１は、前記画像解像度の選択をフレーム毎に行うことを特徴とする。この具体例について図６のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。ｎフレーム目の選択解像度を、図２，図４の選択解像度保持部１８（または、図２〜図５の解像度選択部１６，２１）から取得する（Ｓ０１）。ｉ＝０とし（Ｓ０２）、ｉ番目の対応点探索領域を、図２，図４の対応点探索領域保持部１９（または、図２〜図５の対応点探索領域設定部１７，２２）から取得する（Ｓ０３）。次に、図２〜図５の対応点探索処理部１４で対応点探索処理を行う（Ｓ０４）。次に、ｉ＝ｉ＋１とし（Ｓ０５）、ｉが所定の処理点数に達しなければ（Ｓ０６）、ステップＳ０３に戻り、次の対応点探索領域を取得し対応点探索処理を行う。ｉが所定の処理点数に達すると（Ｓ０６）、ｎフレーム目の処理が完了する。 2 to 5, the resolution selection units 16 and 21 select the image resolution for each frame. A specific example of this will be described with reference to the flowchart of FIG. The selected resolution of the nth frame is acquired from the selected resolution holding unit 18 in FIGS. 2 and 4 (or the resolution selecting units 16 and 21 in FIGS. 2 to 5) (S01). i = 0 (S02), and the i-th corresponding point search region is obtained from the corresponding point search region holding unit 19 in FIG. 2 and FIG. 4 (or the corresponding point search region setting units 17 and 22 in FIG. 2 to FIG. 5). Obtain (S03). Next, the corresponding point search processing unit 14 of FIGS. 2 to 5 performs corresponding point search processing (S04). Next, i = i + 1 is set (S05), and if i does not reach the predetermined number of processing points (S06), the process returns to step S03 to acquire the next corresponding point search area and perform the corresponding point searching process. When i reaches a predetermined number of processing points (S06), the processing of the nth frame is completed.

図２〜図５において前記解像度選択部１６，２１は、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする。この具体例について図７のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。ｉ＝０とし（Ｓ１１）、ｉ番目の画素の選択解像度を、図２，図４の選択解像度保持部１８（または、図２〜図５の解像度選択部１６，２１）から取得する（Ｓ１２）。ｉ番目の画素の対応点探索領域を、図２，図４の対応点探索領域保持部１９（または、図２〜図５の対応点探索領域設定部１７，２２）から取得する（Ｓ１３）。次に、図２〜図５の対応点探索処理部１４で対応点探索処理を行う（Ｓ１４）。次に、ｉ＝ｉ＋１とし（Ｓ１５）、ｉが所定の処理点数に達しなければ（Ｓ１６）、ステップＳ１２に戻り、次の画素の選択解像度および対応点探索領域を取得し対応点探索処理を行う。ｉが所定の処理点数に達すると（Ｓ１６）、ｎフレーム目の処理が完了する。 2 to 5, the resolution selection units 16 and 21 perform selection of the image resolution for each pixel or for each point for calculating a corresponding point. A specific example of this will be described with reference to the flowchart of FIG. i = 0 is set (S11), and the selection resolution of the i-th pixel is acquired from the selection resolution holding unit 18 shown in FIGS. 2 and 4 (or the resolution selection units 16 and 21 shown in FIGS. 2 to 5) (S12). . The corresponding point search area of the i-th pixel is acquired from the corresponding point search area holding unit 19 in FIG. 2 and FIG. 4 (or the corresponding point search area setting units 17 and 22 in FIG. 2 to FIG. 5) (S13). Next, the corresponding point search processing unit 14 of FIGS. 2 to 5 performs corresponding point search processing (S14). Next, i = i + 1 is set (S15), and if i does not reach the predetermined number of processing points (S16), the process returns to step S12 to acquire the selection resolution and corresponding point search area of the next pixel and perform corresponding point search processing. . When i reaches a predetermined number of processing points (S16), the processing of the nth frame is completed.

図４，図５の前記所定値演算部２５は、前記対応点探索処理の処理結果における信頼度を所定値とすることを特徴とする。この具体例について図８のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。まず、ｉ＝０とし（Ｓ２１）、（ｎ−１）フレーム目のｉ番目の対応点探索処理結果を、図５の対応点探索処理結果保持部２０（または、図４，図５の対応点探索処理部１４）から取得する（Ｓ２２）。その対応点探索処理結果の信頼度が閾値以上であるか否かを判断し（Ｓ２３）、閾値以上である（高信頼度）場合には、図４，図５の解像度選択部１６，２１で、（ｎ−１）フレーム目よりも１段だけ高解像度の画像を選択する（Ｓ２４）。ただし、（ｎ−１）フレーム目の解像度が最高解像度の場合は最高解像度を選択する。次に、図４，図５の対応点探索領域設定部１７，２２で、（ｎ−１）フレーム目の対応点探索処理結果からｎフレーム目の参照画像の推定点にウィンドウを設定する（Ｓ２５）。 The predetermined value calculation unit 25 in FIGS. 4 and 5 sets the reliability in the processing result of the corresponding point search process to a predetermined value. A specific example of this will be described with reference to the flowchart of FIG. First, i = 0 is set (S21), and the i-th corresponding point search processing result of the (n−1) -th frame is converted into the corresponding point search processing result holding unit 20 in FIG. 5 (or the corresponding points in FIG. 4 and FIG. 5). Obtained from the search processing unit 14) (S22). It is determined whether or not the reliability of the corresponding point search processing result is greater than or equal to a threshold value (S23). If it is greater than or equal to the threshold value (high reliability), the resolution selection units 16 and 21 in FIGS. , (N-1) An image having a resolution higher by one level than the frame is selected (S24). However, when the resolution of the (n-1) th frame is the highest resolution, the highest resolution is selected. Next, the corresponding point search area setting units 17 and 22 in FIGS. 4 and 5 set a window at the estimated point of the reference image of the nth frame from the corresponding point search processing result of the (n−1) th frame (S25). ).

上記ステップＳ２３で、対応点探索処理結果の信頼度が閾値未満である（低信頼度）場合には、図４，図５の解像度選択部１６，２１で最低解像度を選択する（Ｓ２６）。次に、図４，図５の対応点探索領域設定部１７，２２でウィンドウを基準画像と同一座標に設定する（Ｓ２７）。 If the reliability of the corresponding point search processing result is less than the threshold value (low reliability) in step S23, the minimum resolution is selected by the resolution selection units 16 and 21 of FIGS. 4 and 5 (S26). Next, the corresponding point search area setting units 17 and 22 in FIGS. 4 and 5 set the window at the same coordinates as the reference image (S27).

次に、図４，図５の対応点探索処理部１４で基準画像のウィンドウに対応する参照画像のウィンドウ位置について対応点探索処理を行う（Ｓ２８）。次に、図４，図５の対応点探索処理部１４または対応点探索処理結果保持部２０で対応点探索処理結果を保持する（Ｓ２９）。次に、ｉ＝ｉ＋１とし（Ｓ３０）、ｉが所定の処理点数に達しなければ（Ｓ３１）、ステップＳ２２に戻る。ｉが所定の処理点数に達すると（Ｓ３１）、ｎフレーム目の処理が完了する。 Next, the corresponding point search processing unit 14 of FIGS. 4 and 5 performs corresponding point search processing for the window position of the reference image corresponding to the window of the standard image (S28). Next, the corresponding point search processing unit 14 or the corresponding point search processing result holding unit 20 shown in FIGS. 4 and 5 holds the corresponding point search processing result (S29). Next, i = i + 1 is set (S30), and if i does not reach the predetermined number of processing points (S31), the process returns to step S22. When i reaches a predetermined number of processing points (S31), the processing of the nth frame is completed.

また、図４，図５の前記所定値演算部２５は、対応点探索処理における距離値を所定値とすることを特徴とする。この具体例について図９のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。まず、ｉ＝０とし（Ｓ４１）、（ｎ−１）フレーム目のｉ番目の対応点探索処理結果を、図５の対応点探索処理結果保持部２０（または、図４，図５の対応点探索処理部１４）から取得する（Ｓ４２）。その対応点探索処理の対応点探索処理結果を距離値に変換し（Ｓ４３）、その距離値を三段階に判断する（Ｓ４４）。 4 and 5 is characterized in that the distance value in the corresponding point search process is set to a predetermined value. A specific example of this will be described with reference to the flowchart of FIG. First, i = 0 is set (S41), and the i-th corresponding point search processing result of the (n-1) th frame is set as the corresponding point search processing result holding unit 20 in FIG. 5 (or the corresponding points in FIGS. 4 and 5). Obtained from the search processing unit 14) (S42). The corresponding point search process result of the corresponding point search process is converted into a distance value (S43), and the distance value is determined in three stages (S44).

すなわち、遠距離の場合は、図４，図５の解像度選択部１６，２１で高解像度を選択する（Ｓ４５）。中距離の場合は、解像度選択部１６，２１で中解像度を選択する（Ｓ４６）。近距離の場合は、解像度選択部１６，２１で低解像度を選択する（Ｓ４７）。 That is, in the case of a long distance, a high resolution is selected by the resolution selection units 16 and 21 of FIGS. 4 and 5 (S45). In the case of the medium distance, the medium resolution is selected by the resolution selection units 16 and 21 (S46). If the distance is short, the resolution selection units 16 and 21 select a low resolution (S47).

次に、図４，図５の対応点探索領域設定部１７，２２で、（ｎ−１）フレーム目の対応点探索処理結果からｎフレーム目の参照画像の推定点にウィンドウを設定する（Ｓ４８）。次に、図４，図５の対応点探索処理部１４で基準画像のウィンドウ位置に対応する参照画像のウィンドウ位置について対応点探索処理を行う（Ｓ４９）。次に、図４，図５の対応点探索処理部１４または対応点探索処理結果保持部２０で対応点探索処理結果を保持する（Ｓ５０）。次に、ｉ＝ｉ＋１とし（Ｓ５１）、ｉが所定の処理点数に達しなければ（Ｓ５２）、ステップＳ４２に戻る。ｉが所定の処理点数に達すると（Ｓ５２）、ｎフレーム目の処理が完了する。 Next, the corresponding point search area setting units 17 and 22 in FIGS. 4 and 5 set a window at the estimated point of the reference image of the nth frame from the result of the corresponding point search process of the (n−1) th frame (S48). ). Next, the corresponding point search processing unit 14 in FIGS. 4 and 5 performs corresponding point search processing for the window position of the reference image corresponding to the window position of the standard image (S49). Next, the corresponding point search processing unit 14 or the corresponding point search processing result holding unit 20 shown in FIGS. 4 and 5 holds the corresponding point search processing result (S50). Next, i = i + 1 is set (S51), and if i does not reach the predetermined number of processing points (S52), the process returns to step S42. When i reaches a predetermined number of processing points (S52), the processing of the nth frame is completed.

また、図４，図５の前記所定値演算部２５は、時系列処理における移動量または速度を所定値とすることを特徴とする。この具体例について図１０のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。まず、ｉ＝０とし（Ｓ６１）、（ｎ−１）フレーム目のｉ番目の対応点探索処理結果を、図５の対応点探索処理結果保持部２０（または、図４，図５の対応点探索処理部１４）から取得する（Ｓ６２）。その時系列処理の対応点探索処理結果を移動量に変換し（Ｓ６３）、その移動量を三段階に判断する（Ｓ６４）。 4 and 5 is characterized in that the movement amount or speed in the time series processing is set to a predetermined value. A specific example of this will be described with reference to the flowchart of FIG. First, i = 0 is set (S61), and the i-th corresponding point search processing result of the (n-1) th frame is converted into the corresponding point search result holding unit 20 in FIG. 5 (or the corresponding points in FIGS. 4 and 5). Obtained from the search processing unit 14) (S62). The corresponding point search processing result of the time series processing is converted into a movement amount (S63), and the movement amount is determined in three stages (S64).

すなわち、移動量が小の場合は、図４，図５の解像度選択部１６，２１で高解像度を選択する（Ｓ６５）。移動量が中の場合は、解像度選択部１６，２１で中解像度を選択する（Ｓ６６）。移動量が大の場合は、解像度選択部１６，２１で低解像度を選択する（Ｓ６７）。 That is, when the movement amount is small, a high resolution is selected by the resolution selection units 16 and 21 of FIGS. 4 and 5 (S65). When the movement amount is medium, the medium resolution is selected by the resolution selection units 16 and 21 (S66). If the amount of movement is large, the resolution selection units 16 and 21 select a low resolution (S67).

次に、図４，図５の対応点探索領域設定部１７，２２で、（ｎ−１）フレーム目の対応点探索処理結果からｎフレーム目の参照画像の推定点にウィンドウを設定する（Ｓ６８）。次に、図４，図５の対応点探索処理部１４で基準画像のウィンドウに対応する参照画像のウィンドウ位置について対応点探索処理を行う（Ｓ６９）。次に、図４，図５の対応点探索処理部１４または対応点探索処理結果保持部２０で対応点探索処理結果を保持する（Ｓ７０）。次に、ｉ＝ｉ＋１とし（Ｓ７１）、ｉが所定の処理点数に達しなければ（Ｓ７２）、ステップＳ６２に戻る。ｉが所定の処理点数に達すると（Ｓ７２）、ｎフレーム目の処理が完了する。 Next, the corresponding point search area setting units 17 and 22 in FIGS. 4 and 5 set a window to the estimated point of the reference image of the nth frame from the corresponding point search processing result of the (n−1) th frame (S68). ). Next, the corresponding point search processing unit 14 of FIGS. 4 and 5 performs corresponding point search processing for the window position of the reference image corresponding to the window of the standard image (S69). Next, the corresponding point search processing unit 14 or the corresponding point search processing result holding unit 20 shown in FIGS. 4 and 5 holds the corresponding point search processing result (S70). Next, i = i + 1 is set (S71), and if i does not reach the predetermined number of processing points (S72), the process returns to step S62. When i reaches a predetermined number of processing points (S72), the processing of the nth frame is completed.

本実施形態の画像処理方法は、基準画像と参照画像とを入力し取得するステップと、前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成ステップと、対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定ステップと、前記解像度選択・対応点探索領域設定ステップの情報に基づいて前記基準画像と前記参照画像との間の対応点を探索する対応点探索処理ステップと、を含むことを特徴とする。 The image processing method of the present embodiment includes a step of inputting and acquiring a base image and a reference image, a multi-resolution image generation step of generating multi-resolution images of the base image and the reference image, and corresponding point search processing. A resolution selection / corresponding point search region setting step for selecting a reference image search region corresponding to each region on the reference image for selecting the image resolution to be performed and performing corresponding point search processing, and the resolution selection / corresponding point search region setting A corresponding point search processing step of searching for a corresponding point between the reference image and the reference image based on step information.

この画像処理方法によれば、対応点探索処理を行う画像解像度を選択し、対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定し、これらの画像解像度および探索領域に基づいて基準画像と参照画像との間の対応点を探索することにより、すべての解像度画像で演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。また、前記多重解像度画像を用いてステレオ画像処理または時系列画像処理を行うことができる。 According to this image processing method, the image resolution for performing the corresponding point search process is selected, the search area of the reference image corresponding to each area on the reference image for performing the corresponding point search process is set, and the image resolution and the search are set. By searching for corresponding points between the base image and the reference image based on the region, it is possible to reduce the amount of computation by performing computation only in one level without performing computation on all resolution images. Highly accurate data can be obtained and accuracy is high. In addition, stereo image processing or time-series image processing can be performed using the multi-resolution image.

前記解像度選択・対応点探索領域設定ステップは、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択する解像度選択ステップと、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定ステップと、前記解像度選択ステップで選択された解像度情報を保持する選択解像度保持ステップと、前記対応点探索領域設定ステップで設定された領域情報を保持する設定対応点探索領域保持ステップと、を含むことを特徴とする。 The resolution selection / corresponding point search region setting step includes a resolution selection step of selecting an image resolution for performing corresponding point search processing based on one or more corresponding point search processing results prior to the current processing, and prior to the current processing. A corresponding point search region setting step for setting a search region on the reference image corresponding to each region on the reference image on which the corresponding point search processing is performed based on one or more corresponding point search processing results, and the resolution selection step. A selected resolution holding step for holding the resolution information, and a set corresponding point search region holding step for holding the region information set in the corresponding point search region setting step.

上述のように、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択し、現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。 As described above, the image resolution for performing the corresponding point search process is selected based on one or more corresponding point search process results prior to the current process, and based on the one or more corresponding point search process results prior to the current process. By setting a search area on the reference image corresponding to each area on the reference image for which the corresponding point search processing is performed, it is possible to reduce the amount of calculation by performing the calculation only at one level, and the reliability is high Data is obtained and accuracy is high.

また、前記解像度選択・対応点探索領域設定ステップは、現在の処理より以前の１以上の対応点探索処理結果を保持する対応点探索処理結果保持ステップと、前記対応点探索処理結果保持ステップの情報に基づいて対応点探索処理を行う画像解像度を選択する解像度選択ステップと、前記対応点探索処理結果保持ステップの情報に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定ステップと、を含むことを特徴とする。 The resolution selection / corresponding point search region setting step includes information on a corresponding point search processing result holding step for holding one or more corresponding point search processing results before the current processing, and the corresponding point search processing result holding step. On the reference image corresponding to each area on the reference image on which the corresponding point search processing is performed based on the information of the resolution selection step for selecting the image resolution for performing the corresponding point search processing based on the information and the corresponding point search processing result holding step And a corresponding point search area setting step for setting the search area.

上述のように、現在の処理より以前の１以上の対応点探索処理結果を保持し、その対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。 As described above, one or more corresponding point search processing results prior to the current processing are held, and by selecting an image resolution for performing the corresponding point search processing based on the corresponding point search processing results, it is possible to achieve a one-level hierarchy. However, the amount of calculation can be reduced by performing only the calculation, and highly reliable data can be obtained and the accuracy is high.

また、前記選択解像度保持ステップおよび前記設定対応点探索領域保持ステップでは、前記基準画像もしくは前記参照画像の画素数分だけ、または、前記対応点探索処理を行う点数分だけの前記画像解像度情報と前記探索領域情報を保持しておくことを特徴とする。 In the selection resolution holding step and the set corresponding point search area holding step, the image resolution information and the number of pixels corresponding to the number of pixels of the reference image or the reference image, or the number of points for which the corresponding point search processing is performed, and the The search area information is retained.

また、前記対応点探索処理結果保持ステップでは、各フレームの対応点探索処理結果を保持することを特徴とする。 In the corresponding point search processing result holding step, the corresponding point search processing result of each frame is held.

また、前記解像度選択ステップは、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算する所定値演算ステップを含み、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする。 The resolution selecting step includes a predetermined value calculating step of calculating a predetermined value in one or more frames before the nth frame, and selecting the image resolution of the (n + 1) th frame using the predetermined value. It is characterized by.

また、前記解像度選択ステップでは、前記画像解像度の選択をフレーム毎に行うことを特徴とする。具体例は図６のとおりである。 In the resolution selection step, the image resolution is selected for each frame. A specific example is shown in FIG.

また、前記解像度選択ステップでは、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする。具体例は図７のとおりである。 In the resolution selection step, the image resolution is selected for each pixel or each point for calculating a corresponding point. A specific example is as shown in FIG.

また、前記所定値演算ステップでは、前記対応点探索処理の処理結果における信頼度を所定値とすることを特徴とする。具体例は図８のとおりである。 In the predetermined value calculating step, the reliability in the processing result of the corresponding point search process is set to a predetermined value. A specific example is shown in FIG.

また、前記所定値演算ステップでは、対応点探索処理における距離値を所定値とすることを特徴とする。具体例は図９のとおりである。 In the predetermined value calculating step, the distance value in the corresponding point search process is set to a predetermined value. A specific example is as shown in FIG.

また、前記所定値演算ステップでは、時系列処理における移動量または速度を所定値とすることを特徴とする。具体例は図１０のとおりである。 In the predetermined value calculating step, the movement amount or speed in the time series processing is set to a predetermined value. A specific example is as shown in FIG.

上述の画像処理方法は、図１〜図５の画像処理装置により実行することができる。 The above-described image processing method can be executed by the image processing apparatus shown in FIGS.

本発明の画像処理装置および画像処理方法によれば、例えばステレオ画像処理または時系列画像処理などを行う際の演算量を減らすことができるとともに、信頼性の高いデータが得られかつ精度も高くなる。 According to the image processing apparatus and the image processing method of the present invention, it is possible to reduce the amount of calculation when performing, for example, stereo image processing or time-series image processing, and to obtain highly reliable data and to improve accuracy. .

以下、本発明を実施するための最良の形態について図面を用いて説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.

まず、図１１により本実施の形態による画像処理装置の基本的動作を説明する。図１１は本実施の形態による画像処理装置の基本的な動作例（処理結果を次フレームに用いる）を説明するための概念図である。 First, the basic operation of the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 11 is a conceptual diagram for explaining a basic operation example (using the processing result for the next frame) of the image processing apparatus according to the present embodiment.

本実施の形態による画像処理装置は、対応点探索処理や時系列処理を行うための、ピラミッド画像を使用した対応点探索処理において、ｎ番目（ｎ：１以上の整数）のフレームにおける所定値を用いて、（ｎ＋１）番目のフレームの画像解像度を選択するようにしたものである。この画像解像度の選択は、フレーム毎に行うこともできるし、画素毎（対応点を演算する点毎）に行うこともできる。ここで、所定値とは、例えば、処理結果の信頼度、対応点探索処理における距離値、または、時系列処理における移動量（速度）である。 The image processing apparatus according to the present embodiment uses a predetermined value in an nth (n: integer greater than or equal to 1) frame in corresponding point search processing using a pyramid image for performing corresponding point search processing and time series processing. And the image resolution of the (n + 1) th frame is selected. The selection of the image resolution can be performed for each frame or for each pixel (for each point at which the corresponding point is calculated). Here, the predetermined value is, for example, the reliability of the processing result, the distance value in the corresponding point search process, or the movement amount (speed) in the time series process.

図１１のように、処理結果の信頼度を所定値とする場合、ｎ（ｎ：１以上の整数）フレームにおいて基準画像と参照画像の対応点探索処理結果が高信頼度であると、次の（ｎ＋１）フレームの画像解像度を上げる。（ｎ＋１）フレームにおける処理結果が高信頼度であると、次の（ｎ＋２）フレームの画像解像度を上げる。（ｎ＋２）フレームにおける処理結果が低信頼度であると、次の（ｎ＋３）フレームでは対応点探索処理に使用する解像度を例えば、最低解像度とする。 As shown in FIG. 11, when the reliability of the processing result is set to a predetermined value, if the corresponding point search processing result of the base image and the reference image is high in n (n: an integer of 1 or more) frames, Increase the image resolution of (n + 1) frames. If the processing result in the (n + 1) frame is highly reliable, the image resolution of the next (n + 2) frame is increased. If the processing result in the (n + 2) frame is low in reliability, the resolution used for the corresponding point search process in the next (n + 3) frame is set to the lowest resolution, for example.

図１１において、対応点探索のためのウィンドウは前フレームの結果から推定して設定するが、この場合の対応点の推定およびウィンドウ（探索範囲）の設定について説明する。 In FIG. 11, the window for searching for corresponding points is estimated and set from the result of the previous frame. The estimation of corresponding points and setting of the window (search range) in this case will be described.

まず、前フレームの対応点探索結果、または、それ以前のフレームの対応点探索結果から、現フレームの対応点を推定する。以下の(1)〜(9)の方法から選択できる。 First, the corresponding point of the current frame is estimated from the corresponding point search result of the previous frame or the corresponding point search result of the previous frame. It can be selected from the following methods (1) to (9).

(1)前フレームの対応点探索結果を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。 (1) The corresponding point search result of the previous frame is made to correspond to the resolution at which the corresponding point search process is performed in the current frame, and that point is used as the estimated point.

(2)現フレーム以前のフレーム結果の平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。 (2) The average value of the frame results before the current frame is made to correspond to the resolution at which the corresponding point search process is performed in the current frame, and that point is used as the estimated point.

(3)現フレーム以前のフレーム結果の重み付け平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。その場合に新しいフレームに重み付けする。 (3) The weighted average value of the frame results before the current frame is made to correspond to the resolution at which the corresponding point search process is performed in the current frame, and that point is used as the estimated point. In that case, the new frame is weighted.

(4)現フレーム以前のフレーム結果の重み付け平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。その場合に結果の解像度に応じて重み付けする。 (4) The weighted average value of the frame results before the current frame is made to correspond to the resolution at which the corresponding point search process is performed in the current frame, and that point is used as the estimated point. In that case, weighting is performed according to the resolution of the result.

(5)現フレーム以前の信頼度の高いフレーム結果を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。 (5) A frame result with high reliability before the current frame is made to correspond to the resolution at which the corresponding point search process is performed in the current frame, and that point is used as an estimated point.

(6)現フレーム以前の信頼度の高いフレームの平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。 (6) The average value of frames with high reliability before the current frame is made to correspond to the resolution for the corresponding point search process in the current frame, and that point is used as the estimated point.

(7)現フレーム以前の信頼度の高いフレームの重み付け平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。その場合に高信頼度フレームに重み付けする。 (7) The weighted average value of the highly reliable frame before the current frame is made to correspond to the resolution for the corresponding point search process in the current frame, and that point is used as the estimated point. In that case, the high reliability frame is weighted.

(8)オプティカルフローで移動していなければ、現フレーム以前の複数フレームを使用して推定する。 (8) If it is not moving in the optical flow, the estimation is performed using a plurality of frames before the current frame.

(9)オプティカルフローで移動していなければ、前フレームの移動量から推定する。 (9) If it is not moving in the optical flow, it is estimated from the movement amount of the previous frame.

次に、推定された対応点に対して探索範囲（ウィンドウ）を設定する。すなわち、推定点の信頼度によって、ウィンドウを設定するピラミッド画像の解像度を変えて、その解像度で画像の対応点探索処理を行う。以下の(10)〜(14)の方法から選択できる。 Next, a search range (window) is set for the estimated corresponding points. That is, the resolution of the pyramid image for setting the window is changed according to the reliability of the estimated point, and the corresponding point search process of the image is performed at the resolution. It can be selected from the following methods (10) to (14).

(10)推定点の信頼度が閾値以上（高信頼度）であれば、前フレームよりも高解像度で対応点探索処理を行う。推定点の信頼度が閾値以下（低信頼度）であれば、前フレームよりも低解像度で対応点探索処理を行う。 (10) If the reliability of the estimated point is equal to or higher than the threshold (high reliability), the corresponding point search process is performed at a higher resolution than the previous frame. If the reliability of the estimated point is equal to or less than the threshold (low reliability), the corresponding point search process is performed at a lower resolution than the previous frame.

(11)推定点の信頼度が閾値以上（高信頼度）であれば、前フレームよりも高解像度で対応点探索処理を行う。推定点の信頼度が閾値以下（低信頼度）であれば、最低解像度で対応点探索処理を行う（図１１参照）。 (11) If the reliability of the estimated point is equal to or higher than the threshold (high reliability), the corresponding point search process is performed at a higher resolution than the previous frame. If the reliability of the estimated point is equal to or lower than the threshold (low reliability), the corresponding point search process is performed with the lowest resolution (see FIG. 11).

(12)推定点が高信頼度であれば、前フレームよりも高解像度で対応点探索処理を行う。推定点が中信頼度であれば、前フレームよりも低解像度で対応点探索処理を行う。推定点が低信頼度であれば、最低解像度で対応点探索処理を行う。 (12) If the estimated point is highly reliable, the corresponding point search process is performed at a higher resolution than the previous frame. If the estimated point is medium reliability, corresponding point search processing is performed at a lower resolution than the previous frame. If the estimated point is low in reliability, the corresponding point search process is performed with the lowest resolution.

(13)推定点が高信頼度もしくは中信頼度であれば、前フレームよりも高解像度で対応点探索処理を行う。ただし、高信頼度のほうがより解像度を上げられる。推定点が低信頼度であれば、前フレームよりも低解像度で対応点探索処理を行う。 (13) If the estimated point is high reliability or medium reliability, the corresponding point search process is performed at a higher resolution than the previous frame. However, the higher the reliability, the higher the resolution. If the estimated point is low in reliability, the corresponding point search process is performed at a lower resolution than the previous frame.

(14)推定点が高信頼度もしくは中信頼度であれば、前フレームよりも高解像度で対応点探索処理を行う。ただし、高信頼度のほうがより解像度を上げられる。推定点が低信頼度であれば、最低解像度で対応点探索処理を行う。 (14) If the estimated point is high reliability or medium reliability, the corresponding point search process is performed at a higher resolution than the previous frame. However, the higher the reliability, the higher the resolution. If the estimated point is low in reliability, the corresponding point search process is performed with the lowest resolution.

また、本実施の形態による画像処理装置では、解像度と探索領域情報または対応点探索処理結果を以下の(15)〜(17)のような手段（ハードウエア）で保持することができる。 In the image processing apparatus according to the present embodiment, the resolution and the search area information or the corresponding point search processing result can be held by means (hardware) such as the following (15) to (17).

(15)次フレームで処理する「解像度と探索領域情報」を処理点数分だけメモリに保持する構成のハードウェア。 (15) Hardware configured to hold “resolution and search area information” to be processed in the next frame in the memory for the number of processing points.

(16)現フレームの対応点探索処理結果を処理点数分だけメモリに保持しておき、次フレームでその情報を使用する構成のハードウェア。 (16) Hardware configured to store the corresponding point search processing results of the current frame in the memory for the number of processing points and use the information in the next frame.

(17)現フレームとそれ以前のフレームの対応点探索処理結果を処理点数分だけメモリに保持しておき、次フレームでその情報を使用する構成のハードウェア。 (17) Hardware having a configuration in which the corresponding point search processing results of the current frame and previous frames are stored in the memory for the number of processing points, and the information is used in the next frame.

〈第１例〉
次に、本実施の形態の画像処理装置の第１例について図１２〜図１６を参照して具体的に説明する。 <First example>
Next, a first example of the image processing apparatus according to the present embodiment will be specifically described with reference to FIGS.

図１２は本実施の形態による画像処理装置（第１例）の概略的構成を示す要部ブロック図である。図１３は本実施の形態の画像処理装置において用いるピラミッド画像（画像Ａ〜Ｄ）を説明するための模式図である。 FIG. 12 is a principal block diagram showing a schematic configuration of the image processing apparatus (first example) according to the present embodiment. FIG. 13 is a schematic diagram for explaining pyramid images (images A to D) used in the image processing apparatus according to the present embodiment.

図１２に示す画像処理装置１０１は、図１，図２に対応した構成を有し、基準画像と参照画像とを入力し取得する画像入力部１１と、基準画像および参照画像の各多重解像度画像を生成する多重解像度画像生成部１２と、対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定部１３と、解像度選択・対応点探索領域設定部１３の情報に基づいて基準画像と参照画像との間の対応点を探索する対応点探索処理部１４と、対応点探索処理結果を出力する出力部１５と、を備える。 An image processing apparatus 101 illustrated in FIG. 12 has a configuration corresponding to FIGS. 1 and 2, and includes an image input unit 11 that inputs and acquires a standard image and a reference image, and multiresolution images of the standard image and the reference image. And a resolution selection / correspondence that sets a reference image search area corresponding to each area on the reference image on which the corresponding point search processing is performed and the corresponding resolution search processing is selected. A corresponding point search processing unit for searching for a corresponding point between the reference image and the reference image based on the information of the point search region setting unit 13, the resolution selection / corresponding point search region setting unit 13, and a corresponding point search processing result And an output unit 15 for outputting.

図１２の画像処理装置１０１は、一対のカメラ（ステレオカメラ）で撮像したステレオ画像を基準画像と参照画像とし、基準画像と参照画像との間の視差（位置ずれ量）に基づいて三角測量の原理により物体の３次元空間における位置を検出する際に、かかる視差を求めるために基準画像と参照画像とを対応点探索処理により対応づける画像処理を行うように構成可能であるが、これに限定されず、基準画像と参照画像とが時系列的な画像であってもよい。 The image processing apparatus 101 in FIG. 12 uses a stereo image captured by a pair of cameras (stereo cameras) as a standard image and a reference image, and performs triangulation based on the parallax (amount of positional deviation) between the standard image and the reference image. When detecting the position of an object in a three-dimensional space according to the principle, it is possible to perform image processing for associating a reference image and a reference image by corresponding point search processing in order to obtain such parallax, but the present invention is not limited to this. Instead, the standard image and the reference image may be time-series images.

図１２のように、多重解像度画像生成部１２は、画像入力部１１からの基準画像と参照画像について解像度変換を行う複数の解像度変換部１２ａ、１２ｂ、１２ｃを有し、さらに、各解像度の画像を保持し基準画像と参照画像のフレームバッファのためのＲＡＭ等からなる複数のメモリ１２ｄ、１２ｅ、１２ｆ、１２ｇを有する。 As shown in FIG. 12, the multi-resolution image generation unit 12 includes a plurality of resolution conversion units 12a, 12b, and 12c that perform resolution conversion on the standard image and the reference image from the image input unit 11, and further, images of each resolution. And a plurality of memories 12d, 12e, 12f, and 12g each including a RAM for a frame buffer for the standard image and the reference image.

多重解像度画像生成部１２では、画像入力部１１から入力した画像データからピラミッド構造の多重解像度画像を生成する。例えば、図１３の画像サイズが１６０×１２０の画像Ｄの画像データが画像入力部１１から入力すると、画像Ｄの画像データをメモリ１２ｄに保存するとともに、解像度変換部１２ａで図１３の画像サイズが８０×６０の画像Ｃ（画像Ｄの画像サイズの１／２）に解像度変換し、画像Ｃの画像データをメモリ１２ｅに保存する。同様にして、解像度変換部１２ｂで図１３の画像サイズが４０×３０の画像Ｂ（画像Ｃの画像サイズの１／２）に解像度変換し、画像Ｂの画像データをメモリ１２ｆに保存し、次に、解像度変換部１２ｃで図１３の画像サイズが２０×１５の画像Ａ（画像Ｂの画像サイズの１／２）に解像度変換し、画像Ａの画像データをメモリ１２ｇに保存する。 The multi-resolution image generation unit 12 generates a multi-resolution image having a pyramid structure from the image data input from the image input unit 11. For example, when image data of an image D having an image size of 160 × 120 in FIG. 13 is input from the image input unit 11, the image data of the image D is stored in the memory 12d, and the image size in FIG. The resolution is converted to an 80 × 60 image C (1/2 of the image size of the image D), and the image data of the image C is stored in the memory 12e. Similarly, the resolution conversion unit 12b converts the resolution into an image B having an image size of 40 × 30 in FIG. 13 (1/2 of the image size of the image C), and stores the image data of the image B in the memory 12f. Then, the resolution conversion unit 12c converts the resolution into the image A having the image size of 20 × 15 in FIG. 13 (1/2 of the image size of the image B), and stores the image data of the image A in the memory 12g.

対応点探索処理部１４は、各メモリ１２ｄ〜１２ｇから画像Ｄ〜Ａの各画像データを読み込み、さらに解像度選択・対応点探索領域設定部１３から解像度と対応点探索領域を読み込むことで、基準画像のウィンドウ画像と参照画像上の対応点探索領域のウィンドウ画像とを読み取る読取部１４ａと、読取部１４ａからのウィンドウ画像データに基づいて基準画像と参照画像との間の対応点探索処理のために並列演算を行う複数の演算ユニットからなる演算部１４ｂと、を有する。 The corresponding point search processing unit 14 reads each image data of the images D to A from each of the memories 12d to 12g, and further reads the resolution and the corresponding point search region from the resolution selection / corresponding point search region setting unit 13 to thereby obtain the reference image. For the corresponding point search region between the reference image and the reference image based on the window image data from the reading unit 14a and the window image data from the reading unit 14a And an arithmetic unit 14b including a plurality of arithmetic units that perform parallel arithmetic.

演算部１４ｂの各演算ユニットは、例えば、差分絶対値和(Sum of Absolute Difference:SAD)による相関法や位相限定相関法(Phase-Only Correlation:POC)を用いて視差演算のための対応点探索処理を並列的に実行する。演算部１４ｂでの対応点探索処理結果は、出力部１５から外部に出力し、また、解像度選択・対応点探索領域設定部１３に入力する。 Each calculation unit of the calculation unit 14b searches for corresponding points for parallax calculation using, for example, a correlation method based on a sum of absolute differences (SAD) or a phase-only correlation (POC). Perform processing in parallel. The corresponding point search processing result in the calculation unit 14 b is output from the output unit 15 to the outside, and is input to the resolution selection / corresponding point search region setting unit 13.

解像度選択・対応点探索領域設定部１３は、対応点探索処理部１４での対応点探索処理結果に基づいて解像度と対応点探索領域を計算し、その解像度をＲＡＭ等のメモリからなる選択解像度保持部１８で保持し、その対応点探索領域をＲＡＭ等のメモリからなる対応点探索領域保持部１９で保持する。 The resolution selection / corresponding point search region setting unit 13 calculates the resolution and the corresponding point search region based on the corresponding point search processing result in the corresponding point search processing unit 14, and holds the resolution as a selected resolution composed of a memory such as a RAM. The corresponding point search area is held by a corresponding point search area holding section 19 composed of a memory such as a RAM.

画像処理装置１０１では対応点探索処理結果の信頼度を所定値とし、解像度選択・対応点探索領域設定部１３で対応点探索処理部１４での結果に基づいて信頼度を演算する。かかる信頼度について図１４を参照して、差分絶対値和(Sum of Absolute Difference:SAD)による相関法で対応点探索処理を行う場合を例にして説明する。 In the image processing apparatus 101, the reliability of the corresponding point search processing result is set to a predetermined value, and the reliability is calculated based on the result of the corresponding point search processing unit 14 by the resolution selection / corresponding point search region setting unit 13. Such reliability will be described with reference to FIG. 14 by taking as an example a case where corresponding point search processing is performed by a correlation method based on a sum of absolute differences (SAD).

図１４はステレオ画像による基準画像（ａ）および参照画像（ｂ）を模式的に示し、本実施の形態における信頼度の演算式を説明するための図である。 FIG. 14 schematically shows a standard image (a) and a reference image (b) based on a stereo image, and is a diagram for explaining a calculation formula for reliability in the present embodiment.

対応点探索処理部１４では、図１４（ａ）のように基準画像Ｇａ内に測距点Ｗａｏを設定し、測距点Ｗａｏを中心とした、所定サイズ、例えば９×９のウインドウＷａを設定する。また、図１４（ｂ）のように参照画像Ｇｂ内に測距点Ｗｂｏを設定し、測距点Ｗｂｏを中心とした、基準画像と同じサイズ９×９のウインドウＷｂを設定する。基準画像と参照画像の各測距点Ｗａｏ，Ｗｂｏの設定座標は同一座標である。ウインドウＷａ〜Ｗｂ間の相関度をＳＡＤ法で算出する。ＳＡＤ法とはウインドウ内の各画素毎の「差の絶対値の和」である。例えば、ウインドウサイズが９×９の場合は８１画素における「差の絶対値の和」となり、その値が小さいほど相関度が高い。相関値Ｒは、差の絶対値の和ＳＡＤから図１４の式（１）により算出される。この相関度Ｒを信頼度とし、信頼度Ｒは、相関度が高く（信頼性が高く）なると１に近づき、相関度が低く（信頼性が低い）なると０に近づく。 The corresponding point search processing unit 14 sets a distance measuring point Wao in the reference image Ga as shown in FIG. 14A, and sets a window Wa having a predetermined size, for example, 9 × 9, centered on the distance measuring point Wao. To do. Further, as shown in FIG. 14B, a distance measuring point Wbo is set in the reference image Gb, and a window Wb having the same size as that of the reference image and having a center of the distance measuring point Wbo is set. The set coordinates of the distance measuring points Wao and Wbo of the reference image and the reference image are the same coordinates. The degree of correlation between the windows Wa to Wb is calculated by the SAD method. The SAD method is “sum of absolute values of differences” for each pixel in the window. For example, when the window size is 9 × 9, “sum of absolute values of differences” in 81 pixels is obtained, and the smaller the value, the higher the degree of correlation. The correlation value R is calculated by the equation (1) in FIG. 14 from the sum SAD of the absolute values of the differences. This degree of correlation R is used as the reliability, and the degree of reliability R approaches 1 when the degree of correlation is high (high reliability), and approaches 0 when the degree of correlation is low (low reliability).

解像度選択・対応点探索領域設定部１３（図４，図５の所定値演算部２５）では、対応点探索処理部１４での対応点探索処理結果の上述のＳＡＤ値から図１４の式（１）により信頼度Ｒを演算する。 In the resolution selection / corresponding point search area setting unit 13 (predetermined value calculation unit 25 in FIGS. 4 and 5), the equation (1) of FIG. ) To calculate the reliability R.

次に、図１２の画像処理装置における１フレーム目の対応点探索処理について図１５のフローチャートを参照して説明する。図１５は図１２の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。 Next, the corresponding point search process for the first frame in the image processing apparatus of FIG. 12 will be described with reference to the flowchart of FIG. FIG. 15 is a flowchart for explaining corresponding point search processing for the first frame in the image processing apparatus of FIG.

まず、ｉ＝０とし（Ｓ１０１）、対応点探索処理部１４において、最低解像度（図１３の画像Ａ）を用い（Ｓ１０２）、参照画像のウィンドウを基準画像のウィンドウと同じ座標に設定し、対応点探索処理を行う（Ｓ１０３）。 First, i = 0 is set (S101), and the corresponding point search processing unit 14 uses the lowest resolution (image A in FIG. 13) (S102), sets the reference image window to the same coordinates as the window of the standard image, and corresponds. A point search process is performed (S103).

その対応点探索処理結果を解像度選択・対応点探索領域設定部１３の各メモリ１８，１９に書き込んで保持する（Ｓ１０４）。次に、ｉ＝ｉ＋１とし（Ｓ１０５）、ｉが所定の処理点数の１９２００（１フレームあたり、１６０×１２０＝１９２００点の処理をする場合）に達しなければ（Ｓ１０６）、ステップＳ１０２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１０６）、１フレーム目の処理が完了する。 The corresponding point search processing result is written and held in the memories 18 and 19 of the resolution selection / corresponding point search area setting unit 13 (S104). Next, i = i + 1 is set (S105), and if i does not reach the predetermined number of processing points 19200 (when 160 × 120 = 19200 points are processed per frame) (S106), the process returns to step S102. When i reaches a predetermined number of processing points (19200 points) (S106), the processing of the first frame is completed.

次に、図１２の画像処理装置におけるｎ（ｎ：２以上の整数）フレーム目の対応点探索処理について図１６のフローチャートを参照して説明する。図１６は図１２の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。 Next, the corresponding point search process of the nth (n: integer greater than or equal to 2) frame in the image processing apparatus of FIG. 12 will be described with reference to the flowchart of FIG. FIG. 16 is a flowchart for explaining the corresponding point search process of the nth frame in the image processing apparatus of FIG.

まず、ｉ＝０とし（Ｓ１１１）、解像度選択・対応点探索領域設定部１３の各メモリ１８，１９からｎフレーム目のｉ番目の解像度と対応点探索領域を読み込み（Ｓ１１２）、その解像度と対応点探索領域を用いて対応点探索処理部１４で対応点探索処理を行う（Ｓ１１３）。 First, i = 0 is set (S111), and the i-th resolution and corresponding point search area of the nth frame are read from each of the memories 18 and 19 of the resolution selection / corresponding point search area setting unit 13 (S112). Corresponding point search processing is performed by the corresponding point search processing unit 14 using the point search region (S113).

上記ステップＳ１１３での対応点探索処理結果から図１４のようにして解像度選択・対応点探索領域設定部１３で信頼度Ｒを演算し、その信頼度を所定の閾値と比較して信頼度を判断する（Ｓ１１４）。 As shown in FIG. 14, the resolution selection / corresponding point search area setting unit 13 calculates the reliability R from the corresponding point search processing result in step S113, and compares the reliability with a predetermined threshold value to determine the reliability. (S114).

そして、解像度選択・対応点探索領域設定部１３において、信頼度が閾値以上であり、高信頼度と判断されると（Ｓ１１４）、ｎフレーム目よりも一段だけ高解像度の画像を（ｎ＋１）フレーム目の画像として選択する（Ｓ１１５）。このとき、ｎフレーム目の画像サイズが１６０×１２０で最高解像度のときは、最高解像度である１６０×１２０の画像サイズの画像Ｄを選択する。また、ｎフレーム目の対応点探索処理結果から（ｎ＋１）フレーム目の対応点探索領域を設定する（Ｓ１１６）。 When the resolution selection / corresponding point search region setting unit 13 determines that the reliability is equal to or higher than the threshold value and high reliability (S114), an image having a resolution higher than that of the nth frame by (n + 1) frames. The image is selected as an eye image (S115). At this time, when the image size of the nth frame is 160 × 120 and the highest resolution, the image D having the highest resolution of the image size of 160 × 120 is selected. Further, a corresponding point search region of the (n + 1) th frame is set from the corresponding point search processing result of the nth frame (S116).

また、信頼度が閾値未満で低信頼度と判断されると（Ｓ１１４）、最低解像度の画像（２０×１５の画像サイズの画像Ａ）を選択する（Ｓ１１７）。また、基準画像と同じ座標に参照画像の対応点探索領域を設定する（Ｓ１１８）。 If the reliability is less than the threshold and it is determined that the reliability is low (S114), the lowest resolution image (image A having an image size of 20 × 15) is selected (S117). In addition, a corresponding point search area of the reference image is set at the same coordinates as the standard image (S118).

上述のようにして選択された解像度および設定された対応点探索領域を解像度選択・対応点探索領域設定部１３の各メモリ１８，１９に書き込むことで保持する（Ｓ１１９）。 The resolution selected as described above and the set corresponding point search area are stored in the memories 18 and 19 of the resolution selection / corresponding point search area setting unit 13 (S119).

次に、ｉ＝ｉ＋１とし（Ｓ１２０）、ｉが所定の処理点数の１９２００点に達しなければ（Ｓ１２１）、ステップＳ１１２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１２１）、ｎフレーム目の処理が完了する。 Next, i = i + 1 is set (S120), and if i does not reach the predetermined number of processing points of 19,200 (S121), the process returns to step S112. When i reaches a predetermined number of processing points (19200 points) (S121), the processing of the nth frame is completed.

図１２の画像処理装置１０１は、上述のような制御および演算を実行するハードウエアとしての集積素子から構成できるが、上述のような制御および演算を実行するソフトウエアであるプログラムにより動作するＣＰＵ（中央演算処理回路）やＤＳＰ（デジタルシグナルプロセッサ）やＭＰＵ（マイクロプロセッサ）から構成してもよい。 The image processing apparatus 101 in FIG. 12 can be configured by an integrated element as hardware for executing the control and calculation as described above. However, the CPU (operating by a program that is software for executing the control and calculation as described above) You may comprise from a central processing circuit), DSP (digital signal processor), and MPU (microprocessor).

図１２の画像処理装置１０１によれば、４段のピラミッド画像からなる多重解像度画像（画像サイズは１６０×１２０、最低解像度は２０×１５）を用いて、ｎフレーム目の対応点探索処理結果による信頼度が閾値以上であったら、（ｎ＋１）フレーム目の対応点探索領域の画像解像度を１段上の高解像度に設定し（最高解像度だったら、最高解像度に設定する）、信頼度が閾値以下だったら、最低解像度に設定することで、すべての解像度の画像で対応点探索のための演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、それでいて信頼性の高いデータが得られかつ精度も高い。 According to the image processing apparatus 101 of FIG. 12, using a multi-resolution image (image size is 160 × 120, minimum resolution is 20 × 15) composed of four-stage pyramid images, the corresponding point search processing result of the nth frame is used. If the reliability is equal to or higher than the threshold, the image resolution of the corresponding point search area of the (n + 1) th frame is set to a higher resolution (if the highest resolution, the highest resolution is set), and the reliability is equal to or lower than the threshold. Then, by setting to the lowest resolution, it is possible to reduce the amount of computation by performing computation only in one level without performing computation for corresponding point search in images of all resolutions, and yet it is reliable. High data is obtained and accuracy is high.

したがって、図１２の画像処理装置１０１をハードウエアである集積素子から構成した場合には、その回路規模を削減することができ、また、プログラムにより動作するＣＰＵ（中央演算処理回路）等から構成した場合には、そのプログラムによる処理時間を短縮することができる。 Therefore, when the image processing apparatus 101 of FIG. 12 is configured from an integrated device that is hardware, the circuit scale can be reduced, and it is configured from a CPU (central processing circuit) operated by a program. In this case, the processing time by the program can be shortened.

〈第２例〉
次に、本実施の形態の画像処理装置の第２例について図１７〜図１９を参照して説明する。図１７は本実施の形態による画像処理装置（第２例）の概略的構成を示す要部ブロック図である。 <Second example>
Next, a second example of the image processing apparatus according to the present embodiment will be described with reference to FIGS. FIG. 17 is a principal block diagram showing a schematic configuration of the image processing apparatus (second example) according to the present embodiment.

図１７に示す画像処理装置１０２は、図１，図３に対応した構成を有する一方、図１２と同一の構成部分を有し、同一の構成部分には図１２と同じ符号を付してその説明を省略する。 The image processing apparatus 102 shown in FIG. 17 has a configuration corresponding to FIGS. 1 and 3, but has the same components as those in FIG. 12, and the same components are denoted by the same reference numerals as those in FIG. Description is omitted.

図１７の画像処理装置１０２は、図１２の画像処理装置１０１と同様に、一対のカメラ（ステレオカメラ）で撮像したステレオ画像を基準画像と参照画像とし、基準画像と参照画像との間の視差（位置ずれ量）に基づいて三角測量の原理により物体の３次元空間における位置を検出する際に、かかる視差を求めるために基準画像と参照画像とを対応点探索処理により対応づける画像処理を行うように構成可能であるが、これに限定されず、基準画像と参照画像とが時系列的な画像であってもよい。 The image processing apparatus 102 in FIG. 17, like the image processing apparatus 101 in FIG. 12, uses a stereo image captured by a pair of cameras (stereo cameras) as a standard image and a reference image, and parallax between the standard image and the reference image When detecting the position of the object in the three-dimensional space based on the (positional deviation amount) based on the principle of triangulation, image processing is performed for associating the reference image with the reference image by corresponding point search processing to obtain the parallax. However, the present invention is not limited to this, and the standard image and the reference image may be time-series images.

図１７の画像処理装置１０２の解像度選択・対応点探索領域設定部１３は、現在の処理より以前の１以上の対応点探索処理結果を保持する対応点探索処理結果保持部２０を有し、対応点探索処理結果保持部２０の情報に基づいて対応点探索処理を行う画像解像度を選択するとともに、対応点探索処理結果保持部２０の情報に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する。 The resolution selection / corresponding point search area setting unit 13 of the image processing apparatus 102 in FIG. 17 includes a corresponding point search processing result holding unit 20 that holds one or more corresponding point search processing results before the current processing. Each area on the reference image for selecting the image resolution for performing the corresponding point search process based on the information of the point search process result holding unit 20 and performing the corresponding point search process based on the information of the corresponding point search process result holding unit 20 A search area on the reference image corresponding to is set.

対応点探索処理結果保持部２０は、図１７のように、ＲＡＭ等からなる複数のバッファメモリ２０ａ，２０ｂ，２０ｃを有し、ｎフレーム目（ｎ：２以上の整数）に対し、バッファメモリ２０ａは（ｎ−３）フレーム目の対応点探索処理結果および信頼度を保持し、バッファメモリ２０ｂは（ｎ−２）フレーム目の対応点探索処理結果および信頼度を保持し、バッファメモリ２０ｃは（ｎ−１）フレーム目の対応点探索処理結果および信頼度を保持するようになっている。 As shown in FIG. 17, the corresponding point search processing result holding unit 20 includes a plurality of buffer memories 20a, 20b, and 20c each including a RAM or the like, and the buffer memory 20a for the nth frame (n: an integer of 2 or more). Holds the corresponding point search processing result and reliability of the (n-3) frame, the buffer memory 20b holds the corresponding point search processing result and reliability of the (n-2) frame, and the buffer memory 20c ( n-1) The corresponding point search processing result and reliability of the frame are held.

図１７の解像度選択・対応点探索領域設定部１３は、３フレーム分の対応点探索処理結果と図１４のようにして演算した信頼度とを各バッファメモリ２０ａ〜２０ｃで保持し、各フレームの対応点探索処理結果に対して信頼度で重み付けして対応点探索領域を設定し、また、３フレームの信頼度の総和から解像度を設定するようになっている。 The resolution selection / corresponding point search region setting unit 13 in FIG. 17 holds the corresponding point search processing results for three frames and the reliability calculated as shown in FIG. 14 in each buffer memory 20a to 20c, and Corresponding point search processing results are weighted by reliability to set a corresponding point search area, and resolution is set from the sum of reliability of three frames.

次に、図１７の画像処理装置における１フレーム目の対応点探索処理について図１８のフローチャートを参照して説明する。図１８は図１７の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。 Next, the corresponding point search process for the first frame in the image processing apparatus of FIG. 17 will be described with reference to the flowchart of FIG. FIG. 18 is a flowchart for explaining corresponding point search processing for the first frame in the image processing apparatus of FIG.

まず、ｉ＝０とし（Ｓ１３１）、対応点探索処理部１４において、最低解像度（図１３の画像Ａ）を用い（Ｓ１３２）、参照画像のウィンドウを基準画像のウィンドウと同じ座標に設定し、対応点探索処理を行う（Ｓ１３３）。 First, i = 0 is set (S131), and the corresponding point search processing unit 14 uses the lowest resolution (image A in FIG. 13) (S132), sets the reference image window to the same coordinates as the window of the standard image, and corresponds. A point search process is performed (S133).

その対応点探索処理結果および図１４のようにして演算した信頼度を解像度選択・対応点探索領域設定部１３のバッファメモリ２０ａに書き込んで保持する（Ｓ１３４）。次に、ｉ＝ｉ＋１とし（Ｓ１３５）、ｉが所定の処理点数の１９２００（１フレームあたり、１６０×１２０＝１９２００点の処理をする場合）に達しなければ（Ｓ１３６）、ステップＳ１３２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１３６）、１フレーム目の処理が完了する。 The corresponding point search processing result and the reliability calculated as shown in FIG. 14 are written and held in the buffer memory 20a of the resolution selection / corresponding point search area setting unit 13 (S134). Next, i = i + 1 is set (S135), and if i does not reach 19200 (when processing of 160 × 120 = 19200 points per frame) of a predetermined number of processing points (S136), the process returns to step S132. When i reaches a predetermined number of processing points (19200 points) (S136), the processing of the first frame is completed.

なお、２，３フレーム目の各対応点探索処理も例えば上述と同様にして行い、対応点探索処理結果および信頼度を各バッファメモリ２０ｂ，２０ｃに書き込んで保持する。 The corresponding point search processing for the second and third frames is also performed in the same manner as described above, for example, and the corresponding point search processing result and reliability are written and held in the buffer memories 20b and 20c.

次に、図１７の画像処理装置におけるｎ（ｎ：４以上の整数）フレーム目の対応点探索処理について図１９のフローチャートを参照して説明する。図１９は図１７の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。 Next, the corresponding point search process of the nth (n: integer of 4 or more) frame in the image processing apparatus of FIG. 17 will be described with reference to the flowchart of FIG. FIG. 19 is a flowchart for explaining the corresponding point search process of the nth frame in the image processing apparatus of FIG.

まず、ｉ＝０とし（Ｓ１４１）、解像度選択・対応点探索領域設定部１３において、各バッファメモリ２０ａ〜２０ｃから（ｎ−１）フレーム目、（ｎ−２）フレーム目、（ｎ−３）フレーム目の各ｉ番目の対応点探索処理結果および信頼度を読み込み（Ｓ１４２）、各信頼度の総和を計算する（Ｓ１４３）。 First, i = 0 is set (S141), and in the resolution selection / corresponding point search area setting unit 13, the (n-1) th frame, the (n-2) th frame, and (n-3) from the buffer memories 20a to 20c. The i-th corresponding point search processing result and reliability of the frame are read (S142), and the sum of the reliability is calculated (S143).

次に、信頼度の総和を所定の閾値と比較して信頼度を判断する（Ｓ１４４）。そして、解像度選択・対応点探索領域設定部１３において、信頼度の総和が閾値以上で、高信頼度と判断されると（Ｓ１４４）、（ｎ−１）フレーム目よりも一段だけ高解像度の画像を選択する（Ｓ１４５）。このとき、（ｎ−１）フレーム目の画像サイズが１６０×１２０で最高解像度のときは、最高解像度である１６０×１２０の画像サイズの画像Ｄを選択する。 Next, the reliability is judged by comparing the sum of the reliability with a predetermined threshold (S144). When the resolution selection / corresponding point search area setting unit 13 determines that the total reliability is equal to or higher than the threshold value and high reliability (S144), the image having a resolution higher by one level than the (n-1) th frame. Is selected (S145). At this time, when the image size of the (n-1) th frame is 160 × 120 and the maximum resolution is selected, the image D having the maximum resolution of 160 × 120 is selected.

次に、（ｎ−１）フレーム目、（ｎ−２）フレーム目、（ｎ−３）フレーム目の各信頼度に基づいて各対応点探索処理結果に重み付けを持たせて平均値を算出し、その平均値を用いてｎフレーム目の対応点探索領域を設定する（Ｓ１４６）。 Next, based on the reliability of the (n-1) th frame, the (n-2) th frame, and the (n-3) th frame, each corresponding point search processing result is weighted to calculate an average value. Then, the corresponding point search region of the nth frame is set using the average value (S146).

また、信頼度の総和が閾値未満で低信頼度と判断されると（Ｓ１４４）、最低解像度の画像（２０×１５の画像サイズの画像Ａ）を選択する（Ｓ１４７）。また、基準画像と同じ座標に参照画像の対応点探索領域を設定する（Ｓ１４８）。 If it is determined that the total reliability is less than the threshold and the reliability is low (S144), the lowest resolution image (image A having an image size of 20 × 15) is selected (S147). In addition, a corresponding point search area of the reference image is set at the same coordinates as the base image (S148).

上述のようにして選択された解像度および設定された対応点探索領域を用いて対応点探索処理部１４において対応点探索処理を行う（Ｓ１４９）。その対応点探索処理および演算された信頼度をバッファメモリ２０ａ，２０ｂまたは２０ｃに書き込んで保持する（Ｓ１５０）。 The corresponding point search processing unit 14 performs corresponding point search processing using the resolution selected as described above and the set corresponding point search area (S149). The corresponding point search processing and the calculated reliability are written and held in the buffer memory 20a, 20b or 20c (S150).

次に、ｉ＝ｉ＋１とし（Ｓ１５１）、ｉが所定の処理点数の１９２００点に達しなければ（Ｓ１５２）、ステップＳ１４２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１５２）、ｎフレーム目の処理が完了する。 Next, i = i + 1 is set (S151), and if i does not reach the predetermined number of processing points of 19,200 (S152), the process returns to step S142. When i reaches a predetermined number of processing points (19200 points) (S152), the processing of the nth frame is completed.

図１７の画像処理装置１０２は、上述のような制御および演算を実行するハードウエアとしての集積素子から構成できるが、上述のような制御および演算を実行するソフトウエアであるプログラムにより動作するＣＰＵ（中央演算処理回路）やＤＳＰ（デジタルシグナルプロセッサ）やＭＰＵ（マイクロプロセッサ）から構成してもよい。 The image processing apparatus 102 shown in FIG. 17 can be constituted by an integrated element as hardware for executing the control and calculation as described above. However, the CPU (operating by a program that is software for executing the control and calculation as described above) You may comprise from a central processing circuit), DSP (digital signal processor), and MPU (microprocessor).

図１７の画像処理装置１０２によれば、４段のピラミッド画像からなる多重解像度画像（画像サイズは１６０×１２０、最低解像度は２０×１５）を用いて、（ｎ−３），（ｎ−２），（ｎ−１）の３フレーム分の信頼度の総和が閾値以上であったら、ｎフレーム目の対応点探索領域の画像解像度を１段上の高解像度に設定し（最高解像度だったら、最高解像度に設定する）、信頼度の総和が閾値以下だったら、ｎフレーム目の解像度を最低解像度に設定することで、すべての解像度の画像で対応点探索のための演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、それでいて信頼性の高いデータが得られかつ精度も高い。 According to the image processing apparatus 102 of FIG. 17, (n−3), (n−2) are used by using a multi-resolution image (image size is 160 × 120, minimum resolution is 20 × 15) composed of four-stage pyramid images. ), (N-1) if the sum of the reliability of the three frames is equal to or greater than the threshold, the image resolution of the corresponding point search area of the nth frame is set to a higher resolution (if it is the highest resolution, If the total reliability is less than or equal to the threshold, the resolution of the nth frame is set to the lowest resolution, so that the calculation for corresponding points is not performed for all resolution images. By calculating only in the hierarchy, the amount of calculation can be reduced, yet highly reliable data is obtained and the accuracy is high.

また、３フレーム分の信頼度の総和に基づいて解像度を設定するとともに、各フレームの各信頼度に基づいて各対応点探索処理結果に重み付けを持たせて平均値を算出し、その平均値を用いてｎフレーム目の対応点探索領域を設定するので、データの信頼性および精度がいっそう高いものとなる。 In addition, the resolution is set based on the total reliability of the three frames, and the average value is calculated by weighting each corresponding point search processing result based on the reliability of each frame. Since the corresponding point search region for the nth frame is set by using the data, the reliability and accuracy of the data are further increased.

したがって、図１７の画像処理装置１０２をハードウエアである集積素子から構成した場合には、その回路規模を削減することができ、また、プログラムにより動作するＣＰＵ（中央演算処理回路）等から構成した場合には、その処理時間を短縮することができる。 Therefore, when the image processing apparatus 102 of FIG. 17 is configured from an integrated device that is hardware, the circuit scale can be reduced, and it is configured from a CPU (central processing circuit) operated by a program. In such a case, the processing time can be shortened.

以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、本実施の形態では、差分絶対値和(SAD)による相関法で対応点探索処理を行う場合を例にし、図１４のように信頼度をＳＡＤ値から求めたが、本発明ではこれに限定されず、例えば、対応点探索処理を位相限定相関法(POC)で行う場合には、位相限定相関（ＰＯＣ）値を用いて信頼度を得ることができ、この場合のＰＯＣ値の算出法については、例えば、本発明者が先に提案した特願２００７−１４９００５で説明されている。さらに、ＳＡＤ法の代わりに、ＳＳＤ(Sum of Squared Difference)法やＮＣＣ(Normalized Cross Correlation)法を用いてもよく、また、ＰＯＣ法の代わりに、フーリエ変換や離散コサイン変換(DCT:Discrete cosine Transform)やウェーブレット変換を用いてもよい。 As described above, the best mode for carrying out the present invention has been described. However, the present invention is not limited to these, and various modifications are possible within the scope of the technical idea of the present invention. For example, in this embodiment, the case where the corresponding point search process is performed by the correlation method using the sum of absolute differences (SAD) is taken as an example, and the reliability is obtained from the SAD value as shown in FIG. For example, when the corresponding point search process is performed by the phase-only correlation method (POC), the reliability can be obtained using the phase-only correlation (POC) value. In this case, the POC value is calculated. Is described in Japanese Patent Application No. 2007-149005 previously proposed by the present inventor. Further, an SSD (Sum of Squared Difference) method or an NCC (Normalized Cross Correlation) method may be used instead of the SAD method, and a Fourier transform or a discrete cosine transform (DCT) is used instead of the POC method. ) Or wavelet transform may be used.

また、画像処理装置１０１，１０２は、例えば、ステレオカメラを有する距離計測装置に適用でき、このような距離計測装置は例えば自動車等の車両に搭載可能であるが、本発明はこれに限定されず、基準画像と参照画像との間の位置ずれ量を用いる他の装置にも適用可能であり、例えばカメラの手ぶれ補正処理等に適用できる。 The image processing apparatuses 101 and 102 can be applied to, for example, a distance measuring apparatus having a stereo camera. Such a distance measuring apparatus can be mounted on a vehicle such as an automobile, but the present invention is not limited to this. The present invention can also be applied to other devices that use the amount of positional deviation between the standard image and the reference image, and can be applied to camera shake correction processing, for example.

本実施形態の画像処理装置の基本的構成を示す要部ブロック図である。It is a principal part block diagram which shows the basic composition of the image processing apparatus of this embodiment. 図１の画像処理装置の第１例を示す要部ブロック図である。It is a principal part block diagram which shows the 1st example of the image processing apparatus of FIG. 図１の画像処理装置の第２例を示す要部ブロック図である。It is a principal part block diagram which shows the 2nd example of the image processing apparatus of FIG. 図２の画像処理装置が所定値演算部を備える構成を示す要部ブロック図である。It is a principal part block diagram which shows the structure with which the image processing apparatus of FIG. 2 is provided with a predetermined value calculating part. 図３の画像処理装置が所定値演算部を備える構成を示す要部ブロック図である。It is a principal part block diagram which shows the structure with which the image processing apparatus of FIG. 3 is provided with a predetermined value calculating part. 図２〜図５の各画像処理装置が解像度選択部で画像解像度の選択をフレーム毎に行う具体例を説明するためのフローチャートである。6 is a flowchart for explaining a specific example in which each image processing apparatus in FIGS. 2 to 5 performs image resolution selection for each frame by a resolution selection unit. 図２〜図５の各画像処理装置が解像度選択部で画像解像度の選択を画素毎または対応点を演算する点毎に行う具体例を説明するためのフローチャートである。6 is a flowchart for explaining a specific example in which each of the image processing apparatuses in FIGS. 2 to 5 performs image resolution selection for each pixel or for each point at which a corresponding point is calculated by a resolution selection unit. 図４，図５の各画像処理装置で対応点探索処理の処理結果における信頼度を所定値とした場合の動作の具体例を説明するためのフローチャートである。6 is a flowchart for explaining a specific example of the operation when the reliability in the processing result of the corresponding point search process is set to a predetermined value in each of the image processing apparatuses in FIGS. 4 and 5. 図４，図５の各画像処理装置で対応点探索処理における距離値を所定値とした場合の動作の具体例を説明するためのフローチャートである。6 is a flowchart for explaining a specific example of the operation when the distance value in the corresponding point search process is set to a predetermined value in each of the image processing apparatuses in FIGS. 4 and 5. 図４，図５の各画像処理装置で時系列処理における移動量または速度を所定値とした場合の動作の具体例を説明するためのフローチャートである。6 is a flowchart for explaining a specific example of an operation when the moving amount or speed in the time-series processing is set to a predetermined value in each of the image processing apparatuses in FIGS. 4 and 5. 本実施形態による画像処理装置の基本的な動作例（処理結果を次フレームに用いる）を説明するための概念図である。It is a conceptual diagram for demonstrating the basic operation example (A process result is used for a next frame) of the image processing apparatus by this embodiment. 本実施の形態による画像処理装置（第１例）の概略的構成を示す要部ブロック図である。It is a principal part block diagram which shows schematic structure of the image processing apparatus (1st example) by this Embodiment. 本実施の形態の画像処理装置において用いるピラミッド画像（画像Ａ〜Ｄ）を説明するための模式図である。It is a schematic diagram for demonstrating the pyramid image (image AD) used in the image processing apparatus of this Embodiment. ステレオ画像による基準画像（ａ）および参照画像（ｂ）を模式的に示し、本実施の形態における信頼度の演算式を説明するための図である。It is a figure for showing standard picture (a) and a reference picture (b) by a stereo picture typically, and explaining a computing equation of reliability in this embodiment. 図１２の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。13 is a flowchart for explaining corresponding point search processing for the first frame in the image processing apparatus of FIG. 12; 図１２の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。13 is a flowchart for explaining corresponding point search processing of the nth frame in the image processing apparatus of FIG. 12. 本実施の形態による画像処理装置（第２例）の概略的構成を示す要部ブロック図である。It is a principal part block diagram which shows the schematic structure of the image processing apparatus (2nd example) by this Embodiment. 図１７の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。It is a flowchart for demonstrating the corresponding point search process of the 1st frame in the image processing apparatus of FIG. 図１７の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。It is a flowchart for demonstrating the corresponding point search process of the nth frame in the image processing apparatus of FIG.

符号の説明Explanation of symbols

１１画像入力部
１２多重解像度画像生成部
１２ａ，１２ｂ，１２ｃ解像度変換部
１２ｄ〜１２ｇメモリ
１３対応点探索領域設定部
１４対応点探索処理部
１４ａ読取部
１４ｂ演算部
１５出力部
１６解像度選択部
１７対応点探索領域設定部
１８選択解像度保持部、メモリ
１９設定対応点探索領域保持部、メモリ
２０対応点探索処理結果保持部
２０ａ〜２０ｃバッファメモリ
２１解像度選択部
２２対応点探索領域設定部
２５所定値演算部
１０１，１０２画像処理装置
Ｇａ基準画像
Ｇｂ参照画像
Ｒ信頼度、相関値
Ｗａ基準画像に設定したウインドウ
Ｗｂ参照画像に設定したウインドウ DESCRIPTION OF SYMBOLS 11 Image input part 12 Multi-resolution image generation part 12a, 12b, 12c Resolution conversion part 12d-12g Memory 13 Corresponding point search area | region setting part 14 Corresponding point search process part 14a Reading part 14b Calculation part 15 Output part 16 Resolution selection part 17 Correspondence Point search region setting unit 18 Selection resolution holding unit, memory 19 setting corresponding point search region holding unit, memory 20 corresponding point search processing result holding unit 20a to 20c buffer memory 21 resolution selection unit 22 corresponding point search region setting unit 25 predetermined value calculation Units 101 and 102 Image Processing Device Ga Standard Image Gb Reference Image R Reliability, Correlation Value Wa Window Set to Standard Image Wb Window Set to Reference Image

Claims

基準画像と参照画像とを入力し取得する画像入力手段と、
前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成手段と、
対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定手段と、
前記解像度選択・対応点探索領域設定手段の情報に基づいて前記基準画像と前記参照画像との間の対応点を探索する対応点探索処理手段と、を備えることを特徴とする画像処理装置。 Image input means for inputting and acquiring a reference image and a reference image;
Multi-resolution image generating means for generating multi-resolution images of the standard image and the reference image;
Resolution selection / corresponding point search area setting means for selecting an image resolution for performing the corresponding point search process and setting a search area for a reference image corresponding to each area on the reference image for performing the corresponding point search process;
An image processing apparatus comprising: corresponding point search processing means for searching for corresponding points between the base image and the reference image based on information of the resolution selection / corresponding point search area setting means.

前記解像度選択・対応点探索領域設定手段は、
現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択する解像度選択手段と、
現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定手段と、
前記解像度選択手段で選択された解像度情報を保持する選択解像度保持手段と、
前記対応点探索領域設定手段で設定された領域情報を保持する設定対応点探索領域保持手段と、を備えることを特徴とする請求項１に記載の画像処理装置。 The resolution selection / corresponding point search area setting means includes:
Resolution selection means for selecting an image resolution for performing corresponding point search processing based on one or more corresponding point search processing results prior to the current processing;
Corresponding point search region setting means for setting a search region on the reference image corresponding to each region on the reference image for performing the corresponding point search processing based on one or more corresponding point search processing results prior to the current processing;
Selection resolution holding means for holding resolution information selected by the resolution selection means;
The image processing apparatus according to claim 1, further comprising: a set corresponding point search area holding unit that holds area information set by the corresponding point search area setting unit.

前記解像度選択・対応点探索領域設定手段は、
現在の処理より以前の１以上の対応点探索処理結果を保持する対応点探索処理結果保持手段と、
前記対応点探索処理結果保持手段の情報に基づいて対応点探索処理を行う画像解像度を選択する解像度選択手段と、
前記対応点探索処理結果保持手段の情報に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定手段と、を備えることを特徴とする請求項１に記載の画像処理装置。 The resolution selection / corresponding point search area setting means includes:
Corresponding point search processing result holding means for holding one or more corresponding point search processing results before the current processing;
Resolution selection means for selecting an image resolution for performing corresponding point search processing based on information of the corresponding point search processing result holding means;
Corresponding point search area setting means for setting a search area on a reference image corresponding to each area on a reference image for performing corresponding point search processing based on information of the corresponding point search processing result holding means. The image processing apparatus according to claim 1.

前記選択解像度保持手段および前記設定対応点探索領域保持手段は、
前記基準画像もしくは前記参照画像の画素数分だけ、または、前記対応点探索処理を行う点数分だけの前記画像解像度情報と前記探索領域情報を保持しておくことを特徴とする請求項２に記載の画像処理装置。 The selected resolution holding means and the setting corresponding point search area holding means are:
3. The image resolution information and the search area information corresponding to the number of pixels of the reference image or the reference image or the number of points for which the corresponding point search processing is performed are stored. Image processing apparatus.

前記対応点探索処理結果保持手段は、各フレームの対応点探索処理結果を保持することを特徴とする請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the corresponding point search processing result holding unit holds a corresponding point search processing result of each frame.

前記解像度選択手段は、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算する所定値演算手段を備え、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。 The resolution selecting means includes predetermined value calculating means for calculating a predetermined value in one or more frames before the nth frame, and selects the image resolution of the (n + 1) th frame using the predetermined value. The image processing apparatus according to any one of claims 2 to 5.

前記解像度選択手段は、前記画像解像度の選択をフレーム毎に行うことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the resolution selection unit selects the image resolution for each frame.

前記解像度選択手段は、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the resolution selection unit selects the image resolution for each pixel or for each point at which a corresponding point is calculated.

前記所定値演算手段は、前記対応点探索処理の処理結果における信頼度を所定値とすることを特徴とする請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6, wherein the predetermined value calculation unit sets a reliability in the processing result of the corresponding point search process as a predetermined value.

前記所定値演算手段は、対応点探索処理における距離値を所定値とすることを特徴とする請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6, wherein the predetermined value calculation unit sets a distance value in the corresponding point search process as a predetermined value.

前記所定値演算手段は、時系列処理における移動量または速度を所定値とすることを特徴とする請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6, wherein the predetermined value calculation unit sets a movement amount or speed in time series processing to a predetermined value.

基準画像と参照画像とを入力し取得するステップと、
前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成ステップと、
対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定ステップと、
前記解像度選択・対応点探索領域設定ステップの情報に基づいて前記基準画像と前記参照画像との間の対応点を探索する対応点探索処理ステップと、を含むことを特徴とする画像処理方法。 Inputting and acquiring a reference image and a reference image;
A multi-resolution image generating step of generating multi-resolution images of the reference image and the reference image;
A resolution selection / corresponding point search area setting step for selecting an image resolution for performing the corresponding point search process and setting a search area for a reference image corresponding to each area on the reference image for performing the corresponding point search process;
And a corresponding point search processing step of searching for a corresponding point between the reference image and the reference image based on information of the resolution selection / corresponding point search region setting step.

前記解像度選択・対応点探索領域設定ステップは、
現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択する解像度選択ステップと、
現在の処理より以前の１以上の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定ステップと、
前記解像度選択ステップで選択された解像度情報を保持する選択解像度保持ステップと、
前記対応点探索領域設定ステップで設定された領域情報を保持する設定対応点探索領域保持ステップと、を含むことを特徴とする請求項１２に記載の画像処理方法。 The resolution selection / corresponding point search region setting step includes:
A resolution selection step of selecting an image resolution for performing the corresponding point search processing based on one or more corresponding point search processing results before the current processing;
A corresponding point search region setting step for setting a search region on the reference image corresponding to each region on the reference image for performing the corresponding point search processing based on one or more corresponding point search processing results before the current processing;
A selection resolution holding step for holding the resolution information selected in the resolution selection step;
The image processing method according to claim 12, further comprising: a set corresponding point search area holding step for holding area information set in the corresponding point search area setting step.

前記解像度選択・対応点探索領域設定ステップは、
現在の処理より以前の１以上の対応点探索処理結果を保持する対応点探索処理結果保持ステップと、
前記対応点探索処理結果保持ステップの情報に基づいて対応点探索処理を行う画像解像度を選択する解像度選択ステップと、
前記対応点探索処理結果保持ステップの情報に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する対応点探索領域設定ステップと、を含むことを特徴とする請求項１２に記載の画像処理方法。 The resolution selection / corresponding point search region setting step includes:
A corresponding point search process result holding step for holding one or more corresponding point search process results prior to the current process;
A resolution selection step of selecting an image resolution for performing the corresponding point search processing based on the information of the corresponding point search processing result holding step;
A corresponding point search region setting step for setting a search region on the reference image corresponding to each region on the reference image for performing the corresponding point search processing based on the information of the corresponding point search processing result holding step. The image processing method according to claim 12.

前記選択解像度保持ステップおよび前記設定対応点探索領域保持ステップでは、前記基準画像もしくは前記参照画像の画素数分だけ、または、前記対応点探索処理を行う点数分だけの前記画像解像度情報と前記探索領域情報を保持しておくことを特徴とする請求項２に記載の画像処理方法。 In the selection resolution holding step and the set corresponding point search region holding step, the image resolution information and the search region are set by the number of pixels of the reference image or the reference image, or by the number of points for performing the corresponding point search processing. The image processing method according to claim 2, wherein information is held.

前記対応点探索処理結果保持ステップでは、各フレームの対応点探索処理結果を保持することを特徴とする請求項３に記載の画像処理方法。 4. The image processing method according to claim 3, wherein the corresponding point search processing result holding step holds a corresponding point search processing result of each frame.

前記解像度選択ステップは、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算する所定値演算ステップを含み、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする請求項１３乃至１６のいずれか１項に記載の画像処理方法。 The resolution selecting step includes a predetermined value calculating step of calculating a predetermined value in one or more frames before the nth frame, and selecting the image resolution of the (n + 1) th frame using the predetermined value. The image processing method according to any one of claims 13 to 16.

前記解像度選択ステップでは、前記画像解像度の選択をフレーム毎に行うことを特徴とする請求項１３乃至１６のいずれか１項に記載の画像処理方法。 The image processing method according to any one of claims 13 to 16, wherein in the resolution selection step, the image resolution is selected for each frame.

前記解像度選択ステップでは、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする請求項１３乃至１６のいずれか１項に記載の画像処理方法。 17. The image processing method according to claim 13, wherein, in the resolution selection step, the image resolution is selected for each pixel or for each point at which a corresponding point is calculated.

前記所定値演算ステップでは、前記対応点探索処理の処理結果における信頼度を所定値とすることを特徴とする請求項１７に記載の画像処理方法。 18. The image processing method according to claim 17, wherein in the predetermined value calculation step, a reliability in the processing result of the corresponding point search process is set to a predetermined value.

前記所定値演算ステップでは、対応点探索処理における距離値を所定値とすることを特徴とする請求項１７に記載の画像処理方法。 18. The image processing method according to claim 17, wherein in the predetermined value calculation step, a distance value in the corresponding point search process is set to a predetermined value.

前記所定値演算ステップでは、時系列処理における移動量または速度を所定値とすることを特徴とする請求項１７に記載の画像処理方法。 18. The image processing method according to claim 17, wherein in the predetermined value calculating step, a movement amount or speed in the time series processing is set to a predetermined value.