WO2016203989A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2016203989A1
WO2016203989A1 PCT/JP2016/066569 JP2016066569W WO2016203989A1 WO 2016203989 A1 WO2016203989 A1 WO 2016203989A1 JP 2016066569 W JP2016066569 W JP 2016066569W WO 2016203989 A1 WO2016203989 A1 WO 2016203989A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
difference
yaw angle
coordinates
Prior art date
Application number
PCT/JP2016/066569
Other languages
English (en)
French (fr)
Inventor
佳宏 明官
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016203989A1 publication Critical patent/WO2016203989A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure relates to an image processing device and an image processing method, and more particularly, to an image processing device and an image processing method capable of accurately estimating a difference in yaw angle between cameras caused by a secular shift of a stereo camera. .
  • gesture UI User Interface
  • depth depth
  • a calibration method for example, there is a method of imaging a chart pattern on which a plurality of feature points having a known positional relationship are printed a plurality of times while changing the viewpoint (see, for example, Non-Patent Document 1).
  • Non-Patent Document 2 it is relatively easy to estimate the difference in pitch angle of each camera that causes the positional shift in the vertical direction, which is the most important in the matching of stereo matching in the horizontal direction. be able to.
  • the difference in the yaw angle of each camera which is the main factor causing the horizontal displacement of the corresponding point in the image of each camera, does not greatly affect the positional displacement in the vertical direction. Therefore, the influence of noise included in the image of each camera becomes large, and it is difficult to estimate the difference in yaw angle of each camera with high accuracy from the positional deviation in the vertical direction.
  • the present disclosure has been made in view of such a situation, and makes it possible to accurately estimate the difference in yaw angle between cameras caused by the aging of a stereo camera.
  • An image processing apparatus includes a position of a known region where an ideal value of parallax in a first image captured by a first imaging unit is known, and a first image captured by a second imaging unit. 2 based on the measured value of the parallax of the known area calculated based on the position of the area corresponding to the known area in the second image and the ideal value of the parallax. It is an image processing apparatus provided with the yaw angle estimation part which estimates the difference of the yaw angle of 2 imaging parts.
  • the image processing method according to one aspect of the present disclosure corresponds to the image processing apparatus according to one aspect of the present disclosure.
  • the position of a known region where the ideal value of parallax in the first image captured by the first imaging unit is known, and the second image captured by the second imaging unit The first imaging unit and the second imaging based on the measured parallax value of the known area calculated based on the position of the area corresponding to the known area and the ideal value of the parallax The difference in yaw angle of the part is estimated.
  • the image processing apparatus can be realized by causing a computer to execute a program.
  • a program to be executed by a computer can be provided by being transmitted via a transmission medium or by being recorded on a recording medium.
  • the present disclosure it is possible to perform processing on an image. Further, according to one aspect of the present disclosure, it is possible to estimate the difference in yaw angle between cameras that is caused by the aging of the stereo camera with high accuracy.
  • FIG. 3 is a flowchart for describing image processing of the imaging apparatus in FIG. 1. It is a flowchart explaining the detail of (phi) estimation process of FIG. It is a flowchart explaining the detail of the estimation parameter determination process of FIG. It is a figure explaining a secular deviation parameter.
  • It is a block diagram which shows the structural example of the hardware of a computer. It is a block diagram which shows an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an imaging apparatus to which the present disclosure is applied.
  • 1 includes an imaging module unit 11, a warping unit 12, and an aging shift estimation unit 13, and captures images from two viewpoints.
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an imaging apparatus to which the present disclosure is applied.
  • the imaging module unit 11 of the imaging apparatus 10 includes a stereo camera 21 and an initial parameter storage unit 22.
  • the stereo camera 21 includes a left camera 21A (second imaging unit) disposed on the left side of the subject and a right camera 21B (first imaging unit) disposed on the right side.
  • the left camera 21A and the right camera 21B capture the same subject from different viewpoints and obtain captured images.
  • a captured image captured by the left camera 21A (hereinafter referred to as a left image) and a captured image captured by the right camera 21B (hereinafter referred to as a right image) are supplied to the warping unit 12.
  • the initial parameter storage unit 22 stores the parameters of the stereo camera 21 acquired by calibration as initial parameters.
  • the initial parameters are composed of internal parameters representing the lens distortion shapes of the left camera 21A and the right camera 21B, and external parameters representing the geometric positional relationship between the left camera 21A and the right camera 21B.
  • the calibration method and initial parameters are not particularly limited, but can be those described in Non-Patent Document 1, for example.
  • the warping unit 12 includes a left warping unit 31, a right warping unit 32, and a generation unit 33.
  • the left warping unit 31 performs rectification on the left image. Specifically, the left warping unit 31 sequentially sets each pixel of the left image as a target pixel. The left warping unit 31 warps a target pixel by setting a pixel at a coordinate before warping of the target pixel of the left image supplied from the generation unit 33 in the left image supplied from the left camera 21A as a target pixel. I do. The left warping unit 31 supplies and outputs an image obtained as a result of warping for all pixels of the left image to the aging deviation estimation unit 13 as a left image after rectification.
  • the right warping unit 32 performs rectification of the right image supplied from the right camera 21B based on the coordinates before warping of the target pixel of the right image supplied from the generation unit 33. .
  • the right warping unit 32 supplies the right image after rectification to the aging shift estimation unit 13 and outputs it.
  • the generation unit 33 reads the initial parameters from the initial parameter storage unit 22. In addition, the generation unit 33 reads from the aging deviation estimation unit 13 aging parameters used for a model expression (hereinafter, aging model expression) representing a deviation between the left image and the right image due to the aging deviation of the stereo camera 21.
  • aging model expression a model expression representing a deviation between the left image and the right image due to the aging deviation of the stereo camera 21.
  • the secular deviation parameter can be a dominant factor in the deviation of the left and right images caused by the secular deviation, the pitch angle difference between the left camera 21A and the right camera 21B, the yaw angle difference, the roll angle difference, and the left image. And the scale ratio of the right image.
  • a pitch angle difference a yaw angle difference, a roll angle difference, and a scale ratio
  • parameters when it is not necessary to particularly distinguish a pitch angle difference, a yaw angle difference, a roll angle difference, and a scale ratio, they are referred to as parameters.
  • the generation unit 33 calculates the coordinates before warping of the target pixel of the left image and the coordinates before warping of the target pixel of the right image based on the initial parameter and the aging parameter. Then, the generation unit 33 supplies the coordinates before the warping of the target pixel of the left image to the left warping unit 31 and supplies the coordinates before the warping of the target pixel of the right image to the right warping unit 32. As a result, the horizontal and vertical shifts between the left image and the right image due to lens distortion of the left camera 21A and the right camera 21B and geometric positional shift between the left camera 21A and the right camera 21B are corrected. (Rectification).
  • the aging deviation estimation unit 13 includes a known area detection unit 41, a left / right pair detection unit 42, a yaw angle estimation unit 43, a non-yaw angle estimation unit 44, and an aging deviation parameter storage unit 45.
  • the known area detection unit 41 detects, from the right image after rectification supplied from the right warping unit 32, an area where the ideal value of parallax is known (including infinity) as a known area.
  • the detection in the known area detection unit 41 includes, for example, a general object recognition method in which feature points are extracted from each of a model image registered in advance and an input image, and an object is recognized by matching feature amounts of the feature points. Can be used.
  • the general object recognition technique is described in, for example, Japanese Patent Application Laid-Open No. 2004-326693.
  • the known area detection unit 41 supplies the coordinates of the known area detected from the right image after rectification and the ideal parallax value of the known area to the left and right pair detection unit 42.
  • the known area detection unit 41 detects the known area from the left image after rectification supplied from the left warping unit 31 and supplies the coordinates of the known area and the ideal parallax value to the left and right pair detection unit 42. You may make it do.
  • the left and right pair detection unit 42 is based on the coordinates of the known area supplied from the known area detection unit 41 and the right image after rectification from the right warping unit 32 and the left image after rectification from the left warping unit 31. Perform block matching of images. Accordingly, the left / right pair detection unit 42 detects the coordinates of the region of the left image after rectification corresponding to the known region of the right image after rectification.
  • the accuracy of the detected coordinates is, for example, the same subpixel accuracy as that of stereo matching performed using the left image and the right image.
  • the left-right pair detection unit 42 generates a pair of coordinates of the known area of the right image after rectification and the coordinates of the area of the left image after rectification corresponding to the known area as left-right pair coordinates.
  • the left / right pair detection unit 42 supplies the left / right pair coordinates of the known area and the ideal parallax value to the yaw angle estimation unit 43.
  • the yaw angle estimator 43 obtains the difference between the horizontal coordinates of the left and right pair coordinates of the known area supplied from the left and right pair detector 42 as an actual value of parallax.
  • the yaw angle estimation unit 43 is based on the ideal parallax value and the actual parallax value supplied from the left and right pair detection unit 42, and the difference between the yaw angles of the left camera 21A and the right camera 21B caused by the secular deviation of the stereo camera 21. Is estimated.
  • the baseline length between the left camera 21A and the right camera 21B is b [mm]
  • the focal length in terms of pixels is f [mm].
  • the ideal value d ideal [pixel] of the parallax corresponding to the ideal value z [mm] of the depth (distance in the depth direction) of the known region is expressed by the following formula (1).
  • the amount of parallax (disparity) error near the center of the image which is caused by a small difference ⁇ [rad] in the yaw angle between the left camera 21A and the right camera 21B caused by the aging of the stereo camera 21, that is,
  • the difference between the actual parallax value d real [pixel] and the ideal value d ideal [pixel] can be approximated by the following equation (2).
  • the yaw angle estimation unit 43 when the known area exists near the center of the image, based on the measured value d real [pixel] and the ideal value d ideal [pixel] of the parallax, The yaw angle difference ⁇ is estimated.
  • the yaw angle estimation unit 43 estimates the difference ⁇ based on the estimation formula for the difference ⁇ based on the model.
  • the yaw angle estimation unit 43 supplies the estimated yaw angle difference ⁇ to the estimation unit 44 other than the yaw angle. Further, the yaw angle estimation unit 43 updates the yaw angle difference ⁇ by supplying and storing the estimated yaw angle difference ⁇ to the aging parameter storage unit 45.
  • the estimation unit 44 other than the yaw angle is based on the left image from the left warping unit 31, the right image from the right warping unit 31, and the difference ⁇ from the yaw angle estimation unit 43. Parameters other than ⁇ are estimated as estimation parameters.
  • the estimation unit 44 other than the yaw angle supplies the estimated parameters to the aging parameter storage unit 45 and stores them, thereby updating the estimated parameters.
  • the aging parameter storage unit 45 stores the yaw angle difference ⁇ supplied from the yaw angle estimation unit 43 and the estimation parameters supplied from the estimation unit 44 other than the yaw angle.
  • FIG. 2 is a perspective view showing an external configuration example of the stereo camera 21 of FIG.
  • the left camera 21A and the right camera 21B of the stereo camera 21 are arranged side by side in the horizontal direction (X direction).
  • the base line length (baseline) b between the left camera 21A and the right camera 21B of the stereo camera 21 is 80 [mm].
  • FIG. 3 is a diagram for explaining an aging parameter.
  • the pitch angle difference ⁇ [rad], yaw angle difference ⁇ [rad], roll angle difference ⁇ [rad], and scale ratio ⁇ [times] that constitute the aging parameter are expressed by the following equation (4). expressed.
  • ⁇ L and ⁇ R are pitch angles that are rotation angles of the left camera 21A and the right camera 21B around the X axis that is the horizontal axis, respectively.
  • ⁇ L and ⁇ R are yaw angles that are rotation angles of the left camera 21A and the right camera 21B around the Y axis that is the vertical axis, respectively.
  • ⁇ L and ⁇ R are roll angles that are rotation angles of the left camera 21A and the right camera 21B around the Z axis that is the axis in the optical axis direction, respectively.
  • ⁇ L and ⁇ R are the horizontal sizes of the left image 61 and the right image 62, respectively. Note that ⁇ L and ⁇ R may be the sizes of the left image 61 and the right image 62 in the vertical direction, respectively.
  • the pitch angle difference ⁇ [rad], the yaw angle difference ⁇ [rad], and the roll angle difference ⁇ [rad] cause a deviation in the viewpoint direction.
  • the scale ratio ⁇ [times] is caused by a shift in focal length between the left camera 21A and the right camera 21B.
  • FIG. 4 is a diagram for explaining a method of calculating coordinates before warping by the generation unit 33 in FIG. 1.
  • the imaging apparatus 10 employs the equation (5) as an aging model equation.
  • the coordinate system is a coordinate system in which the center of the image is (0, 0), and the left camera 21A and the right camera 21B are pinhole cameras having a focal length f of 1.0
  • the coordinates (X, coordinates (X L_real in the left image shift amount ⁇ X and shift amount ⁇ Y occurs in Y), Y L_real) and in the right image coordinates (X R-- real, Y R-- real) is represented by the following formula (6) .
  • the generation unit 33 first determines the coordinates (X, Y) of the target pixel in the left image after the position is shifted due to the aging shift of the stereo camera 21 based on the coordinates (X, Y) of the target pixel of the left image and the right image.
  • X L_real , Y L_real ) and the coordinates (X R_real , Y R_real ) in the right image are calculated.
  • the generation unit 33 calculates the horizontal shift amount ⁇ X and the vertical shift amount ⁇ Y with respect to the target pixel by the above-described equation (5). At this time, among the aging parameters other than the difference ⁇ , those not held in the aging parameter storage unit 45 are set to 0. Then, the generation unit 33 calculates the coordinates (X L_real , Y L_real ) and the coordinates (X R_real , Y R_real ) based on the deviation amount ⁇ X and the deviation amount Y according to the above-described equation (6).
  • the generation unit 33 uses the method described in Non-Patent Document 1 or the like based on the initial parameters for each of the coordinates (X L_real , Y L_real ) and the coordinates (X R_real , Y R_real ) before warping. Coordinates (X “L, Y” L), (X “R, Y” R) are calculated.
  • FIG. 5 is a diagram illustrating a first example of a known area detection method.
  • the known area detection unit 41 is, for example, an artificial or natural object that exists at infinity, that is, can be regarded as having zero parallax (for example, the sun or An image of a celestial body such as a cloud or a mountain) is stored in advance as a model image of a known area having an ideal parallax value of zero.
  • the known area detection unit 41 When the right image 70 in FIG. 5 is input from the right warping unit 32, the known area detection unit 41 performs general object recognition on the right image 70 based on the model image. Thus, the known area detection unit 41 detects the sun area 71, the cloud area 72, and the mountain area 73 in the right image 70 as known areas. The known area detection unit 41 supplies the coordinates of the detected areas 71 to 73 and the ideal parallax value 0 to the left and right pair detection unit 42.
  • FIG. 6 is a diagram illustrating a second example of a known area detection method.
  • the known region detection unit 41 stores, for example, a planar image having a known size as a model image in advance. Then, when the right image 80 in FIG. 6 is input from the right warping unit 32, the known area detection unit 41 performs general object recognition on the right image 80 based on the model image.
  • the known area detecting unit 41 detects the area 81 of the image similar to the model image in the right image 80 as the known area.
  • the known area detection unit 41 calculates the depth of the area 81 as an ideal value of the depth based on the size of the area 81 and the size of the plane corresponding to the area 81.
  • the known area detection unit 41 supplies the coordinates of the detected area 81 and the ideal parallax value corresponding to the ideal depth value to the left and right pair detection unit 42.
  • FIG. 7 is a diagram illustrating a third example of a known area detection method.
  • the known area detection unit 41 When the vanishing point detection (Perspective analysis) is adopted as the known area detection method, the known area detection unit 41 first applies the right image 91 to the right image 91 when the right image 91 in FIG. Edge detection processing is performed to generate an edge image 92.
  • the known area detection unit 41 extends all the edges in the edge image 92 and obtains an intersection of the edges for each combination of two edges.
  • the known area detection unit 41 detects the intersection 92A most frequently obtained as a vanishing point of the right image 91 that can be regarded as existing at infinity. Details of vanishing point detection are described in, for example, “Interpreting perspective images”, S.T.Barnard, Artificial Intelligence, Vol 21, pp.435-462, 1983.
  • the known area detection unit 41 supplies the coordinates of the detected intersection 92A as the coordinates of the known area to the left and right pair detection unit 42, and supplies 0, which is an ideal value of the parallax of the intersection 92A, to the left and right pair detection unit 42.
  • FIG. 8 is a diagram illustrating an example of left and right pair coordinates.
  • the left and right pair detection unit 42 performs block matching between the known area 101A of the center coordinates (XR, YR) of the right image 101 and the left image 102, as shown in FIG. Then, the left / right pair detection unit 42 converts the pair of the center coordinate (XL, YL) of the region 102A in the left image 102 having the highest correlation with the known region 101A and the center coordinate (XR, YR) of the known region 101A to the left / right pair. Use coordinates.
  • the left and right pair coordinates are assumed to be a pair of center coordinates. However, if the left and right pair coordinates are a pair of coordinates at a predetermined position in the region, it is necessary to be a pair of center coordinates. There is no.
  • FIG. 9 is a block diagram illustrating a configuration example of the estimation unit 44 other than the yaw angle of FIG.
  • a feature point detection unit 111 includes a feature point detection unit 111, a left / right pair detection unit 112, a left / right pair buffer 113, a distribution analysis unit 114, an estimation unit 115, a determination unit 116, and an update unit 117.
  • the feature point detection unit 111 detects, from the right image after rectification supplied from the right warping unit 32, a corner of a picture that can easily associate the right image and the left image as a feature point.
  • Harris corner detection can be used as the detection in the feature point detection unit 111. Harris corner detection is described, for example, in C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988.
  • the feature point detection unit 111 supplies the coordinates of each detected feature point to the left and right pair detection unit 112. Note that the feature point detection unit 111 detects the coordinates of the feature points from the left image after rectification supplied from the left warping unit 31, and supplies the coordinates of the feature points to the left and right pair detection unit 112. Good.
  • the left / right pair detection unit 112 is based on the coordinates of each feature point supplied from the feature point detection unit 111 and the right image after rectification from the right warping unit 32 and the rectification after the rectification from the left warping unit 31. Perform block matching of the left image. Accordingly, the left / right pair detection unit 112 detects the coordinates of the points of the left image after rectification corresponding to the feature points of the right image after rectification.
  • the accuracy of the detected coordinates is, for example, the same subpixel accuracy as that of stereo matching performed using the left image and the right image.
  • the left / right pair detection unit 112 uses a pair of coordinates of the feature point of the right image after warping and the coordinate of the point of the left image after rectification corresponding to the feature point as a left / right pair coordinate. This is supplied to the pair buffer 113.
  • the left / right pair buffer 113 holds the left / right pair coordinates of each feature point supplied from the left / right pair detection unit 112.
  • the distribution analysis unit 114 reads the left and right pair coordinates of each feature point from the left and right pair buffer 113.
  • the distribution analysis unit 114 calculates the coordinates of the midpoint of the left and right pair coordinates of each feature point based on the left and right pair coordinates of each feature point.
  • the distribution analysis unit 114 determines a parameter to be estimated from parameters other than the difference ⁇ of the secular deviation parameter as an estimation parameter ( Select) and supply to the estimation unit 115.
  • the estimation unit 115 reads the left and right pair coordinates of each feature point from the left and right pair buffer 113.
  • the estimation unit 115 substitutes the difference ⁇ supplied from the yaw angle estimation unit 43 into the vertical aging model equation.
  • the estimation unit 115 calculates an estimation formula for estimating the deviation in the vertical direction from the model formula into which the difference ⁇ is substituted, by deleting the estimation parameter supplied from the distribution analysis unit 114 and a parameter term other than the difference ⁇ .
  • the estimation unit 115 calculates the vertical deviation that is the vertical difference between the left and right pair coordinates of each feature point and the vertical direction calculated by the estimation formula.
  • the estimation parameter used in the estimation equation is estimated so that the difference from the estimated value of the deviation is minimized.
  • the estimation unit 115 supplies the estimation formula obtained by substituting the estimated parameter and the difference ⁇ to the determination unit 116, and supplies the estimation parameter to the update unit 117.
  • the determination unit 116 reads the left and right pair coordinates of each feature point from the left and right pair buffer 113. Based on the left and right pair coordinates of each feature point and the estimation formula supplied from the estimation unit 115, the determination unit 116 determines the vertical difference between the left and right pair coordinates of each feature point and the vertical direction estimated by the estimation formula. Calculate the residual statistic with the deviation. The determination unit 116 performs verification based on the calculated statistic to determine whether the estimation parameter is valid. The determination unit 116 supplies the verification result to the update unit 117.
  • the update unit 117 supplies the estimated parameter supplied from the estimation unit 115 to the aging parameter storage unit 45 and stores the estimated parameter, thereby updating the estimated parameter. .
  • estimation unit 44 other than the yaw angle may not be provided with the determination unit 116, and the estimation parameter may be updated whenever the estimation parameter is estimated. Further, the estimation unit 44 other than the yaw angle may estimate an aging parameter other than the difference ⁇ by the technique described in Non-Patent Document 2.
  • FIG. 10 illustrates a method for determining an estimation parameter by the distribution analysis unit 114 of FIG.
  • the imaging apparatus 10 employs the above-described equation (5) as a model equation. Therefore, the estimation unit 115 basically uses the equation that defines the deviation amount ⁇ Y of the equation (5), which is a vertical aging model equation, as the estimation equation, and the deviation amount ⁇ Y estimated by the estimation equation and the deviation amount Parameters other than the difference ⁇ among the secular deviation parameters used in the estimation formula are estimated so that the difference between the amount ⁇ Y and the actually measured value is minimized.
  • the estimation unit 115 uses the left image coordinates (X L , Y L ) and the right image coordinates (X R , Y R ) constituting the left and right pair coordinates of each feature point as the actual measurement value of the deviation amount ⁇ Y. ) Vertical difference is used. Further, the estimating unit 115 calculates the coordinates (X M , Y M ) of the midpoint between the coordinates (X L , Y L ) of the left image and the coordinates (X R , Y R ) of the right image by the following formula (7). Ask for.
  • the estimation unit 115 calculates the shift amount ⁇ Y with respect to the coordinates (X M , Y M ) of the midpoint estimated by the estimation formula and the shift amount ⁇ Y based on the formula that defines the shift amount ⁇ Y of Formula (5).
  • the square sum E of the error of the actually measured value is defined as an evaluation function by the following equation (8).
  • estimation part 115 estimates other than the difference (phi) among the secular deviation parameters from which the difference E becomes the minimum using common nonlinear minimization methods, such as Levenberg-Marquardt method.
  • the coefficient of difference ⁇ is ⁇ (Y M 2 +1), the coefficient of difference ⁇ is X M Y M , and the coefficient of difference ⁇ is ⁇ X. is M, the coefficient of scale ratio ⁇ is Y M.
  • the distribution analysis unit 114 is only in the case where the coordinates (X M , Y M ) of the predetermined number or more of the middle points are distributed in the area a1 of the entire screen, that is, when the number of feature points is the predetermined number or more. Therefore, it is determined that the difference ⁇ can be estimated with sufficient accuracy, and the difference ⁇ is determined as an estimation parameter.
  • the distribution analysis unit 114 distributes the coordinates (X M , Y M ) of a predetermined number or more of the midpoints in the regions a3 to c3 divided into a plurality (three in the example of FIG. 6) in the horizontal direction. Only when it is determined that the difference ⁇ can be estimated with sufficient accuracy, and the difference ⁇ is determined as an estimation parameter.
  • the distribution analysis unit 114 distributes the coordinates (X M , Y M ) of the midpoint in the regions a4 to c4 divided into a plurality (three in the example of FIG. 6) in the vertical direction. Only, it is determined that the scale ratio ⁇ can be estimated with sufficient accuracy, and the scale ratio ⁇ is determined as an estimation parameter.
  • parameters other than the estimated parameter and the difference ⁇ among the aging parameters are deleted from the estimation formula. Therefore, parameters other than the estimated parameter and the difference ⁇ among the aging parameters are not estimated.
  • FIG. 11 is a diagram for explaining verification by the determination unit 116 of FIG.
  • the graph of FIG. 11 is a histogram in which the horizontal axis is the residual Yerr [Pixel] and the vertical axis is the number of feature points [pieces].
  • the residual Yerr is expressed by the following equation (9).
  • the determination unit 116 obtains the residual Yerr of each feature point and calculates the number of feature points corresponding to each residual Yerr as a statistic, thereby generating the histogram of FIG. Then, the determination unit 116 obtains the number of feature points count_valid in which the residual Yerr exists within a range in which the absolute value set in advance as an effective range is y_thr (for example, 0.5) or less.
  • the determination unit 116 displays a verification result that the estimation parameter is valid. Generate.
  • the determination unit 116 generates a verification result that the estimation parameter is not valid.
  • FIG. 12 is a flowchart for describing image processing of the imaging apparatus 10 of FIG.
  • the imaging device 10 initializes the left and right pair buffer 113.
  • the left and right pair buffer 113 deletes the left and right pair coordinates held therein.
  • step S12 the left camera 21A of the stereo camera 21 captures the left image, and the right camera 21B captures the right image.
  • the left image is supplied to the left warping unit 31, and the right image is supplied to the right warping unit 32.
  • step S ⁇ b> 13 the left warping unit 31 determines a pixel that has not yet been set as the target pixel among the pixels constituting the left image as the target pixel of the left image. Further, the right warping unit 32 determines a pixel at the same position as the target pixel of the left image among the pixels constituting the right image as the target pixel of the right image.
  • step S14 the generation unit 33, based on the initial parameters read from the initial parameter storage unit 22 and the aging deviation parameters read from the aging parameter storage unit 45, before warping of the target pixel of the left image and the right image. Calculate coordinates. Then, the generation unit 33 supplies the coordinates before the warping of the target pixel of the left image to the left warping unit 31 and supplies the coordinates before the warping of the target pixel of the right image to the right warping unit 32.
  • step S15 the left warping unit 31 sets the pixel at the coordinates before warping of the target pixel of the left image supplied from the generation unit 33, out of the left image supplied from the left camera 21A, as a target pixel. Warping is performed on the target pixel. Further, the right warping unit 32 sets the pixel of the coordinates before warping of the target pixel of the right image supplied from the generation unit 33 in the right image supplied from the right camera 21B as the target pixel. Warping for.
  • step S16 the left warping unit 31 determines whether or not all pixels of the left image have been determined as the target pixel. If it is determined in step S16 that all the pixels in the left image have not yet been determined as the target pixel, the process returns to step S13, and steps S13 to S16 are performed until all the pixels in the left image are determined as the target pixel. The process is repeated.
  • the left warping unit 31 converts the image obtained as a result of warping for all the pixels of the left image to a post-rectification image.
  • the left image is supplied to the left / right pair detection unit 42 and the estimation unit 44 other than the yaw angle.
  • the right warping unit 32 uses, as a right image after rectification, an image obtained as a result of warping for all pixels of the right image, and a known area detection unit 41, a left / right pair detection unit 42, and an estimation unit other than the yaw angle 44.
  • step S17 the yaw angle estimation unit 43 performs a ⁇ estimation process for estimating the yaw angle difference ⁇ based on the left and right pair coordinates of the known area supplied from the left and right pair detection unit 42 and the ideal value of the parallax. Details of this ⁇ estimation processing will be described with reference to FIG.
  • step S18 the feature point detection unit 111 detects a feature point from the right image after rectification supplied from the right warping unit 32.
  • the known area detection unit 41 supplies the coordinates of each feature point detected from the right image after rectification to the left and right pair detection unit 112.
  • step S19 the left / right pair detection unit 112 generates left / right pair coordinates of each feature point by performing block matching of the right image and the left image after rectification based on the coordinates of each feature point.
  • the left and right pair coordinates of each feature point are supplied to and held in the left and right pair buffer 113.
  • step S20 the distribution analysis unit 114 performs an estimation parameter determination process for determining an estimation parameter based on the distribution of the left and right pair coordinates of each feature point held in the left and right pair buffer 113. Details of this estimation parameter determination processing will be described with reference to FIG.
  • step S21 the estimation unit 115 assigns the difference ⁇ supplied from the yaw angle estimation unit 43 to the vertical aging model equation, and deletes the estimation parameter and the parameter terms other than the difference ⁇ , Based on the left and right pair coordinates of each feature point held in the pair buffer 113, an estimation parameter is estimated.
  • the estimation unit 115 supplies the estimation formula obtained by substituting the estimated parameter and the difference ⁇ to the determination unit 116, and supplies the estimation parameter to the update unit 117.
  • step S ⁇ b> 22 the determination unit 116 generates a residual histogram based on the left and right pair coordinates of each feature point held in the left and right pair buffer 113 and the estimation formula supplied from the estimation unit 115. Verification is performed based on the histogram. The determination unit 116 supplies the verification result to the update unit 117.
  • step S23 the updating unit 117 determines whether the estimation parameter is valid based on the verification result supplied from the determination unit 116, that is, the verification result is that the estimation parameter is valid. Determine whether or not.
  • step S24 the updating unit 117 supplies the estimated parameter supplied from the estimating unit 115 to the aged deviation parameter storage unit 45 to store the estimated parameter. Update parameters. Then, the process ends.
  • step S25 the imaging apparatus 10 notifies the user that the rectification has not been performed normally and requests a retry. To finish the process.
  • FIG. 13 is a flowchart for explaining the details of the ⁇ estimation process in step S17 of FIG.
  • the known area detection unit 41 detects a known area from the right image after rectification supplied from the right warping unit 32.
  • the known area detection unit 41 supplies the detected coordinates of the known area and the ideal parallax value to the left and right pair detection unit 42.
  • step S ⁇ b> 32 the left / right pair detection unit 42 performs block matching between the right image from the right warping unit 32 and the left image from the left warping unit 31 based on the coordinates of the known region from the known region detection unit 41. Thus, left and right pair coordinates are generated.
  • the left / right pair detection unit 42 supplies the left / right pair coordinates of the known area and the ideal parallax value to the yaw angle estimation unit 43.
  • step S33 the yaw angle estimation unit 43 obtains a horizontal coordinate difference between the left and right pair coordinates as an actual measurement value of parallax based on the left and right pair coordinates of the known area supplied from the left and right pair detection unit 42.
  • step S34 the yaw angle estimator 43 estimates the yaw angle difference ⁇ based on the measured parallax value and the ideal value.
  • the yaw angle estimation unit 43 supplies the estimated yaw angle difference ⁇ to the non-yaw angle estimation unit 44. Further, the yaw angle estimation unit 43 updates the yaw angle difference ⁇ by supplying and storing the estimated yaw angle difference ⁇ to the aging parameter storage unit 45. And a process returns to step S17 of FIG. 12, and progresses to step S18.
  • FIG. 14 is a flowchart for explaining the details of the estimation parameter determination processing in step S20 of FIG.
  • the distribution analysis unit 114 sets the number of feature points corresponding to the left and right pair coordinates held in the left and right pair buffer 113 to N. In step S42, the distribution analysis unit 114 determines whether the number N of feature points is greater than a threshold value k1 (for example, 100 [points]).
  • a threshold value k1 for example, 100 [points]
  • step S42 When it is determined in step S42 that the number of feature points is greater than the threshold value k1, the distribution analysis unit 114 determines the difference ⁇ as an estimation parameter and supplies the estimation parameter 115 to the estimation unit 115 in step S43.
  • step S44 the distribution analysis unit 114 calculates the number N1 to N3 of feature points corresponding to the left and right pair coordinates in which the coordinates (X M , Y M ) of the midpoint are distributed in the regions a4 to c4 in FIG. . Further, the distribution analysis unit 114 calculates the number N4 to N6 of feature points corresponding to the left and right pair coordinates in which the coordinates of the midpoint (X M , Y M ) are distributed in the regions a3 to c3 in FIG.
  • the distribution analysis unit 114 reads the left and right pair coordinates of each feature point from the left and right pair buffer 113. Then, the distribution analysis unit 114 calculates the coordinates (X M , Y M ) of the middle point of the left and right pair coordinates of each feature point based on the left and right pair coordinates of each feature point.
  • Distribution analysis unit 114 the coordinates of each center point (X M, Y M) and processed in sequence, to be processed coordinates (X M, Y M) Y M of, the vertical direction of the screen size (height) If the value is equal to or less than ⁇ H / 6, where H, the number N1 of feature points is incremented by one.
  • distribution analysis unit 114 if Y M is large H / 6 smaller than -H / 6, increments the number N2 of feature points by 1, if Y M is H / 6 or more, the number of feature points Increment N3 by 1.
  • the distribution analysis unit 114 sets the number N1 to N3 of feature points when the coordinates (X M , Y M ) of all the midpoints are set as processing targets as the final number N1 to N3 of feature points.
  • distribution analysis unit 114 the coordinate (X M, Y M) of the middle point is processed in the order, the processing target coordinates (X M, Y M) X M of the horizontal screen sizes (width ) Is less than -W / 6 where W is W, the number N4 of feature points is incremented by one.
  • distribution analysis unit 114 when X M is large W / 6 less than -W / 6, increments the number N5 of feature points by 1, if X M is W / 6 or more, the number of feature points Increment N6 by 1.
  • the distribution analysis unit 114 sets the number N4 to N6 of feature points when processing the coordinates (X M , Y M ) of all the midpoints as the processing target as the final number N4 to N6 of feature points.
  • step S45 the distribution analysis unit 114 determines whether or not all of the feature points N1 to N3 are larger than a threshold value k2 (for example, 50 [points]). When it is determined in step S45 that all the number N1 to N3 of feature points are larger than the threshold value k2, the distribution analysis unit 114 determines the scale ratio ⁇ as an estimation parameter and supplies it to the estimation unit 115 in step S46. Then, the process proceeds to step S47.
  • a threshold value k2 for example, 50 [points]
  • step S45 determines whether the number of feature points N1 to N3 is equal to or less than the threshold value k2. If it is determined in step S45 that at least one of the number of feature points N1 to N3 is equal to or less than the threshold value k2, the process skips step S46 and proceeds to step S47.
  • step S47 the distribution analysis unit 114 determines whether or not all of the feature points N4 to N6 are larger than the threshold value k2. If it is determined in step S47 that all of the number N4 to N6 of feature points are greater than the threshold value k2, the distribution analysis unit 114 determines the difference ⁇ as an estimation parameter and supplies the estimation parameter 115 to the estimation unit 115 in step S48. And a process returns to step S20 of FIG. 12, and progresses to step S21.
  • step S47 if it is determined in step S47 that at least one of the number of feature points N4 to N6 is equal to or less than the threshold value k2, the process returns to step S20 in FIG. 12 and proceeds to step S21.
  • step S42 if it is determined in step S42 that the number N of feature points is equal to or less than the threshold value k1, the process ends.
  • the imaging device 10 may capture new left and right images until the number N of feature points becomes larger than the threshold value k1.
  • the imaging apparatus 10 estimates the yaw angle difference ⁇ based on the left-right coordinate pair of the known region and the ideal value of the parallax, the yaw angle difference ⁇ can be estimated with high accuracy. Further, robustness of the estimation accuracy of the yaw angle difference ⁇ can be ensured.
  • the imaging device 10 warps the left image and the right image based on the estimated high-precision yaw angle difference ⁇ , thereby causing the left image and the right image due to the difference ⁇ generated by the secular deviation of the stereo camera 21. Can be corrected with high accuracy.
  • the imaging apparatus 10 determines whether each parameter other than the aging parameter difference ⁇ can be estimated with sufficient accuracy, and estimates only the parameters determined to be estimated with sufficient accuracy. The robustness of the estimation result can be ensured.
  • FIG. 15 is a diagram for explaining an aging parameter.
  • the main cause of the occurrence of the pitch angle difference ⁇ among the aging parameters is torsion of the chassis and the substrate due to stress applied from the outside of the casing of the imaging device 10.
  • the vertical displacement between the corresponding pixels of the left image and the right image increases on the entire screen.
  • Y displacement the vertical displacement between the corresponding pixels of the left image and the right image
  • X displacement a horizontal displacement
  • the effective area which is the area of the region where the depth generated by stereo matching in the screen is effective, is reduced. Therefore, when image recognition is performed using depth, the recognition accuracy is greatly reduced. Therefore, the importance of estimating the difference ⁇ is great.
  • the difference ⁇ can be estimated with sufficient accuracy if there are a certain number of feature points on the entire screen, the estimation of the difference ⁇ is relatively easy.
  • the main cause of the difference in yaw angle ⁇ is the heat generation of components mounted on the substrate surface of the imaging device 10, and the warping of the chassis and the substrate due to the temperature difference between the substrate surface and the back surface ( Deflection).
  • the difference ⁇ can be estimated with sufficient accuracy if a known region exists in the left image and the right image.
  • the main cause of the roll angle difference ⁇ is rotation of the left camera 21A and the right camera 21B around the Z axis.
  • the difference ⁇ can be estimated with sufficient accuracy if the midpoints of the feature points are distributed in the horizontal direction of the screen.
  • the main cause of the generation of the scale ratio ⁇ is the focus between the left camera 21A and the right camera 21B due to the occurrence of a temperature difference in the lens having the temperature dependence of the focal length built in the left camera 21A and the right camera 21B. Such as distance fluctuation.
  • the scale ratio ⁇ can be estimated with sufficient accuracy even if the midpoints of the feature points are distributed in the vertical direction of the screen.
  • the generation factors of each parameter are different. Therefore, the presence or absence of the generation of each parameter differs depending on the mechanical structure of the imaging apparatus 10 and the use conditions. Therefore, the imaging apparatus 10 may estimate only the parameters that can be generated according to the mechanical structure and use conditions.
  • the imaging apparatus 10 may estimate only parameters that have a large degree of influence on the application in accordance with the application (process) to be executed.
  • ⁇ Second Embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An imaging unit 206, an input unit 207, an output unit 208, a storage unit 209, a communication unit 210, and a drive 211 are connected to the input / output interface 205.
  • the imaging unit 206 includes the stereo camera 21 shown in FIG.
  • the input unit 207 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 208 includes a display, a speaker, and the like.
  • the storage unit 209 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 210 includes a network interface or the like.
  • the drive 211 drives a removable medium 212 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 209 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded on the removable medium 212 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 209 via the input / output interface 205 by attaching the removable medium 212 to the drive 211.
  • the program can be received by the communication unit 210 via a wired or wireless transmission medium and installed in the storage unit 209.
  • the program can be installed in advance in the ROM 202 or the storage unit 209.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as an apparatus mounted on any type of vehicle such as an automobile, an electric vehicle, a hybrid electric vehicle, and a motorcycle.
  • FIG. 17 is a block diagram illustrating an example of a schematic configuration of a vehicle control system 2000 to which the technology according to the present disclosure can be applied.
  • the vehicle control system 2000 includes a plurality of electronic control units connected via a communication network 2010.
  • the vehicle control system 2000 includes a drive system control unit 2100, a body system control unit 2200, a battery control unit 2300, a vehicle exterior information detection unit 2400, a vehicle interior information detection unit 2500, and an integrated control unit 2600.
  • the communication network 2010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for performing communication with other control units via the communication network 2010, and wired or wireless communication with devices or sensors inside and outside the vehicle. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 2610 As a functional configuration of the integrated control unit 2600, a microcomputer 2610, a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, an audio image output unit 2670, An in-vehicle network I / F 2680 and a storage unit 2690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 2100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 2100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 2100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 2110 is connected to the drive system control unit 2100.
  • the vehicle state detection unit 2110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 2100 performs arithmetic processing using a signal input from the vehicle state detection unit 2110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 2200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 2200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 2200 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 2200 receives the input of these radio waves or signals, and controls the vehicle door lock device, power window device, lamp, and the like.
  • the battery control unit 2300 controls the secondary battery 2310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 2300 from a battery device including the secondary battery 2310. The battery control unit 2300 performs arithmetic processing using these signals, and controls the temperature adjustment control of the secondary battery 2310 or the cooling device provided in the battery device.
  • the outside information detection unit 2400 detects information outside the vehicle on which the vehicle control system 2000 is mounted.
  • the vehicle exterior information detection unit 2400 is connected to at least one of the imaging unit 2410 and the vehicle exterior information detection unit 2420.
  • the imaging unit 2410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 2420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle on which the vehicle control system 2000 is mounted. A surrounding information detection sensor is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 2410 and the outside information detection unit 2420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 18 shows an example of installation positions of the imaging unit 2410 and the vehicle outside information detection unit 2420.
  • the imaging units 2910, 2912, 2914, 2916, and 2918 are provided at, for example, at least one position among a front nose, a side mirror, a rear bumper, a back door, and an upper portion of a windshield in the vehicle interior of the vehicle 2900.
  • An imaging unit 2910 provided in the front nose and an imaging unit 2918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 2900.
  • the imaging units 2912 and 2914 provided in the side mirror mainly acquire an image on the side of the vehicle 2900.
  • An imaging unit 2916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 2900.
  • An imaging unit 2918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 18 shows an example of shooting ranges of the respective imaging units 2910, 2912, 2914, and 2916.
  • the imaging range a indicates the imaging range of the imaging unit 2910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 2912 and 2914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging unit 2916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 2910, 2912, 2914, and 2916, an overhead image when the vehicle 2900 is viewed from above is obtained.
  • the vehicle outside information detection units 2920, 2922, 2924, 2926, 2928, 2930 provided on the front, rear, side, corner, and upper windshield of the vehicle 2900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 2920, 2926, and 2930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 2900 may be, for example, LIDAR devices.
  • These vehicle outside information detection units 2920 to 2930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle outside information detection unit 2400 causes the imaging unit 2410 to capture an image outside the vehicle and receives the captured image data.
  • the vehicle exterior information detection unit 2400 receives detection information from the vehicle exterior information detection unit 2420 connected thereto.
  • the vehicle outside information detection unit 2420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle outside information detection unit 2400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 2400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle outside information detection unit 2400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 2400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 2400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 2400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 2410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 2400 may perform viewpoint conversion processing using image data captured by different imaging units 2410.
  • the in-vehicle information detection unit 2500 detects in-vehicle information.
  • a driver state detection unit 2510 that detects the driver's state is connected to the in-vehicle information detection unit 2500.
  • the driver state detection unit 2510 may include a camera that captures images of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 2500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 2510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 2500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 2600 controls the overall operation in the vehicle control system 2000 according to various programs.
  • An input unit 2800 is connected to the integrated control unit 2600.
  • the input unit 2800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 2800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 2000. May be.
  • the input unit 2800 may be, for example, a camera. In this case, the passenger can input information using a gesture.
  • the input unit 2800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 2800 and outputs the input signal to the integrated control unit 2600.
  • a passenger or the like operates the input unit 2800 to input various data or instruct a processing operation to the vehicle control system 2000.
  • the storage unit 2690 may include a RAM (Random Access Memory) that stores various programs executed by the microcomputer, and a ROM (Read Only Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 2690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 2620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 2750.
  • the general-purpose communication I / F 2620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) may be implemented.
  • the general-purpose communication I / F 2620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be. Further, the general-purpose communication I / F 2620 is connected to a terminal (for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. May be.
  • a terminal for example, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 2630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F 2630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment) or DSRC (Dedicated Short Range Communications) which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. .
  • the dedicated communication I / F 2630 is typically a V2X concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, and vehicle-to-pedestrian communication. Perform communication.
  • the positioning unit 2640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 2640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 2650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current position, traffic jams, closed roads, or required time. Note that the function of the beacon receiving unit 2650 may be included in the dedicated communication I / F 2630 described above.
  • the in-vehicle device I / F 2660 is a communication interface that mediates connections between the microcomputer 2610 and various devices existing in the vehicle.
  • the in-vehicle device I / F 2660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 2660 may establish a wired connection via a connection terminal (and a cable if necessary).
  • the in-vehicle device I / F 2660 exchanges a control signal or a data signal with, for example, a mobile device or wearable device that a passenger has, or an information device that is carried in or attached to the vehicle.
  • the in-vehicle network I / F 2680 is an interface that mediates communication between the microcomputer 2610 and the communication network 2010.
  • the in-vehicle network I / F 2680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 2010.
  • the microcomputer 2610 of the integrated control unit 2600 is connected via at least one of a general-purpose communication I / F 2620, a dedicated communication I / F 2630, a positioning unit 2640, a beacon receiving unit 2650, an in-vehicle device I / F 2660, and an in-vehicle network I / F 2680.
  • the vehicle control system 2000 is controlled according to various programs.
  • the microcomputer 2610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 2100. Also good.
  • the microcomputer 2610 may perform cooperative control for the purpose of avoiding or reducing the collision of a vehicle, following traveling based on the inter-vehicle distance, traveling at a vehicle speed, automatic driving, and the like.
  • the microcomputer 2610 is information acquired via at least one of the general-purpose communication I / F 2620, the dedicated communication I / F 2630, the positioning unit 2640, the beacon receiving unit 2650, the in-vehicle device I / F 2660, and the in-vehicle network I / F 2680. Based on the above, local map information including peripheral information on the current position of the vehicle may be created. Further, the microcomputer 2610 may generate a warning signal by predicting a danger such as collision of a vehicle, approach of a pedestrian or the like or approach to a closed road based on the acquired information. The warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the sound image output unit 2670 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or outside the vehicle.
  • an audio speaker 2710, a display unit 2720, and an instrument panel 2730 are illustrated as output devices.
  • the display unit 2720 may include at least one of an on-board display and a head-up display, for example.
  • the display unit 2720 may have an AR (Augmented Reality) display function.
  • the output device may be another device such as a headphone, a projector, or a lamp other than these devices.
  • the display device can display the results obtained by various processes performed by the microcomputer 2610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 2010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 2000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units.
  • the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 2010. .
  • the imaging device 10 in FIG. 1 can be applied to, for example, the imaging unit 2410 in FIG.
  • the imaging unit 2410 can estimate the difference in yaw angle between the cameras caused by the secular deviation with high accuracy and correct the deviation between the left image and the right image.
  • the vehicle exterior information detection unit 2400 can detect the position of the subject in the depth direction with high accuracy using the corrected left image and right image.
  • the stereo camera may be configured by two cameras arranged in the vertical direction instead of the horizontal direction.
  • the difference in the vertical direction of the left-right coordinate pair in the known area is used as the actual parallax value.
  • this indication can also take the following structures.
  • a warping unit that warps the first image and the second image based on a model formula using the difference between the yaw angles estimated by the yaw angle estimation unit as a parameter (1)
  • the image processing apparatus according to any one of (3) to (3).
  • a yaw angle that estimates at least one of a pitch angle difference and a roll angle difference between the first imaging unit and the second imaging unit, and a scale ratio between the first image and the second image.
  • the image processing apparatus according to any one of (1) to (4), further including an estimation unit.
  • At least one of the pitch angle difference, the roll angle difference, and the scale ratio estimated by the estimator other than the yaw angle, and the yaw angle difference estimated by the yaw angle estimator are parameters.
  • the image processing apparatus further including: a warping unit that warps the first image and the second image based on the model formula.
  • the warping unit is configured to warp the first image and the second image based on the model formula and an initial parameter measured by calibration.
  • the image processing device Corresponding to the position of a known region where the ideal value of parallax in the first image captured by the first imaging unit is known and the known region in the second image captured by the second imaging unit Estimating the difference in yaw angle between the first imaging unit and the second imaging unit based on the measured parallax value of the known area calculated based on the position of the area and the ideal value of the parallax An image processing method including a yaw angle estimation step.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

本開示は、ステレオカメラの経年ずれによって発生するカメラ間のヨー角の差を高精度に推定することができるようにする画像処理装置および画像処理方法に関する。 ヨー角推定部は、右カメラにより撮像された右画像内の視差の理想値が既知である既知領域の位置と、左カメラにより撮像された左画像内の既知領域に対応する領域の位置とに基づいて算出される既知領域の視差の実測値と、視差の理想値とに基づいて、右カメラと左カメラのヨー角の差を推定する。本開示は、例えば、ステレオカメラを有する撮像装置等に適用することができる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、ステレオカメラの経年ずれによって発生するカメラ間のヨー角の差を高精度に推定することができるようにした画像処理装置および画像処理方法に関する。
　近年、コンピュータ性能の改善に伴い、２つのカメラで異なる視点の画像を撮像するステレオカメラにより検出されたデプス（奥行き）を用いてジェスチャUI（User Interface）などを実現することが考案されている。
　デプス検出において行われるステレオマッチングでは、探索方向が水平方向のみであるため、左右カメラ間で垂直方向のずれが無い状態（左右カメラ間でエピポーララインが一致し、並行化されている状態）が前提となっている。従って、ステレオカメラの回転ずれなどを画像処理によってサブピクセルオーダで補正（レクティフィケーション（Rectification））する必要がある。
　レクティフィケーションでは、ステレオカメラのキャリブレーションによって取得されたステレオカメラごとに固有のパラメータを用いる必要がある。キャリブレーションの方法としては、例えば、位置関係が既知である複数の特徴点が印字されたチャートパターンを、視点を変えながら複数回撮像する方法がある（例えば、非特許文献１参照）。
　しかしながら、民生品用途等の安価なステレオカメラにおいては、メカ的に左右カメラ間の幾何学的な位置精度を保証するのは困難であり、ステレオカメラの経年ずれによりパラメータが変化する可能性がある。
　そこで、ステレオカメラの経年ずれに対するレクティフィケーションのパラメータを、各カメラで撮影された画像内の対応する点の垂直方向の位置のずれを最小化することにより推定することが考案されている(例えば、非特許文献２参照)。
　非特許文献２に記載されている技術によれば、水平方向のステレオマッチングの対応付けにおいて最も重要な、垂直方向の位置のずれを引き起こす各カメラのピッチ角の差は、比較的容易に推定することができる。
特開2012-177676号公報
Zhengyou Zhang, "A Flexible New Technique for Camera Calibration," IEEE Trans. Pattern Anal. Mach. Intell. (PAMI), 22(11): 1330-1334, 2000 高橋裕信ら、「ステレオカメラにおけるセルフキャリブレーション」、情報処理学会、全国大会講演論文集第３７回：p1523-1524,1988.9.12
　しかしながら、各カメラの画像内の対応する点の水平方向のずれを引き起こす主要因である各カメラのヨー角の差は、垂直方向の位置ずれに大きな影響を与えない。従って、各カメラの画像に含まれるノイズの影響などが大きくなり、垂直方向の位置ずれから、各カメラのヨー角の差を高精度に推定することは困難である。
　その結果、レクティフィケーション後の各カメラの画像を用いたステレオマッチングにより検出されるデプスに誤差が発生し、デプスの絶対距離精度が求められるアプリケーションの実現が難しい。
　本開示は、このような状況に鑑みてなされたものであり、ステレオカメラの経年ずれによって発生するカメラ間のヨー角の差を高精度に推定することができるようにするものである。
　本開示の一側面の画像処理装置は、第１の撮像部により撮像された第１の画像内の視差の理想値が既知である既知領域の位置と、第２の撮像部により撮像された第２の画像内の前記既知領域に対応する領域の位置とに基づいて算出される前記既知領域の視差の実測値と、前記視差の理想値とに基づいて、前記第１の撮像部と前記第２の撮像部のヨー角の差を推定するヨー角推定部を備える画像処理装置である。
　本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。
　本開示の一側面においては、第１の撮像部により撮像された第１の画像内の視差の理想値が既知である既知領域の位置と、第２の撮像部により撮像された第２の画像内の前記既知領域に対応する領域の位置とに基づいて算出される前記既知領域の視差の実測値と、前記視差の理想値とに基づいて、前記第１の撮像部と前記第２の撮像部のヨー角の差が推定される。
　なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の一側面によれば、画像に対して処理を行うことができる。また、本開示の一側面によれば、ステレオカメラの経年ずれによって発生するカメラ間のヨー角の差を高精度に推定することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 図１のステレオカメラの外観構成例を示す斜視図である。 経年ずれパラメータを説明する図である。 ワーピング前の座標の演算方法を説明する図である。 既知領域の検出方法の第１の例を示す図である。 既知領域の検出方法の第２の例を示す図である。 既知領域の検出方法の第３の例を示す図である。 左右ペア座標の例を示す図である。 図１のヨー角以外推定部の構成例を示すブロック図である。 推定パラメータの決定方法を説明する。 ベリフィケーションを説明する図である。 図１の撮像装置の画像処理を説明するフローチャートである。 図１２のφ推定処理の詳細を説明するフローチャートである。 図１２の推定パラメータ決定処理の詳細を説明するフローチャートである。 経年ずれパラメータを説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：撮像装置（図１乃至図１４）
　２．経年ずれパラメータの説明（図１５）
　３．第２実施の形態：コンピュータ（図１６）
　４．第３実施の形態：車両制御システム（図１７および図１８）
　＜第１実施の形態＞
　（撮像装置の一実施の形態の構成例）
　図１は、本開示を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
　図１の撮像装置１０は、撮像モジュール部１１、ワーピング部１２、および経年ずれ推定部１３により構成され、２視点の画像を撮像する。
　図１は、本開示を適用した撮像装置の第１実施の形態の構成例を示すブロック図である。
　撮像装置１０の撮像モジュール部１１は、ステレオカメラ２１と初期パラメータ保存部２２により構成される。
　ステレオカメラ２１は、被写体に向かって左側に配置される左カメラ２１Ａ（第２の撮像部）と、右側に配置される右カメラ２１Ｂ(第１の撮像部) とにより構成される。左カメラ２１Ａと右カメラ２１Ｂは、異なる視点から同一の被写体を撮像し、撮像画像を得る。左カメラ２１Ａにより撮像された撮像画像（以下、左画像という）と、右カメラ２１Ｂにより撮像された撮像画像（以下、右画像という）は、ワーピング部１２に供給される。
　初期パラメータ保存部２２は、キャリブレーションにより取得されたステレオカメラ２１のパラメータを、初期パラメータとして保存する。初期パラメータは、左カメラ２１Ａと右カメラ２１Ｂのレンズ歪形状などを表す内部パラメータと、左カメラ２１Ａと右カメラ２１Ｂの幾何学的な位置関係などを表す外部パラメータとにより構成される。
　キャリブレーションの方法や初期パラメータは、特に限定されないが、例えば、非特許文献１に記載されているものにすることができる。
　ワーピング部１２は、左ワーピング部３１、右ワーピング部３２、および生成部３３により構成される。
　左ワーピング部３１は、左画像に対してレクティフィケーションを行う。具体的には、左ワーピング部３１は、左画像の各画素を順に注目画素とする。左ワーピング部３１は、左カメラ２１Ａから供給される左画像のうちの、生成部３３から供給される左画像の注目画素のワーピング前の座標の画素を注目画素とすることにより、注目画素に対するワーピングを行う。左ワーピング部３１は、左画像の全ての画素に対するワーピングの結果得られる画像を、レクティフィケーション後の左画像として経年ずれ推定部１３に供給するとともに、出力する。
　右ワーピング部３２も、左ワーピング部３１と同様に、生成部３３から供給される右画像の注目画素のワーピング前の座標に基づいて、右カメラ２１Ｂから供給される右画像のレクティフィケーションを行う。右ワーピング部３２は、レクティフィケーション後の右画像を経年ずれ推定部１３に供給するとともに、出力する。
　生成部３３は、初期パラメータ保存部２２から初期パラメータを読み出す。また、生成部３３は、経年ずれ推定部１３から、ステレオカメラ２１の経年ずれによる左画像と右画像のずれを表すモデル式（以下、経年ずれモデル式）に用いられる経年ずれパラメータを読み出す。
　経年ずれパラメータは、経年ずれによって発生する左右の画像のずれの支配的な要因となり得る、左カメラ２１Ａと右カメラ２１Ｂのピッチ角の差、ヨー角の差、およびロール角の差、並びに左画像と右画像のスケール比率である。以下では、ピッチ角の差、ヨー角の差、ロール角の差、およびスケール比率を特に区別する必要がない場合、パラメータという。
　生成部３３は、初期パラメータと経年ずれパラメータに基づいて、左画像の注目画素のワーピング前の座標と右画像の注目画素のワーピング前の座標を演算する。そして、生成部３３は、左画像の注目画素のワーピング前の座標を左ワーピング部３１に供給し、右画像の注目画素のワーピング前の座標を右ワーピング部３２に供給する。その結果、左カメラ２１Ａと右カメラ２１Ｂのレンズ歪や、左カメラ２１Ａと右カメラ２１Ｂ間の幾何学的な位置ずれなどによる、左画像と右画像の間の水平方向および垂直方向のずれを補正（レクティフィケーション）することができる。
　経年ずれ推定部１３は、既知領域検出部４１、左右ペア検出部４２、ヨー角推定部４３、ヨー角以外推定部４４、および経年ずれパラメータ保存部４５により構成される。
　既知領域検出部４１は、右ワーピング部３２から供給されるレクティフィケーション後の右画像から、視差の理想値が既知（無限遠方を含む）である領域を、既知領域として検出する。既知領域検出部４１における検出としては、例えば予め登録されているモデル画像と入力画像のそれぞれから特徴点を抽出し、その特徴点の特徴量どうしのマッチングにより物体を認識する一般物体認識手法などを用いることができる。一般物体認識手法については、例えば、特開2004-326693号に記載されている。
　既知領域検出部４１は、レクティフィケーション後の右画像から検出された既知領域の座標と、その既知領域の視差の理想値とを左右ペア検出部４２に供給する。なお、既知領域検出部４１は、左ワーピング部３１から供給されるレクティフィケーション後の左画像から既知領域を検出し、既知領域の座標と視差の理想値とを、左右ペア検出部４２に供給するようにしてもよい。
　左右ペア検出部４２は、既知領域検出部４１から供給される既知領域の座標に基づいて、右ワーピング部３２からのレクティフィケーション後の右画像と左ワーピング部３１からのレクティフィケーション後の左画像のブロックマッチング等を行う。これにより、左右ペア検出部４２は、レクティフィケーション後の右画像の既知領域に対応する、レクティフィケーション後の左画像の領域の座標を検出する。
　検出される座標の精度は、例えば、左画像と右画像を用いて行われるステレオマッチングの精度と同一のサブピクセル精度である。左右ペア検出部４２は、レクティフィケーション後の右画像の既知領域の座標と、その既知領域に対応するレクティフィケーション後の左画像の領域の座標のペアを、左右ペア座標として生成する。左右ペア検出部４２は、既知領域の左右ペア座標と視差の理想値を、ヨー角推定部４３に供給する。
　ヨー角推定部４３は、左右ペア検出部４２から供給される既知領域の左右ペア座標の水平方向の座標の差を、視差の実測値として求める。ヨー角推定部４３は、左右ペア検出部４２から供給される視差の理想値と視差の実測値に基づいて、ステレオカメラ２１の経年ずれにより生じた左カメラ２１Ａと右カメラ２１Ｂのヨー角の差を推定する。
　具体的には、左カメラ２１Ａと右カメラ２１Ｂの間の基線長をb[mm]とし、ピクセル換算した焦点距離（ピンホールカメラモデルにおける撮像面からピンホールまでの距離）をf[mm]とすると、既知領域のデプス（奥行き方向の距離）の理想値z[mm]に対応する視差の理想値dideal[pixel]は、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　また、ステレオカメラ２１の経年ずれによって生じる左カメラ２１Ａと右カメラ２１Ｂのヨー角の微小な差φ[rad]に起因して発生する、画像の中心付近における視差（ディスパリティ）の誤差量、即ち視差の実測値dreal[pixel]と理想値dideal[pixel]の差分は、以下の式（２）で近似することができる。
Figure JPOXMLDOC01-appb-M000002
　従って、ヨー角推定部４３は、既知領域が画像の中心付近に存在する場合、視差の実測値dreal[pixel]と理想値dideal[pixel]に基づいて、以下の式（３）により、ヨー角の差φを推定する。
Figure JPOXMLDOC01-appb-M000003
　なお、説明は省略するが、既知領域が画像の中心付近には存在しない場合であっても、差φ[rad]に起因して発生する視差の誤差量は厳密にモデル化することが可能である。従って、ヨー角推定部４３は、そのモデルに基づく差φの推定式に基づいて、差θを推定する。
　ヨー角推定部４３は、推定されたヨー角の差φをヨー角以外推定部４４に供給する。また、ヨー角推定部４３は、推定されたヨー角の差φを経年ずれパラメータ保存部４５に供給し、記憶させることにより、ヨー角の差φを更新する。
　ヨー角以外推定部４４は、左ワーピング部３１からの左画像、右ワーピング部３１からの右画像、およびヨー角推定部４３からの差φに基づいて、経年ずれパラメータのうちのヨー角の差φ以外のパラメータを、推定パラメータとして推定する。ヨー角以外推定部４４は、推定パラメータを経年ずれパラメータ保存部４５に供給し、記憶させることにより、推定パラメータを更新する。
　経年ずれパラメータ保存部４５は、ヨー角推定部４３から供給されるヨー角の差φとヨー角以外推定部４４から供給される推定パラメータを記憶する。
　（ステレオカメラの外観構成例）
　図２は、図１のステレオカメラ２１の外観構成例を示す斜視図である。
　図２に示すように、ステレオカメラ２１の左カメラ２１Ａと右カメラ２１Ｂは、水平方向（Ｘ方向）に並んで配置される。図２の例では、ステレオカメラ２１の左カメラ２１Ａと右カメラ２１Ｂの間の基線長（ベースライン）ｂは80[mm]である。
　（経年ずれパラメータの説明）
　図３は、経年ずれパラメータを説明する図である。
　経年ずれパラメータを構成する、ピッチ角の差θ[rad]、ヨー角の差φ[rad]、ロール角の差α[rad]、およびスケール比率λ[倍]は、以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　なお、図３に示すように、θＬ，θＲは、それぞれ、左カメラ２１Ａ、右カメラ２１Ｂの、水平方向の軸であるＸ軸を中心とした回転方向の角度であるピッチ角である。φＬ，φＲは、それぞれ、左カメラ２１Ａ、右カメラ２１Ｂの、垂直方向の軸であるＹ軸を中心とした回転方向の角度であるヨー角である。
　また、αＬ，αＲは、それぞれ、左カメラ２１Ａ、右カメラ２１Ｂの、光軸方向の軸であるＺ軸を中心とした回転方向の角度であるロール角である。λＬ，λＲは、それぞれ、左画像６１、右画像６２の水平方向のサイズである。なお、λＬ，λＲは、それぞれ、左画像６１、右画像６２の垂直方向のサイズであってもよい。
　ピッチ角の差θ[rad]、ヨー角の差φ[rad]、およびロール角の差α[rad]は、視点方向のずれを発生させる。また、スケール比率λ[倍]は、左カメラ２１Ａと右カメラ２１Ｂの焦点距離のずれ等に起因する。
　（ワーピング前の座標の演算方法の説明）
　図４は、図１の生成部３３によるワーピング前の座標の演算方法を説明する図である。
　経年ずれパラメータが微小である場合、ある座標（Ｘ,Ｙ）においてステレオカメラ２１の経年ずれにより発生する、左画像と右画像の水平方向のずれ量ΔＸと垂直方向のずれ量ΔＹは、以下の式（５）で近似することができる。従って、撮像装置１０は、式（５）を経年ずれモデル式として採用する。
Figure JPOXMLDOC01-appb-M000005
　ここで、座標系が、画像の中心を(0,0)とする座標系であり、左カメラ２１Ａと右カメラ２１Ｂは、焦点距離fが1.0であるピンホールカメラである場合、座標（Ｘ,Ｙ）においてずれ量ΔＸおよびずれ量ΔＹが発生した左画像内の座標（ＸL_real,ＹL_real）と右画像内の座標(ＸR_real,ＹR_real)は、以下の式（６）で表される。
Figure JPOXMLDOC01-appb-M000006
　従って、生成部３３は、まず、左画像と右画像の注目画素の座標（Ｘ,Ｙ）に基づいて、ステレオカメラ２１の経年ずれにより位置がずれた後の注目画素の左画像内の座標（ＸL_real,ＹL_real）と右画像内の座標(ＸR_real,ＹR_real)とを演算する。
　具体的には、生成部３３は、上述した式（５）により、注目画素に対する水平方向のずれ量ΔＸと垂直方向のずれ量ΔＹを演算する。このとき、差φ以外の経年ずれパラメータのうちの、経年ずれパラメータ保存部４５に保持されていないものは０とする。そして、生成部３３は、ずれ量ΔＸとずれ量Ｙに基づいて、上述した式（６）により、座標（XL_real,YL_real）と座標(XR_real, YR_real)とを演算する。
　次に、生成部３３は、座標（XL_real,YL_real）と座標(XR_real, YR_real)のそれぞれに対し、初期パラメータに基づいて、非特許文献１に記載の方法等により、ワーピング前の座標（X´´L,Y´´L）,（X´´R,Y´´R）を演算する。
　（既知領域の検出方法の第１の例）
　図５は、既知領域の検出方法の第１の例を示す図である。
　既知領域検出部４１は、既知領域の検出方法として一般物体認識手法を採用する場合、例えば、無限遠方に存在する、即ち視差が０であると見なすことができる人工物または自然物（例えば、太陽や雲などの天体、山など）の画像を、理想の視差値が０である既知領域のモデル画像として予め記憶している。
　既知領域検出部４１は、図５の右画像７０が右ワーピング部３２から入力されたとき、モデル画像に基づいて右画像７０に対して一般物体認識を行う。これにより、既知領域検出部４１は、右画像７０内の太陽の領域７１、雲の領域７２、および山の領域７３を既知領域として検出する。既知領域検出部４１は、検出された領域７１乃至７３の座標と視差の理想値０とを左右ペア検出部４２に供給する。
　(既知領域の検出方法の第２の例)
　図６は、既知領域の検出方法の第２の例を示す図である。
　既知領域検出部４１は、既知領域の検出方法として一般物体認識手法を採用する場合、例えば、サイズが既知である平面の画像をモデル画像として予め記憶している。そして、既知領域検出部４１は、図６の右画像８０が右ワーピング部３２から入力されたとき、モデル画像に基づいて右画像８０に対して一般物体認識を行う。
　これにより、既知領域検出部４１は、右画像８０内のモデル画像と類似する画像の領域８１を既知領域として検出する。既知領域検出部４１は、領域８１のサイズと、その領域８１に対応する平面のサイズとに基づいて、領域８１のデプスをデプスの理想値として計算する。既知領域検出部４１は、検出された領域８１の座標と、デプスの理想値に対応する視差の理想値とを、左右ペア検出部４２に供給する。
　(既知領域の検出方法の第３の例)
　図７は、既知領域の検出方法の第３の例を示す図である。
　既知領域検出部４１は、既知領域の検出方法として消失点検出（Perspective解析）を採用する場合、図７の右画像９１が右ワーピング部３２から入力されたとき、まず、右画像９１に対してエッジ検出処理を行い、エッジ画像９２を生成する。
　そして、既知領域検出部４１は、エッジ画像９２内の全てのエッジを延長し、２つのエッジの組み合わせごとに、そのエッジの交点を求める。既知領域検出部４１は、最も多く求められた交点９２Ａを、無限遠方に存在するとみなすことができる右画像９１の消失点として検出する。消失点検出の詳細については、例えば、“Interpreting perspective images”, S.T.Barnard, Artificial Intelligence, Vol 21, pp.435-462, 1983に記載されている。
　既知領域検出部４１は、検出された交点９２Ａの座標を既知領域の座標として左右ペア検出部４２に供給するとともに、交点９２Ａの視差の理想値である０を左右ペア検出部４２に供給する。
　（左右ペア座標の例）
　図８は、左右ペア座標の例を示す図である。
　左右ペア検出部４２は、図８に示すように、右画像１０１の中心座標（ＸＲ，ＹＲ）の既知領域１０１Ａと左画像１０２のブロックマッチングを行う。そして、左右ペア検出部４２は、既知領域１０１Ａと相関が最も高い左画像１０２内の領域１０２Ａの中心座標（ＸＬ，ＹＬ）と既知領域１０１Ａの中心座標（ＸＲ，ＹＲ）のペアを、左右ペア座標とする。
　なお、ここでは、左右ペア座標は、中心座標どうしのペアであるものとするが、左右ペア座標は、領域内の所定の位置の座標どうしのペアであれば、中心座標どうしのペアである必要はない。
　（φ以外推定部の構成例）
　図９は、図１のヨー角以外推定部４４の構成例を示すブロック図である。
　図９のヨー角以外推定部４４は、特徴点検出部１１１、左右ペア検出部１１２、左右ペアバッファ１１３、分布解析部１１４、推定部１１５、判定部１１６、および更新部１１７により構成される。
　特徴点検出部１１１は、右ワーピング部３２から供給されるレクティフィケーション後の右画像から、右画像と左画像の対応付けを行いやすい絵柄のコーナなどを特徴点として検出する。特徴点検出部１１１における検出としては、例えばハリスコーナ検出などを用いることができる。ハリスコーナ検出については、例えば、C. Harris, M.J. Stephens, "A combined corner and edge detector", In Alvey Vision Conference, pp. 147-152, 1988に記載されている。
　特徴点検出部１１１は、検出された各特徴点の座標を左右ペア検出部１１２に供給する。なお、特徴点検出部１１１は、左ワーピング部３１から供給されるレクティフィケーション後の左画像から特徴点の座標を検出し、特徴点の座標を左右ペア検出部１１２に供給するようにしてもよい。
　左右ペア検出部１１２は、特徴点検出部１１１から供給される各特徴点の座標に基づいて、右ワーピング部３２からのレクティフィケーション後の右画像と左ワーピング部３１からのレクティフィケーション後の左画像のブロックマッチング等を行う。これにより、左右ペア検出部１１２は、レクティフィケーション後の右画像の各特徴点に対応する、レクティフィケーション後の左画像の点の座標を検出する。
　検出される座標の精度は、例えば、左画像と右画像を用いて行われるステレオマッチングの精度と同一のサブピクセル精度である。左右ペア検出部１１２は、特徴点ごとに、ワーピング後の右画像の特徴点の座標と、その特徴点に対応するレクティフィケーション後の左画像の点の座標のペアを、左右ペア座標として左右ペアバッファ１１３に供給する。
　左右ペアバッファ１１３は、左右ペア検出部１１２から供給される各特徴点の左右ペア座標を保持する。
　分布解析部１１４は、左右ペアバッファ１１３から各特徴点の左右ペア座標を読み出す。分布解析部１１４は、各特徴点の左右ペア座標に基づいて、各特徴点の左右ペア座標の中点の座標を演算する。分布解析部１１４は、各特徴点の左右ペア座標の中点の座標の空間的な分布に基づいて、経年ずれパラメータの差φ以外のパラメータのうちの推定対象とするパラメータを推定パラメータとして決定（選択）し、推定部１１５に供給する。
　推定部１１５は、左右ペアバッファ１１３から各特徴点の左右ペア座標を読み出す。推定部１１５は、垂直方向の経年ずれモデル式にヨー角推定部４３から供給される差φを代入する。そして、推定部１１５は、差φが代入されたモデル式から、分布解析部１１４から供給される推定パラメータと差φ以外のパラメータの項を削除した式を、垂直方向のずれを推定する推定式とする。
　推定部１１５は、各特徴点の左右ペア座標と推定式に基づいて、各特徴点の左右ペア座標の垂直方向の差分である垂直方向のずれの実測値と、推定式により算出される垂直方向のずれの推定値との差分が最小となるように、推定式に用いられる推定パラメータを推定する。推定部１１５は、推定された推定パラメータと差φを代入した推定式を判定部１１６に供給し、推定パラメータを更新部１１７に供給する。
　判定部１１６は、左右ペアバッファ１１３から各特徴点の左右ペア座標を読み出す。判定部１１６は、各特徴点の左右ペア座標と推定部１１５から供給される推定式とに基づいて、各特徴点の左右ペア座標の垂直方向の差分と、推定式により推定される垂直方向のずれとの残差の統計量を算出する。判定部１１６は、算出された統計量に基づいて、推定パラメータが妥当であるかを判定するベリフィケーションを行う。判定部１１６は、ベリフィケーション結果を更新部１１７に供給する。
　更新部１１７は、判定部１１６から供給されるベリフィケーション結果に基づいて、推定部１１５から供給される推定パラメータを経年ずれパラメータ保存部４５に供給して記憶させることにより、推定パラメータを更新する。
　なお、ヨー角以外推定部４４は、判定部１１６を設けず、推定パラメータが推定されたとき、常に、推定パラメータが更新されるようにしてもよい。また、ヨー角以外推定部４４は、非特許文献２に記載されている技術等により、差φ以外の経年ずれパラメータを推定するようにしてもよい。
　（推定パラメータの決定方法）
　図１０は、図９の分布解析部１１４による推定パラメータの決定方法を説明する。
　上述したように、撮像装置１０は、上述した式（５）をモデル式として採用する。従って、推定部１１５は、基本的には、垂直方向の経年ずれモデル式である式（５）のずれ量ΔＹを定義する式を推定式とし、推定式により推定されるずれ量ΔＹと、ずれ量ΔＹの実測値との差分が最小となるように、推定式に用いられる経年ずれパラメータのうちの差φ以外のパラメータを推定する。
　具体的には、推定部１１５は、ずれ量ΔＹの実測値として、各特徴点の左右ペア座標を構成する左画像の座標（ＸＬ，ＹＬ）と右画像の座標（ＸＲ，ＹＲ）の垂直方向の差分を用いる。また、推定部１１５は、左画像の座標（ＸＬ，ＹＬ）と右画像の座標（ＸＲ，ＹＲ）の中点の座標（ＸＭ，ＹＭ）を、以下の式（７）により求める。
Figure JPOXMLDOC01-appb-M000007
　また、推定部１１５は、式（５）のずれ量ΔＹを定義する式に基づいて、推定式により推定される中点の座標（XＭ，YＭ）に対するずれ量ΔＹと、ずれ量ΔＹの実測値の誤差の自乗和Ｅを、以下の式（８）により評価関数として定義する。
Figure JPOXMLDOC01-appb-M000008
　そして、推定部１１５は、Levenberg-Marquardt法などの一般的な非線形最小化手法を用いて、差分Ｅが最小となる経年ずれパラメータのうちの差φ以外を推定する。
　しかしながら、図１０に示すように、式（８）において、差θの係数は－（ＹＭ ２+１）であり、差φの係数はＸＭＹＭであり、差αの係数は－ＸＭであり、スケール比率λの係数はＹＭである。
　従って、分布解析部１１４は、所定数以上の中点の座標（ＸＭ，ＹＭ）が画面全体の領域ａ１に分布している場合、即ち特徴点の数が所定数以上である場合にのみ、差θを十分な精度で推定可能であると判断し、差θを推定パラメータに決定する。
　また、分布解析部１１４は、所定数以上の中点の座標（ＸＭ，ＹＭ）が、水平方向に複数個（図６の例では３個）に分割された領域ａ３乃至ｃ３に分布している場合にのみ、差αを十分な精度で推定可能であると判断し、差αを推定パラメータに決定する。
　さらに、分布解析部１１４は、中点の座標（ＸＭ，ＹＭ）が、垂直方向に複数個（図６の例では３個）に分割された領域ａ４乃至ｃ４に分布している場合にのみ、スケール比率λを十分な精度で推定可能であると判断し、スケール比率λを推定パラメータに決定する。
　経年ずれパラメータのうちの推定パラメータおよび差φ以外のパラメータの項は、推定式から削除される。従って、経年ずれパラメータのうちの推定パラメータおよび差φ以外のパラメータは推定されない。
　（ベリフィケーションの説明）
　図１１は、図９の判定部１１６によるベリフィケーションを説明する図である。
　図１１のグラフは、横軸を残差Yerr[Pixel]とし、縦軸を特徴点の数[個]としたヒストグラムである。
　例えば、経年ずれパラメータの差φ以外の全てのパラメータが推定パラメータに決定された場合、残差Yerrは、以下の式（９）により表される。
Figure JPOXMLDOC01-appb-M000009
　判定部１１６は、各特徴点の残差Yerrを求め、各残差Yerrに対応する特徴点の数を統計量として算出することにより、図１１のヒストグラムを生成する。そして、判定部１１６は、予め有効範囲として定められた絶対値がy_thr(例えば0.5)以下である範囲内に残差Yerrが存在する特徴点の数count_validを求める。
　判定部１１６は、全特徴点の個数count_totalに対する特徴点の数count_validの割合が、予め定められた有効ペア割合valid_ratio（例えば0.8）以上である場合、推定パラメータが妥当であるというベリフィケーション結果を生成する。一方、全特徴点の個数count_totalに対する特徴点の数count_validの割合が、予め定められた有効ペア割合valid_ratioより小さい場合、判定部１１６は、推定パラメータが妥当ではないというベリフィケーション結果を生成する。
　（撮像装置の処理の説明）
　図１２は、図１の撮像装置１０の画像処理を説明するフローチャートである。
　図１２のステップＳ１１において、撮像装置１０は、左右ペアバッファ１１３を初期化する。これにより、左右ペアバッファ１１３は、保持している左右ペア座標を削除する。
　ステップＳ１２において、ステレオカメラ２１の左カメラ２１Ａは左画像を撮像し、右カメラ２１Ｂは右画像を撮像する。左画像は、左ワーピング部３１に供給され、右画像は、右ワーピング部３２に供給される。
　ステップＳ１３において、左ワーピング部３１は、左画像を構成する画素のうちの、まだ注目画素とされていない画素を左画像の注目画素に決定する。また、右ワーピング部３２は、右画像を構成する画素のうちの、左画像の注目画素と同一の位置の画素を右画像の注目画素に決定する。
　ステップＳ１４において、生成部３３は、初期パラメータ保存部２２から読み出した初期パラメータと、経年ずれパラメータ保存部４５から読み出した経年ずれパラメータとに基づいて、左画像および右画像の注目画素のワーピング前の座標を演算する。そして、生成部３３は、左画像の注目画素のワーピング前の座標を左ワーピング部３１に供給し、右画像の注目画素のワーピング前の座標を右ワーピング部３２に供給する。
　ステップＳ１５において、左ワーピング部３１は、左カメラ２１Ａから供給される左画像のうちの、生成部３３から供給される左画像の注目画素のワーピング前の座標の画素を注目画素とすることにより、注目画素に対するワーピングを行う。また、右ワーピング部３２は、右カメラ２１Ｂから供給される右画像のうちの、生成部３３から供給される右画像の注目画素のワーピング前の座標の画素を注目画素とすることにより、注目画素に対するワーピングを行う。
　ステップＳ１６において、左ワーピング部３１は、左画像の全ての画素を注目画素に決定したかどうかを判定する。ステップＳ１６で、左画像の全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１３に戻り、左画像の全ての画素を注目画素に決定するまで、ステップＳ１３乃至Ｓ１６の処理が繰り返される。
　一方、ステップＳ１６で、左画像の全ての画素を注目画素に決定したと判定された場合、左ワーピング部３１は、左画像の全ての画素に対するワーピングの結果得られる画像を、レクティフィケーション後の左画像として、左右ペア検出部４２とヨー角以外推定部４４に供給する。また、右ワーピング部３２は、右画像の全ての画素に対するワーピングの結果得られる画像を、レクティフィケーション後の右画像として、既知領域検出部４１、左右ペア検出部４２、およびヨー角以外推定部４４に供給する。
　そして、ステップＳ１７において、ヨー角推定部４３は、左右ペア検出部４２から供給される既知領域の左右ペア座標と視差の理想値に基づいてヨー角の差φを推定するφ推定処理を行う。このφ推定処理の詳細は、後述する図１３を参照して説明する。
　ステップＳ１８において、特徴点検出部１１１は、右ワーピング部３２から供給されるレクティフィケーション後の右画像から特徴点を検出する。既知領域検出部４１は、レクティフィケーション後の右画像から検出された各特徴点の座標を左右ペア検出部１１２に供給する。
　ステップＳ１９において、左右ペア検出部１１２は、各特徴点の座標に基づいて、レクティフィケーション後の右画像と左画像のブロックマッチング等を行うことにより、各特徴点の左右ペア座標を生成する。各特徴点の左右ペア座標は、左右ペアバッファ１１３に供給され、保持される。
　ステップＳ２０において、分布解析部１１４は、左右ペアバッファ１１３に保持されている各特徴点の左右ペア座標の分布に基づいて、推定パラメータを決定する推定パラメータ決定処理を行う。この推定パラメータ決定処理の詳細は、後述する図１４を参照して説明する。
　ステップＳ２１において、推定部１１５は、垂直方向の経年ずれモデル式にヨー角推定部４３から供給される差φを代入し、推定パラメータと差φ以外のパラメータの項を削除した推定式と、左右ペアバッファ１１３に保持されている各特徴点の左右ペア座標とに基づいて、推定パラメータを推定する。推定部１１５は、推定された推定パラメータと差φを代入した推定式を判定部１１６に供給し、推定パラメータを更新部１１７に供給する。
　ステップＳ２２において、判定部１１６は、左右ペアバッファ１１３に保持されている各特徴点の左右ペア座標と推定部１１５から供給される推定式とに基づいて、残差のヒストグラムを生成し、残差のヒストグラムに基づいてベリフィケーションを行う。判定部１１６は、ベリフィケーション結果を更新部１１７に供給する。
　ステップＳ２３において、更新部１１７は、判定部１１６から供給されるベリフィケーション結果に基づいて、推定パラメータが妥当であるかどうか、即ちベリフィケーション結果が、推定パラメータが妥当であるというものであるかどうかを判定する。
　ステップＳ２３で推定パラメータが妥当であると判定された場合、ステップＳ２４において、更新部１１７は、推定部１１５から供給される推定パラメータを経年ずれパラメータ保存部４５に供給して記憶させることにより、推定パラメータを更新する。そして、処理は終了する。
　一方、ステップＳ２４で推定パラメータが妥当ではないと判定された場合、ステップＳ２５において、撮像装置１０は、ユーザにレクティフィケーションが正常に行われなかった旨を通知し、リトライを要求するといったエラー処理を行い、処理を終了する。
　図１３は、図１２のステップＳ１７のφ推定処理の詳細を説明するフローチャートである。
　図１３のステップＳ３１において、既知領域検出部４１は、右ワーピング部３２から供給されるレクティフィケーション後の右画像から既知領域を検出する。既知領域検出部４１は、検出された既知領域の座標と視差の理想値を左右ペア検出部４２に供給する。
　ステップＳ３２において、左右ペア検出部４２は、既知領域検出部４１からの既知領域の座標に基づいて、右ワーピング部３２からの右画像と左ワーピング部３１からの左画像のブロックマッチング等を行うことにより、左右ペア座標を生成する。左右ペア検出部４２は、既知領域の左右ペア座標と視差の理想値を、ヨー角推定部４３に供給する。
　ステップＳ３３において、ヨー角推定部４３は、左右ペア検出部４２から供給される既知領域の左右ペア座標に基づいて、その左右ペア座標の水平方向の座標の差を、視差の実測値として求める。
　ステップＳ３４において、ヨー角推定部４３は、視差の実測値と理想値に基づいてヨー角の差φを推定する。ヨー角推定部４３は、推定されたヨー角の差φをヨー角以外推定部４４に供給する。また、ヨー角推定部４３は、推定されたヨー角の差φを経年ずれパラメータ保存部４５に供給し、記憶させることにより、ヨー角の差φを更新する。そして、処理は図１２のステップＳ１７に戻り、ステップＳ１８に進む。
　図１４は、図１２のステップＳ２０の推定パラメータ決定処理の詳細を説明するフローチャートである。
　図１４のステップＳ４１において、分布解析部１１４は、左右ペアバッファ１１３に保持されている左右ペア座標に対応する特徴点の数をＮに設定する。ステップＳ４２において、分布解析部１１４は、特徴点の数Ｎが、閾値ｋ１（例えば100[点]）より大きいかどうかを判定する。
　ステップＳ４２で、特徴点の数が閾値ｋ１より大きいと判定された場合、ステップＳ４３において、分布解析部１１４は、差θを推定パラメータに決定し、推定部１１５に供給する。
　ステップＳ４４において、分布解析部１１４は、中点の座標（ＸＭ，ＹＭ）が図１０の領域ａ４乃至ｃ４のそれぞれに分布する左右ペア座標に対応する特徴点の数Ｎ１乃至Ｎ３を算出する。また、分布解析部１１４は、中点の座標（XＭ，YＭ）が図１０の領域ａ３乃至ｃ３のそれぞれに分布する左右ペア座標に対応する特徴点の数Ｎ４乃至Ｎ６を算出する。
　具体的には、分布解析部１１４は、左右ペアバッファ１１３から各特徴点の左右ペア座標を読み出す。そして、分布解析部１１４は、各特徴点の左右ペア座標に基づいて、各特徴点の左右ペア座標の中点の座標（ＸＭ，ＹＭ）を演算する。
　分布解析部１１４は、各中点の座標（ＸＭ，ＹＭ）を順に処理対象とし、処理対象の座標（ＸＭ，ＹＭ）のＹＭが、画面の垂直方向のサイズ（height）をHとしたときの-H/6以下である場合、特徴点の数Ｎ１を１だけインクリメントする。一方、分布解析部１１４は、ＹＭが-H/6より大きくH/6より小さい場合、特徴点の数Ｎ２を１だけインクリメントし、ＹＭがH/6以上である場合、特徴点の数Ｎ３を１だけインクリメントする。分布解析部１１４は、全ての中点の座標（ＸＭ，ＹＭ）を処理対象としたときの特徴点の数Ｎ１乃至Ｎ３を、最終的な特徴点の数Ｎ１乃至Ｎ３とする。
　また、分布解析部１１４は、各中点の座標（ＸＭ，ＹＭ）を順に処理対象とし、処理対象の座標（ＸＭ，ＹＭ）のＸＭが、画面の水平方向のサイズ（width）をWとしたときの-W/6以下である場合、特徴点の数Ｎ４を１だけインクリメントする。一方、分布解析部１１４は、ＸＭが-W/6より大きくW/6より小さい場合、特徴点の数Ｎ５を１だけインクリメントし、ＸＭがW/6以上である場合、特徴点の数Ｎ６を１だけインクリメントする。分布解析部１１４は、全ての中点の座標（ＸＭ，ＹＭ）を処理対象としたときの特徴点の数Ｎ４乃至Ｎ６を、最終的な特徴点の数Ｎ４乃至Ｎ６とする。
　ステップＳ４５において、分布解析部１１４は、特徴点の数Ｎ１乃至Ｎ３の全てが閾値ｋ２（例えば、50[点]）より大きいかどうかを判定する。ステップＳ４５で特徴点の数Ｎ１乃至Ｎ３の全てが閾値ｋ２より大きいと判定された場合、ステップＳ４６において、分布解析部１１４は、スケール比率λを推定パラメータに決定し、推定部１１５に供給する。そして、処理はステップＳ４７に進む。
　一方、ステップＳ４５で特徴点の数Ｎ１乃至Ｎ３の少なくとも１つが閾値ｋ２以下であると判定された場合、処理はステップＳ４６をスキップし、ステップＳ４７に進む。
　ステップＳ４７において、分布解析部１１４は、特徴点の数Ｎ４乃至Ｎ６の全てが閾値ｋ２より大きいかどうかを判定する。ステップＳ４７で特徴点の数Ｎ４乃至Ｎ６の全てが閾値ｋ２より大きいと判定された場合、ステップＳ４８において、分布解析部１１４は、差αを推定パラメータに決定し、推定部１１５に供給する。そして、処理は図１２のステップＳ２０に戻り、ステップＳ２１に進む。
　一方、ステップＳ４７で特徴点の数Ｎ４乃至Ｎ６の少なくとも１つが閾値ｋ２以下であると判定された場合、処理は図１２のステップＳ２０に戻り、ステップＳ２１に進む。
　一方、ステップＳ４２で、特徴点の数Ｎが閾値ｋ１以下であると判定された場合、処理は終了する。
　なお、特徴点の数Ｎが閾値ｋ１以下である場合、撮像装置１０は、特徴点の数Ｎが閾値ｋ１より大きくなるまで、新たな左画像と右画像を撮像するようにしてもよい。
　以上のように、撮像装置１０は、既知領域の左右座標ペアと視差の理想値に基づいてヨー角の差φを推定するので、ヨー角の差φを高精度に推定することができる。また、ヨー角の差φの推定精度のロバスト性を確保することができる。
　その結果、撮像装置１０は、推定された高精度のヨー角の差φに基づいて左画像と右画像をワーピングすることにより、ステレオカメラ２１の経年ずれによって発生する差φによる左画像と右画像のずれを高精度に補正することができる。
　従って、ステレオカメラ２１の経年ずれを防止するためのメカコストをかける必要なく、ステレオマッチングにより検出されるデプスの絶対距離精度を保証することができる。その結果、安価な民生品用途のステレオカメラを用いて、デプスの絶対距離精度が求められるアプリケーションを実現することが可能になる。
　また、撮像装置１０は、経年ずれパラメータの差φ以外の各パラメータが十分な精度で推定可能であるかを判定し、十分な精度で推定可能であると判定されたパラメータのみを推定するので、推定結果のロバスト性を確保することができる。
　（経年ずれパラメータの説明）
　図１５は、経年ずれパラメータを説明する図である。
　図１５に示すように、経年ずれパラメータのうちのピッチ角の差θの発生の主要因は、撮像装置１０の筐体の外部から加えられた応力などによるシャーシや基板のねじれなどである。
　また、差θが発生すると、画面全体で、左画像と右画像の対応する画素間の垂直方向の位置ずれ（以下、Ｙずれという）が大きくなる。その結果、画面全体で、左画像と右画像を用いたステレオマッチングのマッチングエラーが発生する。また、画面の対角領域において、左画像と右画像の対応する画素間の水平方向の位置ずれ（以下、Ｘずれという）が発生する。以上により、画面内のステレオマッチングにより生成されるデプスが有効である領域の面積である有効面積が減少する。よって、デプスを用いて画像認識を行う場合、認識精度の大幅な低下を招く。従って、差θの推定の重要度は大きい。
　また、差θは、画面全体に一定数の特徴点の中点が存在すれば十分な精度で推定可能であるため、差θの推定は比較的容易である。
　ヨー角の差φの発生の主要因は、撮像装置１０の基板表面に実装されている部品の発熱などで、基板表面と裏面との間で温度差が発することによる、シャーシや基板の反り返り（たわみ）などである。
　差φが発生すると、画面全体で大きなＸずれが発生し、ステレオマッチングにより生成されるデプス（視差）に誤差（ずれ）が生じる。即ち、全画面でデプスの絶対距離精度が低下する。その結果、デプスの絶対距離精度が必要とされるアプリケーションの実現が困難になる。また、差φが発生すると、画面の対角領域においてＹずれが発生する。
　また、差φは、左画像および右画像に既知領域が存在すれば十分な精度で推定可能である。
　ロール角の差αの発生の主要因は、左カメラ２１Ａと右カメラ２１ＢそれぞれのＺ軸を中心とした回転などである。
　差αが発生すると、画面の上下端でＸずれが多く発生し、ステレオマッチングにより生成されるデプス（視差）に誤差（ずれ）が生じる。即ち、画面の上下端でデプスの絶対距離精度が低下する。また、差αが発生すると、画面の左右端でＹずれが多く発生し、ステレオマッチングのマッチングエラーが多く発生する。従って、画面の左右端でデプスの有効領域が減少し、デプスを用いて画像認識を行う場合、認識精度の低下を招く。但し、画面の中央部における差αによる影響は軽微である。
　また、差αは、画面の水平方向に特徴点の中点が分布していれば十分な精度で推定可能である。
　スケール比率λの発生の主要因は、左カメラ２１Ａと右カメラ２１Ｂが内蔵する、焦点距離の温度依存性を有するレンズにおいて温度差が発生することによる、左カメラ２１Ａと右カメラ２１Ｂの間の焦点距離の変動などである。
　スケール比率λが発生すると、画面の左右端でＸずれが多く発生し、ステレオマッチングにより生成されるデプス（視差）に誤差（ずれ）が生じる。即ち、画面の左右端でデプスの絶対距離精度が低下する。また、スケール比率λが発生すると、画面の上下端でＹずれが多く発生し、ステレオマッチングのマッチングエラーが多く発生する。従って、画面の上下端のデプスの有効領域が減少し、デプスを用いて画像認識を行う場合、認識精度の低下を招く。但し、画面の中央部におけるスケール比率λによる影響は軽微である。
　また、スケール比率λは、画面の垂直方向に特徴点の中点が分布していれ十分な精度で推定可能である。
　以上のように、各パラメータの発生要因は、それぞれ異なる。従って、各パラメータの発生の有無は、撮像装置１０のメカ構造や使用条件などに応じて異なる。従って、撮像装置１０は、メカ構造や使用条件に応じて、発生し得るパラメータのみを推定するようにしてもよい。
　また、デプスを用いたアプリケーションの種類によって、各パラメータのアプリケーションへの影響の度合は異なる。従って、撮像装置１０は、実行するアプリケーション（処理）に応じて、アプリケーションへの影響の度合が大きいパラメータのみを推定するようにしてもよい。
　＜第２実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。
　撮像部２０６は、図１のステレオカメラ２１により構成される。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜第３実施の形態＞
　（車両制御システム）
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出ユニット２４００、車内情報検出ユニット２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１７では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１８は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
　車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１７に戻って説明を続ける。車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＡＭ（Random　Access　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＯＭ（Read　Only　Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、又はＤＳＲＣ（Dedicated　Short　Range　Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部２６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。
　車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１７に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム２０００において、図１の撮像装置１０は、例えば、図１７の撮像部２４１０に適用することができる。これにより、撮像部２４１０は、経年ずれによって発生するカメラ間のヨー角の差を高精度に推定し、左画像と右画像のずれを補正することができる。その結果、車外情報検出ユニット２４００は、補正後の左画像と右画像を用いて、被写体の奥行き方向の位置などを高精度で検出することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、ステレオカメラは、水平方向ではなく、垂直方向に並ぶ２つのカメラにより構成されるようにしてもよい。この場合、既知領域の左右座標ペアの垂直方向の差分が視差の実測値とされる。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　第１の撮像部により撮像された第１の画像内の視差の理想値が既知である既知領域の位置と、第２の撮像部により撮像された第２の画像内の前記既知領域に対応する領域の位置とに基づいて算出される前記既知領域の視差の実測値と、前記視差の理想値とに基づいて、前記第１の撮像部と前記第２の撮像部のヨー角の差を推定するヨー角推定部
　を備える画像処理装置。
　（２）
　前記既知領域のモデル画像に基づいて、前記第１の画像から前記既知領域を検出する既知領域検出部
　をさらに備える
　前記（１）に記載の画像処理装置。
　（３）
　前記第１の画像の消失点を前記既知領域として検出する既知領域検出部
　をさらに備える
　前記（１）に記載の画像処理装置。
　（４）
　前記ヨー角推定部により推定された前記ヨー角の差をパラメータとしたモデル式に基づいて、前記第１の画像と前記第２の画像に対してワーピングを行うワーピング部
　をさらに備える
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）
　前記第１の撮像部と前記第２の撮像部のピッチ角の差およびロール角の差、並びに前記第１の画像と前記第２の画像のスケール比率のうちの少なくとも１つを推定するヨー角以外推定部
　をさらに備える
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）
　前記ヨー角以外推定部により推定された前記ピッチ角の差、前記ロール角の差、および前記スケール比率のうちの少なくとも１つと、前記ヨー角推定部により推定された前記ヨー角の差とをパラメータとしたモデル式に基づいて、前記第１の画像と前記第２の画像に対してワーピングを行うワーピング部
　をさらに備える
　前記（５）に記載の画像処理装置。
　（７）
　前記ワーピング部は、前記モデル式と、キャリブレーションにより計測された初期パラメータとに基づいて、前記第１の画像と前記第２の画像に対してワーピングを行う
　ように構成された
　前記（６）に記載の画像処理装置。
　（８）
　画像処理装置が、
　第１の撮像部により撮像された第１の画像内の視差の理想値が既知である既知領域の位置と、第２の撮像部により撮像された第２の画像内の前記既知領域に対応する領域の位置とに基づいて算出される前記既知領域の視差の実測値と、前記視差の理想値とに基づいて、前記第１の撮像部と前記第２の撮像部のヨー角の差を推定するヨー角推定ステップ
　を含む画像処理方法。
　１０　撮像装置，　２１Ａ　左カメラ，　２１Ｂ　右カメラ，　３１　左ワーピング部，　３２　右ワーピング部，　４１　既知領域検出部，　４３　ヨー角推定部，　４４　ヨー角以外推定部，　７１乃至７３，８１　領域，　９２Ａ　交点

Claims (8)

  1. 　第１の撮像部により撮像された第１の画像内の視差の理想値が既知である既知領域の位置と、第２の撮像部により撮像された第２の画像内の前記既知領域に対応する領域の位置とに基づいて算出される前記既知領域の視差の実測値と、前記視差の理想値とに基づいて、前記第１の撮像部と前記第２の撮像部のヨー角の差を推定するヨー角推定部
    　を備える画像処理装置。
  2. 　前記既知領域のモデル画像に基づいて、前記第１の画像から前記既知領域を検出する既知領域検出部
    　をさらに備える
    　請求項１に記載の画像処理装置。
  3. 　前記第１の画像の消失点を前記既知領域として検出する既知領域検出部
    　をさらに備える
    　請求項１に記載の画像処理装置。
  4. 　前記ヨー角推定部により推定された前記ヨー角の差をパラメータとしたモデル式に基づいて、前記第１の画像と前記第２の画像に対してワーピングを行うワーピング部
    　をさらに備える
    　請求項１に記載の画像処理装置。
  5. 　前記第１の撮像部と前記第２の撮像部のピッチ角の差およびロール角の差、並びに前記第１の画像と前記第２の画像のスケール比率のうちの少なくとも１つを推定するヨー角以外推定部
    　をさらに備える
    　請求項１に記載の画像処理装置。
  6. 　前記ヨー角以外推定部により推定された前記ピッチ角の差、前記ロール角の差、および前記スケール比率のうちの少なくとも１つと、前記ヨー角推定部により推定された前記ヨー角の差とをパラメータとしたモデル式に基づいて、前記第１の画像と前記第２の画像に対してワーピングを行うワーピング部
    　をさらに備える
    　請求項５に記載の画像処理装置。
  7. 　前記ワーピング部は、前記モデル式と、キャリブレーションにより計測された初期パラメータとに基づいて、前記第１の画像と前記第２の画像に対してワーピングを行う
    　ように構成された
    　請求項６に記載の画像処理装置。
  8. 　画像処理装置が、
    　第１の撮像部により撮像された第１の画像内の視差の理想値が既知である既知領域の位置と、第２の撮像部により撮像された第２の画像内の前記既知領域に対応する領域の位置とに基づいて算出される前記既知領域の視差の実測値と、前記視差の理想値とに基づいて、前記第１の撮像部と前記第２の撮像部のヨー角の差を推定するヨー角推定ステップ
    　を含む画像処理方法。
PCT/JP2016/066569 2015-06-17 2016-06-03 画像処理装置および画像処理方法 WO2016203989A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-122069 2015-06-17
JP2015122069 2015-06-17

Publications (1)

Publication Number Publication Date
WO2016203989A1 true WO2016203989A1 (ja) 2016-12-22

Family

ID=57545577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066569 WO2016203989A1 (ja) 2015-06-17 2016-06-03 画像処理装置および画像処理方法

Country Status (1)

Country Link
WO (1) WO2016203989A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018112522A (ja) * 2017-01-13 2018-07-19 株式会社東芝 画像処理装置及び画像処理方法
CN113112412A (zh) * 2020-01-13 2021-07-13 株式会社理光 垂直校正矩阵的生成方法、装置及计算机可读存储介质
WO2023068034A1 (ja) * 2021-10-20 2023-04-27 日立Astemo株式会社 画像処理装置
US11880993B2 (en) 2018-09-03 2024-01-23 Kabushiki Kaisha Toshiba Image processing device, driving assistance system, image processing method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133525A (ja) * 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2003083742A (ja) * 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
WO2013145025A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 ステレオカメラシステム及び移動体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09133525A (ja) * 1995-11-10 1997-05-20 Nippon Soken Inc 距離計測装置
JP2003083742A (ja) * 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
WO2013145025A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 ステレオカメラシステム及び移動体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018112522A (ja) * 2017-01-13 2018-07-19 株式会社東芝 画像処理装置及び画像処理方法
US10510163B2 (en) 2017-01-13 2019-12-17 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US11880993B2 (en) 2018-09-03 2024-01-23 Kabushiki Kaisha Toshiba Image processing device, driving assistance system, image processing method, and program
CN113112412A (zh) * 2020-01-13 2021-07-13 株式会社理光 垂直校正矩阵的生成方法、装置及计算机可读存储介质
CN113112412B (zh) * 2020-01-13 2024-03-19 株式会社理光 垂直校正矩阵的生成方法、装置及计算机可读存储介质
WO2023068034A1 (ja) * 2021-10-20 2023-04-27 日立Astemo株式会社 画像処理装置

Similar Documents

Publication Publication Date Title
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017159382A1 (ja) 信号処理装置および信号処理方法
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
US11076141B2 (en) Image processing device, image processing method, and vehicle
WO2017122552A1 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
WO2016203988A1 (ja) 画像処理装置および画像処理方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN108139211B (zh) 用于测量的装置和方法以及程序
JP6645492B2 (ja) 撮像装置および撮像方法
WO2018037678A1 (ja) 画像処理装置および情報生成装置と情報生成方法
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
WO2016203989A1 (ja) 画像処理装置および画像処理方法
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
WO2019093136A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN109644241B (zh) 图像处理设备和图像处理方法
US11436706B2 (en) Image processing apparatus and image processing method for improving quality of images by removing weather elements
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16811464

Country of ref document: EP

Kind code of ref document: A1