WO2015159791A1 - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
WO2015159791A1
WO2015159791A1 PCT/JP2015/061099 JP2015061099W WO2015159791A1 WO 2015159791 A1 WO2015159791 A1 WO 2015159791A1 JP 2015061099 W JP2015061099 W JP 2015061099W WO 2015159791 A1 WO2015159791 A1 WO 2015159791A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging optical
optical systems
imaging
image
lens
Prior art date
Application number
PCT/JP2015/061099
Other languages
English (en)
French (fr)
Inventor
片桐　哲也
基広 浅野
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2015159791A1 publication Critical patent/WO2015159791A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to searching for corresponding points between images.
  • a parallax (parallax angle) of a stereo image is measured, and a depth (distance) is calculated from the parallax, and a camera setting is corrected.
  • a corresponding point is searched between the two images.
  • a window that includes a target point is set for a target point on a reference image that is one of two images obtained by photographing the same object from different viewpoints, such as a stereo camera.
  • a plurality of windows of the same size are set on the reference image which is the other image.
  • a correlation value is calculated between the window on the standard image and each window on the reference image, the window on the reference image with the highest correlation value is searched, and the barycentric position of the window is the corresponding point of the attention point As required.
  • SAD Sud of Absolute Difference
  • an imaging unit including a lens array having the same curvature radius is used for two lenses that are configured with two or more lens pairs each having different curvature radii, Then, from the captured single-eye images of each lens, the most focused single-eye image pair is extracted from the single-eye image pairs corresponding to each lens pair, and parallax detection is performed using the single-eye image pair. The distance image is acquired.
  • the two images for which the corresponding point search is performed are images obtained by photographing the same object from different viewpoints, even if the same object is photographed, there is a region that exists only in one image. Can occur. This is because the object has a depth and the depth has a context, so that the object in the foreground is in a state (occlusion) of hiding the object behind. Therefore, in the technique disclosed in Patent Document 2, the same object is photographed by a plurality of cameras, the cameras are grouped so that the epipolar line is common, and the correlation value between the reference image and the reference image is determined for each group. The corresponding points of the group for which the sum is calculated and the correlation is determined to be low are not adopted.
  • JP2011-149931A Japanese Patent Laid-Open No. 10-289315
  • Patent Document 2 it is possible to reduce the range in which occlusion occurs, but it is necessary to arrange a plurality of cameras and an epipolar line in common, and easily perform distance measurement. It ’s difficult.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a distance measuring device and a distance measuring method that can easily and accurately measure a distance while suppressing occlusion.
  • images are captured using at least three first imaging optical systems in a compound eye camera having a plurality of first and second imaging optical systems having different focal lengths.
  • a distance to the measurement object is obtained based on the image and an image captured using at least two second imaging optical systems.
  • the two second imaging optical systems are arranged such that the base line length is longer than the base line lengths of the two first imaging optical systems out of the three first imaging optical systems. Therefore, the distance measuring device and the distance measuring method according to the present invention can suppress the occlusion and can measure the distance easily and accurately.
  • FIG. 1 is a block diagram illustrating a configuration of a distance measuring apparatus according to the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of an array camera in the imaging unit of the distance measuring device.
  • 2A is a perspective view of the array lens unit and the array imaging unit
  • FIG. 2B is a perspective view of the array imaging unit.
  • the distance measuring device 100 performs a corresponding point search on a plurality of images obtained by a stereo method (stereoscopic method) and obtains a parallax between the plurality of images to obtain a distance (a distance to a predetermined object to be measured) ( This is a device for measuring a coordinate of a measurement object in a predetermined coordinate system, and obtains a distance to the measurement object based on a plurality of images acquired by an array camera.
  • the distance measuring device 100 realizes higher-precision distance measurement regardless of the distance of the object to be measured and less susceptible to occlusion by combining the lens configuration of the array camera and the corresponding point search image. Is.
  • the distance measuring device 100 includes an imaging unit 1 (image acquisition unit), a corresponding point search unit 2, an occlusion determination unit 3, a distance calculation unit 4, a coordinate conversion unit 5, a storage unit 6, and overall control.
  • the unit 7 is provided.
  • white arrows indicate the flow of data, and broken arrows indicate the flow of control data.
  • the overall control unit 7 controls each functional unit of the imaging unit 1 to the coordinate conversion unit 5 to measure the distance to the object, and the measured distance (three-dimensional coordinates of the corresponding point in a predetermined coordinate system).
  • the data is stored in the storage unit 6.
  • the imaging unit 1 acquires a plurality of images obtained by imaging the same measurement target (object, subject).
  • the imaging unit 1 includes, for example, an array camera 10 illustrated in FIG. It is assumed that each camera of the imaging unit 1 has known camera parameters (image center, focal length, orientation with respect to the reference camera (rotation, translation)).
  • the array camera 10 includes an array imaging unit 11 having an array lens unit 12 having a plurality of single-eye lenses and a plurality of single-eye imaging units that respectively capture optical images of objects formed by the plurality of single-lens lenses.
  • the array lens unit 12 of the array camera 10 included in the imaging unit 1 of the distance measuring device 100 will be described as an example including nine lenses arranged in a two-dimensional matrix of 3 rows and 3 columns. As will be described later with reference to FIG. 3, the arrangement and the number of lenses are not limited to this example.
  • the array lens unit 12 includes a plurality of individual lenses 121.
  • One single lens 121 is configured to include one or a plurality of optical lenses along its optical axis.
  • the plurality of single-lens lenses 121 are arranged so that the optical axes are substantially parallel to each other, and in two linearly independent directions, more specifically, two in the X and Y directions orthogonal to each other Arranged in a two-dimensional matrix in the direction.
  • the plurality of individual lenses 121 are shown as nine individual lenses 121-11 to 121-33 arranged in a two-dimensional matrix in three rows and three columns.
  • the single lens 121-12 and the single lens 121-33 are lenses having a long focusing distance compared to the focusing distance of the other single lens 121.
  • the array imaging unit 11 includes a plurality of single-eye imaging units 111.
  • One single-eye imaging unit 111 includes a plurality of photoelectric conversion elements (a plurality of pixels) arranged in a two-dimensional matrix, and each photoelectric conversion element converts electricity according to the amount of received light. The signal is output as data of each pixel in the image.
  • the plurality of single-eye imaging units 111 correspond to the plurality of single-eye lenses 121 in the array lens unit 12, and are arranged so that the respective imaging surfaces are on the same plane. In the example illustrated in FIG.
  • the plurality of single-eye imaging units 111 are arranged in a two-dimensional matrix in two linearly independent directions, more specifically, in two directions of X and Y directions orthogonal to each other.
  • the plurality of single-eye imaging units 111 are shown as nine single-eye imaging units 111-11 to 111-33 arranged in a two-dimensional matrix in three rows and three columns.
  • the plurality of single-eye imaging units 111 may be configured to include a plurality of solid-state imaging elements arranged in a two-dimensional matrix on the same substrate. However, in the example illustrated in FIG. (Not shown).
  • the effective pixel area in one solid-state imaging device is divided into a plurality of areas arranged in a two-dimensional matrix so as to correspond to each single-eye imaging unit 111, and each of these areas is divided into each single-eye imaging unit 111.
  • Each photoelectric conversion element of the single-eye imaging unit 111 photoelectrically converts the received light into an electrical signal corresponding to the amount of light, and outputs the electrical signal as data of each pixel in the image.
  • the plurality of single-eye imaging units 111 output image data that is shifted by a substantially parallax showing the same subject.
  • the imaging unit 1 performs so-called normal image processing such as white balance processing, filter processing, gradation conversion processing, and color space conversion processing on the plurality of image data output from the plurality of single-eye imaging units 111, and finally Typical image data is generated and output to the corresponding point search unit 2.
  • FIG. 3 is a diagram illustrating a configuration example of an array lens unit in the imaging unit.
  • one rectangle represents one individual lens 121.
  • FIG. 3A shows an example of the array lens unit 12 composed of six individual lenses 121 arranged in a 2 ⁇ 3 two-dimensional matrix
  • FIG. 3B shows a 3 ⁇ 3 two-dimensional matrix.
  • FIG. 3C shows an example of an array lens unit 12 composed of nine single-lens lenses 121 arranged in the form of FIG. 3C, and is composed of eight single-lens lenses 121 arranged in a two-dimensional matrix of two rows and four columns. An example of the array lens unit 12 is shown.
  • N in the rectangle indicates that the lens has a shorter focal length
  • F indicates that the lens has a longer focal length. That is, in the example of FIG. 3, lenses of two types of focal lengths are included.
  • N lens a lens having a short focal length
  • F lens a lens having a long focal length
  • the number of N lenses constituting the array lens unit 12 is larger than the number of F lenses.
  • the array lens unit 12 shown in FIG. 2 has a configuration indicated by an arrow 30 in FIG. 3B.
  • the “ ⁇ ” circle in the rectangle of the N lens indicates the N lens that captures the reference image when searching for corresponding points.
  • the corresponding point search unit 2 performs a corresponding point search using one of the images captured by the N lens as a reference image and the image of the other N lens as a reference image.
  • the F lens rectangle is not marked with a “ ⁇ ” circle.
  • the array lens unit 12 includes two F lenses. Because it is good. There may also be three or more F lenses.
  • an image captured by the N lens is referred to as an “N lens image”
  • an image captured by the F lens is referred to as an “F lens image”.
  • the first condition is that the images to be paired are N lens images and F lens images. This is because the corresponding points are searched between the images in focus and high-precision distance measurement is performed.
  • the second condition is that the N-lens images are arranged such that the baseline length between the N lenses that capture the paired N lens images is shorter than the baseline length between the F lenses that capture the paired F lens images. Is to pair.
  • the N lens images are paired so that the baseline length between the F lenses that capture the paired F lens images is longer than the baseline length between the N lenses that capture the paired N lens images. .
  • the accuracy of distance measurement is increased by increasing the baseline length because the F lens pair is less accurate in measuring the distance than the N lens pair.
  • the base line length between certain N lenses may be longer than the base line length between F lenses, but a pair of N lenses with such a long base line length is implemented. In the form, it is not used for ranging.
  • the third condition is that the number of pairs of N lens images is larger than the number of pairs of F lens images. It is difficult for occlusion to occur in a pair of images with a lens with a long focal length, but occlusion is likely to occur in a pair of images with a lens with a short focal length. It is.
  • FIGS. 8 and 9 are diagrams for explaining occlusion in the case of photographing a measurement object at a long distance.
  • FIG. 9 is a diagram for explaining occlusion in the case of photographing a measurement object at a short distance.
  • FIG. 8 shows an image P11 captured by the single lens 121-11 and an image P33 captured by the single lens 121-33.
  • the single lens 121-12 and the single lens 121-33 are F lenses.
  • the occlusion portion is limited, and the possibility that a corresponding point is found by template matching is quite high.
  • FIG. 9 shows a captured image P21, a captured image P22, and a captured image P23 obtained by the individual lens 121-21, the individual lens 121-22, and the individual lens 121-23, respectively.
  • the occlusion portion is large due to the head portion H of the person to be imaged.
  • the distance measuring apparatus 100 can calculate a more accurate distance even when occlusion occurs by searching for corresponding points in more pairs using the N lens image.
  • the reference image is preferably at the center of another image. This is because when a different direction is viewed with reference to the center of the captured image, there is a region that is not occlusion in either direction.
  • the arrangement of the single-lens 121 (N lens and F lens) of the array lens unit 12 as shown in FIG. 3 is an example of a desirable arrangement.
  • This arrangement satisfies the first to third conditions described above. It is most desirable to use the image of the N lens indicated by the circle “ ⁇ ”, that is, the image of the N lens located at the center of the entire single-lens lens or the image of the N lens closest to the center as the reference image .
  • the following fourth condition may be imposed on the lens combination.
  • At least one of a plurality of pairs of N lens images is a pair of images of N lenses positioned at different optical axis heights. That is, the intersection of the optical axis of one lens of one pair and the imaging surface of the single-eye imaging unit 111 corresponding to the one lens, the optical axis of the other lens, and the single-eye imaging unit corresponding to the other lens A line connecting the intersection point with the imaging surface of 111, the optical axis of one lens of any other pair, and the intersection point of the imaging surface of the single-eye imaging unit 111 corresponding to the one lens and the other lens It is desirable that the straight line connecting the optical axis and the intersection of the imaging surface of the single-eye imaging unit 111 corresponding to the other lens intersect. In other words, it is desirable that a straight line connecting each principal point of each lens of one pair intersects a straight line connecting each principal point of each lens of any other pair.
  • FIG. 4 is a diagram for explaining a combination of a standard image and a reference image in the distance measuring apparatus.
  • FIG. 4A shows an example of the array lens unit 12 including nine individual lenses 121 arranged in a two-dimensional matrix of 3 rows and 3 columns, and a lens that captures a reference image is a lens B1.
  • the fourth condition is satisfied by selecting not only the lens R1 and the lens R2 but also an image of the lens R3 and the lens R4 whose optical axes are different from the lens B1 as reference images. Note that the image of the upper left or lower right lens may be selected.
  • FIGS. 4B, 4C, and 4D show examples of the array lens unit 12 including eight individual lenses 121 arranged in a two-dimensional and four-column two-dimensional matrix.
  • a lens that captures a reference image is shown in FIG. Lens B2.
  • the images of the lenses R5 and R6 are selected as reference images in FIG. 4B
  • the images of the lenses R5 and R7 are selected as reference images in FIG. 4C
  • the lenses are selected as reference images in FIG. 4D.
  • the fourth condition is satisfied.
  • a pair of lens B1 and lens R2 when a pair of lens B1 and lens R2 is selected, it is more desirable to select a pair of lens B1 and lens R3 as the other pair. That is, a lens pair in which a straight line connecting the principal point of the lens B1 and the principal point of the lens R1 and a straight line connecting the principal point of the lens B1 and the principal point of the lens R3 are orthogonal to each other is selected. This is because there is a higher possibility that the image pairs formed by the lenses having the relationship in which the straight lines connecting the principal points are orthogonal are more resistant to occlusion than the image pairs formed by the lenses having the relationship not orthogonal.
  • the image pair of the lens B2 and the lens R5 and the image pair of the lens B2 and the lens R6 can be said to be an image pair resistant to occlusion.
  • the arrangement and the number of the array lens units 12 of the distance measuring device 100 are not limited to the example in FIG. 3 and may be any arrangement and number. Further, it is sufficient that there are two or more focal lengths. An example is shown in FIG. 3
  • FIG. 14 is a diagram showing a modified example of the configuration of the array lens in the imaging unit.
  • FIG. 14 shows 25 individual lenses arranged in a two-dimensional matrix of 5 rows and 5 columns as a modified example.
  • the modification of the structure of the array lens part 12 comprised by 121 is shown.
  • the lens with the number “0” is called “lens 0”
  • the lens with the number “1” is called “lens 1”.
  • the array lens unit 12 shown in FIG. 14 is composed of lenses having three focal lengths.
  • One rectangle indicates one individual lens 121, and lenses having the same hatching indicate lenses having the same focal length. That is, the lenses 0 to 5, 9, 10, 13, 14, and 18 to 23 indicate the lenses having the longest focal length.
  • Lenses 6, 8, 15, and 17 represent lenses with the second longest focal length, and lenses 7, 11, N, 12, and 16 represent lenses with the shortest focal length.
  • the base line length between the pair of lenses is proportional to the focal length.
  • the length of the baseline is gradually shortened in the order of the baseline length between the lenses with the longest focal length, the baseline length between the lenses with the second longest focal length, and the baseline length between the lenses with the shortest focal length. ing.
  • the base line length in the case where the corresponding point search is performed with the pair of the lens 0 and the lens 23 is the longest.
  • the base line length when the corresponding point search is performed with the pair of the lens 6 and the lens 17 is the second longest.
  • the image of the lens N is used as a standard image
  • the image of the lens 7, the image of the lens 11, the image of the lens 12, and the image of the lens 16 are used as reference images.
  • the baseline length is the shortest. As the number of types of focal lengths increases as in this modification, it becomes possible to perform distance measurement with higher accuracy.
  • the corresponding point search unit 2 performs the corresponding point search process using the above-described image pairs, and as a result of the corresponding point search of each pair, graph data as shown in FIG. Output to.
  • the array lens unit 12 has the configuration indicated by the arrow 30 in FIG. 3B
  • 6 pairs of corresponding points are searched for with each of the surrounding 6 N lens images, and 7 graphs are output to the occlusion determination unit 3.
  • FIG. 5 is a diagram for explaining the relationship between the epipolar line and the reference image.
  • FIG. 6 is a diagram for explaining epipolar lines. 6A shows an example of a standard image, FIG. 6B shows an example of a reference image, and FIG. 6C shows an example of a matching degree graph.
  • FIG. 7 is a diagram for explaining the distance measuring method.
  • the epipolar line is a line obtained by projecting a straight line connecting the point OL and the target point X (the line of sight of the camera on the base image side) onto the reference image.
  • Point O L, the point O R are each a projection center of the camera for photographing the reference image, a reference image, a point e L, the point e R are each a projection of the other camera, the point on the reference image X L is an image of the object X. That is, since the target point X exists in the reference image of the camera on the line of sight, to the on epipolar line on reference image is a projection of the line of sight, is reflected is X R point is the image of the object point X Become.
  • point X R is obtained as the corresponding point.
  • the point AP on the base image in FIG. 6A is the point of interest and the corresponding point CP in the reference image in FIG. 6B is searched.
  • the corresponding points in the reference image exist on the epipolar line on the reference image as described above with reference to FIG. Therefore, in the embodiment, the correlation value between the window W having the center (center) of a certain point on the epipolar line EP in the reference image and the template T that is the window having the center of interest AP of the reference image as the center is calculated.
  • the correlation value between the window W containing the point shifted by a predetermined number of pixels from a certain point on the epipolar line EP and the template T is calculated, and further, the window containing the point shifted by the predetermined number of pixels
  • the correlation value between W and the template T is calculated, and the same processing is repeated thereafter (hereinafter, this processing is referred to as “scanning the epipolar line EP”).
  • scanning the epipolar line EP the center of gravity of the window having the highest calculated correlation value is determined as the corresponding point CP.
  • the correlation values between the window W having the center of gravity at each of a plurality of points on the epipolar line EP (hereinafter referred to as “scanning points”) and the template T, which is a window having the center of interest AP of the reference image as the center of gravity, respectively.
  • the calculated center of gravity of the window with the highest correlation value is determined as the corresponding point CP.
  • the window W is indicated by a broken line and a solid rectangle, and the solid rectangle indicates the window W that includes the corresponding point CP.
  • the epipolar line EP that is, the relationship between the coordinates (pixel position) of each scanning point on the epipolar line EP and the correlation value between the window W and the template T having each scanning point as the center of gravity.
  • the represented graph is shown in FIG. 6C.
  • the horizontal axis represents coordinates (pixel positions of scanning points), and the vertical axis represents matching degrees (correlation values).
  • the coincidence graph is created in a predetermined coordinate range set in advance. The coordinates (pixel position) corresponding to the point having the highest degree of coincidence become the coordinates (pixel position) of the corresponding point CP.
  • Corresponding point search unit 2 scans (searches) on epipolar line EP in the reference image for point of interest AP in the standard image. Specifically, the corresponding point search unit 2 calculates the degree of coincidence between the window W having the center of gravity of each scanning point on the epipolar line EP and the template T having the center of gravity of the point of interest AP, and The coordinates (pixel position) and the degree of coincidence are output to the occlusion determination unit 3.
  • NCC Normalized Cross Correlation
  • similarity RNCC is calculated using the following equation. The closer the calculated similarity RNCC is to 1, the more similar it is.
  • T (i, j) is the luminance value of the pixel of the template T
  • I (i, j) is the luminance value of the pixel of the window W of the reference image.
  • Coordinates (i, j) are (0, 0) for the upper left coordinate of the template and (M-1, N-1) for the lower right when the width of the template T is M pixels and the height is N pixels. Are the coordinates.
  • SAD Sud of Absolute Difference
  • SSD Sud of Squared Difference
  • SAD is a sum of absolute values of differences in luminance values of pixels at the same position when raster scanning a template, and the smaller the value, the more similar.
  • the SSD is a raster scan of the template, and is the sum of the squares of the differences in luminance values of pixels at the same position. The smaller the value, the more similar.
  • the occlusion determination unit 3 performs the corresponding point search result of each pair acquired from the corresponding point search unit 2, that is, the relationship between each scanning point (pixel position) on the epipolar line EP and the degree of coincidence (correlation value). Whether or not occlusion occurs is determined based on the coincidence graph (see FIG. 6C and the like) representing Then, the occlusion determination unit 3 calculates corresponding points (pixel positions) from the coincidence degree graph determined that no occlusion has occurred, and outputs the calculated corresponding points to the distance calculation unit 4.
  • FIG. 10 is a diagram for explaining a method of determining occlusion in the distance measuring apparatus.
  • FIG. 10 shows an example of a coincidence graph created from three different reference images (reference image N1, reference image N2, and reference image N3).
  • the coincidence graph in FIG. 10A shows the result of the corresponding point search with the reference image N1
  • the coincidence graph in FIG. 10B shows the result of the corresponding point search with the reference image N2
  • the result of a corresponding point search with reference image N3 is shown.
  • the horizontal axis indicates the coordinates of the pixel position of the scanning point
  • the vertical axis indicates the degree of coincidence.
  • the occlusion determination unit 3 determines that the degree of coincidence graph having a degree of coincidence equal to or less than a predetermined threshold Th is a pair in which occlusion has occurred. For example, the occlusion determination unit 3 determines that no occlusion has occurred in the coincidence degree graph of FIG. 10A and the coincidence degree graph of FIG. 10B because the coincidence degree exceeds the threshold value Th, and FIG. In the coincidence graph, since there is no portion where the coincidence exceeds the threshold value TH, it is determined that occlusion has occurred.
  • the image pair in which occlusion has occurred is, for example, a pair in which the attention point of the standard image is not shown in the reference image.
  • the captured image P22 of FIG. 9 is a reference image and the captured image P21 is a reference image
  • the point of interest is on the trunk of the tree on the left side of the captured image P22
  • the tree trunk (attention point) on the left is hidden behind the person's head H and is not shown. Therefore, occlusion occurs in the pair of the captured image P22 and the captured image P21.
  • the captured image P22 is a standard image and the captured image P23 is a reference image
  • the point of interest is on the left tree trunk of the captured image P22
  • the left tree trunk (Remarkable point). Therefore, no occlusion occurs in the pair of the captured image P22 and the captured image P23.
  • the image pair in which occlusion has occurred has no window W that has a high degree of coincidence with the template T, so the degree of coincidence is low. It becomes a coincidence graph.
  • the occlusion determination unit 3 obtains the pixel position corresponding to the vertex of the coincidence degree graph determined that no occlusion has occurred, and uses it as the coordinate (pixel position) of the corresponding point.
  • FIG. 11 is a diagram for explaining calculation of corresponding points at sub-pixels in the distance measuring apparatus. As shown in FIG. 11, the coordinates (pixel positions) of the corresponding points are obtained by performing quadratic function approximation with three points (indicated by black circles) near the vertex. That is, a quadratic function is obtained using three or more points in the vicinity of the vertex, and a vertex (indicated by a white circle) of a curve based on the obtained quadratic function is obtained.
  • the pixel position corresponding to the obtained vertex is the coordinates (pixel position) of the corresponding point in the sub-pixel. Since the degree of coincidence is obtained for each scanning point on the epipolar line EP, the degree of coincidence of the scanning points is not necessarily the degree of coincidence of peak parallax. Therefore, by performing approximation using a quadratic function in this way, the peak of the coincidence graph is obtained with higher accuracy. Note that the pixel position of the scanning point for which the highest degree of coincidence is obtained may be used as the coordinates (pixel position) of the corresponding point.
  • the distance calculation unit 4 calculates the distance from the corresponding point passed from the occlusion determination unit 3 to the measurement object Ob.
  • the distance calculation unit 4 calculates the distance to the measurement object Ob for each pair, and outputs the distance to the coordinate conversion unit 5 as the three-dimensional coordinates of the reference image or reference image coordinate system (three-dimensional).
  • the distance to the measurement object Ob is proportional to the deviation amount between the reference image and the reference image obtained by the corresponding point search, that is, the deviation amount between the attention point of the reference image and the corresponding point of the reference image.
  • the calculation of the distance will be described with reference to FIG.
  • Each image of the subject (measurement object Ob) is obtained by a pair of cameras provided separated by a predetermined interval (base line length), and corresponding point search is executed for each image in pixel units. Then, the parallax between the pair of cameras in the separation direction is obtained from these images in pixel units, and the distance to the subject is obtained based on the so-called triangulation principle based on the obtained parallax. More specifically, in FIG.
  • two first and second cameras having at least the focal length (f), the number of pixels on the imaging surface, and the size ( ⁇ ) of one pixel are equal to each other with a predetermined baseline length.
  • the coordinate conversion unit 5 converts the three-dimensional coordinates of the corresponding points in each pair passed from the distance calculation unit 4 into coordinates (three-dimensional) in the same coordinate system. That is, the three-dimensional coordinates of the corresponding points respectively obtained from the pair of N lens images and the pair of F lens images are represented by one coordinate system. In the embodiment, the three-dimensional coordinates of the corresponding points are matched with the coordinate system of the reference image of the N lens image, but may be a coordinate system of another image or may be a predetermined coordinate system.
  • Each camera of the array camera 10 of the imaging unit 1 has known camera parameters (image center, focal length, orientation with respect to the reference camera (rotation, translation)).
  • the camera parameter matrix is obtained by calculating in advance the product of the following equations.
  • (x, y) is a coordinate position of the image coordinate system
  • (X, Y, Z) is a coordinate position of the world coordinate system
  • the center matrix is a perspective transformation matrix.
  • the origin of the world coordinate system is the projection center (the principal point of the lens), and the Y axis is parallel to the optical axis of the lens.
  • the center of the image is a perpendicular foot drawn from the projection center, and the aspect ratio is 1.0.
  • f indicates the focal length of the lens.
  • the left matrix is an internal parameter matrix A, a indicates the aspect ratio, s indicates the skew ratio, and (t x , t y ) indicates the center of the image.
  • the matrix on the right side is an external parameter matrix, which is a translation / rotation homogeneous coordinate transformation matrix [R
  • Camera parameters are obtained from a known set of (X, Y, Z) and (x, y). For this calculation, for example, the following documents can be referred to. “A flexible new technology for camera calibration”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (11): 1330-1334, 2000
  • the coordinates are converted by the following expression.
  • the coordinate (Xa, Ya, Za) in the coordinate system of the standard image after conversion is m
  • the coordinate (Xb, Yb, Zb) in the coordinate system of the reference image before conversion is M.
  • m R ⁇ M + T
  • the storage unit 6 stores the three-dimensional coordinates of the corresponding points calculated by the coordinate conversion unit 5 for each pair.
  • the stored three-dimensional coordinates are used for processing for calculating the distance to the measuring object Ob, processing for obtaining the surface shape of the measuring object Ob, processing for creating a distance image composed of distance components of each pixel, and the like. Will be used.
  • FIG. 13 is a block diagram showing a configuration of a ranging image creating apparatus using the ranging apparatus.
  • the ranging image creation apparatus 200 includes a ranging apparatus 100, a distance image generation unit 110, and a display unit 120.
  • the distance measuring device 100 calculates the three-dimensional coordinates of the object for each image pair obtained by photographing the measurement object Ob as described above.
  • the distance image generation unit 110 determines the coordinates (three-dimensional) of the corresponding points from the three-dimensional coordinates of the corresponding points for each pair calculated by the distance measuring device 100. For example, the distance image generation unit 110 obtains the average value of the corresponding point coordinates of all the pairs and sets the corresponding point coordinates (three-dimensional). Alternatively, the three-dimensional coordinates of the corresponding point of the pair having the longest baseline length among the N lens pairs may be employed. This is because the N lens can calculate the distance more accurately than the F lens pair, and among the N lens pairs, the pair with the longer baseline length can calculate the distance more accurately. Further, based on the coincidence graphs shown in FIGS. 6 and 10, corresponding points of the pair of coincidence graphs having the highest reliability may be employed.
  • the display unit 120 is a so-called display, and displays the distance image generated by the distance image generation unit 110, for example, as an image composed of pixels of a color corresponding to the distance.
  • the corresponding point search unit 2 to the overall control unit 7 are constituted by, for example, a microcomputer including a microprocessor, a memory, and peripheral circuits thereof.
  • the memory includes a program for searching for a corresponding point, Various programs such as a control program for controlling the entire distance measuring apparatus 100 and various data such as data necessary for executing the program are stored, and a microprocessor such as a so-called CPU (Central Processing Unit) is stored in the memory. By executing the stored program, all or part of each functional unit is realized.
  • a microcomputer including a microprocessor, a memory, and peripheral circuits thereof.
  • the memory includes a program for searching for a corresponding point, Various programs such as a control program for controlling the entire distance measuring apparatus 100 and various data such as data necessary for executing the program are stored, and a microprocessor such as a so-called CPU (Central Processing Unit) is stored in the memory.
  • CPU Central Processing Unit
  • FIG. 12 is a flowchart showing the distance measuring process of the distance measuring device 100.
  • the overall control unit 7 When the overall control unit 7 receives an instruction to start processing via the interface unit (not shown), the overall control unit 7 instructs the imaging unit 1 to output a captured image of the measurement object Ob.
  • the imaging unit 1 Upon receiving the instruction, the imaging unit 1 causes the array camera 10 to photograph the measurement object Ob, and outputs each captured image based on the signal from the array imaging unit 11 to the corresponding point search unit 2 (step S10).
  • Corresponding point search unit 2 stores each captured image input from imaging unit 1 in an internal work memory.
  • the corresponding point search unit 2 first reads out a pair of F lens images from the work memory (step S11). For example, the corresponding point search unit 2 reads the captured image P11 obtained by the single lens 121-11 and the captured image P33 obtained by the single lens 121-33.
  • the corresponding point search unit 2 searches for corresponding points using either one of the pair of F lens images as a standard image and the other as a reference image, and creates a coincidence graph as shown in FIG. 6C. It outputs to the occlusion determination part 3 (step S12).
  • the occlusion determination unit 3 that has input the coincidence graph of the pair of F lens images from the corresponding point search unit 2 calculates the coordinates (pixel position) of the corresponding point corresponding to the vertex of the coincidence graph, and sends it to the distance calculation unit 4. Output (step S13).
  • the occlusion determination is not performed for the pair of F lens images because the occlusion hardly occurs, but the occlusion determination may be performed.
  • the corresponding point search unit 2 that has passed the F lens image pair matching degree graph to the occlusion determination unit 3 reads the N lens image pair from the working memory (step S14).
  • N lens image is used as a standard image and which N lens image is used as a reference image is determined in advance.
  • the corresponding point search unit 2 searches for a corresponding point of one pair of N lens images, creates a coincidence graph, and outputs it to the occlusion determination unit 3 (step S15).
  • the occlusion determination unit 3 that has input the coincidence graph of the pair of N lens images from the corresponding point search unit 2 performs the occlusion determination as described above, and determines that no occlusion has occurred (step S17). : No), the coordinates (pixel position) of the corresponding point corresponding to the vertex of the coincidence degree graph are calculated and output to the distance calculation unit 4 (step S18). On the other hand, when it is determined in step S17 that occlusion has occurred (step S17: Yes), the occlusion determination unit 3 does not calculate corresponding points.
  • Corresponding point search unit 2 performs corresponding point search until all the processes of the pair of N lens images are completed (step S19: Yes).
  • the distance calculation unit 4 that has input the coordinates (pixel position) of the corresponding point of the F lens image pair or the N lens image pair from the occlusion determination unit 3 determines the distance to the measurement object Ob as described above. calculate. Then, the distance calculation unit 4 calculates the three-dimensional coordinates of the corresponding points in the coordinate system of the reference image, and outputs them to the coordinate conversion unit 5 (step S20).
  • the coordinate conversion unit 5 that receives the three-dimensional coordinates of the corresponding points of each pair from the distance calculation unit 4 converts the corresponding point coordinates of all the pairs into the three-dimensional coordinates in the coordinate system of the reference image of the N lens image. (Step S21) and stored in the storage unit 6 (step S22).
  • the corresponding points are calculated using the N image pair after the corresponding points are calculated using the F image pair, but the reverse order may be used.
  • the coincidence degree graph is a curved graph, but may be a line graph, a bar graph, or the like.
  • the distance measuring device includes a plurality of first imaging optical systems, and a plurality of second imaging optical systems having a focal length longer than that of the first imaging optical system, and the plurality of first imaging optical systems.
  • a plurality of first imaging units that capture optical images of the measurement object imaged by each of the plurality of first imaging optical systems
  • a compound eye camera comprising: a plurality of second imaging units that capture optical images of the measurement object imaged by each of the plurality of second imaging optical systems; and at least three of the plurality of first imaging optical systems An image captured by a first imaging unit corresponding to the first imaging optical system and an image captured by a second imaging unit corresponding to at least two second imaging optical systems among the plurality of second imaging optical systems
  • the distance to obtain the distance to the measurement object based on And the two second imaging optical systems have a baseline length of the two first imaging optical systems, the baseline lengths of the two first imaging optical systems of the three first imaging optical systems.
  • the three first imaging optical systems include a first straight line connecting the principal point of the first first imaging optical system and the principal point of the second first imaging optical system.
  • the first straight line of the first imaging optical system and the second straight line connecting the principal point of the third first imaging optical system are arranged so as to intersect each other.
  • a plurality of first imaging optical systems and a plurality of second imaging optical systems having a focal length longer than that of the first imaging optical system are integrally arranged.
  • a distance measuring method used in a distance measuring apparatus having a compound eye camera including a plurality of second imaging units that capture optical images of a measurement object imaged by each of the plurality of second imaging optical systems, Of the plurality of first imaging optical systems, an image captured by a first imaging unit corresponding to at least three first imaging optical systems, and at least two second imaging among the plurality of second imaging optical systems. An image captured by the second imaging unit corresponding to the optical system; A distance calculating step for obtaining a distance to the measurement object based on the two second imaging optical systems, wherein the two second imaging optical systems have a baseline length of the three first imaging optical systems. Are arranged so as to be longer than the base line length of the two first imaging optical systems.
  • Such a distance measuring device and distance measuring method perform distance measurement using images captured by imaging optical systems having different focal lengths, and therefore perform highly accurate distance measurement regardless of the distance to the measurement object.
  • the number of images captured by the first imaging optical system with a short focal length is greater than the number of images captured by the second imaging optical system with a long focal length, and there is a high possibility that an image without occlusion can be selected. It is possible to perform a high distance measurement. Since the images captured by the first imaging optical system in which the straight lines connecting the principal points intersect in this way are images with different viewpoints (optical axes), there is a possibility that the images are free from occlusion. Get higher. As a result, there is a high possibility that the distance to the measurement object can be calculated more accurately.
  • the three first imaging optical systems are arranged so that the first straight line and the second straight line are orthogonal to each other.
  • the first imaging optical on the second straight line orthogonal to the first straight line
  • the effect of suppressing the occurrence of occlusion is further increased by arranging the optical system so that the straight lines connecting the principal points are orthogonal to each other. As a result, there is a high possibility that the distance to the measurement object can be calculated more accurately.
  • the first first imaging optical system is located at or near the center of the plurality of first imaging optical systems and the plurality of second imaging optical systems as a whole. Is arranged.
  • the compound-eye camera corresponds to a plurality of third imaging optical systems having a focal length longer than that of the second imaging optical system and the plurality of third imaging optical systems.
  • a plurality of third imaging units that capture optical images of the measurement object imaged by each of the plurality of third imaging optical systems, and the distance calculation unit further includes the plurality of third imaging units.
  • the imaging optical systems a distance to the measurement object is obtained based on images captured by a third imaging unit corresponding to at least two third imaging optical systems, and two of the third imaging optical systems are obtained.
  • the baseline lengths of the three third imaging optical systems are arranged to be longer than the baseline lengths of the two second imaging optical systems.
  • one of the three images captured by the first imaging unit corresponding to each of the three first imaging optical systems is used as a reference image, and the other images.
  • a matching point search unit for calculating a matching degree indicating a degree of correlation with a window including the coordinates of a scanning point on the horizontal axis and a matching point corresponding to each scanning point on the vertical axis
  • An occlusion determination unit that determines the presence or absence of occlusion, and the distance calculation unit includes a reference image that the occlusion determination unit determines that no occlusion has occurred. Using the corresponding points to obtain the distance to the measurement object.
  • a distance measuring device and a distance measuring method can be provided.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　本発明の測距装置および該方法では、焦点距離の異なる複数の第１および第２撮像光学系を持つ複眼カメラにおける、少なくとも３つの第１撮像光学系を用いて撮像された画像および少なくとも２つの第２撮像光学系を用いて撮像された画像に基づいて測定対象物までの距離が求められる。そして、前記２つの第２撮像光学系は、その基線長が前記３つの第１撮像光学系のうちの２つの第１撮像光学系の基線長よりも長くなるように、配置されている。

Description

測距装置および測距方法
　本発明は、画像同士における対応点探索に関する。
　従来から、ステレオ画像の視差（視差角）を測定し、その視差から奥行き（距離）の算出や、カメラの設定補正等が行われている。
　視差を算出する際には、２つの画像間で対応点が探索される。探索方法は、まず、例えばステレオカメラのように異なる視点から同一対象物を撮影した２つの画像のうち、一方の画像である基準画像上の注目点に対し、この注目点を内包するウィンドウが設定され、他方の画像である参照画像上にも同サイズのウィンドウが複数設定される。そして、基準画像上のウィンドウと、参照画像上の各ウィンドウとの間で相関値が算出され、最も相関値の高い参照画像上のウィンドウが探索され、そのウィンドウの重心位置が注目点の対応点として求められる。ウィンドウ間の相関値を算出する方法として、例えば、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）法と呼ばれる方法が知られている。
　このような対応点探索の際に用いられる画像は、対象物に焦点の合った画像を用いることが望ましい。そこで、特許文献１に開示された技術では、各々曲率半径の異なる２以上のレンズペアで構成され、レンズペアとなる２つのレンズは、同じ曲率半径であるレンズアレイを備える撮像ユニットが用いられ、そして、撮像された各レンズの個眼像から、各レンズペアに対応する個眼像ペアの中から最も焦点の合った個眼像ペアが抽出され、個眼像ペアを用いて視差検出を行って距離画像が取得されている。
　また、このような対応点探索を行う２つの画像は、異なる視点から同一対象物を撮影した画像であることから、同一対象物を撮影したとしても、一方の画像にしか無い領域が存在する場合が発生し得る。対象物には奥行きがあり、奥行きには前後関係があることから、手前にある物体は、背後にある物体を隠す状態（オクルージョン）になるからである。そこで、特許文献２に開示された技術では、複数のカメラにより同一対象物が撮影され、エピポーララインが共通となるようにカメラがグループ分けされ、グループごとに基準画像と参照画像との相関値の和が求められ、相関が低いと判断されたグループの対応点は、採用しない。
特開２０１１－１４９９３１号公報 特開平１０－２８９３１５号公報
　しかし、上述の特許文献１の方法では、被写体までの距離の遠近に関わらず、正確な測距が行えるが、測距に用いる画像は最も焦点の合った個眼像ペアのみであるので、オクルージョンが生じた場合には、正確な測距は行えない。
　また、特許文献２の方法では、オクルージョンが発生する範囲を少なくすることは可能であるが、カメラを複数台、エピポーララインが共通となるように配置しなければならず、簡便に測距を行うことは難しい。
　本発明は、上述の事情に鑑みて為された発明であり、その目的は、オクルージョンを抑止し、簡便に、精度よく測距できる測距装置および測距方法を提供することである。
　本発明の一態様にかかる測距装置および測距方法では、焦点距離の異なる複数の第１および第２撮像光学系を持つ複眼カメラにおける、少なくとも３つの第１撮像光学系を用いて撮像された画像および少なくとも２つの第２撮像光学系を用いて撮像された画像に基づいて測定対象物までの距離が求められる。そして、前記２つの第２撮像光学系は、その基線長が前記３つの第１撮像光学系のうちの２つの第１撮像光学系の基線長よりも長くなるように、配置されている。したがって、本発明にかかる測距装置および測距方法は、オクルージョンを抑止し、簡便に、精度よく測距できる。
　上記並びにその他の本発明の目的、特徴および利点は、以下の詳細な記載と添付図面から明らかになるであろう。
実施形態における測距装置の構成を示すブロック図である。 前記測距装置の撮像部におけるアレイカメラの構成を示す図である。 前記撮像部におけるアレイレンズ部の構成例を示す図である。 前記測距装置における基準画像と参照画像との組み合わせを説明するための図である。 エピポーラ線と参照画像との関係を説明するための図である。 エピポーラ線を説明するための図である。 測距方法を説明するための図である。 遠距離の測定対象物を撮影する場合における、オクルージョンを説明するための図である。 近距離の測定対象物を撮影する場合における、オクルージョンを説明するための図である。 前記測距装置におけるオクルージョンを判定する方法を説明するための図である。 前記測距装置におけるサブピクセルでの対応点の算出を説明するための図である。 前記測距装置が行う測距測定処理のフローチャートである。 前記測距装置を用いた距離画像作成装置の構成を示すブロック図である。 前記撮像部におけるアレイレンズの構成の変形例を示す図である。
　以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
　＜構成＞
　図１は、実施形態における測距装置の構成を示すブロック図である。図２は、前記測距装置の撮像部におけるアレイカメラの構成を示す図である。図２Ａは、アレイレンズ部とアレイ撮像部との斜視図であり、図２Ｂは、アレイ撮像部の斜視図である。測距装置１００は、ステレオ法（立体視法）で得られた複数の画像に対し対応点探索を行って前記複数の画像間における視差を求めることによって測定対象である所定の物体までの距離（所定の座標系における測定対象物の座標）を測定する装置であり、アレイカメラにより取得された複数の画像に基づいて測定対象までの距離を求めるものである。測距装置１００は、アレイカメラのレンズ構成、および、対応点探索の画像の組み合わせにより、測定対象物の遠近を問わず、また、オクルージョンの影響を受け難い、より高精度の測距を実現するものである。
　測距装置１００は、例えば図１に示すように、撮像部１（画像取得部）、対応点探索部２、オクルージョン判定部３、距離算出部４、座標変換部５、記憶部６および全体制御部７を備える。なお、図１において、白抜き矢印は、データの流れを示し、破線矢印は、制御データの流れを示す。
　＜全体制御部７＞
　全体制御部７は、撮像部１～座標変換部５の各機能部を制御して、対象物までの距離を測定させ、測定された距離（所定の座標系における対応点の３次元座標）を記憶部６に記憶させる。
　＜撮像部１＞
　撮像部１は、同一の測定対象（物体、被写体）を撮像した複数の画像を取得するものである。撮像部１は、例えば、図２に示す、アレイカメラ１０を備える。なお、撮像部１の各カメラは、カメラパラメータ（画像中心、焦点距離、基準カメラに対する姿勢（回転、並進））が既知とする。
　アレイカメラ１０は、複数の個眼レンズを有するアレイレンズ部１２と、この複数の個眼レンズそれぞれによって結像された物体の光学像をそれぞれ撮像する複数の個眼撮像部を有するアレイ撮像部１１とを備える。なお、図２では、測距装置１００の撮像部１が備えるアレイカメラ１０のアレイレンズ部１２は、３行３列の２次元マトリクス状に配列された９つのレンズを備える例に説明するが、図３を用いて後述するように、レンズの配列および個数は、この例に限られない。
　図２Ａに示すように、アレイレンズ部１２は、複数の個眼レンズ１２１を備える。１個の個眼レンズ１２１は、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の個眼レンズ１２１は、図２に示す例では、各光軸が互いに略平行となるように、そして、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列される。図２に示す例では、複数の個眼レンズ１２１は、３行３列に２次元マトリクス状に配列された９個の個眼レンズ１２１－１１～１２１－３３として示されている。なお、個眼レンズ１２１－１２および個眼レンズ１２１－３３は、他の個眼レンズ１２１の合焦距離と比べて、合焦距離が長いレンズである。
　図２Ｂに示すように、アレイ撮像部１１は、複数の個眼撮像部１１１を備える。１個の個眼撮像部１１１は、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、受光した光の光量に応じて変換した電気信号を画像における各画素のデータとして出力する。複数の個眼撮像部１１１は、アレイレンズ部１２における複数の個眼レンズ１２１に対応し、各撮像面が互いに同一平面となるように配列される。図２に示す例では、複数の個眼撮像部１１１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図２に示す例では、複数の個眼撮像部１１１は、３行３列に２次元マトリクス状に配列された９個の個眼撮像部１１１－１１～１１１－３３として示されている。これら複数の個眼撮像部１１１は、同一の基板上に２次元マトリクス状に配列された複数の固体撮像素子を備えて構成されて良いが、図２に示す例では、１個の固体撮像素子（不図示）を備えて構成されている。この場合、１個の固体撮像素子における有効画素領域が、各個眼撮像部１１１に対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各個眼撮像部１１１として利用される。
　個眼撮像部１１１の各光電変換素子は、それぞれ、その受光した光をその光量に応じた電気信号に光電変換し、この電気信号を画像における各画素のデータとして出力する。複数の個眼撮像部１１１は、同じ被写体を写した略視差だけずれた画像データを出力する。撮像部１は、複数の個眼撮像部１１１が出力した複数の画像データに対して、ホワイトバランス処理、フィルタ処理、階調変換処理および色空間変換処理等のいわゆる通常の画像処理を施し、最終的な画像データを生成して、対応点探索部２に出力する。
　＜アレイレンズ部１２の構成例＞
　図３は、前記撮像部におけるアレイレンズ部の構成例を示す図である。図３では、１矩形が１つの個眼レンズ１２１を示す。図３Ａは、２行３列の２次元マトリクス状に配列された６個の個眼レンズ１２１で構成されたアレイレンズ部１２の例を示し、図３Ｂは、３行３列の２次元マトリクス状に配列された９個の個眼レンズ１２１で構成されたアレイレンズ部１２の例を示し、図３Ｃでは、２行４列の２次元マトリクス状に配列された８個の個眼レンズ１２１で構成されたアレイレンズ部１２の例を示す。
　矩形内の「Ｎ」は、焦点距離が短い方のレンズであることを示し、「Ｆ」は、焦点距離が長い方のレンズであることを示す。つまり、図３の例では、２種類の焦点距離のレンズが含まれている。以下、焦点距離が短いレンズは、「Ｎレンズ」と呼称され、焦点距離が長いレンズは、「Ｆレンズ」と呼称される。図３に示すように、アレイレンズ部１２を構成するＮレンズの数は、Ｆレンズの数よりも多い。図２に示すアレイレンズ部１２は、図３Ｂの矢印３０で示す構成である。
　Ｎレンズの矩形内の「〇」丸印は、対応点探索を行う際の、基準画像を撮像するＮレンズを示す。「○」丸印が付されたＮレンズが複数ある場合は、そのうちのいずれか１つのＮレンズで撮像された画像を基準画像とすることを示す。つまり、対応点探索部２において、Ｎレンズにより撮像された画像の１つを基準画像とし、他のＮレンズの画像を参照画像として、対応点探索を行う。Ｆレンズの矩形に「〇」丸印が付されていないのは、図３では、アレイレンズ部１２に含まれているＦレンズは２つであるので、いずれか一方を基準画像のレンズとすれば良いからである。なお、Ｆレンズも、３つ以上あってもよい。以下、Ｎレンズにより撮像された画像は、「Ｎレンズ画像」と呼称され、Ｆレンズにより撮像された画像は、「Ｆレンズ画像」と呼称される。
　＜画像の組み合わせ＞
　ここで、対応点探索を行う基準画像と参照画像との組み合わせ、つまり、画像のペアについて説明する。画像のペアを決定する場合、以下の３条件を満たす必要がある。
　１つ目の条件は、ペアにする画像は、Ｎレンズ画像同士、Ｆレンズ画像同士とすることである。焦点が合った画像同士で対応点探索を行い、高精度の測距を行うためである。
　２つ目の条件は、ペアにするＮレンズ画像を撮像するＮレンズ間の基線長は、ペアにするＦレンズ画像を撮像するＦレンズ間の基線長よりも短くなるように、Ｎレンズ画像同士をペアにすることである。言い換えると、ペアにするＦレンズ画像を撮像するＦレンズ間の基線長は、ペアにするＮレンズ画像を撮像するＮレンズ間の基線長よりも長くなるように、Ｎレンズ画像同士をペアにする。これは、Ｎレンズのペアと比べてＦレンズのペアの方が距離を測定する精度が低くなるため、基線長を長くすることで距離測定の精度を高めるためである。なお、レンズの配置によっては、或るＮレンズ間の基線長が、Ｆレンズ間の基線長よりも長くなる場合があるが、そのような基線長が長くなるようなＮレンズのペアは、実施形態では、測距に用いない。
　３つ目の条件は、Ｎレンズ画像同士のペアの個数は、Ｆレンズ画像同士のペアの個数よりも多くすることである。焦点距離が長いレンズによる画像のペアには、オクルージョンが発生し難いが、焦点距離が短いレンズによる画像のペアにはオクルージョンが発生し易いので、より多くのペアで対応点探索できるようにするためである。
　ここで、図８および図９を用いて、距離とオクルージョン領域（隠れによる非共通領域）について説明する。このオクルージョン領域の大きさは、測定対象物までの距離によって異なる。図２に示すアレイカメラ１０を用いて、測定対象物Ｏｂを撮影する場合について説明する。図８は、遠距離の測定対象物を撮影する場合における、オクルージョンを説明するための図である。図９は、近距離の測定対象物を撮影する場合における、オクルージョンを説明するための図である。
　図８には、個眼レンズ１２１－１１による撮像画像Ｐ１１と、個眼レンズ１２１－３３による撮像画像Ｐ３３とが示されている。なお、個眼レンズ１２１－１２および個眼レンズ１２１―３３は、Ｆレンズである。撮像画像Ｐ１１と撮像画像Ｐ３３とでは、オクルージョン部分は、限定的であり、テンプレートマッチングで対応点が見つかる可能性は、かなり高い。
　図９には、個眼レンズ１２１－２１、個眼レンズ１２１－２２および個眼レンズ１２１－２３それぞれによる撮像画像Ｐ２１、撮像画像Ｐ２２および撮像画像Ｐ２３が示されている。撮像画像Ｐ２１、撮像画像Ｐ２２および撮像画像Ｐ２３のそれぞれでは、撮像対象の人の頭部分Ｈにより、オクルージョン部分が大きくなっている。
　したがって、測距装置１００では、Ｎレンズ画像を用いて、より多くのペアで対応点探索を行うことで、オクルージョンが発生しても、より正確な距離を算出することを可能となる。基準画像は、他の画像の中心にあることが望ましい。撮像画像の中央を基準に、異なる方向を見ると、いずれかの方向にはオクルージョンではない領域が存在するためである。
　つまり、基線長を考えると、図３に示すような、アレイレンズ部１２の個眼レンズ１２１（ＮレンズおよびＦレンズ）の配置が、望ましい配置の例である。この配置は、上述の１つ目～３つ目の条件を満たしている。「○」丸印で示したＮレンズの画像、すなわち、個眼レンズ全体の中心に位置するＮレンズの画像、または、中心に一番近いＮレンズの画像を基準画像とするのが、最も望ましい。
　さらに、レンズの組み合わせに、以下のような４つ目の条件が課されることとしてもよい。
　４つ目は、Ｎレンズ画像同士の複数のペアの中の、少なくとも１つのペアは、異なる光軸の高さに位置するＮレンズ同士の画像のペアとする。つまり、１つのペアの一方のレンズの光軸と該一方のレンズに対応する個眼撮像部１１１の撮像面との交点と他方のレンズの光軸と該他方のレンズに対応する個眼撮像部１１１の撮像面との交点とを結ぶ直線と、他のいずれかのペアの一方のレンズの光軸と該一方のレンズに対応する個眼撮像部１１１の撮像面との交点と他方のレンズの光軸と該他方のレンズに対応する個眼撮像部１１１の撮像面との交点とを結ぶ直線とは、交わることが望ましい。言い換えれば、１つのペアの各レンズの各主点を結ぶ直線と、他のいずれかのペアの各レンズの各主点を結ぶ直線とは交わることが望ましい。
　このようなレンズのペアとすることで、光軸（視線）の高さが異なる画像ペア、つまり、オクルージョンが発生し難い画像ペアが選択されることとなる。このようなペアの例が、図４に示されている。図４は、前記測距装置における基準画像と参照画像との組み合わせを説明するための図である。図４Ａは、３行３列の２次元マトリクス状に配列された９個の個眼レンズ１２１で構成されるアレイレンズ部１２の例を示し、基準画像を撮像するレンズは、レンズＢ１とする。この場合、参照画像として、レンズＲ１、レンズＲ２だけでなく、レンズＢ１と光軸の高さが異なるレンズＲ３、レンズＲ４の画像を選択することで、４つ目の条件を満たすことになる。なお、左上、または、右下のレンズの画像が選択されてもよい。
　図４Ｂ、図４Ｃおよび図４Ｄは、２行４列の２次元マトリクス状に配列された８個の個眼レンズ１２１で構成されるアレイレンズ部１２の例を示し、基準画像を撮像するレンズは、レンズＢ２とする。この場合、図４Ｂでは、参照画像として、レンズＲ５、レンズＲ６の画像を選択し、図４Ｃでは、参照画像として、レンズＲ５、レンズＲ７の画像を選択し、図４Ｄでは、参照画像として、レンズＲ５、レンズＲ８の画像を選択することで、４つ目の条件が満たされることになる。
　ここで、図４Ａでは、例えば、レンズＢ１とレンズＲ２とのペアを選択した場合に、他のペアとしてレンズＢ１とレンズＲ３とのペアを選択することがより望ましい。つまり、レンズＢ１の主点とレンズＲ１の主点とを結ぶ直線と、レンズＢ１の主点とレンズＲ３の主点とを結ぶ直線とが直交するような関係にあるレンズペアを選択する。主点を結ぶ直線が直交している関係のレンズによる画像ペア同士の方が、直交していない関係のレンズによる画像ペア同士に比べてオクルージョンに強い可能性が高いからである。レンズＢ１とレンズＲ２との画像ペアで、オクルージョンが発生していた場合であっても、レンズＢ１とレンズＲ３との画像ペアでは、オクルージョンが発生していない可能性が高い。この点から、図４Ｂにおいて、レンズＢ２とレンズＲ５の画像ペアとレンズＢ２とレンズＲ６の画像ペアは、オクルージョンに強い画像ペアと言える。
　なお、測距装置１００のアレイレンズ部１２の配列および個数は、図３の例に限られず、任意の配列および個数でよい。また、焦点距離も２種類以上あればよい。その例が、図１４に示されている。
　図１４は、前記撮像部におけるアレイレンズの構成の変形例を示す図であり、図１４には、一変形例として、５行５列の２次元マトリクス状に配列された２５個の個眼レンズ１２１で構成されたアレイレンズ部１２の構成の変形例が示されている。ここでは、矩形内の番号を用いて、番号が「０」のレンズは、「レンズ０」と呼称され、番号が「１」のレンズは、「レンズ１」と呼称される。
　図１４に示すアレイレンズ部１２は、焦点距離が３通りのレンズで構成されている。１矩形が１つの個眼レンズ１２１を示し、ハッチングが同じレンズが同じ焦点距離のレンズを示す。つまり、レンズ０～５、９、１０、１３、１４、１８～２３が、焦点距離が最も長いレンズを示す。レンズ６、８、１５、１７が、焦点距離が２番目に長いレンズを示し、レンズ７、１１、Ｎ、１２、１６が、焦点距離が最も短いレンズを示す。この配置において、焦点距離が同じレンズによる画像同士をペアにする場合に、基線長が最も長くなるような組合せが望ましい。例えば、レンズ０～５、９、１０、１３、１４、１８～２３のレンズにおいて、レンズ０と２３のペアまたはレンズ４と１９のペアが望ましい。このように各焦点距離のレンズにおいて基線長が最も長くなるようにペアを組んだ場合、ペアのレンズ間の基線長は、焦点距離に比例する。つまり、基線長の長さが、焦点距離が最も長いレンズ間の基線長、焦点距離が２番目に長いレンズ間の基線長、焦点距離が最も短いレンズ間の基線長の順に、徐々に短くなっている。例えば、レンズ０とレンズ２３とのペアで対応点探索を行う場合の基線長は最も長くなる。レンズ６とレンズ１７のペアで対応点探索を行う場合の基線長は、２番目に長い。また、レンズＮによる画像を基準画像とし、レンズ７による画像、レンズ１１による画像、レンズ１２による画像、および、レンズ１６による画像を参照画像とし、対応点探索を行う場合の基準画像と参照画像の基線長は、最も短くなる。本変形例のように焦点距離の種類が多い程、より高精度な測距を行うことが可能となる。
　＜対応点探索部２＞
　次に、図１の対応点探索部２について説明する。対応点探索部２は、上述した画像のペアを用いて対応点探索処理を行い、各ペアの対応点探索の結果として、図６Ｃに示すようなグラフのデータをペアごとに、オクルージョン判定部３に出力する。例えば、アレイレンズ部１２が、図３Ｂの矢印３０で示す構成である場合には、１つの注目点に対し、Ｆレンズ画像同士の１ペア、Ｎレンズ画像の基準画像（「○」丸印）と周囲の６つのＮレンズ画像それぞれとの６ペアの対応点探索が行われ、７つのグラフがオクルージョン判定部３に出力される。
　まず、図５ないし図７を用いて、エピポーラ線を用いた対応点探索について説明する。図５は、エピポーラ線と参照画像との関係を説明するための図である。図６は、エピポーラ線を説明するための図である。図６Ａは、基準画像の例を示し、図６Ｂは、参照画像の例を示し、図６Ｃは、一致度グラフの例を示す図である。図７は、測距方法を説明するための図である。
　エピポーラ線とは、図５に示すように、点ＯＬと対象点Ｘとを結ぶ直線（基準画像側のカメラの視線）を参照画像上に投影した線である。点ＯＬ、点ＯＲは、それぞれ、基準画像、参照画像を撮影するカメラの投影中心であり、点ｅＬ、点ｅＲは、それぞれ、他方のカメラの投影であり、基準画像上の点ＸＬは、対象物Ｘの像である。つまり、基準画像側のカメラの視線上に対象点Ｘが存在するので、その視線の投影である参照画像上のエピポーラ線上には、対象点Ｘの像である点ＸＲが写っていることになる。したがって、エピポーラ線上に複数のウィンドウ（点Ｘ１、点Ｘ２等の像それぞれを内包するウィンドウ）を設定し、基準画像上の点ＸＬを内包するウィンドウとの相関値を算出し、最も相関値の高いウィンドウを探索することによって、対応点として点ＸＲが求められる。
　図６Ａの基準画像上の点ＡＰを注目点とし、図６Ｂの参照画像中の対応点ＣＰを探索する場合を考える。参照画像中の対応点は、図５を用いて上述したように、参照画像上のエピポーラ線上に存在する。したがって、実施形態では、参照画像中のエピポーラ線ＥＰ上の或る点を重心（中心）とするウィンドウＷと、基準画像の注目点ＡＰを重心としたウィンドウであるテンプレートＴとの相関値が算出され、次に、エピポーラ線ＥＰ上の或る点から所定数の画素ずらした点を内包するウィンドウＷとテンプレートＴとの相関値が算出され、さらに、所定数の画素ずらした点を内包するウィンドウＷとテンプレートＴとの相関値が算出され、以下、同様の処理が繰り返される（以下、この処理は、「エピポーラ線ＥＰを走査する」と呼称される。）。そして、算出された相関値が最も高いウィンドウの重心が、対応点ＣＰとして決定される。つまり、エピポーラ線ＥＰ上の複数の点（以下、「走査点」という。）それぞれを重心とするウィンドウＷと、基準画像の注目点ＡＰを重心としたウィンドウであるテンプレートＴとの相関値がそれぞれ算出され、算出された相関値が最も高いウィンドウの重心が、対応点ＣＰと決定される。図６Ｂでは、破線および実線の矩形でウィンドウＷが示され、実線の矩形は、対応点ＣＰを内包するウィンドウＷを示す。
　この場合の、エピポーラ線ＥＰを走査した結果、つまり、エピポーラ線ＥＰ上の各走査点の座標（画素位置）と、各走査点を重心とするウィンドウＷとテンプレートＴとの相関値との関係を表したグラフが図６Ｃに示されている。このグラフ（以下、「一致度グラフ」という。）では、横軸に座標（走査点の画素位置）を示し、縦軸に一致度（相関値）を示す。一致度グラフは、予め設定された所定の座標範囲で作成される。一致度が最も高い点に対応する座標（画素位置）が、対応点ＣＰの座標（画素位置）となる。
　対応点探索部２は、基準画像中の注目点ＡＰに対する参照画像中のエピポーラ線ＥＰ上を走査（探索）する。詳細には、対応点探索部２は、エピポーラ線ＥＰ上の各走査点を重心とするウィンドウＷと、注目点ＡＰを重心とするテンプレートＴとの一致度を算出し、算出した各走査点の座標（画素位置）と一致度とをオクルージョン判定部３に出力する。
　一致度（類似度）には、実施形態では、ＮＣＣ（正規化相互相関：Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）が用いられる。ＮＣＣでは、以下の式を用いて類似度ＲＮＣＣが算出される。算出された類似度ＲＮＣＣが１に近い程、似ていることを示す。
Figure JPOXMLDOC01-appb-M000001
 ここで、Ｔ（ｉ，ｊ）は、テンプレートＴの画素の輝度値であり、Ｉ（ｉ，ｊ）は、参照画像のウィンドウＷの画素の輝度値である。座標（ｉ，ｊ）は、テンプレートＴの幅をＭ画素とし、高さをＮ画素としたとき、テンプレートの左上の座標を（０，０）、右下を（Ｍ－１，Ｎ－１）とする場合の座標である。
　なお、ＮＣＣの他、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）等を用いて類似度が算出されてもよい。ＳＡＤは、以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000002
 ＳＡＤは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の絶対値の合計であり、値が小さい程、似ていることになる。
　ＳＳＤは、以下の式を用いて算出される。
Figure JPOXMLDOC01-appb-M000003
 ＳＳＤは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の２乗の合計であり、値が小さい程、似ていることになる。
　＜オクルージョン判定部３＞
　次に、オクルージョン判定部３は、対応点探索部２から取得した各ペアの対応点探索の結果、つまり、エピポーラ線ＥＰ上の各走査点（画素位置）と一致度（相関値）との関係を表した一致度グラフ（図６Ｃ等参照）に基づいて、オクルージョンの発生の有無を判断する。そして、オクルージョン判定部３は、オクルージョンが発生していないと判断した一致度グラフから対応点（画素位置）を算出し、算出した対応点を距離算出部４に出力する。
　オクルージョン判定部３が行う判定処理について、図１０を用いて説明する。図１０は、前記測距装置におけるオクルージョンを判定する方法を説明するための図である。図１０には、それぞれ異なる３つの参照画像（参照画像Ｎ１、参照画像Ｎ２、参照画像Ｎ３）それぞれから作成された一致度グラフの例が示されている。図１０Ａの一致度グラフは、参照画像Ｎ１との対応点探索の結果を示し、図１０Ｂの一致度グラフは、参照画像Ｎ２との対応点探索の結果を示し、図１０Ｃの一致度グラフは、参照画像Ｎ３との対応点探索の結果を示す。これら各図において、横軸は、走査点の画素位置の座標を示し、縦軸は、一致度を示す。
　オクルージョン判定部３は、一致度が所定の閾値Ｔｈ以下の一致度グラフを、オクルージョンが発生したペアであると判定する。例えば、オクルージョン判定部３は、図１０Ａの一致度グラフ、および、図１０Ｂの一致度グラフは、一致度が閾値Ｔｈを超える部分があるので、オクルージョンが発生していないと判断し、図１０Ｃの一致度グラフは、一致度が閾値ＴＨを超える部分が無いので、オクルージョンが発生していると判断する。
　オクルージョンが発生した画像ペアとは、例えば、基準画像の注目点が、参照画像内に写っていないペアである。例えば、図９の撮像画像Ｐ２２を基準画像とし、撮像画像Ｐ２１を参照画像とした場合には、注目点が撮像画像Ｐ２２の左側の木の幹上に在る場合には、撮像画像Ｐ２１では、左側の木の幹（注目点）は、人の頭部分Ｈに隠れて写っていない。したがって、撮像画像Ｐ２２と撮像画像Ｐ２１とのペアは、オクルージョンが発生していることになる。撮像画像Ｐ２２を基準画像とし、撮像画像Ｐ２３を参照画像とした場合には、注目点が撮像画像Ｐ２２の左側の木の幹上に在る場合には、撮像画像Ｐ２３に左側の木の幹（注目点）は、写っている。したがって、撮像画像Ｐ２２と撮像画像Ｐ２３とのペアは、オクルージョンが発生していないことになる。
　つまり、注目点ＡＰの対応点探索を行った場合（図６参照）、オクルージョンが発生している画像のペアでは、テンプレートＴとの一致度が高くなるウィンドウＷが存在しないので、一致度が低い一致度グラフとなる。
　オクルージョン判定部３は、オクルージョンが発生していないと判断した一致度グラフの頂点に対応する画素位置を求め、対応点の座標（画素位置）とする。図１１は、前記測距装置におけるサブピクセルでの対応点の算出を説明するための図である。対応点の座標（画素位置）は、図１１に示すように、頂点付近の３点（黒丸で示す）により２次関数近似を行って求められる。つまり、頂点付近の３点以上の点を用いて２次関数が求められ、この求められた２次関数による曲線の頂点（白丸で示す）が求められる。この求められた頂点に対応する画素位置が、サブピクセルでの対応点の座標（画素位置）となる。一致度は、エピポーラ線ＥＰ上の走査点ごとに求めるので、走査点の一致度がピーク視差の一致度であるとは限らない。したがって、このように２次関数による近似を行うことで、一致度グラフのピークがより高精度に求められる。なお、最も高い一致度が求められた走査点の画素位置が、対応点の座標（画素位置）とされてもよい。
　＜距離算出部４＞
　距離算出部４は、オクルージョン判定部３から渡された対応点から、測定対象物Ｏｂまでの距離を算出する。距離算出部４は、ペアごとに、測定対象物Ｏｂまでの距離を算出し、基準画像または参照画像の座標系（３次元）の３次元座標として、座標変換部５に出力する。
　測定対象物Ｏｂまでの距離は、対応点探索により求めた基準画像と参照画像とのずれ量、つまり、基準画像の注目点と参照画像の対応点とのずれ量に比例する。ここで、距離の算出について、図７を用いて説明する。予め定める間隔（基線長）だけ離間して設けられた一対のカメラによって被写体（測定対象物Ｏｂ）の各画像が得られ、これら各画像に対し対応点探索がピクセル単位で実行される。そして、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図７において、少なくとも焦点距離（ｆ）、撮像面の画素数、１画素の大きさ（μ）が相互に等しい２台の第１および第２カメラが、所定の基線長（Ｂ）だけ左右に離間させてそれぞれの光軸を平行に配置され、これら第１および第２カメラで物体（被写体）Ｏｂが撮影された場合に、撮像面ＩＰ－１、ＩＰ－２上の視差（ずれ画素数）がｄであるとすると、前記物体（被写体）Ｏｂまでの距離（Ｚ）は、
Ｚ：ｆ＝Ｂ：（ｄ×μ）
の関係があり、
Ｚ＝（Ｂ×ｆ）／（ｄ×μ）
で求めることができる。
　＜座標変換部５＞
　座標変換部５は、距離算出部４から渡された各ペアにおける対応点の３次元座標を、同一の座標系の座標（３次元）に変換する。つまり、Ｎレンズ画像同士のペア、および、Ｆレンズ画像同士のペアでそれぞれ求められた対応点の３次元座標が、１つの座標系で表されることになる。実施形態では、対応点の３次元座標は、Ｎレンズ画像の基準画像の座標系に合わせられるが、他の画像の座標系でも良く、また、予め定められた座標系であってもよい。
　撮像部１のアレイカメラ１０の各カメラは、カメラパラメータ（画像中心、焦点距離、基準カメラに対する姿勢（回転、並進））が既知である。カメラパラメータ行列は、以下の式の行列の積を予め計算したものである。
Figure JPOXMLDOC01-appb-M000004
 ここで、（ｘ，ｙ）は、画像の座標系の座標位置であり、（Ｘ，Ｙ，Ｚ）は、世界座標系の座標位置である。左辺の３つの行列のうち、中央の行列は、透視変換行列である。世界座標系原点は、投影中心（レンズの主点）であり、Ｙ軸は、レンズの光軸に平行である。画像の中心は、投影中心から下ろした垂線の足であり、アスペクト比は、１．０である。ｆは、レンズの焦点距離を示す。左側の行列は、内部パラメータ行列Ａであり、ａは、アスペクト比を示し、ｓは、スキュー比を示し、（ｔｘ，ｔｙ）は、画像の中心を示す。右側の行列は、外部パラメータ行列であり、透視変換行列と世界座標の間に挿入する、並進・回転の同次座標変換行列［Ｒ｜Ｔ］である。
　既知の（Ｘ，Ｙ，Ｚ）と（ｘ，ｙ）の組から、カメラパラメータが求められる。この算出には、例えば、次の文献を参照できる。
“Ａ　ｆｌｅｘｉｂｌｅ　ｎｅｗ　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ”．　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　２２（１１）：１３３０－１３３４，　２０００
　ここで、光軸の回転をＲ、主点位置の並進をＴとすると、以下の式で座標は、変換される。変換後の基準画像の座標系の座標（Ｘa，Ｙa，Ｚa）がｍとされ、変換前の参照画像の座標系の座標（Ｘb，Ｙb，Ｚb）がＭとされる。
ｍ＝Ｒ・Ｍ＋Ｔ
　＜記憶部６＞
　記憶部６は、座標変換部５が算出した対応点の３次元座標を、ペアごとに記憶する。記憶された３次元座標は、測定対象物Ｏｂまでの距離を算出する処理や、測定対象物Ｏｂの表面形状を求める処理や、各画素の距離成分で構成された距離画像を作成する処理等に利用されることになる。
　図１３に、前記測距装置を用いた測距画像作成装置の構成を示すブロック図である。測距画像作成装置２００は、測距装置１００、距離画像生成部１１０および表示部１２０を備える。
　測距装置１００は、上述したように、測定対象物Ｏｂを撮影した画像ペアごとの対象物の３次元座標を算出する。
　距離画像生成部１１０は、測距装置１００が算出したペアごとの対応点の３次元座標から、対応点の座標（３次元）を決定する。例えば、距離画像生成部１１０は、全部のペアの対応点座標の平均値を求め、対応点の座標（３次元）とする。あるいは、Ｎレンズのペアのうち、基線長が最も長いペアの対応点の３次元座標が採用されてもよい。ＦレンズのペアよりＮレンズの方が精度よく距離を算出でき、またＮレンズのペアの中でも基線長が長いペアの方がより精度よく距離を算出できるからである。また、図６、図１０に示す一致度グラフに基づいて、最も信頼性が高い一致度グラフのペアの対応点が採用されてもよい。
　表示部１２０は、いわゆるディスプレイであり、距離画像生成部１１０が生成した距離画像を、例えば、距離に応じた色の画素で構成された画像として表示する。
　なお、図１において、対応点探索部２～全体制御部７は、例えば、マイクロプロセッサ、メモリおよびその周辺回路を備えるマイクロコンピュータによって構成され、メモリには、対応点探索を行うためのプログラムや、測距装置１００全体を制御するための制御プログラム等の各種のプログラム、プログラムの実行に必要なデータ等の各種のデータが記憶され、いわゆるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等であるマイクロプロセッサが、メモリに記憶されているプログラムを実行することにより、各機能部の全部または一部を実現する。
　＜動作＞
　次に、実施形態の測距装置１００の動作について説明する。ここでは、図２に示すアレイレンズ部１２を用いる場合を説明する。
　図１２は、測距装置１００の測距処理を示すフローチャートである。
　全体制御部７は、インターフェース部（不図示）を介して、処理開始の指示を受け付けると、撮像部１に測定対象物Ｏｂの撮像画像の出力を指示する。
　指示を受けた撮像部１は、アレイカメラ１０に測定対象物Ｏｂを撮影させ、アレイ撮像部１１からの信号に基づいた各撮像画像を、対応点探索部２に出力する（ステップＳ１０）。
　対応点探索部２は、撮像部１から入力した各撮像画像を、内部の作業メモリに記憶する。対応点探索部２は、まず、Ｆレンズ画像のペアを作業メモリから読み出す（ステップＳ１１）。例えば、対応点探索部２は、個眼レンズ１２１－１１による撮像画像Ｐ１１と、個眼レンズ１２１－３３による撮像画像Ｐ３３とを読み出す。
　そして、対応点探索部２は、Ｆレンズ画像のペアのうちのいずれか一方を基準画像とし、他方を参照画像として、対応点探索を行い、図６Ｃで示すような一致度グラフを作成し、オクルージョン判定部３に出力する（ステップＳ１２）。
　対応点探索部２から、Ｆレンズ画像のペアの一致度グラフを入力したオクルージョン判定部３は、一致度グラフの頂点に対応する対応点の座標（画素位置）を算出し、距離算出部４に出力する（ステップＳ１３）。なお、実施形態では、Ｆレンズ画像のペアは、オクルージョンが発生し難いことからオクルージョン判定は、行わないが、オクルージョン判定を行うこととしてもよい。
　Ｆレンズ画像のペアの一致度グラフをオクルージョン判定部３に渡した対応点探索部２は、作業メモリから、Ｎレンズ画像のペアを読み出す（ステップＳ１４）。実施形態では、いずれのＮレンズ画像を基準画像とし、いずれのＮレンズ画像を参照画像とするかは、予め決められているものとする。
　そして、対応点探索部２は、Ｎレンズ画像の１つのペアの、対応点探索を行い、一致度グラフを作成し、オクルージョン判定部３に出力する（ステップＳ１５）。
　対応点探索部２から、Ｎレンズ画像のペアの一致度グラフを入力したオクルージョン判定部３は、上述したように、オクルージョン判定を行い、オクルージョンが発生していないと判断した場合には（ステップＳ１７：Ｎｏ）、一致度グラフの頂点に対応する対応点の座標（画素位置）を算出し、距離算出部４に出力する（ステップＳ１８）。一方、ステップＳ１７においてオクルージョンが発生していると判定した場合には（ステップＳ１７：Ｙｅｓ）、オクルージョン判定部３は、対応点の算出は行わない。
　対応点探索部２は、Ｎレンズ画像のペアの全ての処理が終了するまで、対応点探索を行う（ステップＳ１９：Ｙｅｓ）。
　オクルージョン判定部３から、Ｆレンズ画像のペア、または、Ｎレンズ画像のペアの対応点の座標（画素位置）を入力した距離算出部４は、上述したように、測定対象物Ｏｂまでの距離を算出する。そして、距離算出部４は、対応点の、参照画像の座標系における３次元座標を算出し、座標変換部５に出力する（ステップＳ２０）。
　距離算出部４から各ペアの対応点の３次元座標を入力した座標変換部５は、上述したように、全てのペアの対応点座標を、Ｎレンズ画像の基準画像の座標系における３次元座標に変換し（ステップＳ２１）、記憶部６に記憶させる（ステップＳ２２）。
　これで、基準画像内の１つの注目点の３次元座標の候補が算出されたことになる。なお、本実施形態では、Ｆ画像ペアによる対応点算出を行った後にＮ画像ペアによる対応点算出を行ったが、逆の順序でもよい。
　＜補足＞
　実施形態では、一致度グラフを曲線のグラフとしているが、折れ線グラフ、棒グラフ等であってもよい。
　本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
　一態様にかかる測距装置は、複数の第１撮像光学系、および、前記第１撮像光学系よりも焦点距離が長い複数の第２撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第１撮像部と、前記複数の第２撮像光学系に対応し、前記複数の第２撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第２撮像部と、を備える複眼カメラと、前記複数の第１撮像光学系のうち、少なくとも３つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記複数の第２撮像光学系のうち、少なくとも２つの第２撮像光学系に対応する第２撮像部で撮像された画像とに基づいて前記測定対象物までの距離を求める距離算出部とを備え、前記２つの第２撮像光学系は、当該２つの第２撮像光学系の基線長が、前記３つの第１撮像光学系のうちの２つの第１撮像光学系の基線長よりも長くなるように、配置されている。好ましくは、上述の測距装置において、前記３つの第１撮像光学系は、第１の第１撮像光学系の主点と第２の第１撮像光学系の主点とを結ぶ第１直線と、前記第１の第１撮像光学系の主点と、第３の第１撮像光学系の主点とを結ぶ第２直線とが交差するように、配置されている。
　他の一態様にかかる測距方法は、複数の第１撮像光学系、および、前記第１撮像光学系よりも焦点距離が長い複数の第２撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第１撮像部と、前記複数の第２撮像光学系に対応し、前記複数の第２撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第２撮像部とを備える複眼カメラを有する測距装置で用いられる測距方法であって、前記複数の第１撮像光学系のうち、少なくとも３つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記複数の第２撮像光学系のうち、少なくとも２つの第２撮像光学系に対応する第２撮像部で撮像された画像とに基づいて前記測定対象物までの距離を求める距離算出ステップを備え、前記２つの第２撮像光学系は、当該２つの第２撮像光学系の基線長が、前記３つの第１撮像光学系のうちの２つの第１撮像光学系の基線長よりも長くなるように配置されている。
　このような測距装置および測距方法は、焦点距離が異なる撮像光学系による撮像画像を用いて測距するので、測定対象物までの距離の遠近に関わらず、精度の高い測距を行うことが可能となる。焦点距離が短い第１撮像光学系による撮像画像は、焦点距離が長い第２撮像光学系による撮像画像よりも数が多く、オクルージョンが発生していない画像を選択できる可能性が高くなるので、精度の高い測距を行うことが可能となる。このように主点を結ぶ直線が交差するような第１撮像光学系による撮像画像は、視点（光軸）の高さが異なる画像であるので、オクルージョンが発生していない画像である可能性が高くなる。結果として、測定対象物までの距離をより正確に算出できる可能性が高くなる。
　他の一態様では、上述の測距装置において、前記３つの第１撮像光学系は、前記第１直線と前記第２直線とが直交するように、配置されている。
　この構成によれば、例えば、第１直線上の第１撮像光学系による撮像画像では、オクルージョンが発生している場合であっても、第１直線と直交する第２直線上の第１撮像光学系による撮像画像では、オクルージョンが発生していない可能性が高くなる。つまり、主点を結ぶ直線が直交するように光学系が配置されることで、オクルージョン発生の抑止効果がより高まることになる。結果として、測定対象物までの距離をより正確に算出できる可能性が高くなる。
　他の一態様では、これら上述の測距装置において、前記第１の第１撮像光学系は、前記複数の第１撮像光学系および前記複数の第２撮像光学系全体の中心または中心に近い位置に配置されている。
　他の一態様では、これら上述の測距装置において、前記複眼カメラは、前記第２撮像光学系よりも焦点距離が長い複数の第３撮像光学系と、前記複数の第３撮像光学系に対応し、前記複数の第３撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第３撮像部とを、さらに備え、前記距離算出部は、さらに、前記複数の第３撮像光学系のうち、少なくとも２つの第３撮像光学系に対応する第３撮像部で撮像された画像とに基づいて前記測定対象物までの距離を求め、前記第３撮像光学系のうちの２つの第３撮像光学系の基線長は、前記２つの第２撮像光学系の基線長よりも長くなるように、配置されている。
　これによれば、焦点距離が３種類の撮像光学系による撮像画像を用いることができるので、測定対象物までの距離の遠近に関わらず、より高精度の測距ができる可能性が高くなる。
　他の一態様では、これら上述の測距装置において、前記３つの第１撮像光学系にそれぞれ対応する第１撮像部により撮影された３つの画像のうち、１つを基準画像とし、他の画像それぞれを参照画像として、前記基準画像上の注目点に対応する前記参照画像上の対応点を通ると推定される所定の線上の複数の走査点それぞれについて、前記走査点を含むウィンドウと前記注目点を含むウィンドウとの相関の度合いを示す一致度とを算出する対応点探索部と、走査点の座標を横軸に、前記走査点それぞれに対応する一致度を縦軸とするグラフの形状に基づいて、オクルージョンの有無を判定するオクルージョン判定部を、さらに備え、前記距離算出部は、前記オクルージョン判定部が、オクルージョンが発生していないと判定した参照画像上の対応点を用いて、前記測定対象物までの距離を求める。
　これによれば、オクルージョンが発生していると推測される撮像画像を用いずに測距するので、より高精度の測距ができる可能性が高くなる。
　この出願は、２０１４年４月１６日に出願された日本国特許出願特願２０１４－８４５８０を基礎とするものであり、その内容は、本願に含まれるものである。
　本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
　本発明によれば、測距装置および測距方法を提供できる。

Claims (7)

  1. 　複数の第１撮像光学系、および、前記第１撮像光学系よりも焦点距離が長い複数の第２撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第１撮像部と、前記複数の第２撮像光学系に対応し、前記複数の第２撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第２撮像部と、を備える複眼カメラと、
    　前記複数の第１撮像光学系のうち、少なくとも３つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記複数の第２撮像光学系のうち、少なくとも２つの第２撮像光学系に対応する第２撮像部で撮像された画像とに基づいて前記測定対象物までの距離を求める距離算出部とを備え、
    　前記２つの第２撮像光学系は、当該２つの第２撮像光学系の基線長が、前記３つの第１撮像光学系のうちの２つの第１撮像光学系の基線長よりも長くなるように、配置されている、
    　測距装置。
  2. 　前記３つの第１撮像光学系は、第１の第１撮像光学系の主点と第２の第１撮像光学系の主点とを結ぶ第１直線と、前記第１の第１撮像光学系の主点と、第３の第１撮像光学系の主点とを結ぶ第２直線とが交差するように配置されている、
    　請求項１の測距装置。
  3. 　前記３つの第１撮像光学系は、前記第１直線と前記第２直線とが直交するように、配置されている、
    　請求項２の測距装置。
  4. 　前記第１の第１撮像光学系は、前記複数の第１撮像光学系および前記複数の第２撮像光学系全体の中心または中心に近い位置に配置されている、
    　請求項２または請求項３に記載の測距装置。
  5. 　前記複眼カメラは、前記第２撮像光学系よりも焦点距離が長い複数の第３撮像光学系と、前記複数の第３撮像光学系に対応し、前記複数の第３撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第３撮像部とを、さらに備え、
    　前記距離算出部は、更に、前記複数の第３撮像光学系のうち、少なくとも２つの第３撮像光学系に対応する第３撮像部で撮像された画像とに基づいて前記測定対象物までの距離を求め、
    　前記第３撮像光学系のうちの２つの第３撮像光学系の基線長は、前記２つの第２撮像光学系の基線長よりも長くなるように、配置されている、
    　請求項１ないし請求項４のいずれか一項に記載の測距装置。
  6. 　前記３つの第１撮像光学系にそれぞれ対応する第１撮像部により撮影された３つの画像のうち、１つを基準画像とし、他の画像それぞれを参照画像として、前記基準画像上の注目点に対応する前記参照画像上の対応点を通ると推定される所定の線上の複数の走査点それぞれについて、前記走査点を含むウィンドウと前記注目点を含むウィンドウとの相関の度合いを示す一致度とを算出する対応点探索部と、
    　走査点の座標を横軸に、前記走査点それぞれに対応する一致度を縦軸とするグラフの形状に基づいて、オクルージョンの有無を判定するオクルージョン判定部を、更に備え、
    　前記距離算出部は、前記オクルージョン判定部が、オクルージョンが発生していないと判定した参照画像上の対応点を用いて、前記測定対象物までの距離を求める、
    　請求項１ないし請求項３のいずれか一項に記載の測距装置。
  7. 　複数の第１撮像光学系、および、前記第１撮像光学系よりも焦点距離が長い複数の第２撮像光学系が一体に配列され、前記複数の第１撮像光学系に対応し、前記複数の第１撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第１撮像部と、前記複数の第２撮像光学系に対応し、前記複数の第２撮像光学系それぞれによって結像された測定対象物の光学像を撮像する複数の第２撮像部とを備える複眼カメラを有する測距装置で用いられる測距方法であって、
    　前記複数の第１撮像光学系のうち、少なくとも３つの第１撮像光学系に対応する第１撮像部で撮像された画像と、前記複数の第２撮像光学系のうち、少なくとも２つの第２撮像光学系に対応する第２撮像部で撮像された画像とに基づいて前記測定対象物までの距離を求める距離算出ステップを備え、
    　前記２つの第２撮像光学系は、当該２つの第２撮像光学系の基線長が、前記３つの第１撮像光学系のうちの２つの第１撮像光学系の基線長よりも長くなるように配置されている、
    　測距方法。
     
PCT/JP2015/061099 2014-04-16 2015-04-09 測距装置および測距方法 WO2015159791A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014084580 2014-04-16
JP2014-084580 2014-04-16

Publications (1)

Publication Number Publication Date
WO2015159791A1 true WO2015159791A1 (ja) 2015-10-22

Family

ID=54324000

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061099 WO2015159791A1 (ja) 2014-04-16 2015-04-09 測距装置および測距方法

Country Status (1)

Country Link
WO (1) WO2015159791A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032986A (ja) * 2016-08-24 2018-03-01 ソニー株式会社 情報処理装置および方法、車両、並びに情報処理システム
JP2018197674A (ja) * 2017-05-23 2018-12-13 オリンパス株式会社 計測装置の作動方法、計測装置、計測システム、３次元形状復元装置、およびプログラム
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346130A (ja) * 2002-05-22 2003-12-05 Saibuaasu:Kk ３次元情報処理装置および３次元情報処理方法
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置
JP2011117787A (ja) * 2009-12-02 2011-06-16 Ricoh Co Ltd 距離画像入力装置と車外監視装置
JP2011203238A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 撮像装置及び距離測定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346130A (ja) * 2002-05-22 2003-12-05 Saibuaasu:Kk ３次元情報処理装置および３次元情報処理方法
JP2011117787A (ja) * 2009-12-02 2011-06-16 Ricoh Co Ltd 距離画像入力装置と車外監視装置
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置
JP2011203238A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 撮像装置及び距離測定装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032986A (ja) * 2016-08-24 2018-03-01 ソニー株式会社 情報処理装置および方法、車両、並びに情報処理システム
US11195292B2 (en) 2016-08-24 2021-12-07 Sony Corporation Information processing apparatus and method, vehicle, and information processing system
JP2018197674A (ja) * 2017-05-23 2018-12-13 オリンパス株式会社 計測装置の作動方法、計測装置、計測システム、３次元形状復元装置、およびプログラム
US11321861B2 (en) 2017-05-23 2022-05-03 Olympus Corporation Method of operating measurement device, measurement device, measurement system, three-dimensional shape restoration device, and recording medium
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
US20230362344A1 (en) System and Methods for Calibration of an Array Camera
EP3531066B1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
WO2017076106A1 (zh) 图像的拼接方法和装置
JP2009529824A (ja) ３次元映像獲得用ｃｍｏｓステレオカメラ
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2004340840A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
US20160105660A1 (en) Image processing apparatus and image processing method
JP6702796B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP7168077B2 (ja) ３次元計測システム及び３次元計測方法
JP6009206B2 (ja) ３次元計測装置
US11175568B2 (en) Information processing apparatus, information processing method, and program as well as in interchangeable lens
JP2015049200A (ja) 計測装置、方法及びプログラム
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
JP6411188B2 (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
WO2015159791A1 (ja) 測距装置および測距方法
US11348271B2 (en) Image processing device and three-dimensional measuring system
TWI571099B (zh) 深度估測裝置及方法
US10134136B2 (en) Image processing apparatus and image processing method
JP7195801B2 (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
US10356394B2 (en) Apparatus and method for measuring position of stereo camera
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
WO2020017377A1 (ja) 測距カメラ
JP6241083B2 (ja) 撮像装置及び視差検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15779464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15779464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP