WO2006075528A1 - ３次元オブジェクト計測装置 - Google Patents

３次元オブジェクト計測装置 Download PDF

Info

Publication number
WO2006075528A1
WO2006075528A1 PCT/JP2005/024098 JP2005024098W WO2006075528A1 WO 2006075528 A1 WO2006075528 A1 WO 2006075528A1 JP 2005024098 W JP2005024098 W JP 2005024098W WO 2006075528 A1 WO2006075528 A1 WO 2006075528A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
pedestal
dimensional object
mirror
Prior art date
Application number
PCT/JP2005/024098
Other languages
English (en)
French (fr)
Inventor
Yoshitsugu Manabe
Kunihiro Chihara
Yuuki Uranishi
Original Assignee
National University Corporation NARA Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University Corporation NARA Institute of Science and Technology filed Critical National University Corporation NARA Institute of Science and Technology
Priority to JP2006552886A priority Critical patent/JP4742190B2/ja
Publication of WO2006075528A1 publication Critical patent/WO2006075528A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Definitions

  • the present invention captures a three-dimensional object from a plurality of angles, and based on the correspondence between a feature point in one image and a feature point (corresponding feature point) in another image corresponding to the feature point.
  • the present invention also relates to a 3D object measuring apparatus for performing 3D object stereo measurement processing using a plurality of images and generating 3D image data of the 3D object.
  • One of the typical educational contents is an electronic picture book of insects and animals.
  • electronic pictorial books that digitize information on insects and animals, which can be browsed via the Internet, but some of the current electronic pictorial books are two-dimensional planes published in existing pictorial books.
  • electronic pictorial books that only take photographs etc. as digital data and make them into a database that can be searched and browsed.
  • 3D electronic pictorial books will be able to see the structure and movement of insects and animals. Development of various electronic pictorial books is desired.
  • the former active measurement method includes a direct measurement method using a laser or an ultrasonic wave, and a pattern projection method in which a pattern is projected by a projector and the surface shape is measured by distortion of the pattern.
  • the latter passive measurement method includes a stereo measurement method that uses two or more cameras for stereo measurement. A method for stereo measurement using a single camera using a mirror has also been proposed.
  • Patent Document 1 JP 2001-241928 A
  • the conventional active measurement method has a problem that a measurement range is narrow as a first problem.
  • direct measurement methods using lasers and ultrasonic waves, and in pattern projection methods in which patterns are projected by projectors, etc. the range that is directly exposed to the irradiation light and the range that can be observed by a measuring instrument such as a camera The problem that only measurement is possible.
  • the conventional active measurement method has a problem that image data of patterns and colors cannot be obtained as a second problem.
  • the conventional active measurement method is for measuring the external shape of a three-dimensional object, and since it is impossible to obtain pattern and color data directly, it is necessary to prepare other patterns and color data.
  • this active measurement method is mainly a method for generating 3D wireframes and 3D polygons from 3D objects, and patterns and color data need to be prepared separately as texture images and developed images. In order to generate 3D image data, many processes and a lot of labor are required.
  • the conventional passive measurement method has a problem that the scale of the apparatus increases as a first problem. 3 based on the captured image of a 3D object that is essentially a 2D image In order to obtain 3D image data, it is necessary to have multiple 2D images of 3D objects taken from multiple viewpoints. It is necessary to prepare a large number of cameras around and to photograph the entire circumference of the 3D object up, down, left and right. In this way, there is a problem that the scale of the apparatus becomes large in order to obtain 3D image data that can be viewed as an electronic picture book.
  • the conventional passive measurement method has a problem that when a large number of images are prepared from a large number of viewpoints, it is difficult to match feature points.
  • the stereo measurement method it is necessary to perform stereo measurement between a large number of images taken from a large number of viewpoints.
  • feature points such as singular points and edge portions are selected, and Matching is performed using the feature points as clues.
  • 3D objects with complicated shapes such as insects and animals have many feature points, and as the number of feature points increases, the amount of computation for matching them increases rapidly. It becomes difficult to take
  • the first problem of the passive measurement method is to alleviate the force to some extent. In order to obtain an image that covers the entire circumference of the top, bottom, left, and right, multiple cameras are required. In addition, the second problem of passive measurement cannot be alleviated with this device! / Remains a problem.
  • a catadioptric stereo vision system that measures the three-dimensional shape of an object with a single camera using a reflection image or a refraction image by a mirror or a prism is known.
  • a catadioptric stereo vision system is a system in which multiple lights traveling on different paths starting from the same point on the surface of an object are incident on a single camera using optical equipment, and images observed by the camera from multiple viewpoints. This system realizes stereo vision with a single camera by taking equivalent images.
  • This catadioptric stereo vision system has the advantage that a camera with parallax can be obtained with a single camera, so that no camera parameter correction processing is required, and images of each viewpoint are photographed synchronously. Also, arrange the camera and mirror so that the epipolar line is the same as the scanning line. As in the stereo vision system using a plurality of cameras, it is possible to limit the range where the corresponding points exist.
  • the object circumference measurement method based on the catadioptric stereo vision system has a problem that it is difficult to obtain a correct circumference due to the occurrence of irregular reflection by a mirror and the expansion of the corresponding point search range. .
  • the present invention covers the entire upper, lower, left, and right circumferences of a three-dimensional object with a small number of captured images captured by a small number of cameras (one or two) with a small apparatus size. Images can be obtained, and correspondence between feature points between images can be easily taken. Multi-viewpoint images from all directions of an object can be obtained with a single shooting.
  • the object is to provide a 3D object measuring device that can measure the 3D circumference of an object.
  • a three-dimensional object measuring apparatus of the present invention surrounds a pedestal on which a three-dimensional object to be imaged is placed, an inner wall surface of the cylinder, and the inner wall surface of the cylinder is a mirror surface.
  • a specular cylindrical body, a fisheye lens facing the pedestal and arranged so that a lens optical axis coincides with a cylindrical central axis of the specular cylindrical body, and a photographic recording for recording an image obtained through the fisheye lens A direct image obtained by directly viewing the three-dimensional object on the pedestal, and the mirror image of the inner wall of the mirror cylinder on the pedestal. This is taken together with the reflection image of the 3D object.
  • a fish-eye lens can shoot an image with a full viewing angle radially centered on the lens optical axis, a direct image obtained by directly photographing a three-dimensional object placed on a pedestal facing the fish-eye lens, and the side surface of the mirror cylinder It is possible to take a picture together with the reflected image outside the 3D object reflected on the mirror of the inner wall. Due to the nature of the cylindrical mirror surface, this reflection image is a reflection of the front image seen from the omnidirectional viewpoint that surrounds the periphery of the 3D object. The front image can be obtained at once.
  • the 3D object to be photographed on the pedestal It may be fixedly supported by piercing with means for fixing and supporting, for example, a wire.
  • the tabletop may also be used as a pedestal.
  • the mirror image is reflected once and captured by the fisheye lens, or the so-called twice reflected image reflected twice by the mirror surface and captured by the fisheye lens, such as n times (n is a natural number)
  • n times there can be a reflection image that is reflected n times by the fisheye lens.
  • still images if still images that are continuous in time series are obtained, they can be handled as moving images, and 3D moving image data relating to the movement of the target object can also be obtained. Become.
  • the feature point extracting means for extracting and determining the feature points on the photographed image photographed by the photographing recording means of the camera, and the feature point extracting means
  • a corresponding feature point on the reflection image corresponding to the extracted feature point on the direct image is searched and determined on the reflection image, or on the reflection image extracted by the feature point extraction means.
  • a corresponding feature point search means for searching and determining a corresponding feature point on the direct image corresponding to the feature point of the direct image, and the direct relationship based on the correspondence between the feature point and the corresponding feature point.
  • Stereo measurement processing of the image and the reflected image is performed!
  • 3D image data generating means for generating 3D image data of the 3D object from the direct image and the reflected image
  • Corresponding feature point searching means searches for the corresponding feature point by searching for an extension line connecting the center of the image and the feature point to the photographed image. Is preferred.
  • the reflected image is an image developed radially from the center of the pedestal (cylindrical center), and the corresponding feature points are always on the same straight line. Therefore, there is an advantage that the corresponding point search is simplified.
  • the pedestal is formed of a transparent material.
  • the object is visible from below the pedestal, and the camera has two cameras, a first force camera and a second camera, and the fisheye lens of the first camera and the second force camera It is preferable to arrange so that the fish-eye lenses face each other across the pedestal.
  • the camera can move along the cylindrical central axis with respect to the mirror cylinder, and the distance between the pedestal and the fisheye lens It is preferable to make it variable.
  • the position at which the reflection image of the 3D object is reflected on the mirror surface of the side wall of the mirror cylinder varies depending on the size (height, thickness) and shape of the 3D object to be measured. It is preferable that the position of the fisheye lens (the distance between the pedestal and the fisheye lens) can be adjusted in order to appropriately capture the direct image and the reflected image. Therefore, the distance between the pedestal and the fisheye lens is variable.
  • the pedestal, the specular cylindrical body and the camera can be moved relative to each other, and the center of the pedestal is rotationally moved with the pedestal fixed. It is preferable that the mirror cylinder and the camera can be freely rotated and moved as a center in a three-dimensional space.
  • an image necessary for stereo measurement can be obtained for that portion.
  • a three-dimensional object has a sharp side shape
  • a fisheye lens cannot obtain an image directly with the mirror cylinder and pedestal fixed.
  • the 3D object has a slightly deep concave shape on the top surface
  • an image can be obtained directly with the mirror cylinder and camera fixed, but the concave part of the reflected image is You can't get it behind the wall. Therefore, with the pedestal fixed, the center of the pedestal is the center of rotational movement, and the mirror cylinder and the camera can be freely rotated and moved together in the three-dimensional space. Even if it is a shape or the latter concave shape, Therefore, it is possible to adjust the arrangement of the mirror cylinder and the camera so that the direct image and the reflected image of this part can be taken at different angles.
  • a fish-eye lens can shoot images of all viewing angles radially with the lens optical axis at the center, and a three-dimensional object placed on a pedestal in combination with a mirror cylindrical body.
  • a direct image obtained by directly photographing a 3D object placed on a pedestal facing the fisheye lens, and a reflected image of the 3D object reflected on the mirror surface of the side wall of the mirror cylinder You can shoot at the same time.
  • any means for supporting the three-dimensional object may be used as long as it can support the object, for example, a pedestal, a hanging thread, a wire, and a needle.
  • the pedestal is not limited to a small plate-like one incorporated in the apparatus casing, but includes a large one such as a desk or a table.
  • a mirror cylinder which will be described later, is placed on a desk as a pedestal as the support means.
  • the support means for the three-dimensional object will be described as a pedestal that is a small disk-like plate.
  • FIG. 1 is a diagram schematically illustrating the basic configuration of the three-dimensional object measuring apparatus 100 according to the first embodiment.
  • Reference numeral 10 denotes a pedestal on which a three-dimensional object to be photographed is placed.
  • the shape of the pedestal 10 is not limited, but is, for example, a disk shape.
  • the size of the pedestal 10 is the 3D object to be photographed. It should be large enough to place a jet.
  • Reference numeral 20 denotes a mirror cylindrical body.
  • the mirror surface cylindrical body 20 has a cylindrical shape with a perfect cross section, and its inner wall surface is a mirror surface. That is, the mirror surface cylindrical body referred to in the present invention refers to a cylindrical body whose inner wall surface is cylindrical and mirrored.
  • the outer wall surface of the cylinder does not have to be a force and does not have to be cylindrical or mirrored.
  • the outer shape is a square pillar, which is a plastic material, and includes a cylindrical hollow on the inside and a mirror surface on the inner wall.
  • the inner diameter of the mirror cylindrical body 20 is large enough to accommodate the pedestal 10 therein.
  • the pedestal 10 is accommodated in the bottom surface portion of the mirror cylindrical body 20.
  • the height of the mirror-cylindrical body 20 may be at least L from the base 10 that is the base, assuming that the height of the 3D object to be imaged is L.
  • the height of the base 10 from 2L to 10L is sufficient.
  • Reference numeral 30 denotes a camera.
  • the camera 30 includes a fisheye lens 31 and a photographing recording means 32.
  • the fisheye lens 31 faces the pedestal 10 and is arranged so that the lens optical axis coincides with the cylindrical central axis of the mirror cylindrical body 20.
  • the fisheye lens 31 is disposed on the upper surface of the mirror cylinder 20 and is installed downward so as to face the pedestal 10.
  • the central axis (lens optical axis) of the fisheye lens 31 is arranged so as to coincide with the central axis (cylindrical central axis) of the cylindrical mirror body 20.
  • the photographing and recording means 32 is not particularly limited as long as it can record the image obtained through the fisheye lens 31, and may be a so-called analog image recording means for exposure recording on an analog film, and a light receiving element such as a CCD (Charge Coupled Device).
  • the so-called digital recording means can accept the light and record it as digital data.
  • the photographing and recording means 32 is a digital image recording means.
  • the image data processing device 40 receives a two-dimensional image taken by the camera 30, and generates three-dimensional image data by stereo measurement processing.
  • the image data processing device 40 includes a feature point extracting unit 41, a corresponding feature point searching unit 42, and a three-dimensional image data generating unit 43 (not shown in FIG. 1), which will be described later.
  • step 1 obtain a 2D image of the target 3D object from multiple viewpoints (each at different angles).
  • procedure 2 is a matching process between feature points between two or more acquired 2D images, and each element of a 3D object is matched, and procedure 3 is a difference calculation or inference based on stereo measurement processing. It is necessary to follow the procedure for calculating 3D image data.
  • the direct image refers to an image obtained by receiving a light ray directly incident on the fisheye lens 31 from a 3D object on the pedestal 10, that is, an image of a 3D object in which the visual power of the fisheye lens 31 can be directly seen.
  • a reflected image is an image obtained by receiving a light beam reflected from the three-dimensional object on the base 10 and reflected on the inner wall mirror surface of the mirror cylinder 20 and entering the fisheye lens 31, that is, from the viewpoint of the fisheye lens 31.
  • a reflection image of a three-dimensional object reflected on the inner wall mirror of the mirror cylinder 20 is reflected once on the inner wall mirror surface of the mirror cylinder 20 and incident on the fisheye lens 31.
  • the reflected image R1 is reflected twice on the inner wall mirror surface of the mirror cylinder 20 and incident on the fisheye lens 31.
  • FIG. 2 is a diagram schematically showing a state of light reception of the direct image and the reflected image in the camera 30 in the longitudinal section of the three-dimensional object measuring apparatus 100.
  • Fig. 2 we focus only on point A where 3D object 1 exists.
  • Light emitted from a point A of the three-dimensional object 1 placed on the pedestal 10 and directly incident on the fisheye lens 31 is an optical path AO that directly forms an image.
  • Light that is emitted from the point A, reflected once on the inner wall mirror surface of the mirror cylindrical body 20, and incident on the fisheye lens 31 is an optical path A1 that forms a once reflected image.
  • Light emitted from point A, reflected twice on the inner wall mirror surface of the mirror cylinder 20 and incident on the fisheye lens 31 is reflected twice. This is an optical path A2 that forms a reflected image.
  • FIG. 2 shows the optical path A2 that reflects twice, and illustration of the other optical paths is omitted.
  • FIG. 2 shows an optical path focusing only on point A. Light emitted from all points on the surface of the object 1 enters the fisheye lens 31 according to the same principle as in FIG.
  • FIG. 3 is a diagram schematically showing an image obtained by photographing the object 1 having a cone shape placed on the pedestal 10 by the camera 30.
  • a point A on object 1 is shown as a small dot with a white circle for reference.
  • the image power seen in the center in Fig. 3 is a direct image DO of object 1 and shows the force directly above the cone shape.
  • the circle directly surrounding the image DO is the pedestal 10 and the edge E of the mirror cylinder 20.
  • the outer ring surrounding the edge E is a one-time reflected image R1 of the object 1 reflected on the inner wall mirror surface of the mirror cylinder 20.
  • the cone-shaped side surface is reflected around the inner wall mirror surface of the surface cylindrical body 20.
  • the outer ring-shaped object surrounding the once-reflected image R1 is the twice-reflected image R2 of the object 1 reflected on the inner wall mirror surface of the mirror cylinder 20.
  • the cone-shaped side surface is reflected around the inner wall mirror surface of the surface cylindrical body 20, but in the two-time reflection image R2, the image is a point-symmetric image.
  • the image of a point A on object 1 is on the right side in the direct image DO (image point GO), and on the right side in the single reflection image R1 (image point G1), but on the left side in the double reflection image R2. Reflected (image point G2).
  • the reflection images (reflection image R3, etc.) of three or more reflections are not shown.
  • a plurality of images that is, a direct image and a reflected image are obtained by one shooting as described above.
  • the reason why the direct image obtained by the three-dimensional object measurement apparatus 100 of the present invention and the reflected image force can be used for the three-dimensional stereo measurement as an image obtained by photographing a plurality of viewpoint forces at different angles.
  • FIG. 4 is equivalent to the photographing viewpoints of the optical path A0 that directly forms an image with respect to the point A of the object 1 described in FIG. 2, the optical path A1 that forms a once-reflection image, and the optical path A2 that forms a twice-reflection image. It is the figure which showed the mode that it expanded automatically.
  • the actual fisheye lens 31 Although it is the point FO, the optical path Al corresponding to the once reflected image Rl is equivalent to the optical path A1 ′ incident on the photographing viewpoint Fl. Similarly, the optical path A2 corresponding to the twice reflected image R2 is equivalent to the optical path A2 ′ incident on the photographing viewpoint F2.
  • the point A in the once reflected image R1 is equivalent to the point A in the image that would be obtained if the object 1 was taken at the shooting viewpoint F1 and the virtual camera 30 '. It can be said that point A in the reflected image R2 is equivalent to point A in the image that would be obtained if the object 1 was photographed by the virtual camera 30 'at the photographing viewpoint F2.
  • the photographing viewpoint F1 is a position 2r away from the fish-eye lens 31
  • the photographing viewpoint F2 is a position 4r away from the fish-eye lens 31.
  • the one-time reflected image R1 shown on the mirror surface of the inner wall 20 of the mirror cylinder 20 shown in Fig. 3 is 360 ° around the circumference of the radius 2r with the center axis of the cylinder as the center of rotation.
  • the twice-reflection image R2 is taken for object 1 while moving the virtual camera 30 "around the circumference of the radius 4r and moving the virtual camera 30" around the center axis of the cylinder, and only the center image of each captured image
  • the direct image DO, the reflected image Rl, and the reflected image R2 obtained by the three-dimensional object measuring apparatus 100 of the present invention are the actual images where the fisheye lens 31 is arranged. Taken from countless viewpoints (number of resolutions) arranged so as to surround a direct image from the viewpoint F0 and surround the circumference 2r from the center axis of the cylinder and the circumference 4r from the circumference.
  • the reflected image is a direct image of each shooting viewpoint, that is, a central image that is directly in front of the images shot from each shooting viewpoint. Equivalent to a collection of only images Therefore, if you focus on one point on object 1 (for example, point A), the number of image data that can be used for stereo measurement is not innumerable. (E.g., image point GO), a single reflection image R1 captured from a viewpoint with radius 2r (e.g. image point G1), and a double reflection image R2 captured from a viewpoint with radius 4r The image of the point shown in There are only three image data of image point G2). In other words, in this example, the image data used for the stereo measurement process has the same effect as that obtained when two-dimensional images from three viewpoints are obtained at one time.
  • the fisheye lens can express the relationship between the angle ⁇ formed by the ray incident on the fisheye lens with the optical axis and the distance d from the image center on the image plane onto which the ray is projected, as shown in Equation 1 below.
  • FIG. 9 shows a relationship diagram between the angle ⁇ and the distance d from the image center.
  • f is the focal length.
  • the function g ( ⁇ ) is the projection characteristic of the fisheye lens, and the characteristic varies from lens to lens.
  • the angle of the ray incident on the camera can be determined by the distance of the image center force at the point of interest in the captured image.
  • step 2 stereo measurement processing is performed between multiple acquired 2D images, and each 3D object is associated with each element, but it is not necessary to perform stereo measurement processing for all pixels. Since the cost becomes enormous, the image data is usually converted to the frequency domain by DCT transform or Fourier transform, and singular points and edges in the image are extracted and their representative ones are selected as feature points. Then, the feature points in the image are searched and matched. Here, feature points in other images corresponding to feature points in one image are called corresponding feature points.
  • the matching process between feature points can be executed using the geometric relationship between the direct image and the reflected image, which greatly increases the calculation cost. Can be reduced.
  • the image captured by the camera 30 includes the direct image DO and the reflected image (here, the once reflected image R1 and the twice reflected image R2).
  • the direct image DO and the reflected image there is an important geometric relationship between the direct image DO and the reflected image (one-time reflection image R1 and two-time reflection image R2).
  • the geometrical relationship mentioned here is a relationship in which corresponding feature points exist on the same straight line drawn through the center of the image.
  • the corresponding feature points corresponding to the feature points are efficiently searched using the geometric relationship between the feature points.
  • Fig. 5 shows an image of a pyramid-shaped object placed at the center of the pedestal, taken directly from the image, and a reflection image reflected on the inner wall mirror of the mirror cylinder.
  • the radiation drawn in the image is a line added to the image by post-processing so as to visually check the correspondence between the direct image and the reflected image, and such radiation does not reflect the initial force. Absent.
  • Figure 6 shows that the geometric relationship between the feature points is maintained even when the object is placed at a position where the central force of the pedestal is also deviated. Compared to Fig. 5, the object has a central force of the pedestal.
  • the reflection image reflected on the inner wall mirror surface of the mirror cylindrical body is placed at a position biased to the upper right.
  • the force is greatly distorted compared to Fig. 5.
  • the feature points may exist on a straight line passing through the center of the image. I understand. In Fig. 6, we focus on two feature points in the image directly, and draw two additional straight lines connecting the feature points and the center of the image in post-processing so that they can be easily divided. It can be seen that there are corresponding feature points in the once reflected image and the twice reflected image on the straight line.
  • Figure 7 shows an example of the trajectory of a ray incident on the camera after the point force of the object is reflected twice by the mirror.
  • Figure 7 (a) is observed from the side, and (b) is observed from directly above.
  • the optical axis of the camera and the central axis of the cylindrical mirror coincide, in order for a light ray to enter the camera, the light beam must pass through the central axis of the cylindrical mirror.
  • the 3D object measuring apparatus of the present invention is viewed from above as shown in Fig. 7 (b), the two tangents of the cylindrical mirrors facing each other across the central axis of the cylinder are as shown in Fig. 7 (b). Always parallel.
  • the light beam that passes through the center of the cylinder always enters the mirror surface with parallel tangents perpendicularly when an upward force is also observed. Since rays starting from the same point always exist on the same straight line, the epipolar line of the virtual camera is a straight line passing through the center of the cylinder.
  • FIG. 8 shows a simulation image obtained by photographing a virtual object.
  • An image can be obtained in which the image directly visible from the camera is in the center of the captured image and the image reflected by the cylindrical mirror is present around it.
  • the reflected images are arranged concentrically in order of decreasing image center force.
  • the object in FIG. 8 (a) has a conical shape
  • the light ray incident on the camera from the point A on the object surface moves only on the broken line connecting the image center and the point A.
  • the search range of the set of corresponding points existing in the captured image can be limited to a straight line passing through the center of the image, so that the amount of calculation can be reduced and false detection of the corresponding points can be reduced.
  • the object in Fig. 8 (b) has a quadrangular pyramid shape
  • the ray incident on the point B camera on the object surface moves only on the broken line connecting the image center and point B. It's a little bit.
  • step 3 stereo measurement processing of the direct image and the reflected image is performed based on the correspondence between the feature points obtained in step 2 and the corresponding feature points.
  • Generate 3D image data of Jetato For example, it is performed as 3D image data by direct calculation or inference calculation between direct image data and reflected image data.
  • the procedure 3 is not particularly limited, and any algorithm that performs stereo measurement processing can be widely applied.
  • FIG. 12 is a block diagram showing components of the 3D image data processing device 40 in the 3D object measuring device 100 of the present invention.
  • the above algorithm which can be used to concretely realize 3D image data generation processing based on stereo measurement methods using an information processing organization combined with general-purpose personal computer resources and software modules, is a semiconductor. It can be realized using dedicated hardware coded by a circuit.
  • [0044] 41 is a feature point extracting means for extracting and determining feature points on a photographed image photographed by the photographing recording means 32 of the camera 30.
  • Any effective feature point extraction algorithm is not particularly limited and can be widely applied.
  • DCT transform converts image data into the frequency domain, and extracts singular points and edges in the image. Use an algorithm to select
  • Reference numeral 42 denotes corresponding feature point searching means for searching and determining corresponding feature points on the reflected image corresponding to the feature points on the direct image extracted by the feature point extracting means 41 on the reflected image. Or a feature on the reflection image extracted by the feature point extraction means 41. This is means for searching for and determining corresponding feature points on the direct image corresponding to the scoring points on the direct image.
  • the corresponding feature point search means 42 incorporates an algorithm for performing a search using the above-described geometric relationship, that is, searching for a corresponding feature point by searching on an extension line connecting the center of the image and the feature point. Leave it in.
  • [0046] 43 is a three-dimensional image data generation means, which performs stereo measurement processing between the direct image and the reflected image based on the correspondence between the feature points obtained by the corresponding feature point search means 42 and the corresponding feature points. This is the part that generates the 3D image data of the object such as the direct image and the reflection image that are 2D images.
  • the corresponding point search means 42 can apply an existing stereo measurement algorithm, and can apply a wide range of algorithms such as DP matching, which is a nonlinear matching technique, in addition to SSD. .
  • the captured image is expanded in polar coordinates for easy processing, and then, from the captured image expanded in polar coordinates, a small area centered on one point is searched as the search source area. And a process for searching for an area considered to be most similar to the search source area is performed.
  • an SSD Sum of Squared Difference
  • the distortion of the reflected image should be corrected when determining the similarity between regions.
  • the magnitude of the distortion of the reflected image depends on the normal direction of the object plane, which is an unknown parameter, it is impossible to correct the distortion analytically. Therefore, in this embodiment, in addition to the movement of the search area, the most similar area is calculated by calculating the SSD value while dynamically scaling the reflected image for examining the similarity in the radial direction.
  • the set of the center points is the thread of the corresponding point.
  • the algorithm of the corresponding feature point search means 42 is described as follows: (1) polar coordinate expansion processing of the captured image, (2) size normalization processing of the search target region, (3) limitation of the search target region Processing will be described separately in (4) SSD value calculation processing.
  • Figure 10 (a) shows an example of the image that is the result of polar coordinate expansion.
  • a set of corresponding points always exists on the same straight line passing through the center of the image taken by the three-dimensional object measurement apparatus of the present invention. Therefore, the range when searching for a point corresponding to a point in the image by expanding the captured image into a polar coordinate image with the vertical axis being the distance from the image center and the horizontal axis being the angle is 10 If the coordinate value in the image before polar coordinate expansion is (u, V) and the coordinate value after polar coordinate expansion is (t, w), it will be limited to the area of the broken line shown in (b).
  • the size of the reflected image in the captured image in the w-axis direction varies depending on the incident angle of the light beam and the normal direction of the object plane.
  • the size of the w-axis direction of the image that is reflected twice by the mirror and incident on the camera is smaller than the image that is reflected once and incident on the camera.
  • the normal direction of the object plane is unknown at the measurement stage, it is impossible to analytically correct the change in the image size in the w-axis direction.
  • the similarity is examined, and the SSD value is calculated while dynamically expanding and reducing the local region in the w-axis direction.
  • the size of the reference area (Source) and the evaluation target area (Target) must be the same during the search.
  • the color of each pixel is expressed in the RGB color system.
  • (I r, g, b) and the target scale s when Source is set to 1.0, it can be calculated from Equation 5 below.
  • trunc (x) is a function that rounds off the decimal part of x.
  • W S and w S are the upper and lower values where the Source exists.
  • the lower end value is shown.
  • the point w n obtained by Equation 6 above represents the linear ratio of the position of Target corresponding to Source.
  • the distortion of the reflected image in the W-axis direction is generally non-linear. This is because the error when approximating non-linear distortion with a linear ratio is small locally.
  • Equation 8 a is a constant that represents the size of the search range.
  • the search range becomes wider c
  • this 3D object measurement device uses the SSD value between the source and target areas as the evaluation amount.
  • the SSD value d between the source area S and the target area T is obtained by the following formula 9. In the following formula, I s and 1 T
  • FIG. 9 shows an example in which the image directly observed from the camera is the entire source set S.
  • a direct image obtained by directly photographing a three-dimensional object placed on a pedestal facing the fisheye lens, and a mirror cylindrical body It is possible to shoot the reflection image of the 3D object reflected on the mirror of the inner wall of the side at the same time, and easily find the feature point and the corresponding feature point corresponding to the feature point between the direct image and the reflection image.
  • 3D image data can be generated from 2D image data based on stereo measurement processing.
  • the three-dimensional object measuring apparatus 100a of the second embodiment is different from the three-dimensional object measuring apparatus 100 of the first embodiment in that the pedestal 10 is formed of a transparent material, and as shown in FIG.
  • the second camera 30b is provided with two cameras, and the fisheye lens 3la of the first camera 30a and the fisheye lens 31b of the second camera 30b are arranged so as to face each other with the pedestal 10 in between.
  • the three-dimensional object measuring apparatus 100a of the second embodiment is configured to include not only the camera 30a above the mirror cylindrical body 20 but also the camera 30b below the mirror cylindrical body 20, so that the object 1 In addition to the upper image, the lower image as well as the direct image DO and the reflection image Rn are taken at the same time.
  • the pedestal 10 is made of a transparent material such as a glass plate so that the object 1 can be photographed from below, and the mirror cylindrical body 20 needs to be extended below the pedestal 10.
  • the three-dimensional object measuring apparatus 100b according to the third embodiment has a camera 30 that is movable with respect to the mirror cylindrical body 20 with respect to the three-dimensional object measuring apparatus 100 according to the first embodiment.
  • the camera 30 can move up and down along the central axis of the mirror cylinder 20, and the distance between the base 10 and the fisheye lens 31 is variable.
  • the camera 30 may be moved manually by the user. However, the camera 30 can be moved by hand in combination with a power camera casing and a stepping motor mechanism. If the movement can be controlled, the distance between the fisheye lens 31 and the object on the pedestal 10 can be adjusted accurately.
  • FIG. 15 is a diagram schematically illustrating advantages and disadvantages when the distance between the base 10 and the fisheye lens 31 is small.
  • the object When the distance between the pedestal 10 and the fisheye lens 31 is reduced, the object can be enlarged by the camera 30, and a detailed direct image DO of the object surface can be obtained.
  • the incident angle to the fisheye lens 31 of the optical path A1 that forms the one-time reflected image R1 of the object reflected on the mirror surface of the inner wall of the mirror cylindrical body 20 is increased. That is, the height of the shooting viewpoint F1 is lowered, and the once reflected image R1 corresponds to an image obtained by shooting the object from a viewpoint at a low position in the oblique direction.
  • the angle of incidence on the fisheye lens 31 of the optical path A2 that forms the twice reflected image R2 of the object reflected on the inner wall mirror surface of the mirror cylinder 20 becomes larger, and the twice reflected image R2 shows the object at a lower position in the oblique direction.
  • FIG. 16 is a diagram schematically illustrating merits and demerits when the distance between the base 10 and the fisheye lens 31 is large.
  • the incident angle to the fisheye lens 31 of the optical path A1 forming the one-time reflected image R1 of the object reflected on the mirror surface of the inner wall of the mirror cylindrical body 20 is smaller than that in the case of FIG.
  • the height of the photographing viewpoint F1 is increased, and the once reflected image R1 corresponds to an image obtained by photographing an object with a high viewpoint power in an oblique direction.
  • the angle of incidence on the fisheye lens 31 of the optical path A2 forming the R2 reflection image R2 of the object reflected on the mirror surface of the inner wall mirror 20 of the mirror cylinder 20 is large, and the twice reflection image R2 shows the object from the viewpoint of a low position in the diagonal direction.
  • the change in the incident angle of the once reflected image R1 and the incident angle of the twice reflected image is larger than in the case of FIG.
  • the difference between the two-time reflection image R2 and the one-time reflection image R1 is larger than that in the case of FIG. 15, and the amount of information for the two-dimensional image used for stereo measurement is larger than that in the case of FIG. .
  • the advantages and disadvantages that occur when the distance between the pedestal 10 and the fisheye lens 31 is large, and the advantages and disadvantages that occur when the distance between the pedestal 10 and the fisheye lens 31 is small are in a trade-off relationship. is there. Furthermore, as a variable amount, it is actually a 3D measurement. Since the size (height) of the bougietat affects, it is necessary to consider the distance between the fisheye lens 31 and the object 1, not the distance between the base 10 and the fisheye lens 31.
  • the three-dimensional object measuring apparatus 100b of the third embodiment is such that the camera 30 is movable up and down with respect to the mirror cylinder 20, and the camera 30 moves up and down along the central axis of the mirror cylinder 20.
  • the distance between the base 10 and the fisheye lens 31 is variable.
  • the size of the image DO in particular, the optical zoom mechanism can be directly mounted.
  • the resolution of the image DO can be directly manipulated, but the height of the photographing viewpoint F1 of the reflected image R1 and the photographing viewpoint F2 of the reflected image R2 cannot be manipulated.
  • the zoom mechanism when the zoom mechanism is used, the surrounding image cannot be captured instead of the center image appearing large, and the higher-order reflected image Rn, and in some cases the twice-reflected image R2 and the once-reflected image R1 are captured in the captured image. There is also a risk of being lost.
  • the three-dimensional object measuring apparatus 100b of the third embodiment attaches importance to manipulating the height of the shooting viewpoint F1 of the reflected image R1 and the shooting viewpoint F2 of the reflected image R2 while considering the height of the object 1,
  • the camera 30 can move up and down along the central axis of the mirror cylindrical body 20, and the distance between the base 10 and the fisheye lens 31 is variable.
  • the above description is not intended to exclude the camera 30 equipped with an optical zoom mechanism.
  • the camera 30 of the three-dimensional object measuring apparatus 100 of the present invention is not equipped with an optical zoom mechanism or a digital zoom mechanism.
  • the three-dimensional object measurement apparatus 100c of the fourth embodiment enables relative movement of the mirror cylindrical body 20 and the camera 30 with respect to the base 10 with respect to the three-dimensional object measurement apparatus 100 of the first embodiment.
  • the center of the pedestal 10 is the center of rotational movement, and the mirror cylinder 20 and the camera 30 are integrated in a three-dimensional space. It enables free rotational movement.
  • the mirror cylinder 20 may be rotated by the user by hand, but the mirror cylinder 20 may be rotated by hand, but the mirror cylinder 20 is combined with the stepping motor mechanism, and the mirror cylinder 20 according to the user's operation input. If the 20 movements can be controlled, the direction of the photographing viewpoint of the camera 30 can be accurately adjusted so as to obtain an angle that enables photographing of a powerful part that cannot be photographed in the basic posture.
  • the three-dimensional object measuring apparatus 100c has a blind spot depending on the shape and direction of the object 1 to be three-dimensionally measured in the basic posture, and even when a portion where the direct image DO or the reflected image Rn cannot be obtained occurs.
  • the mirror cylindrical body 20 and the camera 30 are integrated to change the angle with respect to the pedestal 10 to make another angle, and a direct image DO or reflected image Rn can be obtained even for a part that is a blind spot and a captured image cannot be obtained. Is given.
  • the first is a case where the object 1 has a slightly deep concave shape.
  • the image DO can be obtained directly for the part, but the reflected image R1 and the reflected image R2 obtained from the oblique photographing viewpoint F1 and photographing viewpoint F2 have a concave bottom surface portion. May not appear in the blind spot at the periphery.
  • the concave shape when the concave shape is on the side, the reflected image R1 and the reflected image R2 obtained from the oblique photographing viewpoint F1 and photographing viewpoint F2 facing directly to the part can be obtained, but the direct image DO In some cases, however, the bottom surface of the concave shape will not appear as a blind spot at the periphery.
  • the second is a case where the side surface of the object 1 is nearly vertical.
  • the reflected image R1 and the reflected image R2 obtained from the oblique photographing viewpoint F1 and the photographing viewpoint F2 facing the part can be obtained, but the direct image DO has an angle that is too large and an effective image can be obtained.
  • direct image DO is important information in 3D stereo measurement, so it is recommended to devise the shooting direction to obtain direct image DO. Don't say anything.
  • the third is a case where the shape of the object 1 is complicated and a part thereof is behind other parts.
  • the image DO can be obtained directly, the reflected image R1 and the reflected image R2 obtained from the oblique photographing viewpoint F1 and the photographing viewpoint F2 may not be reflected behind other parts.
  • the 3D object measuring device 1 OOc of the fourth embodiment integrates the mirror cylindrical body 20 and the camera 30 even when a part is generated because a blind spot is formed depending on the shape and direction of the object 1 and a direct image DO or reflection image Rn is not obtained. As a result, the angle with respect to the base 10 is changed, and an image of another angle is obtained for obtaining the necessary direct image DO or reflection image Rn for the part.
  • FIG. 18 is a diagram schematically showing light reception of the direct image and the reflected image in the camera 30 in the longitudinal section of the three-dimensional object measuring apparatus 100c, as in FIG.
  • the optical path B 0 corresponding to the direct image DO cannot directly enter the fish-eye lens 31 with respect to the point B on the side surface portion of the object 1.
  • the direct image DO does not include the image of the point B on the side surface portion, or even if it is included, effective information cannot be obtained because the shooting angle is extremely shallow.
  • the once reflected optical path B1 corresponding to the reflected image R1 is incident on the fisheye lens 31, and the image of the point B on the side surface portion is included in the once reflected image R1.
  • the twice-reflection optical path B2 corresponding to the reflection image R2 is incident on the fish-eye lens 31, and the image of the point B on the side surface portion is included in the twice-reflection image R2.
  • the plurality of reflection images R1 and R2 include image information regarding the point B, but information regarding the point B is not directly obtained in the image D0.
  • FIG. 19 shows the basic posture of FIG. 18, in the state where the pedestal 10 is fixed, the center of the pedestal 10 is the center of the rotational movement, and the mirror cylinder 20 and the camera 30 are integrally rotated clockwise in the vertical plane. Shows a state of rotational movement.
  • the point B on the side surface portion of the object 1 is a position that can be seen well from the photographing viewpoint of the camera 30, and the optical path B0 corresponding to the direct image D0 directly enters the fisheye lens 31. That is, the image of the point B on the side surface portion is effectively included in the direct image D0.
  • the once-reflected optical path B1 corresponding to the reflected image R1 is also directly incident on the fisheye lens 31.
  • the image of point B is included.
  • the image of the point B on the side portion is also included in the twice reflected image R2.
  • the posture in FIG. 19 is an example of rotation for obtaining a direct image DO of the point A on the right side of the object 1 that is sharp, but the left side of the object 1, the front (front side), To obtain a direct image DO of the other side such as the back (back side), separately rotate the mirror cylinder 20 and the camera 30 so that the target side faces the fisheye lens 31.
  • the rotation control means is not limited! However, for example, a stepping motor or the like may be used.
  • the object of the 3D object measurement apparatus of the present invention is to obtain a plurality of images used for 3D stereo measurement with a small number of imaging operations.
  • the image is taken one more time at different angles, but multiple images can be obtained by taking two images of a part that is affected by the shape and posture of the object and is difficult to shoot.
  • it can be said that it is in line with the object of the present invention to obtain a plurality of images used for three-dimensional stereo measurement with a small number of photographing.
  • Example 5 a prototype of the three-dimensional object measurement apparatus of the present invention is manufactured and the shape of the actual object is measured.
  • the object measurement environment of the fifth embodiment showing the result of shape measurement data using the actual measurement image will be described below.
  • the camera used for the measurement was a DepictDlE manufactured by Opteon, and used a 1024 X 1024 (pixel s) image cut out from an image taken at I 392 X 1 ( ⁇ 0 (pixels).
  • a ring light was used as the light source.
  • the cylindrical mirror has an inner diameter of 90 (mm) and a height of 100 (mm), but the camera used in this example can only obtain a grayscale image. Therefore, in Equation 9 above L S.
  • Equation 10 I s (t, w) and 1 T (t, w) are obtained from the source and target, respectively.
  • the range of possible values is 0 or more and 255 or less for both.
  • a conical object shown in FIG. 20 is used as a measurement target.
  • the cone-shaped object has a bottom diameter of 56 (mm) and a height of 34 (mm), and the cone surface has a grayscale scene image as a texture.
  • the cone-shaped object shown in FIG. 20 was photographed with the three-dimensional object measuring apparatus of the present invention, the photographed image shown in FIG. 21 was obtained.
  • the shape of the cone object was measured from this image.
  • the SSD window size in this embodiment was set to 5 ⁇ 5 (pixels).
  • the scale s in Equation 5 above was changed by 0.1 from 0.5 to 2.0, and the shape was measured by stereo vision using the image directly observed by the camera and the image reflected once by the cylindrical mirror.
  • FIG. 22 shows the result of cone shape measurement by the three-dimensional object measurement apparatus of the present invention.
  • FIG. 23 shows a scatter diagram in which the horizontal axis represents the distance from the center of the image and the vertical axis represents the height of the cone shape measured by the three-dimensional object measuring apparatus of the present invention.
  • this 3D object measurement device can measure the entire shape of an object with a simple device configuration consisting of only a camera and a cylindrical mirror and a simple shooting process of shooting only one image. It has been shown that it is useful for the measurement of the entire circumference.
  • Industrial applicability [0087]
  • the three-dimensional object measurement apparatus of the present invention can obtain a multi-viewpoint image from all directions of an object by one shooting by putting an object in a cylindrical mirror and shooting the object from above with a camera.
  • This 3D object measuring device can be used not only in the education field, but also in the medical field and academic research field.
  • the 3D object measuring device of the present invention allows the user to easily measure the shape of personal belongings or to efficiently measure the entire circumference of many objects because of the simplicity of the device configuration and imaging process. It is useful for the application.
  • the entire shape of the object can be measured from a single image, it is possible to record the entire shape of the object along with the movement of the animal if images are taken continuously. Can be improved.
  • FIG. 1 A diagram schematically showing the basic configuration of the three-dimensional object measuring apparatus according to the first embodiment.
  • FIG. 2 A longitudinal section of a direct image and a reflected image received by a camera. Schematic representation in
  • FIG. 3 A diagram schematically showing an image obtained by photographing a cone-shaped object placed on a pedestal with a camera.
  • FIG.5 Diagram showing a direct image of a pyramid-shaped object placed at the center of the pedestal and a reflection image reflected on the mirror surface of the inner wall of the mirror cylinder
  • FIG. 6 Diagram showing that the geometric relationship of feature points is maintained even when the object is placed at a position deviated from the center of the pedestal.
  • FIG.7 A diagram showing an example of the trajectory of a ray incident on the camera after the object's single-point force is reflected twice by the mirror.
  • Figure 19 Diagram showing a state where the mirror cylinder and the camera are rotated 45 degrees clockwise in the vertical plane with the center of the pedestal as the center of rotational movement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

　撮影対象となる３次元オブジェクトを載せる台座と、台座を筒の内壁面で取り囲み、筒の内壁面を鏡面とした鏡面円筒体と、台座に対向し、レンズ光軸が鏡面円筒体の円筒中心軸と一致するように配置された魚眼レンズと、魚眼レンズを介して得られた画像を記録する撮影記録手段とを備えたカメラを備え、カメラの撮影記録手段により、台座上の３次元オブジェクトを直接見た直接画像と、鏡面円筒体の内壁の鏡面に映り込んでいる台座上の３次元オブジェクトの反射画像とを併せて撮影する。これにより、一つの撮影画像によりステレオ計測に用いる３次元オブジェクトの上下左右全周をカバーする複数の画像が得ることができ、かつ、画像間の特徴点同士の対応を簡便に取ることができ、一回の撮影で物体の全方向からの多視点画像を得られ、反射屈折ステレオ視により、一枚の画像から物体の３次元全周形状を計測できる。

Description

3次元オブジェクト計測装置
技術分野
[0001] 本発明は、 3次元オブジェクトを複数の角度カゝら撮影し、一つの画像における特徴 点と当該特徴点と対応する他の画像における特徴点 (対応特徴点）との対応関係を 基に複数の画像を利用した 3次元オブジェクトのステレオ計測処理を行な 、、 3次元 オブジェクトの 3次元画像データを生成する 3次元オブジェクト計測装置に関する。 背景技術
[0002] 近年、小 '中'高校教育において学校教育の情報化推進計画が進められており、全 ての小中高等学校の各学級の授業においてコンピュータを活用できるように施策が 推進されている。また、家庭においてもブロードバンドネットワークが普及してきており 、気軽にインターネット上の様々なデータを検索 '閲覧できるようになつてきた。
このように、教育分野にぉ 、てハードウェア資源やネットワーク環境が整備されつつ ある中、手軽に利用できる魅力のある教育用コンテンツの充実の重要性が指摘され ている。代表的な教育用コンテンツの一つとして昆虫や動物の電子図鑑が挙げられ る。現在でも昆虫や動物の情報をデジタル化した電子図鑑が存在し、インターネット を介して閲覧可能となっているが、現行の電子図鑑の中には、既存の図鑑本に掲載 されている 2次元平面写真等をデジタルデータとして取り込んでデータベース化し、 検索 ·閲覧可能としただけの電子図鑑も多いため、特に、今後は、昆虫や動物の立 体的な構造や動きを見ることができる 3次元電子図鑑など多様な電子図鑑の開発が 望まれている。
[0003] ここで、現在では昆虫や動物の 3次元形状を取り込むことは専門家による多大な労 力とコストを必要とする力 S、教育の現場において先生のニーズに沿った多様な電子 図鑑の動的な開発 '製作のためには、いちいち専門家を介さずに手軽に学校の先生 などが電子図鑑を編集できることが望ましい。つまり、学校の先生など一般の人が手 軽に 3次元オブジェクトの形状とその動きを計測して 3次元データとして取り込み、そ れら 3次元データを基に電子図鑑を製作したり内容を追加したりできる装置の開発が 必要とされている。
[0004] 3次元オブジェクトの形状を計測して 3次元データとして取り込む技術は、主にコン ピュータビジョンの分野で研究されており、 3次元オブジェクトの形状の計測手法とし ては、アクティブ計測法とパッシブ計測法の 2つが知られている（例えば、特許文献 1
) o
前者のアクティブ計測法には、レーザや超音波を用いた直接計測法や、プロジェク タなどによりパターンを投影し、そのパターンの歪みにより表面の形状を計測するパ ターン投影法などがある。後者のパッシブ計測法には 2台以上のカメラを使ってステ レオ計測するステレオ計測法がある。なお、鏡を利用して 1台のカメラによってステレ ォ計測する手法も提案されて ヽる。
[0005] 特許文献 1 :特開 2001— 241928
発明の開示
発明が解決しょうとする課題
[0006] まず、従来のアクティブ計測法には、第 1の問題として計測範囲が狭いという問題が あった。レーザや超音波を用いた直接計測法においても、プロジェクタなどによりパタ ーンを投影するパターン投影法においても、これら照射光などが直接当たっている 範囲でなおかつカメラなどの測定器で観測される範囲しか計測できないという問題点 かあつた。
[0007] また、従来のアクティブ計測法には、第 2の問題として模様や色彩の画像データを 得ることができな 、と 、う問題もあった。従来のアクティブ計測法は 3次元オブジェクト の外形形状を測定するためのものであり、模様や色彩データを直接得ることができな いため、模様や色彩データを他に用意する必要があった。つまり、このアクティブ計 測法は主に 3次元オブジェクトから 3次元ワイヤーフレームや 3次元ポリゴンを生成す るための手法であり、模様や色彩データはテクスチャ画像として別途、展開画像を用 意する必要があり、 3次元画像データ生成のためには多数の工程と多大の労力が必 要となる。
[0008] 次に、従来のパッシブ計測法には、第 1の問題として装置の規模が大きくなつてしま うと言う問題があった。本来 2次元画像である 3次元オブジェクトの撮影画像を基に 3 次元画像データを得るためには、 3次元オブジェクトを複数の視点カゝら撮影した複数 の 2次元画像が必要となる力 電子図鑑として視聴に耐える 3次元画像データとする ためには、 3次元オブジェクトの周囲にぐるりと多数のカメラを用意し、 3次元オブジェ タトを上下左右の全周を撮影する必要がある。このように電子図鑑として視聴に耐え る 3次元画像データを得るためには装置の規模が大きくなつてしまうという問題点があ る。
[0009] また、従来のパッシブ計測法には、第 2の問題として多数の視点から多数の画像を 用意した場合、特徴点同士のマッチングを取ることが難しくなると言う問題があった。 ステレオ計測法では、多数の視点から撮影した多数の画像の間でステレオ計測を行 なう必要があり、その過程にぉ 、て画像上の特異点やエッジ部分などの特徴点を選 び出し、その特徴点を手掛力りとしてマッチングを行なう。しかし、昆虫や動物など複 雑な形状を持つ 3次元オブジェクトには多数の特徴点が存在し、特徴点の数が増え るにつれてそれらのマッチングを行なうための計算量が急激に増えて行き、マツチン グを取ることが難しくなる。
なお、装置規模を小さくするためカメラの台数を減らす工夫として、平面鏡を利用し た装置があるが、この装置によればパッシブ計測法の第 1の問題点はある程度緩和 される力 3次元オブジェクトの上下左右の全周をカバーする画像を得るためには、 なお、複数のカメラが必要である。さらに、この装置ではパッシブ計測法の第 2の問題 点は緩和できな!/、問題として残る。
[0010] また、システム構成の単純ィ匕を目的として、鏡やプリズムなどによる反射像や屈折 像を用いて、 1台のカメラで物体の 3次元形状を計測する反射屈折ステレオ視系が知 られている。反射屈折ステレオ視系とは、物体表面の同じ一点を始点として異なる軌 道を進む複数の光を、光学機器を用いることで単一のカメラに入射させ、複数視点か らカメラで観測した像と等価な画像を撮影することで、 1台のカメラでステレオ視を実 現するシステムである。
この反射屈折ステレオ視系は、 1台のカメラで視差のある画像が得られるため、カメ ラパラメータの補正処理が不要となり、かつ、各視点の像が同期して撮影される利点 を有する。また、ェピポーラ線が走査線上と同一になるようにカメラや鏡を配置するこ とで、複数のカメラを用いたステレオ視系と同様に、対応点の存在する範囲を限定す ることが可能となる。
しかし、反射屈折ステレオ視系に基づく物体の全周形状計測手法は、鏡による不 規則な写り込みの発生や対応点探索範囲の拡大により、正しい全周形状を得ること が困難である問題がある。
[0011] 上記問題点に鑑み、本発明は、装置規模が小さぐ 1台 (または 2台）という少ない 台数のカメラにより撮影した少ない枚数の撮影画像により 3次元オブジェクトの上下 左右全周をカバーする画像が得ることができ、かつ、画像間の特徴点同士の対応を 簡便に取ることができ、一回の撮影で物体の全方向からの多視点画像を得られ、反 射屈折ステレオ視により、一枚の画像力 物体の 3次元全周形状を計測できる 3次元 オブジェ外計測装置を提供することを目的とする。
課題を解決するための手段
[0012] 上記目的を達成するため、本発明の 3次元オブジェクト計測装置は、撮影対象とな る 3次元オブジェクトを載せる台座と、前記台座を筒の内壁面で取り囲み、前記筒の 内壁面を鏡面とした鏡面円筒体と、前記台座に対向し、レンズ光軸が前記鏡面円筒 体の円筒中心軸と一致するように配置された魚眼レンズと、前記魚眼レンズを介して 得られた画像を記録する撮影記録手段とを備えたカメラを備え、前記カメラの撮影記 録手段により、前記台座上の 3次元オブジェクトを直接見た直接画像と、前記鏡面円 筒体の内壁の鏡面に映り込んでいる前記台座上の 3次元オブジェクトの反射画像と を併せて撮影するものである。
上記構成によれば、魚眼レンズによりレンズ光軸を中心として放射状に全視野角の 映像が撮影でき、魚眼レンズに対向する台座に載せられた 3次元オブジェクトを直接 撮影した直接画像と、鏡面円筒体の側面内壁の鏡面に映り込んでいる 3次元ォブジ ェ外の反射画像とを併せて一度に撮影することができる。円筒鏡面の性質上、この 反射画像は 3次元オブジェクトの周囲をぐるりと囲む全方向の視点から見える正面画 像が映り込んだものとなっており、当該反射画像の撮影により、全方向の視点からの 正面画像を一度に得ることができる。
なお、撮影対象となる 3次元オブジェクトを台座に載せる以外に、 3次元オブジェクト を固定支持する手段、例えば、針金などで刺して固定支持してもよい。また、卓上を 台座として活用してもよい。
[0013] ここで、鏡面円筒体の側面内壁の鏡面に映り込んでいる 3次元オブジェクトの反射 画像が複数ある場合がある。つまり、鏡面で一回反射して魚眼レンズに捉えられたい わゆる一回反射画像、鏡面で二回反射して魚眼レンズに捉えられたいわゆる二回反 射画像など、鏡面で n (nは自然数）回反射して魚眼レンズに捉えられた ヽゎゆる n回 反射画像があり得る。
なお、上記は静止画像の説明であるが、時系列に連続した静止画像を得ればそれ らを動画像として扱うことができ、対象物体の動きに関する 3次元動画像データも得る ことが可能となる。
[0014] 次に、本発明の 3次元オブジェクト計測装置において、前記カメラの撮影記録手段 により撮影した撮影画像上の特徴点を抽出して決定する特徴点抽出手段と、前記特 徴点抽出手段によって抽出された前記直接画像上の特徴点に対応する前記反射画 像上の対応特徴点を前記反射画像上において探索して決定する、または、前記特 徴点抽出手段によって抽出された前記反射画像上の特徴点に対応する前記直接画 像上の対応特徴点を前記直接画像上において探索して決定する対応特徴点探索 手段と、前記特徴点と前記対応特徴点との対応関係を基に前記直接画像と前記反 射画像とのステレオ計測処理を行な!ヽ、前記直接画像と前記反射画像から前記 3次 元オブジェクトの 3次元画像データを生成する 3次元画像データ生成手段を備え、前 記対応特徴点探索手段にお!ヽて、前記撮影画像にお!ヽて画像の中心と前記特徴点 とを結ぶ延長線上を探索することにより前記対応特徴点の探索を行なうことを特徴と することが好ましい。
上記構成により、ステレオ計測処理にぉ ヽて直接画像と反射画像の間で特徴点と その特徴点に対応する対応特徴点とを簡便にマッチングすることができる。つまり、 本発明の 3次元オブジェクト計測装置では、反射画像は台座の中心（円筒中心)から 放射線状に展開された画像となっており、特徴点と対応する対応特徴点とが必ず同 じ直線上にあるため対応点探索が簡単となる利点がある。
[0015] 次に、本発明の 3次元オブジェクト計測装置において、前記台座を透明素材で形 成し、前記台座の下方向からも前記オブジェクトを可視とし、前記カメラとして第 1の力 メラと第 2のカメラの 2つのカメラを備え、前記第 1のカメラの魚眼レンズと前記第 2の力 メラの魚眼レンズが前記台座を挟んで対向し合うように配置することが好ましい。 上記構成により、鏡面円筒体のいわゆる上面と下面の 2方向から魚眼レンズで撮影 することにより、 3次元オブジェクトの上部画像と下部画像を同時に撮影することが可 能となる。
[0016] 次に、本発明の 3次元オブジェクト計測装置において、前記カメラが前記鏡面円筒 体に対して前記円筒中心軸に沿った移動が可能となっており、前記台座と前記魚眼 レンズの距離を可変とすることが好まし 、。
鏡面円筒体の側面内壁の鏡面において 3次元オブジェクトの反射画像が映り込む 位置は計測する 3次元オブジェクトの大きさ（高さ、厚み)や形状により異なる。直接画 像および反射画像を適切に撮影するため魚眼レンズの位置（台座と魚眼レンズとの 距離)が調整できることが好ましい。そこで、台座と魚眼レンズとの距離を可変としたも のである。
[0017] 次に、本発明の 3次元オブジェクト計測装置において、前記台座と前記鏡面円筒体 および前記カメラとの相対運動を可能とし、前記台座を固定した状態で、前記台座の 中心を回転運動の中心として 3次元空間内での前記鏡面円筒体および前記カメラを 一体とした自由な回転移動を可能とすることが好ましい。
上記構成により、 3次元オブジェクトが切り立った側面形状を持っている場合や、 3 次元オブジェクトが凹形状を持っている場合であっても、当該部分についてステレオ 計測に必要な画像を得ることができる。例えば 3次元オブジェクトが切り立った側面形 状を持っている場合は、鏡面円筒体と台座を固定したままでは魚眼レンズによっては 直接画像をうまく得ることができない。また、 3次元オブジェクトが上面に少し深い凹形 状を持っている場合は、鏡面円筒体とカメラを固定したままで直接画像を得ることは できるものの、反射画像としては凹形状の部分は周縁の壁面の陰になって得ることは できない。そこで、台座を固定した状態で、台座の中心を回転運動の中心として 3次 元空間内での鏡面円筒体およびカメラを一体とした自由な回転移動を可能としたも のであり、上記前者の側面形状の場合や上記後者の凹形状の場合であっても、それ ら部分の直接画像および反射画像が撮影できる別アングルの角度となるように鏡面 円筒体およびカメラの配置を調整せしめることを可能としたものである。
発明の効果
[0018] 本発明の 3次元オブジェクト計測装置によれば、魚眼レンズによりレンズ光軸を中 心として放射状に全視野角の映像が撮影でき、鏡面円筒体を組み合わせて台座に 載せられた 3次元オブジェクトの撮影画像を取得することにより、魚眼レンズに対向す る台座に載せられた 3次元オブジェクトを直接撮影した直接画像と、鏡面円筒体の側 面内壁の鏡面に映り込んでいる 3次元オブジェクトの反射画像とを併せて一度に撮 影することができる。また、本発明の 3次元オブジェクト計測装置によれば、ステレオ 計測処理において直接画像と反射画像の間で特徴点とその特徴点に対応する対応 特徴点とを簡便にマッチングすることができる。
発明を実施するための最良の形態
[0019] 以下、図面を参照しつつ、本発明の 3次元オブジェクト計測装置の実施例を説明す る。ただし、本発明の技術的範囲は以下の実施例に示した具体的な用途や形状 -寸 法などには限定されない。
また、 3次元オブジェクトの計測の際に、 3次元オブジェクトを支持する手段は、ォブ ジェタトを支えることができるものであれば良ぐ例えば、台座、吊るし糸、針金、針な どが挙げられる。ここで台座は装置筐体に組み込まれる小さな板状のものに限定され ず、机や置き台のような大きなものも含む。机を支持手段とする場合は後述する鏡面 円筒体を、支持手段である台座としての机の上に立てて据え置くこととなる。
以下に説明する実施例では 3次元オブジェクトの支持手段を小さな円盤状の板であ る台座として説明する。
実施例 1
[0020] 実施例 1にかかる本発明の 3次元オブジェクト計測装置の例を示す。
図 1は実施例 1に係る 3次元オブジェクト計測装置 100の基本構成を模式的に示し た図である。
[0021] 10は撮影対象となる 3次元オブジェクトを載せる台座である。台座 10の形状は限定 されないが、例えば、円盤状とする。台座 10の大きさは撮影対象となる 3次元ォブジ ェタトが載せ置ける大きさとする。
[0022] 20は鏡面円筒体である。鏡面円筒体 20は横断面が真円である円筒形状を持ち、 その内壁面が鏡面となっている。つまり、本発明に言う鏡面円筒体とは、筒体の内壁 面が円筒形でかつ鏡面となって 、るものを言う。筒体の外壁面は力ならずしも円筒形 でなくとも良くまた鏡面でなくとも良い。例えば、外形形状は四角柱でプラスチック素 材である力 その内側に円柱形のくり抜きがありその内壁面が鏡面であるようなものも 含まれる。
鏡面円筒体 20の内径はその中に台座 10を収める大きさを持っており、この例では 台座 10は鏡面円筒体 20の底面部分に収められている。
鏡面円筒体 20の高さは、撮影対象となる 3次元オブジェクトの高さを Lとすると、基 底となっている台座 10から L以上あれば良いが、例えば、台座 10から 2L〜10L程度 の高さとすることができる。
[0023] 30はカメラである。カメラ 30は魚眼レンズ 31と撮影記録手段 32を備えている。
魚眼レンズ 31は、台座 10に対向し、レンズ光軸が鏡面円筒体 20の円筒中心軸と 一致するように配置されている。この例では魚眼レンズ 31は鏡面円筒体 20の上面に 配置され、台座 10に対向するように下向きに据え付けられている。魚眼レンズ 31の 中心軸 (レンズ光軸）は円筒鏡面体 20の中心軸（円筒中心軸）に一致するように配置 されている。
撮影記録手段 32は魚眼レンズ 31を介して得られた画像を記録できるものであれば 特に限定されず、アナログフィルムに露光記録するいわゆるアナログ画像記録手段 でもよく、 CCD (Charge Coupled Device)などの受光素子で受光してデジタルデータ として記録する 、わゆるデジタル記録手段でも良 、。一例としてここでは撮影記録手 段 32はデジタル画像記録手段とする。
[0024] 画像データ処理装置 40は、カメラ 30により撮影された 2次元画像を受け取り、ステ レオ計測処理により 3次元画像データを生成するものである。画像データ処理装置 4 0は、特徴点抽出手段 41、対応特徴点探索手段 42、 3次元画像データ生成手段 43 を備えるが（図 1には図示せず）、これらにっ 、ては後述する。
[0025] 次に、図 1に示した 3次元オブジェクト計測装置 100の構成例において、台座 10に 載せ置 、たオブジェクトを撮影してステレオ計測法により 3次元画像データを得る原 理と手順を説明する。ここでは、一例として、コーン形状（円錐体形状)を持つ 3次元 オブジェクト (オブジェクト 1)を読み取る例を説明する。
ステレオ計測法に基づいて 2次元画像データから 3次元画像データを得るためには 、手順 1として、対象となる 3次元オブジェクトを複数の視点 (それぞれ異なる角度)か ら撮影した 2次元画像を取得する手順、手順 2として、取得した複数の 2次元画像間 の特徴点間でマッチング処理を行なって 3次元オブジェクトの要素ごとに対応付けを 行なう手順、手順 3として、ステレオ計測処理に基づく差分計算や推論計算により 3次 元画像データとしておこす手順を踏む必要がある。
[0026] まず、手順 1として、本発明の 3次元オブジェクト計測装置 100では、一度の撮影に より直接画像と反射画像の少なくとも 2つの画像を得る。ここで、直接画像とは、台座 10上の 3次元オブジェクトから魚眼レンズ 31に直接入射する光線を受光して得た画 像、つまり、魚眼レンズ 31の視点力も直接見える 3次元オブジェクトの画像のことを言 う。反射画像とは、台座 10上の 3次元オブジェクトから鏡面円筒体 20の内壁鏡面に おいて反射して魚眼レンズ 31に入射する光線を受光して得た画像、つまり、魚眼レ ンズ 31の視点から鏡面円筒体 20の内壁鏡面に映り込んでいる 3次元オブジェクトの 反射画像のことを言う。反射画像には、鏡面円筒体 20の内壁鏡面において一度反 射して魚眼レンズ 31に入射する一回反射画像 R1、鏡面円筒体 20の内壁鏡面にお いて二度反射して魚眼レンズ 31に入射する二回反射画像 R2など多数回反射して得 られる画像を含む。つまり、鏡面円筒体 20の内壁鏡面において n(nは自然数）回反 射して魚眼レンズ 31に入射するものは n回反射画像 Rnとなる。
[0027] 図 2は直接画像と反射画像のカメラ 30における受光の様子を 3次元オブジェクト計 測装置 100の縦断面において模式的に表した図である。図 2では、 3次元オブジェク ト 1のある点 Aにのみ着目している。台座 10に載せ置かれた 3次元オブジェクト 1のあ る点 Aから出射し、直接魚眼レンズ 31に入射する光が直接画像を形成する光路 AO である。点 Aから出射し、鏡面円筒体 20の内壁鏡面において一度反射して魚眼レン ズ 31に入射する光が一回反射画像を形成する光路 A1である。点 Aから出射し、鏡 面円筒体 20の内壁鏡面において二度反射して魚眼レンズ 31に入射する光が二回 反射画像を形成する光路 A2である。
なお、三回以上反射する光路もあるが、図 2では二回反射の光路 A2までを示し、そ れ以上のものは図示を省略している。また、図 2は点 Aのみに着目した光路を示した 力 オブジェクト 1の表面のすべての点から出射した光が図 2と同様の原理により魚眼 レンズ 31に入射する。
[0028] 図 3は、台座 10の上に載せ置かれたコーン形状であるオブジェクト 1をカメラ 30によ り撮影して得た画像を模式的に示す図である。なお、オブジェクト 1のある点 Aを参考 までに白丸の小点として示している。図 3において中央に見える画像力 オブジェクト 1の直接画像 DOであり、コーン形状を真上力も見たものとなっている。図 3において 直接画像 DOを囲む円は台座 10と鏡面円筒体 20のエッジ Eである。次に、エッジ Eを 囲む外側の輪状のものは鏡面円筒体 20の内壁鏡面に映り込んだオブジェクト 1の一 回反射画像 R1である。コーン形状の側面が面円筒体 20の内壁鏡面をぐるりと周回 する形で映り込んでいる。次に、一回反射画像 R1を囲む外側の輪状のものは鏡面 円筒体 20の内壁鏡面に映り込んだオブジェクト 1の二回反射画像 R2である。一回反 射画像 R1と同様、コーン形状の側面が面円筒体 20の内壁鏡面をぐるりと周回する 形で映り込んでいるが、二回反射画像 R2では像が点対称の像となっている。つまり、 オブジェクト 1上のある点 Aの画像は、直接画像 DOでは右側にあり（画像点 GO)、一 回反射画像 R1でも右側にあるが（画像点 G1)、二回反射画像 R2では左側に映り込 んでいる（画像点 G2)。
なお、図 3では三回反射以上の反射画像 (反射画像 R3など）は図示を省略した。 本発明の 3次元オブジェクト計測装置 100では、このように一度の撮影により直接 画像と反射画像の複数の画像を得る。
[0029] ここで、本発明の 3次元オブジェクト計測装置 100により得た直接画像と反射画像 力 異なる角度の複数の視点力も撮影した画像として 3次元ステレオ計測に用いるこ とができる理由を説明する。
[0030] 図 4は、図 2で説明したオブジェクト 1の点 Aに対する直接画像を形成する光路 A0、 一回反射画像を構成する光路 A1、二回反射画像を形成する光路 A2の撮影視点を 等価的に展開した様子を模式的に示した図である。実際の魚眼レンズ 31は撮影視 点 FOであるが、一回反射画像 Rlに対応する光路 Alは撮影視点 Flに入射する光 路 A1 'と等価である。同様に、二回反射画像 R2に対応する光路 A2は撮影視点 F2 に入射する光路 A2'と等価である。つまり、一回反射画像 R1における点 Aはォブジ ェクト 1を撮影視点 F1にお 、た仮想カメラ 30'にお 、て撮影すれば得られるであろう 画像中の点 Aと等価であり、二回反射画像 R2における点 Aはオブジェクト 1を撮影視 点 F2においた仮想カメラ 30'，において撮影すれば得られるであろう画像中の点 Aと 等価であると言える。なお、鏡面円筒体 20の内径を!:とすると、撮影視点 F1は魚眼レ ンズ 31から 2r離れた位置、撮影視点 F2は魚眼レンズ 31から 4r離れた位置となる。 図 4を用いた上記の説明はオブジェクト 1の右側にある点 Aのみについて着目して 説明したが、実際にはコーン形状の表面のすべての点について、対面する鏡面円筒 体の内壁鏡面との間で成立するので、図 3に示した、鏡面円筒体 20の内壁鏡面に映 り込んだ一回反射画像 R1は、円筒中心軸を回転の中心として半径 2rの円周上を 36 0度ぐるりと仮想カメラ 30'を移動させながらオブジェクト 1を撮影し、各撮影画像の中 央画像 (コーン形状のうち撮影視点に対して真正面に正対している正面画像)のみを 集めた画像と等価な画像となっている。同様に、二回反射画像 R2は、円筒中心軸を 回転の中心として半径 4rの円周上を 360度ぐるりと仮想カメラ 30"を移動させながら オブジェクト 1を撮影し、各撮影画像の中央画像のみを集めた画像と等価な画像とな つている。つまり、本発明の 3次元オブジェクト計測装置 100により得た直接画像 DO と反射画像 Rlと反射画像 R2は、魚眼レンズ 31が配置されて 、る実際の視点 F0から の直接画像にカ卩え、円筒中心軸から半径 2r離れた円周上および半径 4r離れた円周 上を取り囲むように配置された無数 (解像度の数)の撮影視点カゝら撮影された画像を 含むものとなっている。しかし、撮影視点が無数とは言え、反射画像は各撮影視点の 正対画像、つまり、各撮影視点から撮影した画像のうちの真正面に正対する中央画 像のみを集めたものと等価であるので、オブジェクト 1上の一つの点に注目すれば（ 例えば点 A)ステレオ計測に用いることのできる画像データの数が無数にあるわけで はなぐ直接画像 DOに写されている当該点の画像 (例えば画像点 GO)と、半径 2rの 視点から写した一回反射画像 R1に写されて ヽる当該点の画像 (例えば画像点 G1) と、半径 4rの視点から写した二回反射画像 R2に写されている当該点の画像 (例えば 画像点 G2)の 3つの画像データしかない。つまり、この例では、ステレオ計測処理に 用いる画像データとしては、 3つの視点からの 2次元画像が一度に得られたものと同 様の効果が得られたこととなる。
[0032] ここで、本発明の 3次元オブジェクト計測装置のステレオ視計測における、点から魚 眼レンズを通してカメラに入射する光線角のパラメータ決定方法について述べる。 魚眼レンズは、魚眼レンズに入射する光線が光軸と成す角 φと、光線が射影された 画像平面における画像中心からの距離 dの関係を下記数式 1で表せる。
[0033] [数 1]
Figure imgf000014_0001
[0034] 図 9に、角 φと画像中心からの距離 dの関係図を示す。ここで、 fは焦点距離である 。また関数 g ( φ )は、魚眼レンズの射影特性であり、レンズ毎に特性が異なるもので ある。
魚眼レンズの射影特性をデータベースとして持っておくことで、撮影画像における 注目点の画像中心力もの距離によって、カメラに入射する光線の角度を決定できる のである。
[0035] 次に、本発明の 3次元オブジェクト計測装置 100におけるステレオ計測の手順 2を 説明する。
手順 2では、取得した複数の 2次元画像間でステレオ計測処理を行な 、3次元ォブ ジェタトの要素ごとに対応付けを行なうが、ステレオ計測処理をすベての画素につい て行なうことは計算コストが膨大となるので、通常は、画像データを DCT変換やフー リエ変換などにより周波数領域に変換し、画像中の特異点やエッジを抽出し、それら の代表的なものを特徴点として選定し、画像中の特徴点同士を探索してマッチングし て行く。ここではある画像中の特徴点に対応する他の画像中の特徴点を対応特徴点 と呼ぶ。
[0036] 従来技術における単純なマッチングアルゴリズムの場合は、画像間で特徴点同士 をすベて試行錯誤法により探索してマッチングして行くが、オブジェクトの形状が複雑 になると、画像中に多数の特異点やエッジが存在し、多数の特徴点が選定されること となりマッチング処理の計算コストが膨大になってしまう。
しかし、本発明の 3次元オブジェクト計測装置 100を用いる場合は、直接画像と反 射画像間の幾何学的関係を用いて特徴点同士のマッチング処理を実行することが できるので、計算コストを大幅に低減することができる。その原理は以下のように説明 できる。上記の図 3および図 4を用いて説明したように、カメラ 30により撮影された画 像には直接画像 DOと反射画像 (ここでは一回反射画像 R1と二回反射画像 R2の 2つ とする）が写されているが、この直接画像 DOと反射画像 (一回反射画像 R1と二回反 射画像 R2)の間には、重要な幾何学的関係が存在する。ここで言う幾何学的関係と は、対応し合う特徴点同士は、画像の中心を通るように引いた同じ直線上に存在す るという関係である。
[0037] オブジェクト上のある点の画像は、正対する鏡面円筒体の内壁鏡面に映り込む。二 回反射画像の場合は点対称となるが、中心点を挟んで折り返した位置となるので、結 局、直接画像上のある特徴点に対応する反射画像上の特徴点は直接画像上の当該 特徴点と画像の中心点を結ぶ直線の延長線上にあることとなる。図 3で説明すれば、 直接画像 DO上のある特徴点である画像点 GOについて対応する特徴点を探索する 場合、画像中心 Cと画像点 GOを結んだ直線の延長線上を探索すれば、一回反射画 像 R1中の対応する特徴点である画像点 G 1と二回反射画像 R2中の対応する特徴点 である画像点 G2が見つかる。この幾何学的関係を特徴点の探索のマッチングァルゴ リズムに取り込めば、その計算コストを大幅に低減することが可能となる。
以上の手順により、特徴点同士の幾何学的関係を用いて効率よく特徴点と対応す る対応特徴点を探索する。
[0038] 参考として、試作した本発明の 3次元オブジェクト計測装置 100にお 、て、ピラミッド 形状のオブジェクトを撮影した画像の例を示しておく。
図 5は、台座の中心にピラミッド形状のオブジェクトを据え置き、その直接画像およ び鏡面円筒体の内壁鏡面に映り込んだ反射画像を併せて撮影した画像を示してい る。なお、画像中に引いてある放射線は直接画像と反射画像との対応を目視しゃす いように、後処理により画像中に追加した線であり、このような放射線が当初力も写り 込んでいるわけではない。 [0039] なお、上記した特徴点同士の幾何学的関係は、オブジェクトが台座の中心力もず れた位置に載せ置かれていても変わることはない。図 6はオブジェクトが台座の中心 力もずれた位置に載せ置かれた場合でも特徴点同士の幾何学的関係が保たれてい ることを示す図であり、図 5に比べ、オブジェクトが台座の中心力 右上に偏った位置 に載せ置かれており、鏡面円筒体の内壁鏡面に映り込んだ反射画像は図 5に比べて 大きく歪んでいる力 特徴点同士は画像中心を通る直線上に存在することが分かる。 図 6中では、分力りやすいように、直接画像中の 2つの特徴点について注目し、それ ら特徴点と画像の中心を結ぶ 2本の直線を後処理で追加して引いている。その直線 上に、一回反射画像と二回反射画像における対応特徴点が存在することが分かる。
[0040] この理由について図 7を用いて説明する。図 7は、オブジェクトの一点力も鏡に 2回 反射してカメラに入射する光線の軌跡の一例を示している。図 7の（a)は側面から観 察したもので、（b)は真上から観察したものである。カメラの光軸と円筒鏡の中心軸が 一致しているとき、ある光線がカメラに入射するためには、光線は円筒鏡の中心軸を 通らなければならない。図 7 (b)のように本発明の 3次元オブジェクト計測装置を上か ら見たとき、円筒の中心軸を挟んで向き合う円筒鏡の 2点の接線は、図 7 (b) に示す ように常に平行になる。従って、円筒の中心を通る光線は常に、平行な接線をもつ鏡 面に対して、真上力も観察した場合に垂直に入射することとなる。同一の点を始点と する光線は、必ず同一の直線上に存在するため、仮想カメラのェピポーラ線は円筒 の中心を通る直線となるのである。
[0041] 図 8に、仮想オブジェクトを撮影したシミュレーション画像を示す。
撮影画像の中心にカメラから直接見える像、その周囲に円筒鏡に反射した像が存在 する画像が得られる。また反射像は、画像中心力も反射回数の少ない順に、同心円 状に並ぶことになる。
ここで、図 8 (a)のオブジェクトが円錐の形状を有する場合、オブジェクト表面上の A 点からカメラに入射する光線は、画像中心と点 Aを結ぶ破線上だけを移動することに なる。このため、撮影画像中に存在する対応点の組の探索範囲を、画像中心を通る 直線上に限定できることとなり、計算量の削減や、対応点の誤検出の削減ができるの である。 また、同様に、図 8 (b)のオブジェクトが四角錐の形状を有する場合、オブジェクト表 面上の B点力 カメラに入射する光線は、画像中心と点 Bを結ぶ破線上だけを移動 すること〖こなる。
また、図 8 (c)のオブジェクトが円錐の形状を有し、かつ、位置が中心力 ずれて置 かれて撮影された場合でも、オブジェクト表面上の C点からカメラに入射する光線は、 画像中心と点 Cを結ぶ破線上だけを移動することになる。
[0042] 次に、本発明の 3次元オブジェクト計測装置 100におけるステレオ計測処理に基づ く 3次元画像データ生成の手順 3を説明する。
手順 3では、手順 2により得られた特徴点と対応特徴点との対応関係を基に直接画 像と反射画像とのステレオ計測処理を行な!ヽ、直接画像と反射画像から 3次元ォブ ジェタトの 3次元画像データを生成する。例えば、直接画像データと反射画像データ 間の差分計算や推論計算により 3次元画像データとしておこして行く。本発明の 3次 元オブジェクト計測装置 100では、この手順 3は特に限定されず、ステレオ計測処理 を行なうアルゴリズムであれば広く適用することができる。
[0043] 図 12は、本発明の 3次元オブジェクト計測装置 100における 3次元画像データ処理 装置 40の構成要素を示すブロック図である。なお、ハードウェアとしては汎用のパー ソナルコンピュータ資源とソフトウェアモジュールと組み合わせた情報処理組織を用 いてステレオ計測法に基づく 3次元画像データ生成処理を具体的に実現するもので も良ぐ上記アルゴリズムを半導体回路によりコーディングした専用のハードウェアを 用いて実現するものでも良 、。
[0044] 41は、カメラ 30の撮影記録手段 32により撮影した撮影画像上の特徴点を抽出して 決定する特徴点抽出手段である。有効な特徴点の抽出アルゴリズムであれば特に限 定されず広く適用することができるが、例えば、 DCT変換により画像データを周波数 領域に変換し、画像中の特異点やエッジを抽出して特徴点を選定するアルゴリズム を利用する。
[0045] 42は対応特徴点探索手段であり、特徴点抽出手段 41によって抽出された直接画 像上の特徴点に対応する反射画像上の対応特徴点を反射画像上において探索し て決定する手段、または、特徴点抽出手段 41によって抽出された反射画像上の特 徴点に対応する直接画像上の対応特徴点を直接画像上において探索して決定する 手段である。この対応特徴点探索手段 42において、上記した幾何学的関係を用い た探索、つまり、画像の中心と特徴点とを結ぶ延長線上を探索することにより対応特 徴点の探索を実行するアルゴリズムを取り込んでおく。
[0046] 43は、 3次元画像データ生成手段であり、対応特徴点探索手段 42により得られた 特徴点と対応特徴点との対応関係を基に直接画像と反射画像との間でステレオ計測 処理を行な ヽ、 2次元画像である直接画像と反射画像カゝらオブジェクトの 3次元画像 データを生成する部分である。
[0047] ここで、対応点探索手段 42のアルゴリズムの一例として、 SSD (Sum of Squared Diff erence :差の二乗和）による手法の詳細を説明する。なお、上述したように対応点探 索手段 42は、既存のステレオ計測処理のアルゴリズムの適用が可能であり、 SSD以 外にも非線形のマッチング手法である DPマッチングなど幅広いアルゴリズムの適用 が可能である。
先ず、対応特徴点探索手段 42のアルゴリズムでは、処理の簡単ィ匕のために撮影画 像を極座標展開し、次に極座標展開された撮影画像から、ある一点を中心とする小 領域を探索元領域として切り出して、探索元領域に最も類似して 、ると考えられる領 域を探索する処理を行う。
本実施例では、 2つの領域の間で SSD (Sum of Squared Difference :差の二乗和） を計算し、 SSDの値が小さいほど互いの領域が類似しているものと判断している。伹 し、円筒鏡面で反射してカメラに入射した像は、半径方向に歪みを含んでいるため、 領域間の類似性を求める際には、反射像の歪みを補正すべきである。しかし、反射 像の歪みの大きさは、未知のパラメータである物体面の法線方向に依存するため、 歪みを解析的に補正することが不可能である。そこで本実施例では、探索領域の移 動に加えて、類似性を調べる反射像を半径方向について動的に拡大縮小させなが ら、 SSDの値を計算することにより、最も類似している領域の中心点の組を対応点の 糸且とすることとした。
以下では、対応特徴点探索手段 42のアルゴリズムについて、（1)撮影画像の極座 標展開処理、（2)探索対象領域のサイズの正規化処理、（3)探索対象領域の限定 処理、（4) SSD値の算出処理に分けて説明する。
[0048] (1)撮影画像の極座標展開処理
SSDの計算を単純ィ匕するための前処理として、撮影画像の極座標展開処理を行う 。図 10 (a)には、極座標展開した結果の画像例を示す。上述したように、本発明の 3 次元オブジェクト計測装置で撮影された画像にぉ ヽて、対応点の組は画像中心を通 る同一直線上に必ず存在する。よって、撮影された画像を、縦軸を画像中心からの 距離、横軸を角度とする極座標画像に展開することで、画像中のある一点に対応す る点を探索する際の範囲は、図 10 (b)に示す破線の領域内に限定されることになる 極座標展開前の画像における座標値を (u, V)、極座標展開後の座標値を (t、 w) とすると、変換における画素値の対応関係は下記数式 2, 3で表される。ここで、 t及 び wは整数値である。また、 Uは極座標展開前の画像における uおよび V軸方向の画 素数、 T, Wはそれぞれ極座標展開後の画像における t, w軸方向の画素数を表して いる。この極座標展開前の画像は、画像の中心に円筒の中心軸が存在するように撮 影されている。
なお、極座標展開前の画像において、下記数式 4の条件を満たさない座標値 (u, V )につ ヽては変換の対象として ヽな 、。
[0049] [数 2]
Figure imgf000019_0001
[0050] [数 3]
Figure imgf000019_0002
[0051] [数 4]
Figure imgf000020_0001
[0052] (2)探索対象領域のサイズの正規化処理
次に、探索対象領域のサイズの正規ィ匕処理について説明する。上述したように、撮 影画像における反射像の w軸方向の大きさは、光線の入射角と物体面の法線方向 に依存して変化する。例えば図 10 (a)や (b)では、物体像が鏡に 2回反射してカメラ に入射した像の w軸方向の大きさは、 1回反射してカメラに入射した像よりも小さくな る。しかし、計測段階において物体面の法線方向は未知であるため、 w軸方向への 像の大きさの変化を解析的に補正することは不可能である。そこで本発明の 3次元ォ ブジエ外計測装置では、類似性を調べた 、局所領域を w軸方向にっ 、て動的に拡 大縮小させながら、 SSDの値を計算することとしている。ここで、 SSD値を計算するに は、探索の際に基準となる領域 (Source)と評価対象の領域 (Target)の大きさが同一 でなければならない。
一般に、光線の入射角度や物体面の法線方向による像の大きさの変化は非線形 であるが、局所領域内の微小な像の歪みは、線形な拡大縮小で近似しても誤差は小 さいと考えられるため、本 3次元オブジェクト計測装置では処理の簡単ィ匕のため、線 形補間によって局所領域を拡大または縮小することにしている。
また、各画素の色は RGB表色系で表現されることとしている。正規化後の領域内の 点 ， w)における R, Gおよび Bそれぞれの輝度値 l (t, w) (i = r, g, b)は、正規ィ匕 前の点の輝度値。（i = r, g, b)と、 Sourceを 1.0としたときの Targetのスケール sを用 いて、下記数式 5から算出できる。ここで、 trunc (x)は xの小数点以下を切り捨てる関 数である。
[0053] [数 5] k it, W ) = ( l - A) 0l(t, U'int ) + Ao t, U'int, + 1
Figure imgf000021_0001
[0054] (3)探索対象領域の限定処理
次に、探索対象領域の限定処理について説明する。本発明の 3次元オブジェクト計 測装置で撮影した画像の n次反射像において、点 (t , w )を中心とする領域 Source
S S
に対応する領域 Targetは、ォクルージョンが発生しない場合、像の空間的な連続性 は鏡に反射しても保たれることから、下記数式 6を用いて求められる点 (t, wn )の近
g 傍に存在すると仮定する。ここで、 wn と wn はそれぞれ、 n回目の反射像が存在
mm max
する上端値と下端値を示しており、また、 wS と wS は、 Sourceが存在する上端値と
min max
下端値を示している。
[0055] [数 6]
Figure imgf000021_0002
[0056] ここで、上記数式 6で求めた点 wnは、 Sourceに対応する Targetの位置を線形比を
g
もとに推定しているものである。上述のとおり、反射像の W軸方向への歪みは一般に 非線形である力 非線形の歪みを線形比で近似した際の誤差は局所的にみると小さ いからである。
そこで、点 (t , w )を中心とする領域 Sourceに対応する領域を探索する際、探索対
S S
象となる w軸方向の範囲を、 wnを中心とする一定の範囲内に限定することで、探索
g
領域の削減を図っているのである。
中心を点 (t , w )とする領域 Sourceに対応する Targetを n次の反射像から探索する
S S
とき、探索の中心点とする wの範囲の上端 wn および下端 wn を下記数式 7で表
gmin gmax
す。また、鏡に反射した像を Source領域とする際は、上端 および下端 wn を
gmm gmax 下記数式 8で表す。ここで、 aは探索範囲の広さを表す定数であり、値が大きいほど 探索範囲は広くなる c
[数 7] 5
2 _ " - ll n n
trs in x _ "，s .
ii' - ',
ί川' ~ (ι j ' [ " m x
II：
[0058] [数 8]
5 7
Figure imgf000022_0001
ί 1 + ( ir
[0059] (4) SSD値の算出処理
次に、 SSD値の算出処理について説明する。 Sourceと線形補間によって正規ィ匕さ れた Targetの類似度を評価するため、本 3次元オブジェクト計測装置では評価量とし て、 Sourceと Target領域間の SSD値を用いている。この Source領域 Sと Target領域 T の間の SSD値 d は、下記数式 9により求められる。下記数式において、 Isおよび 1T
ST i i
(t, w) (i=r, g, b)はそれぞれ Sourceと Targetにおける各画素の輝度である。また、 1 Sおよび 1T (t, w) (i=r, g, b)がとりうる値の範囲は、双方とも 0以上 255以下である。
[0060] [数 9]
Figure imgf000022_0002
S 2
9
Figure imgf000022_0003
[0061] ここで、ある Sourceに対応する Targetを探索する流れについて、図 11を用いて説明 する。図 11は、カメラから直接観測された像を Sourceの全体集合 S とした例を表して
all
いる。 S 力 任意の窓サイズで切り出された Source領域 Sa(Saは S の集合に属する) all all に対応する探索候補領域は、図 11中の破線で示された領域に限定できる。また、 So urceに対応する Targetは、上述した局所領域内に存在すると考えられ、探索候補領 域内で窓サイズを変化させながら領域を切り出して、 Saとの SSD値を計算する。そし て、最小の SSD値をもつ領域 Taを Saに対応する領域として選択し、それぞれの中心 点をステレオ視の際に用いる対応点の組とする。同様に、 S に含まれるすべての画
all
素について対応点を探索するのである。
[0062] 以上、実施例 1に示した本発明の 3次元オブジェクト計測装置 100によれば、魚眼 レンズに対向する台座に載せられた 3次元オブジェクトを直接撮影した直接画像と、 鏡面円筒体の側面内壁の鏡面に映り込んでいる 3次元オブジェクトの反射画像とを 併せて一度に撮影することができ、直接画像と反射画像の間で特徴点とその特徴点 に対応する対応特徴点とを簡便にマッチングし、ステレオ計測処理に基づ 、て 2次 元画像データから 3次元画像データを生成することができる。
実施例 2
[0063] 実施例 2にかかる本発明の 3次元オブジェクト計測装置 100aの例を示す。
実施例 2の 3次元オブジェクト計測装置 100aは、実施例 1の 3次元オブジェクト計測 装置 100に対して、台座 10を透明素材で形成し、図 13のように、カメラ 30として第 1 のカメラ 30aと第 2のカメラ 30bの 2つのカメラを備え、第 1のカメラ 30aの魚眼レンズ 3 laと第 2のカメラ 30bの魚眼レンズ 31bが台座 10を挟んで対向し合うように配置した ものである。
これは、オブジェクト 1の上部画像のみならず下部画像についても同時に異なった 視点からの複数の画像を一度に撮影することを狙ったものである。
[0064] 実施例 1に示した鏡面円筒体 20の上部に一つのカメラ 30を備えた構成では、撮影 画像として得られるものは、オブジェクト 1の上面の直接画像 D0とオブジェクト 1の上 面の反射画像 Rnであり、オブジェクト 1の下面の直接画像 D0とオブジェクト 1の下面 の反射画像 Rnは併せて撮影することはできな 、。 [0065] そこで、本実施例 2の 3次元オブジェクト計測装置 100aは、鏡面円筒体 20の上部 のカメラ 30aのみならず、鏡面円筒体 20の下部にもカメラ 30bを備えた構成とし、ォ ブジェクト 1の上部画像のみならず下部画像についても同時に直接画像 DOと反射画 像 Rnを一度に撮影するものである。なお、台座 10は下方からもオブジェクト 1が撮影 できるようにガラス板などの透明素材とし、また、台座 10の下方にも鏡面円筒体 20が 延伸されている必要がある。
下方のカメラ 30bを用いたオブジェクト 1の下面の直接画像 DOと反射画像 Rnの撮 影原理およびステレオ計測処理の原理は実施例 1と同様であるので、ここでの説明 は省略する。
実施例 3
[0066] 実施例 3にかかる本発明の 3次元オブジェクト計測装置 100bの例を示す。
実施例 3の 3次元オブジェクト計測装置 100bは、実施例 1の 3次元オブジェクト計 測装置 100に対して、鏡面円筒体 20に対してカメラ 30を可動としたものであり、図 14 に示すように、カメラ 30が鏡面円筒体 20の中心軸に沿って上下に移動することがで き、台座 10と魚眼レンズ 31の距離を可変としたものである。
なお、カメラ 30の移動は、利用者が手でカメラ 30の筐体を移動させても良いが、力 メラ筐体とステッピングモーター機構と組み合わせ、利用者の操作入力に応じてカメ ラ筐体の移動が制御できる構成とすれば、魚眼レンズ 31と台座 10上のオブジェクトと の距離を正確に調整することができる。
[0067] 台座 10と魚眼レンズ 31との距離について考察すると、下記のことが言える。
台座 10と魚眼レンズ 31との距離が小さ 、場合 (オブジェクト 1とカメラ 30の距離が 近い場合）にもメリットとデメリットがあり、逆に、台座 10と魚眼レンズ 31との距離が大 きい場合 (オブジェクト 1とカメラ 30の距離が遠い場合）にもメリットとデメリットがあり、 両者を兼ね合わせて台座 10と魚眼レンズ 31との距離を調節する必要がある。
[0068] 図 15は、台座 10と魚眼レンズ 31との距離が小さい場合のメリットとデメリットを模式 的に説明した図である。
台座 10と魚眼レンズ 31との距離が小さくなると、カメラ 30によりオブジェクトを大きく 写すことができることとなり、オブジェクト表面の詳細な直接画像 DOを得ることができ る。つまり直接画像の解像度が上がる。これはメリットと言える。
[0069] その一方、鏡面円筒体 20の内壁鏡面に映り込むオブジェクトの一回反射画像 R1 を形成する光路 A1の魚眼レンズ 31への入射角は大きくなる。つまり、撮影視点 F1の 高さが低くなり、一回反射画像 R1はオブジェクトを斜め方向の低い位置の視点から 撮影した画像に相当する。鏡面円筒体 20の内壁鏡面に映り込むオブジェクトの二回 反射画像 R2を形成する光路 A2の魚眼レンズ 31への入射角はさらに大きくなり、二 回反射画像 R2はオブジェクトを斜め方向のより低い位置の視点カゝら撮影した画像に 相当するが、もともと一回反射画像 R1が斜め方向の低 ヽ位置カゝら撮影した画像に相 当するものなので、二回反射画像 R2と一回反射画像 R1の差分は小さぐステレオ計 測に用いる二次元画像としては情報量が小さくなる。これはデメリットと言える。
[0070] 次に、図 16は台座 10と魚眼レンズ 31との距離が大きい場合のメリットとデメリットを 模式的に説明した図である。
台座 10と魚眼レンズ 31との距離が大きくなると、図 15の場合に比べ、カメラ 30によ りオブジェクトを接写することができず、オブジェクト表面の直接画像 DOの解像度が 低くなる。これはデメリットと言える。
[0071] その一方、鏡面円筒体 20の内壁鏡面に映り込むオブジェクトの一回反射画像 R1 を形成する光路 A1の魚眼レンズ 31への入射角は図 15の場合に比べて小さくなる。 つまり、撮影視点 F1の高さが高くなり、一回反射画像 R1はオブジェクトを斜め方向の 高い位置の視点力も撮影した画像に相当する。鏡面円筒体 20の内壁鏡面に映り込 むオブジェクトの二回反射画像 R2を形成する光路 A2の魚眼レンズ 31への入射角 は大きくなり、二回反射画像 R2はオブジェクトを斜め方向の低い位置の視点から撮 影した画像に相当するが、一回反射画像 R1の入射角と二回反射画像の入射角の変 化は図 15の場合と比べて大きくなつている。つまり、二回反射画像 R2と一回反射画 像 R1の差分は図 15の場合に比べて大きいものであり、ステレオ計測に用いる二次 元画像としては図 15の場合よりも情報量が大きくなる。これはメリットと言える。
[0072] このように、台座 10と魚眼レンズ 31との距離が大きい場合に生じるメリットおよびデ メリットと、台座 10と魚眼レンズ 31との距離が小さい場合に生じるメリットおよびデメリ ットはトレードオフの関係にある。さらに、可変量として、実際には、 3次元計測するォ ブジエタトの大きさ（高さ）が影響を与えるので、台座 10と魚眼レンズ 31との距離でな く、魚眼レンズ 31とオブジェクト 1との距離を考慮する必要がある。
そこで、本実施例 3の 3次元オブジェクト計測装置 100bは、鏡面円筒体 20に対し てカメラ 30を上下に可動としたものであり、カメラ 30が鏡面円筒体 20の中心軸に沿 つて上下に移動することができ、台座 10と魚眼レンズ 31の距離を可変としたものであ る。
[0073] なお、カメラ 30を可動とする代わりに、カメラ 30の位置を固定してカメラ 30にズーム 機構を備える構成を考察すると、直接画像 DOの大きさ、特に、光学的ズーム機構を 搭載すれば直接画像 DOの解像度を操作することはできるが、反射画像 R1の撮影視 点 F1や反射画像 R2の撮影視点 F2の高さを操作することはできない。また、ズーム 機構を用いた場合、中心画像が大きく見える代わりに周辺画像が捉えられなくなり、 高次反射画像 Rn、場合によっては二回反射画像 R2や一回反射画像 R1が撮影画 像中に捉えられなくなるおそれもある。そこで、本実施例 3の 3次元オブジェクト計測 装置 100bは、オブジェクト 1の高さを考慮しつつ反射画像 R1の撮影視点 F1や反射 画像 R2の撮影視点 F2の高さを操作することを重視し、カメラ 30が鏡面円筒体 20の 中心軸に沿って上下に移動することができ、台座 10と魚眼レンズ 31の距離を可変と したものである。
しかし、上記説明は、カメラ 30として光学的ズーム機構を搭載したものを排除する意 図ではなぐ本発明の 3次元オブジェクト計測装置 100のカメラ 30として、光学的ズー ム機構やデジタルズーム機構を備えたものを採用し、周辺画像である反射画像を撮 影が像中に捉えることのできる範囲でズーム撮影を行なわしめることは当然可能であ る。
実施例 4
[0074] 実施例 4にかかる本発明の 3次元オブジェクト計測装置 100cの例を示す。
実施例 4の 3次元オブジェクト計測装置 100cは、実施例 1の 3次元オブジェクト計測 装置 100に対して、鏡面円筒体 20およびカメラ 30の台座 10に対する相対運動を可 能としたものであり、図 17に示すように、台座 10を固定した状態で、台座 10の中心を 回転運動の中心として、 3次元空間内で鏡面円筒体 20およびカメラ 30を一体として 自由な回転移動を可能としたものである。
鏡面円筒体 20の回転移動は、利用者が手で鏡面円筒体 20を回転移動させても良 いが、鏡面円筒体 20とステッピングモーター機構と組み合わせ、利用者の操作入力 に応じて鏡面円筒体 20の移動が制御できる構成とすれば、基本姿勢において撮影 できな力つた部位の撮影を可能とするアングルとなるようにカメラ 30の撮影視点の方 向を正確に調整することができる。
[0075] 実施例 4の 3次元オブジェクト計測装置 100cは、基本姿勢において 3次元計測す るオブジェクト 1の形状や方向によって死角となり直接画像 DOまたは反射画像 Rnが 得られない部位が生じた場合でも、鏡面円筒体 20とカメラ 30を一体として台座 10に 対して角度を変えて別アングルとし、死角となって撮影画像が得られなカゝつた部位に ついても直接画像 DOまたは反射画像 Rnを得る工夫を施したものである。
[0076] オブジェクト 1の形状や方向によって死角となり直接画像 DOまたは反射画像 Rnが 得られない部位が生じる場合は概ね次の 3つの場合が想定される。
[0077] 第 1はオブジェクト 1が少し深い凹形状を持つ場合である。例えば、凹形状が上面 にある場合、当該部位について直接画像 DOは得ることができるが、斜めの撮影視点 F1や撮影視点 F2から得た反射画像 R1や反射画像 R2には、凹形状の底面部分は 周縁部分の死角になって写らない場合がある。また、例えば、凹形状が側面にある 場合、当該部位につ!ヽて正対する斜めの撮影視点 F1や撮影視点 F2から得た反射 画像 R1や反射画像 R2は得ることができるが、直接画像 DOでは凹形状の底面部分 は周縁部分の死角になって写らな 、場合がある。
[0078] 第 2はオブジェクト 1の側面が垂直に近い場合である。この場合、当該部位につい て正対する斜めの撮影視点 F1や撮影視点 F2から得た反射画像 R1や反射画像 R2 は得ることができるが、直接画像 DOでは角度が大きすぎて有効な画像が得られな ヽ 場合がある。複数の反射画像 Rnを得ることができたとしても、直接画像 DOは 3次元ス テレオ計測では重要な情報であるので、直接画像 DOを得るべく撮影方向を工夫す ることは推奨されるちのと言免る。
[0079] 第 3はオブジェクト 1の形状が複雑で、その一部が他の部分の陰になる場合である。
典型的には昆虫における足関節の付け根のような部位である。例えば、当該部位に っ 、て直接画像 DOは得ることができるものの、斜めの撮影視点 F1や撮影視点 F2か ら得た反射画像 R1や反射画像 R2では、他の部位の陰になって写らな ヽ場合がある これらオブジェクト 1の形状や方向によって死角となり直接画像 DOまたは反射画像 Rnが得られな 、部位が生じる場合でも、本実施例 4の 3次元オブジェクト計測装置 1 OOcは、鏡面円筒体 20とカメラ 30を一体として台座 10に対して角度を変えて、当該 部位ついて必要な直接画像 DOまたは反射画像 Rnを得るための別アングルの画像 の撮影を行なうものである。
[0080] ここでは、一例として、オブジェクト 1の側面が垂直に近い場合について説明する。
図 18は、図 2と同様、直接画像と反射画像のカメラ 30における受光を 3次元ォブジ ェクト計測装置 100cの縦断面において模式的に表した図である。図 18に示すように 、オブジェクト 1の側面部分の点 Bについて、直接画像 DOに相当する光路 B0は、魚 眼レンズ 31に直接入射することはできない。つまり、直接画像 DOにおいて側面部分 の点 Bの画像は含まれていない、または、たとえ含まれていても撮影角度が極めて浅 いため有効な情報が得られないものとなっている。一方、反射画像 R1に相当する一 回反射の光路 B1は、魚眼レンズ 31に入射しており、一回反射画像 R1において側面 部分の点 Bの画像は含まれていることとなる。同様に、反射画像 R2に相当する二回 反射の光路 B2は、魚眼レンズ 31に入射しており、二回反射画像 R2においても側面 部分の点 Bの画像は含まれていることとなる。このように、複数の反射画像 R1と R2に は点 Bに関する画像情報が含まれて 、るが、直接画像 D0において点 Bに関する情 報が得られていない。
[0081] 次に、図 19は、図 18の基本姿勢から、台座 10を固定した状態で台座 10の中心を 回転運動の中心として鏡面円筒体 20およびカメラ 30を一体として垂直面内で時計 回りに回転移動した状態を示している。図 19に示すように、オブジェクト 1の側面部分 の点 Bはカメラ 30の撮影視点から良く見える位置となり、直接画像 D0に相当する光 路 B0は、魚眼レンズ 31に直接入射する。つまり、直接画像 D0において側面部分の 点 Bの画像は有効に含まれていることとなる。反射画像 R1に相当する一回反射の光 路 B1も魚眼レンズ 31に直接入射しており、一回反射画像 R1にお ヽて側面部分の 点 Bの画像は含まれている。同様に、二回反射画像 R2においても側面部分の点 Bの 画像は含まれている。
このように、図 19の基本姿勢では直接画像 DOにおいて十分な画像情報が得られ な 、側面部分の点 Bにつ 、て、図 19の姿勢では直接画像 DOにお 、て十分な画像 †青報が得られることとなる。
[0082] なお、図 19の姿勢はオブジェクト 1の切り立った右側面の点 Aの直接画像 DOを得 るための回転の例であるが、オブジェクト 1の左側面、正面（手前側の側面）、裏面（ 奥側の側面)など他の側面の直接画像 DOを得る場合、別途、そのターゲットとなる側 面が魚眼レンズ 31に正対するように鏡面円筒体 20とカメラ 30を一体に回転させれば 良 、。 ここで、回転制御手段は限定されな!、が、例えば、ステッピングモーター等を 用いたものとすれば良い。
本発明の 3次元オブジェクト計測装置は、少ない撮影回数で 3次元ステレオ計測に 用いる複数の画像を得ることが目的であるところ、実施例 4に係る 3次元オブジェクト 計測装置 100cは基本姿勢の撮影画像に加え、アングルを変えてもう一回撮影を行 なうものであるが、オブジェクトの形状や姿勢に影響され、もともと撮影が難しい部位 につ 、て複数の画像を二回の撮影で得るものであり、少な 、撮影回数で 3次元ステ レオ計測に用いる複数の画像を得る本発明の目的に沿ったものと言える。
以上、本発明の好ましい実施形態を図示して説明してきたが、本発明の技術的範 囲を逸脱することなく種々の変更が可能であることは理解されるであろう。
実施例 5
[0083] 本実施例 5では、本発明の 3次元オブジェクト計測装置のプロトタイプを製作し、実 物体の形状を計測している。以下に、実測画像を用いた形状計測データ結果を示す 本実施例 5のオブジェクト計測環境を説明する。計測に用いたカメラは、 Opteon社 製 DepictDlEを用い、 I392 X 1(Μ0 (pixels)で撮影された画像から、 1024 X 1024 (pixel s)の画像を切り出して使用した。また光源としてリングライトを用い、カメラの周囲から 物体へ光を投射した。円筒鏡の内径は 90 (mm) ,高さは 100 (mm)である。但し、本実 施例で用いたカメラはグレースケール画像のみ得られることから、前述の数式 9にお ける lS. (t, w)および 1T (t, w) (i=r, g, b)については、下記数式 10とする。ここで、 Is (t, w)および 1T (t, w)はそれぞれ、 Sourceおよび Targetにお!/、て、カメラ力ら得 gray gray
られた撮影画像の明度値である。また取り得る値の範囲は双方とも 0以上 255以下で ある。
[数 10]
Figure imgf000030_0001
[0085] 本実施例では計測対象として、図 20に示す円錐形状のオブジェクトを用いている。
この円錐形状のオブジェクトの底面の直径は 56 (mm) ,高さは 34 (mm)であり、円錐表 面はグレースケールの情景画像をテクスチャとして持つものである。
図 20に示される円錐形状のオブジェクトを本発明の 3次元オブジェクト計測装置で 撮影すると、図 21に示す撮影画像が得られた。本実施例では、この画像から円錐の オブジェクトの形状計測を行った。
ここで、本実施例における SSDの窓サイズは 5 X 5 (pixels)とした。また、前述の数 式 5におけるスケール sを 0.5から 2.0まで 0.1ずつ変化させて、カメラで直接観測された 像と円筒鏡に 1回反射した像を用いて、ステレオ視により形状を計測した。本発明の 3次元オブジェクト計測装置による円錐の形状計測結果を図 22に示す。
また、本発明の 3次元オブジェクト計測装置により計測された円錐の形状について 、横軸を画像中心からの距離，縦軸を高さとする散布図にしたものを図 23に示す。
[0086] 上述のように、実際の物体の形状計測を試みた結果、本発明の 3次元オブジェクト 計測装置を用いて、実物体の全周形状を一枚の画像によって計測できることが示さ れた。本実施例 5により、本 3次元オブジェクト計測装置は、カメラと円筒鏡のみから なる単純な装置構成と、画像を一枚のみ撮影する簡易な撮影プロセスで、物体の全 周形状を計測でき、物体の全周形状計測に有用であることが示されたことになる。 産業上の利用可能性 [0087] 本発明の 3次元オブジェクト計測装置は、円筒鏡に物体を入れ、カメラで上から物 体を撮影することで、一回の撮影で物体の全方向からの多視点画像を得られ、反射 屈折ステレオ視により、一枚の画像力 物体の三次元全周形状を計測できることから 、例えば、昆虫や小動物の電子図鑑など、教育分野におけるコンテンツ作成用途に おいて利用することができ、またそれらのコンテンツを用いることにより、動画の記述 の充実を図ることができる。教育分野のみならず、医療分野、学術研究分野など多目 的に本 3次元オブジェクト計測装置を用いることができるのである。
本発明の 3次元オブジェ外計測装置は、装置構成や撮影プロセスの簡単さから、 ユーザが個人的な所有物の形状を手軽に計測したり、多くの物体の全周形状を効率 良く計測したりする用途に有用である。また、一枚の画像から物体の全周形状を計測 できるため、連続的に画像を撮影すれば、動物の動きとともに全周形状を記録するこ とも可能であり、静止画のみならず動画の記述の充実を図ることができる。
図面の簡単な説明
[0088] [図 1]実施例 1に係る 3次元オブジェクト計測装置の基本構成を模式的に示した図 [図 2]直接画像と反射画像のカメラにおける受光を 3次元オブジェ外計測装置の縦 断面において模式的に表した図
[図 3]台座の上に載せ置かれたコーン形状であるオブジェクトをカメラにより撮影して 得た画像を模式的に示す図
[図 4]オブジェクトの点 Aに対する直接画像 DO、一回反射画像 Rl、二回反射画像 R
2の撮影視点を等価的に展開した様子を模式的に示した図
[図 5]台座の中心に置かれたピラミッド形状のオブジェクトの直接画像および鏡面円 筒体の内壁鏡面に映り込んだ反射画像を併せて撮影した画像を示した図
[図 6]オブジェクトが台座の中心からずれた位置に載せ置かれた場合でも特徴点同 士の幾何学的関係が保たれていることを示す図
[図 7]オブジェクトの一点力も鏡に 2回反射してカメラに入射する光線の軌跡の一例を 示す図
[図 8]仮想オブジェクトを撮影したシミュレーション画像を示す図
[図 9]角 φと画像中心力もの距離 dの関係図 圆 10]極座標展開した結果の撮影画像
[図 11]探索対象領域を示す図
圆 12]本発明の 3次元オブジェクト計測装置におけるステレオ計測処理を実行する構 成要素を示すブロック図
圆 13]実施例 2に係る 3次元オブジェ外計測装置の基本構成を模式的に示した図 圆 14]実施例 3に係る 3次元オブジェ外計測装置の基本構成を模式的に示した図 圆 15]台座と魚眼レンズとの距離が小さい場合のメリットとデメリットを模式的に説明し た図
圆 16]台座と魚眼レンズとの距離が大きい場合のメリットとデメリットを模式的に説明し た図
圆 17]実施例 4に係る 3次元オブジェ外計測装置の基本構成を模式的に示した図 圆 18]基本姿勢における直接画像と反射画像の光路を 3次元オブジェ外計測装置 の縦断面において模式的に表した図
[図 19]台座の中心を回転運動の中心として鏡面円筒体およびカメラを一体として垂 直面内で時計回りに 45度回転移動した状態を示す図
[図 20]計測対象として用いた円錐形状を有する実物体を示す図
[図 21]計測対象として用いた円錐形状を有する実物体の撮影画像
圆 22]実測画像を用いた円錐の形状計測結果を示す図
圆 23]円錐の中心からの距離と高さの関係を示す図
符号の説明
1 オブジェクト
10 台座
20 鏡面円筒体
30, 30a, 30b カメラ
31 魚眼レンズ
32 撮影記録手段
40 画像データ処理装置
41 特徴点抽出手段 対応特徴点探索手段
3次元画像データ生成手段
, 100a, 100b, 100c 3次元オブジェク卜計測装置

Claims

請求の範囲
[1] 撮影対象となる 3次元オブジェクトを載せる台座と、
前記台座を筒の内壁面で取り囲み、前記筒の内壁面を鏡面とした鏡面円筒体と、 前記台座に対向し、レンズ光軸が前記鏡面円筒体の円筒中心軸と一致するように 配置された魚眼レンズと、前記魚眼レンズを介して得られた画像を記録する撮影記 録手段とを備えたカメラを備え、
前記カメラの撮影記録手段により、前記台座上の 3次元オブジェクトを直接見た直 接画像と、前記鏡面円筒体の内壁の鏡面に映り込んでいる前記台座上の 3次元ォブ ジェタトの反射画像とを併せて撮影する 3次元オブジェクト計測装置。
[2] 前記カメラの撮影記録手段により撮影した撮影画像上の特徴点を抽出して決定す る特徴点抽出手段と、
前記特徴点抽出手段によって抽出された前記直接画像上の特徴点に対応する前 記反射画像上の対応特徴点を前記反射画像上にぉ 、て探索して決定する、または 、前記特徴点抽出手段によって抽出された前記反射画像上の特徴点に対応する前 記直接画像上の対応特徴点を前記直接画像上において探索して決定する対応特 徴点探索手段と、
前記特徴点と前記対応特徴点との対応関係を基に前記直接画像と前記反射画像 とのステレオ計測処理を行な 1ヽ、前記直接画像と前記反射画像から前記 3次元ォブ ジェタトの 3次元画像データを生成する 3次元画像データ生成手段を備え、
前記対応特徴点探索手段にお!ヽて、前記撮影画像にお!ヽて画像の中心と前記特 徴点とを結ぶ延長線上を探索することにより前記対応特徴点の探索を行なうことを特 徴とする請求項 1に記載の 3次元オブジェクト計測装置。
[3] 前記台座を透明素材で形成し、前記台座の下方向からも前記オブジェクトを可視と し、
前記カメラとして第 1のカメラと第 2のカメラの 2つのカメラを備え、
前記第 1のカメラの魚眼レンズと前記第 2のカメラの魚眼レンズが前記台座を挟んで 対向し合うように配置されている請求項 1または 2のいずれかに記載の 3次元ォブジ クト計測装置。
[4] 前記カメラが前記鏡面円筒体に対して前記円筒中心軸に沿った移動が可能となつ ており、前記台座と前記魚眼レンズの距離を可変とした請求項 1から 3のいずれかに 記載の 3次元オブジェクト計測装置。
[5] 前記台座と前記鏡面円筒体および前記カメラとの相対運動を可能とし、
前記台座を固定した状態で、前記台座の中心を回転運動の中心として 3次元空間 内での前記鏡面円筒体および前記カメラを一体とした自由な回転移動を可能とした 請求項 1から 4のいずれかに記載の 3次元オブジェクト計測装置。
PCT/JP2005/024098 2005-01-13 2005-12-28 ３次元オブジェクト計測装置 WO2006075528A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006552886A JP4742190B2 (ja) 2005-01-13 2005-12-28 ３次元オブジェクト計測装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-006538 2005-01-13
JP2005006538 2005-01-13

Publications (1)

Publication Number Publication Date
WO2006075528A1 true WO2006075528A1 (ja) 2006-07-20

Family

ID=36677556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/024098 WO2006075528A1 (ja) 2005-01-13 2005-12-28 ３次元オブジェクト計測装置

Country Status (2)

Country Link
JP (1) JP4742190B2 (ja)
WO (1) WO2006075528A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013539273A (ja) * 2010-08-09 2013-10-17 クゥアルコム・インコーポレイテッド 立体カメラのためのオートフォーカス
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
CN113688846A (zh) * 2021-08-24 2021-11-23 成都睿琪科技有限责任公司 物体尺寸识别方法、可读存储介质及物体尺寸识别***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517054B1 (ko) * 2020-08-13 2023-03-31 연세대학교 산학협력단 원통형 컨볼루션 네트워크 연산 장치와 이를 이용한 객체 인식 및 시점 추정장치 및 방법
CN114279361B (zh) * 2021-12-27 2023-08-22 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量***及其测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001330915A (ja) * 2000-05-23 2001-11-30 Olympus Optical Co Ltd 立体画像撮影方法及び撮影補助具
JP2002095016A (ja) * 2000-09-20 2002-03-29 Fuji Photo Film Co Ltd 画像撮像装置及び画像撮像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001330915A (ja) * 2000-05-23 2001-11-30 Olympus Optical Co Ltd 立体画像撮影方法及び撮影補助具
JP2002095016A (ja) * 2000-09-20 2002-03-29 Fuji Photo Film Co Ltd 画像撮像装置及び画像撮像方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
JP2013539273A (ja) * 2010-08-09 2013-10-17 クゥアルコム・インコーポレイテッド 立体カメラのためのオートフォーカス
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9838601B2 (en) 2012-10-19 2017-12-05 Qualcomm Incorporated Multi-camera system using folded optics
US10165183B2 (en) 2012-10-19 2018-12-25 Qualcomm Incorporated Multi-camera system using folded optics
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9973680B2 (en) 2014-04-04 2018-05-15 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9860434B2 (en) 2014-04-04 2018-01-02 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9843723B2 (en) 2014-06-20 2017-12-12 Qualcomm Incorporated Parallax free multi-camera system capable of capturing full spherical images
US9854182B2 (en) 2014-06-20 2017-12-26 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9733458B2 (en) 2014-06-20 2017-08-15 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US10084958B2 (en) 2014-06-20 2018-09-25 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN113688846A (zh) * 2021-08-24 2021-11-23 成都睿琪科技有限责任公司 物体尺寸识别方法、可读存储介质及物体尺寸识别***
CN113688846B (zh) * 2021-08-24 2023-11-03 成都睿琪科技有限责任公司 物体尺寸识别方法、可读存储介质及物体尺寸识别***

Also Published As

Publication number Publication date
JP4742190B2 (ja) 2011-08-10
JPWO2006075528A1 (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
JP4742190B2 (ja) ３次元オブジェクト計測装置
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN111292364B (zh) 一种三维模型构建过程中图像快速匹配的方法
CN110543871B (zh) 基于点云的3d比对测量方法
Grossberg et al. The raxel imaging model and ray-based calibration
US7176960B1 (en) System and methods for generating spherical mosaic images
JP5872818B2 (ja) 測位処理装置、測位処理方法、および画像処理装置
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN113327291B (zh) 一种基于连续拍摄对远距离目标物3d建模的标定方法
JP6862569B2 (ja) 仮想光線追跡方法および光照射野の動的リフォーカス表示システム
US7042508B2 (en) Method for presenting fisheye-camera images
JP2004536351A (ja) 長方形の画像センサによりパノラマ画像を撮像する方法
CN111340959B (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
JP2019525509A (ja) 水平視差ステレオパノラマ取込方法
WO2008034942A1 (en) Method and apparatus for stereopanoramic imaging
JPH1195344A (ja) 全方位ステレオ画像撮影装置
CN106934110B (zh) 一种由聚焦堆栈重建光场的反投影方法和装置
EP0547635A2 (en) Method and apparatus for sensing a three-dimensional scene
CN113538552B (zh) 一种基于图像排序的3d信息合成图像匹配的方法
US10222596B2 (en) Omnidirectional catadioptric lens structure
Bazeille et al. Light-field image acquisition from a conventional camera: design of a four minilens ring device
WO2001022728A1 (en) Systems and methods for generating spherical mosaic images
JP7166607B2 (ja) 全方位カメラ装置の製造方法、全方位カメラ装置の設計方法
CN208353467U (zh) 一种全景拍摄图像数据处理合成***
Kontogianni et al. Evaluating the Effect of Using Mirrors in 3D Reconstruction of Small Artefacts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006552886

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05822273

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 5822273

Country of ref document: EP