WO2023100516A1 - ステレオカメラ、ステレオカメラシステム、および配置方法 - Google Patents

ステレオカメラ、ステレオカメラシステム、および配置方法 Download PDF

Info

Publication number
WO2023100516A1
WO2023100516A1 PCT/JP2022/038983 JP2022038983W WO2023100516A1 WO 2023100516 A1 WO2023100516 A1 WO 2023100516A1 JP 2022038983 W JP2022038983 W JP 2022038983W WO 2023100516 A1 WO2023100516 A1 WO 2023100516A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
rotation
stereo camera
optical axis
Prior art date
Application number
PCT/JP2022/038983
Other languages
English (en)
French (fr)
Inventor
制時 今川
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2023100516A1 publication Critical patent/WO2023100516A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present invention generally relates to stereo cameras for object detection, ranging and/or identification.
  • a stereo camera having a mechanism capable of controlling camera settings such as zoom, pan, and tilt has at least two cameras.
  • a technique for estimating is disclosed (see Patent Document 1).
  • the image capture device includes a rotation mechanism that rotates the imaging camera in at least one direction, image data output from the image capture device has an f ⁇ characteristic, and the rotation center of the rotation mechanism is an abbreviation of the optical system.
  • An image capture device characterized by being in the center of the entrance pupil is disclosed (see Patent Document 2).
  • Object detection systems using cameras are required to have a longer range and a wider angle in line with the demand for an expanded detection range.
  • a camera which plays an important role as a visual sensor, it is possible to increase the distance by increasing the focal length of the lens. It narrows the angle. Conversely, in order to widen the angle of view, it is necessary to shorten the focal length.
  • Patent Documents 1 and 2 panning and tilting operations that mechanically change the orientation of the camera are rational because the optical performance of the camera ensures long-distance performance, and the pan-tilt operation achieves a wide angle.
  • Patent Literature 1 and Patent Literature 2 do not mention the case where it is necessary to detect all angles of view at the same time. It is difficult to
  • the present invention has been made in consideration of the above points, and intends to propose a stereo camera or the like that can achieve a longer distance and a wider angle.
  • the present invention provides a first camera, a first rotation mechanism for rotating the first camera, a second camera, and a second rotation mechanism for rotating the second camera.
  • a mechanism wherein each of a first rotation axis of the first rotation mechanism and a second rotation axis of the second rotation mechanism is connected to the first camera and the second optical axis of the second camera, the first rotation axis intersects the first optical axis, and the second optical axis of the A rotation axis intersects the second optical axis, and a distance from an intersection of the first rotation axis and the first optical axis to a first entrance pupil position of the first camera; and the intersection of the second optical axis and the second entrance pupil position of the second camera.
  • the distance from the rotation axis of the rotation mechanism to the entrance pupil position of each camera is the same, for example, by performing coordinate transformation of the image using the rotation angle information, the distance measurement accuracy of the detected object can be ensured. At the same time, it is possible to achieve a longer detection range and a wider angle.
  • FIG. 4 is a diagram for explaining coordinate transformation according to the first embodiment;
  • FIG. FIG. 4 is a diagram for explaining distance calculation according to the first embodiment;
  • FIG. 10 is a diagram for explaining inconvenience when the rotation axis is not in the entrance pupil according to the first embodiment;
  • FIG. 4 is a diagram for explaining calibration according to the first embodiment;
  • FIG. FIG. 4 is a diagram for explaining calibration according to the first embodiment;
  • FIG. 10 is a diagram for explaining a method for solving the problem when the axis of rotation is not in the entrance pupil according to the second embodiment;
  • FIG. 10 is a diagram for explaining coordinate transformation according to the second embodiment;
  • FIG. 10 is a diagram for explaining coordinate transformation according to the second embodiment;
  • a stereo camera having a long-distance, wide FOV (field of view) detection range and high-precision ranging performance, and a stereo camera system using the stereo camera will be described.
  • the stereo camera system described in this embodiment includes multiple means for solving the above problems.
  • “cameras 1 and 2 constituting a stereo camera have a rotation mechanism for changing the shooting direction, let P1 and P2 be the entrance pupil positions of each camera, and let L be a straight line containing P1 and P2. Then, the rotation axes R1 and R2 of the rotation mechanism are perpendicular to the straight line L passing through P1 and P2 and the optical axes O1 and O2 of the respective cameras, and are parallel to each other.
  • the present invention is characterized in that "based on the rotation angle ⁇ of the rotating mechanism, correction processing is performed on at least one of the captured image of each camera and the processed image obtained by subjecting the captured image to image processing.”
  • Each camera has a rotation mechanism that changes the imaging direction of the stereo camera, and the rotation axis of the rotation mechanism is aligned with the entrance pupil position of each camera. It is possible to achieve a long detection range, a wide angle detection range, and space saving while ensuring the accuracy of distance measurement.
  • each camera 401 of the stereo camera 400 has an independent rotation axis, thereby widening the angle without providing a space larger than the horizontal projection area of the device. can be realized.
  • this method has the disadvantage that an error occurs in the distance measurement result when the orientation of the camera 401 is tilted.
  • Ob is the size of the target object
  • L1 and L2 are the distances from the cameras 1 and 2 to the target object, respectively
  • fc is the focal length of the cameras 1 and 2
  • B is the baseline length
  • ⁇ is the This is the orientation (rotation angle) of camera 1 and camera 2 . From the two equations, it can be seen that the image sizes of the target object obtained by camera 1 and camera 2 are different. In addition, since the image size ratio also varies depending on the distance of the target object, simply enlarging or reducing one of the images causes a ranging error.
  • FIG. 8 shows a schematic configuration of an object detection system 800.
  • Reference numerals 801 and 802 denote cameras that constitute stereo cameras.
  • Reference numerals 811 and 812 indicate rotation mechanisms (ROTATION MECH.) for changing the imaging directions of the cameras 801 and 802 .
  • Reference numeral 820 denotes a controller unit (CAMERA & ANGLE CONTROLLER) that controls the imaging timing of the cameras 801 and 802 and the operation of the rotation mechanisms 811 and 812 .
  • Reference numeral 830 denotes a geometric correction unit (GEOMETRIC CORRECTION) that corrects image distortion, image orientation, image size, etc. for the images acquired by the cameras 801 and 802 .
  • Reference numeral 840 denotes a coordinate conversion unit (COORDINATE CORRECTION) that mainly performs coordinate conversion of pixel values based on the rotation angles of the rotation mechanisms 811 and 812 .
  • Reference numeral 850 denotes a parallax image generation unit (DISPARITY) that generates parallax images using images that have undergone geometric correction and coordinate transformation.
  • Reference numeral 860 denotes an object detection unit (IMAGE ANALYSIS OBJECT DETECTION) that performs distance measurement, image analysis, object detection, etc. using parallax images and original images.
  • the functions of the object detection system 800 include, for example, a processor storing a program stored in an auxiliary storage device as a main memory. It may be implemented by reading and executing it in a device (software), may be implemented by hardware such as a dedicated circuit, or may be implemented by combining software and hardware. Note that one function of the object detection system 800 may be divided into multiple functions, or the multiple functions may be combined into one function.
  • the geometric correction unit 830, the coordinate transformation unit 840, and the parallax image generation unit 850 may be used as a correction unit.
  • object detection system 800 may be provided as separate functions or may be included in other functions. For example, geometric correction and coordinate transformation may be performed simultaneously.
  • the stereo camera provided with the cameras 801 and 802 includes, for example, a controller unit 820, a geometric correction unit 830, a coordinate conversion unit 840, and a parallax image generation unit 850, and a computer capable of communicating with the stereo camera detects an object.
  • a detection unit 860 may be provided.
  • a stereo camera including the cameras 801 and 802 includes, for example, a controller unit 820, and a computer capable of communicating with the stereo camera includes a geometric correction unit 830, a coordinate conversion unit 840, a parallax image generation unit 850, and an object detection unit.
  • a portion 860 may be provided.
  • part of the functions of object detection system 800 may be implemented by other computers that can communicate with object detection system 800 .
  • Rotation mechanisms 811 and 812 rotate at rotation angles instructed by controller unit 820 to change the imaging directions of cameras 801 and 802 fixed to rotation mechanisms 811 and 812, respectively.
  • the cameras 801 and 802 shoot at timings instructed by the controller unit 820 and send the acquired images (image data) to the geometric correction unit 830 .
  • the geometric correction unit 830 performs geometric correction processing including lens distortion correction, parallelization processing, and the like on each image sent to the geometric correction unit 830 , and sends the processed geometrically corrected image to the coordinate conversion unit 840 .
  • the coordinate transformation unit 840 performs coordinate transformation of the geometrically corrected image transmitted from the geometric correction unit 830 based on the rotation angle information transmitted from the controller unit 820, and converts the coordinate transformed image to the parallax image generation unit 850 and the object detection unit 860.
  • Send to The parallax image generator 850 generates parallax images using the coordinate-transformed images based on the images of the cameras 801 and 802 sent, and sends the generated parallax images to the object detector 860 .
  • the object detection unit 860 performs distance measurement, object detection, object identification, etc. using the sent parallax image and coordinate conversion image, and sends information necessary for vehicle control to a subsequent system (not shown). For example, if the subsequent system is a brake control system, the brake control system performs vehicle brake control based on the received information (for example, information indicating that an obstacle has been detected on the track).
  • FIG. 9 is a diagram showing the positional relationship between the cameras 801 and 802 and the rotation mechanisms 811 and 812.
  • Reference numerals 901 and 902 indicate lenses of the cameras 801 and 802, respectively.
  • One or more lenses 901 and 902 are provided in the cameras 801 and 802, and typically a plurality of lenses are provided, but one lens is shown in FIG. 9 for convenience of explanation.
  • Reference numerals 911 and 912 denote imaging elements of the cameras 801 and 802, respectively.
  • Reference numerals 921 and 922 indicate entrance pupil positions (entrance pupils) of the cameras 801 and 802, respectively.
  • Reference numerals 931 and 932 indicate optical axes of the lenses 901 and 902 (cameras 801 and 802).
  • Numerals 941 and 942 indicate the rotating shafts of the respective rotating mechanisms 811 and 812 with dashed lines. These rotation axes 941 and 942 pass through the entrance pupils 921 and 922, respectively, and are arranged so as to be orthogonal to the respective optical axes 931 and 932 and the straight line L.
  • straight line L is a straight line passing through both entrance pupils 921 and 922 .
  • the optical axes of both cameras of a stereo camera are arranged so as to be parallel. It can also be said that they are arranged so as to pass through the respective entrance pupils 921 and 922 .
  • a camera 801 in the figure is a central projection model after geometric correction, which is equivalent to a pinhole model.
  • Reference numeral 1001 denotes a lens that models the lens 901 .
  • the pinhole model As shown in FIG. 10, basically, in the pinhole model, the pinhole position and the entrance pupil position of the camera 801 match.
  • the camera 802 is similar to the camera 801, and the description thereof will be omitted.
  • Coordinate transformation by the coordinate transformation unit 840 is performed by assuming that the pixel B is the pixel to which a ray of light incident from a certain direction reaches when the rotation angle ⁇ of the camera 801 is reached, and the pixel A is the pixel to which the ray of light reaches when the rotation angle ⁇ is 0. , the value of the pixel B that exists actually is converted into the value of the pixel A that is virtual.
  • B (Ub, Vb) is the coordinates of each pixel in the pre-conversion image
  • B (Ub0, Vb0) is the coordinates of the reference pixel (for example, the center pixel) of the pre-conversion image
  • B (Ub0, Vb0) is the post-conversion image (corrected image).
  • FIG. 11 shows an example of distance calculation of a target object.
  • the target object is a point light source
  • the cameras 801 and 802 are not shown
  • the entrance pupils 921 and 922 of the cameras 801 and 802 are indicated by black circles.
  • D B/D ⁇ fc/px Expression (11)
  • FIG. 12 is a diagram in which the rotation axis 941 is provided on the imaging element 911 and the camera orientation is the rotation angle ⁇ .
  • the dashed line indicates the optical axis 931 of the camera 801 at the rotation angle ⁇
  • the solid thick line indicates the imaging plane 1201 of the imaging device 911 .
  • the light beam direction ⁇ can be calculated from the coordinates of the image of the light spot formed on the imaging surface 1201 and the focal length.
  • FIG. 12 is a diagram in which the rotation axis 941 is provided on the imaging element 911 and the camera orientation is the rotation angle ⁇ .
  • the dashed line indicates the optical axis 931 of the camera 801 at the rotation angle ⁇
  • the solid thick line indicates the imaging plane 1201 of the imaging device 911 .
  • the light beam direction ⁇ can be calculated from the coordinates of the image of the light spot formed on the imaging surface 1201 and the focal length.
  • FIG. 12 is a diagram in which the rotation axis 941 is provided on the imaging element 911 and
  • FIG. 13 shows a stereo camera 1300 on the lower side of the page, and charts 1301 and 1302 on the upper side of the page. It is desirable that the charts 1301 and 1302 have a high-contrast pattern on the entire surface so as to obtain parallax. Examples include checker marks, evenly spaced dots or donut-shaped marks, and random patterns. Ideally, the distance between the charts 1301 and 1302 and the cameras 801 and 802 should be such that the charts 1301 and 1302 are in focus, and the common area on the charts 1301 and 1302 can be photographed by the cameras 801 and 802. is.
  • a chart image is acquired with the cameras 801 and 802 facing so that the straight line L described in FIG. At this time, for example, area a1 shown in FIG.
  • the orientations of the cameras 801 and 802 are changed by half the angle of view, resulting in the state shown in FIG.
  • the image obtained by geometrically and coordinately transforming the area a2 which is the left half of the image acquired in the state of FIG. It should match the image obtained by geometrically transforming a2.
  • the two images do not match. Therefore, the amount of deviation between the corresponding pixels of the two images is obtained, and calibration is performed so as to eliminate the amount of deviation.
  • the displacement amount for each pixel can be obtained by block matching, feature point matching, or the like of both images, but any method may be used as long as the displacement amount can be obtained.
  • Area a3 can be calibrated by extrapolating the calibration of area a2. Subsequently, the amount of deviation between the right half area a(n) of the image rotated n times the half angle of view and the left half area a(n+1) of the image rotated (n+1) times is calibrated. The left area of the area a1 is also calibrated by changing the rotation angle to the negative side. Camera 802 on the right side of FIGS. 13 and 14 can also be calibrated in the same manner. The above steps complete the initial calibration.
  • the aging calibration method can also be performed basically in the same manner as the initial calibration.
  • the maintenance shop where maintenance and maintenance are performed, it is possible to provide a dedicated chart and to eliminate the shaking of the cameras 801 and 802, thereby realizing almost the same accuracy as the initial calibration.
  • it is necessary to devise a way to calibrate a vehicle in service In particular, when the cameras 801 and 802 are shaken, it cannot be determined whether the discrepancy between the images used for calibration is caused by the shake or by a mechanical error. Therefore, it is desirable to perform the calibration operation when the user and luggage do not get on and off the vehicle, when the user and luggage do not move in the vehicle, or when the same situation is detected. Avoid environments containing low-contrast images that are unsuitable for block matching and feature point matching. It is desirable to build a mechanism to execute
  • the rotation axis for changing the direction of the camera is arranged so that it passes through the entrance pupil and is perpendicular to the line connecting each optical axis and the entrance pupil.
  • a stereo camera capable of realizing a long distance, a wide angle of view, and space saving while having highly accurate ranging performance by performing geometric transformation and coordinate transformation based on rotation angle information, and the stereo camera concerned can provide an object detection system using
  • the components of the object detection system 800 are the same as those in FIG. 8 describing the first embodiment, so they are omitted. Also, the relationship between the constituent elements is the same as in the first embodiment, so the description will be omitted.
  • the stereo camera is shifted rightward on the page by fc ⁇ tan( ⁇ ) and downward on the page by (1 ⁇ fc ⁇ cos( ⁇ )).
  • the orientation of the camera 801 and the orientation of the camera 802 are in the same state.
  • the light beam directions ⁇ and ⁇ are calculated from the coordinates of the light spot imaged by the camera 801 as shown in FIG. 921, 922 and optical axes 931, 932 of the stereo camera after the shift are aligned with the thick dotted line, and the coordinates of the imaging pixel of the light spot can be obtained. Since the shift amount of the stereo camera is very small with respect to the calculated object position, it can be ignored in many cases.
  • the rotation axis is orthogonal to the plane containing the optical axis of each camera and passes through each optical axis. Furthermore, the point at which each axis of rotation intersects the optical axis can equally be denoted by the distance ⁇ X from the entrance pupil. Regardless of whether the value of ⁇ X is zero or a value other than zero, it is possible to reduce the error by appropriately correcting the value. However, in general, it may be advantageous from the viewpoint of mechanical error, stability, etc. that the rotating shaft be closer to the center of gravity of the rotating body. From this point, it can be said that it is appropriate to set the range of ⁇ X from the imaging surface of the imaging device to the frontmost surface of the lens.
  • the present invention is not limited to this, and the subject of work such as a worker or a manufacturing machine is a camera in a stereo camera. and the rotation mechanism, and various other systems, devices, and programs.
  • part or all of the program may be installed on the device from the program source.
  • the program source may be, for example, a networked program distribution server or a computer-readable recording medium (eg, non-transitory recording medium).
  • two or more programs may be implemented as one program, and one program may be implemented as two or more programs.
  • the above-described embodiment has, for example, the following characteristic configurations.
  • a first camera e.g., camera 801
  • a first rotation mechanism e.g., rotation mechanism 811 that rotates the first camera
  • a second camera e.g., camera 802
  • a stereo camera e.g, stereo camera 1300
  • a second rotation mechanism e.g, rotation mechanism 812 that rotates the camera
  • the first rotation axis of the first rotation mechanism For example, each of the rotation axis 941) and the second rotation axis of the second rotation mechanism (eg, rotation axis 942) is aligned with the first optical axis (eg, optical axis 931) of the first camera.
  • the first rotation axis is orthogonal to a plane that includes both the second optical axis (e.g., optical axis 932) of the second camera, the first rotation axis intersects the first optical axis, and the second An axis of rotation intersects the second optical axis and extends from the intersection of the first axis of rotation and the first optical axis to a first entrance pupil position (eg, entrance pupil 921) of the first camera. and the distance from the intersection of the second rotation axis and the second optical axis to the second entrance pupil position (eg entrance pupil 922) of the second camera.
  • a first entrance pupil position eg, entrance pupil 921
  • the second entrance pupil position eg entrance pupil 922
  • a stereo camera system using the stereo camera e.g., object detection system 800
  • rotation angle information sent from a controller unit (e.g., controller unit 820) to the first rotation mechanism and the second rotation mechanism At least one of a processed image (eg, a geometrically corrected image) obtained by performing image processing on the first image from the first camera or the first image (eg, the image captured by the camera 801) based on the rotation angle.
  • a processed image eg, a geometrically corrected image
  • correction processing e.g., coordinate transformation
  • image processing is performed on the second image of the second camera (e.g., the image captured by the camera 801) or the second image based on the rotation angle
  • a correction unit e.g, coordinate transformation unit 840 that performs correction processing (eg, coordinate transformation) on at least one of the processed images (eg, geometrically corrected images) is provided.
  • the correction unit includes a geometric correction unit (for example, a geometric correction unit 830) that performs geometric correction on each of the first image and the second image, and a first image that has undergone geometric correction by the geometric correction unit.
  • a geometric correction unit for example, a geometric correction unit 830
  • coordinate conversion is performed by a coordinate conversion unit (for example, a coordinate conversion unit 840) that performs coordinate conversion of pixel values based on the rotation angle, and the coordinate conversion unit.
  • a parallax image generation unit (for example, parallax image generation unit 850) that compares the first coordinate-transformed image and the second coordinate-transformed image and generates a parallax image including a parallax value for each pixel value; Prepare.
  • the correction unit performs geometric correction and coordinate conversion of pixel values based on the rotation angle on the first image, and performs geometric correction and coordinate conversion of pixel values based on the rotation angle on the second image.
  • the stereo camera system wherein the rotation angle at which the first optical axis and the second optical axis are orthogonal to a straight line including the first entrance pupil position and the second entrance pupil position is set as a reference angle.
  • a controller section for example, controller section 820
  • controller section 820 that sends angle information indicating discrete values of the rotation angle to the first rotation mechanism and the second rotation mechanism.
  • the correction unit acquires a reference image at a reference angle using at least one of the first camera and the second camera, and acquires the first image at a first rotation angle of the camera. is acquired and a second image is acquired at a second rotation angle of the camera, calibrating the corrected image of the first image based on the reference image, and after calibrating the first image
  • the corrected image of the second image is calibrated based on the image of (see, for example, FIG. 13).
  • the angle difference between the n-th rotation angle and the (n+1)-th rotation angle for obtaining the image used for calibration is less than half the angle of view (for example, see FIG. 13).
  • the correcting unit corrects each pixel using an overlap region of the first image and the second image so that the corrected image of the second image matches the corrected image of the first image.
  • the region other than the overlapping region of the second image is configured by extrapolating from the calibration result of the overlapping region (see FIG. 13, for example).
  • the stereo camera system includes a controller unit that rotates the first camera and the second camera in one direction when positioning the first rotation mechanism and the second rotation mechanism at an arbitrary rotation angle. (for example, a controller unit 820).
  • items contained in the list in the format "at least one of A, B, and C” are (A), (B), (C), (A and B), (A and C), (B and C) or (A, B, and C).
  • items listed in the format "at least one of A, B, or C” are (A), (B), (C), (A and B), (A and C), (B and C) or (A, B, and C).
  • 800 object detection system, 801 ... camera, 802 ... camera, 811 ... rotation mechanism, 812 ... rotation mechanism, 921 ... entrance pupil (entrance pupil position), 922 ... entrance pupil (entrance pupil position) , 931 -- optical axis, 932 -- optical axis, 941 -- rotating shaft, 942 -- rotating shaft.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

遠距離化および広角化を実現し得るステレオカメラを提供する。第１の回転機構の第１の回転軸と第２の回転機構の第２の回転軸との各々は、第１のカメラの第１の光軸と第２のカメラの第２の光軸との双方を含む平面に直行し、第１の回転軸は、第１の光軸と交差し、第２の回転軸は、第２の光軸と交差し、第１の回転軸および第１の光軸の交点から第１のカメラの第１の入射瞳位置までの距離と、第２の回転軸および第２の光軸の交点から第２のカメラの第２の入射瞳位置までの距離とが等しくなるようにした。

Description

ステレオカメラ、ステレオカメラシステム、および配置方法
　本発明は、概して、物体の検知、測距および／または識別を行うためのステレオカメラに関する。
　近年、ズーム、パン、チルト等のカメラ設定を制御可能な機構を有するステレオカメラにおいて、少なくとも２つのカメラを有し、カメラの操作指示によりカメラのレンズ位置が変更された際に、カメラのカメラパラメータを推定する技術が開示されている（特許文献１参照）。
　また、撮像カメラを少なくとも一方向に回転させる回転機構を備えた画像取り込み装置であって、画像取り込み装置から出力される画像データはｆθ特性を有し、回転機構の回転中心は、光学系の略入射瞳中心にあることを特徴とする画像取り込み装置が開示されている（特許文献２参照）。
特開２０１７－１３５４９５号公報 特開２００４－２８９３６７号公報
　カメラを用いた物体検知システムは、検知範囲の拡大要求に伴い、遠距離化、広角化が必要になっている。視認センサとして重要な役割を担うカメラでは、レンズの焦点距離を長くすることで遠距離化を実現できるが、撮像素子サイズはこれに比例するほどは大きくできないので、結果、画角は低下し、狭角化してしまう。逆に、広画角化するには、焦点距離を短くする必要があるため、結果、解像度が落ち、遠距離対応が困難となる。
　これに対応する方法として、魚眼レンズのような歪を有するレンズにより光軸付近では高解像度を、周辺では圧縮により広角化を実現する方法がある。しかしながら、魚眼レンズで用いられる射影方式、等距離射影（ｆ・θ）、等立体角射影（２ｆ・sin（θ/２））および正射影（ｆ・sinθ）は、ある程度の画角がないと十分な効果が得られない。
　一方、特許文献１および特許文献２のように、カメラの向きを機械的に変えるパン、チルト動作は、カメラの光学性能で遠距離性能を確保し、パンチルト動作によって広角化を実現する合理的な方法である。しかしながら、特許文献１および特許文献２には、全画角を同時に検知する必要がある場合については言及がなく、特許文献１および特許文献２に記載の技術では、遠距離化および広角化を実現することが困難である。
　本発明は、以上の点を考慮してなされたもので、遠距離化および広角化を実現し得るステレオカメラ等を提案しようとするものである。
　かかる課題を解決するため本発明においては、第１のカメラと、前記第１のカメラを回転させる第１の回転機構と、第２のカメラと、前記第２のカメラを回転させる第２の回転機構と、を含んで構成されるステレオカメラであって、前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しくなるようにした。
　上記構成では、回転機構の回転軸から各カメラの入射瞳位置までの距離が一致するので、例えば、回転角情報を用いて画像の座標変換を行うことで、検知物の測距精度を確保しつつ、検知範囲の遠距離化および広角化を実現することができる。
　本発明によれば、遠距離化および広角化に対応するステレオカメラを実現することができる。上記以外の課題、構成、および効果は、以下の実施の形態の説明により明らかにされる。
第１の実施の形態を説明するためのステレオカメラの一例を示す図である。 第１の実施の形態を説明するためのステレオカメラの一例を示す図である。 第１の実施の形態を説明するためのステレオカメラの一例を示す図である。 第１の実施の形態を説明するためのステレオカメラの一例を示す図である。 第１の実施の形態を説明するためのステレオカメラの一例を示す図である。 第１の実施の形態を説明するためのステレオカメラの一例を示す図である。 第１の実施の形態を説明するための測距誤差を示す図である。 第１の実施の形態による物体検知システムに係る構成の一例を示す図である。 第１の実施の形態によるカメラと回転機構との位置関係を示す図である。 第１の実施の形態による座標変換を説明するための図である。 第１の実施の形態による距離計算を説明するための図である。 第１の実施の形態による回転軸が入射瞳にない場合の不都合を説明するための図である。 第１の実施の形態による校正を説明するための図である。 第１の実施の形態による校正を説明するための図である。 第２の実施の形態によるカメラと回転機構との位置関係を示す図である。 第２の実施の形態による回転軸が入射瞳にない場合の不都合の解決方法を説明するための図である。 第２の実施の形態による座標変換を説明するための図である。
（Ｉ）第１の実施の形態
　以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
　本実施の形態では、特に、遠距離、広ＦＯＶ（Field　of　view）の検知範囲を有し、かつ、高精度の測距性能を有するステレオカメラおよび当該ステレオカメラを用いたステレオカメラシステムについて説明する。
　本実施の形態に記載のステレオカメラシステムは、上記課題を解決する手段を複数含んでいる。その一例を挙げるならば、「ステレオカメラを構成するカメラ１およびカメラ２がそれぞれ撮影方向を変える回転機構を備え、各カメラの入射瞳位置をＰ１,Ｐ２とし、Ｐ１とＰ２を含む直線をＬとするとき、上記回転機構の回転軸Ｒ１，Ｒ２は、Ｐ１とＰ２とを通る直線Ｌと各カメラの光軸Ｏ１，Ｏ２とに直交し、かつ、互いに平行であること」を特徴とする。また、「上記回転機構の回転角θに基づいて、各カメラの撮影画像または当該撮影画像に画像処理を施した加工画像の少なくとも１つに補正処理を施すこと」を特徴とする。
　ステレオカメラの撮影方向を変える回転機構をカメラごとに有し、回転機構の回転軸を各カメラの入射瞳位置と一致させ、回転角情報を用いて画像の座標変換を行うことで、検知物の測距精度を確保しつつ、検知範囲の遠距離化および広角化と、省スペース化とを実現することができる。
　本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
　次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。
　なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、カメラを特に区別しないで説明する場合には、「カメラ４０１」と記載し、個々のカメラを区別して説明する場合には、「カメラ４０１－１」、「カメラ４０１－２」のように記載することがある。
［カメラ毎に回転で省スペース化。斜めモデルは、測距誤差あり。］
　一般的には、カメラの向きを変える方法ではいくつか不都合が生じる。通常のカメラの射影方式である中心射影（ｆ・ｔａｎθ）では、光軸から離れるほど像は大きく見える。例えば、カメラの画面の隅に立った人の幅は、カメラの正面に立った人の幅より画像上で太く見える。この点、等距離射影（ｆ・θ）を用いることで解決することができる。等距離射影を用いると、物体の像は、画角に拠らず等しくなるため、パン、チルトなどのカメラの向きを変えても同一物体の画像サイズを一定にすることができる。また、カメラの回転軸をカメラの入射瞳と一致させることで、カメラの向きを変えても物体との距離を正確に一定にすることができ、像サイズの画角による変動をより小さくすることができる。
　ここで、ステレオカメラにおいて撮影方向を変える場合、２つのカメラの相対位置および向きが正確に保たれている必要がある。このため、図１、図２、図３に示すように、ステレオカメラ１００全体の向きを変え、カメラ１０１同士の相対位置は維持する方が容易に広角化を実現できる。しかしながら、単眼カメラと異なり、ステレオカメラ１００の向きを変える場合、カメラ１０１およびカメラ１０１の固定機構が他の部材と干渉しない広いスペースを確保する必要がある。これは、カメラ１０１の必要回転角および基線長に応じて増大するので、特に遠距離対応で基線が長いステレオカメラ１００では、自動車、鉄道などの狭い運転席、運転室に設置するのは難しくなる。
　そこで、図４、図５、図６等に示すように、ステレオカメラ４００の各カメラ４０１が独立した回転軸を有する構造にすることで、装置の水平投影面積以上のスペースを設けることなく広角化を実現できる。しかしながら、この方法は、カメラ４０１の向きを傾けたときに測距結果に誤差が生じるという不都合がある。例えば、図５の場合を図７のように置き換えて考えると、カメラ４０１－１（カメラ１）およびカメラ４０１－２（カメラ２）の像サイズＩ１および像サイズＩ２は、それぞれ、
　　Ｉ１＝Ｏｂ／Ｌ１・ｆｃ　・・・式（１）
　　Ｉ２＝Ｏｂ／Ｌ２・ｆｃ＝Ｏｂ／（Ｌ１－Ｂ・ｓｉｎ（Δθ））・ｆｃ・・・式（２）
となる。
　ここで、Ｏｂは、対象物体のサイズ、Ｌ１、Ｌ２は、それぞれカメラ１、カメラ２から対象物体までの距離、ｆｃは、カメラ１およびカメラ２の焦点距離、Ｂは、基線長、Δθは、カメラ１およびカメラ２の向き（回転角）である。両式からカメラ１とカメラ２とで得られる対象物体の像サイズが異なることが分かる。また、像サイズの比率も対象物体の距離によって異なるため、一方の画像を単純に拡大または縮小するだけでは測距誤差を生じてしまう。
　本実施の形態では、ステレオカメラシステムの一例として、列車に搭載したステレオカメラおよび当該ステレオカメラを用いた物体検知システム８００を説明する。図８に物体検知システム８００の概略構成を示す。まず各ブロックの役割を説明する。符号８０１，８０２は、ステレオカメラを構成するカメラを示す。符号８１１，８１２は、カメラ８０１，８０２の撮影方向を変更する回転機構（ROTATION　MECH.）を示す。符号８２０は、カメラ８０１，８０２の撮影タイミングおよび回転機構８１１，８１２の動作を制御するコントローラ部（CAMERA　＆　ANGLE　CONTROLLER）を示す。符号８３０は、カメラ８０１，８０２が取得した画像に対し、画像歪、画像向き、画像サイズなどを補正する幾何補正部（GEOMETRIC　CORRECTION）を示す。符号８４０は、回転機構８１１，８１２の回転角に基づいて、主に画素値の座標変換を行う座標変換部（COORDINATE　CORRECTION）を示す。符号８５０は、幾何補正および座標変換を施した画像を用いて視差画像を生成する視差画像生成部（DISPARITY）を示す。符号８６０は、視差画像および元画像を用いて測距、画像解析、物体検知等を行う物体検知部（IMAGE　ANALYSIS　OBJECT　DETECTION）を示す。
　物体検知システム８００の機能（コントローラ部８２０、幾何補正部８３０、座標変換部８４０、視差画像生成部８５０、物体検知部８６０等）は、例えば、プロセッサが補助記憶装置に格納されたプログラムを主記憶装置に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、物体検知システム８００の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。例えば、幾何補正部８３０、座標変換部８４０、および視差画像生成部８５０は、補正部とされてもよい。また、物体検知システム８００の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。例えば、幾何補正と座標変換とが同時に行われてもよい。付言するならば、カメラ８０１，８０２を備えるステレオカメラは、例えば、コントローラ部８２０、幾何補正部８３０、座標変換部８４０、および視差画像生成部８５０を備え、当該ステレオカメラと通信可能なコンピュータが物体検知部８６０を備えてもよい。また、例えば、カメラ８０１，８０２を備えるステレオカメラは、例えば、コントローラ部８２０を備え、当該ステレオカメラと通信可能なコンピュータが幾何補正部８３０、座標変換部８４０、視差画像生成部８５０、および物体検知部８６０を備えてもよい。また、物体検知システム８００の機能の一部は、物体検知システム８００と通信可能な他のコンピュータにより実現されてもよい。
　次に、各ブロックの関係について述べる。回転機構８１１，８１２は、コントローラ部８２０が指示する回転角で回転し、回転機構８１１，８１２の各々に固定されたカメラ８０１，８０２の撮影方向を変更する。カメラ８０１，８０２は、コントローラ部８２０が指示するタイミングで撮影を行い、取得した画像（画像データ）を幾何補正部８３０に送る。幾何補正部８３０に送られた各画像について、幾何補正部８３０は、レンズ歪補正、平行化処理などを含む幾何補正処理を行い、処理後の幾何補正画像を座標変換部８４０に送る。座標変換部８４０は、コントローラ部８２０から送られる回転角情報に基づいて、幾何補正部８３０から送られた幾何補正画像の座標変換を行い、座標変換画像を視差画像生成部８５０と物体検知部８６０とに送る。視差画像生成部８５０は、送られた各カメラ８０１，８０２の画像がベースとなった座標変換画像を用いて視差画像を生成し、生成した視差画像を物体検知部８６０に送る。物体検知部８６０は、送られた視差画像と座標変換画像とを用いて、測距、物体検知、物体識別などを行い、車両制御に必要な情報を図示しない後段のシステムに送る。例えば、後段のシステムがブレーキ制御システムである場合、ブレーキ機制御システムは、受け取った情報（例えば、軌道上に障害物を検知したことを示す情報）に基づいて、車両のブレーキ制御を行う。
　図９は、カメラ８０１，８０２と回転機構８１１，８１２との位置関係を示す図である。符号９０１，９０２は、各カメラ８０１，８０２のレンズを示す。なお、レンズ９０１，９０２は、カメラ８０１，８０２において、１以上設けられ、典型的には複数設けられるが、図９では、説明の便宜上、１つ示している。符号９１１，９１２は、各カメラ８０１，８０２の撮像素子を示す。符号９２１，９２２は、各カメラ８０１，８０２の入射瞳位置（入射瞳）を示す。符号９３１，９３２は、各レンズ９０１，９０２（カメラ８０１，８０２）の光軸を示す。符号９４１，９４２は、各回転機構８１１，８１２の回転軸を一点鎖線で示している。これらの回転軸９４１，９４２は、それぞれ入射瞳９２１，９２２を通り、各光軸９３１，９３２と直線Ｌに直交するように配置している。ここで、直線Ｌは、入射瞳９２１，９２２の両方を通る直線である。一般的にステレオカメラの両カメラの光軸は、平行になるように配置されるので、上記を言い換えると、回転軸９４１，９４２は、両光軸９３１，９３２を含む平面と直交し、かつ、各入射瞳９２１，９２２を通るように配置しているとも言える。
　また、回転角θは、光軸９３１，９３２が直線Ｌと直交する状態を基準（θ＝０ｄｅｇ）とし、以下、これを前提として説明する。
［変換式］
　次に、座標変換部８４０の詳細動作について図１０を用いて説明する。図１０は、カメラ８０１が回転角θ＝Δθの方向に向いたときの概略図であり、点線を用いてθ＝０のときのカメラ８０１の配置も示している。また、同図のカメラ８０１は、幾何補正後の中心射影モデルであり、ピンホールモデルと等価である。符号１００１は、レンズ９０１をモデル化したレンズを示す。図１０に示すように、基本的には、ピンホールモデルにおいては、ピンホール位置とカメラ８０１の入射瞳位置とが一致している。なお、カメラ８０２についても、カメラ８０１と同様であり、その説明は省略する。
　座標変換部８４０による座標変換は、ある方向から入射した光線が、カメラ８０１の回転角Δθのときに至る画素を画素Ｂ、回転角θ＝０のときに光線が至る画素を画素Ａとしたとき、実在する画素Ｂの値を仮想の画素Ａの値に変換する動作である。具体的には、変換前画像の各画素の座標をＢ（Ｕｂ，Ｖｂ）、変換前画像の基準画素（例えば、中心画素）の座標をＢ（Ｕｂ０，Ｖｂ０）、変換後画像（補正後画像）の各画素の画素をＡ（Ｕａ，Ｖａ）、変換後画像の基準画素（例えば、中心画素）の座標をＡ（Ｕａ０，Ｖａ０）、カメラ８０１の焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、変換後の座標は、変換前の座標と回転角Δθとを用いて、
　　Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０　・・・式（３）
　　Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０　・・・式（４）
　　α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ）　・・・式（５）
と表せる。
　回転角θ＝０の場合は、画角（Δθ＋α）から入射する光線は、撮像素子９１１の範囲外に到達するので、撮像素子９１１は、その像を得ることができない。そこで、カメラ向きを回転角Δθ変更することで、同光線は、撮像素子９１１の範囲内に到達することになり、さらに結像した画素の座標によりαを得ることができるので、既知の回転角Δθを用いて、光線の入射角（Δθ＋α）を得て、回転角θ＝０の状態における光線の結像画素の座標を算出することができる。
［変換で得られる視差と距離］
　次に、図１１を用いて対象物体の距離計算の例を示す。ここで、対象物体は、点光源とし、カメラ８０１，８０２は、図示せず、各カメラ８０１，８０２の入射瞳９２１，９２２を黒丸で示している。回転角θ＝０である場合の光線の結像画素のＵ座標は、上記式より（Ｕａ－Ｕａ０）で表されるので、カメラ８０１，８０２の同座標を（Ｕａ１－Ｕａ１０）、（Ｕａ２－Ｕａ２０）で表すと、
　　（Ｕａ１－Ｕａ１０）＝ｔａｎ（Δθ＋α）・ｆｃ／ｐｘ　・・・式（６）
　　（Ｕａ２－Ｕａ２０）＝ｔａｎ（Δθ）・ｆｃ／ｐｘ　・・・式（７）
となる。ここで、
　　Ｙ／Ｌ＝ｔａｎ（Δθ）　・・・式（８）
　　（Ｂ＋Ｙ）／Ｌ＝ｔａｎ（Δθ＋α）　・・・式（９）
である。視差Ｄは、（Ｕａ１－Ｕａ１０）－（Ｕａ２－Ｕａ２０）であるので、上式より、
　　Ｄ＝Ｂ／Ｌ・ｆｃ／ｐｘ　・・・式（１０）
となる。この視差Ｄの実測値を用いて、光点の距離Ｌを得ることができる。
　　Ｌ＝Ｂ／Ｄ・ｆｃ／ｐｘ　・・・式（１１）
［入射瞳＝回転軸でないと何が起こるか］
　ここで、回転軸９４１が入射瞳９２１ではない場合に生じる不都合ついてカメラ８０１を用いて説明する。図１２は、回転軸９４１を撮像素子９１１上に設け、カメラ向きを回転角Δθとした場合の図である。一点鎖線は、カメラ８０１の回転角Δθの光軸９３１を示し、実太線は、撮像素子９１１の撮像面１２０１を示す。撮像面１２０１に結像した光点の像の座標と焦点距離とから光線方向βが算出できる。しかしながら、図１１の場合とは異なり、光線方向βを用いてもカメラ向きθ＝０状態における光線方向（Δθ＋α）は、算出できない。それは、対象物体が光線方向β上に存在することが分かっても、カメラ向きθ＝０状態における光線方向は、対象物の距離によってα０、α１など取りうる値が異なるためである。これは、カメラ向きθ＝０とΔθとにおけるピンホール位置が一致していないために生ずる。
［校正］
　以上の視差および距離は、回転機構８１１，８１２が理想的に動作する場合に正確に得ることができるが、実際には機構的な回転誤差と、回転軸９４１，９４２の傾き、ガタなどで生じる機械的な誤差とがあり、これにより無視できない視差誤差および測距誤差が生じたり、そもそも視差が得られないなどの不具合が生じたりする。この場合、回転角Δθに応じた変換式の校正が必要になる。校正は、システム製造時に初期的な機械誤差に対応する初期校正と、経時変化などで発生する機械誤差に対応する経時校正とが必要になる。経時校正は、初期校正と同様の設備、方法を用いて目的を達成することができるが、営業中にバックグラウンドで校正動作を行うように動作してもよい。以下、初期校正と経時校正との方法について順に説明する。
［校正（初期、チャート有）］
　回転角Δθに応じた変換式の初期校正の一例を図１３および図１４を用いて説明する。両図ともに紙面下側にステレオカメラ１３００、紙面上側にチャート１３０１，１３０２を示している。チャート１３０１，１３０２は、視差が得られるように全面に高コントラストの模様が配されていることが望ましい。例えば、チェッカーマーク、等間隔に配されたドットまたはドーナツ型のマーク、ランダム模様などがある。チャート１３０１，１３０２およびカメラ８０１，８０２間の距離は、ピントが合う程度に離れている、また、チャート１３０１，１３０２上の共通エリアを両カメラ８０１，８０２が撮影できる程度に離れていることが理想である。
　初めに図９で説明した直線Ｌと各カメラ８０１，８０２の光軸９３１，９３２が直交するようにカメラ８０１，８０２が向いている状態でチャート画像を取得する。このとき、例えば、図１３に示すエリアａ１は、カメラ８０１（左カメラ）の左側に映っており、エリアａ２は、同カメラ８０１の右側に映っている。
　次に、カメラ８０１，８０２の向きを半画角だけ変更し、図１４の状態にする。ここで、カメラ８０１，８０２の向きが理想的に動けば、図１４の状態で取得した画像の左半分であるエリアａ２を幾何および座標変換した画像は、図１３の状態で取得した先のエリアａ２を幾何変換した画像と一致するはずである。しかしながら、回転時の機械誤差がある場合には両画像は一致しないので、両画像の対応画素のズレ量を求め、ズレ量をなくすように校正を行う。画素ごとのズレ量は、両画像のブロックマッチング、特徴点マッチングなどによって得られるが、ズレ量が得られる場合、どの手段を用いてもよい。
　エリアａ３は、エリアａ２の校正を外挿することで校正が可能である。以降、順に半画角のｎ倍回転した画像の右半分の領域ａ（ｎ）と（ｎ＋１）倍回転した画像の左半分の領域ａ（ｎ＋１）とのズレ量を校正していく。エリアａ１の左側の領域も回転角を負側に変更することで校正を実施する。図１３および図１４の紙面右側のカメラ８０２も同様にして校正を実施することができる。以上の手順で初期校正を完了する。
［校正（経時、チャート無）］
　経時校正の方法も基本的には初期校正と同様に実施することができる。保守、整備などを行う整備場内では、専用チャートを設けたり、カメラ８０１，８０２の揺れを排除したりすることができ、ほぼ初期校正と同様の精度を実現できる。一方、営業中の車両で校正を行う場合には工夫が必要である。特にカメラ８０１，８０２に揺れが加わる場合には、校正に使用する画像の不一致が揺れによるものか機械誤差によるものか判断できない。したがって、利用者および荷物の車両への乗降車が無いとき、車両内で利用者および荷物の移動が発生しないとき、または同状況を検知して校正動作を行うことが望ましい。また、ブロックマッチング、特徴点マッチングなどに不向きな低コントラスト画像が含まれる環境を避け、一定以上のコントラスト画像が得られる条件を設けて校正情報を蓄積し、一定以上の情報を得たのちに校正を実行する仕組みを構築することが望ましい。
［離散値］
　上記校正方法を考慮すると、カメラ向き（回転角Δθ）は、離散的な値を有し、その角度毎に校正値を有することが望ましい。また、実際の撮影方向の変更動作も離散的に行い、その角度毎に校正値を適用することが望ましい。
［校正は半画角単位でなくてもよい］
　ただし、離散値は、上記のように、カメラ８０１，８０２の半画角と一致する必要はない。離散値を細かくするほど校正に時間を要するが、外挿の精度が高くなることが期待でき、実用時に高精度な測距を行える。逆に、離散間隔を大きくすると、校正時間を短縮できるが、外挿時の誤差が増大する懸念がある。
［左右半分ペア以外の外挿部分は精度に疑義あり。全体で直線性、等間隔性を整える］
　外挿による誤差が実害を及ぼす場合には、チャート１３０１，１３０２全域に直線模様、等間隔マーク、直交線などを配し、校正後の画像における直線性、等間隔性、直交性を確保するように校正を行ってもよい。これにより実用上の弊害を排除することができる。
［同方向から着地］
　また、回転機構８１１，８１２の制御を工夫することで、回転時の機械誤差を低減することができる。つまり、コントローラ部８２０は、どの回転角で停止する場合も必ず一方向から動いて止まるように回転機構８１１，８１２を制御する。これにより、回転機構８１１，８１２のヒステリシスおよび回転機構８１１，８１２のガタを低減し、機械誤差を低減することができる。
［校正式］
　ｘ方向の校正値をＫａ、ｙ方向の校正値をＫｂとするとき、
　　Ｕａ’＝Ｕａ＋Ｋａ　・・・式（１２）
　　Ｖａ’＝Ｖａ＋Ｋｂ　・・・式（１３）
となる。ここで、Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０である。Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０である。
　以上のように、カメラの向きを変更する回転軸が入射瞳を通り、かつ、各光軸および入射瞳を結ぶ線に直交するように配置し、両カメラの撮影画像に対して中心射影への幾何変換と、回転角情報に基づいた座標変換とを行うことで、高精度な測距性能を備えつつ、遠距離化、広画角化、および省スペース化を実現できるステレオカメラおよび当該ステレオカメラを用いた物体検知システムを提供することができる。
（ＩＩ）第２の実施の形態
［入射瞳≠回転軸の例。ただし、左右カメラの回転角は一致させる］
　第１の実施の形態では、各カメラ８０１，８０２の回転機構８１１，８１２の回転軸９４１，９４２がカメラ８０１，８０２の入射瞳９２１，９２２を通る構造としたが、これに限らずとも類似の効果を得ることができる。すなわち、図９では、回転軸９４１，９４２が入射瞳９２１，９２２を通過することとしたが、本実施の形態では、図１５のように回転軸９４１，９４２が入射瞳９２１，９２２を通らず、代わりに入射瞳９２１，９２２から等距離、等方向の光軸９３１，９３２上の点を通る構造としても精度よく測距を行うことができる。
　物体検知システム８００の構成要素は、第１の実施の形態を説明した図８と同様であるので省略する。また、構成要素間の関連についても第１の実施の形態と同様なので省略する。第１の実施の形態と異なる点は、カメラ８０１，８０２が回転角Δθを向いたときに移動する入射瞳位置に対する考え方にある。つまり、第１の実施の形態では、図１２を用いて入射角βから入射角αは求められないことを示したが、本実施の形態ではステレオカメラ自身も入射瞳９２１，９２２と同じだけ動いたと仮定する。具体的には、図１６に示す通り、θ＝０のときカメラ８０１，８０２は、その光軸９３１，９３２が一点鎖線と重なる位置に配されているが、回転角Δθの向きを向いたとき、ステレオカメラは、紙面右方向にｆｃ・ｔａｎ（Δθ）、紙面下に（１－ｆｃ・ｃｏｓ（Δθ））だけシフトしたものと考える。このとき、カメラ８０１の向きとカメラ８０２の向きとは、等しい状態にある。
　このように考えると、図１７に示すようにカメラ８０１で結像した光点の座標から光線方向βおよびγが算出され、その値と回転角Δθとを用いて、図中の黒丸を入射瞳９２１，９２２、光軸９３１，９３２が太点線と一致するシフト後のステレオカメラにおける光点の結像画素の座標を得ることができる。ステレオカメラのシフト量は、算出した物***置に対しては微小であるので、多くの場合、無視することができる。
　本実施の形態では、回転機構の回転軸が入射瞳を通らずとも、入射瞳から等しくシフトした位置を通り、両カメラ向きが等しくなるように制御することで、第１の実施の形態と同様の座標変換部を用いて正確な測距を行うことができる。したがって、広画角、遠距離化を実現し、かつ精度の高い測距性能を有するステレオカメラおよび当該ステレオカメラを用いた物体検知システムを提供することができる。
　以上のように、回転軸は、各カメラの光軸を含む平面に直交し、かつ各光軸を通る。さらに、各回転軸が光軸と交差する点は、等しく入射瞳からの距離ΔＸで示すことができる。ΔＸの値は、ゼロでもゼロ以外の値でも適切な補正をすることで誤差を低減することが可能であるが、前者はより簡便な計算で座標変換を行うことができる。しかしながら、一般的に回転軸は、被回転体の重心と近い方が機械誤差、安定性などの観点から有利な場合もある。この点から、ΔＸの範囲は、撮像素子の撮像面からレンズの最前面までとするのが妥当であるとも言える。
（ＩＩＩ）付記
　上述の実施の形態には、例えば、以下のような内容が含まれる。
　上述の実施の形態においては、本発明を列車の物体検知システムに適用するようにした場合について述べたが、本発明はこれに限らず、作業者、製造機械などの作業主体がステレオカメラにおけるカメラと回転機構とを配置する配置方法、この他種々のシステム、装置、プログラムに広く適用することができる。
　また、上述の実施の形態において、プログラムの一部またはすべては、プログラムソースから、装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　上述した実施の形態は、例えば、以下の特徴的な構成を有する。
（１）
　第１のカメラ（例えば、カメラ８０１）と、上記第１のカメラを回転させる第１の回転機構（例えば、回転機構８１１）と、第２のカメラ（例えば、カメラ８０２）と、上記第２のカメラを回転させる第２の回転機構（例えば、回転機構８１２）と、を含んで構成されるステレオカメラ（例えば、ステレオカメラ１３００）であって、上記第１の回転機構の第１の回転軸（例えば、回転軸９４１）と上記第２の回転機構の第２の回転軸（例えば、回転軸９４２）との各々は、上記第１のカメラの第１の光軸（例えば、光軸９３１）と上記第２のカメラの第２の光軸（例えば、光軸９３２）との双方を含む平面に直行し、上記第１の回転軸は、上記第１の光軸と交差し、上記第２の回転軸は、上記第２の光軸と交差し、上記第１の回転軸および上記第１の光軸の交点から上記第１のカメラの第１の入射瞳位置（例えば、入射瞳９２１）までの距離と、上記第２の回転軸および上記第２の光軸の交点から上記第２のカメラの第２の入射瞳位置（例えば、入射瞳９２２）までの距離とが等しい。
（２）
　上記第１の回転軸は、上記第１の入射瞳位置を通り、上記第２の回転軸は、上記第２の入射瞳位置を通る（例えば、図９参照）。上記構成では、回転軸が入射瞳位置を通っているので、例えば、精度よく座標変換をすることができる。
（３）
　上記ステレオカメラを用いるステレオカメラシステム（例えば、物体検知システム８００）であって、上記第１の回転機構および上記第２の回転機構にコントローラ部（例えば、コントローラ部８２０）から送られる回転角情報の回転角に基づいて、上記第１のカメラの第１の画像または上記第１の画像（例えば、カメラ８０１の撮影画像）に画像処理を施した加工画像（例えば、幾何補正画像）の少なくとも１つに補正処理（例えば、座標変換）を行い、上記回転角に基づいて、上記第２のカメラの第２の画像（例えば、カメラ８０１の撮影画像）または上記第２の画像に画像処理を施した加工画像（例えば、幾何補正画像）の少なくとも１つに補正処理（例えば、座標変換）を行う補正部（例えば、座標変換部８４０）を備える。
（４）
　上記補正部は、上記第１の画像と上記第２の画像との各々について幾何補正を行う幾何補正部（例えば、幾何補正部８３０）と、上記幾何補正部により幾何補正が行われた第１の幾何補正画像および第２の幾何補正画像の各々について、上記回転角に基づいて画素値の座標変換を行う座標変換部（例えば、座標変換部８４０）と、上記座標変換部により座標変換が行われた第１の座標変換画像と第２の座標変換画像とを比較して、画素値ごとの視差値を含む視差画像を生成する視差画像生成部（例えば、視差画像生成部８５０）と、を備える。
（５）
　上記補正部は、上記第１の画像について幾何補正と上記回転角に基づく画素値の座標変換とを行い、上記第２の画像について幾何補正と上記回転角に基づく画素値の座標変換とを行う。
（６）
　上記座標変換部は、補正前の画像の各画素値をＢ（Ｕｂ，Ｖｂ）、上記補正前の画像の基準画素をＢ（Ｕｂ０，Ｖｂ０）、補正後の画像の各画素値をＡ（Ｕａ，Ｖａ）、上記補正後の画像の基準画素をＡ（Ｕａ０，Ｖａ０）、焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、基準角θ＝０からの回転角Δθに応じて、
　　Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０　・・・（式１）
　　Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０　　　　　　　　　　・・・（式２）
　　　α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ）　・・・（式３）
に従って座標変換を行う（例えば、図１０参照）。
（７）
　上記第１の光軸および上記第２の光軸が、上記第１の入射瞳位置と上記第２の入射瞳位置とを含む直線と直交する回転角が基準角として設定され、上記ステレオカメラシステムは、離散的な値の回転角を示す角度情報を、上記第１の回転機構および上記第２の回転機構に送るコントローラ部（例えば、コントローラ部８２０）を備える。
（８）
　上記補正部は、上記第１のカメラと上記第２のカメラとの少なくとも１つのカメラが用いられて基準角で基準の画像が取得され、上記カメラの第１の回転角で第１の画像が取得され、上記カメラの第２の回転角で第２の画像が取得される場合、上記基準の画像に基づいて上記第１の画像の補正画像に対する校正を行い、上記第１の画像の校正後の画像に基づいて上記第２の画像の補正画像に対する校正を行う（例えば、図１３参照）。
（９）
　上記校正に用いる画像を取得する第ｎの回転角と第ｎ＋１の回転角との角度差は、半画角以下である（例えば、図１３参照）。
（１０）
　上記補正部は、上記第１の画像と上記第２の画像との重複領域を用いて、上記第２の画像の補正画像が上記第１の画像の補正画像と一致するように各画素の補正式を校正するとともに、上記第２の画像の重複領域以外の領域を重複領域の校正結果から外挿して構成する（例えば、図１３参照）。
（１１）
　上記ステレオカメラシステムは、上記第１の回転機構および上記第２の回転機構を任意の回転角に位置付ける際、上記第１のカメラの回転および上記第２のカメラの回転を一方向に行うコントローラ部（例えば、コントローラ部８２０）を備える。
　また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
　「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。
　８００……物体検知システム、８０１……カメラ、８０２……カメラ、８１１……回転機構、８１２……回転機構、９２１……入射瞳（入射瞳位置）、９２２……入射瞳（入射瞳位置）、９３１……光軸、９３２……光軸、９４１……回転軸、９４２……回転軸。

Claims (12)

  1. 　第１のカメラと、前記第１のカメラを回転させる第１の回転機構と、第２のカメラと、前記第２のカメラを回転させる第２の回転機構と、を含んで構成されるステレオカメラであって、
    　前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、
    　前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、
    　前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しい、
    　ステレオカメラ。
  2. 　請求項１に記載のステレオカメラであって、
    　前記第１の回転軸は、前記第１の入射瞳位置を通り、前記第２の回転軸は、前記第２の入射瞳位置を通る、
    　請求項１に記載のステレオカメラ。
  3. 　請求項１に記載のステレオカメラを用いるステレオカメラシステムであって、
    　前記第１の回転機構および前記第２の回転機構にコントローラ部から送られる回転角情報の回転角に基づいて、前記第１のカメラの第１の画像または前記第１の画像に画像処理を施した加工画像の少なくとも１つに補正処理を行い、前記回転角に基づいて、前記第２のカメラの第２の画像または前記第２の画像に画像処理を施した加工画像の少なくとも１つに補正処理を行う補正部を備える、
    　ステレオカメラシステム。
  4. 　請求項３に記載のステレオカメラシステムであって、
    　前記補正部は、
    　　前記第１の画像と前記第２の画像との各々について幾何補正を行う幾何補正部と、
    　　前記幾何補正部により幾何補正が行われた第１の幾何補正画像および第２の幾何補正画像の各々について、前記回転角に基づいて画素値の座標変換を行う座標変換部と、
    　　前記座標変換部により座標変換が行われた第１の座標変換画像と第２の座標変換画像とを比較して、画素値ごとの視差値を含む視差画像を生成する視差画像生成部と、
    　を備える、
    　ステレオカメラシステム。
  5. 　請求項３に記載のステレオカメラシステムであって、
    　前記補正部は、前記第１の画像について幾何補正と前記回転角に基づく画素値の座標変換とを行い、前記第２の画像について幾何補正と前記回転角に基づく画素値の座標変換とを行う、
    　ステレオカメラシステム。
  6. 　請求項４に記載のステレオカメラシステムであって、
    　前記座標変換部は、補正前の画像の各画素値をＢ（Ｕｂ，Ｖｂ）、前記補正前の画像の基準画素をＢ（Ｕｂ０，Ｖｂ０）、補正後の画像の各画素値をＡ（Ｕａ，Ｖａ）、前記補正後の画像の基準画素をＡ（Ｕａ０，Ｖａ０）、焦点距離をｆｃ、ｘ方向およびｙ方向の画素ピッチをｐｘ，ｐｙとするとき、基準角θ＝０からの回転角Δθに応じて、
    　　Ｕａ＝ｆｃ・ｔａｎ（Δθ＋α）／ｐｘ＋Ｕａ０　・・・（式１）
    　　Ｖａ＝Ｖｂ－Ｖｂ０＋Ｖａ０　　　　　　　　　　・・・（式２）
    　　　α＝ａｔａｎ（（Ｕｂ－Ｕｂ０）・ｐｘ／ｆｃ）　・・・（式３）
    に従って座標変換を行う、
    　ステレオカメラシステム。
  7. 　請求項１に記載のステレオカメラを用いるステレオカメラシステムであって、
    　前記第１の光軸および前記第２の光軸が、前記第１の入射瞳位置と前記第２の入射瞳位置とを含む直線と直交する回転角が基準角として設定され、
    　離散的な値の回転角を示す角度情報を、前記第１の回転機構および前記第２の回転機構に送るコントローラ部を備える、
    　ステレオカメラシステム。
  8. 　請求項３に記載のステレオカメラシステムであって、
    　前記補正部は、前記第１のカメラと前記第２のカメラとの少なくとも１つのカメラが用いられて基準角で基準の画像が取得され、前記カメラの第１の回転角で第１の画像が取得され、前記カメラの第２の回転角で第２の画像が取得される場合、前記基準の画像に基づいて前記第１の画像の補正画像に対する校正を行い、前記第１の画像の校正後の画像に基づいて前記第２の画像の補正画像に対する校正を行う、
    　ステレオカメラシステム。
  9. 　請求項８に記載のステレオカメラシステムであって、
    　前記校正に用いる画像を取得する第ｎの回転角と第ｎ＋１の回転角との角度差は、半画角以下である、
    　ステレオカメラシステム。
  10. 　請求項８に記載のステレオカメラシステムであって、
    　前記補正部は、前記第１の画像と前記第２の画像との重複領域を用いて、前記第２の画像の補正画像が前記第１の画像の補正画像と一致するように各画素の補正式を校正するとともに、前記第２の画像の重複領域以外の領域を重複領域の校正結果から外挿して構成する、
    　ステレオカメラシステム。
  11. 　請求項１に記載のステレオカメラを用いるステレオカメラシステムであって、
    　前記第１の回転機構および前記第２の回転機構を任意の回転角に位置付ける際、前記第１のカメラの回転および前記第２のカメラの回転を一方向に行うコントローラ部を備える、
    　ステレオカメラシステム。
  12. 　ステレオカメラにおけるカメラと回転機構との配置方法であって、
    　前記ステレオカメラは、第１のカメラと、前記第１のカメラを回転させる第１の回転機構と、第２のカメラと、前記第２のカメラを回転させる第２の回転機構と、を含んで構成され、
    　前記第１の回転機構の第１の回転軸と前記第２の回転機構の第２の回転軸との各々は、前記第１のカメラの第１の光軸と前記第２のカメラの第２の光軸との双方を含む平面に直行し、
    　前記第１の回転軸は、前記第１の光軸と交差し、前記第２の回転軸は、前記第２の光軸と交差し、
    　前記第１の回転軸および前記第１の光軸の交点から前記第１のカメラの第１の入射瞳位置までの距離と、前記第２の回転軸および前記第２の光軸の交点から前記第２のカメラの第２の入射瞳位置までの距離とが等しくなるように配置する、
    　配置方法。
PCT/JP2022/038983 2021-12-03 2022-10-19 ステレオカメラ、ステレオカメラシステム、および配置方法 WO2023100516A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021197018A JP2023082965A (ja) 2021-12-03 2021-12-03 ステレオカメラ、ステレオカメラシステム、および配置方法
JP2021-197018 2021-12-03

Publications (1)

Publication Number Publication Date
WO2023100516A1 true WO2023100516A1 (ja) 2023-06-08

Family

ID=86611836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038983 WO2023100516A1 (ja) 2021-12-03 2022-10-19 ステレオカメラ、ステレオカメラシステム、および配置方法

Country Status (2)

Country Link
JP (1) JP2023082965A (ja)
WO (1) WO2023100516A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264396A (ja) * 2006-03-29 2007-10-11 Canon Inc カメラシステム
JP2011022072A (ja) * 2009-07-17 2011-02-03 Nikon Corp 位置検出装置
WO2017199556A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
JP2018031733A (ja) * 2016-08-26 2018-03-01 株式会社豊田中央研究所 距離計測装置及び距離計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264396A (ja) * 2006-03-29 2007-10-11 Canon Inc カメラシステム
JP2011022072A (ja) * 2009-07-17 2011-02-03 Nikon Corp 位置検出装置
WO2017199556A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
JP2018031733A (ja) * 2016-08-26 2018-03-01 株式会社豊田中央研究所 距離計測装置及び距離計測方法

Also Published As

Publication number Publication date
JP2023082965A (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
US8452568B2 (en) Method for calibrating cameras installed on vehicle
US10922559B2 (en) Automatic surround view homography matrix adjustment, and system and method for calibration thereof
JP5444139B2 (ja) 画像のキャリブレーション方法および装置
JP4715334B2 (ja) 車両用画像生成装置および方法
US9648233B2 (en) System, device, and vehicle for recording panoramic images
US20170132774A1 (en) Apparatus And Method For Adjusting And / Or Calibrating A Multi-Camera Module As Well As The Use Of Such An Apparatus
TWI493504B (zh) 結合影像之方法
KR102538592B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
EP3332387B1 (en) Method for calibration of a stereo camera
WO2013005265A1 (ja) 三次元座標計測装置及び三次元座標計測方法
JP2016006406A (ja) 校正方法、校正装置、計測用具及びプログラム
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
JP6620869B2 (ja) 校正方法、校正装置、及びプログラム
JP6669182B2 (ja) 乗員監視装置
JPH11136575A (ja) 撮像装置及び撮像画像合成方法
JP4855278B2 (ja) カメラパラメータ取得装置
WO2023100516A1 (ja) ステレオカメラ、ステレオカメラシステム、および配置方法
WO2016194179A1 (ja) 撮像装置、内視鏡装置及び撮像方法
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
WO2019198399A1 (ja) 画像処理装置および方法
WO2022004248A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
US20190268519A1 (en) A bundle adjustment system
KR102338634B1 (ko) 등속 광원 잔상을 이용한 카메라 렌즈 왜곡 보정 시스템
CN108038888B (zh) 混合相机***的空间标定方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22900949

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)