WO2020195851A1 - 車載カメラ装置およびその画像歪み補正方法 - Google Patents

車載カメラ装置およびその画像歪み補正方法 Download PDF

Info

Publication number
WO2020195851A1
WO2020195851A1 PCT/JP2020/010611 JP2020010611W WO2020195851A1 WO 2020195851 A1 WO2020195851 A1 WO 2020195851A1 JP 2020010611 W JP2020010611 W JP 2020010611W WO 2020195851 A1 WO2020195851 A1 WO 2020195851A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera device
lens
vehicle camera
light
Prior art date
Application number
PCT/JP2020/010611
Other languages
English (en)
French (fr)
Inventor
智詞 中山
大浪　慶一
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112020001525.4T priority Critical patent/DE112020001525T5/de
Priority to CN202080022486.2A priority patent/CN113615151A/zh
Priority to US17/593,114 priority patent/US20220148138A1/en
Publication of WO2020195851A1 publication Critical patent/WO2020195851A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • This technology relates to an in-vehicle camera device that can be attached to a vehicle and a method for correcting image distortion thereof.
  • Patent Document 1 and Patent Document 2 disclose a structure in which a hood limits the angle of incidence of a light beam on a camera lens.
  • a wide-angle lens is often used to image the surroundings of a vehicle, but the angle of view is wider than the angle of view required to image the rear of the vehicle for a smart room mirror. Therefore, for example, in order to monitor the surroundings of the vehicle, the surroundings of the vehicle can be monitored with one camera by capturing the image with a camera using a wide-angle lens and cutting out the image for the smart room mirror from the captured image. It can be used for both purposes and for smart room mirrors. In this case, the image for the smart room mirror generally requires a high resolution. Therefore, considering the influence of aberrations, the person who brings the optical axis of the camera lens closer to the place to be displayed for the smart room mirror. Is desirable, and the depression angle of the camera needs to be small.
  • the purpose of the present technology is to limit the angle of incidence of light rays on the camera lens by a hood, so that an in-vehicle camera device capable of generating a higher quality photographed image and its image distortion
  • the purpose is to provide a correction method.
  • the in-vehicle camera device is an in-vehicle camera device capable of capturing at least one of the front, rear, and side of the vehicle, and is imaged by a lens and the lens. It is provided with an image pickup element unit that converts the generated light into an electric signal to generate an image pickup image, and a light shielding portion that blocks light rays corresponding to a part of the image pickup region of the image pickup element section on the incident surface side of the lens. ..
  • the light from a light source such as the sun or a street lamp is incident on the lens by blocking the light beam corresponding to a part of the imaging region of the image pickup element unit on the incident surface side of the lens by the light shielding portion.
  • the amount of external protrusion can be minimized by arranging the light-shielding portion along the surface of the lens.
  • an image processing unit that generates a first output image having a first resolution and a second output image having a second resolution smaller than the first output image from the captured image generated by the image sensor. Further, it is assumed that the region where the light beam is blocked by the light-shielding portion is outside the region of the second output image. As a result, the second output image is not hidden by the light-shielding portion.
  • the lens can be a wide-angle lens or a wide-angle lens having a heightening characteristic in which an image near the center of the optical axis becomes large.
  • the image processing unit may calculate the image height characteristic of the wide-angle lens based on the edge information included in the image of the light-shielding unit.
  • the image processing unit may correct the distortion of the captured image based on the calculated image height characteristic and the design value of the image height characteristic of the wide-angle lens. As a result, a good captured image can be obtained in which the distortion of the captured image due to the change in the image height characteristic is corrected.
  • the image processing unit acquires the temperature data, calculates the image height characteristic of the wide-angle lens when the difference from the temperature at the time of the previous distortion correction is equal to or more than a predetermined value, and determines the image height characteristic at the time of the previous distortion correction.
  • the distortion of the captured image may be corrected based on the calculated image height characteristic and the design value of the image height characteristic of the wide-angle lens.
  • the image height characteristic of the wide-angle lens can be evaluated by using the change in temperature as a trigger, and the distortion of the captured image can be corrected if necessary.
  • the in-vehicle camera device may further include an image output unit that outputs a first output image and a second output image generated by the image processing unit to one or more monitors.
  • the light-shielding portion may have a water droplet receiver.
  • water droplets are less likely to adhere to the incident surface of the lens during rainy weather, the visibility of the image output to the rearview mirror monitor can be ensured, and the calculation accuracy of the image height characteristic can be maintained.
  • the in-vehicle camera device may further include a camera housing on which the lens and the image sensor unit are mounted, and the light-shielding unit may be provided in the camera housing.
  • the in-vehicle camera device further includes a camera housing on which the lens and the image sensor unit are mounted, and a bracket for fixing the camera housing to the vehicle, and the light-shielding portion is attached to the bracket. It may be provided.
  • the image distortion correction method of the in-vehicle camera device blocks light rays corresponding to a part of the image pickup region of the image pickup element portion on the incident surface side of the lens. An image is taken through the unit, the image height characteristic of the lens is calculated from the captured image, and the distortion of the captured image is corrected based on the calculated image height characteristic and the design value of the image height characteristic of the lens.
  • FIG. 6 It is a figure which shows the example of the image which is imaged as a result of blocking the incident of a light ray by a light shielding part 6. It is a perspective view which shows the specific example of a light-shielding part 6. It is a side view of the specific example of the light-shielding portion 6 of FIG. It is a perspective view of the vehicle-mounted camera device 1 in which the light-shielding portion 6 is provided on the bracket 7. It is a side view of the vehicle-mounted camera device 1 of FIG. It is a perspective view which shows the vehicle-mounted camera device 1 which has the light-shielding part 6 provided along the incident surface of a lens 2. It is a side view of the vehicle-mounted camera device 1 of FIG.
  • FIG. 1 It is a perspective view of the vehicle-mounted camera device 1 provided with the light-shielding portion 6 on the bracket 7. It is a side view of the vehicle-mounted camera device 1 of FIG. It is a block diagram which shows the structure of the image processing system of an in-vehicle camera device 1. It is a figure which shows the photographed image at the time of using the light-shielding part 6 whose edge part was cut out in a saw shape. It is a graph which shows the image height characteristic calculated from the image of FIG. It is a figure which compares and shows the position of each feature point before and after the image height characteristic change with temperature change. It is a graph which shows the image height characteristic before and after the change with temperature change.
  • 6 is a graph showing the correlation between the design value r of the image height characteristic and the image height r'obtained by the image height characteristic detected from the captured image.
  • FIG. 1 is a perspective view of the vehicle-mounted camera device 1 according to the first embodiment according to the present technology
  • FIG. 2 is a cross-sectional view of the vehicle-mounted camera device 1 of FIG.
  • the in-vehicle camera device 1 includes a lens 2, an image sensor 3, a substrate 4, a camera housing 5, a light-shielding portion 6, and a bracket 7. In the perspective view of FIG. 1, the bracket 7 is not shown.
  • the lens 2 is an optical component or a lens group for forming light on the image pickup surface of the image pickup element 3.
  • the image sensor 3 converts the light imaged by the lens 2 into an electric signal.
  • the image sensor 3 is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD image sensor, or the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • the substrate 4 is a substrate 4 on which the image pickup device 3 is mounted on one surface.
  • a video signal processing circuit that generates an image from an electric signal generated by the image sensor 3 or the like is mounted on the substrate 4 or another substrate (not shown).
  • the image sensor 3 and the substrate 4 correspond to the "image sensor unit" in the claims.
  • the camera housing 5 is a housing that houses a substrate 4 or the like on which the lens 2 and the image sensor 3 are mounted.
  • the camera housing 5 is attached to the vehicle body via a bracket 7 fixed to the vehicle body (not shown).
  • the light-shielding portion 6 is for blocking light rays corresponding to a part of the image pickup region 3a of the image pickup element 3 on the incident surface side of the lens 2.
  • the center of the image pickup region 3a of the image pickup element 3 does not necessarily have to coincide with the optical axis position of the lens 2.
  • a wide-angle lens or the like can be used for the lens 2.
  • the wide-angle lens 2 a lens having an image height characteristic in which the image near the center becomes large can be adopted in order to improve the resolution of the image cut out for the smart room mirror as much as possible.
  • FIG. 3 shows an example of the image height characteristic of the wide-angle lens 2.
  • FIG. 4 is a diagram showing an example of an image taken by using a wide-angle lens 2 having an image height characteristic in which an image near the center becomes large as described above.
  • FIG. 5 an example of an image taken with a wide-angle lens having a linear image height characteristic is shown in FIG.
  • FIG. 4 As can be seen by comparing the image of FIG. 4 and the image of FIG.
  • a wide-angle lens having linear linear characteristics is used as compared with the image of FIG. 4 taken by using the wide-angle lens 2 having the image height characteristic of FIG.
  • the image of the subject (following vehicle, etc.) near the center appears small, and therefore, when the image for the smart room mirror is cut out from this image, the resolution becomes poor.
  • the in-vehicle camera device 1 is installed so that the optical axis S of the lens 2 faces horizontal (X-axis direction) or substantially horizontal. Therefore, flare, ghost, halation, etc. may occur due to the light of a light source such as the sun or a street lamp incident on the lens 2 in the region above the middle height of the captured image.
  • a light source such as the sun or a street lamp incident on the lens 2 in the region above the middle height of the captured image.
  • the vehicle-mounted camera device 1 is provided with a light-shielding portion 6 for blocking light rays corresponding to a part of the image pickup region 3a of the image pickup element 3 on the incident surface side of the lens 2.
  • a light-shielding portion 6 for blocking light rays corresponding to a part of the image pickup region 3a of the image pickup element 3 on the incident surface side of the lens 2.
  • FIG. 7 is a diagram showing an angle at which the light beam is blocked from being incident on the lens 2 by the light shielding portion 6, and FIG. 8 is a diagram showing an example of an image captured as a result of the light ray incident being blocked by the light shielding portion 6.
  • the light-shielding portion 6 blocks the incident light in the angle range of ⁇ 1 to ⁇ 2 from diagonally above, which corresponds to a part of the region belonging to the image pickup region 3a of the image pickup element 3, whereby the optical axis S of the lens 2 S.
  • a low-luminance portion 11 due to the light-shielding portion 6 is formed in the uneven region on the captured image. That is, it is possible to prevent the light from a light source such as the sun or a street lamp from entering the lens 2, and it is possible to minimize the occurrence of flare, ghost, halation, and the like.
  • the light-shielding portion 6 does not hide the image of the road surface or an object on the road surface under the condition that the optical axis S of the lens 2 is oriented in the horizontal direction or the substantially horizontal direction. Therefore, it does not affect the quality of the smart room mirror image cut out mainly from the intermediate height region of the captured image, and does not affect the image analysis for measuring the distance to the adjacent vehicle or obstacle.
  • FIG. 9 is a perspective view showing a specific example of the light-shielding portion 6, and FIG. 10 is a side view thereof.
  • the light-shielding portion 6 may be provided so as to project in the direction of the optical axis S of the lens 2.
  • FIG. 11 is a perspective view of the vehicle-mounted camera device 1 in which the light-shielding portion 6 is provided on the bracket 7, and FIG. 12 is a side view thereof.
  • the light-shielding portion 6 is provided along the incident surface of the lens 2, as shown in FIGS. 13 and 14.
  • the amount of protrusion of the light-shielding portion 6 can be suppressed to about the thickness of the light-shielding portion 6, and it becomes easy to meet the standard relating to the external protrusion of the passenger car.
  • the bracket 7 when the bracket 7 is provided with the light-shielding portion 6, the light-shielding portion 6 can be provided so as to cover the incident surface of the lens 2.
  • the mounting angle of the in-vehicle camera device 1 is not always constant, and may change depending on, for example, the vehicle type. If the mounting angle of the in-vehicle camera device 1 changes, the range of the angle of the incident light beam blocked by the light-shielding portion 6 also changes. Therefore, in the worst case, a low-brightness portion due to the light-shielding portion 6 appears in the smart room mirror image or an adjacent vehicle. Low-brightness areas may appear in areas that affect image analysis for distance measurement with or obstacles.
  • brackets 7 having different light-shielding conditions range of angles of incident light rays blocked by the light-shielding unit 6) are prepared, and the light-shielding unit 6 suitable for the mounting angle of the in-vehicle camera device 1 is prepared.
  • the above problem can be dealt with by using the bracket 7 having the light-shielding condition of.
  • the lower end of the light-shielding portion 6 and both sides thereof receive water droplets from above and both sides of the lens 2.
  • a water droplet receiver 18 may be provided to allow the lens to escape to the lens.
  • FIG. 17 is a block diagram showing a configuration of an image processing system of the in-vehicle camera device 1.
  • the in-vehicle camera device 1 further includes an image processing unit 8, a memory unit 9, and an image output unit 10.
  • the electric signal converted from light by the image sensor 3 is converted into a frame unit or field unit video signal by the video signal processing unit 3A and supplied to the image processing unit 8.
  • the image processing unit 8 has an image conversion unit 81 and a calculation unit 82.
  • the calculation unit 82 analyzes the captured image. For example, the calculation unit 82 detects the position of the feature points appearing in or around the low-luminance image portion by the light-shielding unit 6 in the captured image, and sets the difference between each feature point stored in the memory unit 9 and the design position as a lens. Calculated as the amount of change in image height characteristics. Based on the calculated amount of change in the lens image height characteristic, the calculation unit 82 generates parameters for correcting distortion of the captured image due to the change in the lens image height characteristic, and the distance to the object on the road surface. The parameters necessary for canceling the adverse effects due to changes in the lens image height characteristics, such as the correction of the parameters for measuring the lens image, are generated.
  • the image conversion unit 81 performs distortion correction of the captured image based on the parameters for distortion correction obtained by the calculation unit 82, and generates a viewpoint conversion image such as a top-down view image from the distortion-corrected captured image. For example, a smart room mirror image is generated.
  • the image output unit 10 outputs the top-down view image obtained by the image conversion unit 81 to the monitor for the top-down view. Further, the image output unit 10 outputs the smart room mirror image obtained by the image conversion unit 81 to the monitor of the smart room mirror.
  • the calculated image height characteristic data, the set image height characteristic data, and the like are stored in the memory unit 9.
  • the in-vehicle camera device 1 of the present embodiment detects the lens image height characteristic by calculating the image height for each feature point included in the captured image, and the difference from the design image height for each feature point. It is configured to generate a parameter for correcting image distortion due to a change in lens image height characteristics from a ratio or the like, and to correct image distortion due to a change in lens image height characteristics.
  • the light-shielding portion 6 has the image height characteristic of the lens 2 in the low-luminance portion 11 or the image around the light-shielding portion 6.
  • a notch or the like is formed so that a plurality of feature points whose positions in the captured image space move with the change of the lens appear.
  • FIG. 18 is a diagram showing a photographed image when a light-shielding portion 6 whose edge portion is cut out in a saw shape is used.
  • the low-luminance portion 11 formed by blocking the light beam by the light-shielding portion 6 and the image portion where the light beam is not blocked are separated into a saw-like image.
  • the outer angle vertices and / or the inner angle vertices of the individual teeth are set as feature points (indicated by ⁇ ), and the position of each feature point in the captured image can be detected by detecting edge information or the like.
  • FIG. 18 shows the result of detecting the apex of the outer angle of each tooth as a feature point.
  • FIG. 19 is a graph showing the image height characteristics obtained from the image of FIG. 18, that is, the relationship between the image height (distance between the feature points and the center of the optical axis) and the incident angle for each feature point.
  • the points are distributed close to each other by two because the feature points in the image of FIG. 18 are arranged symmetrically. In reality, the angle of incidence and the image height are slightly different at the left and right feature points because they are not completely symmetrical.
  • FIG. 20 is a diagram showing a comparison of the positions of the feature points before and after the change in the image height characteristic due to the temperature change, and the circles filled in white are the positions of the feature points after the change in the image height characteristic and are filled. The circles that are not marked are the positions of each feature point before the change in image height characteristics. In this way, the change in the image height characteristics of the lens due to the temperature change appears as an overall change in the position of each feature point.
  • FIG. 21 is a graph showing the relationship between the image height characteristics before and after the change due to the temperature change, that is, the image height (distance between the feature points and the center of the optical axis) and the incident angle for each feature point before and after the change in the image height characteristics. is there.
  • the calculation unit 82 of the image processing unit 8 calculates the difference in image height before and after the change for each feature point, and generates a parameter for correcting the distortion of the image due to the change in the image height characteristic from the calculated difference.
  • the light-shielding portion 6 having the edge portion cut out in a saw-like shape was adopted.
  • the light-shielding portion 6 has a light-shielding portion 6.
  • feature points may appear in the captured image.
  • one of the four internal angle points in the rectangular opening (for example, the upper right corner) or the center of the opening may be detected as a feature point.
  • the image on the left is a captured image (first output image of the first resolution)
  • the image on the right is a smart room mirror image generated from the captured image on the left (second output image of the second resolution).
  • the smart room mirror image has a vertical and horizontal resolution corresponding to the shape of the monitor screen of the smart room mirror, and when the optical axis of the lens 2 is oriented substantially horizontally, the entire following vehicle is included. It is generated from the captured image using an image in the middle height region including the center of the optical axis.
  • the height position of the lower end of the region where the smart room mirror image is taken from the captured image is, for example, a position of 8 degrees diagonally upward from the optical axis of the lens 2 when viewed from the image sensor 3 of the in-vehicle camera device 1.
  • the information displayed at the point A (x A , y A ) is the point a (x a , y a ) in the captured image when the image height characteristic of the lens 2 has not changed.
  • Shall refer to.
  • the calculation unit 82 sets the image height characteristic detected from the captured image with respect to the design value of the image height characteristic for each feature point, for example, as shown in FIG. Generate data that shows differences and ratios. Calculation unit 82, for each point a photographed image, using the above data to calculate the appropriate distance r'a, from the distance r a 'and angle phi a, and calculates the reference should be actually located. As a result, a smart room mirror image in which distortion due to a change in image height characteristics is reduced can be obtained.
  • the correlation such as the difference or ratio between the design value of the image height characteristic and the image height characteristic detected from the captured image for each feature point, but, for example, as shown in FIG. 28, the design value r of the image height characteristic. It is also possible to use the correlation between image height r'obtained by the image height characteristic detected from the captured image.
  • FIG. 24 is a block diagram of the in-vehicle camera device 1a of the present modification 1.
  • the in-vehicle camera device 1a has a temperature measuring unit 21 for measuring the temperature.
  • the temperature measuring unit 21 may be, for example, a thermometer that actually measures the ambient temperature outside the vehicle and the temperature in the vicinity of the in-vehicle camera device 1a.
  • the in-vehicle camera device 1a of the first modification is configured to evaluate the image height characteristic by the above-mentioned feature point position analysis when the measurement temperature changes by a certain value or more.
  • FIG. 25 is a flowchart relating to control of evaluation of image height characteristics by the above-mentioned feature point position analysis when the measurement temperature changes by a certain value or more.
  • the design image height data of each feature point, the image height data of each feature point at the time of the previous image correction, and the temperature data are stored in the memory unit 9.
  • the calculation unit 82 reads the image height data of each feature point at the time of the previous measurement from the memory unit 9 (step S101). Subsequently, the calculation unit 82 acquires temperature data from the temperature measurement unit 21 (step S102). Next, the calculation unit 82 acquires the captured image, detects the position of each feature point in the captured image, and calculates the image height data (step S103).
  • the calculation unit 82 compares the image height data of each feature point at the time of the previous measurement with the image height data of each feature point detected this time, calculates the difference of the image height data between the corresponding feature points, and determines the difference. It is determined whether or not there is a feature point that is equal to or greater than the value of (step S104). If there is no feature point whose difference is equal to or greater than a predetermined value, the calculation unit 82 repeats the process of step S104 for the next captured image in the same manner.
  • the next captured image may be an image of the next frame or an image after a predetermined number of frames.
  • the calculation unit 82 reads the design value of the image height characteristic from the memory unit 9, and the design value of the image height characteristic and the image height detected from the captured image. Correlation data such as the difference and ratio with the characteristics are generated, and the distortion due to the change in the image height characteristics of the captured image is corrected based on the correlation data. Then, the calculation unit 82 saves the image height data and the temperature data measured this time in the memory unit 9 as the above-mentioned “image height data and temperature data of each feature point at the time of the previous image correction” (step S105).
  • the calculation unit 82 also acquires the current temperature data from the temperature measurement unit 21 (step S106), and compares the current temperature data with the temperature data at the time of the previous image correction stored in the memory unit 9. , It is determined whether or not the difference is equal to or greater than a predetermined value (step S107). If the difference is not equal to or greater than a predetermined value, the temperature data from the temperature measuring unit 21 is acquired again, and the comparison between the acquired temperature data and the temperature data at the time of the previous image correction is repeated.
  • the camera housing 5 may be capable of changing the depression angle of the optical axis of the lens 2 by driving the motor with respect to the bracket 7 to which the light-shielding portion 6 is attached. For example, by setting the depression angle of the optical axis to an angle close to horizontal, it is possible to shoot farther, and by pointing it down as much as possible, it is possible to image the vicinity of the vehicle or shoot an image close to the top-down view image. it can.
  • the depression angle of the optical axis of the lens 2 is changed with respect to the bracket 7 to which the light-shielding portion 6 is attached, the light-shielding area due to the light-shielding portion 6 in the captured image also changes. Detects and based on this result, automatically sets the optimum metering used for adjusting AE (automatic exposure compensation) and AWB (automatic white balance), and sets the optimum map for image distortion correction. You can do it.
  • Part or all of the image processing and calculation by the image processing unit 8 is not necessarily performed inside the vehicle-mounted camera device 1.
  • it may be performed on a server connected via the Internet or another information processing device in the vehicle. As a result, it is possible to reduce the size and cost of the in-vehicle camera device 1.
  • the present technology can have the following configurations.
  • An image sensor unit that converts the light imaged by the lens into an electrical signal to generate an image image.
  • An in-vehicle camera device including a light-shielding portion that blocks light rays corresponding to a part of an imaging region of the image pickup element portion on the incident surface side of the lens.
  • the in-vehicle camera device according to (1) or (2) above. It further has an image processing unit that generates a first output image having a first resolution and a second output image having a second resolution smaller than the first output image from the captured image generated by the image sensor. And An in-vehicle camera device in which a region where light rays are blocked by the light-shielding portion is outside the region of the second output image.
  • the in-vehicle camera device according to any one of (1) to (3) above.
  • the lens is an in-vehicle camera device that is a wide-angle lens.
  • the in-vehicle camera device is an in-vehicle camera device that calculates the image height characteristics of the wide-angle lens based on the edge information included in the image of the light-shielding unit.
  • the in-vehicle camera device is an in-vehicle camera device that corrects distortion of the captured image based on the calculated image height characteristic and the design value of the image height characteristic of the wide-angle lens.
  • the in-vehicle camera device acquires a temperature data, calculates the image height characteristic of the wide-angle lens when the difference from the temperature at the time of the previous distortion correction is equal to or more than a predetermined value, and obtains the image height characteristic at the time of the previous distortion correction.
  • An in-vehicle camera device that corrects distortion of the captured image based on the calculated image height characteristic and the design value of the image height characteristic of the wide-angle lens when the difference between the two and the lens is equal to or greater than the threshold value.
  • An in-vehicle camera device further comprising an image output unit that outputs the first output image and the second output image generated by the image processing unit to one or more monitors.
  • the in-vehicle camera device according to any one of (1) to (9) above.
  • the light-shielding portion is an in-vehicle camera device having a water droplet receiver.
  • the in-vehicle camera device according to any one of (1) to (10) above.
  • a camera housing on which the lens and the image sensor unit are mounted is further provided.
  • the light-shielding portion is an in-vehicle camera device provided in the camera housing.
  • the in-vehicle camera device according to any one of (1) to (11) above.
  • the light-shielding portion is an in-vehicle camera device provided on the bracket.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)

Abstract

この車載カメラ装置は、車両の前方、後方、または側方の少なくとも一方を撮像可能な車載カメラ装置であって、レンズと、前記レンズによって結像された光を電気信号に変換して撮像画像を生成する撮像素子部と、前記レンズの入射面側で、前記撮像素子部の撮像領域の一部に対応する光線を遮る遮光部とを具備する。

Description

車載カメラ装置およびその画像歪み補正方法
　本技術は、車両に取り付け可能な車載カメラ装置およびその画像歪み補正方法に関する。
　近年、車両の周囲を広角レンズを使ったカメラにより撮像してモニターにその周囲画像を表示したり接近物を報知するシステムや、車両後方の映像をルームミラーモニターに表示するシステム（スマートルームミラー）など、車載カメラ装置の利用範囲が広がっている。
　車載カメラ装置は、カメラレンズに入射する太陽光などによって画像に発生するフレアー、ゴースト、ハレーションなどの抑制が一般的な検討課題とされる。そのために、レンズの入力面側に遮光部（フード）を配置して太陽光などの光線を遮る対策が講じられる。例えば、特許文献１、特許文献２に、フードによりカメラレンズへの光線の入射角度を制限する構造が開示されている。
特開２０１３－２３０８１５号公報 特開２０１３－００９２１１号公報
　一般的に、車両の周囲を撮像するためには広角レンズが用いられることが多いが、その画角はスマートルームミラー用に車両後方を撮像するために必要な画角よりも広い。そのため、例えば、車両の周囲をモニタリングするため、広角レンズを使ったカメラにより撮像しつつ、その撮像画像からスマートルームミラー用の画像を切り出して使用することで、一つのカメラで、車両の周辺監視用とスマートルームミラー用の二つの用途を兼ねることができる。この場合、スマートルームミラー用の画像には一般的に高い解像感が必要とされるため、収差の影響等を考慮すると、スマートルームミラー用で表示したい場所にカメラレンズの光軸を近づける方が望ましく、カメラの俯角は小さくする必要がある。一方で、カメラの俯角が小さい場合、水平線より上側が広く撮像されることとなり、太陽光や街灯の光がカメラレンズへ入射しやすくなるが、スマートルームミラー用に使用する画角より上側は本来撮像する必要はない。
　以上のような事情に鑑み、本技術の目的は、カメラレンズへの光線の入射角度をフードにより制限することで、より高い品質の撮影画像を生成することが可能な車載カメラ装置およびその画像歪み補正方法を提供することにある。
　上記目的を達成するため、本技術の一形態に係る車載カメラ装置は、車両の前方、後方、または側方の少なくとも一方を撮像可能な車載カメラ装置であって、レンズと、前記レンズによって結像された光を電気信号に変換して撮像画像を生成する撮像素子部と、前記レンズの入射面側で、前記撮像素子部の撮像領域の一部に対応する光線を遮る遮光部とを具備する。
　本技術に係る車載カメラ装置では、遮光部によって、レンズの入射面側で、撮像素子部の撮像領域の一部に対応する光線を遮ることによって、太陽や街灯などの光源の光がレンズに入射することによるフレアー、ゴースト、ハレーションなどの発生を防止することができる。
　本技術では、遮光部がレンズの面に沿って配置されることによって、外部突出量を最小限に抑えることができる。
　本技術では、撮像素子にて生成された撮像画像から、第１の解像度の第１の出力画像および第１の出力画像より小さい第２の解像度の第２の出力画像を生成する画像処理部をさらに有し、前記遮光部によって光線が遮られる領域が第２の出力画像の領域外にあるものとされる。
　これにより、第２の出力画像が遮光部によって隠れることがない。
　前記レンズは広角レンズ、あるいは、光軸中心付近の像が大きくなる増高特性を有する広角レンズとすることができる。
　画像処理部は、前記遮光部の像に含まれるエッジ情報に基づいて前記広角レンズの像高特性を算出するものであってよい。
　画像処理部は、前記算出された前記広角レンズの像高特性と像高特性の設計値に基づいて前記撮像画像の歪みを補正するものであってよい。
　これにより、像高特性の変化に伴う撮影画像の歪みを補正した良好な撮影画像が得られる。
　画像処理部は、温度テータを取得し、前回の歪み補正時の温度との差が所定値以上であるとき、広角レンズの像高特性を算出し、前回の歪み補正時の像高特性との差分が閾値以上である時、算出された前記広角レンズの像高特性と像高特性の設計値に基づいて撮像画像の歪みを補正するものであってもよい。
　これにより、温度の変化をトリガとして広角レンズの像高特性を評価し、必要に応じて、撮像画像の歪みを補正することができる。
　本技術に係る車載カメラ装置は、画像処理部により生成された第１の出力画像および第２の出力画像を１以上のモニターに出力する画像出力部をさらに具備するものであってよい。
　遮光部は、水滴受けを有するものであってよい。これにより、雨天走行中にレンズの入射面に水滴が付きにくくなり、ルームミラーモニターに出力される画像の視認性を担保できる他、像高特性の算出精度を維持することができる。
　本技術に係る車載カメラ装置は、前記レンズおよび前記撮像素子部を搭載するカメラ筐体をさらに具備し、前記遮光部は前記カメラ筐体に設けられてもよい。
　あるいは、本技術に係る車載カメラ装置は、前記レンズおよび前記撮像素子部を搭載するカメラ筐体と、前記カメラ筐体を前記車両に固定するブラケットとをさらに具備し、前記遮光部は前記ブラケットに設けられてもよい。
　また、上記目的を達成するため、本技術の他の形態に係る車載カメラ装置の画像歪み補正方法は、レンズの入射面側で、撮像素子部の撮像領域の一部に対応する光線を遮る遮光部を介して撮像し、撮像した画像から前記レンズの像高特性を算出し、この算出したレンズの像高特性と像高特性の設計値に基づいて前記撮像画像の歪みを補正する。
　以上のように、本技術によれば、より高い品質の撮影画像を生成することができる。
本技術に係る第１の実施形態の車載カメラ装置１の斜視図である。 図１の車載カメラ装置１の断面図である。 広角レンズ２の像高特性の例を示すグラフである。 図３の広角レンズ２を用いて撮像された画像の例を示す図である。 線形の像高特性を示すグラフである。 線形の像高特性を有するレンズを用いて撮像された画像の例を示す図である。 遮光部６によってレンズ２への光線の入射が遮られる角度を示す図である。 遮光部６によって光線の入射が遮られた結果撮像される画像の例を示す図である。 遮光部６の具体例を示す斜視図である。 図９の遮光部６の具体例の側面図である。 遮光部６がブラケット７に設けられた車載カメラ装置１の斜視図である。 図１１の車載カメラ装置１の側面図である。 レンズ２の入射面に沿って設けられた遮光部６を有する車載カメラ装置１を示す斜視図である。 図１３の車載カメラ装置１の側面図である。 ブラケット７に遮光部６を設けた車載カメラ装置１の斜視図である。 図１５の車載カメラ装置１の側面図である。 車載カメラ装置１の画像処理系の構成を示すブロック図である。 縁の部分が鋸状に切欠けられた遮光部６を用いた場合の撮影画像を示す図である。 図１８の画像から算出される像高特性を示すグラフである。 温度変化に伴う像高特性変化前後の各特徴点の位置を比較して示す図である。 温度変化に伴う変化前後の像高特性を示すグラフである。 撮影画像からレンズ２の像高特性の変化分を考慮してスマートルームミラー画像を生成する方法を説明する図である。 像高特性の設計値と撮影画像から検出された像高特性との相関を示すグラフである。 変形例１の車載カメラ装置１ａのブロック図である。 変形例１の車載カメラ装置１ａにおいて、測定温度が一定値以上変化したときに、上記の特徴点位置解析による像高特性の評価の制御に関するフローチャートである。 撮影画像に特徴点を出現させるための開口を有する遮光部６を用いた場合の撮影画像を示す図である。 遮光部６に水滴受け１８を有する車載カメラ装置１の斜視図である。 像高特性の設計値ｒと撮影画像から検出された像高特性によって得られる像高ｒ'の相関を示すグラフである。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
　［車載カメラ装置の構成について］
　図１は本技術に係る第１の実施形態の車載カメラ装置１の斜視図、図２は図１の車載カメラ装置１の断面図である。
　この車載カメラ装置１は、レンズ２と、撮像素子３と、基板４と、カメラ筐体５と、遮光部６と、ブラケット７とを備える。
　なお、図１の斜視図においては、ブラケット７の図示は省略してある。
　レンズ２は、撮像素子３の撮像面に光を結像するための光学部品またはレンズ群である。
　撮像素子３は、レンズ２によって結像された光を電気信号に変換する。撮像素子３は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤイメージセンサーなどで構成される。
　基板４は、一表面に撮像素子３が実装された基板４である。基板４または図示しない他の基板には、撮像素子３で生成された電気信号から画像を生成する映像信号処理回路などが実装される。
　撮像素子３と基板４は、特許請求の範囲の「撮像素子部」に相当する。
　カメラ筐体５は、レンズ２および撮像素子３を実装した基板４などを収容する筐体である。このカメラ筐体５は、図示しない車体に固定されるブラケット７を介して車体に取り付けられる。
　遮光部６は、レンズ２の入射面側で、撮像素子３の撮像領域３ａの一部に対応する光線を遮るためのものである。なお、撮像素子３の撮像領域３ａの中心はレンズ２の光軸位置と必ずしも一致していなくてよい。
　［レンズ２の特性］
　レンズ２には広角レンズなどを用い得る。
　広角レンズ２には、スマートルームミラー用に切り出した画像の解像感をできるだけ良くするために、中心付近の像が大きくなる像高特性を有するものが採用され得る。図３に広角レンズ２の像高特性の例を示す。図４は上記のように中心付近の像が大きくなる像高特性を有する広角レンズ２を用いて撮影された画像の例を示す図である。比較のため、図５に示すように、線形の像高特性を有する広角レンズを用いて撮影された画像の例を図６に示す。図４の画像と図６の画像を比較すると分かるように、図６の像高特性を有する広角レンズ２を用いて撮影された図４の画像に比べ、線形の線形特性を有する広角レンズを用いて撮影された図６の画像では、中心付近の被写体（後続車両など）の像が小さく映ってしまうため、ここからスマートルームミラー用の画像を切り出した場合に、解像感が悪くなる。
　［カメラの向きについて］
　図２に示したように、車載カメラ装置１は、レンズ２の光軸Ｓが水平（Ｘ軸方向）または略水平を向きように設置される。
　このため、撮影画像の中間の高さから上の領域において、太陽や街灯などの光源の光がレンズ２に入射することによるフレアー、ゴースト、ハレーションなどが発生することがある。
　本技術に係る車載カメラ装置１は、このような課題を解決するために、撮像素子３の撮像領域３ａの一部に対応する光線をレンズ２の入射面側で遮るための遮光部６を設けることによって、太陽や街灯などの光源の光がレンズ２に入射することを最小限に抑制するように構成されたものである。
　図７は遮光部６によってレンズ２への光線の入射が遮られる角度を示す図、図８は遮光部６によって光線の入射が遮られた結果撮像される画像の例を示す図である。
　このように、遮光部６によって、撮像素子３の撮像領域３ａに属する一部領域に対応する、斜め上からのθ１からθ２の角度範囲の入射光が遮られることによって、レンズ２の光軸Ｓが水平方向または略水平方向を向いている場合には、撮影画像の上の偏倚領域に遮光部６による低輝度部分１１ができる。すなわち、太陽や街灯などの光源の光がレンズ２に入射することを防止でき、フレアー、ゴースト、ハレーションなどの発生を最小限に抑止することができる。
　また、遮光部６は、レンズ２の光軸Ｓが水平方向または略水平方向を向いている条件において、路面や路面上の物体の像を隠すことがない。このため、撮影画像の主に中間の高さ領域から切り出されるスマートルームミラー画像の品質に影響をきたしたり、隣接車両や障害物との距離測定のための画像解析に影響をきたすことがない。
　［遮光部６の具体例］
　次に、遮光部６の具体例を示す。
　図９は遮光部６の具体例を示す斜視図、図１０はその側面図である。
　このように、遮光部６は、レンズ２の光軸Ｓの方向に突出して設けられたものであってもよい。
　また、遮光部６はブラケット７に設けられてもよい。図１１は遮光部６がブラケット７に設けられた車載カメラ装置１の斜視図、図１２はその側面図である。
　但し、これらのように遮光部６がレンズ２の光軸Ｓの方向に突出していると、乗用車の外部突起に係る基準に適合しなくなる可能性がある。
　遮光部６の突出量を最小限に抑えるために、図１３および図１４に示すように、遮光部６はレンズ２の入射面に沿って設けられることがより望ましい。これにより、遮光部６の突出量は遮光部６の厚さ程度に抑えることができ、乗用車の外部突起に係る基準に適合させることが容易になる。また、図１５、図１６に示すように、ブラケット７に遮光部６を設ける場合にも、遮光部６をレンズ２の入射面を覆うように設けることは可能である。
　また、車載カメラ装置１の取り付け角度は必ずしも一定とは限らず、例えば車種等によって変わる場合もある。車載カメラ装置１の取り付け角度が変わると、遮光部６が遮る入射光線の角度の範囲も変わってしまうため、最悪の場合、スマートルームミラー画像に遮光部６による低輝度部分が現れたり、隣接車両や障害物との距離測定のための画像解析に影響をきたすような領域に低輝度部分が現れる可能性がある。そこで、遮光部６の遮光条件（遮光部６が遮る入射光線の角度の範囲）を変えた複数種類のブラケット７を用意しておき、車載カメラ装置１の取り付け角度に対して適当な遮光部６の遮光条件を有するブラケット７を使用することによって、上記の問題に対処することができる。
　さらに、図２７に示すように、雨天走行中にレンズ２の入射面に水滴が付きにくくするために、遮光部６の下端とその両脇に、上からの水滴を受けてレンズ２の両脇に逃がすための水滴受け１８を設けてもよい。
　（車載カメラ装置１の処理ブロック）
　次に、車載カメラ装置１の画像処理系の構成を説明する。
　図１７は、車載カメラ装置１の画像処理系の構成を示すブロック図である。
　同図に示すように、車載カメラ装置１は、画像処理部８、メモリ部９、および画像出力部１０をさらに備える。
　撮像素子３にて光から変換された電気信号は、映像信号処理部３Ａにてフレーム単位あるいはフィールド単位の映像信号とされ、画像処理部８に供給される。
　画像処理部８は、画像変換部８１と演算部８２を有する。
　演算部８２は、撮影画像の解析を行う。演算部８２は、例えば撮影画像における遮光部６による低輝度映像部分またはその周囲に現れる特徴点の位置を検出し、メモリ部９に保存された各特徴点の設計上の位置との差分をレンズ像高特性の変化量として算出する。演算部８２は、算出したレンズ像高特性の変化量をもとに、例えば、レンズ像高特性の変化に伴う撮影画像の歪みの補正のためのパラメータの生成や、路面上の物体との距離を測定する上でのパラメータの補正など、レンズ像高特性の変化による悪影響をキャンセルするために必要なパラメータなどの生成を行う。
　画像変換部８１は、演算部８２により得られた歪みの補正のためのパラメータに基づく撮影画像の歪み補正や、歪補正された撮影画像から、トップダウンビュー画像などの視点変換画像を生成したり、例えばスマートルームミラー画像の生成などを行う。
　画像出力部１０は、画像変換部８１によって得られたトップダウンビュー画像をトップダウンビュー用のモニターに出力する。さらに、画像出力部１０は、画像変換部８１によって得られたスマートルームミラー画像をスマートルームミラーのモニターに出力する。
　メモリ部９には、算出された像高特性データ、設定上の像高特性データなどが保存される。
　（レンズ像高特性の変化に伴う画像の歪み補正）
　一般的にレンズの像高特性は、温度等の影響により変化することが知られる。そこで本実施形態の車載カメラ装置１は、撮影画像に含まれる各特徴点毎の像高を算出することによってレンズ像高特性を検出し、各特徴点毎の設計上の像高との差や比などからレンズ像高特性の変化に伴う画像の歪みを補正するためのパラメータを生成し、レンズ像高特性の変化に伴う画像の歪み補正を行うように構成されている。
　レンズ２の像高特性の変化を定量的に検出することができるように、上記の遮光部６には、この遮光部６による低輝度部分１１あるいはその周囲の画像に、レンズ２の像高特性の変化に伴って撮影画像空間における位置が移動する複数の特徴点が現れるように切欠きなどが形成される。
　図１８は、縁の部分が鋸状に切欠けられた遮光部６を用いた場合の撮影画像を示す図である。この場合、遮光部６によって光線が遮られたことによって出来る低輝度部１１と光線が遮られていない映像部分とが鋸状に区切られて見える撮影画像となる。この場合、例えば、個々の歯の外角頂点および／または内角頂点を特徴点（○で示す。）として、撮影画像における各特徴点の位置をエッジ情報の検出などにより検出することができる。図１８は個々の歯の外角頂点を特徴点として検出した結果を示している。
　図１９は図１８の画像から得られる像高特性、つまり各特徴点毎の像高（特徴点と光軸中心との距離）と入射角との関係を示すグラフである。点が２つずつ近い位置に分布しているのは、図１８の画像の各特徴点が左右対称に配置されているためである。実際には完全に左右対称ではないため、入射角及び像高は左右の特徴点で微妙にずれることをこのグラフではイメージしている。
　図２０は、温度変化に伴う像高特性変化前後の各特徴点の位置を比較して示す図であり、白く塗り潰された○印は像高特性変化後の各特徴点の位置であり、塗り潰されていない○印は像高特性変化前の各特徴点の位置である。
　このように温度変化に伴うレンズの像高特性の変化は各特徴点の位置の全体的な変化として現れる。図２１は、温度変化に伴う変化前後の像高特性、つまり像高特性変化前後の各特徴点毎の像高（特徴点と光軸中心との距離）と入射角との関係を示すグラフである。
　以下、変化前の像高特性を設計上の像高特性として説明を続ける。
　画像処理部８の演算部８２は、特徴点毎の変化前後の像高の差分を算出し、算出した差分から像高特性の変化による画像の歪みを補正するためのパラメータを生成する。
　なお、撮影画像に特徴点を出現させるために、上記の例では、縁の部分が鋸状に切欠けられた遮光部６を採用したが、例えば、図２６に示すように、遮光部６に例えば矩形の開口を設けることによって、撮影画像に特徴点を出現させるようにしてもよい。この場合、矩形の開口における４つの内角点のうち、一か所（例えば右上隅）の内角点や、開口中心を特徴点として検出すればよい。
　次に、撮影画像からレンズ２の像高特性の変化分を考慮してスマートルームミラー画像を生成する方法を図２２を用いて説明する。
　同図において、左の画像は撮影画像（第１の解像度の第１の出力画像）、右の画像は左の撮影画像から生成されたスマートルームミラー画像（第２の解像度の第２の出力画像）である。このようにスマートルームミラー画像は、スマートルームミラーのモニター画面の形状に対応する縦横解像度を有し、レンズ２の光軸が略水平に向けられている場合、後続車両の全体が入るように、撮影画像から、光軸中心を含む中間の高さ領域の像を用いて生成される。なお、撮影画像からスマートルームミラー画像をとる領域の下端の高さ位置は、例えば、車載カメラ装置１の撮像素子３から見て、レンズ２の光軸から斜め上に８度の位置である。
　図２２のスマートルームミラー画像において、点Ａ（ｘA，ｙA）に表示される情報は、レンズ２の像高特性が変化していない場合、撮影画像における点ａ（ｘａ，ｙａ）を参照するものとする。この撮影画像における点ａ（ｘａ，ｙａ）が光軸中心からｒａの距離（像高）、φａの角度位置にあるものとすると、点ａの位置は（ｒａ ｃｏｓφａ, ｒａ ｓｉｎφａ）で算出される。レンズ２の像高特性が変化した場合、演算部８２は、例えば図２３に示すように、特徴点毎の、像高特性の設計値に対して、撮影画像から検出された像高特性との差や比がわかるデータを生成する。演算部８２は、撮影画像の各点ａについて、上記のデータを用いて適正な距離ｒ´ａを算出し、この距離ｒａ´と角度φａから、実際に参照すべき位置を算出する。これにより、像高特性の変化による歪みを低減させたスマートルームミラー画像が得られる。
　また、特徴点毎の、像高特性の設計値と撮影画像から検出された像高特性との差や比などの相関ではなく、例えば、図２８に示すように、像高特性の設計値ｒと撮影画像から検出された像高特性によって得られる像高ｒ'の相関を用いることも可能である。
　＜変形例１＞
　次に、本技術にかかる変形例１を説明する。
　図２４は、本変形例１の車載カメラ装置１ａのブロック図である。
　同図に示すように、この車載カメラ装置１ａは、温度を測定する温度測定部２１を有する。温度測定部２１は、例えば、車両の外部の環境温度、車載カメラ装置１ａの近傍の温度を実測する温度計であってよい。本変形例１の車載カメラ装置１ａでは、測定温度が一定値以上変化したときに、上記の特徴点位置解析による像高特性の評価を実行するように構成されたものである。
　図２５は、測定温度が一定値以上変化したときに、上記の特徴点位置解析による像高特性の評価の制御に関するフローチャートである。
　前提として、メモリ部９には、各特徴点の設計上の像高データ、前回の画像補正時の各特徴点の像高データと温度データが保存されているものとする。
　車載カメラ装置１ａが起動されると、演算部８２は、メモリ部９から前回測定時の各特徴点の像高データを読み込む（ステップＳ１０１）。続いて演算部８２は、温度測定部２１より温度データを取得する（ステップＳ１０２）。次いで演算部８２は、撮影画像を取得し、撮影画像における各特徴点の位置を検出して像高データを算出する（ステップＳ１０３）。
　演算部８２は、前回測定時の各特徴点の像高データと今回検出した各特徴点の像高データとを比較し、対応する特徴点同士の像高データの差分を算出し、差分が所定の値以上である特徴点の有無を判定する（ステップＳ１０４）。差分が所定の値以上である特徴点が無ければ、演算部８２は次の撮影画像について同様にステップＳ１０４の処理を繰り返す。ここで、次の撮影画像は、次のフレームの映像であってもよいし、所定のフレーム数後の映像であってもよい。
　差分が所定の値以上である特徴点が判定された場合、演算部８２は、メモリ部９から像高特性の設計値を読み込み、この像高特性の設計値と撮影画像から検出された像高特性との差や比などの相関データを生成し、この相関データに基づいて、撮影画像の像高特性の変化による歪みを補正する。そして演算部８２は、今回測定した像高データと温度データを上記の「前回の画像補正時の各特徴点の像高データと温度データ」としてメモリ部９に保存する（ステップＳ１０５）。
　この後も、演算部８２は、温度測定部２１より現在の温度データを取得し（ステップＳ１０６）、現在の温度データとメモリ部９に保存された前回の画像補正時の温度データとを比較し、その差分が所定値以上であるかどうかを判定する（ステップＳ１０７）。差分が所定値以上でない場合には、温度測定部２１からの温度データを再度取得し、この取得した温度データと前回の画像補正時の温度データとの比較を繰り返す。
　このように、温度の変化が大きい場合に、レンズの像高特性の変化を評価して、像高特性に有意な変化がある場合に、撮影画像の像高特性の変化に起因した歪みを補正することによって、温度の変化に対して歪みの補正漏れが発生することを可及的に抑えることができる。
　＜変形例２＞
　カメラ筐体５は、遮光部６を付けたブラケット７に対して、レンズ２の光軸の俯角をモータ駆動によって変更できるようにしてもよい。例えば、光軸の俯角を水平に近い角度にすることで、より遠方を撮影することができ、できるだけ下に向けることによって車両付近を撮像したり、トップダウンビュー映像に近い映像を撮影することができる。このように遮光部６を付けたブラケット７に対して、レンズ２の光軸の俯角が変更されると、撮影画像における遮光部６による遮光領域も変化するので、変化後の遮光領域の範囲を検出し、この結果をもとに、ＡＥ（自動露出補正）やＡＷＢ（自動ホワイトバランス）の調整に用いる最適な測光を自動的に設定したり、画像の歪補正用の最適なマップを設定するようにしてよい。
　＜変形例３＞
　上記の画像処理部８による画像処理や演算の一部あるいはすべては、必ずしも車載カメラ装置１の内部で行われる必要はない。例えば、インターネットを通じて接続されたサーバや、車両内の他の情報処理装置において行われてもよい。これにより、車載カメラ装置１の小型化、低コストを図ることができる。
　［補足事項］
　その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　さらに、本技術は以下のような構成もとることができる。
（１）レンズと、
　前記レンズによって結像された光を電気信号に変換して撮像画像を生成する撮像素子部と、
　前記レンズの入射面側で、前記撮像素子部の撮像領域の一部に対応する光線を遮る遮光部と
　を具備する車載カメラ装置。
（２）上記（１）に記載の車載カメラ装置であって、
　前記遮光部が前記レンズの面に沿って配置される
　車載カメラ装置。
（３）上記（１）または（２）に記載の車載カメラ装置であって、
　前記撮像素子にて生成された撮像画像から、第１の解像度の第１の出力画像および前記第１の出力画像より小さい第２の解像度の第２の出力画像を生成する画像処理部をさらに有し、
　前記遮光部によって光線が遮られる領域が前記第２の出力画像の領域外にある
　車載カメラ装置。
（４）上記（１）ないし（３）のいずれかに記載の車載カメラ装置であって、
　前記レンズは広角レンズである
　車載カメラ装置。
（５）上記（４）に記載の車載カメラ装置であって、
　前記広角レンズが光軸中心付近の像が大きくなる増高特性を有する
　車載カメラ装置。
（６）上記（５）に記載の車載カメラ装置であって、
　前記画像処理部は、前記遮光部の像に含まれるエッジ情報に基づいて前記広角レンズの像高特性を算出する
　車載カメラ装置。
（７）上記（６）に記載の車載カメラ装置であって、
　前記画像処理部は、前記算出された前記広角レンズの像高特性と像高特性の設計値に基づいて前記撮像画像の歪みを補正する
　車載カメラ装置。
（８）上記（７）に記載の車載カメラ装置であって、
　前記画像処理部は、温度テータを取得し、前回の歪み補正時の温度との差が所定値以上であるとき、前記広角レンズの像高特性を算出し、前回の歪み補正時の像高特性との差分が閾値以上である時、前記算出された前記広角レンズの像高特性と像高特性の設計値に基づいて前記撮像画像の歪みを補正する
　車載カメラ装置。
（９）上記（１）ないし（８）のいずれかに記載の車載カメラ装置であって、
　前記画像処理部により生成された前記第１の出力画像および前記第２の出力画像を１以上のモニターに出力する画像出力部
　をさらに具備する
　車載カメラ装置。
（１０）上記（１）ないし（９）のいずれかに記載の車載カメラ装置であって、
　前記遮光部は、水滴受けを有する
　車載カメラ装置。
（１１）上記（１）ないし（１０）のいずれかに記載の車載カメラ装置であって、
　前記レンズおよび前記撮像素子部を搭載するカメラ筐体をさらに具備し、
　前記遮光部は前記カメラ筐体に設けられる
　車載カメラ装置。
（１２）上記（１）ないし（１１）のいずれかに記載の車載カメラ装置であって、
　前記レンズおよび前記撮像素子部を搭載するカメラ筐体と、
　前記カメラ筐体を前記車両に固定するブラケットとをさらに具備し、
　前記遮光部は前記ブラケットに設けられる
　車載カメラ装置。
（１３）上記（１２）に記載の車載カメラ装置であって、
　前記ブラケットに対して前記カメラ筐体が前記レンズの光軸の俯角を変更可能なように取り付けられる
　車載カメラ装置。
　１…車載カメラ装置
　２…レンズ
　３…撮像素子
　３ａ…撮像領域
　４…基板
　５…カメラ筐体
　６…遮光部
　７…ブラケット
　８…画像処理部
　９…メモリ部
　１０…画像出力部
　１１…低輝度部
　２１…温度測定部
　８１…画像変換部
　８２…演算部

Claims (14)

  1. 　レンズと、
    　前記レンズによって結像された光を電気信号に変換して撮像画像を生成する撮像素子部と、
    　前記レンズの入射面側で、前記撮像素子部の撮像領域の一部に対応する光線を遮る遮光部と
    　を具備する車載カメラ装置。
  2. 　請求項１に記載の車載カメラ装置であって、
    　前記遮光部が前記レンズの面に沿って配置される
    　車載カメラ装置。
  3. 　請求項２に記載の車載カメラ装置であって、
    　前記撮像素子にて生成された撮像画像から、第１の解像度の第１の出力画像および前記第１の出力画像より小さい第２の解像度の第２の出力画像を生成する画像処理部をさらに有し、
    　前記遮光部によって光線が遮られる領域が前記第２の出力画像の領域外にある
    　車載カメラ装置。
  4. 　請求項３に記載の車載カメラ装置であって、
    　前記レンズは広角レンズである
    　車載カメラ装置。
  5. 　請求項４に記載の車載カメラ装置であって、
    　前記広角レンズが光軸中心付近の像が大きくなる増高特性を有する
    　車載カメラ装置。
  6. 　請求項５に記載の車載カメラ装置であって、
    　前記画像処理部は、前記遮光部の像に含まれるエッジ情報に基づいて前記広角レンズの像高特性を算出する
    　車載カメラ装置。
  7. 　請求項６に記載の車載カメラ装置であって、
    　前記画像処理部は、前記算出された前記広角レンズの像高特性と像高特性の設計値に基づいて前記撮像画像の歪みを補正する
    　車載カメラ装置。
  8. 　請求項７に記載の車載カメラ装置であって、
    　前記画像処理部は、温度テータを取得し、前回の歪み補正時の温度との差が所定値以上であるとき、前記広角レンズの像高特性を算出し、前回の歪み補正時の像高特性との差分が閾値以上である時、前記算出された前記広角レンズの像高特性と像高特性の設計値に基づいて前記撮像画像の歪みを補正する
    　車載カメラ装置。
  9. 　請求項３に記載の車載カメラ装置であって、
    　前記画像処理部により生成された前記第１の出力画像および前記第２の出力画像を１以上のモニターに出力する画像出力部
    　をさらに具備する
    　車載カメラ装置。
  10. 　請求項１に記載の車載カメラ装置であって、
    　前記遮光部は、水滴受けを有する
    　車載カメラ装置。
  11. 　請求項１に記載の車載カメラ装置であって、
    　前記レンズおよび前記撮像素子部を搭載するカメラ筐体をさらに具備し、
    　前記遮光部は前記カメラ筐体に設けられる
    　車載カメラ装置。
  12. 　請求項１に記載の車載カメラ装置であって、
    　前記レンズおよび前記撮像素子部を搭載するカメラ筐体と、
    　前記カメラ筐体を前記車両に固定するブラケットとをさらに具備し、
    　前記遮光部は前記ブラケットに設けられる
    　車載カメラ装置。
  13. 　請求項１２に記載の車載カメラ装置であって、
    　前記ブラケットに対して前記カメラ筐体が前記レンズの光軸の俯角を変更可能なように取り付けられる
    　車載カメラ装置。
  14. 　レンズの入射面側で、撮像素子部の撮像領域の一部に対応する光線を遮る遮光部を介して撮像し、撮像した画像から前記レンズの像高特性を算出し、この算出したレンズの像高特性と像高特性の設計値に基づいて前記撮像画像の歪みを補正する
    　車載カメラ装置の画像歪み補正方法。
PCT/JP2020/010611 2019-03-26 2020-03-11 車載カメラ装置およびその画像歪み補正方法 WO2020195851A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112020001525.4T DE112020001525T5 (de) 2019-03-26 2020-03-11 Fahrzeugseitige kameravorrichtung und bildverzerrungskorrekturverfahren dafür
CN202080022486.2A CN113615151A (zh) 2019-03-26 2020-03-11 车辆安装的照相机装置和图像失真校正方法
US17/593,114 US20220148138A1 (en) 2019-03-26 2020-03-11 Vehicle-mounted camera apparatus and image distortion correction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-058162 2019-03-26
JP2019058162 2019-03-26

Publications (1)

Publication Number Publication Date
WO2020195851A1 true WO2020195851A1 (ja) 2020-10-01

Family

ID=72611363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010611 WO2020195851A1 (ja) 2019-03-26 2020-03-11 車載カメラ装置およびその画像歪み補正方法

Country Status (4)

Country Link
US (1) US20220148138A1 (ja)
CN (1) CN113615151A (ja)
DE (1) DE112020001525T5 (ja)
WO (1) WO2020195851A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7153889B2 (ja) * 2019-03-01 2022-10-17 パナソニックＩｐマネジメント株式会社 画像補正装置、画像生成装置、カメラシステム及び車両
JP2021177144A (ja) * 2020-05-08 2021-11-11 キヤノン株式会社 情報処理装置、情報処理方法及びープログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005145428A (ja) * 2003-10-21 2005-06-09 Auto Network Gijutsu Kenkyusho:Kk カメラ装置用の遮蔽体、カメラ取付部材、車両周辺撮像装置及び車両周辺撮像装置用遮蔽体
WO2006114962A1 (ja) * 2005-04-20 2006-11-02 Autonetworks Technologies, Ltd. 車載カメラシステム
JP2011246056A (ja) * 2010-05-28 2011-12-08 Denso Corp 車載カメラ
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
JP2014013449A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP4247066B2 (ja) * 2003-08-01 2009-04-02 株式会社オートネットワーク技術研究所 車両周辺視認装置
JP2010026994A (ja) * 2008-07-24 2010-02-04 Konica Minolta Holdings Inc 画像処理方法、画像処理装置及び画像処理システム
US9495876B2 (en) * 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
JP5715793B2 (ja) * 2010-10-08 2015-05-13 東芝アルパイン・オートモティブテクノロジー株式会社 画像処理装置及び画像処理方法
JP5729164B2 (ja) 2011-06-27 2015-06-03 株式会社富士通ゼネラル 車載カメラ
JP5959311B2 (ja) * 2012-05-25 2016-08-02 富士通テン株式会社 データ導出装置、及び、データ導出方法
JP5973391B2 (ja) 2013-07-09 2016-08-23 株式会社デンソー 車載カメラ
US10604122B2 (en) * 2015-06-30 2020-03-31 Koito Manufacturing Co., Ltd. Foreign matter removal device and vehicle provided with same
JP6571571B2 (ja) * 2016-03-18 2019-09-04 京セラ株式会社 撮像装置、車載カメラおよび画像処理方法
US20180220081A1 (en) * 2017-01-30 2018-08-02 GM Global Technology Operations LLC Method and apparatus for augmenting rearview display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005145428A (ja) * 2003-10-21 2005-06-09 Auto Network Gijutsu Kenkyusho:Kk カメラ装置用の遮蔽体、カメラ取付部材、車両周辺撮像装置及び車両周辺撮像装置用遮蔽体
WO2006114962A1 (ja) * 2005-04-20 2006-11-02 Autonetworks Technologies, Ltd. 車載カメラシステム
JP2011246056A (ja) * 2010-05-28 2011-12-08 Denso Corp 車載カメラ
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
JP2014013449A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載装置

Also Published As

Publication number Publication date
DE112020001525T5 (de) 2021-12-23
CN113615151A (zh) 2021-11-05
US20220148138A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
JP4543147B2 (ja) パノラマビジョンシステム及び方法
US7576767B2 (en) Panoramic vision system and method
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP4975592B2 (ja) 撮像装置
US20090102921A1 (en) Vehicle-mounted image capturing apparatus
JP4414661B2 (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
JP2008530667A (ja) 赤外画像と可視画像との融合により車両の周辺を可視化するための方法および装置
JP2006333120A (ja) 撮像モジュール
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP2020056839A (ja) 撮像装置
WO2020195851A1 (ja) 車載カメラ装置およびその画像歪み補正方法
JP2020057869A (ja) 撮像装置
JP2012156672A (ja) 車両周辺監視装置
JP7436391B2 (ja) 車載カメラ、及び車載カメラシステム
JPH09118178A (ja) 車両周囲モニタ装置
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP6082556B2 (ja) 撮像装置
JP2001111989A (ja) 車載用撮像装置
JP2015032936A (ja) 撮像装置
KR101241012B1 (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법
KR101011704B1 (ko) 광각의 이미지를 생성하는 영상 처리 장치 및 방법
JP2020525945A (ja) 自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両
KR20070049109A (ko) 파노라마 비전 시스템 및 방법
US11546523B2 (en) Image processing system, in-vehicle camera system with image processing system, and vehicle with camera system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779025

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20779025

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP