WO2020095549A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2020095549A1
WO2020095549A1 PCT/JP2019/036910 JP2019036910W WO2020095549A1 WO 2020095549 A1 WO2020095549 A1 WO 2020095549A1 JP 2019036910 W JP2019036910 W JP 2019036910W WO 2020095549 A1 WO2020095549 A1 WO 2020095549A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical axis
parallax
attention area
detection unit
Prior art date
Application number
PCT/JP2019/036910
Other languages
English (en)
French (fr)
Inventor
直也 多田
真穗 堀永
裕史 大塚
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to JP2020556660A priority Critical patent/JP7152506B2/ja
Priority to EP19882792.5A priority patent/EP3879810A4/en
Publication of WO2020095549A1 publication Critical patent/WO2020095549A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an imaging device.
  • the in-vehicle stereo camera mounted on the vehicle performs image processing with the calibration parameters corresponding to it and acquires parallax images.
  • a driving support system such as a collision damage reduction braking function is realized.
  • the optical axis of the stereo camera shifts due to deterioration over time, it becomes impossible to generate an accurate parallax image.
  • the distance to the vehicle in front cannot be measured correctly, and the driving support system may not operate correctly.
  • Patent Documents 1 and 2 are examples thereof.
  • the stereo camera diagnostic device of Patent Document 1 Japanese Patent Laid-Open No. 2011-180022
  • a traffic signal is used as a feature to detect an angular deviation in the vertical direction.
  • the image processing device of Patent Document 2 Japanese Patent Laid-Open No. 2016-118458
  • the corresponding point is searched for by using pattern information of a minute size called a feature point to calibrate the optical axis shift. Since the attention area used for the corresponding point search has a very small size, this method is easy to make a mistake as the corresponding point search.
  • -Pattern matching is a search method for finding corresponding points of pattern information between multiple images. If the size of the attention area including the pattern information is small, the pattern matching has few features, and it becomes difficult to search for the corresponding points. On the other hand, when the size of the attention area is increased, the pattern information is increased and the corresponding points are easily searched.
  • An object of the present invention is to provide an image pickup device capable of accurately correcting the optical axis shift in the vertical direction.
  • the present invention provides a first image capturing unit that captures a first image, a second image capturing unit that captures a second image, and a parallax image from the first image and the second image.
  • a parallax image generation unit a attention region detection unit that detects a attention region that is a region where the parallax value can be regarded as constant from the parallax image, and the first image and the second image using the pattern information of the attention region.
  • An optical axis shift detection unit that detects a vertical optical axis shift amount and an optical axis shift correction unit that corrects the optical axis shift based on the optical axis shift amount are provided.
  • the optical axis shift in the vertical direction can be corrected with high accuracy.
  • FIG. 1 is a block diagram showing the overall configuration of an image pickup apparatus 1 according to an embodiment of the present invention.
  • the image pickup apparatus 1 includes a pair of image pickup units 11 and 12, a parallax image generation unit 13, an attention area detection unit 14, an optical axis shift detection unit 15, and an optical axis shift correction unit 16.
  • epipolar lines are parallel to the horizontal axis at the same height on the image, and the corresponding point search is performed in the horizontal direction. All you have to do is search.
  • the imaging units 11 and 12 are composed of imaging devices and the like.
  • the parallax image generation unit 13 includes an image processing circuit such as a GPU (Graphics Processing Unit) and an FPGA (Field-Programmable Gate Array).
  • the attention area detection unit 14, the optical axis deviation detection unit 15, and the optical axis deviation correction unit 16 are implemented as functions of a CPU (Central Processing Unit), for example.
  • the parallax image generation unit 13 uses the image picked up by the image pickup unit 11 (first image pickup unit) as a reference image (first image), and extracts feature points having grayscale changes. For this feature point, a position in which the same subject is reflected is searched for in the reference image (second image) imaged by the other imaging unit 12 (second imaging unit). Well-known techniques such as SAD (Sum of Absolute Difference) can be used for this matching point search.
  • SAD Sud of Absolute Difference
  • the parallax image generation unit 13 calculates, for each extracted feature point, the difference from the corresponding position on the reference image as the parallax.
  • the parallax image generation unit 13 generates a parallax image from the standard image (first image) and the reference image (second image).
  • the attention area detection unit 14 detects the attention area used by the optical axis shift detection unit 15. Using the parallax obtained by the parallax image generation unit, the attention area detection unit 14 determines the attention area from the parallax distribution described later. Further, the preceding vehicle or the road sign is learned in advance, the template is used as a template, and the attention area detection unit 14 determines the attention area by template matching for searching the image.
  • the attention area detection unit 14 learns the preceding vehicle and the road sign as templates in advance, and detects the attention area by template matching. Thereby, the accuracy of pattern matching can be improved. As a result, the optical axis shift in the vertical direction can be corrected with high accuracy.
  • ⁇ Increase the size of the area of interest so that it is easy to find corresponding points between a pair of images. Also, in order to improve the accuracy of corresponding point search, one feature that exists at an equal distance is included in the attention area.
  • the optical axis shift detection unit 15 detects the translational shift amount (offset) of the optical axis in the vertical direction of the pair of images using one or more attention regions detected by the attention region detection unit 14. In addition, the optical axis shift detection unit 15 detects the rotational shift amount (rotation) of the optical axis in the vertical direction of the pair of images using two or more attention areas.
  • the optical axis shift correction unit 16 updates the calibration parameter used when generating the parallax image from the images captured by the imaging units 11 and 12 in the next imaging cycle. This makes it possible to obtain a parallax image in which the optical axis shift is calibrated.
  • step S1 the image pickup units 11 and 12 perform image pickup.
  • step S2 the parallax image generation unit 13 generates a parallax image.
  • the parallax value is calculated by template matching. Since the matching direction is a horizontal search, if the optical axes of the image pickup units 11 and 12 in the vertical direction (vertical direction) are deviated, the matching evaluation value becomes low.
  • step S3 a parallax frequency distribution is created for each vertical coordinate in the parallax image (Fig. 3).
  • the distribution is created only by the presence or absence of the parallax.
  • the parallax corresponding to the coordinates having a large grayscale change is enabled on the image captured by the imaging unit 11, and the grayscale variation is small, that is, the edge strength is small.
  • Parallaxes with weak coordinates do not vote for the parallax distribution. This makes it possible to create a disparity frequency distribution using only high-reliability feature points.
  • the edge strength of the coordinates associated with the parallax value is the threshold Th3 (third threshold) or more.
  • Th3 third threshold
  • a region such as a road surface or a wall that does not change much in shade is excluded from the region of interest, and a region where there is much change in shade is detected as the region of interest.
  • the attention area detection unit 14 creates a distribution of disparity degrees indicating the number of coordinates associated with disparity values for each coordinate in the vertical direction of the disparity image or for each section obtained by equally dividing the disparity image in the vertical direction.
  • steps S4 and S5 select a plurality of ordinates with parallax degrees higher than the threshold. That is, the attention area detection unit 14 detects the attention area in the vertical coordinate or the vertically equally divided section in which the parallax frequency shown in FIG. 3 is the threshold Th1 (first threshold) or more. As a result, the range in which the attention area, which is an area where the parallax value can be regarded as constant, is detected is limited to the vertical coordinate or section including a large number of parallax values, and the attention area can be efficiently detected.
  • the image obtained by the image pickup unit 11 has a texture with a change in shading, it is calculated as parallax by the template matching in step S2 and voted for the frequency distribution in step S3.
  • the frequency distribution of step S3 is not voted. That is, the coordinates with a high parallax degree include a region with a large change in shading.
  • step S6 a distribution of disparity values for each horizontal coordinate in the ordinate detected in step S5 is created (Fig. 4). That is, the attention area detection unit 14 creates a distribution of parallax values for each horizontal coordinate of the parallax image in the vertical coordinate or section whose parallax frequency is equal to or higher than the threshold Th1 (first threshold). Here, on the image captured by the image capturing unit 11, the parallax value is set to “zero” for the coordinates whose grayscale change is small. If a plurality of ordinates are detected in step S5, step S6 is repeated for each ordinate.
  • step S7 the area where the parallax value is constant (positive constant value) is detected using the parallax value distribution map created in step S6.
  • This allows objects existing at the same distance to be detected as one area.
  • Objects having a parallax value width (length in the vertical direction of the rectangle in FIG. 4) within a threshold value are regarded as objects existing at the same distance, and the same threshold value is used for the distant area and the near area.
  • objects existing at a plurality of distances that are not the same distance are detected as one attention area.
  • the problem of the occlusion does not occur, so that the attention area is given a large priority.
  • the attention area detection unit 14 detects an attention area that is an area where the parallax value can be regarded as constant from the parallax image. Since the attention area is an area in which the parallax value can be regarded as constant, the subject (the rear surface of the preceding vehicle, a road sign, etc.) at substantially equal distances is captured in the attention area. Therefore, occlusion does not occur, and the accuracy of pattern matching can be improved.
  • the attention area detection unit 14 detects, as the attention area, an area in which the disparity value can be regarded as constant in the disparity value distribution. Thereby, the attention area can be detected by using the distribution of the parallax values in the vertical coordinate or the section including a large number of parallax values.
  • the attention area detection unit 14 detects the area as the attention area when the lateral width Wx of the area shown in FIG. 4 in which the parallax value can be regarded as constant is equal to or larger than the threshold Th2 (second threshold). As a result, an attention area having a wide width in the horizontal direction is detected. As a result, the pattern information of the attention area increases, and the corresponding points can be easily searched.
  • step S8 the position of the attention area used for detecting the optical axis shift is detected.
  • the area in which the area on the image is large is preferentially adopted and used for the optical axis shift detection unit 15 in the subsequent stage. That is, when a plurality of attention areas are detected, the optical axis shift detection unit 15 preferentially uses the attention area having a large area on the parallax image to detect the optical axis shift amount in the vertical direction. As a result, the pattern information of the attention area increases, and the corresponding points can be easily searched.
  • FIG. 5 shows a diagram for explaining a method of detecting a region of interest using template matching.
  • FIG. 6 shows a diagram for explaining the outline of the detection processing of the translational deviation amount of the optical axis.
  • the optical axis shift detection unit 15 detects the vertical optical axis shift amount between the standard image (first image) and the reference image (second image) using the pattern information of the attention area.
  • the average of the deviation amounts calculated in each attention area is calculated.
  • the attention area detection unit 14 detects at least one attention area
  • the optical axis shift detection unit 15 uses the pattern information of at least one attention area to determine the standard image (first image) and the reference image ( The amount of translational deviation of the optical axis in the vertical direction between the second images) is detected.
  • the optical axis deviation correction unit 16 corrects the optical axis deviation based on the translational deviation amount (optical axis deviation amount) of the optical axis in the vertical direction. This makes it possible to correct the translational deviation of the optical axis in the vertical direction.
  • FIG. 7 shows a diagram for explaining the outline of the detection processing of the rotation deviation amount of the optical axis.
  • the attention area detection unit 14 detects two or more attention areas.
  • the optical axis deviation detection unit 15 detects the amount of rotation deviation of the optical axis in the vertical direction between the standard image (first image) and the reference image (second image) using the pattern information of two or more attention areas. .. This makes it possible to correct the rotational deviation of the optical axis in the vertical direction.
  • the optical axis shift detection unit 15 determines an approximate straight line from the point group represented by a combination of the horizontal coordinate of the attention area and the vertical optical axis shift amount of the attention area, and determines the inclination of the approximate straight line.
  • the amount of rotation deviation of the optical axis Thereby, the rotation deviation amount of the optical axis in the vertical direction can be easily calculated.
  • the attention area is an area in which the parallax value can be regarded as constant
  • the subject the back surface of the preceding vehicle, a road sign, etc.
  • the optical axis deviation in the vertical direction can be corrected with high accuracy.
  • the present invention is not limited to the above-described embodiment, and various modifications are included.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those including all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added to the configuration of another embodiment.
  • each of the above-mentioned configurations, functions, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a recording device such as a hard disk or SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • a recording device such as a hard disk or SSD (Solid State Drive)
  • a recording medium such as an IC card, an SD card, or a DVD.
  • the embodiment of the present invention may have the following aspects.
  • An image pickup apparatus having a first image pickup section and a second image pickup section which are installed horizontally apart from each other by a predetermined distance, wherein a first image picked up by the first image pickup section and an image picked up by the second image pickup section.
  • a parallax image generation unit that generates a parallax image from the second image, a attention region detection unit that detects the attention region using the parallax image, and a vertical light of the imaging unit using pattern information of the attention region.
  • An optical axis shift detection unit that detects an axial shift amount, and an optical axis shift correction unit that corrects the optical axis shift are provided, and the attention area detection unit detects a similar parallax area.
  • the parallax group having the same value is characterized by having a lateral image width equal to or greater than a threshold value.
  • the parallax used for the parallax distribution has an edge strength equal to or more than a threshold value, and the imaging device according to (2) or (3).
  • the preceding vehicle or road sign is learned in advance as a template, and the attention region is detected by template matching.
  • the image pickup device according to (7).
  • the image pickup apparatus according to any one of (1) to (6), wherein in detecting the region of interest, a region having a large area on the first image is preferentially detected.
  • the optical axis shift detection unit detects one or more regions of interest and detects a translational shift amount of optical axes in the vertical direction of the first image and the second image. (1) to The imaging device according to any one of (7).
  • the optical axis shift detection unit detects two or more regions of interest and detects a rotational shift amount of a vertical optical axis between the first image and the second image, (1) to (1) to The imaging device according to any one of (7).
  • Imaging Device 11 Imaging Unit (First Imaging Unit) 12 Imaging unit (second imaging unit) 13 Parallax image generation unit 14 Region of interest detection unit 15 Optical axis deviation detection unit 16 Optical axis deviation correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

縦方向の光軸ずれを高精度に補正することができる撮像装置を提供する。撮像部１１（第１撮像部）は、基準画像（第１画像）を撮像する。撮像部１２（第２撮像部）は、参照画像（第２画像）を撮像する。視差画像生成部１３は、基準画像と参照画像から視差画像を生成する。注目領域検出部１４は、視差画像から視差値が一定とみなせる領域である注目領域を検出する。光軸ずれ検出部１５は、注目領域のパターン情報を用いて基準画像と参照画像の間の縦方向の光軸ずれ量を検出する。光軸ずれ補正部１６は、縦方向の光軸の光軸ずれ量に基づいて光軸ずれを補正する。

Description

撮像装置
　本発明は、撮像装置に関する。
　車両に搭載された車載ステレオカメラは、それに対応したキャリブレーションパラメータによって画像処理を行い、視差画像を取得する。この視差画像を用い、前方車両までの距離を計測し、衝突被害軽減ブレーキ機能などの運転支援システムを実現している。しかし、経年的な劣化によりステレオカメラの光軸がずれると、正確な視差画像を生成できなくなる。これにより、前方車両までの距離を正しく計測できず、運転支援システムが正しく動作しない可能性がある。
　このため、正確な視差画像を生成するために、光軸をキャリブレーションする様々な技術が提案されてきた。その一例として特許文献1、２がある。
　特許文献１（特開２０１１-１８００２２号公報）のステレオカメラ診断装置は、特徴物として信号機を用い垂直方向の角度ずれを検出することを特徴としている。特許文献２（特開２０１６-１１８４５８号公報）の画像処理装置は、特徴点の位置の差から水平方向と垂直方向の光軸ずれを検出し、キャリブレーションパラメータを更新する。キャリブレーションパラメータは温度毎に用意しているため、経時劣化による光軸ずれ傾向が変化しても、それを踏まえて補正可能となる。
特開２０１１－１８００２２号公報
特開２０１６－１１８４５８号公報
　前記特許文献１に開示されるような技術では、信号機を使って光軸ずれ量を検出しており、キャリブレーションを実施する環境に制限がある。
　また、前記特許文献２に開示されるような技術では、特徴点という微小サイズのパターン情報を使って対応点を探索し光軸ずれをキャリブレーションしている。対応点探索に用いる注目領域が微小サイズであるため、対応点探索として間違えやすい手法となっている。
　複数画像間において、パターン情報の対応点を求める探索手法にパターンマッチングがある。パターン情報を含む注目領域のサイズが小さいと、特徴の少ないパターンマッチングとなり、対応点の探索が難しくなる。一方で注目領域のサイズを大きくすると、パターン情報が多くなり、対応点の探索はしやすくなる。
　しかし、注目領域内に距離の異なる複数の被写体が撮像された場合、オクリュージョンの問題が発生し、パターンマッチングの精度が落ちてしまう。オクリュージョンが発生していると、複数の画像間において、パターン情報が異なるためである。
　ここで、対応点探索の結果を用いて光軸ずれをキャリブレーションする際、キャリブレーション精度を高めるために、パターンマッチングの精度を高める必要がある。
　本発明の目的は、縦方向の光軸ずれを高精度に補正することができる撮像装置を提供することにある。
　上記目的を達成するために、本発明は、第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、前記第１画像と前記第２画像から視差画像を生成する視差画像生成部と、前記視差画像から視差値が一定とみなせる領域である注目領域を検出する注目領域検出部と、前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、前記光軸ずれ量に基づいて光軸ずれを補正する光軸ずれ補正部と、を備える。
　本発明によれば、縦方向の光軸ずれを高精度に補正することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
撮像装置の全体構成を示すブロック図である。 注目領域検出の処理フローを示す図である。 縦座標毎の視差度数の分布図である。 横座標毎の視差値の分布図である。 パターンマッチングの学習パターン例を示す図である。 垂直方向位置ずれによる並進ずれ検出の説明図である。 垂直方向位置ずれによる回転ずれ検出の説明図である。
　図１は、本発明の実施形態による撮像装置１の全体構成を示すブロック図である。撮像装置１は、一対の撮像部１１、１２、視差画像生成部１３、注目領域検出部１４、光軸ずれ検出部１５、光軸ずれ補正部１６から構成される。
　水平方向に所定の距離を設けて設置された撮像部１１、１２から得られる画像は、エピポーラ線が画像上で同一の高さで水平軸に平行になっており、対応点探索は水平方向に探索するだけでよい。
　なお、撮像部１１、１２は、撮像素子等から構成される。視差画像生成部１３は、GPU（Graphics Processing Unit）、FPGA（Field-Programmable Gate Array）等の画像処理回路から構成される。注目領域検出部１４、光軸ずれ検出部１５、光軸ずれ補正部１６は、例えば、CPU（Central Processing Unit）の機能として実装される。
　視差画像生成部１３は撮像部１１（第１撮像部）で撮像された画像を基準画像（第１画像）とし、濃淡変化がある特徴点を抽出する。この特徴点に対し、もう一方の撮像部１２（第２撮像部）で撮像された参照画像（第２画像）において、同一被写体の映り込んだ位置を探索する。この対応点探索にはSAD(Sum of Absolute Difference)などの周知技術を利用できる。視差画像生成部１３は、抽出した特徴点毎に参照画像上の該当位置との差分を視差として算出する。視差画像生成部１３は、基準画像（第１画像）と参照画像（第２画像）から視差画像を生成する。
　注目領域検出部１４は、光軸ずれ検出部１５で使用する注目領域を検出する。視差画像生成部で得られた視差を用い、後述する視差分布から注目領域検出部１４は注目領域を決定する。また、予め先行車や道路標識を学習させておき、それをテンプレートとし、画像上を探索するテンプレートマッチングにより注目領域検出部１４は注目領域を決定する。
　換言すれば、注目領域検出部１４は、テンプレートとして先行車及び道路標識を予め学習し、テンプレートマッチングにより注目領域を検出する。これにより、パターンマッチングの精度を高めることができる。その結果、縦方向の光軸ずれを高精度に補正することができる。
　注目領域のサイズは一対の画像間で対応点探索がしやすいように大きくする。また、対応点探索の精度を高めるために、注目領域内には等距離に存在する1つの特徴物が含まれるようにする。
　光軸ずれ検出部１５は、注目領域検出部１４で検出した1つ以上の注目領域を用い、一対の画像の縦方向の光軸の並進ずれ量（オフセット）を検知する。また、光軸ずれ検出部１５は、２つ以上の注目領域を用い、一対の画像の縦方向の光軸の回転ずれ量（ローテーション）を検知する。
　光軸ずれ補正部１６は、次の撮像周期において撮像部１１、１２で撮像された画像から視差画像を生成する際に用いるキャリブレーションパラメータを更新する。これにより、光軸ずれを校正した視差画像を取得可能とする。
　図２のフローチャートに基づいて、注目領域の検出方法について説明する。
　ステップＳ１において、撮像部１１、１２は、撮像を行う。
　ステップＳ２において、視差画像生成部１３は視差画像を生成する。視差値はテンプレートマッチングにより算出される。マッチング方向は横方向の探索であるため、撮像部１１、１２の上下方向（縦方向）の光軸がずれていると、マッチング評価値が低くなる。
　次に、注目領域検出部１４が実行するステップＳ３～Ｓ８までの処理を説明する。
　ステップＳ３において、視差画像における縦方向の座標毎の視差度数分布を作成する（図３）。ここで視差の大小には拘らず、視差の有無だけで分布を作成する。その際、視差として信頼度の高いものだけを使用するために、撮像部１１で撮像した画像上において、濃淡変化の大きな座標に該当する視差だけを有効とし、濃淡変化の小さい、つまりエッジ強度の弱い座標の視差は、視差分布に投票しない。これにより信頼度の高い特徴点だけを用いて視差の度数分布を作成可能となる。
　換言すれば、濃淡変化の大きな座標は、視差値が関連付けられており、濃淡変化の小さな座標は、視差値が関連付けられていない。ここで、視差値に関連付けられた座標のエッジ強度は、閾値Ｔｈ３（第３閾値）以上である。これにより、路面や壁のような濃淡変化の少ない領域が注目領域から除外され、濃淡変化の多い領域が注目領域として検出される。注目領域検出部１４は、視差画像の縦方向の座標毎又は前記視差画像を縦方向に等分割した区分毎に、視差値が関連付けられた座標の数を示す視差度数の分布を作成する。
　ステップＳ４、Ｓ５において、視差度数が閾値より高い縦座標を複数個所選択する。すなわち、注目領域検出部１４は、図３に示す視差度数が閾値Ｔｈ１（第１閾値）以上である縦方向の座標又は縦方向に等分割した区分において注目領域を検出する。これにより、視差値が一定とみなせる領域である注目領域を検出する範囲が視差値を多数含む縦方向の座標又は区分に限定され、注目領域を効率的に検出することができる。
　撮像部１１で得られた画像上に濃淡変化のあるテクスチャが存在する場合、ステップＳ２のテンプレートマッチングにより視差として算出され、ステップＳ３の度数分布に投票される。一方で、路面や壁のような濃淡変化の少ない領域には、ステップＳ３の度数分布に投票されない。つまり、視差度数の高い座標には、濃淡変化の大きな領域を含むことになる。
　ここで、視差度数を作成する際、縦軸を座標毎ではなく、等分割した区分毎にすることにより、縦座標に幅を持たせて判断することが可能となる。例えば、前方を走行する車両などは、縦座標に対し幅を持っているので、等分割した区分毎に視差度数分布を作成することにより、車両などのテクスチャの存在する領域を検出しやすくなる。
　ステップＳ６において、ステップＳ５で検出した縦座標における横方向の座標毎の視差値の分布を作成する（図４）。すなわち、注目領域検出部１４は、視差度数が閾値Ｔｈ１（第１閾値）以上である縦方向の座標又は区分において視差画像の横方向の座標毎に視差値の分布を作成する。ここで、撮像部１１で撮像した画像上において、濃淡変化の小さい座標は視差値を“ゼロ”とする。また、ステップＳ５において、複数の縦座標を検出した場合、各々の縦座標毎にステップＳ６を繰り返し実施する。
　ステップＳ７において、ステップＳ６で作成した視差値の分布図を用い、視差値が一定（正の一定値）となる領域を検出する。これにより、同一距離に存在する物体を1つの領域として検出可能となる。視差値の幅（図４の矩形の縦方向の長さ）が閾値以内のものを同一距離に存在する物体とし、遠方領域と近傍領域で同じ閾値を用いる。遠方領域では同一距離でない複数距離に存在する物体を1つの注目領域として検知してしまうが、遠方領域では、前記オクリュージョンの問題は発生しないので、注目領域を大きくとることを優先とする。
　ここで、注目領域検出部１４は、視差画像から視差値が一定とみなせる領域である注目領域を検出する。注目領域は視差値が一定とみなせる領域であることにより、注目領域には略等距離の被写体（先行車の背面、道路標識等）が写る。そのため、オクルージョンが発生せず、パターンマッチングの精度を高めることができる。
　換言すれば、注目領域検出部１４は、視差値の分布において視差値が一定とみなせる領域を注目領域として検出する。これにより、視差値を多数含む縦方向の座標又は区分における視差値の分布を用いて注目領域を検出することができる。
　また、視差値の幅が閾値以下の視差群を検出したとき、画像上の横幅が閾値以上存在するか確認する。これは、光軸ずれ検出には領域の大きな注目領域を設けたいためである。
　すなわち、注目領域検出部１４は、図４に示す視差値が一定とみなせる領域の横方向の幅Ｗｘが閾値Ｔｈ２（第２閾値）以上である場合に、その領域を注目領域として検出する。これにより、横方向の幅が広い注目領域が検出される。その結果、注目領域のパターン情報が多くなり、対応点の探索が容易となる。
　ステップＳ８において、光軸ずれ検出に用いる注目領域の位置を検出する。ここで、注目領域を複数個検出できた場合、画像上の面積が大きく映る領域を優先的に採用し、後段の光軸ずれ検出部１５に用いる。すなわち、光軸ずれ検出部１５は、複数の注目領域が検出された場合、視差画像上の面積が大きい注目領域を優先的に用いて縦方向の光軸ずれ量を検出する。これにより、注目領域のパターン情報が多くなり、対応点の探索が容易となる。
　図５に、テンプレートマッチングを用いて注目領域を検出する手法について説明するための図を示す。撮像画像上において、先行車や道路標識の候補となる物体を検知した後、その物体までの距離から画像サイズを正規化し、予め学習パターンとして用意しておいたパターンとマッチングさせる。注目領域内のパターン情報は同一距離の物体だけで構成したいため、予め用意しておく先行車の学習パターンには、先行車の背面だけを用意しておく。ここで、テンプレートマッチングにより注目領域を複数個検出できた場合、画像上の面積が大きく映る領域を優先的に採用し、後段の光軸ずれ検出部１５に用いる。
　図６に光軸の並進ずれ量の検出処理概要について説明するための図を示す。
　まず、前記注目領域がもう一方の画像（参照画像）上に撮像される位置を探索する。次に、一対の画像間において、注目領域の垂直方向のずれ量を検出する。すなわち、光軸ずれ検出部１５は、注目領域のパターン情報を用いて基準画像（第１画像）と参照画像（第２画像）の間の縦方向の光軸ずれ量を検出する。注目領域が複数存在する場合、各注目領域で計算したずれ量の平均を計算する。
　換言すれば、注目領域検出部１４は、注目領域を少なくとも１つ検出し、光軸ずれ検出部１５は、少なくとも１つの注目領域のパターン情報を用いて基準画像（第１画像）と参照画像（第２画像）の間の縦方向の光軸の並進ずれ量を検出する。光軸ずれ補正部１６は、縦方向の光軸の並進ずれ量（光軸ずれ量）に基づいて光軸ずれを補正する。これにより、縦方向の光軸の並進ずれを補正することができる。
　図７に光軸の回転ずれ量の検出処理概要について説明するための図を示す。
　基準画像において注目領域が少なくとも2つ以上検出され、2つ以上の検出位置が水平方向に幅（距離）を有しているかを確認する。詳細には、複数の注目領域間の水平方向の幅が閾値以上であれば、次に、もう一方の画像上に撮像される位置を探索する。その後、一対の画像間において、注目領域の垂直方向のずれ量を検出する。画像上の横方向の座標毎に複数の検出されたずれ量をプロットし、最小二乗法などの近似計算により、回転ずれ量を計算する。具体的には、近似計算により得られた直線Ｌ（図７）の傾きが回転ずれ量となる。
　すなわち、注目領域検出部１４は、２つ以上の注目領域を検出する。光軸ずれ検出部１５は、２つ以上の注目領域のパターン情報を用いて基準画像（第１画像）と参照画像（第２画像）の間の縦方向の光軸の回転ずれ量を検出する。これにより、縦方向の光軸の回転ずれを補正することができる。
　詳細には、光軸ずれ検出部１５は、注目領域の横方向の座標及び注目領域の縦方向の光軸ずれ量の組み合わせで表される点群から近似直線を決定し、近似直線の傾きを光軸の回転ずれ量とする。これにより、縦方向の光軸の回転ずれ量を容易に計算することができる。
　以上説明したように、本実施形態によれば、縦方向の光軸ずれを高精度に補正することができる。詳細には、注目領域は視差値が一定とみなせる領域であることにより、注目領域には略等距離の被写体（先行車の背面、道路標識等）が写る。そのため、オクルージョンが発生せず、パターンマッチングの精度を高めることができる。その結果、縦方向の光軸ずれ（並進ずれ、回転ずれ）を高精度に補正することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施形態は、以下の態様であってもよい。
　（１）．水平方向に所定距離だけ離して設置してある第１撮像部と第２撮像部を有する撮像装置であって、前記第１撮像部で撮像された第１画像と前記第２撮像部で撮像された第２画像から視差画像を生成する視差画像生成部と、前記視差画像を用いて注目領域を検出する注目領域検出部と、前記注目領域のパターン情報を用いて前記撮像部の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、前記光軸ずれを補正する光軸ずれ補正部と、を備え、前記注目領域検出部は、似通った視差の領域を検出することを特徴とする撮像装置。
　（２）．前記似通った視差領域の検出には、前記視差画像を縦方向の座標毎または等分割した区分毎に視差度数の分布を作成し、視差度数の高い前記縦方向の座標を前記注目領域の縦方向の座標として検出することを特徴とする、（１）に記載の撮像装置。
　（３）．前記検出した縦方向の座標を基に、前記視差画像を横方向の座標毎に視差値の分布を作成し、同じ値の視差群が存在する領域を検出することを特徴とする、（１）に記載の撮像装置。
　（４）．前記同じ値の視差群は、閾値以上の横方向の画像幅を持つことを特徴とする、
（３）に記載の撮像装置。
　（５）．前記視差分布に用いる視差は、エッジ強度が閾値以上のものを用いることを特徴とする、（２）または（３）に記載の撮像装置。
　（６）．前記似通った視差領域の検出には、テンプレートとして先行車や道路標識を予め学習させ、テンプレートマッチングにより前記注目領域を検出することを特徴とする、（１）に記載の撮像装置
　（７）．前記注目領域の検出には、前記第１画像上において面積が大きく映る領域を優先的に検出することを特徴とする、（１）乃至（６）のいずれかに記載の撮像装置。
　（８）．前記光軸ずれ検出部は、前記注目領域を1つ以上検出し、前記第１画像と前記第２画像の縦方向の光軸の並進ずれ量を検知することを特徴とする、（１）乃至（７）のいずれかに記載の撮像装置。
　（９）．前記光軸ずれ検出部は、前記注目領域を２つ以上検出し、前記第１画像と前記第２画像の縦方向の光軸の回転ずれ量を検知することを特徴とする、（１）乃至（７）のいずれかに記載の撮像装置。
　（１）～（９）によれば、平面領域を有する任意の特徴物に対し、ステレオカメラ（撮像装置）の上下方向の光軸ずれを高精度にキャリブレーションできる。
１　　　撮像装置
１１　　撮像部（第１撮像部）
１２　　撮像部（第２撮像部）
１３　　視差画像生成部
１４　　注目領域検出部
１５　　光軸ずれ検出部
１６　　光軸ずれ補正部

Claims (10)

  1. 　第１画像を撮像する第１撮像部と、
    　第２画像を撮像する第２撮像部と、
    　前記第１画像と前記第２画像から視差画像を生成する視差画像生成部と、
    　前記視差画像から視差値が一定とみなせる領域である注目領域を検出する注目領域検出部と、
    　前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、
    　前記光軸ずれ量に基づいて光軸ずれを補正する光軸ずれ補正部と、を備える撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記注目領域検出部は、
    　前記視差画像の縦方向の座標毎又は前記視差画像を縦方向に等分割した区分毎に、前記視差値が関連付けられた座標の数を示す視差度数の分布を作成し、
    　前記視差度数が第１閾値以上である縦方向の座標又は前記区分において前記注目領域を検出することを特徴とする撮像装置。
  3. 　請求項２に記載の撮像装置であって、
    　前記注目領域検出部は、
    　前記視差度数が第１閾値以上である縦方向の座標又は前記区分において前記視差画像の横方向の座標毎に前記視差値の分布を作成し、
    　前記視差値の分布において前記視差値が一定とみなせる領域を前記注目領域として検出することを特徴とする撮像装置。
  4. 　請求項３に記載の撮像装置であって、
    　前記注目領域検出部は、
    　前記視差値が一定とみなせる領域の横方向の幅が第２閾値以上である場合に、その領域を前記注目領域として検出することを特徴とする撮像装置。
  5. 　請求項２に記載の撮像装置であって、
    　前記視差値に関連付けられた座標のエッジ強度は、
    　第３閾値以上であることを特徴とする撮像装置。
  6. 　請求項１に記載の撮像装置であって、
    　前記注目領域検出部は、
    　テンプレートとして先行車及び道路標識を予め学習し、
    　テンプレートマッチングにより前記注目領域を検出することを特徴とする撮像装置。
  7. 　請求項１に記載の撮像装置であって、
    　前記光軸ずれ検出部は、
    　複数の前記注目領域が検出された場合、視差画像上の面積が大きい前記注目領域を優先的に用いて縦方向の光軸ずれ量を検出することを特徴とする撮像装置。
  8. 　請求項１に記載の撮像装置であって、
    　前記注目領域検出部は、
    　前記注目領域を少なくとも１つ検出し、
    　前記光軸ずれ検出部は、
    　少なくとも１つの前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸の並進ずれ量を検出することを特徴とする撮像装置。
  9. 　請求項１に記載の撮像装置であって、
    　前記注目領域検出部は、
    　２つ以上の前記注目領域を検出し、
    　前記光軸ずれ検出部は、
    　２つ以上の前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸の回転ずれ量を検出することを特徴とする撮像装置。
  10. 　請求項９に記載の撮像装置であって、
    　前記光軸ずれ検出部は、
    　前記注目領域の横方向の座標及び前記注目領域の縦方向の前記光軸ずれ量の組み合わせで表される点群から近似直線を決定し、前記近似直線の傾きを光軸の回転ずれ量とする　ことを特徴とする撮像装置。
PCT/JP2019/036910 2018-11-06 2019-09-20 撮像装置 WO2020095549A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020556660A JP7152506B2 (ja) 2018-11-06 2019-09-20 撮像装置
EP19882792.5A EP3879810A4 (en) 2018-11-06 2019-09-20 IMAGING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018208967 2018-11-06
JP2018-208967 2018-11-06

Publications (1)

Publication Number Publication Date
WO2020095549A1 true WO2020095549A1 (ja) 2020-05-14

Family

ID=70611244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036910 WO2020095549A1 (ja) 2018-11-06 2019-09-20 撮像装置

Country Status (3)

Country Link
EP (1) EP3879810A4 (ja)
JP (1) JP7152506B2 (ja)
WO (1) WO2020095549A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102455297B1 (ko) * 2022-04-25 2022-10-14 사단법인 햇살 수직선 벡터를 이용한 cctv 영상 보정 시스템과 이에 적용되는 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272210A (ja) * 2000-03-27 2001-10-05 Toyoda Mach Works Ltd 距離認識装置
JP2011180022A (ja) 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置
JP2014010089A (ja) * 2012-06-29 2014-01-20 Ricoh Co Ltd 測距装置
JP2016118458A (ja) 2014-12-19 2016-06-30 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP2016146162A (ja) * 2014-12-04 2016-08-12 株式会社リコー 運転判定装置、運転判定プログラム、演算システム、検知装置、検知システム、検知方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3280001B2 (ja) * 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
JP6344638B2 (ja) * 2013-03-06 2018-06-20 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272210A (ja) * 2000-03-27 2001-10-05 Toyoda Mach Works Ltd 距離認識装置
JP2011180022A (ja) 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置
JP2014010089A (ja) * 2012-06-29 2014-01-20 Ricoh Co Ltd 測距装置
JP2016146162A (ja) * 2014-12-04 2016-08-12 株式会社リコー 運転判定装置、運転判定プログラム、演算システム、検知装置、検知システム、検知方法及びプログラム
JP2016118458A (ja) 2014-12-19 2016-06-30 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3879810A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102455297B1 (ko) * 2022-04-25 2022-10-14 사단법인 햇살 수직선 벡터를 이용한 cctv 영상 보정 시스템과 이에 적용되는 장치 및 방법

Also Published As

Publication number Publication date
JP7152506B2 (ja) 2022-10-12
EP3879810A1 (en) 2021-09-15
EP3879810A4 (en) 2022-08-10
JPWO2020095549A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US10880541B2 (en) Stereo correspondence and depth sensors
US10339390B2 (en) Methods and apparatus for an imaging system
CN107016705B (zh) 计算机视觉***中的地平面估计
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
US10659762B2 (en) Stereo camera
JP5503578B2 (ja) 物体検出装置及び物体検出方法
US9135710B2 (en) Depth map stereo correspondence techniques
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US8818077B2 (en) Stereo image matching apparatus and method
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
JP2004117078A (ja) 障害物検出装置及び方法
CN105335955A (zh) 对象检测方法和对象检测装置
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
US11889047B2 (en) Image processing device and image processing method
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
JP5548212B2 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
Mei et al. Radial lens distortion correction using cascaded one-parameter division model
WO2020095549A1 (ja) 撮像装置
JP2009092551A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP2020173584A (ja) 物体検出装置
JP6390248B2 (ja) 情報処理装置、ぼけ具合計算方法、及びプログラム
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
JP2013142668A (ja) 位置推定装置及び位置推定方法
WO2023139675A1 (ja) 撮像装置、視差ずれ補正方法、及び視差ずれ補正プログラム
JP5579297B2 (ja) 視差算出方法、および視差算出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19882792

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020556660

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019882792

Country of ref document: EP

Effective date: 20210607