JP2022109555A - Stereo image processor and image correction means - Google Patents

Stereo image processor and image correction means Download PDF

Info

Publication number
JP2022109555A
JP2022109555A JP2021004944A JP2021004944A JP2022109555A JP 2022109555 A JP2022109555 A JP 2022109555A JP 2021004944 A JP2021004944 A JP 2021004944A JP 2021004944 A JP2021004944 A JP 2021004944A JP 2022109555 A JP2022109555 A JP 2022109555A
Authority
JP
Japan
Prior art keywords
pixel shift
angle
view
image
windshield
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021004944A
Other languages
Japanese (ja)
Other versions
JP7436400B2 (en
Inventor
和良 山崎
Kazuyoshi Yamazaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2021004944A priority Critical patent/JP7436400B2/en
Priority to DE112021005870.3T priority patent/DE112021005870T5/en
Priority to PCT/JP2021/032936 priority patent/WO2022153593A1/en
Publication of JP2022109555A publication Critical patent/JP2022109555A/en
Application granted granted Critical
Publication of JP7436400B2 publication Critical patent/JP7436400B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Abstract

To precisely correct a stereo camera with a wide angle of view without increasing the size of a chart.SOLUTION: A stereo image processor includes: a stereo matching unit for performing a stereo matching on a plurality of images taken by an imaging unit for taking an image of an object by a plurality of cameras, and detecting a parallax; and a pixel shift correction processing unit for correcting a pixel shift when the object was imaged. For the angel of view of the imaging unit, there are a first range of the angle of view and a second range of the angle of view wider than the first range of the angle of view in a horizontal direction. The pixel shift correction processing unit performs the pixel shift correction processing in the second range of the angle of view on the basis of information on the first range of the angle of view.SELECTED DRAWING: Figure 8

Description

本発明は、ステレオ画像処理装置及び画像補正手段に関する。 The present invention relates to a stereo image processing device and image correction means.

３次元的に物体を認識するための装置として、ステレオカメラが知られている。ステレオカメラは、異なる位置に配置した複数のカメラの画像の写り方の違いを利用して、三角法に基づき複数のカメラの間の視差を検出し、その視差を用いて物体の奥行きや位置を検出するものであり、観察対象の位置を正確に検出することができる。 A stereo camera is known as a device for three-dimensionally recognizing an object. A stereo camera detects the parallax between multiple cameras based on trigonometry by using the differences in how images are captured by multiple cameras placed at different positions. The position of the observation target can be accurately detected.

このようなステレオカメラは、自動車に搭載され、障害物等の位置を検知する技術（車載センシング技術）に応用されている。車載用センシング技術では、多くのユースケースに対応するため、広画角で障害物等を検知すると共に、より遠方の障害物まで検知すること（広画角化及び遠方化）が要求されている。 Such a stereo camera is mounted on a vehicle and applied to a technology (in-vehicle sensing technology) for detecting the position of an obstacle or the like. In-vehicle sensing technology is required to detect obstacles with a wide angle of view and to detect obstacles further away (widening of the angle of view and distance) in order to support many use cases. .

広画角化及び遠方化の要求に対応する技術として、例えば特許文献１が提案されている。車載ステレオカメラは、汚れなどの影響を回避するため、一般的に自動車の室内に搭載されているが、広画角化に伴って車両に搭載されているフロントガラスによる影響が無視できなくなっている。従来、ステレオカメラ搭載ずれを補正するため、車両製造時や検査時にエーミングと呼ばれるステレオカメラの校正作業が行われるが、広画角化のためには、更なる対応が求められる。 For example, Japanese Patent Application Laid-Open No. 2002-300001 proposes a technique that meets the demands for widening the angle of view and increasing the distance. In-vehicle stereo cameras are generally mounted inside the vehicle interior to avoid the effects of dirt and other factors, but as the angle of view widens, the effects of the windshield mounted on the vehicle cannot be ignored. . Conventionally, in order to correct the misalignment of stereo camera mounting, stereo camera calibration work called aiming is performed during vehicle manufacturing and inspection.

フロントガラスの影響を考慮したステレオカメラの校正の方法を開示するものとして、特許文献２が知られている。特許文献２は、第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラの校正方法を開示している。この校正方法では、高精度な校正パラメータを算出するため、第１カメラにより撮影される画像、及び第２カメラにより撮影される画像の少なくとも一方の、透明体に起因する被写体の像の座標のずれを示す絶対位置ずれを校正する補正パラメータを算出する。また、ステレオカメラにより校正用具を撮影して第１カメラによる第１撮影画像と第２カメラによる第２撮影画像とを取得する。そして、第１撮影画像と第２撮影画像に基づいて、第１撮影画像の被写体の像と第２撮影画像の被写体の像との視差のずれを示す相対位置ずれを校正する補正パラメータを算出する。絶対位置ずれを校正する補正パラメータ、及び相対位置ずれを校正する補正パラメータに基づいた補正パラメータを、ステレオカメラに記憶させる。以上の手順により、ステレオカメラの校正が実行される。 Japanese Patent Application Laid-Open No. 2002-300000 discloses a method of calibrating a stereo camera in consideration of the influence of the windshield. Patent Literature 2 discloses a calibration method for a stereo camera that includes a first camera and a second camera and shoots an object through a transparent body. In this calibration method, in order to calculate a highly accurate calibration parameter, there is no deviation in the coordinates of the image of the subject in at least one of the image captured by the first camera and the image captured by the second camera due to the transparent body. A correction parameter for calibrating the absolute positional deviation indicating is calculated. Also, the calibration tool is photographed by a stereo camera to obtain a first photographed image by the first camera and a second photographed image by the second camera. Then, based on the first captured image and the second captured image, a correction parameter for calibrating the relative positional deviation indicating the deviation of the parallax between the image of the subject in the first captured image and the image of the subject in the second captured image is calculated. . Correction parameters based on the correction parameters for calibrating the absolute positional deviation and the correction parameters for calibrating the relative positional deviation are stored in the stereo camera. Calibration of the stereo camera is executed by the above procedure.

特許文献２には、高精度の補正パラメータを算出できることが記載されている。一方で、特許文献１記載のような広画角のステレオカメラの場合には、そのための評価用のチャート(以下、チャートと示す)を必要とするため、チャートサイズの拡大は避けられず、車両メーカでは車両製造ラインの大規模な改修が必要となる。例えば、水平方向の画角４０度のステレオカメラで３ｍ離れた位置にチャートを配置した場合、約２ｍのチャートが必要となる。一方で、水平画角１２０度のステレオカメラで３ｍ離れた位置にチャートを配置した場合、約１０ｍのチャートが必要となる。さらに、水平画角１５０度のステレオカメラで３ｍ離れた位置にチャートを配置した場合、約２２ｍのチャートが必要となる。 Patent Document 2 describes that highly accurate correction parameters can be calculated. On the other hand, in the case of a stereo camera with a wide angle of view as described in Patent Document 1, an evaluation chart (hereinafter referred to as a chart) is required for that purpose. Manufacturers will need to make large-scale modifications to their vehicle production lines. For example, if a stereo camera with a horizontal angle of view of 40 degrees is used and a chart is placed at a distance of 3 m, a chart of about 2 m is required. On the other hand, if a stereo camera with a horizontal angle of view of 120 degrees is used and a chart is placed at a distance of 3 m, a chart of about 10 m is required. Furthermore, if a stereo camera with a horizontal angle of view of 150 degrees is used and a chart is placed at a distance of 3 m, a chart of about 22 m is required.

チャートのサイズに関しては、ステレオカメラとチャート間距離を近づけることで必要なチャートのサイズを小さくすることも考えられるが、センサ上の像がぼけてしまうため、正確な校正を行うことができない。このように、チャートのサイズは、ステレオカメラの水平画角に大きく依存するため、ステレオカメラの広画角化を行う上での課題となる。 Regarding the size of the chart, it is conceivable to reduce the required size of the chart by shortening the distance between the stereo camera and the chart. As described above, the size of the chart greatly depends on the horizontal angle of view of the stereo camera, which poses a problem in widening the angle of view of the stereo camera.

特開２０１９－３２４０９号公報JP 2019-32409 A 特開２０１９－１３２８５５号公報JP 2019-132855 A

本発明は、上記のような課題に鑑みてなされたものであり、チャートのサイズを大型化することなく、高精度に広画角のステレオカメラの校正を行うことができるステレオ画像処理装置及び画像補正手段を提供するものである。 SUMMARY OF THE INVENTION The present invention has been made in view of the problems described above, and provides a stereo image processing apparatus and an image processing apparatus capable of calibrating a stereo camera with a wide angle of view with high accuracy without increasing the size of the chart. It provides a means of correction.

本発明に係るステレオ画像処理装置は、複数のカメラにより対象物を撮像する撮像部と、前記撮像部により撮像した複数の画像のステレオマッチングを行い視差を検出するステレオマッチング部と、前記対象物を撮像したときの画素シフトを補正する画素シフト補正処理部とを備える。前記撮像部の画角については、第１の画角範囲と、前記第１の画角範囲より水平方向に広角側である第２の画角範囲がある。前記画素シフト補正処理部は、前記第１の画角範囲で求められた画素シフト量に基づき、前記第２の画角範囲の画素シフト補正処理を行う。 A stereo image processing apparatus according to the present invention includes an imaging unit that captures an image of an object using a plurality of cameras, a stereo matching unit that performs stereo matching of a plurality of images captured by the imaging unit and detects parallax, and the object. and a pixel shift correction processing unit that corrects pixel shift when an image is captured. The angle of view of the imaging unit includes a first angle of view range and a second range of angle of view that is wider than the first range of view in the horizontal direction. The pixel shift correction processing unit performs pixel shift correction processing for the second view angle range based on the pixel shift amount obtained for the first view angle range.

本発明に係るステレオ画像処理装置によれば、チャートのサイズを大型化することなく、高精度に広画角のステレオカメラの校正を行うことができるステレオ画像処理装置及び画像補正手段を提供することができる。 According to the stereo image processing apparatus of the present invention, to provide a stereo image processing apparatus and an image correcting means capable of calibrating a stereo camera with a wide angle of view with high accuracy without enlarging the chart size. can be done.

第１の実施の形態に係るステレオカメラ画像処理装置１０の構成を説明するブロック図である。1 is a block diagram illustrating the configuration of a stereo camera image processing device 10 according to a first embodiment; FIG. 第１の実施の形態に係るステレオカメラ画像処理装置１０の動作を説明する概念図である。FIG. 3 is a conceptual diagram explaining the operation of the stereo camera image processing device 10 according to the first embodiment; フロントガラス１と光線の関係を示した模式図である。FIG. 2 is a schematic diagram showing the relationship between the windshield 1 and light rays; フロントガラス１を車両に搭載したときの右カメラ５０の画像センサ上の像の変化を示している。It shows the change of the image on the image sensor of the right camera 50 when the windshield 1 is mounted on the vehicle. フロントガラス１による垂直方向の画素シフト量の計算結果の一例を示している。An example of the calculation result of the pixel shift amount in the vertical direction by the windshield 1 is shown. フロントガラス１の代表的なばらつきの影響を示している。The effect of typical variations of the windshield 1 is shown. 画角Ａと画角Ｂでの垂直方向の画素シフト量の関係を示すグラフの一例である。6 is an example of a graph showing the relationship between the vertical pixel shift amount at the angle of view A and the angle of view B; 標準（ノミナル条件）との比較において、フロントガラスの様々な製造ばらつきが生じた状況や、ステレオカメラとフロントガラスの相対位置のずれが生じた状況を示す概略図である。FIG. 10 is a schematic diagram showing a situation in which various manufacturing variations of the windshield have occurred and a situation in which the relative positions of the stereo camera and the windshield have shifted in comparison with the standard (nominal conditions). ステレオカメラの補正パラメータを求める手順を示すフローチャートである。4 is a flowchart showing a procedure for obtaining correction parameters for a stereo camera; 補正関数の導出を説明するグラフである。4 is a graph for explaining derivation of a correction function; 本実施の形態の補正の効果を示したグラフである。9 is a graph showing the effect of correction according to the present embodiment; 補正関数Ｃ１００の導出の方法を説明する。A method for deriving the correction function C100 will be described. 校正チャートの一例を説明する。An example of a calibration chart will be described. 第２の実施の形態に係るステレオ画像処理装置を説明するフローチャートである。8 is a flowchart for explaining a stereo image processing device according to a second embodiment; 間隔変化量ＢＤと、画角Ａでの垂直方向の画素シフト量の関係を示すグラフの一例である。7 is an example of a graph showing the relationship between the amount of change in interval BD and the amount of pixel shift in the vertical direction at the angle of view A; 第３の実施の形態に係るステレオ画像処理装置を説明するフローチャートである。10 is a flowchart for explaining a stereo image processing device according to a third embodiment; 第４の実施の形態に係るステレオ画像処理装置を説明するフローチャートである。10 is a flowchart for explaining a stereo image processing device according to a fourth embodiment; フロントガラスによる水平方向の画素シフトの計算結果を示している。Fig. 3 shows the calculated result of the horizontal pixel shift due to the windshield; アフィン処理手段２０ａによって、（ｆｓｉｎθｘ、ｆｓｉｎθｙ）に変換された後、左右単眼画像生成部３００で処理された後の垂直画角０度の位置での水平方向の画素シフト量を示している。After being converted into (f sin θx, fsin θy) by the affine processing means 20a and processed by the left and right monocular image generation unit 300, the pixel shift amount in the horizontal direction at the vertical angle of view of 0 degrees is shown. 補正関数Ｃ４００の導出の方法を説明する。A method of deriving the correction function C400 will be described. 第４の実施の形態の補正の効果を示したグラフである。It is the graph which showed the effect of correction|amendment of 4th Embodiment.

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。 Hereinafter, this embodiment will be described with reference to the accompanying drawings. In the accompanying drawings, functionally identical elements may be labeled with the same numbers. It should be noted that although the attached drawings show embodiments in accordance with the principles of the present disclosure, they are for the purpose of understanding the present disclosure and are not used to interpret the present disclosure in a limited way. The description herein is merely exemplary and is not intended to limit the scope or application of this disclosure in any way.

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。 Although the present embodiments have been described in sufficient detail to enable those skilled in the art to practice the present disclosure, other forms are possible and may be constructed or arranged without departing from the scope and spirit of the present disclosure. It is necessary to understand that it is possible to change the structure and replace various elements. Therefore, the following description should not be construed as being limited to this.

［第１の実施の形態］
図１Ａを参照して、第１の実施の形態に係るステレオカメラ画像処理装置１０（以下、画像処理装置１０という）の構成を説明する。この画像処理装置１０は、例えば自動車などの車両に搭載され、車両から車両の周囲の立体物（他の自動車、建物、歩行者など）までの距離を検出するのに用いられる。以下では、車両に画像処理装置１０が搭載される場合を例として説明するが、これに限定される趣旨ではない。 [First embodiment]
A configuration of a stereo camera image processing device 10 (hereinafter referred to as image processing device 10) according to the first embodiment will be described with reference to FIG. 1A. This image processing apparatus 10 is mounted on a vehicle such as an automobile, and is used to detect the distance from the vehicle to three-dimensional objects (other automobiles, buildings, pedestrians, etc.) around the vehicle. A case in which the image processing device 10 is installed in a vehicle will be described below as an example, but the present invention is not limited to this.

図１Ａは、第１の実施の形態に係る画像処理装置１０の構成例を示すブロック図である。この画像処理装置１０は、左右のカメラ５０及び６０により得られた画像に基づき、周囲の立体物を検知し、必要に応じ警報を発することができるように構成される。左右のカメラ５０、６０によりステレオカメラが構成される。 FIG. 1A is a block diagram showing a configuration example of an image processing apparatus 10 according to the first embodiment. The image processing apparatus 10 is configured to detect surrounding three-dimensional objects based on the images obtained by the left and right cameras 50 and 60 and issue an alarm as necessary. The left and right cameras 50 and 60 constitute a stereo camera.

この画像処理装置１０は、一例として、画像処理部１００、ステレオ視差画像生成部２００、左右単眼画像生成部３００、路面断面形状推定部４００、ステレオ視立体物検知部５００、ハイブリッド立体物検知部６００、及び警報制御部７００とを備えて構成される。 The image processing device 10 includes, for example, an image processing unit 100, a stereoscopic parallax image generating unit 200, a left and right monocular image generating unit 300, a road cross-sectional shape estimating unit 400, a stereoscopic three-dimensional object detecting unit 500, and a hybrid three-dimensional object detecting unit 600. , and an alarm control unit 700 .

この画像処理装置１０は、図１Ｂに示すように、左右のカメラ５０及び６０で共通に撮像が可能な領域（以下、「ステレオ視領域」という）では、左右のカメラ５０及び６０の視差を利用してステレオ視差画像生成部２００においてステレオ視差画像が生成される。そして、ステレオ視立体物検知部５００において、視差に従って、車両から立体物までの距離を計測する。 As shown in FIG. 1B, the image processing apparatus 10 utilizes the parallax of the left and right cameras 50 and 60 in an area (hereinafter referred to as a "stereoscopic area") that can be imaged in common by the left and right cameras 50 and 60. Then, a stereo parallax image is generated in the stereo parallax image generation unit 200 . Then, the stereoscopic three-dimensional object detection unit 500 measures the distance from the vehicle to the three-dimensional object according to the parallax.

一方、ステレオ視領域の左右には、左右どちらかのカメラ（５０又は６０）の一方でのみ画像が得られる領域（以下「単眼視領域」という）が存在する。ステレオ視領域に比べ、単眼視領域は測距精度においては劣るが、このような単眼視領域を設定することで、より広角に立体物を検知可能なステレオカメラとすることができる。後述するように、単眼視領域では、ステレオ視領域での視差に基づいた測距結果に従い、車両から立体物までの距離が計測され、車両の周囲環境が認識される。 On the other hand, on the left and right of the stereoscopic viewing area, there are areas (hereinafter referred to as "monocular viewing areas") in which images can be obtained only with one of the left and right cameras (50 or 60). Although the monocular viewing area is inferior to the stereoscopic viewing area in accuracy of distance measurement, by setting such a monocular viewing area, a stereo camera capable of detecting a three-dimensional object at a wider angle can be obtained. As will be described later, in the monocular viewing area, the distance from the vehicle to the three-dimensional object is measured according to the distance measurement result based on the parallax in the stereo viewing area, and the surrounding environment of the vehicle is recognized.

右カメラ５０、左カメラ６０は、図示は省略するが、レンズと、画像センサとを備えている。左右のカメラ５０及び６０は、それぞれ、対象物の画像をレンズを介して画像センサで取得（撮像）する。画像処理装置１０は、右カメラ５０から画像Ｐ１（第１の画像）を取得するとともに、左カメラ６０から画像Ｐ２（第２の画像）を取得する。 Although not shown, the right camera 50 and the left camera 60 each include a lens and an image sensor. The left and right cameras 50 and 60 each obtain (image) an image of an object with an image sensor through a lens. The image processing device 10 acquires an image P1 (first image) from the right camera 50 and acquires an image P2 (second image) from the left camera 60 .

画像処理部１００は、一例として、アフィン処理手段２０ａ、２０ｂ、輝度補正手段２１ａ、２１ｂ、画素補間手段２２ａ、２２ｂ、及び輝度情報生成手段２３ａ、２３ｂを備えて構成される。画像処理部１００は、左右のカメラ５０及び６０により得られた画像Ｐ１及びＰ２に所定の画像処理を適用し、ステレオ視差画像生成部２００及び左右単眼画像生成部３００に供給する。 The image processing unit 100 includes, for example, affine processing means 20a and 20b, luminance correction means 21a and 21b, pixel interpolation means 22a and 22b, and luminance information generation means 23a and 23b. The image processing unit 100 applies predetermined image processing to the images P1 and P2 obtained by the left and right cameras 50 and 60 and supplies them to the stereo parallax image generation unit 200 and the left and right monocular image generation unit 300 .

アフィン処理手段２０ａは、右カメラ５０からの画像Ｐ１にアフィン処理を適用する。アフィン処理は、例えば線形の座標変換処理であるが、非線形の演算を含むものであってもよい。このアフィン処理を行った結果として、アフィン処理手段２０ａは画像Ｐ３（第３の画像）を取得する。同様に、アフィン処理手段２０ｂは、左カメラ６０からの画像Ｐ２にアフィン処理を適用して画像Ｐ４（第４の画像）を取得する。 The affine processing means 20a applies affine processing to the image P1 from the right camera 50. FIG. Affine processing is, for example, linear coordinate transformation processing, but may include non-linear operations. As a result of this affine processing, the affine processing means 20a acquires the image P3 (third image). Similarly, the affine processing means 20b applies affine processing to the image P2 from the left camera 60 to obtain an image P4 (fourth image).

アフィン処理手段２０ａ及び２０ｂは、アフィン処理以外の歪変換処理を併せて実行するものであってもよい。本実施の形態では、魚眼レンズの射影方式のｆｓｉｎθを、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系へ射影変換する。ここで、ｆは魚眼レンズの焦点距離、θは魚眼レンズに入射する画角、θｘ、θｘは魚眼レンズに入射する画角の水平、垂直成分を示している。さらに本実施の形態では、フロントガラスの影響による垂直方向の画素シフトをアフィン処理手段２０ａ及び２０ｂで補正する。すなわち、アフィン処理手段２０ａ及び２０ｂは、画素シフトを補正する画素シフト補正処理部として機能する。 The affine processing means 20a and 20b may also perform distortion transformation processing other than affine processing. In the present embodiment, fsin θ in the fisheye lens projection method is projectively transformed into a coordinate system of (ftan θx, ftan θy). Here, f is the focal length of the fisheye lens, .theta. is the angle of view of the incident light on the fisheye lens, and .theta.x and .theta.x are the horizontal and vertical components of the angle of view of the incident light on the fisheye lens. Furthermore, in this embodiment, the vertical pixel shift due to the influence of the windshield is corrected by the affine processing means 20a and 20b. That is, the affine processing units 20a and 20b function as pixel shift correction processing units that correct pixel shifts.

輝度補正手段２１ａは、画像Ｐ３の各画素の輝度を補正する。例えば、右カメラ５０のゲイン、画像Ｐ３内の各画素のゲインの違い等に基づいて、画像Ｐ３の各画素の輝度の補正が行われる。同様に、輝度補正手段２１ｂは、画像Ｐ４の各画素の輝度を補正する。 The luminance corrector 21a corrects the luminance of each pixel of the image P3. For example, the luminance of each pixel of the image P3 is corrected based on the difference in the gain of the right camera 50, the gain of each pixel in the image P3, and the like. Similarly, the luminance correction means 21b corrects the luminance of each pixel of the image P4.

画素補間手段２２ａは、画像Ｐ３に対してデモザイキング処理を行う。例えば、ＲＡＷ画像からカラー画像への変換が行われる。同様に、画素補間手段２２ｂは、画像Ｐ４に対してデモザイキング処理を行う。 The pixel interpolation means 22a performs demosaicing processing on the image P3. For example, a RAW image is converted into a color image. Similarly, the pixel interpolation means 22b performs demosaicing processing on the image P4.

輝度情報生成手段２３ａは、画像Ｐ３の輝度情報を生成する。例えば、カラー画像を表す情報を、視差画像を生成するための輝度情報に変換する。同様に、輝度情報生成手段２３ｂは、画像Ｐ４の輝度情報を生成する。 The luminance information generating means 23a generates luminance information of the image P3. For example, information representing a color image is converted into luminance information for generating a parallax image. Similarly, the luminance information generating means 23b generates luminance information of the image P4.

ステレオ視差画像生成部２００は、得られた画像Ｐ３、Ｐ４のうち、前述のステレオ視領域（共通視野領域）の画像を利用して、ステレオ視領域のステレオ視差画像を生成する。ステレオ視差画像生成部２００は、露光調整部２１０、感度調整部２２０を備え、左右のカメラ５０、６０の露光量、感度等についてのカメラ５０、６０へのフィードバック制御を実行可能に構成され得る。また、ステレオ視差画像生成部２００は更に、左右の画像の幾何補正を行う幾何補正部２３０、左右の画像のマッチング処理を行うマッチング部２４０、画素シフト量を演算する画素シフト量演算部２６０、及び、後述する補正関数を導出する補正関数導出部２７０を備える。画素シフト量演算部２６０、及び補正関数導出部２７０は、アフィン処理手段２０ａ、２０ｂとともに画素シフト補正処理部を構成する。路面断面形状推定部４００は、画像処理装置１０が搭載された車両が進行する予定の道路の路面の断面形状の推定を行う。路面断面形状推定部４００の詳細は、国際公開第２０１９／１１６９５８号に開示の装置と同様とすることができる。 The stereo parallax image generation unit 200 generates the stereo parallax image of the stereo vision region using the image of the stereo vision region (common vision region) described above among the obtained images P3 and P4. The stereo parallax image generation unit 200 includes an exposure adjustment unit 210 and a sensitivity adjustment unit 220, and can be configured to be able to perform feedback control to the cameras 50 and 60 regarding the exposure amount, sensitivity, etc. of the left and right cameras 50 and 60. The stereo parallax image generation unit 200 further includes a geometric correction unit 230 that performs geometric correction on the left and right images, a matching unit 240 that performs matching processing on the left and right images, a pixel shift amount calculation unit 260 that calculates the pixel shift amount, and , and a correction function derivation unit 270 for deriving a correction function to be described later. The pixel shift amount calculation unit 260 and the correction function derivation unit 270 constitute a pixel shift correction processing unit together with the affine processing units 20a and 20b. The road surface cross-sectional shape estimation unit 400 estimates the cross-sectional shape of the road surface on which the vehicle equipped with the image processing device 10 is scheduled to travel. The details of the road surface cross-sectional shape estimation unit 400 can be the same as those of the device disclosed in International Publication No. 2019/116958.

左右単眼画像生成部３００は、得られた画像Ｐ３、Ｐ４のうち、前述のステレオ視領域以外の領域の画像を、単眼視画像として生成する。ここで、左右単眼画像生成部３００は、左右の単眼視画像の同一の水平線に沿った単位長の長さが、互いに等しい距離を表すよう射影変換が行われる。 The left and right monocular image generation unit 300 generates, as a monocular image, an image of an area other than the aforementioned stereoscopic viewing area among the obtained images P3 and P4. Here, the left and right monocular image generation unit 300 performs projective transformation so that the unit lengths of the left and right monocular images along the same horizontal line represent the same distance.

ステレオ視立体物検知部５００は、ステレオ視差画像生成部２００で生成されたステレオ視差画像に従い、ステレオ視領域における立体物の検知を行う。また、検知された立体物に対しステレオマッチングを適用して、視差を検出すると共に、立体物の種別（歩行者、自転車、車両、建物など）を識別する。立体物を検知するとともに、立体物の種別を識別することにより、更に予防安全に利用する種別を特定する。車両が検知された場合、その検知結果は、先行車の追従制御や、緊急時のブレーキ制御などに利用することができる。検知された立体物が歩行者や自転車の場合には、緊急ブレーキ制御や、警報の制御を実行することができる。静止物体と比較して、車両に向けて飛び出してくる物体には広い視野範囲内の対象物に対して警報や制御を実施することとなる。これら検知した物体に対して距離を計測するとともに時系列にトラッキングしている対象物の移動速度を推定することで、より適切な警報や制御を警報制御部７００で実施することができる。 The stereoscopic three-dimensional object detection unit 500 detects a three-dimensional object in the stereoscopic region according to the stereo parallax images generated by the stereo parallax image generation unit 200 . In addition, stereo matching is applied to the detected three-dimensional object to detect parallax and to identify the type of three-dimensional object (pedestrian, bicycle, vehicle, building, etc.). By detecting the three-dimensional object and identifying the type of the three-dimensional object, the type used for preventive safety is specified. When a vehicle is detected, the detection result can be used for follow-up control of the preceding vehicle, emergency brake control, and the like. If the detected three-dimensional object is a pedestrian or bicycle, emergency brake control or alarm control can be executed. Compared to stationary objects, warnings and controls are performed for objects within a wider field of view for objects jumping toward the vehicle. By measuring the distance to these detected objects and estimating the moving speed of the object being tracked in chronological order, the alarm control unit 700 can perform more appropriate alarms and control.

ハイブリッド立体物検知部６００は、ステレオ視差画像と単眼視画像とを合成して１つのハイブリッド画像を生成し、そのハイブリッド画像に基づいて、立体物を検知する。ハイブリッド画像は、ステレオ視差画像の左右に単眼視画像を配置して合成される。ハイブリッド立体物検知部６００は、ハイブリッド画像において、ステレオ視差画像での視差等の情報に従い、単眼視領域に存在する立体物を検出し、その立体物までの距離を検出する。さらに、ハイブリッド立体物検知部６００は、単眼視画像において障害物となる立体物を検知し、更に、ステレオ視領域と同様にパターンマッチングによる種別の特定として、歩行者、自転車、車両などの識別を実施する。 The hybrid three-dimensional object detection unit 600 generates one hybrid image by synthesizing the stereoscopic parallax image and the monocular image, and detects a three-dimensional object based on the hybrid image. A hybrid image is synthesized by arranging monocular images on the left and right sides of a stereo parallax image. The hybrid three-dimensional object detection unit 600 detects a three-dimensional object existing in the monocular viewing area and detects the distance to the three-dimensional object in the hybrid image according to information such as parallax in the stereoscopic parallax image. Furthermore, the hybrid three-dimensional object detection unit 600 detects a three-dimensional object that is an obstacle in the monocular vision image, and further identifies a pedestrian, a bicycle, a vehicle, etc. as a type specification by pattern matching as in the stereoscopic vision area. implement.

前述のように、ステレオ視差画像生成部２００、及び左右単眼画像生成部３００は、ステレオ視領域及び単眼視領域の画像上の同一の水平線に沿った単位長の長さが互いに等しい距離になるよう画像変換を行う。このため、例えば、単眼視領域で検知される立体物（測定対象物）が人の場合、単眼視領域の単眼視画像の上下方向の人の足元位置を検出し、路面断面形状推定部４００によって得られたステレオ視による位置情報を用いて、人までの距離を推定する。車両の場合、車両と地面との接地面を検出することで、車両から人までの距離が推定できる。 As described above, the stereo parallax image generating unit 200 and the left and right monocular image generating unit 300 are arranged so that the unit lengths along the same horizontal line on the images of the stereoscopic viewing area and the monocular viewing area are equal to each other. Perform image conversion. Therefore, for example, when the three-dimensional object (object to be measured) detected in the monocular visual area is a person, the position of the person's feet in the vertical direction of the monocular visual image in the monocular visual area is detected, and the road cross-sectional shape estimation unit 400 detects the Using the obtained stereoscopic position information, the distance to the person is estimated. In the case of a vehicle, the distance from the vehicle to the person can be estimated by detecting the contact surface between the vehicle and the ground.

ステレオ視立体物検知部５００、及びハイブリッド立体物検知部６００では、立体物を検知するとともに、立体物の中で歩行者か自転車か車両かなどの識別を行うことで更に、予防安全に利用する種別を特定する。車両検知結果であれば、先行車の追従や、緊急時のブレーキ制御などに利用する。歩行者や自転車の場合には、基本的に緊急ブレーキの対応となり、特に飛び出してくる歩行者や自転車への警報や車両の制御に利用する。静止物体と比較して飛び出してくる物体には広い画角範囲内の対象物に対して警報や制御を実施することとなる。これら検知した物体に対して距離を計測するとともに時系列にトラッキングしている対象物の移動速度を推定することで、より適切な警報や制御を警報制御部７００で実施する。 The stereoscopic three-dimensional object detection unit 500 and the hybrid three-dimensional object detection unit 600 detect a three-dimensional object and distinguish whether the three-dimensional object is a pedestrian, a bicycle, or a vehicle, thereby further improving preventive safety. Identify the type. If it is a vehicle detection result, it is used for tracking the preceding vehicle and braking control in an emergency. In the case of pedestrians and bicycles, it is basically used for emergency braking, and it is especially used for warning pedestrians and bicycles and for vehicle control. A warning or control is performed for an object within a wider angle of view than for a stationary object. By measuring the distance to these detected objects and estimating the moving speed of the object being tracked in chronological order, the alarm control unit 700 performs more appropriate alarms and controls.

上述したように、本実施の形態のステレオカメラの単独視領域は、人の足元や車両の地面との接地面の位置を用いることで、対象物までの距離を推定している。このため、フロントガラスの影響により、画像上下方向の検出位置がずれてしまうと、測距誤差が発生する。 As described above, the single visual area of the stereo camera of the present embodiment estimates the distance to the object by using the positions of the feet of the person and the contact surface of the vehicle with the ground. Therefore, if the detection position in the vertical direction of the image is shifted due to the influence of the windshield, a distance measurement error will occur.

図２は、フロントガラス１と光線の関係を示した模式図である。図２（ａ）は、画像処理装置１０の光軸の水平断面、図２（ｂ）は垂直断面を示している。 FIG. 2 is a schematic diagram showing the relationship between the windshield 1 and light rays. 2(a) shows a horizontal section of the image processing apparatus 10 along the optical axis, and FIG. 2(b) shows a vertical section.

フロントガラス１に光線が入射したとき、スネルの法則に従って光線が屈折する。このとき、光線が伝搬するフロントガラス１の２つの面の傾きが同じ場合には、入射光と出射光の光線の傾きは同じになる。このため、図２（ａ）に示すように、フロントガラス１の正面近傍から入射する光線Ｒ００は、光線の角度が入射後と出射後とであまり変化しない。一方で、光線Ｒ０１のように車両の左右方向からフロントガラス１に対し傾いて入射する光は、入射の前後で光線の方向が大きく変化する。このため、物体が実際の位置よりもずれた位置に見えることになる。 When a ray of light is incident on the windshield 1, the ray is refracted according to Snell's law. At this time, if the inclinations of the two surfaces of the windshield 1 through which the light beam propagates are the same, the inclinations of the incident light and the outgoing light are the same. Therefore, as shown in FIG. 2(a), the angle of the light ray R00 incident from near the front of the windshield 1 does not change much between after incidence and after emergence. On the other hand, the direction of the light ray R01 that enters the windshield 1 at an angle from the left and right direction of the vehicle changes greatly before and after the light ray enters. As a result, the object appears at a position shifted from its actual position.

また、図２（ｂ）に示すように、フロントガラス１が、多くの場合、垂直方向に対し傾けて取り付けられているので、多くの光線はフロントガラス１の面に対し傾いて入射する。カメラ光軸近傍を通る光線Ｒ１０ｓ、下側画角の光線Ｒ１１はいずれも、光線Ｒ００、光線Ｒ０１に比べ、入射の前後で光線の方向が大きく変化する。このように、フロントガラス１が物体とカメラとの間に入ると、物体が実際より下側に見えることになる。 Further, as shown in FIG. 2(b), in most cases, the windshield 1 is attached with an inclination with respect to the vertical direction, so many light rays enter the surface of the windshield 1 at an angle. Both the light ray R10s passing near the optical axis of the camera and the light ray R11 at the lower angle of view change greatly in direction before and after incidence compared to the light ray R00 and the light ray R01. Thus, when the windshield 1 is between the object and the camera, the object appears lower than it actually is.

図３は、フロントガラス１を車両に搭載したときの右カメラ５０の画像センサ上の像の変化を示している。ここでは、画像センサ上のレンズ光軸中心Ｏ５２の近傍の位置、水平方向の軸Ｏ５２１に沿った広画角の位置、及び垂直方向の軸Ｏ５２２に沿った広画角の位置の３つの位置に対象物（ここでは四角形で示す）がある場合を示している。 FIG. 3 shows changes in the image on the image sensor of the right camera 50 when the windshield 1 is mounted on the vehicle. Here, at three positions: a position near the lens optical axis center O52 on the image sensor, a position with a wide angle of view along the horizontal axis O521, and a position with a wide angle of view along the vertical axis O522. It shows the case where there is an object (indicated by a rectangle here).

なお、図３において、対象物の像の位置が、点線と実線の２つで表されている。点線はフロントガラス１が無い場合の対象物の像の位置を示し、実線はフロントガラス１が有る場合の対象物の像の位置を示している。また、図中の矢印はフロントガラス１の挿入による対象物の像の位置の変化の方向を示している。 In addition, in FIG. 3, the position of the image of the object is represented by two lines, a dotted line and a solid line. The dotted line indicates the position of the object image without the windshield 1, and the solid line indicates the position of the object image with the windshield 1. FIG. The arrows in the drawing indicate the direction of change in the position of the image of the object due to the insertion of the windshield 1 .

図２で説明したように、フロントガラス１が一般に垂直方向に対し傾いて車体に取り付けられるため、垂直方向における光線のずれが大きい。光線は、レンズによって画像センサに入射するが、この光線のずれに起因して、画像センサ上では光線が入射する位置が変化する（以下、「画素シフト」と呼ぶ）。この画像シフトは、画像の歪として現れる。本実施の形態の単独視領域では、人の足元や車両の地面との接地面の位置を用いて対象物までの距離を推定している。このため、このような画素シフトがあると測距誤差を発生し、車載センシング装置における正常な動作が阻害される。 As described with reference to FIG. 2, the windshield 1 is generally attached to the vehicle body with an inclination with respect to the vertical direction, so the deviation of light rays in the vertical direction is large. A ray of light is incident on the image sensor through the lens, but due to this deviation of the ray of light, the incident position of the ray of light on the image sensor changes (hereinafter referred to as "pixel shift"). This image shift appears as image distortion. In the single viewing area of the present embodiment, the distance to the object is estimated using the positions of the feet of the person and the contact surface of the vehicle with the ground. Therefore, such a pixel shift causes a distance measurement error, which hinders the normal operation of the vehicle-mounted sensing device.

図４のグラフは、フロントガラス１による垂直方向の画素シフト量の計算結果の一例を示している。ここで、グラフの水平方向の軸は画像の水平方向の画角、垂直方向の軸は画像の垂直方向の画角を示している。また、グラフ中の濃淡により、その画角（水平、垂直）での画素シフト量が示されている。グラフの水平方向は、右方向が水平方向の画角のプラス方向であり、垂直方向は、上方向が垂直方向の画角のプラス方向である。そして、画素シフト量は、下側へのシフトをプラスとして、グラフの濃淡で表現している。図４は、左右単眼画像生成部３００で生成された左右単眼画像に基づく結果である。以下は、図４の計算に用いられる計算パラメータを示している。 The graph in FIG. 4 shows an example of calculation results of the vertical pixel shift amount by the windshield 1 . Here, the horizontal axis of the graph indicates the horizontal angle of view of the image, and the vertical axis indicates the vertical angle of view of the image. In addition, the shading in the graph indicates the pixel shift amount at the angle of view (horizontal, vertical). In the horizontal direction of the graph, the right direction is the positive direction of the horizontal angle of view, and the upward direction is the positive direction of the vertical angle of view. The pixel shift amount is represented by the gradation of the graph, with the shift to the lower side being positive. FIG. 4 shows the results based on the left and right monocular images generated by the left and right monocular image generation unit 300. FIG. The following are the calculation parameters used in the calculation of FIG.

－レンズパラメータ
・焦点距離：４ｍｍ
・射影：ｆｓｉｎθ
－ガラスパラメータ
・曲率半径(垂直、水平)：２ｍ
・屈折率：１．５４３
－センサパラメータ
・画素ピッチ：４μｍ
－位置・姿勢パラメータ
・基線長：１６０ｍｍ
・レンズ－ガラス間距離：４０ｍｍ
・ガラス傾き：２５度 -Lens parameters ・Focal length: 4mm
・Projection: f sin θ
－Glass parameters ・Radius of curvature (vertical, horizontal): 2m
・Refractive index: 1.543
-Sensor parameters ・Pixel pitch: 4 μm
-Position/posture parameters Base line length: 160mm
・Lens-glass distance: 40mm
・Glass tilt: 25 degrees

ここで、実際のフロントガラス１の形状は、曲率半径だけでなく、高次の係数の曲面となっているが、主に光線の傾きに影響するのは変化の大きい曲率（２次の係数）であるため、本実施の形態では曲率のみを使用した。これは、ステレオカメラのフロントガラス１からの入射範囲が局所的なためである。 Here, the actual shape of the windshield 1 is a curved surface with not only a radius of curvature but also a high-order coefficient. Therefore, only the curvature is used in this embodiment. This is because the incident range from the windshield 1 of the stereo camera is local.

従来、この画像シフト量を補正するため、例えば特許文献２の技術のような画素シフト補正方法がある。しかし、上述したようにチャートサイズの拡大は避けられず、車両メーカでは車両製造ラインの大規模な改修が必要となる。また、一方でフロントガラスで発生する画素シフトを固定値で補正することも考えられるが、フロントガラスの製造ばらつきや、取付ばらつきなどの影響により、誤差が発生する。 Conventionally, in order to correct this image shift amount, there is a pixel shift correction method such as the technique disclosed in Patent Document 2, for example. However, as described above, an increase in the chart size is unavoidable, requiring vehicle manufacturers to make large-scale modifications to vehicle production lines. On the other hand, it is conceivable to correct the pixel shift that occurs in the windshield with a fixed value, but an error occurs due to the influence of variations in manufacturing and installation of the windshield.

図５は、代表的なばらつきの影響を示している。図５（ａ）は、図４で示した条件（ノミナル条件）からフロントガラスが＋１度傾いたときの垂直方向の画素シフトの変化量（絶対値）を示している。また、図５（ｂ）は、ノミナル条件からフロントガラスの中心を３ｍｍだけ、沈ませた場合（曲率が大きくなる方向に変化させた場合）の垂直方向の画素シフトの変化量（絶対値）を示している。このとき、ガラスの大きさは垂直方向０．８ｍ、水平方向１．２ｍとした。 FIG. 5 shows the effect of typical variations. FIG. 5A shows the amount of change (absolute value) in vertical pixel shift when the windshield is tilted +1 degree from the conditions (nominal conditions) shown in FIG. Also, FIG. 5B shows the change amount (absolute value) of the pixel shift in the vertical direction when the center of the windshield is lowered by 3 mm from the nominal condition (when the curvature is changed in the direction of increasing). showing. At this time, the size of the glass was 0.8 m in the vertical direction and 1.2 m in the horizontal direction.

図５（ａ）、（ｂ）より、例えば同一の垂直画角で水平画角が大きくなるにつれて、画素シフト量が大きくなることがわかる。また、同様に同一の水平画角で垂直画角が大きくなるについて、画素シフト量が大きくなることがわかる。水平、垂直方向のいずれの位置でも、垂直方向の画素シフトが発生することがわかる。これは、フロントガラスが曲面になっていることが影響している。 From FIGS. 5A and 5B, it can be seen that the pixel shift amount increases as the horizontal angle of view increases, for example, at the same vertical angle of view. Similarly, it can be seen that the pixel shift amount increases as the vertical angle of view increases with the same horizontal angle of view. It can be seen that vertical pixel shift occurs at both horizontal and vertical positions. This is due to the fact that the windshield is curved.

ここで、例えば、水平画角６０度、垂直画角０度の画角Ａと、水平画角０度、垂直画角－２０度の画角Ｂ（図５）を考える。図６は、画角Ａと画角Ｂでの垂直方向の画素シフト量の関係を示すグラフの一例である。図６のようなグラフは、予め実測又はシミュレーション等により、車種ごとに予め取得される。 Here, for example, consider a field angle A with a horizontal field angle of 60 degrees and a vertical field angle of 0 degrees, and a field angle B with a horizontal field angle of 0 degrees and a vertical field angle of −20 degrees (FIG. 5). FIG. 6 is an example of a graph showing the relationship between the vertical pixel shift amount at the angle of view A and the angle of view B. In FIG. A graph such as that shown in FIG. 6 is obtained in advance for each vehicle type by actual measurement, simulation, or the like.

図６のグラフの縦軸は画角Ａでの垂直方向の画素シフト量を示し、横軸は画角Ｂでの垂直方向の画素シフト量を示している。図６のグラフの複数のドットは、様々な状況下における、画角Ａ及び画角Ｂでの垂直方向の画素シフト量ＳＡ、ＳＢの関係を表している。様々な状況とは、標準（ノミナル条件）との比較において、フロントガラスの様々な製造ばらつきが生じた状況や、ステレオカメラとフロントガラスの相対位置のずれが生じた状況などである。具体的に、様々な状況とは、一例として、図７（ａ）～（ｇ）に示すように
（ａ）フロントガラスが標準の位置から左右にずれた場合（±２ｍｍ）
（ｂ）フロントガラスが標準の位置から上下方向にずれた場合（±２ｍｍ）
（ｃ）フロントガラスの傾斜角が標準の角度からずれた場合（±１度）
（ｄ）フロントガラスのガラス厚さが標準値からずれた場合（±０．１ｍｍ）
（ｅ）フロントガラスの中心位置が標準位置からずれた場合（曲率半径ずれ：±３ｍｍ）（ｆ）フロントガラスが標準位置から左右方向に回転ずれした場合（±１度）
（ｇ）カメラ－フロントガラスの間隔が標準値からずれた場合（±２ｍｍ）
である。 The vertical axis of the graph in FIG. 6 indicates the amount of pixel shift in the vertical direction at the angle of view A, and the horizontal axis indicates the amount of pixel shift in the vertical direction at the angle of view B. As shown in FIG. A plurality of dots in the graph of FIG. 6 represent the relationship between the vertical pixel shift amounts SA and SB at the angle of view A and the angle of view B under various circumstances. The various situations include situations in which various variations in the manufacturing of the windshield have occurred in comparison with the standard (nominal conditions), and situations in which the relative position of the stereo camera and the windshield has deviated. Specifically, various situations include, for example, (a) when the windshield is shifted left and right from the standard position (±2 mm) as shown in FIGS. 7 (a) to (g).
(b) When the windshield deviates vertically from the standard position (±2mm)
(c) When the tilt angle of the windshield deviates from the standard angle (±1 degree)
(d) When the glass thickness of the windshield deviates from the standard value (±0.1mm)
(e) When the center position of the windshield deviates from the standard position (curvature radius deviation: ±3 mm) (f) When the windshield deviates in the lateral direction from the standard position (±1 degree)
(g) When the distance between the camera and the windshield deviates from the standard value (±2mm)
is.

図６より分かるように、画角Ａと画角Ｂでの垂直方向の画素シフト量ＳＡ、ＳＢは、フロントガラスの製造ばらつきや取り付け誤差等に拘わらず、相関関係を有する。これは、ガラスが水平方向、垂直方向の曲面であるため、ばらつきが発生した時も、水平方向と垂直方向の垂直方向の画素シフトが発生するためである。例えば、曲率半径やガラスの傾きに依ってばらつきに対する変化量は変わるが、相関関係は維持される。このため、本実施の形態では、例えばステレオ視差画像生成部２００において、このような相関関係から導き出される画素シフト量ＳＡ、ＳＢの関数（図中の直線）を補正パラメータとして用いてステレオカメラの校正を実行する。 As can be seen from FIG. 6, the vertical pixel shift amounts SA and SB at the angle of view A and the angle of view B have a correlation regardless of variations in the manufacturing of the windshield, mounting errors, and the like. This is because the glass is a curved surface in the horizontal and vertical directions, and therefore pixel shifts occur in the horizontal and vertical directions even when variations occur. For example, although the amount of variation changes depending on the radius of curvature and the tilt of the glass, the correlation is maintained. For this reason, in the present embodiment, for example, in the stereo parallax image generation unit 200, the functions of the pixel shift amounts SA and SB (straight lines in the drawing) derived from such a correlation are used as correction parameters to calibrate the stereo camera. to run.

図８は、ステレオカメラの補正パラメータを求める手順を示すフローチャートである。また、説明を簡単にするため、垂直画角０度での画素シフト量の補正を例として説明する。 FIG. 8 is a flow chart showing a procedure for obtaining correction parameters for a stereo camera. In order to simplify the explanation, the correction of the pixel shift amount at the vertical angle of view of 0 degree will be explained as an example.

まず、ステレオカメラを、フロントガラスが未搭載の車両に搭載する（Ｆ１０１）。次に、校正用のチャートを、ステレオカメラで（フロントガラスを介さず）撮像する（Ｆ１０２）。 First, a stereo camera is mounted on a vehicle that does not have a windshield (F101). Next, the chart for calibration is imaged with a stereo camera (without going through the windshield) (F102).

そして、フロントガラスを車両に搭載（Ｆ１０３）し、ステレオカメラで、フロントガラス越しに校正チャートを撮像する（Ｆ１０４）。そして、フロントガラス無しで撮像した校正チャートの画像（Ｆ１０２）と、フロントガラス越しに撮影された校正チャートの画像（Ｆ１０４）を比較し、所定画角、例えば水平画角－２０度～＋２０度での垂直方向の画素シフト量を測定する（Ｆ１０５）。本実施の形態の校正チャートは、撮像対象である全画角（例えば－６０度～＋６０度）ではなく、例えば、水平画角－２０度～＋２０度、垂直画角－２０度～＋２０度の範囲をステレオカメラで計測可能な程度の大きさを有する校正チャートである。 Then, the windshield is mounted on the vehicle (F103), and the stereo camera captures an image of the calibration chart through the windshield (F104). Then, the image of the calibration chart (F102) taken without the windshield and the image of the calibration chart (F104) taken through the windshield are compared, and at a predetermined angle of view, for example, a horizontal angle of view of -20 degrees to +20 degrees. is measured (F105). The calibration chart of the present embodiment is not for the full angle of view (for example, -60 degrees to +60 degrees), but for example, the horizontal angle of view -20 degrees to +20 degrees and the vertical angle of view -20 degrees to +20 degrees. It is a calibration chart having a size that allows the range to be measured with a stereo camera.

次に、画角Ｂ（水平画角０度、垂直画角－２０度）での画素シフト量ＳＢと、図６の相関関数から、画角Ａ（水平画角－６０度、垂直画角０度）の画素シフト量を推測する（Ｆ１０６）。そして、図９に示すように、補正関数導出部２７０は、水平画角－２０度～＋２０度での画素シフト量の測定結果（Ｆ１０５）と、画角Ａでの垂直方向の画素シフト量を用いて、補正関数Ｃ１００を導出する（Ｆ１０７）。そして、フロントガラスがないときのアフィン処理のパラメータと、この補正関数Ｃ１００を基に、アフィン処理手段２０ａ及びアフィン処理手段２０ｂで補正を行う。 Next, from the pixel shift amount SB at the angle of view B (horizontal angle of view of 0 degrees, vertical angle of view of −20 degrees) and the correlation function of FIG. degree) is estimated (F106). Then, as shown in FIG. 9, the correction function deriving unit 270 calculates the measurement result (F105) of the pixel shift amount at the horizontal angle of view of −20 degrees to +20 degrees and the vertical pixel shift amount at the angle of view A. is used to derive the correction function C100 (F107). Then, based on the affine processing parameters when there is no windshield and this correction function C100, correction is performed by the affine processing means 20a and 20b.

図１０は、本実施の形態の補正の効果を示したグラフである。図１０では、回転ずれの条件での補正前と補正後を示している。本図より、本補正を用いることで画素シフト量が大幅に抑制できることがわかる。 FIG. 10 is a graph showing the effect of correction according to this embodiment. FIG. 10 shows before and after correction under the condition of rotation deviation. From this figure, it can be seen that the pixel shift amount can be greatly suppressed by using the main correction.

このように本実施の形態では、フロントガラス無しで撮像された構成チャートの画像（Ｆ１０２）とフロントガラス越しに撮像された校正チャートの画像（Ｆ１０４）とを比較し、所定画角の垂直方向の画素シフト量を検出する。そして、予め求めてある相関関数（図６）を用いて補正関数を求め、単眼視領域も含めて画素シフトの補正を行う。このようにすることで、広画角のステレオカメラに対して、所定サイズの校正チャートの測定結果に基づき、広画角部（単眼視領域）の補正を行うことができる。本実施の形態の補正を行うことで、広画角のステレオカメラであっても、撮像範囲の全てを含まない小さなサイズの校正チャートを用いて画素シフト量の補正を行うことができる。 As described above, in the present embodiment, the image of the configuration chart (F102) captured without the windshield and the image of the calibration chart (F104) captured through the windshield are compared to determine the vertical direction of the predetermined angle of view. Detect the pixel shift amount. Then, a correction function is obtained using a previously obtained correlation function (FIG. 6), and the pixel shift is corrected including the monocular viewing area. By doing so, it is possible to correct a wide-angle portion (monocular viewing area) for a wide-angle stereo camera based on the measurement results of a calibration chart of a predetermined size. By performing the correction according to the present embodiment, it is possible to correct the pixel shift amount using a small-sized calibration chart that does not include the entire imaging range even with a wide-angle stereo camera.

本実施の形態では、２つのカメラ５０、６０に補正を行うことでフロントガラスで光が屈折することによって発生する測距誤差の影響を抑制することができる。本実施の形態の補正方式によれば、画素シフト量は０．５画素程度に抑制される。上述したように、本実施の形態のステレオカメラの単独視領域では、車両周囲にいる人の足元の位置の情報、車両の地面との接地面の位置を用いることで、対象物までの距離を推定している。単独視領域は広画角の領域であり、比較的に近い対象物を測定すること、広画角は前方ほど測距の精度が要求されないため、０．５画素程度の誤差は十分に許容可能である。これにより、大きな校正チャートを用いずに、広角カメラにおけるフロントガラスの影響を是正できる。 In this embodiment, by correcting the two cameras 50 and 60, it is possible to suppress the influence of the distance measurement error caused by light being refracted by the windshield. According to the correction method of this embodiment, the pixel shift amount is suppressed to about 0.5 pixels. As described above, in the single viewing area of the stereo camera of the present embodiment, the distance to the object can be determined by using the information on the position of the feet of people around the vehicle and the position of the contact surface of the vehicle with the ground. I'm guessing. The single viewing area has a wide angle of view, so it is possible to measure relatively close objects, and a wide angle of view does not require the accuracy of distance measurement as much as the front, so an error of about 0.5 pixels is fully acceptable. is. This allows for correction of windshield effects in wide-angle cameras without the use of large calibration charts.

なお、本実施の形態では、説明を簡単にするため垂直画角０度の画素シフト量の補正を例として説明を行ったが、垂直画角０度以外でも、同様に補正を実行することができるのは言うまでもない。図１１は、図６の条件で垂直画角のみを変えたとき（０度、－１０度、＋１０度）の画角Ｂでの画素シフト量ＳＢと画角Ａでの画素シフト量ＳＡとの関係を示している。図１１から分かるように、垂直画角が変わっても、それぞれの垂直画角での垂直方向の画素シフト量と画角Ｂでの垂直方向の画素シフト量に相関があることがわかる。これらを用いて垂直方向の０度以外の画角の補正関数を求め、フロントガラスの影響を是正することができる。なお、図１１のグラフに示す相関関係は、予め車種ごとに予め求めておく。 In the present embodiment, the correction of the pixel shift amount at the vertical angle of view of 0 degrees has been described as an example for the sake of simplicity. It goes without saying that you can. FIG. 11 shows the pixel shift amount SB at the angle of view B and the pixel shift amount SA at the angle of view A when only the vertical angle of view is changed (0 degrees, -10 degrees, +10 degrees) under the conditions of FIG. showing relationships. As can be seen from FIG. 11, even if the vertical angle of view changes, there is a correlation between the vertical pixel shift amount at each vertical angle of view and the vertical pixel shift amount at the angle of view B. FIG. Using these, a correction function for a field angle other than 0 degrees in the vertical direction can be obtained, and the influence of the windshield can be corrected. Note that the correlation shown in the graph of FIG. 11 is obtained in advance for each vehicle type.

図１２（ａ）、（ｂ）に、校正チャートの一例を説明する。このようなパターンを用いることで、精度良く画素シフト量を検出することができる。 An example of the calibration chart will be described with reference to FIGS. By using such a pattern, the pixel shift amount can be detected with high accuracy.

また、本実施の形態では、フロントガラスの影響による垂直方向の画素シフト量をアフィン処理で補正したが、ハイブリッド立体物検知部６００での単独視領域の測距の際に補正する方法であってもよい。 Further, in the present embodiment, the amount of pixel shift in the vertical direction due to the influence of the windshield is corrected by affine processing. good too.

図８のフローチャートに示す補正の手順は、ステレオカメラが取り付けられる車両の製造時、フロントガラスの交換時、車両検査時などに実施することができる。本実施の形態ではフロントガラスを搭載したときのステレオカメラの位置変化を考慮していなかったが、これについては、その位置変化を校正チャートを用いて検出してもよい。例えば、図１２（ａ）、（ｂ）の校正チャートの色をランダムにし、その位置が検出できるようにしてもよい。また、図１２（ａ）、（ｂ）の校正チャート内に所定パターンを組み込むことで、その位置を検出することで、ステレオカメラの位置変化を検出してもよい。 The correction procedure shown in the flow chart of FIG. 8 can be performed when manufacturing a vehicle to which a stereo camera is attached, when replacing a windshield, when inspecting a vehicle, and the like. In this embodiment, the change in position of the stereo camera when the windshield is mounted is not taken into consideration, but the change in position may be detected using a calibration chart. For example, the colors of the calibration charts in FIGS. 12A and 12B may be randomized so that their positions can be detected. Further, by incorporating a predetermined pattern into the calibration charts of FIGS. 12(a) and 12(b) and detecting the position thereof, the change in position of the stereo camera may be detected.

さらに、本実施の形態では、画角Ａを水平画角０度、垂直画角－６０度、画角Ｂを水平画角－２０度、垂直画角０度としたが、これは一例であり、画角Ａ、Ｂの水平画角及び垂直画角の値を上記とは異なる値としても、同様の効果が得られる。そして、本実施の形態では、広画角領域（単眼視領域）の１点のみの画素シフト量しか求めなかったが、同様の方法を用いて複数点の画素シフト量を求めてもよい。この場合、計算量は増えるが、さらに補正精度を上げることができる。 Furthermore, in the present embodiment, the angle of view A is a horizontal angle of view of 0 degrees and the vertical angle of view is -60 degrees, and the angle of view B is a horizontal angle of view of -20 degrees and a vertical angle of view of 0 degrees. The same effect can be obtained even if the values of the horizontal and vertical angles of view of the angles of view A and B are different from those described above. In the present embodiment, the pixel shift amount for only one point in the wide field angle region (monocular viewing area) is obtained, but the pixel shift amount for a plurality of points may be obtained using the same method. In this case, although the amount of calculation increases, the correction accuracy can be further improved.

また、本実施の形態では、図６の相関を示す関数として直線を用いたが、曲線であっても同様の効果が得られる。そして本実施の形態の誤差要因としてチャート上下方向／水平方向軸の回転ずれがあるが、例えばオートコリメータなどの測定器で測定し、実物のチャートを回転調整してもよい。また、その回転量を幾何計算で補正してもよい。そして、本実施の形態では、レンズの射影方式のｆｓｉｎθを、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系へ射影変換したが、水平線がエピポーラ線となっていれば、射影変換後の画像の形式は（ｆｔａｎθｘ、ｆｔａｎθｙ）以外の座標系であってもよい。このようにすることで、２つの画像を水平ラインで比較することで比較的計算量が少なく、視差計算が行える利点がある。 Further, in the present embodiment, a straight line is used as the function indicating the correlation in FIG. 6, but the same effect can be obtained even with a curved line. As an error factor in the present embodiment, there is a rotational deviation of the vertical/horizontal axis of the chart. For example, measurement may be performed with a measuring instrument such as an autocollimator, and the rotation of the actual chart may be adjusted. Also, the amount of rotation may be corrected by geometric calculation. In the present embodiment, fsin θ in the projection method of the lens is projectively transformed into the coordinate system of (ftan θx, ftan θy). , ftan θy) may be used. By doing so, there is an advantage that the amount of calculation is relatively small and parallax calculation can be performed by comparing the two images on the horizontal line.

［第２の実施の形態］
図１３を参照して、第２の実施の形態に係るステレオ画像処理装置を説明する。この第２の実施の形態のステレオ画像処理装置の概略構成は、第１の実施の形態（図１）と同様であってよい。ただし、この第２の実施の形態では、補正パラメータの導出の手順が第１の実施の形態とは異なっている。 [Second embodiment]
A stereo image processing apparatus according to the second embodiment will be described with reference to FIG. The schematic configuration of the stereo image processing apparatus of the second embodiment may be the same as that of the first embodiment (FIG. 1). However, in the second embodiment, the procedure for deriving correction parameters is different from that in the first embodiment.

図１３のフローチャートは、第２の実施の形態に係るステレオ画像処理装置の補正パラメータを求める手順を示している。第１の実施の形態との違いは、図示しない前工程でフロントガラスとステレオカメラはすでに車両に搭載されていることである。この第２の実施の形態では、第１の実施の形態のように、フロントガラス無しで撮像された校正チャートの画像（図８のＦ１０２）と、フロントガラス越しで撮像された校正チャートの画像（Ｆ１０４）を比較し、所定画角の垂直方向の画素シフト量を検出することは行わない。これに代えて、第２の実施の形態では、予め取得されている校正パターンの実際のサイズと、撮像された校正パターンのサイズとの比較を行い、所定画角の垂直方向の画素シフト量の検出を行う。 The flowchart of FIG. 13 shows the procedure for obtaining the correction parameters of the stereo image processing apparatus according to the second embodiment. The difference from the first embodiment is that the windshield and the stereo camera have already been mounted on the vehicle in a previous process (not shown). In the second embodiment, as in the first embodiment, the image of the calibration chart captured without the windshield (F102 in FIG. 8) and the image of the calibration chart captured through the windshield ( F104) is not compared to detect the pixel shift amount in the vertical direction of the predetermined angle of view. Instead of this, in the second embodiment, the actual size of the calibration pattern acquired in advance is compared with the size of the imaged calibration pattern, and the pixel shift amount in the vertical direction of the predetermined angle of view is calculated. detect.

上述したように、画素シフトは、ガラス入射角度に伴って大きくなる。このため、垂直方向は、フロントガラスが傾いている分、画素シフトが大きい。一方、水平方向はフロントガラスが傾いていないので、画素シフト量が小さく、このため、基準として用いるには好適である。レンズ光軸付近の領域では、画素シフトは非常に小さく、画像のサイズは殆ど変化しない。 As noted above, pixel shift increases with glass incidence angle. Therefore, in the vertical direction, the tilted windshield causes a large pixel shift. On the other hand, since the windshield is not tilted in the horizontal direction, the amount of pixel shift is small, so it is suitable for use as a reference. In the region near the lens optical axis, the pixel shift is very small and the size of the image changes very little.

実際には、ステレオカメラなので、その光軸はフロントガラスの曲率中心からずれてしまうが、垂直方向に比べれば水平方向の画素シフトは非常に小さい。例えば、水平方向－１０度から＋１０度の間隔を見た場合、フロントガラスによる誤差は０．０１％程度であり、垂直方向に比べ、非常に小さい（フロントガラスによる水平方向１０度での水平方向の画素シフト：０．０１６画素、水平方向０～１０度の画素数：１７６画素）。このため、本実施の形態では、垂直方向における所定位置の間の画像上での間隔の変化量を求め、これに従って画像シフト量を検出する。 In fact, since it is a stereo camera, its optical axis deviates from the center of curvature of the windshield, but the pixel shift in the horizontal direction is very small compared to that in the vertical direction. For example, when looking at an interval of -10 degrees to +10 degrees in the horizontal direction, the error due to the windshield is about 0.01%, which is very small compared to the vertical direction (horizontal direction at 10 degrees in the horizontal direction due to the windshield pixel shift: 0.016 pixels, number of pixels in horizontal direction from 0 to 10 degrees: 176 pixels). For this reason, in the present embodiment, the amount of change in the interval on the image between predetermined positions in the vertical direction is obtained, and the amount of image shift is detected accordingly.

図１３の手順では、最初にフロントガラス越しにカメラ５０、６０により校正チャートを撮像する（Ｆ２０１）。このとき、一例としては、例えば図１２（ａ）の校正チャートを撮像する。図１２（ａ）の校正チャートに関しては、白と黒の領域の位置が、予め分かっており、その白黒のパターンのサイズに関する情報が予め取得されている。 In the procedure of FIG. 13, first, the calibration chart is imaged by the cameras 50 and 60 through the windshield (F201). At this time, as an example, the calibration chart of FIG. 12A is captured. With respect to the calibration chart of FIG. 12(a), the positions of the white and black regions are known in advance, and information regarding the size of the black and white pattern is obtained in advance.

Ｆ２０１で校正チャートの撮像が終わったら、左カメラ６０が撮像した画像のアフィン変換後の画像の白と黒のパターンの画素サイズと、予め測定された白と黒のパターンのサイズの情報とを用いて、ステレオカメラと校正チャートとの間の距離Ｚ１を見積る（Ｆ２０２）。具体的には、所定距離Ｚ０で撮像した図１２（ａ）の校正チャートのパターンのサイズがＤ０であるとき、右カメラ５０で撮像した校正パターンの画像のパターンサイズがＤ１であれば、ステレオカメラと校正チャートの間の距離Ｚ１は、以下の（式１）のように求めることができる。
（式１）Ｚ１＝Ｄ１／Ｄ０×Ｚ０ After the calibration chart is captured in F201, the pixel size of the black and white pattern of the image captured by the left camera 60 after affine transformation and information on the size of the black and white pattern measured in advance are used. to estimate the distance Z1 between the stereo camera and the calibration chart (F202). Specifically, when the pattern size of the calibration chart in FIG. 12A captured at a predetermined distance Z0 is D0, and the pattern size of the calibration pattern image captured by the right camera 50 is D1, the stereo camera The distance Z1 between and the calibration chart can be obtained by the following (Equation 1).
(Formula 1) Z1=D1/D0×Z0

次にアフィン変換後の画像の水平画角０度／垂直画角－２０度の画角Ｂ１の位置と、水平画角０度／垂直画角＋２０度の画角Ｂ２の位置との撮像画像上で間隔Ｙ１を求め、所定距離Ｚ０のときに想定される画角Ｂ１の位置と画角Ｂ２の位置との間隔Ｙ０から、フロントガラスの挿入の影響による間隔変化量ＢＤを算出する（Ｆ２０３）。
（式２）ＢＤ＝|Ｙ１×Ｚ０／Ｚ１－Ｙ０| Next, on the captured image at the position of the horizontal field angle of 0 degrees / vertical field angle -20 degrees of the image after the affine transformation and the position of the field angle B2 of the horizontal field angle of 0 degrees / vertical field angle +20 degrees , and from the distance Y0 between the position of the angle of view B1 and the position of the angle of view B2 assumed at the predetermined distance Z0, the distance change amount BD due to the influence of the insertion of the windshield is calculated (F203).
(Formula 2) BD=|Y1×Z0/Z1−Y0|

そして、図１４に示すような補正パラメータを用いて、画角Ａ（水平画角－６０度、垂直画角０度）での垂直方向の画素シフト量を推測する（Ｆ２０４）。図１４のグラフは、図６のグラフと同様に、予め実測又はシミュレーションにより予め取得される。ただし、図６のグラフと図１４のグラフとは、横軸が異なる。図６のグラフでは、横軸が画角Ｂでの画素シフト量ＳＢになっているに対し、図１４のグラフの横軸は、間隔変化量ＢＤとなっている。 Then, using the correction parameters as shown in FIG. 14, the pixel shift amount in the vertical direction at the angle of view A (horizontal angle of view -60 degrees, vertical angle of view 0 degrees) is estimated (F204). The graph of FIG. 14 is acquired in advance by actual measurement or simulation, similarly to the graph of FIG. However, the graph in FIG. 6 and the graph in FIG. 14 have different horizontal axes. In the graph of FIG. 6, the horizontal axis represents the pixel shift amount SB at the angle of view B, whereas in the graph of FIG. 14, the horizontal axis represents the interval change amount BD.

次に、第１の実施の形態と同様に、水平画角－２０度～＋２０度での画像シフト量の測定結果と、画角Ａの垂直方向のシフト量を用いて補正関数Ｃ２００を導出する（Ｆ２０５）。そして、フロントガラスがないときのアフィン処理のパラメータと、この補正関数Ｃ２００を基に、アフィン処理手段２０ａ及びアフィン処理手段２０ｂで補正を行う。 Next, similarly to the first embodiment, the correction function C200 is derived using the measurement result of the image shift amount at the horizontal angle of view of −20 degrees to +20 degrees and the vertical shift amount of the angle of view A. (F205). Then, based on the affine processing parameters when there is no windshield and this correction function C200, correction is performed by the affine processing means 20a and 20b.

このように、第２の実施の形態によっても、第１の実施の形態と同様に、広画角のステレオカメラに対して、所定サイズのチャートの測定結果に基づき、広画角部（単眼視領域）の補正を行うことができる。本実施の形態の補正を行うことで、広画角のステレオカメラであっても、撮像範囲の全てを含まない小さなサイズの校正チャートを用いて画素シフトの補正を行うことができる。なお、本実施の形態では、画角Ｂ１を水平方向０度、垂直方向－２０度、画角Ｂ２を水平方向０度、垂直方向＋２０度としたが、これには限定されず、水平および垂直の画角条件を変更しても同様の効果が得られる。 As described above, according to the second embodiment, as in the first embodiment, a stereo camera with a wide angle of view is used based on the measurement result of a chart of a predetermined size. region) can be corrected. By performing the correction according to the present embodiment, even with a wide-angle stereo camera, it is possible to perform pixel shift correction using a small-sized calibration chart that does not include the entire imaging range. In the present embodiment, the angle of view B1 is 0 degrees in the horizontal direction and −20 degrees in the vertical direction, and the angle of view B2 is 0 degrees in the horizontal direction and +20 degrees in the vertical direction. The same effect can be obtained by changing the field angle condition of .

［第３の実施の形態］
図１５を参照して、第３の実施の形態に係るステレオ画像処理装置を説明する。この第３の実施の形態のステレオ画像処理装置の概略構成は、第１の実施の形態（図１）と同様であってよい。ただし、この第３の実施の形態では、補正パラメータの導出の手順が第１の実施の形態とは異なっている。図１５は、第３の実施の形態に係るステレオ画像処理装置のフロントガラスの補正パラメータを求めるためのフローチャートを示している。第１の実施の形態との違いは、フロントガラス越しに校正チャートを撮像し、その撮像された画像に基づいてシフト量を推測することである。 [Third embodiment]
A stereo image processing apparatus according to the third embodiment will be described with reference to FIG. The schematic configuration of the stereo image processing apparatus of the third embodiment may be the same as that of the first embodiment (FIG. 1). However, in the third embodiment, the procedure for deriving correction parameters is different from that in the first embodiment. FIG. 15 shows a flow chart for obtaining correction parameters for the windshield of the stereo image processing apparatus according to the third embodiment. The difference from the first embodiment is that the calibration chart is imaged through the windshield and the shift amount is estimated based on the imaged image.

最初にフロントガラス越しにカメラ６０で校正チャートを撮像する（Ｆ３０１）。ただし、カメラ６０と校正チャートの相対位置・姿勢を変化させて複数回撮像が行われる。 First, the camera 60 takes an image of the calibration chart through the windshield (F301). However, imaging is performed multiple times while changing the relative position/orientation of the camera 60 and the calibration chart.

次に、非特許文献１（Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library Adrian Kaehler, Gary Bradski）に従って、撮像された校正チャートの複数枚の画像と、所定画角の実際の校正チャートのサイズとの違いを検出する（Ｆ３０２）。例えば、本実施の形態では、水平画角－２０度～＋２０度、垂直画角－２０度～＋２０度の範囲において撮像された校正チャートの複数の画像と、その画角での校正チャートのサイズとを比較し、その違いを検出する。その違いに基づいて、所定画角の範囲での画素シフト量を測定することができる。 Next, according to Non-Patent Document 1 (Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library Adrian Kaehler, Gary Bradski), multiple images of the captured calibration chart and the size of the actual calibration chart with a predetermined angle of view is detected (F302). For example, in the present embodiment, a plurality of images of a calibration chart captured within a horizontal angle of view of −20 degrees to +20 degrees and a vertical angle of view of −20 degrees to +20 degrees, and the size of the calibration chart at that angle of view. to detect the difference. Based on the difference, it is possible to measure the pixel shift amount within the range of the predetermined angle of view.

次に、画角Ｂ（水平画角０度、垂直画角－２０度）でのシフト量と、図６の相関関数から、画角Ａ（水平画角－６０度、垂直画角０度）のシフト量を推測する（Ｆ３０３）。そして、第１の実施の形態と同様に、水平画角－２０度～＋２０度での測定結果と、画角Ａの垂直方向のシフト量を用いて補正関数Ｃ１００を導き出す（Ｆ３０４）。そして、フロントガラスがないときのアフィン処理のパラメータとこの補正関数Ｃ１００を基に、アフィン処理手段２０ａおよびアフィン処理手段２０ｂで補正を行う。このように本実施の形態の補正を行うことで、広画角のステレオカメラであっても、小さなサイズのチャートを用いてフロントガラスの補正を行うことができる。なお、非特許文献１の方式は、広画角になるほど測定回数が増え、計算負荷も大きくなる。しかし、本実施の形態の補正を行うことで、検出する画角を小さくできるので、少ない測定回数で補正を実現することできる。本実施形態の方式は、例えばディーラー整備工場などの大規模な設備を導入できない場合に適している。 Next, from the shift amount at the angle of view B (horizontal angle of view of 0 degrees, vertical angle of view of -20 degrees) and the correlation function in FIG. is estimated (F303). Then, similarly to the first embodiment, the correction function C100 is derived using the measurement results at the horizontal angle of view of −20 degrees to +20 degrees and the vertical shift amount of the angle of view A (F304). Then, based on the affine processing parameters when there is no windshield and this correction function C100, correction is performed by the affine processing means 20a and 20b. By performing the correction according to the present embodiment in this way, it is possible to correct the windshield using a small-sized chart even with a wide-angle stereo camera. In the method of Non-Patent Document 1, the wider the angle of view, the greater the number of measurements and the greater the calculation load. However, by performing the correction according to the present embodiment, the angle of view to be detected can be made small, so correction can be achieved with a small number of measurements. The method of the present embodiment is suitable, for example, when large-scale equipment such as a dealer's repair shop cannot be introduced.

［第４の実施の形態］
図１６を参照して、第４の実施の形態に係るステレオ画像処理装置を説明する。この第４の実施の形態のステレオ画像処理装置の概略構成は、第１の実施の形態（図１）と同様であってよい。ただし、この第４の実施の形態では、補正パラメータの導出の手順が第１の実施の形態とは異なっている。 [Fourth embodiment]
A stereo image processing apparatus according to the fourth embodiment will be described with reference to FIG. The schematic configuration of the stereo image processing apparatus of the fourth embodiment may be the same as that of the first embodiment (FIG. 1). However, in the fourth embodiment, the procedure for deriving correction parameters is different from that in the first embodiment.

図１６は、第４の実施の形態に係るステレオ画像処理装置のフロントガラスの補正パラメータを求めるためのフローチャートを示している。前述の実施の形態は、垂直方向の画素シフト量の補正を行うのに対し、第４の実施の形態は、水平方向の画素シフトの補正を行う。単独視野領域の水平方向の像のずれは測距には影響しないが、対象物を検出した画像の水平位置がずれるため、交差点などの衝突判定などに影響する。第４の実施の形態では、単独視野領域の水平方向の画素シフトを補正する。 FIG. 16 shows a flow chart for obtaining correction parameters for the windshield of the stereo image processing apparatus according to the fourth embodiment. While the above embodiment corrects the amount of pixel shift in the vertical direction, the fourth embodiment corrects the amount of pixel shift in the horizontal direction. The horizontal image shift in the single visual field area does not affect distance measurement, but the horizontal position shift of the image in which the object is detected affects collision detection at intersections and the like. In a fourth embodiment, the horizontal pixel shift of the single viewing area is corrected.

図１７は、フロントガラスによる水平方向の画素シフトの計算結果を示している。計算条件は第１の実施の形態と同様であり、縦軸は、垂直画角０度の位置での水平方向の画素シフト量を示している。また、図１７は、アフィン処理手段２０ａによって（ｆｔａｎθｘ、ｆｔａｎθｙ）への射影変換がされた後、左右単眼画像生成部３００で処理された後の垂直画角０度の位置での水平方向の画素シフト量を示している。 FIG. 17 shows the calculated horizontal pixel shift due to the windshield. Calculation conditions are the same as in the first embodiment, and the vertical axis indicates the horizontal pixel shift amount at the vertical angle of view of 0 degrees. FIG. 17 shows the horizontal pixel at the vertical angle of view of 0 degrees after the projective transformation to (ftan θx, ftan θy) is performed by the affine processing means 20a and then processed by the left and right monocular image generation unit 300. It shows the amount of shift.

図１７より、水平方向の画素シフト量は、水平方法の画角に対し非線形に変化することがわかる。特に広画角領域での画素シフト量が非常に大きい。このため、例えば水平画角－２０度～＋２０度の水平方向の画素シフトを検出したとしても広角側（水平画角－６０～－２０度および＋２０度～＋６０度）を推測するのは難しい。特に測定誤差などにより誤差が生じた場合、補正値は大きく変化すると考えられる。 From FIG. 17, it can be seen that the pixel shift amount in the horizontal direction changes non-linearly with respect to the angle of view in the horizontal direction. Especially, the amount of pixel shift is very large in the wide field angle area. Therefore, even if a horizontal pixel shift of -20 degrees to +20 degrees is detected, it is difficult to estimate the wide angle side (-60 to -20 degrees and +20 to +60 degrees). In particular, when an error occurs due to measurement error or the like, the correction value is considered to change greatly.

図１８は、アフィン処理手段２０ａによって、（ｆｓｉｎθｘ、ｆｓｉｎθｙ）に変換された後、左右単眼画像生成部３００で処理された後の垂直画角０度の位置での水平方向の画素シフト量を示している。本図は図１７と異なり、広画角も含め、略線形にとなっている。フロントガラスの形状が曲面になっているため、発散するｔａｎ関数ではなく、ｓｉｎ関数による座標系に変換する方がよい。これは、スネルの法則がｓｉｎ成分で示されるため、その影響がｓｉｎ関数に対して略線形に依存していると考える。本実施の形態では、この特性を利用して補正を行う。 FIG. 18 shows the horizontal pixel shift amount at the vertical angle of view of 0 degrees after being converted into (fsin θx, fsin θy) by the affine processing means 20a and processed by the left and right monocular image generation unit 300. ing. Unlike FIG. 17, this figure is substantially linear including the wide angle of view. Since the shape of the windshield is a curved surface, it is better to convert to a coordinate system using a sine function rather than a diverging tan function. Since Snell's law is represented by a sine component, it is considered that its influence depends substantially linearly on the sine function. In the present embodiment, correction is performed using this characteristic.

図１６は、第４の実施の形態に係るステレオ画像処理装置のフロントガラスの補正パラメータを求めるためのフローチャートを示している。説明を簡単にするため、垂直画角０度での画素シフト量の補正を例として説明する。この第２の実施の形態では、２つのアフィン処理手段を用いて補正関数を求める。 FIG. 16 shows a flow chart for obtaining correction parameters for the windshield of the stereo image processing apparatus according to the fourth embodiment. In order to simplify the explanation, the correction of the pixel shift amount at the vertical angle of view of 0 degree will be explained as an example. In this second embodiment, two affine processing means are used to determine the correction function.

最初に、画像処理装置１０を車両（フロントガラス無し）に搭載する（Ｆ４０１）。次に校正チャートを画像処理装置１０で撮像し（Ｆ４０２）、アフィン処理で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に第１射影変換を行う（Ｆ４０３）。本実施の形態の校正チャートは、撮像対象である全画角（例えば－６０度～＋６０度）ではなく、例えば、水平画角－２０度～＋２０度、垂直画角－２０度～＋２０度の範囲をステレオカメラで計測可能な程度の大きさを有する校正チャートである。 First, the image processing apparatus 10 is mounted on a vehicle (without windshield) (F401). Next, the calibration chart is imaged by the image processing apparatus 10 (F402), and the first projective transformation is performed on the coordinate system of (fsin θx, fsin θy) by affine processing (F403). The calibration chart of the present embodiment is not for the full angle of view (for example, -60 degrees to +60 degrees), but for example, the horizontal angle of view -20 degrees to +20 degrees and the vertical angle of view -20 degrees to +20 degrees. It is a calibration chart having a size that allows the range to be measured with a stereo camera.

そして、フロントガラスを車両に搭載（Ｆ４０４）し、フロントガラス越しに校正チャートを撮像する（Ｆ４０５）。次に、その撮像された構成チャートの画像について、アフィン処理で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に第１射影変換を行う（Ｆ４０６）。その後、左右単眼画像生成部３００で処理された後のそして、フロントガラス無しで撮像した第１射影変換後の校正チャートの画像と、フロントガラス越しに撮影された第１射影変換後の校正チャートの画像を比較し、所定画角、例えば水平画角－２０度～＋２０度での垂直方向の画素シフト量を測定する（Ｆ４０７）。そして、図１９に示すように、水平画角－２０度～＋２０度の画素シフト量から線形近似し、広画角を含む補正関数Ｃ４００を求める（Ｆ４０８）。ここで、この画像は、画像上の水平線が等距離になっていないので、本実施の形態では第２射影変換を行う。次に、この補正関数Ｃ４００にアフィン処理で、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系に第一射影変換を行い、補正関数Ｃ４０１を求める（Ｆ４０９）。そして、フロントガラスがないときのアフィン処理のパラメータと、この補正関数Ｃ４０１を基に、アフィン処理手段２０ａおよびアフィン処理手段２０ｂで補正を行う。 Then, the windshield is mounted on the vehicle (F404), and the calibration chart is imaged through the windshield (F405). Next, the captured image of the configuration chart is subjected to a first projective transformation to the coordinate system of (fsin θx, fsin θy) by affine processing (F406). Then, after being processed by the left and right monocular image generation unit 300, the image of the calibration chart after the first projective transformation captured without the windshield and the calibration chart after the first projective transformation captured through the windshield. The images are compared and the pixel shift amount in the vertical direction is measured at a predetermined field angle, for example, a horizontal field angle of -20 degrees to +20 degrees (F407). Then, as shown in FIG. 19, a correction function C400 including a wide angle of view is obtained by linear approximation from the pixel shift amount of -20 degrees to +20 degrees of the horizontal angle of view (F408). Here, in this image, since the horizontal lines on the image are not equidistant, the second projective transformation is performed in this embodiment. Next, the correction function C400 is subjected to the first projective transformation to the coordinate system (ftan θx, ftan θy) by affine processing to obtain the correction function C401 (F409). Then, based on the affine processing parameters when there is no windshield and this correction function C401, correction is performed by the affine processing means 20a and 20b.

以上説明したように、第４の実施の形態では、フロントガラスによる水平方向の画素シフトを補正するため、２つの射影変換を行う。第１射影変換では、検出した画像を（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に変換し、画素シフトを検出する。そして、広画角の補正関数Ｃ４００を推測する。次に、第２射影変換では、画素シフトを射影変換し、アフィン処理を行う補正関数Ｃ４０１を求める。 As described above, in the fourth embodiment, two projective transformations are performed in order to correct the horizontal pixel shift caused by the windshield. In the first projective transformation, the detected image is transformed into the (fsin θx, fsin θy) coordinate system to detect the pixel shift. Then, the wide angle of view correction function C400 is estimated. Next, in the second projective transformation, the pixel shift is projectively transformed to obtain a correction function C401 that performs affine processing.

図２０は、第４の実施の形態の補正の効果を示したグラフである。図２０では、ばらつき無し条件での補正前と補正後を示している。図２０より、２つの射影変換を用いることにより、水平方向の画素シフト量が大幅に抑制できることが分かる。 FIG. 20 is a graph showing the correction effect of the fourth embodiment. FIG. 20 shows before and after correction under the no-variation condition. From FIG. 20, it can be seen that the horizontal pixel shift amount can be greatly reduced by using two projective transformations.

なお、本実施の形態では第一射影変換で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に変換したが、これには限定されない。例えば（ｆθｘ、ｆθｙ）、（２ｆｓｉｎθｘ／２、２ｆｓｉｎθｙ／２）、（２ｆｔａｎθｘ／２、２ｆｔａｎθｙ／２）であっても効果の程度は異なるが同様の効果を得ることができる。フロントガラスの曲率や傾きに依存するが、例えば垂直画角が大きくなる（－２０度や－３０度）と線形性が崩れてしまうため、本補正の効果が低減してしまう。ただし、そのような状態であっても本補正の効果は得られる。また、第一射影変換での補正関数Ｃ４００は、これに対応するために非線形であってもよい。そして、本実施の形態では、実施の形態１のようなばらつきについては説明しなかったが、ばらつきがあったとしても同様に補正関数Ｃ４０１で補正することで同様の効果が得られる。 In the present embodiment, the coordinate system is transformed into (fsin θx, fsin θy) in the first projective transformation, but the present invention is not limited to this. For example, (fθx, fθy), (2f sin θx/2, 2fsin θy/2), and (2ftan θx/2, 2ftan θy/2) can provide similar effects, although the degree of effect is different. Although it depends on the curvature and inclination of the windshield, for example, if the vertical angle of view increases (-20 degrees or -30 degrees), the linearity will be lost, and the effect of this correction will be reduced. However, even in such a state, the effect of this correction can be obtained. Also, the correction function C400 in the first projective transformation may be non-linear to accommodate this. In the present embodiment, the variation as in the first embodiment was not described, but even if there is variation, similar effects can be obtained by correcting with the correction function C401.

また、本実施の形態では、第１の実施の形態と同じ方法で水平方向の画素シフトを求めたが、第２の実施の形態、第３の実施の形態と同じ方法で水平方向の画素シフトを求めてもよい。第１～第４の実施の形態を組み合わせて、水平、垂直方向画素シフトの補正を同時に実行してもよい。 Further, in the present embodiment, the horizontal pixel shift is obtained by the same method as in the first embodiment, but the horizontal pixel shift is obtained by the same method as in the second and third embodiments. may be asked for. The first to fourth embodiments may be combined to simultaneously correct horizontal and vertical pixel shifts.

なお、上記の第４の実施の形態では、特許文献１に記載の装置と同様に、ステレオ視領域、単独視領域を設定し、両者と統合したハイブリッド画像に基づくモデルを採用した例を説明した。２つの射影変換を使って、広画角の水平方向の画素シフトを推測するという観点は、共通視野領域しか持たない通常のステレオカメラでも適用可能である。また、同様の補正は、単眼カメラにも適用することができる。例えば、単眼カメラを用いる場合には、単眼カメラの画像を、第一射影変換で（ｆｓｉｎθｘ、ｆｓｉｎθｙ）の座標系に変換し、その後、画素シフト量の測定結果を、第二射影変換で（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系に変換することで、フロントガラスによる画素シフトを抑制した（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系の画像を得ることができる。この処理については、車両製造時、ガラス交換時、車両検査時に行えばよいだけなので、処理に時間がかかることは問題とならない。また、計算量は多くなるが、第一射影変換後に補正を行い、その結果を第二射影変換する処理を組み込んでも同様の効果は得られる。 It should be noted that, in the above-described fourth embodiment, as in the device described in Patent Document 1, a stereoscopic viewing region and a single viewing region are set, and an example is described in which a model based on a hybrid image that integrates both is adopted. . The aspect of using two projective transformations to estimate horizontal pixel shifts for wide viewing angles is also applicable to ordinary stereo cameras that only have a common field of view. A similar correction can also be applied to a monocular camera. For example, when using a monocular camera, the image of the monocular camera is transformed into the coordinate system of (f sin θx, fsin θy) by the first projective transformation, and then the measurement result of the pixel shift amount is transformed by the second projective transformation (ftan θx , ftan θy), it is possible to obtain an image in the (ftan θx, ftan θy) coordinate system in which the pixel shift due to the windshield is suppressed. This processing can be performed only when the vehicle is manufactured, when the glass is replaced, and when the vehicle is inspected. Further, although the amount of calculation increases, the same effect can be obtained by incorporating the process of performing correction after the first projective transformation and performing the second projective transformation on the result.

＜変形例＞
本発明は上記した実施形態に限定されるものではなく、上記以外の様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。特にフロントガラスによる画素シフトの補正については、アフィン処理部には限定されず、例えば、ハイブリッド立体物検知部６００であってもよいし、ソフト的な処理でもよい。ソフト処理を行う場合には、対象物の水平位置から補正関数を用いて画素シフト量を求め、単独視野領域の測距を行うときにオフセットとして処理すればよい。 <Modification>
The present invention is not limited to the above-described embodiments, and includes various modifications other than those described above. For example, the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations. Also, part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Moreover, it is possible to add, delete, or replace a part of the configuration of each embodiment with another configuration. In particular, the correction of the pixel shift due to the windshield is not limited to the affine processing unit, and may be performed by the hybrid three-dimensional object detection unit 600, or by software processing. When software processing is performed, the pixel shift amount is obtained from the horizontal position of the object using a correction function, and processed as an offset when performing distance measurement for the single visual field area.

１…フロントガラス
１０…画像処理装置
５０…右カメラ
６０…左カメラ
２０ａ…アフィン処理手段
２０ｂ…アフィン処理手段
２００…ステレオ視差画像生成部
３００…左右単眼画像生成部
４００…路面断面形状推定部
５００…ステレオ視立体物検知部
６００…ハイブリッド立体物検知部 REFERENCE SIGNS LIST 1 windshield 10 image processing device 50 right camera 60 left camera 20a affine processing means 20b affine processing means 200 stereo parallax image generation unit 300 left and right monocular image generation unit 400 road cross-sectional shape estimation unit 500 Stereoscopic three-dimensional object detection unit 600 ... hybrid three-dimensional object detection unit

Claims (7)

複数のカメラにより対象物を撮像する撮像部と、
前記撮像部により撮像した複数の画像のステレオマッチングを行い視差を検出するステレオマッチング部と、
前記対象物を撮像したときの画素シフトを補正する画素シフト補正処理部と、
を備え、
前記撮像部の画角について、第１の画角範囲と、前記第１の画角範囲より水平方向に広角側である第２の画角範囲があり、
前記画素シフト補正処理部は、前記第１の画角範囲で求められた画素シフト量に基づき、前記第２の画角範囲の画素シフトを補正する処理を行う
ことを特徴とするステレオ画像処理装置。 an imaging unit that images an object using a plurality of cameras;
a stereo matching unit that performs stereo matching of a plurality of images captured by the imaging unit and detects parallax;
a pixel shift correction processing unit that corrects a pixel shift when the object is imaged;
with
The angle of view of the imaging unit includes a first angle of view range and a second angle of view range horizontally wider than the first angle of view range,
The stereo image processing device, wherein the pixel shift correction processing unit performs processing for correcting the pixel shift in the second angle of view range based on the pixel shift amount obtained in the first angle of view range. . 前記画素シフト補正処理部は、
前記第１の画角範囲における垂直方向の画素シフト量と、前記第２の画角範囲における画素シフト量との相関情報を予め有し、
前記第１の画角範囲における垂直方向の画素シフト量を測定し、測定された前記第１の画角範囲における垂直方向の画素シフト量と、前記相関情報とに基づき、前記第２の画角範囲における垂直方向の画素シフト量を推定する、請求項１に記載のステレオ画像処理装置。 The pixel shift correction processing unit
having in advance correlation information between the vertical pixel shift amount in the first field angle range and the pixel shift amount in the second field angle range;
measuring the vertical pixel shift amount in the first field angle range, and calculating the second field angle based on the measured vertical pixel shift amount in the first field angle range and the correlation information; 2. A stereo image processing apparatus according to claim 1, wherein the amount of vertical pixel shift in the range is estimated. 前記画素シフト補正処理部は、前記第２の画角範囲における垂直方向の画素シフト量の推定値と、前記第１の画角範囲における画素シフト量とに基づき、前記画素シフト量の補正関数を演算する、請求項２に記載のステレオ画像処理装置。 The pixel shift correction processing unit calculates a correction function for the pixel shift amount based on an estimated vertical pixel shift amount in the second angle range and the pixel shift amount in the first angle range. 3. The stereo image processing device according to claim 2, which performs computation. 前記画素シフト補正処理部は、前記第１の画角範囲における画素シフト量を、校正チャートを前記撮像部で撮像して得られた複数の画像を比較することにより測定する、請求項２に記載のステレオ画像処理装置。 3. The pixel shift correction processing unit according to claim 2, wherein the pixel shift amount in the first view angle range is measured by comparing a plurality of images obtained by imaging a calibration chart with the imaging unit. stereo image processor. 前記画素シフト補正処理部は、フロントガラスを介さずに前記校正チャートを撮像した第１の画像と、前記フロントガラスを介して前記校正チャートを撮像した第２の画像とを比較することにより、前記第１の画角範囲における画素シフト量を測定する、請求項４に記載のステレオ画像処理装置。 The pixel shift correction processing unit compares a first image obtained by imaging the calibration chart without passing through the windshield and a second image obtained by imaging the calibration chart through the windshield, thereby determining the 5. The stereo image processing device according to claim 4, which measures the pixel shift amount in the first field angle range. 前記画素シフト補正処理部は、校正チャートを撮像した画像と、前記校正チャートのパターンのサイズの情報とを用いて、前記撮像部の前記カメラと前記校正チャートとの間の距離を見積もるよう構成された、請求項１に記載のステレオ画像処理装置。 The pixel shift correction processing unit is configured to estimate a distance between the camera of the imaging unit and the calibration chart using an image obtained by capturing the calibration chart and information on the pattern size of the calibration chart. 2. The stereo image processing apparatus according to claim 1. 前記画素シフト補正処理部は、前記第１の画角範囲において検出した画像に対し第１射影変換を適用し、前記第１射影変換後の画像を比較して前記第１の画角範囲における画素シフト量を測定し、
測定された画素シフト量に基づいて求められた第１の補正関数に対し前記第１射影変換とは異なる第２射影変換を適用して第２の補正関数を求める、
請求項３に記載のステレオ画像処理装置。 The pixel shift correction processing unit applies a first projective transformation to the image detected in the first angle of view range, compares the images after the first projective transformation, and determines the pixels in the first angle of view range. Measure the amount of shift,
obtaining a second correction function by applying a second projective transformation different from the first projective transformation to the first correction function obtained based on the measured pixel shift amount;
4. The stereo image processing device according to claim 3.
JP2021004944A 2021-01-15 2021-01-15 Stereo image processing device and image correction means Active JP7436400B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021004944A JP7436400B2 (en) 2021-01-15 2021-01-15 Stereo image processing device and image correction means
DE112021005870.3T DE112021005870T5 (en) 2021-01-15 2021-09-08 STEREO IMAGE PROCESSING DEVICE AND IMAGE CORRECTION DEVICE
PCT/JP2021/032936 WO2022153593A1 (en) 2021-01-15 2021-09-08 Stereo image processing device and image correction means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021004944A JP7436400B2 (en) 2021-01-15 2021-01-15 Stereo image processing device and image correction means

Publications (2)

Publication Number Publication Date
JP2022109555A true JP2022109555A (en) 2022-07-28
JP7436400B2 JP7436400B2 (en) 2024-02-21

Family

ID=82447057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021004944A Active JP7436400B2 (en) 2021-01-15 2021-01-15 Stereo image processing device and image correction means

Country Status (3)

Country Link
JP (1) JP7436400B2 (en)
DE (1) DE112021005870T5 (en)
WO (1) WO2022153593A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834810B2 (en) 2011-11-17 2015-12-24 株式会社リコー Camera calibration apparatus, occupant support apparatus, and distortion coefficient generation method for camera calibration
JP2019132855A (en) 2014-01-31 2019-08-08 株式会社リコー Stereo camera calibration method, parallax calculation device, and stereo camera
JP6793608B2 (en) 2017-08-07 2020-12-02 日立オートモティブシステムズ株式会社 Stereo image processing device
JP7025912B2 (en) 2017-12-13 2022-02-25 日立Astemo株式会社 In-vehicle environment recognition device

Also Published As

Publication number Publication date
DE112021005870T5 (en) 2023-08-24
JP7436400B2 (en) 2024-02-21
WO2022153593A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
EP3100002B1 (en) Camera calibration method
WO2017135081A1 (en) Vehicle-mounted camera calibration system
KR100576526B1 (en) Distance measuring device
US6381360B1 (en) Apparatus and method for stereoscopic image processing
JP6602982B2 (en) In-vehicle camera, in-vehicle camera adjustment method, in-vehicle camera system
JP6327370B2 (en) Measuring tool, calibration method, calibration apparatus, and program
US5731902A (en) Head-up display combiner binocular test fixture
JP6209648B1 (en) Stereo camera installation parameter calibration method
CN110006634B (en) Viewing field angle measuring method, viewing field angle measuring device, display method and display equipment
JP6368933B2 (en) Overhead wire position measuring apparatus and method
JP7308227B2 (en) Image processing device, image processing method, and program
JP2013050352A (en) Method of adjusting installation of stereo camera, and stereo camera
KR101597163B1 (en) Method and camera apparatus for calibration of stereo camera
JP7436400B2 (en) Stereo image processing device and image correction means
JPH1183475A (en) Distance-measuring apparatus
JP7405710B2 (en) Processing equipment and in-vehicle camera equipment
JP6996582B2 (en) Calibration method, calibration equipment and program
JP6680335B2 (en) Stereo camera, vehicle, calculation method and program
WO2020016994A1 (en) Image distortion inspection device, image distortion inspection method, and program
WO2024122135A1 (en) Image processing device and image processing method
JP2020020667A (en) Distance measuring device and in-vehicle camera system
KR19990045027A (en) Distance measuring device
WO2023026626A1 (en) Signal processing device, signal processing system, signal processing method, and program
WO2024127591A1 (en) Camera calibration device and camera calibration method
WO2023058348A1 (en) Imaging device and parallax deviation correction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150