JP7492644B2 - Image Processing Device - Google Patents

Image Processing Device Download PDF

Info

Publication number
JP7492644B2
JP7492644B2 JP2023503353A JP2023503353A JP7492644B2 JP 7492644 B2 JP7492644 B2 JP 7492644B2 JP 2023503353 A JP2023503353 A JP 2023503353A JP 2023503353 A JP2023503353 A JP 2023503353A JP 7492644 B2 JP7492644 B2 JP 7492644B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
roll angle
angle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023503353A
Other languages
Japanese (ja)
Other versions
JPWO2022185579A1 (en
Inventor
雅幸 竹村
健 永崎
健 志磨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of JPWO2022185579A1 publication Critical patent/JPWO2022185579A1/ja
Application granted granted Critical
Publication of JP7492644B2 publication Critical patent/JP7492644B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両に搭載された撮像センサにより撮像された画像を処理する画像処理装置に関する。 The present invention relates to an image processing device that processes images captured by an imaging sensor mounted on a vehicle.

この種の画像処理装置として、移動体に搭載の撮像手段で移動体周囲の撮像画像を取得し、他の移動体を示す補正基準画像を検出し、撮像画像の画像領域を出力範囲として設定するように構成されたものが開示されている（特許文献１）。画像領域の出力範囲の設定は、出力範囲の移動または回転を行って補正するための補正量を、補正基準画像に基づいて算出することにより行われている。更に、算出された補正量に基づいて出力範囲の移動または回転を行って出力範囲を補正している。 One such type of image processing device is disclosed in which an image capture means mounted on a moving body captures an image of the surroundings of the moving body, detects a correction reference image showing other moving bodies, and sets the image area of the captured image as the output range (Patent Document 1). The output range of the image area is set by calculating a correction amount based on the correction reference image for correcting by moving or rotating the output range. Furthermore, the output range is corrected by moving or rotating it based on the calculated correction amount.

また、車両に搭載されたカメラと、水平面に対するカメラの姿勢を表すカメラ姿勢指標値を検出するカメラ姿勢検出器と、カメラ用検出結果記憶部と、カメラ姿勢指標値の最頻値に基づいてカメラの車両に対する取付姿勢を特定する取付姿勢特定部とを備えたものが開示されている（特許文献２）。Also disclosed is a device that includes a camera mounted on a vehicle, a camera attitude detector that detects a camera attitude index value that indicates the attitude of the camera relative to a horizontal plane, a camera detection result memory unit, and a mounting attitude identification unit that identifies the mounting attitude of the camera relative to the vehicle based on the most frequent camera attitude index value (Patent Document 2).

特開２０１０－１７７７８０号公報JP 2010-177780 A 特開２０１６－１４９７１１号公報JP 2016-149711 A

特許文献１に記載のものにおいては、撮像画像を補正する際に、他の移動体を示す補正基準画像が検出され、補正基準画像に基づいて補正量が算出されて出力範囲が設定されている。しかしながら、移動体の撮像手段と移動体が走行する走行路面との相対的な傾き角は、走行路面の傾き、移動体の積載状態、移動体の走行姿勢や搭乗者の員数や搭乗位置によって変化する。補正基準画像に基づいて撮像画像の補正量を算出するだけでは、撮像手段と走行路面との相対的な傾き角の変化に対応し難く、高い精度で立体物の検出や測距を行うことが難しいという問題がある。In the system described in Patent Document 1, when correcting a captured image, a correction reference image showing another moving body is detected, and the correction amount is calculated based on the correction reference image to set the output range. However, the relative inclination angle between the imaging means of the moving body and the road surface on which the moving body is traveling varies depending on the inclination of the road surface, the loading condition of the moving body, the traveling posture of the moving body, and the number and riding positions of passengers. Simply calculating the correction amount for the captured image based on the correction reference image makes it difficult to respond to changes in the relative inclination angle between the imaging means and the road surface, making it difficult to detect and measure distances to three-dimensional objects with high accuracy.

また、特許文献２に記載のものにおいては、カメラ姿勢検出器により水平面に対するカメラの姿勢を表すカメラ姿勢指標値が検出され、カメラ姿勢指標値の最頻値に基づいてカメラの車両に対する取付姿勢が特定される。しかしながら、カメラと車両が走行する走行路面との相対的な傾き角は、走行路面の傾き、移動体の積載状態、移動体の走行姿勢や搭乗者の員数や搭乗位置によって変化する。カメラ姿勢指標値に基づいてカメラの車両に対する取付姿勢を特定するだけでは、カメラと走行路面との相対的な傾き角の変化に対応し難く、高い精度で立体物の検出や測距を行うことが難しいという問題がある。
特に、画角の広い撮像手段を用いて自車前方を広い範囲に亘って撮像する場合には、自車に対する被撮像物の横位置が遠い程、撮像手段と走行路面との傾き角の影響が大きく、横位置の誤差が大きくなってしまうという問題がある。 In addition, in the system described in Patent Document 2, a camera attitude detector detects a camera attitude index value that indicates the attitude of the camera relative to a horizontal plane, and the mounting attitude of the camera relative to the vehicle is identified based on the most frequent value of the camera attitude index value. However, the relative inclination angle between the camera and the road surface on which the vehicle travels varies depending on the inclination of the road surface, the loading condition of the mobile body, the traveling attitude of the mobile body, and the number and riding positions of passengers. There is a problem that it is difficult to respond to changes in the relative inclination angle between the camera and the road surface, and it is difficult to detect and measure the distance to a three-dimensional object with high accuracy by simply identifying the mounting attitude of the camera relative to the vehicle based on the camera attitude index value.
In particular, when an imaging means with a wide angle of view is used to capture an image of a wide area in front of the vehicle, the farther the lateral position of the object to be imaged is from the vehicle, the greater the influence of the inclination angle between the imaging means and the road surface on which the vehicle is traveling, resulting in a problem of larger errors in the lateral position.

本発明は、このような問題を解決するためになされたもので、高い精度でカメラと走行路面との相対的な傾き角を補正することができる画像処理装置を提供することを課題とする。The present invention has been made to solve such problems, and its objective is to provide an image processing device that can correct the relative inclination angle between the camera and the road surface on which the vehicle is traveling with high accuracy.

本発明に係る画像処理装置は、
車両に搭載されたカメラで撮像された画像から、走行路面に対する前記カメラのカメラ傾き角を求めるカメラ傾き角算出部と、
前記車両の挙動と、前記車両の走行中に撮像された複数の前記画像からなる画像群を用いて、前記カメラ傾き角算出部により算出された前記カメラ傾き角を補正する補正値を求める傾き角補正値算出部と、
前記補正値を用いて、前記カメラで撮像された前記画像に対して画像処理を行う画像処理部と、
を有することを特徴とする。 The image processing device according to the present invention comprises:
a camera inclination angle calculation unit that calculates a camera inclination angle of the camera with respect to a road surface from an image captured by the camera mounted on the vehicle;
a tilt angle correction value calculation unit that calculates a correction value for correcting the camera tilt angle calculated by the camera tilt angle calculation unit, using a behavior of the vehicle and an image group consisting of a plurality of the images captured while the vehicle is traveling;
an image processing unit that performs image processing on the image captured by the camera using the correction value;
The present invention is characterized by having the following.

本発明によれば、比較的に広い画角のカメラにより検知され測距された立体物の撮像画像であっても、高い精度で撮像画像におけるカメラと走行路面との傾き角の補正をすることができる画像処理装置を提供することができる。 According to the present invention, it is possible to provide an image processing device that can correct the inclination angle between the camera and the road surface in an image with high accuracy, even when the image is of a three-dimensional object detected and distanced by a camera with a relatively wide angle of view.

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。Further features related to the present invention will become apparent from the description of this specification and the accompanying drawings. In addition, problems, configurations and effects other than those described above will become apparent from the description of the following embodiments.

実施形態に係る画像処理装置の構成図。FIG. 1 is a diagram showing the arrangement of an image processing apparatus according to an embodiment. 実施形態に係るステレオカメラ部が搭載された車両の正面図。1 is a front view of a vehicle equipped with a stereo camera unit according to an embodiment. 実施形態に係るステレオカメラ部の構成図。FIG. 2 is a configuration diagram of a stereo camera unit according to the embodiment. 実施形態に係る処理領域設定部の構成図。FIG. 4 is a diagram showing the arrangement of a processing area setting unit according to the embodiment. 実施形態に係る予測進行路算出部の図であり、図５（ａ）は、予測進行路の処理領域を説明する説明図を示し、図５（ｂ）は、視差値と投票数との関係を表すグラフを示し、図５（ｃ）は、左タイヤ進行路の３次元点群と走行路面の高さとの関係を表すグラフを示す。5A and 5B are diagrams of a predicted path calculation unit according to an embodiment, in which FIG. 5A shows an explanatory diagram illustrating the processing area of the predicted path, FIG. 5B shows a graph representing the relationship between the disparity value and the number of votes, and FIG. 5C shows a graph representing the relationship between the three-dimensional point cloud of the left tire path and the height of the road surface. 実施形態に係る相対ロール姿勢算出部の構成図。FIG. 4 is a configuration diagram of a relative roll attitude calculation unit according to the embodiment. 実施形態に係る３Ｄ点群から走行路面姿勢推定を説明する説明図。FIG. 4 is an explanatory diagram for explaining estimation of a traveling road surface posture from a 3D point cloud according to the embodiment. 実施形態に係るロール角誤差発生シーンを説明する説明図であり、図８（ａ）は、取付ロール角あり、走行路面ロール傾きなしの状態を示し、図８（ｂ）は、取付ロール角なし、走行路面ロール傾きありの状態を示し、図８（ｃ）は、取付ロール角なし、走行路面ロール傾きなし、偏り積載、片側搭乗ありの状態を示し、図８（ｄ）は、取付ロール角なし、走行路面ロール傾きなし、旋回時ロール角発生の状態を示す。8A is an explanatory diagram illustrating a scene in which a roll angle error occurs in the embodiment, FIG. 8A shows a state in which there is an attached roll angle and there is no roll inclination of the traveling road surface, FIG. 8B shows a state in which there is no attached roll angle and there is a roll inclination of the traveling road surface, FIG. 8C shows a state in which there is no attached roll angle, there is no roll inclination of the traveling road surface, there is uneven loading and there is boarding on one side, and FIG. 8D shows a state in which there is no attached roll angle, there is no roll inclination of the traveling road surface, and a roll angle occurs during turning. 実施形態に係るロール角誤差なしの理想取付状態を説明する説明図。FIG. 4 is an explanatory diagram for explaining an ideal mounting state without a roll angle error according to the embodiment. 実施形態に係るロール角誤差ありの場合を説明する説明図。FIG. 11 is an explanatory diagram illustrating a case where there is a roll angle error according to the embodiment. 実施形態に係るロール角誤差発生シーンを示す表。1 is a table showing scenes in which roll angle errors occur according to the embodiment. 実施形態に係るシーン型角度推定部の構成図。FIG. 2 is a configuration diagram of a scene-type angle estimation unit according to the embodiment. 実施形態に係る自車両進行路推定手法を説明する説明図。FIG. 2 is an explanatory diagram for explaining a vehicle travel path estimation method according to the embodiment; 実施形態に係るロール角推定モデル手法を説明する図であり、図１４（ａ）は、モデル式（１）を示し、図１４（ｂ）は、簡易化した手法のモデル式（２）を示す。14A and 14B are diagrams illustrating a roll angle estimation model method according to the embodiment, in which FIG. 14A shows model formula (1) and FIG. 14B shows model formula (2) of a simplified method. 実施形態に係るトラック旋回時ロールを説明する図であり、図１５（ａ）は、無積載時を示し、図１５（ｂ）は、満積載時を示す。15A and 15B are diagrams for explaining rolls when the truck turns according to the embodiment, where FIG. 15A shows an unladen state and FIG. 15B shows a fully laden state. 実施形態に係る検知測距部の構成図。FIG. 2 is a configuration diagram of a detection and ranging unit according to the embodiment. 実施形態に係る画像処理工程を示すフローチャート。4 is a flowchart showing an image processing process according to the embodiment.

以下、本発明に係る画像処理装置が適用された実施形態に係る画像処理装置１について図面を参照して説明する。Below, we will explain the image processing device 1 relating to an embodiment to which the image processing device of the present invention is applied, with reference to the drawings.

実施形態に係る画像処理装置１は、車両に取り付けられるカメラ装置の内部に設けられており、ＣＰＵやメモリなどのハードウェアと、ハードウェアにより実行されるソフトウエアプログラムによって構成されている。The image processing device 1 according to the embodiment is provided inside a camera device attached to a vehicle, and is composed of hardware such as a CPU and memory, and a software program executed by the hardware.

図１は、実施形態に係る画像処理装置の構成図である。
画像処理装置１は、図１に示すように、ステレオカメラ部１０と、処理領域設定部２０と、相対ロール姿勢算出部３０と、シーン型角度推定部４０と、検知測距部５０と、警報制御部６０とを有している。処理領域設定部２０は、走行路面とカメラの姿勢を計測するための処理領域を設定し、相対ロール姿勢算出部３０は、走行路面とカメラの姿勢を算出し、シーン型角度推定部４０は、カメラの撮像した画像をシーン別に管理しロール角を推定する。本実施形態に係る画像処理装置１におけるロール角は、本発明に係る画像処理装置における走行路面とカメラの傾き角または相対ロール角に対応する。 FIG. 1 is a configuration diagram of an image processing apparatus according to an embodiment.
1, the image processing device 1 has a stereo camera unit 10, a processing area setting unit 20, a relative roll attitude calculation unit 30, a scene-based angle estimation unit 40, a detection and ranging unit 50, and an alarm control unit 60. The processing area setting unit 20 sets a processing area for measuring the traveling road surface and the attitude of the camera, the relative roll attitude calculation unit 30 calculates the traveling road surface and the attitude of the camera, and the scene-based angle estimation unit 40 manages images captured by the camera by scene and estimates the roll angle. The roll angle in the image processing device 1 according to this embodiment corresponds to the inclination angle or relative roll angle of the traveling road surface and the camera in the image processing device according to the present invention.

次いで、検知測距部５０は、相対ロール姿勢算出部３０で算出されたロール角を、シーン型角度推定部で推定されたロール角によって補正する。そして、ロール角が補正された画像を用いて、自車両の周りの立体物の検知および測距を実行する。警報制御部６０では、検知された障害物の位置、姿勢および速度に基づいて自車両との衝突可能性、タイミングを計算し、警報や予防安全制御を実行する。Next, the detection and ranging unit 50 corrects the roll angle calculated by the relative roll attitude calculation unit 30 with the roll angle estimated by the scene-type angle estimation unit. Then, using the image with the corrected roll angle, it detects and measures distances to three-dimensional objects around the vehicle. The warning control unit 60 calculates the possibility and timing of a collision with the vehicle based on the position, attitude, and speed of the detected obstacle, and issues a warning and performs preventive safety control.

なお、実施形態に係る画像処理装置１における処理領域設定部２０、検知測距部５０および警報制御部６０は、本発明に係る画像処理装置の画像処理部に対応し、相対ロール姿勢算出部３０は、カメラ傾き角算出部に対応し、シーン型角度推定部４０は相対ロール角推定部に対応する。 In addition, the processing area setting unit 20, detection and ranging unit 50 and alarm control unit 60 in the image processing device 1 of the embodiment correspond to the image processing unit of the image processing device of the present invention, the relative roll attitude calculation unit 30 corresponds to the camera tilt angle calculation unit, and the scene-type angle estimation unit 40 corresponds to the relative roll angle estimation unit.

図２は、実施形態に係るステレオカメラ部が搭載された車両の正面図である。
ステレオカメラ部１０は、車載ステレオカメラからなり、図２に示すように、車両Ｃの前方に搭載されたフロントセンサとして構成されている。ステレオカメラ部１０は、車載ステレオカメラ以外のセンサであってもよく、例えば、カメラ単体や単眼カメラ、ＬｉＤａｒ（Light Detection and ranging）であってもよく、カメラとＬｉＤａｒを複合させた複合センサであってもよく、レーザを照射して反射光が帰ってくる時間から距離値を算出する測距センサ（ＴＯＦ：Time Of Flight）や、ミリ波とカメラとを複合させた複合センサなどのセンサであってもよい。中央のステレオカメラの左側に単眼カメラが配置され、右側に単眼カメラが配置されたものであってもよい。 FIG. 2 is a front view of a vehicle equipped with a stereo camera unit according to the embodiment.
The stereo camera unit 10 is composed of an on-board stereo camera, and is configured as a front sensor mounted in front of the vehicle C as shown in Fig. 2. The stereo camera unit 10 may be a sensor other than the on-board stereo camera, for example, a single camera, a monocular camera, LiDar (Light Detection and Ranging), a composite sensor combining a camera and LiDar, a ranging sensor (TOF: Time Of Flight) that irradiates a laser and calculates a distance value from the time it takes for reflected light to return, or a composite sensor combining a millimeter wave and a camera. A monocular camera may be arranged to the left of the central stereo camera, and a monocular camera may be arranged to the right.

図３は、実施形態に係るステレオカメラ部の構成図である。
ステレオカメラ部１０は、図３に示すように、左右カメラ部１１、ステレオマッチング部１２、３Ｄ点群生成部１３を備えている。左右カメラ部１１は、左カメラ、右カメラからなり、左右カメラ（以下、単にカメラという。）で撮像された画像を取得し、取得した画像を幾何、感度の補正をして、カメラで取得した画像がステレオマッチングするために必要な幾何的な補正である平行化を実行する。また、左右カメラ部１１は、左カメラおよび右カメラの色合い、輝度などが同じになるように設定する感度キャリブレーションを実行する。 FIG. 3 is a configuration diagram of a stereo camera unit according to the embodiment.
As shown in Fig. 3, the stereo camera unit 10 includes a left/right camera unit 11, a stereo matching unit 12, and a 3D point cloud generation unit 13. The left/right camera unit 11 is made up of a left camera and a right camera, and acquires images captured by the left and right cameras (hereinafter simply referred to as cameras), corrects the geometry and sensitivity of the acquired images, and performs parallelization, which is a geometric correction required for stereo matching of the images acquired by the cameras. In addition, the left/right camera unit 11 performs sensitivity calibration to set the color tone, brightness, etc. of the left camera and the right camera to be the same.

ステレオマッチング部１２は、左右カメラ部１１により感度と幾何のキャリブレーションが実行された後、左カメラおよび右カメラで取得した左右画像のステレオマッチングを実行する。ステレオマッチング部１２は、左カメラおよび右カメラで撮像された画像上で、同一物体が撮像されている画像上の位置を特定し、特定された各画像上の位置の差を視差画像として生成する。３Ｄ点群生成部１３は、ステレオマッチング部１２で生成された視差画像を用いて、所定間隔をおいて物体の表面を検出した３次元の点群を生成する（３次元点群生成部）。なお、実施形態のステレオマッチング部１２は、本発明に係る画像処理装置の画像処理部に対応する。After the left and right camera unit 11 performs sensitivity and geometric calibration, the stereo matching unit 12 performs stereo matching of the left and right images captured by the left and right cameras. The stereo matching unit 12 identifies positions on the images captured by the left and right cameras where the same object is captured, and generates a parallax image based on the difference between the identified positions on each image. The 3D point cloud generation unit 13 uses the parallax image generated by the stereo matching unit 12 to generate a three-dimensional point cloud that detects the surface of the object at a predetermined interval (three-dimensional point cloud generation unit). The stereo matching unit 12 in the embodiment corresponds to the image processing unit of the image processing device according to the present invention.

図４は、実施形態に係る処理領域設定部の構成図である。
処理領域設定部２０は、図４に示すように、予測進行路算出部２１と、進行路処理領域設定部２２と、レーン認識部２３とを備えている。処理領域設定部２０は、車両の走行路面を計測して走行路面と左右カメラ部１１の相対的な姿勢を計測するための処理領域を設定する。処理領域には、自車両前方の走行路が含まれており、ステレオマッチング部１２で生成された視差画像上における処理領域を設定する。 FIG. 4 is a configuration diagram of a processing region setting unit according to the embodiment.
4, the processing area setting unit 20 includes a predicted travel path calculation unit 21, a travel path processing area setting unit 22, and a lane recognition unit 23. The processing area setting unit 20 sets a processing area for measuring the travel road surface of the vehicle and measuring the relative attitudes of the travel road surface and the left and right camera units 11. The processing area includes the travel road ahead of the vehicle, and sets the processing area on the parallax image generated by the stereo matching unit 12.

なお、視差画像の全てを対象にして画像処理を実行してもよいが、立体物が入らない走行路面であることを前提に処理することで、処理負荷の軽減と、安定性の向上との両立が図られる。即ち処理領域設定部２０は、自車両が進行する先は、立体物が入らないことが多いということを前提として処理領域を設定する。処理領域設定部２０は、処理領域内に入ってしまう立体物などは排除する方式で処理領域を設定する。予測進行路算出部２１においては、自車両の車速、舵角、ヨー角から、自車両の進行路が予測される。なお、舵角は、操舵される車輪の車軸と直交する車輪の中心面と、車両の前後軸とのなす角度をいい、ヨー角は、自車両の前後軸と走行路面に固定された基準軸、例えば、路面固定座標系のＸ軸などの基準となる軸とのなす角度をいい、走行路面に対する自車両の相対的な進行方向を示す。 Although image processing may be performed on all parallax images, processing on the assumption that the road surface does not include three-dimensional objects can reduce the processing load and improve stability. That is, the processing area setting unit 20 sets the processing area on the assumption that there are often no three-dimensional objects ahead of the vehicle. The processing area setting unit 20 sets the processing area by excluding three-dimensional objects that may enter the processing area. The predicted traveling path calculation unit 21 predicts the traveling path of the vehicle from the vehicle speed, steering angle, and yaw angle. The steering angle refers to the angle between the center plane of the wheel perpendicular to the axle of the steered wheel and the front-rear axis of the vehicle, and the yaw angle refers to the angle between the front-rear axis of the vehicle and a reference axis fixed to the traveling road surface, for example, the X-axis of a road surface fixed coordinate system, and indicates the relative traveling direction of the vehicle with respect to the traveling road surface.

予測進行路算出部２１は、予測された進行路に基づいて、自車両の左右のタイヤがそれぞれ通過すると予測されるタイヤの進行路を推定する。The predicted travel path calculation unit 21 estimates the travel paths that the left and right tires of the vehicle are predicted to pass through based on the predicted travel path.

図５は、実施形態に係る予測進行路算出部について説明する図であり、図５（ａ）は、予測進行路の処理領域を説明する説明図を示し、図５（ｂ）は、視差値と投票数との関係を表すグラフを示し、図５（ｃ）は、左タイヤ進行路の３次元点群と走行路面の高さとの関係を表すグラフを示す。 Figure 5 is a diagram explaining the predicted path calculation unit in the embodiment, where Figure 5(a) shows an explanatory diagram explaining the processing area of the predicted path, Figure 5(b) shows a graph showing the relationship between the disparity value and the number of votes, and Figure 5(c) shows a graph showing the relationship between the three-dimensional point cloud of the left tire path and the height of the road surface.

進行路処理領域設定部２２は、左右タイヤの進行路領域と左右車線付近にそれぞれ処理領域を設定することで、夜間や雨天などの視差が出にくい環境のときを含めて、相対ロール角の推定を行う。The path processing area setting unit 22 estimates the relative roll angle by setting processing areas near the path areas of the left and right tires and the left and right lanes, respectively, even in environments where parallax is unlikely to occur, such as at night or in the rain.

進行路処理領域設定部２２において、図５（ａ）に示すように、自車両の車体幅、左右のタイヤ位置をベースにして、走行路面５１１において左右のタイヤ進行路を含む幅で予測進行路５１４に沿って延在する、左タイヤ進行路処理領域５２２と、右タイヤ進行路処理領域５２３と、左右の白線（車線）５１２、５１３を含む車線付近左処理領域５２４と、車線付近右処理領域５２５との４つの処理領域が設定される。In the path processing area setting unit 22, as shown in Figure 5 (a), four processing areas are set based on the vehicle body width and the left and right tire positions of the vehicle, extending along the predicted path 514 with a width including the left and right tire paths on the driving road surface 511: a left tire path processing area 522, a right tire path processing area 523, a left processing area near the lane 524 including the left and right white lines (lanes) 512, 513, and a right processing area near the lane 525.

これらのうち少なくとも２つの処理領域を使って、走行路面５１１に対するステレオカメラ部１０のロール角が算出される。また、各処理領域の近距離３０ｍ程度の範囲が走行路のロール解析に利用される。即ち後述する相対ロール姿勢算出部３０において、走行路面５１１と車両、つまり走行路面５１１とステレオカメラ部１０との相対的なロール姿勢が算出され、相対ロールの解析に利用される。At least two of these processing areas are used to calculate the roll angle of the stereo camera unit 10 relative to the traveling road surface 511. In addition, a short range of about 30 m of each processing area is used for roll analysis of the traveling road. That is, in the relative roll attitude calculation unit 30 described later, the relative roll attitude between the traveling road surface 511 and the vehicle, i.e., between the traveling road surface 511 and the stereo camera unit 10, is calculated and used for the analysis of the relative roll.

自車両の左右タイヤが通過すると予測される位置を処理領域とすることで、多くの場合、処理領域内に走行路面のみが入ることとなり、走行路面５１１とステレオカメラ部１０の相対姿勢を安定的に算出し易くなる。なお、先行車両や壁、電柱などの障害物がノイズとして、処理領域に入る場合も存在するが別途ノイズを除去するノイズ対策が実行される。By setting the position where the left and right tires of the vehicle are predicted to pass as the processing area, in many cases only the road surface is included in the processing area, making it easier to stably calculate the relative attitude of the road surface 511 and the stereo camera unit 10. Note that there are cases where obstacles such as preceding vehicles, walls, and utility poles enter the processing area as noise, but noise countermeasures are implemented separately to remove the noise.

また、走行路面の視差のみを対象とした場合には、夜間や夕方、悪天候時など、カメラの画質が劣化する状況においては、正しい視差が得られない状況が多く起こり得る。しかしながら、走行路面にはレーンが引かれていることを前提に、レーンが存在する付近にのみ、走行路面を解析するための処理領域を設定することにより、レーンの画像的な特徴を活用して算出された視差を活用して走行路面とカメラの相対姿勢を、安定的に算出することができる。 Furthermore, if only the disparity of the road surface is considered, there are many cases where the correct disparity cannot be obtained in situations where the image quality of the camera deteriorates, such as at night, in the evening, or in bad weather. However, by setting a processing area for analyzing the road surface only in the vicinity of the lanes, assuming that lanes are marked on the road surface, the relative attitude of the road surface and the camera can be stably calculated using the disparity calculated using the image characteristics of the lanes.

夜間であっても白線は画像上ではっきりと視認できることが多いため、夜間であっても安定的な視差を確保し易い。また、レーンは走行路面に描かれており、その部分には立体物が存在しないことが前提条件として利用できるため、レーン上の処理領域を設定するだけで多くの場合、立体物を排除しながら安定的な走行路とステレオカメラ部１０との相対姿勢を算出することができる。 Since white lines are often clearly visible on images even at night, it is easy to ensure stable parallax even at night. In addition, lanes are drawn on the road surface, and the absence of three-dimensional objects in those areas can be used as a prerequisite. Therefore, simply by setting a processing area on the lane, in many cases it is possible to calculate a stable relative attitude between the road and the stereo camera unit 10 while eliminating three-dimensional objects.

レーン認識部２３では、走行路面上に存在するレーンの位置を認識する。進行路処理領域設定部２２では、レーン認識部２３で認識された結果をそのまま活用して、レーン上で得られた視差を活用するために、レーン認識結果に左右幅を持たせた処理領域として、前述の図５（ａ）に示す各領域５２４、５２５が設定される。この処理領域５２４、５２５内には、少なくとも白線と走行路面の境界の画像的なエッジ部分で算出された視差が利用できる可能性が高く、この視差を活用するために、進行路処理領域設定部２２において処理領域が設定される。The lane recognition unit 23 recognizes the position of the lane on the road surface. The path processing area setting unit 22 uses the results recognized by the lane recognition unit 23 as is, and in order to utilize the parallax obtained on the lane, the areas 524, 525 shown in FIG. 5(a) are set as processing areas that have a lateral width in the lane recognition results. Within these processing areas 524, 525, there is a high possibility that the parallax calculated at least in the image edge portion of the boundary between the white line and the road surface can be used, and in order to utilize this parallax, the processing area is set in the path processing area setting unit 22.

図６は、実施形態に係る相対ロール姿勢算出部の構成図である。
相対ロール姿勢算出部３０は、図６に示すように、領域別最頻値抽出部３１と、ノイズ除去部３２と、領域別利用判断部３３と、相対姿勢算出部３４と、信頼度算出部３５とを有している。相対ロール姿勢算出部３０は、進行路処理領域設定部２２で設定された処理領域内の走行路面の３次元位置、即ちカメラの視差から求められた３Ｄ点群を活用して、そのフレームにおける、走行路面とカメラとの相対的なロール姿勢を算出し、相対ロールの解析を実行する。相対ロール姿勢算出部３０は、ロール、ピッチ、ヨーの各姿勢の角度をそれぞれ算出する。なお、算出されたロール角は、瞬間的なカメラと走行路面の相対的なロール角であり、誤差も多く含まれている。 FIG. 6 is a configuration diagram of a relative roll attitude calculation unit according to the embodiment.
As shown in Fig. 6, the relative roll attitude calculation unit 30 has an area-specific mode extraction unit 31, a noise removal unit 32, an area-specific utilization determination unit 33, a relative attitude calculation unit 34, and a reliability calculation unit 35. The relative roll attitude calculation unit 30 uses the three-dimensional position of the road surface in the processing area set by the travel path processing area setting unit 22, i.e., a 3D point cloud obtained from the parallax of the camera, to calculate the relative roll attitude between the road surface and the camera in that frame, and performs analysis of the relative roll. The relative roll attitude calculation unit 30 calculates the angles of the roll, pitch, and yaw attitudes. The calculated roll angle is the instantaneous relative roll angle between the camera and the road surface, and contains a large amount of error.

カメラの視差から求められた３Ｄ点群は、視差算出時に、テクスチャ自体に特徴が少なく、マッチング結果をノイズと判定して削除されているものもあるが、３Ｄ位置に誤差が含まれている点も残っている。そこで、このノイズの影響をできる限り小さくするために、図５（ａ）に示すように設定された４つの処理領域に対して、それぞれ、視差画像上の横方向に３Ｄ点群を解析する。 The 3D point clouds obtained from the camera parallax have few texture features when the parallax is calculated, and some matching results are determined to be noise and deleted, but some still contain errors in the 3D positions. Therefore, in order to minimize the effects of this noise, the 3D point clouds are analyzed in the horizontal direction on the parallax image for each of the four processing areas set as shown in Figure 5(a).

なお、ある程度幅が狭く、奥行き方向に延びる処理領域において横方向に並ぶ視差は、同一の奥行きである視差が並ぶ。ロール角があることによる誤差もあるが、処理領域幅をある程度抑制することで奥行きがほぼ同一の点群となる。また、ロール角による誤差があったとしても最頻値は処理領域中央の奥行きが選定される可能性が高いと考えられる。 Note that disparities that are lined up horizontally in a processing area that is relatively narrow and extends in the depth direction are lined up with disparities that are the same depth. Although there is some error due to the roll angle, by restricting the width of the processing area to a certain extent, a point cloud with almost the same depth will be obtained. Furthermore, even if there is an error due to the roll angle, it is highly likely that the depth at the center of the processing area will be selected as the most frequent value.

領域別最頻値抽出部３１は、視差値と投票数の関係を表す図５（ｂ）に示されるように、処理領域中央で最頻値の奥行きとなる３Ｄ点群を選び、誤差の少ない処理領域中央の奥行きとして利用することで、視差誤差の少ない安定した３次元の点を設定することができる。As shown in Figure 5 (b), which shows the relationship between disparity value and number of votes, the region-specific mode extraction unit 31 selects a 3D point group that is the depth of the most frequent value at the center of the processing region, and uses this as the depth of the center of the processing region with little error, thereby making it possible to set a stable three-dimensional point with little parallax error.

図５（ｂ）のグラフは、矢印１本分の処理を表しており、横方向に１本をたどると奥行きが同じ距離なので、例えば、１０ｍで、位置視差は１０ｍになっている。したがって、同じ視差値に投票されるはずのものが、ノイズなどの影響で投票数が多少分散している。全本数について１本の処理と同様に処理しそれぞれの最頻値を選ぶことにより、正しい視差値、即ち自車両からの距離が得られる。走行路面が凹凸のない平坦な場合で、ノイズの影響がない場合には、図５（ｂ）のグラフは、最頻値のみに投票され、最頻値のみが表示されることになる。 The graph in Figure 5(b) shows the processing for one arrow, and tracing one arrow horizontally gives the same depth distance, so for example, at 10m, the position disparity is 10m. Therefore, although the same disparity value should be voted for, the number of votes is somewhat dispersed due to the influence of noise, etc. By processing all the arrows in the same way as for one arrow and selecting the most frequent value for each, the correct disparity value, i.e., the distance from the vehicle, can be obtained. If the road surface is flat and without bumps, and there is no influence of noise, the graph in Figure 5(b) will only vote for the most frequent value, and only the most frequent value will be displayed.

領域別最頻値抽出部３１は、この３次元の点を視差画像上の横方向毎に選定することで、左タイヤ進行路３次元点群と走行路面の高さの関係を表す図５（ｃ）に示すように、奥行き別の走行路面の高さ、奥行きを算出することができる。図５（ｃ）に示す例では、複数の黒丸が、横矢印線に沿って並んでおり、矢印方向に行くほど走行路面の高さが高くなっている。このような算出を処理領域別に実行することで、４本の３次元点群を算出する。なお、図５（ｃ）のグラフは、一瞬の状況を表している。また、走行路面の高さは、カメラから見ての走行路面の高さを表している。 By selecting these three-dimensional points for each horizontal direction on the parallax image, the area-specific mode extraction unit 31 can calculate the height and depth of the road surface for each depth, as shown in FIG. 5(c), which shows the relationship between the left tire travel path three-dimensional point cloud and the height of the road surface. In the example shown in FIG. 5(c), multiple black circles are lined up along the horizontal arrow line, and the height of the road surface increases as you go in the direction of the arrow. By performing such calculations for each processing area, four three-dimensional point clouds are calculated. Note that the graph in FIG. 5(c) shows the situation at a moment. Also, the height of the road surface represents the height of the road surface as seen by the camera.

ノイズ除去部３２は、領域別最頻値抽出部３１で選ばれた最頻値について、視差算出時にノイズでないとされた視差自体は少ない場合、即ち横方向に解析した点群自体の数が極めて少ない場合には、その最頻値を利用不可と判断する。一方、３次元点の数自体は多くあったとしても、ノイズ除去部３２は、視差別にヒストグラム化した場合に、全体的にばらけた視差値に投票される場合には、どの位置姿勢が信頼できる視差かの判断が困難であるため、この視差もノイズ対象として削減する。 The noise removal unit 32 determines that the most frequent value selected by the area-specific mode extraction unit 31 cannot be used if the disparity itself that is determined to be non-noise during disparity calculation is small, that is, if the number of point groups analyzed horizontally is extremely small. On the other hand, even if the number of 3D points itself is large, the noise removal unit 32 also reduces this disparity as a noise target if disparity values that are generally scattered are voted for when a histogram is created for disparity, since it is difficult to determine which position and orientation is a reliable disparity.

また、ノイズ除去部３２は、最頻値のヒストグラムを見て、ある視差値に集約し、高信頼な視差であったとしても、その視差自体が立体物など走行路面以外の対象物のものであるとすると、ロールの姿勢算出にとっては対象外ノイズとして扱う。このため、ノイズ除去部３２は、明らかに走行路面の高さと比較して３次元位置がずれている視差値をノイズとして判定する。 In addition, the noise removal unit 32 looks at the histogram of the most frequent values, aggregates them into a certain disparity value, and even if the disparity is highly reliable, if the disparity itself is of an object other than the road surface, such as a three-dimensional object, it is treated as non-target noise for roll attitude calculation. For this reason, the noise removal unit 32 determines that a disparity value whose three-dimensional position is clearly shifted compared to the height of the road surface is noise.

なお、視差別にヒストグラム化した場合に、全体的にばらけた視差値に投票されるときは、自車両の下端や歩行者の脚部などの走行路面に近い位置の視差は、ノイズとして判断しづらい部分が残る。このため、ノイズ除去部３２は、１フレーム前の立体物の検知結果を活用して、自車両の挙動および、対象立体物の動きから推定して、今フレームの位置、およびマージンを設けて、その範囲内の視差を対象外とする。ノイズ除去部３２は、処理領域の１／３以上が立体物領域と推測される場合には、その範囲の視差は全てロール角の計算には使わないノイズ対象として判定を実行する。このように、２段階でノイズ削除することで、大半が走行路面付近のみ視差となる。In addition, when the parallax is histogrammed, if the votes are cast for disparity values that are scattered overall, the parallax at positions close to the road surface, such as the bottom end of the vehicle and the legs of pedestrians, remains in areas that are difficult to determine as noise. For this reason, the noise removal unit 32 uses the detection result of the three-dimensional object one frame ago to estimate from the behavior of the vehicle and the movement of the target three-dimensional object, sets the position of the current frame and a margin, and excludes the parallax within that range. If the noise removal unit 32 estimates that 1/3 or more of the processing area is a three-dimensional object area, it executes the judgment that all parallax in that range is a noise target that is not used for calculating the roll angle. In this way, by removing noise in two stages, the majority of the parallax is only near the road surface.

領域別利用判断部３３は、処理領域別に信頼できる最頻値が得られたかどうかによって、その処理領域内で求められた最頻値の３Ｄ点群を利用してよいかどうかの判断を実行する。図５（ｂ）で示す投票の処理において、各矢印の１本ずつ処理した際に最頻値が少ないと、最頻値の山の形になっていても、視差の信頼性が低い可能性があると思われるので、領域別利用判断部３３は、最頻値の３Ｄ点群は利用しないと判断する。例えば、夜間など、視差が少ない場合には、走行路面の処理領域２つには視差が十分得られないので、外側にあるレーンの位置に設定された処理領域の３Ｄ点群のみから、相対ロールの姿勢算出に利用する。この手法は、奥行き方向に線上に並んだ、３次元位置の誤差の少ない点群を利用してロール姿勢を算出する手法である。The area-specific use determination unit 33 executes a determination as to whether or not the 3D point cloud of the most frequent value obtained in the processing area may be used depending on whether a reliable most frequent value is obtained for each processing area. In the voting process shown in FIG. 5(b), if the most frequent value is small when each arrow is processed one by one, even if the most frequent value is in the shape of a mountain, the reliability of the parallax may be low, so the area-specific use determination unit 33 determines not to use the 3D point cloud of the most frequent value. For example, when the parallax is small, such as at night, sufficient parallax cannot be obtained in the two processing areas of the traveling road surface, so only the 3D point cloud of the processing area set at the position of the outer lane is used to calculate the relative roll attitude. This method is a method of calculating the roll attitude using a point cloud with small error in three-dimensional position that is arranged on a line in the depth direction.

なお、処理領域１本分のみ、例えば、左レーンの処理領域のみが、利用可と判断されても３次元点群の分布は、ほぼ直線状となり、ロール角を算出するには点の分布が不十分であり、性能が満たせなくなる。性能を満たすよう、領域別利用判断部３３は、ロール角の安定性を考慮し、図５（ａ）に示す４つの処理領域のうち、少なくとも２つ以上の処理領域が利用可能となった場合に、相対ロール姿勢算出を実行する。Note that even if only one processing area, for example the processing area of the left lane, is judged to be available, the distribution of the three-dimensional point cloud will be almost linear, and the distribution of points will be insufficient to calculate the roll angle, and performance will not be satisfied. To satisfy performance, the area-specific usage judgment unit 33 takes into account the stability of the roll angle and performs relative roll attitude calculation when at least two or more of the four processing areas shown in Figure 5 (a) become available.

相対姿勢算出部３４は、領域別利用判断部３３で利用可能と判断された２つ以上の処理領域の３Ｄ点群を活用して、走行路面の姿勢の算出を実行する。相対姿勢算出部３４においては、既に、完全ではないもののノイズがかなり削減された状況、かつ平面的に広がる３次元点群が入力として得られていることを前提条件とすることができる。もしくは相対姿勢算出部３４に亘る３次元点群が少なすぎて相対姿勢を算出することができない状況の可能性も考えられる。そのため、２つ以上の処理領域の３次元点群が利用可能であった場合に、相対姿勢算出部３４において、走行路面とカメラの相対姿勢を算出する。The relative attitude calculation unit 34 uses the 3D point clouds of two or more processing areas that are determined to be available by the area-specific use determination unit 33 to calculate the attitude of the road surface. The relative attitude calculation unit 34 can assume that, although not completely, noise has already been significantly reduced and that a three-dimensional point cloud spreading in a plane has been obtained as input. Alternatively, there may be a situation in which the three-dimensional point clouds across the relative attitude calculation unit 34 are too few to calculate the relative attitude. Therefore, when three-dimensional point clouds of two or more processing areas are available, the relative attitude calculation unit 34 calculates the relative attitude between the road surface and the camera.

図７は、実施形態に係る３Ｄ点群から走行路面姿勢推定を説明する説明図である。相対姿勢算出部３４は、ステレオカメラ部１０により生成された３次元点群７０３から、全体の誤差が最も小さくなる平面７０２を走行路面として推定する。相対姿勢算出部３４は、図７に示すように、４つの処理領域から３次元点群が得られた場合、奥行き別に視差が少なく抜けている視差もあり、こられを入力の３次元点群として、走行路面の平面をフィッテイングさせることで走行路面の平面の傾きを推定する。 Figure 7 is an explanatory diagram for explaining the estimation of the traveling road surface attitude from a 3D point cloud according to the embodiment. The relative attitude calculation unit 34 estimates the plane 702 with the smallest overall error as the traveling road surface from the three-dimensional point cloud 703 generated by the stereo camera unit 10. When three-dimensional point clouds are obtained from four processing regions as shown in Figure 7, the relative attitude calculation unit 34 estimates the inclination of the plane of the traveling road surface by fitting the plane of the traveling road surface to these as the input three-dimensional point clouds, with some parallax being small and some missing.

図７に示す黒丸点７０３から延びる細線７０４は、当てはめた３次元の平面７０２に対する誤差の大きさを表している。また、Ｚ方向に４列に並んで点在する複数の黒丸点７０３は、図５（ａ）に示す４つの処理領域における各視差を表している。相対姿勢算出部３４は、図７にプロットされている黒丸点７０３を入力し、できるだけ多くの黒丸点７０３を通る面を描き、結果的に傾斜した平面７０２を算出する。傾斜した平面７０２と各黒丸点７０３との差が誤差となるが、誤差が平均的になる面が平面７０２とされる。この傾斜した平面７０２が走行路面とされる。 The thin lines 704 extending from the black dots 703 shown in FIG. 7 represent the magnitude of the error with respect to the fitted three-dimensional plane 702. The multiple black dots 703 scattered in four rows in the Z direction represent the parallax in the four processing regions shown in FIG. 5(a). The relative attitude calculation unit 34 inputs the black dots 703 plotted in FIG. 7, draws a plane passing through as many black dots 703 as possible, and calculates the inclined plane 702 as a result. The difference between the inclined plane 702 and each black dot 703 is the error, and the plane where the error is averaged is taken as the plane 702. This inclined plane 702 is taken as the road surface.

前述のノイズ除去部３２のノイズ除去処理により、大多数のノイズは排除できていると考えられるが、多少のノイズは、なお含まれている。このため、相対姿勢算出部３４は、この３次元点群の中から、ランダムに点群をサンプリングする。但し、ランダムに点群をセレクトした際に、１つの処理領域内で多くの点を抽出した場合には、平面が安定しない要因となる。したがって、相対姿勢算出部３４は、できる限り左右、および奥行き方向に散らばった点群が利用されるべきであり、それぞれの処理領域から６点ずつなどをランダムにセレクトし、平面推定を実行する。 Although it is believed that the majority of noise has been removed by the noise removal process of the noise removal unit 32 described above, some noise is still included. For this reason, the relative orientation calculation unit 34 randomly samples points from this 3D point cloud. However, when randomly selecting point clouds, if many points are extracted within one processing area, this can cause the plane to become unstable. Therefore, the relative orientation calculation unit 34 should use point clouds that are scattered to the left and right and in the depth direction as much as possible, and randomly select six points from each processing area to perform plane estimation.

相対姿勢算出部３４は、平面推定において、例えば、２０回程度繰り返した際に、類似した走行路面の姿勢のものが、ノイズが少ない点群をセレクトできた場合の推定結果と予想する。大半のノイズは削除されているため、大半の結果が類似結果と予想し、結果自体がばらつくときにはそもそも走行路面推定不可と判断する。The relative attitude calculation unit 34 predicts the estimation result when it is possible to select a point cloud with a similar attitude of the road surface with little noise when repeating the plane estimation, for example, about 20 times. Since most of the noise has been removed, it predicts that most of the results will be similar, and if the results themselves vary, it determines that the road surface cannot be estimated in the first place.

相対姿勢算出部３４は、走行路面姿勢推定結果の中央値、もしくは最頻値を選択し、その値を仮の走行路面の平面とし、この仮の走行路面の平面から近距離の点群のみを再選択し、遠距離の点群はノイズ要因として、更にここで最終走行路面の平面計算のノイズとして対象外として扱う。相対姿勢算出部３４は、再選択された点群を利用して、最終的な姿勢算出を実行し、最終的に推定された走行路面の平面の近距離に点の数が、閾値を超えていることを確認したうえで、最終走行路面の平面の推定結果の利用可否を判断する。The relative attitude calculation unit 34 selects the median or most frequent value of the estimated results of the road surface attitude, sets this value as a tentative road surface plane, and reselects only the points close to this tentative road surface plane, treating the points far away as noise factors and furthermore as noise in the final road surface plane calculation, thus excluding them from consideration. The relative attitude calculation unit 34 uses the reselected points to perform the final attitude calculation, and after confirming that the number of points close to the final estimated road surface plane exceeds a threshold value, determines whether the estimated result of the final road surface plane can be used.

信頼度算出部３５は、最終的に推定された最終走行路面の平面と、利用した点群との自乗誤差の総和を利用して信頼度を算出する。なお、走行路面に、轍、即ち車両が通過したあとに残る車輪の跡、凹凸、坂道などがあり、走行路面が平面でない場合には、この信頼度が低下することとなる。The reliability calculation unit 35 calculates the reliability by using the sum of squared errors between the final estimated plane of the final road surface and the point cloud used. Note that if the road surface has ruts, i.e., wheel marks left after a vehicle has passed, unevenness, slopes, etc., and is not flat, this reliability will decrease.

相対ロール姿勢算出部３０は、ロール、ピッチ、ヨーの各姿勢の角度をそれぞれ算出するが、算出されたロール角は、瞬間的なカメラと走行路面の相対的なロール角であり誤差も多く含まれている。以下、補正の対象となるロール角の誤差が発生するロール角誤差発生シーンについて図面を参照して説明する。The relative roll attitude calculation unit 30 calculates the angles of the roll, pitch, and yaw attitudes, but the calculated roll angle is the instantaneous relative roll angle between the camera and the road surface, and contains a large amount of error. Below, we will explain roll angle error occurrence scenes where errors in the roll angle that are the subject of correction occur, with reference to the drawings.

図８は、実施形態に係るロール角誤差発生シーンを説明する説明図であり、図８（ａ）は、取付ロール角あり、走行路面ロール傾きなしの状態を示し、図８（ｂ）は、取付ロール角なし、走行路面ロール傾きありの状態を示し、図８（ｃ）は、取付ロール角なし、走行路面ロール傾きなし、偏り積載、片側搭乗ありの状態を示し、図８（ｄ）は、取付ロール角なし、走行路面ロール傾きなし、旋回時ロール角発生の状態を示す。 Figure 8 is an explanatory diagram illustrating a scene in which a roll angle error occurs in the embodiment, where Figure 8(a) shows a state in which there is an attached roll angle and there is no roll inclination of the traveling road surface, Figure 8(b) shows a state in which there is no attached roll angle and there is a roll inclination of the traveling road surface, Figure 8(c) shows a state in which there is no attached roll angle, there is no roll inclination of the traveling road surface, there is uneven loading and there is boarding on one side, and Figure 8(d) shows a state in which there is no attached roll angle, there is no roll inclination of the traveling road surface, and a roll angle occurs during turning.

図８（ａ）に示すシーンは、ステレオカメラ部１０の取付ロール角誤差あり、走行路面ロール傾きなしの場合で、車体に対してステレオカメラ部１０を取り付けた際に、取付け角が曲がっている取付角誤差が発生しているシーンである。走行路面Ｇが水平であり、車両Ｃに傾きがない場合にも、ステレオカメラ部１０のＸ軸が傾いているので、常に走行路面Ｇに対して角度誤差が発生している。この場合には、常にステレオカメラ部１０にロール角が発生しているため、ロール角が０度であることを想定した認識ロジックや、測距に悪影響を及ぼす可能性が高い。特に測距の観点では、障害物などの対象物Ｂとの距離が車幅方向に離れるほど比例して測距誤差Ｌｅが大きくなるため、画角が広角なカメラにおいては、この影響が大きい。 The scene shown in FIG. 8(a) is a scene in which there is an installation roll angle error of the stereo camera unit 10 and no road surface roll inclination, and when the stereo camera unit 10 is installed on the vehicle body, an installation angle error occurs in which the installation angle is bent. Even when the road surface G is horizontal and the vehicle C is not inclined, the X-axis of the stereo camera unit 10 is inclined, so an angle error always occurs with respect to the road surface G. In this case, since a roll angle always occurs in the stereo camera unit 10, it is highly likely that this will have an adverse effect on the recognition logic that assumes that the roll angle is 0 degrees and on the distance measurement. In particular, from the viewpoint of distance measurement, the distance measurement error Le increases in proportion to the distance to the object B such as an obstacle in the vehicle width direction, so this effect is large in a camera with a wide angle of view.

図９は、実施形態に係るロール角誤差なしの理想取付状態を説明する説明図、図１０は、実施形態に係るロール角誤差ありの場合を説明する説明図である。図９には、ロール角誤差がなしの場合で、ステレオカメラ部１０によって測距した理想的な横位置が示されている。これに対し、ロール角誤差が発生した原因を問わず、ロール角誤差がある場合の測距結果は、図１０に太線で示すように、ステレオカメラ部１０の設置位置から車幅方向に位置が離れるほど、大きな誤差となる。このため広角なカメラで測距する場合には、このロール角の補正が重要な要素となる。 Figure 9 is an explanatory diagram illustrating an ideal mounting state without roll angle error according to the embodiment, and Figure 10 is an explanatory diagram illustrating a case where there is a roll angle error according to the embodiment. Figure 9 shows the ideal lateral position measured by the stereo camera unit 10 when there is no roll angle error. In contrast, regardless of the cause of the roll angle error, the measurement result when there is a roll angle error will have a larger error the further away the position in the vehicle width direction is from the installation position of the stereo camera unit 10, as shown by the thick line in Figure 10. For this reason, when measuring distances with a wide-angle camera, correction of this roll angle is an important factor.

図８（ｂ）に示すシーンは、カメラの取付ロール角誤差がなかったとしても、走行路面自体がロール角方向に傾斜している場合もあり、取付ロール角に誤差なし、走行路面にロール傾きありの場合のシーンである。排水を考慮して、対向車の車線を含めて、道路全体の中央線部分が高く、路肩に近づくにつれて低くなる構造の走行路も多く存在する。対向車とのすれ違う部分の車線がもっとも高く、外側の車線へ行くほど低くなる道路では、ロール角が発生することとなる。また、道路全体に傾きがある道路も存在する。 The scene shown in Figure 8 (b) is a scene where there is no error in the mounting roll angle of the camera, but there is a roll inclination of the road surface itself, as there may be cases where the road surface itself is inclined in the roll angle direction even if there is no error in the mounting roll angle of the camera. There are many roads where, taking drainage into consideration, the center line of the entire road, including the lane for oncoming vehicles, is high and becomes lower as it approaches the shoulder. On roads where the lane where oncoming vehicles pass is the highest and becomes lower as it goes toward the outer lanes, a roll angle will occur. There are also roads where the entire road is inclined.

図８（ｃ）に示すシーンは、カメラの取付ロール角誤差なし、走行路面ロール傾きなしで、偏り積載、片側搭乗ありの場合のシーンである。取付ロール角誤差がなく、走行路面が平面であっても、積載荷物が片方に偏る、もしくは搭乗者二人が縦に並んで偏って座っている場合に、車両自体が斜めにロールする場合もありうる。この場合にも、図１０に示すロール角誤差ありの場合と同様、カメラの設置位置から横位置がずれるほど、大きな誤差となってずれるように、測距誤差Ｌｅへと繋がることになる。 The scene shown in Figure 8 (c) is a scene where there is no mounting roll angle error of the camera, no road surface roll inclination, uneven loading, and one-sided riding. Even if there is no mounting roll angle error and the road surface is flat, the vehicle itself may roll diagonally if the loaded luggage is uneven to one side, or if two passengers are sitting unevenly vertically. In this case, as with the case of roll angle error shown in Figure 10, the greater the deviation of the lateral position from the camera installation position, the greater the error, which leads to a ranging error Le.

図８（ｄ）に示すシーンは、カメラの取付ロール角誤差なし、走行路面ロール傾きなしで、旋回時ロール角が発生した場合のシーンである。取付ロール角誤差なし、走行路面ロール傾きなし、偏り積載、偏り搭乗がなくても旋回中には遠心力により車体の傾きが発生する。車速やヨーレートに応じてその傾きは変化するもの、これも自車両の旋回中は測距に誤差が発生することとなり、交差点右左折時の歩行者、自転車などを検知対象とし、衝突可能性を予測することが望ましく、この場合、歩行者、自転車などが対象物Ｂの位置、速度の誤差となりうる。 The scene shown in Figure 8 (d) is a scene where a roll angle occurs during turning, with no mounting roll angle error of the camera and no roll inclination of the road surface on which the vehicle is traveling. Even with no mounting roll angle error, no roll inclination of the road surface on which the vehicle is traveling, and no uneven loading or uneven riding, centrifugal force will cause the vehicle body to tilt during turning. This inclination changes depending on the vehicle speed and yaw rate, but this will also cause errors in distance measurement while the vehicle is turning, so it is desirable to detect pedestrians, bicycles, etc. when turning right or left at an intersection and predict the possibility of a collision. In this case, pedestrians, bicycles, etc. can cause errors in the position and speed of object B.

図８（ａ）～図８（ｄ）に示す各シーンについて、シーン別のロール角を適切に扱うことで、より安定的なロール角補正を実行することができる。また、シーン別のロール角を適切に扱うことで、より高精度なロール角補正を実現し、障害物の検知性能の安定化を図るとともに、位置、速度をより正確に計測することを可能とし、警報、制御タイミングの適切化、警報、制御内容の変更を適切に実行することができる。 For each scene shown in Figures 8(a) to 8(d), more stable roll angle correction can be performed by appropriately handling the roll angle for each scene. In addition, by appropriately handling the roll angle for each scene, more accurate roll angle correction can be achieved, the detection performance of obstacles can be stabilized, and the position and speed can be measured more accurately, and the timing of warnings and controls can be optimized, and the content of warnings and controls can be changed appropriately.

図１１は、実施形態に係るロール角誤差発生シーンを示す表であり、図８（ａ）～図８（ｄ）に示す各シーンにおける、カメラと走行路面に発生するロール角誤差について、カメラ角度誤差、車体角度誤差および路面角度誤差の発生要因を一つの目安に発生シーン別にまとめたものである。ロール角誤差の発生要因にはさまざまなシーンがあり、例えば、長期シーン、搭乗シーン（エンジンＯＮまたはＯＦＦ）、旋回シーンおよび走行シーンがある。なお、実施形態の長期シーンは、本発明に係る画像処理装置の第１の期間に対応し、搭乗シーン、旋回シーンおよび走行シーンは、それぞれ第１の期間より短い第２の期間に対応する。 Figure 11 is a table showing scenes in which roll angle errors occur according to the embodiment, and summarizes the roll angle errors that occur between the camera and the road surface in each of the scenes shown in Figures 8(a) to 8(d) by scene, using the factors that cause camera angle errors, vehicle body angle errors, and road surface angle errors as a guide. There are various scenes that cause roll angle errors, such as long-term scenes, boarding scenes (engine ON or OFF), turning scenes, and driving scenes. Note that the long-term scenes in the embodiment correspond to the first period of the image processing device according to the present invention, and the boarding scenes, turning scenes, and driving scenes each correspond to a second period that is shorter than the first period.

また、相対ロール姿勢算出部３０、シーン型角度推定部４０および検知測距部５０を含む画像処理および補正を実行する構成要素において、長期シーンにおける複数の画像は、第１の画像群に対応し、搭乗シーン、旋回シーンおよび走行シーンにおける複数の画像は、それぞれ第２の画像群に対応する。また、長期シーンにおけるロール角は、第１の傾き角に対応し、搭乗シーン（エンジンＯＮまたはＯＦＦ）、旋回シーンおよび走行シーンにおけるロール角は、それぞれ第２の傾き角に対応する。更に、長期シーンにおける補正値は、第１の補正値に対応し、搭乗シーン、旋回シーンおよび走行シーンにおける補正値は、それぞれ第２の補正値に対応する。In addition, in the components that perform image processing and correction, including the relative roll attitude calculation unit 30, the scene-based angle estimation unit 40, and the detection and ranging unit 50, the multiple images in the long-term scene correspond to a first image group, and the multiple images in the boarding scene, turning scene, and running scene each correspond to a second image group. Furthermore, the roll angle in the long-term scene corresponds to a first tilt angle, and the roll angles in the boarding scene (engine ON or OFF), turning scene, and running scene each correspond to a second tilt angle. Furthermore, the correction value in the long-term scene corresponds to the first correction value, and the correction values in the boarding scene, turning scene, and running scene each correspond to the second correction value.

長期シーンにおける補正値は、長期的なカメラの姿勢を補正する値であり、車両の走行中に学習結果を累積し、エンジンＯＮおよびＯＦＦを複数回繰り返した後に決定される。長期シーンは、発生角度誤差が変化しないシーンであり、カメラの車体に取り付ける際に発生する取付角誤差、経年変化によるカメラの角度誤差などの誤差がある。また、カメラと車体に角度誤差がなかった場合にも、車体自体が傾いている場合もある。例えば、タイヤ空気圧の片側が減った場合、タイヤパンクなどにより片側のみサイズが異なるタイヤの場合には、長期的に車体に角度誤差が発生する。 The correction value in a long-term scene is a value that corrects the long-term camera posture, and is determined after accumulating the learning results while the vehicle is running and turning the engine ON and OFF multiple times. A long-term scene is a scene in which the generated angle error does not change, and there are errors such as mounting angle error that occurs when the camera is attached to the vehicle body and camera angle error due to aging. Even if there is no angle error between the camera and the vehicle body, the vehicle body itself may be tilted. For example, if the tire pressure is reduced on one side, or if the tire size is different on only one side due to a tire puncture, an angle error will occur on the vehicle body over the long term.

上記したカメラの誤差や、タイヤ空気圧の左右差の誤差の場合には、長時間カメラが路面に対して傾くことになる。また、走行路の路面傾きの誤差の場合は、さまざまな場所で長期間計測すると、固有場所における路面傾きの影響は避けることができる。したがって、高頻度に発生している路面傾きとカメラの相対角度は、今後の走行においても相対角度誤差として発生する可能性が高いと考える。長期間かけてデータの最頻値を選ぶほど、走行路の特殊な環境などの影響をさけることができると考えるため、信頼度は高いといえる。 In the case of the camera errors mentioned above or errors in the difference in tire air pressure between the left and right sides, the camera will be tilted relative to the road surface for a long period of time. Also, in the case of errors in the road surface inclination of the road, the effects of the road surface inclination at a specific location can be avoided by measuring at various locations over a long period of time. Therefore, it is believed that the road surface inclination and the relative angle of the camera that occurs frequently are highly likely to occur as a relative angle error in future driving. The longer the period of time over which the most frequent value of the data is selected, the more likely it is that the effects of special conditions on the road can be avoided, and therefore the higher the reliability can be said to be.

長期シーンにおけるカメラと走行路面の間に発生する相対角度誤差は、長期的には変化しない固定角度誤差である。このため、この固定角度誤差は、発生要因別に扱わずに全てまとめて長期シーンで発生する角度誤差として取り扱い、この補正値を管理し、角度補正に利用することができる。長期間固定となるため、長時間をかけて安定かつ信頼できる値で補正することで、認識と測距の精度向上に利用することができる。長期シーンにおける補正値は、エンジンＯＮ時に算出される。 The relative angle error that occurs between the camera and the road surface in a long-term scene is a fixed angle error that does not change over the long term. For this reason, this fixed angle error is not treated separately for each cause, but is treated all together as an angle error that occurs in a long-term scene, and this correction value can be managed and used for angle correction. Because it is fixed for a long period of time, it can be used to improve the accuracy of recognition and ranging by correcting it with a stable and reliable value over a long period of time. The correction value in a long-term scene is calculated when the engine is ON.

搭乗シーンは、搭乗者毎に角度誤差量が変化し易い要因で発生するシーンであり、搭乗者、何人搭乗するか、また、何処に座るかによって車体の傾きや高さに変化が生じる。同様に荷物の積載量や、積載の偏りなどによってもカメラと走行路面の間の角度誤差が発生する。これらの場合を搭乗シーンとしてまとめて取り扱い、エンジンＯＮまたはＯＦＦの直後のある程度短期間の間に補正を実行することで、カメラの測距や認識の影響を軽減することが可能となる。 Boarding scenes occur due to factors that tend to change the amount of angle error for each passenger, and the inclination and height of the vehicle body change depending on who is boarding, how many passengers are on board, and where they are sitting. Similarly, angle errors between the camera and the road surface can occur due to factors such as the amount of luggage being loaded and uneven loading. By treating these cases as boarding scenes and performing corrections within a relatively short period of time immediately after the engine is turned ON or OFF, it is possible to reduce the impact of the camera's distance measurement and recognition.

旋回シーンは、運転中にも変化する短期間に発生するシーンであり、例えば、車両の挙動によって生じる旋回時などに発生するロール角誤差などがある。交差点右左折時に発生する遠心力により発生する角度誤差もある。例えば、車速やヨー角が変化する割合、即ちヨーレートによって変化する車体のロール角がある。この角度誤差を旋回シーンとし、車体の旋回に連動させて補正させることで安定かつ高精度な補正をすることができる。旋回シーンの補正値は、車両の走行中の旋回時に算出される。 Turning scenes are scenes that occur over a short period of time and change even while driving. For example, there is a roll angle error that occurs when turning due to the vehicle's behavior. There is also an angle error that occurs due to centrifugal force when turning right or left at an intersection. For example, there is the roll angle of the vehicle body that changes depending on the rate at which the vehicle speed and yaw angle change, that is, the yaw rate. By treating this angle error as a turning scene and correcting it in conjunction with the turning of the vehicle body, stable and highly accurate correction can be made. The correction value for the turning scene is calculated when the vehicle is turning while traveling.

走行シーンは、旋回中でないにも関わらず、走行路の凹凸形状、轍や高さの段差に応じて車体を含めて傾くことにより発生するシーンである。この角度誤差を走行シーンにより発生する角度誤差とし、これを短期的に補正することで、悪条件時における認識と測距の性能劣化を抑制することができる。 A driving scene occurs when the vehicle itself tilts in response to uneven road conditions, ruts, and height differences, even when not turning. This angle error is considered to be an angle error caused by a driving scene, and by correcting this in the short term, it is possible to suppress deterioration of recognition and ranging performance in adverse conditions.

図１２は、実施形態に係るシーン型角度推定部の構成図である。
シーン型角度推定部４０は、図１２に示すように、シーン別ロール角管理部４１と、長期シーン・ロール角算出部４２と、積載シーン・ロール角算出部４３と、旋回シーン・ロール角算出部４４と、走行シーン・ロール角算出部４５とを備えている。シーン型角度推定部４０は、相対ロール姿勢算出部３０で得られた瞬間値のロール角を適切に管理することで、安定的かつ高精度にロール角を補正する。シーン型角度推定部４０は、相対ロール角が変化している期間をベースにシーン別に分離して管理することで、長期的に発生する前記相対ロール角を補正し、積載量や搭乗者もしくは旋回もしくは前記車両の走行路に応じて発生する前記相対ロール角は、ロール角誤差発生期間に応じて補正する。これにより、誤補正の抑制やカメラで撮像したシーンによる不安定さの影響を軽減することができる。 FIG. 12 is a configuration diagram of a scene-type angle estimation unit according to the embodiment.
As shown in FIG. 12, the scene-based angle estimation unit 40 includes a scene-specific roll angle management unit 41, a long-term scene roll angle calculation unit 42, a loading scene roll angle calculation unit 43, a turning scene roll angle calculation unit 44, and a driving scene roll angle calculation unit 45. The scene-based angle estimation unit 40 appropriately manages the instantaneous roll angle obtained by the relative roll attitude calculation unit 30, thereby correcting the roll angle stably and with high accuracy. The scene-based angle estimation unit 40 corrects the relative roll angle that occurs over a long period of time by separating and managing the relative roll angle by scene based on the period during which the relative roll angle is changing, and corrects the relative roll angle that occurs depending on the load, passengers, turning, or the driving path of the vehicle depending on the roll angle error occurrence period. This makes it possible to suppress erroneous correction and reduce the influence of instability due to the scene captured by the camera.

シーン別ロール角管理部４１は、長期シーン・ロール角算出部４２、積載シーン・ロール角算出部４３、旋回シーン・ロール角算出部４４、走行シーン・ロール角算出部４５のそれぞれの算出部で得られたロール角を管理する。認識ロジックや測距に利用する補正値は、このシーン別ロール角管理部４１において管理する。The scene-specific roll angle management unit 41 manages the roll angles obtained by each of the calculation units, namely the long-term scene roll angle calculation unit 42, the loading scene roll angle calculation unit 43, the turning scene roll angle calculation unit 44, and the driving scene roll angle calculation unit 45. The correction values used for recognition logic and distance measurement are managed by this scene-specific roll angle management unit 41.

長期シーン・ロール角算出部４２は、走行中の相対ロール姿勢算出結果を、長期的に角度別ヒストグラムに投票し、最頻値を集める。１回の走行データからのみで最頻値を取得した場合、積載量や搭乗者が結果に及ぼす影響が大きい。このため、ある程度より長い走行時間（エンジンＯＮからＯＦＦまでの期間）の最頻値のデータを更に、シーン別ロール角管理部４１に保管し、長期シーン・ロール角算出部４２は、走行回数に応じて投票する角度別ヒストグラムでの最頻値を利用する。これにより、長期的に発生しているロール角誤差を、積載量や搭乗者、旋回、走行路の影響も少なくして、算出することが可能となる。The long-term scene/roll angle calculation unit 42 votes the results of the relative roll attitude calculation during driving into an angle-specific histogram over the long term, and collects the most frequent value. If the most frequent value is obtained from only one driving data, the load and passengers have a large influence on the result. For this reason, the most frequent data for a relatively long driving time (the period from engine ON to OFF) is further stored in the scene-specific roll angle management unit 41, and the long-term scene/roll angle calculation unit 42 uses the most frequent value in the angle-specific histogram that is voted according to the number of driving times. This makes it possible to calculate the roll angle error that occurs over the long term, with less influence from the load, passengers, turning, and driving route.

長期シーン・ロール角算出部４２は、車体が高頻度に発生しているロール角誤差を算出し、これをシーン別ロール角管理部４１に保管することで、これを利用したロール角補正が可能となる。この補正を利用することで、取付角誤差や車体の傾きなどにより発生するロール角誤差を補正することが可能となる。The long-term scene roll angle calculation unit 42 calculates the roll angle error that occurs frequently in the vehicle body and stores it in the scene-specific roll angle management unit 41, making it possible to use this to perform roll angle correction. By using this correction, it becomes possible to correct roll angle errors that occur due to mounting angle errors and vehicle body inclination, etc.

取付角誤差について、エンジンＯＮからＯＦＦまでの１回の走行シーンで算出すると、積荷とか搭乗者が同じ場合が大半なので、取付角誤差と積載との分離が難しい。取付角誤差と積載とを分離するためには、何回も走行した時のデータを多く採れば、積載状況も変わるので実際の影響が少なくなり分離が可能となり、最頻値をとることにより、カメラと走行路面とのロール角の傾向からカメラと走行路面との取付角誤差が的確に求められる。なお、長期シーンにおいて検出されるロール角誤差は、車体に高頻度で発生しているものであるのか、または、車両に対して傾いて取り付けられてしまったものであるのかについては、特に分離せず、合計した角度誤差として取り扱う。 When calculating mounting angle error for a single driving scene from engine ON to OFF, the cargo and passengers are mostly the same, so it is difficult to separate mounting angle error from loading. In order to separate mounting angle error from loading, if a lot of data is collected from multiple driving sessions, the loading situation will change, so the actual influence will be less and separation will be possible, and by taking the most frequent value, the mounting angle error between the camera and the road surface can be accurately determined from the trend of the roll angle between the camera and the road surface. Note that roll angle errors detected in long-term scenes are treated as a total angle error without any special separation as to whether they are caused by a high frequency occurrence on the vehicle body or by the camera being tilted relative to the vehicle.

積載シーン・ロール角算出部４３は、エンジンをＯＮにして発車する前に、行った積載や搭乗者によって車両に増えた重量と車両重心に対するその偏りによって生じる角度誤差の補正を実行する。積載シーン・ロール角算出部４３は、長期シーンのロール角と、積載シーンのロール角が異なっている場合に、その差分から偏って積載していることが分かり、その偏りの分のロール角を補正することができる。前回乗車時と比較して角度が変化した状況が続くことは望ましくないので、旋回中や凹凸のある走行路面などの、短期間におけるロール角発生が想定される環境では、相対ロール姿勢算出値を利用せずに、ある程度の直進かつ車体の揺れがないことを前提にロール角の頻度分布を計算する。Before turning on the engine and starting the vehicle, the loading scene/roll angle calculation unit 43 performs correction of the angle error caused by the weight added to the vehicle due to loading and passengers and the bias of the weight relative to the center of gravity of the vehicle. When the roll angle of the long-term scene differs from the roll angle of the loading scene, the loading scene/roll angle calculation unit 43 can determine that the loading is biased from the difference and correct the roll angle for the bias. Since it is not desirable for the angle to continue to change compared to the previous ride, in an environment where a roll angle is expected to occur in a short period of time, such as during turning or on an uneven road surface, the frequency distribution of the roll angle is calculated without using the relative roll attitude calculation value, assuming that the vehicle is moving straight to a certain extent and that there is no shaking of the vehicle body.

また、積載シーン・ロール角算出部４３は、ある程度、旋回前後、例えば、交差点右左折前後の値が、頻度分布に投票できているかを確認する。これはある方向に傾いている走行路を続けて直進している場合には、極端にその走行路のみにあったロール角補正となることを避けるためである。走行路面が対面の２車線で排水を考慮して路肩方向に近づくにつれて低く作られている場合には、車体が路肩方向へ傾くことがあるが、これは一度、交差点を右左折すると、その程度や、傾きがほぼないような道路となることもあるためである。 The loading scene/roll angle calculation unit 43 also checks whether values before and after turns, for example before and after turning right or left at an intersection, have been voted for to a certain extent in the frequency distribution. This is to avoid roll angle corrections that are extremely suited to only that roadway when the vehicle continues to travel straight along a roadway that is tilted in a certain direction. If the road surface is a two-lane roadway that runs in opposite directions and is made lower as it approaches the shoulder to allow for drainage, the vehicle body may tilt toward the shoulder, but this is because once the vehicle has turned right or left at an intersection, the roadway may change to one where there is almost no tilt or degree of tilt.

積載シーン・ロール角算出部４３においては、ある程度の走行がなされた環境において投票されていることをもってその最頻値を利用する。また、投票されているヒストグラムの投票の集まり方も、一か所に正規分布で集まっている場合には、ある程度投票値が低くてもこれを採用し、反対に山が複数できている場合には、投票値がある程度の一定基準を超えて、信頼度が高くなるのを待つ。The loading scene/roll angle calculation unit 43 uses the most frequent value, based on the fact that it has been voted for in an environment where a certain amount of driving has been performed. Also, when the votes in the histogram are gathered in one place in a normal distribution, this is adopted even if the vote value is relatively low, but conversely, when there are multiple peaks, it waits for the vote value to exceed a certain standard and the reliability to increase.

旋回シーンに関しては、旋回シーン・ロール角算出部４４は、車体の旋回に応じて発生するロール角の計算を実行する。ここでは、旋回により発生するロール角を取り扱う。旋回により発生するロール角は、短期間でのロール角誤差発生となるため、相対ロール姿勢算出値をそのまま利用すると、瞬間値に含まれる誤差の影響により安定性や精度が悪くなり易い。そこで、旋回シーン・ロール角算出部４４は、車速と舵角もしくはヨーレートなどの自車両の挙動を活用し、自車両が旋回していることを、車速と舵角もしくはヨーレートなどで特定しながら高精度に補正する方式で構成されている。 Regarding turning scenes, the turning scene/roll angle calculation unit 44 executes calculation of the roll angle that occurs in response to the turning of the vehicle body. Here, we deal with the roll angle that occurs due to turning. The roll angle that occurs due to turning generates roll angle errors in a short period of time, so if the relative roll attitude calculation value is used as is, the stability and accuracy are likely to deteriorate due to the influence of errors contained in the instantaneous value. Therefore, the turning scene/roll angle calculation unit 44 is configured with a method that utilizes the behavior of the host vehicle, such as the vehicle speed and steering angle or yaw rate, and performs highly accurate correction while identifying that the host vehicle is turning based on the vehicle speed and steering angle or yaw rate.

旋回シーン・ロール角算出部４４においては、自車両の挙動と併用しながらの補正を実行することで安定的かつ高精度、また、カメラ自身が走行路面の傾きの瞬間値を求められない瞬間も含めて安定的かつ高精度なロール角の補正が可能となる。旋回シーン・ロール角算出部４４においても、積載シーン・ロール角算出部４３と同様に、旋回シーンの基準となるロール角が把握され、基準となるロール角との差分を見て、旋回シーンによるロール角を求めることもできる。 In the turning scene roll angle calculation unit 44, correction is performed in conjunction with the behavior of the vehicle, enabling stable and highly accurate correction of the roll angle, including moments when the camera itself cannot obtain the instantaneous value of the inclination of the road surface being traveled. In the turning scene roll angle calculation unit 44, like the loading scene roll angle calculation unit 43, the roll angle serving as the reference for the turning scene is grasped, and the roll angle due to the turning scene can be obtained by looking at the difference from the reference roll angle.

旋回シーン・ロール角算出部４４は、時系列フィルタによる補正方式１、車両モデル１による補正方式２、車両モデル２による補正方式３により補正を実行する。車両モデル１、２は、車両の旋回による相対ロール角を算出する車両挙動モデルである。以下、各補正方式について図面を参照して説明する。The turning scene/roll angle calculation unit 44 performs correction using correction method 1 using a time series filter, correction method 2 using vehicle model 1, and correction method 3 using vehicle model 2. Vehicle models 1 and 2 are vehicle behavior models that calculate the relative roll angle due to the turning of the vehicle. Each correction method will be explained below with reference to the drawings.

＜時系列フィルタによる補正方式１＞
時系列フィルタによる補正方式１においては、車速とヨーレート、舵角などから、自車両の挙動の予測が可能となる。時系列フィルタによる補正方式１は、瞬間的なロール角を算出しておいて、過去のロール角の値を使いながら、フィルタリングを行う簡単な方式からなる。例えば、過去のロール角の値と現在のロール角の値の平均値をとることにより、滑らかな出力を出すことができる。 <Correction method 1 using time series filter>
In the correction method 1 using a time series filter, it is possible to predict the behavior of the vehicle from the vehicle speed, yaw rate, steering angle, etc. The correction method 1 using a time series filter is a simple method that calculates the instantaneous roll angle and performs filtering using past roll angle values. For example, a smooth output can be obtained by taking the average value of the past roll angle value and the current roll angle value.

図１３は、実施形態に係る自車両進行路推定手法を説明する説明図である。
時系列フィルタによる補正方式１においては、例えば図１３に示すように、自車両Ｃの挙動から予測された予測進行路が、自車両Ｃから奥行き１０ｍの地点で横方向に１ｍ以上曲がっている場合に、旋回によるロール角発生の可能性が高いと判断される。反対に、１０ｍ地点の横位置が０.５ｍ未満となるまでを旋回中と判断される。 FIG. 13 is an explanatory diagram illustrating a method for estimating a host vehicle traveling path according to the embodiment.
In the correction method 1 using the time series filter, for example, as shown in Fig. 13, if the predicted course predicted from the behavior of the vehicle C turns laterally by 1 m or more at a point 10 m deep from the vehicle C, it is determined that there is a high possibility of a roll angle occurring due to turning. Conversely, it is determined that the vehicle is turning until the lateral position at the 10 m point becomes less than 0.5 m.

時系列フィルタによる補正方式１においては、瞬間値の相対ロール姿勢算出結果を活用し、時系列のフィルタリングが実行される。旋回が長くないことや、旋回中のロール角が変化し続けるため、時系列に遅延の大きなフィルタリングをすると誤差が大きくなる。このため、遅延は少なめのローパスフィルタを活用し、旋回中と判断された期間のみ、瞬間値の相対ロール姿勢算出結果を活用し、滑らかにフィルタリングすることで簡易的なロール角の補正の実行が可能となる。 In correction method 1 using a time series filter, time series filtering is performed using the instantaneous relative roll attitude calculation results. Because the turning is not long and the roll angle continues to change during the turning, filtering with a large delay in the time series will result in large errors. For this reason, a low-pass filter with a small delay is used, and the instantaneous relative roll attitude calculation results are used only during the period when it is determined that the vehicle is turning, allowing for smooth filtering to be performed, making it possible to perform simple roll angle correction.

時系列フィルタによる補正方式１においては、瞬間値の誤差の影響を受け易い反面、残っている誤差、即ち旋回以外の走行路の傾きなど含めて全ての残っているロール角誤差、を減らす補正が可能となる。なお、短い期間のローパスフィルタであるため、瞬間的な誤差の影響を受け易いだけでなく、瞬間的なロール角が計測できなかった場合の影響も受け易く、前回値をしばらく流用するか、ある程度、何フレームも計測不可であれば、徐々に０に近づく設計となり、誤差補正ができないこともある。特にステレオカメラの場合は、夜間に、走行路面の視差が少なくロール角が計測できない場合に、補正不可となる欠点を考慮する必要がある。 In correction method 1 using a time series filter, while it is susceptible to errors in instantaneous values, it is possible to make corrections to reduce remaining errors, i.e. all remaining roll angle errors including road inclination other than turning. In addition, because it is a short-term low-pass filter, it is not only susceptible to instantaneous errors, but also to the effects of not being able to measure the instantaneous roll angle. In this case, the previous value is reused for a while, or if it is not possible to measure for a certain number of frames, it is designed to gradually approach zero, and error correction may not be possible. In particular, with stereo cameras, it is necessary to consider the drawback that correction is not possible at night when the parallax of the road surface is small and the roll angle cannot be measured.

時系列フィルタによる補正方式１の欠点を補った手法として、ロール角推定モデル手法がある。ロール角推定モデル手法は、最初に車体の車速とヨーレートを入力して、発生ロール角を推定する手法であり、モデル式（１）を利用する。The roll angle estimation model method is a method that compensates for the shortcomings of correction method 1 using a time series filter. The roll angle estimation model method is a method that first inputs the vehicle speed and yaw rate of the vehicle body to estimate the generated roll angle, and uses model formula (1).

Figure 0007492644000001
Figure 0007492644000001

ロール角推定モデル手法は、図１４（ａ）に示すように、まず、自車両の重心点を通る鉛直線と車体ロール軸の交点をＰとする。このＰ点を原点とし、走行路面に平行な車両前後方向をｘ軸、ｘ軸に直交する横方向をｙ軸、上下方向をｚ軸とする。また、ここでは自車両を、車体や搭乗者からなるばね上部と、ブレーキやホイールで構成されるばね下部の２つのモデルとする。ばね上部の重心点をｘｚ平面内にあるＳとする。 As shown in Figure 14(a), the roll angle estimation model method first defines the intersection point P between a vertical line passing through the center of gravity of the vehicle and the vehicle roll axis. This point P is the origin, and the front-to-rear direction of the vehicle parallel to the road surface is defined as the x-axis, the lateral direction perpendicular to the x-axis is defined as the y-axis, and the up-down direction is defined as the z-axis. In this case, the vehicle is modeled into two parts: a sprung part consisting of the vehicle body and passengers, and an unsprung part consisting of brakes and wheels. The center of gravity of the sprung part is defined as S, which is in the xz plane.

また、車体に発生する車体ロール角をφとし、拡張ロール剛性をＫφとし、ばね上部の車体質量をｍＳとし、ロールセンタ高さをｈＳとし、重力加速度をｇとし、車体速度をＶとし、ヨーレートをｒとする。この際の、車体のロール剛性や、ばね上部の車体質量、ロールセンタ高さを利用したロール角推定モデル手法は、モデル式（１）に示されるように、車速とヨーレートのそれぞれに比例するモデルとなっている。なお、ロール角推定モデル手法は、以下の特質がある。ばね上部の車体質量をｍＳおよびロールセンタ高さｈＳの変化が小さい場合に利用することができる。また、ロール角が安定し、高精度で推定することが可能となる。また、車両毎にばね上部の車体質量ｍＳおよびロールセンタ高さｈＳなどの設定が必要となる。 In addition, the vehicle body roll angle generated in the vehicle body is φ, the extended roll stiffness is Kφ, the vehicle body mass of the sprung part is mS , the roll center height is hS , the gravitational acceleration is g, the vehicle body speed is V, and the yaw rate is r. In this case, the roll angle estimation model method using the roll stiffness of the vehicle body, the vehicle body mass of the sprung part, and the roll center height is a model proportional to the vehicle speed and the yaw rate, respectively, as shown in model formula (1). The roll angle estimation model method has the following characteristics. It can be used when the change in the vehicle body mass of the sprung part mS and the roll center height hS is small. In addition, the roll angle is stable and can be estimated with high accuracy. In addition, the vehicle body mass of the sprung part mS and the roll center height hS , etc., need to be set for each vehicle.

＜車両モデル１による補正方式２＞
図１４は、実施形態に係るロール角推定モデル手法を説明する図であり、図１４（ａ）は、モデル式（１）を示し、図１４（ｂ）は、簡易化した手法のモデル式（２）を示す。 車両モデル１による補正方式２は、図１４（ａ）に示すロール角推定モデル手法を簡易化した手法であり、図１４（ｂ）に示すように、モデル式（２）を利用する。 <Correction method 2 using vehicle model 1>
14A and 14B are diagrams for explaining a roll angle estimation model method according to an embodiment, in which Fig. 14A shows model formula (1) and Fig. 14B shows model formula (2) of a simplified method. Correction method 2 using vehicle model 1 is a simplified method of the roll angle estimation model method shown in Fig. 14A, and uses model formula (2) as shown in Fig. 14B.

Figure 0007492644000002
Figure 0007492644000002

モデル式（２）において、車体に発生する車体ロール角をφとし、ロールセンタ高さをまとめて一つの変数として拡張ロール剛性Ｋαとし、車体速度をＶとし、ヨーレートをｒ、とする。車両モデル１による補正方式２は、モデル式（２）に示されるように、車速とヨーレートのそれぞれに比例するモデルとなっている。車両モデル１による補正方式２は、以下の特質がある。ばね上部の車体質量ｍＳおよびロールセンタ高さｈＳの変化が大きい。また、車両毎にばね上部の車体質量ｍＳおよびロールセンタ高さｈＳなどの設定が不要となる。また、車種別の設定が不要となり、簡易に安定化が図られる。 In model formula (2), the vehicle body roll angle generated in the vehicle body is represented by φ, the roll center heights are collectively represented as one variable, the extended roll stiffness Kα, the vehicle body speed V, and the yaw rate r. As shown in model formula (2), correction method 2 using vehicle model 1 is a model that is proportional to the vehicle speed and the yaw rate, respectively. Correction method 2 using vehicle model 1 has the following characteristics. The changes in the vehicle body mass mS of the sprung part and the roll center height hS are large. In addition, it is not necessary to set the vehicle body mass mS of the sprung part and the roll center height hS for each vehicle. In addition, it is not necessary to set the vehicle body mass mS of the sprung part and the roll center height hS for each vehicle, and stabilization is easily achieved.

また、車両モデル１による補正方式２は、ばね上部の車体質量ｍＳおよびロールセンタ高さｈＳなどが乗車毎に変化しても、この変化に対して拡張ロール剛性Ｋαを学習することで吸収できる設計で構成されている。拡張ロール剛性Ｋαを乗車毎に学習し直すように設計することで、特に積載量などが大きく変化するトラックなどは、車両モデル１による補正方式２の方が、車体の動きに適切な補正を加え易い。 Furthermore, correction method 2 using vehicle model 1 is configured with a design that can absorb changes in the sprung body mass mS and roll center height hS , etc., that occur each time the vehicle is boarded, by learning the extended roll stiffness Kα. By designing the extended roll stiffness Kα to be re-learned each time the vehicle is boarded, correction method 2 using vehicle model 1 makes it easier to apply appropriate corrections to the movement of the vehicle body, particularly in trucks whose load changes significantly.

図１５は、実施形態に係るトラック旋回時ロールを説明する図であり、図１５（ａ）は、無積載時を示し、図１５（ｂ）は、満積載時を示す。
車両モデル１による補正方式２においては、トラック旋回時ロールについて、図１５（ａ）および図１５（ｂ）に示すように、トラックの無積載時と、トラックの満積載時とでは、同じ車速、ヨーレートであったとしても旋回により発生するロール角には、差分が生じる。無積載時のロール角は、長期シーン・ロール角α＋搭乗シーン・ロール角β＋旋回シーン車体ロール角φ１となり、満積載時のロール角は、長期シーンα＋搭乗シーンβ＋旋回シーンφ２となり、|α１|＜|α２|が大きく車体の傾きが変化することとなる。 15A and 15B are diagrams for explaining rolls when the truck turns according to the embodiment, where FIG. 15A shows the case where the truck is unladen, and FIG. 15B shows the case where the truck is fully laden.
In the correction method 2 using the vehicle model 1, as shown in Figures 15(a) and 15(b), for the roll of the truck when it turns, there is a difference in the roll angle generated by turning when the truck is unladen and when it is fully laden, even if the vehicle speed and yaw rate are the same. The roll angle when the truck is unladen is the long-term scene roll angle α + the boarding scene roll angle β + the turning scene vehicle body roll angle φ1, and the roll angle when the truck is fully laden is the long-term scene α + the boarding scene β + the turning scene φ2, so |α1| < |α2| and the inclination of the vehicle body changes greatly.

実際に、相対ロール姿勢算出結果は、全てのロール角が加算された相対ロール姿勢算出結果が得られる。これらのαとβを差し引いた状態で、旋回により発生したロール角の瞬間値を計測する。得られた旋回ロール角の瞬間値の結果から、拡張ロール剛性Ｋφを推定する。瞬間値旋回車体ロール角φと車速Ｖ、ヨーレートｒが得られているため、拡張ロール剛性Ｋαを毎フレーム毎に算出し、これを頻度分布として、最頻値を利用する方式で安定化した拡張ロール剛性を算出する。 In fact, the relative roll posture calculation result is the sum of all roll angles. With these α and β subtracted, the instantaneous value of the roll angle generated by turning is measured. The extended roll stiffness Kφ is estimated from the obtained instantaneous value of the turning roll angle. Since the instantaneous turning body roll angle φ, vehicle speed V, and yaw rate r are obtained, the extended roll stiffness Kα is calculated for each frame, and this is treated as a frequency distribution, and a stabilized extended roll stiffness is calculated using a method that uses the most frequent value.

但し、この拡張ロール剛性Ｋφは、搭乗者と積載量により変化することが自明であるため、エンジンＯＮおよびＯＦＦの時に値自体はリセットし、エンジンをＯＮにし、走行中に再学習する。積載量が多いトラックなどの場合には、毎回の拡張ロール剛性Ｋφの値が、大きく変化する。このため前述のように、毎回のエンジンＯＮおよびＯＦＦのタイミングにおいてリセットし、改めて学習をし直す方式の方が、毎回変化する車両挙動モデルのパラメータを最適に保つことが可能であり、より高精度なロール角の推定が可能となる。However, since it is self-evident that this extended roll stiffness Kφ changes depending on the number of occupants and the load, the value itself is reset when the engine is turned on and off, and the engine is turned on and re-learned while driving. In the case of a truck with a heavy load, the value of extended roll stiffness Kφ changes significantly each time. For this reason, as mentioned above, the method of resetting and re-learning each time the engine is turned on and off makes it possible to optimally maintain the parameters of the vehicle behavior model, which change each time, and enables more accurate estimation of the roll angle.

車両モデル１による補正方式２においては、時系列フィルタによる補正方式１と同様に図１３に示す自車両Ｃの挙動から予測された予測進行路が自車両Ｃから奥行き１０ｍの地点で横方向に１ｍ以上曲がっている場合において、旋回によるロール角の発生の可能性が高いと判断する。学習を開始、また車両モデルを利用した補正値の算出を開始する。更に、１０ｍ地点の横位置が０.５ｍ未満となるまでを旋回中と判断し、学習を継続する。In correction method 2 using vehicle model 1, similar to correction method 1 using a time series filter, if the predicted path of travel predicted from the behavior of vehicle C shown in Figure 13 turns laterally by 1 m or more at a point 10 m deep from vehicle C, it is determined that there is a high possibility of a roll angle occurring due to turning. Learning is started, and calculation of a correction value using the vehicle model is also started. Furthermore, it is determined that the vehicle is turning until the lateral position at the 10 m point becomes less than 0.5 m, and learning is continued.

トラックとは反対に、乗用車など、積載量の変化が少ないことが予想される自車両では、エンジンＯＮおよびＯＦＦの時に値自体はリセットせず、そのまま過去値を利用し、走行時の学習結果の反映を早くする方式で補正を実行してもよい。他にも、毎回の走行時の学習結果により拡張ロール剛性の変化しうる範囲を学習することで、極端な結果を利用しない安定性を強化した方式で補正を実行してもよい。また、毎回の走行時の学習結果が類似していることをもって、前回値を利用する、もしくは毎回の学習結果の最頻値を使う設計を採用してもよい。乗用車などで、毎回搭乗者が同様であれば、このような前回値、もしくは毎回の学習結果の平均もしくは最頻値などの方が安定した旋回時のロール学習結果を利用することが可能となり、高精度、かつ安定的なロール角の補正が可能となる。Contrary to trucks, in vehicles such as passenger cars where changes in load are expected to be small, the value itself may not be reset when the engine is turned on and off, but may be used as is to quickly reflect the learning results during driving. Alternatively, the correction may be performed in a manner that enhances stability by learning the range in which the extended roll stiffness can change based on the learning results of each driving, without using extreme results. In addition, a design may be adopted in which the previous value is used, or the most frequent value of the learning results of each driving is used, since the learning results of each driving are similar. In the case of passenger cars, if the passengers are the same each time, it is possible to use the previous value, or the average or most frequent value of the learning results of each driving, which is more stable when turning, and it is possible to perform highly accurate and stable roll angle correction.

＜車両モデル２による補正方式３＞
車両モデル２による補正方式３は、前述のモデル式（１）を利用した時系列フィルタによる補正方式１と、前述のモデル式（２）を利用した車両モデル１による補正方式２を複合した補正方式で構成されている。車両モデル２による補正方式３は、補正方式１と、補正方式２の補正方式を、車両に応じて選定することで、より最適なモデルの補正方式を実行するようにしてもよい。 <Correction method 3 using vehicle model 2>
Correction method 3 using the vehicle model 2 is configured by combining correction method 1 using a time series filter utilizing the above-mentioned model formula (1) and correction method 2 using the vehicle model 1 utilizing the above-mentioned model formula (2). Correction method 3 using the vehicle model 2 may select correction method 1 or correction method 2 according to the vehicle, thereby executing a correction method of a more optimal model.

車両モデル２による補正方式３においては、カメラ内部には、補正方式１および補正方式２の双方を設定して、初期状態は補正方式１を選択するものとし、毎回の学習結果Ｋαの値の傾向を見ながら、毎回類似した結果になるようであれば補正方式２を選択し、毎回の学習結果Ｋαの値の傾向がばらつくようであれば、積載量の変化が大きい扱い方をする車両であることを想定して、変化に対応し易い補正方式１を採用する手法もある。このように２つの補正方式を実装し、車両の使われ方を学習することで、補正方式を選択する複合方式で補正するようにしてもよい。In correction method 3 using vehicle model 2, both correction methods 1 and 2 are set inside the camera, and correction method 1 is selected as the initial state. While observing the tendency of the learning result Kα value each time, if the result is similar each time, correction method 2 is selected, and if the tendency of the learning result Kα value each time varies, it is assumed that the vehicle is handled in a way that causes large changes in the load, and correction method 1, which is easier to adapt to changes, is adopted. In this way, two correction methods may be implemented, and correction may be performed using a composite method that selects the correction method by learning how the vehicle is used.

走行シーン・ロール角算出部４５は、自車両が走行する道路の特徴に合わせてロール角を補正する。但し、この補正は、補正した走行路面と異なる走行路面へ移動した場合には瞬時にロール角が変化する可能性があるため、走行シーン・ロール角算出部４５は、ある程度の誤差になることを許容しつつ、最低限の認識と測距を保つための補正を実行する。例えば、走行路面に轍がある場合、あるいは、かまぼこ型（凸Ｕ字形）の断面を有する道路を走行し続けている場合などには、周囲の風景が傾いておらず、自車両だけが傾いていることになる。カメラから見た相対的な姿勢としては自車両が何らかの要因で傾いているように見える。The driving scene/roll angle calculation unit 45 corrects the roll angle according to the characteristics of the road on which the vehicle is traveling. However, this correction may cause the roll angle to change instantly if the vehicle moves to a driving surface different from the corrected driving surface, so the driving scene/roll angle calculation unit 45 performs correction to maintain minimum recognition and distance measurement while allowing for a certain degree of error. For example, if there are ruts on the driving surface, or if the vehicle is traveling on a road with a semi-cylindrical (convex U-shaped) cross section, the surrounding scenery is not tilted, and only the vehicle is tilted. From the perspective of the camera, the vehicle appears to be tilted due to some factor.

走行シーン・ロール角算出部４５は、この場合、旋回や、走行路面の状況の変化が発生した際には、すぐに補正値を０にリセットすることを前提に、走行シーンのロール角としての補正を実行する。また、走行路面の凹凸によりロール角が変化する際には、ほぼ瞬間値のロール角補正を実行する。但し、大きなノイズが入る可能性もあるため、これ以外の長期間の補正値、長期シーン、積載シーン、旋回シーンの加算結果を中央値にし、この中央値に比較的近くなるようにフィルタやリミットを設けた範囲で、相対ロール姿勢を利用することで、ある程度の誤差を吸収する。In this case, the driving scene roll angle calculation unit 45 performs correction of the roll angle of the driving scene, assuming that the correction value is immediately reset to 0 when a turn or a change in the driving road surface occurs. In addition, when the roll angle changes due to unevenness of the driving road surface, a roll angle correction of an almost instantaneous value is performed. However, since there is a possibility of large noise being introduced, the sum of the other long-term correction values, long-term scenes, loading scenes, and turning scenes is set as the median, and a certain degree of error is absorbed by using the relative roll posture within a range where filters and limits are set so that it is relatively close to this median value.

走行シーン・ロール角算出部４５は、これらのシーンにおいて、ロール角の誤差が小さいシーンにおいては必ずしも補正は実行しない。補正を実行しない方が安定性、信頼性が高くなる。但し、ある一定角度を超えるロール角が発生している場合は、これら走行シーンに応じて発生するロール角を補正する方が、全体的な精度を向上することが可能となる。 In these scenes, the driving scene/roll angle calculation unit 45 does not necessarily perform correction in scenes where the roll angle error is small. Not performing correction increases stability and reliability. However, when a roll angle exceeding a certain angle occurs, correcting the roll angle that occurs according to these driving scenes can improve overall accuracy.

図１６は、実施形態に係る検知測距部の構成図である。
検知測距部５０は、図１６に示すように、ロール角補正部５１と、立体物検知部５２と、測距部５３とを備えている。検知測距部５０は、シーン型角度推定部４０において推定された各シーン別のロール角を利用して、ロール角を補正したうえで、検知され測距された立体物の補正を実行する。検知測距部５０においては、従来と比較し、より小さなものまで安定して走行路面上に存在する立体物を検知が可能となる。また、検知した物体に関する測距性能についても、ロール角をより適切に補正することで、横位置が離れるほど、大きかった距離誤差を抑制し、より正確に横位置、奥行き、高さを推定することが可能となる。 FIG. 16 is a configuration diagram of a detection and ranging unit according to the embodiment.
As shown in FIG. 16, the detection and ranging unit 50 includes a roll angle correction unit 51, a three-dimensional object detection unit 52, and a distance measurement unit 53. The detection and ranging unit 50 uses the roll angle for each scene estimated by the scene-type angle estimation unit 40 to correct the roll angle, and then performs correction of the detected and measured distance three-dimensional object. The detection and ranging unit 50 can stably detect even smaller three-dimensional objects existing on the road surface compared to the conventional method. In addition, by more appropriately correcting the roll angle, the distance measurement performance for the detected object can be suppressed as the lateral position becomes farther, and the lateral position, depth, and height can be more accurately estimated.

検知測距部５０は、長期シーンの値が入っている間、即ち長期シーンでロール角を検出している間は、比較の基準になるので、常に、補正値として利用する。この補正値をベースにして、積載シーンのロール角は更に、長期シーンの補正値に加算する形で変化分の補正を実行する。但し、この補正値は、エンジンＯＮおよびＯＦＦの後には変化する値となる。補正値がエンジンＯＮおよびＯＦＦの後リセットされた場合で、まだ新たな補正値が推定できてない場合には、補正しない、もしくは補正値０となるが、この積載シーン補正値も何らかの補正値を活用することとなる。検知測距部５０においては、夜間、カメラなどで走行路面や白線上の視差が得られないことが長期的に続く環境においては、しばらく補正値を利用することができない、もしくは補正値０が継続することもある。 The detection and ranging unit 50 always uses the long-term scene value as a correction value since it is the basis for comparison while it has the long-term scene value, i.e., while it is detecting the roll angle in the long-term scene. Based on this correction value, the roll angle of the loading scene is further corrected by adding it to the correction value of the long-term scene. However, this correction value is a value that changes after the engine is turned on and off. If the correction value is reset after the engine is turned on and off and a new correction value has not yet been estimated, no correction is made or the correction value is 0, but this loading scene correction value also utilizes some correction value. In the detection and ranging unit 50, at night, in an environment where the parallax on the road surface or white lines cannot be obtained by a camera or the like for a long period of time, the correction value cannot be used for a while, or the correction value 0 may continue.

検知測距部５０においては、旋回シーンと走行シーンの場合、ロール角が発生しそうなシーンだと特定された場合にのみ補正を実行し、前述の長期シーンの補正値、積載シーンの補正値に加算して、ロール角の補正を実行する。また、この補正は、長期的に安定して補正される長期シーンおよび積載シーンのロール角は、立体物検知部５２や測距部５３などの両方に反映し、比較的短期間に発生する旋回シーンや走行シーンに関しての補正は、測距のみ補正を実行した値で測距することもありうる。 In the detection and ranging unit 50, in the case of turning scenes and driving scenes, correction is performed only when it is determined that the scene is likely to generate a roll angle, and the correction value is added to the correction value of the long-term scene and the correction value of the loading scene described above to correct the roll angle. In addition, this correction is reflected in both the three-dimensional object detection unit 52 and the ranging unit 53, etc., for the roll angles of long-term scenes and loading scenes that are stably corrected over the long term, and the correction for turning scenes and driving scenes that occur in a relatively short period of time may be performed by measuring the distance using a value that has been corrected only for the distance measurement.

検知測距部５０においては、画像全体をロールさせる補正手法をハードウェアで実行する際に、その設定値を毎フレーム変更することなどが難しい、もしくは、瞬間的に誤差が入った場合に立体物の検知が途切れてしまうなど影響が大きい場合には、より安定かつ信頼できる長期シーンと積載シーンのロール角のみを利用してこれを補正することで立体物の検知は安定的な検知結果を得る。In the detection and ranging unit 50, when a correction method that rolls the entire image is executed in hardware, if it is difficult to change the setting value every frame, or if a momentary error has a large impact such as interrupting the detection of three-dimensional objects, then by correcting this using only the roll angle of the more stable and reliable long-term scene and loading scene, stable detection results for three-dimensional objects can be obtained.

また、検知測距部５０においては、立体物の検知自体、細かなロール角の影響を受けないが、大きなロール角のみは補正されている方がよい。このため細かな時系列変化は省き、大きな信頼できるロール角の長期シーンおよび積載シーンのロール角のみを利用する方法もある。検知とは反対に、測距の場合には、画像を変換するなどの処理まで影響させずに対象、物体一つ一つの計算時に補正を実行するだけでよい。このため、瞬間値を利用しながら旋回シーン、走行シーンの補正値を利用し、高精度化を狙う。また、瞬間的な誤差については、計算後にこれをノイズ除去する仕組みや、フィルタリングする手法を備えることで、多少のばらつきを抑制する方法もある。全てのロール角を加算する補正方法で、多少の不安定さを無視して高精度を狙った補正方式でもよい。 In addition, in the detection and ranging unit 50, the detection of a three-dimensional object itself is not affected by small roll angles, but it is better to correct only large roll angles. For this reason, there is a method of omitting small time-series changes and using only the roll angles of long-term scenes and loading scenes with large reliable roll angles. In contrast to detection, in the case of ranging, it is only necessary to perform corrections when calculating each target or object without affecting processing such as image conversion. For this reason, the correction values of turning scenes and driving scenes are used while using instantaneous values, aiming for high accuracy. In addition, there is a method of suppressing some variation in momentary errors by providing a mechanism for removing noise after calculation or a filtering method. A correction method that adds up all roll angles and ignores some instability while aiming for high accuracy may also be used.

また、検知測距部５０においては、旋回シーンのロール角推定結果には、推定方法に応じて補正方法も異なるが、前述のシーン型角度推定部４０における補正方法１に示す時系列のフィルタリング方式のみの場合には、フィルタリングの作動条件と同様に自車両の予測進行路の変化に応じてフィルタリングが開始されるため、少し旋回が始まった後に、フィルタリングされたロール角の値を補正に利用することで、大きなロール角を補正する。 In addition, in the detection and ranging unit 50, the correction method for the roll angle estimation result in a turning scene differs depending on the estimation method, but in the case of only the time-series filtering method shown in correction method 1 in the scene-type angle estimation unit 40 described above, filtering is started in response to changes in the predicted path of travel of the vehicle, similar to the filtering operation conditions, so that after a small turn has begun, large roll angles are corrected by using the filtered roll angle value for correction.

シーン型角度推定部４０における補正方法１とは反対に、補正方法２および補正方法３の場合には、既に学習値により拡張ロール剛性、もしくはロール剛性値が推定されていれば、この値を利用したロール角を推定し、補正値として利用する。この結果が極めて小さい場合は利用せずに、ある程度大きくなった段階で補正値として利用する。補正方法２および補正方法３は、カメラで必ずしもロール角の値を計算できない瞬間であっても車速とヨーレートの値からロール角を、自車両に合わせた結果を推定することが可能である。 In contrast to correction method 1 in the scene-type angle estimation unit 40, in correction methods 2 and 3, if the extended roll stiffness or roll stiffness value has already been estimated using the learning value, the roll angle is estimated using this value and used as the correction value. If this result is extremely small, it is not used, but is used as the correction value once it has become somewhat large. Correction methods 2 and 3 make it possible to estimate the roll angle from the vehicle speed and yaw rate values, and to estimate a result that matches the host vehicle, even at moments when the roll angle value cannot necessarily be calculated by the camera.

ロール角補正部５１は、ロール角推定結果を利用して、ロール角補正を実行する。立体物検知部５２は、ロール角補正部５１でロール角の補正を実行した後に、立体物の検知を実行する。これにより安定的な立体物の検知が可能となる。特に、遠方、横位置の遠い物体や背の低い物体などの検知性能が向上するだけでなく安定的な検知が可能となる。測距部５３は、立体物検知部５２により検知された立体物の測距を実行する。ロール角の補正を実行することで、特にレンズ中心から離れる広角部であるほど、ロール角の誤差による測距への影響が大きくなるが、広角なセンシングにとって、このロール角を補正することで、制御にも利用可能な高精度な測距が可能となる。なお、実施形態のロール角補正部５１は、本発明に係る画像処理装置の傾き角補正値算出部に対応する。The roll angle correction unit 51 performs roll angle correction using the roll angle estimation result. The three-dimensional object detection unit 52 performs detection of the three-dimensional object after the roll angle correction unit 51 performs roll angle correction. This enables stable detection of the three-dimensional object. In particular, not only is the detection performance of distant objects in a horizontal position and low objects improved, but stable detection is also possible. The distance measurement unit 53 performs distance measurement of the three-dimensional object detected by the three-dimensional object detection unit 52. By performing roll angle correction, the wider the angle part is, particularly the farther it is from the center of the lens, the greater the impact of the roll angle error on the distance measurement. However, for wide-angle sensing, correcting this roll angle enables high-precision distance measurement that can also be used for control. The roll angle correction unit 51 of the embodiment corresponds to the tilt angle correction value calculation unit of the image processing device according to the present invention.

警報制御部６０は、図示しないが、検知測距部５０にて検知した人や障害物の位置や姿勢、進行速度に基づいて、自車両との衝突可能性、タイミングを計算し、人の存在や自車両との衝突可能性についての警報や制御を実行する。警報制御部６０の活用により、誤警報の削減や、より適切なタイミングにおける警報や制御の実行が可能となる。検知測距部５０の検知結果と、測距結果を利用して、警報制御部６０において、警報や制御の実行を判断、必要と判断されたタイミングにおいて警報や制御を実行する。Although not shown, the warning control unit 60 calculates the possibility and timing of a collision with the vehicle based on the position, posture, and traveling speed of people and obstacles detected by the detection and ranging unit 50, and issues a warning or performs control regarding the presence of people and the possibility of a collision with the vehicle. Utilizing the warning control unit 60 makes it possible to reduce false warnings and issue warnings and control at more appropriate times. Using the detection results and ranging results of the detection and ranging unit 50, the warning control unit 60 determines whether to issue a warning or control, and issues a warning or control at a timing deemed necessary.

以下、画像処理装置１の画像処理工程の流れについて図面を参照して説明する。
画像処理装置１は、以下の画像処理工程により、カメラで撮像された画像から得られた３Ｄ点群を利用してロール角を推定し、この推定角度を補正して、検知され測距された立体物を活用することで、安定的かつ高精度に立体物を検知し、更に、安定かつ適切な警報制御を実行する。 The flow of image processing steps in the image processing device 1 will be described below with reference to the drawings.
Through the following image processing steps, the image processing device 1 estimates the roll angle using a 3D point cloud obtained from an image captured by a camera, corrects this estimated angle, and utilizes the detected and ranged three-dimensional objects to detect three-dimensional objects stably and with high accuracy, and further performs stable and appropriate alarm control.

図１７は、実施形態に係る画像処理工程を示すフローチャートである。
実施形態に係る画像処理工程は、図１７に示すように、左右画像の撮像の工程（ステップＳ１）と、ステレオマッチング、３Ｄ点群生成の工程（ステップＳ２）と、処理領域の設定の工程（ステップＳ３）と、相対ロール姿勢のデータ抽出の工程（ステップＳ４）と、相対ロール姿勢の算出の工程（ステップＳ５）とを含んで構成されている。また、画像処理工程は、シーン別のロール角の算出の工程（ステップＳ６）と、シーン別のロール角の管理の工程（ステップＳ７）と、ロール角の補正の工程（ステップＳ８）と、立体物の検知測距の工程（ステップＳ９）と、警報と制御の工程（ステップＳ１０）とを含んで構成されている。各工程は順に行われる。 FIG. 17 is a flow chart showing image processing steps according to an embodiment.
As shown in Fig. 17, the image processing process according to the embodiment includes a process of capturing left and right images (step S1), a process of stereo matching and generating a 3D point cloud (step S2), a process of setting a processing area (step S3), a process of extracting data on a relative roll attitude (step S4), and a process of calculating the relative roll attitude (step S5). The image processing process also includes a process of calculating a roll angle for each scene (step S6), a process of managing a roll angle for each scene (step S7), a process of correcting the roll angle (step S8), a process of detecting and measuring the distance of a three-dimensional object (step S9), and a process of warning and control (step S10). Each process is performed in sequence.

左右画像の撮像の工程（ステップＳ１）においては、車載されたステレオカメラ部１０の左右カメラ部１１で左右画像が撮像され、幾何、感度の補正がなされて、幾何的な補正である平行化が実行される。また、左右カメラ部１１により、左カメラおよび右カメラの色合い、輝度などが同じになるように設定する感度キャリブレーションが実行される。In the process of capturing left and right images (step S1), the left and right images are captured by the left and right camera units 11 of the stereo camera unit 10 mounted on the vehicle, and geometric and sensitivity corrections are made to perform parallelization, which is a geometric correction. In addition, the left and right camera units 11 perform sensitivity calibration to set the color tone, brightness, etc. of the left and right cameras to be the same.

ステレオマッチング、３Ｄ点群生成の工程（ステップＳ２）においては、ステレオマッチングが実行され、視差画像が生成され、ステレオマッチングの結果と、カメラ幾何や基線長を利用して３Ｄ点群が取得される。また、視差画像と３Ｄ点群を併用しながら複数種の路端特徴量が取得される。In the process of stereo matching and 3D point cloud generation (step S2), stereo matching is performed, a disparity image is generated, and a 3D point cloud is obtained using the stereo matching results, the camera geometry, and the baseline length. In addition, multiple types of road edge features are obtained by using the disparity image and the 3D point cloud in combination.

処理領域の設定の工程（ステップＳ３）においては、舵角、ヨーレート、車速を入力として、４輪モデルを利用した自車両の挙動推定が実行され、自車両進行路が推定される。推定された自車両進行路に沿って、自車両のタイヤが通ると予測される場所に左右のタイヤ別に処理領域が処理領域設定部２０により設定される。更に、レーン認識の結果を利用して、レーンの周囲を囲むように、処理領域が別途設定される。これにより、立体物が入っていない走行路面である可能性がある領域に処理領域が設けられる。In the process of setting the processing area (step S3), the steering angle, yaw rate, and vehicle speed are used as inputs to estimate the behavior of the host vehicle using a four-wheel model, and the host vehicle's travel path is estimated. Processing areas are set by the processing area setting unit 20 for the left and right tires along the estimated host vehicle travel path at locations where the host vehicle's tires are predicted to pass. Furthermore, a separate processing area is set to surround the lane using the results of lane recognition. This allows the processing area to be set in an area that may be a driving road surface that does not contain three-dimensional objects.

処理領域が設けられた後にノイズ除去部３２によりノイズ除去処理が実行されるが、ノイズ除去処理は、走行路面の３Ｄ点群のみからロール角を計算することで、ノイズに影響をうけることの少ない高精度かつ安定的なロール角を推定することができるためである。また、レーンの場所を処理領域として利用されるが、特に夜間や雨天など、走行路面上でステレオマッチングがしづらく、高信頼の視差が得られない場合を想定した処理であり、このレーン上に処理領域を置くことで、ロール角が推定されるシーンが大幅に増えるとともに安定化に繋がる。After the processing area is set, the noise removal unit 32 performs noise removal processing. This is because the noise removal processing calculates the roll angle only from the 3D point cloud of the road surface, making it possible to estimate a highly accurate and stable roll angle that is less affected by noise. In addition, the location of the lane is used as the processing area, but this processing assumes that stereo matching is difficult on the road surface, particularly at night or in rainy weather, and highly reliable parallax cannot be obtained. By placing the processing area on this lane, the number of scenes in which the roll angle is estimated increases significantly and leads to stabilization.

相対ロール姿勢のデータ抽出の工程（ステップＳ４）においては、相対ロール姿勢を算出するためのデータの抽出処理が実行される。処理領域を横方向に投票処理し、ヒストグラム化最頻値を選ぶことで、ノイズ耐性の強い処理が実行される。更に、全フレームの立体物検知結果などから、先行車両や、立体物が存在した場合には、マージンや移動予測をしたうえで、立体物近辺の３Ｄ点群が排除され、ロール角推定に利用してよい情報が抽出される。In the process of extracting data on the relative roll attitude (step S4), data extraction processing is performed to calculate the relative roll attitude. By voting the processing area horizontally and selecting the most frequent histogram value, processing with high noise resistance is performed. Furthermore, if a leading vehicle or a three-dimensional object is found based on the three-dimensional object detection results of all frames, a margin and movement prediction are performed, and the 3D point cloud near the three-dimensional object is excluded, and information that can be used for roll angle estimation is extracted.

相対ロール姿勢の算出の工程（ステップＳ５）においては、ノイズ除去が実行された後に、更に細かなノイズが残っていることを想定して、得られた点群の中から、走行路面上で２次元に広がるようにいくつかの点をランダムにセレクトし、いくつかの点群の部分集合を作成し、それぞれについてロール角推定が実行される。そして、中央値もしくは最頻値のロール角をベースにノイズ除去が実行され、最終的にノイズ除去実行の点集合で相対ロール姿勢が算出される。In the process of calculating the relative roll attitude (step S5), assuming that finer noise remains after noise removal, several points are randomly selected from the obtained point cloud so that they are spread two-dimensionally on the road surface, and several subsets of the point cloud are created, and roll angle estimation is performed for each of them. Noise removal is then performed based on the median or most frequent roll angle, and finally the relative roll attitude is calculated from the point set after noise removal.

シーン別のロール角の算出の工程（ステップＳ６）においては、シーン型角度推定部４０により、シーン別のロール角推定が実行される。長期シーン、積載シーン、旋回シーン、走行シーン、それぞれのシーンを考慮したうえで、ロール角の推定処理が実行される。In the process of calculating the roll angle for each scene (step S6), the scene-based angle estimation unit 40 performs roll angle estimation for each scene. The roll angle estimation process is performed taking into account each of the following scenes: long-term scenes, loading scenes, turning scenes, and driving scenes.

シーン別のロール角の管理の工程（ステップＳ７）においては、シーン別ロール角管理部４１により、シーン別のロール角管理が実行される。特に長期シーンに関しては、エンジンＯＮおよびＯＦＦの時における過去データの管理を含めて実行される。また、エンジンＯＮの時には、ここで保存されていた長期シーンのロール角が利用され補正が実行される。In the process of managing roll angles by scene (step S7), the scene-specific roll angle management unit 41 performs roll angle management by scene. In particular, for long-term scenes, management of past data when the engine is ON and OFF is also performed. In addition, when the engine is ON, the roll angle of the long-term scene stored here is used to perform correction.

このほか積載シーンや走行シーンは、エンジンＯＮの後のデータから推定値が新たに算出される。但し、積載シーンに関しては、毎回の積載量がほぼ同等で変化がないなどの学習結果については、シーン別ロール角管理部４１においてこれを取り扱い、これをもとにベースとして利用可能な積載シーンのロール角がシーン別ロール角管理部４１で管理され、エンジンＯＮの時の初期値として利用されることがある。旋回シーンについては時系列にフィルタする場合には、走行中の結果が利用される。但し、旋回シーンの補正方式２および補正方式３に関しては拡張ロール剛性およびロール剛性は、毎回エンジンＯＮおよびＯＦＦの時に、前回走行時の学習結果などがＲＡＭに保存され、これをエンジンＯＮの時に呼び出しながら常に更新が実行されるようにして利用される。In addition, for loading and driving scenes, new estimated values are calculated from data after the engine is turned on. However, for loading scenes, learning results such as the amount of loading being almost the same each time and not changing are handled by the scene-specific roll angle management unit 41, and the roll angle of the loading scene that can be used as a base based on this is managed by the scene-specific roll angle management unit 41 and may be used as the initial value when the engine is turned on. For turning scenes, when filtering in chronological order, the results during driving are used. However, for correction method 2 and correction method 3 for turning scenes, the extended roll stiffness and roll stiffness are stored in RAM every time the engine is turned on and off, and are used by constantly updating while calling up the learning results from the previous driving.

ロール角の補正の工程（ステップＳ８）においては、シーン別のロール角が利用され、走行シーンに応じて補正値を利用するかどうかが判定され、ロール角の補正が実行される。In the roll angle correction process (step S8), the scene-specific roll angle is used, and it is determined whether to use a correction value depending on the driving scene, and the roll angle correction is performed.

立体物の検知測距の工程（ステップＳ９）においては、ステップＳ８のロール角の補正が実行された後に、検知測距部５０により立体物の検知測距が実行される。ロール角を安定的かつ高精度に補正することで、自車両に衝突するおそれのある移動体や立体物などを安定的に検知、精度よく衝突するか否か、また衝突する場合にはそのタイミングが正確に予測される。これによりロール角の誤差の影響を受け易い広角部の立体物検知についても安定的かつ高精度な位置算出が可能となる。In the process of detecting and measuring the distance to a three-dimensional object (step S9), after the roll angle correction in step S8 is performed, the detection and measuring unit 50 detects and measures the distance to the three-dimensional object. By stably and highly accurately correcting the roll angle, moving objects and three-dimensional objects that may collide with the vehicle can be stably detected, and it is possible to accurately predict whether or not a collision will occur, and if a collision will occur, the timing of the collision. This makes it possible to stably and highly accurately calculate the position of a three-dimensional object in the wide-angle area, which is easily affected by roll angle errors.

警報と制御の工程（ステップＳ１０）においては、ステップＳ９における立体物検知の結果、測距結果が利用され、警報制御部６０により、警報と制御が実行される。
次いで、実施形態に係る画像処理装置１の効果について説明する。 In the warning and control process (step S10), the result of the three-dimensional object detection and the distance measurement result in step S9 are utilized, and the warning control unit 60 executes warning and control.
Next, the effects of the image processing device 1 according to the embodiment will be described.

実施形態に係る画像処理装置１は、ステレオカメラ部１０と、処理領域設定部２０と、相対ロール姿勢算出部３０と、シーン型角度推定部４０と、検知測距部５０と、警報制御部６０とにより構成されている。画像処理装置１は、処理領域設定部２０で、走行路面とカメラの姿勢を計測するための処理領域を設定し、相対ロール姿勢算出部３０で走行路面とカメラの姿勢を算出し、シーン型角度推定部４０ではカメラの撮像した画像をシーン別に管理しロール角を推定する。また、画像処理装置１は、検知測距部５０で推定されたロール角を補正し、自車両Ｃの周りの立体物の検知および測距を実行し、警報制御部６０では、検知された障害物の位置、姿勢および速度に基づいて自車両Ｃとの衝突可能性、タイミングを計算し警報や制御を実行する。この構成により、比較的に広い画角の左右カメラ部１１により検知され測距された立体物の撮像画像であっても、高い精度で撮像画像における左右カメラ部１１と走行路面との傾き角の補正をすることができるという効果が得られる。The image processing device 1 according to the embodiment is composed of a stereo camera unit 10, a processing area setting unit 20, a relative roll attitude calculation unit 30, a scene-type angle estimation unit 40, a detection and distance measurement unit 50, and an alarm control unit 60. In the image processing device 1, the processing area setting unit 20 sets a processing area for measuring the traveling road surface and the attitude of the camera, the relative roll attitude calculation unit 30 calculates the traveling road surface and the attitude of the camera, and the scene-type angle estimation unit 40 manages the images captured by the camera by scene and estimates the roll angle. In addition, the image processing device 1 corrects the roll angle estimated by the detection and distance measurement unit 50, detects and measures the distance of a three-dimensional object around the vehicle C, and the alarm control unit 60 calculates the possibility and timing of a collision with the vehicle C based on the position, attitude, and speed of the detected obstacle, and executes an alarm or control. With this configuration, even if the captured image of a three-dimensional object detected and measured by the left and right camera units 11 with a relatively wide angle of view is captured, the effect of being able to correct the inclination angle between the left and right camera units 11 and the traveling road surface in the captured image with high accuracy is obtained.

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Although the embodiments of the present invention have been described above in detail, the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. In addition, it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Furthermore, it is possible to add, delete, or replace part of the configuration of each embodiment with other configurations.

１・・・画像処理装置、１０・・・ステレオカメラ部（ステレオカメラ）、１１・・・左右カメラ部（ステレオカメラ）、１２・・・ステレオマッチング部（画像処理部）、１３・・・３Ｄ点群生成部（３次元点群生成部）、２０・・・処理領域設定部（画像処理部）、２１・・・予測進行路算出部、２２・・・進行路処理領域設定部、２３・・・レーン認識部、３０・・・相対ロール姿勢算出部（カメラ傾き角算出部）、３１・・・領域別最頻値抽出部、３２・・・ノイズ除去部、３３・・・領域別利用判断部、３４・・・相対姿勢算出部、３５・・・信頼度算出部、４０・・・シーン型角度推定部（相対ロール角推定部）、４１・・・シーン別ロール角管理部、４２・・・長期シーン・ロール角算出部、４３・・・積載シーン・ロール角算出部、４４・・・旋回シーン・ロール角算出部、４５・・・走行シーン・ロール角算出部、５０・・・検知測距部（画像処理部）、５１・・・ロール角補正部（傾き角補正値算出部）、５２・・・立体物検知部、５３・・・測距部、６０・・・警報制御部（画像処理部）、Ｃ・・・車両 1: Image processing device, 10: Stereo camera unit (stereo camera), 11: Left and right camera units (stereo camera), 12: Stereo matching unit (image processing unit), 13: 3D point cloud generation unit (three-dimensional point cloud generation unit), 20: Processing area setting unit (image processing unit), 21: Predicted path calculation unit, 22: Path processing area setting unit, 23: Lane recognition unit, 30: Relative roll attitude calculation unit (camera tilt angle calculation unit), 31: Area-specific mode extraction unit, 32: Noise removal unit, 33: Area-specific utilization judgment unit , 34... relative attitude calculation unit, 35... reliability calculation unit, 40... scene type angle estimation unit (relative roll angle estimation unit), 41... scene-specific roll angle management unit, 42... long-term scene roll angle calculation unit, 43... loading scene roll angle calculation unit, 44... turning scene roll angle calculation unit, 45... driving scene roll angle calculation unit, 50... detection and ranging unit (image processing unit), 51... roll angle correction unit (tilt angle correction value calculation unit), 52... three-dimensional object detection unit, 53... ranging unit, 60... warning control unit (image processing unit), C... vehicle

Claims (8)

車両に搭載されたカメラで撮像された画像から、走行路面に対する前記カメラのカメラ傾き角を求めるカメラ傾き角算出部と、
前記車両の挙動と、前記車両の走行中に撮像された複数の前記画像からなる画像群を用いて、前記カメラ傾き角算出部により算出された前記カメラ傾き角を補正する補正値を求める傾き角補正値算出部と、
前記補正値を用いて、前記カメラで撮像された前記画像に対して画像処理を行う画像処理部と、
前記画像から前記走行路面の３次元点群を生成する３次元点群生成部と、
前記車両の旋回時に発生する前記カメラと前記走行路面との相対ロール角を、前記走行路面の３次元点群を利用して推定する相対ロール角推定部と、
を有することを特徴とする画像処理装置。 a camera inclination angle calculation unit that calculates a camera inclination angle of the camera with respect to a road surface from an image captured by the camera mounted on the vehicle;
a tilt angle correction value calculation unit that calculates a correction value for correcting the camera tilt angle calculated by the camera tilt angle calculation unit, using a behavior of the vehicle and an image group consisting of a plurality of the images captured while the vehicle is traveling;
an image processing unit that performs image processing on the image captured by the camera using the correction value;
a three-dimensional point cloud generation unit that generates a three-dimensional point cloud of the traveling road surface from the image;
a relative roll angle estimating unit that estimates a relative roll angle between the camera and the road surface that occurs when the vehicle turns, using a three-dimensional point cloud of the road surface;
13. An image processing device comprising: 請求項１に記載の画像処理装置において、
前記相対ロール角推定部が、車速とヨーレートに比例して得られる前記相対ロール角を推定する車両挙動モデルを定義し、前記車両挙動モデルのパラメータを、前記車両の走行時に学習し、前記カメラによる前記３次元点群が得られない環境を含めて学習したパラメータと前記車両の車速およびヨーレートとを用いて前記相対ロール角を推定することを特徴とする画像処理装置。 2. The image processing device according to claim 1 ,
an image processing device characterized in that the relative roll angle estimation unit defines a vehicle behavior model that estimates the relative roll angle obtained in proportion to a vehicle speed and a yaw rate, learns parameters of the vehicle behavior model while the vehicle is traveling, and estimates the relative roll angle using the learned parameters including in an environment in which the three-dimensional point cloud cannot be obtained by the camera and the vehicle speed and yaw rate of the vehicle. 請求項２に記載の画像処理装置において、
前記車両の旋回による前記相対ロール角を算出する前記車両挙動モデルにおいて、前記車両の重量および高さに関するパラメータを車種別に設定するロール角推定モデルを定義し、該ロール角推定モデルを用いて前記カメラ傾き角であるロール角の補正をすることを特徴とする画像処理装置。 3. The image processing device according to claim 2 ,
In the vehicle behavior model that calculates the relative roll angle due to the turning of the vehicle, a roll angle estimation model is defined in which parameters related to the weight and height of the vehicle are set for each vehicle type, and the roll angle, which is the camera tilt angle, is corrected using the roll angle estimation model. 請求項１に記載の画像処理装置において、
前記走行路面の前記３次元点群を活用するために、左右タイヤの進行路領域と左右車線付近に処理領域を設定することで、視差が少ない状況を含めて、前記相対ロール角の推定を行うことを特徴とする画像処理装置。 2. The image processing device according to claim 1 ,
An image processing device characterized in that, in order to utilize the three-dimensional point cloud of the road surface, a processing area is set near the travel path areas of the left and right tires and the left and right lanes, thereby estimating the relative roll angle, including in situations with low parallax. 車両に搭載されたカメラで撮像された画像から、走行路面に対する前記カメラのカメラ傾き角を求めるカメラ傾き角算出部と、
前記車両の挙動と、前記車両の走行中に撮像された複数の前記画像からなる画像群を用いて、前記カメラ傾き角算出部により算出された前記カメラ傾き角を補正する補正値を求める傾き角補正値算出部と、
前記補正値を用いて、前記カメラで撮像された前記画像に対して画像処理を行う画像処理部と、
を有し、
前記補正値は、
第１の期間に前記カメラで取得された複数の前記画像からなる第１の画像群に基づいて、前記カメラ傾き角算出部により算出された第１の傾き角を補正する第１の補正値と、
前記第１の期間より短い第２の期間に前記カメラで取得された複数の前記画像からなる第２の画像群に基づいて、前記カメラ傾き角算出部により算出された第２の傾き角を補正する第２の補正値と、を含むことを特徴とする画像処理装置。 a camera inclination angle calculation unit that calculates a camera inclination angle of the camera with respect to a road surface from an image captured by the camera mounted on the vehicle;
a tilt angle correction value calculation unit that calculates a correction value for correcting the camera tilt angle calculated by the camera tilt angle calculation unit, using a behavior of the vehicle and an image group consisting of a plurality of the images captured while the vehicle is traveling;
an image processing unit that performs image processing on the image captured by the camera using the correction value;
having
The correction value is
a first correction value for correcting a first tilt angle calculated by the camera tilt angle calculation unit based on a first image group consisting of a plurality of the images acquired by the camera during a first period; and
and a second correction value that corrects the second tilt angle calculated by the camera tilt angle calculation unit based on a second image group consisting of a plurality of the images acquired by the camera in a second period shorter than the first period. 請求項５に記載の画像処理装置において、
前記第１の補正値はエンジンＯＮ時に算出されたものであり、
前記第２の補正値は前記車両の走行中の旋回時に算出されたものであることを特徴とする画像処理装置。 6. The image processing device according to claim 5 ,
The first correction value is calculated when the engine is ON,
4. The image processing device according to claim 1, wherein the second correction value is calculated when the vehicle is turning while traveling. 請求項５に記載の画像処理装置において、
前記第１の補正値は、前記車両の走行中に学習結果を累積し、エンジンＯＮおよびＯＦＦを複数回繰り返した後に前記補正値として決定されるもので、長期的な前記カメラの姿勢を補正する値であり、
前記第２の補正値は、積載量や搭乗者による車体の傾きの変化に対応するため、エンジンＯＮの後の短期間に決定され、補正を開始することを特徴とする画像処理装置。 6. The image processing device according to claim 5 ,
the first correction value is determined as the correction value after accumulating learning results while the vehicle is traveling and turning the engine ON and OFF a number of times, and is a value for correcting a long-term attitude of the camera;
The image processing device according to claim 1, wherein the second correction value is determined within a short period of time after the engine is turned on in order to accommodate changes in the inclination of the vehicle body due to the load or the number of passengers, and correction is started. 請求項１に記載の画像処理装置において、
前記相対ロール角が発生する場所と要因を考慮し、前記相対ロール角が変化している期間をベースにシーン別に前記相対ロール角を管理することで、長期的に発生する前記相対ロール角を補正し、積載量や搭乗者もしくは旋回もしくは前記車両の走行路に応じて発生する前記相対ロール角は、ロール角誤差発生期間に応じて補正することを特徴とする画像処理装置。 2. The image processing device according to claim 1 ,
The image processing device corrects the relative roll angle that occurs over the long term by taking into account the location and cause of the relative roll angle and managing the relative roll angle for each scene based on a period during which the relative roll angle is changing, and corrects the relative roll angle that occurs depending on the load, passengers, turning, or driving path of the vehicle in accordance with a roll angle error occurrence period.
JP2023503353A 2021-03-01 2021-09-17 Image Processing Device Active JP7492644B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021031724 2021-03-01
JP2021031724 2021-03-01
PCT/JP2021/034338 WO2022185579A1 (en) 2021-03-01 2021-09-17 Image processing device

Publications (2)

Publication Number Publication Date
JPWO2022185579A1 JPWO2022185579A1 (en) 2022-09-09
JP7492644B2 true JP7492644B2 (en) 2024-05-29

Family

ID=83155258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023503353A Active JP7492644B2 (en) 2021-03-01 2021-09-17 Image Processing Device

Country Status (3)

Country Link
JP (1) JP7492644B2 (en)
DE (1) DE112021006389T5 (en)
WO (1) WO2022185579A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020308A (en) 2011-07-07 2013-01-31 Clarion Co Ltd Vehicle surrounding image pickup system
JP2017007481A (en) 2015-06-19 2017-01-12 日本精機株式会社 On-vehicle headup display device and on-vehicle display system
JP2020162033A (en) 2019-03-27 2020-10-01 株式会社デンソーテン Image processing device and image processing method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010177780A (en) 2009-01-27 2010-08-12 Toyota Motor Corp Imaging device
JP6488749B2 (en) 2015-02-13 2019-03-27 株式会社デンソー Camera calibration device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020308A (en) 2011-07-07 2013-01-31 Clarion Co Ltd Vehicle surrounding image pickup system
JP2017007481A (en) 2015-06-19 2017-01-12 日本精機株式会社 On-vehicle headup display device and on-vehicle display system
JP2020162033A (en) 2019-03-27 2020-10-01 株式会社デンソーテン Image processing device and image processing method

Also Published As

Publication number Publication date
WO2022185579A1 (en) 2022-09-09
DE112021006389T5 (en) 2023-09-28
JPWO2022185579A1 (en) 2022-09-09

Similar Documents

Publication Publication Date Title
JP7025912B2 (en) In-vehicle environment recognition device
CN106537180B (en) Method for mitigating radar sensor limitations with camera input for active braking of pedestrians
US7542835B2 (en) Vehicle image processing device
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
US9912933B2 (en) Road surface detection device and road surface detection system
CN109997148B (en) Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and computer-readable recording medium
US20150015384A1 (en) Object Detection Device
WO2016189112A1 (en) Collision avoidance method, computer program product for said collision avoidance method and collision avoidance system
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
JP6936098B2 (en) Object estimation device
JP6816401B2 (en) Image processing device, imaging device, mobile device control system, image processing method, and program
WO2017145634A1 (en) Image processing device, imaging device, system for controlling mobile body, image processing method, and program
US20210012119A1 (en) Methods and apparatus for acquisition and tracking, object classification and terrain inference
CN111923914A (en) Identification of the shoulder driving of a motor vehicle
CN108657173A (en) ECU, the autonomous vehicle comprising ECU and the method for identifying its neighbouring vehicle
JP5411671B2 (en) Object detection device and driving support system
JP7492644B2 (en) Image Processing Device
JP6763198B2 (en) Image processing equipment, imaging equipment, mobile device control systems, image processing methods, and programs
WO2020160927A1 (en) Vehicle control system and method
JP6812701B2 (en) Image processing equipment, mobile device control system, image processing method, and program
EP3540643A1 (en) Image processing apparatus and image processing method
JP4807763B1 (en) Outside monitoring device
KR20180081966A (en) Image correction method by vehicle recognition
EP3327696B1 (en) Information processing apparatus, imaging device, device control system, mobile body, information processing method, and program
GB2552706A (en) A system for use in a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240517

R150 Certificate of patent or registration of utility model

Ref document number: 7492644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150