JP7492644B2 - Image Processing Device - Google Patents
Image Processing Device Download PDFInfo
- Publication number
- JP7492644B2 JP7492644B2 JP2023503353A JP2023503353A JP7492644B2 JP 7492644 B2 JP7492644 B2 JP 7492644B2 JP 2023503353 A JP2023503353 A JP 2023503353A JP 2023503353 A JP2023503353 A JP 2023503353A JP 7492644 B2 JP7492644 B2 JP 7492644B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- camera
- roll angle
- angle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 146
- 238000012937 correction Methods 0.000 claims description 156
- 230000007774 longterm Effects 0.000 claims description 41
- 230000006399 behavior Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 description 99
- 238000001514 detection method Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 28
- 238000005259 measurement Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、車両に搭載された撮像センサにより撮像された画像を処理する画像処理装置に関する。 The present invention relates to an image processing device that processes images captured by an imaging sensor mounted on a vehicle.
この種の画像処理装置として、移動体に搭載の撮像手段で移動体周囲の撮像画像を取得し、他の移動体を示す補正基準画像を検出し、撮像画像の画像領域を出力範囲として設定するように構成されたものが開示されている(特許文献1)。画像領域の出力範囲の設定は、出力範囲の移動または回転を行って補正するための補正量を、補正基準画像に基づいて算出することにより行われている。更に、算出された補正量に基づいて出力範囲の移動または回転を行って出力範囲を補正している。 One such type of image processing device is disclosed in which an image capture means mounted on a moving body captures an image of the surroundings of the moving body, detects a correction reference image showing other moving bodies, and sets the image area of the captured image as the output range (Patent Document 1). The output range of the image area is set by calculating a correction amount based on the correction reference image for correcting by moving or rotating the output range. Furthermore, the output range is corrected by moving or rotating it based on the calculated correction amount.
また、車両に搭載されたカメラと、水平面に対するカメラの姿勢を表すカメラ姿勢指標値を検出するカメラ姿勢検出器と、カメラ用検出結果記憶部と、カメラ姿勢指標値の最頻値に基づいてカメラの車両に対する取付姿勢を特定する取付姿勢特定部とを備えたものが開示されている(特許文献2)。Also disclosed is a device that includes a camera mounted on a vehicle, a camera attitude detector that detects a camera attitude index value that indicates the attitude of the camera relative to a horizontal plane, a camera detection result memory unit, and a mounting attitude identification unit that identifies the mounting attitude of the camera relative to the vehicle based on the most frequent camera attitude index value (Patent Document 2).
特許文献1に記載のものにおいては、撮像画像を補正する際に、他の移動体を示す補正基準画像が検出され、補正基準画像に基づいて補正量が算出されて出力範囲が設定されている。しかしながら、移動体の撮像手段と移動体が走行する走行路面との相対的な傾き角は、走行路面の傾き、移動体の積載状態、移動体の走行姿勢や搭乗者の員数や搭乗位置によって変化する。補正基準画像に基づいて撮像画像の補正量を算出するだけでは、撮像手段と走行路面との相対的な傾き角の変化に対応し難く、高い精度で立体物の検出や測距を行うことが難しいという問題がある。In the system described in
また、特許文献2に記載のものにおいては、カメラ姿勢検出器により水平面に対するカメラの姿勢を表すカメラ姿勢指標値が検出され、カメラ姿勢指標値の最頻値に基づいてカメラの車両に対する取付姿勢が特定される。しかしながら、カメラと車両が走行する走行路面との相対的な傾き角は、走行路面の傾き、移動体の積載状態、移動体の走行姿勢や搭乗者の員数や搭乗位置によって変化する。カメラ姿勢指標値に基づいてカメラの車両に対する取付姿勢を特定するだけでは、カメラと走行路面との相対的な傾き角の変化に対応し難く、高い精度で立体物の検出や測距を行うことが難しいという問題がある。
特に、画角の広い撮像手段を用いて自車前方を広い範囲に亘って撮像する場合には、自車に対する被撮像物の横位置が遠い程、撮像手段と走行路面との傾き角の影響が大きく、横位置の誤差が大きくなってしまうという問題がある。
In addition, in the system described in
In particular, when an imaging means with a wide angle of view is used to capture an image of a wide area in front of the vehicle, the farther the lateral position of the object to be imaged is from the vehicle, the greater the influence of the inclination angle between the imaging means and the road surface on which the vehicle is traveling, resulting in a problem of larger errors in the lateral position.
本発明は、このような問題を解決するためになされたもので、高い精度でカメラと走行路面との相対的な傾き角を補正することができる画像処理装置を提供することを課題とする。The present invention has been made to solve such problems, and its objective is to provide an image processing device that can correct the relative inclination angle between the camera and the road surface on which the vehicle is traveling with high accuracy.
本発明に係る画像処理装置は、
車両に搭載されたカメラで撮像された画像から、走行路面に対する前記カメラのカメラ傾き角を求めるカメラ傾き角算出部と、
前記車両の挙動と、前記車両の走行中に撮像された複数の前記画像からなる画像群を用いて、前記カメラ傾き角算出部により算出された前記カメラ傾き角を補正する補正値を求める傾き角補正値算出部と、
前記補正値を用いて、前記カメラで撮像された前記画像に対して画像処理を行う画像処理部と、
を有することを特徴とする。
The image processing device according to the present invention comprises:
a camera inclination angle calculation unit that calculates a camera inclination angle of the camera with respect to a road surface from an image captured by the camera mounted on the vehicle;
a tilt angle correction value calculation unit that calculates a correction value for correcting the camera tilt angle calculated by the camera tilt angle calculation unit, using a behavior of the vehicle and an image group consisting of a plurality of the images captured while the vehicle is traveling;
an image processing unit that performs image processing on the image captured by the camera using the correction value;
The present invention is characterized by having the following.
本発明によれば、比較的に広い画角のカメラにより検知され測距された立体物の撮像画像であっても、高い精度で撮像画像におけるカメラと走行路面との傾き角の補正をすることができる画像処理装置を提供することができる。 According to the present invention, it is possible to provide an image processing device that can correct the inclination angle between the camera and the road surface in an image with high accuracy, even when the image is of a three-dimensional object detected and distanced by a camera with a relatively wide angle of view.
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。Further features related to the present invention will become apparent from the description of this specification and the accompanying drawings. In addition, problems, configurations and effects other than those described above will become apparent from the description of the following embodiments.
以下、本発明に係る画像処理装置が適用された実施形態に係る画像処理装置1について図面を参照して説明する。Below, we will explain the
実施形態に係る画像処理装置1は、車両に取り付けられるカメラ装置の内部に設けられており、CPUやメモリなどのハードウェアと、ハードウェアにより実行されるソフトウエアプログラムによって構成されている。The
図1は、実施形態に係る画像処理装置の構成図である。
画像処理装置1は、図1に示すように、ステレオカメラ部10と、処理領域設定部20と、相対ロール姿勢算出部30と、シーン型角度推定部40と、検知測距部50と、警報制御部60とを有している。処理領域設定部20は、走行路面とカメラの姿勢を計測するための処理領域を設定し、相対ロール姿勢算出部30は、走行路面とカメラの姿勢を算出し、シーン型角度推定部40は、カメラの撮像した画像をシーン別に管理しロール角を推定する。本実施形態に係る画像処理装置1におけるロール角は、本発明に係る画像処理装置における走行路面とカメラの傾き角または相対ロール角に対応する。
FIG. 1 is a configuration diagram of an image processing apparatus according to an embodiment.
1, the
次いで、検知測距部50は、相対ロール姿勢算出部30で算出されたロール角を、シーン型角度推定部で推定されたロール角によって補正する。そして、ロール角が補正された画像を用いて、自車両の周りの立体物の検知および測距を実行する。警報制御部60では、検知された障害物の位置、姿勢および速度に基づいて自車両との衝突可能性、タイミングを計算し、警報や予防安全制御を実行する。Next, the detection and ranging
なお、実施形態に係る画像処理装置1における処理領域設定部20、検知測距部50および警報制御部60は、本発明に係る画像処理装置の画像処理部に対応し、相対ロール姿勢算出部30は、カメラ傾き角算出部に対応し、シーン型角度推定部40は相対ロール角推定部に対応する。
In addition, the processing
図2は、実施形態に係るステレオカメラ部が搭載された車両の正面図である。
ステレオカメラ部10は、車載ステレオカメラからなり、図2に示すように、車両Cの前方に搭載されたフロントセンサとして構成されている。ステレオカメラ部10は、車載ステレオカメラ以外のセンサであってもよく、例えば、カメラ単体や単眼カメラ、LiDar(Light Detection and ranging)であってもよく、カメラとLiDarを複合させた複合センサであってもよく、レーザを照射して反射光が帰ってくる時間から距離値を算出する測距センサ(TOF:Time Of Flight)や、ミリ波とカメラとを複合させた複合センサなどのセンサであってもよい。中央のステレオカメラの左側に単眼カメラが配置され、右側に単眼カメラが配置されたものであってもよい。
FIG. 2 is a front view of a vehicle equipped with a stereo camera unit according to the embodiment.
The
図3は、実施形態に係るステレオカメラ部の構成図である。
ステレオカメラ部10は、図3に示すように、左右カメラ部11、ステレオマッチング部12、3D点群生成部13を備えている。左右カメラ部11は、左カメラ、右カメラからなり、左右カメラ(以下、単にカメラという。)で撮像された画像を取得し、取得した画像を幾何、感度の補正をして、カメラで取得した画像がステレオマッチングするために必要な幾何的な補正である平行化を実行する。また、左右カメラ部11は、左カメラおよび右カメラの色合い、輝度などが同じになるように設定する感度キャリブレーションを実行する。
FIG. 3 is a configuration diagram of a stereo camera unit according to the embodiment.
As shown in Fig. 3, the
ステレオマッチング部12は、左右カメラ部11により感度と幾何のキャリブレーションが実行された後、左カメラおよび右カメラで取得した左右画像のステレオマッチングを実行する。ステレオマッチング部12は、左カメラおよび右カメラで撮像された画像上で、同一物体が撮像されている画像上の位置を特定し、特定された各画像上の位置の差を視差画像として生成する。3D点群生成部13は、ステレオマッチング部12で生成された視差画像を用いて、所定間隔をおいて物体の表面を検出した3次元の点群を生成する(3次元点群生成部)。なお、実施形態のステレオマッチング部12は、本発明に係る画像処理装置の画像処理部に対応する。After the left and
図4は、実施形態に係る処理領域設定部の構成図である。
処理領域設定部20は、図4に示すように、予測進行路算出部21と、進行路処理領域設定部22と、レーン認識部23とを備えている。処理領域設定部20は、車両の走行路面を計測して走行路面と左右カメラ部11の相対的な姿勢を計測するための処理領域を設定する。処理領域には、自車両前方の走行路が含まれており、ステレオマッチング部12で生成された視差画像上における処理領域を設定する。
FIG. 4 is a configuration diagram of a processing region setting unit according to the embodiment.
4, the processing
なお、視差画像の全てを対象にして画像処理を実行してもよいが、立体物が入らない走行路面であることを前提に処理することで、処理負荷の軽減と、安定性の向上との両立が図られる。即ち処理領域設定部20は、自車両が進行する先は、立体物が入らないことが多いということを前提として処理領域を設定する。処理領域設定部20は、処理領域内に入ってしまう立体物などは排除する方式で処理領域を設定する。予測進行路算出部21においては、自車両の車速、舵角、ヨー角から、自車両の進行路が予測される。なお、舵角は、操舵される車輪の車軸と直交する車輪の中心面と、車両の前後軸とのなす角度をいい、ヨー角は、自車両の前後軸と走行路面に固定された基準軸、例えば、路面固定座標系のX軸などの基準となる軸とのなす角度をいい、走行路面に対する自車両の相対的な進行方向を示す。
Although image processing may be performed on all parallax images, processing on the assumption that the road surface does not include three-dimensional objects can reduce the processing load and improve stability. That is, the processing
予測進行路算出部21は、予測された進行路に基づいて、自車両の左右のタイヤがそれぞれ通過すると予測されるタイヤの進行路を推定する。The predicted travel
図5は、実施形態に係る予測進行路算出部について説明する図であり、図5(a)は、予測進行路の処理領域を説明する説明図を示し、図5(b)は、視差値と投票数との関係を表すグラフを示し、図5(c)は、左タイヤ進行路の3次元点群と走行路面の高さとの関係を表すグラフを示す。 Figure 5 is a diagram explaining the predicted path calculation unit in the embodiment, where Figure 5(a) shows an explanatory diagram explaining the processing area of the predicted path, Figure 5(b) shows a graph showing the relationship between the disparity value and the number of votes, and Figure 5(c) shows a graph showing the relationship between the three-dimensional point cloud of the left tire path and the height of the road surface.
進行路処理領域設定部22は、左右タイヤの進行路領域と左右車線付近にそれぞれ処理領域を設定することで、夜間や雨天などの視差が出にくい環境のときを含めて、相対ロール角の推定を行う。The path processing
進行路処理領域設定部22において、図5(a)に示すように、自車両の車体幅、左右のタイヤ位置をベースにして、走行路面511において左右のタイヤ進行路を含む幅で予測進行路514に沿って延在する、左タイヤ進行路処理領域522と、右タイヤ進行路処理領域523と、左右の白線(車線)512、513を含む車線付近左処理領域524と、車線付近右処理領域525との4つの処理領域が設定される。In the path processing
これらのうち少なくとも2つの処理領域を使って、走行路面511に対するステレオカメラ部10のロール角が算出される。また、各処理領域の近距離30m程度の範囲が走行路のロール解析に利用される。即ち後述する相対ロール姿勢算出部30において、走行路面511と車両、つまり走行路面511とステレオカメラ部10との相対的なロール姿勢が算出され、相対ロールの解析に利用される。At least two of these processing areas are used to calculate the roll angle of the
自車両の左右タイヤが通過すると予測される位置を処理領域とすることで、多くの場合、処理領域内に走行路面のみが入ることとなり、走行路面511とステレオカメラ部10の相対姿勢を安定的に算出し易くなる。なお、先行車両や壁、電柱などの障害物がノイズとして、処理領域に入る場合も存在するが別途ノイズを除去するノイズ対策が実行される。By setting the position where the left and right tires of the vehicle are predicted to pass as the processing area, in many cases only the road surface is included in the processing area, making it easier to stably calculate the relative attitude of the
また、走行路面の視差のみを対象とした場合には、夜間や夕方、悪天候時など、カメラの画質が劣化する状況においては、正しい視差が得られない状況が多く起こり得る。しかしながら、走行路面にはレーンが引かれていることを前提に、レーンが存在する付近にのみ、走行路面を解析するための処理領域を設定することにより、レーンの画像的な特徴を活用して算出された視差を活用して走行路面とカメラの相対姿勢を、安定的に算出することができる。 Furthermore, if only the disparity of the road surface is considered, there are many cases where the correct disparity cannot be obtained in situations where the image quality of the camera deteriorates, such as at night, in the evening, or in bad weather. However, by setting a processing area for analyzing the road surface only in the vicinity of the lanes, assuming that lanes are marked on the road surface, the relative attitude of the road surface and the camera can be stably calculated using the disparity calculated using the image characteristics of the lanes.
夜間であっても白線は画像上ではっきりと視認できることが多いため、夜間であっても安定的な視差を確保し易い。また、レーンは走行路面に描かれており、その部分には立体物が存在しないことが前提条件として利用できるため、レーン上の処理領域を設定するだけで多くの場合、立体物を排除しながら安定的な走行路とステレオカメラ部10との相対姿勢を算出することができる。
Since white lines are often clearly visible on images even at night, it is easy to ensure stable parallax even at night. In addition, lanes are drawn on the road surface, and the absence of three-dimensional objects in those areas can be used as a prerequisite. Therefore, simply by setting a processing area on the lane, in many cases it is possible to calculate a stable relative attitude between the road and the
レーン認識部23では、走行路面上に存在するレーンの位置を認識する。進行路処理領域設定部22では、レーン認識部23で認識された結果をそのまま活用して、レーン上で得られた視差を活用するために、レーン認識結果に左右幅を持たせた処理領域として、前述の図5(a)に示す各領域524、525が設定される。この処理領域524、525内には、少なくとも白線と走行路面の境界の画像的なエッジ部分で算出された視差が利用できる可能性が高く、この視差を活用するために、進行路処理領域設定部22において処理領域が設定される。The
図6は、実施形態に係る相対ロール姿勢算出部の構成図である。
相対ロール姿勢算出部30は、図6に示すように、領域別最頻値抽出部31と、ノイズ除去部32と、領域別利用判断部33と、相対姿勢算出部34と、信頼度算出部35とを有している。相対ロール姿勢算出部30は、進行路処理領域設定部22で設定された処理領域内の走行路面の3次元位置、即ちカメラの視差から求められた3D点群を活用して、そのフレームにおける、走行路面とカメラとの相対的なロール姿勢を算出し、相対ロールの解析を実行する。相対ロール姿勢算出部30は、ロール、ピッチ、ヨーの各姿勢の角度をそれぞれ算出する。なお、算出されたロール角は、瞬間的なカメラと走行路面の相対的なロール角であり、誤差も多く含まれている。
FIG. 6 is a configuration diagram of a relative roll attitude calculation unit according to the embodiment.
As shown in Fig. 6, the relative roll
カメラの視差から求められた3D点群は、視差算出時に、テクスチャ自体に特徴が少なく、マッチング結果をノイズと判定して削除されているものもあるが、3D位置に誤差が含まれている点も残っている。そこで、このノイズの影響をできる限り小さくするために、図5(a)に示すように設定された4つの処理領域に対して、それぞれ、視差画像上の横方向に3D点群を解析する。 The 3D point clouds obtained from the camera parallax have few texture features when the parallax is calculated, and some matching results are determined to be noise and deleted, but some still contain errors in the 3D positions. Therefore, in order to minimize the effects of this noise, the 3D point clouds are analyzed in the horizontal direction on the parallax image for each of the four processing areas set as shown in Figure 5(a).
なお、ある程度幅が狭く、奥行き方向に延びる処理領域において横方向に並ぶ視差は、同一の奥行きである視差が並ぶ。ロール角があることによる誤差もあるが、処理領域幅をある程度抑制することで奥行きがほぼ同一の点群となる。また、ロール角による誤差があったとしても最頻値は処理領域中央の奥行きが選定される可能性が高いと考えられる。 Note that disparities that are lined up horizontally in a processing area that is relatively narrow and extends in the depth direction are lined up with disparities that are the same depth. Although there is some error due to the roll angle, by restricting the width of the processing area to a certain extent, a point cloud with almost the same depth will be obtained. Furthermore, even if there is an error due to the roll angle, it is highly likely that the depth at the center of the processing area will be selected as the most frequent value.
領域別最頻値抽出部31は、視差値と投票数の関係を表す図5(b)に示されるように、処理領域中央で最頻値の奥行きとなる3D点群を選び、誤差の少ない処理領域中央の奥行きとして利用することで、視差誤差の少ない安定した3次元の点を設定することができる。As shown in Figure 5 (b), which shows the relationship between disparity value and number of votes, the region-specific
図5(b)のグラフは、矢印1本分の処理を表しており、横方向に1本をたどると奥行きが同じ距離なので、例えば、10mで、位置視差は10mになっている。したがって、同じ視差値に投票されるはずのものが、ノイズなどの影響で投票数が多少分散している。全本数について1本の処理と同様に処理しそれぞれの最頻値を選ぶことにより、正しい視差値、即ち自車両からの距離が得られる。走行路面が凹凸のない平坦な場合で、ノイズの影響がない場合には、図5(b)のグラフは、最頻値のみに投票され、最頻値のみが表示されることになる。 The graph in Figure 5(b) shows the processing for one arrow, and tracing one arrow horizontally gives the same depth distance, so for example, at 10m, the position disparity is 10m. Therefore, although the same disparity value should be voted for, the number of votes is somewhat dispersed due to the influence of noise, etc. By processing all the arrows in the same way as for one arrow and selecting the most frequent value for each, the correct disparity value, i.e., the distance from the vehicle, can be obtained. If the road surface is flat and without bumps, and there is no influence of noise, the graph in Figure 5(b) will only vote for the most frequent value, and only the most frequent value will be displayed.
領域別最頻値抽出部31は、この3次元の点を視差画像上の横方向毎に選定することで、左タイヤ進行路3次元点群と走行路面の高さの関係を表す図5(c)に示すように、奥行き別の走行路面の高さ、奥行きを算出することができる。図5(c)に示す例では、複数の黒丸が、横矢印線に沿って並んでおり、矢印方向に行くほど走行路面の高さが高くなっている。このような算出を処理領域別に実行することで、4本の3次元点群を算出する。なお、図5(c)のグラフは、一瞬の状況を表している。また、走行路面の高さは、カメラから見ての走行路面の高さを表している。
By selecting these three-dimensional points for each horizontal direction on the parallax image, the area-specific
ノイズ除去部32は、領域別最頻値抽出部31で選ばれた最頻値について、視差算出時にノイズでないとされた視差自体は少ない場合、即ち横方向に解析した点群自体の数が極めて少ない場合には、その最頻値を利用不可と判断する。一方、3次元点の数自体は多くあったとしても、ノイズ除去部32は、視差別にヒストグラム化した場合に、全体的にばらけた視差値に投票される場合には、どの位置姿勢が信頼できる視差かの判断が困難であるため、この視差もノイズ対象として削減する。
The
また、ノイズ除去部32は、最頻値のヒストグラムを見て、ある視差値に集約し、高信頼な視差であったとしても、その視差自体が立体物など走行路面以外の対象物のものであるとすると、ロールの姿勢算出にとっては対象外ノイズとして扱う。このため、ノイズ除去部32は、明らかに走行路面の高さと比較して3次元位置がずれている視差値をノイズとして判定する。
In addition, the
なお、視差別にヒストグラム化した場合に、全体的にばらけた視差値に投票されるときは、自車両の下端や歩行者の脚部などの走行路面に近い位置の視差は、ノイズとして判断しづらい部分が残る。このため、ノイズ除去部32は、1フレーム前の立体物の検知結果を活用して、自車両の挙動および、対象立体物の動きから推定して、今フレームの位置、およびマージンを設けて、その範囲内の視差を対象外とする。ノイズ除去部32は、処理領域の1/3以上が立体物領域と推測される場合には、その範囲の視差は全てロール角の計算には使わないノイズ対象として判定を実行する。このように、2段階でノイズ削除することで、大半が走行路面付近のみ視差となる。In addition, when the parallax is histogrammed, if the votes are cast for disparity values that are scattered overall, the parallax at positions close to the road surface, such as the bottom end of the vehicle and the legs of pedestrians, remains in areas that are difficult to determine as noise. For this reason, the
領域別利用判断部33は、処理領域別に信頼できる最頻値が得られたかどうかによって、その処理領域内で求められた最頻値の3D点群を利用してよいかどうかの判断を実行する。図5(b)で示す投票の処理において、各矢印の1本ずつ処理した際に最頻値が少ないと、最頻値の山の形になっていても、視差の信頼性が低い可能性があると思われるので、領域別利用判断部33は、最頻値の3D点群は利用しないと判断する。例えば、夜間など、視差が少ない場合には、走行路面の処理領域2つには視差が十分得られないので、外側にあるレーンの位置に設定された処理領域の3D点群のみから、相対ロールの姿勢算出に利用する。この手法は、奥行き方向に線上に並んだ、3次元位置の誤差の少ない点群を利用してロール姿勢を算出する手法である。The area-specific
なお、処理領域1本分のみ、例えば、左レーンの処理領域のみが、利用可と判断されても3次元点群の分布は、ほぼ直線状となり、ロール角を算出するには点の分布が不十分であり、性能が満たせなくなる。性能を満たすよう、領域別利用判断部33は、ロール角の安定性を考慮し、図5(a)に示す4つの処理領域のうち、少なくとも2つ以上の処理領域が利用可能となった場合に、相対ロール姿勢算出を実行する。Note that even if only one processing area, for example the processing area of the left lane, is judged to be available, the distribution of the three-dimensional point cloud will be almost linear, and the distribution of points will be insufficient to calculate the roll angle, and performance will not be satisfied. To satisfy performance, the area-specific
相対姿勢算出部34は、領域別利用判断部33で利用可能と判断された2つ以上の処理領域の3D点群を活用して、走行路面の姿勢の算出を実行する。相対姿勢算出部34においては、既に、完全ではないもののノイズがかなり削減された状況、かつ平面的に広がる3次元点群が入力として得られていることを前提条件とすることができる。もしくは相対姿勢算出部34に亘る3次元点群が少なすぎて相対姿勢を算出することができない状況の可能性も考えられる。そのため、2つ以上の処理領域の3次元点群が利用可能であった場合に、相対姿勢算出部34において、走行路面とカメラの相対姿勢を算出する。The relative
図7は、実施形態に係る3D点群から走行路面姿勢推定を説明する説明図である。相対姿勢算出部34は、ステレオカメラ部10により生成された3次元点群703から、全体の誤差が最も小さくなる平面702を走行路面として推定する。相対姿勢算出部34は、図7に示すように、4つの処理領域から3次元点群が得られた場合、奥行き別に視差が少なく抜けている視差もあり、こられを入力の3次元点群として、走行路面の平面をフィッテイングさせることで走行路面の平面の傾きを推定する。
Figure 7 is an explanatory diagram for explaining the estimation of the traveling road surface attitude from a 3D point cloud according to the embodiment. The relative
図7に示す黒丸点703から延びる細線704は、当てはめた3次元の平面702に対する誤差の大きさを表している。また、Z方向に4列に並んで点在する複数の黒丸点703は、図5(a)に示す4つの処理領域における各視差を表している。相対姿勢算出部34は、図7にプロットされている黒丸点703を入力し、できるだけ多くの黒丸点703を通る面を描き、結果的に傾斜した平面702を算出する。傾斜した平面702と各黒丸点703との差が誤差となるが、誤差が平均的になる面が平面702とされる。この傾斜した平面702が走行路面とされる。
The
前述のノイズ除去部32のノイズ除去処理により、大多数のノイズは排除できていると考えられるが、多少のノイズは、なお含まれている。このため、相対姿勢算出部34は、この3次元点群の中から、ランダムに点群をサンプリングする。但し、ランダムに点群をセレクトした際に、1つの処理領域内で多くの点を抽出した場合には、平面が安定しない要因となる。したがって、相対姿勢算出部34は、できる限り左右、および奥行き方向に散らばった点群が利用されるべきであり、それぞれの処理領域から6点ずつなどをランダムにセレクトし、平面推定を実行する。
Although it is believed that the majority of noise has been removed by the noise removal process of the
相対姿勢算出部34は、平面推定において、例えば、20回程度繰り返した際に、類似した走行路面の姿勢のものが、ノイズが少ない点群をセレクトできた場合の推定結果と予想する。大半のノイズは削除されているため、大半の結果が類似結果と予想し、結果自体がばらつくときにはそもそも走行路面推定不可と判断する。The relative
相対姿勢算出部34は、走行路面姿勢推定結果の中央値、もしくは最頻値を選択し、その値を仮の走行路面の平面とし、この仮の走行路面の平面から近距離の点群のみを再選択し、遠距離の点群はノイズ要因として、更にここで最終走行路面の平面計算のノイズとして対象外として扱う。相対姿勢算出部34は、再選択された点群を利用して、最終的な姿勢算出を実行し、最終的に推定された走行路面の平面の近距離に点の数が、閾値を超えていることを確認したうえで、最終走行路面の平面の推定結果の利用可否を判断する。The relative
信頼度算出部35は、最終的に推定された最終走行路面の平面と、利用した点群との自乗誤差の総和を利用して信頼度を算出する。なお、走行路面に、轍、即ち車両が通過したあとに残る車輪の跡、凹凸、坂道などがあり、走行路面が平面でない場合には、この信頼度が低下することとなる。The
相対ロール姿勢算出部30は、ロール、ピッチ、ヨーの各姿勢の角度をそれぞれ算出するが、算出されたロール角は、瞬間的なカメラと走行路面の相対的なロール角であり誤差も多く含まれている。以下、補正の対象となるロール角の誤差が発生するロール角誤差発生シーンについて図面を参照して説明する。The relative roll
図8は、実施形態に係るロール角誤差発生シーンを説明する説明図であり、図8(a)は、取付ロール角あり、走行路面ロール傾きなしの状態を示し、図8(b)は、取付ロール角なし、走行路面ロール傾きありの状態を示し、図8(c)は、取付ロール角なし、走行路面ロール傾きなし、偏り積載、片側搭乗ありの状態を示し、図8(d)は、取付ロール角なし、走行路面ロール傾きなし、旋回時ロール角発生の状態を示す。 Figure 8 is an explanatory diagram illustrating a scene in which a roll angle error occurs in the embodiment, where Figure 8(a) shows a state in which there is an attached roll angle and there is no roll inclination of the traveling road surface, Figure 8(b) shows a state in which there is no attached roll angle and there is a roll inclination of the traveling road surface, Figure 8(c) shows a state in which there is no attached roll angle, there is no roll inclination of the traveling road surface, there is uneven loading and there is boarding on one side, and Figure 8(d) shows a state in which there is no attached roll angle, there is no roll inclination of the traveling road surface, and a roll angle occurs during turning.
図8(a)に示すシーンは、ステレオカメラ部10の取付ロール角誤差あり、走行路面ロール傾きなしの場合で、車体に対してステレオカメラ部10を取り付けた際に、取付け角が曲がっている取付角誤差が発生しているシーンである。走行路面Gが水平であり、車両Cに傾きがない場合にも、ステレオカメラ部10のX軸が傾いているので、常に走行路面Gに対して角度誤差が発生している。この場合には、常にステレオカメラ部10にロール角が発生しているため、ロール角が0度であることを想定した認識ロジックや、測距に悪影響を及ぼす可能性が高い。特に測距の観点では、障害物などの対象物Bとの距離が車幅方向に離れるほど比例して測距誤差Leが大きくなるため、画角が広角なカメラにおいては、この影響が大きい。
The scene shown in FIG. 8(a) is a scene in which there is an installation roll angle error of the
図9は、実施形態に係るロール角誤差なしの理想取付状態を説明する説明図、図10は、実施形態に係るロール角誤差ありの場合を説明する説明図である。図9には、ロール角誤差がなしの場合で、ステレオカメラ部10によって測距した理想的な横位置が示されている。これに対し、ロール角誤差が発生した原因を問わず、ロール角誤差がある場合の測距結果は、図10に太線で示すように、ステレオカメラ部10の設置位置から車幅方向に位置が離れるほど、大きな誤差となる。このため広角なカメラで測距する場合には、このロール角の補正が重要な要素となる。
Figure 9 is an explanatory diagram illustrating an ideal mounting state without roll angle error according to the embodiment, and Figure 10 is an explanatory diagram illustrating a case where there is a roll angle error according to the embodiment. Figure 9 shows the ideal lateral position measured by the
図8(b)に示すシーンは、カメラの取付ロール角誤差がなかったとしても、走行路面自体がロール角方向に傾斜している場合もあり、取付ロール角に誤差なし、走行路面にロール傾きありの場合のシーンである。排水を考慮して、対向車の車線を含めて、道路全体の中央線部分が高く、路肩に近づくにつれて低くなる構造の走行路も多く存在する。対向車とのすれ違う部分の車線がもっとも高く、外側の車線へ行くほど低くなる道路では、ロール角が発生することとなる。また、道路全体に傾きがある道路も存在する。 The scene shown in Figure 8 (b) is a scene where there is no error in the mounting roll angle of the camera, but there is a roll inclination of the road surface itself, as there may be cases where the road surface itself is inclined in the roll angle direction even if there is no error in the mounting roll angle of the camera. There are many roads where, taking drainage into consideration, the center line of the entire road, including the lane for oncoming vehicles, is high and becomes lower as it approaches the shoulder. On roads where the lane where oncoming vehicles pass is the highest and becomes lower as it goes toward the outer lanes, a roll angle will occur. There are also roads where the entire road is inclined.
図8(c)に示すシーンは、カメラの取付ロール角誤差なし、走行路面ロール傾きなしで、偏り積載、片側搭乗ありの場合のシーンである。取付ロール角誤差がなく、走行路面が平面であっても、積載荷物が片方に偏る、もしくは搭乗者二人が縦に並んで偏って座っている場合に、車両自体が斜めにロールする場合もありうる。この場合にも、図10に示すロール角誤差ありの場合と同様、カメラの設置位置から横位置がずれるほど、大きな誤差となってずれるように、測距誤差Leへと繋がることになる。 The scene shown in Figure 8 (c) is a scene where there is no mounting roll angle error of the camera, no road surface roll inclination, uneven loading, and one-sided riding. Even if there is no mounting roll angle error and the road surface is flat, the vehicle itself may roll diagonally if the loaded luggage is uneven to one side, or if two passengers are sitting unevenly vertically. In this case, as with the case of roll angle error shown in Figure 10, the greater the deviation of the lateral position from the camera installation position, the greater the error, which leads to a ranging error Le.
図8(d)に示すシーンは、カメラの取付ロール角誤差なし、走行路面ロール傾きなしで、旋回時ロール角が発生した場合のシーンである。取付ロール角誤差なし、走行路面ロール傾きなし、偏り積載、偏り搭乗がなくても旋回中には遠心力により車体の傾きが発生する。車速やヨーレートに応じてその傾きは変化するもの、これも自車両の旋回中は測距に誤差が発生することとなり、交差点右左折時の歩行者、自転車などを検知対象とし、衝突可能性を予測することが望ましく、この場合、歩行者、自転車などが対象物Bの位置、速度の誤差となりうる。 The scene shown in Figure 8 (d) is a scene where a roll angle occurs during turning, with no mounting roll angle error of the camera and no roll inclination of the road surface on which the vehicle is traveling. Even with no mounting roll angle error, no roll inclination of the road surface on which the vehicle is traveling, and no uneven loading or uneven riding, centrifugal force will cause the vehicle body to tilt during turning. This inclination changes depending on the vehicle speed and yaw rate, but this will also cause errors in distance measurement while the vehicle is turning, so it is desirable to detect pedestrians, bicycles, etc. when turning right or left at an intersection and predict the possibility of a collision. In this case, pedestrians, bicycles, etc. can cause errors in the position and speed of object B.
図8(a)~図8(d)に示す各シーンについて、シーン別のロール角を適切に扱うことで、より安定的なロール角補正を実行することができる。また、シーン別のロール角を適切に扱うことで、より高精度なロール角補正を実現し、障害物の検知性能の安定化を図るとともに、位置、速度をより正確に計測することを可能とし、警報、制御タイミングの適切化、警報、制御内容の変更を適切に実行することができる。 For each scene shown in Figures 8(a) to 8(d), more stable roll angle correction can be performed by appropriately handling the roll angle for each scene. In addition, by appropriately handling the roll angle for each scene, more accurate roll angle correction can be achieved, the detection performance of obstacles can be stabilized, and the position and speed can be measured more accurately, and the timing of warnings and controls can be optimized, and the content of warnings and controls can be changed appropriately.
図11は、実施形態に係るロール角誤差発生シーンを示す表であり、図8(a)~図8(d)に示す各シーンにおける、カメラと走行路面に発生するロール角誤差について、カメラ角度誤差、車体角度誤差および路面角度誤差の発生要因を一つの目安に発生シーン別にまとめたものである。ロール角誤差の発生要因にはさまざまなシーンがあり、例えば、長期シーン、搭乗シーン(エンジンONまたはOFF)、旋回シーンおよび走行シーンがある。なお、実施形態の長期シーンは、本発明に係る画像処理装置の第1の期間に対応し、搭乗シーン、旋回シーンおよび走行シーンは、それぞれ第1の期間より短い第2の期間に対応する。 Figure 11 is a table showing scenes in which roll angle errors occur according to the embodiment, and summarizes the roll angle errors that occur between the camera and the road surface in each of the scenes shown in Figures 8(a) to 8(d) by scene, using the factors that cause camera angle errors, vehicle body angle errors, and road surface angle errors as a guide. There are various scenes that cause roll angle errors, such as long-term scenes, boarding scenes (engine ON or OFF), turning scenes, and driving scenes. Note that the long-term scenes in the embodiment correspond to the first period of the image processing device according to the present invention, and the boarding scenes, turning scenes, and driving scenes each correspond to a second period that is shorter than the first period.
また、相対ロール姿勢算出部30、シーン型角度推定部40および検知測距部50を含む画像処理および補正を実行する構成要素において、長期シーンにおける複数の画像は、第1の画像群に対応し、搭乗シーン、旋回シーンおよび走行シーンにおける複数の画像は、それぞれ第2の画像群に対応する。また、長期シーンにおけるロール角は、第1の傾き角に対応し、搭乗シーン(エンジンONまたはOFF)、旋回シーンおよび走行シーンにおけるロール角は、それぞれ第2の傾き角に対応する。更に、長期シーンにおける補正値は、第1の補正値に対応し、搭乗シーン、旋回シーンおよび走行シーンにおける補正値は、それぞれ第2の補正値に対応する。In addition, in the components that perform image processing and correction, including the relative roll
長期シーンにおける補正値は、長期的なカメラの姿勢を補正する値であり、車両の走行中に学習結果を累積し、エンジンONおよびOFFを複数回繰り返した後に決定される。長期シーンは、発生角度誤差が変化しないシーンであり、カメラの車体に取り付ける際に発生する取付角誤差、経年変化によるカメラの角度誤差などの誤差がある。また、カメラと車体に角度誤差がなかった場合にも、車体自体が傾いている場合もある。例えば、タイヤ空気圧の片側が減った場合、タイヤパンクなどにより片側のみサイズが異なるタイヤの場合には、長期的に車体に角度誤差が発生する。 The correction value in a long-term scene is a value that corrects the long-term camera posture, and is determined after accumulating the learning results while the vehicle is running and turning the engine ON and OFF multiple times. A long-term scene is a scene in which the generated angle error does not change, and there are errors such as mounting angle error that occurs when the camera is attached to the vehicle body and camera angle error due to aging. Even if there is no angle error between the camera and the vehicle body, the vehicle body itself may be tilted. For example, if the tire pressure is reduced on one side, or if the tire size is different on only one side due to a tire puncture, an angle error will occur on the vehicle body over the long term.
上記したカメラの誤差や、タイヤ空気圧の左右差の誤差の場合には、長時間カメラが路面に対して傾くことになる。また、走行路の路面傾きの誤差の場合は、さまざまな場所で長期間計測すると、固有場所における路面傾きの影響は避けることができる。したがって、高頻度に発生している路面傾きとカメラの相対角度は、今後の走行においても相対角度誤差として発生する可能性が高いと考える。長期間かけてデータの最頻値を選ぶほど、走行路の特殊な環境などの影響をさけることができると考えるため、信頼度は高いといえる。 In the case of the camera errors mentioned above or errors in the difference in tire air pressure between the left and right sides, the camera will be tilted relative to the road surface for a long period of time. Also, in the case of errors in the road surface inclination of the road, the effects of the road surface inclination at a specific location can be avoided by measuring at various locations over a long period of time. Therefore, it is believed that the road surface inclination and the relative angle of the camera that occurs frequently are highly likely to occur as a relative angle error in future driving. The longer the period of time over which the most frequent value of the data is selected, the more likely it is that the effects of special conditions on the road can be avoided, and therefore the higher the reliability can be said to be.
長期シーンにおけるカメラと走行路面の間に発生する相対角度誤差は、長期的には変化しない固定角度誤差である。このため、この固定角度誤差は、発生要因別に扱わずに全てまとめて長期シーンで発生する角度誤差として取り扱い、この補正値を管理し、角度補正に利用することができる。長期間固定となるため、長時間をかけて安定かつ信頼できる値で補正することで、認識と測距の精度向上に利用することができる。長期シーンにおける補正値は、エンジンON時に算出される。 The relative angle error that occurs between the camera and the road surface in a long-term scene is a fixed angle error that does not change over the long term. For this reason, this fixed angle error is not treated separately for each cause, but is treated all together as an angle error that occurs in a long-term scene, and this correction value can be managed and used for angle correction. Because it is fixed for a long period of time, it can be used to improve the accuracy of recognition and ranging by correcting it with a stable and reliable value over a long period of time. The correction value in a long-term scene is calculated when the engine is ON.
搭乗シーンは、搭乗者毎に角度誤差量が変化し易い要因で発生するシーンであり、搭乗者、何人搭乗するか、また、何処に座るかによって車体の傾きや高さに変化が生じる。同様に荷物の積載量や、積載の偏りなどによってもカメラと走行路面の間の角度誤差が発生する。これらの場合を搭乗シーンとしてまとめて取り扱い、エンジンONまたはOFFの直後のある程度短期間の間に補正を実行することで、カメラの測距や認識の影響を軽減することが可能となる。 Boarding scenes occur due to factors that tend to change the amount of angle error for each passenger, and the inclination and height of the vehicle body change depending on who is boarding, how many passengers are on board, and where they are sitting. Similarly, angle errors between the camera and the road surface can occur due to factors such as the amount of luggage being loaded and uneven loading. By treating these cases as boarding scenes and performing corrections within a relatively short period of time immediately after the engine is turned ON or OFF, it is possible to reduce the impact of the camera's distance measurement and recognition.
旋回シーンは、運転中にも変化する短期間に発生するシーンであり、例えば、車両の挙動によって生じる旋回時などに発生するロール角誤差などがある。交差点右左折時に発生する遠心力により発生する角度誤差もある。例えば、車速やヨー角が変化する割合、即ちヨーレートによって変化する車体のロール角がある。この角度誤差を旋回シーンとし、車体の旋回に連動させて補正させることで安定かつ高精度な補正をすることができる。旋回シーンの補正値は、車両の走行中の旋回時に算出される。 Turning scenes are scenes that occur over a short period of time and change even while driving. For example, there is a roll angle error that occurs when turning due to the vehicle's behavior. There is also an angle error that occurs due to centrifugal force when turning right or left at an intersection. For example, there is the roll angle of the vehicle body that changes depending on the rate at which the vehicle speed and yaw angle change, that is, the yaw rate. By treating this angle error as a turning scene and correcting it in conjunction with the turning of the vehicle body, stable and highly accurate correction can be made. The correction value for the turning scene is calculated when the vehicle is turning while traveling.
走行シーンは、旋回中でないにも関わらず、走行路の凹凸形状、轍や高さの段差に応じて車体を含めて傾くことにより発生するシーンである。この角度誤差を走行シーンにより発生する角度誤差とし、これを短期的に補正することで、悪条件時における認識と測距の性能劣化を抑制することができる。 A driving scene occurs when the vehicle itself tilts in response to uneven road conditions, ruts, and height differences, even when not turning. This angle error is considered to be an angle error caused by a driving scene, and by correcting this in the short term, it is possible to suppress deterioration of recognition and ranging performance in adverse conditions.
図12は、実施形態に係るシーン型角度推定部の構成図である。
シーン型角度推定部40は、図12に示すように、シーン別ロール角管理部41と、長期シーン・ロール角算出部42と、積載シーン・ロール角算出部43と、旋回シーン・ロール角算出部44と、走行シーン・ロール角算出部45とを備えている。シーン型角度推定部40は、相対ロール姿勢算出部30で得られた瞬間値のロール角を適切に管理することで、安定的かつ高精度にロール角を補正する。シーン型角度推定部40は、相対ロール角が変化している期間をベースにシーン別に分離して管理することで、長期的に発生する前記相対ロール角を補正し、積載量や搭乗者もしくは旋回もしくは前記車両の走行路に応じて発生する前記相対ロール角は、ロール角誤差発生期間に応じて補正する。これにより、誤補正の抑制やカメラで撮像したシーンによる不安定さの影響を軽減することができる。
FIG. 12 is a configuration diagram of a scene-type angle estimation unit according to the embodiment.
As shown in FIG. 12, the scene-based
シーン別ロール角管理部41は、長期シーン・ロール角算出部42、積載シーン・ロール角算出部43、旋回シーン・ロール角算出部44、走行シーン・ロール角算出部45のそれぞれの算出部で得られたロール角を管理する。認識ロジックや測距に利用する補正値は、このシーン別ロール角管理部41において管理する。The scene-specific roll
長期シーン・ロール角算出部42は、走行中の相対ロール姿勢算出結果を、長期的に角度別ヒストグラムに投票し、最頻値を集める。1回の走行データからのみで最頻値を取得した場合、積載量や搭乗者が結果に及ぼす影響が大きい。このため、ある程度より長い走行時間(エンジンONからOFFまでの期間)の最頻値のデータを更に、シーン別ロール角管理部41に保管し、長期シーン・ロール角算出部42は、走行回数に応じて投票する角度別ヒストグラムでの最頻値を利用する。これにより、長期的に発生しているロール角誤差を、積載量や搭乗者、旋回、走行路の影響も少なくして、算出することが可能となる。The long-term scene/roll
長期シーン・ロール角算出部42は、車体が高頻度に発生しているロール角誤差を算出し、これをシーン別ロール角管理部41に保管することで、これを利用したロール角補正が可能となる。この補正を利用することで、取付角誤差や車体の傾きなどにより発生するロール角誤差を補正することが可能となる。The long-term scene roll
取付角誤差について、エンジンONからOFFまでの1回の走行シーンで算出すると、積荷とか搭乗者が同じ場合が大半なので、取付角誤差と積載との分離が難しい。取付角誤差と積載とを分離するためには、何回も走行した時のデータを多く採れば、積載状況も変わるので実際の影響が少なくなり分離が可能となり、最頻値をとることにより、カメラと走行路面とのロール角の傾向からカメラと走行路面との取付角誤差が的確に求められる。なお、長期シーンにおいて検出されるロール角誤差は、車体に高頻度で発生しているものであるのか、または、車両に対して傾いて取り付けられてしまったものであるのかについては、特に分離せず、合計した角度誤差として取り扱う。 When calculating mounting angle error for a single driving scene from engine ON to OFF, the cargo and passengers are mostly the same, so it is difficult to separate mounting angle error from loading. In order to separate mounting angle error from loading, if a lot of data is collected from multiple driving sessions, the loading situation will change, so the actual influence will be less and separation will be possible, and by taking the most frequent value, the mounting angle error between the camera and the road surface can be accurately determined from the trend of the roll angle between the camera and the road surface. Note that roll angle errors detected in long-term scenes are treated as a total angle error without any special separation as to whether they are caused by a high frequency occurrence on the vehicle body or by the camera being tilted relative to the vehicle.
積載シーン・ロール角算出部43は、エンジンをONにして発車する前に、行った積載や搭乗者によって車両に増えた重量と車両重心に対するその偏りによって生じる角度誤差の補正を実行する。積載シーン・ロール角算出部43は、長期シーンのロール角と、積載シーンのロール角が異なっている場合に、その差分から偏って積載していることが分かり、その偏りの分のロール角を補正することができる。前回乗車時と比較して角度が変化した状況が続くことは望ましくないので、旋回中や凹凸のある走行路面などの、短期間におけるロール角発生が想定される環境では、相対ロール姿勢算出値を利用せずに、ある程度の直進かつ車体の揺れがないことを前提にロール角の頻度分布を計算する。Before turning on the engine and starting the vehicle, the loading scene/roll
また、積載シーン・ロール角算出部43は、ある程度、旋回前後、例えば、交差点右左折前後の値が、頻度分布に投票できているかを確認する。これはある方向に傾いている走行路を続けて直進している場合には、極端にその走行路のみにあったロール角補正となることを避けるためである。走行路面が対面の2車線で排水を考慮して路肩方向に近づくにつれて低く作られている場合には、車体が路肩方向へ傾くことがあるが、これは一度、交差点を右左折すると、その程度や、傾きがほぼないような道路となることもあるためである。
The loading scene/roll
積載シーン・ロール角算出部43においては、ある程度の走行がなされた環境において投票されていることをもってその最頻値を利用する。また、投票されているヒストグラムの投票の集まり方も、一か所に正規分布で集まっている場合には、ある程度投票値が低くてもこれを採用し、反対に山が複数できている場合には、投票値がある程度の一定基準を超えて、信頼度が高くなるのを待つ。The loading scene/roll
旋回シーンに関しては、旋回シーン・ロール角算出部44は、車体の旋回に応じて発生するロール角の計算を実行する。ここでは、旋回により発生するロール角を取り扱う。旋回により発生するロール角は、短期間でのロール角誤差発生となるため、相対ロール姿勢算出値をそのまま利用すると、瞬間値に含まれる誤差の影響により安定性や精度が悪くなり易い。そこで、旋回シーン・ロール角算出部44は、車速と舵角もしくはヨーレートなどの自車両の挙動を活用し、自車両が旋回していることを、車速と舵角もしくはヨーレートなどで特定しながら高精度に補正する方式で構成されている。
Regarding turning scenes, the turning scene/roll
旋回シーン・ロール角算出部44においては、自車両の挙動と併用しながらの補正を実行することで安定的かつ高精度、また、カメラ自身が走行路面の傾きの瞬間値を求められない瞬間も含めて安定的かつ高精度なロール角の補正が可能となる。旋回シーン・ロール角算出部44においても、積載シーン・ロール角算出部43と同様に、旋回シーンの基準となるロール角が把握され、基準となるロール角との差分を見て、旋回シーンによるロール角を求めることもできる。
In the turning scene roll
旋回シーン・ロール角算出部44は、時系列フィルタによる補正方式1、車両モデル1による補正方式2、車両モデル2による補正方式3により補正を実行する。車両モデル1、2は、車両の旋回による相対ロール角を算出する車両挙動モデルである。以下、各補正方式について図面を参照して説明する。The turning scene/roll
<時系列フィルタによる補正方式1>
時系列フィルタによる補正方式1においては、車速とヨーレート、舵角などから、自車両の挙動の予測が可能となる。時系列フィルタによる補正方式1は、瞬間的なロール角を算出しておいて、過去のロール角の値を使いながら、フィルタリングを行う簡単な方式からなる。例えば、過去のロール角の値と現在のロール角の値の平均値をとることにより、滑らかな出力を出すことができる。
<
In the
図13は、実施形態に係る自車両進行路推定手法を説明する説明図である。
時系列フィルタによる補正方式1においては、例えば図13に示すように、自車両Cの挙動から予測された予測進行路が、自車両Cから奥行き10mの地点で横方向に1m以上曲がっている場合に、旋回によるロール角発生の可能性が高いと判断される。反対に、10m地点の横位置が0.5m未満となるまでを旋回中と判断される。
FIG. 13 is an explanatory diagram illustrating a method for estimating a host vehicle traveling path according to the embodiment.
In the
時系列フィルタによる補正方式1においては、瞬間値の相対ロール姿勢算出結果を活用し、時系列のフィルタリングが実行される。旋回が長くないことや、旋回中のロール角が変化し続けるため、時系列に遅延の大きなフィルタリングをすると誤差が大きくなる。このため、遅延は少なめのローパスフィルタを活用し、旋回中と判断された期間のみ、瞬間値の相対ロール姿勢算出結果を活用し、滑らかにフィルタリングすることで簡易的なロール角の補正の実行が可能となる。
In
時系列フィルタによる補正方式1においては、瞬間値の誤差の影響を受け易い反面、残っている誤差、即ち旋回以外の走行路の傾きなど含めて全ての残っているロール角誤差、を減らす補正が可能となる。なお、短い期間のローパスフィルタであるため、瞬間的な誤差の影響を受け易いだけでなく、瞬間的なロール角が計測できなかった場合の影響も受け易く、前回値をしばらく流用するか、ある程度、何フレームも計測不可であれば、徐々に0に近づく設計となり、誤差補正ができないこともある。特にステレオカメラの場合は、夜間に、走行路面の視差が少なくロール角が計測できない場合に、補正不可となる欠点を考慮する必要がある。
In
時系列フィルタによる補正方式1の欠点を補った手法として、ロール角推定モデル手法がある。ロール角推定モデル手法は、最初に車体の車速とヨーレートを入力して、発生ロール角を推定する手法であり、モデル式(1)を利用する。The roll angle estimation model method is a method that compensates for the shortcomings of
ロール角推定モデル手法は、図14(a)に示すように、まず、自車両の重心点を通る鉛直線と車体ロール軸の交点をPとする。このP点を原点とし、走行路面に平行な車両前後方向をx軸、x軸に直交する横方向をy軸、上下方向をz軸とする。また、ここでは自車両を、車体や搭乗者からなるばね上部と、ブレーキやホイールで構成されるばね下部の2つのモデルとする。ばね上部の重心点をxz平面内にあるSとする。 As shown in Figure 14(a), the roll angle estimation model method first defines the intersection point P between a vertical line passing through the center of gravity of the vehicle and the vehicle roll axis. This point P is the origin, and the front-to-rear direction of the vehicle parallel to the road surface is defined as the x-axis, the lateral direction perpendicular to the x-axis is defined as the y-axis, and the up-down direction is defined as the z-axis. In this case, the vehicle is modeled into two parts: a sprung part consisting of the vehicle body and passengers, and an unsprung part consisting of brakes and wheels. The center of gravity of the sprung part is defined as S, which is in the xz plane.
また、車体に発生する車体ロール角をφとし、拡張ロール剛性をKφとし、ばね上部の車体質量をmSとし、ロールセンタ高さをhSとし、重力加速度をgとし、車体速度をVとし、ヨーレートをrとする。この際の、車体のロール剛性や、ばね上部の車体質量、ロールセンタ高さを利用したロール角推定モデル手法は、モデル式(1)に示されるように、車速とヨーレートのそれぞれに比例するモデルとなっている。なお、ロール角推定モデル手法は、以下の特質がある。ばね上部の車体質量をmSおよびロールセンタ高さhSの変化が小さい場合に利用することができる。また、ロール角が安定し、高精度で推定することが可能となる。また、車両毎にばね上部の車体質量mSおよびロールセンタ高さhSなどの設定が必要となる。 In addition, the vehicle body roll angle generated in the vehicle body is φ, the extended roll stiffness is Kφ, the vehicle body mass of the sprung part is mS , the roll center height is hS , the gravitational acceleration is g, the vehicle body speed is V, and the yaw rate is r. In this case, the roll angle estimation model method using the roll stiffness of the vehicle body, the vehicle body mass of the sprung part, and the roll center height is a model proportional to the vehicle speed and the yaw rate, respectively, as shown in model formula (1). The roll angle estimation model method has the following characteristics. It can be used when the change in the vehicle body mass of the sprung part mS and the roll center height hS is small. In addition, the roll angle is stable and can be estimated with high accuracy. In addition, the vehicle body mass of the sprung part mS and the roll center height hS , etc., need to be set for each vehicle.
<車両モデル1による補正方式2>
図14は、実施形態に係るロール角推定モデル手法を説明する図であり、図14(a)は、モデル式(1)を示し、図14(b)は、簡易化した手法のモデル式(2)を示す。 車両モデル1による補正方式2は、図14(a)に示すロール角推定モデル手法を簡易化した手法であり、図14(b)に示すように、モデル式(2)を利用する。
<
14A and 14B are diagrams for explaining a roll angle estimation model method according to an embodiment, in which Fig. 14A shows model formula (1) and Fig. 14B shows model formula (2) of a simplified method.
モデル式(2)において、車体に発生する車体ロール角をφとし、ロールセンタ高さをまとめて一つの変数として拡張ロール剛性Kαとし、車体速度をVとし、ヨーレートをr、とする。車両モデル1による補正方式2は、モデル式(2)に示されるように、車速とヨーレートのそれぞれに比例するモデルとなっている。車両モデル1による補正方式2は、以下の特質がある。ばね上部の車体質量mSおよびロールセンタ高さhSの変化が大きい。また、車両毎にばね上部の車体質量mSおよびロールセンタ高さhSなどの設定が不要となる。また、車種別の設定が不要となり、簡易に安定化が図られる。
In model formula (2), the vehicle body roll angle generated in the vehicle body is represented by φ, the roll center heights are collectively represented as one variable, the extended roll stiffness Kα, the vehicle body speed V, and the yaw rate r. As shown in model formula (2),
また、車両モデル1による補正方式2は、ばね上部の車体質量mSおよびロールセンタ高さhSなどが乗車毎に変化しても、この変化に対して拡張ロール剛性Kαを学習することで吸収できる設計で構成されている。拡張ロール剛性Kαを乗車毎に学習し直すように設計することで、特に積載量などが大きく変化するトラックなどは、車両モデル1による補正方式2の方が、車体の動きに適切な補正を加え易い。
Furthermore,
図15は、実施形態に係るトラック旋回時ロールを説明する図であり、図15(a)は、無積載時を示し、図15(b)は、満積載時を示す。
車両モデル1による補正方式2においては、トラック旋回時ロールについて、図15(a)および図15(b)に示すように、トラックの無積載時と、トラックの満積載時とでは、同じ車速、ヨーレートであったとしても旋回により発生するロール角には、差分が生じる。無積載時のロール角は、長期シーン・ロール角α+搭乗シーン・ロール角β+旋回シーン車体ロール角φ1となり、満積載時のロール角は、長期シーンα+搭乗シーンβ+旋回シーンφ2となり、|α1|<|α2|が大きく車体の傾きが変化することとなる。
15A and 15B are diagrams for explaining rolls when the truck turns according to the embodiment, where FIG. 15A shows the case where the truck is unladen, and FIG. 15B shows the case where the truck is fully laden.
In the
実際に、相対ロール姿勢算出結果は、全てのロール角が加算された相対ロール姿勢算出結果が得られる。これらのαとβを差し引いた状態で、旋回により発生したロール角の瞬間値を計測する。得られた旋回ロール角の瞬間値の結果から、拡張ロール剛性Kφを推定する。瞬間値旋回車体ロール角φと車速V、ヨーレートrが得られているため、拡張ロール剛性Kαを毎フレーム毎に算出し、これを頻度分布として、最頻値を利用する方式で安定化した拡張ロール剛性を算出する。 In fact, the relative roll posture calculation result is the sum of all roll angles. With these α and β subtracted, the instantaneous value of the roll angle generated by turning is measured. The extended roll stiffness Kφ is estimated from the obtained instantaneous value of the turning roll angle. Since the instantaneous turning body roll angle φ, vehicle speed V, and yaw rate r are obtained, the extended roll stiffness Kα is calculated for each frame, and this is treated as a frequency distribution, and a stabilized extended roll stiffness is calculated using a method that uses the most frequent value.
但し、この拡張ロール剛性Kφは、搭乗者と積載量により変化することが自明であるため、エンジンONおよびOFFの時に値自体はリセットし、エンジンをONにし、走行中に再学習する。積載量が多いトラックなどの場合には、毎回の拡張ロール剛性Kφの値が、大きく変化する。このため前述のように、毎回のエンジンONおよびOFFのタイミングにおいてリセットし、改めて学習をし直す方式の方が、毎回変化する車両挙動モデルのパラメータを最適に保つことが可能であり、より高精度なロール角の推定が可能となる。However, since it is self-evident that this extended roll stiffness Kφ changes depending on the number of occupants and the load, the value itself is reset when the engine is turned on and off, and the engine is turned on and re-learned while driving. In the case of a truck with a heavy load, the value of extended roll stiffness Kφ changes significantly each time. For this reason, as mentioned above, the method of resetting and re-learning each time the engine is turned on and off makes it possible to optimally maintain the parameters of the vehicle behavior model, which change each time, and enables more accurate estimation of the roll angle.
車両モデル1による補正方式2においては、時系列フィルタによる補正方式1と同様に図13に示す自車両Cの挙動から予測された予測進行路が自車両Cから奥行き10mの地点で横方向に1m以上曲がっている場合において、旋回によるロール角の発生の可能性が高いと判断する。学習を開始、また車両モデルを利用した補正値の算出を開始する。更に、10m地点の横位置が0.5m未満となるまでを旋回中と判断し、学習を継続する。In
トラックとは反対に、乗用車など、積載量の変化が少ないことが予想される自車両では、エンジンONおよびOFFの時に値自体はリセットせず、そのまま過去値を利用し、走行時の学習結果の反映を早くする方式で補正を実行してもよい。他にも、毎回の走行時の学習結果により拡張ロール剛性の変化しうる範囲を学習することで、極端な結果を利用しない安定性を強化した方式で補正を実行してもよい。また、毎回の走行時の学習結果が類似していることをもって、前回値を利用する、もしくは毎回の学習結果の最頻値を使う設計を採用してもよい。乗用車などで、毎回搭乗者が同様であれば、このような前回値、もしくは毎回の学習結果の平均もしくは最頻値などの方が安定した旋回時のロール学習結果を利用することが可能となり、高精度、かつ安定的なロール角の補正が可能となる。Contrary to trucks, in vehicles such as passenger cars where changes in load are expected to be small, the value itself may not be reset when the engine is turned on and off, but may be used as is to quickly reflect the learning results during driving. Alternatively, the correction may be performed in a manner that enhances stability by learning the range in which the extended roll stiffness can change based on the learning results of each driving, without using extreme results. In addition, a design may be adopted in which the previous value is used, or the most frequent value of the learning results of each driving is used, since the learning results of each driving are similar. In the case of passenger cars, if the passengers are the same each time, it is possible to use the previous value, or the average or most frequent value of the learning results of each driving, which is more stable when turning, and it is possible to perform highly accurate and stable roll angle correction.
<車両モデル2による補正方式3>
車両モデル2による補正方式3は、前述のモデル式(1)を利用した時系列フィルタによる補正方式1と、前述のモデル式(2)を利用した車両モデル1による補正方式2を複合した補正方式で構成されている。車両モデル2による補正方式3は、補正方式1と、補正方式2の補正方式を、車両に応じて選定することで、より最適なモデルの補正方式を実行するようにしてもよい。
<Correction method 3 using
Correction method 3 using the
車両モデル2による補正方式3においては、カメラ内部には、補正方式1および補正方式2の双方を設定して、初期状態は補正方式1を選択するものとし、毎回の学習結果Kαの値の傾向を見ながら、毎回類似した結果になるようであれば補正方式2を選択し、毎回の学習結果Kαの値の傾向がばらつくようであれば、積載量の変化が大きい扱い方をする車両であることを想定して、変化に対応し易い補正方式1を採用する手法もある。このように2つの補正方式を実装し、車両の使われ方を学習することで、補正方式を選択する複合方式で補正するようにしてもよい。In correction method 3 using
走行シーン・ロール角算出部45は、自車両が走行する道路の特徴に合わせてロール角を補正する。但し、この補正は、補正した走行路面と異なる走行路面へ移動した場合には瞬時にロール角が変化する可能性があるため、走行シーン・ロール角算出部45は、ある程度の誤差になることを許容しつつ、最低限の認識と測距を保つための補正を実行する。例えば、走行路面に轍がある場合、あるいは、かまぼこ型(凸U字形)の断面を有する道路を走行し続けている場合などには、周囲の風景が傾いておらず、自車両だけが傾いていることになる。カメラから見た相対的な姿勢としては自車両が何らかの要因で傾いているように見える。The driving scene/roll
走行シーン・ロール角算出部45は、この場合、旋回や、走行路面の状況の変化が発生した際には、すぐに補正値を0にリセットすることを前提に、走行シーンのロール角としての補正を実行する。また、走行路面の凹凸によりロール角が変化する際には、ほぼ瞬間値のロール角補正を実行する。但し、大きなノイズが入る可能性もあるため、これ以外の長期間の補正値、長期シーン、積載シーン、旋回シーンの加算結果を中央値にし、この中央値に比較的近くなるようにフィルタやリミットを設けた範囲で、相対ロール姿勢を利用することで、ある程度の誤差を吸収する。In this case, the driving scene roll
走行シーン・ロール角算出部45は、これらのシーンにおいて、ロール角の誤差が小さいシーンにおいては必ずしも補正は実行しない。補正を実行しない方が安定性、信頼性が高くなる。但し、ある一定角度を超えるロール角が発生している場合は、これら走行シーンに応じて発生するロール角を補正する方が、全体的な精度を向上することが可能となる。
In these scenes, the driving scene/roll
図16は、実施形態に係る検知測距部の構成図である。
検知測距部50は、図16に示すように、ロール角補正部51と、立体物検知部52と、測距部53とを備えている。検知測距部50は、シーン型角度推定部40において推定された各シーン別のロール角を利用して、ロール角を補正したうえで、検知され測距された立体物の補正を実行する。検知測距部50においては、従来と比較し、より小さなものまで安定して走行路面上に存在する立体物を検知が可能となる。また、検知した物体に関する測距性能についても、ロール角をより適切に補正することで、横位置が離れるほど、大きかった距離誤差を抑制し、より正確に横位置、奥行き、高さを推定することが可能となる。
FIG. 16 is a configuration diagram of a detection and ranging unit according to the embodiment.
As shown in FIG. 16, the detection and ranging
検知測距部50は、長期シーンの値が入っている間、即ち長期シーンでロール角を検出している間は、比較の基準になるので、常に、補正値として利用する。この補正値をベースにして、積載シーンのロール角は更に、長期シーンの補正値に加算する形で変化分の補正を実行する。但し、この補正値は、エンジンONおよびOFFの後には変化する値となる。補正値がエンジンONおよびOFFの後リセットされた場合で、まだ新たな補正値が推定できてない場合には、補正しない、もしくは補正値0となるが、この積載シーン補正値も何らかの補正値を活用することとなる。検知測距部50においては、夜間、カメラなどで走行路面や白線上の視差が得られないことが長期的に続く環境においては、しばらく補正値を利用することができない、もしくは補正値0が継続することもある。
The detection and ranging
検知測距部50においては、旋回シーンと走行シーンの場合、ロール角が発生しそうなシーンだと特定された場合にのみ補正を実行し、前述の長期シーンの補正値、積載シーンの補正値に加算して、ロール角の補正を実行する。また、この補正は、長期的に安定して補正される長期シーンおよび積載シーンのロール角は、立体物検知部52や測距部53などの両方に反映し、比較的短期間に発生する旋回シーンや走行シーンに関しての補正は、測距のみ補正を実行した値で測距することもありうる。
In the detection and ranging
検知測距部50においては、画像全体をロールさせる補正手法をハードウェアで実行する際に、その設定値を毎フレーム変更することなどが難しい、もしくは、瞬間的に誤差が入った場合に立体物の検知が途切れてしまうなど影響が大きい場合には、より安定かつ信頼できる長期シーンと積載シーンのロール角のみを利用してこれを補正することで立体物の検知は安定的な検知結果を得る。In the detection and ranging
また、検知測距部50においては、立体物の検知自体、細かなロール角の影響を受けないが、大きなロール角のみは補正されている方がよい。このため細かな時系列変化は省き、大きな信頼できるロール角の長期シーンおよび積載シーンのロール角のみを利用する方法もある。検知とは反対に、測距の場合には、画像を変換するなどの処理まで影響させずに対象、物体一つ一つの計算時に補正を実行するだけでよい。このため、瞬間値を利用しながら旋回シーン、走行シーンの補正値を利用し、高精度化を狙う。また、瞬間的な誤差については、計算後にこれをノイズ除去する仕組みや、フィルタリングする手法を備えることで、多少のばらつきを抑制する方法もある。全てのロール角を加算する補正方法で、多少の不安定さを無視して高精度を狙った補正方式でもよい。
In addition, in the detection and ranging
また、検知測距部50においては、旋回シーンのロール角推定結果には、推定方法に応じて補正方法も異なるが、前述のシーン型角度推定部40における補正方法1に示す時系列のフィルタリング方式のみの場合には、フィルタリングの作動条件と同様に自車両の予測進行路の変化に応じてフィルタリングが開始されるため、少し旋回が始まった後に、フィルタリングされたロール角の値を補正に利用することで、大きなロール角を補正する。
In addition, in the detection and ranging
シーン型角度推定部40における補正方法1とは反対に、補正方法2および補正方法3の場合には、既に学習値により拡張ロール剛性、もしくはロール剛性値が推定されていれば、この値を利用したロール角を推定し、補正値として利用する。この結果が極めて小さい場合は利用せずに、ある程度大きくなった段階で補正値として利用する。補正方法2および補正方法3は、カメラで必ずしもロール角の値を計算できない瞬間であっても車速とヨーレートの値からロール角を、自車両に合わせた結果を推定することが可能である。
In contrast to
ロール角補正部51は、ロール角推定結果を利用して、ロール角補正を実行する。立体物検知部52は、ロール角補正部51でロール角の補正を実行した後に、立体物の検知を実行する。これにより安定的な立体物の検知が可能となる。特に、遠方、横位置の遠い物体や背の低い物体などの検知性能が向上するだけでなく安定的な検知が可能となる。測距部53は、立体物検知部52により検知された立体物の測距を実行する。ロール角の補正を実行することで、特にレンズ中心から離れる広角部であるほど、ロール角の誤差による測距への影響が大きくなるが、広角なセンシングにとって、このロール角を補正することで、制御にも利用可能な高精度な測距が可能となる。なお、実施形態のロール角補正部51は、本発明に係る画像処理装置の傾き角補正値算出部に対応する。The roll
警報制御部60は、図示しないが、検知測距部50にて検知した人や障害物の位置や姿勢、進行速度に基づいて、自車両との衝突可能性、タイミングを計算し、人の存在や自車両との衝突可能性についての警報や制御を実行する。警報制御部60の活用により、誤警報の削減や、より適切なタイミングにおける警報や制御の実行が可能となる。検知測距部50の検知結果と、測距結果を利用して、警報制御部60において、警報や制御の実行を判断、必要と判断されたタイミングにおいて警報や制御を実行する。Although not shown, the
以下、画像処理装置1の画像処理工程の流れについて図面を参照して説明する。
画像処理装置1は、以下の画像処理工程により、カメラで撮像された画像から得られた3D点群を利用してロール角を推定し、この推定角度を補正して、検知され測距された立体物を活用することで、安定的かつ高精度に立体物を検知し、更に、安定かつ適切な警報制御を実行する。
The flow of image processing steps in the
Through the following image processing steps, the
図17は、実施形態に係る画像処理工程を示すフローチャートである。
実施形態に係る画像処理工程は、図17に示すように、左右画像の撮像の工程(ステップS1)と、ステレオマッチング、3D点群生成の工程(ステップS2)と、処理領域の設定の工程(ステップS3)と、相対ロール姿勢のデータ抽出の工程(ステップS4)と、相対ロール姿勢の算出の工程(ステップS5)とを含んで構成されている。また、画像処理工程は、シーン別のロール角の算出の工程(ステップS6)と、シーン別のロール角の管理の工程(ステップS7)と、ロール角の補正の工程(ステップS8)と、立体物の検知測距の工程(ステップS9)と、警報と制御の工程(ステップS10)とを含んで構成されている。各工程は順に行われる。
FIG. 17 is a flow chart showing image processing steps according to an embodiment.
As shown in Fig. 17, the image processing process according to the embodiment includes a process of capturing left and right images (step S1), a process of stereo matching and generating a 3D point cloud (step S2), a process of setting a processing area (step S3), a process of extracting data on a relative roll attitude (step S4), and a process of calculating the relative roll attitude (step S5). The image processing process also includes a process of calculating a roll angle for each scene (step S6), a process of managing a roll angle for each scene (step S7), a process of correcting the roll angle (step S8), a process of detecting and measuring the distance of a three-dimensional object (step S9), and a process of warning and control (step S10). Each process is performed in sequence.
左右画像の撮像の工程(ステップS1)においては、車載されたステレオカメラ部10の左右カメラ部11で左右画像が撮像され、幾何、感度の補正がなされて、幾何的な補正である平行化が実行される。また、左右カメラ部11により、左カメラおよび右カメラの色合い、輝度などが同じになるように設定する感度キャリブレーションが実行される。In the process of capturing left and right images (step S1), the left and right images are captured by the left and
ステレオマッチング、3D点群生成の工程(ステップS2)においては、ステレオマッチングが実行され、視差画像が生成され、ステレオマッチングの結果と、カメラ幾何や基線長を利用して3D点群が取得される。また、視差画像と3D点群を併用しながら複数種の路端特徴量が取得される。In the process of stereo matching and 3D point cloud generation (step S2), stereo matching is performed, a disparity image is generated, and a 3D point cloud is obtained using the stereo matching results, the camera geometry, and the baseline length. In addition, multiple types of road edge features are obtained by using the disparity image and the 3D point cloud in combination.
処理領域の設定の工程(ステップS3)においては、舵角、ヨーレート、車速を入力として、4輪モデルを利用した自車両の挙動推定が実行され、自車両進行路が推定される。推定された自車両進行路に沿って、自車両のタイヤが通ると予測される場所に左右のタイヤ別に処理領域が処理領域設定部20により設定される。更に、レーン認識の結果を利用して、レーンの周囲を囲むように、処理領域が別途設定される。これにより、立体物が入っていない走行路面である可能性がある領域に処理領域が設けられる。In the process of setting the processing area (step S3), the steering angle, yaw rate, and vehicle speed are used as inputs to estimate the behavior of the host vehicle using a four-wheel model, and the host vehicle's travel path is estimated. Processing areas are set by the processing
処理領域が設けられた後にノイズ除去部32によりノイズ除去処理が実行されるが、ノイズ除去処理は、走行路面の3D点群のみからロール角を計算することで、ノイズに影響をうけることの少ない高精度かつ安定的なロール角を推定することができるためである。また、レーンの場所を処理領域として利用されるが、特に夜間や雨天など、走行路面上でステレオマッチングがしづらく、高信頼の視差が得られない場合を想定した処理であり、このレーン上に処理領域を置くことで、ロール角が推定されるシーンが大幅に増えるとともに安定化に繋がる。After the processing area is set, the
相対ロール姿勢のデータ抽出の工程(ステップS4)においては、相対ロール姿勢を算出するためのデータの抽出処理が実行される。処理領域を横方向に投票処理し、ヒストグラム化最頻値を選ぶことで、ノイズ耐性の強い処理が実行される。更に、全フレームの立体物検知結果などから、先行車両や、立体物が存在した場合には、マージンや移動予測をしたうえで、立体物近辺の3D点群が排除され、ロール角推定に利用してよい情報が抽出される。In the process of extracting data on the relative roll attitude (step S4), data extraction processing is performed to calculate the relative roll attitude. By voting the processing area horizontally and selecting the most frequent histogram value, processing with high noise resistance is performed. Furthermore, if a leading vehicle or a three-dimensional object is found based on the three-dimensional object detection results of all frames, a margin and movement prediction are performed, and the 3D point cloud near the three-dimensional object is excluded, and information that can be used for roll angle estimation is extracted.
相対ロール姿勢の算出の工程(ステップS5)においては、ノイズ除去が実行された後に、更に細かなノイズが残っていることを想定して、得られた点群の中から、走行路面上で2次元に広がるようにいくつかの点をランダムにセレクトし、いくつかの点群の部分集合を作成し、それぞれについてロール角推定が実行される。そして、中央値もしくは最頻値のロール角をベースにノイズ除去が実行され、最終的にノイズ除去実行の点集合で相対ロール姿勢が算出される。In the process of calculating the relative roll attitude (step S5), assuming that finer noise remains after noise removal, several points are randomly selected from the obtained point cloud so that they are spread two-dimensionally on the road surface, and several subsets of the point cloud are created, and roll angle estimation is performed for each of them. Noise removal is then performed based on the median or most frequent roll angle, and finally the relative roll attitude is calculated from the point set after noise removal.
シーン別のロール角の算出の工程(ステップS6)においては、シーン型角度推定部40により、シーン別のロール角推定が実行される。長期シーン、積載シーン、旋回シーン、走行シーン、それぞれのシーンを考慮したうえで、ロール角の推定処理が実行される。In the process of calculating the roll angle for each scene (step S6), the scene-based
シーン別のロール角の管理の工程(ステップS7)においては、シーン別ロール角管理部41により、シーン別のロール角管理が実行される。特に長期シーンに関しては、エンジンONおよびOFFの時における過去データの管理を含めて実行される。また、エンジンONの時には、ここで保存されていた長期シーンのロール角が利用され補正が実行される。In the process of managing roll angles by scene (step S7), the scene-specific roll
このほか積載シーンや走行シーンは、エンジンONの後のデータから推定値が新たに算出される。但し、積載シーンに関しては、毎回の積載量がほぼ同等で変化がないなどの学習結果については、シーン別ロール角管理部41においてこれを取り扱い、これをもとにベースとして利用可能な積載シーンのロール角がシーン別ロール角管理部41で管理され、エンジンONの時の初期値として利用されることがある。旋回シーンについては時系列にフィルタする場合には、走行中の結果が利用される。但し、旋回シーンの補正方式2および補正方式3に関しては拡張ロール剛性およびロール剛性は、毎回エンジンONおよびOFFの時に、前回走行時の学習結果などがRAMに保存され、これをエンジンONの時に呼び出しながら常に更新が実行されるようにして利用される。In addition, for loading and driving scenes, new estimated values are calculated from data after the engine is turned on. However, for loading scenes, learning results such as the amount of loading being almost the same each time and not changing are handled by the scene-specific roll
ロール角の補正の工程(ステップS8)においては、シーン別のロール角が利用され、走行シーンに応じて補正値を利用するかどうかが判定され、ロール角の補正が実行される。In the roll angle correction process (step S8), the scene-specific roll angle is used, and it is determined whether to use a correction value depending on the driving scene, and the roll angle correction is performed.
立体物の検知測距の工程(ステップS9)においては、ステップS8のロール角の補正が実行された後に、検知測距部50により立体物の検知測距が実行される。ロール角を安定的かつ高精度に補正することで、自車両に衝突するおそれのある移動体や立体物などを安定的に検知、精度よく衝突するか否か、また衝突する場合にはそのタイミングが正確に予測される。これによりロール角の誤差の影響を受け易い広角部の立体物検知についても安定的かつ高精度な位置算出が可能となる。In the process of detecting and measuring the distance to a three-dimensional object (step S9), after the roll angle correction in step S8 is performed, the detection and measuring
警報と制御の工程(ステップS10)においては、ステップS9における立体物検知の結果、測距結果が利用され、警報制御部60により、警報と制御が実行される。
次いで、実施形態に係る画像処理装置1の効果について説明する。
In the warning and control process (step S10), the result of the three-dimensional object detection and the distance measurement result in step S9 are utilized, and the
Next, the effects of the
実施形態に係る画像処理装置1は、ステレオカメラ部10と、処理領域設定部20と、相対ロール姿勢算出部30と、シーン型角度推定部40と、検知測距部50と、警報制御部60とにより構成されている。画像処理装置1は、処理領域設定部20で、走行路面とカメラの姿勢を計測するための処理領域を設定し、相対ロール姿勢算出部30で走行路面とカメラの姿勢を算出し、シーン型角度推定部40ではカメラの撮像した画像をシーン別に管理しロール角を推定する。また、画像処理装置1は、検知測距部50で推定されたロール角を補正し、自車両Cの周りの立体物の検知および測距を実行し、警報制御部60では、検知された障害物の位置、姿勢および速度に基づいて自車両Cとの衝突可能性、タイミングを計算し警報や制御を実行する。この構成により、比較的に広い画角の左右カメラ部11により検知され測距された立体物の撮像画像であっても、高い精度で撮像画像における左右カメラ部11と走行路面との傾き角の補正をすることができるという効果が得られる。The
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Although the embodiments of the present invention have been described above in detail, the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. In addition, it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Furthermore, it is possible to add, delete, or replace part of the configuration of each embodiment with other configurations.
1・・・画像処理装置、10・・・ステレオカメラ部(ステレオカメラ)、11・・・左右カメラ部(ステレオカメラ)、12・・・ステレオマッチング部(画像処理部)、13・・・3D点群生成部(3次元点群生成部)、20・・・処理領域設定部(画像処理部)、21・・・予測進行路算出部、22・・・進行路処理領域設定部、23・・・レーン認識部、30・・・相対ロール姿勢算出部(カメラ傾き角算出部)、31・・・領域別最頻値抽出部、32・・・ノイズ除去部、33・・・領域別利用判断部、34・・・相対姿勢算出部、35・・・信頼度算出部、40・・・シーン型角度推定部(相対ロール角推定部)、41・・・シーン別ロール角管理部、42・・・長期シーン・ロール角算出部、43・・・積載シーン・ロール角算出部、44・・・旋回シーン・ロール角算出部、45・・・走行シーン・ロール角算出部、50・・・検知測距部(画像処理部)、51・・・ロール角補正部(傾き角補正値算出部)、52・・・立体物検知部、53・・・測距部、60・・・警報制御部(画像処理部)、C・・・車両 1: Image processing device, 10: Stereo camera unit (stereo camera), 11: Left and right camera units (stereo camera), 12: Stereo matching unit (image processing unit), 13: 3D point cloud generation unit (three-dimensional point cloud generation unit), 20: Processing area setting unit (image processing unit), 21: Predicted path calculation unit, 22: Path processing area setting unit, 23: Lane recognition unit, 30: Relative roll attitude calculation unit (camera tilt angle calculation unit), 31: Area-specific mode extraction unit, 32: Noise removal unit, 33: Area-specific utilization judgment unit , 34... relative attitude calculation unit, 35... reliability calculation unit, 40... scene type angle estimation unit (relative roll angle estimation unit), 41... scene-specific roll angle management unit, 42... long-term scene roll angle calculation unit, 43... loading scene roll angle calculation unit, 44... turning scene roll angle calculation unit, 45... driving scene roll angle calculation unit, 50... detection and ranging unit (image processing unit), 51... roll angle correction unit (tilt angle correction value calculation unit), 52... three-dimensional object detection unit, 53... ranging unit, 60... warning control unit (image processing unit), C... vehicle
Claims (8)
前記車両の挙動と、前記車両の走行中に撮像された複数の前記画像からなる画像群を用いて、前記カメラ傾き角算出部により算出された前記カメラ傾き角を補正する補正値を求める傾き角補正値算出部と、
前記補正値を用いて、前記カメラで撮像された前記画像に対して画像処理を行う画像処理部と、
前記画像から前記走行路面の3次元点群を生成する3次元点群生成部と、
前記車両の旋回時に発生する前記カメラと前記走行路面との相対ロール角を、前記走行路面の3次元点群を利用して推定する相対ロール角推定部と、
を有することを特徴とする画像処理装置。 a camera inclination angle calculation unit that calculates a camera inclination angle of the camera with respect to a road surface from an image captured by the camera mounted on the vehicle;
a tilt angle correction value calculation unit that calculates a correction value for correcting the camera tilt angle calculated by the camera tilt angle calculation unit, using a behavior of the vehicle and an image group consisting of a plurality of the images captured while the vehicle is traveling;
an image processing unit that performs image processing on the image captured by the camera using the correction value;
a three-dimensional point cloud generation unit that generates a three-dimensional point cloud of the traveling road surface from the image;
a relative roll angle estimating unit that estimates a relative roll angle between the camera and the road surface that occurs when the vehicle turns, using a three-dimensional point cloud of the road surface;
13. An image processing device comprising:
前記相対ロール角推定部が、車速とヨーレートに比例して得られる前記相対ロール角を推定する車両挙動モデルを定義し、前記車両挙動モデルのパラメータを、前記車両の走行時に学習し、前記カメラによる前記3次元点群が得られない環境を含めて学習したパラメータと前記車両の車速およびヨーレートとを用いて前記相対ロール角を推定することを特徴とする画像処理装置。 2. The image processing device according to claim 1 ,
an image processing device characterized in that the relative roll angle estimation unit defines a vehicle behavior model that estimates the relative roll angle obtained in proportion to a vehicle speed and a yaw rate, learns parameters of the vehicle behavior model while the vehicle is traveling, and estimates the relative roll angle using the learned parameters including in an environment in which the three-dimensional point cloud cannot be obtained by the camera and the vehicle speed and yaw rate of the vehicle.
前記車両の旋回による前記相対ロール角を算出する前記車両挙動モデルにおいて、前記車両の重量および高さに関するパラメータを車種別に設定するロール角推定モデルを定義し、該ロール角推定モデルを用いて前記カメラ傾き角であるロール角の補正をすることを特徴とする画像処理装置。 3. The image processing device according to claim 2 ,
In the vehicle behavior model that calculates the relative roll angle due to the turning of the vehicle, a roll angle estimation model is defined in which parameters related to the weight and height of the vehicle are set for each vehicle type, and the roll angle, which is the camera tilt angle, is corrected using the roll angle estimation model.
前記走行路面の前記3次元点群を活用するために、左右タイヤの進行路領域と左右車線付近に処理領域を設定することで、視差が少ない状況を含めて、前記相対ロール角の推定を行うことを特徴とする画像処理装置。 2. The image processing device according to claim 1 ,
An image processing device characterized in that, in order to utilize the three-dimensional point cloud of the road surface, a processing area is set near the travel path areas of the left and right tires and the left and right lanes, thereby estimating the relative roll angle, including in situations with low parallax.
前記車両の挙動と、前記車両の走行中に撮像された複数の前記画像からなる画像群を用いて、前記カメラ傾き角算出部により算出された前記カメラ傾き角を補正する補正値を求める傾き角補正値算出部と、
前記補正値を用いて、前記カメラで撮像された前記画像に対して画像処理を行う画像処理部と、
を有し、
前記補正値は、
第1の期間に前記カメラで取得された複数の前記画像からなる第1の画像群に基づいて、前記カメラ傾き角算出部により算出された第1の傾き角を補正する第1の補正値と、
前記第1の期間より短い第2の期間に前記カメラで取得された複数の前記画像からなる第2の画像群に基づいて、前記カメラ傾き角算出部により算出された第2の傾き角を補正する第2の補正値と、を含むことを特徴とする画像処理装置。 a camera inclination angle calculation unit that calculates a camera inclination angle of the camera with respect to a road surface from an image captured by the camera mounted on the vehicle;
a tilt angle correction value calculation unit that calculates a correction value for correcting the camera tilt angle calculated by the camera tilt angle calculation unit, using a behavior of the vehicle and an image group consisting of a plurality of the images captured while the vehicle is traveling;
an image processing unit that performs image processing on the image captured by the camera using the correction value;
having
The correction value is
a first correction value for correcting a first tilt angle calculated by the camera tilt angle calculation unit based on a first image group consisting of a plurality of the images acquired by the camera during a first period; and
and a second correction value that corrects the second tilt angle calculated by the camera tilt angle calculation unit based on a second image group consisting of a plurality of the images acquired by the camera in a second period shorter than the first period.
前記第1の補正値はエンジンON時に算出されたものであり、
前記第2の補正値は前記車両の走行中の旋回時に算出されたものであることを特徴とする画像処理装置。 6. The image processing device according to claim 5 ,
The first correction value is calculated when the engine is ON,
4. The image processing device according to claim 1, wherein the second correction value is calculated when the vehicle is turning while traveling.
前記第1の補正値は、前記車両の走行中に学習結果を累積し、エンジンONおよびOFFを複数回繰り返した後に前記補正値として決定されるもので、長期的な前記カメラの姿勢を補正する値であり、
前記第2の補正値は、積載量や搭乗者による車体の傾きの変化に対応するため、エンジンONの後の短期間に決定され、補正を開始することを特徴とする画像処理装置。 6. The image processing device according to claim 5 ,
the first correction value is determined as the correction value after accumulating learning results while the vehicle is traveling and turning the engine ON and OFF a number of times, and is a value for correcting a long-term attitude of the camera;
The image processing device according to claim 1, wherein the second correction value is determined within a short period of time after the engine is turned on in order to accommodate changes in the inclination of the vehicle body due to the load or the number of passengers, and correction is started.
前記相対ロール角が発生する場所と要因を考慮し、前記相対ロール角が変化している期間をベースにシーン別に前記相対ロール角を管理することで、長期的に発生する前記相対ロール角を補正し、積載量や搭乗者もしくは旋回もしくは前記車両の走行路に応じて発生する前記相対ロール角は、ロール角誤差発生期間に応じて補正することを特徴とする画像処理装置。 2. The image processing device according to claim 1 ,
The image processing device corrects the relative roll angle that occurs over the long term by taking into account the location and cause of the relative roll angle and managing the relative roll angle for each scene based on a period during which the relative roll angle is changing, and corrects the relative roll angle that occurs depending on the load, passengers, turning, or driving path of the vehicle in accordance with a roll angle error occurrence period.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031724 | 2021-03-01 | ||
JP2021031724 | 2021-03-01 | ||
PCT/JP2021/034338 WO2022185579A1 (en) | 2021-03-01 | 2021-09-17 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022185579A1 JPWO2022185579A1 (en) | 2022-09-09 |
JP7492644B2 true JP7492644B2 (en) | 2024-05-29 |
Family
ID=83155258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023503353A Active JP7492644B2 (en) | 2021-03-01 | 2021-09-17 | Image Processing Device |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7492644B2 (en) |
DE (1) | DE112021006389T5 (en) |
WO (1) | WO2022185579A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013020308A (en) | 2011-07-07 | 2013-01-31 | Clarion Co Ltd | Vehicle surrounding image pickup system |
JP2017007481A (en) | 2015-06-19 | 2017-01-12 | 日本精機株式会社 | On-vehicle headup display device and on-vehicle display system |
JP2020162033A (en) | 2019-03-27 | 2020-10-01 | 株式会社デンソーテン | Image processing device and image processing method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010177780A (en) | 2009-01-27 | 2010-08-12 | Toyota Motor Corp | Imaging device |
JP6488749B2 (en) | 2015-02-13 | 2019-03-27 | 株式会社デンソー | Camera calibration device |
-
2021
- 2021-09-17 DE DE112021006389.8T patent/DE112021006389T5/en active Pending
- 2021-09-17 WO PCT/JP2021/034338 patent/WO2022185579A1/en active Application Filing
- 2021-09-17 JP JP2023503353A patent/JP7492644B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013020308A (en) | 2011-07-07 | 2013-01-31 | Clarion Co Ltd | Vehicle surrounding image pickup system |
JP2017007481A (en) | 2015-06-19 | 2017-01-12 | 日本精機株式会社 | On-vehicle headup display device and on-vehicle display system |
JP2020162033A (en) | 2019-03-27 | 2020-10-01 | 株式会社デンソーテン | Image processing device and image processing method |
Also Published As
Publication number | Publication date |
---|---|
WO2022185579A1 (en) | 2022-09-09 |
DE112021006389T5 (en) | 2023-09-28 |
JPWO2022185579A1 (en) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7025912B2 (en) | In-vehicle environment recognition device | |
CN106537180B (en) | Method for mitigating radar sensor limitations with camera input for active braking of pedestrians | |
US7542835B2 (en) | Vehicle image processing device | |
US10580155B2 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
US9912933B2 (en) | Road surface detection device and road surface detection system | |
CN109997148B (en) | Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and computer-readable recording medium | |
US20150015384A1 (en) | Object Detection Device | |
WO2016189112A1 (en) | Collision avoidance method, computer program product for said collision avoidance method and collision avoidance system | |
US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
JP6936098B2 (en) | Object estimation device | |
JP6816401B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
WO2017145634A1 (en) | Image processing device, imaging device, system for controlling mobile body, image processing method, and program | |
US20210012119A1 (en) | Methods and apparatus for acquisition and tracking, object classification and terrain inference | |
CN111923914A (en) | Identification of the shoulder driving of a motor vehicle | |
CN108657173A (en) | ECU, the autonomous vehicle comprising ECU and the method for identifying its neighbouring vehicle | |
JP5411671B2 (en) | Object detection device and driving support system | |
JP7492644B2 (en) | Image Processing Device | |
JP6763198B2 (en) | Image processing equipment, imaging equipment, mobile device control systems, image processing methods, and programs | |
WO2020160927A1 (en) | Vehicle control system and method | |
JP6812701B2 (en) | Image processing equipment, mobile device control system, image processing method, and program | |
EP3540643A1 (en) | Image processing apparatus and image processing method | |
JP4807763B1 (en) | Outside monitoring device | |
KR20180081966A (en) | Image correction method by vehicle recognition | |
EP3327696B1 (en) | Information processing apparatus, imaging device, device control system, mobile body, information processing method, and program | |
GB2552706A (en) | A system for use in a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7492644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |