JP2020090138A - 路面検出装置および路面検出プログラム - Google Patents
路面検出装置および路面検出プログラム Download PDFInfo
- Publication number
- JP2020090138A JP2020090138A JP2018227342A JP2018227342A JP2020090138A JP 2020090138 A JP2020090138 A JP 2020090138A JP 2018227342 A JP2018227342 A JP 2018227342A JP 2018227342 A JP2018227342 A JP 2018227342A JP 2020090138 A JP2020090138 A JP 2020090138A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- stereo camera
- dimensional model
- vehicle
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C7/00—Tracing profiles
- G01C7/02—Tracing profiles of land surfaces
- G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【課題】路面の高さの検出精度を向上させることができる路面検出装置を提供すること。【解決手段】実施形態にかかる路面検出装置は、車両が走行する路面を含む撮像領域を撮像するステレオカメラから出力された撮像画像データを取得する画像取得部と、撮像画像データに基づいて、ステレオカメラの視点での路面の表面形状を含む撮像領域の3次元モデルを生成する3次元モデル生成部と、3次元モデルから平面を推定し、平面の法線ベクトルの向き及びステレオカメラに対する平面の高さ位置を、路面の法線ベクトルの向きの正解値およびステレオカメラに対する路面の高さ位置の正解値にそれぞれ整合させるように3次元モデルを補正する補正部と、を備える。【選択図】図4
Description
本発明の実施形態は、路面検出装置に関する。
従来、車両が走行する路面を含む撮像領域を撮像するステレオカメラ等の撮像部から出力された撮像画像データに基づいて、撮像部に対する路面の高さ位置などといった路面の状態を検出する技術が知られている。
上記のような従来の技術では、車両の揺れに伴う撮像部の揺れを考慮していない。撮像部の揺れが発生すると、実際には平坦な路面が、撮像画像データ上では凹凸が存在する路面として検出されるので、路面の検出精度が悪くなることがある。
本発明の実施形態にかかる路面検出装置は、一例として、車両が走行する路面を含む撮像領域を撮像するステレオカメラから出力された撮像画像データを取得する画像取得部と、前記撮像画像データに基づいて、前記ステレオカメラの視点での前記路面の表面形状を含む前記撮像領域の3次元モデルを生成する3次元モデル生成部と、前記3次元モデルから平面を推定し、前記平面の法線ベクトルの向き及び前記ステレオカメラに対する前記平面の高さ位置を、前記路面の法線ベクトルの向きの正解値および前記ステレオカメラに対する前記路面の高さ位置の正解値にそれぞれ整合させるように前記3次元モデルを補正する補正部と、を備える。
よって、一例としては、路面の検出精度の悪化を抑制することができる。
前記補正部は、さらに、平面の法線ベクトルの向きを前記路面の法線ベクトルの向きの正解値に整合させた後、前記ステレオカメラに対する前記平面の高さ位置を前記ステレオカメラに対する前記路面の高さ位置の正解値に整合させるように前記3次元モデルの全体を補正する。
よって、一例としては、補正を簡単に実行することができる。
前記補正部は、さらに、前記路面の法線ベクトルの向きの正解値および前記ステレオカメラに対する前記路面の高さ位置の正解値を、前記ステレオカメラのキャリブレーション時に決定された値に基づいて取得する。
よって、一例としては、正解値を容易に取得することができる。
本発明の実施形態にかかる路面検出プログラムは、コンピュータに、車両が走行する路面を含む撮像領域を撮像するステレオカメラから出力された撮像画像データを取得する画像取得ステップと、前記撮像画像データに基づいて、前記ステレオカメラの視点での前記路面の表面形状を含む前記撮像領域の3次元モデルを生成する3次元モデル生成ステップと、前記3次元モデルから平面を推定し、前記平面の法線ベクトルの向き及び前記ステレオカメラに対する前記平面の高さ位置を、前記路面の法線ベクトルの向きの正解値および前記ステレオカメラに対する前記路面の高さ位置の正解値にそれぞれ整合させるように前記3次元モデルを補正する補正ステップと、を実行させる。
よって、一例としては、路面の検出精度の悪化を抑制することができる。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも1つを得ることが可能である。
[実施形態]
実施形態の構成について、図1〜図10を用いて説明する。
実施形態の構成について、図1〜図10を用いて説明する。
(車両の構成)
図1は、実施形態にかかる路面検出装置を搭載する車両1の車室2aの一部が透視された状態の一例を示す斜視図である。図2は、実施形態にかかる路面検出装置を搭載する車両1の一例を示す平面図である。
図1は、実施形態にかかる路面検出装置を搭載する車両1の車室2aの一部が透視された状態の一例を示す斜視図である。図2は、実施形態にかかる路面検出装置を搭載する車両1の一例を示す平面図である。
実施形態の車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができ、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図1に示すように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールである。加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。
また、車室2a内には、表示装置8、および音声出力装置9が設けられている。音声出力装置9は、例えば、スピーカである。表示装置8は、例えば、LCD(Liquid Crystal Display)、OELD(Organic Electroluminescent Display)等である。表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で、手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これらの表示装置8、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向、すなわち左右方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチ、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができる。またさらに、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
図1、図2に示すように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。これら4つの車輪3は、いずれも転舵可能に構成されうる。
また、車体2には、複数の撮像部15として、例えば4つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(Charge Coupled Device)やCIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタル式のステレオカメラである。ステレオカメラは複数台のカメラで物体を同時に撮影し、各カメラで得られた物体の画像上での位置の違い、つまり、視差から、その物体の位置や立体的な形状を検出する。これにより、画像に含まれる路面等の形状情報を3次元情報として取得することができる。
撮像部15は、所定のフレームレートで撮像画像データを出力することができる。撮像画像データは動画データであってもよい。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°以上220°以下の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている場合もある。これにより、撮像部15は、車両1が移動可能な路面や物体を含む車両1の外部の周辺の環境を逐次撮影し、撮像画像データとして出力する。ここで、物体は、車両1の走行時等に障害物となり得る岩、樹木、人間、自転車、他の車両等である。
撮像部15aは、例えば、車体2の後側の端部2eに位置され、リアハッチのドア2hのリアウインドウの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパやフロントグリル等に設けられている。撮像部15dは、例えば、車体2の左側の端部2dに位置され、左側のドアミラー2gに設けられている。
(ECUのハードウェア構成)
次に、図3を用いて、実施形態のECU(Electronic Control Unit)14、及びECU14の周辺構成について説明する。図3は、実施形態にかかるECU14の構成およびその周辺構成を示すブロック図である。
次に、図3を用いて、実施形態のECU(Electronic Control Unit)14、及びECU14の周辺構成について説明する。図3は、実施形態にかかるECU14の構成およびその周辺構成を示すブロック図である。
図3に示すように、路面検出装置としてのECU14の他、モニタ装置11、操舵システム13、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等は、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(Controller Area Network)として構成されている。
ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。
また、ECU14は、複数の撮像部15で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な俯瞰画像を生成したりすることができる。
ECU14は、例えば、CPU(Central Processing Unit)14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c、表示制御部14d、音声制御部14e、フラッシュメモリ等であるSSD(Solid State Drive)14f等を有している。
CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理や、車両1の目標位置の決定、車両1の移動経路の演算、物体との干渉の有無の判断、車両1の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。かかるプログラムには、ECU14において路面検出処理を実現するためのコンピュータプログラムである路面検出プログラムが含まれる。
RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。
表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの合成等を実行する。
音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。
SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。
なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに代えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに代えてHDD(Hard Disk Drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有し、少なくとも二つの車輪3を操舵する。すなわち、操舵システム13は、ECU14等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(Steer by Wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(Anti−lock Brake System)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:Electronic Stability Control)、ブレーキ力を増強させブレーキアシストを実行する電動ブレーキシステム、BBW(Brake by Wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。
舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。
シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果を、ブレーキシステム18を介して取得する。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定および変更することができる。
(ECUのソフトウェア構成)
次に、図4を用いて、実施形態のECU14の機能を示すソフトウェア構成について説明する。図4は、実施形態にかかるECU14で実現されるソフトウェア構成を例示した図である。図4に示される機能は、ソフトウェアとハードウェアとの協働によって実現される。すなわち、図4に示される例において、ECU14の路面検出装置としての機能は、CPU14aがROM14bなどに記憶された路面検出プログラムを読み出して実行した結果として実現される。
次に、図4を用いて、実施形態のECU14の機能を示すソフトウェア構成について説明する。図4は、実施形態にかかるECU14で実現されるソフトウェア構成を例示した図である。図4に示される機能は、ソフトウェアとハードウェアとの協働によって実現される。すなわち、図4に示される例において、ECU14の路面検出装置としての機能は、CPU14aがROM14bなどに記憶された路面検出プログラムを読み出して実行した結果として実現される。
図4に示すように、路面検出装置としてのECU14は、画像取得部401、3次元モデル生成部402、補正部403、および記憶部404を備える。上述のCPU14aは、プログラムにしたがって処理を実行することにより、画像取得部401、3次元モデル生成部402、および補正部403等として機能する。RAM14cやROM14bなどは記憶部404として機能する。なお、上記各部の機能の少なくとも一部は、ハードウェアによって実現されてもよい。
画像取得部401は、車両1の周辺領域を撮像する複数の撮像部15から複数の撮像画像データを取得する。撮像部15の撮像領域には車両1が走行する路面が含まれ、撮像画像データには路面の表面形状等が含まれる。
3次元モデル生成部402は、画像取得部401が取得した撮像画像データから3次元モデルを生成する。3次元モデルは、車両1が走行する路面を含む路面の表面形状等の路面状態に応じて複数の点が3次元に配置された3次元点群である。
補正部403は、3次元モデル生成部402が生成した3次元モデルの傾きを補正する。3次元モデルは、車体2の向き等の車両1の状態を基準に生成される。このため、車両1が傾いている場合であっても、路面等の状況を正しく反映した状態となるよう補正部403が補正する。
記憶部404には、各部の演算処理で用いられるデータや、演算処理の結果のデータ等が記憶される。また、記憶部404には、車両1の工場出荷の際などに撮像部15等に対して行われるキャリブレーションデータが記憶される。
(ECUの機能例)
次に、図5を用いて、実施形態のECU14の機能例について説明する。図5は、実施形態にかかるECU14の路面検出機能の概要について説明する図である。
次に、図5を用いて、実施形態のECU14の機能例について説明する。図5は、実施形態にかかるECU14の路面検出機能の概要について説明する図である。
前提として、車両1の工場出荷の際などには、撮像画像が正しく得られるよう撮像部15に対してキャリブレーションが行われる。キャリブレーションは、たとえば光軸補正などを含んでいる。このキャリブレーションにより、撮像部15の視点を基準として、路面に対して垂直な法線ベクトルと、路面の高さ位置とが決定される。ECU14による路面検出においては、撮像部15の視点を基準とする路面の法線ベクトル及び路面の高さ位置が正解値として用いられる。このような正解値に基づき、撮像部15による撮像画像データから、路面等の所定点までの距離および所定点の高さを適正に算出することができる。
つまり、例えば、図5(a)に示すように、主に車両1前方の撮像部15cで撮像された撮像画像データに基づき路面の状態が検出される。例えば、撮像部15cで撮像された撮像画像データのうち、車両1に最も近い路面の所定点P1〜P3までの距離および高さに基づく路面状態は、その時点で車両1が位置している路面、つまり、車両1の真下の路面の状態と見做される。ここでは、車両1に対して平行で平坦な路面が検出される。
また、撮像部15cで撮像された撮像画像データのうち、車両1からやや離れた路面の所定点P4〜P6までの距離および高さに基づき、車両1のやや前方の路面の状態が検出される。ここでは、車両1が位置している路面に対して平行で平坦な路面が検出される。
また例えば、図5(b)に示すように、路面の所定点P4〜P6までの距離および高さに基づき、車両1が位置する平坦な路面のやや前方に、所定高さの物体Tが検出される。
また例えば、図5(c)に示すように、路面の所定点P4〜P6までの距離および高さに基づき、車両1が位置する平坦な路面のやや前方に、上り坂等の傾斜路が検出される。
また例えば、図5(d)に示すように、下り坂等の傾斜路に車両1が位置しているときは、路面の所定点P1〜P3までの距離および高さに基づき、車両1に対して平行で平坦な路面が検出される。また、路面の所定点P4〜P6までの距離および高さに基づき、車両1が位置している路面に対して平行で平坦な路面が検出される。つまり、重力方向に対する路面の傾斜とは関係なく、車両1の現在位置の路面が車両1に対して平行であるものとして路面の状態の検出が行われる。
このように、実施形態のECU14は、キャリブレーションにより決定された路面の法線ベクトルVcの向きを正解値、つまり、路面の法線ベクトルVrの向いているべき方向として用いる。すなわち、今回、検出された路面に対して垂直な法線ベクトルVrの向きが、正解値である法線ベクトルVcの向きと一致しているものと推定する。また、キャリブレーションにより決定された路面の高さ位置Hcを正解値、つまり、路面のあるべき高さとして用い、高さ位置Hcと一致しない高さを持ったものを検出する。上記の例のように、高さ位置Hcと一致しない高さを持ったものとは、例えば、路面に落ちている小石等の物体または路面自体の凹凸等である。図5(c)の例のように、車両1が位置する路面とは異なる傾斜を持った他の路面の場合もある。
なお、路面状態の検出に用いられる路面の情報は、上述の所定点P1〜P6に限られない。ECU14は、例えば撮像部15cが撮像可能な範囲の全域に亘って路面の情報を取得し、路面の状態を特定する。
次に、図6〜図8を用いて、実施形態のECU14の機能の更に詳細について説明する。図6〜図8は、実施形態にかかるECU14の路面検出機能の詳細について説明する図である。ECU14による以下の処理は、主に車両1前方の撮像部15cにより撮像された撮像画像データに基づき行われる。上述のように、撮像画像データは、ECU14の画像取得部401により取得される。
まずは、路面に対して車両1が平行な姿勢を保っているときの様子について説明する。
図6(a)に示すように、3次元モデル生成部402は、画像取得部401が取得した撮像画像データに基づき3次元モデルMを生成する。3次元モデルMでは、路面、路面自体が有する凹凸、および路面上の物体等の各種対象物が、車両1から各種対象物までの距離および各種対象物の高さに応じて、3次元に配置された複数の点に変換されている。
補正部403は、3次元モデル生成部402が生成した3次元モデルMから路面の位置および向きを推定する。路面の位置および向きは、路面が凹凸及び他の物体等を含まない理想的な平坦性を有する平面であるものとして推定される。このような平面は、例えばRANSAC等のロバスト推定を用いて決定することができる。ロバスト推定では、得られた観測値が外れ値を含む場合に、その外れ値を除外して観測対象の法則性を推定する。すなわち、ここでは、3次元モデルMが含む凹凸及び他の物体等を示す点Px、Py、Pzを除外し、3次元モデルMにおける各位置および各向きの平坦性を推定することにより、所定の位置で所定の方向を向いた平面が得られる。
図6(b)に示すように、補正部403は、上記のように推定された平面Rに垂直な法線ベクトルVrを算出する。また、補正部403は、平面Rの法線ベクトルVrの向きと、キャリブレーションにより決定された正解値としての法線ベクトルVcの向きとを一致させたうえで、キャリブレーションにより決定された正解値としての高さ位置Hcを基準に、3次元モデルMに含まれる3次元点群全体の高さ位置を補正する。補正された3次元モデルMにおいては、外れ値として除外された点Px、Py、Pzが高さ位置Hcとは一致せず、路面において所定高さを有する凹凸として示される。
図6(b)においては、平面Rの法線ベクトルVrの向きと正解値としての法線ベクトルVcの向きとは一致しており、補正部403によるこのような補正は不要に思われる。しかし、図6の例は、あくまで理想的な例である。車両1には、路面の凹凸等の影響を受けて常に揺れが生じる可能性があり、法線ベクトルVcに対する平面Rの法線ベクトルVrの傾きは常に変化しうる。
そこで、車両1に揺れが生じたときの様子について説明する。
図7は、路上の物体に車両1が乗り上げた様子を示している。このとき、実際に傾いているのは車両1の方であるが、撮像部15が撮像した撮像画像データ上では、車両1に対して右側の路面がせり上がり、左側の路面が落ち込んだ状態となるはずである。
図7(a)に示すように、3次元モデル生成部402は、画像取得部401が取得した撮像画像データに基づき3次元モデルMを生成する。
図7(b)に示すように、補正部403は、3次元モデル生成部402が生成した3次元モデルMから平面Rの位置および向きを推定する。そして、補正部403は、推定された平面Rの法線ベクトルVrを算出する。図7(b)に示す例では、平面Rの法線ベクトルVrと正解値としての法線ベクトルVcとは一致していない。
図8(a)に示すように、補正部403は、平面Rの法線ベクトルVrと正解値としての法線ベクトルVcとが一致するよう、平面Rの法線ベクトルVrの傾きを補正する。換言すれば、補正部403は、車両1の前後左右の軸に対して平面Rが平行になる向きに、平面Rの法線ベクトルVrをオフセット処理する。
図8(b)に示すように、補正部403は、正解値としての高さ位置Hcに平面Rの高さ位置を合わせる。このとき、3次元モデルMに含まれる3次元点群全体の高さ位置を補正する。換言すれば、3次元点群全体の高さ位置が撮像部15cを視点とする高さ位置に補正される。
これにより、3次元点群のうち平面Rに含まれる点は、車両1に対して平行な仮想の路面と高さ位置Hcにおいて重なり合うこととなる。また、3次元点群のうち路面の凹凸及び他の物体等を示す点Px、Py、Pzは、仮想の路面とは重なり合わず、所定高さを有する凹凸として示される。
(ECUによる路面検出処理の例)
次に、図9を用いて、実施形態のECU14による路面検出処理の例について説明する。図9は、実施形態にかかるECU14の路面検出処理の手順の一例を示すフロー図である。
次に、図9を用いて、実施形態のECU14による路面検出処理の例について説明する。図9は、実施形態にかかるECU14の路面検出処理の手順の一例を示すフロー図である。
図9に示すように、ECU14の画像取得部401は、撮像部15が撮像した撮像画像データを取得する(ステップS101)。以下に述べる路面状態の検出においては、主に車両1前方に設置された撮像部15cが撮像した撮像画像データが用いられる。撮像画像データは、好ましくは動画データである。
3次元モデル生成部402は、主に撮像部15cが撮像した撮像画像データから3次元に複数の点が配置された3次元モデルMを生成する(ステップS102)。3次元モデルMは、路面自体の凹凸および路面上の物体等を含む路面の凹凸状態を含む。
補正部403は、生成された3次元モデルMから平面Rの位置および向きを特定する(S103)。つまり、補正部403は、3次元モデルMからロバスト推定等の演算により所定の位置および向きを有する平面Rを推定する。推定された平面Rは凹凸状態を示すデータを含まない。
補正部403は、特定された平面Rに対する法線ベクトルVrを算出する(ステップS104)。
補正部403は、平面Rの法線ベクトルVrの傾きを補正する(ステップS105)。具体的には、補正部403は、必要に応じて平面Rの法線ベクトルVrを所定角度傾けて、平面Rの法線ベクトルVrを正解値としての法線ベクトルVcに対して垂直な向きとなるよう補正する。
補正部403は、3次元モデルM全体の高さ位置を補正する(ステップS106)。つまり、補正部403は、正解値としての高さ位置Hcに基づき、3次元モデルM全体の高さ位置を補正する。3次元モデルM全体の高さ位置は、3次元モデルMに含まれる3次元点群の全ての位置を、平面Rに含まれる3次元点群の移動距離に応じた距離、相対的に移動させることで補正される。
補正部403のステップS103〜S106までの処理により、法線ベクトルを基準として、車両1に対して平面Rが水平となるよう3次元モデルが補正される。これにより、3次元点群の中から平面Rを示すものと推定された点が仮想の路面の高さ位置Hcと重なり合い、それ以外の点が所定高さを有する路面の凹凸として判別される。路面において所定の高さを有する凹凸は、路面自体の凹凸、路面上の物体、車両1が位置する路面と異なる傾斜を持った傾斜路等の他の路面であり得る。
以上により、実施形態のECU14による路面検出処理が終了する。
(比較例)
例えば、比較例として、上述した実施形態のような補正を実施しない構成を想定する。このような比較例では、車両が移動している際には、路面状況や運転者の操作によって、車両が上下左右に揺れ動いてしまう。ステレオカメラの視点では、路面が常時揺れ動いていることとなり、路面の所定位置における高さの検出精度が悪化してしまう。瞬間的な車両の揺れにより、存在しない凹凸等があたかも存在するかのように検知されてしまう場合もある。
例えば、比較例として、上述した実施形態のような補正を実施しない構成を想定する。このような比較例では、車両が移動している際には、路面状況や運転者の操作によって、車両が上下左右に揺れ動いてしまう。ステレオカメラの視点では、路面が常時揺れ動いていることとなり、路面の所定位置における高さの検出精度が悪化してしまう。瞬間的な車両の揺れにより、存在しない凹凸等があたかも存在するかのように検知されてしまう場合もある。
実施形態のECU14は、3次元モデルから演算により求められる平面Rを推定し、法線ベクトルVc及び高さ位置Hcを正解値として、推定された平面Rの法線ベクトルVrの向き及び平面Rの高さ位置がこれらに一致するよう3次元モデルMを補正する。これにより、車両1の揺れの影響を抑制して路面の高さの検出精度を向上させることができる。
図10は、実施形態にかかるECU14と比較例にかかる構成とによる平坦な路面の検出結果のグラフである。図10のグラフの横軸は車両の進行方向を示し、縦軸は路面の凹凸を示している。路面をゼロ点とし、ゼロ点を挟んで上方向が凸(プラス)側であり、下方向が凹(マイナス)側である。
図10に示すように、3次元モデルの補正を行わない比較例の構成では、平坦な路面を車両が走行しているにもかかわらず、2つの大きな凸部が検知されている。それに対し、実施形態のECU14では、略平坦な路面状態が検出されている。
実施形態のECU14は、このように、精度よく路面の凹凸の高さを検出することができる。このため、実施形態のECU14は、例えば、車両1の駐車支援システム及びサスペンション制御システム等に適用され得る。
例えば、車両1の駐車支援システムにおいては、路面の凹凸の高さを正確に把握することで、所定経路を通る際の車両1の移動方向を正確に予測することができる。これにより、車両1をより確実に目標とする駐車スペースに誘導することができる。
また、車両1のサスペンション制御システムにおいては、路面の凹凸の高さを正確に把握することで、所定経路を通る際の車両1の揺れを正確に予測することができる。これにより、より確実に車両1の揺れを抑制することができる。
[その他の実施形態]
上述の実施形態のECU14で実行される路面検出プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、路面検出プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける形で提供されてもよい。
上述の実施形態のECU14で実行される路面検出プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、路面検出プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける形で提供されてもよい。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
1…車両、8…表示装置、14…ECU、15…撮像部、401…画像取得部、402…3次元モデル生成部、403…補正部、404…記憶部、Hc…高さ位置、M…3次元モデル、R…平面、Vc,Vr…法線ベクトル。
Claims (4)
- 車両が走行する路面を含む撮像領域を撮像するステレオカメラから出力された撮像画像データを取得する画像取得部と、
前記撮像画像データに基づいて、前記ステレオカメラの視点での前記路面の表面形状を含む前記撮像領域の3次元モデルを生成する3次元モデル生成部と、
前記3次元モデルから平面を推定し、前記平面の法線ベクトルの向き及び前記ステレオカメラに対する前記平面の高さ位置を、前記路面の法線ベクトルの向きの正解値および前記ステレオカメラに対する前記路面の高さ位置の正解値にそれぞれ整合させるように前記3次元モデルを補正する補正部と、を備える、
路面検出装置。 - 前記補正部は、
平面の法線ベクトルの向きを前記路面の法線ベクトルの向きの正解値に整合させた後、前記ステレオカメラに対する前記平面の高さ位置を前記ステレオカメラに対する前記路面の高さ位置の正解値に整合させるように前記3次元モデルの全体を補正する、
請求項1に記載の路面検出装置。 - 前記補正部は、
前記路面の法線ベクトルの向きの正解値および前記ステレオカメラに対する前記路面の高さ位置の正解値を、前記ステレオカメラのキャリブレーション時に決定された値に基づいて取得する、
請求項2に記載の路面検出装置。 - コンピュータに、
車両が走行する路面を含む撮像領域を撮像するステレオカメラから出力された撮像画像データを取得する画像取得ステップと、
前記撮像画像データに基づいて、前記ステレオカメラの視点での前記路面の表面形状を含む前記撮像領域の3次元モデルを生成する3次元モデル生成ステップと、
前記3次元モデルから平面を推定し、前記平面の法線ベクトルの向き及び前記ステレオカメラに対する前記平面の高さ位置を、前記路面の法線ベクトルの向きの正解値および前記ステレオカメラに対する前記路面の高さ位置の正解値にそれぞれ整合させるように前記3次元モデルを補正する補正ステップと、を実行させるための、
路面検出プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227342A JP7211047B2 (ja) | 2018-12-04 | 2018-12-04 | 路面検出装置および路面検出プログラム |
DE112019006045.7T DE112019006045T5 (de) | 2018-12-04 | 2019-11-29 | Fahrbahnoberflächendetektionsvorrichtung und Fahrbahnoberflächendetektionsprogramm |
CN201980079806.5A CN113165657A (zh) | 2018-12-04 | 2019-11-29 | 路面检测装置以及路面检测程序 |
US17/299,625 US20220036097A1 (en) | 2018-12-04 | 2019-11-29 | Road surface detection device and road surface detection program |
PCT/JP2019/046857 WO2020116352A1 (ja) | 2018-12-04 | 2019-11-29 | 路面検出装置および路面検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018227342A JP7211047B2 (ja) | 2018-12-04 | 2018-12-04 | 路面検出装置および路面検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020090138A true JP2020090138A (ja) | 2020-06-11 |
JP7211047B2 JP7211047B2 (ja) | 2023-01-24 |
Family
ID=70973795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018227342A Active JP7211047B2 (ja) | 2018-12-04 | 2018-12-04 | 路面検出装置および路面検出プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220036097A1 (ja) |
JP (1) | JP7211047B2 (ja) |
CN (1) | CN113165657A (ja) |
DE (1) | DE112019006045T5 (ja) |
WO (1) | WO2020116352A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11718304B2 (en) | 2020-03-06 | 2023-08-08 | Deere & Comoanv | Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement |
US11684005B2 (en) | 2020-03-06 | 2023-06-27 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement |
US11678599B2 (en) | 2020-03-12 | 2023-06-20 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control steering |
US11667171B2 (en) * | 2020-03-12 | 2023-06-06 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control steering |
US11685381B2 (en) | 2020-03-13 | 2023-06-27 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed |
US11753016B2 (en) | 2020-03-13 | 2023-09-12 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed |
US20230260157A1 (en) * | 2022-02-16 | 2023-08-17 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
US20230260291A1 (en) * | 2022-02-16 | 2023-08-17 | GM Global Technology Operations LLC | Methods and systems for camera to ground alignment |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005217883A (ja) * | 2004-01-30 | 2005-08-11 | Rikogaku Shinkokai | ステレオ画像を用いた道路平面領域並びに障害物検出方法 |
JP2006053754A (ja) * | 2004-08-11 | 2006-02-23 | Honda Motor Co Ltd | 平面検出装置及び検出方法 |
JP2011129048A (ja) * | 2009-12-21 | 2011-06-30 | Ihi Aerospace Co Ltd | 画像から平面を検出する平面検出装置及び検出方法 |
JP2012123750A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
WO2013027628A1 (ja) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2014132680A1 (ja) * | 2013-02-28 | 2014-09-04 | アイシン精機株式会社 | 車両の制御装置、及びプログラム |
JP2018031753A (ja) * | 2016-08-26 | 2018-03-01 | 株式会社Zmp | 物体検出方法及びその装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57200525A (en) | 1981-06-04 | 1982-12-08 | Seiko Epson Corp | Preparation of free cutting steel for precision parts |
JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
JP5724544B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2013111229A1 (ja) * | 2012-01-23 | 2013-08-01 | 日本電気株式会社 | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム |
JP2013237320A (ja) * | 2012-05-14 | 2013-11-28 | Toshiba Alpine Automotive Technology Corp | 違和感軽減表示装置およびその表示制御方法 |
JP5634558B2 (ja) * | 2013-04-30 | 2014-12-03 | 株式会社東芝 | 画像処理装置 |
EP3358295B1 (en) * | 2015-09-28 | 2020-10-07 | Kyocera Corporation | Image processing device, stereo camera device, vehicle, and image processing method |
EP3176013B1 (en) * | 2015-12-01 | 2019-07-17 | Honda Research Institute Europe GmbH | Predictive suspension control for a vehicle using a stereo camera sensor |
JP6780661B2 (ja) * | 2016-01-15 | 2020-11-04 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
KR20180088149A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 차량 경로 가이드 방법 및 장치 |
CN107505644B (zh) * | 2017-07-28 | 2020-05-05 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成***及方法 |
US10491885B1 (en) * | 2018-06-13 | 2019-11-26 | Luminar Technologies, Inc. | Post-processing by lidar system guided by camera information |
-
2018
- 2018-12-04 JP JP2018227342A patent/JP7211047B2/ja active Active
-
2019
- 2019-11-29 US US17/299,625 patent/US20220036097A1/en active Pending
- 2019-11-29 CN CN201980079806.5A patent/CN113165657A/zh active Pending
- 2019-11-29 WO PCT/JP2019/046857 patent/WO2020116352A1/ja active Application Filing
- 2019-11-29 DE DE112019006045.7T patent/DE112019006045T5/de active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005217883A (ja) * | 2004-01-30 | 2005-08-11 | Rikogaku Shinkokai | ステレオ画像を用いた道路平面領域並びに障害物検出方法 |
JP2006053754A (ja) * | 2004-08-11 | 2006-02-23 | Honda Motor Co Ltd | 平面検出装置及び検出方法 |
JP2011129048A (ja) * | 2009-12-21 | 2011-06-30 | Ihi Aerospace Co Ltd | 画像から平面を検出する平面検出装置及び検出方法 |
JP2012123750A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
WO2013027628A1 (ja) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2014132680A1 (ja) * | 2013-02-28 | 2014-09-04 | アイシン精機株式会社 | 車両の制御装置、及びプログラム |
JP2018031753A (ja) * | 2016-08-26 | 2018-03-01 | 株式会社Zmp | 物体検出方法及びその装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220036097A1 (en) | 2022-02-03 |
DE112019006045T5 (de) | 2021-10-07 |
WO2020116352A1 (ja) | 2020-06-11 |
JP7211047B2 (ja) | 2023-01-24 |
CN113165657A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020116352A1 (ja) | 路面検出装置および路面検出プログラム | |
JP6094266B2 (ja) | 駐車支援装置、駐車支援方法およびプログラム | |
JP6028848B2 (ja) | 車両の制御装置、及びプログラム | |
JP6115104B2 (ja) | 車両の制御装置、及び制御方法 | |
JP6361382B2 (ja) | 車両の制御装置 | |
JP2016060219A (ja) | 車両位置検出装置 | |
JP2016119570A (ja) | 車両周辺監視装置 | |
CN107791951B (zh) | 显示控制装置 | |
US11383642B2 (en) | Display control apparatus | |
JP2019054420A (ja) | 画像処理装置 | |
US11475676B2 (en) | Periphery monitoring device | |
JP7367375B2 (ja) | 特定領域検知装置 | |
JP2020053819A (ja) | 撮像システム、撮像装置、および信号処理装置 | |
WO2018025441A1 (ja) | 周辺監視装置 | |
JP6930202B2 (ja) | 表示制御装置 | |
JP6965563B2 (ja) | 周辺監視装置 | |
JP2020043395A (ja) | カメラキャリブレーション装置 | |
WO2023188927A1 (ja) | 自己位置誤差推定装置及び自己位置誤差推定方法 | |
JP7423970B2 (ja) | 画像処理装置 | |
JP7400326B2 (ja) | 駐車支援装置、駐車支援方法、および、駐車支援プログラム | |
JP2017069846A (ja) | 表示制御装置 | |
JP2021064868A (ja) | 駐車支援装置 | |
JP2021064146A (ja) | 駐車支援装置 | |
JP2018186387A (ja) | 表示制御装置 | |
JP2018037881A (ja) | 周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7211047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |