JPWO2014132680A1 - 車両の制御装置、及びプログラム - Google Patents
車両の制御装置、及びプログラム Download PDFInfo
- Publication number
- JPWO2014132680A1 JPWO2014132680A1 JP2015502795A JP2015502795A JPWO2014132680A1 JP WO2014132680 A1 JPWO2014132680 A1 JP WO2014132680A1 JP 2015502795 A JP2015502795 A JP 2015502795A JP 2015502795 A JP2015502795 A JP 2015502795A JP WO2014132680 A1 JPWO2014132680 A1 JP WO2014132680A1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image data
- captured image
- unit
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 138
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 81
- 230000001133 acceleration Effects 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 description 63
- 238000012544 monitoring process Methods 0.000 description 52
- 238000012545 processing Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 33
- 238000012937 correction Methods 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 21
- 230000009467 reduction Effects 0.000 description 14
- 238000001914 filtration Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 9
- 239000000725 suspension Substances 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 239000004575 stone Substances 0.000 description 5
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000013481 data capture Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
実施形態の車両の制御装置は、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、車両の左右方向の傾きに基づいて、撮像画像データを回転制御する制御部と、を備え、制御部は、撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する。
Description
本発明の実施形態は、車両の制御装置、及びプログラムに関する。
従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。運転者に提供する際に、撮像された画像データを車両の挙動に応じて補正する技術が提案されている。また、周辺の環境を認識しやすいように、俯瞰視点で車両の周辺の地面を表した鳥瞰図画像データを生成する技術が提案されている。
しかしながら、従来技術では、例えば、運転者の指示があった場合のみ画像データが補正されるため、リアルタイムに補正できないという問題や、車高センサで車両の傾きを検出しているため、タイヤが接地していない場合等に傾きが精度良く把握できず、画像データの適切な表示が十分にできない等の問題が生じている。また、そのような画像データに基づく表示では、車両の周辺状況を正確に把握ことが難い等の問題を生じている。
本発明の実施形態にかかる車両の制御装置は、一例として、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御部と、を備え、前記制御部は、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する。よって、一例としては、撮像画像データに基づく車両周辺の状況把握が容易になるという効果を奏する。
また、前記車両の制御装置では、一例として、前記車両状態検出部は、前記車両状態データとして前記車両に設けられた加速度検出部から出力された加速度データを取得し、前記制御部は、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて、前記撮像画像データを回転制御する。よって、一例として、撮像画像データに基づく車両周辺の状況把握が容易になるという効果を奏する。また、高低差が視覚的に認識しやすくなるという効果を奏する。
また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記撮像画像データの拡大処理又は縮小処理行う。よって、一例としては、出力先に応じて撮像画像データの拡大又は縮小が行われることで、視認性が向上するという効果を奏する。
また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記撮像画像データに対して前記レンズの中心に対応する位置座標を前記表示領域の中心から移動させる。よって、一例としては、出力先に応じて撮像画像データの移動制御が行われることで、視認性が向上するという効果を奏する。
また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記レンズの中心に対応する位置座標を前記表示領域の中心から前記表示領域内の上方向に移動させる。よって、一例としては、撮像画像データに含まれている、水平線より下方の領域が主に表示されるので、車両周辺の状況を容易に把握できるという効果を奏する。
また、前記車両の制御装置では、一例として、前記撮像画像データが表示される表示装置には、前記車両の前後軸周りの傾きを示したロール角と前記車両の左右軸周りの傾きを示したピッチ角の少なくとも一方を表した情報が前記撮像画像データと共に表示される。よって、一例としては、車両状態と車両周辺の状況の両方の把握が容易になるという効果を奏する。
また、前記車両の制御装置では、一例として、前記取得部は、さらに、前記車両がオフロード用のモードに切り替えられているか否かを示す情報を取得し、前記制御部は、前記車両がオフロード用のモードに切り替えられている場合に、先記車両状態データに応じて前記撮像画像データを回転制御する。よって、一例としては、オフロード用のモードでは、車両周辺の状況が視覚的に認識しやすくなるという効果を奏する。
また、前記車両の制御装置では、一例として、前記制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成部をさらに備える。よって、一例としては、回転制御して水平化してから視点変更が行われた鳥瞰図画像データを参照することで、車両の周辺を俯瞰的に認識できるため、車両周囲の状況を視覚的に認識しやすくなるという効果を奏する。
また、本発明の実施形態にかかるプログラムでは、一例として、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御ステップであって、当該制御ステップは、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する制御ステップと、をコンピュータに実行させる。よって、一例としては、撮像画像データに基づく車両周辺の状況把握が容易にできるという効果を奏する。
また、前記プログラムでは、一例として、前記制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成ステップをさらに前記コンピュータに実行させる。一例としては、回転制御して水平化してから視点変更が行われた鳥瞰図画像データが作成される。その結果、車両の周辺を俯瞰的に認識できるため、車両周囲の状況を視覚的に認識しやすくなるという効果を奏する。
以下の複数の実施形態には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付与される。また、重複する説明が省略される。
<第1の実施形態>
実施形態では、車両1は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であっても良いし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であっても良いし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であっても良い。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
実施形態では、車両1は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であっても良いし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であっても良いし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であっても良い。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図1に示されるように、車体2は、乗員(図示されず)が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。本実施形態では、一例として、操舵部4は、ダッシュボード(インストルメントパネル)から突出したステアリングホイールであり、加速操作部5は、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
また、車室2a内には、表示装置8(表示出力部)や、音声出力装置9(音声出力部)が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、一例として、スピーカである。また、本実施形態では、一例として、表示装置8は、透明な操作入力部10(例えば、タッチパネル等)で覆われている。乗員等は、操作入力部10を介して表示装置8の表示画面に表示される映像(画像)を視認することができる。また、乗員等は、表示装置8の表示画面に表示される映像(画像)に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力(指示入力)を実行することができる。また、本実施形態では、一例として、表示装置8や、音声出力装置9、操作入力部10等は、ダッシュボードの車幅方向(左右方向)の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部(図示されず)を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に音声出力装置(図示されず)を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置11は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。また、音声出力装置9の他に、ブザー24(図3参照)等の音声出力部から、警報音等が出力されるように構成することができる。
また、図1,2に示されるように、本実施形態では、一例として、車両1は、四輪車(四輪自動車)であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。さらに、本実施形態では、これら四つの車輪3は、いずれも操舵されうるように(転舵可能に)構成されている。具体的には、図3に示されるように、車両1は、前輪3Fを操舵する前輪操舵システム12と、後輪3Rを操舵する後輪操舵システム13とを有している。これら前輪操舵システム12および後輪操舵システム13は、周辺監視ECU14(electronic control unit)等によって電気的に制御されて、それぞれのアクチュエータ12a,13aを動作させる。前輪操舵システム12ならびに後輪操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。前輪操舵システム12ならびに後輪操舵システム13は、アクチュエータ12a,13aによって操舵部4にトルク(アシストトルク)を付加して操舵力を補ったり、対応する車輪3(前輪3Fまたは後輪3R)を操舵(自動操舵)したりする。アクチュエータ12a,13aは、一つの車輪3を操舵しても良いし、複数の車輪3を操舵しても良い。また、本実施形態では、一例として、二つの前輪3Fは、互いに同相(同位相、同転舵方向、同回動方向)で略平行に転舵され、二つの後輪3Rは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
また、本実施形態では、一例として、図2に示されるように、車両1(車体2)には、複数(本実施形態では、一例として四つ)の撮像部16(16a〜16d)が設けられている。撮像部16は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部16は、所定のフレームレートで画像データ(動画データ、フレームデータ)を出力することができる。撮像部16は、それぞれ、広角レンズを有し、水平方向には140°〜220°の範囲(視野角)を撮影することができる。また、撮像部16の光軸は下方(斜め下方)に向けて設定されている。よって、撮像部16は、車両1が移動可能な路面を含む車体2の周辺の外部の環境を撮影する。
なお、水平方向とは、重力方向(鉛直方向)に対して垂直な水平面に含まれている方向である。
本実施形態では、一例として、撮像部16aは、車体2の前側(車両前後方向の前方側)の端部2c(平面視での端部)に位置され、フロントバンパー等に設けられている。撮像部16bは、車体2の左側(車幅方向の左側)の端部2dに位置され、左側のドアミラー2g(突出部)に設けられている。撮像部16cは、車体2の後側(車両前後方向の後方側)の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部16dは、車体2の右側(車幅方向の右側)の端部2fに位置され、右側のドアミラー2g(突出部)に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。
周辺監視ECU14は、複数の撮像部16で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1(車体2)を上方から見た仮想的な鳥瞰図画像(平面画像)を生成したりすることができる。
また、本実施形態では、一例として、図3に示されるように、周辺監視システム100では、周辺監視ECU14や、モニタ装置11、前輪操舵システム12、後輪操舵システム13等の他、ブレーキシステム18、舵角センサ19(角度センサ)、アクセルセンサ20、シフトセンサ21、車輪速センサ22、加速度センサ26等が、車内ネットワーク23(電気通信回線)を介して電気的に接続されている。車内ネットワーク23は、一例としては、CAN(controller area network)として構成されている。周辺監視ECU14は、車内ネットワーク23を通じて制御信号を送ることで、前輪操舵システム12や、後輪操舵システム13、ブレーキシステム18等を制御することができる。また、周辺監視ECU14は、車内ネットワーク23を介して、トルクセンサ12b、タイヤ角センサ13b(後輪3R用)、アクチュエータ18a、ブレーキセンサ18b、舵角センサ19(前輪3F用)、アクセルセンサ20、シフトセンサ21、車輪速センサ22、加速度センサ26等の検出結果、ならびに、操作入力部10等の指示信号(制御信号、操作信号、入力信号、データ)を受け取ることができる。
本実施形態では、車両1に2個の加速度センサ26(26a、26b)が設けられているものとする。なお、本実施形態は、車両1をESC(Electronic Stability Control)搭載車両とする。そして、ESC(Electronic Stability Control)搭載車両に従来から搭載されている加速度センサ26(26a、26b)を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両1の左右方向の加速度を検出可能なセンサであれば良い。
図4は、加速度センサ26a、26bの検出方向の例を示した図である。検出方向401は、加速度センサ26aの検出方向であり、検出方向402は、加速度センサ26bの検出方向とする。図4に示す検出方向401は、地面(車両1が移動可能な平面)に平行な平面上で、車両1の進行方向(前後方向)から45度傾いた方向とする。また、検出方向402は、地面に平行な平面上であり、検出方向401との間の角度は90度とする。このように地面に平行な平面上に異なる2つの検出方向を有しているため、前後方向の加速度及び左右方向の加速度を導出することができる。なお、本実施形態は、検出方向を制限するものではなく、少なくとも左右方向の加速度を導出できれば良い。なお、前後方向の加速度及び左右方向の加速度の算出は、周辺監視ECU14で行われる。
車両1の前後方向とは、車両1の進行方向及び進行方向の反対方向を示し、車両1の左右方向とは、車両1の進行方向に垂直な面に含まれている方向とする。
図3に戻り、周辺監視ECU14は、一例として、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理や、車両1の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。CPU14aは、ROM14b等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムに従って演算処理を実行する。
RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、周辺監視ECU14での演算処理のうち、主として、撮像部16で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの画像処理(一例としては合成等)等を実行する。また、音声制御部14eは、周辺監視ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、周辺監視ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されることができる。また、周辺監視ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、SSD14fに替えてHDD(hard disk drive)が設けられても良いし、SSD14fやHDDは、周辺監視ECU14とは別に設けられても良い。
図5は、本実施形態にかかる周辺監視ECU14内に実現される周辺監視部500の構成を示すブロック図である。図5に示す周辺監視部500内の各構成は、図4の周辺監視ECU14として構成されたCPU14aが、ROM14b内に格納されたソフトウェアを実行することで実現される。
周辺監視部500は、ROM14b(コンピュータ読み取り可能な記録媒体)内に格納されたソフトウェアを実行することで、取得部501と、角度算出部502と、フィルタリング制御部503と、画像処理部504と、出力部505と、を実現する。なお、ソフトウエア(プログラム)は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。
そして、本実施形態にかかる周辺監視部500は、車両1が移動して駐車を行う際に、撮像部16から入力された撮像画像データ、及び車両状態検出部の一例として機能する、加速度センサ26(加速度検出部)から取得した、車両状態データの一例としての加速度データに基づいて、車両1の周辺の状況を認識できる画像データを表示することで、運転者の運転を支援する。
取得部501は、車両1が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部501は、車両1に設けられ当該車両1の周辺を撮像する撮像部16a〜16dから出力された撮像画像データと、当該車両1に設けられた加速度センサ26a、26bから出力された加速度データと、を取得する。さらには、取得部501は、操作入力部10に設けられたスイッチで設定されているモードが、オフロードモードであるか否かを示す情報も取得する。取得部501は、取得した情報を角度算出部502及び画像処理部504に出力する。
また、取得部501は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
角度算出部502は、加速度センサ26a、26bが取得した加速度データに基づいて、車両1の傾斜角度(ピッチ角及びロール角)を算出する。なお、ピッチ角とは、車両1の左右軸(図4の軸412)周りの傾きを示した角度とする。水平な(地)面上に車両1が存在する場合に、ピッチ角が0度となる。
ロール角とは、車両1の前後軸(図4の軸411)周りの傾きを示した角度とする。水平な(地)面上に車両1が存在する場合に、ロール角が0度となる。そして、角度算出部502は、ピッチ角及びロール角を算出するために、まず車両1の前後方向の加速度a1と、左右方向の加速度a2と、を算出する。
なお、角度算出部502は、前後方向の加速度a1を、以下の式(1)を用いて算出する。検出方向401の加速度をGL1とし、検出方向402の加速度をGL2とする。なお、本実施形態では、ピッチ角0°の場合(車両1が水平の場合)に、前後方向の加速度a1が0Gとなり、ピッチ角90°の場合(車両1が垂直の場合)に、前後方向の加速度a1が1Gとなる例とする。
a1=GL1×cos45°−GL2×cos45°…(1)
次に、角度算出部502は、左右方向の加速度a2を、以下の式(2)を用いて算出する。
a2=−(GL1×sin45°+GL2×sin45°)…(2)
さらに、角度算出部502は、以下の式(3)を用いて、ピッチ角PAを算出する。
PA[deg]=90[deg]×a1[G]…(3)
さらに、角度算出部502は、以下の式(4)を用いて、ロール角RAを算出する。
RA[deg]=90[deg]×a1[G]…(4)
また、角度算出部502は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両1のロール角及びピッチ角を認識できる。
フィルタリング制御部503は、角度算出部502により算出されたロール角RA及びピッチ角PAに対して、ローパスフィルタによるフィルタリングを行う。
本実施形態では、ローパスフィルタをかけることで、ロール角RA及びピッチ角PAが急峻に変化すること、換言すれば表示装置8に表示される画像データが急峻に切り替わることを抑止する。これにより、運転者は快適に表示装置8に表示される画像データを視聴することができる。なお、本実施形態では、周辺監視部500内に設けられたフィルタリング制御部503によるデジタルフィルタを用いる例について説明するが、例えば、加速度センサ26から出力された信号に対して行うアナログフィルタ等であっても良い。
画像処理部504は、制御部としてそれぞれ機能する、回転制御部521と、縮小・拡大制御部522と、移動制御部523と、合成部524と、を備え、表示装置8に表示するための画像データを生成する。
回転制御部521は、撮像部16aにより撮像された、車両1の前方周辺を写した撮像画像データに対して、回転補正を行う。なお、回転補正の対象は、撮像部16aにより撮像された撮像画像データに制限するものではなく、例えば、撮像部16cにより撮像された、車両1の後方周辺を写した撮像画像データであっても良い。
図6は、撮像部16aにより撮像された撮像画像データの例とする。図6に示す撮像画像データは、傾いた車両1から撮像されている。運転者は、表示装置8に表示される映像は客観的なものとして捉える傾向が高く、表示装置8に表示された撮像画像データで、縦軸方向で同じ高さの領域であれば、実際の高さも同じ又は実際の高低差ほどないと認識する傾向になる。図6に示す例では、領域601と領域602とが同じ高さであると認識する可能性がある。
そこで、本実施形態にかかる回転制御部521は、加速度センサ26から求められるロール角に応じて、撮像画像データを回転補正する。言い換えれば、回転制御部521は、車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、車両の左右方向の傾きに基づいて、撮像画像データを回転補正(制御)する。例えば、回転制御部521は、撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転補正(制御)する。
本実施形態にかかる回転制御部521は、撮像部16が撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。
図7は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した2次元の直交座標系の例を示した図である。図7に示す座標系に含まれている各位置座標について、回転制御部521が、以下に示す式(5)で位置座標を変換することで、撮像画像データの回転補正を実現できる。なお、dx0、dy0は、レンズ中心を原点とした座標値とする。また、θは、算出されたロール角とする。
図8は、回転制御部521により回転補正を行った後の撮像画像データの例を示した図である。図8に示す例では、撮像画像データに写っている被写体(車両1外部の環境)に含まれている水平線が、表示装置8の表示領域の横方向の辺に略平行になるように回転補正されている。換言すれば、撮像画像データの下方向が、当該撮像画像データに写っている被写体(車両1外部の環境)の重力方向になるように回転補正されている。なお、完全に下方向と重力方向とを完全に一致させる必要はなく、撮像画像データ内の高さ関係が認識可能な程度に一致させれば良い。
例えば、図6では同じ高さに見えた領域601と領域602について、図8では領域602が領域601より高い位置に存在することが認識できる。このため、運転者は、車両1の周辺の環境について、客観的な高さを認識できる。これにより適切な運転が可能となり、安全性を向上させることができる。
制御部として機能する、縮小・拡大制御部522は、回転制御部521により回転補正が行われた後の撮像画像データに対して拡大処理又は縮小処理を行う。縮小・拡大制御部522が、以下に示す式(6)で位置座標を変換することで、撮像画像データの拡大補正又は縮小補正を実現できる。なお、dx1、dy1は、回転補正が行われた後のレンズ中心を原点とした座標値とする。なお、magX、magYは、縦、横の拡大、縮小率とする。なお、拡大・縮小率は、撮像画像データの表示サイズと、表示装置8の表示領域の画素数との関係に基づいて決定される。
制御部として機能する、移動制御部523は、縮小・拡大制御部522により拡大又は縮小処理が行われた後の撮像画像データに対して、レンズの中心に対応する位置座標を、表示装置8の表示領域の中心から移動させる制御を行う。本実施形態においては、移動制御部523は、レンズの中心に対応する位置座標を、表示装置8の表示領域の中心から、表示領域内の上方向に移動させる制御を行う。
つまり、車両1が傾くような状況では、運転者は、地面の状況を確認したい傾向が高い。このため、移動制御部523が、レンズの中心に対応する位置座標を、表示装置8の表示領域の中心から、表示領域内の上方向に移動させる処理を行うこととした。これにより、例えば、撮像画像データに写っている空など、車両1より上方の状況が非表示となり、車両1より下方の状況が表示されることになる。よって、利用者は、表示装置8に表示された撮像画像データを参照することで、車両1周辺の地面の状況を認識できる。これにより、適切な操舵支援を実現できる。
移動制御部523は、以下に示す式(7)で位置座標を変換することで、撮像画像データの位置座標の移動を実現できる。なお、dx2、dy2は、拡大、縮小補正を行った後のレンズ中心を原点とした座標値とする。なお、移動前のレンズの中心の位置座標の移動先を(cx、cy)とする。
合成部524は、移動制御部523が移動制御を行った後の撮像画像データに対して、表示装置8の表示領域に合わせて切り出しした後、運転手の操舵を支援するための表示情報を合成する。
図9は、合成部524が合成した後の画像データの例を示した図である。図9に示す例では、表示領域901には、撮像部16bより撮像された、車両1の左側の前輪周辺の状況が映し出されている。また、表示領域902には、撮像部16dより撮像された、車両1の右側の前輪周辺の状況が映し出されている。さらに、表示領域903には、車両1のピッチ角及びロール角が認識可能な情報が表示されている。つまり、車両1を示したアイコン921の傾きでロール角を示す一方、当該アイコン921を通る中心線912と線911と間の距離でピッチ角を示している。このように、本実施形態では、ロール角及びピッチ角を認識可能な情報を示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。
このように、本実施形態にかかる車両1においては、オフロード走行時に車両1のロール、ピッチ状態をリアルタイムに表示することを可能とする。これにより、運転者は、車両1の周辺の客観的な状況を認識することが容易となる。
また、表示領域904には、合成部524により切り出された後の撮像画像データが映し出されている。撮像画像データ内の映像内の水平線が、表示装置8の横枠と略平行になるように補正されている。換言すれば、撮像画像データ内の映像の下方向が、重力方向になるように補正されている。これにより、運転者は周辺の状況を認識するのが容易になる。
そして、出力部505は、合成部524により合成された画像データを、表示装置8に出力する。これにより、補正処理が行われた後の記撮像画像データ共に、ロール角及びピッチ角が認識可能な情報が、表示装置8に表示される。
図8,9の例では、前輪3Fの予想進路線905が含まれている。周辺監視ECU14(CPU14a)は、舵角センサ19,タイヤ角センサ13bの検出結果等に基づいて予定進路を算出することができ、出力される画像に予定進路に対応した予想進路線905を含める(重畳する)ことができる。予想進路線905は、予定された進路を示す表示要素の一例である。周辺監視ECU14は、上述した回転、拡大・縮小、移動補正に対応して、予想進路線905の表示位置や、大きさ、姿勢(傾き)等を補正する。また、周辺監視ECU14は、予想進路線905の位置が画面の中央から大きくずれるような場合には、ずれが減る方向に表示領域と予想進路線905の位置を補正することも可能である。
また、図9の例では、表示領域903,904の横方向の辺(図9の上辺または下辺)に対するアイコン921の傾きが、車両1のロール角度となる。したがって、周辺監視ECU14は、出力される画像に、アイコン921の周囲を取り囲む角度スケール906a(傾斜スケール)を、表示領域903に対して角度が不変となる状態に含めることにより、アイコン921を利用した傾斜計906(ロール角度表示部)を構成することができる。例えば、表示領域904の表示のみでは、水平方向、鉛直方向、車両1の姿勢(ロール角度やピッチ角)が分かり難い場合がある。この点、図9の例のように、ロール角度やピッチ角に応じて画面に対して回転(ロール)やピッチングされるアイコン921が表示されたり、傾斜計906が表示されたりすることで、表示領域904の画像の状態によらず、水平方向、鉛直方向、車両1の姿勢(ロール角度)が分かり易くなる。このように、表示領域904と表示領域903を一緒に表示する(同一画面内に表示するまたは並列して表示する)ことにより、車両周辺の状況や車両の姿勢の状況がいっそう理解し易くなる。
また、本実施形態は、上述した回転、拡大・縮小、移動補正を常に行うものではなく、車両1がオフロードモードになった場合に行うように設定しても良い。例えば、取得部501が取得したオフロードモードであるか否かを示す情報を参照し、画像処理部504がオフロードモードの場合に、画像処理部504が、上述した回転、拡大・縮小、移動補正を行う。
なお、オフロードモードとは、オフロード走行において、車両1の4WDの性能を引き出すためのモードとし、トランスファーギアの全体を低く設定するモードとする。つまり、本実施形態は、オフロード走行を行う際の操作に連動して、表示装置8に表示される撮像画像データが切り替わることとする。なお、本実施形態は、表示装置8に表示される映像の切替は、オフロードモードに切り替えられた場合に制限するものではなく、例えば、2−4WD切替で4WDに切り替えられた場合に、回転補正が行われた映像を表示するように制御を行っても良い。
次に、本実施の形態にかかる周辺監視部500における、表示装置8への表示処理について説明する。図10は、本実施の形態にかかる周辺監視部500における上述した処理の手順を示すフローチャートである。
まず、取得部501が、撮像部16から撮像画像データを取得する(ステップS1001)。次に、取得部501が、加速度センサ26から加速度データを取得する(ステップS1002)。
そして、角度算出部502が、加速度データから、車両1のロール角及びピッチ角を算出する(ステップS1003)。
次に、フィルタリング制御部503が、算出されたロール角及びピッチ角に対して、ローパスフィルタによるフィルタリングを行う(ステップS1004)。
そして、回転制御部521が、撮像画像データに対して、ロール角に応じた回転制御を行う(ステップS1005)。
次に、縮小・拡大制御部522及び移動制御部523が、回転制御が行われた後の撮像画像データに対して、拡大制御及び移動制御を行う(ステップS1006)。
そして、合成部524が、拡大制御及び移動制御が行われた後の撮像画像データに対して、表示装置8で表示される表示領域に応じた切り出しを行う(ステップS1007)。
次に、合成部524が、切り出した撮像画像データに対して、前輪周辺の状況を示した撮像画像データや、ピッチ角及びロール角を認識可能な表示情報を合成する(ステップS1008)。
そして、出力部505が、合成部524により合成された後の画像データを、表示装置8に出力する(ステップS1009)。
本実施形態にかかる周辺監視部500では、上述した構成を備えることで、車両1周辺の高低差を認識することが容易になる。これにより操舵の負担を軽減し、安全性を向上させることができる。
<第2の実施形態>
図11は、本実施形態にかかる周辺監視ECU14内に実現される周辺監視部700の構成を示すブロック図である。図4の周辺監視ECU14として構成されたCPU14aが、ROM14b内に格納されたソフトウェアを実行することで、図11に示される、取得部701と、角度算出部702と、フィルタリング制御部703と、画像処理部704と、出力部705と、を実現する。また、周辺監視部700は、RAM14c上に鳥瞰図画像記憶部706を実現する。
図11は、本実施形態にかかる周辺監視ECU14内に実現される周辺監視部700の構成を示すブロック図である。図4の周辺監視ECU14として構成されたCPU14aが、ROM14b内に格納されたソフトウェアを実行することで、図11に示される、取得部701と、角度算出部702と、フィルタリング制御部703と、画像処理部704と、出力部705と、を実現する。また、周辺監視部700は、RAM14c上に鳥瞰図画像記憶部706を実現する。
取得部701は、車両1が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部701は、車両1に設けられ当該車両1の周辺を撮像する撮像部16a〜16dから出力された撮像画像データと、当該車両1に設けられて車両状態検出部の一例として機能する、加速度センサ26a、26b(加速度検出部)から出力された、車両状態データの一例としての加速度データと、を取得する。取得部701は、取得した情報を角度算出部702及び画像処理部704に出力する。
また、取得部701は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。
角度算出部702は、加速度センサ26a、26bが取得した加速度データに基づいて、車両1の傾斜角度(ピッチ角及びロール角)を算出する。なお、ピッチ角とは、車両1の左右軸(図4の軸412)周りの傾きを示した角度とする。水平な(地)面上に車両1が存在する場合に、ピッチ角が0度となる。
ロール角とは、車両1の前後軸(図4の軸411)周りの傾きを示した角度とする。水平な(地)面上に車両1が存在する場合に、ロール角が0度となる。そして、角度算出部702は、ピッチ角及びロール角を算出するために、まず車両1の前後方向の加速度a1と、左右方向の加速度a2と、を算出する。
なお、角度算出部702は、前後方向の加速度a1を、以下の式(1)を用いて算出する。検出方向401の加速度をGL1とし、検出方向402の加速度をGL2とする。なお、本実施形態では、ピッチ角0°の場合(車両1が水平の場合)に、前後方向の加速度a1が0Gとなり、ピッチ角90°の場合(車両1が垂直の場合)に、前後方向の加速度a1が1Gとなる例とする。
a1=GL1×cos45°−GL2×cos45°…(1)
次に、角度算出部702は、左右方向の加速度a2を、以下の式(2)を用いて算出する。
a2=−(GL1×sin45°+GL2×sin45°)…(2)
さらに、角度算出部702は、以下の式(3)を用いて、ピッチ角PAを算出する。
PA[deg]=90[deg]×a1[G]…(3)
さらに、角度算出部702は、以下の式(4)を用いて、ロール角RAを算出する。
RA[deg]=90[deg]×a2[G]…(4)
また、角度算出部702は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両1のロール角及びピッチ角を認識できる。
フィルタリング制御部703は、角度算出部702により算出されたロール角RA及びピッチ角PAに対して、ローパスフィルタによるフィルタリングを行う。
本実施形態では、ローパスフィルタをかけることで、ロール角RA及びピッチ角PAが急峻に変化すること、換言すれば表示装置8に表示される画像データが急峻に切り替わることを抑止する。これにより、運転者は快適に表示装置8に表示される画像データを視聴することができる。なお、本実施形態では、周辺監視部700内に設けられたフィルタリング制御部703によるデジタルフィルタを用いる例について説明するが、例えば、加速度センサ26から出力された信号に対して行うアナログフィルタ等であっても良い。
画像処理部704は、制御部としてそれぞれ機能する、回転制御部711と、鳥瞰図画像生成部712(生成部)と、移動量算出部713と、変換部714と、合成部715と、を備え、表示装置8に表示するための画像データを生成する。
回転制御部711は、撮像部16aにより撮像された、車両1の前方(進行方向)周辺を写した撮像画像データに対して、車両状態データから算出される水平方向に対する車両の左右方向の傾きに基づいて(換言すればロール角に応じて)回転補正する。水平方向は、例えば、進行方向に対して垂直な方向である。また、撮像画像データは、車両状態データから算出される車両の左右方向の傾きに基づいて、車両を水平になるような回転方向と同方向に回転補正しても良い。この回転補正は、換言すると、車両1の左右方向が水平な状態(重力方向に垂直な水平面上に車両1が配置された状態)で撮影したかのように、撮像画像データを回転補正させるものでもよい。なお、本実施形態では、車両状態データとして、加速度を用いた例とするが、加速度に制限するものではなく車両1の状態に関する情報であれば良い。なお、回転補正の対象は、撮像部16aにより撮像された撮像画像データに制限するものではなく、例えば、撮像部16cにより撮像された、車両1の後方周辺を写した撮像画像データであっても良い。
図12は、オフロード走行時に車両1が石等に乗り上げた状況の例を示した図である。図12に示す例では、車両1が乗り上げたためロール角θだけ傾いている。このような状態で撮像部16aにより撮像された撮像画像データから鳥瞰図画像データを作成すると、ロール角θに応じた歪みが生じる。
そこで、本実施形態にかかる回転制御部711は、加速度センサ26から求められるロール角θに応じて、撮像画像データを回転補正する。
本実施形態にかかる回転制御部711は、撮像部16aが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。
図13は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した2次元の直交座標系の例を示した図である。図13に示す座標系に含まれている各位置座標について、回転制御部711が、以下に示す式(5)で位置座標を変換することで、撮像画像データの回転補正を実現できる。なお、dx0、dy0は、レンズ中心を原点とした座標値とする。また、図13で示される角度θは、算出されたロール角とする。
回転制御部711が回転補正を、表示領域801に含まれている全ての画素に対して行うことで、表示領域801が角度θだけ回転した表示領域802が生成される。そして、周辺監視部700は、回転制御された後の表示領域802を有する撮像画像データに基づいて、鳥瞰図画像データを生成する。これにより、車両1に生じたロール角θによる傾きが補正された鳥瞰図画像データを生成できる。
また、本実施形態にかかる回転制御部711は、撮像画像データを回転制御する角度を、水平の地面から車両1が傾いたロール角に制限するものではなく、前回算出されたロール角と、今回算出されたロール角との差に応じて、撮像画像データの回転制御を行っても良い。これは、例えば、車両1が所定の角度(前回算出されたロール角)だけ傾いた地面上を走行している際に車両1を垂直方向上からの鳥瞰図画像データを作成するよりも、垂直方向上から所定の角度だけ傾いた角度からの鳥瞰図画像データを作成した方が、車両1周辺の地面の状況を認識しやすいためである。このような場合において、回転制御部711は、車両1が石等に乗り上げた場合に、石等に乗り上げて傾いたロール角の差分(前回算出されたロール角と今回算出されたロール角の差分)だけ、撮像画像データの回転制御を行う。
鳥瞰図画像生成部712は、回転制御された後の撮像画像データに基づいて、車両1の進行方向の地面であり且つ当該車両1周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルも用いて変換しても良い。
鳥瞰図画像データの生成は、撮像画像データを取得する毎に行われる。換言すれば、鳥瞰図画像生成部712は、回転制御部711により回転制御された第1の撮像画像データに基づいて第1の鳥瞰図画像データを生成した後に、当該第1の撮像画像データを撮影してから車両1が移動した後に撮像部16により撮像され且つ回転制御部711により回転制御された第2の撮像画像データに基づいて、第2の鳥瞰図画像データを生成する。
本実施形態では表示装置8に表示する画像データは、車両1が所定の移動量を移動する毎に更新する。そこで、移動量算出部713は、鳥瞰図画像生成部712により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、車両1の移動量を算出する。
しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかる移動量算出部713は、鳥瞰図画像生成部712により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。
具体的には、本実施形態にかかる移動量算出部713は、前回更新した際に用いた第1の鳥瞰図画像データ及び、第1の鳥瞰図より後に生成された第2の鳥瞰図画像データのそれぞれから、予め定められたエリア(表示範囲)を切り出して、オプティカルフローを算出する。
図14は、移動量算出部713により算出されるオプティカルフローの概念を示した図である。図14の(A)を、前回更新した際に用いた第1の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとし、図14の(B)を、今回鳥瞰図画像生成部712により生成された第2の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとする。
そして、移動量算出部713は、図14の(A)で示した画像データと、図14の(B)で示した画像データとの間で、表示された物体(の特徴点)の遷移をベクトルで示したオプティカルフローを算出する。図14の(C)が算出されたオプティカルフローの例を示している。図14の(C)で示す例では、図14の(A)内で示された特徴点(“×”で示される)が、図14の(B)内で示された特徴点(“×”で示される)まで移動したベクトルの長さが示されている。
そして、移動量算出部713は、算出されたオプティカルフローの平均値から、車両1の移動量を算出する。
図15は、オプティカルフローの平均値と、車両1の移動量との関係を示した図である。図15に示す例では、矢印901を、オプティカルフローの平均値とする。車両1は、後輪軸を中心に旋回を行う。このため、オプティカルフローの平均値901の場合に、車両1は旋回角θ1で旋回していることになる。これにより、移動量算出部713は、車両1の旋回角θ1を算出する。さらに、移動量算出部713は、オプティカルフローの長さから、車両1の移動量を算出する。また、移動量算出部713は、車両1の前後軸方向の移動量と、車両1の左右軸方向の移動量と、をそれぞれ分けて算出しても良い。
変換部714は、移動量算出部713により算出された移動量が所定の距離以上の場合に、鳥瞰図画像生成部712により今回生成された鳥瞰図画像データを、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データと合成するための鳥瞰図画像データに変換する。
ところで、車両1が傾いた場合に、回転制御部711で傾きは修正するが、撮像部16により撮像される撮像画像データには傾きが原因の歪みが残った状態となる。そこで、変換部714が歪みを低減するように、鳥瞰図画像データに対して射影変換を行う。
本実施形態では、射影変換を、車両1の傾きにより生じる、撮像画像データ内の路面の歪みを、車両1が傾いていない場合に変換するために用いるものであり、例えば、撮像画像データ内の、台形形状の領域を、長方形や正方形の領域に変換する、いわゆる台形補正等も含まれる。
図16は、車両1の傾きによる撮像画像データの歪みと、変換部714で変換した後の撮像画像データの表示範囲と、を示した図である。図16に示す例では、車両1がロール状態の場合に生じる鳥瞰図画像データの歪み状態(a1)、(a2)を示すと共に、車両1がピッチ状態の場合に生じる鳥瞰図画像データの歪み状態(b1)、(b2)を示している。このように車両1の傾きで鳥瞰図画像データが歪んでいる状態で、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データと合成すると、歪みが蓄積されていくことになる。
そこで、本実施形態にかかる変換部714は、撮像画像データを撮像したときに取得した加速度データから求められるロール角に基づいて特定される表示範囲((a1)、(a2)、(b1)、(b2))で切り出した第2の撮像画像データに対して、図16の当該第2のロール角に基づいて定められる射影変換を行うこととした。当該射影変換により、表示範囲((a1)、(a2)、(b1)、(b2))が、図16の(c)で示される表示範囲に変換される。なお、ロール角に基づいて、射影変換の対象となる表示領域を示す4点の位置座標を特定する手法は、従来の手法を問わずどのような手法を用いても良く、例えば、ロール角θと4点の位置座標との対応関係を予め備えていても良い。
合成部715は、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データと、変換部714により射影変換した後の鳥瞰図画像データと、を合成する。
図17は、合成部715により合成された後の鳥瞰図画像データの例を示した図である。図17に示す鳥瞰図画像データのうち、表示範囲1101が、もっとも最近合成された範囲である。そして、表示範囲1102が、その前に合成された範囲であり、表示範囲1103が、さらにその前に合成された範囲とする。このように本実施形態では、車両1が移動する毎に、鳥瞰図画像データが合成されていく。
鳥瞰図画像記憶部706は、合成部715により合成された後の鳥瞰図画像データを記憶する。このように、鳥瞰図画像記憶部706が、車両1が所定の移動量を移動する毎に、新たに生成された鳥瞰図画像データを合成され、記憶されることで、車両1の下の地面の状況を示した鳥瞰図画像データが鳥瞰図画像記憶部706に記憶されることになる。
図18は、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データの例を示した図である。図18に示す様に、鳥瞰図画像データには、現在撮像された撮像画像データから生成された鳥瞰図画像データの他に、前回までに撮像された撮像画像データから生成された鳥瞰図画像データと、が合成されて記憶されている。図18に示す様に、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データには、車両1の下の地面も含まれている。なお、図18で示された車両1の形状は、説明を容易にするために示したもので、鳥瞰図画像記憶部706に記憶された実際の鳥瞰図画像データには含まれていないものとする。
また、合成部715は、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データと、変換部714により射影変換した後の鳥瞰図画像データと、を合成する際に、車両1が旋回角θ1で旋回している場合に、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データを当該旋回角θ1で回転処理を行ってから、変換部714により射影変換した後の鳥瞰図画像データと合成する。これにより、車両1の旋回に合わせた鳥瞰図画像データを表示できる。
出力部705は、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データと共に、様々な情報を合成した画像データを、表示装置8に出力する。図19は、出力部705が出力する画面情報の例を示した図である。図19に示す画面情報の例では、鳥瞰図画像データ1301の他に、撮像部16aにより車両1の進行方向を撮像した撮像画像データ1302と、撮像部16bより撮像された、車両1の左側の前輪周辺の撮像画像データ1303と、撮像部16dより撮像された、車両1の右側の前輪周辺の撮像画像データ1304と、が映っている。さらには、表示領域1305には、車両1のピッチ角及びロール角が認識可能な情報として表示されている。つまり、車両1を示したアイコンの傾きでロール角を示す一方、当該アイコンを通る中心線と、水平線と間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。
また、出力部705が出力する、撮像部16aにより車両1の進行方向を撮像した撮像画像データ1302は、回転制御が行われた後の撮像画像データとする。これにより、撮像画像データ内の高さ関係を、運転者は認識することが可能となる。
次に、本実施形態にかかる周辺監視部700における、表示装置8への表示処理について説明する。図20は、本実施形態にかかる周辺監視部700における上述した処理の手順を示すフローチャートである。
まず、取得部701が、撮像部16から撮像画像データを取得する(ステップS1401)。次に、取得部701が、加速度センサ26から加速度データを取得する(ステップS1402)。
そして、角度算出部702が、加速度データから、車両1のロール角及びピッチ角を算出する(ステップS1403)。算出されたロール角及びピッチ角は、フィルタリング制御部703がローパスフィルタによるフィルタリングを行うものとする。
そして、回転制御部711が、撮像画像データに対して、ロール角に応じた回転制御を行う(ステップS1404)。
次に、鳥瞰図画像生成部712が、回転制御をした後の撮像画像データから、車両1の進行方向であり且つ当該車両1の周辺に存在する所定の領域を俯瞰的に示した鳥瞰図画像データを生成する(ステップS1405)。
移動量算出部713が、生成された鳥瞰図画像データから、予め定められた表示範囲(エリア)の画像データを抽出する(ステップS1406)。また、移動量算出部713は、過去(例えば前回移動量が所定の閾値以上と判定された際)に鳥瞰図画像データから同様の範囲から抽出された画像データを保持している。
そして、移動量算出部713は、鳥瞰図画像データから抽出された予め定められた表示範囲(エリア)の画像データに基づいて、車両1の移動量を算出する(ステップS1407)。
そして、画像処理部704は、算出された移動量が所定の閾値以上であるか否かを判定する(ステップS1408)。閾値としては、例えば10cm等するが、実施の態様に応じて適切な閾値が設定されていればよい。
画像処理部704は、移動量が所定の閾値以上と判定した場合(ステップS1408:Yes)、鳥瞰図画像生成部712が、現在撮像された撮像画像データであって、ステップS1404の回転制御を行う前の撮像画像データから、鳥瞰図画像データを生成する(ステップS1409)。
その後、変換部714が、現在の車両1のロール角及びピッチ角に応じて、鳥瞰図画像データの射影変換を行う(ステップS1410)。ロール角及びピッチ角のうちいずれか一つ以上により生じた、鳥瞰図画像データの歪みを、台形補正を含む射影変換で補正する。また、車両1においてロール角が生じた場合に、重心を基準として傾くのではなく、車輪3等を軸として傾くので、左右方向にズレが生じる。そこで、本実施形態にかかる変換部714は、左右方向のずれについてオフセット修正を行う。同様に、ピッチ角が生じた場合にも、前後方向のずれについてオフセット修正を行う。
次に、合成部715が、射影変換された後の現在の鳥瞰図画像データを、鳥瞰図画像記憶部に記憶されている鳥瞰図画像データと合成する(ステップS1411)。なお、合成部715は、車両1が旋回角θ1で旋回した場合に、鳥瞰図画像記憶部706に記憶されている鳥瞰図画像データを合成前の当該旋回角θ1に合わせた回転制御を行っておく。
そして、出力部705が、鳥瞰図画像記憶部706に記憶されている鳥瞰図画像データから、表示装置8に表示する鳥瞰図画像データを切り出す(ステップS1412)。その後、出力部705が、切り出した鳥瞰図画像データに様々な情報を付与した上で、表示装置8に出力する(ステップS1413)。
一方、画像処理部704は、移動量が所定の閾値より小さいと判定した場合(ステップS1408:No)、既に表示装置8に表示されている鳥瞰図画像データ等の出力を継続する(ステップS1414)。
<第3の実施形態>
第2の実施形態では車両1の状況を確認するための鳥瞰図画像データを表示する実施形態について説明した。しかしながら、鳥瞰図画像データのみを表示することに制限するものではなく、鳥瞰図画像データに対して、現在の状況を確認するための様々な情報を付与してもよい。そこで、第3の実施形態では、鳥瞰図画像データに対して、様々な情報を付与する例について説明する。
第2の実施形態では車両1の状況を確認するための鳥瞰図画像データを表示する実施形態について説明した。しかしながら、鳥瞰図画像データのみを表示することに制限するものではなく、鳥瞰図画像データに対して、現在の状況を確認するための様々な情報を付与してもよい。そこで、第3の実施形態では、鳥瞰図画像データに対して、様々な情報を付与する例について説明する。
まずは、第3の実施形態にかかる周辺監視部1700の構成について説明する。図21は、本実施形態にかかる周辺監視ECU14内に実現される周辺監視部1700の構成を示すブロック図である。
図21に示す周辺監視部1700は、第1の実施の形態の周辺監視部700と比べて、取得部701と実施する処理が異なる取得部1701に変更され、画像処理部704と実施する処理が異なる画像処理部1702に変更されている点で異なる。
取得部1701は、第2の実施形態と同様に、撮像画像データと、加速度データと、を取得するほか、(図示しない)ストロークセンサから前輪3Fのサスペンションの沈み具合が示されたサス検出結果と、舵角センサ19から前輪3F及び後輪3Rの操舵角の検出結果と、を取得する。本実施形態では、取得されたサス検出結果、及び操舵角の検出結果は、画像処理部1702に出力される。
画像処理部1702は、第2の実施形態の画像処理部704と比べて、タイヤ外形算出部1711が追加され、軌跡算出部1712が追加され、第2の実施形態の合成部715と実施する処理が異なる合成部1713に変更された点で、第2の実施形態と異なる。
タイヤ外形算出部1711は、取得部1701が取得したサス検出結果、及び操舵角の検出結果に基づいて、鳥瞰図画像データに重畳すべきタイヤの外形を算出する。例えば、鳥瞰視点でカメラを設置した場合に、前輪3F及び後輪3Rは、サスペンションが沈み込むとカメラに近づくため大きく写り、サスペンションが伸びるとカメラから遠ざかるため小さく写り込む。そこで、本実施形態では、鳥瞰図画像データに車両1のタイヤ外形を表すために、タイヤ外形算出部1711が、サス検出結果及び操舵角に基づいて、鳥瞰図画像データに重畳すべきタイヤ外形形状(前輪3Fの大きさ、及び角度)を算出する。
軌跡算出部1712は、前輪3Fの操舵角、及び後輪3Rの操舵角に基づいて、車両1の進行方向における移動予測軌跡を算出する。本実施形態にかかる軌跡算出部1712は、前輪3Fの移動予測軌跡として、現在の撮像画像データに付与すべき移動予測軌跡を算出し、後輪3Rの移動予測軌跡として、鳥瞰図画像データに付与すべき移動予測軌跡を算出する。算出された移動予測軌跡は、出力部705により撮像画像データ及び鳥瞰図画像データに付与された上で、出力される。
また、合成部1713は、第2の実施形態と同様の処理で、鳥瞰図画像記憶部706に記憶された鳥瞰図画像データと、変換部714により射影変換した後の鳥瞰図画像データと、を合成した後に、合成された後の鳥瞰図画像データに対して、現在、前輪3が存在すると推定される位置に、前輪3Fの操舵角及び大きさを認識できるマークを付与する。
合成部1713が合成する毎に、前輪3Rが存在する位置にマークを付与することで、前輪3Rの移動軌跡が鳥瞰図画像データに表されることになる。そして、出力部705は、合成部1713により合成された鳥瞰図画像データに基づいて、表示装置8に画面情報の出力を行う。
図22は、第3の実施形態にかかる出力部705が出力する画面情報の例を示した図である。図22に示す例では、鳥瞰図画像データ1601の他に、撮像部16aにより車両1の進行方向を撮像した撮像画像データ1602等が写っている。
進路方向を撮像した撮像画像データ1602では、軌跡算出部1702により算出された、前輪3Fの移動予測軌跡1611、1612(予定進路を示す表示要素)が表されている。
一方、鳥瞰図画像データ1701では、前輪3Fの外形に基づいて付与されたマークが連続的に付与されたことから生じている、車両1の移動軌跡1621、1622が表されている。また、移動軌跡1621、1622に含まれているマークの大きさにより、運転者は、路面における凹凸を認識することができる。つまり、大きいマークが付与された箇所は、サスペンションが深く沈んでいる、換言すれば石等の障害物がある可能性が高いと考えられる。このため、運転者は、当該マークを確認しながら運転を行うことで、後輪3Fや、(図示しない)ディファレンシャルが衝突しないよう操作を行うことができる。
また、鳥瞰図画像データ1602には、軌跡算出部1703により算出された、後輪3Fの移動予測軌跡1631、1632が表されている。運転者は、移動予測軌跡1631、1632を確認できるので、例えば、後輪3Rを、障害物に衝突しなかった前輪3Fの移動軌跡に重なるよう運転等を行うことで、後輪3Rが障害物に衝突すること等を抑止できる。
なお、鳥瞰図画像生成部1702が、過去の鳥瞰図画像データに、前輪3Fの位置を示すマークを付与する際に、サス検出結果以外の情報に基づいて色や形状を異ならせても良い。例えば、前輪3Fがスリップ等した位置の色や形状を異ならせても良い。これにより、運転者が運転する際の安全性を向上させることができる。
上述した実施形態にかかる周辺監視部では、上述した構成を備えることで、車両1の下の地面を含む周辺の状況を認識することが容易になる。これにより運転の負担を軽減し、安全性を向上させることができる。
第2の実施形態あるいは第3の実施形態は、次の[1]〜[8]のうちいずれかの車両の制御装置あるいはプログラムの一例である。
[1]
車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮影画像データを回転制御する回転制御部と、
前記回転制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成部と、
を備える車両の制御装置。
[2]
前記生成部は、前記回転制御部により回転制御された第1の撮像画像データに基づいて、第1の鳥瞰図画像データを生成し、前記第1の撮像画像データを撮像してから前記車両が移動した後に前記撮像部により撮像され且つ前記回転制御部により回転制御された第2の撮像画像データに基づいて、第2の鳥瞰図画像データを生成し、
前記第1の鳥瞰図画像データと前記第2の鳥瞰図画像データとを合成する合成部を、さらに備える、
[1]に記載の車両の制御装置。
[3]
前記取得部は、前記車両状態検出部から、前記車両状態データとして、前記車両の加速度を取得し、
前記回転制御部は、さらに、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて前記撮像画像データを回転制御する、
[1]又は[2]に記載の車両の制御装置。
[4]
前記第2の撮像画像データを撮像したときに取得した第2の前記加速度データから求められる第2のロール角に基づいて特定される表示範囲で切り出した前記第2の撮像画像データに対して、当該第2のロール角に基づいて定められる射影変換を行う変換部をさらに備え、
前記合成部は、前記第1の鳥瞰図画像データと、前記変換部に変換された前記第2の鳥瞰図画像データとを合成する、
[1]乃至[3]のいずれか1つに記載の車両の制御装置。
[5]
前記回転制御部は、前記第1の撮像画像データを撮像したときに取得した第1の前記加速度データから求められる第1のロール角と、前記第2の撮像画像データを撮像したときに取得した第2の前記加速度データから求められる第2のロール角と、の差に応じて、前記撮像画像データを回転制御する、
[1]乃至[4]のいずれか1つに記載の車両の制御装置。
[6]
前記合成部は、前記車両が移動する前に撮像された、前記車両の下の地面を含んだ前記第1の鳥瞰図画像データと、前記第2の鳥瞰図画像データとを合成する、
[1]乃至[5]のいずれか一つに記載の車両の制御装置。
[7]
前記ロール角、又は前記車両の左右軸周りの傾きを示したピッチ角、のうちいずれか一つ以上を表した情報と、前記合成部により合成された鳥瞰図画像データと、を出力する出力部を、
さらに備える[1]乃至[6]のいずれか一つに記載の車両の制御装置。
[8]
車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する回転制御ステップと、
前記回転制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成ステップと、
をコンピュータに実行させるためのプログラム。
[1]
車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮影画像データを回転制御する回転制御部と、
前記回転制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成部と、
を備える車両の制御装置。
[2]
前記生成部は、前記回転制御部により回転制御された第1の撮像画像データに基づいて、第1の鳥瞰図画像データを生成し、前記第1の撮像画像データを撮像してから前記車両が移動した後に前記撮像部により撮像され且つ前記回転制御部により回転制御された第2の撮像画像データに基づいて、第2の鳥瞰図画像データを生成し、
前記第1の鳥瞰図画像データと前記第2の鳥瞰図画像データとを合成する合成部を、さらに備える、
[1]に記載の車両の制御装置。
[3]
前記取得部は、前記車両状態検出部から、前記車両状態データとして、前記車両の加速度を取得し、
前記回転制御部は、さらに、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて前記撮像画像データを回転制御する、
[1]又は[2]に記載の車両の制御装置。
[4]
前記第2の撮像画像データを撮像したときに取得した第2の前記加速度データから求められる第2のロール角に基づいて特定される表示範囲で切り出した前記第2の撮像画像データに対して、当該第2のロール角に基づいて定められる射影変換を行う変換部をさらに備え、
前記合成部は、前記第1の鳥瞰図画像データと、前記変換部に変換された前記第2の鳥瞰図画像データとを合成する、
[1]乃至[3]のいずれか1つに記載の車両の制御装置。
[5]
前記回転制御部は、前記第1の撮像画像データを撮像したときに取得した第1の前記加速度データから求められる第1のロール角と、前記第2の撮像画像データを撮像したときに取得した第2の前記加速度データから求められる第2のロール角と、の差に応じて、前記撮像画像データを回転制御する、
[1]乃至[4]のいずれか1つに記載の車両の制御装置。
[6]
前記合成部は、前記車両が移動する前に撮像された、前記車両の下の地面を含んだ前記第1の鳥瞰図画像データと、前記第2の鳥瞰図画像データとを合成する、
[1]乃至[5]のいずれか一つに記載の車両の制御装置。
[7]
前記ロール角、又は前記車両の左右軸周りの傾きを示したピッチ角、のうちいずれか一つ以上を表した情報と、前記合成部により合成された鳥瞰図画像データと、を出力する出力部を、
さらに備える[1]乃至[6]のいずれか一つに記載の車両の制御装置。
[8]
車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する回転制御ステップと、
前記回転制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成ステップと、
をコンピュータに実行させるためのプログラム。
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
500…周辺監視部、501…取得部、502…角度算出部、503…フィルタリング制御部、504…画像処理部、505…出力部、521…回転制御部、522…縮小・拡大制御部、523…移動制御部、524…合成部、700…周辺監視部、701…取得部、702…角度算出部、703…フィルタリング制御部、704…画像処理部、705…出力部、706…鳥瞰図画像記憶部、711…回転制御部、712…鳥瞰図画像生成部、713…移動量算出部、714…変換部、715…合成部
Claims (10)
- 車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御部と、
を備え、
前記制御部は、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する車両の制御装置。 - 前記車両状態検出部は、前記車両状態データとして前記車両に設けられた加速度検出部から出力された加速度データを取得し、
前記制御部は、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて、前記撮像画像データを回転制御する請求項1記載の車両の制御装置。 - 前記制御部は、さらに、前記撮像画像データの拡大処理又は縮小処理行う請求項2に記載の車両の制御装置。
- 前記制御部は、さらに、前記撮像画像データに対して前記レンズの中心に対応する位置座標を前記表示領域の中心から移動させる請求項2または請求項3に記載の車両の制御装置。
- 前記制御部は、さらに、前記レンズの中心に対応する位置座標を前記表示領域の中心から前記表示領域内の上方向に移動させる請求項4に記載の車両の制御装置。
- 前記撮像画像データが表示される表示装置には、前記車両の前後軸周りの傾きを示したロール角と前記車両の左右軸周りの傾きを示したピッチ角の少なくとも一方を表した情報が前記撮像画像データと共に表示される請求項1から請求項5のいずれか1項に記載の車両の制御装置。
- 前記取得部は、さらに、前記車両がオフロード用のモードに切り替えられているか否かを示す情報を取得し、
前記制御部は、前記車両がオフロード用のモードに切り替えられている場合に、先記車両状態データに応じて前記撮像画像データを回転制御する請求項1から請求項6のいずれか1項に記載の車両の制御装置。 - 前記制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成部をさらに備える請求項1から請求項7のいずれか1項に記載の車両の制御装置。
- 車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御ステップであって、当該制御ステップは、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する制御ステップと、
をコンピュータに実行させるためのプログラム。 - 前記制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成ステップをさらに前記コンピュータに実行させる請求項9に記載のプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013039895 | 2013-02-28 | ||
JP2013039895 | 2013-02-28 | ||
JP2013062440 | 2013-03-25 | ||
JP2013062440 | 2013-03-25 | ||
PCT/JP2014/050387 WO2014132680A1 (ja) | 2013-02-28 | 2014-01-10 | 車両の制御装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6028848B2 JP6028848B2 (ja) | 2016-11-24 |
JPWO2014132680A1 true JPWO2014132680A1 (ja) | 2017-02-02 |
Family
ID=51427954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015502795A Active JP6028848B2 (ja) | 2013-02-28 | 2014-01-10 | 車両の制御装置、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10322672B2 (ja) |
EP (1) | EP2963922B1 (ja) |
JP (1) | JP6028848B2 (ja) |
CN (1) | CN105075247B (ja) |
WO (1) | WO2014132680A1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL1756399T3 (pl) | 2004-06-14 | 2010-09-30 | Pratt & Whitney Line Maintenance Services Inc | Układ urządzenia do zbierania i oczyszczania wody odpływowej z mycia silnika |
US9514650B2 (en) * | 2013-03-13 | 2016-12-06 | Honda Motor Co., Ltd. | System and method for warning a driver of pedestrians and other obstacles when turning |
DE112015002483T5 (de) * | 2014-05-28 | 2017-02-23 | Kyocera Corporation | Objektdetektionsvorrichtung und Fahrzeug, das mit einer Objektdetektionsvorrichtung versehen ist |
JP6361382B2 (ja) * | 2014-08-29 | 2018-07-25 | アイシン精機株式会社 | 車両の制御装置 |
JP6467838B2 (ja) * | 2014-09-26 | 2019-02-13 | アイシン精機株式会社 | 周辺監視装置、及び周辺監視システム |
US10890925B2 (en) * | 2014-12-05 | 2021-01-12 | Command Electronics, LLC | Vehicle leveling systems, devices and methods and computer program products for leveling vehicles using smart devices |
JP6507626B2 (ja) * | 2014-12-19 | 2019-05-08 | アイシン精機株式会社 | 車両周辺監視装置 |
US11412123B2 (en) * | 2015-03-19 | 2022-08-09 | Gentex Corporation | Image processing for camera based vehicle display system |
JP6609970B2 (ja) * | 2015-04-02 | 2019-11-27 | アイシン精機株式会社 | 周辺監視装置 |
US9884623B2 (en) * | 2015-07-13 | 2018-02-06 | GM Global Technology Operations LLC | Method for image-based vehicle localization |
EP3176035A1 (en) * | 2015-12-03 | 2017-06-07 | Fico Mirrors S.A. | A rear vision system for a motor vehicle |
US10318043B2 (en) * | 2016-03-24 | 2019-06-11 | Gm Global Technology Operations Llc. | Dynamic adjustment of touch sensitive area in a display assembly |
CN105872379A (zh) * | 2016-04-15 | 2016-08-17 | 乐视控股(北京)有限公司 | 摄像装置 |
DE102016208369A1 (de) * | 2016-05-17 | 2017-12-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren |
CN118112811A (zh) * | 2016-08-29 | 2024-05-31 | 麦克赛尔株式会社 | 车辆 |
JP6766557B2 (ja) * | 2016-09-29 | 2020-10-14 | アイシン精機株式会社 | 周辺監視装置 |
US10726602B2 (en) * | 2017-02-03 | 2020-07-28 | Sony Corporation | Apparatus and method to generate realistic three-dimensional (3D) model animation |
JP6852465B2 (ja) * | 2017-03-02 | 2021-03-31 | 株式会社Jvcケンウッド | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
JP6724834B2 (ja) * | 2017-03-23 | 2020-07-15 | 日産自動車株式会社 | 表示装置の制御方法および表示装置 |
US11254329B2 (en) * | 2017-04-24 | 2022-02-22 | Mobileye Vision Technologies Ltd. | Systems and methods for compression of lane data |
JP6859216B2 (ja) * | 2017-07-03 | 2021-04-14 | トヨタ自動車株式会社 | 車両周辺表示装置 |
US10579067B2 (en) * | 2017-07-20 | 2020-03-03 | Huawei Technologies Co., Ltd. | Method and system for vehicle localization |
JPWO2019142892A1 (ja) * | 2018-01-22 | 2021-01-28 | 株式会社小糸製作所 | 電子ミラー用の撮像装置、電子ミラーシステム、自動車 |
US11941847B2 (en) | 2018-03-19 | 2024-03-26 | Jaguar Land Rover Limited | Controller for a vehicle |
DE102018204409A1 (de) * | 2018-03-22 | 2019-09-26 | Volkswagen Aktiengesellschaft | Verfahren zum Anzeigen von den Betrieb eines Fahrzeugs betreffende Informationen und Anzeigesystem |
JP2020053734A (ja) * | 2018-09-25 | 2020-04-02 | アルパイン株式会社 | 電子ミラーシステム |
JP2020052916A (ja) * | 2018-09-28 | 2020-04-02 | 日本電産サンキョー株式会社 | 画像処理装置、イメージスキャナ、及び画像処理方法 |
JP7211047B2 (ja) * | 2018-12-04 | 2023-01-24 | 株式会社アイシン | 路面検出装置および路面検出プログラム |
DE102020120873A1 (de) * | 2019-08-12 | 2021-02-18 | Motional AD LLC (n.d.Ges.d. Staates Delaware) | Lokalisierung basierend auf vordefinierten merkmalen der umgebung |
EP3848781B1 (en) | 2019-12-31 | 2023-05-10 | Seiko Epson Corporation | Circuit device, electronic apparatus, and mobile body |
CN113129224B (zh) * | 2019-12-31 | 2023-11-28 | 精工爱普生株式会社 | 显示***、电子设备、移动体和显示方法 |
USD947893S1 (en) * | 2020-03-05 | 2022-04-05 | Jaguar Land Rover Limited | Display screen or portion thereof with icon |
DE102021109213A1 (de) * | 2020-04-16 | 2021-10-21 | Volkswagen Aktiengesellschaft | Verfahren zur Sichtbarmachung einer Neigung eines Kraftfahrzeugs im Kraftfahrzeug |
EP3967552A1 (en) * | 2020-09-11 | 2022-03-16 | Ficosa Adas, S.L.U. | Camera monitoring system for motor vehicles |
JP2022055834A (ja) * | 2020-09-29 | 2022-04-08 | 株式会社アイシン | 駐車支援装置、駐車支援方法、およびプログラム |
US20240018746A1 (en) * | 2022-07-12 | 2024-01-18 | Caterpillar Inc. | Industrial machine remote operation systems, and associated devices and methods |
JP2024094471A (ja) * | 2022-12-28 | 2024-07-10 | 株式会社クボタ | 作業車両の遠隔操作支援システム、遠隔装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01273746A (ja) * | 1988-04-25 | 1989-11-01 | Mazda Motor Corp | 移動車の画像処理装置 |
JPH0952555A (ja) | 1995-08-11 | 1997-02-25 | Mitsubishi Electric Corp | 周辺監視装置 |
US6405975B1 (en) * | 1995-12-19 | 2002-06-18 | The Boeing Company | Airplane ground maneuvering camera system |
JP2002354467A (ja) | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP3796417B2 (ja) | 2001-06-27 | 2006-07-12 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
JP4593070B2 (ja) | 2001-12-12 | 2010-12-08 | 株式会社エクォス・リサーチ | 車両の画像処理装置 |
US7212653B2 (en) | 2001-12-12 | 2007-05-01 | Kabushikikaisha Equos Research | Image processing system for vehicle |
JP4321128B2 (ja) * | 2003-06-12 | 2009-08-26 | 株式会社デンソー | 画像サーバ、画像収集装置、および画像表示端末 |
JP2007266930A (ja) | 2006-03-28 | 2007-10-11 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
EP2003019B1 (en) * | 2007-06-13 | 2014-04-23 | Aisin AW Co., Ltd. | Driving assist apparatus for vehicle |
JP5125619B2 (ja) | 2008-03-03 | 2013-01-23 | 日産自動車株式会社 | 車載カメラシステム |
JP5161760B2 (ja) * | 2008-12-26 | 2013-03-13 | 株式会社東芝 | 車載用表示システム及び表示方法 |
US8198555B2 (en) * | 2009-04-22 | 2012-06-12 | Honda Motor Co., Ltd | Multi-position switch assembly for controlling a vehicle display screen |
US9264672B2 (en) * | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
EP2511137B1 (en) * | 2011-04-14 | 2019-03-27 | Harman Becker Automotive Systems GmbH | Vehicle Surround View System |
WO2013109869A1 (en) * | 2012-01-20 | 2013-07-25 | Magna Electronics, Inc. | Vehicle vision system with free positional virtual panoramic view |
WO2013121459A1 (ja) * | 2012-02-16 | 2013-08-22 | 古野電気株式会社 | 情報表示装置、表示モード切替方法及び表示モード切替プログラム |
US8854325B2 (en) * | 2012-02-29 | 2014-10-07 | Blackberry Limited | Two-factor rotation input on a touchscreen device |
JP6271858B2 (ja) * | 2012-07-04 | 2018-01-31 | キヤノン株式会社 | 表示装置及びその制御方法 |
JP6099333B2 (ja) * | 2012-08-30 | 2017-03-22 | 富士通テン株式会社 | 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法 |
-
2014
- 2014-01-10 WO PCT/JP2014/050387 patent/WO2014132680A1/ja active Application Filing
- 2014-01-10 EP EP14757301.8A patent/EP2963922B1/en active Active
- 2014-01-10 CN CN201480010443.7A patent/CN105075247B/zh active Active
- 2014-01-10 JP JP2015502795A patent/JP6028848B2/ja active Active
- 2014-01-10 US US14/770,320 patent/US10322672B2/en active Active
-
2019
- 2019-05-03 US US16/402,369 patent/US10676027B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2014132680A1 (ja) | 2014-09-04 |
US10322672B2 (en) | 2019-06-18 |
CN105075247A (zh) | 2015-11-18 |
EP2963922B1 (en) | 2019-02-27 |
US20190255999A1 (en) | 2019-08-22 |
US10676027B2 (en) | 2020-06-09 |
EP2963922A4 (en) | 2016-04-13 |
US20150375680A1 (en) | 2015-12-31 |
CN105075247B (zh) | 2018-08-14 |
JP6028848B2 (ja) | 2016-11-24 |
EP2963922A1 (en) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6028848B2 (ja) | 車両の制御装置、及びプログラム | |
JP6361382B2 (ja) | 車両の制御装置 | |
JP6060910B2 (ja) | 周辺監視装置、及びプログラム | |
JP6507626B2 (ja) | 車両周辺監視装置 | |
WO2016002163A1 (ja) | 画像表示装置、画像表示方法 | |
WO2020116352A1 (ja) | 路面検出装置および路面検出プログラム | |
JP6467838B2 (ja) | 周辺監視装置、及び周辺監視システム | |
WO2018070298A1 (ja) | 表示制御装置 | |
JP6760122B2 (ja) | 周辺監視装置 | |
CN107791951B (zh) | 显示控制装置 | |
WO2017057006A1 (ja) | 周辺監視装置 | |
CN110945558A (zh) | 显示控制装置 | |
WO2019058585A1 (ja) | 表示制御装置 | |
JP6876236B2 (ja) | 表示制御装置 | |
JP6720729B2 (ja) | 表示制御装置 | |
JP6642307B2 (ja) | 周辺監視装置 | |
US11475676B2 (en) | Periphery monitoring device | |
JP2021062746A (ja) | 駐車支援装置 | |
JP6930202B2 (ja) | 表示制御装置 | |
JP7423970B2 (ja) | 画像処理装置 | |
JP2018186387A (ja) | 表示制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161003 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6028848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |