JP6972938B2 - 周辺監視装置 - Google Patents
周辺監視装置 Download PDFInfo
- Publication number
- JP6972938B2 JP6972938B2 JP2017214709A JP2017214709A JP6972938B2 JP 6972938 B2 JP6972938 B2 JP 6972938B2 JP 2017214709 A JP2017214709 A JP 2017214709A JP 2017214709 A JP2017214709 A JP 2017214709A JP 6972938 B2 JP6972938 B2 JP 6972938B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- towed vehicle
- target position
- vehicle
- parking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 title claims description 75
- 238000012806 monitoring device Methods 0.000 title claims description 37
- 238000012544 monitoring process Methods 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 21
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 35
- 240000004050 Pentaglottis sempervirens Species 0.000 description 33
- 238000012545 processing Methods 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 14
- 239000002131 composite material Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000002834 transmittance Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/02—Control of vehicle driving stability
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
- B60D1/245—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/58—Auxiliary devices
- B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R99/00—Subject matter not provided for in other groups of this subclass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/14—Tractor-trailers, i.e. combinations of a towing vehicle and one or more towed vehicles, e.g. caravans; Road trains
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
- B60W2530/203—Presence of trailer
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明の実施形態は、周辺監視装置に関する。
従来、牽引車両(トラクタ)の後部に旋回自在に連結されて牽引される被牽引車両(トレーラ)が知られている。牽引車両が被牽引車両を連結していない場合、牽引車両に搭乗する運転者は、サイドミラー等を視認したり、牽引車両の後部に設けられた撮像部(カメラ)で撮像した画像を運転席の表示装置を介して視認したりすることで後方確認を行うことができる。しかしながら、牽引車両が被牽引車両を連結している場合、被牽引車両の連結角度によっては、サイドミラー等の視認領域や撮像部の撮像領域の一部または全てが被牽引車両によって遮られて死角になってしまう場合がある。そこで、被牽引車両の側面に撮像部を新たに設け、撮像した画像を牽引車両の表示装置に表示することにより、被牽引車両の連結角度に拘わらず被牽引車両の後方をサイドミラー等で見たときと同様な状況把握ができるようにする後方確認装置が提案されている。
しかしながら従来技術の場合、被牽引車両ごとに撮像部を設ける必要があるとともに、被牽引車両側で撮像した画像を牽引車両側に伝送する伝送線や被牽引車両の連結の有無によって伝送線の接離を可能にする接離装置等が必要になりコストが増加してしまうという問題があった。また、牽引車両は仕様の異なる様々な被牽引車両と接続される場合がある。そのため、牽引車両側の表示システムと、被牽引車両側の撮像システムや伝送システムとの仕様の共通化が必要となり、システムの導入が困難な場合があった。
そこで、本発明の課題の一つは、コストの増加を抑制しつつ、また被牽引車両の仕様に拘わらず周囲の状況把握、特に被牽引車両の後方等の状況把握が容易にできる周辺監視装置を提供することである。
本発明の実施形態にかかる周辺監視装置は、例えば、被牽引車両を連結可能な牽引車両に上記被牽引車両が連結されているか否かを判定する連結判定部と、上記牽引車両に上記被牽引車両が連結されている場合に、少なくとも上記被牽引車両を移動させる際の目標となる移動目標位置を設定する目標設定部と、上記牽引車両に設けられた撮像部によって撮像される周辺画像のうち上記移動目標位置を含む画像を移動目標画像として保存する保存制御部と、保存された上記移動目標画像を、上記撮像部によって撮像されて表示装置に現在表示されている現在画像に含まれる上記牽引車両または上記被牽引車両と関連付けて表示させる画像制御部と、を備える。この構成によれば、例えば、保存しておいた移動目標画像を現在画像において、牽引車両や被牽引車両と関連付けて表示可能なので、現在画像の内容に拘わらず保存された移動目標画像により移動目標位置と牽引車両または被牽引車両との相対関係を示すことができる。つまり、周囲の状況把握を容易な構成で行わせ易くなる。
また、実施形態にかかる周辺監視装置の上記保存制御部は、例えば、上記移動目標位置が設定されたときに撮像された上記移動目標画像を少なくとも保存するようにしてもよい。この構成によれば、例えば、被牽引車両が移動することが確実となったときの移動目標画像が保存できる。その結果、無駄な画像の保存による記憶装置の記憶容量の圧迫を回避しつつ、利用可能性の高い画像を確実に保存することができる。
また、実施形態にかかる周辺監視装置の上記保存制御部は、例えば、上記移動目標位置が設定されたときに上記移動目標画像の保存を開始するようにしてもよい。この構成によれば、例えば、被牽引車両が移動することが確実となったときから複数の移動目標画像の保存ができる。その結果、移動目標位置を含む複数の移動目標画像の保存が可能になり、記憶装置の記憶容量の圧迫を回避しつつ、複数の画像の中から移動目標位置と牽引車両または被牽引車両との相対関係を適切に示せるような移動目標画像の選択がと可能なる。その結果、保存された移動目標画像を用いたより適切な周囲状況の把握を行わせやすくなる。
また、実施形態にかかる周辺監視装置は、例えば、上記移動目標位置が、上記撮像部の撮像領域において上記被牽引車両による死角領域に入るか否かを判定する死角判定部をさらに含み、上記画像制御部は、上記移動目標位置が上記死角領域に入る場合に、保存された上記移動目標画像を上記牽引車両または上記被牽引車両と関連付けて表示させるようにしてもよい。この構成によれば、被牽引車両の旋回状態(連結角度)によって移動目標位置が隠されるような死角が撮像範囲に形成された場合でも、保存しておいた移動目標画像によって死角領域を補完することができる。その結果、移動目標位置を表示し続けることが可能になり視認性の維持ができる。
また、実施形態にかかる周辺監視装置の上記画像制御部は、例えば、上記現在画像において上記移動目標位置が上記死角領域に入る場合、上記死角領域の中で少なくとも上記移動目標位置に対応する領域に、保存された上記移動目標画像に含まれる少なくとも上記移動目標位置の画像を重畳するようにしてもよい。この構成によれば、例えば、現在画像に死角領域が形成される場合でも、保存していた移動目標画像を死角領域に対応するように重畳するので、あたかも死角領域が存在しないような違和感の軽減された画像を形成可能となり、表示画像の視認性を向上できる。
また、実施形態にかかる周辺監視装置の上記画像制御部は、例えば、上記死角領域に上記移動目標画像を重畳する場合、当該移動目標画像を透過態様で重畳するようにしてもよい。この構成によれば、例えば、移動目標画像が保存された後に移動目標位置の周囲状況が変化した場合、例えば、歩行者が進入してきた場合、現在画像で表示される歩行者等をそのまま表示した状態で、例えば薄い表示態様の移動目標画像が重畳できる。その結果、現在の状況を把握させつつ、移動目標位置の周辺の状況も把握させやすくすることができる。また死角領域が存在すること、および死角領域が移動目標画像によって補完されていることを認識させやすく、注意喚起させやすくなる。
また、実施形態にかかる周辺監視装置の上記画像制御部は、例えば、上記移動目標位置が設定されたときに保存された第一の移動目標画像の画像内容と、上記移動目標位置が上記死角領域に入る直前に保存された第二の移動目標画像の画像内容との間に所定値以上の差異がある場合、上記第二の移動目標画像を上記現在画像と関連付けて表示させるようにしてもよい。この構成によれば、第一の移動目標画像の画像内容と第二の移動目標画像の画像内容との間の差異が所定値以上の場合、第一の移動目標画像の保存から第二の移動目標画像を保存するまでの間に、移動目標位置の周辺で、移動体が進退するような変化が生じたと推定することができる。例えば、歩行者が進入したり移動目標位置の隣接領域に他車両が駐車したりする等の変化が生じたと推定できる。この場合、現在画像に関連付ける画像として第二の移動目標画像を用いることで、直近の状況を反映させた画像を表示することができる。一方、第一の移動目標画像の画像内容と第二の移動目標画像の画像内容との間の差異が所定値未満の場合、第一の移動目標画像の保存から第二の移動目標画像を保存するまでの間に、移動目標位置の周辺で状況の変化が実質的になかったと推定することができる。この場合、運転者が移動目標位置を最初に認識したときの画像(第一の移動目標画像)、例えば、移動目標位置を側方の撮像部で正面の近い位置から撮像したような品質の高い画像を現在画像に関連付ける画像として用いる。その結果、画像を表示する際の移動目標位置を認識させやすくすることができる。
また、実施形態にかかる周辺監視装置は、例えば、上記移動目標位置の設定が行われたときの上記牽引車両の位置を基準として当該牽引車両の現在位置を取得する位置取得部と、上記牽引車両と上記被牽引車両との連結角度を取得する角度取得部と、上記現在画像に重畳可能で、上記被牽引車両の大きさに対応するトレーラ指標を取得する指標取得部と、をさらに備え、上記画像制御部は、保存された上記移動目標画像を上記現在画像に関連付けて表示する場合、上記牽引車両の上記現在位置と上記連結角度とに基づき上記トレーラ指標の表示姿勢を決定し、上記トレーラ指標を上記現在画像に重畳表示させるようにしてもよい。この構成によれば、現在画像上で被牽引車両の旋回方向や旋回角度等の姿勢確認をしやすくすることができるとともに、周辺に物体(障害物や歩行者等)が存在する場合、その物体と被牽引車両との位置関係をより正確に認識させやすくなる。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
図1は、実施形態の周辺監視装置を搭載する牽引車両10および牽引車両10に牽引される被牽引車両12が示された側面図である。図1では、紙面左方向を牽引車両10を基準とする前方、紙面右方向を牽引車両10を基準とする後方としている。図2は、図1に示す牽引車両10および被牽引車両12の上面図である。また、図3は、牽引車両10に搭載される周辺監視装置を含む周辺監視システム100の構成の例示的なブロック図である。
牽引車両10は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。牽引車両10は図1に示されるようなスポーツ用多目的車両(Sport Utility Vehicle:SUV)であってもよいし、車両の後ろ側に荷台が設けられている、いわゆる「ピックアップトラック」であってもよい。また、一般的な乗用車であってもよい。牽引車両10は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、牽引車両10における車輪14(前輪14F、後輪14R)の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
牽引車両10のリヤバンパ16の例えば車幅方向の中央部の下部からは、被牽引車両12を牽引するための牽引装置18(ヒッチ)が突出している。牽引装置18は牽引車両10の例えばフレームに固定されている。牽引装置18は、一例として、垂直方向(車両上下方向)に立設された先端部が球状のヒッチボール18aを備え、このヒッチボール18aに、被牽引車両12に固定された連結部材20の先端部に設けられたカプラ20aが覆い被さる。その結果、牽引車両10と被牽引車両12とが連結されるとともに、牽引車両10に対して被牽引車両12が車幅方向に揺動(旋回)可能となっている。つまり、ヒッチボール18aは、被牽引車両12(連結部材20)に前後左右の動きを伝え、また加速や減速のパワーを受け止めることになる。
被牽引車両12は、例えば、図1に示すように、搭乗空間、居住区間、収納空間等のうち少なくとも一つを含む箱形タイプであってもよいし、荷物(例えば、コンテナやボート等)を搭載する荷台タイプであってもよい。図1に示す被牽引車両12は、駆動輪や操舵輪を含まない従動輪として一対のトレーラ車輪22を備える従動車両である。
また、図1、図2に例示されるように、牽引車両10には、複数の撮像部24として、例えば四つの撮像部24a〜24dが設けられている。撮像部24は、例えば、CCD(Charge Coupled Device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部24は、所定のフレームレートで動画データ(撮像画像データ)を出力することができる。撮像部24は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜220°の範囲を撮影することができる。また、撮像部24の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部24は、牽引車両10が移動可能な路面や物体(障害物として、例えば、歩行者、車両等)を含む牽引車両10の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。
撮像部24a(後方撮像部)は、例えば、牽引車両10の後側のリヤハッチ10aの下方の壁部に位置される。撮像部24aは、牽引車両10の後端部(リヤバンパ16)、牽引装置18、連結部材20および被牽引車両12の少なくとも前端部を含む領域(例えば、二点鎖線で示す範囲、図1参照)、被牽引車両12の側方から臨む被牽引車両12の後方領域等を撮影可能である。撮像部24aによって撮像された撮像画像データは、被牽引車両12の認識および、牽引車両10と被牽引車両12の連結状態(例えば、連結角度、連結の有無等)の検出に用いることができる。この場合、撮像部24aの撮像した撮像画像データに基づき牽引車両10と被牽引車両12との連結状態や連結角度が取得できるので、システム構成が簡略化できるとともに、演算処理や画像処理の負荷が軽減できる。
また、撮像部24b(左側方撮像部)は、例えば、牽引車両10の左側の端部、例えば左側のドアミラー10bに設けられて、牽引車両10の左側方を中心とする領域(例えば左前方から左後方の領域)を含む左側方画像を撮像する。撮像部24c(前方撮像部)は、例えば、牽引車両10の前側、すなわち車両前後方向の前方側の端部、例えばフロントグリル10cやフロントバンパ等に設けられて、牽引車両10の前方を含む前方画像を撮像する。撮像部24d(右側方撮像部)は、例えば、牽引車両10の右側の端部、例えば右側のドアミラー10dに設けられて、牽引車両10の右側方を中心とする領域(例えば右前方から右後方の領域)を含む右側方画像を撮像する。複数の撮像部24で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、牽引車両10を上方から見た仮想的な俯瞰画像(平面画像)を生成したりすることができる。
牽引車両10車室内には、図3に示されるように、表示装置26や、音声出力装置28が設けられている。表示装置26は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置28は、例えば、スピーカである。また、表示装置26は、例えば、タッチパネル等、透明な操作入力部30で覆われている。乗員(例えば、運転者)は、操作入力部30を介して表示装置26の表示画面に表示される画像を視認することができる。また、乗員は、表示装置26の表示画面に表示される画像に対応した位置で手指等で操作入力部30を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置26や、音声出力装置28、操作入力部30等は、例えば、牽引車両10のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置32に設けられている。モニタ装置32は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置32は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、図1、図2に例示されるように、牽引車両10は、例えば、四輪自動車であり、左右二つの前輪14Fと、左右二つの後輪14Rとを有する。これら四つの車輪14は、いずれも転舵可能に構成されうる。図3に示されるように、牽引車両10は、少なくとも二つの車輪14を操舵する操舵システム34を有している。操舵システム34は、アクチュエータ34aと、トルクセンサ34bとを有する。操舵システム34は、ECU36(electronic control unit)等によって電気的に制御されて、アクチュエータ34aを動作させる。操舵システム34は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。操舵システム34は、アクチュエータ34aによってステアリングホイールにトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ34aによって車輪14を転舵したりする。この場合、アクチュエータ34aは、一つの車輪14を転舵してもよいし、複数の車輪14を転舵してもよい。また、トルクセンサ34bは、例えば、運転者がステアリングホイールに与えるトルクを検出する。
また、図3に例示されるように、周辺監視システム100(周辺監視装置)では、ECU36や、モニタ装置32、操舵システム34等の他に、ブレーキシステム38、舵角センサ40、アクセルセンサ42、シフトセンサ44、車輪速センサ46等が、電気通信回線としての車内ネットワーク48を介して電気的に接続されている。車内ネットワーク48は、例えば、CAN(controller area network)として構成されている。ECU36は、車内ネットワーク48を通じて制御信号を送ることで、操舵システム34、ブレーキシステム38等を制御することができる。また、ECU36は、車内ネットワーク48を介して、トルクセンサ34b、ブレーキセンサ38b、舵角センサ40、アクセルセンサ42、シフトセンサ44、車輪速センサ46等の検出結果や、操作入力部30の操作信号等を、受け取ることができる。
ECU36は、例えば、CPU36a(central processing unit)や、ROM36b(read only memory)、RAM36c(random access memory)、表示制御部36d、音声制御部36e、SSD36f(solid state drive、フラッシュメモリ)等を有している。CPU36aは、ROM36b等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムに従って演算処理を実行する。CPU36aは、例えば、表示装置26で表示される画像に関連した画像処理を実行する。例えば、CPU36aは、撮像部24が撮像した撮像画像データに演算処理や画像処理を実行して、周辺画像(例えば、俯瞰画像)を生成する。
RAM36cは、CPU36aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部36dは、ECU36での演算処理のうち、主として、表示装置26で表示される画像データの合成等を実行する。また、音声制御部36eは、ECU36での演算処理のうち、主として、音声出力装置28で出力される音声データの処理を実行する。SSD36fは、書き換え可能な不揮発性の記憶部であって、ECU36の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU36aや、ROM36b、RAM36c等は、同一パッケージ内に集積されうる。また、ECU36は、CPU36aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD36fに替えてHDD(hard disk drive)が設けられてもよいし、SSD36fやHDDは、ECU36とは別に設けられてもよい。
ブレーキシステム38は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の牽引車両10の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム38は、アクチュエータ38aを介して、車輪14ひいては牽引車両10に制動力を与える。また、ブレーキシステム38は、左右の車輪14の回転差などからブレーキのロックや、車輪14の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ38bは、例えば、ブレーキペダルの可動部の位置を検出するセンサである。
舵角センサ40は、例えば、ステアリングホイールの操舵量を検出するセンサである。ECU36は、運転者によるステアリングホイールの操舵量や、自動操舵時の各車輪14の転舵量等を、舵角センサ40から取得して各種制御を実行する。アクセルセンサ42は、例えば、アクセルペダルの可動部の位置を検出するセンサである。シフトセンサ44は、例えば、シフト操作部の可動部の位置を検出するセンサである。車輪速センサ46は、車輪14の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ46は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。ECU36は、車輪速センサ46から取得したセンサ値に基づいて牽引車両10の移動量などを演算し、各種制御を実行する。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
表示装置26は、例えば、牽引車両10に被牽引車両12が連結されている場合で、設定した移動目標位置に被牽引車両12を移動させる場合に、予め保存された移動目標位置を含む移動目標画像を、当該移動目標画像が保存されたタイミングとは別のタイミングで表示することができる。例えば、移動目標位置を設定した後に牽引車両10を移動目標位置に向かって移動させる過程で、表示装置26に現在表示されている現在画像に映っていた移動目標位置が、牽引車両10に対して旋回可能な被牽引車両12が牽引車両10の移動方向とは異なる移動方向に移動することによって遮られて見えなくなった(死角領域に入ってしまった)とする。このような場合、保存しておいた移動目標画像を用いて、死角領域に入った移動目標位置の表示を行う。つまり、画像の補完を行う。その結果、被牽引車両12が連結された牽引車両10を移動させる場合、設定した移動目標位置の確認を良好かつ容易に行うことが可能になり運転負荷の軽減に寄与できる。
以下の説明では、被牽引車両12が連結された牽引車両10を移動させる場合の周辺監視の一例として、被牽引車両12を所定の駐車スペースに駐車する場合を説明する。したがって、以下の説明では、「移動目標位置」を「駐車目標位置」として説明し、「移動目標画像」を「駐車目標画像」として説明する。なお、運転者が被牽引車両12を移動させる場合、まず、駐車スペースの入口部分を認識し、そこを駐車目標位置とする場合がある。したがって、本実施形態では、一例として、図5に示すように、駐車スペースPの入口の幅を定める一対の立体物である例えばパイロン58a,58bで規定される領域を駐車目標位置Tとして説明する。この場合、パイロン58aとパイロン58bの少なくとも一方が死角領域に入り視認できない場合、駐車目標位置Tの幅が不定となり、駐車目標位置Tが認識できないことになる。したがって、本実施形態において、「駐車目標画像」とは、駐車目標位置Tを規定するパイロン58a,58bの両方が写った画像であり、当該パイロン58a,58bで規定される駐車スペースPの入口の領域を含む画像とすることができる。
なお、駐車目標位置Tは、上述のように広さを持った領域に限らず、例えば、駐車スペースPの幅を規定するパイロン58aやパイロン58b、区画線60aや区画線60b、駐車スペースPの入口の幅の中央位置等のピンポイントの位置であってもよい。また、本実施形態では、駐車の形態として、駐車スペースPに所定の姿勢(例えば、区画線60a,60bと実質的に平行な姿勢)で被牽引車両12を移動させて、牽引車両10は、そこで被牽引車両12を切り離して、駐車スペースPに被牽引車両12のみを駐車する例を説明する。
ECU36に含まれるCPU36aは、上述したような予め保存しておいた駐車目標画像(過去画像)を用いた周辺監視を実現する表示処理を実行するための各種モジュールを備える。各種モジュールは、CPU36aがROM36b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、CPU36aは、図4に示されるように、取得部50、目標設定部52、判定部54、制御部56等のモジュールを備える。
取得部50は、周辺監視を実現するための各種情報を取得するために、周辺監視要求取得部50a、画像取得部50b、連結角度取得部50c、自車位置取得部50d、誘導経路取得部50e、トレーラ諸元取得部50f、指標取得部50g等を含む。
周辺監視要求取得部50aは、例えば、運転者が被牽引車両12を連結した牽引車両10を運転中に、操作入力部30を用いて駐車のための周辺監視の実行を要求した際に、その要求信号を受け付ける。また、別の実施形態では、被牽引車両12を連結した牽引車両10が駐車場等に進入したことがGPS(global positioning system)等を用いて検出された場合、周辺監視要求取得部50aは、駐車のための周辺監視の実行が要求されたと見なして、要求信号を受け付けてもよい。
画像取得部50bは、周辺監視要求取得部50aが要求信号を取得した場合、少なくとも牽引車両10の周囲状況を表示するために必要な画像情報を取得する。例えば、画像取得部50bは、牽引車両10の周辺を撮像する撮像部24a〜24dから、複数の撮像画像データ(例えば、前方画像、左側方画像、右側方画像、後方画像等のデータ)を取得する。取得した画像は、実画像としてそのままの態様で表示装置26に逐次表示される場合と、視点変換等が施されて俯瞰画像の態様で表示装置26に逐次表示される場合とがある。また、RAM36cやSSD36f等の記憶装置に過去画像として一時的に保存されて、後のタイミングで表示装置26に表示されている画像(現在画像)とともに表示される場合がある。
連結角度取得部50cは、牽引車両10と被牽引車両12との連結角度θ、つまり、牽引装置18を支点とする連結部材20の角度を取得する。この連結角度θは、種々の方法で取得可能である。例えば、撮像部24aが撮像した撮像画像データに基づく画像から牽引装置18(牽引車両10)に対する連結部材20の連結角度θを検出することができる。例えば、図2に示すように、連結部材20において被牽引車両12の前後方向に延びる直線のうちカプラ20aを通る直線を検出して、この直線を連結部材20の連結中心軸Mとする。また、撮像部24aが撮像した画像上で牽引車両10の車両中心軸Nは既知なので、車両中心軸Nと連結中心軸Mとから連結角度θが検出できる。なお、本実施形態の場合、撮像部24aは、牽引装置18の直上、すなわち、車両中心軸Nと同軸上に配置されている例を示している。つまり、連結部材20をほぼ真上から俯瞰できるため、車両中心軸Nと連結中心軸Mとの成す連結角度θの検出が容易である。一方、牽引車両10の構造上の都合や他の理由により撮像部24aを牽引装置18の直上に設置できない場合がある。例えば、リヤハッチ10aの中央から左右いずれかの方向にずれた位置に撮像部24aが設置される場合がある。この場合、撮像部24aが撮像した画像の二次元座標を牽引装置18(ヒッチボール18a)の地上高(仕様書等に基づく既知の値)に基づき三次元座標に変換し、車両中心軸Nと連結中心軸Mとに基づき連結角度θを検出することができる。
また、別の実施形態では、連結角度取得部50cは、連結部材20や被牽引車両12の前方壁面に付されたマーカの位置を撮像した画像を解析して連結角度θを検出してもよい。また、別の実施形態では、牽引装置18に角度センサを設けて、検出された連結部材20の角度を連結角度θとして取得してもよい。連結角度取得部50cによって取得された連結角度θは、被牽引車両12によって形成される死角領域に駐車目標位置が入るか否かの判定を行う場合や、図5に示すように、被牽引車両12を駐車スペースPに導くための誘導経路Rの算出を行う場合に利用される。また、被牽引車両12が表示装置26上で表示される場合に視認性を向上するために表示するトレーラ指標(トレーラアイコン)の表示角度(表示姿勢)を決定する場合等に利用される。
自車位置取得部50dは、牽引車両10の停車中および走行中の現在の位置(自車位置)を取得する。また、自車位置取得部50dは、例えば、駐車目標位置Tを設定したときの牽引車両10の位置を原点とする座標系を設定する。そして、自車位置取得部50dは、舵角センサ40から取得できる舵角に基づく牽引車両10の旋回半径、車輪速センサ46から取得できる速度に基づく牽引車両10の移動量、シフトセンサ44から取得できる牽引車両10の進行方向等から上述の座標系における牽引車両10の位置を推定することができる。また、別の実施形態では、自車位置取得部50dは、画像取得部50bが取得した撮像画像データに基づく画像による画像認識によって自車位置を推定することができる。この場合、例えば、撮像部24から逐次出力される撮像画像データを用いてオプティカルフローを作成し、作成したオプティカルフローに基づいて牽引車両10の現在位置を演算することができる。また、GPSを用いて現在位置を特定してもよい。
なお、以下の説明では、一例として、上述したように、駐車目標位置Tを設定したときの牽引車両10の位置を原点とする座標系を用いて種々の位置特定を行う。例えば、駐車目標位置Tの特定や、現在画像に対して、保存しておいた駐車目標画像を関連付ける場合の位置の特定等をこの座標系の座標で行うものとする。また、自車位置取得部50dにより取得された自車位置は、牽引車両10と駐車目標位置Tとの相対位置の認識や被牽引車両12によって形成される死角領域に駐車目標位置Tが入るか否かを判定する場合等に利用しうる。また、被牽引車両12を駐車スペースPに導くための誘導経路Rの算出を行う場合等にも利用されうる。
誘導経路取得部50eは、例えば、図5に示すように、牽引車両10の現在位置から駐車スペースPに含まれる駐車目標位置Tに牽引車両10を誘導するための誘導経路Rを例えば、駐車目標位置Tを設定したときに定めた座標系上(X−Z座標)で取得する。例えば牽引車両10の左右の後輪14Rを連結する車軸の略中央部に誘導基準点Bを設定し、この誘導基準点Bを、誘導開始に先立ち設定した誘導目標点Cに実質的に一致するように誘導する誘導経路Rを算出する。本実施形態の場合、駐車スペースPの入口に設けられたパイロン58a,58bで規定される駐車目標位置Tの中央位置を誘導目標点Cとしている。牽引車両10の誘導基準点Bを誘導目標点Cに移動させることにより、牽引車両10の後部に連結した被牽引車両12を駐車スペースPに収めることができる。誘導経路Rの取得(算出)は周知の方法が利用可能であり、詳細な説明は省略するが、牽引車両10の現在位置を示す誘導基準点Bを誘導目標点Cまで最短でかつ切り返し回数を最小として、被牽引車両12を所定の姿勢で駐車スペースPに移動させることができるような牽引車両10の誘導経路Rを算出する。ここで、所定の姿勢とは、例えば、駐車スペースPに対する被牽引車両12の左右方向と前後方向の隙間の大きさが所定範囲内であることと、駐車スペースPの前後方向の中心線と被牽引車両12の前後方向の中心線とのなす角度が所定値以下であること等である。なお、誘導経路Rは、例えば、牽引車両10の現在位置(誘導基準点B)と誘導目標点Cとを、外部システム(例えば、駐車場管理システム)等に送信し、そこで算出した誘導経路Rを誘導経路取得部50eが取得するようにしてもよい。
トレーラ諸元取得部50fは、被牽引車両12の諸元(例えば、被牽引車両12の各サイズ等)を取得する。図5に示すように、被牽引車両12が連結された牽引車両10が駐車スペースPの前を通過するときに、牽引車両10の右側面に配置された撮像部24dは、駐車スペースPに含まれる駐車目標位置T(パイロン58a,58bを含む領域)を撮像することができる。一方、図6に示すように、被牽引車両12を連結した牽引車両10が誘導経路R(図5参照)にしたがい移動する場合、被牽引車両12の連結角度θが変化して、被牽引車両12が表示装置26に表示されている駐車目標位置Tの一部または全てを隠してしまう場合がある。図6の場合、駐車目標位置Tに含まれるパイロン58aが被牽引車両12により形成される死角領域Dに入り、表示装置26上で確認できなくなっている。この場合、運転者は駐車目標位置Tの一方端が確認できず、駐車スペースPの状況(駐車スペースPの大きさや隣接する駐車スペースP1に駐車されている被牽引車両12a(図5参照)との位置関係が把握しにくくなる場合がある。駐車目標位置T(パイロン58a)が死角領域Dに入ったか否かを判定する場合に、被牽引車両12の実際の大きさが必要になる。そこで、トレーラ諸元取得部50fは、操作入力部30を介して入力された被牽引車両12の前後方向の長さ、被牽引車両12の車幅等の情報を取得する。
なお、誘導経路取得部50eは、被牽引車両12を駐車目標位置Tで規定される駐車スペースPに移動させるような誘導経路Rを算出するために、牽引車両10に牽引装置18を介して旋回可能に連結された被牽引車両12の挙動を把握する必要がある。牽引車両10に対して旋回可能な被牽引車両12は、牽引車両10が後退走行する場合に、牽引車両10と同じ挙動を示す場合と異なる挙動を示す場合がある。例えば、牽引車両10と被牽引車両12とがいわゆる「釣合状態」である場合に、牽引車両10と被牽引車両12との挙動が一致する。すなわち、牽引車両10と被牽引車両12とを一体物と見なして移動状態を把握することができる。例えば、牽引車両10の車両中心軸Nと被牽引車両12の連結中心軸Mとが実質的に一致して重なる(実質的に一直線になる)場合に釣合状態になる。また、車両中心軸Nと連結中心軸Mとが一致しない場合でも、牽引車両10の旋回中心位置と被牽引車両12の旋回中心位置とが実質的に一致している場合に釣合状態になる。牽引車両10の旋回中心位置は、牽引車両10の現在の舵角および牽引車両10のホイールベースの長さに基づき取得することができる。一方、被牽引車両12の旋回中心位置は、牽引車両10と被牽引車両12の連結角度θと、被牽引車両12のホイールベースの長さとに基づいて取得することができる。被牽引車両12のホイールベースの長さは、牽引装置18から連結部材20を含んだ被牽引車両12のトレーラ車輪22の車軸までの長さである。ただし、牽引車両10には、種々の仕様(長さ)の被牽引車両12が連結可能であり、被牽引車両12の仕様によりホイールベースの長さが異なる。したがって、トレーラ諸元取得部50fは、釣合状態の判定に必要な被牽引車両12のホイールベースの長さを、被牽引車両12の前後方向の長さや車幅等の情報とともに、例えば、操作入力部30を介して運転者等に直接入力させることにより取得する。なお、運転者が上述したような各諸元を入力する場合は、例えば被牽引車両12の仕様書等を参考に行うことができる。
指標取得部50gは、トレーラ諸元取得部50fが取得した被牽引車両12の前後方向の長さや車幅に対応した大きさおよび形状のトレーラ指標(トレーラアイコン)を、例えばROM36b等の記憶装置に記憶されたリストから読み出す。撮像部24で撮像した画像に視点変換や合成処理等の画像処理を施して、俯瞰画像等を形成する場合、各種補正処理を施しても、画像の歪みや形状の延び等が充分に解消できない場合がある。例えば、視点から遠ざかるにつれて被牽引車両12が延びたり、変形したりして周囲の物体(例えばパイロン58a,58b)との位置関係が把握しにくくなる場合がある。このような場合、実際の形状に対応するトレーラアイコンを現在画像に重畳することにより、被牽引車両12と周囲の物体との位置関係を把握しやすくすることができる。なお、指標取得部50gは、俯瞰画像を表示する場合に撮像部24で撮像した撮像画像データに基づいて表示できない自車(牽引車両10)を示す自車アイコンも取得する。自車アイコンとトレーラアイコンとは、連結角度取得部50cが取得した連結角度θに基づいて連結姿勢が変化するように表示することができる。
目標設定部52は、周辺監視要求取得部50aが周辺監視の要求信号を取得した場合、駐車目標位置Tの設定を可能とする。例えば、周辺監視の要求に基づき、画像取得部50bが取得する撮像画像データに基づく画像が表示装置26に表示されると、運転者は操作入力部30により表示装置26上の位置を指定可能となる。運転者は、駐車を希望する場所が表示装置26に表示された場合に、その位置を操作入力部30で指定する。CPU36aにより、その位置が被牽引車両12の駐車に適した場所であると判定された場合に、目標設定部52は、駐車目標位置Tとして設定する。運転者の指定する場所が被牽引車両12の駐車に適しているか否かは、周知の技術により判定できる。例えば、撮像部24が撮像した画像を画像解析することによりパイロン58aとパイロン58bとで形成する間隔が被牽引車両12の車幅より所定値以上大きく、駐車スペースPの奥行きが被牽引車両12の前後方向の長さより所定値以上長いこと等により判定することができる。なお、牽引車両10がソナー等の測距装置を備える場合、測距の結果に基づき指定された空間に駐車目標位置Tの設定の可否を判定してもよい。また、目標設定部52は、駐車目標位置Tが設定可能な駐車スペースPの候補を一個、または複数個、表示装置26に提示して運転者にその中から駐車希望位置を選択させるようにしてもよい。
判定部54は、牽引車両10と被牽引車両12の連結状態の判定を行う連結判定部54aと、駐車目標位置Tが被牽引車両12の死角に入ったか否かを判定する死角判定部54b等を含む。
連結判定部54aは、例えば、牽引車両10の運転者が被牽引車両12を連結した場合に操作入力部30等を操作することで入力した入力情報に基づき連結判定を行うことができる。また、画像取得部50bが取得した牽引車両10の後方領域を示す撮像画像データに基づく画像に画像処理を施して被牽引車両12が認識できた場合に、その認識情報に基づき連結判定を行ってもよい。また、牽引装置18にセンサを設け、牽引装置18と連結部材20との連結が検出できた場合の検出情報に基づき連結判定を行ってもよい。また、牽引車両10と被牽引車両12とが連結された場合、牽引車両10の制御に基づき被牽引車両12の後端部に設けられたストップランプや方向指示器、車幅灯等の点灯制御が行われる。この場合、牽引車両10と被牽引車両12との間で制御線の接続が行われる。連結判定部54aは、この制御線の接続が成立したことを示す信号に基づき連結判定を行ってもよい。
死角判定部54bは、表示装置26に表示された画像上で駐車目標位置Tが被牽引車両12によって隠されたか否かを判定する。図6に示すように、例えば、牽引車両10の右側では、撮像部24dの画角や設置姿勢等により撮像範囲が決まっている(一点鎖線)。一方、死角領域D(ハッチングの範囲)は、牽引車両10に対する被牽引車両12の連結角度θ(車両中心軸Nと連結中心軸Mとの角度)によって変化する(二点鎖線)。したがって、例えば、俯瞰画像上(駐車目標位置Tを設定したときの牽引車両10の位置を原点とする座標系上)で被牽引車両12の連結角度θおよび被牽引車両12の長さと車幅とが分かれば、死角領域Dの形成範囲が確定する。また、牽引車両10の現在位置と駐車目標位置Tとの座標系における相対位置が分かれば、駐車目標位置Tの端部を規定するパイロン58aやパイロン58bが死角領域Dに入るか否かを判別することができる。つまり、駐車目標位置Tが死角領域Dに入るか否かの判定をリアルタイムで実行することができる。また、別の実施形態では、死角判定部54bは、周知の画像差分法や相関値算出法(NCC:Normalized Cross-Correlationを用いたテンプレートマッチング法等)を用いて複数の画像間の類似度を算出することで、駐車目標位置Tが死角領域Dに入ったか否かの判定ができる。例えば、駐車目標位置Tを含む基準画像(例えば、駐車目標位置Tを設定したときの画像)と現在取得した最新の駐車目標位置Tを含むはずの参照画像とに対して視点変換等を施し、比較可能な状態とした上で比較することで、基準画像で存在する例えば、パイロン58aが参照画像で消えているか否かを判定することができる。この場合も、駐車目標位置Tが死角領域Dに入るか否かの判定をリアルタイムで実行することができる。
制御部56は、保存制御部62と画像制御部64とを含む。保存制御部62は、画像取得部50bが取得する撮像部24が撮像した撮像画像データの保存タイミングの制御を実行する。例えば、撮像部24が撮像した撮像画像データを全て保存する場合、RAM36cやSSD36fの必要記憶容量が膨大になりコスト増加の原因になるとともに、保存した撮像画像データの処理負荷も高くなる。本実施形態では、上述したように、駐車目標位置Tを含む駐車目標画像を現在画像の牽引車両10や被牽引車両12と関連付けて表示する。例えば、死角領域Dの補完等に利用する。そこで、保存制御部62は、駐車が実際に実行されることが確定したとき、例えば、駐車目標位置Tが設定されたときに、当該駐車目標位置Tを設定したときの牽引車両10の位置を原点とする座標系における駐車目標位置Tの座標とともに、画像取得部50bが取得した撮像画像データに基づく画像を駐車目標画像として保存する。なお、駐車目標位置Tの設定は、一例として運転者が駐車に適した領域を発見したとき(認識したとき)に運転者自身に実行させることができる。この場合、駐車目標位置Tは、撮像部24から認識しやすい角度や近い距離で撮像されている可能性が高い。図7は、駐車目標位置Tを設定した際に保存される駐車目標画像(実画像RV)の一例である。図7に示すように、例えば、撮像部24dにより撮像される場合、駐車目標位置Tやパイロン58a,58b、駐車スペースP等を正面から近い位置で撮像できる可能性が高く、表示のために画像処理を加えた場合でも解像度の高い品質のよい画像が得られる可能性が高い。
なお、被牽引車両12を駐車スペースPに移動させる場合、一般的に牽引車両10は一度駐車スペースPを通り過ぎた後、後退走行しながら駐車スペースPに向かう。したがって、駐車目標画像の保存を、例えば牽引車両10を後退させるときに開始した場合、保存される画像が不鮮明になってしまう場合がある。例えば、駐車目標位置Tが既に被牽引車両12による死角領域Dに入ってしまっていたり、駐車目標位置Tまでの距離が遠くなっていたりする場合がある。この場合、駐車スペースP(駐車目標位置T)を最初に確認したときに撮像した画像に比べて不鮮明になってしまう場合がある。したがって、より高品質の画像を取得するという点においても駐車目標位置Tを最初に確認したときの画像を駐車目標画像として保存することが有利となる。
また、駐車目標位置Tが設定され、その駐車目標画像が保存された後に、例えば、歩行者が駐車スペースPに進入したり、隣接する駐車スペースP1の被牽引車両12aの駐車状態が変化したりする場合がある。このような駐車スペースP(駐車目標位置T)の周辺の状況変化を把握するために、保存制御部62は、駐車目標位置Tが設定されたときから画像取得部50bが取得した撮像画像データに基づく画像を駐車目標位置Tの座標とともに駐車目標画像として保存を開始するようにしてもよい。なお、この場合、牽引車両10が移動中のみ駐車目標画像の逐次保存を行い、停車している間は牽引車両10や被牽引車両12に対する駐車目標位置Tの相対位置が変化しないため、駐車目標画像は保存しないようにしてもよい。その結果、駐車目標画像の保存に必要な記憶容量の低減に寄与できる。
なお、死角判定部54bは、駐車目標位置T(例えばパイロン58aやパイロン58b)が死角領域Dに入るタイミングの判別が可能なので、保存制御部62は、駐車目標位置Tが設定されたときの駐車目標画像と、駐車目標位置Tが死角領域Dに入る直前の駐車目標画像とを区別して保存することができる。例えば、保存制御部62は、駐車目標位置T(移動目標位置)が設定されたときの画像を駐車目標位置Tの座標とともに第一の駐車目標画像(移動目標画像)として保存可能である。また、保存制御部62は、駐車目標位置Tが死角領域Dに入る直前の画像を駐車目標位置Tの座標とともに第二の駐車目標画像として保存可能である。第二の駐車目標画像の利用についての詳細は後述する。
画像制御部64は、画像取得部50bが取得した撮像画像データに基づく画像や保存制御部62に保存された駐車目標画像の各種画像処理を実行するために、画像変換制御部64a、合成制御部64b、比較制御部64c等を含む。
画像変換制御部64aは、画像取得部50bが取得した撮像画像データに視点変換等を施して、図8に示すような牽引車両10や被牽引車両12を上方から見た仮想的な俯瞰画像TV(平面画像)を生成する。俯瞰画像TVには、被牽引車両12に対応するトレーラアイコン66aと牽引車両10に対応する自車アイコン66bおよびパイロン58b等が表示されている。なお、図8の場合、便宜上被牽引車両12によって形成される死角領域Dがハッチングで示され、死角領域Dによって隠されるパイロン58aが破線で表示されているが、パイロン58aは、この時点では、実際には表示されない。図8は、撮像部24が現在撮像している撮像画像データに基づく画像を表示装置26に表示している例であり、俯瞰画像TVと並べて、撮像部24aで撮像した牽引車両10の後方を示す後方画像である実画像RVが表示されている。図8の場合、実画像RVには、下端側に牽引車両10のリヤバンパ16および牽引装置18が表示されるとともに、リヤバンパ16より上方の表示領域に連結部材20と被牽引車両12の前端壁が表示されている。その他、被牽引車両12によって形成される死角領域Dに入っていないパイロン58bが表示されている。
また、画像変換制御部64aは、保存制御部62によって保存された駐車目標画像を、死角領域Dを含む現在画像と関連付けて表示する際に合成しやすいようにするための画像変換を行う。例えば、図7に示すように、保存制御部62によって保存された駐車目標画像(実画像RV)に含まれる駐車目標位置Tの部分をトリミングしたり、駐車目標位置Tに対して視点変換を施して表示装置26に現在表示されている俯瞰画像TVと対応するような画像に変換したり、回転処理したり、拡縮調整したりすることができる。
合成制御部64bは、図8に示すように表示装置26に俯瞰画像TVが表示される場合に、指標取得部50gが取得したトレーラ指標(トレーラアイコン66a)や自車アイコン66bを俯瞰画像TV上に重畳表示する。また、連結角度取得部50cで取得する現在の牽引車両10と被牽引車両12との連結角度θに対応するように、俯瞰画像TV上でのトレーラアイコン66aと自車アイコン66bとの連結角度をリアルタイムで変化させる。なお、上述したように、撮像部24で撮像した撮像画像データに基づき俯瞰画像TVを生成する場合、例えば、被牽引車両12に対応する画像が後方に向かい長く延びてしまうことがある。このような場合に、トレーラアイコン66aを表示することにより、俯瞰画像TV上での被牽引車両12の姿勢や形状、牽引車両10との連結状態や周囲状況との関係をより理解させやすくすることができる。
また、合成制御部64bは、図8に示すように、例えば、駐車目標位置Tを規定するパイロン58aが被牽引車両12によって形成される死角領域Dに入った(駐車目標位置Tが隠された)ことが死角判定部54bによって判定された場合、図9や図10に示すように、死角領域Dを補完して、駐車目標位置Tを視認し易い表示になるような合成画像を生成することができる。
例えば、図9は、図8において表示装置26に表示されていたい実画像RVに替えて、俯瞰画像TVにおいて駐車目標位置Tの一部を隠している死角領域D付近の拡大図を表示している例である。駐車目標位置Tを設定したときの牽引車両10の位置を原点とする座標系において、牽引車両10の現在位置の座標および駐車目標位置Tの座標は取得可能である。また、保存制御部62は、駐車目標位置Tを設定したときの駐車目標画像(駐車目標位置Tが良好に写っている画像)を保存する際に駐車目標位置Tの座標を併せて保存している。したがって、合成制御部64bは、死角判定部54bにより駐車目標位置Tが死角領域Dに入ったことが判定されたら、表示装置26に拡大表示された現在画像の駐車目標位置Tに対応する部分に保存制御部62で保存された駐車目標位置Tの設定時の駐車目標画像に対して画像変換制御部64aで視点変換、トリミング、回転、拡縮等の処理を施した駐車目標画像を重畳する。この場合、現在画像の駐車目標位置Tに対応する部分の座標と保存された駐車目標画像の座標を一致させるように重畳することで、違和感の少ない合成画像が生成できる。
図9の表示例の場合、被牽引車両12によって駐車目標位置T(パイロン58a)が隠された現状の俯瞰画像TVと、保存された駐車目標画像によって死角領域Dに入っていた駐車目標位置T(パイロン58a)が視認可能になった補完俯瞰画像TV1とが並べて別ウインドウで表示される。この場合、運転者は、駐車目標位置Tが隠される死角領域Dが存在することを認識しつつ、表示装置26上で補完された部分(保存されていた駐車目標画像の表示部分)の認識をすることができる。また、併せて駐車目標位置Tと被牽引車両12の位置関係を理解させやすくすることができる。その結果、被牽引車両12の移動(牽引車両10の運転)をより容易にかつ安心感を持たせやすい状態で行わせることができる。
図10は、図8において表示装置26に表示されている俯瞰画像TVにおいて、死角領域Dで隠されている部分を、保存制御部62で保存された駐車目標画像で補完する別の表示例である。図10においては、駐車目標位置T(パイロン58a)が死角領域Dに入っている状態を示す実画像RVはそのまま表示されている。合成制御部64bは、死角判定部54bにより駐車目標位置Tが死角領域Dに入ったことが判定されたら、表示装置26の俯瞰画像TVで表示された現在画像の駐車目標位置Tに対応する部分に保存制御部62で保存された駐車目標画像を重畳する。この場合も合成制御部64bは、駐車目標位置Tの設定時の駐車目標画像に対して、視点変換、トリミング、回転、拡縮等の処理を施す。そして、合成制御部64bは、現在画像の座標と重畳する駐車目標画像の座標を一致させるように重畳する。合成制御部64bは、重畳する駐車目標画像を現在画像の全体に適用するのではなく、誘導経路Rによって隠された必要最低限の部分を補完するように、トリミングされた駐車目標画像を用いる。その結果、現在画像の全体が駐車目標位置Tの設定時に戻ってしまうような不都合を解消することができる。また、このとき、合成制御部64bは、重畳する駐車目標画像の透過率を変化させてもよい。例えば、重畳する駐車目標画像の透過率を低くした状態で駐車目標画像を重畳すれば、死角領域Dが存在しないように見える合成画像を表示することができる。逆に、重畳する駐車目標画像の透過率を高くした場合、現在画像が維持されつつ、薄い表示態様で保存された駐車目標画像が表示可能となる。その結果、例えば、駐車目標画像が保存された後に駐車目標位置Tの周囲状況が変化した場合、例えば、歩行者が進入してきたり、隣接する駐車スペースP1の駐車状況が変化したりした場合等に、最新の駐車目標位置Tの周辺の状況変化を合成画像に反映させることができる。また、透過態様で駐車目標画像が表示されることで、誘導経路Rが存在することおよび誘導経路Rが駐車目標画像によって補完されていることを運転者に認識させやすく、運転者の注意喚起にも寄与できる。なお、透過率の設定は、例えば操作入力部30等を用いて運転者が適宜変更できるようにしてもよいし、固定値とされてもよい。
図10の表示例の場合、周辺監視の表示が開始されたときと同様な構成の俯瞰画像TVおよび実画像RVの表示が継続され、死角判定部54bにより駐車目標位置Tが死角領域Dに入ったことが判定された場合に、死角領域Dで見えなくなった部分およびその周辺のみが保存されていた駐車目標画像により補完される。その結果、表示されている画像の急な切り替わりが行われることなく、駐車目標位置Tの周辺情報が継続的に表示可能となる。また、画像内容の大きな変化を伴わないので、違和感なく画像の視認を継続させることができる。さらに、図10の表示例の場合、図9のようにアイコンを伴う加工画面のみの表示ではなく、実画像RVの表示が継続されるので、実画像RVの表示による安心感を提供することができる。なお、図9に示すような表示態様にするか図10に示すような表示態様にするかは、運転者に選択させるようにしてもよいし、そのときの状況に応じて制御部56で決定してもよい。
このように、例えば、駐車目標位置Tが死角領域Dに入ったことを契機に保存していた駐車目標画像により現在画像を補完するので、補完後は、スムーズな画像表示が行われ、死角領域Dによる影響が出た場合に、直ちにその影響が軽減できる。その結果、現在画像の表示に違和感が出ることを抑制しつつ、被牽引車両12の移動(牽引車両10の運転)をより容易にかつ安心感を持たせやすい状態で行わせることができる。
比較制御部64cは、保存制御部62が保存している複数の駐車目標画像を比較することにより、現在画像に関連付ける駐車目標画像を選択することにより、上述した透過率の変更と同様に駐車目標位置Tの周辺の状況変化を現在画像に反映させることができる。上述したように保存制御部62は、駐車目標位置Tが設定されたときに駐車目標画像の保存を開始する。したがって、駐車目標位置Tの周辺の状況変化が時系列的に保存される。そこで、比較制御部64cは、駐車目標位置Tが設定されたときに保存された第一の駐車目標画像の画像内容と、死角判定部54bによって駐車目標位置Tが死角領域Dに入ったと判定される直前に保存された第二の駐車目標画像の画像内容とを比較する。この比較には、例えば、NCC(Normalized Cross-Correlation:正規化相互相関)やSAD(Sum of Absolute Difference:輝度値の差の絶対値の合計を用いる)等の一般的な画像認識手法が利用可能である。
比較制御部64cは、第一の駐車目標画像と第二の駐車目標画像を比較した結果、両者の間に所定値以上の差異がある場合、現在画像に関連付けて表示する画像として第二の駐車目標画像を選択する。すなわち、第一の駐車目標画像と第二の駐車目標画像との間に所定値以上の差異がある場合、駐車目標位置Tが死角領域Dに入るまでに、駐車目標位置Tの周辺状況に変化が生じたと見なせる。例えば、歩行者が進入してきたり、隣接する駐車スペースP1の駐車状況が変化したりしたと推定できる。合成制御部64bは、死角判定部54bによって駐車目標位置Tが死角領域Dに入ったと判定された場合に、比較制御部64cが選択した第二の駐車目標画像を現在画像に関連付けて表示する。その結果、合成制御部64bは、第一の駐車目標画像(駐車目標位置Tが設定されたときに保存された画像)を関連付ける場合に比べて、現在の周辺状況をより正確に再現した補完画像を合成することができる。また、第二の駐車目標画像の透過率を高める必要がなくなるので、透過率を高める場合に比べて駐車目標位置Tが濃く表示され、より違和感が低減された認識しやすい合成画像を生成することができる。
第一の駐車目標画像の画像内容と第二の駐車目標画像の画像内容との間の差異が所定値未満の場合、第一の駐車目標画像の保存から第二の駐車目標画像を保存するまでの間に、駐車目標位置Tの周辺で状況変化が実質的に無かったと推定することができる。この場合、運転者が移動目標位置を最初に認識したときに保存した第一の駐車目標画像を現在画像に関連付ける画像として用いる。第一の駐車目標画像は、前述したように、駐車目標位置Tを側方の撮像部24d等で正面から近い距離で撮像した画像である可能性が高い。そのため、現在画像と関連付けるための視点変換等の画像処理を施しても解像度に大きな低下を伴うことなく、現在画像と合成することができる。その結果、第二の駐車目標画像を用いた場合に比べて、見やすい合成画像を得やすい。なお、この場合、駐車目標位置Tの周辺で状況変化が実質的にないと推定できるので、第一の駐車目標画像の透過率は低いままでもよい。
上述したように、第二の駐車目標画像は、牽引車両10(被牽引車両12)が駐車のために移動している間に撮像される画像になるので、第一の駐車目標画像に比べて駐車目標位置Tから撮像位置が遠かったり、駐車目標位置Tを撮像範囲の周縁領域で捕らえた画像であったりする可能性がある。この場合、現在画像と関連付けて表示するために視点変換処理等を施すと解像度等が低下し、画像品質が駐車目標位置Tに近い位置で正面から撮像した可能性のある第一の駐車目標画像より劣る場合がある。したがって、透過率を高めて薄い表示になるものの解像度が高い可能性のある第一の駐車目標画像を用いた表示を行うか、解像度が劣る可能性はあるが濃い見やすい表示が可能な第二の駐車目標画像を用いた表示を行うかは、操作入力部30等を介して運転者に選択させるようにしてもよい。
上述のように構成される周辺監視装置(周辺監視システム100)による表示処理の詳細を図11、図12のフローチャートに基づいて説明する。なお、図11は処理の前半部分を説明するフローチャートであり、図12は、処理の後半部分を説明するフローチャートである。図11、図12に示す処理は、例えば、牽引車両10のイグニッションスイッチがONの場合に所定の処理周期で実行される。
まず、CPU36aは、連結判定部54aを介して牽引車両10に被牽引車両12が連結済みか否かの確認を行う(S100)。連結判定部54aによる被牽引車両12の連結確認ができない場合(S100のNo)、このフローを一旦終了する。一方、連結判定部54aによる被牽引車両12の連結確認ができた場合(S100のYes)、CPU36aは、トレーラ諸元取得部50fによる被牽引車両12の諸元が取得済みか否か確認する(S102)。例えば、操作入力部30等を介して被牽引車両12の諸元が入力されていない場合(S102のNo)、トレーラ諸元取得部50fは、表示装置26に被牽引車両12の諸元の入力を促す画面を表示させ、被牽引車両12の諸元を運転者に入力させて取得する(S104)。トレーラ諸元取得部50fが既に被牽引車両12の諸元を取得済みの場合(S102のYes)、S104の処理をスキップする。
続いて、CPU36aは、周辺監視要求取得部50aが周辺監視を開始する旨を示す要求信号を取得したか確認し、要求信号を取得していない場合(S106のNo)、このフローを一旦終了する。周辺監視要求取得部50aが周辺監視を開始する旨を示す要求信号を取得している場合(S106のYes)、画像取得部50bは、各撮像部24(24a〜24d)による撮像される撮像画像データ(画像)を取得する(S108)。画像変換制御部64aは、画像取得部50bが取得した撮像画像データに視点変換等の画像処理を施し、例えば図8に示すような俯瞰画像TVを生成する。また、制御部56は、通常画面として表示装置26に表示されていたナビゲーション画面やオーディオ画面から、例えば、画像変換制御部64aが生成する俯瞰画像TVおよび撮像部24aが撮像した後方画像である実画像RVを表示する周辺監視画面に切り替え、牽引車両10の周辺画像を表示する(S110)。なお、この場合、指標取得部50gは、自車アイコン66bをROM36b等から読出し俯瞰画像TVの所定の位置に表示する。
CPU36aは、周辺監視を開始すると、目標設定部52により駐車目標位置Tの設定が行われたか否かの確認を行い、駐車目標位置Tがまだ設定されていない場合(S112のNo)、一旦このフローを終了する。一方、目標設定部52による駐車目標位置Tの設定が行われた場合(S112のYes)、保存制御部62は、駐車目標位置Tの設定が行われたときの当該駐車目標位置Tを含む画像を駐車目標画像として保存するとともに、駐車目標位置Tの座標を関連付けて保存する(S114)。そして、保存制御部62は、駐車目標位置Tを含む駐車目標画像の継続的な保存を開始する。
なお、駐車目標位置Tは、当該駐車目標位置Tが設定されたときの牽引車両10の現在位置を原点とする座標上で、原点に対する相対座標で示される。自車位置取得部50dは、座標上での牽引車両10の現在位置を取得(推定)する(S116)。また、誘導経路取得部50eは、図5で説明したように、牽引車両10の現在位置(例えば、後輪14Rの車軸の中央部分である誘導基準点B)から駐車目標位置Tに対応して設定される誘導目標点Cに至る誘導経路Rを取得(算出)する(S118)。CPU36aは、取得した誘導経路Rに沿って誘導基準点B(牽引車両10)が移動するような経路誘導を実行する(S120)。なお、この経路誘導は、操舵やアクセル操作、ブレーキ操作等の運転者が行うべき操作を表示装置26に表示したり音声出力装置28を用いた音声出力したりすることにより、運転者の操作で牽引車両10を誘導経路Rに沿って移動させてもよい。また、別の実施形態では、CPU36aは、牽引車両10に搭載された各種センサやアクチュエータにより操舵やアクセル操作、ブレーキ操作等の全ての運転操作を自動的に実行することで、牽引車両10を誘導経路Rに沿って移動させてもよい。また、CPU36aは、一部の操作を自動で実行し、残りの操作を運転者に表示や音声で提供して行わせるようにしてもよい。
経路誘導が開始されて牽引車両10および被牽引車両12が移動を開始すると、連結角度取得部50cは、牽引車両10と被牽引車両12との連結角度の取得を開始する(S122)。また、指標取得部50gは、俯瞰画像TVに表示されている被牽引車両12の俯瞰画像に重畳するトレーラアイコン66aをトレーラ諸元取得部50fの取得した被牽引車両12の諸元に基づきROM36b等から読み出し、合成制御部64bは俯瞰画像TVに重畳表示する(S124)。なお、被牽引車両12の俯瞰画は、俯瞰画像TVが表示される場合に、撮像画像データを視点変換することにより表示可能であるが、形状が延びる等不正確な表示となることがある。したがって、指標取得部50gは経路誘導の開始の有無に拘わらず、俯瞰画像TVが表示された時点でトレーラアイコン66aを取得し、合成制御部64bはトレーラアイコン66aを表示されてもよい。
また、死角判定部54bは、牽引車両10(被牽引車両12)の移動中、駐車目標位置Tが死角領域Dに入るか否かの死角判定を実行する(S126)。そして、駐車目標位置Tが死角領域Dに入った場合(S128のYes)、比較制御部64cは、保存制御部62が駐車目標位置Tの設定時に保存した第一の駐車目標画像の画像内容と駐車目標位置Tが死角領域Dに入る直前の第二の駐車目標画像の画像内容との比較を行う(S130)。比較の結果、第一の駐車目標画像の画像内容と第二の駐車目標画像の画像内容との差異が所定値以上ではない場合(S132のNo)、合成制御部64bは、駐車目標位置Tが設定時の第一の駐車目標画像を選択する(S134)。そして、合成制御部64bは、選択した第一の駐車目標画像(過去画像)を表示装置26に現在表示されている現在画像に関連付けて表示する(S136)。すなわち、図9、図10に示す例のように、死角領域Dによって隠された駐車目標位置Tを当該駐車目標位置Tが設定されたときに保存された比較的鮮明な状態の高画質の駐車目標画像で補完し、牽引車両10および被牽引車両12と駐車目標位置Tとの位置関係や駐車スペースPに対する被牽引車両12の移動状況等を認識しやすくする。
S132において、比較の結果、第一の駐車目標画像の画像内容と第二の駐車目標画像の画像内容との差異が所定値以上の場合(S132のYes)、合成制御部64bは、駐車目標位置Tが死角領域Dに入る直前に保存制御部62が保存した第二の駐車目標画像を選択する(S138)。そして、合成制御部64bは、選択した第二の駐車目標画像(過去画像)を現在表示装置26に表示されている現在画像に関連付けて表示する(S136)。すなわち、駐車目標位置Tが死角領域Dによって隠される直前の駐車目標位置Tの周辺状況を反映した駐車目標画像で現在画像を補完する。その結果、駐車目標位置Tが設定されてから死角領域Dに入るまでに例えば歩行者等が駐車目標位置Tや駐車スペースPに進入している場合でも、その状況を反映させた合成画像が生成される。この場合、前述したように、第二の駐車目標画像の解像度が低下している可能性はあるものの、最新の周囲状況を反映させた合成画像により牽引車両10および被牽引車両12と駐車目標位置Tとの位置関係や駐車スペースPに対する被牽引車両12の移動状況等を認識させることができる。
なお、S128において、駐車目標位置Tが死角領域Dに入っていない場合(S128のNo)、S130〜S138の処理をスキップする。そして、CPU36aは、牽引車両10(誘導基準点B)が駐車目標位置T(誘導目標点C)に到達したか否かの判定を行い、到達している場合(S140のYes)、周辺監視を終了する(S142)。すなわち、制御部56は、表示装置26の表示を周辺監視画面から通常のナビゲーション画面やオーディオ画面等を表示する通常表示に戻す。一方、牽引車両10(誘導基準点B)が駐車目標位置T(誘導目標点C)に到達していない場合(S140のNo)、S114に移行して、S114以降の処理を実行する。なお、この場合、現在の牽引車両10の移動位置における駐車目標画像の保存を行うとともに、牽引車両10の現在位置の再取得を行い、牽引車両10の位置と保存画像との対応ずれを解消する。また、牽引車両10の現在位置から誘導目標点Cまでの誘導経路Rを再取得し誤差修正を行う。
図11、図12に示すフローチャートは一例であり、駐車目標位置Tが死角領域Dに入った場合に、事前に保存した駐車目標位置Tを含む駐車目標画像を用いて、現在表示している現在画像を補完することができれば、処理ステップの入れ替えや処理ステップの増減等が適宜可能で、同様の効果を得ることができる。例えば、S130〜S138の処理に代えて、駐車目標位置Tを設定したときに保存した駐車目標画像の透過度を変化させて現在画像に関連付けて表示するようにしてもよい。
このように、本実施形態の周辺監視装置(周辺監視システム100)によれば、牽引車両10に既に搭載されている撮像部24(24a〜24d)を利用したシステムにより、コストの増加を抑制しつつ、また被牽引車両12の仕様に拘わらず周囲の状況把握が容易にできる周辺監視画像が提供できる。そして、この周辺監視画像を運転者に提供することにより、運転者に被牽引車両12を容易に、かつ安心して駐車スペースPに進入させることができる。
上述した実施形態では、駐車スペースPに被牽引車両12のみを駐車する例を説明した。すなわち、被牽引車両12の駐車後、牽引車両10は被牽引車両12を切り離して移動する例を示したが、被牽引車両12と共に牽引車両10が駐車スペースPに駐車されるようにしてもよい。この場合、駐車スペースPまたは駐車目標位置Tの設定時に、駐車スペースPが牽引車両10および被牽引車両12が収まる広さであるか否かの判定が行われ、被牽引車両12および牽引車両10を駐車スペースPに収めるような誘導経路Rが算出される。この場合も上述した実施形態と同様の効果を得ることができる。
また、上述した実施形態では、被牽引車両12を駐車スペースPに移動させる例を示したが、上述した周辺監視装置は、駐車に限定されず、被牽引車両12を幅寄せさせたり、方向転換する際に移動させたりする際にも適用可能である。すなわち、駐車以外においても被牽引車両12の移動により形成された死角領域Dに視覚化が可能であり、上述した実施形態と同様の効果を得ることができる。
また、上述した実施形態では、保存制御部62は、画像取得部50bが取得した撮像画像データを駐車目標画像としてそのまま保存する例を示したが、例えば、画像処理を施して俯瞰画像等現在画像に関連付けやすい形態で保存してもよい。また、上述した実施形態では、保存制御部62が保存した駐車目標画像を駐車目標位置Tが誘導経路Rに入った場合に表示する例を示したが、別の実施形態では、駐車目標位置Tが設定された後、表示装置26に例えば別ウインドウを開き、そこに常時表示するようにしてもよい。
本実施形態のCPU36aで実行される周辺監視のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…牽引車両、12…被牽引車両、24,24a,24b,24c,24d…撮像部、26…表示装置、30…操作入力部、36…ECU、36a…CPU、50…取得部、50a…周辺監視要求取得部、50b…画像取得部、50c…連結角度取得部、50d…自車位置取得部、50e…誘導経路取得部、50f…トレーラ諸元取得部、50g…指標取得部、52…目標設定部、54…判定部、54a…連結判定部、54b…死角判定部、56…制御部、62…保存制御部、64…画像制御部、64a…画像変換制御部、64b…合成制御部、64c…比較制御部、66a…トレーラアイコン、66b…自車アイコン、100…周辺監視システム、B…誘導基準点、C…誘導目標点、D…死角領域、P…駐車スペース、R…誘導経路、RV…実画像、T…駐車目標位置、TV…俯瞰画像、TV1…補完俯瞰画像。
Claims (8)
- 被牽引車両を連結可能な牽引車両に前記被牽引車両が連結されているか否かを判定する連結判定部と、
前記牽引車両に前記被牽引車両が連結されている場合に、少なくとも前記被牽引車両を移動させる際の目標となる移動目標位置を設定する目標設定部と、
前記牽引車両に設けられた撮像部によって撮像される周辺画像のうち前記移動目標位置を含む画像を移動目標画像として保存する保存制御部と、
保存された前記移動目標画像を、前記撮像部によって撮像されて表示装置に現在表示されている現在画像に含まれる前記牽引車両または前記被牽引車両と関連付けて表示させる画像制御部と、
を備える周辺監視装置。 - 前記保存制御部は、前記移動目標位置が設定されたときに撮像された前記移動目標画像を少なくとも保存する請求項1に記載の周辺監視装置。
- 前記保存制御部は、前記移動目標位置が設定されたときに前記移動目標画像の保存を開始する請求項1または請求項2に記載の周辺監視装置。
- 前記移動目標位置が、前記撮像部の撮像領域において前記被牽引車両による死角領域に入るか否かを判定する死角判定部をさらに含み、
前記画像制御部は、前記移動目標位置が前記死角領域に入る場合に、保存された前記移動目標画像を前記牽引車両または前記被牽引車両と関連付けて表示させる請求項1から請求項3のいずれか1項に記載の周辺監視装置。 - 前記画像制御部は、前記現在画像において前記移動目標位置が前記死角領域に入る場合、前記死角領域の中で少なくとも前記移動目標位置に対応する領域に、保存された前記移動目標画像に含まれる少なくとも前記移動目標位置の画像を重畳する請求項4に記載の周辺監視装置。
- 前記画像制御部は、前記死角領域に前記移動目標画像を重畳する場合、当該移動目標画像を透過態様で重畳する請求項5に記載の周辺監視装置。
- 前記画像制御部は、前記移動目標位置が設定されたときに保存された第一の移動目標画像の画像内容と、前記移動目標位置が前記死角領域に入る直前に保存された第二の移動目標画像の画像内容との間に所定値以上の差異がある場合、前記第二の移動目標画像を前記現在画像と関連付けて表示させる請求項4から請求項6のいずれか1項に記載の周辺監視装置。
- 前記移動目標位置の設定が行われたときの前記牽引車両の位置を基準として当該牽引車両の現在位置を取得する位置取得部と、
前記牽引車両と前記被牽引車両との連結角度を取得する角度取得部と、
前記現在画像に重畳可能で、前記被牽引車両の大きさに対応するトレーラ指標を取得する指標取得部と、
をさらに備え、
前記画像制御部は、保存された前記移動目標画像を前記現在画像に関連付けて表示する場合、前記牽引車両の前記現在位置と前記連結角度とに基づき前記トレーラ指標の表示姿勢を決定し、前記トレーラ指標を前記現在画像に重畳表示させる請求項1から請求項7のいずれか1項に記載の周辺監視装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214709A JP6972938B2 (ja) | 2017-11-07 | 2017-11-07 | 周辺監視装置 |
PCT/JP2018/040082 WO2019093176A1 (ja) | 2017-11-07 | 2018-10-29 | 周辺監視装置 |
US16/761,372 US11648932B2 (en) | 2017-11-07 | 2018-10-29 | Periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017214709A JP6972938B2 (ja) | 2017-11-07 | 2017-11-07 | 周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019087875A JP2019087875A (ja) | 2019-06-06 |
JP6972938B2 true JP6972938B2 (ja) | 2021-11-24 |
Family
ID=66438426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017214709A Active JP6972938B2 (ja) | 2017-11-07 | 2017-11-07 | 周辺監視装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11648932B2 (ja) |
JP (1) | JP6972938B2 (ja) |
WO (1) | WO2019093176A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11034298B2 (en) | 2019-11-18 | 2021-06-15 | Continental Automotive Systems, Inc. | Vehicle surround view system for identifying unobservable regions while reversing a trailer |
JP7271416B2 (ja) * | 2019-12-27 | 2023-05-11 | 株式会社クボタ | 作業車両及び作業車両の走行管理システム |
EP3889906A1 (en) * | 2020-03-31 | 2021-10-06 | Continental Automotive GmbH | Method and system for calculating vehicle trailer angle |
CN111612760B (zh) * | 2020-05-20 | 2023-11-17 | 阿波罗智联(北京)科技有限公司 | 用于检测障碍物的方法和装置 |
US20220135126A1 (en) * | 2020-11-05 | 2022-05-05 | GM Global Technology Operations LLC | Trailer tracking control |
US11975614B2 (en) * | 2021-08-11 | 2024-05-07 | Ford Global Technologies, Llc | Vehicle-to-vehicle towing communication link |
CN115056802B (zh) * | 2022-08-17 | 2023-01-17 | 北京主线科技有限公司 | 车辆自动驾驶方法、装置、设备及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3436436B2 (ja) | 1995-03-22 | 2003-08-11 | 日産ディーゼル工業株式会社 | 車両の後方確認装置 |
JP3674473B2 (ja) * | 2000-08-03 | 2005-07-20 | いすゞ自動車株式会社 | 車両後方視界支援装置 |
JP4263534B2 (ja) | 2003-05-16 | 2009-05-13 | トヨタ自動車株式会社 | 車両用走行支援装置 |
JP2008149764A (ja) | 2006-12-14 | 2008-07-03 | Alpine Electronics Inc | 車両周辺監視装置 |
DE102007011180A1 (de) * | 2007-03-06 | 2008-09-11 | Daimler Ag | Rangierhilfe und Verfahren für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbare Fahrzeugelementen bestehen |
JP2009060499A (ja) * | 2007-09-03 | 2009-03-19 | Sanyo Electric Co Ltd | 運転支援システム及び連結車両 |
JP2010030341A (ja) | 2008-07-25 | 2010-02-12 | Asmo Co Ltd | 後退確認装置 |
JP2012105158A (ja) * | 2010-11-11 | 2012-05-31 | Mitsubishi Fuso Truck & Bus Corp | 連結車両用鳥瞰図表示システム |
CN105009574B (zh) * | 2013-03-28 | 2018-07-17 | 爱信精机株式会社 | 周边监视装置及周边监视方法、记录介质 |
DE102013214368A1 (de) * | 2013-07-23 | 2015-01-29 | Application Solutions (Electronics and Vision) Ltd. | Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs |
JP6313992B2 (ja) * | 2014-02-18 | 2018-04-18 | クラリオン株式会社 | 牽引車用周囲監視装置 |
JP2016013793A (ja) * | 2014-07-03 | 2016-01-28 | 株式会社デンソー | 画像表示装置、画像表示方法 |
JP6340969B2 (ja) | 2014-07-14 | 2018-06-13 | アイシン精機株式会社 | 周辺監視装置、及びプログラム |
US10632917B2 (en) * | 2014-08-12 | 2020-04-28 | Sony Corporation | Signal processing device, signal processing method, and monitoring system |
JP6425991B2 (ja) * | 2014-12-19 | 2018-11-21 | アルパイン株式会社 | 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 |
KR101859045B1 (ko) * | 2016-11-02 | 2018-05-17 | 엘지전자 주식회사 | 차량용 운전 보조 장치 및 차량 |
-
2017
- 2017-11-07 JP JP2017214709A patent/JP6972938B2/ja active Active
-
2018
- 2018-10-29 WO PCT/JP2018/040082 patent/WO2019093176A1/ja active Application Filing
- 2018-10-29 US US16/761,372 patent/US11648932B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019093176A1 (ja) | 2019-05-16 |
JP2019087875A (ja) | 2019-06-06 |
US20210370912A1 (en) | 2021-12-02 |
US11648932B2 (en) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6972938B2 (ja) | 周辺監視装置 | |
US10752238B2 (en) | Parking assistance device | |
JP6897340B2 (ja) | 周辺監視装置 | |
CN102933428B (zh) | 驾驶支援装置 | |
WO2018061294A1 (ja) | 周辺監視装置 | |
CN107792061B (zh) | 停车辅助装置 | |
US10748298B2 (en) | Periphery monitoring device | |
US10315569B2 (en) | Surroundings monitoring apparatus and program thereof | |
US20190236954A1 (en) | Parking area detection device | |
CN107925746B (zh) | 周边监控装置 | |
JP6897294B2 (ja) | 牽引支援装置 | |
WO2018150642A1 (ja) | 周辺監視装置 | |
US20200001922A1 (en) | Tow support device | |
US11400974B2 (en) | Towing assist device for notifying driver of backup conditions | |
JP7147300B2 (ja) | 牽引支援装置 | |
JP7013783B2 (ja) | 牽引支援装置 | |
US11301701B2 (en) | Specific area detection device | |
JP7110577B2 (ja) | 周辺監視装置 | |
US10922977B2 (en) | Display control device | |
US20230093819A1 (en) | Parking assistance device | |
JP7000787B2 (ja) | 周辺監視装置 | |
JP2024009685A (ja) | 駐車支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6972938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |