JP7147300B2 - 牽引支援装置 - Google Patents

牽引支援装置 Download PDF

Info

Publication number
JP7147300B2
JP7147300B2 JP2018128596A JP2018128596A JP7147300B2 JP 7147300 B2 JP7147300 B2 JP 7147300B2 JP 2018128596 A JP2018128596 A JP 2018128596A JP 2018128596 A JP2018128596 A JP 2018128596A JP 7147300 B2 JP7147300 B2 JP 7147300B2
Authority
JP
Japan
Prior art keywords
vehicle
image
angle
towed vehicle
towing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018128596A
Other languages
English (en)
Other versions
JP2020006777A (ja
Inventor
哲也 丸岡
一矢 渡邊
欣司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2018128596A priority Critical patent/JP7147300B2/ja
Priority to US16/502,243 priority patent/US11292387B2/en
Publication of JP2020006777A publication Critical patent/JP2020006777A/ja
Application granted granted Critical
Publication of JP7147300B2 publication Critical patent/JP7147300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/02—Steering specially adapted for trailers for centrally-pivoted axles
    • B62D13/025—Steering specially adapted for trailers for centrally-pivoted axles the pivoted movement being initiated by the coupling means between tractor and trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、牽引支援装置に関する。
従来、被牽引車両（トレーラ）を牽引する牽引車両（トラクター）が知られている。牽引車両の後部には、牽引ブラケットおよびカップリングボール（ヒッチボール）等で構成される牽引装置が設けられ、被牽引車両の先端には被牽引装置（カプラ）が設けられている。そして、ヒッチボールとカプラを接続することで、牽引車両は被牽引車両を旋回可能に牽引することができる。被牽引車両は、牽引車両が例えば、駐車等のために後退走行する場合、つまり、被牽引車両が牽引車両によって押し動かされる場合、被牽引車両は牽引車両の操舵状態とは異なる挙動を示す場合がある。そのときの牽引車両と被牽引車両との連結角度によっては、例えば、牽引装置の部分で被牽引車両が大きく折れ曲がることがある。この場合、牽引車両の後退走行時の操舵によって連結角度を変更（修正）することが可能である。しかしながら連結角度がある角度以上になると、牽引車両の後退走行時の操舵では、連結角度を小さくする側に変更することができなくなる、いわゆる「ジャックナイフ状態」に陥る場合がある。そこで、連結角度の検出を行い、「ジャックナイフ状態」になることを運転者に警告するシステムが提案されている。
米国特許第９５５５８１３号明細書
上述の警告システムの場合、「ジャックナイフ状態」になることは認識しやすくなるが、牽引車両と被牽引車両との位置関係の把握までは十分にできないという問題があった。また、「ジャックナイフ状態」の警告のみでは、実際の車両状態が認識し難く、運転者の不安感を煽ってしまう場合があった。例えば、牽引車両に対して被牽引車両が大きく旋回している（折れ曲がっている）場合、牽引車両と被牽引車両とが接触するのではないかという不安感を煽ってしまう場合があった。そこで、「ジャックナイフ状態」になる場合に、牽引車両と被牽引車両との位置関係、すなわち、現在の状態を認識させやすくすることができる牽引支援装置が提供できれば、運転者の不安感を軽減させ易くすることができるとともに、より正確な操作（操縦）判断を行わせやすくすることが可能になり有意義である。
本発明の実施形態にかかる牽引支援装置は、例えば、被牽引車両を連結可能な牽引車両に設けられた撮像部で周辺画像として撮像された、上記牽引車両の後方領域を含む後方画像と上記牽引車両の側方領域を含む側方画像とを逐次取得する画像取得部と、上記牽引車両と上記被牽引車両との連結角度を取得する角度取得部と、上記被牽引車両を連結した上記牽引車両が後退走行可能な状態で、表示部に上記側方画像が表示されている場合に、上記牽引車両の後退走行時の操舵で上記連結角度を小さくする変更制御が不能となる第一の角度以上になった場合、上記表示部に表示する上記周辺画像を上記側方画像から上記被牽引車両と上記牽引車両とを連結する連結部材が表示された上記後方画像に切り替える表示処理部と、を備える。この構成によれば、例えば、牽引車両の後退走行時の操舵で連結角度を小さくする変更制御が不能となる、いわゆる「ジャックナイフ状態」になる第一の角度以上になった場合、表示部の表示内容を側方画像には映り込まない連結部材が含まれる後方画像に切り替える。その結果、牽引車両と被牽引車両との位置関係を把握させやすくすることができる。
また、実施形態にかかる牽引支援装置の上記表示処理部は、例えば、上記被牽引車両を連結した上記牽引車両が後退走行可能な状態に移行した場合に、上記表示部に上記周辺画像として上記後方画像を表示し、上記牽引車両の前後方向を基準に上記連結角度が上記第一の角度より小さい第二の角度以上になった場合に上記表示部に表示する上記周辺画像を上記被牽引車両の旋回内側の上記側方画像に切り替え、上記第一の角度になった場合に上記表示部に表示する上記周辺画像を上記後方画像に切り替えるようにしてもよい。この構成によれば、後退走行を開始する時点での牽引車両と被牽引車両との位置関係の把握、第一の角度（「ジャックナイフ状態」）に至らない、第二の角度以上になった場合の被牽引車両の挙動の把握をさせやすくすることができる。その上で、第一の角度（「ジャックナイフ状態」）になった場合に、被牽引車両の旋回内側が表示されるため牽引車両と被牽引車両との位置関係を把握させやすくすることができる。その結果、後退走行が可能な状態になってからの一連の牽引車両と被牽引車両との位置関係の把握をより理解させやすくすることができる。
また、実施形態にかかる牽引支援装置の上記表示処理部は、例えば、上記連結角度が上記第一の角度以上になった場合に表示する上記後方画像における車幅方向の表示領域を、上記牽引車両が後退走行可能な状態に移行した場合に表示する上記後方画像における車幅方向の表示領域より広げるようにしてもよい。この構成によれば、例えば、第一の角度（「ジャックナイフ状態」）になった場合に、牽引車両に対して大きな連結角度で曲がった状態の被牽引車両との位置関係をより認識させやすくすることができる。
また、実施形態にかかる牽引支援装置の上記連結角度が上記第一の角度になった場合に、例えば、上記牽引車両の後退走行時の操舵で上記連結角度を小さくする変更制御が不能であることを報知する報知部をさらに備えてもよい。この構成によれば、例えば、表示部の表示内容が切り替えられた理由を運転者に容易に理解させることができる。また、連結角度が第一の角度（「ジャックナイフ状態」）になったことにより、運転に注意が必要であることを認識させやすくすることができる。
また、実施形態にかかる牽引支援装置の上記表示処理部は、例えば、上記連結角度が上記第一の角度以上になった場合に、上記牽引車両と上記被牽引車両とが接触する可能性のある位置を上記表示部に表示するようにしてもよい。この構成によれば、例えば、連結角度が第一の角度（「ジャックナイフ状態」）になった以降に発生し得る現象を運転者に理解させやすくなり、より確実な注意喚起を行うことができる。
図１は、実施形態にかかる牽引支援装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す側面図である。 図２は、実施形態にかかる牽引支援装置を搭載する牽引車両と被牽引車両の連結状態の一例を模式的に示す上面図である。 図３は、実施形態にかかる牽引支援装置を含む牽引支援システムの構成の例示的なブロック図である。 図４は、実施形態にかかる牽引支援装置をＣＰＵ上で実現する場合の例示的なブロック図である。 図５は、実施形態にかかる牽引支援装置による表示例であり、被牽引車両が連結状態であり牽引車両が後退走行可能状態に移行した場合に表示される、リア画像と俯瞰画像の一例を示す模式図である。 図６は、実施形態にかかる牽引支援装置による表示例であり、被牽引車両が連結状態であり牽引車両が後退走行可能状態で、牽引車両と被牽引車両との連結角度が第二の角度以上になった場合に表示される、サイド画像と俯瞰画像の一例を示す模式図である。 図７は、実施形態にかかる牽引支援装置による表示例であり、被牽引車両が連結状態であり牽引車両が後退走行可能状態で、牽引車両と被牽引車両との連結角度が第一の角度以上になった場合に表示される、リア画像と俯瞰画像の一例を示す模式図である。 図８は、実施形態にかかる牽引支援装置による表示例であり、被牽引車両が連結状態であり牽引車両が後退走行可能状態で、牽引車両と被牽引車両との連結角度が第一の角度以上になった場合に表示される、ワイドリア画像と俯瞰画像の一例を示す模式図である。 図９は、実施形態にかかる牽引支援装置による表示切替の処理手順の一例を説明するフローチャートである。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
図１は、実施形態の牽引支援装置を搭載する牽引車両１０および牽引車両１０に牽引される被牽引車両１２が示された側面図である。図１では、紙面左方向を牽引車両１０を基準とする前方、紙面右方向を牽引車両１０を基準とする後方としている。図２は、図１に示す牽引車両１０および被牽引車両１２の上面図である。
牽引車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。牽引車両１０は図１に示されるようなスポーツ用多目的車両（Sport Utility Vehicle：ＳＵＶ）であってもよいし、車両の後ろ側に荷台が設けられている、いわゆる「ピックアップトラック」であってもよい。また、一般的な乗用車であってもよい。牽引車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、牽引車両１０における車輪１４（前輪１４Ｆ、後輪１４Ｒ）の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
牽引車両１０のリヤバンパ１６ａの例えば車幅方向の中央部の下部からは、被牽引車両１２を牽引するための牽引装置１８（ヒッチ）が突出している。牽引装置１８は牽引車両１０の例えばフレームに固定されている。牽引装置１８は、一例として、垂直方向（車両上下方向）に立設された先端部が球状のヒッチボール１８ａを備え、このヒッチボール１８ａに、被牽引車両１２に固定された連結部材２０の先端部に設けられたカプラ２０ａが覆い被さる。その結果、牽引車両１０と被牽引車両１２とが連結されるとともに、牽引車両１０に対して被牽引車両１２が車幅方向に揺動（旋回）可能となっている。つまり、ヒッチボール１８ａは、被牽引車両１２（連結部材２０）に前後左右の動きを伝え、また加速や減速のパワーを受け止めることになる。
被牽引車両１２は、例えば、図１に示すように、搭乗空間、居住区間、収納空間等のうち少なくとも一つを含む箱形タイプであってもよいし、荷物（例えば、コンテナやボート等）を搭載する荷台タイプであってもよい。図１に示す被牽引車両１２は、一例として一対のトレーラ車輪２２を備える。図１の被牽引車両１２は、駆動輪や操舵輪を含まない従動輪を備える従動車両である。
牽引車両１０には、当該牽引車両１０の周辺の状況を撮像する複数の撮像部２４として、例えば四つの撮像部２４ａ～２４ｄが設けられている。撮像部２４は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部２４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部２４は、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮像することができる。
撮像部２４ａは、例えば、牽引車両１０の後側のリヤハッチ１０ａのリアウインドウの下方の壁部に設けられている。撮像部２４ａの光軸は斜め下方に向けて設定されている。よって、撮像部２４ａは、例えば、牽引車両１０の後端部、連結部材２０および被牽引車両１２の少なくとも前端部を含む、牽引車両１０の後方領域（例えば、二点鎖線で示す範囲、図１参照）を含むリア（後方）画像を逐次撮影し、撮像画像データとして出力する。なお、撮像部２４ａによって撮像された撮像画像データは、後方領域を示す他、牽引車両１０と被牽引車両１２の連結状態（例えば、連結角度、連結の有無等）の検出に用いることができる。この場合、撮像部２４ａの撮像した撮像画像データに基づき被牽引車両１２との連結状態や連結角度が取得できるので、システム構成が簡略化できる。
また、撮像部２４ｂは、例えば、牽引車両１０の右側端部のドアミラー１０ｂに設けられている。撮像部２４ｂは、牽引車両１０の右側方領域を含む右サイド（側方）画像を逐次撮影し、撮像画像データとして出力する。なお、右サイド画像には、牽引車両１０の右後方領域も含まれ、牽引車両１０に連結された被牽引車両１２の右側面等を撮像範囲に含む。したがって、撮像部２４ｂは、被牽引車両１２が右方向に旋回した場合の挙動や周辺の物体との位置関係等を撮像することができる。
同様に、撮像部２４ｃは、例えば、牽引車両１０の左側端部のドアミラー１０ｃに設けられている。撮像部２４ｃは、牽引車両１０の左側方領域を含む左サイド画像を逐次撮影し、撮像画像データとして出力する。なお、左サイド（側方）画像には、牽引車両１０の左後方領域も含まれ、牽引車両１０に連結された被牽引車両１２の左側面等を撮像範囲に含む。したがって、撮像部２４ｃは、被牽引車両１２が左方向に旋回した場合の挙動や周辺の物体との位置関係等を撮像することができる。
撮像部２４ｄは、例えば、牽引車両１０の前側、すなわち車両前後方向の前方端部のフロントバンパー１６ｂに設けられている。撮像部２４ｄは、例えば、牽引車両１０の前方領域を含むフロント画像を逐次撮影し、撮像画像データとして出力する。フロンド（前方）画像は、牽引車両１０の前方状態の表示や牽引車両１０の予想進路を表示する場合に利用できる。
各撮像部２４は、隣接する撮像部２４の撮像領域の一部が重複し牽引車両１０の周囲全体をカバーする撮像画像データを取得できるように設置されている。各撮像部２４で撮像された撮像画像データは、各種演算処理や画像処理が施され、より見やすい画像やより広い視野角の画像として出力することができる。また、三次元データである各撮像画像データを二次元データに変換して繋ぎ合わせることで、牽引車両１０を上空から見下ろしたような簡易的な俯瞰画像に変換することができる。
また、図２に例示されるように、牽引車両１０には、複数の測距部２６，２８として、例えば四つの測距部２６ａ～２６ｄと、八つの測距部２８ａ～２８ｈとが設けられている。測距部２６，２８は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。例えば、牽引車両１０に被牽引車両１２が連結されていない場合には、測距部２６，２８の検出結果に基づき、牽引車両１０の周囲に位置する障害物等の物体の有無や当該物体までの距離（位置）を測定することができる。なお、測距部２８は、例えば、比較的近距離の物体の検出に用いられ、測距部２６は、例えば、測距部２８よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部２８は、例えば、牽引車両１０の前方および後方の物体の検出に用いられ、測距部２６は、牽引車両１０の側方の物体の検出に用いられうる。なお、測距部２６，２８の検出結果に基づき、物体が牽引車両１０に対して所定距離以内に接近したことが検出された場合には、例えば、警告灯の点灯や警告音の出力等により運転者に物体の存在や接近を報知することができる。
図３は、実施形態にかかる牽引支援装置を含む牽引支援システム１００の構成の例示的なブロック図である。
図３に示されるように、牽引車両１０の車室内には、表示装置３０（表示部）や、音声出力装置３２等が設けられている。表示装置３０は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置３２は、一例として、スピーカである。また、本実施形態では、一例として、表示装置３０は、透明な操作入力部３４（例えば、タッチパネル等）で覆われている。運転者（ユーザ）は、操作入力部３４を介して表示装置３０の画面に表示される映像（画像）を視認することができる。また、運転者は、表示装置３０の画面に表示される映像（画像）に対応した位置で手指等により操作入力部３４を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置３０や、音声出力装置３２、操作入力部３４等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置３６に設けられている。モニタ装置３６は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置３６とは異なる車室内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置３６の音声出力装置３２とは異なる他の音声出力装置から音声を出力することができる。また、本実施形態では、一例として、モニタ装置３６は、ナビゲーションシステムやオーディオシステムと兼用されているが、牽引支援装置（周辺監視装置）用のモニタ装置を、これらシステムとは別に設けてもよい。
牽引支援システム１００は、牽引車両１０に被牽引車両１２が連結されている場合、牽引車両１０と被牽引車両１２の連結角度に応じて、表示装置３０に表示する内容を変更（切り替える）することができる。例えば、被牽引車両１２が連結された牽引車両１０の後退走行時に、牽引車両１０と被牽引車両１２との連結角度によっては、牽引車両１０と被牽引車両１２との接続部分（牽引装置１８）で被牽引車両１２が大きく折れ曲ることがある。この場合、牽引車両１０の後退走行時の操舵によって連結角度を変更（修正）することが可能である。しかしながら連結角度がある角度（第一の角度）以上になると、牽引車両の後退走行時の操舵では、連結角度を小さくする側に変更することができなくなる、いわゆる「ジャックナイフ状態」に陥る場合がある。第一の角度は、牽引装置１８の位置において牽引車両１０の前後方向（例えば牽引車両１０の前後方向の車両中心軸Ｎ：図２参照）を基準に車幅方向に例えば「±４５°」とすることができる。そこで、牽引支援システム１００は、連結角度の取得を行い、連結角度が、「ジャックナイフ状態」になる第一の角度以上になった場合に、牽引車両１０と被牽引車両１２との位置関係が最も把握しやすい牽引車両１０の周辺画像として、撮像部２４ａが撮像した「リア画像」を自動的に表示装置３０に表示するようにする。また、牽引支援システム１００は、「ジャックナイフ状態」になったことを運転者に認識させるために、例えば、表示装置３０や音声出力装置３２を用いて各種報知（警報）を出力したり、表示装置３０で強調表示を行ったりすることで、注意喚起を行う。
牽引支援システム１００は、牽引車両１０に被牽引車両１２が連結されているか否かに拘わらず、牽引車両１０が後退走行可能な状態に他の状態（前進走行可能な状態、ニュートラル状態、パーキング状態等）から移行した場合、表示装置３０に撮像部２４ａが撮像した「リア画像」の表示を行う。つまり、牽引支援システム１００は、まず、後退走行を開始する時点での初期状態を示す周辺画像として、牽引車両１０と被牽引車両１２との位置関係を運転者に把握させるような表示を行う。
そして、牽引支援システム１００は、牽引車両１０の後退走行により連結角度が変化して、第一の角度（「ジャックナイフ状態」）に至らない（第一の角度より小さい）、第二の角度以上になった場合に、「サイド画像」に自動的に切り替える。第二の角度は、牽引装置１８の位置において牽引車両１０の前後方向（例えば牽引車両１０の前後方向の車両中心軸Ｎ：図２参照）を基準に車幅方向に例えば「±５°」とすることができる。この場合、サイド画像を自動的に表示することで、旋回角度が比較的小さな状態での被牽引車両１２の挙動（位置）を把握させやすくすることができる。また、表示装置３０の表示内容が切り替わることにより、牽引車両１０と被牽引車両１２との位置関係に変化が生じていることを認識させやすくしている。この場合、牽引支援システム１００は、牽引車両１０の前後方向に対して連結角度がいずれの方向に旋回しているかを検出し、被牽引車両１２が旋回している方向と同じ方向のサイド画像を表示する。なお、別の実施形態では、牽引車両１０の後退走行時に「リア画像」が表示されている場合に、運転者が例えば操作入力部３４等を操作することで、所望のタイミングで「サイド画像」に切り替えられるようにしてもよい。同様に、牽引車両１０の後退走行時に「サイド画像」が表示されている場合に、運転者の操作により「リア画像」に切り替えられるようにしてもよい。その結果、運転者が注意を払いたい位置の確認をスムーズに行わせやすくなる。
そして、牽引支援システム１００は、連結角度が第一の角度（「ジャックナイフ状態」）になった場合に、牽引車両１０と被牽引車両１２との位置関係の把握が最も把握しやすい、リア画像を再度自動的に表示する。つまり、牽引車両１０と被牽引車両１２との位置関係を再認識させることにより、これ以上の後退走行が被牽引車両１２と牽引車両１０との接触を招く虞がある。つまり「危険性の増大」を招くことをより明確に運転者に認識させるようにすることができる。
牽引支援システム１００（牽引支援装置）は、上述のしたような連結角度に基づく、表示内容の切り替えを実現するために、モニタ装置３６の他、ＥＣＵ３８（Electronic Control Unit）や舵角センサ４０、シフトセンサ４２、車輪速センサ４４、測距部２６，２８等が、電気通信回線としての車内ネットワーク４６を介して電気的に接続されている。車内ネットワーク４６は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ３８は、車内ネットワーク４６を介して、舵角センサ４０、シフトセンサ４２、車輪速センサ４４、測距部２６，２８等の検出結果や、操作入力部３４等の操作信号等を受け取り、制御に反映させることができる。
ＥＣＵ３８は、例えば、ＣＰＵ３８ａ（Central Processing Unit）や、ＲＯＭ３８ｂ（Read Only Memory）、ＲＡＭ３８ｃ（Random Access Memory）、ＳＳＤ３８ｄ（Solid State Drive、フラッシュメモリ）、表示制御部３８ｅ、音声制御部３８ｆ等を有している。ＣＰＵ３８ａは、例えば、表示装置３０で表示される画像に関連した表示処理や、牽引車両１０に連結された被牽引車両１２の認識（検出）処理、牽引車両１０と被牽引車両１２との連結角度の検出処理等の他、連結角度に基づく表示装置３０の表示内容の切り替えを実行する。
ＣＰＵ３８ａは、ＲＯＭ３８ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ３８ｃは、ＣＰＵ３８ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部３８ｅは、撮像部２４（撮像部２４ａ～２４ｄ）で取得した撮像画像データをＣＰＵ３８ａに提供するとともに、ＥＣＵ３８での演算処理のうち、主として、表示装置３０で表示される画像データの合成等を実行する。また、音声制御部３８ｆは、ＥＣＵ３８での演算処理のうち、主として、音声出力装置３２で出力される音声データの処理を実行する。また、ＳＳＤ３８ｄは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３８の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３８ａや、ＲＯＭ３８ｂ、ＲＡＭ３８ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ３８は、ＣＰＵ３８ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３８ｄに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ３８ｄやＨＤＤは、ＥＣＵ３８とは別に設けられてもよい。
舵角センサ４０は、例えば、牽引車両１０のステアリングホイール等の操舵部の操舵量（牽引車両１０の舵角）を検出するセンサである。舵角センサ４０は、例えば、ホール素子などを用いて構成される。ＥＣＵ３８は、運転者による操舵部の操舵量や、自動操舵時の各車輪１４の操舵量等を、舵角センサ４０から取得して各種制御を実行する。なお、舵角センサ４０は、操舵部に含まれる回転部分の回転角度を検出する。また、舵角センサ４０から出力される検出信号を、運転者が牽引車両１０を運転操作しようとする意思表示信号として利用することができる。上述したように、牽引支援システム１００は、牽引車両１０に被牽引車両１２が連結されているか否かに拘わらず、牽引車両１０が後退走行可能な状態に、例えば前進走行可能から移行した場合、表示装置３０に撮像部２４ａが撮像したリア画像の表示を行う。牽引支援システム１００は、他の画像を表示するための許可信号として、転舵が行われたことを示す舵角センサ４０からの出力信号を利用してもよい。
シフトセンサ４２は、例えば、変速操作部（例えば、シフトレバー）の可動部の位置を検出するセンサである。シフトセンサ４２は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ４２は、変位センサを含んでもよいし、スイッチとして構成されてもよい。牽引支援システム１００は、牽引車両１０と被牽引車両１２との連結角度を検出する際に、牽引車両１０の現在の状態が前進走行可能な状態か、後進走行可能な状態かを、シフトセンサ４２からの情報に基づいて取得することができる。また、牽引支援システム１００は、牽引支援処理を開始するトリガとして、シフトセンサ４２から得られるシフト状態「Ｒ」の信号を用いてもよい。
車輪速センサ４４は、車輪１４の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ４４は、各車輪１４に配置され、各車輪１４で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ４４は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ３８は、車輪速センサ４４から取得したセンサ値に基づいて牽引車両１０の移動の有無や移動量などを演算し、各種制御を実行する。
なお、上述した各種センサ等の構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
ＣＰＵ３８ａは、ＲＯＭ３８ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで牽引支援部４８を実現し、「ジャックナイフ状態」であることを運転者に通知するための表示切替処理や報知処理を実行する。牽引支援部４８は、表示切替処理や報知処理を実行するための具体的なモジュールとして、例えば、取得部５０、連結角度判定部５２、表示処理部５４、報知部５６等を備える。
取得部５０は、表示切替処理や報知処理を実行するために各種情報を取得するためのモジュールとして、例えば、画像取得部５０ａ、連結角度取得部５０ｂ、シフト状態取得部５０ｃ、車速取得部５０ｄ、操作受付部５０ｅ、諸元取得部５０ｆ等を含む。
画像取得部５０ａは、牽引支援システム１００が動作中の場合、少なくとも牽引車両１０の周囲状況を表示するために必要な画像情報を取得する。例えば、画像取得部５０ａは、牽引車両１０の周辺を撮像する撮像部２４ａ～２４ｄから、複数の撮像画像データ（例えば、フロント画像、左サイド画像、右サイド画像、リア画像等のデータ）を取得する。取得した画像は、実画像としてそのままの態様で表示装置３０に逐次表示される場合と、三次元データから二次元データに変換して俯瞰画像の態様で表示装置３０に逐次表示される場合とがある。
連結角度取得部５０ｂは、例えば、牽引装置１８の位置において牽引車両１０の前後方向（例えば牽引車両１０の前後方向中心軸）を基準に車幅方向の連結部材２０の振れ角を連結角度θとすることができる。例えば、撮像部２４ａが撮像した撮像画像データに基づくリア画像から連結部材２０において被牽引車両１２の前後方向に延びる直線のうちカプラ２０ａを通る直線を検出して、図２に示されるように、この直線を連結部材２０の連結中心軸Ｍとする。撮像部２４ａが撮像した画像上での牽引車両１０の車両中心軸Ｎは既知なので、車両中心軸Ｎと連結中心軸Ｍとから連結角度θが検出できる。なお、本実施形態の場合、撮像部２４ａは、牽引装置１８の直上、すなわち、車両中心軸Ｎと同軸上に配置されている例を示している。つまり、連結部材２０をほぼ真上から俯瞰できるため、車両中心軸Ｎと連結中心軸Ｍとの成す連結角度θの検出が容易である。一方、牽引車両１０の構造上の都合や他の理由により撮像部２４ａを牽引装置１８の直上に設置できない場合がある。例えば、リヤハッチ１０ａの中央から左右いずれかの方向にずれた位置に撮像部２４ａが設置される場合がある。この場合、撮像部２４ａが撮像したリア画像の二次元座標を牽引装置１８（ヒッチボール１８ａ）の地上高（仕様書等に基づく既知の値）に基づき三次元座標に変換し、車両中心軸Ｎと連結中心軸Ｍとに基づき連結角度θを検出することができる。また、別の実施形態では、連結角度取得部５０ｂは、連結部材２０や被牽引車両１２の前方壁面に付されたマーカの位置を撮像した画像を解析して連結角度θを検出してもよい。
なお、別の実施形態では、例えば、牽引装置１８またはその周辺に角度センサを設けて、牽引装置１８に対する連結部材２０の角度を検出し、その角度を連結角度θとしてもよい。この場合、ＣＰＵ４０ａの処理負荷が軽減できる。
シフト状態取得部５０ｃは、シフトセンサ４２が出力する変速操作部の可動部の位置に基づき、牽引車両１０が前進可能状態か後退可能状態かを取得する。なお、シフト状態取得部５０ｃが、「Ｒ」レンジ以外（例えば、「Ｐ」レンジ、「Ｎ」レンジ、「Ｄ」レンジ等）から「Ｒ」レンジに移行したことを示す信号を取得した場合、取得部５０は、運転者に後退走行の意思があると見なす。この場合、牽引支援部４８は、運転者の後方視界を確保し易くするとともに、牽引車両１０の後方領域に注意を払わせるために、表示装置３０の表示内容をリア画像に切り替える。表示装置３０の表示切替の詳細については後述する。
車速取得部５０ｄは、車輪速センサ４４から提供されるセンサ値（例えば、車輪速パルス数の積算値）に基づき牽引車両１０（被牽引車両１２）の車速を取得する。なお、別の実施形態では、車速を画像取得部５０ａが取得する撮像部２４の撮像した画像（フロント画像、サイド画像、リア画像等）に基づいて算出してもよい。したがって、車速取得部５０ｄは、牽引車両１０が移動していることを示す自車移動情報を取得しているということもできる。車速（自車移動情報）は、例えば、「ジャックナイフ状態」になった以降に、牽引車両１０がさらに後退走行している場合に、異なる警報を出力する等の処理に利用することができる。
操作受付部５０ｅは、取得部５０が牽引支援を行うための画像表示等を実行している場合に、運転者が入力した入力情報の取得を行う。例えば、牽引支援中に運転者の意思により表示装置３０に表示されている表示内容を変更する場合等に、操作入力部３４を介して入力された操作情報を取得する。
諸元取得部５０ｆは、被牽引車両１２の諸元を取得する。上述した「ジャックナイフ状態」に陥る角度（第一の角度）は、被牽引車両１２のホイールベースの長さによって異なる。牽引車両１０には、種々の仕様の被牽引車両１２が連結可能であり、被牽引車両１２の仕様によりホイールベースの長さが異なる。したがって、諸元取得部５０ｆは、操作入力部３４を用いた運転者等の直接入力により連結する被牽引車両１２のホイールベースの長さを取得する。被牽引車両１２のホイールベースの長さは、例えば、被牽引車両１２の仕様書等から取得可能である。なお、牽引支援部４８が、連結される被牽引車両１２の種類等を自動的に識別可能な認識部を備えている場合には、諸元取得部５０ｆは、被牽引車両１２の連結時に自動的に被牽引車両１２の諸元を取得するようにしてもよい。
連結角度判定部５２は、連結角度取得部５０ｂが取得した連結角度θに基づき、現在の牽引車両１０と被牽引車両１２との連結角度を、牽引車両１０の後退走行時の操舵で小さくする変更制御が不能となる第一の角度（ジャックナイフ状態に陥る角度）以上になったかを判定する。第一の角度は、上述したように被牽引車両１２のホイールベースの長さによって異なるため、連結角度判定部５２は、諸元取得部５０ｆによって取得されたホイールベースの長さに対応する第一の角度をＲＯＭ３８ｂ等の記憶部から取得する。また、運転者は、連結させた被牽引車両１２に対応する第一の角度を表示装置３０等を用いて直接入力するようにしてもよい。また、連結角度判定部５２は、連結角度取得部５０ｂが取得する連結角度が、第一の角度より小さい第二の角度以上になったか否かを判定することができる。第二の角度は、第一の角度に至る前、つまり、牽引車両１０の後退走行時の操舵で被牽引車両１２の連結角度を小さくする変更制御が可能な領域角度で、被牽引車両１２の姿勢の確認をリア画像に代えてサイド画像により行う場合に基準となる角度である。したがって、第一の角度は、連結角度が第二の角度になったことによりサイド画像に切り替わった表示装置３０の表示内容を、「ジャックナイフ状態」であることを運転者に認識させやすくするための角度であるといえる。なお、第一の角度は、前述したように、被牽引車両１２のホイールベースの長さによって決めることが可能であるが、第二の角度は、予め設定により決定することができる。第二の角度は、牽引車両１０の後方視界に応じて牽引車両１０の車種ごとに決定してもよいし、運転者が適宜設定変更できるようにしてもよい。
表示処理部５４は、連結角度判定部５２による連結角度の判定結果に基づき、表示装置３０に表示する内容を変更する処理を実行する。この変更処理を実行するために、表示処理部５４は、画像切替部５４ａ、俯瞰画像処理部５４ｂ、報知表示処理部５４ｃ等のモジュールを含む。また、報知部５６は、報知表示処理部５４ｃで表示する報知内容の決定する処理を実行する。報知部５６は、主として、連結角度が第一の角度になった場合に、「ジャックナイフ状態」であること、つまり、牽引車両１０の後退走行時の操舵で連結角度を小さくする変更制御が不能であることを報知する。報知部５６は、報知内容を決定するためのモジュールとして、メッセージ処理部５６ａ、接近報知処理部５６ｂ等を含む。
画像切替部５４ａは、シフト状態取得部５０ｃの取得したシフト状態に基づき、被牽引車両１２を連結した牽引車両１０が後退走行可能な状態に移行したと判定した場合に、まず、表示装置３０に周辺画像として撮像部２４ａが撮像した撮像画像データに基づくリア画像を表示する。後退走行可能な状態とは、後退走行の開始は問わず、例えば、運転者により変速操作部が操作され、シフト状態が「Ｒ」レンジに移行された状態とすることができる。また、自動走行が可能な車両の場合は、後退走行のためにシフト状態が自動で「Ｒ」レンジに移行された状態とすることができる。
また、画像切替部５４ａは、連結角度が「ジャックナイフ状態」となる角度である第一の角度より小さい、第二の角度以上になった場合に、表示装置３０に表示する周辺画像を被牽引車両１２の旋回内側を示すサイド画像に切り替える。この場合のサイド画像は、連結角度取得部５０ｂが取得した連結角度に基づき判定する、被牽引車両１２の旋回方向の撮像部２４ｂまたは撮像部２４ｃが撮像した撮像画像データに基づくサイド画像である。
さらに、画像切替部５４ａは、連結角度が第一の角度になった場合に、表示装置３０に表示する周辺画像を撮像部２４ａが撮像した撮像画像データに基づくリア画像に切り替える。なお、この場合、画像切替部５４ａは、表示するリア画像として、牽引車両１０が後退走行可能な状態に移行したときに表示するリア画像と異なる態様のリア画像を表示してもよい。例えば、後退走行可能な状態に移行したときに表示するリア画像を「ノーマルリア画像」とする場合、第一の角度になった場合に表示するリア画像を「ワイドリア画像」としてもよい。「ワイドリア画像」は、ノーマルリア画像における車幅方向の表示領域より広げて、「ジャックナイフ状態」となり、牽引車両１０に対して大きく旋回して、車幅方向に大きく移動した被牽引車両１２をより認識し易くすることができる。
俯瞰画像処理部５４ｂは、画像取得部５０ａが取得した各方向（前後左右）の撮像画像データに対して、周知の例えば二次元変換処理、歪み補正処理、輝度調整処置、繋ぎ合わせ処理等を施し、牽引車両１０および被牽引車両１２を例えば上方から見下ろしたような俯瞰画像を生成する。なお、各撮像部２４が、図２に示すように牽引車両１０の外周部分に配置されている場合、各撮像画像データには、牽引車両１０の一部しか写り込んでいないため、牽引車両１０の完全な俯瞰画像は生成できない。そこで、俯瞰画像処理部５４ｂは、ＲＯＭ３８ｂやＳＳＤ３８ｄに予め保存した、自車（牽引車両１０）に対応する自車アイコンを読出し、生成した俯瞰画像の対応領域に自車アイコンを重畳表示する。同様に、各サイド画像やリア画像の撮像画像データには、被牽引車両１２の一部しか写り込んでいないため、被牽引車両１２の完全な俯瞰画像は生成できない。そこで、俯瞰画像処理部５４ｂは、ＲＯＭ３８ｂやＳＳＤ３８ｄに予め保存した、被牽引車両１２に対応するトレーラアイコンを読出し、生成した俯瞰画像の対応領域にトレーラアイコンを重畳表示する。なお、前述したように、牽引車両１０には様々な種類（態様）の被牽引車両１２が連結可能である。したがって、ＲＯＭ３８ｂやＳＳＤ３８ｄは、様々な態様のトレーラアイコンを保存しておき、俯瞰画像処理部５４ｂは、連結されている被牽引車両１２に対応する態様のトレーラアイコンを選択するようにしてもよい。また、被牽引車両１２の態様に拘わらず代表的なトレーラアイコンを表示するようにしてもよい。
報知表示処理部５４ｃは、画像切替部５４ａによって表示装置３０の画像内容が切り替えられた場合に、切り替わった画像内容に対応するメッセージ等を表示画像に重畳して提示する処理を実行する。
報知表示処理部５４ｃで重畳表示されるメッセージ等の表示画像は、報知部５６によって決定される。報知部５６は、メッセージ処理部５６ａ、接近報知処理部５６ｂ等のモジュールを含む。
メッセージ処理部５６ａは、主として牽引支援時に画像切替部５４ａにより切り替えられる画像内容に対応する解説的メッセージをＲＯＭ３８ｂやＳＳＤ３８ｄ等から読出して、報知表示処理部５４ｃに提供する。例えば、現在表示されている画像の種類（リア画像か、サイド画像か等）を示すメッセージや、現在の状況に対する注意喚起メッセージ等を読み出す。
また、接近報知処理部５６ｂは、測距部２６，２８（例えば、測距部２８ａ～２８ｄ）を用いて、牽引車両１０に被牽引車両１２が連結されている場合の牽引車両１０に対する被牽引車両１２の接近状態を示す情報を取得することができる。前述したように、測距部２６，２８は牽引車両１０に対して接近する物体の検出や物体までの距離を検出するセンサである。つまり、物体が何であるかの判別は行わない。そのため、測距部２８ａ～２８ｄは、牽引車両１０に被牽引車両１２が連結されている場合、被牽引車両１２を牽引車両１０に対する接近する物体として検出して、接近警報を出力させ続けてしまう。そこで、接近報知処理部５６ｂは、例えば、連結角度取得部５０ｂにより連結角度が取得されている場合、すなわち被牽引車両１２の連結が確認できる場合、少なくとも連結された被牽引車両１２に臨む位置に配置される測距部２８ａ～２８ｄの検出結果に基づく報知の一部を無効化する。つまり、連結された被牽引車両１２を牽引車両１０に対して接近する物体と見なさないものとする。ただし、測距部２８ａ～２８ｄにより被牽引車両１２までの距離は計測する。連結角度が第一の角度（「ジャックナイフ状態」）になる場合に牽引車両１０に対する被牽引車両１２の相対距離は予め算出することができる。したがって、被牽引車両１２の連結時に牽引車両１０に対する被牽引車両１２の相対距離が「ジャックナイフ状態」の場合の距離以下になった場合に、測距部２８の出力信号を「ジャックナイフ状態」の検出信号として利用することができる。この場合、例えば、被牽引車両１２の非連結時に測距部２６，測距部２８の検出信号に基づく接近警告として用いていた表示（インジケータ等）を「ジャックナイフ状態」検出時の報知表示器として利用することができる。また、接近報知処理部５６ｂは、シフト状態取得部５０ｃおよび車速取得部５０ｄの取得情報に基づいて、「ジャックナイフ状態」になった以降にも後退走行（後退速度）が確認された場合、「ジャックナイフ状態」であることを示す警報を例えば段階的に強くするような処理を行ってもよい。
図５～図８は、牽引支援システム１００（表示処理部５４）により表示装置３０に表示される模式的な表示例である。図５は、被牽引車両１２が連結状態であり牽引車両１０が後退走行可能状態に移行した場合に表示される、リア画像Ｐ１と俯瞰画像ＢＶとが並べられて表示された一例を示す模式図である。
前述したように、被牽引車両１２が連結状態であり牽引車両１０が後退走行可能状態に移行した場合、後退走行を開始する時点での牽引車両１０と被牽引車両１２との位置関係の把握を容易にするように、表示装置３０の表示内容が「リア画像」を含む画像に自動的に切り替えられる。例えば、後退走行可能状態以外の場合（「Ｄ」レンジ、「Ｎ」レンジ、「Ｐ」レンジ等）の場合、表示装置３０には、通常画像として、例えば、「ナビゲーション画面」や「オーディオ画面」が表示されている。一方、後退走行可能な「Ｒ」レンジに移行された場合、運転者に後方領域に注意を払う必要があることを促すように、「リア画像」が表示される。
図５に示すリア画像Ｐ１は、車幅方向の表示領域幅が、いわゆる「ノーマル」の画面で、牽引車両１０のリヤバンパ１６ａのほぼ中央に位置する牽引装置１８および被牽引車両１２から牽引車両１０に向かい延びる連結部材２０（カプラ２０ａ）が認識し易い大きさに表示される。その結果、牽引車両１０と被牽引車両１２との初期状態の連結状態（姿勢）が認識し易い表示となっている。なお、リア画像Ｐ１の一部には、後退走行可能状態に移行した際に自動的に表示されたリア画像Ｐ１をサイド画像に切り替える操作入力部３４の機能を示す、切替アイコン５８が表示されている。図５の場合、切替アイコン５８は、リア画像が有効であることを示す「リア指定アイコン５８ａ」が点灯し、サイド画像が有効であることを示す「サイド指定アイコン５８ｂ」が消灯している例を示している。そして、運転者が切替アイコン５８に触れる度に、「リア指定アイコン５８ａ」と「サイド指定アイコン５８ｂ」との点灯、消灯が切り替わり、初期画像として表示されたリア画像Ｐ１を図６に示すようなサイド画像Ｐ２に手動で切り替えることができる。また、リア画像Ｐ１の下方には、メッセージ領域ＭＳが設けられ、報知表示処理部５４ｃにより、メッセージ処理部５６ａの選択したメッセージが表示されるようになっている。図５の場合、メッセージとして、「「リア画像」です。」「トレーラの連結角度に注意してください。」等が表示される。なお、報知部５６は、メッセージ領域ＭＳに表示されるメッセージと同等の音声メッセージを音声制御部３８ｆを介して音声出力装置３２から出力するようにしてもよい。
また、表示装置３０には、俯瞰画像処理部５４ｂが生成した俯瞰画像ＢＶが表示可能であり、牽引支援時には、自車アイコン１０ｐとトレーラアイコン１２ｐが表示されうる。自車アイコン１０ｐとトレーラアイコン１２ｐとは、連結角度取得部５０ｂが取得した連結角度に対応する姿勢で連結された態様で表示される。図５の場合、牽引車両１０の真後ろに被牽引車両１２が存在する例であり、自車アイコン１０ｐとトレーラアイコン１２ｐも直列状態で表示されている。なお、撮像部２４ａが撮像した牽引車両１０の後方領域の撮像画像データには、被牽引車両１２の前端壁が写り込んでいるため、撮像部２４ａが撮像した被牽引車両１２を俯瞰視するために二次元データに変換すると後方に向かって延びたトレーラ画像１２ｒとして表示される。このように、俯瞰画像ＢＶが、実画像であるリア画像Ｐ１と並べられて表示されることにより、牽引車両１０と被牽引車両１２との位置関係をより容易に運転者に認識させることができる。
図６は、被牽引車両１２が連結状態であり牽引車両１０が後退走行可能状態で、牽引車両１０と被牽引車両１２との連結角度が第二の角度（例えば、±５°）以上になった場合に表示される、サイド画像Ｐ２と俯瞰画像ＢＶとが並べられて表示された一例を示す模式図である。図６の場合、牽引車両１０に対して被牽引車両１２が右側に旋回している例である。画像切替部５４ａは、連結角度取得部５０ｂの取得した連結角度に基づき、被牽引車両１２が、牽引装置１８の位置において牽引車両１０の前後方向（例えば牽引車両１０の前後方向の車両中心軸Ｎ：図２参照）を基準に車幅方向の左右いずれの方向に旋回しているかを判定することができる。したがって、画像切替部５４ａは、被牽引車両１２の旋回方向対応する撮像部２４ｂまたは撮像部２４ｃのサイド画像を表示装置３０に表示する。サイド画像を表示装置３０に表示することで、旋回時の被牽引車両１２の進行方向の状況を確認することが可能になる。その結果、牽引車両１０に対する被牽引車両１２の（旋回）姿勢を運転者に認識させやすくなる。また、周囲の物体（例えば、他車両６０や障害物６２等）との位置関係を容易に把握させることができる。この場合、画像切替部５４ａは、連結角度に基づき表示画像を自動的にサイド画像Ｐ２に切り替えるため、切替アイコン５８も自動的にサイド指定アイコン５８ｂが点灯状態に変化することになる。また、俯瞰画像処理部５４ｂは、俯瞰画像ＢＶの自車アイコン１０ｐに対するトレーラアイコン１２ｐの連結姿勢も、連結角度取得部５０ｂの取得した連結角度に対応して変化させる。俯瞰画像ＢＶが、実画像であるサイド画像Ｐ２と並べられて表示されることにより、牽引車両１０に対する被牽引車両１２の旋回姿勢との位置関係をより容易に運転者に認識させることができる。
なお、牽引車両１０が後退走行可能状態に移行した時点で、牽引車両１０に対する被牽引車両１２の連結角度が既に第二の角度（例えば、±５°）以上である場合もある。この場合、画像切替部５４ａは、連結角度に拘わらず、まず、リア画像Ｐ１を表示して、運転者に牽引車両１０の後方注意を促す。その後、画像切替部５４ａは、運転者により何らかの操作が行われたことが検出できた場合、例えば、切替アイコン５８を用いた画像切替操作や、ステアリング操作、アクセル操作等による後退走行操作等が行われた場合に、サイド画像Ｐ２に切り替える。その結果、運転者に対して、後方領域の注意喚起と、被牽引車両１２の旋回姿勢の把握の両方を容易に行わせることができる。なお、サイド画像Ｐ２が表示された後であれば、運転者が切替アイコン５８を操作することにより、第一の角度（例えば、±４５°）に至らない場合でも、リア画像Ｐ１に表示を切り替えることも可能であり、牽引車両１０と被牽引車両１２との位置関係の再確認を行うようにすることも可能である。
また、サイド画像Ｐ２の下方に表示されるメッセージ領域ＭＳに、報知表示処理部５４ｃにより例えば、「「右サイドリア画像」です」。「トレーラの姿勢や周囲の物体に注意してください。」等のメッセージが表示される。この場合も報知部５６は、メッセージ領域ＭＳに表示されるメッセージと同等の音声メッセージを音声制御部３８ｆを介して音声出力装置３２から出力するようにしてもよい。
図７は、被牽引車両１２が連結状態であり牽引車両１０が後退走行可能状態で、牽引車両１０と被牽引車両１２との連結角度が第一の角度（例えば、±４５°）以上になった場合に表示される、リア画像Ｐ１と俯瞰画像ＢＶとが並べられて表示された一例を示す模式図である。連結角度が第一の角度（例えば、±４５°）以上の「ジャックナイフ状態」になると、牽引車両１０の後退走行時の操舵では、連結角度を小さくする側に変更することができなくなる。つまり、被牽引車両１２の旋回制御が不能になり、それ以上の後退走行は、牽引車両１０の後端部と被牽引車両１２の先端部との接触を招く虞があり、危険であると見なすことができる。そこで、画像切替部５４ａは、牽引車両１０と被牽引車両１２との位置関係に運転者の注意を向けるために、表示装置３０の表示内容を、牽引車両１０と被牽引車両１２との位置関係が把握しやすいリア画像Ｐ１に切り替える。この場合、連結部材２０が牽引車両１０に対して大きく傾いたリア画像Ｐ１が改めて表示されることにより、「ジャックナイフ状態」となる危険性を運転者により実感させやすくなる。その結果、迅速に「ジャックナイフ状態」の進行の停止、つまり、牽引車両１０の後退の停止、および「ジャックナイフ状態」からの離脱、つまり、牽引車両１０の前進による復帰操作を、運転者に実行させやすくなる。また、俯瞰画像ＢＶの自車アイコン１０ｐに対するトレーラアイコン１２ｐの連結姿勢も、連結角度取得部５０ｂの取得した連結角度に対応して大きく変化する。俯瞰画像ＢＶが、実画像であるリア画像Ｐ１と並べられて表示されることにより、「ジャックナイフ状態」となる危険性を運転者により実感させやすくなる。
図７の場合、リア画像Ｐ１の下方に表示されるメッセージ領域ＭＳには、報知表示処理部５４ｃにより、例えば、「「リア画像」です」。「「ジャックナイフ状態」です。」、「後退を「ストップ」して下さい。」等が表示される。この場合も報知部５６は、メッセージ領域ＭＳに表示されるメッセージと同等の音声メッセージを音声制御部３８ｆを介して音声出力装置３２から出力するようにしてもよい。
連結角度が第一の角度以上になった場合、切替アイコン５８は、リア指定アイコン５８ａと、ノーマルのリア画像Ｐ１に比べ、車幅方向の画像の表示領域幅が広い、いわゆる、ワイド幅の「ワイドリア画像Ｐ３」（図８参照）を表示するワイドリア指定アイコン５８ｃとで構成される態様で表示される。図８に示す「ワイドリア画像Ｐ３」は、連結角度が第一の角度以上になった場合の変形例である。「ワイドリア画像Ｐ３」は、撮像部２４ａの撮像した撮像画像データに基づく画像の切出し範囲を拡大するため、ワイドリア画像Ｐ３の周縁部の歪みの影響が大きくなる反面、図８に示されるように表示領域が広がるため、牽引車両１０や被牽引車両１２の表示可能部分が増加する。例えば、図８に示すように、「ジャックナイフ状態」が進んだ場合に、牽引車両１０と被牽引車両１２とが接触する可能性があると予測される部分の表示も可能となる。図８の場合、「ジャックナイフ状態」の進行により、被牽引車両１２の右前端部１２Ｆと牽引車両１０の右後端部１０Ｒとが接触する可能性がある。ワイドリア画像Ｐ３を運転者に視認させることにより、被牽引車両１２の右前端部１２Ｆと牽引車両１０の右後端部１０Ｒとが接触する可能性のある位置が認識させやすくなり、危険認識をより確実に行わせることができる。
また、別の実施形態では、報知表示処理部５４ｃは、連結角度が第一の角度以上になった場合に、図８に示すように、接触する可能性のある右前端部１２Ｆと右後端部１０Ｒを部分的に点滅表示させたり、表示色を例えば、「赤色」に変化させたりする、強調表示を施してもよい。この場合、運転者に、「ジャックナイフ状態」による接触の可能性がある位置（危険性がある部分）をより確実により迅速に認識させることができる。また、報知表示処理部５４ｃは同様な強調表示を俯瞰画像ＢＶの自車アイコン１０ｐの右後端部１０ｒおよびトレーラアイコン１２ｐの右前端部１２ｆに施してもよい。強調表示は、ワイドリア画像Ｐ３および俯瞰画像ＢＶのいずれか一方でもよいが、両方で強調表示を施すことにより、接触の危険のある位置をより明確に運転者に認識させやすくなる。
図８の場合、ワイドリア画像Ｐ３の下方に表示されるメッセージ領域ＭＳには、報知表示処理部５４ｃにより、例えば、「「ワイドリア画像」です」。「「ジャックナイフ状態」です。」、「接触の可能性があります。ストップ！！」等が表示される。この場合も報知部５６は、メッセージ領域ＭＳに表示されるメッセージと同等の音声メッセージを音声制御部３８ｆを介して音声出力装置３２から出力するようにしてもよい。
連結角度が第一の角度以上になった場合に表示される、リア指定アイコン５８ａとワイドリア指定アイコン５８ｃを含む切替アイコン５８は、指等で触れる度に、ノーマルのリア画像Ｐ１とワイドリア画像Ｐ３との切り替えが可能である。つまり、ワイドリア画像Ｐ３に比べて歪みの少ないノーマルのリア画像Ｐ１により連結部材２０の連結角度を詳細に確認したい場合と、広範囲を表示するワイドリア画像Ｐ３により接触可能性のある位置を確認したい場合等、確認対象によって適宜切り替えられるようにすることができる。その結果、「ジャックナイフ状態」の危険性の確認を運転者の要望に応じて行わせることができる。なお、連結角度が第一の角度以上になった場合に、最初にノーマルのリア画像Ｐ１に切り替えるか、ワイドリア画像Ｐ３に切り替えるかは、予め設定で決めてもよいし、運転者が適宜設定変更できるようにしてもよい。
以上にように構成される、牽引支援システム１００（牽引支援装置）による表示切替の処理手順の一例を図９のフローチャートを用いて説明する。なお、図９に示すフローチャートの処理は、予め設定された所定の処理周期で繰り返し実行されるものとする。
牽引車両１０の例えばイグニッションスイッチがＯＮであり、牽引支援部４８が動作可能状態の場合、シフト状態取得部５０ｃは、シフトセンサ４２の検出信号に基づき、シフト状態が、「Ｒ」レンジであるか否か判定する（Ｓ１００）。シフト状態が、「Ｒ」レンジの場合（Ｓ１００のＹｅｓ）、画像取得部５０ａは各撮像部２４が撮像した撮像画像データに基づく、周辺画像を取得する（Ｓ１０２）。続いて、俯瞰画像処理部５４ｂは、各撮像部２４が撮像した撮像画像データに対して、二次元データに変換する処理や繋ぎ合わせ処理等を施すことにより、俯瞰画像ＢＶを生成する（Ｓ１０４）。このとき、まだ、画像切替部５４ａによる牽引支援のための表示切替処理が開始されていない場合（Ｓ１０６のＮｏ）、画像切替部５４ａは、図５に示すような、俯瞰画像ＢＶおよびリア画像Ｐ１（例えばノーマルリア画像）を並べて表示装置３０に表示する表示処理を実行する（Ｓ１０８）。一方、既に表示切替処理が開始済みの場合（Ｓ１０６のＹｅｓ）、Ｓ１０８の処理をスキップする。
そして、牽引支援部４８は、牽引車両１０に被牽引車両１２が連結状態であることを確認した場合（Ｓ１１０のＹｅｓ）、連結角度取得部５０ｂは、例えば、撮像部２４ａが撮像したリア画像に基づき、連結角度を取得する処理を実行する（Ｓ１１２）。なお、牽引車両１０に被牽引車両１２が連結状態であるか否かは、例えば、撮像部２４ａ撮像したリア画像を画像処理することで検出したり、牽引装置１８に設けられたセンサを用いて検出したりすることができる。連結角度取得部５０ｂによって連結角度が取得された場合、俯瞰画像処理部５４ｂは、俯瞰画像ＢＶに表示された自車アイコン１０ｐにトレーラアイコン１２ｐを、連結角度に対応する角度で接続するように表示する（Ｓ１１４）。このとき、報知表示処理部５４ｃは、表示切り替えしたリア画像Ｐ１の表示内容に対応するメッセージをメッセージ領域ＭＳに重畳表示する（図５参照）。また、メッセージ処理部５６ａは、音声制御部３８ｆを介して表示されたメッセージに対応する音声メッセージを出力するようにしてもよい。
続いて、連結角度判定部５２は、連結角度取得部５０ｂが取得した連結角度θが、第二の角度θ２以上になったか否かを判定する（Ｓ１１６）。連結角度θが、第二の角度θ２以上になった場合（Ｓ１１６のＹｅｓ）、画像切替部５４ａは、連結角度取得部５０ｂの取得した連結角度を参照し、被牽引車両１２の旋回方向を取得する（Ｓ１１８）。そして、画像切替部５４ａは、図６に示すように、表示装置３０の表示内容を被牽引車両１２の旋回方向の撮像部２４で撮像したサイド画像Ｐ２切り替える（Ｓ１２０）。このとき、報知表示処理部５４ｃは、表示切り替えしたサイド画像Ｐ２の表示内容に対応するメッセージをサイド画像Ｐ２のメッセージ領域ＭＳに重畳表示する。また、メッセージ処理部５６ａは、音声制御部３８ｆを介して表示されたメッセージに対応する音声メッセージを出力するようにしてもよい。
続いて、連結角度判定部５２は、連結角度取得部５０ｂが取得した連結角度θが、第一の角度θ１以上になったか否かを判定する（Ｓ１２２）。連結角度θが、第一の角度θ１以上になった場合（Ｓ１２２のＹｅｓ）、画像切替部５４ａは、被牽引車両１２が「ジャックナイフ状態」になったと判定し、表示装置３０の表示内容を撮像部２４ａで撮像したリア画像Ｐ１（図７参照）または、ワイドリア画像Ｐ３（図８参照）に切り替える（Ｓ１２４）。このとき、報知表示処理部５４ｃは、表示切り替えしたリア画像Ｐ１（またはワイドリア画像Ｐ３）の表示内容に対応するメッセージをメッセージ領域ＭＳに重畳表示する。また、ワイドリア画像Ｐ３を表示している場合、接近報知処理部５６ｂは、測距部２８ａ～２８ｄの検出結果に基づき、例えば、図８の右後端部１０Ｒ、右前端部１２Ｆで示すように、接触可能性のある部分に強調表示を施すようにしてもよい。なお、被牽引車両１２が連結されていない場合、測距部２８ａ～２８ｄの検出結果に基づき障害物の接近を検出した場合、牽引車両１０のどの部分に対して障害物が接近しているかを、例えばインジケータ等によって表示する場合がある。したがって、被牽引車両１２が連結されている場合で、「ジャックナイフ状態」になった場合に、障害物の接近報知用のインジケータを用いて、被牽引車両１２の接近（接触の可能性）を報知するようにしてもよい。
画像切替部５４ａは、牽引支援中、シフト状態取得部５０ｃのシフト状態の取得結果を常時監視し、シフト状態が「Ｒ」レンジ以外になった場合（Ｓ１２６のＹｅｓ）、牽引車両１０（被牽引車両１２）の後退走行の可能性はなくなった、つまり「ジャックナイフ状態」に起因する危険性が解消されたと判定する。そして。画像切替部５４ａは、表示装置３０の表示内容を通常表示画面、例えば、「ナビゲーション画面」や「オーディオ画面」を表示し（Ｓ１２８）、今回の処理周期における一連の牽引支援処理（画像切替処理）を一旦終了し、次の処理周期でＳ１００からの処理を開始する。
Ｓ１２６において、シフト状態が「Ｒ」レンジ以外になっていない場合（Ｓ１２６のＮｏ）、Ｓ１２８の処理をスキップして、次の処理周期でＳ１００からの処理を開始する。
Ｓ１２２において、連結角度θが第一の角度θ１以上になっていない場合（Ｓ１２２のＮｏ）、画像切替部５４ａは、例えば、図６に示すようなサイド画像Ｐ２の表示態様を維持したまま、牽引車両１０の挙動に対応して連結角度が変化する被牽引車両１２の挙動を表示しつつ、Ｓ１２６に移行して以降の処理を継続する。同様に、Ｓ１１６において、連結角度θが第二の角度θ２以上になっていない場合（Ｓ１１６のＮｏ）、画像切替部５４ａは、例えば、図５に示すようなリア画像Ｐ１の表示態様を維持したまま、牽引車両１０の挙動に対応して連結角度が変化する被牽引車両１２の挙動を表示しつつ、Ｓ１２６に移行して以降の処理を継続する。
Ｓ１１０において、牽引車両１０に被牽引車両１２が連結されていない状態であることを牽引支援部４８が確認した場合（Ｓ１１０のＮｏ）、Ｓ１１２～Ｓ１２４の処理をスキップして、Ｓ１２６に移行して以降の処理を継続する。なお、牽引車両１０に被牽引車両１２が連結されていない場合、報知表示処理部５４ｃは、メッセージ領域ＭＳに、被牽引車両１２の非連結後退時メッセージとして、例えば、「リア画像です。」、「後方および周囲の物体に注意してください。」等を表示する。また、Ｓ１００において、シフト状態が「Ｒ」レンジでない場合（Ｓ１００のＮｏ）、Ｓ１０２からＳ１２６の処理をスキップして、Ｓ１２８に移行し、通常画面である、ナビゲーション画面やオーディオ画面の表示を行う。
このように、牽引支援システム１００によれば、牽引車両１０と被牽引車両１２とが連結状態の場合で、「ジャックナイフ状態」になる場合に、牽引車両１０と被牽引車両１２との位置関係、すなわち、現在の状態を認識させやすい実画像のリア画像で表示する。その結果、運転者に牽引車両１０と被牽引車両１２との位置関係に関するより正確な情報提供が可能になり、不安感を軽減させ易くすることができるとともに、より適切な牽引車両１０の操作（操縦）判断を行わせやすくなる。
なお、図９に示すフローチャートは一例であり、同様な画像切替処理が実現できれば、処理ステップの増減や処理順番の入れ替えは適宜行ってもよく、同様の効果を得ることができる。また、図９に示すフローチャートによる処理では、画像切替を行う場合、ノーマルのリア画像、サイド画像、ワイドリア画像の順番で切り替える例を示したが、第一の角度以上の場合に、リア画像が表示され、「ジャックナイフ状態」であることを運転者に認識させられればよい。したがって、表示の途中で、切替アイコン５８等を操作することにより、運転者の要求に応じた画像を表示するようにしてもよく、同様の効果を得ることができる。
また、図５～図８に示す例では、俯瞰画像ＢＶと、リア画像Ｐ１またはサイド画像Ｐ２またはワイドリア画像Ｐ３を並べて表示する例を示した。他の実施形態では、俯瞰画像ＢＶを省略してもよい。また、別の実施形態では、俯瞰画像ＢＶと、リア画像Ｐ１またはサイド画像Ｐ２またはワイドリア画像Ｐ３を並べて表示する場合の表示領域の大きさやレイアウトを変更してもよく、本実施形態と同様の効果を得ることができる。
本実施形態のＣＰＵ３８ａで実行される牽引支援プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、牽引支援プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される牽引支援プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０…牽引車両、１０ｐ…自車アイコン、１２…被牽引車両、１２ｐ…トレーラアイコン、１８…牽引装置、２０…連結部材、２４，２４ａ，２４ｂ，２４ｃ，２４ｄ…撮像部、２６…測距部、２８…測距部、３０…表示装置、３８…ＥＣＵ、３８ａ…ＣＰＵ、４８…牽引支援部、５０…取得部、５０ａ…画像取得部、５０ｂ…連結角度取得部、５０ｃ…シフト状態取得部、５０ｄ…車速取得部、５０ｅ…操作受付部、５０ｆ…諸元取得部、５２…連結角度判定部、５４…表示処理部、５４ａ…画像切替部、５４ｂ…俯瞰画像処理部、５４ｃ…報知表示処理部、５６…報知部、５６ａ…メッセージ処理部、５６ｂ…接近報知処理部、５８…切替アイコン、５８ａ…リア指定アイコン、５８ｂ…サイド指定アイコン、５８ｃ…ワイドリア指定アイコン、１００…牽引支援システム。

Claims (5)

  1. 被牽引車両を連結可能な牽引車両に設けられた撮像部で周辺画像として撮像された、前記牽引車両の後方領域を含む後方画像と前記牽引車両の側方領域を含む側方画像とを逐次取得する画像取得部と、
    前記牽引車両と前記被牽引車両との連結角度を取得する角度取得部と、
    前記被牽引車両を連結した前記牽引車両が後退走行可能な状態で、表示部に前記側方画像が表示されている場合に、前記牽引車両の後退走行時の操舵で前記連結角度を小さくする変更制御が不能となる第一の角度以上になった場合、前記表示部に表示する前記周辺画像を前記側方画像から前記被牽引車両と前記牽引車両とを連結する連結部材が表示された前記後方画像に切り替える表示処理部と、
    を備える牽引支援装置。
  2. 前記表示処理部は、前記被牽引車両を連結した前記牽引車両が後退走行可能な状態に移行した場合に、前記表示部に前記周辺画像として前記後方画像を表示し、前記牽引車両の前後方向を基準に前記連結角度が前記第一の角度より小さい第二の角度以上になった場合に前記表示部に表示する前記周辺画像を前記被牽引車両の旋回内側の前記側方画像に切り替え、前記第一の角度になった場合に前記表示部に表示する前記周辺画像を前記後方画像に切り替える、請求項１に記載の牽引支援装置。
  3. 前記表示処理部は、前記連結角度が前記第一の角度以上になった場合に表示する前記後方画像における車幅方向の表示領域を、前記牽引車両が後退走行可能な状態に移行した場合に表示する前記後方画像における車幅方向の表示領域より広げる、請求項２に記載の牽引支援装置。
  4. 前記連結角度が前記第一の角度になった場合に、前記牽引車両の後退走行時の操舵で前記連結角度を小さくする変更制御が不能であることを報知する報知部をさらに備える、請求項１から請求項３のいずれか１項に記載の牽引支援装置。
  5. 前記表示処理部は、前記連結角度が前記第一の角度以上になった場合に、前記牽引車両と前記被牽引車両とが接触する可能性のある位置を前記表示部に表示する、請求項１から請求項４のいずれか１項に記載の牽引支援装置。
JP2018128596A 2018-07-05 2018-07-05 牽引支援装置 Active JP7147300B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018128596A JP7147300B2 (ja) 2018-07-05 2018-07-05 牽引支援装置
US16/502,243 US11292387B2 (en) 2018-07-05 2019-07-03 Towing assistance apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018128596A JP7147300B2 (ja) 2018-07-05 2018-07-05 牽引支援装置

Publications (2)

Publication Number Publication Date
JP2020006777A JP2020006777A (ja) 2020-01-16
JP7147300B2 true JP7147300B2 (ja) 2022-10-05

Family

ID=69101578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018128596A Active JP7147300B2 (ja) 2018-07-05 2018-07-05 牽引支援装置

Country Status (2)

Country Link
US (1) US11292387B2 (ja)
JP (1) JP7147300B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102650306B1 (ko) * 2018-10-16 2024-03-22 주식회사 에이치엘클레무브 차량 제어 시스템, 차량 제어 방법
US11975614B2 (en) * 2021-08-11 2024-05-07 Ford Global Technologies, Llc Vehicle-to-vehicle towing communication link
JP2023177148A (ja) * 2022-06-01 2023-12-13 株式会社ジェイテクト 連結車両の後退制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222391A (ja) 2011-04-04 2012-11-12 Denso Corp 車両後方監視装置
JP2014502582A (ja) 2011-01-13 2014-02-03 コンチネンタル オートモーティブ システムズ インコーポレイテッド 後退移動中に車両−トレーラユニットを操作するシステムおよび方法
WO2014174028A1 (en) 2013-04-26 2014-10-30 Jaguar Land Rover Limited Vehicle hitch assistance system
DE102014015753A1 (de) 2014-10-23 2016-04-28 Man Truck & Bus Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeug-Gespanns, insbesondere eines Nutzfahrzeug-Gespanns
JP2016119526A (ja) 2014-12-19 2016-06-30 アルパイン株式会社 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
JPWO2012117693A1 (ja) * 2011-03-02 2014-07-07 パナソニック株式会社 運転支援装置及び牽引車
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
GB2505666B (en) 2012-09-06 2015-07-01 Jaguar Land Rover Ltd Method and system for preventing instability in a vehicle-trailer combination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502582A (ja) 2011-01-13 2014-02-03 コンチネンタル オートモーティブ システムズ インコーポレイテッド 後退移動中に車両−トレーラユニットを操作するシステムおよび方法
JP2012222391A (ja) 2011-04-04 2012-11-12 Denso Corp 車両後方監視装置
WO2014174028A1 (en) 2013-04-26 2014-10-30 Jaguar Land Rover Limited Vehicle hitch assistance system
DE102014015753A1 (de) 2014-10-23 2016-04-28 Man Truck & Bus Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeug-Gespanns, insbesondere eines Nutzfahrzeug-Gespanns
JP2016119526A (ja) 2014-12-19 2016-06-30 アルパイン株式会社 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法

Also Published As

Publication number Publication date
US11292387B2 (en) 2022-04-05
US20200010018A1 (en) 2020-01-09
JP2020006777A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
JP6897340B2 (ja) 周辺監視装置
WO2018061294A1 (ja) 周辺監視装置
US10625782B2 (en) Surroundings monitoring apparatus
US11591018B2 (en) Parking assistance device
US11420678B2 (en) Traction assist display for towing a vehicle
US11648932B2 (en) Periphery monitoring device
JP7147300B2 (ja) 牽引支援装置
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
US11400974B2 (en) Towing assist device for notifying driver of backup conditions
US11491916B2 (en) Tow assist apparatus
JP2019069717A (ja) 駐車支援装置
JP7110577B2 (ja) 周辺監視装置
JP2019014276A (ja) 連結作業支援装置
JP7081105B2 (ja) 牽引支援装置
JP6953915B2 (ja) 周辺監視装置
JP2021066286A (ja) 駐車支援装置、駐車支援方法、およびプログラム
JP7000787B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220905

R150 Certificate of patent or registration of utility model

Ref document number: 7147300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150