JP2008077628A - 画像処理装置並びに車両周辺視界支援装置及び方法 - Google Patents

画像処理装置並びに車両周辺視界支援装置及び方法 Download PDF

Info

Publication number
JP2008077628A
JP2008077628A JP2007158802A JP2007158802A JP2008077628A JP 2008077628 A JP2008077628 A JP 2008077628A JP 2007158802 A JP2007158802 A JP 2007158802A JP 2007158802 A JP2007158802 A JP 2007158802A JP 2008077628 A JP2008077628 A JP 2008077628A
Authority
JP
Japan
Prior art keywords
image
vehicle
imaging
unit
trailer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007158802A
Other languages
English (en)
Inventor
Hitoshi Hongo
仁志 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2007158802A priority Critical patent/JP2008077628A/ja
Priority to EP07114290A priority patent/EP1892150A2/en
Priority to CN2007101400783A priority patent/CN101132536B/zh
Priority to US11/842,599 priority patent/US7974444B2/en
Publication of JP2008077628A publication Critical patent/JP2008077628A/ja
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】車両周辺の安全確認の容易化及び連結角把握の容易化に寄与する車両周辺視界支援装置を提供する。
【解決手段】トラクタ２１の左右後端部に水平方向に視野角の広いカメラ（２Ｌ、２Ｒ）を１台ずつ設置する。カメラ２Ｌの視野には、トラクタ２１及びトレーラ２２の左側の路面等が含まれる。カメラ２Ｒの視野には、トラクタ２１及びトレーラ２２の右側の路面等が含まれる。カメラ２Ｌと２Ｒは、トレーラ２２の後部側にて共通視野を有する。カメラ２Ｌと２Ｒから得られた各画像を合成したパノラマ画像を、トラクタ２１の車室内の表示装置に表示する。
【選択図】図７

Description

本発明は、車両周辺視界支援装置及び方法に関し、特にトラクタとトレーラで構成される連結車両の周辺視界を表す画像をトラクタの車室内の表示装置に表示する車両周辺視界支援装置及び方法に関する。また本発明は、車両周辺視界支援装置に用いられる画像処理装置に関する。
トラクタ及び該トラクタによって牽引されるトレーラから構成される連結車両では、車体の旋回時にトラクタとトレーラが連結部で折れ曲がり、折れ曲がる角度（連結角）は旋回状態に応じて刻々と変化する。
この種の連結車両の運転操作は比較的難しく、例えば、連結車両を右に旋回しながら後退させる場合は、一旦、左に操舵して連結角を或る程度つけてから右に操舵する、という運転操作を行う必要がある。このように、運転手は連結角を把握しながら車両を旋回させる必要があり、これと同時に周囲の安全確認を行う必要がある。しかしながら、この種の連結車両においては、死角領域が大きく且つ死角領域は旋回に伴って変化するため、連結角把握と安全確認の確実なる遂行は熟練者でも容易ではなく、大きな負担となる。
この種の連結車両の視界を支援する技術として、幾つかの従来技術が存在する。例えば、下記特許文献１に記載の技術では、トレーラの左右後端部にカメラを設置し、トレーラの屈曲角に応じてトレーラの屈曲方向と反対側の後端部のカメラを回動させて死角になるトレーラ側方を撮影する。そして、その撮影によって得られる映像に進路予想線を重畳して表示するようにしている。
また例えば、下記特許文献２に記載の技術では、トラクタの左右後端部にカメラ方向を制御できるカメラを設置し、トレーラの屈曲角に応じてカメラ方向を制御するようにしている。
尚、トレーラの連結角を検出する手法が、例えば、特許文献３及び４に記載されている。連結角を検出する手法としては、特許文献３及び４にも記載されているように、古くから数多くの手法が存在する。また、下記特許文献５及び６には、複数の画像を合成してパノラマ画像を生成する画像合成処理に関する技術が開示されている。下記特許文献７には、カメラのチルト角を考慮した円筒面投影変換処理に関する技術が開示されている。
特開２００２−４６５３３号公報 実開平７−１３５８８号公報 特開２００２−１２０７７５号公報 特開２００２−１８１５１８号公報 特開２０００−３３１１５１号公報 特開２００１−１８４４８４号公報 特開２００４−４６５７３号公報
上記特許文献１及び２に記載の従来技術では、カメラ視点が急に切り替わったり、カメラ方向が大きく変化したりする場合があり、どこを映し出しているのか混乱が生じやすい。また、カメラ方向を制御する駆動部が必要であり、装置が複雑になってしまう。更に、カメラ方向の制御に誤差が生じやすく、また、連結角の検出誤差（推定誤差）がカメラ方向の制御に大きく影響するため、撮影領域がずれやすいという問題もある。
このように、従来の技術では、車両周辺視界に対する支援は不十分である。また、安全確認支援及び運転操作支援のためには、運転手に連結角を容易に把握させるための工夫も肝要である。
そこで本発明は、車両周辺の安全確認の容易化及び連結角把握の容易化に寄与する画像処理装置、車両周辺視界支援装置、車両周辺視界支援方法及び車両を提供することも目的とする。
上記目的を達成するために本発明に係る第１の画像処理装置は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受ける画像処理装置であって、前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成する画像合成手段と、前記合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えたことを特徴とする。
上記目的を達成するために本発明に係る第２の画像処理装置は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受ける画像処理装置であって、前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成する画像合成手段と、前記多重合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えたことを特徴とする。
そして具体的には例えば、第１又は第２の画像処理装置において、前記第１車両と前記第２車両が一直線上にある場合に、前記第１撮像部の視野に前記第２車両の左側と前記第２車両の車輪又はタイヤとが入るように、且つ、前記第２撮像部の視野に前記第２車両の右側と前記第２車両の車輪又はタイヤとが入るように、前記第１撮像部及び前記第２撮像部は前記第１車両側に設置され、前記共通視野には少なくとも前記第２車両の車輪又はタイヤが含まれており、前記画像合成手段は、前記合成画像内に、前記共通視野に対応する一部画像として少なくとも前記第２車両の車輪又はタイヤの画像を生成する。
これにより、第２車両の左側から右側に至る広範囲の車両周辺画像が表示され、車両周辺の安全確認の容易化及び連結角の把握の容易化が期待できる。
第１の画像処理装置を用いれば、例えば、第２車両の車輪又はタイヤの部分が連結角に応じて表示画像上を移動するため、バックミラーを見る感覚で連結角を直感的に把握することが可能となる。第２の画像処理装置を用いれば、第２車両の後方の画像をも表示装置で確認することが可能となり、安全確認の容易化に資する。
また例えば、第１又は第２の画像処理装置において、前記画像合成手段は、前記第１画像内の前記共通視野に対応する画像領域の各画素の輝度と、前記第２画像内の前記共通視野に対応する画像領域の各画素の輝度と、を比較し、輝度の大きい方の画素の画素信号を用いて、前記合成画像内の、前記共通視野に対応する一部画像を生成する。
安全上確認が必要となるのは、第２車両の車体や底面ではなく第２車両の外周部分である。外周部分の画像は比較的高い輝度を有する。このため、上記の如く構成することにより、確認の必要な部分が優先的に表示されるようになる。
また例えば、第１又は第２の画像処理装置において、前記画像合成手段は、前記第１画像上及び前記第２画像上における、前記第２車両の所定部位の位置を検出する部位検出手段を備え、前記部位検出手段の検出結果に基づきつつ前記第１画像と前記第２画像を合成するようにしてもよい。
また例えば、第１又は第２の画像処理装置において、前記第１車両と前記第２車両の連結角を検出する連結角検出手段を更に備え、前記画像合成手段は、検出された前記連結角に基づきつつ前記第１画像と前記第２画像を合成するようにしてもよい。
上記目的を達成するために本発明に係る第１の車両周辺視界支援装置は、上記の第１の画像処理装置と、前記第１及び第２撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、を備えたことを特徴とする。
上記目的を達成するために本発明に係る第２の車両周辺視界支援装置は、上記の第２の画像処理装置と、前記第１、第２及び第３撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、を備えたことを特徴とする。
上記目的を達成するために本発明に係る車両は、第１車両と該第１車両に連結される第２車両とから成る車両であって、上記の画像処理装置並びに第１及び第２撮像部が設置されたことを特徴とする。
上記目的を達成するために本発明に係る第１の車両周辺視界支援方法は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受け、前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成し、 前記合成画像に基づく表示画像を表示装置に表示させることを特徴とする。
上記目的を達成するために本発明に係る第２の車両周辺視界支援方法は、第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受け、前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成し、前記多重合成画像に基づく表示画像を表示装置に表示させることを特徴とする。
本発明は、車両周辺の安全確認の容易化及び連結角把握の容易化に寄与する
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
図１は、本発明の実施の形態に係る車両周辺視界支援装置（以下、「視界支援装置」と略記する）１の全体構成ブロック図である。視界支援装置１は、カメラ２Ｌ及び２Ｒ、パノラマ画像生成部３Ｌ及び３Ｒ、画像合成部４、映像信号出力部５、並びに、表示装置６を備えている。
カメラ２Ｌ及び２Ｒの夫々は、所謂パノラマカメラであり、例えば、図２に示す如く２００°以上の視野角を有する。カメラカメラ２Ｌ及び２Ｒの夫々は、例えば、一般に普及している、１００°〜１４０°の画角を有する広角カメラを、複数台、組み合わせることによって形成される。
図３に、カメラ２Ｌの構成例を示す。カメラ２Ｌは、１００°〜１４０°の画角を有する広角カメラ１１及び１２を用いて形成される。広角カメラ１１及び１２は個別に撮影を行い、広角カメラ１１及び１２の夫々の撮影によって得られた画像を表す撮像信号は、図１のパノラマ画像生成部３Ｌに送られる。広角カメラ１１及び１２は、水平方向に異なる視野を有するように配置され、各広角カメラの視野の一部同士は重複している。
パノラマ画像生成部３Ｌは、広角カメラ１１及び１２から得た各画像を合成することにより、パノラマ画像を生成する。パノラマ画像を生成するに当たっての画像の合成方法としては、上記特許文献５又は６に記載されているような公知の技術を用いればよい。図３に示す如く、カメラ２Ｌを形成する各広角カメラ（今の場合、広角カメラ１１及び１２）の光軸が１点で交わるように各広角カメラを水平に並べて配置することにより、パノラマ画像の合成が容易となり、また、カメラ２Ｌの水平方向の視野角を２００°以上とすることができる。尚、図３では、２個の広角カメラを用いてカメラ２Ｌを構成する例を示しているが、３個以上のカメラを用いてカメラ２Ｌを構成してもよい。
カメラ２Ｒ及びパノラマ画像生成部３Ｒの構成及び機能は、カメラ２Ｌ及びパノラマ画像生成部３Ｌのそれらと同様である。即ち、カメラ２Ｒは、例えば、広角カメラ１１及び１２のような複数のカメラから構成され、その複数のカメラの夫々の撮影によって得られた画像を表す撮像信号は、パノラマ画像生成部３Ｒに送られる。パノラマ画像生成部３Ｒは、その複数のカメラから得た各画像を合成することにより、パノラマ画像を生成する。
尚、レンズ設計や構造が複雑になってしまうが、カメラ２Ｌ及び２Ｒの夫々を、１つのカメラにて構成するようにしても構わない。但し、カメラ２Ｌ及び２Ｒの夫々を１つのカメラにて構成する場合、現状、２００°以上の視野角を確保するのが困難であるため、その場合は、適宜、視野角を２００°未満とする。
以下、パノラマ画像生成部３Ｌにて生成されたパノラマ画像を左パノラマ画像と呼び、パノラマ画像生成部３Ｒにて生成されたパノラマ画像を右パノラマ画像と呼ぶ。図１において、画像合成部４は、左パノラマ画像と右パノラマ画像とを合成する。この合成によって得られた画像をワイドパノラマ画像という。このワイドパノラマ画像の合成手法については後述する。ワイドパノラマ画像を表す信号は、映像信号出力部５に送られる。映像信号出力部５は、画像合成部４からの該信号に基づき、ワイドパノラマ画像に基づく表示画像が表示装置６の表示画面上に表示されるように、映像信号を生成して該映像信号を表示装置６に送る。
表示装置６は、液晶ディスプレイパネル等から形成され、上記の表示画像を表示画面上に表示する。トラクタ２１の運転手が表示装置６の表示画像を視認できるように、表示装置６はトラクタ２１の車室内に設置される。尚、カーナビゲーションシステムなどに含まれる表示装置を、視界支援装置１における表示装置６として流用しても良い。
視界支援装置１は、車両に取り付けられて用いられる。図４は、視界支援装置１が取り付けられる車両の側面外観図である。符号２１は、トラクタを表す。符号２２は、トラクタ２１に連結され、トラクタ２１によって牽引されるトレーラを表す。符合２４は、トレーラ２２に設けられたタイヤを表す。一般的に、タイヤ２４は、トレーラ２２の後輪と呼ばれる。符号２５は、トレーラ２２の後端を表す。符号２６は、後端２５に設置された、トレーラ２２の後方を撮影するためのリアカメラを表す。符号２７は、タイヤ２４が設けられた、トレーラ２２の底面を表す。
尚、リアカメラ２６を視界支援装置１の構成要素に含めることもでき、その場合における、リアカメラ２６の撮影画像の利用法については後述する。
本明細書において、トレーラ２２側から見てトラクタ２１側を「前」とし、トラクタ２１側から見てトレーラ２２側を「後」とする。また、当然ではあるが、前後方向に直交する方向を左右方向とする。
図５及び図６は、トラクタ２１及びトレーラ２２を上方から見た図であり、図５はトラクタ２１とトレーラ２２の成す角（以下、「連結角」という）が０°である場合を示し、図６は連結角が０°でない場合を示している。図７は、トラクタ２１及びトレーラ２２を上方から見た透視上面図である。連結角が０°である時、トラクタ２１とトレーラ２２は一直線上に並ぶ（トラクタ２１とトレーラ２２の各車体は一直線上に並ぶ）。
図７において、符号２３は連結部である。トレーラ２２は、連結部２３にてトラクタ２１と連結される。トレーラ２２は、連結部２３を支点にして、トラクタ２１に対して屈曲する。トラクタ２１及びトレーラ２２を水平面上に射影した二次元平面において、トラクタ２１の中心線３５とトレーラ２２の中心線３６との成す角が、上記の連結角に相当する。図７では、連結角がθで表されている。トラクタ２１及びトレーラ２２を上方から見た場合において、連結部２３を支点にしてトレーラ２２が時計回り方向に屈曲する場合の連結角θを正とする。従って、トラクタ２１及びトレーラ２２が直進している状態から左折しようとする際に表れる連結角θは、正となる。
カメラ２Ｌは、トラクタ２１の後端部の左側に設置される。カメラ２Ｒは、トラクタ２１の後端部の右側に設置される。図４では、カメラ２Ｒはカメラ２Ｌの裏側に隠れているため、図示されていない。カメラ２Ｌ及び２Ｒは、共に、タイヤ２４及び底面２７を撮影できるようにトラクタ２１の比較的低い位置に設置される。
連結角が図５に示す状態にある場合において、カメラ２Ｌの視野（撮影領域）には半楕円状の斜線領域３１が含まれ、カメラ２Ｒの視野（撮影領域）には半楕円状の斜線領域３２が含まれる。この場合、カメラ２Ｌは斜線領域３１を含む視野内の被写体を撮影し、カメラ２Ｒは斜線領域３２を含む視野内の被写体を撮影する。斜線領域３１は、トラクタ２１及びトレーラ２２の左側に位置する領域であり、斜線領域３２は、トラクタ２１及びトレーラ２２の右側に位置する領域である。尚、斜線領域３１内の矢印はカメラ２Ｌの視野の広がり方向を表し、斜線領域３２内の矢印はカメラ２Ｒの視野の広がり方向を表している。
連結角が図６に示す状態にある場合において、カメラ２Ｌの視野（撮影領域）には変形した扇型形状を有する斜線領域３３が含まれ、カメラ２Ｒの視野（撮影領域）には変形した扇型形状を有する斜線領域３４が含まれる。この場合、カメラ２Ｌは斜線領域３３を含む視野内の被写体を撮影し、カメラ２Ｒは斜線領域３４を含む視野内の被写体を撮影する。斜線領域３３は、トラクタ２１及びトレーラ２２の左側に位置する領域であり、斜線領域３４は、トラクタ２１及びトレーラ２２の右側に位置する領域である。尚、斜線領域３３内の矢印はカメラ２Ｌの視野の広がり方向を表し、斜線領域３４内の矢印はカメラ２Ｒの視野の広がり方向を表している。また、図５及び図６において、リアカメラ２６の撮影方向は紙面右方向（トレーラ２２の前方から後方へ向かう方向）である。
図７では、カメラ２Ｌ及び２Ｒの視野の共通部分が明示的に示されている。カメラ２Ｌの視野には変形した扇型形状を有する斜線領域３７が含まれ、カメラ２Ｒの視野には変形した扇型形状を有する斜線領域３８が含まれる。斜線領域３７と３８は、連結部２３よりもトレーラ２２の後端に近い部分で重なり合う。
カメラ２Ｌ及び２Ｒは、共に、トレーラ２２の一部を含む領域を共通して撮影する。つまり、カメラ２Ｌ及び２Ｒは、トレーラ２２側で共通視野を有する。図７において、斜線領域３７と３８とが重なり合う、符合３９が付された網掛け領域は、この共通視野を示している（斜線領域３７と３８は共に網掛け領域３９を含む）。この共通視野には、タイヤ２４と、底面２７の一部と、が含まれる。タイヤ２４は少なくとも２個存在するが、連結角θによっては、共通視野に全てのタイヤ２４は含まれない場合もある。トラクタ２１との関係における共通視野は、カメラ２Ｌ及び２Ｒの視野角（画角）と、カメラ２Ｌ及び２Ｒの設置位置及び設置方向と、に依存して定まり、この共通視野にトレーラ２２の何れの部分が含まれるかは、連結角θ及びトレーラ２２の長さなどによって特定される。
図５〜図７に示す如く、カメラ２Ｌは、水平方向に広い視野角を有するように設置される。具体的には、カメラ２Ｌは、水平方向に２００°以上の視野角を有するように、トラクタ２１の後端部の左側に設置される。カメラ２Ｌの視野には、トラクタ２１の左の側面、トラクタ２１及びトレーラ２２の左側路面、並びに、トレーラ２２の底面２７が含まれ、連結角θによっては、更にトレーラ２２の右側路面をも含みうる。
図８（ｂ）に、カメラ２Ｌの撮影によって得られる左パノラマ画像の例を示す。この左パノラマ画像には、トラクタ２１の左の側面４１Ｌ、トラクタ２１の左側に設けられたバックミラー４２Ｌ、トラクタ２１及びトレーラ２２の左側路面４３Ｌ、トレーラ２２のタイヤ２４及び底面２７、並びに、トレーラ２２の右側路面４４が、表れている。図８（ｂ）及び左パノラマ画像を表す後述の各図において、紙面右方向はトラクタ２１の左の側面４１Ｌに近づく方向に対応する。
カメラ２Ｒも、カメラ２Ｌと同様、水平方向に広い視野角を有するように設置される。具体的には、カメラ２Ｒは、水平方向に２００°以上の視野角を有するように、トラクタ２１の後端部の右側に設置される。カメラ２Ｒの視野には、トラクタ２１の右の側面、トラクタ２１及びトレーラ２２の右側路面、並びに、トレーラ２２の底面２７が含まれ、連結角θによっては、更にトレーラ２２の左側路面をも含みうる。
図８（ａ）に、カメラ２Ｒの撮影によって得られる右パノラマ画像の例を示す。この右パノラマ画像には、トラクタ２１の右の側面４１Ｒ、トラクタ２１の右側に設けられたバックミラー４２Ｒ、トラクタ２１及びトレーラ２２の右側路面４３Ｒ、トレーラ２２のタイヤ２４及び底面２７、並びに、トレーラ２２の左側路面４５が、表れている。図８（ａ）及び右パノラマ画像を表す後述の各図において、紙面左方向はトラクタ２１の右の側面４１Ｒに近づく方向に対応する。
図１の、パノラマ画像生成部３Ｌ及び３Ｒ、画像合成部４、映像信号出力部５及び表示装置６も、トラクタ２１側に設置される。画像合成部４は、図８（ａ）に示すような右パノラマ画像と図８（ｂ）に示すような左パノラマ画像とを合成して、図９に示すようなワイドパノラマ画像を生成する。図９及びワイドパノラマ画像を表す後述の各図において、紙面左側は実空間におけるトラクタ２１等の右側に対応している。このため、画像合成部４又は映像信号出力部５によって、このワイドパノラマ画像の左右を反転し、反転した画像（即ち、左右方向にミラー反転した画像）を表示画像として表示装置６に表示させるようにする。
図１０に、図９のワイドパノラマ画像に対応する表示画像を示す。図１０に示す表示画像は、連結角θが０°である場合の表示画像である。図１１に、左折時（例えばθ＝６０°）における表示画像の例を示す（これらの表示画像の基となるワイドパノラマ画像の合成手法については後述する）。これらの表示画像を参照することにより、運転手はバックミラーを見るような感覚で車両後方と側面を確認することができ、駐車、発車、左折などの様々な運転状況において車両周辺の安全確認や運転操作が支援される。また、図１０から図１１に遷移するように、トレーラ２２の後部は連結角θに応じてワイドパノラマ画像及び表示画像上を左右することになり、運転手は、表示画像を参照することによって、連結角θを直感的に把握することができる。また、カメラ２Ｌ及び２Ｒはトラクタ２１側に設置されるため、牽引するトレーラ２２が変わっても視界支援装置１は有効に機能する。
また、図１０及び図１１に示す如く、表示画像に連結角θを表す目盛りを添付することで、運転手は、より詳細に連結角θを把握することが可能となる。該目盛りを、ワイドパノラマ画像に添付しておいても良い。表示画像（ワイドパノラマ画像）上における目盛りの添付位置、即ち、表示画像（ワイドパノラマ画像）上のどの部分に如何なる値の目盛りを添付するかは、トレーラ２２の長さ等に応じた三角関数による演算を介して、決定することができる。また、後述するように連結角θが検出されているなら、例えば、表示画像（ワイドパノラマ画像）上における左右の２つのタイヤ２４間の中心位置をパターンマッチング等を用いて求め、その中心位置と連結角θの検出結果から、表示画像（ワイドパノラマ画像）上における目盛りの添付位置を定めるようにしてもよい。
尚、ワイドパノラマ画像又は表示画像を表す各図（図９〜図１１等）において、ワイドパノラマ画像又は表示画像を二分するように画像中央部に設けられた破線は、ワイドパノラマ画像又は表示画像の中心線である。この中心線は、連結角θを表す目盛りの０°に対応する（図１０等参照）。このような中心線は、実際のワイドパノラマ画像及び表示画像にも設けられる（但し、設けないようにしてもよい）。
次に、図１の画像合成部４による、ワイドパノラマ画像の合成手法について説明する。上述したように、カメラ２Ｌ及び２Ｒの共通視野は、カメラ２Ｌ及び２Ｒの視野角とカメラ２Ｌ及び２Ｒの設置位置及び設置方向とで定まるため、その共通視野に対応する、左パノラマ画像内の一部画像と右パノラマ画像内の一部画像とをブレンディングする（混合する）ことで、一応、ワイドパノラマ画像を生成することは可能である。
しかしながら、カメラ２Ｌと２Ｒとの間には視差が存在するため、カメラ２Ｌと２Ｒに映し出されたトレーラ２２の底面等は、連結角θが０°であっても完全には一致しない。図１２（ａ）及び（ｂ）に、夫々、連結角θが０°である場合における、右パノラマ画像及び左パノラマ画像を示す。
図１２（ａ）の右パノラマ画像における太線四角枠内の画像領域５１Ｒ、及び、図１２（ｂ）の左パノラマ画像における太線四角枠内の画像領域５１Ｌは、共に、共通視野の撮影画像領域である。例えば、右パノラマ画像における底面２７の端５３と左パノラマ画像における底面２７の端５４は、実空間において同じものであるが、視差によって画像上では異なって見える。このため、画像領域５１Ｒと５１Ｌを単純に平均化処理などによってブレンディングすると、ワイドパノラマ画像上において、像が二重になったりする。
更に、連結角θが大きくなるにつれ、図１３（ａ）及び（ｂ）に示す如く、カメラ２Ｌと２Ｒ間におけるトレーラ２２の映り方の差異が大きくなり、単純なブレンディングでは対応できない。図１３（ａ）及び（ｂ）は、夫々、連結角θが正（例えばθ＝６０°）の場合における右パノラマ画像及び左パノラマ画像を表している。図１３（ａ）の右パノラマ画像における太線四角枠内の画像領域５６Ｒ、及び、図１３（ｂ）の左パノラマ画像における太線四角枠内の画像領域５６Ｌは、共に、共通視野の撮影画像領域である。
尚、図１２（ａ）の右パノラマ画像において、画像領域５１Ｒ以外の画像領域を非共通画像領域５２Ｒと呼び、図１２（ｂ）の左パノラマ画像において、画像領域５１Ｌ以外の画像領域を非共通画像領域５２Ｌと呼ぶ。尚、図１３（ａ）の右パノラマ画像において、画像領域５６Ｒ以外の画像領域を非共通画像領域５７Ｒと呼び、図１３（ｂ）の左パノラマ画像において、画像領域５６Ｌ以外の画像領域を非共通画像領域５７Ｌと呼ぶ。
図１の画像合成部４は、このような事情を考慮した、ワイドパノラマ画像の合成を行う。画像合成部４による、ワイドパノラマ画像の合成手法として、以下に、第１〜第３合成手法を例示する。
［第１合成手法］
まず、第１合成手法を説明する。第１合成手法では、共通視野の輝度の大小関係を利用して画像合成を行う。これにより、図１２（ａ）及び（ｂ）に示す右パノラマ画像及び左パノラマ画像から図１４に示すワイドパノラマ画像が得られ、図１３（ａ）及び（ｂ）に示す右パノラマ画像及び左パノラマ画像から図１５に示すワイドパノラマ画像が得られる。
図１４に示すワイドパノラマ画像は、図１４の紙面左側に表れる、図１２（ａ）の非共通画像領域５２Ｒの画像と、図１４の紙面右側に表れる、図１２（ｂ）の非共通画像領域５２Ｌの画像と、それらの両者に挟まれた共通画像領域６１の画像と、から形成される。尚、図１４には、共通画像領域６１を表す四角枠が示されているが、実際のワイドパノラマ画像において、このような四角枠は表れない。また、図１４において、ＯWは、共通画像領域６１における原点である。また、上述したように、ワイドパノラマ画像を表す図面において、紙面左側は、実空間におけるトラクタ２１等の右側に対応する。
図１５に示すワイドパノラマ画像は、図１５の紙面左側に表れる、図１３（ａ）の非共通画像領域５７Ｒの画像と、図１５の紙面右側に表れる、図１３（ｂ）の非共通画像領域５７Ｌの画像と、それらの両者に挟まれた共通画像領域６６と、から形成される。図１５には、共通画像領域６６を表す四角枠が示されているが、実際のワイドパノラマ画像において、このような四角枠は表れない。
図１６（ａ）及び（ｂ）を参照する。図１２（ａ）及び（ｂ）に示したものと同じ画像領域５１Ｒ及び５１Ｌを、夫々、図１６（ａ）及び（ｂ）に拡大して示している。画像領域５１Ｒにおいて原点ＯRを定め、それに対応する画像領域５１Ｌの原点をＯLとする。画像領域５１Ｒ及び５１Ｌは、夫々、Ｍ×Ｎの画素（垂直方向にＭ画素、水平方向にＮ画素）によって形成されているものとする。Ｍ及びＮは、２以上の整数である。
図１７は、画像領域５１Ｒ及び５１Ｌの夫々の画素配列を示すと共に、共通画像領域６１及び６６（図１４及び図１５参照）の夫々の画素配列を示す。それらの画像領域を形成する画素をＰ（ｍ，ｎ）にて表記する。ここで、ｍは、画像の垂直方向の位置を表し、１〜Ｍの間の各整数をとる。ｎは、画像の水平方向の位置を表し、１〜Ｎの間の各整数をとる。原点ＯR及びＯL並びに図１４に示す原点ＯWは、画素Ｐ（１，１）に対応する。
図１の画像合成部４は、画像領域５１Ｒと５１Ｌとの間で、画素ごとに、輝度を比較する。この比較は、同一の画素位置に対応する画素同士で行われる。つまり、画像領域５１Ｒと画像領域５１Ｌとの間で、例えば、画素Ｐ（１，１）同士の輝度を比較し、画素Ｐ（１，２）同士の輝度を比較する。その比較の結果、輝度が大きい方の画素Ｐ（ｍ，ｎ）の画素信号を、共通画像領域６１における画素Ｐ（ｍ，ｎ）の画素信号とする。
即ち例えば、図１６（ａ）の画像領域５１Ｒ内の符号７１に対応する画素Ｐ（１００，２００）の輝度が、図１６（ｂ）の画像領域５１Ｌ内の符号７２に対応する画素Ｐ（１００，２００）のそれよりも大きい場合、画像領域５１Ｒの画素Ｐ（１００，２００）の画素信号を、共通画像領域６１における画素Ｐ（１００，２００）の画素信号とする。また例えば、図１６（ａ）の画像領域５１Ｒ内の符号７３に対応する画素Ｐ（１００，５０）の輝度が、図１６（ｂ）の画像領域５１Ｌ内の符号７４に対応する画素Ｐ（１００，５０）のそれよりも小さい場合、画像領域５１Ｌの画素Ｐ（１００，５０）の画素信号を、共通画像領域６１における画素Ｐ（１００，５０）の画素信号とする。このような比較処理を、画像領域５１Ｒ及び５１Ｌを形成する全画素について行い、共通画像領域６１の全画素の画素信号を決定する。
上記の如く、共通視野に対応する共通画像領域６１（図１４）の画像を形成するに際し、輝度の大きいほうの画素の画素信号を優先的に用いるようにする。これにより、図１４に示すようなワイドパノラマ画像が得られる。同様にして、図１３（ａ）及び（ｂ）の画像領域５６Ｒ及び５６Ｌの各画像から、図１５に示す共通画像領域６６の画像も合成される。
一般的にトレーラ２２の底部は暗く外周は明るいため、この処理によって、外周が優先的にワイドパノラマ画像に表れることになる。トラクタ２１を運転している際において、安全上確認が必要となるのは、トレーラ２２の底部ではなく外周である。このため、第１合成手法では、外周を優先的にマッピングしてワイドパノラマ画像及び表示画像を生成する。これにより、確認の必要な映像が優先的に表示された、妥当なワイドパノラマ画像及び表示画像が得られる。また、ワイドパノラマ画像上で像が二重に表れたりする不具合の発生も回避される。
尚、或る画素に関する画素信号は、例えば、その画素の輝度を表す輝度信号と、その画素の色を表す色信号（色差信号など）と、から形成される。
［第２合成手法］
次に、第２合成手法について説明する。第２合成手法では、画像上におけるトレーラ２２の所定部位の位置を検出し、その検出結果を利用して画像合成を行う。
具体的には例えば、図１８に示すような、タイヤ２４の画像パターンを登録しておく。この登録された画像パターンを登録画像パターンＲＰ１と呼ぶ。トレーラ２２の後方に設けられるべき左右の２つのタイヤ２４についての、左パノラマ画像又は右パノラマ画像上における標準的な画像パターンが、登録画像パターンＲＰ１とされる。
図８（ａ）及び（ｂ）に示すような右パノラマ画像及び左パノラマ画像が得られた際、図１の画像合成部４は、右パノラマ画像及び左パノラマ画像の夫々と登録画像パターンＲＰ１とのパターンマッチング（特に例えばテンプレートマッチング）を行い、登録画像パターンＲＰ１との相関が最大となる右パノラマ画像内の一部画像の位置及び登録画像パターンＲＰ１との相関が最大となる左パノラマ画像内の一部画像の位置を特定する。
例えば、図１９（ａ）に示す右パノラマ画像においては、登録画像パターンＲＰ１と一部画像７１との相関が最大となり、右パノラマ画像内における該一部画像７１の位置が特定される。そして、右パノラマ画像において、左右のタイヤ２４を二分する一部画像７１の中心線を合成境界７２とする。同様に、図１９（ｂ）に示す左パノラマ画像においては、登録画像パターンＲＰ１と一部画像７３との相関が最大となり、左パノラマ画像内における該一部画像７３の位置が特定される。そして、左パノラマ画像において、左右のタイヤ２４を二分する一部画像７３の中心線を合成境界７４とする。
そして、画像合成部４は、図１９（ａ）の右パノラマ画像と図１９（ｂ）の左パノラマ画像を、合成境界７２及び７４にて結合する（即ち、繋ぎ合わせる）ことにより、ワイドパノラマ画像を生成する。つまり、ワイドパノラマ画像は、右パノラマ画像における合成境界７２より紙面左側の一部画像７５と、左パノラマ画像における合成境界７４より紙面右側の一部画像７６と、を結合することによって形成される。これによって、図９に示すようなワイドパノラマ画像が得られる。
尚、右パノラマ画像と左パノラマ画像を合成境界にて単純に結合するのではなく、トレーラ２２の底面２７及びタイヤ２４に相当する画像部分を右パノラマ画像と左パノラマ画像間でブレンディングすることによって、ワイドパノラマ画像における該画像部分の画素信号を生成するようにしてもよい。これにより、ワイドパノラマ画像上において、画像の結合部分が滑らかに表現される。ブレンディングの対象となる画像範囲は、例えば、合成境界を中心として定められる。ここで、ブレンディングとは、ブレンディングの対象画素の画素信号を所定の比率で混合することを意味し、例えば、画素信号の平均化を意味する。
右パノラマ画像及び左パノラマ画像の双方に左右の２つのタイヤ２４が表れている場合を例示したが、連結角θによっては、左右の２つのタイヤ２４の内、一方のタイヤ２４しか画像に表れない場合も発生しうる。このような場合に対応すべく、左右の２つのタイヤ２４の内、右側のタイヤ２４だけの登録画像パターンＲＰ２（図２０参照）及び左側のタイヤ２４だけの登録画像パターンＲＰ３（図２１参照）を、用意しておくとよい。
そして、図２２（ａ）及び（ｂ）に示すような右パノラマ画像及び左パノラマ画像が得られた場合、図１の画像合成部４は、右パノラマ画像と図２０の登録画像パターンＲＰ２とのパターンマッチング（特に例えばテンプレートマッチング）を行い、登録画像パターンＲＰ２との相関が最大となる右パノラマ画像内の一部画像８１の位置を特定すると共に、左パノラマ画像と図１８の登録画像パターンＲＰ１とのパターンマッチング（特に例えばテンプレートマッチング）を行い、登録画像パターンＲＰ１との相関が最大となる左パノラマ画像内の一部画像８３の位置を特定する。
続いて、図２２（ａ）の右パノラマ画像において、一部画像８１の位置から図１９（ａ）の合成境界７２に相当する合成境界８２を特定する。図２２（ａ）に示す例では、合成境界８２が右パノラマ画像の端と略一致している。合成境界８２は、右パノラマ画像において、左右のタイヤ２４を二分する中心線を推測したものに相当する。また、図２２（ｂ）の左パノラマ画像において、左右のタイヤ２４を二分する一部画像８３の中心線を合成境界８４とする。最終的に、図２２（ａ）の右パノラマ画像と図２２（ｂ）の左パノラマ画像を、合成境界８２及び８４にて結合することにより、ワイドパノラマ画像を生成する。
仮に、図２２（ａ）の右パノラマ画像において、一部画像８１の位置が更に紙面右方向に移動し、左右のタイヤ２４を二分する中心線の推測線が線８２ａのように右パノラマ画像の外に出てしまう場合は、その外に出てしまった画像の幅ΔＷ1（今の例の場合、合成境界８２と線８２ａとの水平距離に等しい）だけ、左パノラマ画像における合成境界８４を紙面左側に移動させる。そして、この移動によって得られた合成境界８４ａにて右パノラマ画像と左パノラマ画像を結合することにより、ワイドパノラマ画像を生成すればよい。この場合、ワイドパノラマ画像上にて、右パノラマ画像の全体が表れることになる。
尚、図２０の登録画像パターンＲＰ２を用いる場合を説明したが、図２１の登録画像パターンＲＰ３を用いる場合も同様である。
また、タイヤ２４以外のものを登録画像パターンとして用いて画像合成を行うようにしてもよい。例えば、トレーラ２２の底面２７又は後端２５の予め定められた位置（例えば、図７の中心線３６上の位置）にマーカ（目印）を設けておく。このマーカは、図７の共通視野３９内に収まるように設置される。そして、右パノラマ画像及び左パノラマ画像上において、そのマーカの位置を特定し、その特定された位置を基準にして合成境界を求めて、右パノラマ画像と左パノラマ画像を合成するようにしてもよい。
第２合成手法を用いることによっても、ワイドパノラマ画像上で像が二重に表れたりする不具合の発生が回避でき、適切なワイドパノラマ画像を生成することが可能となる。
尚、第２合成手法においては、トレーラ２２の所定部位（タイヤ２４や上記マーカなど）の画像上の位置を特定する部位検出手段が有効に機能する。この部位検出手段は、図１の画像合成部４に備えられていると解釈することができる。また、登録画像パターン（ＲＰ１〜ＲＰ３など）は、図１の画像合成部４が参照可能なように、画像合成部４の内部又は外部に設けられたメモリに予め登録される。
［第３合成手法］
次に、第３合成手法について説明する。第３合成手法では、連結角θを検出し、連結角θの検出結果を利用して画像合成を行う。このため、第３合成手法を採用する場合、図１の視界支援装置１に連結角検出部７が追加されて、視界支援装置の構成ブロック図は、図２３のようになる。図２３の視界支援装置は、図１の視界支援装置１に連結角検出部７を追加した点において相違しており、他の点において両者は一致している。両者の一致点についての重複する説明を割愛する。
連結角検出部７は、上記の特許文献３又は４に記載されているような公知の技術を用いて、連結角θを検出する。連結角θの検出結果は、画像合成部４に伝達される。画像合成部４は、連結角検出部７により検出された連結角θに基づいて右パノラマ画像及び左パノラマ画像上の合成境界を求め、これによってワイドパノラマ画像を生成する。
ここで、連結角θが０°である場合における合成境界を基準合成境界とする。図２４（ａ）及び（ｂ）は、連結角θが０°である場合における右パノラマ画像及び左パノラマ画像を表す。これらの画像において、基準合成境界は、符号９１及び９２にて表される。連結角θが０°である場合、基準合成境界９１及び９２がそのまま合成境界とされ、それらの合成境界にて右パノラマ画像と左パノラマ画像とを結合する（即ち、繋ぎ合わせる）ことにより、ワイドパノラマ画像が生成される。
図２５（ａ）及び（ｂ）は、連結角θが６０°である場合における右パノラマ画像及び左パノラマ画像を表す。基準合成境界９１及び９２の画像上の位置は、連結角θに拘らず固定されている。そして、連結角θが６０°である場合は、その６０°相当分だけ基準合成境界から移動させた境界を実際の合成境界とする。即ち、図２５（ａ）に示す右パノラマ画像上では、基準合成境界９１から紙面右側に６０°相当分だけ移動した境界を合成境界９３とし、図２５（ｂ）に示す左パノラマ画像上では、基準合成境界９２から紙面右側に６０°相当分だけ移動した境界を合成境界９４とする。
そして、画像合成部４は、図２５（ａ）の右パノラマ画像と図２５（ｂ）の左パノラマ画像を、合成境界９３及び９４にて結合する（即ち、繋ぎ合わせる）ことにより、図２６に示すようなワイドパノラマ画像を生成する。図２６において、符号９５は、合成境界９３及び９４に一致する、ワイドパノラマ画像上の合成境界を表す。尚、図２６のワイドパノラマ画像では、連結角θを表す目盛りが明示されている。
また、右パノラマ画像と左パノラマ画像を合成境界にて単純に結合するのではなく、トレーラ２２の底面２７及びタイヤ２４に相当する画像部分を右パノラマ画像と左パノラマ画像間でブレンディングすることによって、ワイドパノラマ画像における該画像部分の画素信号を生成するようにしてもよい。これにより、ワイドパノラマ画像上において、画像の結合部分が滑らかに表現される。ブレンディングの対象となる画像範囲は、例えば、合成境界を中心として定められる。
また、連結角θが例えば正の方向に大きくなると、図２５（ａ）の右パノラマ画像において、合成境界が更に紙面右方向に移動して右パノラマ画像の外に出てしまう場合がある。この場合における、右パノラマ画像の合成境界を符号９３ａにて表す。この場合は、その外に出てしまった画像の幅ΔＷ2（今の例の場合、合成境界９３と合成境界９３ａとの水平距離に等しい）だけ、左パノラマ画像における合成境界９４を紙面左側に移動させる。そして、この移動によって得られた合成境界９４ａにて右パノラマ画像と左パノラマ画像を結合することにより、ワイドパノラマ画像を生成すればよい。この場合、ワイドパノラマ画像上にて、右パノラマ画像の全体が表れることになる。尚、連結角θが正である場合を説明したが、連結角θが負である場合も同様である。
第３合成手法を用いることによっても、ワイドパノラマ画像上で像が二重に表れたりする不具合の発生が回避でき、適切なワイドパノラマ画像を生成することが可能となる。
尚、基準合成境界９１及び９２の画像上の位置、および、連結角θに応じて定められる合成境界（９３等）の画像上の位置は、カメラ２Ｌ及び２Ｒの視野角（画角）並びにカメラ２Ｌ及び２Ｒの設置位置及び設置方向などに基づいて、予め設定される。
また、以下のようにして連結角θを求めてもよい。例えば、図７に示す連結部２３にセンサ（不図示）を設けることによって連結角θを求めるようにする。連結部２３を支点としてトレーラ２２がトラクタ２１に対して折れ曲がるので、その折れ曲がり量や折れ曲がり角を該センサにて検出することにより連結角θを求めることが可能である。
また、例えば、トレーラ２２の底面２７又は後端２５の予め定められた位置（例えば、図７の中心線３６上の位置）にマーカ（目印）を設けておく。このマーカは、図７の共通視野３９内に収まるように設置される。そして、右パノラマ画像及び左パノラマ画像上において、そのマーカの位置を特定し、その特定された位置から連結角θを求めるようする。画像上におけるマーカの位置と連結角θの関係は、上記マーカの実空間における設置位置などに応じて、予め求められる。
［リアカメラの利用］
図１の視界支援装置１において、図４〜図７に示されるリアカメラ２６を利用するか否かは任意であるが、リアカメラ２６を利用する場合の例を、以下に説明する。
リアカメラ２６は、上述の如く、トレーラ２２の後方を撮影する。リアカメラ２６の撮影によって得られた画像を表す撮像信号は、図１の画像合成部４に供給される。リアカメラ２６の撮影によって得られた画像（リアカメラ２６の撮影画像）を、以下、リア画像という。リアカメラ２６からのリア画像を利用する場合、画像合成部４は、上記の如く生成されたワイドパノラマ画像内のトレーラ２２の画像部分にリア画像に嵌め込むことによって、最終的なワイドパノラマ画像（多重合成画像）を生成する。この最終的なワイドパノラマ画像の左右を反転した画像（即ち、左右方向にミラー反転した画像）は、図１の映像信号出力部５を介して表示装置６に送られ、表示画像として表示装置６に表示される。
例えば、図２６に示すワイドパノラマ画像内のトレーラ２２の画像部分にリア画像に嵌め込んだ場合、生成される最終的なワイドパノラマ画像は、図２７のようになる。図２７中、符号１００は、嵌め込まれたリア画像を表している。このように、リア画像をワイドパノラマ画像に嵌め込むことによって、車両周辺の３６０度視界の殆どを表示装置６にて確認することができ、高い安全性が確保されると共に運転手の負担が軽減される。
リア画像が嵌め込まれるべき、ワイドパノラマ画像内のトレーラ２２の画像部分とは、リア画像が嵌め込まれる前のワイドパノラマ画像においてトレーラ２２の構成要素（タイヤ２４や底面２７など）が表れている部分であり、典型的には、例えば、リア画像が嵌め込まれる前のワイドパノラマ画像においてトレーラ２２の構成要素（タイヤ２４や底面２７など）が表れている部分を含む矩形領域である。
ワイドパノラマ画像中のどの部分にリア画像を嵌め込むかは、第２合成手法において説明した部位検出手段の検出結果、又は、第３合成手法において説明した連結角θの検出結果を利用して決定すればよい。上記の部位検出手段は、トレーラ２２の所定部位（タイヤ２４や上記マーカなど）の画像上の位置を特定することができるため、その特定された内容を参照すれば、ワイドパノラマ画像上におけるトレーラ２２の位置が特定される。また、連結角θが分かれば合成境界（図２５（ａ）の合成境界９３など）が特定されるため、その特定された内容を参照すれば、ワイドパノラマ画像上におけるトレーラ２２の位置が特定される。
また、第１〜第３合成手法の何れかを用いて、一旦、リア画像を含まないワイドパノラマ画像を生成してから、そのワイドパノラマ画像を用いて、そのワイドパノラマ画像内におけるトレーラ２２の画像部分を特定するようにしてもよい。例えば、リア画像を含まないワイドパノラマ画像と図１８に示すような登録画像パターンＲＰ１とのパターンマッチング（特に例えばテンプレートマッチング）を行うことによって、リア画像を含まないワイドパノラマ画像内におけるトレーラ２２の画像部分を特定する。また、リア画像を含まないワイドパノラマ画像の濃淡の変化成分（エッジ成分）に基づいて輪郭検出を行うことにより、トレーラ２２の画像部分を検出するようにしてもよい。
また、トレーラ２２の画像部分にリア画像を単に嵌め込んだ場合、図２７に示す如く、実空間では連続している路面に画像上では段差が生じることになる。この段差の発生を抑制すべく、左パノラマ画像及び右パノラマ画像を生成した円筒面と同じ円筒面にリア画像を投影することによって、リア画像をカメラ２Ｌ及び２Ｒの中間点を視点としてトレーラ２２の後方を見た画像に変換し、この変換後のリア画像をワイドパノラマ画像内におけるトレーラ２２の画像部分に嵌め込むようにしてもよい。これにより、リア画像の嵌め込み部分の画像連続性が担保される。
尚、通常、トレーラ２２の近くを撮影すべく、リアカメラ２６は傾いた状態（チルトした状態）で設置される。このため、上記変換に際し、リアカメラ２６の傾き角度を考慮する必要があるが、これを考慮した変換処理として、上記特許文献７に開示されているような公知の円筒面投影変換処理を用いればよい。
＜＜変形等＞＞
上述した実施形態では、まず、左パノラマ画像及び右パノラマ画像を個別に生成し、次に、生成された左パノラマ画像と右パノラマ画像からワイドパノラマ画像を生成する手法を例示したが、これらの画像の生成手順は変更可能である。例えば、図２８に示す如く、カメラ２Ｌ及び２Ｒの夫々が広角カメラ１１及び１２によって形成され、カメラ２Ｌの広角カメラ１１の視野とカメラ２Ｒの広角カメラ１２の視野の重なり部分によって、図７の共通視野３９が形成される場合を考える。
この場合、図１（又は図２３）におけるパノラマ画像生成部３Ｌ及び３Ｒを省略し、カメラ２Ｌを形成する広角カメラ１１及び１２の各撮影画像、及び、カメラ２Ｒを形成する広角カメラ１１及び１２の各撮影画像を、そのまま、画像合成部４に送るようにする。そして、画像合成部４は、カメラ２Ｌの広角カメラ１１の撮影画像とカメラ２Ｒの広角カメラ１２の撮影画像とを上記の同様の手法を用いて合成し、その合成によって得られた画像と、カメラ２Ｌの広角カメラ１２の撮影画像と、カメラ２Ｒの広角カメラ１１の撮影画像と、を結合することによってワイドパノラマ画像を生成するようにする。
また、図１又は図２３の視界支援装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。パノラマ画像生成部３Ｌ及び３Ｒ並びに画像合成部４なら成る部分（以下、部分αという）の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
ソフトウェアを用いて上記部分αの機能を実現する場合、部分αにて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。また、部分αの機能をソフトウェアを用いて実現する場合、図１又は図２３の一部は、部分αの機能ブロック図を示すことになる。
また、上述の実施形態では、カメラ２Ｌと２Ｒの夫々の視野角を２００°以上とし、トラクタ２１の側面をも視野に含めるようにしているが、視野の範囲は、適宜、変更可能である。例えば、トラクタ２１の側面及びトラクタ２１の側面近傍を視野から除外することも可能である。但し、図７の共通視野３９と同等の共通視野は確保されるべきである。
また、上述の実施形態では、トラクタ２１とトラクタ２１に連結されたトレーラ２２とから成る車両を想定し、この車両に本発明に係る視界支援装置（例えば、図１の視界支援装置１又は図２３の視界支援装置）を適用した。しかし、本発明に係る視界支援装置を適用可能な車両は、トラクタ２１とトレーラ２２とから成る車両に限定されない。例えば、第１車両と第１車両に連結されて牽引される第２車両とから成る任意の車両（以下、「連結型車両」と呼ぶ）に対して、本発明に係る視界支援装置を適用可能である。上述の実施形態では、第１車両がトラクタ２１に相当し且つ第２車両がトレーラ２２に相当する。
連結型車両は、牽引自動車と一般的に呼ばれる車両を含む（或いは、連結型車両は、牽引自動車である）。連結型車両は、例えば、第１車両と第２車両とから成る、連節バス（連接バス）、連結バス及びトロッコバスを含む。例えば、連接バスに本発明に係る視界支援装置を適用する場合、連節バスにおける第１車両及び第２車両を上述のトラクタ２１及びトレーラ２２と見立てて上述してきた処理を実施すればよい。
また、トラクタ２１及びトレーラ２２から成る車両に対して述べたタイヤとは、その車両における車輪のリムを囲む、ゴム等から成る輪である。仮に、本発明に係る視界支援装置が適用される連結型車両に、タイヤに分類される部位が備え付けられていない場合は、上述してきたタイヤを車輪に読み替えて考えればよい。
本発明の実施形態に係る車両周辺視界支援装置の全体構成ブロック図である。 図１のカメラの視野角を表す図である。 図１のカメラの構成例を表す図である。 図１の車両周辺視界支援装置が取り付けられるトラクタ及び該トラクタに牽引されるトレーラの側面外観図である。 図４のトラクタ及びトレーラを上方から見た図である（連結角が０°の場合）。 図４のトラクタ及びトレーラを上方から見た図である（連結角が０°でない場合）。 図４のトラクタ及びトレーラを上方から見た図であり、トラクタとトレーラの連結角、及び、図１に示す２つのカメラの視野の関係を説明するための図である。 図１のカメラの撮影によって生成される左及び右パノラマ画像の例を表す図であり、左及び右パノラマ画像に表れる路面などを説明するための図である。 図８の左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。 図９のワイドパノラマ画像に基づく表示画像を表す図である。 図１の表示装置にて表示される表示画像の他の例を表す図である。 図１のカメラの撮影によって生成される左及び右パノラマ画像の例を表す図であり（連結角が０°の場合）、左及び右パノラマ画像の第１合成手法を説明するための図である。 図１のカメラの撮影によって生成される左及び右パノラマ画像の例を表す図であり（連結角が正の場合）、左及び右パノラマ画像の第１合成手法を説明するための図である。 図１２に示す左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。 図１３に示す左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。 左及び右パノラマ画像の第１合成手法を説明するための図であり、該第１合成手法における合成の対象画像を表す図である。 左及び右パノラマ画像の第１合成手法を説明するための図であり、該第１合成手法における合成の対象画像等の画素配列を表す図である。 左及び右パノラマ画像の第２合成手法を説明するための図であり、該第２合成手法におけるパターンマッチングにて用いられる登録画像パターンの一例を表す図である。 図１８の登録画像パターンを用いた、左及び右パノラマ画像の合成手法を説明するための図である。 左及び右パノラマ画像の第２合成手法を説明するための図であり、該第２合成手法におけるパターンマッチングにて用いられる登録画像パターンの他の例を表す図である。 左及び右パノラマ画像の第２合成手法を説明するための図であり、該第２合成手法におけるパターンマッチングにて用いられる登録画像パターンの他の例を表す図である。 図１８と図２０の登録画像パターンを用いた、左及び右パノラマ画像の合成手法を説明するための図である。 左及び右パノラマ画像のワイドパノラマ画像の第３合成手法を採用する際の車両周辺視界支援装置の全体構成ブロック図であり、図１のそれの変形例を示す図である。 左及び右パノラマ画像の第３合成手法を説明するための図であり、図１のカメラの撮影によって生成される左及び右パノラマ画像の一例を表す図である（連結角が０°の場合）。 左及び右パノラマ画像の第３合成手法を説明するための図であり、図１のカメラの撮影によって生成される左及び右パノラマ画像の一例を表す図である（連結角が６０°の場合）。 図２５に示す左及び右パノラマ画像から合成されるワイドパノラマ画像を表す図である。 図４等のリアカメラにて取得されるリア画像を、図２６のワイドパノラマ画像に嵌め込むことによって得られる画像を表す図である。 図１の２つのカメラの夫々の構成例を示す図である。
符号の説明
１ 車両周辺視界支援装置
２Ｌ、２Ｒ カメラ
３Ｌ、３Ｒ パノラマ画像生成部
４ 画像合成部
５ 映像信号出力部
６ 表示装置
７ 連結角検出部
１１、１２ 広角カメラ
２１ トラクタ
２２ トレーラ
２３ 連結部
２４ タイヤ
２５ 後端（トレーラの後端）
２６ リアカメラ
２７ 底面
３９ 共通視野
θ 連結角

Claims (11)

  1. 第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受ける画像処理装置であって、
    前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成する画像合成手段と、
    前記合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えた
    ことを特徴とする画像処理装置。
  2. 第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受ける画像処理装置であって、
    前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成する画像合成手段と、
    前記多重合成画像に基づく表示画像を表示装置に表示させるための映像信号を出力する映像信号出力手段と、を備えた
    ことを特徴とする画像処理装置。
  3. 前記第１車両と前記第２車両が一直線上にある場合において、前記第１撮像部の視野に前記第２車両の左側と前記第２車両の車輪又はタイヤとが入るように、且つ、前記第２撮像部の視野に前記第２車両の右側と前記第２車両の車輪又はタイヤとが入るように、前記第１撮像部及び前記第２撮像部は前記第１車両側に設置され、
    前記共通視野には少なくとも前記第２車両の車輪又はタイヤが含まれており、
    前記画像合成手段は、前記合成画像内に、前記共通視野に対応する一部画像として少なくとも前記第２車両の車輪又はタイヤの画像を生成する
    ことを特徴とする請求項１または請求項２に記載の画像処理装置。
  4. 前記画像合成手段は、前記第１画像内の前記共通視野に対応する画像領域の各画素の輝度と、前記第２画像内の前記共通視野に対応する画像領域の各画素の輝度と、を比較し、
    輝度の大きい方の画素の画素信号を用いて、前記合成画像内の、前記共通視野に対応する一部画像を生成する
    ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
  5. 前記画像合成手段は、
    前記第１画像上及び前記第２画像上における、前記第２車両の所定部位の位置を検出する部位検出手段を備え、
    前記部位検出手段の検出結果に基づきつつ前記第１画像と前記第２画像を合成する
    ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
  6. 前記第１車両と前記第２車両の連結角を検出する連結角検出手段を更に備え、
    前記画像合成手段は、検出された前記連結角に基づきつつ前記第１画像と前記第２画像を合成する
    ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
  7. 請求項１〜請求項６の何れかに記載の画像処理装置と、
    前記第１及び第２撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、
    を備えた
    ことを特徴とする車両周辺視界支援装置。
  8. 請求項２に記載の画像処理装置と、
    前記第１、第２及び第３撮像部を有する撮像ユニット、並びに、前記表示装置、の内の少なくとも一方と、
    を備えた
    ことを特徴とする車両周辺視界支援装置。
  9. 第１車両と該第１車両に連結される第２車両とから成る車両であって、
    請求項１〜請求項６の何れかに記載の画像処理装置並びに第１及び第２撮像部が設置された
    ことを特徴とする車両。
  10. 第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受け、
    前記第１撮像部からの撮像信号に基づく第１画像と、前記第２撮像部からの撮像信号に基づく第２画像と、を合成した合成画像を生成し、
    前記合成画像に基づく表示画像を表示装置に表示させる
    ことを特徴とする車両周辺視界支援方法。
  11. 第１車両側に設置され、その第１車両に連結される第２車両側に共通視野を有する第１及び第２撮像部からの撮像信号を受けると共に、前記第２車両の後方を撮影する第３撮像部からの撮像信号を受け、
    前記第１撮像部からの撮像信号に基づく第１画像と前記第２撮像部からの撮像信号に基づく第２画像とを合成することによって得られる合成画像内の、前記第２車両の画像部分に、前記第３撮像部からの撮像信号に基づく第３画像を反映させ、これによって、前記合成画像に更に前記第３画像を合成した多重合成画像を生成し、
    前記多重合成画像に基づく表示画像を表示装置に表示させる
    ことを特徴とする車両周辺視界支援方法。
JP2007158802A 2006-08-21 2007-06-15 画像処理装置並びに車両周辺視界支援装置及び方法 Pending JP2008077628A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007158802A JP2008077628A (ja) 2006-08-21 2007-06-15 画像処理装置並びに車両周辺視界支援装置及び方法
EP07114290A EP1892150A2 (en) 2006-08-21 2007-08-14 Image processor and vehicle surrounding visual field support device
CN2007101400783A CN101132536B (zh) 2006-08-21 2007-08-14 图像处理装置和车辆周边视场支援装置
US11/842,599 US7974444B2 (en) 2006-08-21 2007-08-21 Image processor and vehicle surrounding visual field support device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006224444 2006-08-21
JP2007158802A JP2008077628A (ja) 2006-08-21 2007-06-15 画像処理装置並びに車両周辺視界支援装置及び方法

Publications (1)

Publication Number Publication Date
JP2008077628A true JP2008077628A (ja) 2008-04-03

Family

ID=38726242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007158802A Pending JP2008077628A (ja) 2006-08-21 2007-06-15 画像処理装置並びに車両周辺視界支援装置及び方法

Country Status (4)

Country Link
US (1) US7974444B2 (ja)
EP (1) EP1892150A2 (ja)
JP (1) JP2008077628A (ja)
CN (1) CN101132536B (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016571A (ja) * 2008-07-02 2010-01-21 Honda Motor Co Ltd 運転支援装置
JP2010118764A (ja) * 2008-11-11 2010-05-27 Nissan Motor Co Ltd 車両周辺監視装置および車両周辺監視方法
JP2011040920A (ja) * 2009-08-10 2011-02-24 Nippon Telegr & Teleph Corp <Ntt> 画像合成装置，画像合成方法および画像合成プログラム
JP2012157692A (ja) * 2011-01-11 2012-08-23 Advance Co Ltd 口腔内撮影表示システム
JP2013211035A (ja) * 2013-05-20 2013-10-10 Denso Corp 車両周辺表示装置
JP2013239873A (ja) * 2012-05-15 2013-11-28 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置
US9030524B2 (en) 2010-03-30 2015-05-12 Fujitsu Limited Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium
JP3202242U (ja) * 2015-11-10 2016-01-28 秋男 田中 安全走行をするための確認装置及びそれを備えた連結車両
WO2016024444A1 (ja) * 2014-08-12 2016-02-18 ソニー株式会社 信号処理装置と信号処理方法およびモニタリングシステム
KR20160034304A (ko) * 2013-07-23 2016-03-29 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드 차량 주변의 측방 및/또는 후방 구역을 재생하기 위한 방법 및 장치
JP2016110648A (ja) * 2014-12-05 2016-06-20 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ ビジュアルシステム
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
JP2017215936A (ja) * 2016-03-16 2017-12-07 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ 車両用ビジュアルシステム、特に、商用車用ビジュアルシステム
JP2019034707A (ja) * 2017-08-21 2019-03-07 アールアンドピー株式会社 分離可能な車両の車載カメラ装置。
JP2019069722A (ja) * 2017-10-10 2019-05-09 アイシン精機株式会社 駐車支援装置
KR20190107135A (ko) * 2017-01-27 2019-09-18 크노르-브렘제 시스테메 퓌어 누츠파조이게 게엠베하 차량의 트레일러 주변의 물체를 검출하는 센서 장치 및 방법
JP2021512003A (ja) * 2018-01-23 2021-05-13 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ 自動車のためのカメラモニタシステム、および自動車のためのカメラモニタシステムを動作させるための方法および装置
JP2022546137A (ja) * 2019-09-03 2022-11-02 ジャガー ランド ローバー リミテッド 制御システム及び方法

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
DE102008020839A1 (de) * 2008-04-25 2009-10-29 Daimler Ag Verfahren und Vorrichtung zur Ermittlung einer Position und/oder einer Ausrichtung einer Kamera
US20090271078A1 (en) * 2008-04-29 2009-10-29 Mike Dickinson System and method for identifying a trailer being towed by a vehicle
DE102008039649A1 (de) 2008-08-26 2009-04-02 Daimler Ag Umgebungserfassungsvorrichtung zur Beobachtung einer Umgebung eines gegliederten Fahrzeuges
US8004576B2 (en) 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
CN101610401A (zh) * 2009-03-17 2009-12-23 郑仰湖 全景可视泊车***
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP5500255B2 (ja) * 2010-08-06 2014-05-21 富士通株式会社 画像処理装置および画像処理プログラム
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9434414B2 (en) 2011-04-19 2016-09-06 Ford Global Technologies, Llc System and method for determining a hitch angle offset
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9374562B2 (en) 2011-04-19 2016-06-21 Ford Global Technologies, Llc System and method for calculating a horizontal camera to target distance
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9513103B2 (en) 2011-04-19 2016-12-06 Ford Global Technologies, Llc Hitch angle sensor assembly
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9373044B2 (en) 2011-07-25 2016-06-21 Ford Global Technologies, Llc Trailer lane departure warning system
KR20130084720A (ko) * 2012-01-18 2013-07-26 삼성전기주식회사 영상 처리 장치 및 방법
DE102012001835B4 (de) 2012-01-31 2023-03-02 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
TWI491524B (zh) * 2012-03-08 2015-07-11 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
US9154746B2 (en) 2012-07-20 2015-10-06 Scott Kageta Rear camera system for a vehicle with a trailer
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
DE102013002079A1 (de) * 2013-02-06 2014-08-07 Volvo Construction Equipment Germany GmbH Baumaschine
DE102014000978A1 (de) * 2014-01-25 2015-07-30 Audi Ag Verfahren und Vorrichtung zur Steuerung eines Gespanns in einen Parkraum
JP6403393B2 (ja) * 2014-02-12 2018-10-10 住友重機械工業株式会社 画像生成装置
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
US20150286878A1 (en) * 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
DE102014007897A1 (de) * 2014-05-27 2015-12-03 Man Truck & Bus Ag Verfahren und Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Nutzfahrzeuges
DE102014108489A1 (de) * 2014-06-17 2015-12-17 Robert Bosch Automotive Steering Gmbh Verfahren zur unterstützung eines fahrers beim überwachen einer fahrt eines kraftfahrzeugs oder kraftfahrzeuggespanns
US9517668B2 (en) 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US10161746B2 (en) 2014-08-18 2018-12-25 Trimble Navigation Limited Systems and methods for cargo management
WO2016028816A1 (en) 2014-08-18 2016-02-25 Trimble Navigation Limited System and method for modifying onboard event detection and/or image capture strategy using external source data
GB2529408B (en) * 2014-08-18 2019-01-30 Jaguar Land Rover Ltd Display system and method
US9714037B2 (en) 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US10701299B2 (en) 2014-08-18 2020-06-30 Jaguar Land Rover Limited Display system and method
DE102014015753A1 (de) * 2014-10-23 2016-04-28 Man Truck & Bus Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeug-Gespanns, insbesondere eines Nutzfahrzeug-Gespanns
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
US9522699B2 (en) 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
US9821845B2 (en) 2015-06-11 2017-11-21 Ford Global Technologies, Llc Trailer length estimation method using trailer yaw rate signal
US9860445B2 (en) 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
US10373378B2 (en) 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
TWI536313B (zh) * 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
US10204159B2 (en) 2015-08-21 2019-02-12 Trimble Navigation Limited On-demand system and method for retrieving video from a commercial vehicle
GB2541906A (en) * 2015-09-02 2017-03-08 Jaguar Land Rover Ltd Display system and method
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9610975B1 (en) 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9796228B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
US10011299B2 (en) * 2016-04-21 2018-07-03 Robert Bosch Gmbh Trailer angle detection using rear camera
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10857942B2 (en) * 2016-07-13 2020-12-08 Sony Corporation Image generating device, image generating method, and program
CN106225723B (zh) * 2016-07-25 2019-03-29 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
DE102016114689A1 (de) * 2016-08-09 2018-02-15 Connaught Electronics Ltd. Verfahren zum Unterstützen des Fahrers eines Kraftfahrzeugs beim Rangieren des Kraftfahrzeugs mit einem Anhänger, Fahrerassistenzsystem sowie Gespann
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
SE540160C2 (en) 2016-09-13 2018-04-17 Stoneridge Electronics Ab Automatic panning system
US10810443B2 (en) 2016-09-22 2020-10-20 Apple Inc. Vehicle video system
US10306289B1 (en) 2016-09-22 2019-05-28 Apple Inc. Vehicle video viewing systems
US10887653B2 (en) 2016-09-26 2021-01-05 Cyberlink Corp. Systems and methods for performing distributed playback of 360-degree video in a plurality of viewing windows
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
US10313584B2 (en) 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
US10706291B2 (en) * 2017-03-03 2020-07-07 Magna Electronics Inc. Trailer angle detection system for vehicle
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
US11591018B2 (en) 2017-10-10 2023-02-28 Aisin Corporation Parking assistance device
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
US11417116B2 (en) * 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
DE102019122086A1 (de) 2019-08-16 2021-02-18 Connaught Electronics Ltd. Fahrerassistenz für eine Kombination
US10882468B1 (en) * 2019-10-29 2021-01-05 Deere & Company Work vehicle composite panoramic vision systems
CN112131898A (zh) * 2020-09-23 2020-12-25 创新奇智(青岛)科技有限公司 一种扫码设备及图形码识别方法
DE102021201525A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
WO2023011667A1 (zh) * 2021-08-06 2023-02-09 上海豫兴电子科技有限公司 一种用于挂车后视镜补偿视野盲区的显示***及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4277804A (en) * 1978-11-01 1981-07-07 Elburn Robison System for viewing the area rearwardly of a vehicle
DE4029890C2 (de) * 1990-09-21 1999-03-11 Mekra Lang Gmbh & Co Kg Rückblick-Einrichtung für Kraftfahrzeuge
US5917405A (en) * 1993-06-08 1999-06-29 Joao; Raymond Anthony Control apparatus and methods for vehicles
JPH0713588A (ja) 1993-06-28 1995-01-17 Oki Electric Ind Co Ltd ヒドン・マルコフ・モデルの学習方法
JP2604387Y2 (ja) 1993-08-12 2000-05-08 日産ディーゼル工業株式会社 後方確認装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP2000331151A (ja) 1999-05-25 2000-11-30 Nec Corp 画像処理方法、画像歪み補正処理装置、及びそのプログラムを記録した記録媒体
US6450523B1 (en) * 1999-11-23 2002-09-17 Nathan E. Masters Steering method for a trailing section of an articulated vehicle
JP3545297B2 (ja) 1999-12-24 2004-07-21 三洋電機株式会社 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3674473B2 (ja) 2000-08-03 2005-07-20 いすゞ自動車株式会社 車両後方視界支援装置
JP2002181518A (ja) 2000-10-02 2002-06-26 Isuzu Motors Ltd トレーラ連結角検出装置
JP2002120775A (ja) 2000-10-19 2002-04-23 Isuzu Motors Ltd トレーラ連結角検出装置
JP2003235036A (ja) 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
JP2004046573A (ja) 2002-07-12 2004-02-12 Sanyo Electric Co Ltd チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
DE60232378D1 (de) * 2002-07-17 2009-06-25 Fico Mirrors Sa Einrichtung zur aktiven überwachung der äusseren sicherheitsbegrenzung eines kraftfahrzeugs

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016571A (ja) * 2008-07-02 2010-01-21 Honda Motor Co Ltd 運転支援装置
JP2010118764A (ja) * 2008-11-11 2010-05-27 Nissan Motor Co Ltd 車両周辺監視装置および車両周辺監視方法
JP2011040920A (ja) * 2009-08-10 2011-02-24 Nippon Telegr & Teleph Corp <Ntt> 画像合成装置，画像合成方法および画像合成プログラム
US9030524B2 (en) 2010-03-30 2015-05-12 Fujitsu Limited Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium
JP2012157692A (ja) * 2011-01-11 2012-08-23 Advance Co Ltd 口腔内撮影表示システム
JP2013239873A (ja) * 2012-05-15 2013-11-28 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置
JP2013211035A (ja) * 2013-05-20 2013-10-10 Denso Corp 車両周辺表示装置
JP2016530150A (ja) * 2013-07-23 2016-09-29 アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド 車両の側方及び／或いは後方の周辺領域を再生するための方法並びに装置
US10000155B2 (en) 2013-07-23 2018-06-19 Application Solutions (Electronics and Vision) Ltd. Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
KR20160034304A (ko) * 2013-07-23 2016-03-29 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드 차량 주변의 측방 및/또는 후방 구역을 재생하기 위한 방법 및 장치
KR102193269B1 (ko) * 2013-07-23 2020-12-22 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드 차량 주변의 측방 및/또는 후방 구역을 재생하기 위한 방법 및 장치
WO2016024444A1 (ja) * 2014-08-12 2016-02-18 ソニー株式会社 信号処理装置と信号処理方法およびモニタリングシステム
JPWO2016024444A1 (ja) * 2014-08-12 2017-05-25 ソニー株式会社 信号処理装置と信号処理方法およびモニタリングシステム
US10632917B2 (en) 2014-08-12 2020-04-28 Sony Corporation Signal processing device, signal processing method, and monitoring system
JP2016110648A (ja) * 2014-12-05 2016-06-20 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ ビジュアルシステム
JP3202242U (ja) * 2015-11-10 2016-01-28 秋男 田中 安全走行をするための確認装置及びそれを備えた連結車両
US10721442B2 (en) 2016-01-13 2020-07-21 Socionext Inc. Surround view monitor apparatus
JPWO2017122294A1 (ja) * 2016-01-13 2018-11-08 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
WO2017122294A1 (ja) * 2016-01-13 2017-07-20 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
JP2017215936A (ja) * 2016-03-16 2017-12-07 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ 車両用ビジュアルシステム、特に、商用車用ビジュアルシステム
KR20190107135A (ko) * 2017-01-27 2019-09-18 크노르-브렘제 시스테메 퓌어 누츠파조이게 게엠베하 차량의 트레일러 주변의 물체를 검출하는 센서 장치 및 방법
KR102247956B1 (ko) * 2017-01-27 2021-05-07 크노르-브렘제 시스테메 퓌어 누츠파조이게 게엠베하 차량의 트레일러 주변의 물체를 검출하는 센서 장치 및 방법
US11173883B2 (en) 2017-01-27 2021-11-16 Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh Sensor arrangement and a method for detecting an object around a trailer of a vehicle
JP2019034707A (ja) * 2017-08-21 2019-03-07 アールアンドピー株式会社 分離可能な車両の車載カメラ装置。
JP2019069722A (ja) * 2017-10-10 2019-05-09 アイシン精機株式会社 駐車支援装置
JP2021512003A (ja) * 2018-01-23 2021-05-13 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ 自動車のためのカメラモニタシステム、および自動車のためのカメラモニタシステムを動作させるための方法および装置
JP7171743B2 (ja) 2018-01-23 2022-11-15 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車のためのカメラモニタシステム、および自動車のためのカメラモニタシステムを動作させるための方法および装置
JP2022546137A (ja) * 2019-09-03 2022-11-02 ジャガー ランド ローバー リミテッド 制御システム及び方法

Also Published As

Publication number Publication date
CN101132536A (zh) 2008-02-27
CN101132536B (zh) 2011-06-01
EP1892150A2 (en) 2008-02-27
US20080044061A1 (en) 2008-02-21
US7974444B2 (en) 2011-07-05

Similar Documents

Publication Publication Date Title
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
US8130270B2 (en) Vehicle-mounted image capturing apparatus
JP4934308B2 (ja) 運転支援システム
JP4257356B2 (ja) 画像生成装置および画像生成方法
CN102045546B (zh) 一种全景泊车辅助***
US20140114534A1 (en) Dynamic rearview mirror display features
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP4902368B2 (ja) 画像処理装置及び画像処理方法
CN101442618A (zh) 用于车辆辅助驾驶的360度环形视频合成方法
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP2010166196A (ja) 車両周辺監視装置
JP2009105660A (ja) 車載用撮像装置
JP2013074350A (ja) 俯瞰画像表示装置
JP2009083744A (ja) 合成画像調整装置
JP2010064646A (ja) 車両周辺監視装置および車両周辺監視方法
JP2009087228A (ja) 画像表示装置
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP6274936B2 (ja) 運転支援装置
JP2010188926A (ja) 車両後方表示装置および車両後方表示方法