JP6642306B2 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP6642306B2
JP6642306B2 JP2016129233A JP2016129233A JP6642306B2 JP 6642306 B2 JP6642306 B2 JP 6642306B2 JP 2016129233 A JP2016129233 A JP 2016129233A JP 2016129233 A JP2016129233 A JP 2016129233A JP 6642306 B2 JP6642306 B2 JP 6642306B2
Authority
JP
Japan
Prior art keywords
image data
captured image
vehicle
unit
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016129233A
Other languages
English (en)
Other versions
JP2018006921A (ja
Inventor
渡邊　一矢
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2016129233A priority Critical patent/JP6642306B2/ja
Priority to DE112017003282.2T priority patent/DE112017003282T5/de
Priority to US16/312,484 priority patent/US10855954B2/en
Priority to PCT/JP2017/010271 priority patent/WO2018003193A1/ja
Priority to CN201780036450.8A priority patent/CN109314767A/zh
Publication of JP2018006921A publication Critical patent/JP2018006921A/ja
Application granted granted Critical
Publication of JP6642306B2 publication Critical patent/JP6642306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、周辺監視装置に関する。
従来、車両の駐車を支援する技術として、車両に設置されたカメラで、車両の周辺環境を撮像し、撮像結果である撮像画像データを表示することで、ユーザに対して運転を支援する技術が提案されている。
特開２０１６−０２１６５３号公報
しかしながら、従来技術においては、車両に設置されたカメラで撮像された撮像画像データを表示する表示方法には改善の余地がある。例えば、撮像画像データを切り替える際に、ユーザに状況を把握しやすい表示態様の提供が望まれている。
実施形態の周辺監視装置は、車両に搭載された撮像部により撮像された撮像画像データを記憶する記憶部と、記憶部に記憶された撮像画像データを表示する際に、撮像部により現在撮像された現在撮像画像データを表示する第１の表示モードと、撮像部により過去に撮像された過去撮像画像データを表示する第２の表示モードと、を切り替える切替制御部と、第１の表示モードに基づいた、撮像部により現在撮像された現在撮像画像データと、第２の表示モードに基づいた、撮像部により過去に撮像された過去撮像画像データと、の表示を切り替える場合に、過去撮像画像データを撮像した時と、現在撮像画像データを撮像した時と、の間の遷移を表す情報を表示装置に出力する出力部と、を備える。当該構成によれば、例えば、遷移を表した情報を表示することで、位置関係の把握を容易にすることができる。
また、実施形態の周辺監視装置は、例えば、出力部は、撮像部により現在撮像された現在撮像画像データの表示から、撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、現在撮像画像データの撮影時から、過去撮像画像データの撮影時まで、撮像部により撮像された撮像画像データを出力する。当該構成によれば、例えば、撮像画像データを表示することで、位置関係の把握を容易にすることができる。
また、実施形態の周辺監視装置は、例えば、出力部は、撮像部により撮像された撮像画像データを表示する場合に、現在の車両の位置を示した情報を、撮像画像データに重畳して出力する。当該構成によれば、例えば、現在の車両の位置を示した情報を重畳することで、位置関係を容易に把握することができる。
また、実施形態の周辺監視装置は、例えば、出力部は、撮像部により現在撮像された現在撮像画像データの表示から、撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、過去撮像画像データに対して、過去撮像画像データを撮像した時から、現在撮像画像データを撮像した時まで、車両の移動の遷移を表した情報を出力する。当該構成によれば、例えば、車両の移動の遷移を表した情報を出力することで、位置関係を容易に把握することができる。
また、実施形態の周辺監視装置は、例えば、記憶部は、車両の進行方向の路面を含む領域を撮像する撮像部から出力された撮像画像データを記憶し、切替制御部は、撮像部により現在撮像された、車両の現在の進行方向の路面を含む現在撮像画像データを表示する第１の表示モードと、車両の過去の進行方向の路面を含む過去撮像画像データを、車両の床下を表した撮像画像データとして表示する第２の表示モードと、を切り替える。当該構成によれば、例えば、現在の車両の床下の状況を容易に把握することができる。
図１は、第１の実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、第１の実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図４は、第１の実施形態にかかるＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図５は、第１の実施形態にかかる車両の撮像部による撮像領域を示した図である。 図６は、第１の実施形態にかかるリングバッファの構造を示した図である。 図７は、第１の実施形態にかかる表示処理部により表示処理される現在画像表示モードの画面例を示した図である。 図８は、第１の実施形態にかかる表示処理部により表示処理される過去画像表示モードの画面例を示した図である。 図９は、第１の実施形態にかかる画像選択部が選択する撮像画像データの遷移を説明した図である。 図１０は、第１の実施形態にかかる出力部により表示装置に出力される、表示領域の遷移を示した図である。 図１１は、第１の実施形態にかかる周辺監視部における、撮像画像データの保存処理の手順を示すフローチャートである。 図１２は、第１の実施形態にかかる周辺監視部における表示処理の手順を示すフローチャートである。 図１３は、第１の実施形態にかかる周辺監視部における過去画像表示モードの画面の表示処理の手順を示すフローチャートである。 図１４は、第２の実施形態の出力部により表示装置に出力される、表示領域の遷移を示した図である。 図１５は、第２の実施形態にかかる周辺監視部における過去画像表示モードの画面の表示処理の手順を示すフローチャートである。
以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。
（第１の実施形態）
図１は、第１の実施形態の車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、及び、個数、レイアウト等は、種々に設定することができる。
図１に示されるように、第１の実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。
また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４（ステアリングホイール）の操作に対応して変化（転舵）する。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補って、前輪３Ｆを操舵する。なお、別の実施例において、操舵システム１３は、前輪と後輪が独立または関連して操舵されるように構成してもよい。そして、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（例えば、鉛直方向や斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影した撮像画像データを出力する。
本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両１に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。
ＥＣＵ２４は、複数の撮像部１６で得られた撮像画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた画像データを表示装置８に表示できる。
図３は、実施形態の車両１の構成を説明するブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）２４とを更に備える。モニタ装置１１、操舵システム１３、撮像部１６、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、及び、ＥＣＵ２４は、周辺監視システム（周辺監視装置）として機能する。
モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、及び、ＥＣＵ２４が、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。
本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。
操舵システム１３は、例えば、電動パワーステアリングシステム、または、ＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ２４等によって電気的に制御されて、アクチュエータ１３ａを動作させる。トルクセンサ１３ｂは、トルクをＥＣＵ２４へ送信する。
ブレーキシステム１８は、アクチュエータ１８ａと、ブレーキセンサ１８ｂとを有する。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３に制動力を与える。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部としてのブレーキペダルの位置をＥＣＵ２４へ送信する。
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、運転者による操舵部４の操舵量、及び、自動操舵時の各車輪３の操舵量等の舵角情報をＥＣＵ２４へ送信する。
アクセルセンサ２０は、例えば、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサである。アクセルセンサ２０は、加速操作部５の位置をＥＣＵ２４へ送信する。
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサであり、変速操作部７の可動部の位置をシフト情報としてＥＣＵ２４へ送信する。
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数を車輪速情報としてＥＣＵ２４へ送信する。
ＥＣＵ２４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。
ＥＣＵ２４は、撮像部１６から撮像画像データを受信する。なお、ＥＣＵ２４は、車内ネットワーク２３を介して、撮像部１６から撮像画像データを受信してもよい。ＥＣＵ２４は、例えば、コンピュータである。ＥＣＵ２４は、ＣＰＵ（Central Processing Unit）２４ａと、ＲＯＭ（Read Only Memory）２４ｂと、ＲＡＭ（Random Access Memory）２４ｃと、表示制御部２４ｄと、音声制御部２４ｅと、ＳＳＤ（Solid State Drive）２４ｆとを備える。ＣＰＵ２４ａ、ＲＯＭ２４ｂ及びＲＡＭ２４ｃは、同一パッケージ内に集積されていてもよい。
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ２４ａは、例えば、表示装置８に表示させる画像に関連した画像処理等を実行する。
ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１６から取得してＣＰＵ２４ａへ出力する撮像画像の処理、ＣＰＵ２４ａから取得して表示装置８に表示させる表示用画像のデータ変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、ＣＰＵ２４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもＣＰＵ２４ａから取得したデータを維持する。
図４は、本実施形態にかかるＥＣＵ２４内に実現される周辺監視部４００の構成を示すブロック図である。図３のＥＣＵ２４として構成されたＣＰＵ２４ａが、ＲＯＭ２４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、切替制御部４０６と、表示処理部４０７と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。また、周辺監視部４００は、ＲＡＭ２４ｃ上にリングバッファ４０４を実現する。
図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した図である。図５に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、車両１の前輪３Ｆ付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２に含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めることも、車両１のバンパーの配置等の影響で（車両１の構造的に）難しい。
このため、ユーザは、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物等が存在するか否かを確認するのが難しい。そこで、本実施形態にかかる周辺監視部４００は、ユーザの要望に応じて、撮像部１６ａが過去に撮像した撮像画像データを表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味する。
例えば、周辺監視部４００が、車両１の後方の位置で撮像部１６ａが撮像した撮像画像データとして、撮像領域５０３を撮像した撮像画像データを、ユーザに提示することが考えられる。撮像領域５０３には、路面５０１が含まれているため、ユーザは前輪３Ｆ付近の路面５０１を確認することができる。これにより、ユーザは路面５０１の状況を確認した上で運転できるため、運転の負担を軽減できる。次に、図４に戻り、周辺監視部４００の構成について説明する。
取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。さらに取得部４０１は、舵角センサ１９から舵角情報や、車輪速センサ２２から車輪速情報を取得する。
また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと、加速度データと、舵角情報と、車輪速情報と、を対応付けておく。
角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。
また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。
保存処理部４０３は、補正部４１１と、位置推定部４１２と、保存部４１３と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。
補正部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対する回転補正を行う。
本実施形態にかかる補正部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。
また、補正部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、車両１のバンパー等が写っている領域を、切り取る補正を行う。
位置推定部４１２は、加速度データ、舵角情報、及び車輪速情報に基づいて、車両１の前回撮像した位置からの移動量を算出し、現在の車両１の位置を推定する。
また、位置推定部４１２は、撮像画像データを用いたオプティカルフローで車両１の移動量を算出し、車両１の現在の位置を推定しても良い。車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。この様な場合に、オプティカルフローに基づいて車両１の移動量、及び位置の推定を行うと、現在位置の推定精度を向上させることができる。
保存部４１３は、補正部４１１で補正された後の撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、保存する間隔を制限するものではないが、例えば、０．１ｍ毎に保存する等が考えられる。本実施形態では、車両１の床下を表示する際に、過去の撮像画像データを表示する。本実施形態は、当該過去の撮像画像データに表示を切り替える際、現在の撮像画像データから当該過去の撮像画像データを表示するまでの間に撮影された撮像画像データを順番に表示する、アニメーション表示を行うこととした。これにより、現在の撮像画像データから、車両１が進んできた進路を遡るような動きの映像が表示される。これにより、ユーザに、表示装置８に表示している領域を把握させることができる。なお、本実施形態は、０．１ｍ単位で撮像画像データを保存するが、アニメーション表示をスムーズに行うことが可能な保存間隔であれば良い。
リングバッファ４０４は、車両の進行方向の路面を含む領域を撮像する撮像部１６ａから出力された現在の撮像画像データを、撮像時の情報と対応付けて保存する。図６は、リングバッファ４０４の構造を示した図である。図６に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて記憶する。また、リングバッファ４０４が保存する撮像画像データは、撮像部１６ａから出力された撮像画像データに制限するものではなく、車両１が後方に進行している場合には、撮像部１６ｃから出力された撮像画像データを、撮像時の情報と対応付けて保存してもよい。これにより、車両１が後方に進む場合の床下の表示を実現できる。
図６に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１３の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。
受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。本実施形態にかかる受付部４０５は、これら指示信号から、撮像部１６ａが撮像した現在の撮像画像データ、及びリングバッファ４０４に記憶されている過去の撮像画像データ（換言すれば車両１の床下表示）のうち、どちらを表示装置８に表示するかの切り替え操作を受け付ける。
切替制御部４０６は、リングバッファ４０４に記憶された撮像画像データを表示する際に、現在画像表示モード（第１の表示モード）と、過去画像表示モード（第２の表示モード）と、を切り替える。現在画像表示モード（第１の表示モード）は、撮像部１６により現在撮像された、車両１の現在の進行方向の路面を含む撮像画像データを表示するモードとする。過去画像表示モード（第２の表示モード）は、撮像部１６により過去に撮像された、車両１の過去の進行方向の路面を含む撮像画像データを、車両１の床下を表した撮像画像データとして表示するモードとする。
表示処理部４０７は、画像選択部４２１と、重畳部４２２と、出力部４２３と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。
図７は、表示処理部４０７により表示処理される現在画像表示モードの画面例を示した図である。図７に示す様に、現在画像表示モードの画面例では、撮像部１６ａが撮像している撮像画像データ７０１の他に、撮像部１６ｄにより撮像された、車両１の右側の前輪３Ｆ周辺の撮像画像データ７０２と、撮像部１６ｂにより撮像された、車両１の左側の前輪３Ｆ周辺の撮像画像データ７０３と、が映っている。さらには、表示領域７０４には、車両１のピッチ角及びロール角が認識可能な情報が表示されている。つまり、車両１を示したアイコン７１１の傾きでロール角を示す一方、当該アイコン７１１を通る中心線と、水平線との間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。
また、撮像画像データ７０１には、舵角センサ１９から取得した操舵角に応じた前輪３Ｆの進行方向を示した軌跡７５１、７５２が表示される。これにより、ユーザは、車両１の進行方向を確認した上で運転することが可能となる。
しかしながら、図７に示す画面例では、車両１の床下付近の状況を確認するのは難しい。そこで、本実施形態にかかる周辺監視部４００では、切替制御部４０６が、車両１の床下付近の表示、換言すれば過去画像表示モードに切り替える制御を行う。本実施形態は、切り替え手法を制限するものではないが、例えば車両１が停止してから、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、切替制御部４０６が、表示処理部４０７により表示される画面を切り替える等が考えられる。
図８は、表示処理部４０７により表示処理される過去画像表示モードの画面例を示した図である。図８に示す例では、右側の前輪３Ｆ周辺の撮像画像データ７０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ７０３と、ロール角及びピッチ角を認識可能に表示している表示領域７０４と、は、現在の車両１の状況を表しているため、図７と同様とする。
撮像画像データ８０１は、車両１の撮像部１６ａにより過去に撮像された撮像画像データとする。撮像画像データ８０１を撮像してから算出された車両１の移動量により、撮像画像データ８０１上の現在の車両１の位置を推定できる。そこで、表示処理部４０７は、車両１の現在の位置を特定可能な識別情報を表示する。図８に示す例では、車両１の現在の位置を特定可能な識別情報の一例として車両１の外形を示す輪郭線８１１と、車両１の前輪３Ｆの外形を示す輪郭線８１２、８１３と、が表示されている。
前輪３Ｆの外形を示す輪郭線８１２、８１３が、舵角センサ１９により検出された現在の操舵角に基づいた輪郭線とする。これにより、ユーザは、輪郭線８１２、８１３を視認することで、車両１の現在のタイヤ角と位置を認識できる。撮像画像データ８０１では、車両１の外形を示す輪郭線８１１と、前輪３Ｆの外形を示す輪郭線８１２、８１３と、が重畳表示されているため、ユーザは、路面と、車両１の前輪３Ｆ付近を含む床下の路面状況を認識できる。これにより、周辺監視部４００は、ユーザに対して、前輪３Ｆ付近の障害物を避ける等の運転を行うための環境を提供できる。このように、本実施形態は、運転負担の軽減、及び運転する際の利便性を向上させることができる。
また撮像画像データに重畳する情報は、車両１の所定部位を特定可能な識別情報（例えば、輪郭線８１１、８１２、８１３）に制限するものではない。本実施形態にかかる表示処理部４０７は、ユーザの要求に応じて、撮像画像データに対して、車両１の現在の操舵角による進行方向の軌跡等を表示しても良い。
図４に戻り、次に表示処理部４０７の構成について説明する。画像選択部４２１は、受付部４０５により、（車両１の床下を表示する）過去画像表示モードへの切り替えを受け付けた場合に、表示装置８に表示する撮像画像データを、リングバッファ４０４から選択する。
本実施形態の画像選択部４２１は、切替制御部４０６により現在画像表示モードから、過去画像表示モードに切り替える際に、撮像部１６により現在撮像された撮像画像データの撮影時から、過去画像表示モードで表示される撮像画像データの撮影時までに、撮像部１６により撮像された撮像画像データを、リングバッファ４０４から順番に選択する。
その後、画像選択部４２１は、リングバッファ４０４に記憶されている撮像画像データのうち、最も古い撮像画像データを、過去画像表示モードとして（車両１の床下を）表示する撮像画像データとして選択する。
図９は、画像選択部４２１が選択する撮像画像データの遷移を説明した図である。図９に示されるように、画像選択部４２１は、現在の時刻ｔ8から、過去画像表示モードで表示される撮像画像データが撮像された時刻ｔ1までの間の、時刻ｔ7〜t2で撮像された撮像画像データを、順番に選択していく。このように、画像選択部４２１が、時刻ｔ7〜時刻ｔ2で撮像された撮像画像データを、現在から過去に遡るように選択した後に、時刻ｔ1で撮像された撮像画像データを選択する。これにより、本実施形態の表示装置８は、車両１の床下を表示するまでのアニメーション表示を実現できる。
重畳部４２２は、撮像画像データに、現在の車両の位置を示した情報を重畳する。本実施形態の重畳部４２２は、現在の時刻ｔ8の車両１の位置情報と、画像選択部４２１に選択された撮像画像データと対応付けられている位置情報と、に基づいて、画像選択部４２１に選択された撮像画像データの表示領域に対して、車両１の現在の位置を特定可能な識別情報（車両１の外形を示す輪郭線と、車両１の前輪３Ｆの外形を示す輪郭線）を重畳する。これにより、出力部４２３は、アニメーション表示を行う際に、現在の車両の位置を示した識別情報が重畳された撮像画像データを順番に出力できる。
出力部４２３は、撮像部１６により現在撮像された撮像画像データの表示から、撮像部１６により過去撮像された過去の撮像画像データの表示を行う場合に、現在の撮像画像データの撮影時ｔ8から、過去の撮像画像データの撮影時ｔ1までに、撮像部１６により（時刻ｔ2〜ｔ7で）撮像され、重畳部４２２で識別情報が重畳された撮像画像データを順番に出力する。
図１０は、出力部４２３により表示装置８に出力される、表示領域の遷移を示した図である。
図１０の表示領域１００１には、撮像部１６ａが現在撮像している撮像画像データが表される。表示領域１００１に表示される撮像画像データには、進行方向を示した軌跡１０５１、１０５２が重畳されている。また、撮像画像データには、バンパー１０５３が映り込んでいる。
そして、受付部４０５が、現在画像表示モードから、過去画像表示モード（第２の表示モード）に切り替える操作を受け付ける。これに従って、切替制御部４０６は、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える。これに従って、出力部４２３は、表示領域１００２〜１００５を順番に、（過去に遡るように）出力する。
次に、表示領域１００２には、撮像部１６ａが現在撮像している撮像画像データが表される。表示領域１００２に表示される撮像画像データは、表示領域１００１に表示される撮像画像データと比べて、軌跡１０５１、１０５２や、バンパー１０５３等が取り除かれている。
次に、表示領域１００３には、撮像部１６ａが過去（例えば図９に示す時刻ｔ7や時刻ｔ6）に撮像している撮像画像データが表される。表示領域１００３に表示される撮像画像データは、現在の車両１の位置を示した識別情報１０６１が重畳されている。
次に、表示領域１００４には、表示領域１００３が表示した撮像画像データと比べて、撮像部１６ａが過去（例えば図９に示す時刻ｔ5〜時刻ｔ2）に撮像している撮像画像データが表される。表示領域１００４に表示される撮像画像データも同様に、現在の車両１の位置を示した識別情報１０７１が重畳されている。このように現在の車両１の位置を示した識別情報が徐々に前方に進むように遷移していくことで、どのような撮像画像データが表示されているのかを、ユーザに把握させることができる。
表示領域１００５には、過去画像表示モードとして、撮像部１６ａが過去（例えば図９に示す時刻ｔ1）に撮像している撮像画像データが、車両１の床下を表した撮像画像データとして表される。当該撮像画像データは、リングバッファ４０４において最も古い撮像画像データとする。表示領域１００５に表示される撮像画像データも同様に、現在の車両１の位置を示した識別情報１０８１が重畳されている。これにより、車両１の床下の状況と、車両１との位置関係を把握できる。
次に、本実施形態にかかる周辺監視部４００における、撮像画像データの保存処理について説明する。図１１は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
まず、撮像部１６が、車両１の周辺環境を撮像する（Ｓ１１０１）。特に撮像部１６ａは、車両１の進行方向のうち、路面と地平線とを含む領域を撮像する。
次に、取得部４０１が、撮像部１６から撮像画像データを、加速度センサ２６から加速度データを取得する（Ｓ１１０２）。
そして、角度算出部４０２が、加速度データから、車両１のロール角及びピッチ角を算出する（Ｓ１１０３）。
そして、補正部４１１が、撮像画像データに対して、ロール角に応じた回転補正を行う（Ｓ１１０４）。
次に、補正部４１１が、撮像画像データに対して、バンパー等が表示されている領域を取り除く補正を行う（Ｓ１１０５）。
次に、位置推定部４１２が、加速度データ、舵角情報、及び車輪速情報に基づいて、車両１の移動量を算出すると共に、車両１の現在位置を推定する（Ｓ１１０６）。
そして、保存部４１３は、前回保存した位置から、所定の距離（例えば、０．１ｍ）以上変化したか否かを判定する（Ｓ１１０７）。所定の距離を変化していないと判定した場合（Ｓ１１０７：Ｎｏ）、処理を終了する。なお、本実施形態では、所定の距離以上変化した場合に保存を行う例について説明するが、このような保存手法に制限するものではなく、所定の舵角以上変化した場合や、所定時間毎に保存等をおこなっても良い。
一方、保存部４１３が、前回保存した位置から、所定の距離（例えば、０．１ｍ）以上変化したと判定した場合（Ｓ１１０７：Ｙｅｓ）、保存部４１３が、リングバッファ４０４の最も古くに更新された領域に対して、補正した後の現在の撮像画像データを、上書き保存する（Ｓ１１０８）。その際に、保存部４１３は、当該撮像画像データの位置情報を対応付けて保存する。
次に、保存部４１３は、リングバッファ４０４に記憶されている撮像画像データの撮像時の位置情報を、現在の位置を基準（原点）とした位置情報に更新する（Ｓ１１０９）。当該更新により、リングバッファ４０４をオーバーフローすることなく、継続して位置情報を保持することができる。
そして、本実施形態にかかる周辺監視部４００は、リングバッファ４０４に記憶された撮像画像データを、床下表示の際の画像データとして提供できる。
次に、本実施形態にかかる周辺監視部４００における、表示処理について説明する。図１２は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
まず、受付部４０５が、床下表示（過去画像表示モードの表示）の操作を受け付けたか否かを判定する（Ｓ１２０１）。受付部４０５が、床下表示（過去画像表示モードの表示）の操作を受け付けていないと判定した場合（Ｓ１２０１：Ｎｏ）、表示処理部４０７は、現在画像表示モードの画面を表示する（Ｓ１２０２）。
一方、受付部４０５が、床下表示（過去画像表示モードの表示）の操作を受け付けたと判定した場合（Ｓ１２０１：Ｙｅｓ）、切替制御部４０６が、現在画像表示モードから、過去画像表示モードに切り替えて、表示処理部４０７は、過去画像表示モードの画面を表示する（Ｓ１２０３）。
次に、図１２のＳ１２０３における、過去画像表示モードの画面表示について説明する。図１３は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
まず、画像選択部４２１が、現在表示されている撮像画像データより、一つ前に（一回前の過去に撮影されたものとして）リングバッファ４０４に格納されている撮像画像データを選択する（Ｓ１３０１）。
重畳部４２２は、選択された撮像画像データに対して、現在の車両の位置を示した情報（輪郭線）を重畳する（Ｓ１３０２）。
出力部４２３は、現在の車両の位置を示した情報（輪郭線）が重畳された撮像画像データを、表示装置８に出力する（Ｓ１３０３）。
画像選択部４２１は、リングバッファ４０４に格納された撮像画像データのうち、最も古い撮像画像データが出力されたか否か判定する（Ｓ１３０４）。最も古い撮像画像データが出力されていないと判定した場合（Ｓ１３０４：Ｎｏ）、再びＳ１３０１から処理を行う。
一方、画像選択部４２１は、最も古い撮像画像データが出力されたと判定した場合（Ｓ１３０４：Ｙｅｓ）、過去画像表示モードの撮像画像データが表示されたものとして、処理を終了する。
本実施形態の周辺監視部４００は、上述した制御により、リングバッファ４０４に格納されている撮像画像データを、過去に遡るように順番に表示を行っていることで、ユーザに対して、過去画像表示モードに切り替わることを認識させることができる。
本実施形態では、表示切り替えのボタンの押下により、表示を切り替える例について説明した。しかしながら、表示を切り替えるタイミングを制限するものではない。例えば、車両の移動中に常に、過去に撮像した撮像画像データを表示しても良いし、車両１が停止したことを条件に過去に撮像した撮像画像データの表示に切り替えても良い。
さらには、本実施形態では、現在画像表示モードから、過去画像表示モードに切り替える場合について説明したが、現在画像表示モードと、過去画像表示モードと、の間の切り替えであればよく、例えば、過去画像表示モードから、現在画像表示モードに切り替える場合についても上述した表示制御を行っても良い。
（第２の実施形態）
第１の実施形態では、リングバッファ４０４に格納された撮像画像データを表示装置８に順番に出力する例について説明した。しかしながら、リングバッファ４０４に格納された撮像画像データを表示装置８に順番に出力する例に制限するものではなく、現在画像表示モードで表示される撮像画像データと、過去画像表示モードで表示される過去の撮像画像データと、を切り替える際に、この間の遷移を示した情報を表示装置８に順番に表示すれば良い。そこで、第２の実施形態では、過去の撮像画像データに対して、過去撮像画像データを撮像した時から、現在の撮像画像データを撮像した時まで、車両１の移動の遷移を表した情報を順番に出力する例について説明する。なお、周辺監視部の構成は第１の実施形態と同様として説明を省略する。
図１４は、出力部４２３により表示装置８に出力される、表示領域の遷移を示した図である。
図１４の表示領域１４０１には、撮像部１６ａが現在撮像している撮像画像データが表される。表示領域１４０１に表示される撮像画像データには、進行方向を示した軌跡１４５１、１４５２が重畳されている。また、撮像画像データには、バンパー１０５３が映り込んでいる。
そして、受付部４０５が、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える操作を受け付ける。これに従って、切替制御部４０６は、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える。これに従って、出力部４２３は、表示領域１４０２〜１４０５の順番に出力する。
次に、表示領域１４０２には、リングバッファ４０４に格納されている撮像画像データのうち最も古い撮像画像データが表示される。
次に、表示領域１４０３には、最も古い撮像画像データに対して、撮像部１６ａが過去（例えば、図９に示す時刻ｔ2や時刻ｔ3）に撮像している撮像画像データと対応付けられた位置情報による、車両１の位置を示した識別情報１４６１が重畳され、表示される。
次に、表示領域１４０４には、最も古い撮像画像データに対して、表示領域１４０３が表示した撮像画像データより新しい（例えば図９に示す時刻ｔ4〜時刻ｔ7で撮影された）撮像画像データと対応付けられた位置情報による、車両１の位置を示した識別情報１４７１が重畳され、表示される。これにより、車両１が現在の位置に進んでいくようにアニメーション表示がなされる。
表示領域１４０５には、最も古い撮像画像データに対して、現在の（例えば図９に示す時刻ｔ8で撮影された）撮像画像データと対応付けられた位置情報による、車両１の位置を示した識別情報１４８１が重畳される。
このように、本実施形態では、出力部４２３が、撮像部１６により現在撮像された撮像画像データの表示から、撮像部１６により過去撮像された撮像画像データの表示を行う場合に、過去の撮像画像データに対して、過去の撮像画像データを撮像した時から、現在の撮像画像データを撮像した時まで、車両１の移動の遷移を表した情報を順番に出力する。
上述した表示を行うことで、ユーザに対して、過去の撮像画像データに切り変わったことを認識させることができる。
次に、図１２のＳ１２０３における、過去画像表示モードの画面表示について説明する。図１５は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。
まず、画像選択部４２１が、リングバッファ４０４に格納されている撮像画像データのうち、最も古い撮像画像データを選択する（Ｓ１５０１）。
さらに、画像選択部４２１は、選択された最も古い撮像画像データと対応する位置情報を、初期値として設定する（Ｓ１５０２）。
次に、重畳部４２２は、設定されている位置情報に対応する、車両１の位置を示した識別情報を、最も古い撮像画像データに重畳する（Ｓ１５０３）。なお、位置情報が初期値の場合には、車両１の位置を示した識別情報は重畳されない。
そして、出力部４２３は、車両１の位置を示した識別情報が重畳されている撮像画像データを、表示装置８に出力する（Ｓ１５０４）。
その後、画像選択部４２１は、設定されている位置情報が、現在の撮像画像データに対応する位置情報であるか否かを判定する（Ｓ１５０５）。画像選択部４２１は、現在の撮像画像データに対応する位置情報ではないと判定した場合（Ｓ１５０５：Ｎｏ）、設定されている位置情報よりリングバッファ４０４において一つ新しい位置情報を、Ｓ１５０３の重畳に用いるパラメータとして設定し（Ｓ１５０６）、Ｓ１５０３から処理を行うものとする。
一方、画像選択部４２１は、現在の撮像画像データに対応する位置情報であると判定した場合（Ｓ１５０５：Ｙｅｓ）、処理を終了する。
本実施形態の周辺監視部４００は、上述した制御により、リングバッファ４０４に格納されている位置情報に基づいて、車両１の移動の遷移を順番に表示することで、ユーザに対して、過去画像表示モードに切り替わることを認識させることができる。
（変形例）
上述した実施形態では、保存処理部４０３が過去に撮像した撮像画像データをリングバッファ４０４に格納した後、過去画像表示モードになった場合に、リングバッファ４０４に格納された撮像画像データを表示する例について説明した。
しかしながら、このような表示手法に制限するものではなく、過去に撮影された画像データを合成した画像データを、車両１の床下を表す画像データとして表示しても良い。
本変形例では、保存処理部４０３は、撮像部１６ａが撮像した画像データを、上述した実施形態と同様の回転補正を行った後、当該撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。
そして、位置推定部４１２は、今回撮影を行った車両１の位置と前回撮影を行った車両１の位置との間の移動量を推定する。
そして、保存処理部４０３は、移動量に基づいて、今回生成された鳥瞰図画像データを、前回までに合成した鳥瞰図画像データに対して合成する。
そして、受付部４０５が、現在画像表示モード（第１の表示モード）から、過去画像表示モード（第２の表示モード）に切り替える操作を受け付けた場合に、重畳部４２２は、鳥瞰図画像データに、現在の車両１の位置を示す情報を重畳する。その上で、表示処理部４０７が、現在の撮像画像データから、合成された鳥瞰図画像データに切り替える。その際に、鳥瞰図画像データに対して、所定の視点（例えば撮像部１６による撮像位置）から参照しているような画像変換処理を行っても良い。そして、表示処理部４０７が、鳥瞰図画像データのうち最も新しく合成された領域の表示から、最も古く合成された領域の表示まで、過去に遡るようにスクロール表示（アニメーション表示）する。
上述した実施形態及び変形例によれば、現在画像表示モード（第１の表示モード）と、過去画像表示モード（第２の表示モード）と、の間を切り替える場合に、過去の撮像画像データを撮像した時と、現在の撮像画像データを撮像した時と、の間の遷移を表した情報を表示装置に順番に出力することで、ユーザに対してモードが切り変わったことを認識させることが容易になる。また、過去の撮像画像データを撮像した時と、現在の撮像画像データを撮像した時と、の間の遷移を表した情報を表示装置に順番に出力することで、表示装置に表示されている領域の位置関係を容易に把握することができる。さらに、車両の床下表示を行うことで、車両の床下の状態を容易に把握することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…車両、１６…撮像部、４００…周辺監視部、４０１…取得部、４０２…角度算出部、４０３…保存処理部、４０４…リングバッファ、４０５…受付部、４０６…切替制御部、４０７…表示処理部、４１１…補正部、４１２…位置推定部、４１３…保存部、４２１…画像選択部、４２２…重畳部、４２３…出力部。

Claims (5)

  1. 車両に搭載された撮像部により撮像された撮像画像データを記憶する記憶部と、
    前記記憶部に記憶された撮像画像データを表示する際に、前記撮像部により現在撮像された現在撮像画像データを表示する第１の表示モードと、前記撮像部により過去に撮像された過去撮像画像データを表示する第２の表示モードと、を切り替える切替制御部と、
    前記第１の表示モードに基づいた、前記撮像部により現在撮像された現在撮像画像データと、前記第２の表示モードに基づいた、前記撮像部により過去に撮像された過去撮像画像データと、の表示を切り替える場合に、前記過去撮像画像データを撮像した時と、前記現在撮像画像データを撮像した時と、の間の遷移を表す情報を表示装置に出力する出力部と、
    を備える周辺監視装置。
  2. 前記出力部は、前記撮像部により現在撮像された現在撮像画像データの表示から、前記撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、前記現在撮像画像データの撮影時から、前記過去撮像画像データの撮影時まで、前記撮像部により撮像された撮像画像データを出力する、
    請求項１に記載の周辺監視装置。
  3. 前記出力部は、前記撮像部により撮像された撮像画像データを表示する場合に、現在の車両の位置を示した情報を、前記撮像画像データに重畳して出力する、
    請求項２に記載の周辺監視装置。
  4. 前記出力部は、前記撮像部により現在撮像された現在撮像画像データの表示から、前記撮像部により過去に撮像された過去撮像画像データの表示を行う場合に、前記過去撮像画像データに対して、前記過去撮像画像データを撮像した時から、前記現在撮像画像データを撮像した時まで、前記車両の移動の遷移を表した情報を出力する、
    請求項１に記載の周辺監視装置。
  5. 前記記憶部は、前記車両の進行方向の路面を含む領域を撮像する前記撮像部から出力された撮像画像データを記憶し、
    前記切替制御部は、前記撮像部により現在撮像された、前記車両の現在の進行方向の路面を含む現在撮像画像データを表示する第１の表示モードと、前記車両の過去の進行方向の路面を含む過去撮像画像データを、前記車両の床下を表した撮像画像データとして表示する第２の表示モードと、を切り替える、
    請求項１乃至４のいずれか一つに記載の周辺監視装置。
JP2016129233A 2016-06-29 2016-06-29 周辺監視装置 Active JP6642306B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016129233A JP6642306B2 (ja) 2016-06-29 2016-06-29 周辺監視装置
DE112017003282.2T DE112017003282T5 (de) 2016-06-29 2017-03-14 Peripherieüberwachungsvorrichtung
US16/312,484 US10855954B2 (en) 2016-06-29 2017-03-14 Periphery monitoring device
PCT/JP2017/010271 WO2018003193A1 (ja) 2016-06-29 2017-03-14 周辺監視装置
CN201780036450.8A CN109314767A (zh) 2016-06-29 2017-03-14 周边监控装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016129233A JP6642306B2 (ja) 2016-06-29 2016-06-29 周辺監視装置

Publications (2)

Publication Number Publication Date
JP2018006921A JP2018006921A (ja) 2018-01-11
JP6642306B2 true JP6642306B2 (ja) 2020-02-05

Family

ID=60785456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016129233A Active JP6642306B2 (ja) 2016-06-29 2016-06-29 周辺監視装置

Country Status (5)

Country Link
US (1) US10855954B2 (ja)
JP (1) JP6642306B2 (ja)
CN (1) CN109314767A (ja)
DE (1) DE112017003282T5 (ja)
WO (1) WO2018003193A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US20190279512A1 (en) * 2018-03-12 2019-09-12 Ford Global Technologies, Llc. Vehicle cameras for monitoring off-road terrain
US11758092B2 (en) 2018-12-26 2023-09-12 Pioneer Corporation Display control device, display control method, and display control program
US11140364B2 (en) * 2019-09-09 2021-10-05 Texas Instruments Incorporated Sensor fusion based perceptually enhanced surround view
US20210372809A1 (en) * 2020-06-02 2021-12-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel route observation and comparison system for a vehicle
JP2024010758A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 表示処理装置、表示処理方法、及び表示処理プログラム
CN115891836A (zh) * 2022-11-21 2023-04-04 江铃汽车股份有限公司 一种基于摄像头的越野汽车透明底盘显示方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6704653B2 (en) * 2000-05-12 2004-03-09 Kabushiki Kaisha Toyota Jidoshokki Vehicle backing support apparatus
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP3961969B2 (ja) * 2003-02-27 2007-08-22 株式会社日本自動車部品総合研究所 車両周辺画像処理システム
JP3927512B2 (ja) * 2003-03-27 2007-06-13 トヨタ自動車株式会社 駐車支援装置
US7085634B2 (en) * 2003-04-11 2006-08-01 Toyota Jidosha Kabushiki Kaisha Parking assist apparatus and parking assist method for vehicle
JP4235026B2 (ja) * 2003-04-28 2009-03-04 トヨタ自動車株式会社 駐車支援装置
JP4561479B2 (ja) * 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2007030630A (ja) * 2005-07-25 2007-02-08 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4815993B2 (ja) * 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4622806B2 (ja) * 2005-10-27 2011-02-02 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4682809B2 (ja) * 2005-11-04 2011-05-11 株式会社デンソー 駐車支援システム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP4915966B2 (ja) * 2007-01-16 2012-04-11 パイオニア株式会社 車両用表示装置の調整方法及び車両用表示装置
US20080246654A1 (en) * 2007-04-09 2008-10-09 Ming Cheng Method and an apparatus to assist user back to previous location
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
WO2011014482A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Parking assist system
US8339253B2 (en) * 2009-09-08 2012-12-25 GM Global Technology Operations LLC Methods and systems for displaying vehicle rear camera images in different modes
JP5696872B2 (ja) 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助***
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
WO2012091476A2 (ko) * 2010-12-30 2012-07-05 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
EP2723069B1 (en) * 2011-06-16 2017-10-18 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
US9697735B2 (en) * 2011-12-15 2017-07-04 Panasonic Intellectual Property Management Co., Ltd. Drive assistance device
JP5857224B2 (ja) * 2012-03-30 2016-02-10 パナソニックＩｐマネジメント株式会社 駐車支援装置、及び駐車支援方法
JP5888164B2 (ja) * 2012-07-20 2016-03-16 トヨタ自動車株式会社 車両周辺監視装置、車両周辺監視システム
JP6015314B2 (ja) * 2012-09-28 2016-10-26 アイシン精機株式会社 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP6094266B2 (ja) * 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
EP2981077B1 (en) * 2013-03-28 2017-09-27 Aisin Seiki Kabushiki Kaisha Periphery monitoring device and program
JP6184877B2 (ja) * 2014-01-09 2017-08-23 クラリオン株式会社 車両用外界認識装置
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR102129798B1 (ko) * 2014-05-08 2020-07-03 엘지전자 주식회사 비히클 및 그 제어 방법
US10328932B2 (en) * 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6275007B2 (ja) * 2014-09-12 2018-02-07 アイシン精機株式会社 駐車支援装置
JP6455193B2 (ja) * 2015-02-04 2019-01-23 株式会社デンソー 電子ミラーシステム及び画像表示制御プログラム
US10586226B2 (en) * 2016-03-10 2020-03-10 Ford Global Technologies, Llc Integration of vehicle boundary alert system with external transaction equipment

Also Published As

Publication number Publication date
US10855954B2 (en) 2020-12-01
CN109314767A (zh) 2019-02-05
JP2018006921A (ja) 2018-01-11
DE112017003282T5 (de) 2019-03-21
WO2018003193A1 (ja) 2018-01-04
US20190149774A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
JP6642306B2 (ja) 周辺監視装置
JP6060910B2 (ja) 周辺監視装置、及びプログラム
EP2974909B1 (en) Periphery surveillance apparatus and program
US10363872B2 (en) Periphery monitoring device
US9973734B2 (en) Vehicle circumference monitoring apparatus
JP6573795B2 (ja) 駐車支援装置、方法及びプログラム
JP6115104B2 (ja) 車両の制御装置、及び制御方法
JP7069548B2 (ja) 周辺監視装置
JP6281289B2 (ja) 周辺監視装置、及びプログラム
JP2014166834A (ja) 駐車支援装置、駐車支援方法およびプログラム
JP6760122B2 (ja) 周辺監視装置
JP2012056428A (ja) 運転支援装置
US10353396B2 (en) Vehicle periphery monitoring device
JP2019054420A (ja) 画像処理装置
CN110546048A (zh) 停车辅助装置
JP2009171129A (ja) 車両用駐車支援装置および画像表示方法
JP6720729B2 (ja) 表示制御装置
JP7283514B2 (ja) 表示制御装置
JP2018144567A (ja) 運転支援装置
US11475676B2 (en) Periphery monitoring device
US20200317267A1 (en) Parking assistance device
WO2018025441A1 (ja) 周辺監視装置
JP6699462B2 (ja) 周辺監視装置
JP2017211814A (ja) 駐車支援装置
JP2019018616A (ja) 駐車支援用表示制御装置、駐車支援システム、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R151 Written notification of patent or utility model registration

Ref document number: 6642306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151