JP2018142885A - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents

車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Download PDF

Info

Publication number
JP2018142885A
JP2018142885A JP2017036659A JP2017036659A JP2018142885A JP 2018142885 A JP2018142885 A JP 2018142885A JP 2017036659 A JP2017036659 A JP 2017036659A JP 2017036659 A JP2017036659 A JP 2017036659A JP 2018142885 A JP2018142885 A JP 2018142885A
Authority
JP
Japan
Prior art keywords
confirmation request
overhead
video
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017036659A
Other languages
English (en)
Other versions
JP6730614B2 (ja
Inventor
俊夫 森
Toshio Mori
俊夫 森
拓之 照内
Hiroyuki Teruuchi
拓之 照内
浅山 学
Manabu Asayama
学 浅山
恒夫 里見
Tsuneo Satomi
恒夫 里見
菅田 章典
Akinori Sugata
章典 菅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017036659A priority Critical patent/JP6730614B2/ja
Priority to CN201780032520.2A priority patent/CN109314765B/zh
Priority to EP17898899.4A priority patent/EP3493537B1/en
Priority to PCT/JP2017/039422 priority patent/WO2018159017A1/ja
Publication of JP2018142885A publication Critical patent/JP2018142885A/ja
Priority to US16/208,653 priority patent/US10723266B2/en
Application granted granted Critical
Publication of JP6730614B2 publication Critical patent/JP6730614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】適切な車両周辺の確認を可能とすること。【解決手段】車両Vの前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび車両Vの左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得部51と、映像データ取得部51が取得した俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部53と、車両Vの左右状況確認要求を検出する確認要求検出部52と、確認要求検出部52が確認要求を検出したとき、検出した確認要求方向に備えられているサイドモニタに対して、側後方カメラのうち確認要求方向の映像と、俯瞰映像生成部53が生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御部59と、を備える。【選択図】図1

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。
車両の周囲に設置されたカメラで車両周辺を撮影し、撮影した映像に視点変換処理を行った俯瞰映像としてモニタに表示させる技術が知られている。また、シフト位置やドライブレンジの変更に基づいて、俯瞰映像とともに側方の映像を表示させる技術が知られている(例えば、特許文献1参照)。
特開2012−066700号公報
例えば、車両の駐車時や右左折時など、運転者が前方以外の方向について車両の周辺をより確実に確認したい場合がある。このようなとき、運転者は、サイドモニタを使用して側後方を確認する。ところが、サイドモニタは、従来の光学式のサイドミラーに比べて奥行を把握しにくいおそれがある。
俯瞰映像は車両と周囲との相対的な位置関係の把握に有用であるので、俯瞰映像を用いることで、奥行に対応する車両と周囲との相対的な位置関係を把握することが可能になる。しかしながら、俯瞰映像を表示するモニタは車室前方の中央部に配置されている。このため、車室前方の車幅方向の外側に配置されたサイドモニタを確認しながら中央部のモニタを視認しようとすると、視線の移動が大きくなる。
本発明は、上記に鑑みてなされたものであって、適切な車両周辺の確認を可能とすることを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部と、前記車両の左右状況確認要求を検出する確認要求検出部と、前記確認要求検出部が確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御部と、を備えることを特徴とする。
本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記俯瞰映像用カメラ、前記側後方カメラ、前記表示部のうち少なくともいずれかを備えることを特徴とする。
本発明に係る車両用表示制御方法は、車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の左右状況確認要求を検出する確認要求検出ステップと、前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップとを含む。
本発明に係るプログラムは、車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の左右状況確認要求を検出する確認要求検出ステップと、前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップと車両用表示制御装置として動作するコンピュータに実行させる。
本発明によれば、適切な車両周辺の確認を可能にすることができるという効果を奏する。
図1は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 図2は、第一実施形態に係る車両用表示システムの側後方カメラと俯瞰映像用カメラとの構成例を示す概略図である。 図3は、第一実施形態に係る車両用表示システムの右側後方カメラの構成例を示す概略図である。 図4は、第一実施形態に係る車両用表示システムのモニタの構成例を示す概略図である。 図5は、第一実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。 図6は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。 図7は、第二実施形態に係る車両用表示システムで生成される俯瞰映像の一例を示す図である。 図8は、第二実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。 図9は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。 図10は、第三実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。 図11は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
以下に添付図面を参照して、本発明に係る車両用表示制御装置40、車両用表示システム1、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
車両用表示システム1は、車両Vに搭載され、車両周辺を表示する。図1は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。
図1に示すように、車両用表示システム1は、後方カメラ11と、右側後方カメラ(側後方カメラ)12と、左側後方カメラ(側後方カメラ)13と、俯瞰映像用カメラユニット20と、インフォティメントモニタ31と、リヤビューモニタ32と、右サイドモニタ(表示部)33と、左サイドモニタ(表示部)34と、車両用表示制御装置40とを有する。以下、各カメラから取得される映像データは、例えば毎秒30〜60フレームの連続した映像で構成される動画像のデータであり、各モニタが表示する映像は動画像に基づく映像である。
図2に示すように、後方カメラ11は、車両Vの後方に配置され、車両Vの後方を撮影する。図2は、第一実施形態に係る車両用表示システムの側後方カメラと俯瞰映像用カメラとの構成例を示す概略図である。後方カメラ11は、リヤビューモニタ32による確認範囲を含んだ範囲を撮影する。後方カメラ11は、右側後方カメラ12および左側後方カメラ13の死角を含んだ範囲を撮影する。後方カメラ11は、水平方向の画角が例えば90〜180°、上下方向の画角が例えば45〜90°である。後方カメラ11は、撮影した映像データを車両用表示制御装置40の映像データ取得部51へ出力する。
図2、図3に示すように、右側後方カメラ12は、車両Vの右側方に配置され、車両Vの右側方を撮影する。図3は、第一実施形態に係る車両用表示システムの右側後方カメラの構成例を示す概略図である。右側後方カメラ12は、右サイドモニタ33による確認範囲を撮影する。右側後方カメラ12は、水平方向の画角が例えば15〜45°、上下方向の画角が例えば15〜45°である。右側後方カメラ12は、取り付けられている支持部材が車両Vの方向に折り畳み可能である。右側後方カメラ12は、撮影した映像データを車両用表示制御装置40の映像データ取得部51へ出力する。
図2に戻って、左側後方カメラ13は、車両Vの左側方に配置され、車両Vの左側方を撮影する。左側後方カメラ13は、左サイドモニタ34による確認範囲を撮影する。左側後方カメラ13は、水平方向の画角が例えば15〜45°、上下方向の画角が例えば15〜45°である。左側後方カメラ13は、取り付けられている支持部材が車両Vの方向に折り畳み可能である。左側後方カメラ13は、撮影した映像データを車両用表示制御装置40の映像データ取得部51へ出力する。
俯瞰映像用カメラユニット(複数の俯瞰映像用カメラ)20は、前方俯瞰カメラ21と、後方俯瞰カメラ22と、右側方俯瞰カメラ23と、左側方俯瞰カメラ24とを有する。
前方俯瞰カメラ21は、車両Vの前方に配置され、車両Vの前方を中心とした周辺を撮影する。前方俯瞰カメラ21は、例えば、180°程度の撮影範囲を撮影する。前方俯瞰カメラ21は、撮影した映像を車両用表示制御装置40の映像データ取得部51へ出力する。
後方俯瞰カメラ22は、車両Vの後方に配置され、車両Vの後方を中心とした周辺を撮影する。後方俯瞰カメラ22は、例えば、180°程度の撮影範囲を撮影する。後方俯瞰カメラ22は、撮影した映像を車両用表示制御装置40の映像データ取得部51へ出力する。
図2、図3に示すように、右側方俯瞰カメラ23は、車両Vの右側方に配置され、車両Vの右側方を中心とした周辺を撮影する。右側方俯瞰カメラ23は、例えば、180°程度の撮影範囲を撮影する。右側方俯瞰カメラ23は、撮影した映像を車両用表示制御装置40の映像データ取得部51へ出力する。
図2に戻って、左側方俯瞰カメラ24は、車両Vの左側方に配置され、車両Vの左側方を中心とした周辺を撮影する。左側方俯瞰カメラ24は、例えば、180°程度の撮影範囲を撮影する。左側方俯瞰カメラ24は、撮影した映像を車両用表示制御装置40の映像データ取得部51へ出力する。
このような前方俯瞰カメラ21と後方俯瞰カメラ22と右側方俯瞰カメラ23と左側方俯瞰カメラ24とを含む俯瞰映像用カメラユニット20で、車両Vの全方位を撮影する。
図4に示すように、インフォティメントモニタ31は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイを含むディスプレイである。図4は、第一実施形態に係る車両用表示システムのモニタの構成例を示す概略図である。インフォティメントモニタ31は、車両用表示システム1の車両用表示制御装置40から出力された映像信号に基づいて、例えば、俯瞰映像を表示する。インフォティメントモニタ31は、車両用表示システム1に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。インフォティメントモニタ31は、運転者から視認容易な位置に配置されている。本実施形態では、インフォティメントモニタ31は、ダッシュボードDの車幅方向の中央部のセンターコンソールCに配置されている。
リヤビューモニタ32は、一例としては電子ルームミラーである。リヤビューモニタ32を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ32は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。リヤビューモニタ32は、車両用表示制御装置40から出力された映像信号に基づき、車両Vの後方映像を表示する。リヤビューモニタ32は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ32は、ウィンドシールドSの車幅方向の中央上部に配置されている。
右サイドモニタ33は、例えば、液晶ディスプレイまたは有機ELディスプレイなどを含むディスプレイである。右サイドモニタ33は、車両用表示制御装置40の表示制御部59から出力された映像信号に基づき、車両Vの右側後方映像を表示する。右サイドモニタ33は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ33は、ダッシュボードDの車幅方向の右側に配置されている。
左サイドモニタ34は、例えば、液晶ディスプレイまたは有機ELディスプレイを含むディスプレイである。左サイドモニタ34は、車両用表示制御装置40の表示制御部59から出力された映像信号に基づき、車両Vの左側後方映像を表示する。左サイドモニタ34は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ34は、ダッシュボードDの車幅方向の左側に配置されている。
図1に戻って、車両用表示制御装置40は、制御部50と、記憶部60とを有する。
制御部50は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部50は、映像データ取得部51と、確認要求検出部52と、俯瞰映像生成部53と、表示制御部59とを含む。制御部50は、記憶部60に記憶されているプログラムに含まれる命令を実行する。
映像データ取得部51は、車両Vの前後左右を撮影する俯瞰映像用カメラユニット20からの映像データおよび車両Vの左右側後方を撮影する側後方カメラからの映像データを取得する。映像データ取得部51は、俯瞰映像用カメラユニット20からの周辺映像データを取得する。映像データ取得部51は、後方カメラ11からの映像データを取得する。映像データ取得部51は、右側後方カメラ12および左側後方カメラ13からの映像データを取得する。映像データ取得部51は、取得したこれらの映像データを俯瞰映像生成部53と表示制御部59とに出力する。
確認要求検出部52は、車両Vの左右状況確認要求(確認要求)を示す、例えば、車両Vの方向指示器やステアリング、扉の操作情報を、CAN(Controller Area Network)や車両Vの状態をセンシングする各種センサなどから取得する。確認要求検出部52は、車両Vの左右状況確認要求を示す、ナビ情報を取得してもよい。確認要求検出部52は、例えば、赤外線センサ、超音波センサ、ミリ波センサ、画像認識によるセンサ等によって障害物を検出し、車両Vの左右状況確認要求を示す、障害物情報を取得してもよい。確認要求検出部52は、車両Vの左右状況確認要求を示す操作情報を取得した場合、確認要求を検出したことを確認要求方向とともに俯瞰映像生成部53に出力する。確認要求検出部52は、車両Vの左右状況確認要求を示す操作情報を取得していない場合、確認要求は未検出であることを俯瞰映像生成部53に出力する。
車両Vの左右状況確認要求は、車両Vの右方、左方の少なくともどちらか一方の車両Vの周囲の状況の確認を運転者が要求、または運転者が必要としていることをいう。運転者が確認を要求する車両Vの右方、左方を、確認要求方向という。
例えば、車両Vの後退時、確認要求検出部52は、シフトポジションが「リバース」とされた操作情報に基づいて、確認要求方向が右方および左方である左右状況確認要求を検出する。
例えば、車両Vの車線変更時、確認要求検出部52は、ナビ情報、舵角情報に基づいて、確認要求方向が車線変更方向で、右方または左方である左右状況確認要求を検出する。
例えば、車両Vの右扉または左扉の開操作時、確認要求検出部52は、右扉または左扉の開情報に基づいて、確認要求方向が開操作方向で、右方または左方である左右状況確認要求を検出する。
例えば、方向指示器の操作時、確認要求検出部52は、方向指示器の操作情報に基づいて、確認要求方向が方向指示器を操作した方向で、右方または左方である左右状況確認要求を検出する。
例えば、車両Vの後退時、右側方または左側方または後方の近傍に障害物が存在する時、確認要求検出部52は、センサの検出情報または画像処理による画像解析の解析結果による障害物情報に基づいて、確認要求方向がセンサの検出方向または障害物を撮影したカメラの方向で、右方または左方である左右状況確認要求を検出する。なお、障害物が後方に検出された場合は、確認要求方向は、右方および左方とする。
俯瞰映像生成部53は、映像データ取得部51が取得した周辺映像に対して視点変換処理と切出処理と合成処理とを実行する。俯瞰映像生成部53は、合成した映像の中央部に車両Vの大きさや形態などを模した自車両アイコンを表示した俯瞰映像を生成する。
俯瞰映像生成部53は、視点変換処理部531と、切出処理部532と、合成処理部533とを有する。
視点変換処理部531は、映像データ取得部51で取得した周辺映像データに対して、車両Vを上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部531は、俯瞰映像用カメラユニット20で撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部531は、視点変換処理を行った周辺映像データを切出処理部532に出力する。
切出処理部532は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部532は、切出処理を行った映像の映像データを合成処理部533に出力する。
合成処理部533は、切出処理を行った映像データを合成する合成処理を行う。合成処理部533は、合成した映像に自車両アイコンを表示した俯瞰映像を生成する。
表示制御部59は、俯瞰映像生成部53で生成された俯瞰映像をインフォティメントモニタ31に表示させる。表示制御部59は、映像データ取得部51で取得した後方カメラ11で撮影した映像をリヤビューモニタ32に表示させる。表示制御部59は、映像データ取得部51で取得した右側後方カメラ12で撮影した映像を右サイドモニタ33に表示させる。表示制御部59は、映像データ取得部51で取得した左側後方カメラ13で撮影した映像を左サイドモニタ34に表示させる。
表示制御部59は、確認要求検出部52が確認要求を検出したとき、検出した確認要求方向に備えられている右サイドモニタ33または左サイドモニタ34(以下、「確認要求方向のサイドモニタ」という。)に対して、右側後方カメラ12および左側後方カメラ13のうち確認要求方向の側後方カメラで撮影された側後方映像100(図5参照)と、俯瞰映像生成部53が生成した俯瞰映像における確認要求方向に対応する方向の俯瞰映像110(図5参照)とを表示させる。
確認要求方向に対応する方向とは、確認要求方向と同じ方向、または、確認要求方向と反対方向である。本実施形態では、確認要求方向に対応する方向は、確認要求方向と同じ方向とする。
表示制御部59は、俯瞰映像生成部53が生成した俯瞰映像における確認要求方向に対応する方向を切出して俯瞰映像110を生成する。
表示制御部59は、確認要求方向のサイドモニタの車幅方向の内側に側後方映像100を表示し、車幅方向の外側に俯瞰映像110を表示する。または、表示制御部59は、確認要求方向のサイドモニタの車幅方向の外側に側後方映像100を表示し、車幅方向の内側に俯瞰映像110を表示してもよい。
例えば、表示制御部59は、確認要求検出部52が右方を確認要求方向とする確認要求(以下、「右確認要求」という。)を検出したとき、右側後方カメラ12で撮影された右側後方の側後方映像100を右サイドモニタ33の左側に表示させ、確認要求方向に対応する方向の映像として、俯瞰映像生成部53が生成した俯瞰映像における右方向を切出した俯瞰映像110を右サイドモニタ33の右側に表示させる。
例えば、表示制御部59は、確認要求検出部52が左方を確認要求方向とする確認要求(以下、「左確認要求」という。)検出したとき、左側後方カメラ13で撮影された左側後方の側後方映像100を左サイドモニタ34の右側に表示させ、確認要求方向に対応する方向の映像として、俯瞰映像生成部53が生成した俯瞰映像における左方向を切出した俯瞰映像110を左サイドモニタ34の左側に表示させる。
例えば、表示制御部59は、確認要求検出部52が右方および左方を確認要求方向とする状況確認要求を検出したときは、上記の右確認要求を検出したときの処理と左確認要求を検出したときの処理とを実行する。
図5を用いて、確認要求検出部52が右確認要求を検出したとき、右サイドモニタ33に表示される映像について説明する。図5は、第一実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。右サイドモニタ33には、右側の側後方映像100と俯瞰映像110とが車幅方向に並んで表示されている。
右側の側後方映像100は、右側後方カメラ12で撮影された車両Vの右側後方の映像である。右側の側後方映像100は、従来の光学式の右サイドミラーと同様の範囲を含む。右側の側後方映像100には、車両Vの右側方の車体101が映り込んでいる範囲がある。本実施形態では、右側の側後方映像100は、車両V側に表示されている。
俯瞰映像110は、俯瞰映像生成部53で生成された俯瞰映像から、右側方の映像を切出した映像である。本実施形態では、俯瞰映像110は、俯瞰映像生成部53で生成された俯瞰映像の右側半分の範囲を切出した映像である。俯瞰映像110は、前方映像111と後方映像112と右側方映像113とを含む。本実施形態では、前方映像111と後方映像112とは、自車両アイコン114の車幅方向の中央部までに対応する範囲を含んでいる。俯瞰映像110には、左側に自車両アイコン114が表示されている。自車両アイコン114は、自車両の右側半分の形態と大きさとを表す。俯瞰映像110は、右側の側後方映像100の車幅方向の外側に表示されている。
図5においては、前方映像111と後方映像112と右側方映像113との境界を示す斜めの破線を説明のために図示しているが、実際に右サイドモニタ33に表示される俯瞰映像110には当該破線は表示されても表示されなくてもよい。他の図も同様である。
記憶部60は、車両用表示制御装置40における各種処理に要するデータおよび各種処理結果を記憶する。記憶部60は、例えば、RAM、ROM、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。
次に、図6を用いて、制御部50による処理の流れについて説明する。図6は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。図6に示す処理の前提としては、右サイドモニタ33の全面に右側後方カメラ12で撮影された側後方映像100が表示され、左サイドモニタ34の全面に左側後方カメラ13で撮影された側後方映像100が表示されている状態である。このときのインフォティメントモニタ31への俯瞰映像の表示有無は問わない。
制御部50は、状況確認要求の有無を判定する(ステップS11)。より詳しくは、制御部50は、確認要求検出部52で、状況確認要求が検出されたか否かを判定する。制御部50は、状況確認要求が検出されていないと判定した場合(ステップS11でNo)、ステップS11の処理を再度実行する。制御部50は、状況確認要求が検出されたと判定した場合(ステップS11でYes)、ステップS12に進む。
制御部50は、俯瞰映像を生成または取得する(ステップS12)。本実施形態では、制御部50は、俯瞰映像生成部53で生成された俯瞰映像データを取得する。ステップS12の処理は、ステップS11でYesとなったとき、俯瞰映像生成部53が俯瞰映像の生成を継続している場合はその俯瞰映像を取得し、俯瞰映像生成部53が俯瞰映像の生成を行っていない場合は俯瞰映像の生成を開始してから俯瞰映像を取得する。制御部50は、ステップS13に進む。
制御部50は、俯瞰映像の確認要求方向に対応する方向の映像を、確認要求方向の側後方カメラ映像とともに確認要求方向のサイドモニタに表示する(ステップS13)。制御部50は、俯瞰映像生成部53が生成した俯瞰映像データから確認要求方向の映像をフレーム毎に切出して表示してもよく、俯瞰映像データから確認要求方向の映像データのみを用いて表示してもよい。本実施形態では、制御部50は、表示制御部59で、右側後方カメラ12で撮影された右側の側後方映像100と、俯瞰映像生成部53で生成された俯瞰映像から右側を切出した俯瞰映像110とを右サイドモニタ33に表示させる。制御部50は、ステップS14に進む。
制御部50は、状況確認要求が終了されたか否かを判定する(ステップS14)。より詳しくは、制御部50は、状況確認要求が継続して検出されている場合、状況確認要求は終了していないと判定し(ステップS14でNo)、ステップS14の処理を再度実行する。制御部50は、状況確認要求が検出されない場合、状況確認要求は終了していると判定し(ステップS14でYes)、処理を終了する。
このようにして、車両用表示システム1は、状況確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100と、俯瞰映像生成部53が生成した俯瞰映像における確認要求方向の俯瞰映像110とを表示させる。
上述したように、本実施形態は、状況確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100と、俯瞰映像生成部53が生成した俯瞰映像から確認要求方向を切出した俯瞰映像110とを表示させる。本実施形態は、確認要求方向のサイドモニタで、側後方映像100とともに確認要求方向を切出した俯瞰映像110を確認することができる。つまり、状況確認要求が検出されてから終了するまでの期間、確認要求方向のサイドモニタには、側後方映像100に加えて確認要求方向の俯瞰映像が同時に動画像として表示される。これにより、本実施形態は、より確実に車両V周辺の安全確認をすることができる。このように、本実施形態は、適切な車両V周辺の確認を可能にすることができる。
例えば、俯瞰映像をインフォティメントモニタ31に表示する場合、サイドモニタで側後方映像100を確認しながら、インフォティメントモニタ31で俯瞰映像110を確認するためには、視線の移動が大きくなる。
これに対して、本実施形態は、確認要求方向のサイドモニタで、確認要求方向の側後方映像100とともに確認要求方向の俯瞰映像110とを確認することができる。これにより、本実施形態は、運転者の視線の移動を抑制することができる。
[第二実施形態]
図7ないし図9を参照しながら、本実施形態に係る車両用表示システム1について説明する。図7は、第二実施形態に係る車両用表示システムで生成される俯瞰映像の一例を示す図である。図8は、第二実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。図9は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。車両用表示システム1は、基本的な構成は第一実施形態の車両用表示システム1と同様である。以下の説明においては、車両用表示システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の車両用表示システム1は、車両用表示制御装置40の制御部50における処理が、第一実施形態の車両用表示システム1と異なる。
俯瞰映像生成部53は、確認要求検出部52が確認要求を検出したとき、俯瞰映像用カメラユニット20のうち前方俯瞰カメラ21および後方俯瞰カメラ22からの映像と、確認要求方向に対応する方向の俯瞰カメラからの映像とを用いて俯瞰映像を生成する。本実施形態では、俯瞰映像生成部53は、確認要求検出部52が確認要求を検出したとき、映像データ取得部51が取得した周辺映像のうち前方俯瞰カメラ21および後方俯瞰カメラ22からの映像と、確認要求方向の俯瞰カメラからの映像とに対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像を生成する。
例えば、俯瞰映像生成部53は、確認要求検出部52が右確認要求を検出したとき、映像データ取得部51が取得した右側方俯瞰カメラ23と前方俯瞰カメラ21と後方俯瞰カメラ22とからの周辺映像に対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像110Aを生成する。
例えば、俯瞰映像生成部53は、確認要求検出部52が左確認要求を検出したとき、映像データ取得部51が取得した左側方俯瞰カメラ24と前方俯瞰カメラ21と後方俯瞰カメラ22とからの周辺映像に対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像110Aを生成する。
例えば、俯瞰映像生成部53は、確認要求検出部52が右方および左方を確認要求方向とする確認要求を検出したときは、上記の右確認要求を検出したときの処理と左確認要求を検出したときの処理とを実行する。
視点変換処理部531は、確認要求検出部52が確認要求を検出したとき、俯瞰映像用カメラユニット20のうち確認要求方向に対応する方向の俯瞰カメラからの映像に基づいて、視点変換処理を行った映像を生成する。本実施形態では、視点変換処理部531は、確認要求検出部52が確認要求を検出したとき、確認要求方向の俯瞰カメラからの映像に基づいて、視点変換処理を行った映像を生成する。
切出処理部532は、確認要求検出部52が確認要求を検出したとき、視点変換処理を行った確認要求方向に対応する俯瞰カメラからの映像から所定の範囲の映像を切出す切出処理を行う。本実施形態では、切出処理部532は、確認要求検出部52が確認要求を検出したとき、視点変換処理を行った確認要求方向の俯瞰カメラからの映像から所定の範囲の映像を切出す切出処理を行う。本実施形態では、前方映像111Aと後方映像112Aは、自車両アイコン114Aの左側端部までに対応する範囲を切出す。
合成処理部533は、確認要求検出部52が確認要求を検出したとき、切出処理を行った確認要求方向に対応する方向の俯瞰カメラからの映像を合成する合成処理を行う。本実施形態では、合成処理部533は、確認要求検出部52が確認要求を検出したとき、切出処理を行った確認要求方向の俯瞰カメラからの映像を合成する合成処理を行う。合成処理部533は、合成した映像に自車両アイコン114Aを表示した俯瞰映像110Aを生成する。
表示制御部59は、確認要求検出部52が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100Aと、俯瞰映像用カメラユニット20のうち確認要求方向に対応する方向の俯瞰カメラからの映像を用いて生成した俯瞰映像110Aとを表示させる。本実施形態では、表示制御部59は、確認要求検出部52が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100Aと、確認要求方向の俯瞰カメラからの映像を用いて生成した俯瞰映像110Aとを表示させる。
例えば、表示制御部59は、確認要求検出部52が右確認要求を検出したとき、右サイドモニタ33に対して、右側後方カメラ12で撮影された右側後方の側後方映像100Aと、右側方俯瞰カメラ23と前方俯瞰カメラ21と後方俯瞰カメラ22とからの周辺映像から生成した俯瞰映像110Aとを表示させる。
例えば、表示制御部59は、確認要求検出部52が左確認要求を検出したとき、左サイドモニタ34に対して、左側後方カメラ13で撮影された左側後方の側後方映像100Aと、左側方俯瞰カメラ24と前方俯瞰カメラ21と後方俯瞰カメラ22とからの周辺映像から生成した俯瞰映像110Aとを表示させる。
例えば、表示制御部59は、確認要求検出部52が右方および左方を確認要求方向とする確認要求を検出したときは、上記の右確認要求を検出したときの処理と左確認要求を検出したときの処理とを実行する。
図7を用いて、確認要求検出部52が右確認要求を検出したとき、俯瞰映像生成部53で生成される俯瞰映像110Aについて説明する。
俯瞰映像110Aは、俯瞰映像用カメラユニット20のうち確認要求方向の俯瞰カメラからの映像を用いて生成された映像である。本実施形態では、映像データ取得部51が取得した右側方俯瞰カメラ23と前方俯瞰カメラ21と後方俯瞰カメラ22とからの周辺映像に対して視点変換処理と切出処理と合成処理とを行って生成した映像である。俯瞰映像110Aは、前方映像111Aと後方映像112Aと右側方映像113Aとを含む。本実施形態では、前方映像111Aと後方映像112Aとは、自車両アイコン114Aの左側端部までに対応する範囲を含んでいる。自車両アイコン114Aは、自車両の全体の形態と大きさとを表す。
図8を用いて、確認要求検出部52が右確認要求を検出したとき、右サイドモニタ33に表示される映像について説明する。右サイドモニタ33には、右側の側後方映像100Aと俯瞰映像110Aとが車幅方向に並んで表示されている。右側の側後方映像100Aは、第一実施形態の右側の側後方映像100と同じである。俯瞰映像110Aは、図7と同様の映像である。
次に、図9を用いて、制御部50による処理の流れについて説明する。ステップS21、ステップS24は、ステップS11、ステップS14と同様の処理を行う。
制御部50は、確認要求方向とは反対側の俯瞰カメラの映像を用いない俯瞰映像を生成する(ステップS22)。より詳しくは、制御部50は、俯瞰映像生成部53で映像データ取得部51が取得した周辺映像のうち確認要求方向とは反対側の俯瞰カメラからの映像以外の映像に対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像110Aを生成する。制御部50は、ステップS23に進む。
制御部50は、ステップS22で生成した俯瞰映像110Aを、確認要求方向の側後方映像100Aとともに、確認要求方向のサイドモニタに表示する(ステップS23)。本実施形態では、制御部50は、表示制御部59で、右側後方カメラ12で撮影された右側の側後方映像100Aと、ステップS22で生成した俯瞰映像110Aとを右サイドモニタ33に表示させる。制御部50は、ステップS24に進む。
上述したように、本実施形態は、確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100Aと、確認要求方向と反対側の俯瞰カメラからの映像を用いず、確認要求方向の俯瞰カメラからの映像を用いて生成した俯瞰映像110Aとを表示させる。本実施形態は、確認要求方向のサイドモニタで、側後方映像100Aとともに確認要求方向の俯瞰カメラからの映像を用いて生成した俯瞰映像110Aを確認することができる。これにより、本実施形態は、より確実に車両V周辺の安全確認をすることができる。このように、本実施形態は、適切な車両V周辺の確認を可能にすることができる。
[第三実施形態]
図10、図11を参照しながら、本実施形態に係る車両用表示システム1について説明する。図10は、第三実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。図11は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。車両用表示システム1は、基本的な構成は第一実施形態の車両用表示システム1と同様である。本実施形態の車両用表示システム1は、車両用表示制御装置40の制御部50における処理が、第一実施形態の車両用表示システム1と異なる。
俯瞰映像生成部53は、確認要求検出部52が確認要求を検出したとき、車両前方または車両後方に仮想視点位置を変更した俯瞰映像110Bを生成する。本実施形態では、俯瞰映像生成部53は、確認要求検出部52が確認要求を検出したとき、車両後方に仮想視点位置を変更した俯瞰映像110Bを生成する。
視点変換処理部531は、確認要求検出部52が確認要求を検出したとき、俯瞰映像用カメラユニット20のうち確認要求方向の俯瞰カメラからの周辺映像に対して、車両前方または車両後方に仮想視点位置を変更して視点変換処理を行う。本実施形態では、視点変換処理部531は、確認要求検出部52が確認要求を検出したとき、確認要求方向の俯瞰カメラからの周辺映像に対して、車両後方に仮想視点位置を変更して視点変換処理を行う。
表示制御部59は、確認要求検出部52が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100Bと、車両前方または車両後方に仮想視点位置を変更して視点変換処理を行った俯瞰映像110Bとを表示させる。本実施形態では、表示制御部59は、確認要求検出部52が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100Bと、車両後方に仮想視点位置を変更して視点変換処理を行った俯瞰映像110Bとを表示させる。
例えば、表示制御部59は、確認要求検出部52が右確認要求を検出したとき、右サイドモニタ33に対して、右側後方カメラ12で撮影された右側後方の側後方映像100Bと、右側方俯瞰カメラ23と前方俯瞰カメラ21と後方俯瞰カメラ22とからの周辺映像に対して車両前方または車両後方に仮想視点位置を変更した俯瞰映像110Bとを表示させる。
例えば、表示制御部59は、確認要求検出部52が左確認要求を検出したとき、左サイドモニタ34に対して、左側後方カメラ13で撮影された左側後方の側後方映像100Bと、左側方俯瞰カメラ24と前方俯瞰カメラ21と後方俯瞰カメラ22とからの周辺映像に対して車両前方または車両後方に仮想視点位置を変更した俯瞰映像110Bとを表示させる。
図10を用いて、確認要求検出部52が右確認要求を検出したとき、右サイドモニタ33に表示される映像について説明する。右サイドモニタ33には、右側の側後方映像100Bと俯瞰映像110Bとが表示されている。
右側の側後方映像100Bは、第一実施形態の右側の側後方映像100と同じである。
俯瞰映像110Bは、車両後方に仮想視点位置を変更した俯瞰映像である。俯瞰映像110Bは、車両前方から見下ろしたような前方映像111Bと後方映像112Bと右側方映像113Bとを含む。本実施形態では、前方映像111Bと後方映像112Bは、自車両アイコン114Bの車幅方向の中央までに対応する範囲を含んでいる。自車両アイコン114Bは、車両前方から見下ろした自車両の形態を模している。
次に、図11を用いて、制御部50による処理の流れについて説明する。ステップS31、ステップS34は、ステップS11、ステップS14と同様の処理を行う。
制御部50は、仮想視点位置を変更した俯瞰映像を生成または取得する(ステップS32)。本実施形態では、制御部50は、俯瞰映像生成部53で映像データ取得部51が取得した周辺映像のうち確認要求方向の俯瞰カメラからの映像に対して、車両後方に仮想視点位置を変更して視点変換処理と切出処理と合成処理とを実行して俯瞰映像110Bを生成する。制御部50は、ステップS33に進む。
制御部50は、ステップS32で生成した俯瞰映像110Bを確認要求方向を切出して、確認要求方向の側後方カメラ映像とともに、確認要求方向のサイドモニタに表示する(ステップS33)。本実施形態では、制御部50は、表示制御部59で、右側後方カメラ12で撮影された右側の側後方映像100Bと、ステップS32で生成した、仮想視点位置を変更した俯瞰映像110Bとを右サイドモニタ33に表示させる。制御部50は、ステップS34に進む。
上述したように、本実施形態は、確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像100Bと、車両前方または車両後方に仮想視点の位置を変更した俯瞰映像110Bとを表示させる。本実施形態は、確認要求方向のサイドモニタで、側後方映像とともに仮想視点位置を変更した確認要求方向の俯瞰映像を確認することができる。これにより、本実施形態は、より確実に車両V周辺の安全確認をすることができる。このように、本実施形態は、適切な車両V周辺の確認を可能にすることができる。
図示した車両用表示システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
車両用表示システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
表示制御部59は、確認要求検出部52が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像10と、俯瞰映像生成部53が生成した俯瞰映像110における確認要求方向の映像および確認要求方向と反対側の映像を交互に切り替えて、例えば、点滅させるようにして表示させてもよい。
さらに、表示制御部59は、確認要求検出部52が検出した確認要求が、障害物を検出したことに起因する場合に限って、確認要求方向の映像および確認要求方向と反対側の映像を交互に切り替えて表示するようにしてもよい。これにより、より適切な車両V周辺の確認を可能にすることができる。
表示制御部59は、確認要求が検出された場合であっても、車両Vの車速が所定速度以上の場合、検出した確認要求方向のサイドモニタに俯瞰映像110を表示する処理を行わないようにしてもよい。高速での走行時は、側後方映像100の表示範囲を通常時の広さで維持するためである。
表示制御部59は、俯瞰映像110における前方映像111または後方映像112が広く表示されるように、切出範囲を前方側または後方側にずらしてもよい。これにより、運転者にとってより有用な情報を表示することができる。
表示制御部59は、サイドモニタに俯瞰映像110を表示するとき、側後方映像100と俯瞰映像110との境界に線を表示してもよい。または、表示制御部59は、サイドモニタに俯瞰映像110を表示するとき、俯瞰映像110を、所定透明度の半透明で着色して表示してもよい。または、表示制御部59は、俯瞰映像110を表示するとき、側後方映像100と俯瞰映像110との輝度や明るさを変えた表示としても、どちらかを点滅させて表示してもよい。このようにすることで、本実施形態において、サイドモニタに俯瞰映像110が表示されていることを容易に認識させることができる。
表示制御部59は、サイドモニタに対する俯瞰映像110の表示を開始するとき、サイドモニタに対して、俯瞰映像110が外側からスライドしてフレームインするような映像を表示し、表示を終了するとき、サイドモニタに対して、俯瞰映像110が外側へスライドしてフレームアウトするような映像を表示してもよい。これにより、本実施形態において、サイドモニタに俯瞰映像110が表示されていることを容易に認識させることができる。
1 車両用表示システム
11 後方カメラ
12 右側後方カメラ(側後方カメラ)
13 左側後方カメラ(側後方カメラ)
20 俯瞰映像用カメラユニット(複数の俯瞰映像用カメラ)
21 前方俯瞰カメラ(俯瞰映像用カメラ)
22 後方俯瞰カメラ(俯瞰映像用カメラ)
23 右側方俯瞰カメラ(俯瞰映像用カメラ)
24 左側方俯瞰カメラ(俯瞰映像用カメラ)
31 インフォティメントモニタ
32 リヤビューモニタ
33 右サイドモニタ(表示部)
34 左サイドモニタ(表示部)
40 車両用表示制御装置
50 制御部
51 映像データ取得部
52 確認要求検出部
53 俯瞰映像生成部
531 視点変換処理部
532 切出処理部
533 合成処理部
59 表示制御部
100 側後方映像
110 俯瞰映像

Claims (9)

  1. 車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得部と、
    前記映像データ取得部が取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部と、
    前記車両の左右状況確認要求を検出する確認要求検出部と、
    前記確認要求検出部が確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御部と、
    を備える、車両用表示制御装置。
  2. 前記表示制御部は、前記確認要求検出部が確認要求を検出したとき、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向に対応する方向の映像として、前記俯瞰映像生成部が生成した俯瞰映像から確認要求方向の映像を用いた俯瞰映像を表示させる、
    請求項1に記載の車両用表示制御装置。
  3. 前記俯瞰映像生成部は、前記確認要求検出部が確認要求を検出したとき、前記俯瞰映像用カメラを構成する前方俯瞰カメラおよび後方俯瞰カメラ少なくともいずれかからの映像と、右側方俯瞰カメラおよび左側方俯瞰カメラのうち確認要求方向のカメラからの映像とを用いて俯瞰映像を生成する、
    請求項1に記載の車両用表示制御装置。
  4. 前記俯瞰映像生成部は、前記確認要求検出部が確認要求を検出したとき、前記車両前方または前記車両後方に仮想視点位置を変更した俯瞰映像を生成する、
    請求項1から3のいずれか1項に記載の車両用表示制御装置。
  5. 前記表示制御部は、前記確認要求検出部が確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向の映像および確認要求方向と反対方向の映像を交互に切り替えて表示させる、
    請求項1から4のいずれか一項に記載の車両用表示制御装置。
  6. 前記確認要求は、前記車両の周辺の障害物に基づく確認要求である、
    請求項5に記載の車両用表示制御装置。
  7. 請求項1から6のいずれか一項に記載の車両用表示制御装置と、
    前記俯瞰映像用カメラ、前記側後方カメラ、前記表示部のうち少なくともいずれかを備える、
    ことを特徴とする車両用表示システム。
  8. 車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、
    前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、
    前記車両の左右状況確認要求を検出する確認要求検出ステップと、
    前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップと、
    を含むことを特徴とする車両用表示制御方法。
  9. 車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、
    前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、
    前記車両の左右状況確認要求を検出する確認要求検出ステップと、
    前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップと、
    を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
JP2017036659A 2017-02-28 2017-02-28 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Active JP6730614B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017036659A JP6730614B2 (ja) 2017-02-28 2017-02-28 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN201780032520.2A CN109314765B (zh) 2017-02-28 2017-10-31 车辆用显示控制装置、显示***、显示控制方法以及程序
EP17898899.4A EP3493537B1 (en) 2017-02-28 2017-10-31 Vehicle display control device, vehicle display system, vehicle display control method and program
PCT/JP2017/039422 WO2018159017A1 (ja) 2017-02-28 2017-10-31 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US16/208,653 US10723266B2 (en) 2017-02-28 2018-12-04 On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017036659A JP6730614B2 (ja) 2017-02-28 2017-02-28 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018142885A true JP2018142885A (ja) 2018-09-13
JP6730614B2 JP6730614B2 (ja) 2020-07-29

Family

ID=63370825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017036659A Active JP6730614B2 (ja) 2017-02-28 2017-02-28 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Country Status (5)

Country Link
US (1) US10723266B2 (ja)
EP (1) EP3493537B1 (ja)
JP (1) JP6730614B2 (ja)
CN (1) CN109314765B (ja)
WO (1) WO2018159017A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019071546A (ja) * 2017-10-10 2019-05-09 マツダ株式会社 車両用表示装置
JP2021069075A (ja) * 2019-10-28 2021-04-30 三菱電機株式会社 車両用周囲監視装置および車両用周囲監視方法
JP2021170280A (ja) * 2020-04-16 2021-10-28 トヨタ自動車株式会社 表示制御装置、表示制御方法及びプログラム
WO2022085487A1 (ja) * 2020-10-23 2022-04-28 ソニーグループ株式会社 カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6769500B2 (ja) * 2019-02-13 2020-10-14 株式会社Jvcケンウッド 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
US11351932B1 (en) 2021-01-22 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for generating and displaying composite images
FR3120030A1 (fr) * 2021-02-25 2022-08-26 Psa Automobiles Sa Procédé et dispositif de rétro-vision numérique utilisé par un véhicule pour remplacer des rétroviseurs extérieurs du véhicule
FR3121901A1 (fr) * 2021-04-14 2022-10-21 Psa Automobiles Sa Procédé de gestion du fonctionnement d’un appareillage de surveillance de l’environnement de conduite d’un véhicule automobile, système et véhicule automobile associés

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219413A (ja) * 2002-01-24 2003-07-31 Clarion Co Ltd 車両後方モニタシステムおよびモニタ装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2015032936A (ja) * 2013-08-01 2015-02-16 日産自動車株式会社 撮像装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP2010258691A (ja) * 2009-04-23 2010-11-11 Sanyo Electric Co Ltd 操縦支援装置
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
CN103587469B (zh) * 2013-11-19 2017-05-17 浙江吉利汽车研究院有限公司 一种汽车夜间转弯辅助装置及方法
JP6365238B2 (ja) * 2014-10-29 2018-08-01 株式会社デンソー 駐車支援装置
JP6206395B2 (ja) 2014-12-26 2017-10-04 トヨタ自動車株式会社 電子ミラー装置
US10187590B2 (en) * 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
US9987983B2 (en) * 2016-02-11 2018-06-05 GM Global Technology Operations LLC Parking assist system for a vehicle and method of using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219413A (ja) * 2002-01-24 2003-07-31 Clarion Co Ltd 車両後方モニタシステムおよびモニタ装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2015032936A (ja) * 2013-08-01 2015-02-16 日産自動車株式会社 撮像装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019071546A (ja) * 2017-10-10 2019-05-09 マツダ株式会社 車両用表示装置
JP2021069075A (ja) * 2019-10-28 2021-04-30 三菱電機株式会社 車両用周囲監視装置および車両用周囲監視方法
JP2021170280A (ja) * 2020-04-16 2021-10-28 トヨタ自動車株式会社 表示制御装置、表示制御方法及びプログラム
JP7299193B2 (ja) 2020-04-16 2023-06-27 トヨタ自動車株式会社 表示制御装置、表示制御方法及びプログラム
WO2022085487A1 (ja) * 2020-10-23 2022-04-28 ソニーグループ株式会社 カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置

Also Published As

Publication number Publication date
US10723266B2 (en) 2020-07-28
JP6730614B2 (ja) 2020-07-29
EP3493537A1 (en) 2019-06-05
US20190100143A1 (en) 2019-04-04
CN109314765A (zh) 2019-02-05
EP3493537B1 (en) 2020-02-12
WO2018159017A1 (ja) 2018-09-07
EP3493537A4 (en) 2019-06-12
CN109314765B (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
US20160297362A1 (en) Vehicle exterior side-camera systems and methods
JP5310602B2 (ja) 車両用周辺監視システム
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
JP2010130646A (ja) 車両周辺確認装置
JP2006321419A (ja) 映像表示装置及び映像表示方法
JP2007142735A (ja) 周辺監視システム
CN108473090B (zh) 用于示出车辆的后向的外部区域的方法
US10855934B2 (en) Generating bird's-eye view images
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US11170234B2 (en) Vehicle display control device, vehicle display system, vehicle display control method, non-transitory storage medium
JP2023536976A (ja) 運転者による後方視認のための電子画像ディスプレイを含む車両視認システム及び方法
JP2019040354A (ja) 運転支援装置、および運転支援方法
JP2019188855A (ja) 車両用視認装置
US8384779B2 (en) Display device for vehicle
JP2012090087A (ja) 車両周辺の画像を用いた運転支援装置
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム
JP5605605B2 (ja) 車両周辺監視装置
JP6724821B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2009214790A (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP6760129B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2014226966A (ja) 車両の駐車操作支援用映像表示装置
JP2017118409A (ja) 車両用表示装置および車両用表示方法
JP2022111024A (ja) 車両のトップビュー映像表示方法およびその表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6730614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150