JP6962131B2 - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents

車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Download PDF

Info

Publication number
JP6962131B2
JP6962131B2 JP2017206153A JP2017206153A JP6962131B2 JP 6962131 B2 JP6962131 B2 JP 6962131B2 JP 2017206153 A JP2017206153 A JP 2017206153A JP 2017206153 A JP2017206153 A JP 2017206153A JP 6962131 B2 JP6962131 B2 JP 6962131B2
Authority
JP
Japan
Prior art keywords
sign
vehicle
display control
video data
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017206153A
Other languages
English (en)
Other versions
JP2019080189A (ja
Inventor
泉 佐伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017206153A priority Critical patent/JP6962131B2/ja
Priority to US16/151,364 priority patent/US10474912B2/en
Publication of JP2019080189A publication Critical patent/JP2019080189A/ja
Application granted granted Critical
Publication of JP6962131B2 publication Critical patent/JP6962131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/10—Front-view mirror arrangements; Periscope arrangements, i.e. optical devices using combinations of mirrors, lenses, prisms or the like ; Other mirror arrangements giving a view from above or under the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。
車両の進行方向を撮影した映像から標識などを認識して、車両が備える表示装置に表示させる技術が知られている。しかしながら、標識を通過した後に、標識の標示内容を再確認したいとき、運転者による操作が必要なことがある。
案内標識の設置位置を通過した後に、通過した案内標識の画像を表示するナビゲーション装置が知られている（例えば、特許文献１参照）。
特開２００５−１０６７２２号公報
特許文献１に記載の技術は、通過した案内標識の画像がナビゲーション装置に表示される。このため、ナビゲーション装置に不慣れな運転者は、通過した案内標識が表示されているのか、これから通過する交差点などの案内標識が表示されているのかを判断しにくいおそれがある。
本発明は、上記に鑑みてなされたものであって、標識を通過後に、標識の標示内容を適切に確認可能にすることを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方を撮影した第一映像データを取得する映像データ取得部と、前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得部と、前記標識の標示内容を取得する標識情報取得部と、前記位置関係取得部が取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理部と、前記第一映像データに対し、前記認識処理部が認識した標識の背面に、前記標識情報取得部が取得した標識の標示内容を合成した合成映像を生成する合成処理部と、前記合成処理部が合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御部と、を備えることを特徴とする。
本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記表示装置、車両の後方を撮影する撮影装置のうち少なくともいずれかと、を備える。
本発明に係る車両用表示制御方法は、車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得ステップと、前記標識の標示内容を取得する標識情報取得ステップと、前記位置関係取得ステップによって取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理ステップと、前記第一映像データに対し、前記認識処理ステップによって認識した標識の背面に、前記標識情報取得ステップによって取得した標識の標示内容を合成した合成映像を生成する合成処理ステップと、前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、を含む。
本発明に係るプログラムは、車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得ステップと、前記標識の標示内容を取得する標識情報取得ステップと、前記位置関係取得ステップによって取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理ステップと、前記第一映像データに対し、前記認識処理ステップによって認識した標識の背面に、前記標識情報取得ステップによって取得した標識の標示内容を合成した合成映像を生成する合成処理ステップと、前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、を車両用表示制御装置として動作するコンピュータに実行させる。
本発明によれば、標識を通過後に、標識の標示内容を適切に確認可能にすることができるという効果を奏する。
図１は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。 図３は、第一実施形態に係る車両用表示システムの後方用カメラで撮影された後方映像データの一例を示す図である。 図４は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。 図５は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。 図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。 図７は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。 図８は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。 図９は、第二実施形態に係る車両用表示システムの前方用カメラで撮影された前方映像データの一例を示す図である。 図１０は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。 図１１は、第三実施形態に係る車両用表示システムの構成例を示す概略図である。 図１２は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
以下に添付図面を参照して、本発明に係る車両用表示制御装置１０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
［第一実施形態］
車両用表示システム１は、標識の通過後に、標識の標示内容を合成した合成映像データ１２０を、車両の後方を確認するための表示装置に表示する。図１は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。
標識とは、車両の走行路の路面より上方に設置された板状の標示物である。標識は、例えば、案内標識を含む道路標識、道路標識以外の標識、情報板、情報掲示板、情報表示板、看板を含む。標識は、電光掲示板を含む。標識は、走行路を走行する車両の運転者から視認可能な範囲に設置されている。標識は、車両の走行路の上方、または、走行路の側方に設置されている。
図１、図２に示すように、車両用表示システム１は、車両用表示制御装置１０と、後方用カメラ(撮影装置)２０と、右側方用カメラ(撮影装置)３０と、左側方用カメラ(撮影装置)４０と、リヤビューモニタ（表示装置）６０と、右サイドビューモニタ（表示装置）７０と、左サイドビューモニタ（表示装置）８０とを有する。車両用表示システム１は、標識の通過後に、標識の標示内容を合成した合成映像データをリヤビューモニタ６０または右サイドビューモニタ７０または左サイドビューモニタ８０に表示する。本実施形態では、車両用表示システム１は、標識の通過後に、標識の標示内容を合成した合成映像データ１２０（図５参照）を、リヤビューモニタ６０に表示するものとして説明する。
後方用カメラ２０は、車両の後方に後方を向いて配置され、車両の後方を撮影する。後方用カメラ２０は、水平方向の画角が例えば９０〜１８０°、上下方向の画角が例えば４５〜９０°である。例えば、後方用カメラ２０は、図３に示すような、後方映像データ（第一映像データ）１００を撮影している。図３は、第一実施形態に係る車両用表示システムの後方用カメラで撮影された後方映像データの一例を示す図である。後方用カメラ２０は、リヤビューモニタ６０に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ６０を用いて車両の運転者が適切に後方を認識できるような範囲を切出してリヤビューモニタ６０に表示する。後方用カメラ２０は、撮影した後方映像データ１００を車両用表示制御装置１０の映像データ取得部１１へ出力する。
図１、図２に戻って、右側方用カメラ３０は、車両の右側方に後方を向いて配置され、車両の右側方を撮影する。右側方用カメラ３０は、右サイドビューモニタ７０による確認範囲を撮影する。右側方用カメラ３０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。右側方用カメラ３０は、角度調節自在である。右側方用カメラ３０は、撮影した映像を車両用表示制御装置１０の映像データ取得部１１へ出力する。
左側方用カメラ４０は、車両の左側方に後方を向いて配置され、車両の左側方を撮影する。左側方用カメラ４０は、左サイドビューモニタ８０による確認範囲を撮影する。左側方用カメラ４０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。左側方用カメラ４０は、角度調節自在である。左側方用カメラ４０は、撮影した映像を車両用表示制御装置１０の映像データ取得部１１へ出力する。
リヤビューモニタ６０は、一例としては電子ルームミラーである。リヤビューモニタ６０を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ６０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。リヤビューモニタ６０は、車両用表示制御装置１０の表示制御部１７から出力された映像信号に基づき、車両の後方映像を表示する。具体的に、リヤビューモニタ６０は、図４に示すような後方映像を表示する。図４は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。リヤビューモニタ６０は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ６０は、ウィンドシールドの車幅方向の中央上部に配置されている。または、リヤビューモニタ６０は、ダッシュボードやヘッドライナーに埋め込まれていてもよい。
リヤビューモニタ６０は、大きさ、形状は限定されない。例えば、リヤビューモニタ６０は、従来の光学式のルームミラーと同様な大きさ、形状であってもよい。または、例えば、リヤビューモニタ６０は、従来の光学式のルームミラーに比べて車幅方向の幅が広くてもよい。または、例えば、リヤビューモニタ６０は、従来の光学式のルームミラーに比べて縦方向の幅が広くてもよい。
図１、図２に戻って、右サイドビューモニタ７０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。右サイドビューモニタ７０は、車両用表示制御装置１０の表示制御部１７から出力された映像信号に基づき、車両の右側後方映像を表示する。右サイドビューモニタ７０は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドビューモニタ７０は、ダッシュボードの車幅方向の右側に配置されている。
左サイドビューモニタ８０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを含むディスプレイである。左サイドビューモニタ８０は、車両用表示制御装置１０の表示制御部１７から出力された映像信号に基づき、車両の左側後方映像を表示する。左サイドビューモニタ８０は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドビューモニタ８０は、ダッシュボードの車幅方向の左側に配置されている。
車両用表示制御装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。車両用表示制御装置１０は、図示しない記憶部に記憶されているプログラムに含まれる命令を実行する。車両用表示制御装置１０は、映像データ取得部１１と、切出処理部１２と、位置関係取得部１３と、標識情報取得部１４と、認識処理部１５と、合成処理部１６と、表示制御部１７とを含む。
映像データ取得部１１は、車両の後方および側方を撮影した映像を取得する。映像データ取得部１１が取得する映像データは、例えば、毎秒６０フレームの画像が連続した映像データである。映像データ取得部１１は、後方用カメラ２０が出力した後方映像データ１００と、右側方用カメラ３０が出力した右側方映像データと、左側方用カメラ４０が出力した左側方映像データとを取得する。映像データ取得部１１は、取得した映像データを切出処理部１２に出力する。
切出処理部１２は、右側方映像データから右サイドビューモニタ７０に合わせた表示用右側方映像データを切出す。切出処理部１２は、左側方映像データから左サイドビューモニタ８０に合わせた表示用左側方映像データを切出す。切出処理部１２は、切出した表示用右側方映像データと表示用左側方映像データとを表示制御部１７に出力する。
切出処理部１２は、後方映像データ１００からリヤビューモニタ６０に合わせた表示用後方映像データ１１０を切出す。後方映像データ１００のどの範囲を切出すかは、あらかじめ登録され記憶されている。本実施形態では、後方映像データ１００の中央部を切出す。切出処理部１２は、切出した表示用後方映像データ１１０を認識処理部１５と合成処理部１６とに出力する。
位置関係取得部１３は、走行路に設置された標識と車両との位置関係を取得する。本実施形態では、位置関係取得部１３は、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識と車両との位置関係を取得する。標識と車両との位置関係は、標識を車両が通過したか否かを判定可能な情報を含む。
ナビゲーション情報は、車両の走行路を含む地図情報と、走行路に設置された標識の設置位置情報と標示内容とを含む標識情報と、車両の現在位置情報とを含む。標識の設置位置情報は、走行路に対する標識の設置向きを含む。標識の標示内容は、標識に示された文字情報と図形情報と色彩情報とを含む。標識の標示内容は、標識を表す画像データとしてもよい。
標識情報取得部１４は、標識の設置位置情報と標示内容とを取得する。本実施形態では、標識情報取得部１４は、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識の設置位置情報と標示内容とを取得する。本実施形態では、標識情報取得部１４は、標識を表す画像データを取得する。
認識処理部１５は、位置関係取得部１３が取得した標識と車両との位置関係が、標識を車両が通過したことを示した後に、映像データ取得部１１が取得した表示用後方映像データ１１０から通過した標識の背面１１１を認識する。より詳しくは、認識処理部１５は、標識を車両が通過したと判定された後、映像データ取得部１１が取得し、切出処理された表示用後方映像データ１１０に対して画像処理を行って、位置関係取得部１３で取得した標識の設置位置情報に対応する位置に設置されている標識の背面１１１を認識する。または、認識処理部１５は、標識を車両が通過したと判定された後、表示用後方映像データ１１０に対して画像処理を行って、例えば、路面より上方に設置された灰色または銀色の矩形状または円形状の標識の背面１１１を認識してもよい。または、認識処理部１５は、標識を車両が通過したと判定された後、表示用後方映像データ１１０に対して画像処理を行って、例えば、路面より上方に設置された、通過した標識と相似形状を標識の背面１１１として認識してもよい。または、認識処理部１５は、標識を車両が通過したと判定された後、標識の背面１１１のパターンを記憶した認識辞書を参照して、表示用後方映像データ１１０に対するパターンマッチングによって標識の背面１１１を認識してもよい。
合成処理部１６は、表示用後方映像データ１１０に対し、認識処理部１５が認識した標識の背面１１１に、標識情報取得部１４が取得した標識の標示内容を合成した合成映像データ１２０を生成する。本実施形態では、合成処理部１６は、表示用後方映像データ１１０における標識の背面１１１に、標識情報取得部１４が取得した標識の画像データ１２１を合成した合成映像データ１２０を生成する。合成処理部１６は、表示用後方映像データ１１０において標識の背面１１１として認識された大きさに、標識情報取得部１４が取得した標識の画像データ１２１の大きさを合わせて張り付ける。合成処理部１６は、車両と標識との距離の変化に応じて、言い換えると、標識の背面１１１として認識された大きさの変化に応じて、標識情報取得部１４が取得した標識の画像データ１２１の大きさを変化させて張り付ける。合成処理部１６は、合成した合成映像データ１２０を表示制御部１７に出力する。
合成処理部１６は、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識が経路案内情報における分岐点を示す位置に設置されていた場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、不慣れな道路、または、初めて通過する道路に設置されている標識である場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識の標示内容の情報量が閾値以上である場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識の標示内容に可読性の低い文字が含まれている場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識が渋滞情報を標示した情報板である場合、標識の画像データ１２１の正像を合成してもよい。本実施形態では、合成処理部１６は、標識の画像データ１２１の正像を合成する。
または、合成処理部１６は、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識が経路案内情報における分岐点を示す位置に設置されている標識以外である場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、繰り返し通過する道路に設置されている標識である場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識の標示内容の情報量が閾値以下である場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識の標示内容に可読性の低い文字が含まれていない場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識が案内標識以外の規制標識などである場合、標識の画像データ１２１の鏡像を合成してもよい。
合成処理部１６は、表示用後方映像データ１１０に対し、認識処理部１５が認識した標識の背面１１１に、標識情報取得部１４が取得した標識の標示内容を強調して合成した合成映像データ１２０を生成してもよい。強調して合成するとは、例えば、合成する標識の標示内容の色または輝度を変化させてもよい。強調して合成するとは、例えば、合成する標識の標示内容の外周を枠で囲んでもよい。
例えば、合成処理部１６は、図５に示すような合成した合成映像データ１２０を生成する。図５は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。合成映像データ１２０には、表示用後方映像データ１１０における標識の背面１１１に、標識の画像データ１２１が張り付けられている。標識の画像データ１２１の大きさは、標識の背面１１１の大きさと同程度の大きさである。標識の画像データ１２１は、正像として合成されている。
表示制御部１７は、表示用後方映像データ１１０または合成処理部１６が合成した合成映像データ１２０を、リヤビューモニタ６０に表示させる。表示制御部１７は、認識処理部１５が標識の背面１１１を認識してから所定期間、合成映像データ１２０をリヤビューモニタ６０に表示させる。言い換えると、表示制御部１７は、認識処理部１５が標識の背面１１１を認識してから所定期間経過するまで、表示用後方映像データ１１０をリヤビューモニタ６０に表示させる。
表示制御部１７は、表示用右側方映像データを右サイドビューモニタ７０に表示させる。表示制御部１７は、表示用左側方映像データを左サイドビューモニタ８０に表示させる。
次に、図６を用いて、車両用表示制御装置１０における情報処理について説明する。図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
図６に示すフローチャートの処理における前提としては、車両が動作している期間中、リヤビューモニタ６０に表示用後方映像データ１１０が表示されている。より詳しくは、映像データ取得部１１が、後方用カメラ２０が出力した後方映像データ１００を取得する。そして、切出処理部１２が、後方映像データ１００から表示用後方映像データ１１０を切出す。そして、表示制御部１７が、表示用後方映像データ１１０をリヤビューモニタ６０に表示させる。
車両用表示制御装置１０は、標識と車両との位置関係を取得する（ステップＳ１１）。より詳しくは、車両用表示制御装置１０は、位置関係取得部１３によって、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識と車両との位置関係を取得する。車両用表示制御装置１０は、ステップＳ１２に進む。
車両用表示制御装置１０は、標識を車両が通過したか否かを判定する（ステップＳ１２）。より詳しくは、車両用表示制御装置１０は、位置関係取得部１３が取得した標識と車両との位置関係に基づいて、標識を車両が通過したか否かを判定する。車両用表示制御装置１０は、標識を車両が通過したと判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。車両用表示制御装置１０は、標識を車両が通過していないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１１の処理を再度実行する。
標識を車両が通過したと判定された場合（ステップＳ１２でＹｅｓ）、車両用表示制御装置１０は、表示用後方映像データ１１０から標識の背面１１１を認識する（ステップＳ１３）。より詳しくは、例えば、車両用表示制御装置１０は、認識処理部１５によって、表示用後方映像データ１１０に対して画像処理を行って、位置関係取得部１３で取得した標識の設置位置情報に対応する位置に設置されている標識の背面１１１を認識する。車両用表示制御装置１０は、ステップＳ１４に進む。
車両用表示制御装置１０は、標識の標示内容を取得する（ステップＳ１４）。より詳しくは、車両用表示制御装置１０は、標識情報取得部１４によって、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識の設置位置情報と標示内容とを取得する。車両用表示制御装置１０は、ステップＳ１５に進む。
車両用表示制御装置１０は、表示用後方映像データ１１０の標識の背面１１１に、標識の標示内容を合成する（ステップＳ１５）。より詳しくは、車両用表示制御装置１０は、合成処理部１６によって、表示用後方映像データ１１０における標識の背面１１１に、標識情報取得部１４が取得した標識の画像データ１２１を合成した合成映像データ１２０を生成する。車両用表示制御装置１０は、ステップＳ１６に進む。
車両用表示制御装置１０は、合成した合成映像データ１２０を表示する（ステップＳ１６）。より詳しくは、車両用表示制御装置１０は、表示制御部１７によって、合成映像データ１２０をリヤビューモニタ６０に表示させる。車両用表示制御装置１０は、表示制御部１７によって、認識処理部１５が標識の背面１１１を認識してから所定期間の経過後、表示用後方映像データ１１０をリヤビューモニタ６０に表示させる。車両用表示制御装置１０は、処理を終了する。
このようにして、車両用表示システム１は、標識の通過後に、標識の画像データ１２１を合成した合成映像データ１２０を、リヤビューモニタ６０に表示する。ステップＳ１６の後は、例えば合成映像データ１２０をリヤビューモニタ６０に表示開始してから１０秒間など所定の期間経過するまで合成映像データ１２０の表示を継続する。または、例えば合成映像データ１２０をリヤビューモニタ６０に表示開始してから、標識と車両との位置関係が、例えば所定距離である２０ｍ以上となるまで、合成映像データ１２０の表示を継続する。さらには、合成映像データ１２０をリヤビューモニタ６０に表示開始してから認識した標識の背面１１１の大きさが、表示開始時から５０％未満の大きさとなるまで、合成映像データ１２０の表示を継続する。
上述したように、本実施形態は、標識の通過後に、表示用後方映像データ１１０における標識の背面１１１に標識の画像データ１２１を合成した合成映像データ１２０を生成する。そして、本実施形態は、合成映像データ１２０をリヤビューモニタ６０に表示する。このように、本実施形態は、標識の通過後に、リヤビューモニタ６０を介して標識の画像データ１２１を適切に確認可能にすることができる。
本実施形態は、標識の通過後に、標識の画像データ１２１をリヤビューモニタ６０に表示する。このため、標識を通過した後、運転者が標識を確認するために、無意識にリヤビューモニタ６０を視認する動作を行うと、標識の画像データ１２１を確認することができる。このように、本実施形態によれば、運転者が通過した標識を確認するために、タッチパネル操作などを行うことを要しない。
本実施形態は、標識の背面１１１として認識された大きさに応じて、標識の画像データ１２１の大きさを合わせて張り付ける。本実施形態は、標識の背面１１１以外の部分には、表示用後方映像データ１１０を表示する。本実施形態によれば、後方を確認するためにリヤビューモニタ６０に表示する映像データの情報量を落とさずに、標識の画像データ１２１を合成することができる。
本実施形態は、標識の背面１１１として認識された大きさの変化に応じて、標識の画像データ１２１の大きさを変化させて張り付ける。本実施形態によれば、標識の画像データ１２１を合成したことによって生じる違和感を低減することができる。
本実施形態は、標識の画像データ１２１の正像を合成することにより、標識の画像データ１２１の視認性を高めることができる。標識の画像データ１２１の正像を合成すると、標識の通過前に目視する標識が行先標識である場合、標識の通過後にリヤビューモニタ６０で確認する標識の行先方向が一致する。また、文字も読みやすい。
本実施形態は、標識の画像データ１２１の鏡像を合成することにより、標識の画像データ１２１を合成したことによって生じる違和感を低減することができる。標識の画像データ１２１の鏡像を合成すると、表示用後方映像データ１１０も鏡像であるため、違和感が低減する。
本実施形態は、標識の画像データ１２１を強調して合成した合成映像データ１２０を生成することにより、標識の画像データ１２１の視認性をより高めることができる。また、本実施形態によれば、合成映像データ１２０の中で標識の画像データ１２１と、他の非撮影物との違いを認識しやすくすることができる。これにより、例えば、合成映像データ１２０に標識の画像データ１２１と対向車線に向けて設置された標識とが表示されていた場合、標識の画像データ１２１を確認しやすくすることができる。
本実施形態は、標識として案内標識を表示することができる。本実施形態によれば、通過した案内標識を確認して、より適切に周辺状況を確認することができる。
本実施形態によれば、通過した案内標識をリヤビューモニタ６０に表示する。本実施形態によれば、リヤビューモニタ６０には通過した案内標識が表示され、これから通過する交差点などの案内標識はナビゲーション装置に表示される。本実施形態によれば、通過した案内標識かこれから通過する案内標識であるのかを容易に識別することができる。
［第二実施形態］
図７ないし図９を参照しながら、本実施形態に係る車両用表示システム１Ａについて説明する。図７は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。図８は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。図９は、第二実施形態に係る車両用表示システムの前方用カメラで撮影された前方映像データの一例を示す図である。本実施形態に係る車両用表示システム１Ａは、基本的な構成は第一実施形態の車両用表示システム１と同様である。以下の説明においては、車両用表示システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の車両用表示システム１Ａは、前方用カメラ５０Ａを備え、車両用表示制御装置１０Ａにおける情報処理が第一実施形態の車両用表示システム１と異なる。
前方用カメラ５０Ａは、車両の前方に前方を向いて配置され、車両の前方を撮影する。前方用カメラ５０Ａは、水平方向の画角が例えば９０〜１８０°、上下方向の画角が例えば４５〜９０°である。例えば、前方用カメラ５０Ａは、図９に示すような、前方映像データ（第二映像データ）１４０を撮影している。前方用カメラ５０Ａは、撮影した前方映像データ１４０を車両用表示制御装置１０Ａの映像データ取得部１１Ａへ出力する。
映像データ取得部１１Ａは、前方用カメラ５０Ａが出力した前方映像データ１４０を取得する。
位置関係取得部１３Ａは、映像データ取得部１１Ａが取得した前方映像データ１４０と表示用後方映像データ１１０とに対して画像処理を行って、標識と車両との位置関係を取得する。より詳しくは、位置関係取得部１３Ａは、前方映像データ１４０と表示用後方映像データ１１０とに対して画像処理を行って、前方映像データ１４０から標識を認識できなくなった後に、表示用後方映像データ１１０から相似形状の標識を認識可能になった場合、標識を通過したことを示す情報を取得する。
認識処理部１５Ａは、映像データ取得部１１Ａが取得した前方映像データ１４０に対して画像処理を行って、標識の画像データ１４１を認識する。このような機能を有する認識処理部１５Ａは、標識情報取得部１４Ａとして機能する。
また、認識処理部１５Ａは、前方映像データ１４０と表示用後方映像データ１１０とに対して画像処理を行って、前方映像データ１４０から標識を認識できなくなった後に、表示用後方映像データ１１０から相似形状の標識を認識可能になった場合、同一の標識として標識の背面１１１を認識する。
合成処理部１６Ａは、表示用後方映像データ１１０における標識の背面１１１に、標識情報取得部１４としての認識処理部１５Ａが取得した標識の画像データ１４１を合成した合成映像データを生成する。
表示制御部１７は、合成処理部１６Ａが合成した合成映像データを、リヤビューモニタ６０に表示させる。
車両用表示制御装置１０Ａにおける情報処理について説明する。図８に示すフローチャートのステップＳ２２、ステップＳ２３、ステップＳ２７の処理は、図６に示すフローチャートのステップＳ１２、ステップＳ１３、ステップＳ１６の処理と同様である。
車両用表示制御装置１０Ａは、位置関係取得部１３Ａによって、映像データ取得部１１Ａが取得した前方映像データ１４０に対して画像処理を行って、標識と車両との位置関係を取得する（ステップＳ２１）。車両用表示制御装置１０Ａは、ステップＳ２２に進む。
車両用表示制御装置１０Ａは、映像データ取得部１１Ａによって、前方用カメラ５０Ａが出力した前方映像データ１４０を取得する（ステップＳ２４）。車両用表示制御装置１０Ａは、ステップＳ２５に進む。
車両用表示制御装置１０Ａは、認識処理部１５Ａによって、前方映像データ１４０に対して画像処理を行って、標識の標示内容として標識の画像データ１４１を取得する（ステップＳ２５）。車両用表示制御装置１０Ａは、ステップＳ２６に進む。
車両用表示制御装置１０Ａは、表示用後方映像データ１１０の標識の背面１１１に、切出した標識の画像データ１４１を合成する（ステップＳ２６）。車両用表示制御装置１０Ａは、ステップＳ２７に進む。
このようにして、車両用表示システム１Ａは、標識の通過後に、前方映像データ１４０から切出した標識の画像データ１４１を合成した合成映像データをリヤビューモニタ６０に表示する。
上述したように、本実施形態は、標識の通過後に、表示用後方映像データ１１０における標識の背面１１１に、前方映像データ１４０から切出した標識の画像データ１４１を合成した合成映像データを生成する。このように、本実施形態は、標識の通過後に、前方映像データ１４０から切出した標識の画像データ１４１によって、標識の標示内容を適切に確認可能にすることができる。
［第三実施形態］
図１０ないし図１２を参照しながら、本実施形態に係る車両用表示システム１Ｂについて説明する。図１０は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。図１１は、第三実施形態に係る車両用表示システムの構成例を示す概略図である。図１２は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。本実施形態に係る車両用表示システム１Ｂは、基本的な構成は第一実施形態の車両用表示システム１と同様である。本実施形態の車両用表示システム１Ｂは、視線センサ９０Ｂを備え、車両用表示制御装置１０Ｂにおける情報処理が第一実施形態の車両用表示システム１と異なる。
視線センサ９０Ｂは、運転者の視線を検出する。視線センサ９０Ｂは、リヤビューモニタ６０の近傍に、運転席と向かい合って配置されている。本実施形態では、視線センサ９０Ｂは、リヤビューモニタ６０の上側に配置されている。視線センサ９０Ｂは、例えば、一対の赤外カメラと、赤外ＬＥＤ群で構成された赤外光発光部とを含む。本実施形態では、視線センサ９０Ｂは、赤外光発光部で運転者の顔方向に赤外光を照射し、一対の赤外カメラで撮影する。このようにして赤外カメラで撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とに基づいて、運転者の視線がリヤビューモニタ６０を向いているか否かを判定することができる。視線センサ９０Ｂは、同様の機能を有する他の構成であってもよい。視線センサ９０Ｂは、検出結果を視線検出部１８Ｂに出力する。
車両用表示制御装置１０Ｂは、標識の通過後、運転者の視線がリヤビューモニタ６０を向いているとき、標識の標示内容を合成した合成映像データ１２０を、リヤビューモニタ６０に表示する。
視線検出部１８Ｂは、視線センサ９０Ｂの検出結果に基づいて、運転者の視線がリヤビューモニタ６０を向いているか否かを検出する。より詳しくは、視線検出部１８Ｂは、赤外カメラで撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とを検出し、運転者の視線がリヤビューモニタ６０を向いているか否かを判定する。視線検出部１８Ｂは、検出結果を認識処理部１５に出力する。
車両用表示制御装置１０Ｂにおける情報処理について説明する。図１２に示すフローチャートのステップＳ３１、ステップＳ３２、ステップＳ３４ないしステップＳ３７の処理は、図６に示すフローチャートのステップＳ１１、ステップＳ１２、ステップＳ１３ないしステップＳ１６の処理と同様である。
車両用表示制御装置１０Ｂは、視線が移動したか否かを判定する（ステップＳ３３）。より詳しくは、車両用表示制御装置１０Ｂは、視線検出部１８Ｂの検出結果に基づいて、運転者の視線がリヤビューモニタ６０に移動したか否かを判定する。車両用表示制御装置１０Ｂは、運転者の視線がリヤビューモニタ６０に移動したと判定した場合（ステップＳ３３でＹｅｓ）、ステップＳ３４に進む。車両用表示制御装置１０Ｂは、運転者の視線がリヤビューモニタ６０に移動していないと判定した場合（ステップＳ３３でＮｏ）、処理を終了する。
このようにして、車両用表示システム１Ｂは、標識の通過後に、運転者の視線がリヤビューモニタ６０に移動したとき、標識の画像データ１２１を合成した合成映像データ１２０を、リヤビューモニタ６０に表示する。
上述したように、本実施形態は、標識の通過後に、運転者の視線がリヤビューモニタ６０に移動したとき、表示用後方映像データ１１０における標識の背面１１１に標識の画像データ１２１を合成した合成映像データ１２０を生成する。そして、本実施形態は、合成映像データ１２０をリヤビューモニタ６０に表示する。このように、本実施形態は、標識の通過後に、運転者の視線がリヤビューモニタ６０に移動したとき、リヤビューモニタ６０を介して標識の画像データ１２１を適切に確認可能にすることができる。
図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
右サイドビューモニタ７０および左サイドビューモニタ８０を備えるものとしたが、従来の光学式の右サイドミラーおよび左サイドミラーを備えていてもよい。
車両用表示制御装置１０は、合成映像データ１２０を生成する際に、表示用後方映像データ１１０に表示される対向車線に向かって配置された標識の情報量を低減してもよい。情報量を低減するとは、例えば、標識の標示内容の色を薄くしたり、輝度を低下したりすることをいう。これにより、合成映像データ１２０において、対向車線に向かって配置された標識と、合成した標識の標示内容との識別性を向上することができる。
上記の実施形態では、車両用表示制御装置１０は、標識の通過後に、標識の標示内容を合成した合成映像データ１２０をリヤビューモニタ６０に表示するものとして説明したがこれに限定されない。車両用表示制御装置１０は、標識の通過後に、標識の標示内容を合成した右サイド用合成映像データおよび左サイド用合成映像データを、右サイドビューモニタ７０および左サイドビューモニタ８０に表示してもよい。
１ 車両用表示システム
１０ 車両用表示制御装置
１１ 映像データ取得部
１２ 切出処理部
１３ 位置関係取得部
１４ 標識情報取得部
１５ 認識処理部
１６ 合成処理部
１７ 表示制御部
２０ 後方用カメラ(撮影装置)
３０ 右側方用カメラ(撮影装置)
４０ 左側方用カメラ(撮影装置)
６０ リヤビューモニタ（表示装置）
７０ 右サイドビューモニタ（表示装置）
８０ 左サイドビューモニタ（表示装置）
１００ 後方映像データ（第一映像データ）
１１０ 表示用後方映像データ
１１１ 標識の背面

Claims (10)

  1. 車両の後方を撮影した第一映像データを取得する映像データ取得部と、
    前記車両の走行路において前記車両の運転者が目視する標識の通過前から通過後における前記車両との位置関係を取得する位置関係取得部と、
    前記標識の標示内容を取得する標識情報取得部と、
    前記位置関係取得部が取得した前記標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した前記標識の背面を認識する認識処理部と、
    前記第一映像データに対し、前記認識処理部が認識した前記標識の背面に、前記標識情報取得部が取得した前記標識の標示内容を合成した合成映像を生成する合成処理部と、
    前記合成処理部が合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御部と、
    を備えることを特徴とする車両用表示制御装置。
  2. 前記映像データ取得部は、前記車両の進行方向を撮影した第二映像データをさらに取得し、
    前記認識処理部は、前記第二映像データから前記標識を認識することで、前記標識情報取得部として機能し、
    前記合成処理部は、前記認識処理部が認識した前記標識の背面に、前記標識情報取得部が前記第二映像データから認識した前記標識を切出して、前記第一映像データにおける前記標識の背面に合成した合成映像を生成する、
    請求項１に記載の車両用表示制御装置。
  3. 前記合成処理部は、前記標識の標示内容または前記標識を、前記標識の背面として認識された大きさに合わせて張り付ける、
    請求項１または２に記載の車両用表示制御装置。
  4. 前記標識は、案内標識である、
    請求項１から３のいずれか１項に記載の車両用表示制御装置。
  5. 前記合成処理部は、前記認識処理部が認識した標識の背面に、前記標識の標示内容または前記標識を、鏡像として合成する、
    請求項１から４のいずれか１項に記載の車両用表示制御装置。
  6. 前記表示制御部は、前記合成処理部が生成した合成映像を、前記車両の後方を確認するための電子ミラーとして用いられる表示装置に表示させる、
    請求項１から５のいずれか１項に記載の車両用表示制御装置。
  7. 前記表示制御部は、前記第一映像データを前記表示装置に表示させるとともに、前記認識処理部が前記標識の背面を認識してから所定期間、前記合成映像を表示させる、
    請求項１から６のいずれか１項に記載の車両用表示制御装置。
  8. 請求項１から７のいずれか一項に記載の車両用表示制御装置と、
    少なくとも前記表示装置、車両の後方を撮影する撮影装置のうち少なくともいずれかと、を備える車両用表示システム。
  9. 車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、
    前記車両の走行路において前記車両の運転者が目視する標識の通過前から通過後における前記車両との位置関係を取得する位置関係取得ステップと、
    前記標識の標示内容を取得する標識情報取得ステップと、
    前記位置関係取得ステップによって取得した前記標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した前記標識の背面を認識する認識処理ステップと、
    前記第一映像データに対し、前記認識処理ステップによって認識した前記標識の背面に、前記標識情報取得ステップによって取得した前記標識の標示内容を合成した合成映像を生成する合成処理ステップと、
    前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、
    を含む車両用表示制御方法。
  10. 車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、
    前記車両の走行路において前記車両の運転者が目視する標識と前記車両との位置関係を取得する位置関係取得ステップと、
    前記標識の標示内容を取得する標識情報取得ステップと、
    前記位置関係取得ステップによって取得した前記標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した前記標識の背面を認識する認識処理ステップと、
    前記第一映像データに対し、前記認識処理ステップによって認識した前記標識の背面に、前記標識情報取得ステップによって取得した前記標識の標示内容を合成した合成映像を生成する合成処理ステップと、
    前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、
    を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
JP2017206153A 2017-10-25 2017-10-25 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Active JP6962131B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017206153A JP6962131B2 (ja) 2017-10-25 2017-10-25 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US16/151,364 US10474912B2 (en) 2017-10-25 2018-10-04 Vehicle display controller, vehicle display system, vehicle display control method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017206153A JP6962131B2 (ja) 2017-10-25 2017-10-25 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019080189A JP2019080189A (ja) 2019-05-23
JP6962131B2 true JP6962131B2 (ja) 2021-11-05

Family

ID=66170043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017206153A Active JP6962131B2 (ja) 2017-10-25 2017-10-25 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Country Status (2)

Country Link
US (1) US10474912B2 (ja)
JP (1) JP6962131B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3097478A1 (fr) * 2019-06-24 2020-12-25 Novares France Tableau de bord d’un véhicule automobile
US11380110B1 (en) * 2020-12-17 2022-07-05 GM Global Technology Operations LLC Three dimensional traffic sign detection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631C2 (de) * 1998-11-14 2001-09-06 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
JP4266607B2 (ja) * 2002-09-30 2009-05-20 三洋電機株式会社 車両用前方表示装置
JP4377189B2 (ja) 2003-10-01 2009-12-02 アルパイン株式会社 ナビゲーション装置及び案内標識表示方法
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US9154746B2 (en) * 2012-07-20 2015-10-06 Scott Kageta Rear camera system for a vehicle with a trailer
JP2014036326A (ja) * 2012-08-08 2014-02-24 Honda Motor Co Ltd 俯瞰画像表示装置
JP2014215662A (ja) * 2013-04-23 2014-11-17 シャープ株式会社 両面ディスプレイおよび両面ディスプレイを用いた誘導システム
JP6024679B2 (ja) * 2014-02-03 2016-11-16 株式会社デンソー 標識認識装置
EP3123397A4 (en) * 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
JP6447427B2 (ja) * 2015-09-04 2019-01-09 株式会社デンソー 後方用電子ミラー、及び制御システム
JP2017052364A (ja) * 2015-09-09 2017-03-16 日本精機株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
US10474912B2 (en) 2019-11-12
JP2019080189A (ja) 2019-05-23
US20190122058A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
US11181743B2 (en) Head up display apparatus and display control method thereof
JP5099451B2 (ja) 車両周辺確認装置
WO2016067574A1 (ja) 表示制御装置及び表示制御プログラム
US11250816B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
JPWO2018167966A1 (ja) Ａｒ表示装置及びａｒ表示方法
EP2455927A1 (en) Driving support device, driving support method, and program
JP6521081B2 (ja) 車両用表示装置
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP2018022105A (ja) ヘッドアップディスプレイ装置、表示制御方法及び制御プログラム
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
CN113165510B (zh) 显示控制装置、方法和计算机程序
JP5131152B2 (ja) 視覚支援装置
JP6962131B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP5422622B2 (ja) ヘッドアップディスプレイ装置
JP2012153256A (ja) 画像処理装置
JP2008068827A (ja) 後側方確認装置
JP2005039547A (ja) 車両用前方視界支援装置
JP2007280203A (ja) 情報提示装置、自動車、及び情報提示方法
JP2017040773A (ja) 頭部装着型表示装置
JP6947873B2 (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム
JP7378892B2 (ja) 一時停止線表示装置
JP2004306792A (ja) ヘッドアップディスプレイ
JP6206246B2 (ja) 車両用表示装置
CN115088028A (zh) 绘制***、显示***、移动体、绘制方法以及程序
US20190381936A1 (en) Device for assisting night-time road navigation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210927

R150 Certificate of patent or registration of utility model

Ref document number: 6962131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150