JP2017183971A - 電子ミラー制御装置 - Google Patents

電子ミラー制御装置 Download PDF

Info

Publication number
JP2017183971A
JP2017183971A JP2016067459A JP2016067459A JP2017183971A JP 2017183971 A JP2017183971 A JP 2017183971A JP 2016067459 A JP2016067459 A JP 2016067459A JP 2016067459 A JP2016067459 A JP 2016067459A JP 2017183971 A JP2017183971 A JP 2017183971A
Authority
JP
Japan
Prior art keywords
straight line
background image
display
region
rear side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016067459A
Other languages
English (en)
Other versions
JP6256508B2 (ja
Inventor
彰 貝野
Akira Kaino
彰 貝野
由貴 藤原
Yuki Fujiwara
由貴 藤原
陽子 星野
Yoko Hoshino
陽子 星野
吉田　誠
Makoto Yoshida
吉田　　誠
久美子 竹之内
Kumiko Takenouchi
久美子 竹之内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2016067459A priority Critical patent/JP6256508B2/ja
Priority to DE112017001816.1T priority patent/DE112017001816T5/de
Priority to CN201780003222.0A priority patent/CN108781275B/zh
Priority to US15/760,764 priority patent/US10336258B2/en
Priority to PCT/JP2017/010061 priority patent/WO2017169705A1/ja
Publication of JP2017183971A publication Critical patent/JP2017183971A/ja
Application granted granted Critical
Publication of JP6256508B2 publication Critical patent/JP6256508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】間接視界から走行環境を短時間で把握できるようにする。【解決手段】電子ミラー制御装置は、車両に搭載され、走行中の車両の後側面を含む背景画像を撮像する撮像部と、撮像部により撮像された記背景画像を表示する表示部と、背景画像から消失点の位置を算出する演算部と、背景画像において車両の後側面が表示された後側面領域を抽出する抽出部と、消失点を起点とし、後側面領域を通り、水平より下方に延びる第１直線と、消失点を起点とし、消失点を通る垂直線に対して第１直線と反対側で水平より下方に延びる第２直線と、表示部の外縁とに囲まれた背景画像の下方領域を、下方領域以外の領域に比べて高輝度で表示する表示制御部と、を備える。【選択図】図１

Description

ここに開示された技術は、撮像部により撮像された車両の後側面を含む背景画像の表示を制御する電子ミラー制御装置に関するものである。
従来、車載カメラで撮影された車両の後側面及び後側方の画像を車両内部に設置されたディスプレイに表示する装置が提案されている（特許文献１参照）。特許文献１に記載の技術では、ディスプレイに表示される画像を部分的に圧縮して表示することにより、運転者の視認性を向上させている。
特開２０１２−１７０１２７号公報
車両の走行中には、いかなる環境においても、運転者は、走行空間を正しく安全に把握することができる必要がある。車両の後側方を視認できるドアミラー又はカメラで撮像した車両の後側方を表示するディスプレイに見える間接視界がない場合には、運転者は、体または首を回転させ、顔を後ろに向けて後側方を見ることになる。この場合には、運転者は、見えている後側方の環境が、走行環境のなかのどこに位置するかを直感的に把握することができる。しかしながら、首を回転したり視線を移動したりするため、わき見の時間が長くなってしまう。
これに対して、上記ドアミラー又はディスプレイに見える間接視界を利用した場合には、体又は首を回転せずに車両の後側方を確認することができるため、わき見の時間は短縮される。しかしながら、目で直接見ているわけではないため、間接視界から走行環境を把握するまでに時間を要してしまう。
そこで、間接視界を利用した場合でも、間接視界から自車の位置関係などの走行環境を短時間で把握できるようにすることが求められる。しかし、上記特許文献１では、この点について十分に検討されていない。
ここに開示された技術は、間接視界から走行環境を短時間で把握できるようにすることを目的とする。
上述の課題を解決するために、ここに開示された技術の一態様は、車両に搭載され、走行中の前記車両の後側面を含む背景画像を撮像する撮像部と、前記撮像部により撮像された前記背景画像を表示する表示部と、前記背景画像から消失点の位置を算出する演算部と、前記背景画像において前記車両の後側面が表示された後側面領域を抽出する抽出部と、前記消失点を起点とし、前記後側面領域を通り、水平より下方に延びる第１直線と、前記消失点を起点とし、前記消失点を通る垂直線に対して前記第１直線と反対側で水平より下方に延びる第２直線と、前記表示部の外縁とに囲まれた前記背景画像の下方領域を、前記下方領域以外の領域に比べて高輝度で表示する表示制御部と、を備えるものである。
この態様では、消失点を起点とし、後側面領域を通り、水平より下方に延びる第１直線と、消失点を起点とし、消失点を通る垂直線に対して第１直線と反対側で水平より下方に延びる第２直線と、表示部の外縁とに囲まれた背景画像の下方領域が、下方領域以外の領域に比べて高輝度で表示される。
第１直線及び第２直線は、消失点を起点とするため、オプティカルフローを表す直線になる。背景画像の下方領域が、下方領域以外の領域に比べて高輝度で表示されるため、この輝度の差異によって、運転者は、オプティカルフローを表す第１直線及び第２直線を視認することができる。このため、運転者は、オプティカルフローの存在しない後側面領域において、オプティカルフローを表す第１直線を視認できる。その結果、運転者は、表示部に見える間接視界から走行環境を短時間で把握することが可能になる。また、背景画像の下方領域が、下方領域以外の領域に比べて高輝度で表示されるため、道路を見易くすることができる。
上記態様において、例えば、前記撮像部は、道路に描かれた車線の境界を表す境界線を撮像してもよい。前記抽出部は、前記背景画像から前記境界線を抽出してもよい。前記表示制御部は、前記抽出部により抽出された前記境界線に平行に延びる直線として前記第２直線を算出してもよい。
この態様では、道路に描かれた車線の境界を表す境界線に平行に延びる直線として第２直線が算出される。一般に、背景画像における境界線は消失点の近傍を通るため、第２直線と境界線とは、ほぼ一致する。したがって、オプティカルフローを表す第２直線を見易くすることができる。
上記態様において、例えば、前記表示部は、矩形形状を有してもよい。前記表示制御部は、前記表示部の前記後側面領域側の下方の第１隅まで延びる直線として前記第１直線を算出し、前記表示部の前記第１隅と反対側の下方の第２隅まで延びる直線として前記第２直線を算出してもよい。
この態様では、表示部の後側面領域側の下方の第１隅まで延びる直線として第１直線が算出され、表示部の第１隅と反対側の下方の第２隅まで延びる直線として第２直線が算出される。したがって、限られた表示部の表示範囲内において、オプティカルフローを表す第１直線及び第２直線を最も長くすることができる。これによって、オプティカルフローを表す第１直線及び第２直線を見易くすることができる。
上記態様において、例えば、前記表示部は、矩形形状を有してもよい。前記表示制御部は、前記消失点を起点とし、前記表示部の前記後側面領域側の上方の第３隅まで延びる第３直線と、前記消失点を起点とし、前記表示部の前記第３隅と反対側の上方の第４隅まで延びる第４直線と、前記表示部の上縁とに囲まれた前記背景画像の上方領域を、前記上方領域以外の領域に比べて低輝度で表示してもよい。
この態様では、消失点を起点とし、表示部の後側面領域側の上方の第３隅まで延びる第３直線と、消失点を起点とし、表示部の第３隅と反対側の上方の第４隅まで延びる第４直線と、表示部の上縁とに囲まれた背景画像の上方領域が、上方領域以外の領域に比べて低輝度で表示される。
第３直線及び第４直線は、消失点を起点とするため、オプティカルフローを表す直線になる。背景画像の上方領域が、上方領域以外の領域に比べて低輝度で表示されるため、この輝度の差異によって、運転者は、オプティカルフローを表す第３直線及び第４直線を、第１直線及び第２直線に加えて視認することができる。その結果、運転者は、表示部に見える間接視界から走行環境を短時間で把握することが可能になる。また、空又は景色が撮像されることの多い背景画像の上方領域が、上方領域以外の領域に比べて低輝度で表示されるため、道路を見易くすることができる。
この電子ミラー制御装置によれば、消失点を起点とし、後側面領域を通り、水平より下方に延びる第１直線と、消失点を起点とし、消失点を通る垂直線に対して第１直線と反対側で水平より下方に延びる第２直線と、表示部の外縁とに囲まれた背景画像の下方領域を、下方領域以外の領域に比べて高輝度で表示することにより、運転者は、表示部に見える間接視界から、走行環境を短時間で把握することが可能となる。
本実施形態の車両の構成を概略的に示すブロック図である。 車両の動作の一例を概略的に示すフローチャートである。 図２の動作においてディスプレイに表示される背景画像を示す図である。 車両の動作の異なる例を概略的に示すフローチャートである。 図４の動作においてディスプレイに表示される背景画像を示す図である。 車両の動作のさらに異なる例を概略的に示すフローチャートである。 図６の動作においてディスプレイに表示される背景画像を示す図である。 車両の動作のさらに異なる例を概略的に示すフローチャートである。 図８の動作においてディスプレイに表示される背景画像を示す図である。
以下、図面を参照しつつ、本開示の実施形態が説明される。なお、各図では、同様の要素には同様の符号が付され、適宜、説明が省略される。
図１は、本実施形態の車両の構成を概略的に示すブロック図である。車両１００は、例えば４輪自動車である。車両１００は、図１に示されるように、カメラ２１０，２２０（撮像部の一例）、ディスプレイ３１０，３２０（表示部の一例）、電子制御ユニット（ＥＣＵ）４００を備える。
カメラ２１０は、例えば車両１００の右側のドアミラーに、カメラ２１０の光軸が車両１００の後方を向くように取り付けられる。カメラ２１０は、車両１００の右側の後側面を含む車両１００の右後方の背景画像を所定時間（例えば１／６０秒）毎に連続して撮像する。なお、カメラ２１０は、右側のドアミラーに代えて、右側のドアミラーが取り付けられていた位置に、カメラ２１０の光軸が車両１００の後方を向くように取り付けられてもよい。
カメラ２２０は、例えば車両１００の左側のドアミラーに、カメラ２２０の光軸が車両１００の後方を向くように取り付けられる。カメラ２２０は、車両１００の左側の後側面を含む車両１００の左後方の背景画像を所定時間（例えば１／６０秒）毎に連続して撮像する。なお、カメラ２２０は、左側のドアミラーに代えて、左側のドアミラーが取り付けられていた位置に、カメラ２２０の光軸が車両１００の後方を向くように取り付けられてもよい。
ディスプレイ３１０は、運転席の前方の右寄りに配置される。ディスプレイ３１０は、カメラ２１０により所定時間（例えば１／６０秒）毎に連続して撮像された車両１００の右後方の背景画像のうち最新の背景画像を表示する。ディスプレイ３２０は、運転席の前方の左寄りに配置される。ディスプレイ３２０は、カメラ２２０により所定時間（例えば１／６０秒）毎に連続して撮像された車両１００の左後方の背景画像のうち最新の背景画像を表示する。
ディスプレイ３１０，３２０は、矩形形状を有する。ディスプレイ３１０，３２０は、例えば液晶表示パネルを含む。ディスプレイ３１０，３２０は、液晶表示パネルに限られず、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの他の表示デバイスを含んでもよい。
ＥＣＵ４００は、車両１００の全体の動作を制御する。ＥＣＵ４００は、中央演算処理装置（ＣＰＵ）４１０、メモリ４２０、その他の周辺回路を含む。メモリ４２０は、例えば、フラッシュメモリなどの半導体メモリ、ハードディスク、又は他の記憶素子で構成される。メモリ４２０は、カメラ２１０，２２０により撮像された各背景画像を一時的に保存するフレームメモリ、プログラムを保存するメモリ、データを一時的に保存するメモリ等を含む。なお、メモリ４２０は、カメラ２１０，２２０により撮像された各背景画像を一時的に保存する領域、プログラムを保存する領域、データを一時的に保存する領域を備えた単一のメモリで構成されていてもよい。
ＣＰＵ４１０は、メモリ４２０に保存されているプログラムに従って動作することにより、演算部４１１、抽出部４１２、表示制御部４１３として機能する。演算部４１１は、カメラ２１０，２２０により撮像された各背景画像から、ディスプレイ３１０，３２０における消失点の位置をそれぞれ算出する。
抽出部４１２は、カメラ２１０により撮像された背景画像から、車両１００の右側の後側面が表示された後側面領域５０２（図３）を抽出する。抽出部４１２は、カメラ２２０により撮像された背景画像から、車両１００の左側の後側面が表示された後側面領域を抽出する。
表示制御部４１３は、メモリ４２０の各フレームメモリに保存された、カメラ２１０，２２０により撮像された最新の各背景画像をディスプレイ３１０，３２０にそれぞれ表示する。表示制御部４１３は、カメラ２１０，２２０により撮像された各背景画像をディスプレイ３１０，３２０に表示する際に、左右を反転して表示する。これによって、ディスプレイ３１０に右側のドアミラーに映る画像が表示され、ディスプレイ３２０に左側のドアミラーに映る画像が表示される。演算部４１１、抽出部４１２、表示制御部４１３の機能は、後に詳述される。
図２は、車両１００の動作の一例を概略的に示すフローチャートである。図３は、図２の動作においてディスプレイ３１０に表示される背景画像３１１を示す図である。なお、以下では、カメラ２１０により撮像された背景画像について説明されるが、カメラ２２０により撮像された背景画像についても同様である。
例えばエンジンが始動されると、カメラ２１０により撮像が開始されて、図２の動作が開始される。ステップＳ２０１において、表示制御部４１３は、カメラ２１０により撮像され、メモリ４２０のフレームメモリに保存された最新の背景画像をディスプレイ３１０に表示する。
次に、ステップＳ２０２において、車両１００は走行を開始する。次に、ステップＳ２０３において、演算部４１１は、カメラ２１０により撮像された背景画像から第１のオプティカルフローを算出し、ステップＳ２０４において、第１のオプティカルフローとは別の第２のオプティカルフローを算出する。
オプティカルフローは、画像中の物体の動きをベクトルで表したものである。演算部４１１は、複数の背景画像から、それぞれの間で互いに対応する特徴点を抽出し、抽出した対応する特徴点を結んだ線を第１、第２のオプティカルフローとして算出してもよい。演算部４１１は、ＬｕｃａｓＫａｎａｄｅ法、Ｈｏｒｎ−Ｓｃｈｕｎｋ法などの公知の手法を用いて、第１、第２のオプティカルフローを算出してもよい。
次に、ステップＳ２０５において、演算部４１１は、第１のオプティカルフローと第２のオプティカルフローとの交点を消失点５０１（図３）として算出する。消失点とは、遠近法において、実際には平行線になっているものを平行線でないように描く際に、その線が交わる点を意味する。
次に、ステップＳ２０６において、抽出部４１２は、ディスプレイ３１０において、車両１００の後側面が表示されている後側面領域５０２を抽出する。抽出部４１２は、テンプレートマッチング法によって、後側面領域５０２を抽出してもよい。或いは、抽出部４１２は、カメラ２１０により所定時間毎に撮像された複数の背景画像の各画素値を比較して、画素値に変化が無い領域を後側面領域５０２として抽出してもよい。
なお、ＥＣＵ４００は、カメラ２１０の撮像範囲を変更できるように、運転者の操作に応じてカメラ２１０の光軸の角度を変更するカメラ制御部を備えてもよい。メモリ４２０は、カメラ２１０の光軸の角度と後側面領域５０２とが対応付けられたデータを記憶してもよい。この場合には、抽出部４１２は、現在のカメラ２１０の光軸の角度をカメラ制御部から取得し、取得した光軸の角度に対応付けられた後側面領域５０２をメモリ４２０から抽出してもよい。
次に、ステップＳ２０７において、抽出部４１２は、道路に描かれた車線の境界を表す境界線５０３を抽出する。抽出部４１２は、ステップＳ２０６で抽出された後側面領域５０２以外の領域における各画素の輝度を比較して、ディスプレイ３１０の下縁３１２から斜めに延びる比較的高輝度の細長い矩形画像を境界線５０３として抽出してもよい。
次に、ステップＳ２０８において、表示制御部４１３は、消失点５０１を起点とし、後側面領域５０２を通り、ディスプレイ３１０の下方の隅５０４（第１隅の一例）まで延びる第１直線５１１を算出する。次に、ステップＳ２０９において、表示制御部４１３は、消失点５０１を起点とし、境界線５０３に平行で、ディスプレイ３１０の下縁３１２まで延びる第２直線５１２を算出する。第１直線５１１及び第２直線５１２は、消失点５０１を通るため、それぞれオプティカルフローを表す。
次に、ステップＳ２１０において、表示制御部４１３は、第１直線５１１と第２直線５１２とディスプレイ３１０の下縁３１２（外縁の一例）とに囲まれた背景画像３１１の下方領域５１３の輝度を、下方領域５１３以外の領域５１４の輝度に比べて増大させる。具体的には、表示制御部４１３は、下方領域５１３の各画素の輝度値に係数Ｋ１（Ｋ１は１より大きい数）を乗算してもよい。なお、乗算結果が上限値（例えば８ビットであれば２５５）を超える場合には、表示制御部４１３は、輝度値を上限値とすればよい。或いは、表示制御部４１３は、下方領域５１３以外の領域５１４の各画素の輝度値に係数Ｋ２（Ｋ２は１未満の正の数）を乗算してもよい。
その後、処理はステップＳ２０３に戻って、以上のステップが繰り返される。なお、図２の動作は、車両１００が停止すると終了してもよい。
以上説明されたように、本実施形態によれば、表示制御部４１３は、第１直線５１１と第２直線５１２とディスプレイ３１０の下縁３１２とに囲まれた背景画像３１１の下方領域５１３の輝度を、下方領域５１３以外の領域５１４の輝度に比べて増大させる。この輝度の差異によって、運転者は、背景画像３１１において、オプティカルフローを表す第１直線５１１と第２直線５１２とを視認することができる。このため、運転者は、オプティカルフローの存在しない後側面領域５０２において、オプティカルフローを表す第１直線５１１を視認できる。その結果、運転者は、ディスプレイ３１０に見える間接視界から、自車の位置などの走行環境を短時間で把握することが可能となる。
また、第２直線５１２は、境界線５０３に平行になっている。一般に、背景画像３１１における境界線５０３は、消失点５０１の近傍を通る。このため、第２直線５１２と境界線５０３とは、ほぼ一致することになる。したがって、オプティカルフローを表す第２直線５１２をより目立たせることができる。
また、空が明るい場合には、ディスプレイ３１０に表示される背景画像３１１は、通常、カメラ２１０の自動露出機能によって、道路が表示されることの多い背景画像３１１の下方領域５１３が暗くなってしまう。しかし、本実施形態によれば、下方領域５１３の輝度が、下方領域５１３以外の領域５１４の輝度に比べて増大されているため、道路を明るくすることができる。その結果、道路を見易くすることができる。
図４は、車両１００の動作の異なる例を概略的に示すフローチャートである。図５は、図４の動作においてディスプレイ３１０に表示される背景画像３１１を示す図である。図４におけるステップＳ２０１〜Ｓ２０６，Ｓ２０８は、図２におけるステップＳ２０１〜Ｓ２０６，Ｓ２０８と同じである。
ステップＳ２０８に続くステップＳ４０１において、表示制御部４１３は、消失点５０１を起点とし、後側面領域５０２と反対側のディスプレイ３１０の下方の隅５０５（第２隅の一例）まで延びる第２直線５１５を算出する。
次に、ステップＳ４０２において、表示制御部４１３は、第１直線５１１と第２直線５１５とディスプレイ３１０の下縁３１２とに囲まれた背景画像３１１の下方領域５１６の輝度を、下方領域５１６以外の領域５１７の輝度に比べて増大させる。具体的には、表示制御部４１３は、下方領域５１６の各画素の輝度値に係数Ｋ３（Ｋ３は１より大きい数）を乗算した乗算結果を各画素の輝度値としてもよい。なお、乗算結果が上限値（例えば８ビットであれば２５５）を超える場合には、表示制御部４１３は、輝度値を上限値とすればよい。或いは、表示制御部４１３は、下方領域５１６以外の領域５１７の各画素の輝度値に係数Ｋ４（Ｋ４は１未満の正の数）を乗算した乗算結果を各画素の輝度値としてもよい。
その後、処理はステップＳ２０３に戻って、以上のステップが繰り返される。なお、図４の動作は、車両１００が停止すると終了してもよい。
図４、図５に示される実施形態では、表示制御部４１３は、第１直線５１１と第２直線５１５とディスプレイ３１０の下縁３１２とに囲まれた背景画像３１１の下方領域５１６の輝度を、下方領域５１６以外の領域５１７の輝度に比べて増大させる。この輝度の差異によって、運転者は、背景画像３１１において、オプティカルフローを表す第１直線５１１と第２直線５１５とを視認することができる。したがって、上記実施形態と同様に、運転者は、ディスプレイ３１０に見える間接視界から、自車の位置などの走行環境を短時間で把握することができる。
また、下方領域５１６の輝度が、下方領域５１６以外の領域５１７の輝度に比べて増大されているため、道路を明るくすることができる。その結果、上記実施形態と同様に、道路を見易くすることができる。
図６は、車両１００の動作のさらに異なる例を概略的に示すフローチャートである。図７は、図６の動作においてディスプレイ３１０に表示される背景画像３１１を示す図である。図６におけるステップＳ２０１〜Ｓ２０９は、図２におけるステップＳ２０１〜Ｓ２０９と同じである。
ステップＳ２０９に続くステップＳ６０１において、表示制御部４１３は、消失点５０１を起点とし、ディスプレイ３１０の後側面領域５０２側の上方の隅５０６（第３隅の一例）まで延びる第３直線５２１を算出する。
続くステップＳ６０２において、表示制御部４１３は、消失点５０１を起点とし、ディスプレイ３１０の後側面領域５０２と反対側の上方の隅５０７（第４隅の一例）まで延びる第４直線５２２を算出する。第３直線５２１及び第４直線５２２は、消失点５０１を通るため、第１直線５１１及び第２直線５１２と同様に、それぞれオプティカルフローを表す。
ステップＳ６０３において、表示制御部４１３は、第１直線５１１と第２直線５１２とディスプレイ３１０の下縁３１２とに囲まれた背景画像３１１の下方領域５１３の輝度を増大させる。具体的には、表示制御部４１３は、下方領域５１３の各画素の輝度値に係数Ｋ５（Ｋ５は１より大きい数）を乗算した乗算結果を各画素の輝度値としてもよい。なお、乗算結果が上限値（例えば８ビットであれば２５５）を超える場合には、表示制御部４１３は、輝度値を上限値とすればよい。
ステップＳ６０４において、表示制御部４１３は、第３直線５２１と第４直線５２２とディスプレイ３１０の上縁３１３とに囲まれた背景画像３１１の上方領域５２３の輝度を低下させる。具体的には、表示制御部４１３は、上方領域５２３の各画素の輝度値に係数Ｋ６（Ｋ６は１未満の正の数）を乗算した乗算結果を各画素の輝度値としてもよい。その後、処理はステップＳ２０３に戻って、以上のステップが繰り返される。なお、図６の動作は、車両１００が停止すると終了してもよい。
ステップＳ６０３，Ｓ６０４によって、第１直線５１１と第３直線５２１とディスプレイ３１０の左縁３１４とに囲まれた左方領域５２４の輝度と、第２直線５１２と第４直線５２２とディスプレイ３１０の右縁３１５とに囲まれた右方領域５２５の輝度とは、下方領域５１３の輝度より低く、上方領域５２３の輝度より高くなる。すなわち、背景画像３１１において、下方領域５１３の輝度が最も高くなり、上方領域５２３の輝度が最も低くなる。
図６、図７に示される実施形態では、表示制御部４１３は、第１直線５１１と第２直線５１２とディスプレイ３１０の下縁３１２とに囲まれた背景画像３１１の下方領域５１３の輝度を増大し、第３直線５２１と第４直線５２２とディスプレイ３１０の上縁３１３とに囲まれた背景画像３１１の上方領域５２３の輝度を低下させる。この輝度の差異によって、運転者は、背景画像３１１において、オプティカルフローを表す第１直線５１１及び第２直線５１２に加えて、オプティカルフローを表す第３直線５２１及び第４直線５２２を視認することができる。その結果、運転者は、ディスプレイ３１０に見える間接視界から、自車の位置などの走行環境を短時間で把握することができる。
また、下方領域５１３の輝度が最も高くなり、上方領域５２３の輝度が最も低くなることから、道路をより見易くすることができる。
図８は、車両１００の動作のさらに異なる例を概略的に示すフローチャートである。図９は、図８の動作においてディスプレイ３１０に表示される背景画像３１１を示す図である。
図８におけるステップＳ２０１〜Ｓ２０６，Ｓ２０８は、図２におけるステップＳ２０１〜Ｓ２０６，Ｓ２０８と同じである。図８におけるステップＳ４０１は、図４におけるステップＳ４０１と同じである。図８におけるステップＳ６０１，Ｓ６０２は、図６におけるステップＳ６０１，Ｓ６０２と同じである。
ステップＳ６０２に続くステップＳ８０１において、表示制御部４１３は、第１直線５１１と第２直線５１５とディスプレイ３１０の下縁３１２とに囲まれた背景画像３１１の下方領域５１６の輝度を増大させる。表示制御部４１３は、下方領域５１６の各画素の輝度値に係数Ｋ７（Ｋ７は１より大きい数）を乗算した乗算結果を各画素の輝度値としてもよい。続くステップＳ６０４は、図６におけるステップＳ６０４と同じである。その後、処理はステップＳ２０３に戻って、以上のステップが繰り返される。なお、図８の動作は、車両１００が停止すると終了してもよい。
ステップＳ８０１，Ｓ６０４によって、第１直線５１１と第３直線５２１とディスプレイ３１０の左縁３１４とに囲まれた左方領域５２４の輝度と、第２直線５１５と第４直線５２２とディスプレイ３１０の右縁３１５とに囲まれた右方領域５２６の輝度とは、下方領域５１６の輝度より低く、上方領域５２３の輝度より高くなる。すなわち、背景画像３１１において、下方領域５１６の輝度が最も高くなり、上方領域５２３の輝度が最も低くなる。
図８、図９に示される実施形態では、表示制御部４１３は、第１直線５１１と第２直線５１５とディスプレイ３１０の下縁３１２とに囲まれた背景画像３１１の下方領域５１６の輝度を増大し、第３直線５２１と第４直線５２２とディスプレイ３１０の上縁３１３とに囲まれた背景画像３１１の上方領域５２３の輝度を低下させる。この輝度の差異によって、運転者は、背景画像３１１において、オプティカルフローを表す第１直線５１１及び第２直線５１５に加えて、オプティカルフローを表す第３直線５２１及び第４直線５２２を視認することができる。その結果、運転者は、ディスプレイ３１０に見える間接視界から、自車の位置などの走行環境を短時間で把握することができる。
また、下方領域５１６の輝度が最も高くなり、上方領域５２３の輝度が最も低くなることから、道路をより見易くすることができる。
なお、上記図３、図５、図７、図９では、第１直線５１１は、ディスプレイ３１０の下方の隅５０４まで延びているが、これに限られず、隅５０４以外の下縁３１２又は左縁３１４まで延びていてもよい。言い換えると、第１直線５１１は、消失点５０１を起点とし、後側面領域５０２を通り、水平より下方に延びていればよい。但し、第１直線５１１がディスプレイ３１０の下方の隅５０４まで延びている場合には、第１直線５１１が最も長くなるので、運転者が第１直線５１１を視認しやすくなるため、好ましい。
また、上記図５、図９では、第２直線５１５は、ディスプレイ３１０の下方の隅５０５まで延びているが、これに限られず、隅５０５以外の下縁３１２又は右縁３１５まで延びていてもよい。言い換えると、第２直線５１５は、消失点５０１を起点とし、消失点５０１を通る垂直線５００（図５）に対して第１直線５１１と反対側で水平より下方に延びていればよい。但し、第２直線５１５がディスプレイ３１０の下方の隅５０５まで延びている場合には、第２直線５１５が最も長くなるので、運転者が第２直線５１５を視認しやすくなるため、好ましい。
なお、上記各実施形態では、演算部４１１は、オプティカルフローの交点を消失点５０１として算出しているが、消失点５０１の位置の算出方法は、これに限られない。代替的に、演算部４１１は、例えば路肩又は中央分離帯などの道路の端を表す直線、車線の境界を表す境界線５０３などのうちで２本の直線を、１枚の背景画像３１１から検出し、検出した２本の直線の交点を消失点として算出してもよい。
２１０，２２０ カメラ
３１０，３２０ ディスプレイ
３１１ 背景画像
３１２ ディスプレイの下縁
３１３ ディスプレイの上縁
４１１ 演算部
４１２ 抽出部
４１３ 表示制御部
５０１ 消失点
５０４，５０５，５０６，５０７ ディスプレイの隅
５１１ 第１直線
５１２，５１５ 第２直線
５１３，５１６ 下方領域
５２３ 上方領域

Claims (4)

  1. 車両に搭載され、走行中の前記車両の後側面を含む背景画像を撮像する撮像部と、
    前記撮像部により撮像された前記背景画像を表示する表示部と、
    前記背景画像から消失点の位置を算出する演算部と、
    前記背景画像において前記車両の後側面が表示された後側面領域を抽出する抽出部と、
    前記消失点を起点とし、前記後側面領域を通り、水平より下方に延びる第１直線と、前記消失点を起点とし、前記消失点を通る垂直線に対して前記第１直線と反対側で水平より下方に延びる第２直線と、前記表示部の外縁とに囲まれた前記背景画像の下方領域を、前記下方領域以外の領域に比べて高輝度で表示する表示制御部と、
    を備える電子ミラー制御装置。
  2. 前記撮像部は、道路に描かれた車線の境界を表す境界線を撮像し、
    前記抽出部は、前記背景画像から前記境界線を抽出し、
    前記表示制御部は、前記抽出部により抽出された前記境界線に平行に延びる直線として前記第２直線を算出する、
    請求項１に記載の電子ミラー制御装置。
  3. 前記表示部は、矩形形状を有し、
    前記表示制御部は、前記表示部の前記後側面領域側の下方の第１隅まで延びる直線として前記第１直線を算出し、前記表示部の前記第１隅と反対側の下方の第２隅まで延びる直線として前記第２直線を算出する、
    請求項１に記載の電子ミラー制御装置。
  4. 前記表示部は、矩形形状を有し、
    前記表示制御部は、前記消失点を起点とし、前記表示部の前記後側面領域側の上方の第３隅まで延びる第３直線と、前記消失点を起点とし、前記表示部の前記第３隅と反対側の上方の第４隅まで延びる第４直線と、前記表示部の上縁とに囲まれた前記背景画像の上方領域を、前記上方領域以外の領域に比べて低輝度で表示する、
    請求項２又は３に記載の電子ミラー制御装置。
JP2016067459A 2016-03-30 2016-03-30 電子ミラー制御装置 Active JP6256508B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016067459A JP6256508B2 (ja) 2016-03-30 2016-03-30 電子ミラー制御装置
DE112017001816.1T DE112017001816T5 (de) 2016-03-30 2017-03-14 Vorrichtung zum Steuern und/oder Regeln eines elektronischen Spiegels
CN201780003222.0A CN108781275B (zh) 2016-03-30 2017-03-14 电子镜控制装置
US15/760,764 US10336258B2 (en) 2016-03-30 2017-03-14 Electronic mirror control device
PCT/JP2017/010061 WO2017169705A1 (ja) 2016-03-30 2017-03-14 電子ミラー制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016067459A JP6256508B2 (ja) 2016-03-30 2016-03-30 電子ミラー制御装置

Publications (2)

Publication Number Publication Date
JP2017183971A true JP2017183971A (ja) 2017-10-05
JP6256508B2 JP6256508B2 (ja) 2018-01-10

Family

ID=59964267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016067459A Active JP6256508B2 (ja) 2016-03-30 2016-03-30 電子ミラー制御装置

Country Status (5)

Country Link
US (1) US10336258B2 (ja)
JP (1) JP6256508B2 (ja)
CN (1) CN108781275B (ja)
DE (1) DE112017001816T5 (ja)
WO (1) WO2017169705A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186446A1 (en) * 2021-12-15 2023-06-15 7 Sensing Software Image processing methods and systems for low-light image enhancement using machine learning models

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170568A (ja) * 2010-02-17 2011-09-01 Fujitsu Ten Ltd 障害物検出装置、及び障害物検出方法
JP2013183298A (ja) * 2012-03-02 2013-09-12 Nissan Motor Co Ltd 車両用後方視界支援装置及び車両用後方視界支援方法
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
JP2015177371A (ja) * 2014-03-14 2015-10-05 株式会社東芝 監視装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4623396B2 (ja) * 2008-05-08 2011-02-02 アイシン精機株式会社 車両周辺表示装置
JP5321711B2 (ja) 2012-04-23 2013-10-23 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5908946B2 (ja) * 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
US20170253186A1 (en) * 2014-09-17 2017-09-07 Panasonic Intellectual Property Management Co., Ltd. Electronic mirror device
CN105261020B (zh) * 2015-10-16 2018-11-20 桂林电子科技大学 一种快速车道线检测方法
JP6401733B2 (ja) * 2016-04-15 2018-10-10 本田技研工業株式会社 画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170568A (ja) * 2010-02-17 2011-09-01 Fujitsu Ten Ltd 障害物検出装置、及び障害物検出方法
JP2013183298A (ja) * 2012-03-02 2013-09-12 Nissan Motor Co Ltd 車両用後方視界支援装置及び車両用後方視界支援方法
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
JP2015177371A (ja) * 2014-03-14 2015-10-05 株式会社東芝 監視装置

Also Published As

Publication number Publication date
JP6256508B2 (ja) 2018-01-10
US10336258B2 (en) 2019-07-02
CN108781275A (zh) 2018-11-09
DE112017001816T5 (de) 2018-12-13
US20180257570A1 (en) 2018-09-13
WO2017169705A1 (ja) 2017-10-05
CN108781275B (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
US10178314B2 (en) Moving object periphery image correction apparatus
US9538065B2 (en) System and method for multi-focus imaging
JP5798392B2 (ja) 駐車支援装置
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP5959073B2 (ja) 検出装置、検出方法、及び、プログラム
US10362231B2 (en) Head down warning system
JP6152261B2 (ja) 車載用駐車枠認識装置
US8855365B2 (en) Image processing determining apparatus
JP6256508B2 (ja) 電子ミラー制御装置
US20150286879A1 (en) Movement amount estimation device, movement amount estimation method, and computer-readable recording medium storing movement amount estimation program
US10474912B2 (en) Vehicle display controller, vehicle display system, vehicle display control method, and non-transitory storage medium
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP6187322B2 (ja) 画像表示装置、画像表示システム
US10596969B2 (en) Electronic mirror control device
US20230382304A1 (en) Image correction system
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP7192907B2 (ja) 俯瞰映像生成装置及び俯瞰映像生成方法
JP6673242B2 (ja) 画像表示装置
JP2011180020A (ja) 距離認識装置
US20220185182A1 (en) Target identification for vehicle see-through applications
KR101191040B1 (ko) 차량의 전방 도로 표시 장치
JP2018097541A (ja) 運転支援装置
US20200269690A1 (en) Display control apparatus and method of display control
KR20160030680A (ko) 차량내 영상 시스템 및 영상처리 방법
JP2019091052A5 (ja)

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171120

R150 Certificate of patent or registration of utility model

Ref document number: 6256508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150