JP2018030526A - 車両用視認装置及び車両用視認画像表示方法 - Google Patents

車両用視認装置及び車両用視認画像表示方法 Download PDF

Info

Publication number
JP2018030526A
JP2018030526A JP2016165753A JP2016165753A JP2018030526A JP 2018030526 A JP2018030526 A JP 2018030526A JP 2016165753 A JP2016165753 A JP 2016165753A JP 2016165753 A JP2016165753 A JP 2016165753A JP 2018030526 A JP2018030526 A JP 2018030526A
Authority
JP
Japan
Prior art keywords
image
vehicle
photographed
vehicle interior
virtual viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016165753A
Other languages
English (en)
Other versions
JP6768412B2 (ja
Inventor
正則 小杉
Masanori Kosugi
正則 小杉
哲也 江川
Tetsuya Egawa
哲也 江川
拓矢 林
Takuya Hayashi
拓矢 林
貴史 長尾
Takashi Nagao
貴史 長尾
尚文 加藤
Naofumi Kato
尚文 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2016165753A priority Critical patent/JP6768412B2/ja
Priority to US15/684,463 priority patent/US10399496B2/en
Publication of JP2018030526A publication Critical patent/JP2018030526A/ja
Application granted granted Critical
Publication of JP6768412B2 publication Critical patent/JP6768412B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】後席のサイドガラス越しの後方視界の視認性を向上可能な車両用視認装置及び車両用視認画像表示方法を提供することを目的とする。
【解決手段】インナーミラーカメラが設置された位置よりも車両前方に仮想視点２２を設定し、撮影画像を仮想視点２２から見た画像に変換する。その際に、車両後方の画像が投影される仮想スクリーン２４を設定し、仮想視点２２から見た後方視界に変換する。そして、仮想スクリーン２４に投影した画像をそのまま平面になるように広げて、車室内の画像に透明度を付与して合成してモニタ１６に表示する。
【選択図】図３

Description

本発明は、車両周辺を視認するために車両周辺を撮影して撮影画像を表示する車両用視認装置及び車両用視認画像表示方法に関する。
特許文献１では、車両に設けられる複数のカメラで取得された複数の画像を用いて、仮想視点からみた車両の周辺領域を示す周辺画像を生成する生成手段と、前記仮想視点からみた車両を示す車両画像を取得する取得手段と、車両画像の一部分の特定領域の透過率を、他の部分の透過率より高める透過手段と、前記周辺画像と前記車両画像とを合成し合成画像を生成する合成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備えた画像処理装置が提案されている。
特開２０１４−６０６４６号公報
特許文献１のように画像を合成して、光学式のインナーミラーと同じような画像を表示する場合、後席のサイドガラスの見かけ上の幅が、光学ミラーと同様に、実際の後方ガラスと後席のサイドガラスの幅の比よりも狭く見える。そのため、光学ミラーと同様に、後席のサイドガラス越しに見える領域が狭くなってしまう。
本発明は、上記事実を考慮して成されたもので、後席のサイドガラス越しの後方視界の視認性を向上可能な車両用視認装置及び車両用視認画像表示方法を提供することを目的とする。
上記目的を達成するために請求項１に記載の発明は、車外から車両後方を撮影する撮影部と、前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示する表示部と、を備える。
請求項１に記載の発明によれば、撮影部では、車外から車両後方が撮影される。撮影部は、例えば、後方のバンパ等に設けられ、車両後方を撮影する。或いは、ドアミラー及び後方のバンパ等のそれぞれに設けて車両後方を撮影してもよい。
そして、表示部では、撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が第１撮影部から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示される。これにより、後席のサイドガラスが車室内撮影画像の撮影位置から実際に見た見かけ上の幅よりも長くなるので、後席のサイドガラス越しの後方視界の視認性を向上することができる。
なお、表示部は、請求項２に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する画像処理を施して表示してもよい。これにより、後席のサイドガラスが第１撮影部の位置から実際に見た見かけ上の幅よりも長くすることができる。
また、表示部は、請求項３に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンに投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する画像処理を施して表示してもよい。これにより、後席のサイドガラスがインナーミラー位置から実際に見た見かけ上の幅よりも長くすることができる。
また、車室内撮影画像は、予め撮影しておいたものを用いてもよいが、請求項４に記載の発明のように、車室内撮影画像を撮影する車室内撮影部を更に備えてもよい。これにより、車室内の乗員も表示することが可能となり、実際の車室内を再現することが可能となる。
また、表示部は、請求項５に記載の発明のように、インナーミラーの位置に配置されて表示面側に曲面形状のハーフミラーを有してもよい。表示部が故障してもハーフミラーによって後方視界を確保できる。また、曲面形状であるため、後席のサイドガラスの幅が狭く見ることが多少緩和され、表示部に表示された画像と、ハーフミラーの画像の差が抑制されて、表示部が非表示の際の違和感が抑制される。
また、表示部は、請求項６に記載の発明のように、インナーミラーの位置に配置され、表示された撮影画像と異なる視点のハーフミラーを表示面側に有してもよい。
また、請求項７に記載の発明は、車外から車両後方を撮影部によって撮影し、前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示部に表示する。
請求項７に記載の発明によれば、撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が第１撮影部から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示部に表示するので、後席のサイドガラス越しの後方視界の視認性を向上することができる。
なお、画像処理は、請求項８に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する処理を適用してもよい。これにより、後席のサイドガラスが第１撮影部の位置から実際に見た見かけ上の幅よりも長くすることができる。
また、画像処理は、請求項９に記載の発明のように、撮影画像及び車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンにそれぞれ投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する処理を適用してもよい。これにより、後席のサイドガラスがインナーミラー位置から実際に見た見かけ上の幅よりも長くすることができる。
以上説明したように本発明によれば、後席のサイドガラス越しの後方視界の視認性を向上可能な車両用視認装置を提供することできる、という効果がある。
本実施形態に係る車両用視認装置の概略構成を示すブロック図である。 後席のサイドガラスの見かけ上の幅の方が狭く見えることを説明するための図である。 （Ａ）は仮想視点及び仮想スクリーンの一例を示す図であり、（Ｂ）は（Ａ）の上視図である。 車両のインナーミラーの位置から窓越しに見える仮想スクリーンの位置をマーキングした例を示す図であり、（Ａ）は仮想視点と車両の位置が近い場合を示し、（Ｂ）は仮想視点から車両が離れている場合を示す。 本実施形態に係る車両用視認装置のモニタに表示する表示画像の一例を示す図である。 本実施形態に係る車両用視認装置の制御装置で行われる処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る車両用視認装置の概略構成を示すブロック図である。
本実施形態に係る車両用視認装置１０は、インナーミラーカメラ１２、後方カメラ１４、モニタ１６、及び制御装置１８を備えている。
インナーミラーカメラ１２は、第１撮影部に対応し、車室内を含む車両後方を撮影して撮影結果を制御装置１８に出力する。インナーミラーカメラ１２は、例えば、車室内の前両席間中央前上方のフロントウインドシールドガラスの上部の天井付近に配置される。
後方カメラ１４は、第２撮影部に対応し、車両後方を撮影して撮影結果を制御装置１８に出力する。後方カメラ１４は、例えば、車外のリアバンパ等に配置される。
モニタ１６は、インナーミラー内に設けられると共に、制御装置１８に接続されており、制御装置１８の制御によって、インナーミラーカメラ１２及び後方カメラ１４の各々の撮影結果を用いて後方視認用画像を生成して表示する。なお、インナーミラーのモニタ１６の表示面側にはハーフミラーが設けられ、モニタ１６が非表示の場合にハーフミラーによって後方視界を確認することが可能とされている。また、モニタ１６及び制御装置１８は、表示部に対応する。
制御装置１８は、ＣＰＵ１８Ａ、ＲＯＭ１８Ｂ、ＲＡＭ１８Ｃ、及びＩ／Ｏ（入出力インタフェース）１８Ｄがそれぞれバス１８Ｅに接続されたマイクロコンピュータで構成されている。
ＲＯＭ１８Ｂには、後方視認用画像をモニタ１６に表示する表示制御を行うための車両用視認制御プログラム等の各種プログラムが記憶されている。ＲＯＭ１８Ｂに記憶されたプログラムをＲＡＭ１８Ｃに展開してＣＰＵ１８Ａが実行することにより、モニタ１６への表示制御が行われる。
Ｉ／Ｏ１８Ｄには、インナーミラーカメラ１２、後方カメラ１４、及びモニタ１６の各々が接続されている。
本実施形態では、制御装置１８が、インナーミラーカメラ１２の撮影結果と、後方カメラ１４の撮影結果とを用いて後方視認用画像を生成し、モニタ１６に表示するが、ここで後方視認用画像の生成方法について説明する。
本実施形態では、インナーミラーカメラ１２によって撮影した車室内の画像と、車外から車両後方を撮影した画像とを、透明度を変えて合成する。ここで、単に合成したのでは、インナーミラーカメラ１２の位置から前席の窓部を含めて車室内を見た場合に、後席のサイドガラスの窓越しに見える領域が少なくなってしまう。
具体的には、図２に示すように、インナーミラー２０付近から車両後方を広角に撮影した場合を想定し、リアガラスと後席のサイドガラスの視野角を仮に同一とする。リアガラスへは、視線の方向とガラスのなす角度θ１がほぼ直交するため、インナーミラーカメラ１２から見た見かけ上のガラスの幅ｄ１はほぼそのままである。
一方、後席のサイドガラスにおいては、視線の方向とガラスのなす角度がθ２となるため、幅ｄ２は見かけ上狭くなる。例えば、θ２を仮に３０度とすると、リアガラスの見かけ上の幅は、ｄ１×ｓｉｎθ１＝ｄ１×ｓｉｎ（９０°）＝ｄ１となる。一方、後方のサイドガラスの見かけ上の幅は、ｄ２×ｓｉｎθ２＝ｄ２×ｓｉｎ（３０°）＝ｄ２／２となる。ここで、ｄ１＝ｄ２であるとしても、必ず後席のサイドガラスの見かけ上の幅の方が狭く見える。なお、前席のサイドガラスについては、インナーミラーカメラ１２から見た場合、ほぼ真横になり、リアガラス同様に、見かけ上の幅は後席のサイドガラスよりは広く見える。このように見えるのは、撮影画像を表示する電子ミラーに限ったことではなく、平面の光学ミラーでも同様に見える。但し、曲面の光学ミラーでは、後席のサイドガラスの幅が狭く見ることが多少緩和される。
そこで、本実施形態では、それぞれの撮影画像を合成して表示する際に、制御装置１８が、後席の窓越しに見える領域を広くするような画像処理を施してそれぞれの撮影画像を合成してモニタ１６に表示するようになっている。
本実施形態では、後方視界の撮影方法として、１つの後方カメラ１４の撮影画像を用いる例を説明するが、車外から後方を撮影するカメラは１つに限るものではない。例えば、左右のドアミラー付近とリアガラス付近の少なくとも３つのカメラを搭載し、３つの撮影画像を合成して後方視認用の画像を作成してもよい。
本実施形態では、カメラの数や画像合成方法に関わらす、図３に示すように、後方視界は少なくともインナーミラーカメラ１２が設置された位置よりも車両前方に仮想視点２２を設定し、撮影画像を仮想視点２２から見た画像に変換する。その際に、車両後方の画像が投影される仮想スクリーン２４を設定し、仮想視点２２から見た後方視界に変換する。換言すると、仮想視点２２から車両後方を普通に見た場合と同じ風景が、仮想スクリーン２４に投影された状態の画像に変換する。なお、仮想スクリーン２４は平面でもよいが、車両後方に凸の曲率を有する楕円形状であることが望ましい。
また、仮想スクリーン２４に投影した画像を、そのまま平面になるように広げてモニタ１６に表示する。図３（Ｂ）は、図３（Ａ）の上視図である。仮想視点２２から投影した仮想スクリーン２４の曲率が高く、車両を包み込むような仮想スクリーン２４Ｂであるとインナーミラー２０のモニタ１６に表示される画像はより車両の横方向が映ることになる。仮想スクリーン２４Ａと仮想スクリーン２４Ｂとでは、仮想視点２２から見た場合には差異はないが、それぞれのスクリーンを広げてモニタ１６に表示した場合には、曲率が大きい仮想スクリーン２４Ｂの方が車両の横方向がより映る。
上述のように、仮想スクリーン２４は、仮想視点２２から車両後方を見たものである。車両のインナーミラー２０の位置から仮想スクリーン２４を見ると視点が違うため、窓越しに見える場所がどのようになるかは、車両のインナーミラー２０の位置から窓越しに見える仮想スクリーン２４の位置をマーキングすることで知ることができる。例えば、図４にマーキング（太線）した例を示す。図４（Ａ）は仮想視点２２と車両の位置が近い場合を示し、図４（Ｂ）は仮想視点２２から車両が離れている場合を示す。それぞれのパターンで仮想スクリーン２４Ａ、２４Ｂを２パターン重ねて示す。何れの場合においても後席のサイドガラス越しに見える視野角を同じにしているが、仮想視点２２と車両の位置関係に拘わらず、スクリーンの曲率が大きい場合は、少ない場合に比べて、大きな範囲にマーキングされる。図４の何れの場合であっても、マーキング位置が、スクリーンのどの位置が窓越しに見える場所であるかを示している。従って、仮想スクリーン２４を平面になるように広げて、車室内の撮影画像の後席のサイドガラスに対応する位置に重ねた後方視認用画像を生成して表示することで、後席のサイドガラスの幅を従来よりも広くした画像を表示することができる。
インナーミラー２０の位置から車両後方を見た場合には、特に後席のサイドガラスは見かけ上狭く見える。そこで、上述のように、仮想スクリーン２４に投影された画像を平面に展開した画像に、窓越しに見える部分を窓越しに視認可能に車室内の撮影画像を重ねて表示する。これにより、図５に示すように、窓越しに見える後方視界は通常の光学ミラーで見た場合のように見かけの幅が狭くなることなく、広い窓越しの視界を確保できる。
本実施形態では、基本的に仮想視点２２とインナーミラー２０の視点を重ねていない。仮想視点２２とインナーミラー２０の視点を重ねると仮想スクリーン２４の形状にもよるが、図５のモニタ１６の表示画像における窓の大きさが実際の窓の比率に近くなり、一見するとパノラマ写真のような見え方になる。車両の形状は、インナーミラー２０から見て縦長の長方形であるため、単純なパノラマ写真のような見え方よりも、奥行き感が欲しい。そこで、車両の横方向の映像がインナーミラー２０に多く含まれるように、上述したように車両前方に仮想視点２２を設けると、インナーミラー２０からみて縦長の長方形に見える。
続いて、上述のように構成された車両用視認装置１０の制御装置１８で行われる具体的な処理について説明する。図６は、本実施形態に係る車両用視認装置１０の制御装置１８で行われる処理の流れの一例を示すフローチャートである。なお、図６の処理は、図示しないイグニッションスイッチがオンされた場合に開始する。
ステップ１００では、ＣＰＵ１８Ａが、インナーミラーカメラ１２により車室内撮影を行うようにインナーミラーカメラ１２を制御し、車室内撮影画像を取得してステップ１０２へ移行する。
ステップ１０２では、ＣＰＵ１８Ａが、後方カメラ１４により後方撮影を行うように後方カメラ１４を制御し、後方撮影画像を取得してステップ１０４へ移行する。
ステップ１０４では、ＣＰＵ１８Ａが、仮想スクリーン２４への投影画像になるように、車室内撮影画像及び後方撮影画像を変換してステップ１０６へ移行する。すなわち、上記で図４を用いて説明したように、車両前方に設定した仮想視点２２から車両後方を普通に見える風景に窓位置が設定された風景が、仮想スクリーン２４に投影された状態の画像に変換する。
ステップ１０６では、ＣＰＵ１８Ａが、変換した車室内撮影画像及び後方撮影画像を合成してモニタ１６に表示するように制御してステップ１００に戻って上述の処理を繰り返す。例えば、車室内撮影画像の窓の部分に後方撮影画像が表示されるように合成する。これにより、窓越しに後方撮影画像を表示することができる。また、モニタ１６に表示された後席のサイドガラス越しの画像が、インナーミラー２０から実際に見た見かけ上の幅よりも長くなるので、後席のサイドガラス越しの後方視界の視認性を向上することができる。なお、車室内撮影画像及び後方撮影画像を合成する際には、車室内撮影画像に所定の透明度を付与して合成してもよい。これにより車室内撮影画像で隠れる周辺部分を表示することができ、車両周辺の視認性を向上できる。
なお、上記の実施形態では、インナーミラーカメラ１２を設けて乗員を含めて車室内を撮影する例を説明したが、これに限るものではない。例えば、乗員は表示できないが、インナーミラーカメラ１２は省略して、車室内を予め撮影した車室内撮影画像を記憶しておいて、ステップ１００の代わりに記憶した車室内撮影画像を読み出すようにしてもよい。
また、上記の実施形態では、インナーミラーカメラ１２をインナーミラー２０の位置に配置した例を説明したが、車室内を含めて車両後方が撮影可能な位置であれば他の位置に配置してもよい。
また、上記の実施形態における制御装置１８で行われる処理は、ソフトウエアの処理として説明したが、これに限るものではない。例えば、ハードウエアで行う処理としてもよいし、ハードウエアとソフトウエアの双方を組み合わせた処理としてもよい。
また、上記の実施形態における制御装置１８で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
また、上記の実施形態におけるモニタ１６の表示面側に設けたハーフミラーは、平面鏡でもよいが、曲面の光学ミラーを用いることで、後席のサイドガラスの幅が狭く見ることが多少緩和されるので、曲面形状を適用してもよい。これにより、モニタ１６の画像とハーフミラーの画像の差が抑制されて、モニタ１６が非表示の際の違和感が抑制される。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ 車両用視認装置
１２ インナーミラーカメラ
１４ 後方カメラ
１６ モニタ
１８ 制御装置
２２ 仮想視点
２４ 仮想スクリーン

Claims (9)

  1. 車外から車両後方を撮影する撮影部と、
    前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示する表示部と、
    を備えた車両用視認装置。
  2. 前記表示部は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する画像処理を施して表示する請求項１に記載の車両用視認装置。
  3. 前記表示部は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンにそれぞれ投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する画像処理を施して表示する請求項１に記載の車両用視認装置。
  4. 前記車室内撮影画像を撮影する車室内撮影部を更に備えた請求項１〜３の何れか１項に記載の車両用視認装置。
  5. 前記表示部は、インナーミラーの位置に配置されて表示面側に曲面形状のハーフミラーを有する請求項１〜３の何れか１項に記載の車両用視認装置。
  6. 前記表示部は、インナーミラーの位置に配置され、表示された撮影画像と異なる視点のハーフミラーを表示面側に有する請求項１〜３の何れか１項に記載の車両用視認装置。
  7. 車外から車両後方を撮影部によって撮影し、
    前記撮影部によって撮影された撮影画像と、車室内から車室内を含む後方を撮影した車室内撮影画像と、を合成し、かつ後席のサイドガラスの領域が前記車室内撮影画像の撮影位置から実際に見た見かけ上の後席のサイドガラスの幅よりも長くなるように画像処理を施して表示部に表示する車両用視認画像表示方法。
  8. 前記画像処理は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた仮想スクリーンに投影した撮影画像になるようにそれぞれ変換する処理である請求項７に記載の車両用視認画像表示方法。
  9. 前記画像処理は、前記撮影画像及び前記車室内撮影画像各々を予め定めた各々の位置に設定した仮想視点から見た撮影画像になるように変換すると共に、当該仮想視点から車両後方に設けた後方に凸の曲率を有する仮想スクリーンにそれぞれ投影した撮影画像になるようにそれぞれ変換し、変換したそれぞれの撮影画像を平面に展開した撮影画像に変換する処理である請求項７に記載の車両用視認画像表示方法。

JP2016165753A 2016-08-26 2016-08-26 車両用視認装置及び車両用視認画像表示方法 Active JP6768412B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016165753A JP6768412B2 (ja) 2016-08-26 2016-08-26 車両用視認装置及び車両用視認画像表示方法
US15/684,463 US10399496B2 (en) 2016-08-26 2017-08-23 Viewing device for vehicle and method of displaying viewed image for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016165753A JP6768412B2 (ja) 2016-08-26 2016-08-26 車両用視認装置及び車両用視認画像表示方法

Publications (2)

Publication Number Publication Date
JP2018030526A true JP2018030526A (ja) 2018-03-01
JP6768412B2 JP6768412B2 (ja) 2020-10-14

Family

ID=61241458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016165753A Active JP6768412B2 (ja) 2016-08-26 2016-08-26 車両用視認装置及び車両用視認画像表示方法

Country Status (2)

Country Link
US (1) US10399496B2 (ja)
JP (1) JP6768412B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6877115B2 (ja) * 2016-09-27 2021-05-26 株式会社東海理化電機製作所 車両用視認装置
DE102018100211A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
CN113170083A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP2008149878A (ja) * 2006-12-18 2008-07-03 Clarion Co Ltd 運転支援装置
JP2014198531A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677364B2 (ja) * 2006-05-23 2011-04-27 株式会社村上開明堂 車両監視装置
JP6014433B2 (ja) 2012-09-19 2016-10-25 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6148887B2 (ja) * 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6056612B2 (ja) * 2013-03-29 2017-01-11 アイシン精機株式会社 画像表示制御装置および画像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007237785A (ja) * 2006-03-06 2007-09-20 National Univ Corp Shizuoka Univ 車載用情報提示システム
JP2008149878A (ja) * 2006-12-18 2008-07-03 Clarion Co Ltd 運転支援装置
JP2014198531A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット

Also Published As

Publication number Publication date
US20180056870A1 (en) 2018-03-01
JP6768412B2 (ja) 2020-10-14
US10399496B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
JP4257356B2 (ja) 画像生成装置および画像生成方法
TWI574224B (zh) An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus
US20190116316A1 (en) Panoramic windshield viewer system
JP4924896B2 (ja) 車両の周辺監視装置
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP4642723B2 (ja) 画像生成装置および画像生成方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US20160134815A1 (en) Driving assist device
WO2011118125A1 (ja) 車両の運転を支援するための装置
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
JP2007109166A (ja) 運転支援システム
JP6768412B2 (ja) 車両用視認装置及び車両用視認画像表示方法
JP2013183298A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2008048345A (ja) 画像処理装置並びに視界支援装置及び方法
JP2016168877A (ja) 車両用視認装置
JP2019145982A (ja) 車両用視認装置
JP2015061212A (ja) 画像生成装置、画像表示システム及び画像生成方法
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム
JP7135378B2 (ja) 周辺監視装置
JP2019009598A (ja) 表示制御装置、表示制御方法、及び、表示制御プログラム
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP6816928B2 (ja) 車両用表示装置
WO2019163564A1 (ja) 車両用視認装置、及び車両用視認装置の撮影部の画角設定方法
WO2019155936A1 (ja) 車両用視認装置
JP6136747B2 (ja) ２次元３次元表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200923

R150 Certificate of patent or registration of utility model

Ref document number: 6768412

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150