JP4254887B2 - 車両用画像表示システム - Google Patents

車両用画像表示システム Download PDF

Info

Publication number
JP4254887B2
JP4254887B2 JP2007158647A JP2007158647A JP4254887B2 JP 4254887 B2 JP4254887 B2 JP 4254887B2 JP 2007158647 A JP2007158647 A JP 2007158647A JP 2007158647 A JP2007158647 A JP 2007158647A JP 4254887 B2 JP4254887 B2 JP 4254887B2
Authority
JP
Japan
Prior art keywords
mask
image
vehicle
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007158647A
Other languages
English (en)
Other versions
JP2008033901A (ja
Inventor
晃廣 金岡
眞 木村
和彦 酒井
大輔 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007158647A priority Critical patent/JP4254887B2/ja
Priority to EP07013140.4A priority patent/EP1876813B1/en
Priority to US11/822,352 priority patent/US20080012940A1/en
Priority to CN200710127859.9A priority patent/CN101102482B/zh
Publication of JP2008033901A publication Critical patent/JP2008033901A/ja
Priority to US12/354,201 priority patent/US20090128630A1/en
Application granted granted Critical
Publication of JP4254887B2 publication Critical patent/JP4254887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、複数の車載カメラで撮影した複数の画像を繋ぎ合わせて合成画像を生成し、車室内の表示装置に表示する車両用画像表示システムに関する。
従来、複数の車載カメラでそれぞれ撮影した複数の画像を繋ぎ合わせて合成画像を生成し、車室内の表示装置に表示することで、運転者の視界を補助して車両運転の安全性を高める技術が普及している。複数の画像の繋ぎ合わせにより生成される合成画像は、繋ぎ目部分で画像としての連続性が損なわれて実際の風景が正確に映し出されないことが多い。そこで、画像の繋ぎ目部分をマスクで覆うことで、繋ぎ合わせ部分の画像が正確でないことを表し、車両の乗員に注意を促すといった試みもなされている(例えば、特許文献1参照。)。
特開2003−67735号公報
しかしながら、従来の技術では、合成画像の繋ぎ目部分に常に一定の表示形態でマスクを上書きしていたので、例えば車両の乗員がこの表示に慣れてしまった場合には、マスクが目立たなくなってしまい、注意喚起の効力が低下してしまう可能性がある。
本発明は、以上のような従来技術の問題点を解消すべく創案されたものであって、マスクによる注意喚起の効力を低下させないようにしながら、見やすい合成画像を表示することができる車両用画像表示システムを提供することを目的としている。
本発明の車両用画像表示システムは、複数の車載カメラで撮影した複数の画像を繋ぎ合わせて合成画像を生成し、複数の画像の繋ぎ目部分を覆うマスクを合成画像にさらに合成して表示するにあたって、車両のイグニションスイッチがオンされた後、最初にマスクを合成した合成画像を表示部に表示する際に、マスクを所定時間、強調表示させることで、前記課題を解決する。
本発明の画像処理システムによれば、車両のイグニションスイッチがオンされた後、最初にマスクが合成された合成画像を表示部に表示する際に、マスクを所定時間、強調表示させるようにしているので、必要なときだけマスクを目立たせて車両の乗員に提示することができ、マスクによる注意喚起の効力を低下させないようにしながら、見やすい合成画像を表示することができる。
以下、本発明の実施形態として、車両全周囲を車両上方の仮想視点から見下ろした合成画像を表示することが可能な車両用画像表示システムに本発明を適用した例について、具体的に説明する。本発明が適用される車両用画像表示システムは、車両に搭載された4台の車載カメラで車両周囲の4方向の画像をそれぞれ撮影し、車両乗員の操作に応じてこれら複数の画像を切り替えながら、監視画像として車室内のディスプレイに表示させる機能を備えている。また、この車両用画像表示システムは、各車載カメラで撮影された原画像をそれぞれ俯瞰画像に視点変換して繋ぎ合わせ、車両全周囲を車両上方の仮想視点から見下ろした合成画像を生成して、この合成画像を何れかの車載カメラで撮影された視点変換前の原画像と組み合わせて、監視画像として車室内のディスプレイに表示させる機能を備えている。
本発明を適用した車両用画像表示システムの構成を図1に示す。この車両用画像表示システムは、4台の車載カメラ1a〜1dと、画像処理装置2と、車室内のディスプレイ3とを主要な構成要素として備える。また、画像処理装置2には、イグニッションスイッチ4、カメラスイッチ5、車速センサ6、リバースポジションスイッチ7、画像切替スイッチ8、サイドブラインドスイッチ9がそれぞれ接続されている。
車載カメラ1a〜1dは、車両の前後左右に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図2に示すように、車載カメラ1aがフロントグリル近傍などの車両前方の所定位置に設置され、車両前方の所定撮影エリアSP1の画像(以下、フロントビュー画像という。)を撮影する。また、車載カメラ1bは、例えば左サイドミラーなどの車両左側方の所定位置に設置され、車両左側方の所定撮影エリアSP2の画像(以下、左サイドビュー画像という。)を撮影する。また、車載カメラ1cは、例えばルーフスポイラーなどの車両後方の所定位置に設置され、車両後方の所定撮影エリアSP3の画像(以下、リアビュー画像という。)を撮影する。また、車載カメラ1dは、例えば右サイドミラーなどの車両右側方の所定位置に設置され、車両右側方の所定撮影エリアSP4の画像(以下、右サイドビュー画像という。)を撮影する。これら4台の車載カメラ1a〜1dで撮影された画像のデータは、画像処理装置2に随時供給される。
画像処理装置2は、車両全周囲を車両上方の仮想視点から見下ろした合成画像(以下、トップビュー画像という。)を生成する画像合成部11と、この画像合成部11で生成されたトップビュー画像にマスクを上書きするマスク上書部12と、マスク上書部12で上書きされるマスクの表示形態を制御するマスク制御部13と、監視画像としてディスプレイ3に表示させる画像を選択する画像選択部14とを備える。
画像合成部11は、変換前後の画像における画素アドレスの対応関係を記述した変換テーブル15を用い、車載カメラ1a〜1dで撮影されたフロントビュー画像、左サイドビュー画像、リアビュー画像、右サイドビュー画像をそれぞれ俯瞰画像に視点変換するとともにこれらを繋ぎ合わせ、図3に示すようなトップビュー画像を生成する。この画像合成部11による視点変換処理は、例えば図4(a)の実カメラ21の設置位置を視点として所定撮影エリアSPを撮影することで得られる図4(b)のような画像を、図4(a)の仮想カメラ22を視点として所定撮影エリアSPを撮影した場合の図4(c)のような俯瞰画像(撮影エリアを車両中央の真上から見下ろした画像)に変換する処理である。ここで、変換前後の画像の関係は、車載カメラのレンズの特性及び取り付け角度により一意に決定するため、画像合成部11による視点変換処理は、変換テーブル15を利用した画像メモリ上の座標変換のみで実現可能である。画像合成部11は、以上のような視点変換処理を車載カメラ1a〜1dで撮影されたフロントビュー画像、左サイドビュー画像、リアビュー画像、右サイドビュー画像ごとにそれぞれ行い、得られた俯瞰画像から必要な部分を切り出して繋ぎ合わせることで、図3に示したようなトップビュー画像を生成する。
なお、図3の画像例において、画像エリアA1が車載カメラ1aで撮影されたフロントビュー画像を視点変換して得られる俯瞰画像の一部を切り出したものであり、画像エリアA2が車載カメラ1bで撮影された左サイドビュー画像を視点変換して得られる俯瞰画像の一部を切り出したものであり、画像エリアA3が車載カメラ1cで撮影されたリアビュー画像を視点変換して得られる俯瞰画像の一部を切り出したものであり、画像エリアA4が車載カメラ1dで撮影された右サイドビュー画像を視点変換して得られる俯瞰画像の一部を切り出したものである。また、図3の画像例において、画像中央部の斜線部分は車両の位置である。
マスク上書部12は、マスク制御部13による制御のもとで、画像合成部11により生成されたトップビュー画像の隣接する画像エリアA1,A2,A3,A4の繋ぎ目部分を覆うように、このトップビュー画像にマスクMを上書きする。画像合成部11により生成されたトップビュー画像は、上述したように視点変換処理により得られた俯瞰画像を繋ぎ合わせた画像であるため、俯瞰画像の繋ぎ目である各画像エリアA1,A2,A3,A4の繋ぎ目部分に視点変換の影響による画像の歪みが集中し、画像の連続性が損なわれている。特に、このトップビュー画像における画像エリアA1,A2,A3,A4の繋ぎ目に路上の立体物が映る場合は、画像の不連続性から立体物の認識が難しくなる。そこで、マスク上書部12は、例えば図5に示すように、画像合成部11により生成されたトップビュー画像の隣接する画像エリアA1,A2,A3,A4の繋ぎ目部分に、それぞれマスクMを上書きすることにより、画像としての正確性に欠ける繋ぎ目の存在を車両の乗員に認識させるようにしている。なお、図5の画像例において、画像中央の車両VはCG(コンピュータグラフィックス)画像であり、車両の位置を車両乗員に把握させるためにトップビュー画像上に重畳されるものである。
マスクMは、以上のようにトップビュー画像における繋ぎ目部分を覆うように上書きされ、この部分の画像が正確でないことを車両の乗員に提示して注意を促すものであるが、このマスクMが常に一定の表示形態で上書きされていると、例えば車両の乗員がこの表示に慣れてしまった場合には、マスクMが目立たなくなってしまい、注意喚起の効力が低下してしまう可能性がある。
そこで、本発明を適用した車両用画像表示システムでは、画像処理装置2にマスク制御部13を設け、このマスク制御部13により、トップビュー画像に上書きされるマスクMの表示形態を適宜変更できるようにしている。特に、このマスク制御部13は、所定条件が成立してから所定時間だけ、トップビュー画像上のマスクMが強調表示されるように、マスクMの表示形態を制御する。ここでの所定条件とは、例えば、イグニッションスイッチ4がオンされた後、カメラスイッチ5の操作に応じて最初にトップビュー画像をディスプレイ3に表示させる場合など、車両の乗員に対してマスクMによる注意喚起が特に求められる状況を特定可能な条件である。この条件としては、イグニッションスイッチオン後の最初のトップビュー画像表示時以外にも、経験上或いは市場の要求などに応じて、様々な条件を設定可能である。また、所定時間は、車両の乗員がトップビュー画像上のマスクMに意識を向けるのに十分な時間、例えば7秒に設定される。
マスクMの強調表示の例としては、例えば、マスクMの表示色を変更することが考えられる。すなわち、所定条件が成立してから所定時間だけ、マスクMを例えば黄色などの注意喚起しやすい目立つ色で表示させ、その後、黒色などの比較的目立たない色で表示させる。また、同一系統の色であっても、所定条件が成立してから所定時間だけ、第1の輝度でマスクMを表示させることで強調させ、その後、第1の輝度よりも低い第2の輝度でマスクMを表示させることも有効である。また、同一系統の色であっても、所定条件が成立してから所定時間だけ、マスクMを点滅表示させることで強調させ、その後、マスクMを継続表示させることも有効である。さらに、所定条件が成立してから所定時間だけ、マスクMを黄色などの目立つ色で点滅表示させ、その後、マスクMを黒色などの比較的目立たない色で継続表示させるようにすれば、注意喚起の効果をさらに高めることができる。
なお、以上のようなマスク制御部13によるマスクMの強調表示の制御は、車両の乗員のスイッチ操作などに応じて、強調表示の制御を有効とする設定となっていることを条件として実施するようにしてもよい。これにより、マスクMの強調表示の制御を行うか否かを車両の乗員が選択できるようになり、不要な制御が実施されることで車両の乗員が煩わしさを感じるといった問題も回避できる。
また、マスクMの強調表示の制御では、所定条件が成立してから所定時間が経過したときに、マスクMが強調表示されている状態から通常の表示状態へと移行させるが、このマスクMの表示変化は、所定の時間、例えば2秒間かけて徐々に行うことが望ましい。これにより、マスクMの表示形態が極端に変化することによる違和感を低減させることができる。
マスク制御部13は、以上のように、車両の乗員への注意喚起の効力を低下させないためのマスクMの強調表示の制御を行うことを基本とするが、このほかにも、例えば、車室内の明るさなどの環境変化に応じてマスクMの表示色や輝度を変更するといった表示形態の制御を行うことも可能である。具体的には、例えば車両のライトのオンオフ信号やオートライトセンサからの信号などを用い、昼間はマスクMを黒色表示し、夜間はマスクMを白色表示、あるいは白黒の点滅表示とするといった制御を行うようにしてもよい。このように、環境変化に応じてマスクMの表示形態を最適なものに変更する制御を行うようにすれば、トップビュー画像上のマスクMの視認性の低下を有効に抑制することができる。
画像選択部14は、車速センサ6、リバースポジションスイッチ7、画像切替スイッチ8、サイドブラインドスイッチ9などから入力される各種信号に応じて、車載カメラ1aで撮影されたフロントビュー画像、車載カメラ1bで撮影された左サイドビュー画像、車載カメラ1cで撮影されたリアビュー画像、車載カメラ1dで撮影された右サイドビュー画像、画像合成部11で生成されてマスク上書部12によりマスクMが上書きされたトップビュー画像のうち、監視画像としてディスプレイ3に表示させる画像を選択する。
ディスプレイ3に表示される監視画像の画面構成例を図6に示す。この図6に示す例では、ディスプレイ3に表示される監視画像は画面全体が左右に2分割され、画面左側の表示エリアSA1にトップビュー画像、画面右側の表示エリアSA2には、フロントビュー画像と左サイドビュー画像とリアビュー画像と右サイドビュー画像のうちの何れかをそれぞれ表示できる構成となっている。
監視画像の画面構成を図6に示す例とした場合、画像選択部14は、カメラスイッチ5の操作によりディスプレイ3に監視画像を表示させることを認識すると、まず、画面左側の表示エリアSA1に表示させる画像として、マスクMが上書きされたトップビュー画像を選択し、画面右側の表示エリアSA2に表示させる画像として、フロントビュー画像を選択する。その後、車両の乗員により画面切替スイッチ8が操作されると、画像選択部14は、その操作回数に応じて、画面右側の表示エリアSA2に表示させる画像を、フロントビュー画像→右サイドビュー画像→リアビュー画像→左サイドビュー画像→フロントビュー画像・・・の順に切り替える。また、画像選択部14は、リバースポジションスイッチ7からシフト位置がリバースに入ったことを示すリバース信号が入力されると、画面右側の表示エリアSA2に表示させる画像を、上述した切替順序に関わらずリアビュー画像へと切り替える。
また、画像選択部14は、車両の乗員によりサイドブラインドスイッチ9が操作されると、画面左側の表示エリアSA1に表示させる画像を、トップビュー画像から右サイドビュー画像へと切り替え、その後、さらにサイドブラインドスイッチ9が操作されると、画面左側の表示エリアSA1に表示させる画像を、右サイドビュー画像からトップビュー画像へと切り替える。なお、以上のような監視画像の表示は、車両の走行速度が所定値未満であることを条件に行われ、車速センサ6からの信号により車両の走行速度が所定値以上となったと判定されると、ディスプレイ3に表示される画像が監視画像から元の画像、つまり、カメラスイッチ5が操作されて監視画像の表示が開始される前にディスプレイ3に表示されていたナビゲーション画像やテレビ画像などに切り替えられる。
次に、以上のように構成される本実施形態の車両用画像表示システムの動作について、本発明の特徴であるマスクMの表示制御の部分を中心に、図7のフローチャートを参照しながら具体的に説明する。図7のフローチャートは、本実施形態の車両用画像表示システムにおいて、車両のイグニッションスイッチ4がオンされた後、画像処理装置2により実行されるマスクMの表示制御に関する処理の具体例を示すものである。なお、この例では、イグニッションスイッチオン後の最初のトップビュー画像表示時であることを、トップビュー画像上のマスクMを強調表示する条件とし、強調表示の方法はマスクMを黄色で表示することとしている。また、画像処理装置2では、この図7に示す処理と並行して、車載カメラ1a〜1dにより撮影されたフロントビュー画像、左サイドビュー画像、リアビュー画像、右サイドビュー画像を取り込んで保存し、また、これらの画像からトップビュー画像を生成する処理を実施している。
車両のイグニッションスイッチ4がオンされると、画像処理装置2は、まずステップS1において、カメラスイッチ5のオン操作を監視する。そして、車両の乗員によりカメラスイッチ5がオン操作されて、カメラスイッチ5からオン信号が入力されると、画像処理装置2は、ステップS2において、カメラスイッチ回数が0となっているか否かを確認する。このカメラスイッチ回数は、イグニッションスイッチ4がオンされている間にカメラスイッチ5がオン操作された回数を示し、初期値は0で、カメラスイッチ5がオン操作されるたびにインクリメントされる。したがって、イグニッションスイッチ4がオンされた後に最初にカメラスイッチ5がオン操作されるときは、カメラスイッチ回数は0である。
画像処理装置2は、カメラスイッチ5のオン操作に応じてディスプレイ3にトップビュー画像を含む監視画像を表示させるが、このとき、ステップS2の判定の結果がカメラスイッチ回数=0であれば、次のステップS3において、所定時間(例えば7秒間)を計測するためのタイマカウントをスタートさせるとともに、ステップS4において、カメラスイッチ回数を1にインクリメントする。そして、ステップS5において、トップビュー画像上のマスクMの表示色として黄色を選択し、画像の繋ぎ目部分を覆うように黄色のマスクMを上書きしたトップビュー画像を、監視画像としてディスプレイ3に表示させる。
トップビュー画像上のマスクMの表示色を黄色とすることによる強調表示は、カメラスイッチ5がオンのままで、且つ、車両の走行速度が所定値未満である限り、ステップS3でスタートしたタイマカウントがカウントアップするまで継続される。そして、ステップS6において、タイマカウントがカウントアップしたと判定されると、ステップS9に移行して、トップビュー画像上のマスクMの表示色が黄色から黒色へと切り替えられる。
また、ステップS3でスタートしたタイマカウントがカウントアップする以前に、ステップS7においてカメラスイッチ5のオフ操作が検出された場合には、ステップS12に移行して、ディスプレイ3に表示されている画像が、監視画像から元の画像、例えばナビゲーション画像やテレビ画像へと切り替えられる。また、ステップS3でスタートしたタイマカウントがカウントアップする以前に、ステップS8において、車速センサ6からの信号により車両の走行速度が所定値以上となったと判定された場合にも、ステップS12に移行して、ディスプレイ3に表示されている画像が、監視画像から元の画像へと切り替えられる。
イグニッションスイッチ4がオンの間に、カメラスイッチ5のオンオフ操作が複数回繰り返して行われた場合には、画像処理装置2は、カメラスイッチ5がオン操作されるたびに、ディスプレイ3にトップビュー画像を含む監視画像を表示させる。この場合、カメラスイッチ回数は0以外の値となっているので、ステップS2での判定結果はNOとなる。この場合、画像処理装置2は、ステップS9において、トップビュー画像上のマスクMの表示色として黒色を選択し、画像の繋ぎ目部分を覆うように黒色のマスクMを上書きしたトップビュー画像を、監視画像としてディスプレイ3に表示させる。この監視画像の表示は、カメラスイッチ5がオンのままで、且つ、車両の走行速度が所定値未満である限り継続され、ステップS10においてカメラスイッチ5のオフ操作が検出された場合、或いは、ステップS11において、車速センサ6からの信号により車両の走行速度が所定値以上となったと判定された場合にステップS12に移行して、ディスプレイ3に表示されている画像が、監視画像から元の画像へと切り替えられる。
その後、画像処理装置2は、ステップS13において、車両のイグニッションスイッチ4がオンからオフへと切り替えられたか否かを監視し、イグニッションスイッチ4がオンであればステップS1以降の処理を繰り返し、イグニッションスイッチ4がオフに切り替えられると、ステップS14において、カメラスイッチ回数を0にリセットした上で、以上の一連の処理を終了する。
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用画像表示システムでは、画像処理装置2が車載カメラ1a〜1dで撮影された画像を視点変換するとともに繋ぎ合わせてトップビュー画像を生成し、このトップビュー画像の繋ぎ目部分にマスクMを上書きして、監視画像としてディスプレイ3に表示させるに際し、例えば、イグニッションオン後の最初のトップビュー画像表示時といった所定条件が成立してから所定時間の間、トップビュー画像上のマスクMを強調表示させるようにしているので、車両の乗員に対してマスクMによる注意喚起が特に求められる状況でマスクMを目立たせることができ、マスクMによる注意喚起の効力を低下させないようにしながら、見やすいトップビュー画像を監視画像としてディスプレイ3に表示させることができる。
なお、以上説明した車両用画像表示システムは、本発明の一実施形態を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。
本発明を適用した車両用画像表示システムの構成を示すブロック図である。 4台の車載カメラの設置位置及び撮影領域の具体例を示す図である。 車両周囲に設置された4台の車載カメラで撮影した画像を視点変換するとともに繋ぎ合わせることで生成されるトップビュー画像を説明する図である。 画像処理装置の画像合成部で実施される視点変換処理を説明する図であり、(a)は実カメラ及び仮想カメラの位置と撮影エリアとの関係を示す図、(b)は実カメラで撮影した撮影エリアの画像(視点変換前の画像)を示す図、(c)は仮想カメラで撮影した撮影エリアの画像(視点変換後の画像)を示す図である。 トップビュー画像における画像の繋ぎ目部分を覆うようにマスクを上書きした様子を示す図である。 ディスプレイに表示される関し画像の画面構成の一例を示す図である。 本実施形態の車両用画像表示システムにおいて、車両のイグニッションスイッチがオンされた後、画像処理装置により実行されるマスクの表示制御に関する処理の具体例を示すフローチャートである。
符号の説明
1a〜1d 車載カメラ
2 画像処理装置
3 ディスプレイ
11 画像合成部
12 マスク上書部
13 マスク制御部
14 画像選択部
15 変換テーブル

Claims (9)

  1. 車両周囲を撮影する複数の車載カメラと、
    前記複数の車載カメラで撮影された複数の画像を繋ぎ合わせて合成画像を生成する合成画像生成部と、
    前記複数の画像の繋ぎ目部分を覆うマスクを前記合成画像にさらに合成するマスク合成部と、
    前記マスクが合成された合成画像を表示する表示部と、
    車両のイグニションスイッチがオンされた後、最初に前記マスクが合成された合成画像を前記表示部に表示する際に、前記マスクを所定時間、強調表示させるマスク制御部とを備えることを特徴とする車両用画像表示システム。
  2. 車両周囲を撮影する複数の車載カメラと、
    前記複数の車載カメラで撮影された複数の画像を繋ぎ合わせて合成画像を生成する合成画像生成部と、
    前記複数の画像の繋ぎ目部分を覆うマスクを前記合成画像にさらに合成するマスク合成部と、
    前記マスクが合成された合成画像と当該合成画像とは異なる他の画像とを選択的に表示する表示部と、
    カメラスイッチのオン信号に応じて前記マスクが合成された合成画像を前記表示部に表示する際に、前記マスクを所定時間、強調表示させるマスク制御部とを備えることを特徴とする車両用画像表示システム。
  3. 前記マスク制御部は、前記所定時間だけ前記マスクを点滅表示させることで強調させ、その後、継続表示させることを特徴とする請求項1又は2に記載の車両用画像表示システム。
  4. 前記マスク制御部は、前記所定時間だけ前記マスクを第1の表示色で表示させることで強調させ、その後、第2の表示色で表示させることを特徴とする請求項1乃至3のいずれか一項に記載の車両用画像表示システム。
  5. 前記マスク制御部は、前記所定時間だけ前記マスクを第1の表示色で継続表示させることで強調させ、その後、第2の表示色で継続表示させることを特徴とする請求項1又は2に記載の車両用画像表示システム。
  6. 前記第1の表示色は黄色で、前記第2の表示色は黒色であることを特徴とする請求項4又は5に記載の車両用画像表示システム。
  7. 前記マスク制御部は、前記所定時間だけ前記マスクを第1の輝度で表示させることで強調させ、その後、第2の輝度で表示させることを特徴とする請求項1乃至6のいずれか一項に記載の車両用画像表示システム。
  8. 車両周囲を撮影する複数の車載カメラと、
    前記複数の車載カメラで撮影された複数の画像を繋ぎ合わせて合成画像を生成する合成画像生成部と、
    前記複数の画像の繋ぎ目部分を覆うマスクを前記合成画像にさらに合成するマスク合成部と、
    前記マスクが合成された合成画像を表示する表示部と、
    車両のイグニションスイッチがオンされた後、最初に前記マスクが合成された合成画像を前記表示部に表示する際に、所定時間だけ前記マスクを黄色で継続表示させ、その後、黒色で継続表示させるマスク制御部とを備えることを特徴とする車両用画像表示システム。
  9. 前記マスク制御部は、前記マスクを所定時間だけ強調表示させた後、通常の表示状態へ徐々に移行させることを特徴とする請求項1乃至8のいずれか一項に記載の車両用画像表示システム。
JP2007158647A 2006-07-06 2007-06-15 車両用画像表示システム Active JP4254887B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007158647A JP4254887B2 (ja) 2006-07-06 2007-06-15 車両用画像表示システム
EP07013140.4A EP1876813B1 (en) 2006-07-06 2007-07-04 Vehicle comprising an image display system and image display method
US11/822,352 US20080012940A1 (en) 2006-07-06 2007-07-05 Vehicle image display system and image display method
CN200710127859.9A CN101102482B (zh) 2006-07-06 2007-07-06 车辆图像显示***以及图像显示方法
US12/354,201 US20090128630A1 (en) 2006-07-06 2009-01-15 Vehicle image display system and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006186719 2006-07-06
JP2007158647A JP4254887B2 (ja) 2006-07-06 2007-06-15 車両用画像表示システム

Publications (2)

Publication Number Publication Date
JP2008033901A JP2008033901A (ja) 2008-02-14
JP4254887B2 true JP4254887B2 (ja) 2009-04-15

Family

ID=38657687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007158647A Active JP4254887B2 (ja) 2006-07-06 2007-06-15 車両用画像表示システム

Country Status (4)

Country Link
US (1) US20080012940A1 (ja)
EP (1) EP1876813B1 (ja)
JP (1) JP4254887B2 (ja)
CN (1) CN101102482B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714504B2 (en) 1994-12-13 2010-05-11 The Trustees Of Princeton University Multicolor organic electroluminescent device formed of vertically stacked light emitting devices

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
KR101453087B1 (ko) * 2008-01-24 2014-10-27 엘지전자 주식회사 감시용 카메라의 마스크 색상 제어장치 및 방법
JP2009302715A (ja) * 2008-06-11 2009-12-24 Alpine Electronics Inc 画像処理装置およびこれを適用した車両周辺監視装置
JP5420216B2 (ja) * 2008-09-16 2014-02-19 本田技研工業株式会社 車両周囲監視装置
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
JP5251947B2 (ja) 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
WO2013046593A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
TW201348038A (zh) * 2012-05-31 2013-12-01 Yottastor Information Technology Inc 行車警示系統
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
CN103661270A (zh) * 2012-09-21 2014-03-26 北京酷信通科技有限公司 一种轿车全景智能看护***
CN103986918A (zh) * 2014-06-06 2014-08-13 深圳市众鸿科技股份有限公司 车载视频监控***及其监视画面输出方法
KR102375411B1 (ko) 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
KR101846666B1 (ko) * 2016-05-02 2018-04-06 현대자동차주식회사 측후방 주시 카메라 시스템 작동 제어장치 및 방법
TWI613106B (zh) * 2016-05-05 2018-02-01 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
US10647289B2 (en) 2016-11-15 2020-05-12 Ford Global Technologies, Llc Vehicle driver locator
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
US10331125B2 (en) * 2017-06-06 2019-06-25 Ford Global Technologies, Llc Determination of vehicle view based on relative location
JP7005269B2 (ja) * 2017-10-18 2022-01-21 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
CN107948508A (zh) * 2017-11-24 2018-04-20 北京图森未来科技有限公司 一种车载端图像采集***及方法
CN108909625B (zh) * 2018-06-22 2021-09-17 河海大学常州校区 基于全景环视***的车底地面显示方法
CN109743539B (zh) * 2018-12-07 2020-05-29 吉林大学 一种视野可调节的全景行车辅助装置及其调节方法
US11351917B2 (en) * 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
JP7319593B2 (ja) 2020-02-13 2023-08-02 トヨタ自動車株式会社 車両周辺監視装置
DE102021206608A1 (de) * 2021-06-25 2022-12-29 Continental Autonomous Mobility Germany GmbH Kamerasystem sowie Verfahren für ein Kamerasystem

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3618891B2 (ja) * 1996-04-08 2005-02-09 キヤノン株式会社 カメラ制御装置及びカメラ制御情報の表示方法
JPH11168754A (ja) * 1997-12-03 1999-06-22 Mr System Kenkyusho:Kk 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US7370983B2 (en) * 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
DE60122040T8 (de) * 2000-03-02 2007-08-23 AutoNetworks Technologies, Ltd., Nagoya Überwachungseinrichtung für schwer einsehbare Zonen um Kraftfahrzeuge
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP2001315603A (ja) * 2000-05-09 2001-11-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP2002316602A (ja) * 2001-04-24 2002-10-29 Matsushita Electric Ind Co Ltd 車載カメラの撮像画像表示方法及びその装置
JP4641125B2 (ja) * 2001-08-23 2011-03-02 クラリオン株式会社 画像合成の際のつなぎ目部処理方法及びその画像信号処理装置及びこれを用いた車両周囲監視表示装置
DE60207655T2 (de) * 2001-09-07 2006-06-08 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung
JP3819284B2 (ja) * 2001-11-29 2006-09-06 クラリオン株式会社 車両周囲監視装置
JP3855814B2 (ja) * 2002-03-22 2006-12-13 日産自動車株式会社 車両用画像処理装置
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
EP1629293A1 (en) * 2003-05-22 2006-03-01 Koninklijke Philips Electronics N.V. Magnetic resonance imaging device with sound-absorbing means
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714504B2 (en) 1994-12-13 2010-05-11 The Trustees Of Princeton University Multicolor organic electroluminescent device formed of vertically stacked light emitting devices
US8324803B2 (en) 1994-12-13 2012-12-04 The Trustees Of Princeton University Transparent contacts for organic devices

Also Published As

Publication number Publication date
CN101102482A (zh) 2008-01-09
EP1876813A2 (en) 2008-01-09
US20080012940A1 (en) 2008-01-17
EP1876813A3 (en) 2015-04-29
EP1876813B1 (en) 2017-11-29
JP2008033901A (ja) 2008-02-14
CN101102482B (zh) 2011-08-24

Similar Documents

Publication Publication Date Title
JP4254887B2 (ja) 車両用画像表示システム
JP5251947B2 (ja) 車両用画像表示装置
EP2794353B1 (en) Vehicle rear monitoring system
JP5271154B2 (ja) 画像生成装置及び画像表示システム
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
US8878934B2 (en) Image display device
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
JP3511892B2 (ja) 車両用周囲モニタ装置
JP4976685B2 (ja) 画像処理装置
US20090128630A1 (en) Vehicle image display system and image display method
JP5672862B2 (ja) 撮像装置、撮像システム及び撮像方法
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
EP2476587B1 (en) Vehicle surrounding monitor apparatus
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
EP2476588B1 (en) Vehicle surrounding monitor apparatus
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2011049735A (ja) 車両周辺画像提供装置
JP5131152B2 (ja) 視覚支援装置
JP3961969B2 (ja) 車両周辺画像処理システム
JP2011114536A (ja) 車両周辺画像提供装置
JP7073237B2 (ja) 画像表示装置、画像表示方法
JP4679816B2 (ja) 車両周辺表示制御装置
JP2007149011A (ja) 車両周辺視認装置
JPH06183298A (ja) 車載用左右確認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20080908

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4254887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5