JP2003281505A - 車両用画像処理装置 - Google Patents

車両用画像処理装置

Info

Publication number
JP2003281505A
JP2003281505A JP2002079970A JP2002079970A JP2003281505A JP 2003281505 A JP2003281505 A JP 2003281505A JP 2002079970 A JP2002079970 A JP 2002079970A JP 2002079970 A JP2002079970 A JP 2002079970A JP 2003281505 A JP2003281505 A JP 2003281505A
Authority
JP
Japan
Prior art keywords
image
vehicle
image processing
processing apparatus
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002079970A
Other languages
English (en)
Other versions
JP3855814B2 (ja
Inventor
Ken Oizumi
大泉　　謙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002079970A priority Critical patent/JP3855814B2/ja
Priority to US10/355,151 priority patent/US20030179293A1/en
Publication of JP2003281505A publication Critical patent/JP2003281505A/ja
Application granted granted Critical
Publication of JP3855814B2 publication Critical patent/JP3855814B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】実際の車両の進行方向と、表示車両の進行方向
との対応関係を容易に把握することができる車両用画像
処理装置を提供する。 【解決手段】車両の現在のシフトポジションを取得する
シフトポジション取得装置１０２と、該車両に設置さ
れ、該車両の周辺を撮影する複数個のカメラと、該カメ
ラで撮影された撮影画像について、該カメラの内部への
出射角を該カメラの外部からの入射角未満として画像変
換し、視点変換してプランビュー画像を作成するプラン
ビュー画像作成装置１０１と、これら複数の画像を１つ
の画像に合成する画像処理装置１０４と、この合成した
画像と、車両を示す図形と、車両の進行方向を示す図形
を表示する画像表示装置１０５と、該画像表示装置１０
５の表示モードを設定する表示モード設定装置１０３を
有する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、車両用画像処理装
置に係り、特に、車両に設置した複数の撮影手段で撮影
した画像を、車両上方に設定した視点位置から見下ろし
た画像に変換し、複数の変換画像を１つの画像に合成し
て表示器に表示する車両用画像処理装置に関する。
【０００２】
【従来の技術】近年、車両に設置したカメラ（電子式の
カメラ）によって車両の周辺を撮影し、監視することに
よって、安全運転を支援する装置が実用化され、普及し
つつある。このような技術は、例えば特開２００１−３
３９７１６号公報に記載されている。この従来技術は、
視点位置をダイナミックに変更して、運転者からの死角
を低減したり、運転操作を容易にするため、車内に設置
した表示装置に運転状況に応じて最適な合成画像を表示
しようとする車両周辺監視装置および方法である。
【０００３】
【発明が解決しようとする課題】上記従来技術を用い
て、駐車場に車両を駐車する場合、運転者は、上記公報
の図１２に示されているように、車両が上方を向くよう
に該車両の全周囲が表示された表示装置の表示画面を見
ながら、車両の前進と後退を繰り返して運転をする。こ
の場合、実際の車両の進行方向と、表示画面中に表示さ
れた車両の進行方向との対応関係の把握が難しいという
問題がある。
【０００４】本発明は、上述の課題を解決し、実際の車
両の進行方向と、表示車両の進行方向との対応関係を容
易に把握することができる車両用画像処理装置を提供す
ることを目的とする。
【０００５】
【課題を解決するための手段】この目的を達成するた
め、本発明においては、車両に複数個設置した撮影手段
で、車両の周囲を撮影し、これらの撮影された画像につ
いて、それぞれ、上記撮影手段の内部への出射角を上記
撮影手段の外部からの入射角未満として画像変換し、こ
れらの画像変換された画像をそれぞれ視点変換し、これ
らの視点変換された複数の視点変換画像を合成し、この
合成した画像と、車両を示す図形と、車両の進行方向を
示す図形とを表示することを特徴とする。
【０００６】
【発明の効果】本発明によれば、実際の車両の進行方向
と、表示画面中に表示された車両の進行方向との対応関
係を容易に把握することができる車両用画像処理装置を
提供することができる。
【０００７】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について詳細に説明する。なお、以下で説明する
図面で、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。
【０００８】図１は、本発明の実施の形態の車両用画像
処理装置の構成例を示すブロック図である。
【０００９】１０１はプランビュー画像作成装置、１０
２はシフトポジション取得装置、１０３は表示モード設
定装置、１０４は画像処理装置、１０５は画像表示装置
（モニター装置など）である。
【００１０】図２、図３は、それぞれ画像表示装置１０
５の表示画面を示す図で、車両の近傍の障害物等を含む
全周囲の表示を示す図である。
【００１１】２００は車両を示す図形である。ここで
は、車両はワゴン車の例を示し、車両を示す図形２００
の上部が車両前部である。２０１はシフトインジケータ
の表示（車両のシフト状態を示す画像）、２０２は車両
の進行方向を示す図形、２０３は他の車両等の障害物で
ある。図３において、２０４は画像表示装置１０５の表
示画面以外の領域である。なお、車両を示す図形２００
および車両の進行方向を示す図形２０２は、表示が固定
の図形に限らず、表示の変化する画像であってもよい。
【００１２】プランビュー画像作成装置１０１は、車両
に取付けられたカメラ（ここでは図示省略）から映像を
取得し、図２、図３に示すごとく、自車両を真上から見
たような、プランビュー画像（平面画像）を作成する
（図２、図３はそれぞれ別の表示例）。なお、プランビ
ュー画像の具体的な作成手順と、プランビュー画像作成
装置１０１の具体的構成については、後述する。
【００１３】図１のプランビュー画像作成装置１０１が
作成した画像は、そのまま画像表示装置１０５の表示画
面に映すと、図２、図３に示すように、車両を表す図形
２００の車両前部が上を向いているものとする。以下、
車両を表す図形２００に関して、上下という表現を用い
るときには、このルールに従うものとする。
【００１４】車両の運転者は、表示モード設定装置１０
３を用いて、車両がどのような状態のときに、プランビ
ュー画像がどのような形態で表示されるかを設定するこ
とができる。例えば、オートマチックトランスミッショ
ンを備えた車両において、シフトセレクタがＤ（ドライ
ブ）レンジになっている場合は、車両が上を向いた表示
（上述のようにプランビュー画像作成装置１０１の出力
する映像そのものの表示）を行ない、車両のシフトセレ
クタがＲ（リバース）レンジの場合は、車両が下を向い
た表示（プランビュー画像作成装置１０１の出力する映
像を上下反転させたもの）を行なう、というような設定
ができる。
【００１５】運転者は、シフトセレクタが、Ｄ、Ｒ、Ｐ
（パーキング）、Ｎ（ニュートラル）レンジのそれぞれ
の場合に、表示画像を、上下反転、左右反転、もしくは
上下左右反転させるかを設定することができる。また
は、画像そのものを表示しないことを選択することがで
きる。この設定については、運転者の好みに大きく左右
されるので、自由に設定できるようになっている。
【００１６】なお、マニュアルトランスミッションを備
えている車両の場合は、オートマチックトランスミッシ
ョン車のＤ、Ｒ、Ｐ、Ｎレンジに変えて、前進するギヤ
（１〜６）、ニュートラル、リバースの３モードについ
て表示方法を設定できるようになっている。表示モード
設定装置１０３は、スイッチから構成されていてもよい
し、タッチパネルから構成されていてもよいし、ジョイ
スティックとボタンによって操作される構成であっても
よい。
【００１７】運転者が設定した動作モードは、画像処理
装置１０４内の読み出し可能なメモリ（図示省略）に記
憶される。該メモリに記憶された内容は、運転者により
次に再設定されるまで維持されるようになっている。シ
フトポジション取得装置１０２によって取得したシフト
ポジションに応じて、画像処理装置１０４により、設定
された動作モードが自動的に選択され、読み出され、プ
ランビュー画像作成装置１０１の作成した画像に対し
て、設定した画像処理（上下反転、左右反転、上下左右
反転、もしくは何もしない）が画像処理装置１０４によ
り行なわれる。もしくは、もっと単純に、例えば表示モ
ード設定装置１０３に上下反転スイッチと左右反転スイ
ッチの２つを取付けておき、必要に応じて、運転者が操
作する形態であってもよい。
【００１８】また、画像処理装置１０４は、現在、車両
のギヤがどこに入っているかがわかる画像、すなわち、
車両のシフト状態を示す画像であるシフトインジケータ
の表示２０１（図２、図３）を描画する。この場合、プ
ランビュー画像に重畳する形か（図２）、画像表示装置
１０５の表示画面以外の種々の表示手段により、該表示
画面の近傍に表示する形で（図３に概略を例示）描画す
る。この描画は、図２、図３で示したように、シフトイ
ンジケータの表示２０１でもよいし、前進／後退がわか
る程度の簡単なものでもよい。この描画は、通常、前述
の画像反転処理の後に行なう。
【００１９】また、これとは独立して、運転者がアクセ
ルを踏んだとき、あるいは、ブレーキを離したとき、さ
らにはハンドルを操作したときに、画像内において車両
がどちらに進むかがわかるように、図２、図３に示す如
く、矢印（あるいは三角形）など、車両の進行方向を示
す図形２０２を、表示画像内の車両を示す図形２００に
重畳するように（図２）描画する。この車両の進行方向
を示す図形２０２の描画は、シフトインジケータの表示
２０１と同様に、画像表示装置１０５の表示画面以外の
種々の表示手段により、該表示画面の近傍に描画しても
よい（図３）。図２、図３では、シフトインジケータの
表示２０１の描画、車両の進行方向を示す図形２０２の
描画とが、同じ領域（図２では表示画像の中、図３では
表示画像の外）に行なわれているが、もちろん、シフト
インジケータの表示２０１は表示画像中に、車両の進行
方向を示す図形２０２は表示画像の外に描画されていて
もよい。あるいは逆に、車両の進行方向を示す図形２０
２は表示画像中に、シフトインジケータの表示２０１は
表示画像の外に描画されていてもよい。また、サイドブ
レーキが引かれていて、ギヤがＮ（ニュートラル）もし
くはＰ（パーキング）レンジにある場合には、車両は動
かないので、車両の進行方向を示す図形２０２の描画は
行なわなくてもよい。シフトインジケータの表示２０１
および車両の進行方向を示す図形２０２の描画、非描画
や、描画位置は、表示モード設定装置１０３のメニュー
内で設定できるようになっていてもよいし、あるいは、
それぞれの機能を割り付けたスイッチを設けて、必要に
応じて運転者が操作するようになっていてもよい。
【００２０】以上のようにして、画像処理装置１０４内
で、合成処理し、描画した完成画像は、画像表示装置１
０５の表示画面に表示され、運転者に提示される。
【００２１】このように、本実施の形態では、車両に設
置した複数のカメラで撮影した複数の画像を、車両上方
に設定した視点位置から見下ろした画像にそれぞれ変換
し、これら複数の変換画像を１つの画像に合成して画像
表示装置１０５の表示画面に表示する車両用画像処理装
置であって、表示画面に表示されている車両の進行方向
が容易に認識できるように、車両の進行方向を示す図形
２０２を表示するものである。
【００２２】以下、運転者が車両を後退させる場合に表
示する画像を上記のように選択可能にする理由（請求項
６、９の効果）について説明する。
【００２３】車両の後退中に表示する画像の選択ができ
るように、車両を含み車両の全周囲を表示装置に表示す
る場合、上記従来技術の図１２に示されているように、
「車両前方がディスプレイの上方を向くように表示す
る」という方法があり、車両が前進している場合には、
この表示方法で運転者のほとんどは違和感を感じない。
【００２４】しかしながら、車両が後退をしている場合
には、この表示方法のままで画像を表示すると、違和感
を感じる運転者がいる。このような運転者は、例えばル
ームミラーやサイドミラーなどに後方の情景を写したよ
うに見えるように、前進している場合に表示される画像
の上下を入れ替えて「車両後方がディスプレイの上方を
向くように表示する」という表示方法を好んだり、運転
者が後方を振り返って見たときの風景に見えるように、
前進している場合に表示される画像の上下左右を入れ替
えて「車両後方がディスプレイの上方を向くように表示
する」という表示方法を好んだりする。
【００２５】本構成の車両用画像処理装置によれば、運
転者は車両を後退させる場合に表示する画像について、
自分の好みに合う画像提示を選択することができるの
で、運転者の運転操作における負担を軽減することがで
きる。
【００２６】図４は上記図１に示したプランビュー画像
作成装置１０１の具体的構成を示すブロック図である。
図に示すように、画像を出力する実カメラ（撮影手段）
１１と、実カメラ１１で撮影された撮影画像について実
カメラ１１の内部への出射角を実カメラ１１の外部から
の入射角未満として画像変換する画像変換手段１２と、
画像変換手段１２で画像変換された画像変換画像を視点
変換する視点変換手段１３とを有する。なお、図４で
は、実カメラ１１は１個図示しているだけであるが、本
実施の形態において、実際には、車両の周囲を撮影する
ために実カメラ１１を複数個設置する（図示省略）。図
４の視点変換手段１３で視点変換された複数の視点変換
画像は、図１の画像処理装置１０４で１つの画像に合成
され、その合成された画像が画像表示装置１０５に表示
される。
【００２７】つぎに、図５、図６により図４に示した視
点変換装置の画像変換手段１２による画像変換について
説明する。図に示すように、実カメラモデル１１ａのカ
メラ本体２１外の光線２５（図６）は必ず代表点２２
（レンズの焦点位置や中心点を用いることが多い）を通
り、カメラ本体２１内の光線２６（図６）はカメラ本体
２１内に設けられた撮像面２３に入る。そして、実カメ
ラモデル１１ａ（実カメラ１１）の向きを示すカメラ光
軸２４に垂直に撮像面２３が設けられ、また撮像面２３
の中心をカメラ光軸２４が通るように、撮像面２３が配
置されている。もちろん、シミュレートする対象の実カ
メラ１１の特性によっては、撮像面２３の中心をカメラ
光軸２４が通らなくともよいし、撮像面２３とカメラ光
軸２４が垂直でなくともよい場合もある。また、代表点
２２と撮像面２３との距離は計算の都合上単位距離
（１）とするのがよい。また、ＣＣＤカメラなどをシミ
ュレートする場合には、撮像面２３はシミュレートする
対象の実カメラ１１の画素数を再現するように格子状に
分割される。最終的には、光線２６が撮像面２３のどの
位置（画素）に入射するかのシミュレーションを行なう
ことになるため、代表点２２と撮像面２３との距離およ
び撮像面２３の縦横の長さの比率だけが問題になり、実
距離は問題にならない。
【００２８】そして、画像変換手段１２は、実カメラ１
１で撮影された撮影画像について、実カメラモデル１１
ａ（図５）のカメラ本体２１の内部への出射角αＯ、β
Ｏ（出射角αＯはカメラ光軸２４に対する光線２６の
角、出射角βＯはカメラ光軸２４に直交する軸に対する
光線２６の角）を実カメラモデル１１ａのカメラ本体２
１の外部からの入射角αＩ、βＩ（入射角αＩはカメラ
光軸２４に対する光線２５の角、入射角βＩはカメラ光
軸２４に直交する軸に対する光線２５の角）未満として
画像変換する。
【００２９】すなわち、光線２５は必ず代表点２２を通
り光線２６となる。また、極座標系の考え方を用いる
と、光線２５は代表点２２を原点に入射角αＩ、βＩの
２つの角度で示すことができる。そして、光線２５は代
表点２２を通過する際に、次式によって定まる出射角α
Ｏ、βＯを有する光線２６となる。
【００３０】 （αＯ，βＯ）＝ｆ(αＩ，βＩ) （１） このとき、αＯ＜αＩの関係式が常に成立するようにす
る。この場合、光線２５は代表点２２を通過する際に
(１)式によって方向が変えられ、光線２６は撮像面２３
と交点２７において交わる。例えば、ＣＣＤカメラをシ
ミュレートしている場合には、交点２７の座標（位置）
から撮像面２３上のどの画素に光線２６が入射するかを
求めることができる。
【００３１】なお、撮像面２３の設定によっては光線２
６と撮像面２３とが交わらない場合もあるが、この場合
には光線２５は実カメラモデル１１ａには映らないとい
うことになる。
【００３２】また、シミュレーションする対象の実カメ
ラ１１の最大画角をＭ（度）とした場合には、カメラ本
体２１内部に入射を許される光線２５はαＩ＜(Ｍ／２)
を満たす必要がある。この条件を満たさない光線２５は
実カメラモデル１１ａに映らないということになる。こ
のときの出射角αＯの最大値はｆ(Ｍ／２)で計算され
る。また、(１)式の関数ｆ(αＩ，βＩ)を決定した上
で、代表点２２と撮像面２３との距離（前述の通り単位
距離とするのがよい）と撮像面２３の縦横の長さとを決
定し、実カメラモデル１１ａの撮像範囲を規定する。な
お、図５に示すように、最大出射角θＯｍａｘの大きさ
は最大入射角θＩｍａｘの大きさよりも小さい。
【００３３】以上の手順により、代表点２２に入射した
光線２５が実カメラモデル１１ａの撮像面２３上のどの
画素（位置）に入射するかを計算することができ、実カ
メラ１１で撮影された撮影画像すなわち光線２５が代表
点２２を通って直進したときの撮影画像について画像変
換して、画像変換画像を得ることができる。したがっ
て、(１)式によって実カメラ１１に入射する光線の入射
角αＩ、βＩと画像変換画像の画素（位置）との関係を
求めることができる。
【００３４】また、(１)式とともに、次式を用いること
によって実カメラモデル１１ａの撮像面２３上の任意の
点に入射する光線２６が代表点２２に対してどの方向か
ら入射したかを計算することが可能になる。
【００３５】 （αＩ，βＩ）＝ｆi(αＯ，βＯ) （２） また、最も簡単な(１)式の例は、次のような入射角
αＩ、βＩと出射角αＯ、βＯとが比例関係を持つ式で
ある。
【００３６】 αＯ＝ｋαＩ （３） βＯ＝βＩ （４） ここで、ｋは実カメラモデル１１ａのレンズ特性を決定
するパラメータであり、ｋ＜１である。仮にｋ＝１の場
合には、従来のピンホールカメラモデルと同じ動作とな
る。実際のレンズの歪曲収差特性はレンズの目的（設計
意図）によるが、通常の広角レンズはパラメータｋを、
１＜ｋ＜０の範囲で適当に設定することで近似すること
ができ、ピンホールカメラモデルを用いたカメラシミュ
レーションよりも正確なカメラシミュレーションが可能
となる。
【００３７】また、レンズシミュレーションをより精密
に行ないたい場合には、関数ｆ(α Ｉ，βＩ)を(３)式、
(４)式に示すような比例関係ではなく、実カメラ１１の
レンズ特性を実際に測定し、実カメラ１１のレンズ特性
を示す関数で画像変換する。この場合、もちろん出射角
αＯを入射角αＩ未満とする。
【００３８】以上の画像変換を行なったのちに、視点変
換を行なう。最も単純な視点変換は、空間上にカメラモ
デルと投影面を置き、カメラで撮影した映像を投影面に
対して投影することで実現される。
【００３９】つぎに、図７により図４に示した視点変換
装置の視点変換手段１３による視点変換について説明す
る。まず、実空間に合わせて仮想空間を設定し、仮想空
間上に位置および向きを合わせて実カメラ１１と仮想カ
メラ３２とを配置する。つぎに、投影面を設定する。図
７ではｘｙ平面を投影面に設定しているが、実空間の地
形や物体の存在に合わせて、投影面を複数設けてもよ
い。つぎに、仮想カメラ３２の画素の１つに注目し、注
目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは
面積を持っているので、画素Ｖの中心点の座標を画素Ｖ
の座標とする。仮想カメラ３２の位置および向きの情報
と合わせ、投影面と光線３５との交点３３を求める。つ
ぎに、交点３３から実カメラ１１への光線３４を考え
る。光線３４の実カメラ１１への入射が実カメラ１１の
撮影範囲内の場合には、光線３４が実カメラ１１のどの
画素に入射するかを計算する。この場合、図５、６で説
明した画像変換後の画像変換画像について光線３４が実
カメラ１１のどの画素に入射するかを計算する。この光
線３４が入射する画素を画素Ｒとすると、画素Ｖと画素
Ｒとが対応し、画素Ｖの色および輝度を画素Ｒの色およ
び輝度とする。
【００４０】なお、光線３４の実カメラ１１への入射が
実カメラ１１の撮影範囲外の場合や、光線３４が実カメ
ラ１１の撮像面に入射しない場合には、交点３３は実カ
メラ１１に映っていないので、仮想カメラ３２の画素Ｖ
には何も映っていないとする。この場合の画素Ｖの色は
システムのデフォルト値（黒など。もちろん黒以外でも
よい）を用いるものとする。
【００４１】また、画素Ｖを代表する座標は上記例では
１画素につき１点としたが、代表する代表座標を画素Ｖ
内に複数設けてもよい。この場合には、各代表座標それ
ぞれに対して光線３４が実カメラ１１のどの画素に入射
するかを計算し、得られた複数の色および輝度をブレン
ディングし、画素Ｖの色および輝度とする。この場合、
ブレンディングの比率は等しくする。また、色および輝
度のブレンディンクの手法としてはアルファブレンディ
ングなどの手法があり、コンピュータグラフィックの分
野では一般的な手法である。
【００４２】以上の処理を仮想カメラ３２の画素すべて
について行ない、仮想カメラ３２の各画素の色および輝
度を確定することで仮想カメラ３２の画像すなわち視点
変換画像を作成することができ、空間上の実カメラ１１
の画像すなわち画像変換画像を視点変換画像へと視点変
換することができる。
【００４３】この手法は撮影画像を投影面に対して単純
に投影する方法に比べ、仮想カメラ３２の特性や位置が
自由に設定でき、かつ仮想カメラ３２の特性や位置の変
化にも容易に対応できる。
【００４４】なお、仮想カメラ３２の各画素は基本的に
実カメラ１１の画素との対応になり、その対応は仮想カ
メラ３２および実カメラ１１の位置および向きおよび投
影面の設定が変わらない限り変わらないので、計算能力
に余裕のない処理装置を用いる場合には、対応関係を変
換テーブルとして保存し、実行時に参照してもよい。ま
た、仮想カメラ３２の画素数が増加するにつれ、変換テ
ーブルの容量も比例して増加するので、仮想カメラ３２
の画素数が多い場合には、大容量のメモリを持つ処理装
置（コンピュータ）を用いるよりも、視点変換の計算を
高速に行なうことができる処理装置を用いた方がコスト
的に有利になる。
【００４５】このような視点変換装置においては、出射
角αＯの変化に対する撮像面２３上の位置の変化は、撮
像面２３の中心部と輪郭部とでほぼ同じであるから、輪
郭部付近の画像や、画角の大きなカメラで撮影した画像
についても、歪みの少ない視点変換画像を得ることがで
き、しかも補正関数を算出するためにパターン画像を撮
影する必要がないから、容易に視点変換することができ
る。また、出射角αＯと入射角αＩとが比例する関数で
画像変換したときには、画像変換された画像変換画像の
中心部と輪郭部では同倍率となるから、歪みの少ない視
点変換画像を得ることができる。また、実カメラ１１の
レンズ特性を示す関数で画像変換したときには、実カメ
ラ１１のレンズ（収差）による歪みの少ない視点変換画
像を得ることができる。また、視点変換手段１３は視点
変換画像の各画素の色および輝度を画像変換画像の各画
素の中心点に位置する色および輝度としているから、色
および輝度の平均値などの計算を行なう必要がないの
で、視点変換時の計算量を少なくすることができる。
【００４６】なお、本実施の形態の車両用画像処理装置
は、請求項１に対応する。すなわち、車両に複数個設置
した撮影手段（図４の実カメラ１１）で、上記車両の周
囲を撮影し、上記撮影された画像について、それぞれ、
上記撮影手段の内部への出射角を上記撮影手段の外部か
らの入射角未満として画像変換し、上記画像変換された
画像をそれぞれ視点変換し、上記視点変換された複数の
視点変換画像を合成し、上記合成した画像と、上記車両
を示す図形（図２、図３の２００）と、上記車両の進行
方向を示す図形（図２、図３の２０２）を表示すること
を特徴とする車両用画像処理装置である。このような構
成により、歪みの少ない視点変換画像を得ることがで
き、しかも容易に視点変換することができるとともに、
車両の進行する方向を画面内に明示することができるの
で、運転者の運転操作の負担を軽減できる。
【００４７】また、本実施の形態の車両用画像処理装置
は、請求項２に対応する。すなわち、車両に設置され、
上記車両の周辺を撮影した画像を出力する複数個の撮影
手段と、上記撮影手段で撮影された撮影画像について、
上記撮影手段の内部への出射角を上記撮影手段の外部か
らの入射角未満として画像変換する画像変換手段（図４
の１２）と、上記画像変換手段で変換された画像変換画
像を視点変換する視点変換手段（図４の１３）と、上記
視点変換手段で視点変換された複数の視点変換画像を合
成する画像合成手段（図１の画像処理装置１０４）と、
上記合成した画像と、上記車両を示す図形と、上記車両
の進行方向を示す図形を表示する表示手段（図１の画像
表示装置１０５、図４の１５）とを有することを特徴と
する車両用画像処理装置である。このような構成によ
り、歪みの少ない視点変換画像を得ることができ、しか
も容易に視点変換することができるとともに、車両の進
行する方向を画面内に明示することができるので、運転
者の運転操作の負担を軽減できる。
【００４８】また、本実施の形態の車両用画像処理装置
は、請求項３に対応する。すなわち、請求項２記載の車
両用画像処理装置において、上記画像変換手段は、上記
出射角を上記入射角未満とし、かつ上記出射角と上記入
射角とが比例する関数で画像変換することを特徴とする
車両用画像処理装置である（図５、図６参照）。このよ
うな構成により、画像変換された画像変換画像の中心部
と輪郭部では同倍率となり、歪みの少ない視点変換画像
を得ることができる。
【００４９】また、本実施の形態の車両用画像処理装置
は、請求項４に対応する。すなわち、請求項２記載の車
両用画像処理装置において、上記画像変換手段は、上記
出射角を上記入射角未満とし、かつ上記撮影手段のレン
ズ特性を示す関数で画像変換することを特徴とする車両
用画像処理装置である。このような構成により、レンズ
による歪みの少ない視点変換画像を得ることができる。
【００５０】また、本実施の形態の車両用画像処理装置
は、請求項５に対応する。すなわち、請求項２、３また
は４記載の車両用画像処理装置において、上記視点変換
手段は、上記視点変換画像の各画素の色および輝度を、
上記視点変換画像の各画素に対応する上記画像変換画像
の各画素の中心点に位置する色および輝度とすることを
特徴とする車両用画像処理装置である（図７参照）。こ
のような構成により、色および輝度の平均値などの計算
を行なう必要がないから、視点変換時の計算量を少なく
することができる。
【００５１】また、本実施の形態の車両用画像処理装置
は、請求項６に対応する。すなわち、請求項２記載の車
両用画像処理装置において、上記車両の後退中に表示す
る画像を、上記進行方向を示す図形のみが異なる上記車
両の前進中に表示する画像と同一画像とするか（図２、
図３参照）、上記進行方向を示す図形以外も異なる画像
とするかの選択をする手段を有することを特徴とする車
両用画像処理装置である。このような構成により、運転
者は自分の好みに合う画像提示を選択することができる
ので、運転者の運転操作における負担を軽減することが
できる。
【００５２】また、本実施の形態の車両用画像処理装置
は、請求項７に対応する。すなわち、請求項２または６
記載の車両用画像処理装置において、上記車両の前進中
に表示する画像と、上記車両の後退中に表示する画像と
を、シフトチェンジの操作に基いて、自動的に切り換え
る手段を有することを特徴とする車両用画像処理装置で
ある。このような構成により、運転者がシフトチェンジ
の操作によって、車両の前進中に表示する画像と、後退
中に表示する画像とを切り換える必要がなく、自動的に
切り換わるので、便利であり、運転者の運転操作におけ
る負担を軽減することができる。
【００５３】また、本実施の形態の車両用画像処理装置
は、請求項８に対応する。すなわち、請求項６または７
記載の車両用画像処理装置において、上記車両の後退中
に表示する画像は、上記進行方向を示す図形のみが異な
る上記車両の前進中に表示する画像と同一画像か、上記
車両の前進中に表示する画像の上下を反転させた画像
か、あるいは上記車両の前進中に表示する画像の上下左
右を反転させた画像であることを特徴とする車両用画像
処理装置である。このような構成により、運転者は自分
の好みに合う画像提示を見ることができるので、運転者
の運転操作における負担を軽減することができる。
【００５４】また、本実施の形態の車両用画像処理装置
は、請求項９に対応する。すなわち、請求項８記載の車
両用画像処理装置において、上記車両の後退中に表示す
る画像について、上記進行方向を示す図形のみが異なる
上記車両の前進中に表示する画像と同一画像か、上記車
両の前進中に表示する画像の上記上下を反転させた画像
か、上記車両の前進中に表示する画像の上記上下左右を
反転させた画像かを選択する手段（図１の表示モード設
定装置１０３および画像処理装置１０４）を有すること
を特徴とする車両用画像処理装置である。このような構
成により、運転者は自分の好みに合う画像提示を選択す
ることができるので、運転者の運転操作における負担を
軽減することができる。
【００５５】また、本実施の形態の車両用画像処理装置
は、請求項１０に対応する。すなわち、請求項２記載の
車両用画像処理装置において、表示画像上もしくは上記
表示画像の近傍に、上記車両のシフト状態を示す画像
（図２、図３のシフトインジケータの表示２０１）を表
示する手段（図１のシフトポジション取得装置１０２、
画像処理装置１０４および画像表示装置１０５）を有す
ることを特徴とする車両用画像処理装置である。このよ
うな構成により、運転者は車両の操作時、シフト状態を
知ることができるので、便利であり、運転者の運転操作
における負担を軽減することができる。
【００５６】また、本実施の形態の車両用画像処理装置
は、請求項１１に対応する。すなわち、請求項２記載の
車両用画像処理装置において、アクセル、ブレーキ、ハ
ンドルの少なくとも１つの操作により、上記車両がどの
方向に進むのかを、表示画像上（図２）もしくは上記表
示画像の近傍（図３）に、上記車両の進行方向を示す図
形により表示する手段（図１の画像処理装置１０４およ
び画像表示装置１０５）を有することを特徴とする車両
用画像処理装置である。このような構成により、運転者
は車両の操作時、車両の進行方向を容易に知ることがで
きるので、便利であり、運転者の運転操作における負担
を軽減することができる。
【００５７】また、本実施の形態の車両用画像処理装置
は、請求項１２に対応する。すなわち、請求項２記載の
車両用画像処理装置において、上記車両の進行方向を示
す図形を、上記車両を示す図形上に重ねて表示（図２参
照）する手段（図１の画像処理装置１０４および画像表
示装置１０５）を有することを特徴とする車両用画像処
理装置である。このような構成により、車両の進行方向
を示す図形が見やすく、便利であり、運転者の運転操作
における負担を軽減することができる。
【００５８】以上本発明を実施の形態に基づいて具体的
に説明したが、本発明は上記実施の形態に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態の車両用画像処理装置の構
成例を示すブロック図である。
【図２】図１の画像表示装置の表示画面の例を示す図で
ある。
【図３】図１の画像表示装置の表示画面の別の例を示す
図である。
【図４】本発明に係る視点変換装置を示すブロック図で
ある。
【図５】図４に示した視点変換装置の画像変換手段によ
る画像変換についての説明図である。
【図６】図４に示した視点変換装置の画像変換手段によ
る画像変換についての説明図である。
【図７】図４に示した視点変換装置の視点変換手段によ
る視点変換についての説明図である。
【符号の説明】
１１…実カメラ １１ａ…実カメラモデル １２…画像変換手段 １３…視点変換手段 ２１…カメラ本体 ２２…代表点 ２３…撮像面 ２４…カメラ光軸 ２５…光線 ２６…光線 ２７…交点 ３２…仮想カメラ ３３…交点 ３４…光線 ３５…光線 １０１…プランビュー画像作成装置 １０２…シフトポジション取得装置 １０３…表示モード設定装置 １０４…画像処理装置 １０５…画像表示装置 ２００…車両を示す図形 ２０１…シフトインジケータの表示 ２０２…車両の進行方向を示す図形 ２０３…障害物 ２０４…画像表示装置の表示画面以外の領域
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 Ｂ６０Ｒ 21/00 ６２４Ｅ ６２４Ｇ ６２７ ６２７ Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｓ Ｇ０６Ｔ 3/00 １００ Ｇ０６Ｔ 3/00 １００ ３００ ３００ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ Ｆターム(参考） 5B057 AA16 CA01 CA08 CA20 CB01 CB08 CD11 CE08 CE16 CH01 DA16 5C054 AA01 CA04 CH01 EA01 EA05 EA07 EC07 ED07 FD03 FE18 GB11 HA30

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】車両に複数個設置した撮影手段で、上記車
    両の周囲を撮影し、 上記撮影された画像について、それぞれ、上記撮影手段
    の内部への出射角を上記撮影手段の外部からの入射角未
    満として画像変換し、 上記画像変換された画像をそれぞれ視点変換し、 上記視点変換された複数の視点変換画像を合成し、 上記合成した画像と、上記車両を示す図形と、上記車両
    の進行方向を示す図形を表示することを特徴とする車両
    用画像処理装置。
  2. 【請求項２】車両に設置され、上記車両の周辺を撮影し
    た画像を出力する複数個の撮影手段と、 上記撮影手段で撮影された撮影画像について、上記撮影
    手段の内部への出射角を上記撮影手段の外部からの入射
    角未満として画像変換する画像変換手段と、 上記画像変換手段で変換された画像変換画像を視点変換
    する視点変換手段と、 上記視点変換手段で視点変換された複数の視点変換画像
    を合成する画像合成手段と、 上記合成した画像と、上記車両を示す図形と、上記車両
    の進行方向を示す図形を表示する表示手段とを有するこ
    とを特徴とする車両用画像処理装置。
  3. 【請求項３】上記画像変換手段は、上記出射角を上記入
    射角未満とし、かつ上記出射角と上記入射角とが比例す
    る関数で画像変換することを特徴とする請求項２記載の
    車両用画像処理装置。
  4. 【請求項４】上記画像変換手段は、上記出射角を上記入
    射角未満とし、かつ上記撮影手段のレンズ特性を示す関
    数で画像変換することを特徴とする請求項２記載の車両
    用画像処理装置。
  5. 【請求項５】上記視点変換手段は、上記視点変換画像の
    各画素の色および輝度を、上記視点変換画像の各画素に
    対応する上記画像変換画像の各画素の中心点に位置する
    色および輝度とすることを特徴とする請求項２、３また
    は４記載の車両用画像処理装置。
  6. 【請求項６】上記車両の後退中に表示する画像を、上記
    進行方向を示す図形のみが異なる上記車両の前進中に表
    示する画像と同一画像とするか、上記進行方向を示す図
    形以外も異なる画像とするかの選択をする手段を有する
    ことを特徴とする請求項２記載の車両用画像処理装置。
  7. 【請求項７】上記車両の前進中に表示する画像と、上記
    車両の後退中に表示する画像とを、シフトチェンジの操
    作に基いて、自動的に切り換える手段を有することを特
    徴とする請求項２または６記載の車両用画像処理装置。
  8. 【請求項８】上記車両の後退中に表示する画像は、上記
    進行方向を示す図形のみが異なる上記車両の前進中に表
    示する画像と同一画像か、上記車両の前進中に表示する
    画像の上下を反転させた画像か、あるいは上記車両の前
    進中に表示する画像の上下左右を反転させた画像である
    ことを特徴とする請求項６または７記載の車両用画像処
    理装置。
  9. 【請求項９】上記車両の後退中に表示する画像につい
    て、上記進行方向を示す図形のみが異なる上記車両の前
    進中に表示する画像と同一画像か、上記車両の前進中に
    表示する画像の上記上下を反転させた画像か、上記車両
    の前進中に表示する画像の上記上下左右を反転させた画
    像かを選択する手段を有することを特徴とする請求項８
    記載の車両用画像処理装置。
  10. 【請求項１０】表示画像上もしくは上記表示画像の近傍
    に、上記車両のシフト状態を示す画像を表示する手段を
    有することを特徴とする請求項２記載の車両用画像処理
    装置。
  11. 【請求項１１】アクセル、ブレーキ、ハンドルの少なく
    とも１つの操作により、上記車両がどの方向に進むのか
    を、表示画像上もしくは上記表示画像の近傍に、上記車
    両の進行方向を示す図形により表示する手段を有するこ
    とを特徴とする請求項２記載の車両用画像処理装置。
  12. 【請求項１２】上記車両の進行方向を示す図形を、上記
    車両を示す図形上に重ねて表示する手段を有することを
    特徴とする請求項２記載の車両用画像処理装置。
JP2002079970A 2002-03-22 2002-03-22 車両用画像処理装置 Expired - Fee Related JP3855814B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002079970A JP3855814B2 (ja) 2002-03-22 2002-03-22 車両用画像処理装置
US10/355,151 US20030179293A1 (en) 2002-03-22 2003-01-31 Vehicular image processing apparatus and vehicular image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002079970A JP3855814B2 (ja) 2002-03-22 2002-03-22 車両用画像処理装置

Publications (2)

Publication Number Publication Date
JP2003281505A true JP2003281505A (ja) 2003-10-03
JP3855814B2 JP3855814B2 (ja) 2006-12-13

Family

ID=28035687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002079970A Expired - Fee Related JP3855814B2 (ja) 2002-03-22 2002-03-22 車両用画像処理装置

Country Status (2)

Country Link
US (1) US20030179293A1 (ja)
JP (1) JP3855814B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198160A (ja) * 2004-01-09 2005-07-21 Auto Network Gijutsu Kenkyusho:Kk 車両周辺撮像装置
US7592928B2 (en) 2005-06-07 2009-09-22 Nissan Motor Co., Ltd. Image display device and method
US7734417B2 (en) 2005-05-20 2010-06-08 Nissan Motor., Ltd. Image processing device and method for parking support
US8937558B2 (en) 2009-05-29 2015-01-20 Fujitsu Ten Limited Image generating apparatus and image display system

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
EP1263626A2 (en) 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
WO2007053710A2 (en) 2005-11-01 2007-05-10 Donnelly Corporation Interior rearview mirror with display
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
ATE363413T1 (de) 2001-01-23 2007-06-15 Donnelly Corp Verbessertes fahrzeugbeleuchtungssystem
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
EP1514246A4 (en) 2002-06-06 2008-04-16 Donnelly Corp COMPASS INTERIOR COURTESY MIRROR SYSTEM
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
WO2004026633A2 (en) 2002-09-20 2004-04-01 Donnelly Corporation Mirror reflective element assembly
US7289037B2 (en) 2003-05-19 2007-10-30 Donnelly Corporation Mirror assembly for vehicle
JP2005062992A (ja) * 2003-08-08 2005-03-10 Nissan Motor Co Ltd 画像生成装置および画角変換手法並びに画角変換プログラム
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP4766841B2 (ja) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 車両に搭載されるカメラ装置及び車両周辺監視装置
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
US7119951B2 (en) * 2004-09-07 2006-10-10 Corning Incorporated Polarizer for high-power deep UV radiation
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
US7626749B2 (en) 2005-05-16 2009-12-01 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
CN101401024B (zh) 2006-03-09 2016-03-16 金泰克斯公司 包括高强度显示器的车辆后视组件
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
CN102918833B (zh) * 2010-06-15 2015-07-08 三菱电机株式会社 车辆周边监视装置
WO2011158304A1 (ja) * 2010-06-18 2011-12-22 三菱電機株式会社 運転支援装置、運転支援システム、および運転支援カメラユニット
EP2481636A1 (en) * 2011-01-28 2012-08-01 Nxp B.V. Parking assistance system and method
US20120229642A1 (en) * 2011-03-10 2012-09-13 Nissan North America, Inc. Vehicle monitoring system
US20120229641A1 (en) * 2011-03-10 2012-09-13 Nissan North America, Inc. Vehicle monitoring system
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
CN103253184A (zh) * 2012-02-16 2013-08-21 环达电脑(上海)有限公司 基于人像识别的智能倒车***及方法
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
EP2972569B1 (en) 2013-03-15 2017-12-13 Gentex Corporation Display mirror assembly
EP3049286B1 (en) 2013-09-24 2018-05-09 Gentex Corporation Display mirror assembly
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
EP3119643B1 (en) 2014-03-21 2018-05-23 Gentex Corporation Tri-modal display mirror assembly
KR101894262B1 (ko) 2014-04-01 2018-09-04 젠텍스 코포레이션 자동 디스플레이 미러 어셈블리
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
US9694752B2 (en) 2014-11-07 2017-07-04 Gentex Corporation Full display mirror actuator
WO2016077583A1 (en) 2014-11-13 2016-05-19 Gentex Corporation Rearview mirror system with a display
EP3227143B1 (en) 2014-12-03 2019-03-13 Gentex Corporation Display mirror assembly
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
JP2018513810A (ja) 2015-04-20 2018-05-31 ジェンテックス コーポレイション 装飾を備えた後方視認アセンブリ
JP6526243B2 (ja) 2015-05-18 2019-06-05 ジェンテックス コーポレイション 全画面表示バックミラー装置
US11178353B2 (en) 2015-06-22 2021-11-16 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
CN108349436B (zh) 2015-10-30 2019-12-20 金泰克斯公司 后视装置
EP3368374B1 (en) 2015-10-30 2023-12-27 Gentex Corporation Toggle paddle
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
JP6477562B2 (ja) * 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
CN109952231B (zh) 2016-12-30 2023-07-14 金泰克斯公司 具有按需侦察视图的全显示镜
EP3595931A1 (en) 2017-03-17 2020-01-22 Gentex Corporation Dual display reverse camera system
JP7009436B2 (ja) 2019-12-13 2022-01-25 本田技研工業株式会社 車両用表示装置及び駐車支援システム
WO2023021481A1 (en) 2021-08-20 2023-02-23 Gentex Corporation Lighting assembly and illumination system having a lighting assembly

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP3168805B2 (ja) * 1993-12-29 2001-05-21 日産自動車株式会社 車両用表示装置
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6369701B1 (en) * 2000-06-30 2002-04-09 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a drive assistant image for drive assistance

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198160A (ja) * 2004-01-09 2005-07-21 Auto Network Gijutsu Kenkyusho:Kk 車両周辺撮像装置
US7734417B2 (en) 2005-05-20 2010-06-08 Nissan Motor., Ltd. Image processing device and method for parking support
US7592928B2 (en) 2005-06-07 2009-09-22 Nissan Motor Co., Ltd. Image display device and method
US8937558B2 (en) 2009-05-29 2015-01-20 Fujitsu Ten Limited Image generating apparatus and image display system

Also Published As

Publication number Publication date
JP3855814B2 (ja) 2006-12-13
US20030179293A1 (en) 2003-09-25

Similar Documents

Publication Publication Date Title
JP2003281505A (ja) 車両用画像処理装置
US7161616B1 (en) Image processing device and monitoring system
US9050931B2 (en) Vehicle periphery monitoring system
JP3300334B2 (ja) 画像処理装置および監視システム
JP4934308B2 (ja) 運転支援システム
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP5715778B2 (ja) 車両用画像表示装置
JP3960092B2 (ja) 車両用画像処理装置
CN103988499A (zh) 车辆周边监视装置
JPWO2009141846A1 (ja) 車両周囲監視装置および車両周囲監視方法
CN102934427A (zh) 图像处理装置、图像处理***和图像处理方法
JP2005242606A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
KR20100081964A (ko) 주변 영상 생성 방법 및 장치
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
JP2008149879A (ja) 運転支援装置
JP3695377B2 (ja) 画像合成装置および画像合成方法
JP2010199835A (ja) 画像処理装置
JP2012257106A (ja) 画像生成装置
JP4682664B2 (ja) 周辺監視システム
US20230403382A1 (en) Mixed reality display method, mixed reality device, and storage medium
JP5338374B2 (ja) 車両用表示装置及び車両用表示方法
JP4860835B2 (ja) パノラマ画像表示方法及びパノラマ画像表示装置
JP7318265B2 (ja) 画像生成装置および画像生成方法
JP2007323001A (ja) 画像表示装置
CN218877068U (zh) 具有图像合成功能的数字式后视镜、车机***和车辆

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060529

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060904

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees