JP2002335524A - 運転支援装置 - Google Patents

運転支援装置

Info

Publication number
JP2002335524A
JP2002335524A JP2002046169A JP2002046169A JP2002335524A JP 2002335524 A JP2002335524 A JP 2002335524A JP 2002046169 A JP2002046169 A JP 2002046169A JP 2002046169 A JP2002046169 A JP 2002046169A JP 2002335524 A JP2002335524 A JP 2002335524A
Authority
JP
Japan
Prior art keywords
image
distance
imaging
vehicle
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002046169A
Other languages
English (en)
Other versions
JP4091775B2 (ja
Inventor
Hiroshi Ishii
浩史 石井
Atsushi Morimura
森村　　淳
Masamichi Nakagawa
雅通 中川
Shusaku Okamoto
修作 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002046169A priority Critical patent/JP4091775B2/ja
Publication of JP2002335524A publication Critical patent/JP2002335524A/ja
Application granted granted Critical
Publication of JP4091775B2 publication Critical patent/JP4091775B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Automotive Seat Belt Assembly (AREA)
  • Air Bags (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

(57)【要約】 【課題】 撮像画像を、カメラとは異なる位置の視点か
らみた画像に変換する際に、像の歪みを防ぐ。 【解決手段】 実際には路面上にない樹木４１２や車両
４１３について、仮想視点ＶＶＰから見た画像を合成す
る。その際、デフォルトの距離値ではなく、撮像手段１
０１からの実際の距離ＲＤを考慮して、画像合成を行
う。これにより、樹木４１２や車両４１３の像が合成画
像上で長く引き伸ばされることはなく、自然なものとな
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、車両等の移動体の
運転に際し、その移動体周辺の状況をカメラで撮像し、
その撮像画像を処理することによって、運転を支援する
運転支援装置に関するものである。
【０００２】
【従来の技術】従来のカメラを用いた運転支援装置に関
し、障害物や接近車両の検出については、例えば日本国
特許公開公報 特開平９−２４０３９７号公報および特
開平７−９３６９３号公報に記載されている。
【０００３】特開平９−２４０３９７号公報（以下「第
１の従来例」という）では、後側方車両の報知装置が開
示されている。これは自車両の後側方領域の撮像画像か
ら、隣接車線内に存在する移動物体を検出する一方、該
移動物体の検出における白線の有無を検出し、これらの
検出結果を統合することによって、他車両を検出する。
そして他車両と自車両との接近状態を判定し、接近度が
過大となる可能性があるときに運転者に報知するという
ものである。
【０００４】また、特開平７−９３６９３号公報（以下
「第２の従来例」という）では、車両用物体検出装置が
開示されている。これは、道路の文字や模様と車両等の
物体との相違を正しく識別してその物体を精度良く検出
できる車両用物体検出装置であり、その構成は、見かけ
移動速度計測手段によつて画像中の物体のエツジ点の動
きを、あたかも路面上での３次元的動きとして計測し、
物体判定手段においてその計測された動き量と車速とを
比較して物体の弁別を行うことを特徴とするものであ
る。
【０００５】
【発明が解決しようとする課題】しかしながら、従来の
技術には次のような問題がある。
【０００６】まず第２の従来例の場合、撮像画像の動き
解析によって障害物を検出する方法は、一般にモーショ
ンステレオと呼ばれる方法であり、移動による視点の変
化に対応した画像の変化を解析することによって、撮像
画像内の３次元情報を得るものである。しかしこの方法
には、移動する方向の画像については、視点の変化に対
応した画像の変化が小さくなるという欠点があり、例え
ば車両に応用する場合、進路方向の前方や後方の正面に
なるほど、検出の感度が下がる、といった問題がある。
【０００７】また、動き解析の手法は、画面上の対象物
の動きを求めるものであるため、撮像装置が車両に設置
されている場合、車両自身の振動による画面のゆれによ
り、その動きが正確には求められないという問題があ
る。
【０００８】さらに、接近物を検出した後、それを運転
者にどのように伝えるかは重要な問題である。警報音な
どによって伝えた場合、警報音により運転者が驚き、逆
に運転操作を誤るといったことも考えられる。また接近
物の誤検出により、かえって運転者の安全な運転を妨げ
ることも考えられる。このように、接近物の状態を運転
者にどのように伝えるかは重要な課題である。運転者へ
の警報については、第１の従来例では、接近過大の場合
は運転者に報知するとしか述べられていない。また第２
の従来例では、検出された障害物の運転者への報知方法
については述べられていない。
【０００９】本発明は、このような従来の運転支援装置
または移動体画像表示システムが有する問題を考慮し、
運転者が、接近物や障害物の周囲状況を直接的に確認で
き、運転者の負担を軽減することができる運転支援装置
を提供することを課題とする。
【００１０】
【課題を解決するための手段】具体的には本発明は、移
動体の運転を支援する装置として、当該移動体に設置さ
れ、移動体の周囲を撮像する撮像手段と、前記撮像手段
による撮像画像を前記撮像手段の位置とは異なる位置に
ある視点からの画像に変換する画像生成手段と、前記撮
像画像に撮された物体について当該移動体からの距離を
検出する検出手段とを備え、前記画像生成手段は、前記
変換画像の生成の際に、前記物体について、前記検出手
段によって検出された距離を用いてその像の歪みを補正
するものである。
【００１１】そして、前記本発明に係る運転支援装置に
おいて、前記撮像手段は複数個設けられており、前記複
数の撮像手段は、その撮像画像上で一の撮像手段と他の
撮像手段の撮像領域がオーバーラップした領域を有し、
前記検出手段は、前記オーバーラップ領域において前記
一の撮像手段と前記他の撮像手段とのステレオ視差を求
め、求めたステレオ視差を基にして当該物体までの距離
を求めるのが好ましい。
【００１２】また、前記本発明に係る運転支援装置にお
ける検出手段は、前記撮像画像の時間的な動きを示すフ
ローから当該物体までの距離を求めるのが好ましい。
【００１３】また、本発明は、移動体の運転を支援する
装置として、当該移動体に設置され、移動体周囲を撮像
する撮像手段と、前記撮像手段の撮像画像から時間的な
動きを示すフローを求め、このフローを基にして移動体
周囲の物体の動きを検出する検出手段とを備え、前記検
出手段は、物体の動きを検出する前処理として、求めた
各フローからオフセットの推定値を求め、このオフセッ
ト推定値を当該移動体の振動に起因する揺れ成分とし
て、各フローからキャンセルするものである。
【００１４】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。
【００１５】（第１の実施の形態）図１は本発明の第１
の実施形態に係る運転支援装置（移動体画像表示システ
ム）の構成を示すブロック図である。図１において、１
０１は移動体に設置された撮像手段、１０２は階層画像
化手段、１０３はＬＰＦ（ローパスフィルタ）、１０４
はブロックサンプリング手段、１０５は階層的ブロック
マッチング手段、１０６はサブピクセル推定・信頼性判
定手段、１０７は揺れ成分抽出・キャンセル手段、１０
８は消失点算出手段、１０９は移動物・接近物検出手
段、１１０は画像合成手段、１１１は表示装置である。
構成要素１０２〜１０９によって、検出手段が構成され
ている。
【００１６】撮像手段１０１は例えばカメラであって、
車両後方を撮影可能なように、車両後部例えばリアパネ
ル上に設置されている。表示装置１１１としては例えば
本システム専用のディスプレイやカーナビゲーション用
の液晶モニタなどが用いられる。
【００１７】本実施形態に係る移動体画像表示システム
の目的は、主として、運転者が進路変更時に危険となる
後方からの接近物を直接的にわかりやすく警告・表示
し、運転者の負担を軽減することである。本実施形態に
係る移動体画像表示システムの動作について、図２〜図
１３を参照して説明する。
【００１８】まず図２（ａ）に示すように、撮像手段１
０１によって、自車両の後方の画像（ここでは３２０画
素ｘ２４０画素とする）が撮像される。この撮像画像に
は、ビル１１や街路樹１２などの障害物や、後方を走行
する他車両１３，１４などの移動物が含まれる。図２で
はこれらの障害物や移動物を模式的に表現している。こ
の撮像画像は、階層画像化手段１０２および画像合成手
段１１０に入力される。
【００１９】階層画像化手段１０２は、入力された撮像
画像について（２ｘ２）画素毎に加算することによっ
て、１次上位画像（１６０ｘ１２０画素）を生成する。
さらにこの一次上位画像について同様にして２次上位画
像（８０ｘ６０画素）を生成する。そして、これら３種
類の画像を階層画像としてＬＰＦ１０３に出力する。Ｌ
ＰＦ１０３は、入力された階層画像の各画像について、
（３ｘ３）画素のＬＰＦ処理を行う。
【００２０】ブロックサンプリング手段１０４は階層画
像の各画像について、（８ｘ８）画素のブロックに分割
し、各ブロックについて２画素おきに１６（＝４ｘ４）
個の代表点でサブサンプルする。
【００２１】階層的ブロックマッチング手段１０５は上
位階層の画像から、（５ｘ５）画素の範囲でブロックマ
ッチングによってＳＡＤ（差分絶対値の総和）を求め、
そのＳＡＤが最小となる位置を基にして動きベクトルを
求める。下位階層の画像のブロックは、上位階層の同一
位置のブロックで求められた動きベクトルを中心に、さ
らに（５ｘ５）画素の範囲で動きベクトルを求める。
【００２２】サブピクセル推定・信頼性判定手段１０６
は、最下位階層の画像（撮像画像）において求められた
動きベクトルとＳＡＤを用いて、ＳＡＤの最小位置とそ
の周囲の８点のＳＡＤの値から、１画素以下のサブピク
セルの精度で動きベクトルの推定を行う。これととも
に、そのブロックにおける動きベクトルの信頼性判定を
行う。
【００２３】この階層的ブロックマッチング手段１０５
およびサブピクセル推定・信頼性判定手段１０６によっ
て、図２（ｂ）に示すように、撮像画像の各位置につい
て、前フレームからの動きを示す動きベクトルがフロー
ＦＬとして求められる。
【００２４】撮像画像のフローＦＬに関して、図３を用
いて説明する。図２（ｂ）に示すように、画像のエッジ
の部分には上述したようなフローＦＬが得られる。この
とき、カメラの揺れをキャンセルした後は、図３に示す
車両進行方向の逆方向が、図４（ａ）に示す画面上の消
失点ＶＰとなる。地面に静止した物体は、撮像画面上で
は消失点ＶＰへ向かうフローＦＬをもつ。したがって、
消失点ＶＰへ向かう以外のフローＦＬを持つ画面上の領
域（例えば矩形領域２０２）が、移動物・接近物として
抽出することができる。
【００２５】さらに、揺れ成分抽出・キャンセル手段１
０７は、得られた動きベクトルを統計処理することによ
り、車の振動による画像の揺れ成分の抽出とキャンセル
を行う。本発明では、接近物検出のために求めた動きベ
クトルを用いて画像の揺れ成分を抽出するので、揺れ補
正のために画像全体の揺れ成分を別途検出する必要がな
い。消失点算出手段１０８は車の進行に伴う画像のフロ
ーＦＬの消失点ＶＰを求める。すなわち、図４（ａ）に
示すように、消失点ＶＰを画像像全体の大部分が向かう
点として求めている。
【００２６】移動物・接近物検出手段１０９は、消失点
算出手段１０８によって求められた消失点ＶＰへのフロ
ーＦＬと異なる動きベクトルを持つブロックを、移動物
・接近物候補ブロックとして抽出する。そして、近接す
る移動物・接近物候補ブロックを連結することによっ
て、図４(ｂ）に示すように、移動物・接近物の存在す
る領域を矩形領域２０２にして移動物として抽出する。
【００２７】ここで、図５〜図７を用いて、揺れ成分抽
出・キャンセル手段１０７の具体的動作について説明す
る。図５はその動作を説明するためのフローチャートで
ある。
【００２８】車両は進行方向の動き以外に、道の凹凸な
どの影響によって主に上下方向に振動する。図６に示す
ように、車両の上下方向の振動が撮像手段に与える影響
は、（ａ）に示すような位置の変化と、（ｂ）に示すよ
うな撮像方向の変化となって現れる。
【００２９】図６（ａ）に示す上下位置の変化は、画像
信号のフレーム間隔が非常に短いために、車両の進行方
向の位置の変化に比べて、きわめて小さい。また、撮像
手段の位置の変化は、対象までの距離によってその影響
が大きく異なり、近い物には大きな影響を与える一方、
遠い物にはほとんど影響を与えない。そして、本実施形
態で監視する後方の対象までの距離は、数ｍ〜数１０ｍ
程度と十分に遠い。したがって、ここでは、上下の位置
の変化による影響は考慮せずに、図６（ｂ）に示す撮像
方向の変化のみを考慮するものとする。
【００３０】撮像方向の変化は、対象までの距離によっ
て影響が異なることはなく、またその変化の角度が非常
に小さいときは、画面の各動きベクトルについての、画
面全体で一様な上下方向のオフセットＶｄｙとして仮定
することができる。この場合、移動物以外の静止した背
景における動きベクトル（Ｖｘ，Ｖｙ）は、次式に示す
ように、車両の進行による消失点ＶＰへの動きベクトル
（Ｖ０ｘ，Ｖ０ｙ）と上述したオフセット（０，Ｖｄ
ｙ）との和によって近似することができる。 Ｖｘ＝Ｖ０ｘ Ｖｙ＝Ｖ０ｙ＋Ｖｄｙ
【００３１】図５のフローチャートは、このオフセット
（０，Ｖｄｙ）を揺れ成分として抽出し、検出された動
きベクトル（Ｖｘ，Ｖｙ）からキャンセルすることによ
って、静止した背景の部分について、消失点ＶＰへの動
きベクトル（Ｖ０ｘ，Ｖ０ｙ）を得るものである。
【００３２】まず、画面の各位置（ｘ，ｙ）について動
きベクトル（Ｖｘ，Ｖｙ）を入力する（Ｓ１１）。ただ
しこのとき、空など一様で画像に模様がない部分などに
ついては、動きベクトルの信頼性がないものとして予め
除外され、信頼性のある動きベクトルのみが入力され
る。また、車両が前方直進走行をした場合の仮の消失点
（ｘ０，ｙ０）は、撮像手段１０１の取り付け角度から
画面上の所定の位置に定まるので、予め求めることがで
きる（Ｓ１２）。
【００３３】次に、各動きベクトルについて、オフセッ
トを計算する（Ｓ１３）。位置（ｘ，ｙ）が静止した背
景の部分にある場合、次式の関係が成り立つ。 （ｘ−ｘ０）＊Ｖ０ｙ＝（ｙ−ｙ０）＊Ｖｘ （ｘ−ｘ０）＊（Ｖｙ−Ｖｄｙ）＝（ｙ−ｙ０）＊Ｖｘ これらの式から、Ｖｄｙを求めると、 Ｖｄｙ＝Ｖｙ−（ｙ−ｙ０）＊Ｖｘ／（ｘ−ｘ０） となる。
【００３４】上式に従って、１個の動きベクトルからＶ
ｄｙを求めることができる。しかし、入力される動きベ
クトルの中には、移動物など静止した背景の部分以外の
画像領域に係る動きベクトルも多数含まれている。ま
た、静止した背景の部分に係る動きベクトルにも誤差が
含まれている。そこで、統計処理によって、動きベクト
ルのオフセットＶｄｙを推定するものとする。すなわ
ち、図７に示すように、各動きベクトルについて上式に
従ってＶｄｙをそれぞれ求め、その頻度を計算し、最も
高い頻度をもつＶｄｙを最終的なオフセット推定値とす
る（Ｓ１４，Ｓ１５，Ｓ１６）。
【００３５】まず、１個の動きベクトルについて誤差
（±Ｖｎｘ，±Ｖｎｙ）を仮定し、画面内の位置につい
ても微小誤差（±ｎｘ，±ｎｙ）を仮定する。いま、図
７（ａ）のように、１個の動きベクトルについてオフセ
ットＶｄｙが求められたとする。これについて、動きベ
クトルの誤差（±Ｖｎｘ，±Ｖｎｙ）を考慮すると、図
７（ｂ），（ｃ）のような分布が得られ、画面内位置の
微小誤差（±ｎｘ，±ｎｙ）を考慮すると、図７
（ｄ），（ｅ）のような分布が得られる。図７（ｂ）〜
（ｅ）の分布を畳み込み積分することによって、図７
（ｆ）のような分布が得られる。
【００３６】そして、図７（ｆ）のような分布を、画面
全体の動きベクトルについて積和すると、図７（ｇ）の
ような分布が得られる。この分布において最も頻度が高
いＶｄｙの値を、揺れによるオフセットの推定値とす
る。
【００３７】図１の消失点算出手段１０８は、推定した
オフセットをキャンセルした後、再度実際の消失点を求
める。このとき、例えば移動物が画面を大きく占めた場
合や、車両に上下方向以外の揺れがあった場合、または
カーブ等直進以外の走行をしている場合には、算出した
消失点は、仮の消失点とは大きく異なることになる。こ
のような場合には、以降の移動物・接近物検出処理を中
断し、前フレームの結果を用いて画像合成を行い、表示
する。
【００３８】一方、算出した消失点が、仮の消失点近傍
の所定の範囲にあるときは、正常と判断し、移動物・接
近物検出手段１０９が、以下のような動作を行う。
【００３９】図８は移動物・接近物検出手段１０９の具
体的な動作を示すフローチャートである。まず、揺れ成
分抽出の際と同様に、画面の各位置（ｘ，ｙ）について
の動きベクトル（Ｖｘ，Ｖｙ）と、仮の消失点（ｘ０，
ｙ０）を入力する（Ｓ２１，Ｓ２２）。
【００４０】そして、入力された動きベクトルが、オフ
セットをキャンセルした後に、消失点への動きを表して
いるか否かによって、移動物か否かを判定する（Ｓ２
３）。具体的には図９に示すように、揺れ成分抽出の際
に求めた，動きベクトルの誤差（±Ｖｎｘ，±Ｖｎｙ）
と画面内位置の微小誤差（±ｎｘ，±ｎｙ）を加味した
Ｖｄｙの分布（図７（ｆ））が、オフセット推定値と一
致するか否かによって、判定が行われる。すなわち、図
９（ａ）では、Ｖｄｙの分布とオフセット推定値は一致
しないので、この動きベクトルの位置は移動物であると
判定され、一方、図９（ｂ）では、Ｖｄｙの分布とオフ
セット推定値は一致するので、この動きベクトルの位置
は静止背景であると判定される。
【００４１】図１０（ａ）に示すように、移動物と判定
された動きベクトルＦＬ１は、画面中の移動物の各部に
検出される。そして、図１０（ｂ）に示すように、これ
らの動きベクトルＦＬ１を含む領域をグループ化し、矩
形の移動物領域２０２を生成する（Ｓ２４）。そして、
車両からこの移動物までの距離を、移動物領域２０２の
下端ＵＥの位置において推定する（Ｓ２５）。
【００４２】図１１（ａ）は撮像手段１０１の撮像範囲
のデフォルト距離値を示す図である。ここでは図１１
（ａ）に示すように、撮像画像中の、所定位置よりも下
にある第１の領域ＡＲ１については路面ＲＳ上にあると
仮定し、この所定位置よりも上にある第２の領域ＡＲ２
は撮像手段１０１から所定距離ＤＤ（例えば５０ｍ）に
あると仮定する。すなわち、第１の領域ＡＲ１について
は、路面ＲＳまでの推定距離がデフォルト距離値として
記憶され、第２の領域ＡＲ２については、所定距離ＤＤ
がデフォルト距離値として記憶されている。
【００４３】また図１１（ｂ）に示すように、例えば移
動物領域２０２が画面上で領域ＡＲ１，ＡＲ２にまたが
って存在している場合は、第１の領域ＡＲ１に含まれた
移動物領域２０２の下端ＵＥを基準として、その物体が
下端ＵＥで路面ＲＳに接していると仮定して距離を推定
する。
【００４４】ここで推定した移動物領域までの距離は、
メモリに記憶される。そして次のフレーム画像の処理に
よって、同一位置に移動物領域が検出され、かつ、この
移動物領域までの推定距離が、メモリに記憶された前フ
レームでの推定距離よりも短いときは、その移動物領域
の物体は接近物であると判定される（Ｓ２６）。
【００４５】一方、図１２（ａ）に示すような、静止背
景と判定された動きベクトルＦＬ２は、そのベクトルの
大きさ（オフセットはキャンセルする）から、次式によ
って距離Ｚが計算される（Ｓ２７）。Ｚ＝ｄＺ＊ｒ／ｄ
ｒただし、ｄＺはフレーム間における車両の移動量、ｒ
は画面上における消失点ＶＰからの距離、ｄｒは動きベ
クトルの大きさである。すなわち、 ｒ ＝sqrt（（ｘ−ｘ０）2 ＋（ｙ−ｙ０）2 ） ｄｒ＝sqrt（Ｖｘ2 ＋（Ｖｙ−Ｖｄｙ）2 ）
【００４６】そして、ここで求めた距離Ｚを、デフォル
ト距離値として記憶された路面までの距離と比較する
（Ｓ２８）。そして、図１２（ｂ）に示す街路樹ＯＢの
ように路面より高く位置しているものを、障害物と判定
する。また、車両ＭＭのようにほぼ真後ろから接近して
くる物の場合、動きベクトルが消失点近傍で生じるが、
その大きさはきわめて小さい。このため、上述した方法
で距離Ｚを求めた場合、その物体が路面よりも下に位置
することになるような値となる可能性がある。路面より
も下には通常、物体は存在し得ないので、このような場
合の動きベクトルは移動物のものであると判定して、移
動物領域抽出処理Ｓ２４に回すことにする。
【００４７】以上のような処理によって、画面各位置の
動きベクトルから、障害物・移動物・接近物および画像
内の距離が求められ（Ｓ２９）、これらの情報は画像合
成手段１１０に出力される。
【００４８】画像合成手段１１０は、図１３に示すよう
に、撮像手段１０１から入力された撮像画像上に、矩形
領域２０２の枠２０３を赤く点灯するように合成し、こ
れを表示装置１１１に出力する。ただしこのとき、表示
装置１１１は合成画像を、バックミラーと同相になるよ
うに左右反転して表示する。
【００４９】上記の方法によれば、運転者は、図１３に
示す表示画像を見て、赤い枠２０３の点灯によって、接
近物の接近を知ることができる。すなわち、運転者は、
撮像画像を見て周囲の状況を確認するとともに、特に注
意が必要な接近物に対して、警報音などによって驚くこ
となく、自然に注意を向けることが可能となる。
【００５０】また、警報音では困難な、接近物が自車両
に対し、どの方向からどの程度まで接近してきているか
という情報を、直接的に容易に把握することができる。
【００５１】なお、本実施形態では、移動体の接近物の
みを赤い枠で点滅表示するものとしたが、運転者に注意
を喚起する方法としてはこの方法に限られず、例えば他
の色を用いたり、点滅させずに表示したりしてもよい。
また表示装置１１１に表示される接近物の画像が下方に
移動すれば移動体に接近していると理解され、逆に上方
に移動すれば移動体から離れていると理解することがで
きる。
【００５２】さらに、接近物までの距離が求められてい
るので、距離自体を表示したり、距離に応じて表示を変
化させたりすることによって、運転者の状況把握をより
一層助けることが可能になる。例えば、接近物との距離
が、５０ｍ以上のときは緑色、２０ｍ以上５０ｍ未満の
ときは黄色、２０ｍ未満の時は赤色というように、距離
に応じて枠の色を変化させたり、移動物領域の右上に距
離値自体を表示させたりすればよい。
【００５３】（第２の実施の形態）図１４は本発明の第
２の実施形態に係る運転支援装置としての移動体画像表
示システムの構成を示すブロック図である。同図中、図
１と共通の構成要素には、図１と同一の符号を付してお
り、ここではその詳細な説明は省略する。図１と異なる
構成要素は、第１撮像手段１０１とは別個に設けられた
第２撮像手段４０１、階層的ブロックステレオマッチン
グ手段４０５、３Ｄ情報推定・障害物検出手段４０９お
よび画像合成手段または画像生成手段としての３Ｄ画像
合成手段４１０である。構成要素１０２〜１０９，４０
５，４０９によって検出手段が構成されている。
【００５４】本実施形態に係る移動体画像表示システム
の目的は、動きベクトル（フロー）が精度良く求まらな
い消失点付近の接近物や障害物の検出を精度良く行うこ
とである。本実施形態に係る移動体画像表示システムの
動作について、図１５〜図２１を参照して説明する。
【００５５】図１５は自車両とその周囲を上から見下ろ
した模式図である。図１５に示すように、本実施形態に
係る運転支援装置では、２台の撮像手段１０１，４０１
が車両後部に水平方向にずらして設置されている。そし
て、一の撮像手段としての第１撮像手段１０１による第
１の撮像範囲ＶＡ１と他の撮像手段としての第２撮像手
段４０１による第２の撮像範囲ＶＡ２とが、オーバーラ
ップする領域ＯＬを有するように、配置されている。
【００５６】図１５に示すような撮像手段の配置は、視
野角が限られた通常のレンズを持つカメラを用いて、車
両後方を広い視野で撮影し監視するためのものである。
このように複数の撮像手段を配置すれば、魚眼レンズな
どの特殊なレンズを用いなくとも、広視野の画像を撮影
することが可能となる。また、複数の撮像手段を用いる
ことによって、得られる画像の解像度を高く保つことも
できる。
【００５７】また、監視を用途とする場合には、得られ
た複数の画像を接合して表示する必要があるが、図１５
のように異なる位置から撮影された画像を接合する場合
は、位置による隠蔽（オクルージョン）の影響などを考
慮して、２個の撮像範囲に重なりを持たせた方がよい。
【００５８】次に処理の詳細について説明する。階層画
像化手段１０２、ＬＰＦ１０３、ブロックサンプリング
手段１０４および階層的ブロックマッチング手段１０５
は、撮像手段１０１，４０１から入力された各撮像画像
に対して、第１の実施形態と同様の処理を行い、フロー
（動きベクトル）を求める。
【００５９】図１６（ａ），（ｂ）はそれぞれ、撮像手
段１０１，４０１によって得られた撮像画像に上記の処
理によって得られたフローを重ねた図である。ＯＬは撮
像画面上におけるオーバーラップ領域を示す。図１６
（ａ），（ｂ）では、ビルや樹など静止した物体に対す
るフローは実線の矢印によって示し、車など動きのある
物体に対するフローは破線の矢印によって示している。
【００６０】静止した物体に対するフローは、自車両の
動きによって、消失点ＶＰへ向かうフローとなる。この
フローの大きさは、自車両の速度と、画面上での消失点
ＶＰまでの距離に比例する。このため、消失点ＶＰ近傍
のフローは、その大きさは小さくなるので、検出が困難
になる。
【００６１】そこで、階層的ブロックステレオマッチン
グ手段４０５は、オーバーラップ領域ＯＬにおいて、図
１６（ａ），（ｂ）に示す２枚の画像のステレオ解析を
行い、ステレオ視差を求める。消失点ＶＰは車両の進行
方向の真後ろに生じるので、撮像手段１０１，４０１
を、オーバーラップ領域ＯＬが撮像画像上で消失点ＶＰ
を含むように設定するのは容易である。
【００６２】図１６（ｃ）は図１６（ａ），（ｂ）に示
す２枚の画像を重ね合わせた図である。同図中、車両画
像のずれＶＤが、求められたステレオ視差である。
【００６３】撮像手段を水平方向に並べて配置した場
合、ステレオ視差ＶＤはほぼ水平方向に生じる。このた
め、上位階層の画像から、水平５ｘ垂直３画素の範囲で
ブロックマッチングによってＳＡＤ（差分絶対値の総
和）を求め、そのＳＡＤの最小点からステレオ視差を求
める。下位階層の画像では、上位階層の画像の同一位置
のブロックにおいて求められたステレオ視差を中心に、
さらに、水平５ｘ垂直３画素の範囲でステレオ視差を求
める。
【００６４】サブピクセル推定・信頼性判定手段１０６
は、最下位階層の画像（撮像画像）において求められた
動きベクトルとＳＡＤを用いて、ＳＡＤの最小位置とそ
の周囲の８点のＳＡＤの値から、１画素以下のサブピク
セルの精度で動きベクトルの推定を行う。これととも
に、そのブロックにおける動きベクトルの信頼性判定を
行う。
【００６５】また、階層的ブロックステレオマッチング
手段４０５によって得られたステレオ視差ＶＤに対し
て、動きベクトルに係る処理を全く同様に適用すること
によって、サブピクセル精度でのステレオ視差の推定
と、ステレオ視差の信頼性判定とを行う。
【００６６】以上の処理によって、撮像画像の各位置に
ついて、前フレームからの時間的な動きを示すフローが
求められるとともに、オーバーラップ領域ＯＬにおいて
ステレオ視差が求められる。
【００６７】一般に、ステレオ視差と、撮像手段の相対
位置関係とが分かれば、三角測量の原理によって、撮像
手段から対象物までの距離が求められる。また、画像の
時間的な動きを表すフローによっても、例えば対象物が
地面に静止していると仮定することによって、車速との
関係で、撮像手段から対象物までの距離を求めることが
できる。
【００６８】このことを利用して、３Ｄ情報推定・障害
物検出手段４０９は、図１７に示すように、２枚の撮像
画像について３次元情報を推定し、さらに、地面から所
定の高さ以上にあると推定される画面上の領域を、障害
物ＯＢとして検出する。
【００６９】また移動物・接近物検出手段１０９は、消
失点ＶＰへ向かうフローとは異なる動きベクトルを持つ
ブロックを、移動物・接近物候補ブロックとして抽出
し、近接する移動物・接近物候補ブロックを連結するこ
とによって、図１７に示すように、移動物ＭＭを抽出す
る。またこれとともに、３Ｄ情報推定・障害物検出手段
４０９から得られる３次元情報から、消失点ＶＰ近傍領
域の障害物の距離が接近していると判断したとき、これ
を図１７に示すように、接近物ＡＰとして抽出する。
【００７０】３Ｄ画像合成手段４１０は図１７に示すよ
うに、３Ｄ情報推定・障害物検出手段４０９から得られ
る３次元情報を利用して、撮像装置１０１，４０１から
入力された２枚の撮像画像を合成する。さらに合成画像
上で、移動物ＭＭと接近物ＡＰの領域を例えば赤い枠で
囲んで点灯表示するとともに、障害物ＯＢを例えば緑色
の枠で囲んで表示し、これを表示装置１１１に出力す
る。ただしこのとき、表示装置１１１は合成画像を、バ
ックミラーと同相になるように左右反転して表示する。
【００７１】運転者は、図１７に示す表示画像を見て、
赤い枠の点灯によって、移動物ＭＭや接近物ＡＰの接近
を知ることができ、また、接近物ＡＰが自車両に対し、
どの方向からどの程度まで接近してきているかを、直接
的に容易に把握することができる。さらに運転者は、緑
の枠の表示によって、障害物ＯＢの存在とその位置を直
接的に容易に把握することができる。
【００７２】また、第２の従来例や本発明の第１の実施
形態のように、撮像画像の動き解析によって障害物や接
近物を検出するいわゆる「モーションステレオ」と呼ば
れる方法では、移動による視点の変化に対応した画像の
変化を解析することによって、撮像画像内の３次元情報
を得る。この場合、移動する方向またはその逆方向の画
像の、移動によるフロー（動きベクトル）の消失点の近
傍領域では、視点の変化に対応した画像の変化が小さく
なるという欠点があり、例えば車両に応用する場合、走
行方向の前方や後方の正面における検出感度が下がる、
といった問題があった。
【００７３】ところが、この第２の実施形態によると、
画面上の消失点近傍領域における検出を、２台のカメラ
によるオーバーラップ領域ＯＬにおけるステレオ解析に
よって補っているので、感度よく検出することができ
る。
【００７４】３Ｄ画像合成手段４１０は、３Ｄ情報推定
・障害物検出手段４０９から得られた３次元情報を利用
して、接近物や障害物の情報を運転者に的確に伝える。
この方法について、説明する。
【００７５】第１の実施形態では、接近物の情報が合成
された撮像画像を見たとき、画面の奥行き方向の距離
は、合成画像上の物体のみかけの大きさから判断する必
要がある。特に、撮像装置を車両に設置する場合には、
車高以上の位置に設置することはできず、また、ある程
度遠方を視野に入れるためにはその向きをほぼ水平近く
にしなければならないので、この結果、接近物との距離
は、画面の奥行き方向になってしまう。
【００７６】接近物との距離を画面上で把握しやすくす
るための方法として、本願発明者らによる日本国特許出
願 特願平１０−２１７２６１にあるような合成画像の
視点位置を変更する技術がある。この出願の装置の場
合、車両の周囲の複数の撮像画像が３次元的に地面を写
していると仮定して、例えば上空から見下ろしたような
新しい視点からの合成画像を作成している。その場合、
車両と他の物体との距離は、画面上の距離に比例するこ
とになるので、直感的に距離が把握しやすくなる。
【００７７】本実施形態では３Ｄ画像合成手段４１０
は、上述の技術を用いて、撮像手段１０１，４０１によ
って得られた撮像画像を、実際の撮像手段の設置位置よ
りも上方の視点位置から見た合成画像に変換する。遠方
まで視野に入れるためには、真下を見下ろすよりも、斜
め下方向を見下ろすような視点を用いる方がよい。
【００７８】図１８（ａ）はこのような合成画像を得る
ための仮想視点ＶＶＰの位置を示している。仮想視点Ｖ
ＶＰは、撮像手段１０１の上方に位置しており、その向
きは車両後方斜め下方向を見下ろすようになっている。
そして、図１８（ｂ）に示すように、実際の撮像手段１
０１による撮像画像が図１１（ａ）を用いて説明したよ
うなデフォルトの距離にあると仮定すると、実際の撮像
画像から、仮想視点ＶＶＰから見た合成画像を生成する
ことができる。
【００７９】例えば実際の撮像画像が図１９（ａ）に示
すようなものである場合、仮想視点ＶＶＰから見た合成
画像は図１９（ｂ）に示すようになる。図１９から分か
るように、実際にデフォルトの距離値と同じように路面
上に存在する白線４１１等は合成画像上でも正確な位置
に合成され、かつ、上方から見た画像なので、距離感が
把握しやすく強調されたものとなる。しかし、実際には
路面上にない樹木４１２や車両４１３などは、合成画像
上では、長く引き延ばされ不自然に歪んだものになる。
なお、図１９（ｂ）の合成画像は、実際の撮像領域より
も外側の領域４１４を含んでいる。
【００８０】すなわち、従来の画像合成技術をそのまま
適用した場合には、画像変換の際に地面の位置しか仮定
していないので、実際には地面に位置しないもの、例え
ば他の車両や障害物が合成画像上で歪んでしまうという
問題が生じる。
【００８１】そこで本実施形態では、３Ｄ情報推定・障
害物検出手段４０９から得られる３次元情報を利用する
ことによって、上述した合成画像上における車両などの
歪みを、大きく改善する。このことを、図２０および図
２１を用いて説明する。
【００８２】本実施形態では、３Ｄ情報推定・障害物検
出手段４０９から得られる３次元情報を利用して、地面
よりも上にある障害物や接近物を検出している。このた
め、図２０（ａ）に示すように、障害物や接近物の領域
をその３次元情報に従って合成するので、仮想視点ＶＶ
Ｐから見た画像を合成しても、歪みの少ない自然な画像
を合成できる。
【００８３】すなわち、実際には路面上にない樹木４１
２や車両４１３については、撮像手段１０１からの実際
の距離ＲＤが検出されているので、その領域は、合成画
像生成においても実際の距離ＲＤが考慮された位置に、
合成される。したがって、図２０（ｂ）に示すように、
実際には路面上にない樹木４１２や車両４１３等も、デ
フォルトの距離値ではなく実際の距離ＲＤを基にして合
成されるので、合成画像上で長く引き延ばされることは
なく、自然なものとなる。
【００８４】このようにして、合成画像において、実際
にデフォルトの距離値と同じように路面上に存在する白
線等は正確な位置に合成され、かつ、実際には路面上に
ない樹木や車両等についても自然な画像が得られる。さ
らに、合成画像は上方から見た画像であるので、距離感
が把握しやすい画像を、運転者に示すことができる。
【００８５】図２１は２個の撮像手段１０１，４０１の
撮像画像から合成画像を生成する場合を示す図である。
図２１（ａ）に示すように、この場合も実際には路面上
にない樹木４１２や車両４１３については、撮像手段１
０１，４０１からの実際の距離ＲＤが検出されているの
で、その領域は、合成画像生成においても実際の距離Ｒ
Ｄが考慮された位置に、合成される。そして、図２１
（ｂ）に示すような合成画像が得られる。図２１（ｂ）
の合成画像において、ＶＡ１，ＶＡ２はそれぞれ、撮像
手段１０１，４０１の視野範囲に対応する領域、ＯＬは
視野範囲が重なったオーバーラップ領域である。図２０
（ｂ）の例に比べて、視野角の広い画像が合成されてい
る。また、オーバーラップ領域ＯＬよりも外側の領域で
も、消失点から離れているためにフローから距離が求め
られるので、その距離が考慮された位置に例えば樹木４
１５を合成することができる。
【００８６】（第２の実施形態の変形例）本実施形態の
変形例について、図２２および図２３を参照して説明す
る。
【００８７】図２２は本変形例に係る撮像手段の配置の
一例を示す図である。上述の実施形態と異なるのは、２
台の撮像手段１０１，４０１が、水平方向ではなく垂直
方向に間隔ｋをおいて設置されている点である。また、
撮像手段の視野範囲については、第２の実施形態と同様
に、撮像手段１０１による第１の撮像領域ＶＡ１と撮像
手段４０１による第２の撮像領域ＶＡ２とが互いに重な
り、オーバーラップ領域ＯＬが生じるようになってい
る。
【００８８】そして図２３（ａ）に示すように、第２の
実施形態と同様に、２つの撮像領域がオーバーラップす
る領域にステレオ解析領域ＳＴを設け、またそれ以外の
部分にも動き解析領域ＭＡ１，ＭＡ２を設けている。
【００８９】本変形例に係るステレオ解析領域ＳＴでの
処理について、説明する。
【００９０】図２３（ｂ）に示すように、この２枚の画
像では、縦方向にステレオ視差ＶＤが生じる。このとき
図２３（ｃ）に示すように、２枚の画像から予め水平エ
ッジＨＥを抽出しておき、この水平エッジＨＥについて
２枚の画像間の対応をとることによって、ステレオ視差
ＶＤは容易に求めることができる。また、本発明が主な
対象とする路面上の車両の画像は、バンパー、ボンネッ
トのラインなどの水平エッジが他のエッジに比べて多く
含まれており、容易に検出することが可能である。この
ステレオ視差ＶＤによって撮像手段からの距離が求まる
ので、上述の実施形態と同様に、接近物や障害物の検出
が可能であり、また、接近物や障害物の画像を立体的に
合成して表示することができる。
【００９１】本変形例では、２個の撮像手段と仮想視点
とが縦方向に並ぶので、合成画像は、縦方向の視差が強
調された画像となる。また、水平方向のエッジが少な
く、このためステレオ視差ＶＤが精度良く求まらない部
分では、合成画像での精度も落ちるが、逆に水平エッジ
が少ないために、位置のずれによる不自然さはほとんど
目立たない。したがって、全体として非常に自然であ
り、かつ、水平エッジのある部分（他の車両が映ってい
る部分など）では、奥行き位置情報が強調された合成画
像を生成することができる。
【００９２】またここで、撮像手段の間隔ｋと、検出可
能な距離との関係について、補足説明する。説明を簡単
にするために、撮像手段は真後ろを向いているものとす
る。撮像手段の水平方向の画角を約９０度と仮定する
と、距離Ｄが１０ｍのとき、水平方向の画角範囲は約２
０ｍに相当する。また撮像手段の画素の縦横比を３：４
とすると、垂直方向の画角範囲Ｖｈは約１５ｍに相当す
る。すなわち、 Ｖｈ／Ｄ＝１．５ である。また、画面の垂直方向の画素数をＶｐとする
と、撮像手段と同一高さにある後方車両の水平エッジ
が、無限遠の視差０から、１画素相当の視差が生じるま
で接近するときの距離Ｄは、 Ｖｈ／ｋ＝Ｖｐ から、 Ｄ＝ｋ＊Ｖｐ／１．５ となる。垂直方向の画素数Ｖｐを４８０、撮像手段の間
隔ｋを１０ｃｍ（＝０．１ｍ）とすると、 Ｄ＝０．１＊４８０／１．５＝３２（ｍ） と概算される。実際の視差の検知精度は０．３〜１画素
であり、求められる接近物検出距離が３０〜７０ｍ、撮
像手段の画角が６０〜１２０度と仮定すると、撮像手段
の間隔は７〜２０ｃｍ程度でよいことが概算できる。
【００９３】このように、７〜２０ｃｍ程度の間隔で比
較的近くに設置された撮像手段によっても、接近物を検
出することができるので、車両への搭載がより容易にな
る。
【００９４】なお、上述した第１〜第２の実施の形態に
おいては、車両の後方を、主たる監視領域として説明し
たが、本発明はこれに限られるものではなく、例えば車
両前方・側方を監視領域として、車両前方・側方の画像
を生成するものとしてもかまわない。
【００９５】（第３の実施形態）図２４は本発明の第３
の実施形態に係る運転支援装置の構成を示すブロック図
である。図２４において、図１４と異なる構成要素は、
危険度判定手段５０１、車外警報手段５０２、乗員保護
手段５０３である。
【００９６】第２の実施形態と同様に、複数の撮像手段
１０１，４０１により、オーバーラップする領域を階層
的ステレオマッチング手段４０５によってステレオ解析
することにより、従来検出が困難であった車両真後ろの
接近物を精度よく計測することが可能となる。
【００９７】従来、車両への接近物の検出装置が、真後
ろからの接近物を対象としていなかったのは、動き検出
だけでは接近物の検出が困難である点と、接近物を検出
した後、衝突などを避けるための方法が少ないというこ
ともあった。例えば第１の従来例においては、自車両の
走行する隣の車線からの接近物を検出した場合、その車
線への自車両の進路変更を行わないように警報するなど
により容易に衝突を避けることが可能となる。一方、自
車両と同じ車線から接近する車両については、速度を上
げて前方へ回避するか、他の車線への進路変更などの積
極的な動きが必要とされる。いずれの場合も、接近物以
外の周囲の車両、物体への衝突という危険が新たに生じ
てしまう。
【００９８】そこで、本実施形態では、移動物接近物検
出手段１０９が真後ろからの接近物を検出したときは、
危険度判定手段５０１は、衝突までの時間や接近物の速
度変化等からこの接近物が衝突する可能性を判定する。
そして、衝突の可能性が高いと判断したときは指示信号
を出力する。車外警報手段５０２は指示信号を受けて、
自動的にブレーキランプを点滅させるなどのように、後
方に向けて警報を発する。ここでの警報としては、ブレ
ーキランプの点滅以外にも、後方に向けて設置したラン
プの照射や点滅、音による警報、ラジオなどの電波を利
用しての警報などが考えられる。
【００９９】また、危険度判定手段５０１から指示信号
が出力されると、乗員保護手段５０３は、シートベルト
の巻き取りやエアバックの作動準備などの乗員を保護す
る措置を講じる。エアバックに関しては、予め衝突の可
能性が高いことが分かれば、作動準備や乗員の頭部位置
の検出などの種々の前処理を行うことが可能になり、こ
れにより乗員保護を確実に行うことができる。
【０１００】なお、本実施形態の接近物の検出手段は、
画像のステレオや動き解析によるものに限定するわけで
なく、例えばレーダー、レーザーなどを用いた他の手段
により実施することも可能である。
【０１０１】また、本発明は、車両以外の移動体、例え
ば船、飛行機、列車などにも容易に適用可能であること
はいうまでもない。
【０１０２】また、複数の撮像手段の設置位置や台数
は、ここで示したものに限られるものではない。
【０１０３】また、本発明に係る運転支援装置の検出手
段や画像生成手段の機能は、その全部または一部を、専
用のハードウェアを用いて実現してもかまわないし、ソ
フトウェアによって実現してもかまわない。また、本発
明に係る運転支援装置の検出手段や画像生成手段の機能
の全部または一部をコンピュータに実行させるためのプ
ログラムを格納した記録媒体や伝送媒体を、利用するこ
とも可能である。
【０１０４】以上説明したところから明らかなように、
本発明によって、車両の振動による揺れに影響されずに
接近物を検出できる。また、複数の撮像装置によるステ
レオ解析を併用することによって、動きの変化の小さい
車両の真後ろの接近物を検出することができる。
【０１０５】これら接近物等の検出結果を画像上で報知
することによって、運転者が、その位置関係と周囲状況
を直接的に確認できる。また、画像を上方からの斜め見
下ろしの視点からの画像に変換することにより、接近物
までの距離をより分かりやすく提示することができる。
【０１０６】また、運転者に報知するだけでなく、接近
する車両に警報することにより、衝突の可能性を低減で
き、衝突の衝撃から乗員を保護する処置をより早くから
開始することができる。
【０１０７】以上述べたように、本発明により、運転者
の負担を軽減することができる運転支援装置を提供する
ことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る運転支援装置の
構成を示すブロック図である。
【図２】（ａ）は撮像画像の一例、（ｂ）は（ａ）の画
像上にフローが示された図である。
【図３】図２の画像が撮像されたときの状態を上方から
見た概念図である。
【図４】（ａ）は消失点とフローとの関係を示す図、
（ｂ）は図２の画像上で移動物領域が抽出された図であ
る。
【図５】揺れ成分抽出の処理の流れを示すフローチャー
トである。
【図６】（ａ），（ｂ）は車両の上下方向の振動が撮像
手段に与える影響を示す図である。
【図７】（ａ）〜（ｇ）は動きベクトルのオフセット推
定値を求める手順を説明するための図である。
【図８】移動物・検出物検出の処理の流れを示すフロー
チャートである。
【図９】（ａ），（ｂ）は移動物か否かを判定する方法
を説明するための図である。
【図１０】（ａ），（ｂ）は動きベクトルを用いた移動
物領域の抽出を表す図である。
【図１１】（ａ）は撮像範囲のデフォルト距離値を示す
図、（ｂ）は移動物領域が領域ＡＲ１，ＡＲ２にまたが
っているときの距離推定を示す図である。
【図１２】（ａ）は静止背景の動きベクトルが示された
画像、（ｂ）は障害物の判定手法を説明するための図で
ある。
【図１３】表示画像の一例を示す図である。
【図１４】本発明の第２の実施形態に係る運転支援装置
の構成を示すブロック図である。
【図１５】本発明の第２の実施形態における撮像手段の
配置の一例を示す模式図である。
【図１６】（ａ），（ｂ）は各撮像画像にフローを示し
た図、（ｃ）は（ａ），（ｂ）に示す２枚の画像を重ね
合わせてステレオ視差を求めた図である。
【図１７】障害物、移動物および接近物が抽出された画
像の例である。
【図１８】（ａ），（ｂ）は移動物が立体表示される合
成画像を得るための仮想視点を示す図である。
【図１９】（ａ）は実際の撮像画像の例、（ｂ）は
（ａ）から生成した合成画像である。
【図２０】（ａ），（ｂ）は検出した距離を考慮した画
像合成を説明するための図である。
【図２１】（ａ），（ｂ）は検出した距離を考慮した画
像合成であって、２台の撮像手段を用いた場合を説明す
るための図である。
【図２２】（ａ），（ｂ）は本発明の第２の実施形態の
変形例に係る撮像手段の配置の一例を示す図である。
【図２３】（ａ），（ｂ），（ｃ）は本発明の第２の実
施形態の変形例におけるステレオ視差の求め方を説明す
るための図である。
【図２４】本発明の第３の実施形態に係る運転支援装置
の構成を示すブロック図である。
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 Ｂ６０Ｒ 21/00 ６２１Ｄ ５Ｌ０９６ ６２１Ｎ ６２１Ｑ ６２１Ｓ ６２６ ６２６Ｇ ６２８ ６２８Ｂ ６２８Ｅ 21/32 21/32 22/46 22/46 Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 1/00 ３１５ ３３０ ３３０Ｂ 3/00 １００ 3/00 １００ ２００ ２００ 7/20 7/20 Ｂ 7/60 １８０ 7/60 １８０Ｂ Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/232 Ｚ (72)発明者 中川 雅通 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 岡本 修作 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 3D018 MA00 3D054 AA07 EE11 EE17 EE21 EE25 EE36 5B057 AA16 CA12 CB13 CD14 CH01 DA07 DA12 DA16 DB02 DC08 DC32 5C022 AA04 AB55 AB61 5C054 EA01 EA05 FC13 FC15 FD03 HA05 HA30 5L096 BA04 CA02 DA01 FA66 FA67 FA76 HA04

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】 移動体の運転を支援する装置であって、 当該移動体に設置され、移動体の周囲を撮像する撮像手
    段と、 前記撮像手段による撮像画像を、前記撮像手段の位置と
    は異なる位置にある視点からの画像に、変換する画像生
    成手段と、 前記撮像画像に撮された物体について、当該移動体から
    の距離を検出する検出手段とを備え、 前記画像生成手段は、 前記変換画像の生成の際に、前記物体について、前記検
    出手段によって検出された距離を用いて、その像の歪み
    を補正するものであることを特徴とする運転支援装置。
  2. 【請求項２】 請求項１記載の運転支援装置において、 前記撮像手段は、複数個設けられており、 前記複数の撮像手段は、その撮像画像上で、一の撮像手
    段と他の撮像手段の撮像領域がオーバーラップした領域
    を有し、 前記検出手段は、 前記オーバーラップ領域において、前記一の撮像手段と
    前記他の撮像手段とのステレオ視差を求め、 求めたステレオ視差を基にして、当該物体までの距離を
    求めるものであることを特徴とする運転支援装置。
  3. 【請求項３】 請求項１記載の運転支援装置において、 前記検出手段は、 前記撮像画像の時間的な動きを示すフローから、当該物
    体までの距離を求めるものであることを特徴とする運転
    支援装置。
  4. 【請求項４】 移動体の運転を支援する装置であって、 当該移動体に設置され、移動体周囲を撮像する撮像手段
    と、 前記撮像手段の撮像画像から、時間的な動きを示すフロ
    ーを求め、このフローを基にして、移動体周囲の物体の
    動きを検出する検出手段とを備え、 前記検出手段は、 物体の動きを検出する前処理として、求めた各フローか
    ら、オフセットの推定値を求め、このオフセット推定値
    を当該移動体の振動に起因する揺れ成分として、各フロ
    ーからキャンセルするものであることを特徴とする運転
    支援装置。
JP2002046169A 1999-09-20 2002-02-22 運転支援装置 Expired - Lifetime JP4091775B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002046169A JP4091775B2 (ja) 1999-09-20 2002-02-22 運転支援装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP26562999 1999-09-20
JP11-265629 1999-09-20
JP2002046169A JP4091775B2 (ja) 1999-09-20 2002-02-22 運転支援装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001524839A Division JP3300340B2 (ja) 1999-09-20 2000-09-20 運転支援装置

Publications (2)

Publication Number Publication Date
JP2002335524A true JP2002335524A (ja) 2002-11-22
JP4091775B2 JP4091775B2 (ja) 2008-05-28

Family

ID=17419801

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001524839A Expired - Lifetime JP3300340B2 (ja) 1999-09-20 2000-09-20 運転支援装置
JP2002046169A Expired - Lifetime JP4091775B2 (ja) 1999-09-20 2002-02-22 運転支援装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2001524839A Expired - Lifetime JP3300340B2 (ja) 1999-09-20 2000-09-20 運転支援装置

Country Status (7)

Country Link
US (1) US6993159B1 (ja)
EP (1) EP1223083B1 (ja)
JP (2) JP3300340B2 (ja)
KR (1) KR100466458B1 (ja)
CN (1) CN1160210C (ja)
DE (1) DE60009114T2 (ja)
WO (1) WO2001021446A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005332218A (ja) * 2004-05-20 2005-12-02 Nissan Motor Co Ltd 運転支援装置
JP2006054662A (ja) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
JP2006318271A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車載画像処理装置、および画像処理方法
JP2006333009A (ja) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JPWO2006009257A1 (ja) * 2004-07-23 2008-05-01 松下電器産業株式会社 画像処理装置および画像処理方法
JP2008187580A (ja) * 2007-01-31 2008-08-14 Optrex Corp 障害物検出装置、車両用表示装置及び障害物検出方法
JP2008531388A (ja) * 2005-03-03 2008-08-14 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 車両の車線変更時の衝突回避方法及び装置
JP2008308011A (ja) * 2007-06-14 2008-12-25 Fujitsu Ten Ltd 運転支援装置および画像表示装置
JP2009230224A (ja) * 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2011159278A (ja) * 2009-11-19 2011-08-18 Robert Bosch Gmbh 後方視野用の複数機能カメラシステム
JP2012118886A (ja) * 2010-12-02 2012-06-21 Fujitsu Ltd 接触可能性検知装置、接触可能性検知方法、及びプログラム
JP2012123751A (ja) * 2010-12-10 2012-06-28 Toshiba Alpine Automotive Technology Corp 車両用画像処理装置および車両用画像処理方法
JP2013118508A (ja) * 2011-12-02 2013-06-13 Toyota Motor Corp 画像処理装置及び画像処理方法
WO2017038395A1 (ja) * 2015-08-31 2017-03-09 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
KR20180112010A (ko) * 2016-03-15 2018-10-11 코너트 일렉트로닉스 리미티드 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP3620710B2 (ja) * 2000-07-28 2005-02-16 日本ビクター株式会社 撮像装置
DE10131196A1 (de) 2001-06-28 2003-01-16 Bosch Gmbh Robert Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
JP3739693B2 (ja) * 2001-11-09 2006-01-25 本田技研工業株式会社 画像認識装置
DE10218228A1 (de) * 2002-04-24 2003-11-06 Volkswagen Ag Verfahren und Einrichtung zur Funktionskontrolle einer Videokamera in einem Fahrzeug
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
DE10303792A1 (de) * 2003-01-31 2004-08-12 Robert Bosch Gmbh Verfahren zur Anzeige fahrzeugspezifischer Informationssignale
KR20050036179A (ko) * 2003-10-15 2005-04-20 현대자동차주식회사 차량의 전방 감시장치 및 방법
CA2545438A1 (en) * 2003-11-11 2005-05-19 David Sourlier Device for recording driving and/or traffic conditions and method for evaluating said recorded data
JP4638143B2 (ja) * 2003-12-26 2011-02-23 富士重工業株式会社 車両用運転支援装置
JP3980565B2 (ja) * 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
US7406182B2 (en) * 2004-03-31 2008-07-29 Fujifilm Corporation Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
US8082101B2 (en) * 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
JP2005311868A (ja) 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
EP1641268A4 (en) * 2004-06-15 2006-07-05 Matsushita Electric Ind Co Ltd MONITOR AND DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT
AU2005271385B2 (en) * 2004-08-04 2010-02-11 Intergraph Software Technologies Company Method of preparing a composite image with non-uniform resolution
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7609290B2 (en) * 2005-01-28 2009-10-27 Technology Advancement Group, Inc. Surveillance system and method
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
KR100666276B1 (ko) * 2005-07-13 2007-01-10 현대자동차주식회사 소실점을 이용한 자동차의 차선이탈 경보방법
SE529304C2 (sv) * 2005-09-06 2007-06-26 Gm Global Tech Operations Inc Metod och system för förbättrande av trafiksäkerhet
JP4353162B2 (ja) 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP2007148835A (ja) * 2005-11-28 2007-06-14 Fujitsu Ten Ltd 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
EP2240796A4 (en) * 2008-01-22 2012-07-11 Magna Int Inc USE OF A SINGLE CAMERA FOR SEVERAL TRAVEL SUPPORT SERVICES, PARKING AIDS, CLUTCH ASSIST AND TAILGATE PROTECTION
CN102037720B (zh) 2008-02-08 2013-11-06 谷歌公司 带有使用定时快门的多个图像传感器的全景照相机
JP4513871B2 (ja) * 2008-02-15 2010-07-28 ソニー株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
DE102008060684B4 (de) * 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
KR100929689B1 (ko) * 2008-09-08 2009-12-03 재단법인대구경북과학기술원 스테레오 영상 정보를 이용한 차량용 사고기록 장치 및 그 제어 방법
KR100971731B1 (ko) 2008-11-07 2010-07-22 주식회사 케이제이몰 차량용 영상 저장 시스템에서의 영상 처리 장치 및 방법
KR100997617B1 (ko) 2008-11-20 2010-12-01 재단법인대구경북과학기술원 교통 수단의 사고 기록 장치, 방법 및 시스템
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP4733756B2 (ja) * 2009-04-28 2011-07-27 本田技研工業株式会社 車両周辺監視装置
DE102009038406B4 (de) * 2009-08-24 2017-10-05 Volkswagen Ag Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
JP5039765B2 (ja) * 2009-09-17 2012-10-03 日立オートモティブシステムズ株式会社 車両制御装置
CN102577372B (zh) * 2009-09-24 2015-06-10 松下电器产业株式会社 驾驶辅助显示装置
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
CN102317978B (zh) * 2009-12-22 2014-11-12 松下电器产业株式会社 动作解析装置以及动作解析方法
CN102275558B (zh) * 2010-06-12 2013-01-23 财团法人车辆研究测试中心 双视觉前车安全警示装置及其方法
KR101243108B1 (ko) 2010-12-30 2013-03-12 주식회사 와이즈오토모티브 차량의 후방 영상 표시 장치 및 방법
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5329582B2 (ja) * 2011-02-09 2013-10-30 本田技研工業株式会社 車両用周辺監視装置
WO2013042767A1 (ja) * 2011-09-21 2013-03-28 本田技研工業株式会社 車両周辺監視装置
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
CN103085716A (zh) * 2011-10-31 2013-05-08 鸿富锦精密工业（深圳）有限公司 交通意外防止***及方法
KR101340014B1 (ko) * 2011-12-09 2013-12-10 에스엘 주식회사 위치 정보 제공 장치 및 방법
WO2013099169A1 (ja) 2011-12-27 2013-07-04 パナソニック株式会社 ステレオ撮影装置
CN103448652B (zh) * 2012-06-04 2016-06-15 宏达国际电子股份有限公司 行车警示方法及其电子装置
CN103522952A (zh) * 2012-07-06 2014-01-22 昆达电脑科技(昆山)有限公司 驾驶中提示危险的警报装置及其方法
JP5695000B2 (ja) * 2012-08-13 2015-04-01 本田技研工業株式会社 車両周辺監視装置
TWI494234B (zh) * 2012-08-24 2015-08-01 Altek Autotronics Corp 行車輔助系統及其啟用方法
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
CN104118380B (zh) * 2013-04-26 2017-11-24 富泰华工业（深圳）有限公司 行车侦测***及方法
EP2998934B1 (en) * 2013-05-16 2020-08-05 Sony Corporation Image processing device, image processing method, and program
US10171775B1 (en) 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
KR20150051389A (ko) * 2013-11-04 2015-05-13 현대모비스 주식회사 영상 처리 방법 및 이를 위한 장치
KR101811157B1 (ko) * 2013-12-19 2018-01-25 인텔 코포레이션 사발형 영상 시스템
US9449234B2 (en) * 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
JP6299371B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置
JP6264173B2 (ja) 2014-04-18 2018-01-24 富士通株式会社 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
JP6299373B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
US9613274B2 (en) * 2014-05-22 2017-04-04 International Business Machines Corporation Identifying an obstacle in a route
US9355547B2 (en) 2014-05-22 2016-05-31 International Business Machines Corporation Identifying a change in a home environment
WO2015182147A1 (ja) * 2014-05-28 2015-12-03 京セラ株式会社 ステレオカメラ装置およびステレオカメラ装置を設置した車両
CN104200213B (zh) * 2014-08-12 2018-07-17 合肥工业大学 一种基于多部件的车辆检测方法
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
JP6356586B2 (ja) * 2014-11-28 2018-07-11 株式会社デンソー 車両の走行制御装置
CN104477126A (zh) * 2014-12-12 2015-04-01 常州博显汽车电子有限公司 用于汽车上的主动式安全带装置
JP5880741B1 (ja) * 2014-12-26 2016-03-09 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
JP5880740B1 (ja) * 2014-12-26 2016-03-09 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
JP6564577B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
KR101639722B1 (ko) * 2015-05-26 2016-07-15 주식회사 피엘케이 테크놀로지 소실점 보정 장치 및 방법
EP3139340B1 (en) * 2015-09-02 2019-08-28 SMR Patents S.à.r.l. System and method for visibility enhancement
US11648876B2 (en) 2015-09-02 2023-05-16 SMR Patents S.à.r.l. System and method for visibility enhancement
WO2017099047A1 (ja) * 2015-12-09 2017-06-15 一 笠原 位置情報特定方法、位置情報特定装置、及び、位置情報特定プログラム
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
US20170297488A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Surround view camera system for object detection and tracking
KR102529119B1 (ko) 2016-06-27 2023-05-04 삼성전자주식회사 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
US20180374237A1 (en) * 2017-06-23 2018-12-27 Canon Kabushiki Kaisha Method, system and apparatus for determining a pose for an object
KR101849326B1 (ko) * 2017-08-31 2018-04-17 주식회사 핀텔 차량용 카메라 시스템
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法
CN109263557B (zh) * 2018-11-19 2020-10-09 威盛电子股份有限公司 车辆盲区侦测方法
CN110435650A (zh) * 2019-08-22 2019-11-12 爱驰汽车有限公司 车辆后碰撞紧急避让方法、***、设备及存储介质
CN111813116A (zh) * 2020-07-09 2020-10-23 海南发控智慧环境建设集团有限公司 一种基于三维模型的避障辅助***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282655A (ja) * 1993-03-30 1994-10-07 Toyota Motor Corp 移動体認識装置
JPH06333200A (ja) * 1993-05-21 1994-12-02 Toshiba Corp 車載用監視システム
JPH0717328A (ja) * 1993-06-30 1995-01-20 Mitsubishi Motors Corp 車両用周辺認識補助装置
JPH07186833A (ja) * 1993-12-24 1995-07-25 Nissan Motor Co Ltd 車両用周囲状況表示装置
JPH0986314A (ja) * 1995-09-27 1997-03-31 Yazaki Corp 車両用後側方監視装置
JPH09223227A (ja) * 1996-02-15 1997-08-26 Honda Motor Co Ltd 車両用環境認識装置
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置
JP2000242797A (ja) * 1999-02-18 2000-09-08 Toyota Motor Corp 画像の運動検出方法及び物体検出装置
JP2001266160A (ja) * 2000-03-22 2001-09-28 Toyota Motor Corp 周辺認識方法および周辺認識装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4851444A (ja) * 1971-11-02 1973-07-19
CH564778A5 (ja) 1972-03-30 1975-07-31 Leitz Ernst Gmbh
DE2215576B2 (de) * 1972-03-30 1976-06-10 Zusatz in: 22 56 850 Zusatz in: 22 56 885 Zusatz in: 22 56 915 Ernst Leitz GmbH, 6330 Wetzlar Einrichtung zum messen, regeln und/ oder anzeigen der bewegung von landfahrzeugen
DE3637165A1 (de) 1986-10-31 1988-05-05 Rainer Ashauer Verfahren und einrichtung zum verhindern von zusammenstoessen, insbesondere fuer kraftfahrzeuge im strassenverkehr
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3063481B2 (ja) 1993-09-21 2000-07-12 日産自動車株式会社 車両用物体検出装置
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
JP3117902B2 (ja) 1995-07-28 2000-12-18 株式会社アイチコーポレーション 高所作業車の作業範囲規制装置
US5886744A (en) * 1995-09-08 1999-03-23 Intel Corporation Method and apparatus for filtering jitter from motion estimation video data
JPH09249083A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 移動体識別装置および方法
JP3456843B2 (ja) * 1996-07-22 2003-10-14 富士通株式会社 前方車間距離計測装置
JPH10341430A (ja) * 1997-06-06 1998-12-22 Yazaki Corp 前方車両検出方法及び車両前方監視システム
JP3841323B2 (ja) * 1997-07-07 2006-11-01 矢崎総業株式会社 車両用後側方監視方法及び車両用後側方監視装置
JPH1142988A (ja) * 1997-07-25 1999-02-16 Yazaki Corp 車両用後側方監視方法及び車両用後側方監視装置
JP3464368B2 (ja) * 1997-07-25 2003-11-10 矢崎総業株式会社 車両用後側方監視装置
JPH11213295A (ja) * 1998-01-28 1999-08-06 Kansei Corp 車両割り込み検出回路及びそれを用いた追突警報装置
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
JP4031122B2 (ja) 1998-09-30 2008-01-09 本田技研工業株式会社 差分画像を用いた被写体の検出装置
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP2000207693A (ja) * 1999-01-08 2000-07-28 Nissan Motor Co Ltd 車載用障害物検出装置
JP2000241120A (ja) * 1999-02-23 2000-09-08 Fanuc Ltd 計測装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282655A (ja) * 1993-03-30 1994-10-07 Toyota Motor Corp 移動体認識装置
JPH06333200A (ja) * 1993-05-21 1994-12-02 Toshiba Corp 車載用監視システム
JPH0717328A (ja) * 1993-06-30 1995-01-20 Mitsubishi Motors Corp 車両用周辺認識補助装置
JPH07186833A (ja) * 1993-12-24 1995-07-25 Nissan Motor Co Ltd 車両用周囲状況表示装置
JPH0986314A (ja) * 1995-09-27 1997-03-31 Yazaki Corp 車両用後側方監視装置
JPH09223227A (ja) * 1996-02-15 1997-08-26 Honda Motor Co Ltd 車両用環境認識装置
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置
JP2000242797A (ja) * 1999-02-18 2000-09-08 Toyota Motor Corp 画像の運動検出方法及び物体検出装置
JP2001266160A (ja) * 2000-03-22 2001-09-28 Toyota Motor Corp 周辺認識方法および周辺認識装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005332218A (ja) * 2004-05-20 2005-12-02 Nissan Motor Co Ltd 運転支援装置
JP4586416B2 (ja) * 2004-05-20 2010-11-24 日産自動車株式会社 運転支援装置
JPWO2006009257A1 (ja) * 2004-07-23 2008-05-01 松下電器産業株式会社 画像処理装置および画像処理方法
JP4642757B2 (ja) * 2004-07-23 2011-03-02 パナソニック株式会社 画像処理装置および画像処理方法
JP2006054662A (ja) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
JP2008531388A (ja) * 2005-03-03 2008-08-14 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 車両の車線変更時の衝突回避方法及び装置
JP2006318271A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車載画像処理装置、および画像処理方法
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
JP4626400B2 (ja) * 2005-05-25 2011-02-09 日産自動車株式会社 俯瞰画像表示装置及び俯瞰画像表示方法
JP2006333009A (ja) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2008187580A (ja) * 2007-01-31 2008-08-14 Optrex Corp 障害物検出装置、車両用表示装置及び障害物検出方法
JP2008308011A (ja) * 2007-06-14 2008-12-25 Fujitsu Ten Ltd 運転支援装置および画像表示装置
JP2009230224A (ja) * 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2011159278A (ja) * 2009-11-19 2011-08-18 Robert Bosch Gmbh 後方視野用の複数機能カメラシステム
US8953014B2 (en) 2009-11-19 2015-02-10 Robert Bosch Gmbh Rear-view multi-functional camera system with three-dimensional data analysis features
US8988493B2 (en) 2009-11-19 2015-03-24 Robert Bosch Gmbh Rear-view multi-functional camera system with driving corridor monitoring features
US9061635B2 (en) 2009-11-19 2015-06-23 Robert Bosch Gmbh Rear-view multi-functional camera system with panoramic image display features
JP2012118886A (ja) * 2010-12-02 2012-06-21 Fujitsu Ltd 接触可能性検知装置、接触可能性検知方法、及びプログラム
JP2012123751A (ja) * 2010-12-10 2012-06-28 Toshiba Alpine Automotive Technology Corp 車両用画像処理装置および車両用画像処理方法
JP2013118508A (ja) * 2011-12-02 2013-06-13 Toyota Motor Corp 画像処理装置及び画像処理方法
WO2017038395A1 (ja) * 2015-08-31 2017-03-09 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2017038395A1 (ja) * 2015-08-31 2018-02-22 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
KR20180112010A (ko) * 2016-03-15 2018-10-11 코너트 일렉트로닉스 리미티드 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
KR102104005B1 (ko) * 2016-03-15 2020-04-24 코너트 일렉트로닉스 리미티드 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차

Also Published As

Publication number Publication date
DE60009114T2 (de) 2004-08-05
WO2001021446A1 (en) 2001-03-29
KR100466458B1 (ko) 2005-01-14
EP1223083A4 (en) 2003-03-19
CN1373720A (zh) 2002-10-09
JP4091775B2 (ja) 2008-05-28
KR20020033817A (ko) 2002-05-07
EP1223083A1 (en) 2002-07-17
DE60009114D1 (de) 2004-04-22
US6993159B1 (en) 2006-01-31
CN1160210C (zh) 2004-08-04
JP3300340B2 (ja) 2002-07-08
EP1223083B1 (en) 2004-03-17

Similar Documents

Publication Publication Date Title
JP3300340B2 (ja) 運転支援装置
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US9672432B2 (en) Image generation device
JP4687160B2 (ja) 周辺監視装置
JP4583883B2 (ja) 車両用周囲状況表示装置
WO2012043184A1 (ja) 駐車支援装置
JP5516998B2 (ja) 画像生成装置
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2012071635A5 (ja)
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
JP2004056763A (ja) 監視装置、監視方法および監視用プログラム
KR20100113959A (ko) 차량 주위 화상 표시 시스템
JP2002366937A (ja) 車外監視装置
KR20090031997A (ko) 차량용 주변 감시 장치 및 영상 표시 방법
WO2002080557A1 (en) Drive supporting device
JP2004114977A (ja) 移動体周辺監視装置
JP2003044996A (ja) 障害物検出装置
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP2001114047A (ja) 車両周囲状況提示装置
JP2012257106A (ja) 画像生成装置
JP5271186B2 (ja) 車両用画像表示装置
JP2013200820A (ja) 画像送受信システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050623

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050728

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080229

R150 Certificate of patent or registration of utility model

Ref document number: 4091775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140307

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term