JP2008205914A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2008205914A
JP2008205914A JP2007040765A JP2007040765A JP2008205914A JP 2008205914 A JP2008205914 A JP 2008205914A JP 2007040765 A JP2007040765 A JP 2007040765A JP 2007040765 A JP2007040765 A JP 2007040765A JP 2008205914 A JP2008205914 A JP 2008205914A
Authority
JP
Japan
Prior art keywords
image
dimensional object
vehicle
image processing
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007040765A
Other languages
English (en)
Other versions
JP4969269B2 (ja
Inventor
Kosuke Imamura
浩輔 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2007040765A priority Critical patent/JP4969269B2/ja
Priority to US11/942,386 priority patent/US8330816B2/en
Publication of JP2008205914A publication Critical patent/JP2008205914A/ja
Application granted granted Critical
Publication of JP4969269B2 publication Critical patent/JP4969269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 車両周辺に存在する立体物を正確に認識し表示することができる「画像処理装置」を提供する。
【解決手段】 画像処理装置100は、撮像カメラにより撮像された撮像データを受け取り、トップビュー画像を生成する視点変換部120と、撮像カメラにより撮像された撮像データから立体物を検出し、立体物を抽出する立体物抽出部122と、立体物抽出部122により抽出された立体物に応じた立体物画像を生成する立体物画像生成部124と、視点変換部120により生成されたトップビュー画像に、立体物画像生成部124により生成された立体物画像を合成する画像合成部126を含んでいる。
【選択図】 図3B

Description

本発明は、車両に搭載された撮像カメラにより撮像された車両周辺の画像を表示する画像処理装置に関し、特に、撮像した画像を車両上方の視点から見下ろした画像に変換し、これを表示する技術に関する。
自動車への撮像カメラの搭載率の向上に伴い、撮像データを用いたアプリケーションが拡大している。このようなアプリケーションの多くは、運転者の運転を支援し、走行時や駐車時の車両の安全性を向上させるものである。例えば、車両周辺の障害物を撮影し、表示するようなシステムであれば、複数の超広角の撮像カメラを用いて車両の周囲を撮像し、撮像した画像データを合成して自車周辺の360°を映し出す。この際、撮像データを車両上方の視点から見下ろした画像(以下、トップビュー画像という)に変換し、これをディスプレイに表示することもできる。
特許文献1は、車両周辺の障害物の有無に応じて、車両周囲の映像の出力方法を変更する技術を開示している。シフトポジションがリバースの位置にあると、俯瞰映像を表示する。このとき、距離センサにより車両周囲に障害物が存在するか否かを判定する。障害物が存在すると判定されると、障害物を写し出す方向の撮像映像に表示を切り替える。
特許文献2は、車両周辺の監視システムに関し、トップビュー画像を生成する際、複数のカメラの視野範囲が重複する範囲では、物体の画像が不鮮明になるため、例外モードにおいて、重複する範囲を写し出す画像を合成せずに個別に表示する。
特開2006−27556号 特開2002−19556号
図1は、画像処理装置によるトップビュー画像の生成方法を説明する概念図である。車両10のサイドミラーに設置された撮像カメラ12は、車両10の左側方を撮像し、撮像データを出力する。車両周辺を表示するトップビュー画像は、撮像データが映し出す車両周辺の地面を基準に生成され、表示エリア14を映し出す。例えば、表示エリア14内に柱状の立体物16があった場合、トップビュー画像では、立体物16は、撮像カメラ12から地面方向に投影するような間延びし、かつ、上方部が広がった立体物表示18として映し出される。また、トップビュー画像は、車両周辺の地面を基準として生成されるため、必ずしも立体物16の全体像を表示できるわけではなく、立体物16の上方部が広がるように表示されたり、表示されないこともある。
図2は、サイドビュー画像とトップビュー画像の関係を示す図である。サイドビュー画像とは、図1に示すようなサイドミラーに設置された撮像カメラにより撮像された画像である。車両の前方、後方および側方を撮像した撮像データを視点変換しトップビュー画像を生成すると、それぞれの画像の結合部において、立体物が消失したり、変形し表示されたりする。また、例えば、図2(a)に示す車両側方を撮像したサイドビュー画像20には、はっきりと人物像22が映し出されているにも関わらず、図2(b)に示すトップビュー画像24には、表示される画面範囲や結合部26の影響により人物像22の一部しか表示されない。また、トップビュー画像24の端の領域部において、図2(a)に示す人物像23が映し出されているにも関わらず、図2(b)に示すトップビュー画像24には、画像表示範囲が限定されるために、人物像23の上方部が広がるように表示されたり、かつ、立体物の上方部が表示されないこともある。このため、ユーザは、トップビュー画像から車両の周辺にある立体物が何かを正確に認識することができず、トップビュー画像を駐車支援等に使用する場合に問題があった。
本発明は、上記の課題を解決するために成されたものであり、車両周辺に存在する立体物を正確に認識し表示することができる画像処理装置を提供することを目的とする。
さらに本発明は、撮像データを表示することで運転支援を行うことができるナビゲーションシステムを提供する。
本発明に係る画像処理装置は、自車周辺の画像をディスプレイに表示するものであって、自車周辺を撮像し、撮像データを出力する撮像手段と、前記撮像データを車両上方の視点から見下ろした画像に視点変換する視点変換手段と、前記撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出する抽出手段と、前記抽出された立体物に応じた立体物画像を生成する立体物画像生成手段と、前記視点変換された画像に生成された立体物画像を合成する画像合成手段と、画像合成手段により合成された画像をディスプレイに表示する表示手段とを有する。
好ましくは、抽出手段は、立体物の輪郭を抽出し、立体物画像生成手段は、抽出された立体物の輪郭に応じた立体物画像を生成する。また、抽出手段は、立体物の移動方向を抽出し、立体物画像生成手段は、抽出された立体物の移動方向に応じた立体物画像を生成するようにしてもよい。さらに立体物画像生成手段は、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成することができる。好ましくは画像合成手段は、周辺画像の色から識別されるように立体物画像の色を可変し、周辺画像の色と比較してコントラスト差が大きい立体物画像の色が選択されるようにしてもよい。
好ましくは、抽出手段は、ステレオビジョンの原理を用いて立体物を検出したり、フレーム間差分法またはオプティカルフローを用いて立体物の輪郭情報と移動方向情報を抽出する。好ましくは画像合成手段は、前記抽出手段により抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも1つに応じて、立体物画像の向きおよび大きさを決定し、また、視点変換された画像に含まれる特定の立体物表示を基準として立体物画像の合成位置を決定することができる。さらに撮像手段は、複数の撮像カメラを含み、自車の前方、後方および側方を撮像し、これらの撮像データが視点変換され、自車を中心とした全方向の画像が表示される。
本発明に係る画像処理プログラムは、自車周辺の画像をディスプレイに表示するものであって、自車周辺を撮像し、前記撮像データに含まれる自車と相対速度がある立体物、もしくは周辺環境と相対速度がある立体物抽出するステップと、抽出された立体物に応じた立体物画像を生成するステップと、撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、視点変換された画像に前記立体物画像を合成するステップと、合成された画像をディスプレイに表示するステップとを有する。
本発明によれば、視点変換された画像の結合部の影響により消失または変形し得るような立体物、あるいは視点変換された画像表示範囲の限定により消失または変形し得るような立体物であっても、撮像データから抽出した立体物に応じた立体物画像を生成し、これを視点変換された画像に合成するようにしたので、車両周辺に存在する立体物の存在を的確にユーザに知らせることができ、撮像データによる安全性の高い運転支援を行うことができる。
以下、本発明の最良の実施の形態について図面を参照して詳細に説明する。
図3Aは、本発明の実施例に係る画像処理装置100の構成を示すブロック図である。画像処理装置100は、ユーザが指示を入力する入力部102と、車両の速度やギアポジション等の車両の状態を出力する車両状態センサ104と、画像処理プログラムに従い各部を制御する制御部106と、ディスプレイ110にトップビュー画像を表示する表示制御部108と、車両周辺を撮像する撮像カメラ112〜118とを含んで構成される。
図3Bは、制御部106の機能的な構成を示すブロック図である。制御部106は、撮像カメラ112〜118により撮像された撮像データを受け取り、車両の上方から見下ろすようなトップビュー画像を生成する視点変換部120と、撮像カメラ112〜118により撮像された撮像データに含まれる動きのある立体物、すなわち自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を検出し、検出された立体物を抽出する立体物抽出部122と、立体物抽出部122により抽出された立体物に応じた立体物画像を生成する立体物画像生成部124と、視点変換部120により生成されたトップビュー画像に立体物画像生成部124により生成された立体物画像を合成する画像合成部126を含んでいる。
撮像カメラ112〜118は、例えば、CCD撮像素子と160°以上の視野角を持つ魚眼レンズを含む光学系を含んで構成されている。撮像カメラ112は、図4に示すように、例えば、車両前方のバンパーに取り付けられ、車両の前方を視野角θ1で撮像する。撮像カメラ114、116は、例えば車両のサイドミラーなどに取り付けられ、そこから車両の側方を視野角θ2、θ3で撮像する。撮像カメラ118は、車両の後部バンパーナンバープレート付近などに取り付けられ、車両の後方を視野角θ4で撮像する。撮像カメラ112〜118の視野角θ1、θ2、θ3、θ4は、それぞれが隣接する視野角と端部がオーバーラップし、撮像カメラ112〜118により車両の全周辺を撮像できるようになっている。本実施例では、4つの撮像カメラを用いて車両の周辺を撮像するが、これに限らず、より多くの撮像カメラを用いて撮像してもよい。また、撮像カメラの取り付け位置は、必ずしもバンパー、サイドミラーに限るものではない。
制御部106は、好ましくはROMやRAM等のメモリを含み、メモリに画像処理プログラムを格納している。制御部106は、画像処理プログラムに従い、トップビュー画像を表示するとき、当該トップビュー画像に立体物画像生成部124により生成された立体物画像を合成する。
次に、画像処理装置100におけるトップビュー画像の表示動作について図5のフローチャートを参照して説明する。先ず、制御部106は、車両状態センサ104の出力を監視し、車両が一定の速度以下になったとき、または後進したとき、トップビュー画像の表示モードへ切り替える(ステップS101)。
立体物抽出部122は、撮像カメラ112〜118によって撮像された撮像データを受取り、撮像データから立体物を検出する(ステップS102)。車両と車両周辺の立体物との間に相対的な移動がある場合には、2つの撮像カメラによるステレオビジョンの原理を用いて立体物を検出することができる。1つの撮像カメラであっても立体物に動きがある場合や、自車に動きがある場合は、時間差のある画像を用いる単眼ステレオ法により立体物を検出することができる。また、車両と立体物が静止しているとき、あるいは2つの撮像カメラによる検出が難しい場合には、超音波センサ、ミリ波センサなどを併用し、撮像データに含まれる動きのある立体物を検出する。
次に、立体物抽出部122は、検出した立体物の抽出を行う。抽出は、立体物の全体であってもよいが、好ましくは立体物の輪郭および立体物の移動方向を抽出する(ステップS103)。立体物の輪郭および移動方向は、例えば、撮像データのフレーム間差分法を用いて抽出することができる。
図6は、撮像カメラ114が撮像した車両左側方の撮像データを示し、図6(a)は、t秒時のフレームデータを示し、図6(b)は、t秒から△(デルタ)t秒(微小時間)経過後のフレームデータを示している。図6(a)に示すフレームデータ130には、例えば、人物像132が映し出されており、図6(b)に示すフレームデータ134には、△t秒後の人物像136が映し出されている。フレームデータ130に表示された人物像132が立体物として検出されているとき、立体物抽出部122は、人物像132の輪郭を抽出するとともに、2つのフレームデータ132、134の差分から人物像136の移動ベクトルVを抽出することができる。
また、図7に示すように△t秒時のフレームデータ138に映し出された人物像140が、t秒時の人物像132よりも拡大され撮像された場合、人物が手前(車両)方向に移動していることが抽出される。立体物の輪郭と移動方向の抽出方法は、フレーム間差分法に限られず、オプティカルフローであってもよい。オプティカルフローとは、画像処理の一種であり、異なる時間に撮影された2枚の画像間で同じ対象の対応付けを行い、その移動量をベクトルデータで示す方法である。
次に、立体物画像生成部124は、立体物抽出部122により抽出された立体物に応じた立体物画像を生成する(ステップS104)。立体物画像生成部124は、抽出された立体物を直接表すような立体物画像、立体部の輪郭を強調するような立体物画像、立体物の陰影を表す立体物画像を生成することができる。陰影の位置は、立体物の移動方向に応じて決定され、例えば、立体物の移動方向と反対の方向に一定の角度で形成することができる。立体物画像生成部124によって生成された立体物画像は、立体物の移動方向とともに画像合成部126に出力される。
一方、撮像カメラ112〜118によって撮像された撮像データは、視点変換部120に出力され、視点変換部120は、受け取った撮像データを視点変換し、視点変換された撮像画像を結合してトップビュー画像を形成する(ステップS105)。
それぞれの撮像データは、互いに重複した領域やトップビュー画像に使用しない領域を含んでいる。このため、視点変換部120は、各撮像データを車両の上から見下ろしたような視点変換補正をそれぞれ行い、その各々の視点変換画像から、トップビューに仕様する領域を切り出し、結合する。視点変換部120は、生成されたトップビュー画像を画像合成部126に出力する。
次に、画像合成部126は、視点変換部120から受け取ったトップビュー画像に、立体物画像生成部124から受け取った立体物画像を合成する(ステップS106)。立体物画像を合成する位置は、撮像データに立体物が含まれた位置に対応させる。また、画像合成部126は、立体物の移動方向、大きさ、または自車からの距離に応じて、立体物画像の向きおよび大きさを決定する。
次に、画像合成部126は、立体物画像の色を決定する(ステップS107)。好ましくは、周辺画像と識別可能な色、または周囲の色とのコントラスト差が大きくなるような色を選択し、これを立体物画像に付す。画像合成部126は、例えば、予め用意された青色、黄色、赤色等の複数の色から周囲の色彩と最もコントラスト差が大きい色を選択し、立体物画像の色を決定する。最後に、制御部106は、表示制御部108を介して、画像合成部126により立体物画像が合成されたトップビュー画像をディスプレイ110に表示する(ステップS108)。
図8は、立体物画像の合成例を示す図であり、図8(a)は、立体物画像を合成する前のトップビュー画像、図8(b)は、立体物画像を合成した後のトップビュー画像を示している。画像合成部126は、図8(a)に示すようなトップビュー画像において、画像の結合部151に立体物表示150が含まれているとき、図8(b)に示すように、立体物表示150の位置に対応するように立体物画像152を合成する。好ましくは立体物画像152は、立体物表示150に連結するように合成されるか、立体物表示150を上書きするように立体物表示150上に合成される。これにより、図8(a)に示すように、画像の結合部151において立体物表示150の一部が消失したり、変形しても、図8(b)に示すように、立体物画像152により立体物表示150の正確な輪郭を表すことができる。
また、画像合成部126は、立体物画像152の向きを立体物の移動方向に応じて可変するようにしてもよい。例えば、立体物表示150の移動方向Pが車両と平行であるとき、移動方向と反対方向の上方60°ぐらいの位置から立体物に光を照射したときに形成される陰影を表示する。さらに、画像合成部126は、トップビュー画像に合わせて立体物画像152のサイズを調整することができる。
図9は、移動方向に応じたその他の合成例を示す図である。例えば、立体物が車両方向に移動しているとき、立体物表示152は、その移動方向に応じて図9(a)に示すような向きに合成される。同様に、立体物が車両後方に移動しているとき、図9(b)に示すような向きで立体物画像152が合成される。
本実施例の画像処理装置では、立体物画像をトップビュー画像に合成することにより、ユーザは、トップビュー画像の結合部においても立体物を正確に認識することができる。なお、立体物画像を合成することにより、立体物画像の背面にある画像が隠れてしまうことがあるが、この隠された画像がユーザにとって必要な情報である場合には、立体物画像を半透明に表示したり、輪郭だけを表示しその内部を透明にしてもよい。例えば、ユーザは、入力部102を操作し、立体物画像の色彩を半透明に選択し、立体物画像によって隠されてしまった画像を確認することができる。
また本実施例では、車両状態センサ104の出力に応じて画像処理プログラムが起動したが、これに限られず、ユーザの入力操作に従い画像処理プログラムを起動してもよい。
図10は、本実施例の画像処理装置を利用したナビゲーションシステムを示す図である。ナビゲーションシステム200は、GPS測位装置210、自律航法測位装置220、これらの測位装置からの位置情報に基づき自車位置周辺の道路地図をディスプレイ110に表示したり、目的地までの経路を探索する制御部230、スピーカ240、および本実施例に係る画像処理装置100を含んでいる。
制御部230は、自車が一定の速度以上で走行しているとき、自車位置周辺の道路地図をディスプレイ110に表示するが、例えば目的地が駐車場であって当該駐車場に接近したような場合、トップビュー画像の表示モードに切替え、ディスプレイ110にトップビュー画像を表示し、ユーザの駐車支援を行う。
トップビュー画像の表示モードへの切替えは、自車が停止するとき、自車が発車するとき、駐車場に駐車するとき等を判定して自動的に行うことができるが、ユーザ入力により切替えを行うようにしてもよい。
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本発明に係る画像処理装置は、車両の駐車動作時の駐車支援システムとして利用することができる。利用態様として、ナビゲーション装置や他のコンピュータ等の電子装置と機能的に結合することが可能である。
トップビュー画像の生成方法を説明する概念図である。 サイドビュー画像とトップビュー画像との関係を示す図である。図2(a)は、サイドビュー画像を示す図であり、図2(b)は、トップビュー画像を示す図である。 本実施例に係る画像処理装置の構成を示すブロック図である。 制御部の機能的な構成を示すブロック図である。 車両に取り付けられた撮像カメラの配置を示す平面図である。 本実施例の画像処理装置のトップビュー画像表示動作を説明するフローチャートである。 車両側方の撮像データを示す図である。図6(a)は、t秒後のフレームを示す図であり、図6(b)は、t秒後から△t秒(微小時間)経過後のフレームを示す図である。 △t秒(微小時間)経過後のフレームを示す図である。 立体物画像の合成例を示す図である。図8(a)は合成前のトップビュー画像を示す図であり、図8(b)は、合成後のトップビュー画像を示す図である。 その他の合成例を示す図である。 本実施例の画像処理装置を利用したナビゲーションシステムを示す図である。
100:画像処理装置 102:入力部
104:車両状態センサ 106:マイクロコントローラ
108:表示制御部 110:ディスプレイ
112〜118:撮像カメラ 120:視点変換部
122:立体物抽出部 124:立体物画像生成部
126:画像合成部 130:フレームデータ
132:人物像 134:フレームデータ
136、140:人物像 150:立体物表示
151:結合部 152:立体物画像

Claims (21)

  1. 自車周辺の画像をディスプレイに表示する画像処理装置であって、
    自車周辺を撮像し、撮像データを出力する撮像手段と、
    前記撮像データを車両上方の視点から見下ろした画像に視点変換する視点変換手段と、
    前記撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出する抽出手段と、
    前記抽出された立体物に応じた立体物画像を生成する立体物画像生成手段と、
    前記視点変換された画像に生成された立体物画像を合成する画像合成手段と、
    画像合成手段により合成された画像をディスプレイに表示する表示手段と、
    を有する画像処理装置。
  2. 前記抽出手段は、さらに立体物の輪郭を抽出し、前記立体物画像生成手段は、抽出された立体物の輪郭に応じた立体物画像を生成する、請求項1に記載の画像処理装置。
  3. 前記抽出手段は、さらに立体物の移動方向、大きさ、および自車からの距離の少なくとも1つを抽出し、前記立体物画像生成手段は、抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも1つに応じた立体物画像を生成する、請求項1に記載の画像処理装置。
  4. 前記立体物画像生成手段は、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成する、請求項1ないし3いずれか1つに記載の画像処理装置。
  5. 前記画像合成手段は、周辺画像の色から識別されるように立体物画像の色を可変する、請求項1ないし4いずれか1つに記載の画像処理装置。
  6. 周辺画像の色と比較してコントラスト差が大きい立体物画像の色が選択される、請求項5に記載の画像処理装置。
  7. 前記画像合成手段は、前記抽出手段により抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも1つに応じて、立体物画像の向きおよび大きさを決定する、請求項1ないし6いずれか1つに記載の画像処理装置。
  8. 前記画像合成手段は、視点変換された画像に含まれる特定の立体物を基準として、立体物画像の合成位置を決定する、請求項1ないし7いずれか1つに記載の画像処理装置。
  9. 前記撮像手段は、複数の撮像カメラを含み、自車の前方、後方および側方を撮像する、請求項1ないし8いずれか1つに記載の画像処理装置。
  10. 請求項1ないし9いずれか1つに記載の画像処理装置と、ナビゲーション装置とを含むナビゲーションシステム。
  11. 前記ナビゲーション装置は、自車が停止しているか否かまたは低速走行しているか否かの少なくとも一方を判定する判定手段を有し、前記表示手段は、前記判定手段により自車が停止または低速走行と判定されたとき合成画像を表示する、請求項10に記載のナビゲーションシステム。
  12. 自車周辺の画像をディスプレイに表示する画像処理プログラムであって、
    自車周辺を撮像し、撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出するステップと、
    抽出された立体物に応じた立体物画像を生成するステップと、
    撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、
    視点変換された画像に前記立体物画像を合成するステップと、
    合成された画像をディスプレイに表示するステップと、
    を有する画像処理プログラム。
  13. 前記抽出するステップは、立体物の輪郭を抽出し、前記生成するステップは、抽出された立体物の輪郭に応じた立体物画像を生成する、請求項12に記載の画像処理プログラム。
  14. 前記抽出するステップは、立体物の移動方向、大きさ、および自車からの距離の少なくとも1つを抽出し、前記生成するステップは、抽出された立体物の移動方向、大きさ、および自車からの距離の少なくとも1つに応じた立体物画像を生成する、請求項12に記載の画像処理プログラム。
  15. 前記生成するステップは、抽出された立体物を直接表す立体物画像、立体物の輪郭を強調した立体物画像、または陰影を付加した立体物画像のいずれかを生成する、請求項12ないし14いずれか1つに記載の画像処理プログラム。
  16. 合成するステップは、周辺画像の色から識別されるように立体物画像の色を可変する、請求項12ないし15いずれか1つに記載の画像処理プログラム。
  17. 合成するステップは、抽出された立体物の移動方向に応じて立体物画像の向きを決定する、請求項12ないし16いずれか1つに記載の画像処理プログラム。
  18. 合成するステップは、視点変換された画像に含まれる特定の立体物を基準として、立体物画像の合成位置を決定する、請求項12ないし17いずれか1つに記載の画像処理プログラム。
  19. 視点変換するステップは、自車の前方、後方および側方の撮像データを視点変換し、自車を中心とする全方向の撮像データを生成する、請求項12に記載の画像処理プログラム。
  20. 自車周辺の画像をディスプレイに表示する画像表示方法であって、
    自車周辺を撮像し、撮像データに含まれる自車と相対速度がある立体物もしくは周辺環境と相対速度がある立体物を抽出するステップと、
    抽出された立体物に応じた立体物画像を生成するステップと、
    撮像データを車両上方の視点から見下ろした画像に視点変換するステップと、
    視点変換された画像に前記立体物画像を合成するステップと、
    合成された画像をディスプレイに表示するステップと、
    を有する画像表示方法。
  21. ナビゲーション装置において、自車が停止するときまたは低速走行するときに合成された画像を表示する、請求項20に記載の画像表示方法。
JP2007040765A 2007-02-21 2007-02-21 画像処理装置 Active JP4969269B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007040765A JP4969269B2 (ja) 2007-02-21 2007-02-21 画像処理装置
US11/942,386 US8330816B2 (en) 2007-02-21 2007-11-19 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007040765A JP4969269B2 (ja) 2007-02-21 2007-02-21 画像処理装置

Publications (2)

Publication Number Publication Date
JP2008205914A true JP2008205914A (ja) 2008-09-04
JP4969269B2 JP4969269B2 (ja) 2012-07-04

Family

ID=39706278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007040765A Active JP4969269B2 (ja) 2007-02-21 2007-02-21 画像処理装置

Country Status (2)

Country Link
US (1) US8330816B2 (ja)
JP (1) JP4969269B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109451A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2010193198A (ja) * 2009-02-18 2010-09-02 Aisin Seiki Co Ltd 物体下端位置検出装置及び物体下端位置検出プログラム
JP2010226449A (ja) * 2009-03-24 2010-10-07 Aisin Seiki Co Ltd 障害物検出装置
JP2010228649A (ja) * 2009-03-27 2010-10-14 Denso Corp 車外撮影画像表示システム。
JP2010239190A (ja) * 2009-03-30 2010-10-21 Aisin Seiki Co Ltd 障害物検出装置
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置
WO2012169355A1 (ja) * 2011-06-09 2012-12-13 アイシン精機株式会社 画像生成装置
WO2013031161A1 (ja) * 2011-08-26 2013-03-07 パナソニック株式会社 運転支援装置
JP2017121058A (ja) * 2015-12-31 2017-07-06 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. 車両用監視システム
JP7502440B2 (ja) 2019-12-13 2024-06-18 コノート、エレクトロニクス、リミテッド 環境のトポグラフィを測定するための方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
US20120069153A1 (en) * 2009-05-25 2012-03-22 Panasonic Corporation Device for monitoring area around vehicle
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
DE102009050519A1 (de) 2009-10-23 2011-04-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation
KR101803973B1 (ko) * 2011-05-09 2017-12-01 엘지이노텍 주식회사 주차용 카메라 시스템과 그의 구동 방법
US9019347B2 (en) 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
JP5870608B2 (ja) * 2011-10-13 2016-03-01 アイシン精機株式会社 画像生成装置
US9580013B2 (en) * 2011-11-02 2017-02-28 Magna Electronics Inc. Vehicle vision system with asymmetric anamorphic lens
JP5811189B2 (ja) * 2011-12-28 2015-11-11 トヨタ自動車株式会社 障害物判定装置
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
US9122934B2 (en) * 2013-12-27 2015-09-01 Automotive Research & Testing Center Object detection method with a rising classifier effect and object detection device with the same
JP6257798B2 (ja) * 2014-10-31 2018-01-10 三菱電機株式会社 画像処理装置及び画像処理方法
KR102270677B1 (ko) * 2015-01-13 2021-06-29 현대모비스 주식회사 차량 안전 주행 장치
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的***及方法
RU2741680C1 (ru) * 2017-07-07 2021-01-28 Ниссан Мотор Ко., Лтд. Способ помощи парковки для устройства управления парковкой и устройство управления парковкой
US10497257B2 (en) * 2017-08-31 2019-12-03 Nec Corporation Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation
KR20210030523A (ko) * 2019-09-09 2021-03-18 현대자동차주식회사 차량 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07186833A (ja) * 1993-12-24 1995-07-25 Nissan Motor Co Ltd 車両用周囲状況表示装置
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置
JP2004213489A (ja) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd 車両用運転支援装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2006333009A (ja) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法
JP2007028363A (ja) * 2005-07-20 2007-02-01 Alpine Electronics Inc トップビュー画像生成装置及びトップビュー画像表示方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US6421081B1 (en) * 1999-01-07 2002-07-16 Bernard Markus Real time video rear and side viewing device for vehicles void of rear and quarter windows
EP1179958B1 (en) 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
EP1168248A3 (en) * 2000-06-30 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device
JP2002019556A (ja) 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
JP3988551B2 (ja) * 2002-07-04 2007-10-10 日産自動車株式会社 車両周囲監視装置
US7602413B2 (en) * 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
JP4178987B2 (ja) * 2003-02-14 2008-11-12 株式会社ニコン 電子カメラ
JP4214841B2 (ja) * 2003-06-11 2009-01-28 株式会社デンソー 周囲状況認識システム
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
US7840048B2 (en) * 2004-05-26 2010-11-23 Guardian Technologies International, Inc. System and method for determining whether there is an anomaly in data
JP4590962B2 (ja) 2004-07-21 2010-12-01 日産自動車株式会社 車両用周辺監視装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP4745769B2 (ja) * 2005-09-13 2011-08-10 キヤノン株式会社 カメラ雲台装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
US7834910B2 (en) * 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US7646311B2 (en) * 2007-08-10 2010-01-12 Nitin Afzulpurkar Image processing for a traffic control system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07186833A (ja) * 1993-12-24 1995-07-25 Nissan Motor Co Ltd 車両用周囲状況表示装置
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置
JP2004213489A (ja) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd 車両用運転支援装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2006333009A (ja) * 2005-05-25 2006-12-07 Nissan Motor Co Ltd 俯瞰画像表示装置及び俯瞰画像表示方法
JP2007028363A (ja) * 2005-07-20 2007-02-01 Alpine Electronics Inc トップビュー画像生成装置及びトップビュー画像表示方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109451A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2010193198A (ja) * 2009-02-18 2010-09-02 Aisin Seiki Co Ltd 物体下端位置検出装置及び物体下端位置検出プログラム
JP2010226449A (ja) * 2009-03-24 2010-10-07 Aisin Seiki Co Ltd 障害物検出装置
JP2010228649A (ja) * 2009-03-27 2010-10-14 Denso Corp 車外撮影画像表示システム。
JP2010239190A (ja) * 2009-03-30 2010-10-21 Aisin Seiki Co Ltd 障害物検出装置
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置
WO2012169355A1 (ja) * 2011-06-09 2012-12-13 アイシン精機株式会社 画像生成装置
US9672432B2 (en) 2011-06-09 2017-06-06 Aisin Seiki Kabushiki Kaisha Image generation device
WO2013031161A1 (ja) * 2011-08-26 2013-03-07 パナソニック株式会社 運転支援装置
JPWO2013031161A1 (ja) * 2011-08-26 2015-03-23 パナソニックIpマネジメント株式会社 運転支援装置
US10235575B2 (en) 2011-08-26 2019-03-19 Panasonic Intellectual Property Management Co., Ltd. Driving assistance apparatus
US10970562B2 (en) 2011-08-26 2021-04-06 Panasonic Intellectual Property Management Co., Ltd. Display apparatus
US11657618B2 (en) 2011-08-26 2023-05-23 Panasonic Intellectual Property Management Co., Ltd. Display apparatus
JP2017121058A (ja) * 2015-12-31 2017-07-06 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. 車両用監視システム
JP7502440B2 (ja) 2019-12-13 2024-06-18 コノート、エレクトロニクス、リミテッド 環境のトポグラフィを測定するための方法

Also Published As

Publication number Publication date
JP4969269B2 (ja) 2012-07-04
US8330816B2 (en) 2012-12-11
US20080198226A1 (en) 2008-08-21

Similar Documents

Publication Publication Date Title
JP4969269B2 (ja) 画像処理装置
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
CN104442567B (zh) 交通工具图像显示***中的物体突显和传感
JP5454934B2 (ja) 運転支援装置
EP2763407B1 (en) Vehicle surroundings monitoring device
JP4573242B2 (ja) 運転支援装置
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JPWO2018042801A1 (ja) 撮像装置
WO2010070920A1 (ja) 車両周囲画像生成装置
JPWO2011036892A1 (ja) 運転支援表示装置
JP5618138B2 (ja) 駐車支援装置
JP2009118415A (ja) 鳥瞰画像生成装置および方法
JP2011035729A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP2013541915A (ja) 死角地帯の表示装置および方法
JP2008013015A (ja) 車両周辺画像生成装置および画像切替方法
JP2009118416A (ja) 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP2012071635A (ja) 駐車支援装置
JP2012071635A5 (ja)
JP5516998B2 (ja) 画像生成装置
JP2009101984A (ja) 駐車支援装置及び方法
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP2007198962A (ja) 車両用案内表示装置
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
JP2006054662A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4969269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150