JP2004260694A - 車両周辺画像処理システム - Google Patents
車両周辺画像処理システム Download PDFInfo
- Publication number
- JP2004260694A JP2004260694A JP2003051013A JP2003051013A JP2004260694A JP 2004260694 A JP2004260694 A JP 2004260694A JP 2003051013 A JP2003051013 A JP 2003051013A JP 2003051013 A JP2003051013 A JP 2003051013A JP 2004260694 A JP2004260694 A JP 2004260694A
- Authority
- JP
- Japan
- Prior art keywords
- bird
- eye view
- view image
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 304
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 304
- 239000002131 composite material Substances 0.000 claims description 34
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004040 coloring Methods 0.000 abstract description 4
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000012447 hatching Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】適切な情報をユーザに提供し、ユーザの運転を適切に支援する。
【解決手段】車両周辺画像処理システム１は、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像内の過去の鳥瞰図画像に色を付けて合成鳥瞰図画像を車載モニタ５に表示する。過去の鳥瞰図画像と現在の鳥瞰図画像との境界を明確にすることにより、現在の状況を適切にユーザに認識させることができると共に、過去の鳥瞰図画像の領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【選択図】 図１
【解決手段】車両周辺画像処理システム１は、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像内の過去の鳥瞰図画像に色を付けて合成鳥瞰図画像を車載モニタ５に表示する。過去の鳥瞰図画像と現在の鳥瞰図画像との境界を明確にすることにより、現在の状況を適切にユーザに認識させることができると共に、過去の鳥瞰図画像の領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するように構成された車両周辺画像処理システムに関する。
【０００２】
【従来の技術】
従来より、車両の後部に設置されている後方カメラにより車両後方の状況を撮影し、撮影された画像を座標変換して鳥瞰図（上空から見た平面図）画像を生成し、生成された鳥瞰図画像を車両図形と共に車載モニタに表示するものが供されている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平１０−２１１８４９号公報
【０００４】
【発明が解決しようとする課題】
ところで、上記した特許文献１に記載したものでは、車両後方の状況を鳥瞰図画像として表示することができるので、車両と例えば駐車スペース（駐車枠）との位置関係をユーザに容易に認識させることができるものの、現在の後方カメラの撮影視野外の領域までをも車載モニタに表示することはできない。そこで、出願人は、現在の後方カメラの撮影視野外の領域までをも車載モニタに表示可能とするために、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するものを特願２００１−３９４４１９号として出願した。
【０００５】
特願２００１−３９４４１９号のものでは、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するので、現在の後方カメラの撮影視野外の領域を過去に後方カメラが撮影していれば、過去に後方カメラにより撮影された領域を合成して表示するので、現在の後方カメラの撮影視野外の領域までをも車載モニタに表示することができる。
【０００６】
しかしながら、特願２００１−３９４４１９号に記載されているものでは、過去の鳥瞰図画像と現在の鳥瞰図画像とを区別して表示する構成ではないので、過去の鳥瞰図画像と現在の鳥瞰図画像とが混同してしまい、現在の状況をユーザに認識させることができないという問題がある。また、過去の鳥瞰図画像での時間経過の段階的な変化をユーザに認識させることができないという問題もある。また、現在の後方カメラの撮影視野外の領域をユーザに認識させることができるものの、過去の後方カメラの撮影視野外の領域までをもユーザに認識させることができないという問題もある。さらに、車両から障害物までの距離をユーザに認識させることができないという問題もある。
【０００７】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するものにおいて、適切な情報をユーザに提供することにより、ユーザの運転を適切に支援することができる車両周辺画像処理システムを提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【０００９】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像内の過去の鳥瞰図画像に所定の色を付けて合成鳥瞰図画像を表示手段に表示させる。これにより、過去の鳥瞰図画像と現在の鳥瞰図画像との境界を明確にすることにより、現在の状況を適切にユーザに認識させることができると共に、過去の鳥瞰図画像が表示されている領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１０】
請求項２に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１１】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像内の過去の鳥瞰図画像に濃淡や階調やモザイクなどによる時間経過の段階的な変化を付けて合成鳥瞰図画像を表示手段に表示させる。これにより、過去の鳥瞰図画像に濃淡や階調やモザイクなどによる時間経過の段階的な変化を付けることにより、過去の鳥瞰図画像での時間経過の段階的な変化をユーザに適切に認識させることができ、ユーザの運転を適切に支援することができる。
【００１２】
請求項３に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１３】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、表示手段の表示領域にあって撮影手段の撮影視野外の領域に所定の色を付けて合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像を表示手段に表示させる。これにより、過去の後方カメラの撮影視野外の領域を明確にすることにより、過去の後方カメラの撮影視野外の領域までをもユーザに適切に認識させることができ、過去の後方カメラの撮影視野外の領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１４】
請求項４に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１５】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像に車両からの距離を示す目印を描画して合成鳥瞰図画像を表示手段に表示させる。これにより、車両からの距離を示す目印を描画することにより、車両から障害物までの距離をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１６】
請求項５に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１７】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像に車両図形の外形に沿うように枠を描画して合成鳥瞰図画像を表示手段に表示させる。これにより、車両図形の外形に沿うように枠を描画することにより、車両の位置をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１８】
【発明の実施の形態】
（第１実施例）
以下、本発明の第１実施例について、図１ないし図４を参照して説明する。尚、この第１実施例は、本発明でいう請求項１ないし請求項３に対応する。まず、図２は、車両周辺画像処理システムの構成を概略的に示している。車両周辺画像処理システム１は、車両２の後方の状況を撮影する後方カメラ３（本発明でいう撮影手段）と、車室４内の例えばダッシュボード上に配置された車載モニタ５（本発明でいう表示手段）と、画像処理を行う画像処理ユニット６とを備えて構成されている。
【００１９】
図１は、車両周辺画像処理システム１の機能ブロック図を示している。車両周辺画像処理システム１は、機能ブロックとして、システム全体の動作を制御するＣＰＵ７（本発明でいう車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段）と、後方カメラ３と、鳥瞰図画像生成回路８（本発明でいう鳥瞰図画像生成手段）と、第１の画像メモリ９（本発明でいう鳥瞰図画像記憶手段）と、第２の画像メモリ１０と、表示用画像メモリ１１と、車載モニタ５と、ハンドル角信号入力回路１２と、車速信号入力回路１３と、ヨーレイト信号入力回路１４と、超音波センサ信号入力回路１５と、シフトポジション信号入力回路１６とを備えて構成されている。
【００２０】
鳥瞰図画像生成回路８は、後方カメラ３から画像が入力されると、入力された画像を座標変換して鳥瞰図画像を生成し、生成された鳥瞰図画像を第１の画像メモリ９に出力する。第１の画像メモリ９は、鳥瞰図画像生成回路８から鳥瞰図画像が入力されると、入力された鳥瞰図画像を現在の鳥瞰図画像として一時的に記憶する。
【００２１】
第２の画像メモリ１０は、第１の画像メモリ９から鳥瞰図画像が転送されると、転送された鳥瞰図画像を過去の鳥瞰図画像として記憶する。表示用画像メモリ１１は、第１の画像メモリ９に記憶されている現在の鳥瞰図画像と第２の画像メモリ１０に記憶されている過去の鳥瞰図画像とが合成された合成鳥瞰図画像を表示用画像として記憶する。車載モニタ５は、表示用画像メモリ１１に表示用画像として記憶されている合成鳥瞰図画像を表示する。
【００２２】
ハンドル角信号入力回路１２は、ユーザのハンドル操作に関するデータをＣＰＵ７に入力させる。車速信号入力回路１３は、車速に関するデータをＣＰＵ７に入力させる。ヨーレイト信号入力回路１４は、車両２の旋回状況に関するデータをＣＰＵ７に入力させる。超音波センサ信号入力回路１５は、車両２の周辺に存在する障害物の有無を検出し、障害物の有無に関するデータや障害物と車両２との間の距離などに関するデータをＣＰＵ７に入力させる。シフトポジション信号入力回路１６は、ユーザのシフトレバー操作に関するデータをＣＰＵ７に入力させる。
【００２３】
尚、上記した構成では、ＣＰＵ７、鳥瞰図画像生成回路８、第１の画像メモリ９、第２の画像メモリ１０、表示用画像メモリ１１、ハンドル角信号入力回路１２、車速信号入力回路１３、ヨーレイト信号入力回路１４、超音波センサ信号入力回路１５およびシフトポジション信号入力回路１６は、それらの全体または一部を一体化して１つのＬＳＩで構成することも可能である。また、鳥瞰図画像を生成する専用の画像処理回路として鳥瞰図画像生成回路８を備える代わりに、ＣＰＵ７がソフトウェア的に鳥瞰図画像を生成することも可能である。また、車載モニタ５は、ナビゲーション装置のディスプレイで兼用することも可能である。
【００２４】
ここで、鳥瞰図画像生成回路８が鳥瞰図画像を生成する手順について簡単に説明する。尚、前提条件として、後方カメラ３は、オートフォーカス機能を有すると共に、その取付け高さや取付け角度が予め設定されているものとする。また、地面は、平面であることを計算上の前提条件としている。ここでは、後方カメラ３により撮影された画像を画素単位に分解し、車両２の後端を基準線として各画素までの距離および幅方向位置を算出し、各画素の鳥瞰変換後の位置座標を算出する。そして、算出された位置座標に基づいて各画素を再配置する。これにより、後方カメラ３により撮影された画像から鳥瞰図画像を生成することができる。
【００２５】
尚、このようにして鳥瞰変換を行うことにより、鳥瞰図画像では、画素と画素との間に隙間が生じたり、画素と画素とが重なったりする場合が想定されるが、車両２を車庫入れするときなどでは、車載モニタ５に表示される画像が多少間引きされた様な画像であったとして、後方カメラ３により撮影された元々の画像（生の画像）が表示されるよりも、操作性が良いものである。
【００２６】
次に、上記した構成の作用について、図３および図４を参照して説明する。 ＣＰＵ７は、第１の画像メモリ９、第２の画像メモリ１０および表示用画像メモリ１１を初期化すると共に、各種のパラメータを初期化する（ステップＳ１）。次いで、ＣＰＵ７は、後方カメラ３により撮影された画像が鳥瞰図画像生成回路８で座標変換されて鳥瞰図画像が生成され、鳥瞰図画像が第１の画像メモリ９に記憶された旨を検出すると（ステップＳ２）、鳥瞰図画像が第２の画像メモリ１０に記憶されているか否かを判定する（ステップＳ３）。
【００２７】
ここで、ＣＰＵ７は、鳥瞰図画像が第２の画像メモリ１０に記憶されている旨を検出すると（ステップＳ３にて「ＹＥＳ」）、ハンドル角信号入力回路１２から入力されているデータ、車速信号入力回路１３から入力されているデータ、ヨーレイト信号入力回路１４から入力されているデータおよび超音波センサ信号入力回路１５から入力されているデータに基づいて車両２が移動しているか否かを判定する（ステップＳ４）。
【００２８】
そして、ＣＰＵ７は、車両２が移動している旨を検出すると（ステップＳ４にて「ＹＥＳ」）、第２の画像メモリ１０から過去の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ５）、読出された鳥瞰図画像を車両２の移動状態に基づいて回転移動または平行移動させる画像処理を行う（ステップＳ６）。このとき、ＣＰＵ７は、車両２がカーブして移動していれば、第２の画像メモリ１０に記憶されている鳥瞰図画像を回転移動させる画像処理を行うことになり、車両２が直進して移動していれば、第２の画像メモリ１０に記憶されている鳥瞰図画像を平行移動させる画像処理を行うことになる。
【００２９】
次いで、ＣＰＵ７は、第１の画像メモリ９から現在の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ７）、第２の画像メモリ１０から読出されて画像処理が行われた過去の鳥瞰図画像と、第１の画像メモリ９から読出された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する（ステップＳ８）。
【００３０】
さて、ここで、ＣＰＵ７は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像内の最新の過去の鳥瞰図画像に色を付ける（ステップＳ９）。具体的に説明すると、ＣＰＵ７は、最新の過去の鳥瞰図画像に例えばＲ値を一定量増加させてＲＧＢカラーフィルタをかけることにより、最新の過去の鳥瞰図画像に赤みがかった色を付ける。このとき、最新の過去の鳥瞰図画像に付ける色は、ユーザの注意を引付けるような色であることが望ましい。
【００３１】
次いで、ＣＰＵ７は、車載モニタ５の表示領域にあって後方カメラ３の撮影視野外の領域が存在するか否かを判定し（ステップＳ１０）、車載モニタ５の表示領域にあって後方カメラ３の撮影視野外の領域が存在する旨を検出すると（ステップＳ１０にて「ＹＥＳ」）、後方カメラ３の撮影視野外の領域に色を付ける（ステップＳ１１）。具体的に説明すると、ＣＰＵ７は、後方カメラ３の撮影視野外の領域に例えばＢ値を一定量増加させてＲＧＢカラーフィルタをかけることにより、後方カメラ３の撮影視野外の領域に青みがかった色を付ける。このとき、後方カメラ３の撮影視野外の領域に付ける色も、ユーザの注意を引付けるような色であることが望ましい。
【００３２】
そして、ＣＰＵ７は、このようにして最新の過去の鳥瞰図画像や後方カメラ３の撮影視野外の領域に色が付けられた合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させ（ステップＳ１２）、その合成鳥瞰図画像を第２の画像メモリ１０に過去の鳥瞰図画像として記憶させ（ステップＳ１３）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。
【００３３】
以上に説明した一連の処理により、ＣＰＵ７は、図４に示すように、現在の鳥瞰図画像を車両図形１７の後方の表示領域（図４では「Ｐ」にて示す領域）に表示させ、赤みがかった色が付けられた過去の鳥瞰図画像を車両図形１７の側方の表示領域（図４では「Ｑ１」，「Ｑ２」にて示す領域）に表示させ、青みがかった色が付けられた後方カメラ３の撮影視野外の領域を所定の表示領域（図４では「Ｒ１」，「Ｒ２」にて示す領域）に表示させる。
【００３４】
また、この場合、ＣＰＵ７は、最新の過去の鳥瞰図画像に所定の色を付けるので、上記した一連の処理を繰返して行うことにより、過去の鳥瞰図画像を濃淡による時間経過の段階的な変化を付けて表示させることにもなる。つまり、ＣＰＵ７は、過去の鳥瞰図画像内の時間経過が相対的に大きい領域については色を濃くして表示させ、過去の鳥瞰図画像内の時間経過が相対的に小さい領域については色を薄くして表示させる（図４では、色が濃い領域をハッチングを密にして示しており、色が薄い領域をハッチングを粗にして示している）。
【００３５】
尚、ＣＰＵ７は、鳥瞰図画像が第２の画像メモリ１０に記憶されていない旨を検出すると（ステップＳ３にて「ＮＯ」）、第１の画像メモリ９に現在の鳥瞰図画像として記憶されている鳥瞰図画像を第２の画像メモリ１０に転送させ（ステップＳ１４）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。
【００３６】
また、ＣＰＵ７は、車両２が移動していない旨を検出すると（ステップＳ４にて「ＮＯ」）、第２の画像メモリ１０から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ９から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成することなく、第１の画像メモリ９に現在の鳥瞰図画像として記憶されている鳥瞰図画像をそのまま車両図形１７の後方の表示領域に表示させ（ステップＳ１５）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。
【００３７】
また、ＣＰＵ７は、車載モニタ５の表示領域にあって後方カメラ３の撮影視野外の領域が存在していない旨を検出すると（ステップＳ１０にて「ＮＯ」）、後方カメラ３の撮影視野外の領域に色を付けることなく、最新の過去の鳥瞰図画像のみに色が付けられた合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させ（ステップＳ１２）、その合成鳥瞰図画像を第２の画像メモリ１０に過去の鳥瞰図画像として記憶させる（ステップＳ１３）。
【００３８】
ところで、以上は、過去の鳥瞰図画像に色を付ける場合に、濃淡による時間経過の段階的な変化を付ける場合を説明したが、階調やモザイクなどによる時間経過の段階的な変化を付けても良い。また、これら過去の鳥瞰図画像に色を付ける処理および後方カメラ３の撮影視野外の領域に色を付ける処理のうちいずれかを選択的に行うようにしても良い。
【００３９】
以上に説明したように第１実施例によれば、車両周辺画像処理システム１において、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像内の過去の鳥瞰図画像に色を付けて合成鳥瞰図画像を表示するように構成したので、過去の鳥瞰図画像と現在の鳥瞰図画像との境界を明確にすることにより、現在の状況を適切にユーザに認識させることができると共に、過去の鳥瞰図画像が表示されている領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００４０】
また、合成鳥瞰図画像内の過去の鳥瞰図画像に濃淡や階調やモザイクなどによる時間経過の段階的な変化を付けて合成鳥瞰図画像を表示するように構成したので、過去の鳥瞰図画像の領域での時間経過をユーザに適切に認識させることができ、ユーザの運転を適切に支援することができる。
【００４１】
さらに、車載モニタ５の表示領域にあって後方カメラ５の撮影視野外の領域に色を付けて合成鳥瞰図画像を表示するように構成したので、後方カメラ５の撮影視野外の領域を明確にすることにより、過去の後方カメラ５の撮影視野外の領域をユーザに適切に認識させることができ、過去の後方カメラ５の撮影視野外の領域に対する注意を適切に促すことでき、ユーザの運転を適切に支援することができる。
【００４２】
（第２実施例）
次に、本発明の第２実施例について、図５ないし図８を参照して説明する。尚、この第２実施例は、本発明でいう請求項４に対応する。ここでは、上記した第１実施例と同一部分については説明を省略し、異なる部分について説明する。
【００４３】
この第２実施例では、ＣＰＵ７は、第２の画像メモリ１０から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ９から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成した後に（ステップＳ８）、生成された合成鳥瞰図画像に車両２からの距離を示す目印を描画する（ステップＳ２１）。そして、ＣＰＵ７は、このようにして車両２からの距離を示す目印が描画された合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させる（ステップＳ２２）。
【００４４】
以上に説明した一連の処理により、ＣＰＵ７は、例えば車両２の後端を基準とする場合であれば、図６に示すように、車両図形１７の後端を基準として車両２からの距離を示す目印（図６では「Ａ１」〜「Ａ４」にて示す線）を描画させ、また、例えば車両２の外形を基準とする場合であれば、図７に示すように、車両図形１７の外形を基準として車両２からの距離を示す目印（図７では「Ｂ１」〜「Ｂ４」にて示す線）を描画させ、さらに、例えば車両２の所定部位に設定されているソナーの設置位置を基準とする場合であれば、図８に示すように、ソナーの設置位置（図８では左右の後端）を基準として車両２からの距離を示す目印（図８では「Ｃ１」，「Ｃ２」，「Ｄ１」，「Ｄ２」にて示す円）を描画させ、これら車両２からの距離を示す目印が描画された合成鳥瞰図画像を表示させる。
【００４５】
以上に説明したように第２実施例によれば、車両周辺画像処理システム１において、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像に車両２からの距離を示す目印を描画して合成鳥瞰図画像を表示するように構成したので、車両２からの距離を示す目印を描画することにより、車両２から障害物までの距離をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００４６】
（第３実施例）
次に、本発明の第３実施例について、図９および図１０を参照して説明する。尚、この第３実施例は、本発明でいう請求項５に対応する。ここでも、上記した第１実施例と同一部分については説明を省略し、異なる部分について説明する。
【００４７】
この第３実施例では、ＣＰＵ７は、第２の画像メモリ１０から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ９から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成した後に（ステップＳ８）、生成された合成鳥瞰図画像に車両図形１７の外形に沿うように枠を描画する（ステップＳ３１）。そして、ＣＰＵ７は、このようにして車両図形１７の外形に沿うように枠が描画された合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させる（ステップＳ３２）。
【００４８】
以上に説明した一連の処理により、ＣＰＵ７は、図１０に示すように、車両図形１７の外形に沿うように枠（図１０では「Ｅ」にて示す）を描画させ、車両図形１７の外形に沿うように枠が描画された合成鳥瞰図画像を表示させる。
【００４９】
以上に説明したように第３実施例によれば、車両周辺画像処理システム１において、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像に車両図形１７の外形に沿うように枠を描画して合成鳥瞰図画像を表示するように構成したので、車両図形１７の外形に沿うように枠を描画することにより、車両２の位置をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００５０】
（その他の実施例）
本発明は、上記した実施例にのみ限定されるものではなく、以下のように変形または拡張することができる。
第１実施例、第２実施例および第３実施例のうち幾つかを組合わせた構成であっても良い。
第２実施例において、ユーザが描画モードを選択することにより、車両図形１７の後端を基準として車両２からの距離を示す目印を描画する処理、車両図形１７の外形を基準として車両２からの距離を示す目印を描画する処理、ソナーの設置位置を基準として車両２からの距離を示す目印を描画する処理を選択可能な構成であっても良い。
【図面の簡単な説明】
【図１】本発明の第１実施例を示す機能ブロック図
【図２】システムの全体構成を概略的に示す図
【図３】フローチャート
【図４】車載モニタの表示画面の一例を示す図
【図５】本発明の第２実施例を示すフローチャート
【図６】図４相当図
【図７】図４相当図
【図８】図４相当図
【図９】本発明の第３実施例を示すフローチャート
【図１０】図４相当図
【符号の説明】
図面中、１は車両周辺画像処理システム、２は車両、３は後方カメラ（撮影手段）、５は車載モニタ（表示手段）、７はＣＰＵ（車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段）、８は鳥瞰図画像生成回路（鳥瞰図画像生成手段）、９は第１の画像メモリ（鳥瞰図画像記憶手段）である。
【発明の属する技術分野】
本発明は、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するように構成された車両周辺画像処理システムに関する。
【０００２】
【従来の技術】
従来より、車両の後部に設置されている後方カメラにより車両後方の状況を撮影し、撮影された画像を座標変換して鳥瞰図（上空から見た平面図）画像を生成し、生成された鳥瞰図画像を車両図形と共に車載モニタに表示するものが供されている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平１０−２１１８４９号公報
【０００４】
【発明が解決しようとする課題】
ところで、上記した特許文献１に記載したものでは、車両後方の状況を鳥瞰図画像として表示することができるので、車両と例えば駐車スペース（駐車枠）との位置関係をユーザに容易に認識させることができるものの、現在の後方カメラの撮影視野外の領域までをも車載モニタに表示することはできない。そこで、出願人は、現在の後方カメラの撮影視野外の領域までをも車載モニタに表示可能とするために、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するものを特願２００１−３９４４１９号として出願した。
【０００５】
特願２００１−３９４４１９号のものでは、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するので、現在の後方カメラの撮影視野外の領域を過去に後方カメラが撮影していれば、過去に後方カメラにより撮影された領域を合成して表示するので、現在の後方カメラの撮影視野外の領域までをも車載モニタに表示することができる。
【０００６】
しかしながら、特願２００１−３９４４１９号に記載されているものでは、過去の鳥瞰図画像と現在の鳥瞰図画像とを区別して表示する構成ではないので、過去の鳥瞰図画像と現在の鳥瞰図画像とが混同してしまい、現在の状況をユーザに認識させることができないという問題がある。また、過去の鳥瞰図画像での時間経過の段階的な変化をユーザに認識させることができないという問題もある。また、現在の後方カメラの撮影視野外の領域をユーザに認識させることができるものの、過去の後方カメラの撮影視野外の領域までをもユーザに認識させることができないという問題もある。さらに、車両から障害物までの距離をユーザに認識させることができないという問題もある。
【０００７】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するものにおいて、適切な情報をユーザに提供することにより、ユーザの運転を適切に支援することができる車両周辺画像処理システムを提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【０００９】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像内の過去の鳥瞰図画像に所定の色を付けて合成鳥瞰図画像を表示手段に表示させる。これにより、過去の鳥瞰図画像と現在の鳥瞰図画像との境界を明確にすることにより、現在の状況を適切にユーザに認識させることができると共に、過去の鳥瞰図画像が表示されている領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１０】
請求項２に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１１】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像内の過去の鳥瞰図画像に濃淡や階調やモザイクなどによる時間経過の段階的な変化を付けて合成鳥瞰図画像を表示手段に表示させる。これにより、過去の鳥瞰図画像に濃淡や階調やモザイクなどによる時間経過の段階的な変化を付けることにより、過去の鳥瞰図画像での時間経過の段階的な変化をユーザに適切に認識させることができ、ユーザの運転を適切に支援することができる。
【００１２】
請求項３に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１３】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、表示手段の表示領域にあって撮影手段の撮影視野外の領域に所定の色を付けて合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像を表示手段に表示させる。これにより、過去の後方カメラの撮影視野外の領域を明確にすることにより、過去の後方カメラの撮影視野外の領域までをもユーザに適切に認識させることができ、過去の後方カメラの撮影視野外の領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１４】
請求項４に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１５】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像に車両からの距離を示す目印を描画して合成鳥瞰図画像を表示手段に表示させる。これにより、車両からの距離を示す目印を描画することにより、車両から障害物までの距離をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１６】
請求項５に記載した車両周辺画像処理システムによれば、撮影手段が車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、車両移動状態検出手段が車両の移動状態を検出すると、鳥瞰図画像移動手段は、車両移動状態検出手段により検出された車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。
【００１７】
そして、表示制御手段は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像に車両図形の外形に沿うように枠を描画して合成鳥瞰図画像を表示手段に表示させる。これにより、車両図形の外形に沿うように枠を描画することにより、車両の位置をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００１８】
【発明の実施の形態】
（第１実施例）
以下、本発明の第１実施例について、図１ないし図４を参照して説明する。尚、この第１実施例は、本発明でいう請求項１ないし請求項３に対応する。まず、図２は、車両周辺画像処理システムの構成を概略的に示している。車両周辺画像処理システム１は、車両２の後方の状況を撮影する後方カメラ３（本発明でいう撮影手段）と、車室４内の例えばダッシュボード上に配置された車載モニタ５（本発明でいう表示手段）と、画像処理を行う画像処理ユニット６とを備えて構成されている。
【００１９】
図１は、車両周辺画像処理システム１の機能ブロック図を示している。車両周辺画像処理システム１は、機能ブロックとして、システム全体の動作を制御するＣＰＵ７（本発明でいう車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段）と、後方カメラ３と、鳥瞰図画像生成回路８（本発明でいう鳥瞰図画像生成手段）と、第１の画像メモリ９（本発明でいう鳥瞰図画像記憶手段）と、第２の画像メモリ１０と、表示用画像メモリ１１と、車載モニタ５と、ハンドル角信号入力回路１２と、車速信号入力回路１３と、ヨーレイト信号入力回路１４と、超音波センサ信号入力回路１５と、シフトポジション信号入力回路１６とを備えて構成されている。
【００２０】
鳥瞰図画像生成回路８は、後方カメラ３から画像が入力されると、入力された画像を座標変換して鳥瞰図画像を生成し、生成された鳥瞰図画像を第１の画像メモリ９に出力する。第１の画像メモリ９は、鳥瞰図画像生成回路８から鳥瞰図画像が入力されると、入力された鳥瞰図画像を現在の鳥瞰図画像として一時的に記憶する。
【００２１】
第２の画像メモリ１０は、第１の画像メモリ９から鳥瞰図画像が転送されると、転送された鳥瞰図画像を過去の鳥瞰図画像として記憶する。表示用画像メモリ１１は、第１の画像メモリ９に記憶されている現在の鳥瞰図画像と第２の画像メモリ１０に記憶されている過去の鳥瞰図画像とが合成された合成鳥瞰図画像を表示用画像として記憶する。車載モニタ５は、表示用画像メモリ１１に表示用画像として記憶されている合成鳥瞰図画像を表示する。
【００２２】
ハンドル角信号入力回路１２は、ユーザのハンドル操作に関するデータをＣＰＵ７に入力させる。車速信号入力回路１３は、車速に関するデータをＣＰＵ７に入力させる。ヨーレイト信号入力回路１４は、車両２の旋回状況に関するデータをＣＰＵ７に入力させる。超音波センサ信号入力回路１５は、車両２の周辺に存在する障害物の有無を検出し、障害物の有無に関するデータや障害物と車両２との間の距離などに関するデータをＣＰＵ７に入力させる。シフトポジション信号入力回路１６は、ユーザのシフトレバー操作に関するデータをＣＰＵ７に入力させる。
【００２３】
尚、上記した構成では、ＣＰＵ７、鳥瞰図画像生成回路８、第１の画像メモリ９、第２の画像メモリ１０、表示用画像メモリ１１、ハンドル角信号入力回路１２、車速信号入力回路１３、ヨーレイト信号入力回路１４、超音波センサ信号入力回路１５およびシフトポジション信号入力回路１６は、それらの全体または一部を一体化して１つのＬＳＩで構成することも可能である。また、鳥瞰図画像を生成する専用の画像処理回路として鳥瞰図画像生成回路８を備える代わりに、ＣＰＵ７がソフトウェア的に鳥瞰図画像を生成することも可能である。また、車載モニタ５は、ナビゲーション装置のディスプレイで兼用することも可能である。
【００２４】
ここで、鳥瞰図画像生成回路８が鳥瞰図画像を生成する手順について簡単に説明する。尚、前提条件として、後方カメラ３は、オートフォーカス機能を有すると共に、その取付け高さや取付け角度が予め設定されているものとする。また、地面は、平面であることを計算上の前提条件としている。ここでは、後方カメラ３により撮影された画像を画素単位に分解し、車両２の後端を基準線として各画素までの距離および幅方向位置を算出し、各画素の鳥瞰変換後の位置座標を算出する。そして、算出された位置座標に基づいて各画素を再配置する。これにより、後方カメラ３により撮影された画像から鳥瞰図画像を生成することができる。
【００２５】
尚、このようにして鳥瞰変換を行うことにより、鳥瞰図画像では、画素と画素との間に隙間が生じたり、画素と画素とが重なったりする場合が想定されるが、車両２を車庫入れするときなどでは、車載モニタ５に表示される画像が多少間引きされた様な画像であったとして、後方カメラ３により撮影された元々の画像（生の画像）が表示されるよりも、操作性が良いものである。
【００２６】
次に、上記した構成の作用について、図３および図４を参照して説明する。 ＣＰＵ７は、第１の画像メモリ９、第２の画像メモリ１０および表示用画像メモリ１１を初期化すると共に、各種のパラメータを初期化する（ステップＳ１）。次いで、ＣＰＵ７は、後方カメラ３により撮影された画像が鳥瞰図画像生成回路８で座標変換されて鳥瞰図画像が生成され、鳥瞰図画像が第１の画像メモリ９に記憶された旨を検出すると（ステップＳ２）、鳥瞰図画像が第２の画像メモリ１０に記憶されているか否かを判定する（ステップＳ３）。
【００２７】
ここで、ＣＰＵ７は、鳥瞰図画像が第２の画像メモリ１０に記憶されている旨を検出すると（ステップＳ３にて「ＹＥＳ」）、ハンドル角信号入力回路１２から入力されているデータ、車速信号入力回路１３から入力されているデータ、ヨーレイト信号入力回路１４から入力されているデータおよび超音波センサ信号入力回路１５から入力されているデータに基づいて車両２が移動しているか否かを判定する（ステップＳ４）。
【００２８】
そして、ＣＰＵ７は、車両２が移動している旨を検出すると（ステップＳ４にて「ＹＥＳ」）、第２の画像メモリ１０から過去の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ５）、読出された鳥瞰図画像を車両２の移動状態に基づいて回転移動または平行移動させる画像処理を行う（ステップＳ６）。このとき、ＣＰＵ７は、車両２がカーブして移動していれば、第２の画像メモリ１０に記憶されている鳥瞰図画像を回転移動させる画像処理を行うことになり、車両２が直進して移動していれば、第２の画像メモリ１０に記憶されている鳥瞰図画像を平行移動させる画像処理を行うことになる。
【００２９】
次いで、ＣＰＵ７は、第１の画像メモリ９から現在の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ７）、第２の画像メモリ１０から読出されて画像処理が行われた過去の鳥瞰図画像と、第１の画像メモリ９から読出された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する（ステップＳ８）。
【００３０】
さて、ここで、ＣＰＵ７は、このようにして合成鳥瞰図画像が生成されると、生成された合成鳥瞰図画像内の最新の過去の鳥瞰図画像に色を付ける（ステップＳ９）。具体的に説明すると、ＣＰＵ７は、最新の過去の鳥瞰図画像に例えばＲ値を一定量増加させてＲＧＢカラーフィルタをかけることにより、最新の過去の鳥瞰図画像に赤みがかった色を付ける。このとき、最新の過去の鳥瞰図画像に付ける色は、ユーザの注意を引付けるような色であることが望ましい。
【００３１】
次いで、ＣＰＵ７は、車載モニタ５の表示領域にあって後方カメラ３の撮影視野外の領域が存在するか否かを判定し（ステップＳ１０）、車載モニタ５の表示領域にあって後方カメラ３の撮影視野外の領域が存在する旨を検出すると（ステップＳ１０にて「ＹＥＳ」）、後方カメラ３の撮影視野外の領域に色を付ける（ステップＳ１１）。具体的に説明すると、ＣＰＵ７は、後方カメラ３の撮影視野外の領域に例えばＢ値を一定量増加させてＲＧＢカラーフィルタをかけることにより、後方カメラ３の撮影視野外の領域に青みがかった色を付ける。このとき、後方カメラ３の撮影視野外の領域に付ける色も、ユーザの注意を引付けるような色であることが望ましい。
【００３２】
そして、ＣＰＵ７は、このようにして最新の過去の鳥瞰図画像や後方カメラ３の撮影視野外の領域に色が付けられた合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させ（ステップＳ１２）、その合成鳥瞰図画像を第２の画像メモリ１０に過去の鳥瞰図画像として記憶させ（ステップＳ１３）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。
【００３３】
以上に説明した一連の処理により、ＣＰＵ７は、図４に示すように、現在の鳥瞰図画像を車両図形１７の後方の表示領域（図４では「Ｐ」にて示す領域）に表示させ、赤みがかった色が付けられた過去の鳥瞰図画像を車両図形１７の側方の表示領域（図４では「Ｑ１」，「Ｑ２」にて示す領域）に表示させ、青みがかった色が付けられた後方カメラ３の撮影視野外の領域を所定の表示領域（図４では「Ｒ１」，「Ｒ２」にて示す領域）に表示させる。
【００３４】
また、この場合、ＣＰＵ７は、最新の過去の鳥瞰図画像に所定の色を付けるので、上記した一連の処理を繰返して行うことにより、過去の鳥瞰図画像を濃淡による時間経過の段階的な変化を付けて表示させることにもなる。つまり、ＣＰＵ７は、過去の鳥瞰図画像内の時間経過が相対的に大きい領域については色を濃くして表示させ、過去の鳥瞰図画像内の時間経過が相対的に小さい領域については色を薄くして表示させる（図４では、色が濃い領域をハッチングを密にして示しており、色が薄い領域をハッチングを粗にして示している）。
【００３５】
尚、ＣＰＵ７は、鳥瞰図画像が第２の画像メモリ１０に記憶されていない旨を検出すると（ステップＳ３にて「ＮＯ」）、第１の画像メモリ９に現在の鳥瞰図画像として記憶されている鳥瞰図画像を第２の画像メモリ１０に転送させ（ステップＳ１４）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。
【００３６】
また、ＣＰＵ７は、車両２が移動していない旨を検出すると（ステップＳ４にて「ＮＯ」）、第２の画像メモリ１０から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ９から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成することなく、第１の画像メモリ９に現在の鳥瞰図画像として記憶されている鳥瞰図画像をそのまま車両図形１７の後方の表示領域に表示させ（ステップＳ１５）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。
【００３７】
また、ＣＰＵ７は、車載モニタ５の表示領域にあって後方カメラ３の撮影視野外の領域が存在していない旨を検出すると（ステップＳ１０にて「ＮＯ」）、後方カメラ３の撮影視野外の領域に色を付けることなく、最新の過去の鳥瞰図画像のみに色が付けられた合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させ（ステップＳ１２）、その合成鳥瞰図画像を第２の画像メモリ１０に過去の鳥瞰図画像として記憶させる（ステップＳ１３）。
【００３８】
ところで、以上は、過去の鳥瞰図画像に色を付ける場合に、濃淡による時間経過の段階的な変化を付ける場合を説明したが、階調やモザイクなどによる時間経過の段階的な変化を付けても良い。また、これら過去の鳥瞰図画像に色を付ける処理および後方カメラ３の撮影視野外の領域に色を付ける処理のうちいずれかを選択的に行うようにしても良い。
【００３９】
以上に説明したように第１実施例によれば、車両周辺画像処理システム１において、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像内の過去の鳥瞰図画像に色を付けて合成鳥瞰図画像を表示するように構成したので、過去の鳥瞰図画像と現在の鳥瞰図画像との境界を明確にすることにより、現在の状況を適切にユーザに認識させることができると共に、過去の鳥瞰図画像が表示されている領域に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００４０】
また、合成鳥瞰図画像内の過去の鳥瞰図画像に濃淡や階調やモザイクなどによる時間経過の段階的な変化を付けて合成鳥瞰図画像を表示するように構成したので、過去の鳥瞰図画像の領域での時間経過をユーザに適切に認識させることができ、ユーザの運転を適切に支援することができる。
【００４１】
さらに、車載モニタ５の表示領域にあって後方カメラ５の撮影視野外の領域に色を付けて合成鳥瞰図画像を表示するように構成したので、後方カメラ５の撮影視野外の領域を明確にすることにより、過去の後方カメラ５の撮影視野外の領域をユーザに適切に認識させることができ、過去の後方カメラ５の撮影視野外の領域に対する注意を適切に促すことでき、ユーザの運転を適切に支援することができる。
【００４２】
（第２実施例）
次に、本発明の第２実施例について、図５ないし図８を参照して説明する。尚、この第２実施例は、本発明でいう請求項４に対応する。ここでは、上記した第１実施例と同一部分については説明を省略し、異なる部分について説明する。
【００４３】
この第２実施例では、ＣＰＵ７は、第２の画像メモリ１０から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ９から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成した後に（ステップＳ８）、生成された合成鳥瞰図画像に車両２からの距離を示す目印を描画する（ステップＳ２１）。そして、ＣＰＵ７は、このようにして車両２からの距離を示す目印が描画された合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させる（ステップＳ２２）。
【００４４】
以上に説明した一連の処理により、ＣＰＵ７は、例えば車両２の後端を基準とする場合であれば、図６に示すように、車両図形１７の後端を基準として車両２からの距離を示す目印（図６では「Ａ１」〜「Ａ４」にて示す線）を描画させ、また、例えば車両２の外形を基準とする場合であれば、図７に示すように、車両図形１７の外形を基準として車両２からの距離を示す目印（図７では「Ｂ１」〜「Ｂ４」にて示す線）を描画させ、さらに、例えば車両２の所定部位に設定されているソナーの設置位置を基準とする場合であれば、図８に示すように、ソナーの設置位置（図８では左右の後端）を基準として車両２からの距離を示す目印（図８では「Ｃ１」，「Ｃ２」，「Ｄ１」，「Ｄ２」にて示す円）を描画させ、これら車両２からの距離を示す目印が描画された合成鳥瞰図画像を表示させる。
【００４５】
以上に説明したように第２実施例によれば、車両周辺画像処理システム１において、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像に車両２からの距離を示す目印を描画して合成鳥瞰図画像を表示するように構成したので、車両２からの距離を示す目印を描画することにより、車両２から障害物までの距離をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００４６】
（第３実施例）
次に、本発明の第３実施例について、図９および図１０を参照して説明する。尚、この第３実施例は、本発明でいう請求項５に対応する。ここでも、上記した第１実施例と同一部分については説明を省略し、異なる部分について説明する。
【００４７】
この第３実施例では、ＣＰＵ７は、第２の画像メモリ１０から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ９から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成した後に（ステップＳ８）、生成された合成鳥瞰図画像に車両図形１７の外形に沿うように枠を描画する（ステップＳ３１）。そして、ＣＰＵ７は、このようにして車両図形１７の外形に沿うように枠が描画された合成鳥瞰図画像を表示用画像メモリ１１に出力させて車載モニタ５に表示させる（ステップＳ３２）。
【００４８】
以上に説明した一連の処理により、ＣＰＵ７は、図１０に示すように、車両図形１７の外形に沿うように枠（図１０では「Ｅ」にて示す）を描画させ、車両図形１７の外形に沿うように枠が描画された合成鳥瞰図画像を表示させる。
【００４９】
以上に説明したように第３実施例によれば、車両周辺画像処理システム１において、過去の鳥瞰図画像と現在の鳥瞰図画像とが合成されて生成された合成鳥瞰図画像に車両図形１７の外形に沿うように枠を描画して合成鳥瞰図画像を表示するように構成したので、車両図形１７の外形に沿うように枠を描画することにより、車両２の位置をユーザに適切に認識させることができると共に、障害物に対する注意を適切に促すことができ、ユーザの運転を適切に支援することができる。
【００５０】
（その他の実施例）
本発明は、上記した実施例にのみ限定されるものではなく、以下のように変形または拡張することができる。
第１実施例、第２実施例および第３実施例のうち幾つかを組合わせた構成であっても良い。
第２実施例において、ユーザが描画モードを選択することにより、車両図形１７の後端を基準として車両２からの距離を示す目印を描画する処理、車両図形１７の外形を基準として車両２からの距離を示す目印を描画する処理、ソナーの設置位置を基準として車両２からの距離を示す目印を描画する処理を選択可能な構成であっても良い。
【図面の簡単な説明】
【図１】本発明の第１実施例を示す機能ブロック図
【図２】システムの全体構成を概略的に示す図
【図３】フローチャート
【図４】車載モニタの表示画面の一例を示す図
【図５】本発明の第２実施例を示すフローチャート
【図６】図４相当図
【図７】図４相当図
【図８】図４相当図
【図９】本発明の第３実施例を示すフローチャート
【図１０】図４相当図
【符号の説明】
図面中、１は車両周辺画像処理システム、２は車両、３は後方カメラ（撮影手段）、５は車載モニタ（表示手段）、７はＣＰＵ（車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段）、８は鳥瞰図画像生成回路（鳥瞰図画像生成手段）、９は第１の画像メモリ（鳥瞰図画像記憶手段）である。
Claims (5)
- 車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
車両の移動状態を検出する車両移動状態検出手段と、
前記車両移動状態検出手段により検出された車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像内の過去の鳥瞰図画像に所定の色を付けて合成鳥瞰図画像を表示手段に表示させる表示制御手段を備えたことを特徴とする車両周辺画像処理システム。 - 車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
車両の移動状態を検出する車両移動状態検出手段と、
前記車両移動状態検出手段により検出された車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像内の過去の鳥瞰図画像に濃淡や階調やモザイクなどによる時間経過の段階的な変化を付けて合成鳥瞰図画像を表示手段に表示させる表示制御手段を備えたことを特徴とする車両周辺画像処理システム。 - 車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
車両の移動状態を検出する車両移動状態検出手段と、
前記車両移動状態検出手段により検出された車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
表示手段の表示領域にあって前記撮影手段の撮影視野外の領域に所定の色を付けて前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像を前記表示手段に表示させる表示制御手段を備えたことを特徴とする車両周辺画像処理システム。 - 車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
車両の移動状態を検出する車両移動状態検出手段と、
前記車両移動状態検出手段により検出された車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像に車両からの距離を示す目印を描画して合成鳥瞰図画像を表示手段に表示させる表示制御手段を備えたことを特徴とする車両周辺画像処理システム。 - 車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
車両の移動状態を検出する車両移動状態検出手段と、
前記車両移動状態検出手段により検出された車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像に車両図形の外形に沿うように枠を描画して合成鳥瞰図画像を表示手段に表示させる表示制御手段を備えたことを特徴とする車両周辺画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003051013A JP3961969B2 (ja) | 2003-02-27 | 2003-02-27 | 車両周辺画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003051013A JP3961969B2 (ja) | 2003-02-27 | 2003-02-27 | 車両周辺画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004260694A true JP2004260694A (ja) | 2004-09-16 |
| JP3961969B2 JP3961969B2 (ja) | 2007-08-22 |
Family
ID=33116275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003051013A Expired - Fee Related JP3961969B2 (ja) | 2003-02-27 | 2003-02-27 | 車両周辺画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3961969B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006298258A (ja) * | 2005-04-22 | 2006-11-02 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP2006327499A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP2007124226A (ja) * | 2005-10-27 | 2007-05-17 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP2008132938A (ja) * | 2006-11-29 | 2008-06-12 | Nippon Soken Inc | 運転支援装置 |
| JP2011148369A (ja) * | 2010-01-20 | 2011-08-04 | Denso Corp | 運転支援装置 |
| US8009869B2 (en) | 2006-04-12 | 2011-08-30 | Toyota Jidosha Kabushiki Kaisha | Vehicle surrounding monitoring system and vehicle surrounding monitoring method |
| JP2012001126A (ja) * | 2010-06-18 | 2012-01-05 | Clarion Co Ltd | 車両用周辺監視装置 |
| JP2014069723A (ja) * | 2012-09-28 | 2014-04-21 | Aisin Seiki Co Ltd | 駐車支援装置、及び制御方法 |
| JP2014129093A (ja) * | 2014-03-11 | 2014-07-10 | Clarion Co Ltd | 車両用周辺監視装置 |
| WO2015122124A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
| WO2016082961A1 (de) * | 2014-11-25 | 2016-06-02 | Robert Bosch Gmbh | Verfahren zum kennzeichnen von kamerabildern eines parkmanöverassistenten |
| WO2018003193A1 (ja) * | 2016-06-29 | 2018-01-04 | アイシン精機株式会社 | 周辺監視装置 |
-
2003
- 2003-02-27 JP JP2003051013A patent/JP3961969B2/ja not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006298258A (ja) * | 2005-04-22 | 2006-11-02 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP2006327499A (ja) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP4595680B2 (ja) * | 2005-05-27 | 2010-12-08 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
| JP2007124226A (ja) * | 2005-10-27 | 2007-05-17 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP4622806B2 (ja) * | 2005-10-27 | 2011-02-02 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
| US8009869B2 (en) | 2006-04-12 | 2011-08-30 | Toyota Jidosha Kabushiki Kaisha | Vehicle surrounding monitoring system and vehicle surrounding monitoring method |
| JP2008132938A (ja) * | 2006-11-29 | 2008-06-12 | Nippon Soken Inc | 運転支援装置 |
| JP2011148369A (ja) * | 2010-01-20 | 2011-08-04 | Denso Corp | 運転支援装置 |
| JP2012001126A (ja) * | 2010-06-18 | 2012-01-05 | Clarion Co Ltd | 車両用周辺監視装置 |
| JP2014069723A (ja) * | 2012-09-28 | 2014-04-21 | Aisin Seiki Co Ltd | 駐車支援装置、及び制御方法 |
| WO2015122124A1 (ja) * | 2014-02-12 | 2015-08-20 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
| CN106031166A (zh) * | 2014-02-12 | 2016-10-12 | 株式会社电装 | 车辆周边图像显示装置和车辆周边图像显示方法 |
| CN106031166B (zh) * | 2014-02-12 | 2018-12-25 | 株式会社电装 | 车辆周边图像显示装置和车辆周边图像显示方法 |
| JP2014129093A (ja) * | 2014-03-11 | 2014-07-10 | Clarion Co Ltd | 車両用周辺監視装置 |
| WO2016082961A1 (de) * | 2014-11-25 | 2016-06-02 | Robert Bosch Gmbh | Verfahren zum kennzeichnen von kamerabildern eines parkmanöverassistenten |
| WO2018003193A1 (ja) * | 2016-06-29 | 2018-01-04 | アイシン精機株式会社 | 周辺監視装置 |
| JP2018006921A (ja) * | 2016-06-29 | 2018-01-11 | アイシン精機株式会社 | 周辺監視装置 |
| CN109314767A (zh) * | 2016-06-29 | 2019-02-05 | 爱信精机株式会社 | 周边监控装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3961969B2 (ja) | 2007-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4254887B2 (ja) | 車両用画像表示システム | |
| KR101446897B1 (ko) | 차량 주변 감시 장치 | |
| JP5251947B2 (ja) | 車両用画像表示装置 | |
| JP5035284B2 (ja) | 車両周辺表示装置 | |
| JP4364471B2 (ja) | 車両の画像処理装置 | |
| WO2014068856A1 (ja) | 画像生成装置、および画像生成プログラム製品 | |
| JP4611899B2 (ja) | カメラのレンズ汚れ検出装置及び画像表示システム | |
| CN110877572A (zh) | 周边监视装置 | |
| KR20120118073A (ko) | 차량 주변 감시 장치 | |
| WO2002089485A1 (fr) | Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule | |
| JP2010184607A (ja) | 車両周辺表示装置 | |
| US20090204326A1 (en) | Method and System for Supporting the Driver of a Motor Vehicle in Recognizing the Surroundings of the Motor Vehicle | |
| JP2004254219A (ja) | 車両周辺画像処理装置及びプログラム並びに記録媒体 | |
| JP3961969B2 (ja) | 車両周辺画像処理システム | |
| JP2008279875A (ja) | 駐車支援装置 | |
| JP2019028920A (ja) | 表示制御装置 | |
| JP4552525B2 (ja) | 車両の画像処理装置 | |
| JP5195776B2 (ja) | 車両周辺監視装置 | |
| JP2012001126A (ja) | 車両用周辺監視装置 | |
| JP2007302238A (ja) | 車両の画像処理装置 | |
| JP5067136B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
| JP2007088577A (ja) | 車両周辺画像処理システム | |
| JP4679816B2 (ja) | 車両周辺表示制御装置 | |
| JP2002330428A (ja) | 車載カメラの画像表示制御方法及びその装置 | |
| US10821900B2 (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070517 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3961969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |