JP2003189291A - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体Info
- Publication number
- JP2003189291A JP2003189291A JP2001384587A JP2001384587A JP2003189291A JP 2003189291 A JP2003189291 A JP 2003189291A JP 2001384587 A JP2001384587 A JP 2001384587A JP 2001384587 A JP2001384587 A JP 2001384587A JP 2003189291 A JP2003189291 A JP 2003189291A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye view
- bird
- vehicle
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002131 composite material Substances 0.000 claims abstract description 17
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 157
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 150
- 238000012545 processing Methods 0.000 claims description 54
- 230000002093 peripheral effect Effects 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 abstract description 18
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102100022005 B-lymphocyte antigen CD20 Human genes 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000897405 Homo sapiens B-lymphocyte antigen CD20 Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 鳥瞰図画像を変換してカメラ等で撮影したよ
うな画像とすることにより、見やすい画像を表示するこ
とができる車両周辺画像処理装置及び記録媒体を提供す
ること。 【解決手段】 ステッフ゜140では、車両の移動量に基づいて
画像メモリＢに記憶されている第１鳥瞰図画像を移動さ
せて移動後鳥瞰図画像を求める。ステッフ゜160では、移動後
鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画
像を作成する。ステッフ゜180では、合成鳥瞰図画像を逆鳥瞰
図変換して投影画像を作成する。ステッフ゜190では、投影画
像を画像メモリＣに記憶する。ステッフ゜200では、車両を示
す画像を加えて画像メモリＣに記憶した投影画像をモニ
タ３に表示する。
うな画像とすることにより、見やすい画像を表示するこ
とができる車両周辺画像処理装置及び記録媒体を提供す
ること。 【解決手段】 ステッフ゜140では、車両の移動量に基づいて
画像メモリＢに記憶されている第１鳥瞰図画像を移動さ
せて移動後鳥瞰図画像を求める。ステッフ゜160では、移動後
鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画
像を作成する。ステッフ゜180では、合成鳥瞰図画像を逆鳥瞰
図変換して投影画像を作成する。ステッフ゜190では、投影画
像を画像メモリＣに記憶する。ステッフ゜200では、車両を示
す画像を加えて画像メモリＣに記憶した投影画像をモニ
タ３に表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば車両の周辺
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。
【０００２】
【従来の技術】従来より、車両の後方の様子を表示する
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。
【０００３】また、これとは別に、特開平１０−２１１
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。
８４９号公報には、後方カメラで撮影した画像（後方カ
メラ画像）を鳥瞰図に変換し、自車両をその中に表示す
るという技術が提案されている。
【０００４】
【発明が解決しようとする課題】この技術の場合には、
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。
【０００５】そのため、例えば車両を後退させて駐車枠
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて（合成画像を作成し）、従来より広い範囲を表示
する技術が開発されている。
に入れるような場合には、カメラの視野外に出た駐車枠
を表示できないので、依然として、車両を駐車枠に入れ
る操作が容易ではないという問題があった。これに対し
て、既に本願発明者らにより、車両後部に取り付けたカ
メラから、車両後方の画像を撮影し、画像処理でこれら
を上から見た鳥瞰画像に変換し、変換した画像の時間的
変化から車両の動きを算出して、カメラの視野外に消え
て行く画像領域を算出し、更に現時刻の変換画像を貼り
付けて（合成画像を作成し）、従来より広い範囲を表示
する技術が開発されている。
【０００６】ところが、上述した鳥瞰図画像は上空から
見た画像であり、通常ドライバーが見慣れている画像
（即ちカメラで撮影したままの状態の画像）とは異なっ
ているので、見にくさを感じるドライバーがいるという
問題があった。本発明は、前記課題を解決するためにな
されたものであり、鳥瞰図画像を変換してカメラ等で撮
影したような画像とすることにより、見やすい画像を表
示することができる車両周辺画像処理装置及び記録媒体
を提供することを目的とする。
見た画像であり、通常ドライバーが見慣れている画像
（即ちカメラで撮影したままの状態の画像）とは異なっ
ているので、見にくさを感じるドライバーがいるという
問題があった。本発明は、前記課題を解決するためにな
されたものであり、鳥瞰図画像を変換してカメラ等で撮
影したような画像とすることにより、見やすい画像を表
示することができる車両周辺画像処理装置及び記録媒体
を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】（１）請
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。
【０００８】本発明では、撮影手段により撮影した画像
を、例えば撮影手段を視点として投影した地上面座標系
のデータに変換して鳥瞰図画像の画像データを順次作成
する。これにより、画像は、例えばカメラで撮影したま
まの歪んだ画像ではなく、地面の上方より見たような見
やすい鳥瞰図画像となる。
を、例えば撮影手段を視点として投影した地上面座標系
のデータに変換して鳥瞰図画像の画像データを順次作成
する。これにより、画像は、例えばカメラで撮影したま
まの歪んだ画像ではなく、地面の上方より見たような見
やすい鳥瞰図画像となる。
【０００９】そして、車両の移動状態に対応して、（例
えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の
様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の
画像データを作成し、この移動後鳥瞰図画像の画像デー
タと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の
画像データとを合成して合成鳥瞰図画像の画像データを
作成する。
えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の
様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の
画像データを作成し、この移動後鳥瞰図画像の画像デー
タと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の
画像データとを合成して合成鳥瞰図画像の画像データを
作成する。
【００１０】つまり、車両が移動するにつれて、例えば
カメラの視野が変化するので、当然、撮影した時間が異
なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ
（撮影された部分の違い）が発生する。そこで、第２鳥
瞰図画像に、そのずれの部分（即ち過去に視野内であっ
たが現在視野から消えている部分）の移動後鳥瞰図画像
を適宜加味することにより、モニタ等にカメラの視野か
ら消えた部分を表示するのである。
カメラの視野が変化するので、当然、撮影した時間が異
なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ
（撮影された部分の違い）が発生する。そこで、第２鳥
瞰図画像に、そのずれの部分（即ち過去に視野内であっ
たが現在視野から消えている部分）の移動後鳥瞰図画像
を適宜加味することにより、モニタ等にカメラの視野か
ら消えた部分を表示するのである。
【００１１】特に本発明では、上述した合成鳥瞰図画像
をそのままモニタ等に表示するのではなく、合成鳥瞰図
画像を所定の視点（例えば車室内のルームミラーに取り
付けた仮想のカメラ位置）からの投影画像に変換し、そ
の投影画像をモニタ等に表示する。
をそのままモニタ等に表示するのではなく、合成鳥瞰図
画像を所定の視点（例えば車室内のルームミラーに取り
付けた仮想のカメラ位置）からの投影画像に変換し、そ
の投影画像をモニタ等に表示する。
【００１２】つまり、例えばカメラで撮影した画像を鳥
瞰図変換する手法とは逆に、鳥瞰図画像をカメラで撮影
したような投影画像に変換し、あたかも、カメラで撮影
した様な画像をモニタ等に表示するのである。これによ
り、モニタ等には、通常ドライバーが見慣れている画像
が表示されるので、見にくさを感じ難いという効果があ
る。
瞰図変換する手法とは逆に、鳥瞰図画像をカメラで撮影
したような投影画像に変換し、あたかも、カメラで撮影
した様な画像をモニタ等に表示するのである。これによ
り、モニタ等には、通常ドライバーが見慣れている画像
が表示されるので、見にくさを感じ難いという効果があ
る。
【００１３】また、カメラで撮影したままの画像データ
を用いて、車両の移動に伴って変化する周囲の画像の合
成を行う場合には、各画像が歪んでいることもあり、各
画像中の各画素の距離を計測する必要があるが、これを
精度良く計測できるセンサが無いという問題がある。
を用いて、車両の移動に伴って変化する周囲の画像の合
成を行う場合には、各画像が歪んでいることもあり、各
画像中の各画素の距離を計測する必要があるが、これを
精度良く計測できるセンサが無いという問題がある。
【００１４】本発明では、平面的な鳥瞰図画像を用いる
ことで距離が分かり、これより合成された鳥瞰図画像を
もとの投影画像に変更するので、測距センサ等を用いず
に、容易に合成された投影画像を作成できるという利点
がある。 （２）請求項２の発明では、視点を撮影手段の撮影位置
とは異なる仮想の位置に移動し、その仮想の位置を視点
として投影画像を求める。
ことで距離が分かり、これより合成された鳥瞰図画像を
もとの投影画像に変更するので、測距センサ等を用いず
に、容易に合成された投影画像を作成できるという利点
がある。 （２）請求項２の発明では、視点を撮影手段の撮影位置
とは異なる仮想の位置に移動し、その仮想の位置を視点
として投影画像を求める。
【００１５】通常、後方カメラは車両の後端側に配置さ
れているので、例えば実際のカメラの位置を視点として
投影画像を求める場合に、駐車場にて車両がバックして
壁に近接したときには、殆ど壁の画像が表示されてしま
い、あまり有用とは言えない。
れているので、例えば実際のカメラの位置を視点として
投影画像を求める場合に、駐車場にて車両がバックして
壁に近接したときには、殆ど壁の画像が表示されてしま
い、あまり有用とは言えない。
【００１６】この様な場合には、例えばカメラの位置
を、仮想的に車両の前端等に移動して投影画像を作製す
ることにより、駐車枠全体を表示可能であるので、例え
ば車両の現在位置を重ねて表示することにより、駐車枠
内における車両位置を分かりやすく表示することができ
る。
を、仮想的に車両の前端等に移動して投影画像を作製す
ることにより、駐車枠全体を表示可能であるので、例え
ば車両の現在位置を重ねて表示することにより、駐車枠
内における車両位置を分かりやすく表示することができ
る。
【００１７】（３）請求項３の発明では、視点の仮想の
位置を、ユーザにより変更可能としている。従って、ユ
ーザは、例えば駐車枠内での車両の位置が分かり易いよ
うに視点を移動させることにより、駐車時等における車
両の操作が容易になる。
位置を、ユーザにより変更可能としている。従って、ユ
ーザは、例えば駐車枠内での車両の位置が分かり易いよ
うに視点を移動させることにより、駐車時等における車
両の操作が容易になる。
【００１８】（４）請求項４の発明では、表示手段に表
示する画像を、合成鳥瞰図画像と投影画像とにユーザに
より変更可能としている。従って、ユーザは、自分の見
やすい表示を選択できるので、車両操作が容易になる。
示する画像を、合成鳥瞰図画像と投影画像とにユーザに
より変更可能としている。従って、ユーザは、自分の見
やすい表示を選択できるので、車両操作が容易になる。
【００１９】（５）請求項５の発明では、表示手段に投
影画像を表示する場合には、自車両を示す画像を加えて
表示する。本発明では、車両の周囲の状況を示す投影画
像に自車両を示す画像を加えて表示することにより、自
車両と例えば駐車枠との位置関係が明瞭となるので、車
両の操作が容易になる。
影画像を表示する場合には、自車両を示す画像を加えて
表示する。本発明では、車両の周囲の状況を示す投影画
像に自車両を示す画像を加えて表示することにより、自
車両と例えば駐車枠との位置関係が明瞭となるので、車
両の操作が容易になる。
【００２０】尚、自車両は、車両の写真のような画像、
車両の形状をした絵、枠等のシンボルで表示することが
できる。 （６）請求項６の発明では、第１鳥瞰図画像として、今
回の合成鳥瞰図画像より前に作成した合成鳥瞰図画像を
用いる。
車両の形状をした絵、枠等のシンボルで表示することが
できる。 （６）請求項６の発明では、第１鳥瞰図画像として、今
回の合成鳥瞰図画像より前に作成した合成鳥瞰図画像を
用いる。
【００２１】これにより、モニタには、過去に撮影した
画像の鳥瞰図画像（車両の移動に合わせて移動させた画
像）を逐次加えた連続した合成鳥瞰図画像を変換した投
影画像を表示することができる。 （７）請求項７の発明では、合成鳥瞰図画像は、第２鳥
瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像
を加入した画像である。
画像の鳥瞰図画像（車両の移動に合わせて移動させた画
像）を逐次加えた連続した合成鳥瞰図画像を変換した投
影画像を表示することができる。 （７）請求項７の発明では、合成鳥瞰図画像は、第２鳥
瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像
を加入した画像である。
【００２２】本発明は、合成鳥瞰図画像の形成方法を例
示したものである。これにより、車両の周囲の画像を連
続して表示することができる。つまり、例えばカメラに
より現在撮影されている画像は、第２鳥瞰図画像部分の
投影画像としてモニタに表示可能であるので、それ以前
のモニタから消えてしまう画像を、移動後鳥瞰図画像部
分の投影画像として第２鳥瞰図画像部分の投影画像の表
示領域以外に加えることにより、カメラの視野から消え
た過去の周囲の状況をもモニタに表示することができ
る。
示したものである。これにより、車両の周囲の画像を連
続して表示することができる。つまり、例えばカメラに
より現在撮影されている画像は、第２鳥瞰図画像部分の
投影画像としてモニタに表示可能であるので、それ以前
のモニタから消えてしまう画像を、移動後鳥瞰図画像部
分の投影画像として第２鳥瞰図画像部分の投影画像の表
示領域以外に加えることにより、カメラの視野から消え
た過去の周囲の状況をもモニタに表示することができ
る。
【００２３】尚、合成鳥瞰図画像に用いる第２鳥瞰図画
像として、通常、最新の鳥瞰図画像が用いられる。 （８）請求項８の発明は、上述した車両周辺画像処理装
置による処理を実行させる手段を記憶している記録媒体
である。
像として、通常、最新の鳥瞰図画像が用いられる。 （８）請求項８の発明は、上述した車両周辺画像処理装
置による処理を実行させる手段を記憶している記録媒体
である。
【００２４】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。
【００２５】
【発明の実施の形態】以下に、本発明の車両周辺画像処
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例） ａ）本実施例の基本的なシステム構成を図１及び図２を
用いて説明する。
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例） ａ）本実施例の基本的なシステム構成を図１及び図２を
用いて説明する。
【００２６】図１に示す様に、本実施例の車両周辺画像
処理装置は、自動車の後部に配置されたカメラ（例えば
ＣＣＤカメラ）１と、ダッシュボードに配置された車載
モニタ（例えば液晶ディスプレイ）３と、車速を検出す
る車速センサ５と、ヨーレイトを検出するヨーレイトセ
ンサ７と、画像処理を行う画像処理ユニット９とを備え
ている。
処理装置は、自動車の後部に配置されたカメラ（例えば
ＣＣＤカメラ）１と、ダッシュボードに配置された車載
モニタ（例えば液晶ディスプレイ）３と、車速を検出す
る車速センサ５と、ヨーレイトを検出するヨーレイトセ
ンサ７と、画像処理を行う画像処理ユニット９とを備え
ている。
【００２７】前記画像処理ユニット９は、図２に示す様
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、カメラ１で撮影した画像デ
ータの座標変換（鳥瞰図変換）を行って鳥瞰図画像を作
成する鳥瞰図変換回路１１と、作成された鳥瞰図画像の
画像データを一時的に蓄える画像メモリＡと、画像メモ
リＡの鳥瞰図画像を移動（例えば回転移動）して合成す
る等の画像処理などの演算を行うＣＰＵ１３と、ＣＰＵ
１３にて処理した画像データを保存する画像メモリＢ
と、画像メモリＢに記憶した鳥瞰図画像の画像データの
座標変換（逆鳥瞰図変換）を行って鳥瞰図画像を投影画
像に戻す逆鳥瞰図変換回路１５と、（モニタＣに表示す
る）投影画像の画像データを記憶する画像メモリＣとを
備えている。
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、カメラ１で撮影した画像デ
ータの座標変換（鳥瞰図変換）を行って鳥瞰図画像を作
成する鳥瞰図変換回路１１と、作成された鳥瞰図画像の
画像データを一時的に蓄える画像メモリＡと、画像メモ
リＡの鳥瞰図画像を移動（例えば回転移動）して合成す
る等の画像処理などの演算を行うＣＰＵ１３と、ＣＰＵ
１３にて処理した画像データを保存する画像メモリＢ
と、画像メモリＢに記憶した鳥瞰図画像の画像データの
座標変換（逆鳥瞰図変換）を行って鳥瞰図画像を投影画
像に戻す逆鳥瞰図変換回路１５と、（モニタＣに表示す
る）投影画像の画像データを記憶する画像メモリＣとを
備えている。
【００２８】前記画像処理ユニット９には、車速信号を
入力する車速信号入力回路１７と、ヨーレイト信号を入
力するヨーレイト信号入力回路１９とが接続され、各信
号はＣＰＵ１３に入力される。ここで、画像メモリＢに
記憶する鳥瞰図画像の画像データとは、後述する様に、
前回（例えば時刻Ｔに）カメラ１にて撮影され、その画
像データに基づいて作成された鳥瞰図画像（第１鳥瞰図
画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）
と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影さ
れ、その画像データに基づいて作成された鳥瞰図画像
（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰
図画像）の画像データである。
入力する車速信号入力回路１７と、ヨーレイト信号を入
力するヨーレイト信号入力回路１９とが接続され、各信
号はＣＰＵ１３に入力される。ここで、画像メモリＢに
記憶する鳥瞰図画像の画像データとは、後述する様に、
前回（例えば時刻Ｔに）カメラ１にて撮影され、その画
像データに基づいて作成された鳥瞰図画像（第１鳥瞰図
画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）
と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影さ
れ、その画像データに基づいて作成された鳥瞰図画像
（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰
図画像）の画像データである。
【００２９】また、画像メモリＣに記憶する投影画像の
画像データとは、後述する様に、画像メモリＢに記憶し
た合成鳥瞰図画像を、所定の視点（本実施例では、カメ
ラ１の位置ではなく車両の先端側に移動させた仮想位
置）から見た画像であるカメライメージに変換した投影
画像である。
画像データとは、後述する様に、画像メモリＢに記憶し
た合成鳥瞰図画像を、所定の視点（本実施例では、カメ
ラ１の位置ではなく車両の先端側に移動させた仮想位
置）から見た画像であるカメライメージに変換した投影
画像である。
【００３０】尚、画像処理ユニット９は、カメラ１と一
体の構造となっていてもよく、画像処理ユニット９内の
各構成は、一部又は全体で一体化してＬＳＩで構成して
もよい。い。 ｂ）次に、本実施例における画像処理の手順等を、図３
〜図７に基づいて説明する。
体の構造となっていてもよく、画像処理ユニット９内の
各構成は、一部又は全体で一体化してＬＳＩで構成して
もよい。い。 ｂ）次に、本実施例における画像処理の手順等を、図３
〜図７に基づいて説明する。
【００３１】ここでは、車両を後退（バック）させて駐
車枠内に入れる場合を例に挙げる。 最初に、カメラ１から入力された画像を、鳥瞰図変換
回路１１で上空から見た鳥瞰図画像に変換し、画像メモ
リＡに保存する手順を説明する。まず、カメラ１から出
力される原画像（出力画像）を、図３（ａ）に示すが、
この原画像は、車両の後部の上部に配置されたカメラ１
により、地上に描かれた駐車枠及びその周囲を撮影した
画像であるので、自車両（従ってカメラ１）と駐車枠の
各線の位置との距離などに応じて、本来矩形である駐車
枠が歪んで表示されている。
車枠内に入れる場合を例に挙げる。 最初に、カメラ１から入力された画像を、鳥瞰図変換
回路１１で上空から見た鳥瞰図画像に変換し、画像メモ
リＡに保存する手順を説明する。まず、カメラ１から出
力される原画像（出力画像）を、図３（ａ）に示すが、
この原画像は、車両の後部の上部に配置されたカメラ１
により、地上に描かれた駐車枠及びその周囲を撮影した
画像であるので、自車両（従ってカメラ１）と駐車枠の
各線の位置との距離などに応じて、本来矩形である駐車
枠が歪んで表示されている。
【００３２】よって、後ににて詳述する様に、原画像
の画像データを座標変換して、図３（ｂ）に示す様な歪
みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像デ
ータを画像メモリＡに記憶する。 次に、前記カメラ１で撮影された原画像を鳥瞰図画像
に変換する手順を説明する。尚、この手順は、以下に説
明する様に、従来技術（例えば特開平１０−２１１８４
９号公報）を利用できる。
の画像データを座標変換して、図３（ｂ）に示す様な歪
みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像デ
ータを画像メモリＡに記憶する。 次に、前記カメラ１で撮影された原画像を鳥瞰図画像
に変換する手順を説明する。尚、この手順は、以下に説
明する様に、従来技術（例えば特開平１０−２１１８４
９号公報）を利用できる。
【００３３】ここでは、通常の透視変換の逆の処理を行
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図４に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図４に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。
【００３４】詳しくは、カメラ１は、Ｚ軸上の点Ｒ
（０，０，Ｈ）に位置し（カメラ高さ：Ｈ）、カメラ焦
点距離ｆ、見下ろし角（カメラのレンズの軸中心の俯
角）τにて、地上面（ｘｙ座標面）における画像をモニ
タしているとすると、スクリーン平面Ｔの画像上の座標
（Ｘ、Ｙ）と実空間上（鳥瞰図上）の座標（ｘ、ｙ）と
の関係は、下記式（１）にて与えられる。 Ｘ＝ｆ・ｘ／（ｙ・ＳＩＮπ＋Ｈ・ＣＯＳπ） ・・・（１） Ｙ＝ｆ・（−ｙ・ＣＯＳπ＋Ｈ・ＳＩＮπ） ／（ｙ・ＳＩＮπ＋Ｈ・ＣＯＳπ） つまり、上記式（１）を用いることにより、投影画像デ
ータを（鳥瞰図画像を示す）モニタ３の画面に対応した
画像データに変換してモニタ表示することができる。
（０，０，Ｈ）に位置し（カメラ高さ：Ｈ）、カメラ焦
点距離ｆ、見下ろし角（カメラのレンズの軸中心の俯
角）τにて、地上面（ｘｙ座標面）における画像をモニ
タしているとすると、スクリーン平面Ｔの画像上の座標
（Ｘ、Ｙ）と実空間上（鳥瞰図上）の座標（ｘ、ｙ）と
の関係は、下記式（１）にて与えられる。 Ｘ＝ｆ・ｘ／（ｙ・ＳＩＮπ＋Ｈ・ＣＯＳπ） ・・・（１） Ｙ＝ｆ・（−ｙ・ＣＯＳπ＋Ｈ・ＳＩＮπ） ／（ｙ・ＳＩＮπ＋Ｈ・ＣＯＳπ） つまり、上記式（１）を用いることにより、投影画像デ
ータを（鳥瞰図画像を示す）モニタ３の画面に対応した
画像データに変換してモニタ表示することができる。
【００３５】次に、車速信号とヨーレイト信号を用
い、車両の動き量（移動量）に応じて、前記画像メモリ
Ａに記憶した鳥瞰図画像を移動（例えば回転移動）させ
る手順を説明する。ここでは、図５に時刻Ｔの車両位置
を示すが、時刻Ｔ＋１になるまでの車両の移動距離は
Ｌ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１
（＝回転中心における回転角度θＣ）とする。
い、車両の動き量（移動量）に応じて、前記画像メモリ
Ａに記憶した鳥瞰図画像を移動（例えば回転移動）させ
る手順を説明する。ここでは、図５に時刻Ｔの車両位置
を示すが、時刻Ｔ＋１になるまでの車両の移動距離は
Ｌ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１
（＝回転中心における回転角度θＣ）とする。
【００３６】・まず、カメラ１のサンプリング時間が１
００[ｍｓ]の場合、車速信号から得られる車速Ｓ[ｋｍ
／ｈ]を用いて、下記式（２）から、車両が移動した距
離Ｌ[ｍ]を算出できる。 Ｌ[ｍ]＝Ｓ[ｋｍ／ｈ]×１０００[ｍ／ｋｍ]÷３６００[Ｓ／ｈ] ×１００[ｍｓ]÷１０００[ｍｓ／ｓ] ・・・（２） また、図５に示す図形の関係があるので、ヨーレイト信
号から得られるヨーレイトθ０[度／ｓ]を用いて、下記
式（３）から、車両が動いた角度θ１を算出できる。 θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３） 更に、ここでは、車両の回転中心は後輪車軸の延長線上
にあるとしているので、その回転中心は、カメラ位置を
原点として算出し、車両の進行方向をＹ、これに垂直な
方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、
下記式（４）から算出できる。 ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４） 一方、Ｙ方向の中心位置は、後輪車軸上であるので、カ
メラ１と後輪車軸までの距離はＹＣ[ｃｍ]である。
００[ｍｓ]の場合、車速信号から得られる車速Ｓ[ｋｍ
／ｈ]を用いて、下記式（２）から、車両が移動した距
離Ｌ[ｍ]を算出できる。 Ｌ[ｍ]＝Ｓ[ｋｍ／ｈ]×１０００[ｍ／ｋｍ]÷３６００[Ｓ／ｈ] ×１００[ｍｓ]÷１０００[ｍｓ／ｓ] ・・・（２） また、図５に示す図形の関係があるので、ヨーレイト信
号から得られるヨーレイトθ０[度／ｓ]を用いて、下記
式（３）から、車両が動いた角度θ１を算出できる。 θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３） 更に、ここでは、車両の回転中心は後輪車軸の延長線上
にあるとしているので、その回転中心は、カメラ位置を
原点として算出し、車両の進行方向をＹ、これに垂直な
方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、
下記式（４）から算出できる。 ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４） 一方、Ｙ方向の中心位置は、後輪車軸上であるので、カ
メラ１と後輪車軸までの距離はＹＣ[ｃｍ]である。
【００３７】また、回転中心における回転角度θＣは、
図５に示す図形の関係から、車両が動いた角度θ１に一
致する。 ・次に、上述した様にして求めた回転中心位置（ＸＣ、
ＹＣ）、回転角度θＣを用いて、下記の様にして、鳥瞰
図画像を移動する。
図５に示す図形の関係から、車両が動いた角度θ１に一
致する。 ・次に、上述した様にして求めた回転中心位置（ＸＣ、
ＹＣ）、回転角度θＣを用いて、下記の様にして、鳥瞰
図画像を移動する。
【００３８】画像メモリＡに記憶された鳥瞰図画像の画
像データは、一旦、画像メモリＢにも記憶される。尚、
画像メモリＡに記憶された画像データを用いてモニタ３
に表示すると図６（ａ）の様になる。従って、ここで
は、画像メモリＢに記憶された鳥瞰図画像の画像データ
を、ＣＰＵ１３の内部メモリに転送し、前記回転中心位
置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、鳥瞰図画
像を回転移動する。
像データは、一旦、画像メモリＢにも記憶される。尚、
画像メモリＡに記憶された画像データを用いてモニタ３
に表示すると図６（ａ）の様になる。従って、ここで
は、画像メモリＢに記憶された鳥瞰図画像の画像データ
を、ＣＰＵ１３の内部メモリに転送し、前記回転中心位
置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、鳥瞰図画
像を回転移動する。
【００３９】この回転移動を行うための変換式を、下記
式（５）に示すが、この変換式を用いたＣＰＵ１３の内
部処理により、回転角度θにて移動させた移動後の座標
（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、
ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、Ｙ
Ｂ）のアドレスメモリに保存する。 ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５） ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ 但し、（ＸＡ、ＹＢ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 θ ：回転角度 ・そして、全ての座標についてこれらの演算を行うこと
により、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔ
における第１鳥瞰図画像）から、移動後の鳥瞰図画像
（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
式（５）に示すが、この変換式を用いたＣＰＵ１３の内
部処理により、回転角度θにて移動させた移動後の座標
（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、
ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、Ｙ
Ｂ）のアドレスメモリに保存する。 ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５） ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ 但し、（ＸＡ、ＹＢ）：移動前の座標 （ＸＢ、ＹＢ）：移動後の座標 θ ：回転角度 ・そして、全ての座標についてこれらの演算を行うこと
により、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔ
における第１鳥瞰図画像）から、移動後の鳥瞰図画像
（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００４０】それとともに、新たにカメラ１により撮影
した画像に基づいて作成した鳥瞰図画像、即ち、現在の
鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、
新たに画像メモリＡよりＣＰＵ１３に転送する。よっ
て、ＣＰＵ１３では、第２鳥瞰図画像を時刻Ｔと位置関
係が対応する位置（移動後鳥瞰図画像との画像のずれが
生じない位置）に書き込み、それによって、移動後鳥瞰
図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の
画像データを作成し、画像メモリＢに上書して記憶す
る。
した画像に基づいて作成した鳥瞰図画像、即ち、現在の
鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、
新たに画像メモリＡよりＣＰＵ１３に転送する。よっ
て、ＣＰＵ１３では、第２鳥瞰図画像を時刻Ｔと位置関
係が対応する位置（移動後鳥瞰図画像との画像のずれが
生じない位置）に書き込み、それによって、移動後鳥瞰
図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の
画像データを作成し、画像メモリＢに上書して記憶す
る。
【００４１】尚、この段階で、画像メモリＢに記憶した
合成鳥瞰図画像の画像データを用いて、モニタ３に表示
すると、例えば図６（ｂ）の後に図６（ｃ）の様にな
る。 次に、合成鳥瞰図画像を投影画像に変換する逆鳥瞰図
変換の手順について説明する。
合成鳥瞰図画像の画像データを用いて、モニタ３に表示
すると、例えば図６（ｂ）の後に図６（ｃ）の様にな
る。 次に、合成鳥瞰図画像を投影画像に変換する逆鳥瞰図
変換の手順について説明する。
【００４２】この逆鳥瞰図変換とは、基本的には、上述
したカメラ１にて撮影した画像を鳥瞰図画像に変換する
処理の逆の処理である。ここでは、図７に示す様に、合
成鳥瞰図画像が見える仮想的なカメラ（仮想カメラ）１
ｋの位置を設定し、この仮想カメラ１ｋで撮影したよう
な画像をモニタ３に表示する。
したカメラ１にて撮影した画像を鳥瞰図画像に変換する
処理の逆の処理である。ここでは、図７に示す様に、合
成鳥瞰図画像が見える仮想的なカメラ（仮想カメラ）１
ｋの位置を設定し、この仮想カメラ１ｋで撮影したよう
な画像をモニタ３に表示する。
【００４３】例えば、仮想カメラ１ｋの高さＨk、カメ
ラ俯角τk、焦点距離ｆkとし、仮想カメラ１ｋの前後方
向の位置を、実際のカメラ１の位置よりＺｋ前方（フロ
ントバンパの上空）とすると、実空間座標（鳥瞰図座
標）（ｘ、ｙ）と仮想カメラ画像座標（Ｘk、Ｙk）との
関係は、上記式（１）を変形した下記式（６）にて示さ
れる。 ｘ＝Ｘk・（ｙ・ＳＩＮπk＋Ｈk・ＣＯＳπk）／ｆk ・・・（６） ｙ＝Ｈk・（ｆk・ＳＩＮπk−ｙ・ＳＩＮπk） ／（ｆk・ＣＯＳπk＋Ｙ・ＳＩＮπk） これにより、仮想カメラ画像座標（Ｘk、Ｙk）の画像デ
ータ（即ち投影画像の画像データ）は、実空間座標（鳥
瞰図座標）（ｘ、ｙ）の画像データ（即ち合成鳥瞰図画
像の画像データ）を、上記式（６）に代入することによ
り得られることになる。
ラ俯角τk、焦点距離ｆkとし、仮想カメラ１ｋの前後方
向の位置を、実際のカメラ１の位置よりＺｋ前方（フロ
ントバンパの上空）とすると、実空間座標（鳥瞰図座
標）（ｘ、ｙ）と仮想カメラ画像座標（Ｘk、Ｙk）との
関係は、上記式（１）を変形した下記式（６）にて示さ
れる。 ｘ＝Ｘk・（ｙ・ＳＩＮπk＋Ｈk・ＣＯＳπk）／ｆk ・・・（６） ｙ＝Ｈk・（ｆk・ＳＩＮπk−ｙ・ＳＩＮπk） ／（ｆk・ＣＯＳπk＋Ｙ・ＳＩＮπk） これにより、仮想カメラ画像座標（Ｘk、Ｙk）の画像デ
ータ（即ち投影画像の画像データ）は、実空間座標（鳥
瞰図座標）（ｘ、ｙ）の画像データ（即ち合成鳥瞰図画
像の画像データ）を、上記式（６）に代入することによ
り得られることになる。
【００４４】従って、この様にして、合成鳥瞰図画像を
投影画像に変換し、その画像データを画像メモリＣに記
憶する。そして、この画像メモリＣに記憶した画像デー
タに基づいた投影画像を、モニタ３に表示するのであ
る。
投影画像に変換し、その画像データを画像メモリＣに記
憶する。そして、この画像メモリＣに記憶した画像デー
タに基づいた投影画像を、モニタ３に表示するのであ
る。
【００４５】例えば図７の駐車開始図面に示す様に、実
際のカメラ１の画像は、同図の上方の三角形内の画像に
過ぎないが、仮想カメラ１ｋの様に、車両の先端側に視
点を移動させることにより、車両の周囲の画像も表示す
ることができる。尚、投影画像を作成する際には、自車
両の位置やカメラ１の視野角の画像なども加入して画像
メモリＣに記憶し、その投影画像をモニタ３の画面に表
示してもよいが、自車両の位置やカメラ１の視野角の画
像などは画像メモリＣに記憶せずに、モニタ３に画像メ
モリＣに記憶した投影画像を描画する際に、自車両の位
置やカメラ１の視野角の画像など加えて描画してもよ
い。
際のカメラ１の画像は、同図の上方の三角形内の画像に
過ぎないが、仮想カメラ１ｋの様に、車両の先端側に視
点を移動させることにより、車両の周囲の画像も表示す
ることができる。尚、投影画像を作成する際には、自車
両の位置やカメラ１の視野角の画像なども加入して画像
メモリＣに記憶し、その投影画像をモニタ３の画面に表
示してもよいが、自車両の位置やカメラ１の視野角の画
像などは画像メモリＣに記憶せずに、モニタ３に画像メ
モリＣに記憶した投影画像を描画する際に、自車両の位
置やカメラ１の視野角の画像など加えて描画してもよ
い。
【００４６】ｃ）次に、前記画像処理ユニット９等にて
行われる処理を、図８のフローチャートに基づいて説明
する。図８に示す様に、まず、ステップ１００にて、シ
フト位置がバックであるか否かを判定する。ここで肯定
判断されるとステップ１１０に進み、一方否定判断され
るとステップ２１０に進む。
行われる処理を、図８のフローチャートに基づいて説明
する。図８に示す様に、まず、ステップ１００にて、シ
フト位置がバックであるか否かを判定する。ここで肯定
判断されるとステップ１１０に進み、一方否定判断され
るとステップ２１０に進む。
【００４７】尚、シフト位置は、シフト位置検出センサ
（図示せず）からの信号や、他の電子制御装置からの信
号により検出することができる。ステップ２１０では、
以前に描画したカメラの視野外の領域の画像を消去し、
即ち、現在のカメラの画像（鳥瞰図画像）のみを表示
し、前記ステップ１００に戻る。
（図示せず）からの信号や、他の電子制御装置からの信
号により検出することができる。ステップ２１０では、
以前に描画したカメラの視野外の領域の画像を消去し、
即ち、現在のカメラの画像（鳥瞰図画像）のみを表示
し、前記ステップ１００に戻る。
【００４８】一方、ステップ１１０では、カメラ１で撮
影した画像の座標変換（前記鳥瞰図変換）を行って、鳥
瞰図画像を作成する。続くステップ１２０では、前記鳥
瞰図画像を画像メモリＡに記憶する。尚、このときに
は、画像メモリＢにも同様な鳥瞰図画像を記憶する。
影した画像の座標変換（前記鳥瞰図変換）を行って、鳥
瞰図画像を作成する。続くステップ１２０では、前記鳥
瞰図画像を画像メモリＡに記憶する。尚、このときに
は、画像メモリＢにも同様な鳥瞰図画像を記憶する。
【００４９】続くステップ１３０では、車速信号及びヨ
ーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣ
で示される車両の動き量（移動量）を求める。続くステ
ップ１４０では、車両の移動量に基づいて、前記画像メ
モリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰
図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの
移動後鳥瞰図画像）を求める。
ーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣ
で示される車両の動き量（移動量）を求める。続くステ
ップ１４０では、車両の移動量に基づいて、前記画像メ
モリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰
図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの
移動後鳥瞰図画像）を求める。
【００５０】続くステップ１５０では、新たに撮影され
て画像メモリＡに記憶された（時刻Ｔ＋１における）第
２鳥瞰図画像を、画像メモリＡから読み込む。続くステ
ップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像と
を合成して合成鳥瞰図画像を作成する。
て画像メモリＡに記憶された（時刻Ｔ＋１における）第
２鳥瞰図画像を、画像メモリＡから読み込む。続くステ
ップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像と
を合成して合成鳥瞰図画像を作成する。
【００５１】具体的には、移動後鳥瞰図画像上で対応す
る座標位置に画像メモりＡの画像を全て上書きする。続
くステップ１７０では、合成鳥瞰図画像を、画像メモリ
Ｂに記憶する。続くステップ１８０では、合成鳥瞰図画
像を逆鳥瞰図変換して投影画像を作成する。
る座標位置に画像メモりＡの画像を全て上書きする。続
くステップ１７０では、合成鳥瞰図画像を、画像メモリ
Ｂに記憶する。続くステップ１８０では、合成鳥瞰図画
像を逆鳥瞰図変換して投影画像を作成する。
【００５２】続くステップ１９０では、投影画像を画像
メモリＣに記憶する。続くステップ２００では、車両を
示す画像や視野角を示す画像などを加味して、画像メモ
リＣに記憶した投影画像をモニタ３に表示し、一旦本処
理を終了する。
メモリＣに記憶する。続くステップ２００では、車両を
示す画像や視野角を示す画像などを加味して、画像メモ
リＣに記憶した投影画像をモニタ３に表示し、一旦本処
理を終了する。
【００５３】以後同様な処理を、新たにカメラ１で撮影
された画像が取り込まれる毎に実施する。つまり、次回
には、合成鳥瞰図画像を車両の移動に応じて移動させて
移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新
たな第２鳥瞰図画像とを合成し、その合成鳥瞰図画像か
ら投影画像を作成してモニタ３に表示し、以後同様な処
理を繰り返してゆく。
された画像が取り込まれる毎に実施する。つまり、次回
には、合成鳥瞰図画像を車両の移動に応じて移動させて
移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新
たな第２鳥瞰図画像とを合成し、その合成鳥瞰図画像か
ら投影画像を作成してモニタ３に表示し、以後同様な処
理を繰り返してゆく。
【００５４】ｄ）この様に、本実施例では、カメラ１で
撮影した画像を鳥瞰図画像に変換し、車両信号に基づい
て車両の移動量を検出し、その車両の移動量に応じて鳥
瞰図画像を移動させて移動後鳥瞰図画像を作成する。そ
して、移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像
とを合成して合成鳥瞰図画像を作成し、その合成鳥瞰図
画像を投影画像に変換し、モニタ３の画面に表示してい
る。
撮影した画像を鳥瞰図画像に変換し、車両信号に基づい
て車両の移動量を検出し、その車両の移動量に応じて鳥
瞰図画像を移動させて移動後鳥瞰図画像を作成する。そ
して、移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像
とを合成して合成鳥瞰図画像を作成し、その合成鳥瞰図
画像を投影画像に変換し、モニタ３の画面に表示してい
る。
【００５５】つまり、本実施例では、合成鳥瞰図画像を
そのままモニタ３に表示するのではなく、合成鳥瞰図画
像をカメラ１で撮影したような投影画像に逆鳥瞰図変換
し、あたかも、カメラ１で撮影した様な画像をモニタ３
に表示するのである。これにより、モニタ３には、通常
ドライバーが見慣れている画像が表示されるので、見に
くさを感じることがないという効果がある。
そのままモニタ３に表示するのではなく、合成鳥瞰図画
像をカメラ１で撮影したような投影画像に逆鳥瞰図変換
し、あたかも、カメラ１で撮影した様な画像をモニタ３
に表示するのである。これにより、モニタ３には、通常
ドライバーが見慣れている画像が表示されるので、見に
くさを感じることがないという効果がある。
【００５６】また、本実施例では、平面的な鳥瞰図画像
を用いて画像の合成を行い、合成された鳥瞰図画像をも
との投影画像に変更するので、画像処理の負担やメモリ
の負担が少なくて済むという利点がある。更に、本実施
例では、平面的な鳥瞰図画像を用いることで距離が分か
り、これより合成された鳥瞰図画像をもとの投影画像に
変更するので、測距センサ等を用いずに、容易に合成さ
れた投影画像を作成できるという利点がある。
を用いて画像の合成を行い、合成された鳥瞰図画像をも
との投影画像に変更するので、画像処理の負担やメモリ
の負担が少なくて済むという利点がある。更に、本実施
例では、平面的な鳥瞰図画像を用いることで距離が分か
り、これより合成された鳥瞰図画像をもとの投影画像に
変更するので、測距センサ等を用いずに、容易に合成さ
れた投影画像を作成できるという利点がある。
【００５７】その上、本実施例では、投影画像を作成す
る際の視点を、カメラ１の位置ではなく、車両の先端側
の上方の仮想の位置に移動するので、例えば車両を駐車
する際の操作が容易になる。例えば、カメラ１が車両の
後端に配置されている場合には、駐車場にて車両がバッ
クして壁に近接したときには、カメラ１で撮影したまま
の画像を表示すると、図９（ａ）に示す様に、モニタ３
には殆ど壁の画像が表示されてしまい、また、この合成
鳥瞰図画像を表示した場合でも、図９（ｂ）に示す様
に、壁と地面とが表面的に表示されるので、あまり見や
すいものではない。
る際の視点を、カメラ１の位置ではなく、車両の先端側
の上方の仮想の位置に移動するので、例えば車両を駐車
する際の操作が容易になる。例えば、カメラ１が車両の
後端に配置されている場合には、駐車場にて車両がバッ
クして壁に近接したときには、カメラ１で撮影したまま
の画像を表示すると、図９（ａ）に示す様に、モニタ３
には殆ど壁の画像が表示されてしまい、また、この合成
鳥瞰図画像を表示した場合でも、図９（ｂ）に示す様
に、壁と地面とが表面的に表示されるので、あまり見や
すいものではない。
【００５８】そこで、この合成鳥瞰図画像に対して視点
を仮想位置にずらして逆鳥瞰図変換して投影画像を求
め、その投影画像をモニタ３に表示すると、図９（ｂ）
に示す様に、きわめて見やすい違和感のないものとな
る。尚、本発明は前記実施例になんら限定されるもので
はなく、本発明を逸脱しない範囲において種々の態様で
実施しうることはいうまでもない。
を仮想位置にずらして逆鳥瞰図変換して投影画像を求
め、その投影画像をモニタ３に表示すると、図９（ｂ）
に示す様に、きわめて見やすい違和感のないものとな
る。尚、本発明は前記実施例になんら限定されるもので
はなく、本発明を逸脱しない範囲において種々の態様で
実施しうることはいうまでもない。
【００５９】（１）例えば、前記実施例では、車両周辺
画像処理装置について述べたが、この装置による処理を
実行させる手段を記憶している記録媒体も、本発明の範
囲である。この記録媒体としては、マイクロコンピュー
タとして構成される電子制御装置、マイクロチップ、フ
ロッピィディスク、ハードディスク、光ディスク等の各
種の記録媒体が挙げられる。
画像処理装置について述べたが、この装置による処理を
実行させる手段を記憶している記録媒体も、本発明の範
囲である。この記録媒体としては、マイクロコンピュー
タとして構成される電子制御装置、マイクロチップ、フ
ロッピィディスク、ハードディスク、光ディスク等の各
種の記録媒体が挙げられる。
【００６０】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。 （２）また、視点の仮想の位置（仮想カメラの位置）
は、予め設定された固定の位置でもよいが、ユーザによ
り任意に変更可能としてもよい。これにより、各ユーザ
にとって最も見やすい画像を表示することができる。
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。 （２）また、視点の仮想の位置（仮想カメラの位置）
は、予め設定された固定の位置でもよいが、ユーザによ
り任意に変更可能としてもよい。これにより、各ユーザ
にとって最も見やすい画像を表示することができる。
【００６１】（３）更に、モニタに表示する画像として
は、合成鳥瞰図画像と投影画像とを、ユーザにより任意
に変更可能としてもより。これにより、各ユーザにとっ
て最も見やすい画像を表示することができる。 （４）その上、前記実施例では、車両の移動状態を車速
センサやヨーレートセンサを用いて検出し、その情報に
基づいて移動後鳥瞰図画像を作成する様にしたが、例え
ばカメラで撮影した画像（鳥瞰図画像）の動きベクトル
を求め、この動きベクトルから車両の移動状態を推定し
て、移動後鳥瞰図画像を求めてもよい。
は、合成鳥瞰図画像と投影画像とを、ユーザにより任意
に変更可能としてもより。これにより、各ユーザにとっ
て最も見やすい画像を表示することができる。 （４）その上、前記実施例では、車両の移動状態を車速
センサやヨーレートセンサを用いて検出し、その情報に
基づいて移動後鳥瞰図画像を作成する様にしたが、例え
ばカメラで撮影した画像（鳥瞰図画像）の動きベクトル
を求め、この動きベクトルから車両の移動状態を推定し
て、移動後鳥瞰図画像を求めてもよい。
【００６２】例えばいわゆる画像のマッチングの処理に
より、第１鳥瞰図画像とそれより後の第２鳥瞰図画像と
の移動状態を検出し、その画像の移動状態から車両の移
動状態を求めるようにしてもよい。
より、第１鳥瞰図画像とそれより後の第２鳥瞰図画像と
の移動状態を検出し、その画像の移動状態から車両の移
動状態を求めるようにしてもよい。
【図１】 実施例の車両周辺画像処理装置の主要構成を
示す説明図である。
示す説明図である。
【図２】 実施例の車両周辺画像処理装置の電気的構成
を示す説明図である。
を示す説明図である。
【図３】 実施例の車両周辺画像処理装置により用いら
れる画像を示し、（ａ）はカメラにより撮影された画像
の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
れる画像を示し、（ａ）はカメラにより撮影された画像
の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】 実施例の車両周辺画像処理装置による座標変
換の際の位置関係を示す説明図である。
換の際の位置関係を示す説明図である。
【図５】 実施例の車両周辺画像処理装置による車両の
移動量を求めるための手法を示す説明図である。
移動量を求めるための手法を示す説明図である。
【図６】 実施例の車両周辺画像処理装置のよる画像作
成の手順を示す説明図である。
成の手順を示す説明図である。
【図７】 実施例の車両周辺画像処理装置のよる画像作
成の方法を示し、（ａ）はカメラの位置等を示す説明
図、（ｂ）は駐車開始時の画像を示す説明図、（ｃ）は
駐車中の画像を示す説明図、（ｄ）は駐車終了の画像を
示す説明図である。
成の方法を示し、（ａ）はカメラの位置等を示す説明
図、（ｂ）は駐車開始時の画像を示す説明図、（ｃ）は
駐車中の画像を示す説明図、（ｄ）は駐車終了の画像を
示す説明図である。
【図８】 実施例の車両周辺画像処理装置の処理を示す
フローチャートである。
フローチャートである。
【図９】 実施例の車両周辺画像処理装置のよる画像作
成の手順を示す説明図である。
成の手順を示す説明図である。
１…カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
９…画像処理ユニット
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ａ
3/00 １００ 3/00 １００
(72)発明者 柳川 博彦
愛知県刈谷市昭和町１丁目１番地 株式会
社デンソー内
(72)発明者 石川 哲理
愛知県刈谷市昭和町１丁目１番地 株式会
社デンソー内
Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 CC01
CD20 CE08
5C054 AA01 FD01 FE01 FE12 GB12
GB15 HA30
Claims (8)
- 【請求項１】 車両周辺の画像を撮影する撮影手段と、
画像を表示する表示手段とを備えた車両に対して、前記
撮影手段により撮影された画像を処理して前記表示手段
に表示する車両周辺画像処理装置において、 前記撮影手段により撮影された画像に基づいて作成され
た第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、 前記第１鳥瞰図画像を、前記車両の移動状態に応じて移
動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画
像作成手段と、 前記第１鳥瞰図画像より後に撮影されて作成された第２
鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合
成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、 前記合成鳥瞰図画像を所定の視点からの投影画像に変換
する画像変換手段と、 を備え、 前記投影画像を前記表示手段に表示することを特徴とす
る車両周辺画像処理装置。 - 【請求項２】 前記視点を前記撮影手段の撮影位置とは
異なる仮想の位置に移動し、その仮想の位置を視点とし
て前記投影画像を求めることを特徴とする前記請求項１
に記載の車両周辺画像処理装置。 - 【請求項３】 前記視点の仮想の位置を、ユーザにより
変更可能としたことを特徴とする前記請求項１又は２に
記載の車両周辺画像処理装置。 - 【請求項４】 前記表示手段に表示する画像を、前記合
成鳥瞰図画像と前記投影画像とに、ユーザにより変更可
能としたことを特徴とする前記請求項１〜３のいずれか
に記載の車両周辺画像処理装置。 - 【請求項５】 前記表示手段に前記投影画像を表示する
場合には、自車両を示す画像を加えて表示することを特
徴とする前記請求項１〜４のいずれかに記載の車両周辺
画像処理装置。 - 【請求項６】 前記第１鳥瞰図画像として、今回の合成
鳥瞰図画像より前に作成した合成鳥瞰図画像を用いるこ
とを特徴とする前記請求項１〜５のいずれかに記載の車
両周辺画像処理装置。 - 【請求項７】 前記合成鳥瞰図画像は、前記第２鳥瞰図
画像を表示する表示領域以外に、前記移動後鳥瞰図画像
を加入した画像であることを特徴とする前記請求項１〜
６のいずれかに記載の車両周辺画像処理装置。 - 【請求項８】 前記請求項１〜７のいずれかに記載の車
両周辺画像処理装置による処理を実行させる手段を記憶
していることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384587A JP3778849B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384587A JP3778849B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189291A true JP2003189291A (ja) | 2003-07-04 |
| JP3778849B2 JP3778849B2 (ja) | 2006-05-24 |
Family
ID=27594282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001384587A Expired - Fee Related JP3778849B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3778849B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2416901A (en) * | 2004-08-03 | 2006-02-08 | Denso Corp | Vehicle parking assistant that calculates and displays to the driver the position needed to reverse the steering lock when parallel parking |
| JP2007269060A (ja) * | 2006-03-30 | 2007-10-18 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
| WO2009132054A2 (en) * | 2008-04-24 | 2009-10-29 | Gm Global Technology Operations, Inc. | Vehicle clear path detection |
| CN101808236A (zh) * | 2009-02-12 | 2010-08-18 | 株式会社电装 | 车辆周边显示设备 |
| DE102010016064A1 (de) | 2009-03-25 | 2010-09-30 | Denso Corporation, Kariya-City | Fahrzeugperipherieanzeigevorrichtung und Verfahren für ein Fahrzeugperipheriebild |
| CN101963509A (zh) * | 2009-05-08 | 2011-02-02 | 通用汽车环球科技运作公司 | 通过地形变化分析来检测畅通路径的方法 |
| US8332134B2 (en) | 2008-04-24 | 2012-12-11 | GM Global Technology Operations LLC | Three-dimensional LIDAR-based clear path detection |
| US8421859B2 (en) | 2008-04-24 | 2013-04-16 | GM Global Technology Operations LLC | Clear path detection using a hierachical approach |
| US8452053B2 (en) | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
| US8487991B2 (en) | 2008-04-24 | 2013-07-16 | GM Global Technology Operations LLC | Clear path detection using a vanishing point |
| US8605947B2 (en) | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| US8611585B2 (en) | 2008-04-24 | 2013-12-17 | GM Global Technology Operations LLC | Clear path detection using patch approach |
| US8634593B2 (en) | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
| US8670592B2 (en) | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
| US8699754B2 (en) | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
| US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| US8890951B2 (en) | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| CN106063258A (zh) * | 2014-03-05 | 2016-10-26 | 株式会社电装 | 车辆周边图像显示装置、车辆周边图像显示方法 |
| WO2019093378A1 (ja) * | 2017-11-10 | 2019-05-16 | 株式会社デンソー | 表示処理装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10576892B2 (en) * | 2016-03-24 | 2020-03-03 | Ford Global Technologies, Llc | System and method for generating a hybrid camera view in a vehicle |
-
2001
- 2001-12-18 JP JP2001384587A patent/JP3778849B2/ja not_active Expired - Fee Related
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2416901B (en) * | 2004-08-03 | 2008-05-07 | Denso Corp | Vehicle parking assisting system |
| GB2416901A (en) * | 2004-08-03 | 2006-02-08 | Denso Corp | Vehicle parking assistant that calculates and displays to the driver the position needed to reverse the steering lock when parallel parking |
| JP4661658B2 (ja) * | 2006-03-30 | 2011-03-30 | アイシン・エィ・ダブリュ株式会社 | 運転支援方法、運転支援装置及び運転支援プログラム |
| JP2007269060A (ja) * | 2006-03-30 | 2007-10-18 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
| US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| US8611585B2 (en) | 2008-04-24 | 2013-12-17 | GM Global Technology Operations LLC | Clear path detection using patch approach |
| US9852357B2 (en) | 2008-04-24 | 2017-12-26 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| US9652980B2 (en) | 2008-04-24 | 2017-05-16 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| US8917904B2 (en) | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
| WO2009132054A3 (en) * | 2008-04-24 | 2009-12-17 | Gm Global Technology Operations, Inc. | Vehicle clear path detection |
| CN102076531A (zh) * | 2008-04-24 | 2011-05-25 | 通用汽车环球科技运作公司 | 车辆畅通路径检测 |
| US8332134B2 (en) | 2008-04-24 | 2012-12-11 | GM Global Technology Operations LLC | Three-dimensional LIDAR-based clear path detection |
| US8421859B2 (en) | 2008-04-24 | 2013-04-16 | GM Global Technology Operations LLC | Clear path detection using a hierachical approach |
| US8428305B2 (en) | 2008-04-24 | 2013-04-23 | GM Global Technology Operations LLC | Method for detecting a clear path through topographical variation analysis |
| US8890951B2 (en) | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| US8452053B2 (en) | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
| US8487991B2 (en) | 2008-04-24 | 2013-07-16 | GM Global Technology Operations LLC | Clear path detection using a vanishing point |
| WO2009132054A2 (en) * | 2008-04-24 | 2009-10-29 | Gm Global Technology Operations, Inc. | Vehicle clear path detection |
| US8605947B2 (en) | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| US8634593B2 (en) | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
| US8670592B2 (en) | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
| US8699754B2 (en) | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
| CN101808236A (zh) * | 2009-02-12 | 2010-08-18 | 株式会社电装 | 车辆周边显示设备 |
| US8441536B2 (en) | 2009-02-12 | 2013-05-14 | Denso Corporation | Vehicle periphery displaying apparatus |
| DE102010000385A1 (de) | 2009-02-12 | 2010-08-19 | Denso Corporation, Kariya-City | Fahrzeugperipherieanzeigevorrichtung |
| US8514282B2 (en) | 2009-03-25 | 2013-08-20 | Denso Corporation | Vehicle periphery display device and method for vehicle periphery image |
| DE102010016064A1 (de) | 2009-03-25 | 2010-09-30 | Denso Corporation, Kariya-City | Fahrzeugperipherieanzeigevorrichtung und Verfahren für ein Fahrzeugperipheriebild |
| CN101963509A (zh) * | 2009-05-08 | 2011-02-02 | 通用汽车环球科技运作公司 | 通过地形变化分析来检测畅通路径的方法 |
| CN106063258A (zh) * | 2014-03-05 | 2016-10-26 | 株式会社电装 | 车辆周边图像显示装置、车辆周边图像显示方法 |
| CN106063258B (zh) * | 2014-03-05 | 2018-12-25 | 株式会社电装 | 车辆周边图像显示装置、车辆周边图像显示方法 |
| WO2019093378A1 (ja) * | 2017-11-10 | 2019-05-16 | 株式会社デンソー | 表示処理装置 |
| JP2019087980A (ja) * | 2017-11-10 | 2019-06-06 | 株式会社デンソー | 表示処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3778849B2 (ja) | 2006-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2003189291A (ja) | 車両周辺画像処理装置及び記録媒体 | |
| EP2192552B1 (en) | Image processing apparatus, image processing method, and recording medium | |
| US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
| US20110210868A1 (en) | Parking assistance apparatus | |
| WO2003107273A1 (ja) | 運転支援装置 | |
| CN105075247A (zh) | 车辆的控制装置及程序 | |
| JP5914114B2 (ja) | 駐車支援装置、及び駐車支援方法 | |
| JP2004254219A (ja) | 車両周辺画像処理装置及びプログラム並びに記録媒体 | |
| JP2002354467A (ja) | 車両周囲情報表示装置 | |
| JP4192680B2 (ja) | 移動体周辺監視装置 | |
| JP5064201B2 (ja) | 画像表示システム及びカメラ出力制御方法 | |
| JP2010154304A (ja) | 移動体カメラシステム及び駆動方法 | |
| JP2003132349A (ja) | 描画装置 | |
| JP4071463B2 (ja) | 車両周辺画像処理装置 | |
| JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2008145364A (ja) | 経路案内装置 | |
| JP2007110177A (ja) | 画像処理装置及びプログラム | |
| JP3900415B2 (ja) | 車両周辺画像処理装置，プログラム及び記録媒体 | |
| JP2008213647A (ja) | 駐車支援方法及び駐車支援装置 | |
| JP2004252837A (ja) | 車両周辺表示装置および車両周辺表示プログラム | |
| JP2006252577A (ja) | 地図データ生成装置 | |
| JP2012046124A (ja) | 画像表示システム、画像処理装置、および、画像表示方法 | |
| JP2002330428A (ja) | 車載カメラの画像表示制御方法及びその装置 | |
| TWM591940U (zh) | 全景停車輔助系統及其裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140310 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |