JP2003219413A - 車両後方モニタシステムおよびモニタ装置 - Google Patents

車両後方モニタシステムおよびモニタ装置

Info

Publication number
JP2003219413A
JP2003219413A JP2002015696A JP2002015696A JP2003219413A JP 2003219413 A JP2003219413 A JP 2003219413A JP 2002015696 A JP2002015696 A JP 2002015696A JP 2002015696 A JP2002015696 A JP 2002015696A JP 2003219413 A JP2003219413 A JP 2003219413A
Authority
JP
Japan
Prior art keywords
vehicle
image
displayed
view
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002015696A
Other languages
English (en)
Other versions
JP3916958B2 (ja
Inventor
Noriyuki Sato
徳行 佐藤
Toru Oki
透 大木
Hirotaka Iwano
博隆 岩野
Ryota Kawachi
亮太 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2002015696A priority Critical patent/JP3916958B2/ja
Publication of JP2003219413A publication Critical patent/JP2003219413A/ja
Application granted granted Critical
Publication of JP3916958B2 publication Critical patent/JP3916958B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 自車両後方の状況を容易かつ正確に把握する
ことができ、運転者にゆとりのある運転を行わせること
が可能な車両後方モニタシステムを提供する。 【解決手段】 車両に搭載され該車両の後方を撮影する
1台の後方カメラ11と、後方カメラ11からの撮影画
像を取り込んで処理し、互いに異なる視点方向から車両
周囲を見たときの俯瞰画像を生成する画像処理部20
と、俯瞰画像をモニタ画面上に表示するモニタシステム
23とを備えた車両後方モニタシステムにおいて、車両
の左右ドアミラー又はそれらの近傍に該車両の後方を撮
影する側方カメラ12,13をそれぞれ1台ずつ搭載
し、側方カメラ12,13で撮影した画像を、俯瞰画像
とともに前記モニタ画面上に一括して表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両後方の状況を
モニタ画面上に表示することができる車両後方モニタシ
ステムおよびモニタ装置に関する。
【0002】
【従来の技術】従来から、車両後部に搭載されたカメラ
で車両後方を撮影し、その撮影画像を処理して互いに異
なる視点方向から車両周囲を見たときの俯瞰画像を生成
するとともに、その俯瞰画像を車室内のモニタ画面上に
表示する車両後方モニタシステムが知られている。
【0003】俯瞰画像は、カメラの実映像に対しデジタ
ル画像処理を施すことで仮想的に車両上方にカメラを設
置した場合の画像を提供するもので、車両周囲の状況が
一目瞭然に判別可能であるので、車庫入れ・縦列駐車・
車両発進時等の安全確認や操作補助などに大変有用であ
る。
【0004】このような俯瞰画像に関しては、1つのカ
メラのみを用いる単眼俯瞰システムと、2つ以上のカメ
ラを用いる多眼俯瞰システムとがあり、用途やコストそ
の他の要因にて使い分けがなされている。そして、俯瞰
画像は、一つのモニタ画面上に一つの仮想カメラの映像
として表示されるのが一般的である。
【0005】また、左右のドアミラー部にカメラを搭載
し、これらのカメラで車両後方を撮影するとともに、撮
影画像をモニタ画面上に左右分割画像として表示するこ
とが提案されている。ドアミラー部はその容積や車体か
ら突起する形状であるため、死角解消カメラの設置位置
として大変有効である。
【0006】
【発明が解決しようとする課題】ところで、多眼俯瞰シ
ステムは、視界が広く運転操作を行う際の安心感は高い
が、2つ以上のカメラ画像によって1枚の俯瞰図の画像
が構成されるので、それらのカメラ間の整合性を取る必
要がある。そのために、各カメラの取付精度はかなり高
いものが要求され、コストアップの要因となっている。
【0007】一方、単眼俯瞰システムは、1つのカメラ
画像によって1枚の俯瞰図の画像が構成されるので、カ
メラの取付精度はそれほど高いものは要求されていな
い。
【0008】しかし、単眼俯瞰システムでは、カメラを
通常よりやや地面方向に傾けて撮影したモニタ映像を用
いて俯瞰図を構成しているために、その特性上立体物の
判別が困難であり、表面上はかなり歪んだ形として表現
されている。また、単一カメラの映像を用いているた
め、視界が実カメラでの視界に制限され、モニタ画面に
は一部の映像しか表示されず、残りの部分はブルーバッ
クなど非表示エリアになっているため、運転中に表示エ
リア内に車や障害物が入ってくると、運転者はそれらが
いきなり飛び出してくる印象を受け、不安感が増大す
る。実際に死角付近に障害物が存在する場合、単眼俯瞰
システムではその一部しか表示されないため、車両の動
き如何によっては、障害物が死角に完全に入ってしまう
事態も想定され、安全支援の情報提供システムとしては
不十分である。
【0009】また、単眼俯瞰システムでは、上述したよ
うに、カメラを地面方向へ傾けて撮影したモニタ映像を
利用しているため、どうしても近距離に比べ遠距離の情
報量は少なくなり、さらにモニタ画面に表示する上でも
限られたエリアを一枚の俯瞰画像として表現することか
ら、遠方の表示には限界がある。このため、運転者が運
転操作を行う際、より遠方に車庫入れ等の目標を置くと
どうしても目標を見失うことが多くなる。
【0010】一方、ドアミラーの中や、又はその付近に
カメラを搭載した場合、その視界はドアミラーによる視
界に比べ広く多くを見渡せ、さらに遠方に対しても視認
性は良好である。しかし、この場合は、左右同時に視界
全体を画面表示すると画像が歪み、直感的な判別が困難
となる。また、自車の真後ろは影に入るため、車両後方
の部分に死角が存在し、さらには画像の中の正確な距離
認識がしがたいといった欠点もある。
【0011】本発明の課題は、自車両後方の状況を容易
かつ正確に把握することができ、運転者にゆとりのある
運転を行わせることが可能な車両後方モニタシステム、
およびモニタ装置を提供することにある。
【0012】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、簡単な取付方法にて実施可能な単眼俯瞰
システムをメインに、その弱点である後側方視界の確保
をドアミラー付近に設置された側方カメラをサブとして
用いることで、総合的な後方安全認識装置を構成しよう
とするものである。
【0013】すなわち、請求項1に記載の発明は、車両
に搭載され該車両の後方を撮影する1台の後方カメラ
と、前記後方カメラからの撮影画像を取り込んで処理
し、互いに異なる視点方向から前記車両周囲を見たとき
の俯瞰画像を生成する画像処理手段と、前記俯瞰画像を
モニタ画面上に表示する表示手段とを備えた車両後方モ
ニタシステムにおいて、前記車両の左右ドアミラー又は
それらの近傍に該車両の後方を撮影する側方カメラをそ
れぞれ1台ずつ搭載し、前記側方カメラで撮影した画像
を、前記俯瞰画像とともに前記モニタ画面上に一括して
表示することを特徴としている。
【0014】上記構成によれば、車両左右の側方カメラ
で撮影した画像が俯瞰画像とともに一つのモニタ画面上
に表示されるので、車両の後方や側方に危険物又は障害
物が存在するときは、運転者はその危険物や障害物を容
易に発見し、余裕を持って回避することができる。ま
た、側方カメラを略水平方向に向けておけば、この側方
カメラで撮影した画像には歪みがあまり生じておらず、
立体物の判別も容易である。
【0015】請求項2に記載の発明は、請求項1におい
て、前記側方カメラで撮影した画像は、前記後方カメラ
で撮影したときの死角に対応するモニタ画面上のエリア
に表示されることを特徴としている。
【0016】後方カメラで車両の後方を撮影したときに
は、車両側方に死角が当然に生じており、この死角に対
応するモニタ画面上のエリアには何も表示されていない
ので、上記構成では、側方カメラで撮影した画像を前記
エリアに表示するようにしている。
【0017】請求項3に記載の発明は、請求項2におい
て、前記エリアには枠形状をなしたアイコンが表示さ
れ、前記側方カメラで撮影した画像は、前記アイコンの
中に縮小して表示されるか、または切り取られた一部の
画像が前記アイコンの中に表示されることを特徴として
いる。
【0018】このようにすれば、側方カメラで撮影した
画像と俯瞰画像とを容易に見分けることができる。
【0019】請求項4に記載の発明は、請求項3におい
て、前記アイコンは、ドアミラーを模した形状に表示さ
れることを特徴としている。ドアミラーを模した形状の
アイコンであれば、運転者にとって違和感がない。
【0020】請求項5に記載の発明は、請求項3又は4
において、前記側方カメラで撮影した画像を前記アイコ
ンの中に縮小して表示する縮小画像表示モードと、前記
切り取られた一部の画像を前記アイコンの中に表示する
切取画像表示モードとが設定され、前記両モードを互い
に切換えるためのモード切換スイッチが設けられている
ことを特徴としている。
【0021】このようにすれば、モード切換スイッチを
切換えるだけで、縮小画像表示モードと切取画像表示モ
ードとをワンタッチで切換えることができ、運転者はそ
の時々の状況に応じて必要性の高い表示モードを選択で
きる。
【0022】請求項6に記載の発明は、請求項5におい
て、前記切取画像表示モードに切換えられたときは、前
記側方カメラで撮影した画像のうち車両から離れた外側
の視界、車両に近い内側の視界、および前記外側と内側
の中間の領域の視界が切り出されるとともに、切り出さ
れた視界の一つが視界角度切換スイッチの切換操作に応
じて選択され、その選択された視界の画像が表示される
ことを特徴としている。
【0023】このようにすれば、視界角度切換スイッチ
を切換操作するだけで、車両から離れた外側の視界、車
両に近い内側の視界、および外側と内側の中間の領域の
視界のいずれか一つを選択し、その選択した視界の画像
をアイコンの中に表示させることができる。
【0024】請求項7に記載の発明は、請求項6におい
て、前記アイコンは、切り出された視界が前記外側の視
界か、前記内側の視界か、もしくは前記外側と内側の中
間の領域の視界かに応じて枠が変形して表示されること
を特徴としている。
【0025】例えば、側方カメラで撮影した画像のう
ち、車両から離れた外側部分の画像を切り取って表示す
る場合は、ドアミラー形状のアイコンの両先端が若干上
方に位置するようにアイコンの枠全体を変形させ、車両
に近い内側部分の画像を切り取って表示する場合は、ド
アミラー形状のアイコンの両先端が若干下方に位置する
ようにアイコンの枠全体を変形させ、前記外側部分と前
記内側部分の中間の領域を切り取って表示する場合は、
ドアミラー形状のアイコンを変形させないようにする。
このようにすることによって、運転者は、どの部分が切
り取られて表示されているのかを容易に判別することが
できる。
【0026】請求項1乃至7に記載の発明はモニタシス
テムとしての発明であったが、運転席に設置されるモニ
タ装置にも適用できる。すなわち、請求項8に記載の発
明は、車両に搭載された後方カメラに接続され、該後方
カメラで前記車両の後方を撮影したときの画像を取り込
んで処理し、互いに異なる視点方向から前記車両周囲を
見たときの俯瞰画像を生成する画像処理手段と、前記俯
瞰画像をモニタ画面上に表示する表示手段とを備えた車
両後方モニタ装置において、前記画像処理手段は、前記
車両の左右ドアミラー又はそれらの近傍にそれぞれ1台
ずつ搭載された側方カメラに接続され、前記側方カメラ
で前記車両後方を撮影したときの画像を取り込んで、そ
の画像を前記俯瞰画像とともに前記モニタ画面上に一括
して表示させることを特徴としている。
【0027】
【発明の実施の形態】以下、本発明の実施の形態を図面
に従って説明する。 (実施の形態1)図1は、本実施の形態1に係る車両後
方モニタシステムの全体構成を示している。本車両後方
モニタシステムには、図に示すように、後方カメラ1
1、左側方カメラ12および右側方カメラ13が設けら
れている。後方カメラ11は、図2に示すように、車両
1後部のトランク2の上部またはその周辺に取り付けら
れ、また左側方カメラ12は車両左側のドアミラー3の
先端部に、右側方カメラ13は車両右側のドアミラー4
の先端部にそれぞれ取り付けられている。
【0028】後方カメラ11は、図1に示すように、デ
コーダ部14を介して画像メモリ15に、左側方カメラ
12はデコーダ部16を介して画像メモリ17に、右側
方カメラ13はデコーダ部18を介して画像メモリ19
にそれぞれ接続され、さらに各画像メモリ15,17,
19は、RAM1,2を有する画像処理部20に接続さ
れている。また、画像処理部20には画像処理メモリ
(表示画像メモリ)21が接続され、この画像処理メモ
リ21はエンコーダ部22を介してモニタシステム23
に接続されている。
【0029】ここで、左右の側方カメラ12,13、デ
コーダ部16,18、および画像メモリ17,19は側
方カメラシステム(図1の破線で囲った部分)を構成し
ている。本実施の形態では、この側方カメラシステムを
従来の単眼俯瞰システムに追加したところに特徴があ
る。
【0030】また、本車両後方モニタシステムには制御
部24が設けられ、この制御部24はデコーダ部14,
16,18および画像メモリ15,17,19に接続さ
れている。そして、制御部24と画像メモリ15,1
7,19には同期分離信号が入力され、各カメラ11,
12,13間の時間的遅れを吸収している。このように
本実施の形態では、画像メモリ15,17,19を用い
て、各カメラ11,12,13間の時間的遅れを吸収し
同期化を図っているが、仕様によっては各カメラ11,
12,13間を外部同期信号によって同期化させるよう
構成することもできる。
【0031】さらに、制御部24は、画像処理部20、
画像処理メモリ21およびエンコーダ部22にそれぞれ
接続され、画像処理部20と画像処理メモリ21に制御
信号を出力するとともに、エンコーダ部22との間で制
御信号のやり取りをする。
【0032】また、画像処理用のデータを多数格納する
画像処理用データROM25が設けられ、表示仕様に合
わせた画像処理用のデータを制御部24に出力すること
により、様々なバリエーションを持った画像表示が可能
となっている。
【0033】なお、上記構成において、本発明に係る車
両後方モニタ装置は、後方カメラ11、左右の側方カメ
ラ12,13、およびモニタシステム23を除いたもの
である。
【0034】上記構成の車両後方モニタシステムにおい
て、まず、後方カメラ11のみで撮影した場合について
述べる。後方カメラ11で車両1の後方を撮影すると、
その画像信号はデコード部14でデコードされてRGB
信号となり、画像メモリ15に記憶される。画像処理部
20は、画像メモリ15に記憶された画像信号を取り込
んで、デジタル画像処理を行い単眼俯瞰画像を生成す
る。生成された単眼俯瞰画像は、画像処理メモリ21内
のRAM1又はRAM2に一旦記憶され、その後、エン
コード部22でNTSC等、モニタシステム23に合わ
せた画像信号にエンコードされてから、モニタシステム
23に出力されモニタ画面上に表示される。
【0035】モニタシステム23は図3のようなモニタ
画面30を有し、単眼俯瞰画像はモニタ画面30上の俯
瞰表示エリア31に表示される。モニタ画面30には、
自車両の映像1’も表示されており、俯瞰表示エリア3
1は自車両の映像1’の後方に表示される。なお、図3
において、符号32は後方カメラ11で車両1の後方を
撮影したときの死角に対応する非表示エリアである。
【0036】ここで、単眼俯瞰画像について説明する。
例えば、図4のように、車両1の後方にある車庫入れ用
の白線33を後方カメラ11で撮影した場合、その撮影
結果から得られる単眼俯瞰画像は互いに異なる視点方向
から車両1周囲を見たときの画像で、図5のようにモニ
タ画面30上の俯瞰表示エリア31に表示される。この
場合、俯瞰表示エリア31には白線33の一部が俯瞰画
像33’として表示され、後方カメラ11の死角に対応
するエリア(非表示エリア32)には何も表示されな
い。
【0037】次に、左側方カメラ12および右側方カメ
ラ13で車両1の後方を撮影すると、その画像信号はデ
コード部16,18でデコードされてRGB信号とな
り、画像メモリ17,19にそれぞれ記憶される。画像
処理部20は、画像メモリ17,19に記憶された画像
信号を取り込んでデジタル画像処理を行う。この場合、
画像処理部20は画像メモリ15に記憶された画像信号
も取り込んで、左右の側方カメラ12,13で撮影した
画像を、後方カメラ11での撮影による単眼俯瞰画像と
ともに一括してモニタ画面30上に表示させるように画
像処理を行う。その処理結果は画像処理メモリ21内の
RAM1,2に一旦記憶され、その後、エンコード部2
2でNTSC等、モニタシステム23に合わせた画像信
号にエンコードしてから、モニタシステム23に出力す
る。
【0038】モニタシステム23のモニタ画面30上に
は、図6に示すように、俯瞰表示エリア31に車庫入れ
用の白線33の俯瞰画像33’が表示され、また自車両
の映像1’の左側の非表示エリア32Aおよび右側の非
表示エリア32Bには、ドアミラーの枠形状を模したア
イコン34A,34Bがそれぞれ表示される。そして、
アイコン34Aの中には左側方カメラ12で撮影した画
像が、アイコン34Bの中には右側方カメラ13で撮影
した画像がそれぞれ表示される。アイコン34A,34
Bの中には画像が縮小して表示されるか、もしくは切り
取られた一部の画像が縮小されずに表示される。
【0039】本実施の形態においては、後方カメラ11
による撮影画像の表示可能エリアと、左右の側方カメラ
12,13による撮影画像の表示可能エリアは、図7の
ように設定されている。すなわち、後方カメラ11によ
る撮影画像の表示可能エリアは図の範囲Aであり、これ
は前述の俯瞰表示エリア31に相当している。左右の側
方カメラ12,13による撮影画像の表示可能エリア
は、目の細かい斜線の範囲Bであるが、目の粗い斜線の
範囲Cも含まれている。したがって、本実施の形態では
車両1の後方全域が表示可能な範囲となっている。
【0040】次に、道路走行中に、後方カメラ11およ
び左右の側方カメラ12,13で車両後方を撮影し、そ
の撮影画像をモニタ画面30上に表示する場合の一例に
ついて説明する。
【0041】例えば、図8に示すように、自車両1の真
後ろに乗用車41が、自車両1の右斜め後方に乗用車4
2が、自車両1の左斜め後方に自動二輪車43が各々走
行している場合について述べる。乗用車41の前面側、
乗用車42の左側後部および自動二輪車43の右側後部
は後方カメラ11の死角には入らないので、後方カメラ
11で撮影されて、モニタ画面30上には、図9に示す
ように、俯瞰表示エリア31に俯瞰画像41’,4
2’,43’としてそれぞれ表示される。
【0042】また、乗用車41の左側と自動二輪車43
の前面側は左側方カメラ12で、乗用車41の右側と乗
用車42の前面側は右側方カメラ13でそれぞれ撮影さ
れ、その撮影画像は、左右の非表示エリア32A,32
Bに表示されたドアミラー形状のアイコン34A,34
Bの中にそれぞれ表示される。アイコン34Aの中には
左側方カメラ12で撮影した乗用車41と自動二輪車4
3のそれぞれの画像が、アイコン34Bの中には右側方
カメラ13で撮影した乗用車41と乗用車42のそれぞ
れの画像が表示される。アイコン34A,34Bの中に
は画像が縮小して表示されるか、もしくは切り取られた
一部の画像が縮小されずに表示される。
【0043】本実施の形態によれば、左右の側方カメラ
12,13で撮影した画像が、俯瞰画像とともに一括し
てモニタ画面30上に表示されるので、運転者は、車庫
入れ等で車両を後進させているときに車両後方の障害物
を容易に発見でき、また道路走行時には自車両後方の状
況を瞬時に知ることができる。
【0044】また、本実施の形態によれば、走行中に、
アイコン34A,34Bの中に表示される画像を見なが
ら運転し、ドアミラーの代わりとして活用することも可
能である。側方カメラ12,13はドアミラーよりも視
界が広いので、車両後方の安全確認を確認するには側方
カメラ12,13の方が適している。
【0045】なお、側方カメラ12,13はドアミラー
先端部だけでなく、ドアミラー近傍のフェンダパネルや
ドアパネルに取り付けることもできる。また、側方カメ
ラは3つ以上あっても良い。
【0046】また、本実施の形態では、アイコン34
A,34Bはドアミラー形状をなしているが、他の形状
(例えば、四角形や長円形)であっても良い。
【0047】(実施の形態2)次に、本発明の実施の形
態2について説明する。本実施の形態では、図10に示
すように、外部制御スイッチ50が設けられている。こ
の外部制御スイッチ50はモード切換スイッチ51およ
び視界角度切換スイッチ52からなり、これら切換スイ
ッチ51,52は運転席に設けられ、運転者が自在に操
作できる。運転者が切換スイッチ51,52を操作する
と、外部制御スイッチ50は制御部24に対して外部制
御信号を出力する。また、スーパーインポーズ用データ
ROM53が設けられ、このスーパーインポーズ用デー
タROM53は制御部24にスーパーインポーズ用のデ
ータを出力する。他の構成は、実施の形態1の場合と同
様である。
【0048】本実施の形態では、アイコン34A,34
B(図6又は図9参照)の中に、画像縮小して表示する
縮小画像表示モードと、アイコン34A,34Bの中
に、切り取られた一部の画像を表示する切取画像表示モ
ードとが設定されている。モード切換スイッチ51は、
縮小画像表示モードと切取画像表示モードとの切換を行
う。
【0049】ここで、運転者がモード切換スイッチ51
を操作して縮小画像表示モードを選択すると、アイコン
34A,34Bの中には、側方カメラ12,13で撮影
した画像が縮小されて表示される。このように縮小表示
モードは画像が縮小されて表示されると、車両後方の全
体像を容易に把握でき、障害物の有無の確認に適してい
る。
【0050】また、運転者が切換スイッチ51を操作し
て切取画像表示モードを選択すると、アイコン34A,
34Bの中には、側方カメラ12,13で撮影した画像
のうち切り取られた一部の画像が表示される。本実施の
形態では、3種類の視界が得られるように画像が切り取
られる。すなわち、図11(b)のように車両から離れ
た外側の視界Dを切り出す場合と、図12(b)のよう
に車両に近い内側の視界Eを切り出す場合と、図13
(b)のように外側と内側の中間の領域の視界Fを切り
出す場合とが予め設定されており、どの視界を切り出す
かは、視界角度切換スイッチ52の切換操作によって選
択される。
【0051】図11(b)の視界Dが選択された場合、
モニタ画面30上には、図11(a)のように、側方カ
メラ12,13で撮影した画像のうち視界D内の画像が
ドアミラー形状をなしたアイコン34A,34Bの中に
表示される。自車両1の後方には、図8と同様に、乗用
車41,42、自動二輪車43が走行しているが、視界
Dが自車両1から離れた外側の視界であるから、アイコ
ン34Aの中には自動二輪車43の映像だけが、アイコ
ン34Bの中には乗用車42の映像だけがそれぞれ中央
に表示されている。なお、俯瞰表示エリア31には、自
車両1の真後ろを走行している乗用車41の映像が表示
されているが、図11(a)では省略されている。図1
2(a)と図13(a)も同様である。
【0052】また視界D内の画像が表示されている場
合、アイコン34A,34Bはその両端側が上方になる
よう枠全体が変形して表示される。
【0053】次に、図12(b)の視界Eが選択された
場合、モニタ画面30上には、図12(a)のように、
側方カメラ12,13で撮影した画像のうち視界E内の
画像がアイコン34A,34Bの中に表示される。視界
Eが自車両1に近い内側の視界であるから、アイコン3
4Aの中には自動二輪車43と乗用車41の映像および
自車両1の左側面の映像も表示され、アイコン34Bの
中には乗用車41と乗用車42の映像および自車両1の
右側面の映像も表示されている。
【0054】また視界E内の画像が表示されている場
合、アイコン34A,34Bはその両端側が下方になる
よう枠全体が変形して表示される。
【0055】さらに、図13(b)の視界Fが選択され
た場合、モニタ画面30上には、図13(a)のよう
に、側方カメラ12,13で撮影した画像のうち視界F
内の画像がアイコン34A,34Bの中に表示される。
視界Fが外側と内側の中間の領域の視界であるから、ア
イコン34Aの中には自動二輪車43と乗用車41の映
像が表示され、アイコン34Bの中には乗用車41と乗
用車42の映像が表示されている。
【0056】また視界F内の画像が表示されている場合
は、アイコン34A,34Bの枠は変形しない。
【0057】本実施の形態によれば、視界D,E,Fに
応じてアイコン34A,34Bの枠形状が変形するの
で、現在アイコン34A,34Bの中に表示されている
画像がどの視界の画像であるかを、運転者が直感的にか
つ瞬時に判断することができる。
【0058】なお、本実施の形態では、視界はD,E,
Fの3種類であったが、アイコン用データROMのデー
タ数と側方カメラ画像の切り出しパターンのデータ数を
増やすことにより、連続的な操作が可能であり、実際の
ドアミラーを操作して視界を変化させているかのような
アニメーション表示も可能である。
【0059】
【発明の効果】以上説明したように、本発明によれば、
運転者は自車両後方の状況を容易かつ正確に把握するこ
とができるので、ゆとりのある運転を行うことが可能と
なる。
【図面の簡単な説明】
【図1】本発明の実施の形態1による車両後方モニタシ
ステムの全体構成図である。
【図2】後方カメラと側方カメラの配置位置を示した図
である。
【図3】単眼俯瞰表示の一例を示した図である。
【図4】車庫入れをする車両を示した図である。
【図5】車庫入れをする車両を単眼俯瞰でモニタ画面上
に表示した図である。
【図6】図5のモニタ画面に、側方カメラで撮影した画
像を一括して表示した図である。
【図7】後方カメラと側方カメラの表示可能エリアを示
した図である。
【図8】道路走行中の各車両の位置関係を示した図であ
る。
【図9】図8の場合に、後方カメラと側方カメラで撮影
した画像を一括して表示した図である。
【図10】本発明の実施の形態2による車両後方モニタ
システムの全体構成図である。
【図11】車両から離れた外側の視界を切り出す場合
で、(a)は切り出した視界の画像が表示されたモニタ
画面の図、(b)は切り出した視界の範囲を示した図で
ある。
【図12】車両に近い内側の視界を切り出す場合で、
(a)は切り出した視界の画像が表示されたモニタ画面
の図、(b)は切り出した視界の範囲を示した図であ
る。
【図13】外側と内側の中間の領域の視界を切り出す場
合で、(a)は切り出した視界の画像が表示されたモニ
タ画面の図、(b)は切り出した視界の範囲を示した図
である。
【符号の説明】
1 車両 11 後方カメラ 12 左側方カメラ 13 右側方カメラ 20 画像処理部 23 モニタシステム 24 制御部 30 モニタ画面 31 俯瞰表示エリア 32,32A,32B 非表示エリア 34A,34B アイコン 51 モード切換スイッチ 52 視界角度切換スイッチ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 B60R 21/00 621R 628 628D G03B 15/00 G03B 15/00 V (72)発明者 岩野 博隆 東京都文京区白山5丁目35番2号 クラリ オン株式会社内 (72)発明者 河内 亮太 東京都文京区白山5丁目35番2号 クラリ オン株式会社内 Fターム(参考) 5C054 FD07 FE17 GA04 GB01 HA30

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 車両に搭載され該車両の後方を撮影する
    1台の後方カメラと、前記後方カメラからの撮影画像を
    取り込んで処理し、互いに異なる視点方向から前記車両
    周囲を見たときの俯瞰画像を生成する画像処理手段と、
    前記俯瞰画像をモニタ画面上に表示する表示手段とを備
    えた車両後方モニタシステムにおいて、 前記車両の左右ドアミラー又はそれらの近傍に該車両の
    後方を撮影する側方カメラをそれぞれ1台ずつ搭載し、
    前記側方カメラで撮影した画像を、前記俯瞰画像ととも
    に前記モニタ画面上に一括して表示することを特徴とす
    る車両後方モニタシステム。
  2. 【請求項2】 請求項1に記載の車両後方モニタシステ
    ムにおいて、 前記側方カメラで撮影した画像は、前記後方カメラで撮
    影したときの死角に対応するモニタ画面上のエリアに表
    示されることを特徴とする車両後方モニタシステム。
  3. 【請求項3】 請求項2に記載の車両後方モニタシステ
    ムにおいて、 前記エリアには枠形状をなしたアイコンが表示され、前
    記側方カメラで撮影した画像は、前記アイコンの中に縮
    小して表示されるか、または切り取られた一部の画像が
    前記アイコンの中に表示されることを特徴とする車両後
    方モニタシステム。
  4. 【請求項4】 請求項3に記載の車両後方モニタシステ
    ムにおいて、 前記アイコンは、ドアミラーを模した形状に表示される
    ことを特徴とする車両後方モニタシステム。
  5. 【請求項5】 請求項3又は4に記載の車両後方モニタ
    システムにおいて、 前記側方カメラで撮影した画像を前記アイコンの中に縮
    小して表示する縮小画像表示モードと、前記切り取られ
    た一部の画像を前記アイコンの中に表示する切取画像表
    示モードとが設定され、前記両モードを互いに切換える
    ためのモード切換スイッチが設けられていることを特徴
    とする車両後方モニタシステム。
  6. 【請求項6】 請求項5に記載の車両後方モニタシステ
    ムにおいて、 前記切取画像表示モードに切換えられたときは、前記側
    方カメラで撮影した画像のうち車両から離れた外側の視
    界、車両に近い内側の視界、および前記外側と内側の中
    間の領域の視界が切り出されるとともに、切り出された
    視界の一つが視界角度切換スイッチの切換操作に応じて
    選択され、その選択された視界の画像が表示されること
    を特徴とする車両後方モニタシステム。
  7. 【請求項7】 請求項6に記載の車両後方モニタシステ
    ムにおいて、 前記アイコンは、切り出された視界が前記外側の視界
    か、前記内側の視界か、もしくは前記外側と内側の中間
    の領域の視界かに応じて枠が変形して表示されることを
    特徴とする車両後方モニタシステム。
  8. 【請求項8】 車両に搭載された後方カメラに接続さ
    れ、該後方カメラで前記車両の後方を撮影したときの画
    像を取り込んで処理し、互いに異なる視点方向から前記
    車両周囲を見たときの俯瞰画像を生成する画像処理手段
    と、前記俯瞰画像をモニタ画面上に表示する表示手段と
    を備えた車両後方モニタ装置において、 前記画像処理手段は、前記車両の左右ドアミラー又はそ
    れらの近傍にそれぞれ1台ずつ搭載された側方カメラに
    接続され、前記側方カメラで前記車両後方を撮影したと
    きの画像を取り込んで、その画像を前記俯瞰画像ととも
    に前記モニタ画面上に一括して表示させることを特徴と
    する車両後方モニタ装置。
JP2002015696A 2002-01-24 2002-01-24 車両後方モニタシステムおよびモニタ装置 Expired - Lifetime JP3916958B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002015696A JP3916958B2 (ja) 2002-01-24 2002-01-24 車両後方モニタシステムおよびモニタ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002015696A JP3916958B2 (ja) 2002-01-24 2002-01-24 車両後方モニタシステムおよびモニタ装置

Publications (2)

Publication Number Publication Date
JP2003219413A true JP2003219413A (ja) 2003-07-31
JP3916958B2 JP3916958B2 (ja) 2007-05-23

Family

ID=27652003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002015696A Expired - Lifetime JP3916958B2 (ja) 2002-01-24 2002-01-24 車両後方モニタシステムおよびモニタ装置

Country Status (1)

Country Link
JP (1) JP3916958B2 (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005079784A (ja) * 2003-08-29 2005-03-24 Clarion Co Ltd 画像処理装置
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006131213A (ja) * 2004-10-07 2006-05-25 Yamaha Motor Co Ltd 自動二輪車の後方視認装置
JP2006131166A (ja) * 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2007286873A (ja) * 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
JP2008114691A (ja) * 2006-11-02 2008-05-22 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視映像表示方法
JP2008137535A (ja) * 2006-12-04 2008-06-19 Aisin Aw Co Ltd 駐車支援装置の画像表示方法及び駐車支援装置
JP2008141574A (ja) * 2006-12-04 2008-06-19 Denso Corp 車両用視覚補助装置
JP2008230558A (ja) * 2007-03-23 2008-10-02 Denso Corp 車両周辺監視装置
JP2008265636A (ja) * 2007-04-24 2008-11-06 Aisin Seiki Co Ltd 車両用の周辺視界確認装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
DE102011083184A1 (de) 2010-09-24 2012-03-29 Denso Corporation Einparkunterstützungseinrichtung zum Zurücksetzen eines Fahrzeugs in eine Parklücke und Verfahren hierfür
JP2012119755A (ja) * 2010-11-29 2012-06-21 Panasonic Corp 運転支援表示装置
JP2012116357A (ja) * 2010-12-01 2012-06-21 Denso Corp 電子ミラー
JP2013078151A (ja) * 2013-01-18 2013-04-25 Denso Corp 車両用表示装置
WO2014017055A1 (ja) 2012-07-24 2014-01-30 株式会社デンソー 車両用視界支援装置
WO2016088151A1 (ja) * 2014-12-01 2016-06-09 日産自動車株式会社 車載用表示装置、車両及び表示方法
CN106853798A (zh) * 2015-12-08 2017-06-16 现代自动车株式会社 用于提供车辆周围图像信息的***和方法
JP2017163345A (ja) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2017163337A (ja) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2017163399A (ja) * 2016-03-10 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2017154316A1 (ja) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2017165218A (ja) * 2016-03-15 2017-09-21 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2018159017A1 (ja) * 2017-02-28 2018-09-07 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018171953A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 画像表示装置
KR20180123314A (ko) * 2017-05-08 2018-11-16 현대자동차주식회사 영상변환장치
DE102018102051A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Method for representing an environmental region of a motor vehicle with an image window in an imgage, computer program product as well as display system
KR20200105591A (ko) * 2019-02-28 2020-09-08 삼성디스플레이 주식회사 차량용 표시 장치 및 이의 구동 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5344227B2 (ja) 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2001334869A (ja) * 2000-05-25 2001-12-04 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002125224A (ja) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd 監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2001334869A (ja) * 2000-05-25 2001-12-04 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002125224A (ja) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd 監視システム

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005079784A (ja) * 2003-08-29 2005-03-24 Clarion Co Ltd 画像処理装置
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP4590962B2 (ja) * 2004-07-21 2010-12-01 日産自動車株式会社 車両用周辺監視装置
JP2006131213A (ja) * 2004-10-07 2006-05-25 Yamaha Motor Co Ltd 自動二輪車の後方視認装置
JP2006131166A (ja) * 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP2006253872A (ja) * 2005-03-09 2006-09-21 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
JP2007286873A (ja) * 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
JP2008114691A (ja) * 2006-11-02 2008-05-22 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視映像表示方法
JP2008141574A (ja) * 2006-12-04 2008-06-19 Denso Corp 車両用視覚補助装置
JP2008137535A (ja) * 2006-12-04 2008-06-19 Aisin Aw Co Ltd 駐車支援装置の画像表示方法及び駐車支援装置
JP2008230558A (ja) * 2007-03-23 2008-10-02 Denso Corp 車両周辺監視装置
JP2008265636A (ja) * 2007-04-24 2008-11-06 Aisin Seiki Co Ltd 車両用の周辺視界確認装置
US8717196B2 (en) 2009-02-03 2014-05-06 Denso Corporation Display apparatus for vehicle
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
DE102010001441B4 (de) * 2009-02-03 2021-01-28 Denso Corporation Anzeigevorrichtung für ein Fahrzeug
DE102011083184A1 (de) 2010-09-24 2012-03-29 Denso Corporation Einparkunterstützungseinrichtung zum Zurücksetzen eines Fahrzeugs in eine Parklücke und Verfahren hierfür
DE102011083184B4 (de) 2010-09-24 2022-03-17 Denso Corporation Einparkunterstützungseinrichtung zum Zurücksetzen eines Fahrzeugs in eine Parklücke und Verfahren hierfür
JP2012119755A (ja) * 2010-11-29 2012-06-21 Panasonic Corp 運転支援表示装置
JP2012116357A (ja) * 2010-12-01 2012-06-21 Denso Corp 電子ミラー
US8704892B2 (en) 2010-12-01 2014-04-22 Denso Corporation Electronic mirror
WO2014017055A1 (ja) 2012-07-24 2014-01-30 株式会社デンソー 車両用視界支援装置
JP2014027353A (ja) * 2012-07-24 2014-02-06 Denso Corp 車両用視界支援装置
US9725039B2 (en) 2012-07-24 2017-08-08 Denso Corporation Vehicular visibility support apparatus
JP2013078151A (ja) * 2013-01-18 2013-04-25 Denso Corp 車両用表示装置
WO2016088151A1 (ja) * 2014-12-01 2016-06-09 日産自動車株式会社 車載用表示装置、車両及び表示方法
US10198639B2 (en) 2015-12-08 2019-02-05 Hyundai Motor Company System and method for providing image information around vehicle
KR101766077B1 (ko) * 2015-12-08 2017-08-07 현대자동차주식회사 차량 주변 영상 정보 제공 시스템 및 방법
CN106853798A (zh) * 2015-12-08 2017-06-16 现代自动车株式会社 用于提供车辆周围图像信息的***和方法
CN106853798B (zh) * 2015-12-08 2021-02-09 现代自动车株式会社 用于提供车辆周围图像信息的***和方法
JP2017163345A (ja) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2017163337A (ja) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2017154316A1 (ja) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2017163399A (ja) * 2016-03-10 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2017165218A (ja) * 2016-03-15 2017-09-21 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US10723266B2 (en) 2017-02-28 2020-07-28 JVC Kenwood Corporation On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
WO2018159017A1 (ja) * 2017-02-28 2018-09-07 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018142885A (ja) * 2017-02-28 2018-09-13 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018171953A (ja) * 2017-03-31 2018-11-08 株式会社Subaru 画像表示装置
KR20180123314A (ko) * 2017-05-08 2018-11-16 현대자동차주식회사 영상변환장치
KR102395287B1 (ko) * 2017-05-08 2022-05-09 현대자동차주식회사 영상변환장치
DE102018102051A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Method for representing an environmental region of a motor vehicle with an image window in an imgage, computer program product as well as display system
DE102018102051B4 (de) 2018-01-30 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Bildfenster in einem Bild, Computerprogrammprodukt sowie Anzeigesystem
KR20200105591A (ko) * 2019-02-28 2020-09-08 삼성디스플레이 주식회사 차량용 표시 장치 및 이의 구동 방법
KR102625960B1 (ko) 2019-02-28 2024-01-18 삼성디스플레이 주식회사 차량용 표시 장치 및 이의 구동 방법

Also Published As

Publication number Publication date
JP3916958B2 (ja) 2007-05-23

Similar Documents

Publication Publication Date Title
JP2003219413A (ja) 車両後方モニタシステムおよびモニタ装置
JP3298851B2 (ja) 多機能車載カメラシステムと多機能車載カメラの画像表示方法
KR101354068B1 (ko) 차량주변화상생성장치
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
US8294563B2 (en) Vehicle-surrounding image display apparatus and vehicle-surrounding image display method
US8115810B2 (en) Vehicle-periphery viewing apparatus
JP4254887B2 (ja) 車両用画像表示システム
JP5099451B2 (ja) 車両周辺確認装置
EP2042374B1 (en) Vehicle periphery monitoring apparatus and image displaying method
JP5158051B2 (ja) 運転支援装置
WO2012172923A1 (ja) 車両周辺監視装置
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP4910425B2 (ja) 駐車支援装置及び駐車支援方法
US20110063444A1 (en) Vehicle surroundings monitoring device and vehicle surroundings monitoring method
WO2002007443A1 (fr) Systeme de controle
JP5251804B2 (ja) 運転支援装置
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
JP2003255925A (ja) 画像表示制御装置
JP2003158736A (ja) 監視システム
JP2000242896A (ja) モニタ装置
JP2020028027A (ja) 車両用周辺表示装置
WO2019039347A1 (ja) 車両用視認装置
JP4256702B2 (ja) 画像表示方法、画像表示装置及び画像処理装置
JP5584561B2 (ja) 画像処理装置、画像表示システム及び画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070207

R150 Certificate of patent or registration of utility model

Ref document number: 3916958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term