JP4367603B2 - 車両用モニタ装置 - Google Patents

車両用モニタ装置 Download PDF

Info

Publication number
JP4367603B2
JP4367603B2 JP2002127216A JP2002127216A JP4367603B2 JP 4367603 B2 JP4367603 B2 JP 4367603B2 JP 2002127216 A JP2002127216 A JP 2002127216A JP 2002127216 A JP2002127216 A JP 2002127216A JP 4367603 B2 JP4367603 B2 JP 4367603B2
Authority
JP
Japan
Prior art keywords
reflector
image
filter
vehicle
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002127216A
Other languages
English (en)
Other versions
JP2003320897A (ja
Inventor
哲 品田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002127216A priority Critical patent/JP4367603B2/ja
Publication of JP2003320897A publication Critical patent/JP2003320897A/ja
Application granted granted Critical
Publication of JP4367603B2 publication Critical patent/JP4367603B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Blocking Light For Cameras (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は車両用モニタ装置に係り、とくに電子カメラで取込んだ映像を表示手段によって表示する車両用モニタ装置に関する。
【0002】
【従来の技術】
例えば実開平6−25064号公報に開示されているように、自動車の車体であって外表面に臨む位置に電子カメラを取付けておき、このカメラによって映像を取込んで運転席の前方にある表示装置に表示すると、カメラで取込んだ映像を運転席で容易に確認することができる。このようなモニタ装置のカメラを例えば運転席から見えない死角、すなわち視野外範囲となる領域の映像を取込み得る位置に取付けておき、このような映像を運転席のモニタに映し出すと、該視野範囲外の死角となる領域の状況を確実に認識しながら運転を行なうことができ、これによって安全性が向上する。
【0003】
【発明が解決しようとする課題】
ところがこのような車両用モニタ装置を構成するカメラは車両のボディの側面に配置されており、しかもこのカメラの視界が固定されていた。従って取込まれる映像の範囲が固定され、モニタによって映し出される位置が車体に対して相対的に決まっていた。このためにカメラの取付け角度によっては死角が発生し、画像を見ながら進行したとしても場合によっては障害物に接触し、これによって車体を傷つける等の危険があった。
【0004】
そこでカメラそれ自体を可動とすることも考察されるが、カメラにはCCDから信号を取出すための配線ケーブルを接続するために、冬期や寒冷地においては上記の配線が硬くなってカメラの回転が円滑に行かなくなる可能性があり、このような不具合を防止するためには環境変化に対応する十分な対策をとる必要があった。また車両は天候や走行状況に応じてその周囲の光量が大幅に変化するが、通常のCCDカメラはこのようなダイナミックな光量の変化に対応することができず、このためにモニタに映し出される映像が必ずしも最適化できず、場合によっては見難い映像がモニタに映し出される問題があった。
【0005】
本発明はこのような問題点に鑑みてなされたものであって、見たい範囲の映像を任意に取込むことができ、天候や走行状態等に伴って発生するダイナミックな光量の変化に対応して撮像を最適化することが可能で、さらに外部からの衝撃による映像のブレをも防止することが可能な車両用モニタ装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
【0007】
【0008】
本願の主要な発明は、電子カメラで取込んだ映像を表示手段によって表示する車両用モニタ装置において、
前記電子カメラを車両の所定の部位に固定して取付け、
前記電子カメラの光入力側に外側面が反射面を構成する多角形の反射体を設け、該反射体の前記外側面にそれぞれ別々のフィルタを配し、前記反射体の所定のフィルタが設けられた反射面の角度を変更することによって取込む映像の範囲を変更するとともに、前記反射体を回転させて別のフィルタが設けられた反射面で反射させて映像を取込むことによってフィルタの選択を行なうようにし、前記多角形の反射体が取込む映像の範囲を変更する手段とフィルタの選択手段とを兼用することを特徴とする車両用モニタ装置に関するものである。
【0009】
ここで前記反射体が多角形の透明体であって、その外表面にそれぞれ別々のフィルタを備えるものであることが好ましい。あるいはまた前記反射体が3角形、4角形、または5角形の透明体であって、その外表面にそれぞれ別々のフィルタを備えるものであることが好ましい。
【0010】
また、前記反射体に加わる加速度を検出する加速度検出手段と、前記反射体に加わる加速度に応じて前記反射体を制御する制御手段とを具備し、映像ブレを防止するように前記制御手段が前記反射体を制御してよい。また外部に光を照射するライトの照射方向を変更可能にし、前記ライトの照射方向の変更に連動して前記反射体の角度を変更してよい。
【0011】
【0012】
本願に含まれる発明の好ましい態様は、車体あるいは車輪が障害物等に不測に衝突しないように運転者にとって死角となる運転席からは視野範囲外の映像を取込む電子カメラと、このカメラの前方に設けたプリズムまたは鏡と、上記プリズムまたは鏡を可動させる可動部と、撮像された画像を最適化するいわゆるAGC回路を有し、これらをコントロールするCPUを備えた車両用モニタ装置において、必要に応じて電子カメラが所望の範囲の映像を取込むように上記プリズムまたは鏡をコントロールするコントロール手段を備え、あるいは必要に応じて上記プリズムの反射面に形成されているフィルタを交換することによって最適画像を得るようにし、あるいはまた外部を照射する光源の照射方向の変更に同期してプリズムが向きを変え、これによって映像を取込む対象を変化させるようにした車両用モニタ装置である。
【0013】
このような態様によれば、とくにプリズムまたはミラーを回転させることによって一定の映像しか見えなかったものがより広い視野を得ることができるようになる。またプリズムのフィルタを選択することによって夜間や日中、直射日光等の条件によらず、あるいはまたトンネル等の走行位置の条件によらずに、電子カメラによって最適画像を取込んでモニタに表示できるようになる。また電子カメラを固定式にし、プリズムまたはミラーを可動式とすることによって、カメラに接続されるケーブルが硬くなっても動作が損われることがなく、信頼性を確保できるようになる。
【0014】
【発明の実施の形態】
図1は本発明の一実施の形態に係る車両用モニタ装置のシステムの構成をブロックによって示したものであって、ここでは車両の外側部の所定の位置に取付けられるCCDカメラ10を備える。CCDカメラ10は画像信号出力側が画像処理回路11に接続されるとともに、この画像処理回路11がCPU12に接続されている。そして画像処理回路11はその映像出力を表示部13に供給するようになっており、これらのCCDカメラ10、画像処理回路11、CPU12、および表示部13によって車両用モニタ装置の主要部が構成される。
【0015】
この車両用モニタ装置は反射体16をCCDカメラ10の光入力側に備えることを顕著な特徴とする。反射体16は例えばガラスまたはアクリル系やABS系等の透明樹脂から成る透明体から構成され、この反射体16の上下にはそれぞれ支軸17が同軸状に取付けられる。そして上側の支軸17はアクチュエータ18の出力軸に直結されるとともに、下側の支軸17が下側のアクチュエータ19に直結される。
【0016】
上下のアクチュエータ18、19はそれぞれドライバ21、22によってその回転角度が制御されるようになっている。なおドライバ21、22を制御するためにCPU23が設けられるとともに、さらにこのCPU23には加速度センサ24が接続されている。加速度センサ24はカメラ10あるいは反射体16に衝撃が加わった場合にそのことを検出し、これに応じてアクチュエータ19を作動させて映像ブレを矯正するようにCPU23に対して外部から加わる衝撃に応じた検出信号を供給するものである
【0017】
さらにこの車両用モニタ装置は、CCDカメラ10によって取込む映像の選択を行なうための操作パネル27を備えている。操作パネル27はCPU12に接続されている。またこの車両の運転席に設けられているステアリングホイール28の周囲には操舵角センサ29が設けられており、この操舵角センサ29が上記CPU12に接続され、操舵角の情報をCPU12に供給している。
【0018】
次にヘッドランプ32の回転のための構造を説明すると、ヘッドライト32等の外部を照射するライトには支軸33が設けられるとともに、この支軸33をアクチュエータ34によって回転させ、その向きを可変にしている。そして上記アクチュエータ34を駆動するドライバ35がCPU12によって制御されるようになっている。
【0019】
次に上記CCDカメラ10の前方に配されている反射体16について説明する。反射体16は図2Aに示すように、例えば3角形のガラス体から構成され、その外側の3つの面にそれぞれフィルタ40が形成されている。例えば所定の面には可視光フィルタ41が形成され、別の面には近赤外フィルタ42が形成されてよい。このようなフィルタ40、41、42を形成しておくと、この反射体16の回転に応じて、光が透過するフィルタが変化することになり、これによって外部の走行状況や光の量に応じて最適なフィルタを選択できるようになる。
【0020】
なおフィルタ40を備える反射体16としては図2Aに示すような3角形のものに限られることなく、例えば図2Bに示すような4角形の反射体であってよく、あるいはまた図2Cに示すように5角形の反射体であってよい。図2Bに示すような4角形の反射体であると、4種類のフィルタ40をその外周部にそれぞれ形成することができる。また図2Cに示すように5角形の反射体16を用いると、5種類のフィルタ40をその外周部に順次形成することが可能になる。
【0021】
なお反射体16の構成としては、単一の反射体16に代えて図3に示すように、複数の反射体16を組合わせて用いることも可能である。この場合にその内の少なくとも1つの反射体を回転可能に構成しておくことにより、取込む映像の範囲を選択できるようになる。
【0022】
図4はこのような車両用モニタ装置を構成するCCDカメラ10と反射体16の配置例を示しており、ここでは例えば車体の右前方にCCDカメラ10を取付けるとともに、その斜め下方に反射体16を配するようにしている。これによってとくに右前方の死角となる領域の映像を表示装置13によって表示することが可能になる。
【0023】
以上のような構成において、運転者が操作パネル27の操作を行なうと、この操作パネル27の出力がCPU12に供給され、これによってこの車両用モニタ装置が制御される。映像の範囲を変更する操作を操作パネル27によって行なうと、CPU12からCPU23にその情報が送られ、CPU23によってドライバ21が制御され、アクチュエータ18によって反射体16の回転角度が変更され、これによってこの反射体16で反射してCCDカメラ10に取込まれる映像が変化する。また操作パネル27によってフィルタの変更の指示を与えると、その信号がCPU12からCPU23に伝達され、ドライバ21によってアクチュエータ18が駆動され、これによって反射体16の使用する反射面が変更され、フィルタ40の変更が行なわれる。
【0024】
上記の反射体16による取込む映像の変更と反射体16上のフィルタ40の変更とは、ともにアクチュエータ18によって反射体16を回転駆動して行なうために、両方の動作を一緒に行なうようにしてもよい。
【0025】
次にヘッドライト32によるビームの方向に応じて、CCDカメラ10によって取込む映像を変更する動作を説明する。この動作はステアリングホイール28を回転操作することによって、操舵角センサ29が操舵角を検出する。そしてこの操舵角に関する情報がCPU12に送られ、ドライバ35がアクチュエータ34を制御することによって、ヘッドライト32の方向が変更される。
【0026】
しかもこのときに操舵角センサ29によって検出される操舵角に関する情報が、CPU12からCPU23に送られ、ドライバ21によってアクチュエータ18が駆動され、反射体16の角度が変更される。従ってCCDカメラ10が取込む映像がヘッドライト32の照射方向に連動して変化することになり、常に適正な明るい映像をCCDカメラ10によって取込み、これを表示部13によって表示することが可能になる。
【0027】
次に衝撃あるいは振動による表示部13の映像ブレを防止するための動作を説明する。加速度センサ24がこのモニタ装置を備える車体に加わる加速度を検出する。そしてこの加速度センサ24の出力がCPU23に供給される。CPU23はこれに応じてドライバ22を制御し、ドライバ22によってアクチュエータ19が反射体16を衝撃を相殺する方向に回転振動させる。従ってCCDカメラ10によって取込まれる映像のブレをこの反射体16の回転振動によって防止することができ、安定な映像がCCDカメラ10に取込まれる。従って表示部13に現われる表示がブレることがない。
【0028】
次に上記CPU12あるいはCPU23による制御動作を説明する。図5はCPU12による取込む映像の選択の動作を示すものであって、操作パネル27の入力値を読込むとともに、見たい位置の検出をCPU12によって行なう。そして角度の変更が必要かどうかの判断を行なうとともに、角度の変更が必要であると判断した場合にはCPU12が回転角度の演算を行ない、この演算出力計算値をCPU23を介してドライバ21に供給し、アクチュエータ18を駆動する出力を発生する。
【0029】
図6はフィルタ40の変更の動作を示すものであって、操作パネル27はフィルタの変更のための選択入力があった場合には、その入力値を読込む。そして選択されたフィルタを検出するとともに、現在使用しているフィルタとの異同によってフィルタの変更が必要かどうかの判断を行なう。フィルタの変更が必要な場合には回転角度の演算が行なわれ、この演算に基いた出力をアクチュエータ18を駆動するドライバ21に駆動信号として出力する。
【0030】
図7はヘッドライト32の回転角度に応じて反射体16の角度を変更するためのCPU12の動作を示す。CPU12は操舵角センサ29の出力を読込み、ヘッドライト32の照射方向を検出する。そしてヘッドライト32の方向を変更するかどうかの判断を行なうとともに、変更が必要な場合にはヘッドライト32の回転角度の演算を行なう。そしてこの演算値をドライバ35を介してアクチュエータ34に駆動信号として出力する。同時にこのときにCPU12は連動して回転する反射体16の回転角度の演算を行ない、この演算値をアクチュエータ駆動信号としてドライバ21に供給する。従ってヘッドライト32の方向の変更に応じて反射体16の回転角度が変更される。
【0031】
図8はCPU23による映像ブレの防止のための動作を示す。ここでは加速度センサ24の出力をCPU23が読込んで振動の方向と大きさを検出する。そしてサーボ動作が必要かどうかの判断を行なうとともに、必要な場合にはサーボ量の演算を行ない、アクチュエータ19を駆動する駆動信号をドライバ22に出力する。従ってこれに応じて回転体16が微小角度回転して映像ブレを防止する。
【0032】
このように本実施の形態の車両用モニタ装置は、図1に示すCCDカメラ10の前方にプリズム状の反射体16を配し、アクチュエータ18によってこの反射体16を回転させることによって受像エリアを変化させる。また別のアクチュエータ19は反射体16の角度を微妙に変化させて映像ブレを防止させるためのものである。
【0033】
CCDカメラ10によって取込まれた映像に関する電気信号をNTSC、PAL、RGB等の表示を行なうことができる画像情報を生成する画像処理用ICから成る画像処理回路11に供給する。そしてこの画像処理回路11で処理された信号が表示部13に送られて表示される。しかもこのシステムは上記反射体16の回転を制御するためにCPU23が備えられ、このCPU23によって加速度センサ24からの信号を用いて反射体16の回転のサーボ量をコントロールすることによって映像ブレを防止している。また運転者の入力操作を行なうための操作パネル27からの信号およびステアリングホイール28の回転角度を検出する操舵角センサ29の出力をCPU12によって制御している。
【0034】
このような車両用モニタ装置によれば、車体の側部の固定した位置からしか見えなかったモニタ装置を、より広い視野から映像を取込むことが可能な広い視写角を有する車両用モニタ装置にすることができる。またフィルタ40の変更によって夜間や日中、あるいは直射日光の条件によらずに、カメラの最適画像を設定することができ、適正な画像をCCDカメラ10で取込むことが可能になる。またこのモニタ装置はCCDカメラ10それ自体は移動することがなく、反射体16の回転制御のみによって視野の変更やフィルタの交換あるいは映像ブレを防止しているために、カメラと接続されるケーブルが動くことがなく、信頼性が改善される。
【0035】
以上本願に含まれる発明を図示の実施の形態によって説明したが、本願に含まれる発明は上記実施の形態によって限定されるものではなく、本願に含まれる発明の技術的思想の範囲内で各種の変更が可能である。例えば上記実施の形態は車両の右前方にCCDカメラ10を取付けたモニタ装置であるが、本願発明はその他各種の部位にCCDカメラ10を取付けたモニタ装置に広く適用可能である。
【0036】
【発明の効果】
【0037】
【0038】
本願の主要な発明は、電子カメラで取込んだ映像を表示手段によって表示する車両用モニタ装置において、電子カメラを車両の所定の部位に固定して取付け、電子カメラの光入力側に外側面が反射面を構成する多角形の反射体を設け、該反射体の外側面にそれぞれ別々のフィルタを配し、反射体の所定のフィルタが設けられた反射面の角度を変更することによって取込む映像の範囲を変更するとともに、反射体を回転させて別のフィルタが設けられた反射面で反射されて映像を取込むことによってフィルタの選択を行なうようにし、多角形の反射体が取込む映像の範囲を変更する手段とフィルタの選択手段とを兼用するようにしたものである。
【0039】
従ってこのような車両用モニタ装置によれば、反射手段を変位させることによって複数種類のフィルタの内の1つを任意に選択することが可能になり、夜間や日中、直射日光等の条件によらず、あるいはまたトンネル等の走行状態にかかわらず、電子カメラによって取込まれる映像を最適映像に設定することが可能になる。
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【図面の簡単な説明】
【図1】 車両用モニタ装置のシステムの構成を示すブロック図である。
【図2】 同モニタ装置の反射体の平面図である。
【図3】 複数の反射体を用いた光学系の要部斜視図である。
【図4】 カメラと反射体の配置例を示す自動車の側面図である。
【図5】 制御動作を示すフローチャートである。
【図6】 制御動作を示す別のフローチャートである。
【図7】 制御動作を示すさらに別のフローチャートである。
【図8】 制御動作を示すさらに別のフローチャートである。
【符号の説明】
10‥‥CCDカメラ、11‥‥画像処理回路、12‥‥CPU、13‥‥表示部、16‥‥反射体、17‥‥支軸、18‥‥アクチュエータ、19‥‥アクチュエータ、21‥‥ドライバ、22‥‥ドライバ、23‥‥CPU、24‥‥加速度センサ、27‥‥操作パネル、28‥‥ステアリングホイール、29‥‥操舵角センサ、32‥‥ヘッドライト、33‥‥支軸、34‥‥アクチュエータ、35‥‥ドライバ、40‥‥フィルタ、41‥‥可視光フィルタ、42‥‥近赤外フィルタ

Claims (5)

  1. 電子カメラで取込んだ映像を表示手段によって表示する車両用モニタ装置において、
    前記電子カメラを車両の所定の部位に固定して取付け、
    前記電子カメラの光入力側に外側面が反射面を構成する多角形の反射体を設け、該反射体の前記外側面にそれぞれ別々のフィルタを配し、前記反射体の所定のフィルタが設けられた反射面の角度を変更することによって取込む映像の範囲を変更するとともに、前記反射体を回転させて別のフィルタが設けられた反射面で反射させて映像を取込むことによってフィルタの選択を行なうようにし、前記多角形の反射体が取込む映像の範囲を変更する手段とフィルタの選択手段とを兼用することを特徴とする車両用モニタ装置。
  2. 前記反射体が多角形の透明体であって、その外表面にそれぞれ別々のフィルタを備えることを特徴とする請求項に記載の車両用モニタ装置。
  3. 前記反射体が3角形、4角形、または5角形の透明体であって、その外表面にそれぞれ別々のフィルタを備えることを特徴とする請求項に記載の車両用モニタ装置。
  4. 前記反射に加わる加速度を検出する加速度検出手段と、前記反射に加わる加速度に応じて前記反射を制御する制御手段とを具備し、映像ブレを防止するように前記制御手段が前記反射を制御することを特徴とする請求項1に記載の車両用モニタ装置。
  5. 外部に光を照射するライトの照射方向を変更可能にし、前記ライトの照射方向の変更に連動して前記反射の角度を変更することを特徴とする請求項1に記載の車両用モニタ装置。
JP2002127216A 2002-04-26 2002-04-26 車両用モニタ装置 Expired - Fee Related JP4367603B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002127216A JP4367603B2 (ja) 2002-04-26 2002-04-26 車両用モニタ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002127216A JP4367603B2 (ja) 2002-04-26 2002-04-26 車両用モニタ装置

Publications (2)

Publication Number Publication Date
JP2003320897A JP2003320897A (ja) 2003-11-11
JP4367603B2 true JP4367603B2 (ja) 2009-11-18

Family

ID=29541392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002127216A Expired - Fee Related JP4367603B2 (ja) 2002-04-26 2002-04-26 車両用モニタ装置

Country Status (1)

Country Link
JP (1) JP4367603B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556777B2 (ja) * 2005-06-15 2010-10-06 株式会社デンソー 夜間運転視界支援装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6426126A (en) * 1988-06-09 1989-01-27 Satake Eng Co Ltd Method for evaluating quality of rice
JP2703105B2 (ja) * 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
JPH07243849A (ja) * 1994-03-09 1995-09-19 Yazaki Corp 車両周辺監視装置
JP3419103B2 (ja) * 1994-09-16 2003-06-23 日産自動車株式会社 車両用監視装置
JPH1159272A (ja) * 1997-08-12 1999-03-02 Nissan Motor Co Ltd 死角撮影システム
JPH11170911A (ja) * 1997-12-10 1999-06-29 Naporekkusu:Kk 自動車用後方確認装置
JP2001075140A (ja) * 1999-09-01 2001-03-23 Matsushita Electric Ind Co Ltd カメラ及びその光学フィルタ切換え方法
JP4537623B2 (ja) * 2001-06-27 2010-09-01 本田技研工業株式会社 画像認識装置

Also Published As

Publication number Publication date
JP2003320897A (ja) 2003-11-11

Similar Documents

Publication Publication Date Title
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
WO2010050012A1 (ja) 車載用カメラモジュール
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
US20040119823A1 (en) Apparatus and method for monitoring the immediate surroundings of a vehicle
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2006248374A (ja) 車両安全確認装置及びヘッドアップディスプレイ
JP2005184225A (ja) 車両用表示装置
JP2008044603A (ja) 車両用防眩装置
JP2005225250A (ja) 車載用監視装置
JP6232691B2 (ja) 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
CN113165667A (zh) 调节摄像机的视角的车辆用全景监控***及其方法
JP2006298318A (ja) 周辺監視装置
JPH09323590A (ja) 車載監視装置
CN112470060A (zh) 抬头显示器
JP2002369186A (ja) 車両後方画像表示装置、車両周囲画像表示方法
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP2011189775A (ja) 車両の後側方確認装置
JP2009035162A (ja) 後方視認装置
KR20190091629A (ko) 자동차의 a-필러측 사각지대 관찰장치
JP4367603B2 (ja) 車両用モニタ装置
JP2007299047A (ja) 運転支援装置
JP2004051063A (ja) 車両周辺視認装置
JP2001294086A (ja) 車両周辺視認装置
JP4664219B2 (ja) 車両用灯具の照射方向制御装置
JP4007274B2 (ja) 車両前方暗視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees