JP2011071932A - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP2011071932A JP2011071932A JP2009223513A JP2009223513A JP2011071932A JP 2011071932 A JP2011071932 A JP 2011071932A JP 2009223513 A JP2009223513 A JP 2009223513A JP 2009223513 A JP2009223513 A JP 2009223513A JP 2011071932 A JP2011071932 A JP 2011071932A
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- obstacle
- feature point
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】複数の撮像装置が互いに共通する視野領域とする俯瞰画像の共通領域に位置する障害物と判定された画像から抽出された複数の特徴点に対し、三次元計測処理部43において得られた相対運動情報による一定の経過時間を想定したときの予想軌跡と時刻変化をもとに、前記共通領域を互いに共通する視野領域とする各カメラについて“前記特徴点が写る/写らない”を予測しその予測結果を得る。そして、前記予測結果から、前記俯瞰画像の共通領域について、前記特徴点が抽出された障害物131をより広範囲に写すことの可能なカメラによる部分俯瞰画像を優先させ、フィードフォワード的に俯瞰画像の繋ぎ目、境界線を変更し、障害物131がより広範囲に俯瞰画像に表示されるようにする。
【選択図】図1
Description
このような従来の車両周辺監視装置では、車両に前方カメラ、後方カメラ、右カメラおよび左カメラが取り付けられている。
そして、これら前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して俯瞰画像を生成する。
このようにして生成された俯瞰画像は俯瞰画像表示画面へ表示され、運転操作の支援に活用される。
そして、この車両周辺監視装置は、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
なお、前記撮像部は、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像し、前記表示部は運転者に情報を提供するものである。
また、前記始動シーン選択部は、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択し、前記車速センサでは車速を検出し、前記シフト位置検出部ではシフト位置を検出するものである。
前記ウインカー検出部は、ウインカーの方向を検出し、前記操舵角センサはハンドルの操舵角を検出し、前記画面モード切替部では各センサおよび各検出部により検出された情報より表示画面構成を切り替える。(特許文献1参照)。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供することを目的とする。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供できる効果がある。
また、特徴点抽出部41、特徴点追跡処理部42、三次元計測処理部43、障害物検知処理部44、障害物境界領域判定部45およびカメラ画像優先処理部46を備えている。
また、予想経路判定処理部51、予想経路上障害物判定処理部52、警告出力制御部53、警告音出力部54、ブザー55、俯瞰画像表示部56、ディスプレイ57および急加速抑制制御部59を備えている。
前方カメラ1は、例えば車両前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ2は、例えばリアウィンドウが設けられた車両後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ3は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の右側方を撮像するカメラである。
左カメラ4は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の左側方を撮像するカメラである。
フレームメモリ11は、前方カメラ1により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ12は、後方カメラ2により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ13は、右カメラ3により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ14は、左カメラ4により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
視点変換部21は,前方カメラ1により撮像した画像の視点位置を、前方カメラ1の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部22は,後方カメラ2により撮像した画像の視点位置を、後方カメラ2の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部23は,右カメラ3により撮像した画像の視点位置を、右カメラ3の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部24は,左カメラ4により撮像した画像の視点位置を、左カメラ4の取り付け位置から自車両上方の仮想視点位置へ変換する。
俯瞰画像合成処理部31は、前方カメラ1により撮像され視点変換部21により視点変化された画像と、後方カメラ2により撮像され視点変換部22により視点変化された画像と、右カメラ3により撮像され視点変換部23により視点変化された画像と、左カメラ4により撮像され視点変換部24により視点変化された画像とを合成し、自車両を前記仮想視点位置から見たときの俯瞰画像を生成する。
図中、符号111は前方カメラ1による撮像範囲、符号112は後方カメラ2による撮像範囲、符号113は右カメラ3による撮像範囲、符号114は左カメラ4による撮像範囲を示す。
また、符号116は、前方カメラ1の撮像範囲と右カメラ3の撮像範囲とが重なっている領域である共有視野領域を示している。また、符号117は、右カメラ3の撮像範囲と後方カメラ2の撮像範囲とが重なっている共有視野領域を示している。また、符号118は、後方カメラ2の撮像範囲と左カメラ4の撮像範囲とが重なっている共有視野領域を示している。また、符号119は、左カメラ4の撮像範囲と前方カメラ1の撮像範囲とが重なっている共有視野領域を示している。
符号121は前方カメラ1の撮像範囲111の画像から視点変換部21により視点変換され前記モニタ装置のディスプレイ57に表示された前方部分俯瞰画像を示す。
符号122は後方カメラ2の撮像範囲112の画像から同様に視点変換され前記モニタ装置のディスプレイ57に表示された右側方部分俯瞰画像を示す。
符号123は右カメラ3の撮像範囲113の画像から同様に視点変換され前記モニタ装置のディスプレイ57に表示された後方部分俯瞰画像を示す。
符号124は左カメラ4の撮像範囲114の画像から同様に視点変換され前記モニタ装置のディスプレイ57に表示された左側方部分俯瞰画像を示す。
これら前方部分俯瞰画像121、右側方部分俯瞰画像123、後方部分俯瞰画像122および左側方部分俯瞰画像124は、自車両101を中心として前記仮想視点位置から自車両周囲を俯瞰したときの俯瞰画像として俯瞰画像合成部31により画像合成される。
また、図2において、符号126は前方部分俯瞰画像121と右側方部分俯瞰画像123とが重畳する共通領域、符号127は右側方部分俯瞰画像123と後方部分俯瞰画像122とが重畳する共通領域、符号128は後方部分俯瞰画像122と左側方部分俯瞰画像124とが重畳する共通領域、符号129は前方部分俯瞰画像121と左側方部分俯瞰画像124とが重畳する共通領域を示す。
特徴点追跡処理部42は、前記俯瞰画像の時刻変化に伴う特徴点の移動位置の変化を追跡する。
三次元計測処理部43は、前記俯瞰映像上における前記特徴点の移動位置の変化からその特徴点の相対運動情報および三次元座標情報を算出する。
この相対運動情報および三次元座標情報は、次に示す俯瞰画像上の対象物体の動きをモデル化した式(1)、(2)を用いて算出する。
カメラ画像優先処理部46は、前記共通領域の特徴点について三次元計測処理部43で算出された相対運動情報および三次元座標情報をもとに、一定の経過時間を想定したときの前記特徴点の予想軌跡を求める。
そして、この予想軌跡で前記障害物が移動したときの、障害物表示領域判定部45で判定した前記共通領域を互いに視野領域とするカメラ、たとえは共通領域129であれば前方カメラ1と左カメラ4のように撮像範囲が重畳する各カメラに写る/写らないの予測結果を得る。
さらに、前記共通領域について、前記障害物をより広範囲に写すカメラの部分俯瞰画像を優先させ、俯瞰画像合成処理部31に俯瞰画像を画像合成させる。
予想経路判定処理部51は、車速、ハンドル操作角、トランスミッションのシフト位置およびアクセル開度の各パラメータの全て、あるいは前記各パラメータのいずれか1つを含む自車両の状態情報をもとに自車両の予想経路の判定を行う。
予想経路上障害物判定処理部52は、予想経路判定処理部51で判定した自車両の予想経路上に、障害物検知処理部44で検知された障害物が位置しているか否かを判定する。
警告出力制御部53は、予想経路上障害物判定処理部52において自車両の予想経路上に障害物が位置していると判定されると、警告音出力部54へ警報音の出力を指示する警報音出力制御信号を出力する。
また、俯瞰画像を表示してるモニタ装置のディスプレイ57へ自車両の予想経路上に障害物が位置している旨の警告表示を行うための警告表示制御信号を俯瞰画像表示部56へ出力する。
警告音出力部54は、前記警報音出力制御信号をもとにブザー55を動作させて警報音を出力させる。
俯瞰画像表示部56は、俯瞰画像合成処理部31で合成した俯瞰画像をディスプレイ57へ表示し、また警告出力制御部53から出力される前記警告表示制御信号をもとに、ディスプレイ57へ警告表示を行う。
急加速抑制制御部59は、予想経路上障害物判定処理部52で自車両の予想経路上に障害物が位置していると判定されたときに急激なアクセル操作があると急加速を抑制する急加速抑制要求をエンジンECU60へ出力してエンジンを制御させ、急加速を抑制させる。
この急激なアクセル操作の検出は、たとえば、次のように実現することができる。
すなわち、アクセル開度の変化率がある基準値を超えるか否かを判定し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路をアクセル操作検出手段として設ける。
あるいは、アクセル操作検出手段としてキックダウンスイッチの出力をもとに急激なアクセル操作があったか否かを検出することも可能である。
視点変換部21,22,23,24および俯瞰画像合成処理部31、特徴点抽出部41、特徴点追跡処理部42、三次元計測処理部43、障害物検知処理部44、障害物表示領域判定部45は、マイクロコンピュータを主要な構成とするECUにより実現される。
また、カメラ画像優先処理部46、予想経路判定処理部51、予想経路上障害物判定処理部52、警告出力制御部53、俯瞰画像表示部56および急加速抑制制御部59は、マイクロコンピュータを主要な構成とするECUにより実現される。
このECUは、前方カメラ1、後方カメラ2、右カメラ3および左カメラ4により撮像した画像の視点変換処理および画像合成処理を含む、この車両周辺監視装置特有の機能を実現するための各種処理を行う。
特徴点pの俯瞰映像上の位置ベクトルxp を[xp ,yp ,0]T としたとき、ベクトルXp=[Xp ,Yp ,Zp ]T とベクトルxp =[xp ,yp ,0]T との間には式(1)が成立する。
ここでkp =H/(H−Zp )とおけば、式(1)は以下に示す式(4)のように書き換えることができる。
今、対象物pはカメラに対して、時刻tにおいて3次元実空間ではベクトルXp=[Xp ,Yp ,Zp ]T の位置にあり、ヨーレートω、相対速度VX 、VY の相対運動で移動していたとする。なお、バウンシング・ロール・ピッチング運動はなかったとする。
このとき、時刻t+Δtでの対象物pの3次元実空間上の位置ベクトルXp(t+Δt)=[Xp (t+Δt),Yp (t+Δt),Zp (t+Δt)]T は、以下のように式(6)で与えられる。
このとき、静止物に対する相対運動は共通であるため、時刻tとt+Δtでの特徴点の俯瞰映像上の位置ベクトルxp (t)=[xp (t),yp (t),0]T 、ベクトルxp (t+Δt)=[xp (t+Δt),yp (t+Δt),0]T 、1<p<Pは式(10)より以下のように式(11)で与えられる。
なお、式(17)は以下に示す式(18)のように行列の積として書き換えることができる。
式(18)に示すW=MSより、俯瞰映像上の特徴点の位置の変化を示す行列Wから、相対運動を示す行列Mと3次元形状を示す行列Sに分割するには以下の手順で行う。
式(19)より、行列Wは2F×Pの大きさの行列である。行列Mは、ベクトルm、nが2次元であるため2F×3の大きさの行列であり、行列Sはベクトルsが3次元であるため3×Pの大きさの行列である。つまり、行列Wは階数3の行列である。そこで、以下のように、一旦、行列Wに対して特異値分解を行う。
σ1 >σ2 >…σp と降順に並んでいるとする。
行列Wは階数3の行列となるため、σ4 以降はノイズ成分とみなせることより、式(21)に示すように行列Uの3列分を抽出する。
(a)回転成分の拘束条件
式(19)より行列Mは以下の式(24)で示すように構成される。
式(19)より行列Sは以下のように構成される。
kp が最小となるのは、対象物が路面にあるとき、つまりZp =0であり、そのときkp =1となる。俯瞰映像は常時路面を撮影しているため、俯瞰映像上には、kp =1を満たす特徴点が必ず存在する。すなわち、kp に対して以下の拘束条件が存在する。
図6は、この実施の形態の車両周辺監視装置における障害物検知を説明するための対象物の三次元空間座標と俯瞰画像上の位置との関係を示す説明図である。
図6に示すように、カメラ201はz軸上の高さHの位置に配置されている。図6において、符号300は対象物を示しその三次元空間座標は[Xp ,Yp ,Zp ]Tである。また、符号301は俯瞰画像上の対象物映像であり、その三次元空間座標は[xp ,yp ,0]Tである。また、符号302は撮像された対象物が含まれた平面的な俯瞰映像を示している。
対象物と自車両とが相対速度[VX,VY]T、ヨーレートωで相対運動をしていたとき、上述した式(2)で示す関係が成立する。
式(2)のベクトルm(t+Δt)、n(t+Δt)は相対速度とヨーレートとを格納する相対運動であり、ベクトルSPは上述した式(1)から、特徴点Pの三次元座標への変換が一意に可能である。
この実施の形態では、式(1)および式(2)の関係を用いて、俯瞰画像上の特徴点Pを三次元座標へ変換し、自車両に対する立体物を判定して障害物の検知を行う。そして、前記検知した障害物が前記俯瞰画像上の前記共通領域内にあってその画像が俯瞰画像上で全体表示されていない場合、前記障害物の予想軌跡から前記障害物をより広範囲に写すことのできるカメラの画像を優先させ、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更し、俯瞰画像を再表示する。
また、前記検知した障害物が自車両の予想経路上にあるか否かを判定し、予想経路上にある場合には表示や音で注意喚起し、さらに急なアクセル操作があると急加速を抑制するエンジン制御を実現する。
図2に示すように前方カメラ1、後方カメラ2、右カメラ3および左カメラ4によりそれぞれ撮像された画像は、視点変換部21,22,23,24により視点変換され、さらに俯瞰画像合成処理部31により画像合成され俯瞰画像が生成される。この俯瞰画像は、一定の時間間隔Δtごとに生成され俯瞰画像合成処理部31から出力される(ステップS1)。俯瞰画像合成処理部31から出力された俯瞰画像は俯瞰画像表示部56によりディスプレイ57へ表示出力される。一方、また、俯瞰画像合成処理部31から出力された俯瞰画像は特徴点抽出部41へ供給され特徴点Pが抽出される(ステップS2)。特徴点抽出部41における特徴点Pの抽出は、たとえば画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点Pとして抽出する。
図7(A)、(B)に示されているように、特徴点抽出部41において抽出された特徴点Pがどのような動きをするかを特徴点追跡処理部42において追跡処理する。
この特徴点追跡処理部42の追跡処理は次のように行う。
つまり、図7(A)に示す時刻tにおける俯瞰画像上の特徴点Pと、同図(B)に示す時刻t+FΔtにおける俯瞰画像上の特徴点Pとの位置関係から、特徴点Pがどのような動きをしてどのような位置へ移動したかを追跡処理する(ステップS3)。
この特徴点Pの追跡処理では、特徴点Pのオプティカルフローを計算することで、その動きベクトルを求める。
図8は、図7に示す俯瞰画像から抽出した特徴点の動きベクトルを示す説明図である。
特徴点Pのオプティカルフローの計算処理は次のように行う。
所定の周期、時間間隔で撮像された前記俯瞰画像上の、互いに共通する特徴点Pの座標変化を検出し、その特徴点Pが移動しているか否か、座標が変化している場合には、特徴点Pの移動、座標変化の向きとその大きさがどの程度かをそれぞれ計算する。
さらに、障害物検知処理部44において、前記三次元計測処理部43で算出した前記相対運動情報と前記三次元座標情報とから障害物を検知する(ステップS5)。
図12は、俯瞰画像から得られた立体物の三次元情報と相対運動情報とから検知した自車両101に対する距離による障害物エリアAと、衝突予想時間による障害物エリアBとを示す説明図である。
図13は、この実施の形態の車両周辺監視装置における三次元計測処理部43、障害物検知処理部44および予想経路判定処理部51の動作を示すフローチャートである。
図15は予想経路判定処理部51において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部53の動作説明図である。
図16、図17は、予想経路判定処理部51において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部53および俯瞰画像表示部56の動作説明図である。
三次元計測処理部43の三次元計測処理では、俯瞰画像上の特徴点の三次元座標情報と、前記特徴点と自車両11との相対運動情報とを前述したように式(1)および式(2)から算出する(ステップS41)。
この特徴点の三次元座標情報は、三次元位置行列Sとして求められ(ステップS42)、また前記特徴点と自車両101との相対運動情報とは、相対運動行列Mとして求められる(ステップS43)。
そして、三次元位置行列Sとして求めた特徴点の三次元座標情報に対してはz軸方向の高さによる閾値処理を行う(ステップS44)。
この閾値処理では、z軸方向の高さ情報が零でなくある値を有している特徴点を所定の高さ基準値をもとに障害物候補特徴点とし(ステップS45)、またz軸方向の高さ情報が零である特徴点を非障害物特徴点とする(ステップS46)。
そして、前記障害物候補特徴点については、その特徴点の三次元座標情報をもとに自車両101との間の距離が明らかになることから、自車両101と障害物候補特徴点との間の距離に対し所定の距離基準値をもとに閾値処理を行う(ステップS47)。そして、遠距離障害物特徴点と近距離障害物特徴点とに識別を行う(ステップS48、ステップS49)。
近距離障害物特徴点として識別した特徴点は、例えば図12に示す障害物エリアAに含まれる特徴点である。
早期到達障害物特徴点は、例えば図12に示す障害物エリアBに含まれる特徴点である。
続くステップS61、ステップS62、ステップS71、ステップS72、ステップS81は予想経路判定処理部51における自車両の予想経路、特徴点の予想軌跡の判定処理を示している。
予想経路判定処理部51では自車両の予想経路、特徴点の予想軌跡の判定結果をもとに警告を出力するか否か、どのカメラの画像を優先させ、俯瞰画像の境界線を変更するかを判定する。
警告出力制御部53では、図15に示すように予想経路判定処理部51の前記判定結果をもとに警告出力の制御を行い、俯瞰画像表示部56では、図16、図17に示すように予想経路判定処理部51の前記判定結果をもとに俯瞰画像の境界線を変更する。
すなわち、予想経路判定処理部51は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、前記三次元計測処理部43で算出された前記特徴点の相対運動情報とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部52は、予想経路判定処理部51で判定した自車両の予想経路上に、同じく予想経路判定処理部51で予想軌跡が判定され、障害物検知処理部44で障害物として検知された特徴点が位置しているか否かを判定する。
したがって、予想経路判定処理部51は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、三次元計測処理部43で算出された前記特徴点の相対運動情報と、自車両と前記特徴点との位置関係とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部52は、予想経路判定処理部51で判定した自車両の予想経路上に、同じく予想経路判定処理部51で予想軌跡が判定され、障害物検知処理部44で障害物として検知された特徴点が位置しているか否かを判定する。
障害物表示領域判定部45により、前記障害物の特徴点が共通領域126,127,128,129のいずれかの共通領域、たとえば共通領域129に含まれていると判定されると、カメラ画像優先処理部46は、次のように動作する。
カメラ画像優先処理部46は、三次元計測処理部43において算出した自車両と前記障害物の特徴点Pとの相対運動情報と、前記障害物の特徴点Pの三次元位置情報とから、時間Δtが経過したときの前記障害物の特徴点Pの三次元位置、予想軌跡を算出する。
そして、前記障害物の特徴点が含まれていると判定された共通領域129を互いに共通する視野領域とする前方カメラ1と左カメラ4について、前記算出した三次元位置において前記障害物が写っているか否かを一定の経過時間を想定して前記障害物の特徴点について判定する。
そして、前記想定した一定の経過時間での前方カメラ1にしか写っていない前記特徴点の重み付け平均と、左カメラ4にしか写っていない前記特徴点の重み付け平均との大小関係から、前記障害物をより広範囲に写すことのできるカメラの画像を決定する。
さらに、前記障害物全体が表示されるように、前記俯瞰画像の共通領域について前記決定したカメラの画像を優先させ、俯瞰画像の境界線を変更する(ステップS7)。
そして、俯瞰画像合成処理部31において前記障害物の全体が含まれる俯瞰画像を再表示する(ステップS8)。
図3(A)は障害物の全体が表示されていない俯瞰画像を示し、符号131は全体が表示されていない障害物を示している。
前方カメラ1には全体像がほとんど写らないが、左カメラ4にはその全体像が写る共通領域129に障害物があるとき、一例を示すと図2で符号132で示す位置に障害物が位置している場合について説明する。
このとき、俯瞰画像の境界線で規定される各領域の配置形態が図3(A)に示す構成であると障害物131は俯瞰画像上にその一部が表示されるだけである。
なお、前記俯瞰画像の境界線で規定される各領域とは、図2の前方部分俯瞰画像121、後方部分俯瞰画像122、右側方部分俯瞰画像123、左側方部分俯瞰画像124の領域である。
このような現象は、図2の符号116,117,118,119で示す共有視野領域の周辺の障害物131の位置と、このときの前記部分俯瞰画像の各領域の配置形態とに応じて発生し、図3に示すように障害物131は俯瞰画像上にその一部が表示されるだけとなる。
このため、図2に示す前記共有視野領域をカバーする前記共通領域126,127,128,129に障害物131が位置していると、自車両と前記障害物の特徴点Pとの相対運動情報、前記障害物の三次元位置情報をもとに求めた、一定の経過時間を想定したときの予想軌跡から前記障害物の予想位置を算出する。
そして、前記算出した予想位置の前記障害物が前記共通領域を互いに共通する視野領域とする各カメラに写るか写らないかの予測結果から、前記共通領域について、前記障害物をより広範囲に写すことのできるカメラの部分俯瞰画像を決定する。
さらに、前記共通領域について前記決定したカメラの部分俯瞰画像を優先させ、俯瞰画像を再表示する。
この結果、前方部分俯瞰画像121、後方部分俯瞰画像122、右側方部分俯瞰画像123、左側方部分俯瞰画像124の配置形態が変更され、前記共通領域129について前記障害物をより広範囲に写すことのできる左カメラ4の部分俯瞰画像が優先され、図3(B)に示すように前記障害物の全体が含まれる俯瞰画像が再表示される。
つまり、図3(A)の前記部分俯瞰画像の各領域の配置形態では障害物131はその一部しか俯瞰画像に表示されていないのに対し、同図(B)では障害物131はその全体が表示される。
すなわち、自車両と前記障害物の特徴点Pとの相対運動情報、前記障害物の三次元位置情報をもとに一定の経過時間について想定した前記障害物の予想軌跡から、前記共通領域を互いに共通する視野領域とする各カメラについて“障害物131を写せる”、あるいは“写せない”を予測する。
そして、前記共通領域について、前記予測結果から“障害物131をより広範囲に写せる”と予測したカメラの部分俯瞰画像を優先させ、俯瞰画像の境界を変更する。
このカメラ画像優先処理は、共通領域に位置する障害物と判定された画像から抽出された複数の特徴点に対し、その予想軌跡、時刻変化をもとに、前記共通領域を互いに共通する視野領域とする各カメラについて“前記特徴点が写る/写らない”を予測し、その予測結果を得る。
前記予想軌跡、時刻変化は、三次元計測処理部43において得られた相対運動情報による一定の経過時間を想定したときの予想軌跡と時刻変化である。
そして、この予測結果から、前記特徴点が抽出された障害物131の全体像、あるいは、より広範囲に前記障害物を写している左カメラ4による左側方部分俯瞰画像124を優先させ、フィードフォワード的に俯瞰画像の繋ぎ目、境界線を変更する。
このための処理手順は次のようなものである。
まず、特徴点iがカメラAとカメラBの共有視野範囲にあるとして、三次元計測結果から特徴点iの三次元位置をベクトルXi =[Xi ,Yi ,Zi ]とし、ベクトルV=[Vx ,Vy ],ωを相対速度およびヨーレートとする(ステップS21)。次に、相対運動情報V,ωと三次元位置から、計測してから時間tだけ経過したときの特徴点iの三次元位置ベクトルX´i (t)=[X´i (t),Y´i (t),Z´i (t)]を求める(ステップS22)。
さらに、時刻tでの特徴点iの三次元座標ベクトルX´i (t)から、時刻tでのカメラAおよびカメラBによる特徴点iの俯瞰画像上の位置ベクトルx(a) i (t),ベクトルx(b) i (t)を求める(ステップS23)。
そして、ベクトルx(a) i (t),ベクトルx(b) i (t)から、特徴点iがカメラA、カメラBの俯瞰画像に映っているかいないかを判定し、式(28)、(29)で示す関数Ra (ベクトルx(a) i (t)),Rb (ベクトルx(b) i (t))を得る(ステップS24)。ここで関数Ra (ベクトルx(a) i (t)),Rb (ベクトルx(b) i (t))は見えやすさに応じて“0”以上“1”以下の実数を与えてもよい。
次に、関数Ra (ベクトルx(a) i (t)),Rb (ベクトルx(b) i (t))から、特徴点iがカメラAにしか映っていないことを示す式(30)で示す関数Sa (ベクトルx(a) i (t))と、カメラBにしか映っていないことを示す式(31)で示すSb (ベクトルx(b) i (t))を得る(ステップS25)。
続いて、関数Sa (ベクトルx(a) i (t))とSb (ベクトルx(b) i (t))とから、式(32)で示す計測してから時間T経過するまでのカメラAにしか映っていない特徴点数の重み付け平均Na と、式(33)で示すカメラBにしか映っていない特徴点数の重み付け平均Nb を求める。ここでw(t)はw(0)=1,w(T)=0を満たす、時間経過に応じて減少する重み関数である(ステップS26)。
そして、Na とNb の大小関係から、Na >Nb のとき共通領域にはカメラAの俯瞰画像を使用する。また、Na =Nb のとき共通領域にはカメラAとカメラBのうちのデフォルト値として定めたカメラの俯瞰画像を使用する。また、Na <Nb のとき共通領域にはカメラBの俯瞰画像を使用する。
なお、共通領域はカメラA、カメラBの俯瞰画像の輝度の重み付け合成するようにしてもよい。すなわち、Na /Nb >kのとき共通領域はカメラAの俯瞰画像を適用する。また、1/k≦Na /Nb ≦kのとき共通領域はカメラA、カメラBの俯瞰画像の重み付け平均を適用する。この俯瞰画像の重み付け平均は、式(34)、式(35)に示すようになる。このときIa がカメラAの俯瞰画像、Ib がカメラBの俯瞰画像であり、kはk>1を満たす適当な定数であり、Iは合成後の俯瞰画像である。また、Na /Nb <1/kのとき共通領域はカメラBの俯瞰画像を適用する。
なお、図10において図9と同一または相当の処理については同一の符号を付し説明を省略する。
ステップS1、ステップS2、ステップS3、ステップS4およびステップS5の各処理については図9の説明と同等である。
続く予想経路判定処理では、予想経路判定処理部51において自車両の車両情報から一定の時間Δt経過後の自車両101の位置、車速、進行方向、向きを含む状態情報、車両101の予想軌跡を計算し、予想経路151を判定する(ステップS16)。
なお、前記車両情報は、現在の車速、ハンドル操作角、トランスミッションのシフト位置、アクセル開度、車両寸法の全て、あるいはいづれか1つを含む。
続いて予想経路上障害物判定処理部52において、障害物検知処理部44で検知した障害物について前記予想経路151上にあるか否かを判定する(ステップS17)。
この予想経路上にあるか否かの判定は、三次元計測処理部43において前記障害物の特徴点の三次元位置情報が得られていることから、この特徴点の三次元位置情報が前記予想経路151内に含まれるか否かを判定することで可能になる。
図4に示すように、障害物131が共通領域129内に位置していると、カメラ画像優先処理部46は前記共通領域129にある特徴点に対し、三次元計測処理部43において得られた相対運動情報をもとに一定の経過時間を想定したときの予想軌跡を求める。
そして、時刻変化をもとに、前記共通領域129を互いに共通する視野領域とする各カメラについて“障害物131を写せる”、あるいは“写せない”との予測結果を得る。
さらに、前記障害物131の全体像が映し出されるように、前記予測結果をもとに、前記各カメラについて前記障害物131をより広範囲に写すことの出来るカメラを決定する。
図4に示す例では、共通領域129を互いに共通する視野領域とするカメラは前方カメラ1と左カメラ4であり、障害物131をより広範囲に写すことの出来るカメラは左カメラ4である。
そして、前記共通領域の俯瞰画像として左カメラ4による左側方部分俯瞰画像124を優先させる。
図4に示す俯瞰画像では、さらに障害物131が予測経路151内に位置していると、予想経路上障害物判定処理部52において障害物が予想経路151上にあると判定され、警告出力制御部53は、警告音出力部54によりブザー55を駆動させ警報音を出力する。
さらに、警告出力制御部53は、俯瞰画像表示部56によりディスプレイ57へ警告を表示させる(ステップS18)。
図5に示すように障害物が共通領域内に位置していないときには俯瞰画像の境界線の変更は行われず、また警告表示や警告音も出力されない。
続いて、急激なアクセル操作が行われたか否かを判定する(ステップS19)。
この急激なアクセル操作の判定は、たとえばアクセル開度の変化率がある基準値を超えるか超えないかを検出し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路(アクセル操作検出手段)により実現可能である。
あるいは、キックダウンスイッチの出力をもとに検出することも可能である。
そして、障害物検知処理部44で検知した障害物が予想経路151上にあると判定されると、急加速抑制制御部59は、前記センサ回路から出力された急加速アクセル操作判定信号をもとにエンジンECU60へ急加速抑制要求を出力し、車両の急加速を抑制する(ステップS20)。
この結果、障害物が予想経路151上にあると急激なアクセル操作が行われても車両の急加速が抑制される。
図11は、俯瞰画像上の画像の一例を示す説明図である。
例えばカメラによって撮像された俯瞰画像上の画像が図11に示すように画像データの左上を原点として横軸をx軸、縦軸をy軸と定めた座標上にあるものとする。
まず特徴点抽出処理部3は、図18に示すように画像Iのx軸およびy軸方向に対する偏微分Aおよび偏微分Bをそれぞれ求める。次いでこの画像Iでの全ての画素における空間配列行列を求める。
そして特徴点抽出処理部4は、空間配列行列に対する固有値λmin(p)およびλmax(p)を計算し、特徴を有すると認められる所定の値を抽出して特徴点と定める。
Claims (7)
- 車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
前記障害物検知処理部により検知した障害物の位置が前記複数の撮像装置が互いに共通する視野領域とする前記俯瞰画像上の共通領域に含まれるか否かを判定する障害物表示領域判定部と、
前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物についての前記特徴点の予想軌跡と、前記共通領域を互いに共通する前記視野領域とする各撮像装置に、前記予想軌跡で移動する前記障害物が“写る/写らない”の予測結果とをもとに、前記共通領域について前記障害物をより広範囲に写す撮像装置による部分俯瞰画像を優先させた俯瞰画像を前記俯瞰画像合成処理部に再合成させ、前記俯瞰画像表示手段に再表示させるカメラ画像優先処理部と、
を備えたことを特徴とする車両周辺監視装置。 - 前記特徴点の予想軌跡は、前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物について、前記三次元計測処理部で算出された前記共通領域の特徴点についての相対運動情報および三次元座標情報をもとに一定の経過時間を想定して得られることを特徴とする請求項1記載の車両周辺監視装置。
- 車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、
前記予想経路判定処理部で判定した前記車両の予想経路上に、前記障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする請求項1記載の車両周辺監視装置。 - 車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、
予想経路判定処理部で判定した前記車両の予想経路上に、障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする車両周辺監視装置。 - 急激なアクセル操作を検出するアクセル操作検出手段を備え、前記予想経路上障害物判定処理部で前記車両の予想経路上に障害物が位置していると判定されたときに前記アクセル操作検出手段により急激なアクセル操作が検出されると急加速を抑制する急加速抑制要求をエンジンECUへ出力しエンジンを制御させ、急加速を抑制させる急加速抑制制御部を備えたことを特徴とする請求項3または4記載の車両周辺監視装置。
- 前記予想経路判定処理部は、前記車両の状態情報と、前記三次元計測処理部で算出された前記特徴点の相対運動情報とをもとに、前記車両の予想経路および前記特徴点の予想軌跡の判定を行い、前記予想経路上障害物判定処理部は、前記予想経路判定処理部で判定した前記車両の予想経路上に、同じく前記予想経路判定処理部で予想軌跡が判定され、前記障害物検知処理部で障害物として検知された特徴点が位置しているか否かを判定することを特徴とする請求項4記載の車両周辺監視装置。
- 前記予想経路判定処理部は、前記車両の状態情報と、前記三次元計測処理部で算出された前記特徴点の相対運動情報と、前記車両と前記特徴点との位置関係とをもとに、前記車両の予想経路および前記特徴点の予想軌跡の判定を行い、前記予想経路上障害物判定処理部は、前記予想経路判定処理部で判定した前記車両の予想経路上に、同じく前記予想経路判定処理部で予想軌跡が判定され、前記障害物検知処理部で障害物として検知された特徴点が位置しているか否かを判定することを特徴とする請求項4記載の車両周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223513A JP5187292B2 (ja) | 2009-09-28 | 2009-09-28 | 車両周辺監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223513A JP5187292B2 (ja) | 2009-09-28 | 2009-09-28 | 車両周辺監視装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012268373A Division JP5418661B2 (ja) | 2012-12-07 | 2012-12-07 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011071932A true JP2011071932A (ja) | 2011-04-07 |
JP5187292B2 JP5187292B2 (ja) | 2013-04-24 |
Family
ID=44016725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009223513A Expired - Fee Related JP5187292B2 (ja) | 2009-09-28 | 2009-09-28 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5187292B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013029995A (ja) * | 2011-07-28 | 2013-02-07 | Clarion Co Ltd | 撮像システム |
JP2014221641A (ja) * | 2014-09-02 | 2014-11-27 | 株式会社小松製作所 | ダンプトラック |
US9291709B2 (en) | 2011-06-07 | 2016-03-22 | Komatsu Ltd. | Dump truck |
JP2017126847A (ja) * | 2016-01-13 | 2017-07-20 | 株式会社Jvcケンウッド | 車両用表示装置および車両用表示方法 |
JP2019185381A (ja) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | 車両周囲画像生成装置 |
JP2020516100A (ja) * | 2017-01-13 | 2020-05-28 | エルジー イノテック カンパニー リミテッド | アラウンドビュー提供装置 |
JP2020136755A (ja) * | 2019-02-14 | 2020-08-31 | 株式会社デンソー | 電子制御装置 |
EP3862990A4 (en) * | 2018-10-05 | 2021-08-18 | Panasonic Intellectual Property Corporation of America | INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM |
CN113379096A (zh) * | 2020-02-25 | 2021-09-10 | 本田技研工业株式会社 | 基于合成字段的单发(single shot)预测 |
CN113395449A (zh) * | 2021-06-16 | 2021-09-14 | 国网山东省电力公司武城县供电公司 | 资源自适应调整的异常监控*** |
CN114155732A (zh) * | 2021-12-28 | 2022-03-08 | 东风汽车有限公司东风日产乘用车公司 | 车辆周围障碍物监测方法、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000255351A (ja) * | 1999-03-08 | 2000-09-19 | Mazda Motor Corp | 車両の警報装置 |
JP2006253872A (ja) * | 2005-03-09 | 2006-09-21 | Toshiba Corp | 車両周辺画像表示装置および車両周辺画像表示方法 |
JP2008172535A (ja) * | 2007-01-11 | 2008-07-24 | Sanyo Electric Co Ltd | 運転支援システム、画像処理装置及びずれ検出方法 |
JP2009009209A (ja) * | 2007-06-26 | 2009-01-15 | Nippon Soken Inc | 画像認識装置および画像認識処理方法 |
JP2009137353A (ja) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | 運転支援画像生成装置および運転支援画像生成方法 |
-
2009
- 2009-09-28 JP JP2009223513A patent/JP5187292B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000255351A (ja) * | 1999-03-08 | 2000-09-19 | Mazda Motor Corp | 車両の警報装置 |
JP2006253872A (ja) * | 2005-03-09 | 2006-09-21 | Toshiba Corp | 車両周辺画像表示装置および車両周辺画像表示方法 |
JP2008172535A (ja) * | 2007-01-11 | 2008-07-24 | Sanyo Electric Co Ltd | 運転支援システム、画像処理装置及びずれ検出方法 |
JP2009009209A (ja) * | 2007-06-26 | 2009-01-15 | Nippon Soken Inc | 画像認識装置および画像認識処理方法 |
JP2009137353A (ja) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | 運転支援画像生成装置および運転支援画像生成方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9291709B2 (en) | 2011-06-07 | 2016-03-22 | Komatsu Ltd. | Dump truck |
JP2013029995A (ja) * | 2011-07-28 | 2013-02-07 | Clarion Co Ltd | 撮像システム |
JP2014221641A (ja) * | 2014-09-02 | 2014-11-27 | 株式会社小松製作所 | ダンプトラック |
JP2017126847A (ja) * | 2016-01-13 | 2017-07-20 | 株式会社Jvcケンウッド | 車両用表示装置および車両用表示方法 |
JP7242531B2 (ja) | 2017-01-13 | 2023-03-20 | エルジー イノテック カンパニー リミテッド | アラウンドビュー提供装置 |
JP2020516100A (ja) * | 2017-01-13 | 2020-05-28 | エルジー イノテック カンパニー リミテッド | アラウンドビュー提供装置 |
US11661005B2 (en) | 2017-01-13 | 2023-05-30 | Lg Innotek Co., Ltd. | Apparatus for providing around view |
JP2019185381A (ja) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | 車両周囲画像生成装置 |
EP3862990A4 (en) * | 2018-10-05 | 2021-08-18 | Panasonic Intellectual Property Corporation of America | INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM |
US11869279B2 (en) | 2018-10-05 | 2024-01-09 | Panasonic Intellectual Property Corporation Of America | Information processing method and information processing system |
JP7279390B2 (ja) | 2019-02-14 | 2023-05-23 | 株式会社デンソー | 電子制御装置 |
JP2020136755A (ja) * | 2019-02-14 | 2020-08-31 | 株式会社デンソー | 電子制御装置 |
CN113379096A (zh) * | 2020-02-25 | 2021-09-10 | 本田技研工业株式会社 | 基于合成字段的单发(single shot)预测 |
CN113379096B (zh) * | 2020-02-25 | 2024-05-14 | 本田技研工业株式会社 | 基于合成字段的单发(single shot)预测 |
CN113395449A (zh) * | 2021-06-16 | 2021-09-14 | 国网山东省电力公司武城县供电公司 | 资源自适应调整的异常监控*** |
CN113395449B (zh) * | 2021-06-16 | 2022-06-24 | 国网山东省电力公司武城县供电公司 | 资源自适应调整的异常监控*** |
CN114155732A (zh) * | 2021-12-28 | 2022-03-08 | 东风汽车有限公司东风日产乘用车公司 | 车辆周围障碍物监测方法、电子设备及存储介质 |
CN114155732B (zh) * | 2021-12-28 | 2023-04-21 | 东风汽车有限公司东风日产乘用车公司 | 车辆周围障碍物监测方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5187292B2 (ja) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5187292B2 (ja) | 車両周辺監視装置 | |
JP5418661B2 (ja) | 車両周辺監視装置 | |
JP5240149B2 (ja) | 車両周辺監視装置 | |
JP5323910B2 (ja) | 移動ロボットの遠隔操縦のための衝突防止装置及び方法 | |
JP3833241B2 (ja) | 監視装置 | |
JP4809019B2 (ja) | 車両用障害物検出装置 | |
JP5109691B2 (ja) | 解析装置 | |
JP2003051016A (ja) | 接近検出装置、接近検出方法、及び接近検出プログラム | |
US8452528B2 (en) | Visual recognition area estimation device and driving support device | |
CN102834853B (zh) | 车辆周围监测装置、车辆周围监测方法及车辆装置 | |
JP2007213561A (ja) | 車両周辺監視装置 | |
JP5054612B2 (ja) | 接近物検出装置および接近物検出方法 | |
JP2005222425A (ja) | 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体 | |
JP5915923B2 (ja) | 画像処理装置及び運転支援システム | |
JP2008158640A (ja) | 移動物体検出装置 | |
JP2001216520A (ja) | 車両用周辺監視装置 | |
JP2007028363A (ja) | トップビュー画像生成装置及びトップビュー画像表示方法 | |
JP2008238927A (ja) | 車両周辺画像表示装置 | |
JP5251814B2 (ja) | 運転支援装置 | |
JP5172482B2 (ja) | 車両周辺監視装置 | |
JP6080735B2 (ja) | 運転支援装置 | |
JP4677820B2 (ja) | 予測進路表示装置および予測進路表示方法 | |
JP2012256159A (ja) | 接近物検知装置および接近物検知方法 | |
JP3226699B2 (ja) | 車両用周辺監視装置 | |
JP2000251199A (ja) | 車両用後側方監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5187292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |