JP4812165B2 - 進行可能範囲決定装置及び進行可能範囲決定方法 - Google Patents
進行可能範囲決定装置及び進行可能範囲決定方法 Download PDFInfo
- Publication number
- JP4812165B2 JP4812165B2 JP2000363130A JP2000363130A JP4812165B2 JP 4812165 B2 JP4812165 B2 JP 4812165B2 JP 2000363130 A JP2000363130 A JP 2000363130A JP 2000363130 A JP2000363130 A JP 2000363130A JP 4812165 B2 JP4812165 B2 JP 4812165B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- edge
- obstacle
- traveling lane
- boundary line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は進行可能範囲決定装置及び進行可能範囲決定方法に係り、特に自動車に搭載可能な進行可能範囲決定装置及び進行可能範囲決定方法に関する。
【０００２】
【従来の技術】
近年自動車に搭載されたミリ波レーダ、画像センサにより自車の前方に存在する障害物を検出し、衝突を未然に防止しようとすることが試みられている。そして確実に衝突を防止するためには、障害物までの距離、自車と障害物の相対速度及び障害物の形状を確実に検出が要求される。
【０００３】
しかし、ミリ波レーダは障害物までの距離及び障害物の相対速度の測定には適しているものの、障害物の形状の検出にはあまり適していない。
一方、ＴＶカメラをはじめとする画像センサは障害物の形状の検出には適しているものの、障害物までの距離及び障害物の相対速度の測定にはあまり適していない。
【０００４】
そこで本出願人は、ミリ波レーダと画像センサを組み合わせて、障害物までの距離及び障害物の相対速度だけでなく障害物の形状も検出可能な周辺監視センサをすでに提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら自動走行制御システムを制御して障害物への衝突を確実に防止するためには、単に自車の周辺を監視するだけでなく、障害物までの距離、障害物の相対速度及び障害物の形状に基づいて自車が進行可能な範囲を決定することが必要となる。
【０００６】
本発明は上記課題に鑑みなされたものであって、自動車に搭載可能な進行可能範囲決定装置及び進行可能範囲決定方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
第１の発明に係る進行可能範囲決定装置は、前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出する障害物検出手段と、障害物検出手段の出力に基づいて自車が進行可能な範囲を決定する進行可能範囲決定手段を具備する。
また、本発明に係る進行可能範囲決定装置は、前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出するミリ波レーダと、前方に存在する障害物を検出する画像センサと、前記画像センサの出力を処理して障害物の複数のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段で抽出された隣接する２つのエッジを連結して生成される面上に、前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識する面認識手段と、自車の走行車線の境界線を検出する境界線検出手段と、前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り前記境界線検出手段で検出された境界線に垂直な線と、前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する出力手段と、を具備する。
【０００８】
本発明にあっては、前方に存在する障害物情報に基づいて自車が進行可能な範囲が決定される。
第２の発明に係る進行可能範囲決定装置は、障害物検出手段が、前方に存在する障害物までの距離及び該障害物の相対移動速度を検出するミリ波レーダと、前方に存在する障害物を検出する画像センサと、を具備する。
【０００９】
本発明にあっては、ミリ波レーダと画像センサによって障害物が検出される。
第３の発明に係る進行可能範囲決定装置は、進行可能範囲決定手段が、画像センサの出力を処理して障害物のエッジを抽出するエッジ抽出手段と、エッジ抽出手段で抽出されたエッジを連結して生成される面上にミリ波レーダによりターゲットが検出されたとき、及びターゲットは検出されないが該面を自車が通過不可能なときは該面を進行禁止面として、ターゲットが検出されず、かつ該面を自車が通過可能なときは該面を進行許容面として認識する面認識手段と、を具備する。
【００１０】
本発明にあっては、障害物のエッジが検出され、このエッジを結ぶ面が進行禁止面又は進行許容面として認識される。
第４の発明に係る進行可能範囲決定装置は、エッジの信頼度を評価する信頼度評価手段を具備し、信頼性評価手段で評価された信頼度が予め定められた閾値以上であるエッジだけを抽出エッジとして出力する。
【００１１】
本発明にあっては、エッジ検出の信頼度が評価され、閾値以上の信頼度を有するエッジが出力される。
第５の発明に係る進行可能範囲決定装置は、進行可能範囲決定手段が、
自車の走行車線の境界線を検出する境界線検出手段と、進行禁止面が自車の走行車線内にあるときは自車に最も近いエッジを通り境界線検出手段で検出された境界線に垂直な線と境界線で囲まれた領域を、進行禁止面の一方のエッジが自車の走行車線内にあるときは当該進行禁止面と自車の走行車線の境界線との交点で囲まれた領域を進行可能範囲として出力する出力手段をさらに具備する。
【００１２】
本発明にあっては、進行禁止面と走行車線に基づき進行可能範囲が決定される。
本発明に係る進行可能範囲決定方法は、ミリ波レーダにより前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出し、画像センサにより前方に存在する障害物を検出し、前記画像センサの出力を処理して障害物の複数のエッジを抽出し、抽出された隣接する２つのエッジを連結して生成される面上に前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識し、自車の走行車線の境界線を検出し、前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り検出された境界線に垂直な線と前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する、ことを特徴とする。
【００１３】
【発明の実施の形態】
図１は本発明に係る進行可能範囲決定装置の構成図であって、自動車１に搭載される。
即ち本発明に係る進行可能範囲決定装置は、自動車１のフロントグリルに設置されたミリ波アンテナ１１及び自動車１の屋根に搭載されたテレビカメラ１３、並びに自動車１の車内に搭載されるレーダ装置１２、ビデオ装置１４及びマイクロコンピュータシステム１５から構成される。
【００１４】
レーダ装置１２はミリ波アンテナ１１に送信波を供給するとともに、ミリ波アンテナ１１で受信された受信波を処理して、ターゲットまでの距離及びターゲットの相対速度を出力する。
ビデオ装置１４は、テレビカメラ１２で撮影された画像をビデオ信号として出力する。
【００１５】
マイクロコンピュータシステム１５は、バス１５０を中心としてＣＰＵ１５１、メモリ１５２、入力Ｉ／Ｆ（インターフェイス）１５３及び出力Ｉ／Ｆ１５４から構成され、入力Ｉ／Ｆ１５３を介してレーダ装置１２及びビデオ装置１４と接続される。
図２はメモリ１５２に記憶され、ＣＰＵ１５１で実行される進行可能範囲決定ルーチンのフローチャートであって、所定時間（例えば１００ミリ秒）ごとの割り込み処理で実行される。
【００１６】
図３は進行可能範囲決定ルーチンの処理を説明するための状況説明図であって、自車１の前方に３台の自動車３１〜３３が走行している状態を示す。
自車１及び自動車３３は走行車線３４を、自動車３１及び３２は右側の追い越し車線３５を走行しているものとする。以下図３を参照しながら進行可能範囲決定ルーチンの処理を説明する。
【００１７】
ステップ２０でビデオ装置１４から出力されるビデオ信号を読み込み、ステップ２１でレーダ装置１２から出力されるターゲット（障害物）情報を読み込む。
その後、ステップ２２で面検出処理を、ステップ２３で通過判定処理を、ステップ２４でターゲットロック処理を、さらにステップ２６で出力処理を実行してこのルーチンを終了するが、各処理の詳細は後述する。
【００１８】
図４は進行可能範囲決定ルーチンのステップ２２で実行される面検出処理のフローチャートであって、ステップ２２ａでビデオ装置から伝送されてくる画像からエッジを検出する。そして、検出されたエッジに、例えば左から順に番号を付け、各エッジの座標及び相対速度を算出する。
図３においては、自車の前面中心を原点とするＸ−Ｙ座標で左から順に７個のエッジＥ1＝（Ｘ1，Ｙ1）、Ｅ2＝（Ｘ2，Ｙ2）、Ｅ3＝（Ｘ3，Ｙ3）、Ｅ4＝（Ｘ4，Ｙ4）、Ｅ5＝（Ｘ5，Ｙ5）、Ｅ6＝（Ｘ6，Ｙ6）及びＥ7＝（Ｘ7，Ｙ7）が検出された状況を示している。
【００１９】
次にステップ２２ｂで検出されたエッジの対応付けを実施する。即ちエッジを結ぶ面内にターゲットが検出されるかを判定し、ターゲットが検出された面の両端のエッジを関連付けてこのルーチンを終了する。
エッジの検出及び関連付けは周知の方法を適用することが可能であるが、特に本出願人が平成１１年９月２９日に出願した特願平１１−２７６９３０に記載された方法を適用することが望ましく、この方法によれば検出されたエッジの座標だけでなく、そのエッジの信頼度を付加することも可能となる。
【００２０】
即ち、エッジの信頼度は、当該エッジに対するミリ波レーダからの情報及びビデオ装置からの情報に基づいて算出される。
図５は進行可能範囲決定ルーチンのステップ２３で実行される通過判定処理のフローチャートであって、ステップ２３ａでｉを初期値 '１' に、ステップ２３ｂで同じくエッジの番号を示すインデックｊを初期値 'ｉ＋１' に設定する。
【００２１】
ステップ２３ｃでエッジＥiと関連するエッジＥjがあるかを判定する。そして、ステップ２３ｃで肯定判定されたとき、即ち関連するエッジが存在するときは、ステップ２３ｄで面Ｆ（ｉ，ｊ）を自車が通過できないことを示すためにＦ（ｉ，ｊ）の値を '１' に設定してステップ２３ｋに進む。
一方ステップ２３ｃで否定判定されたとき、即ち関連するエッジが存在しないときは、ステップ２３ｅでエッジＥiとエッジＥjの間の距離Ｌ（ｉ，ｊ）を算出する。
【００２２】
そして、ステップ２３ｆでインデックスｊが検出されたエッジの総数Ｉ未満であるかを判定する。
ステップ２３ｆで肯定判定されたとき、即ちインデックスｊが検出されたエッジの総数Ｉ未満であるときは、ステップ２３ｇでインデックスｊをインクリメントして、ステップ２３ｃに戻る。
【００２３】
逆にステップ２３ｆで否定判定されたとき、即ちインデックスｊが検出されたエッジの総数Ｉ以上となったときは、ステップ２３ｈに進む。
そして、ステップ２３ｈでステップ２３ｅで算出された距離Ｌ（ｉ，ｊ）（但しｉ＋１≦ｊ≦Ｉ）のうちの最小の距離Ｌ（ｉ，ｊ）が所定値Ｌref以上であるか、即ちエッジＥｉとＥｊを結ぶ面Ｆ（ｉ，ｊ）を自車が通過可能であるかを判定する。
【００２４】
ステップ２３ｈで否定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）を自車が通過できないときはステップ２３ｄでＦ（ｉ，ｊ）の値を‘１' に設定してステップ２４ｉに進む。
逆に、ステップ２３ｈで肯定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）を自車が通過できるときは直接ステップ２４ｉに進む。
【００２５】
ステップ２３ｉではインデックｉが検出されたエッジの総数Ｉ未満であるかを判定し、肯定判定されたときはステップ２３ｊでインデックスｉをインクリメントしてステップ２３ｂに戻る。
逆にステップ２４ｋで否定判定されたとき、即ちインデックｉが検出されたエッジの総数Ｉ以上となったときは、この処理を終了する。
【００２６】
この処理の結果、図３に状況においては、Ｆ（２，３）、Ｆ（３，４）、Ｆ（４，５）、Ｆ（５，６）及びＦ（６，７）が‘１' に設定される。
図６は進行可能範囲決定ルーチンのステップ２４で実行されるターゲットロック処理のフローチャートであって、誤決定を防止するために必要に応じて実行される。
【００２７】
まず、ステップ２４ａで実行周期ごと（例えば１００ミリ秒ごと）に７個のエッジの座標を５つ記憶し、ステップ２４ｂでレーダ装置１２から出力されるターゲット情報を実行周期の所定倍ごとに５つ記憶する。例えば、所定倍を２倍とすれば、実施形態ではターゲット情報は２００ミリ秒ごとに記憶される。
ステップ２４ｃで平均エッジ座標としてステップ２４ａで記憶された５つの座標に基づいて５００ミリ秒間の時間平均値を演算し、ステップ２４ｄで平均レーダ装置出力としてステップ２４ｂで記憶された５つのデータに基づいて１秒間の時間平均値を演算する。
【００２８】
次に、ステップ２４ｅで関連有りと判定されている前回エッジＥib，Ｅjbにそれぞれ対応するエッジＥi，Ｅjが存在するか、即ち同じ検出物のエッジと推定されるエッジが存在するかを判定し、対応するエッジＥi，Ｅjが存在する場合はそのエッジを結ぶ面Ｆ（ｉ，ｊ）内に今回もターゲットが存在する可能性が高いと推定されるので、エッジＥi，Ｅjの関連の有無、即ちＦ（ｉ，ｊ）内にターゲットが検出されるか否かに関わらず、Ｆ（ｉ，ｊ）の値を‘１’に設定する。
【００２９】
最後にステップ２４ｆですべての前回エッジについてステップ２４ｅのターゲットロック処理が完了したかを判定し、否判定されたときはステップ２４ｅに戻る。逆に、ステップ２４ｆで肯定判定されたときはこの処理を終了する。
図７は進行可能範囲決定ルーチンのステップ２５で実行される出力処理のフローチャートであって、ステップ２５ａで最小Ｙ座標Ｙminを初期化し、ステップ２５ｂで自車が走行しているレーンの境界線を検出する。なお、境界線の検出には周知の方法を適用することができるが、特に本出願人が平成１２年９月４日に出願した特願２０００−２６６３９３に記載された方法を適用することが望ましい。
【００３０】
ステップ２５ｃで検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在するかを判定する。
そして、ステップ２５ｃで肯定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在するときは、ステップ２５ｄで次式によりエッジＥi及びＥj並びに最小Ｙ座標Ｙminの最小値をＹminに設定した後ステップ２５ｋに進む。
【００３１】
Ｙmin ← Ｍｉｎ（Ｙi，Ｙj，Ｙmin）
逆にステップ２５ｃで否定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在しないときは、ステップ２５ｅに進み検査面Ｆ（ｉ，ｊ）＝１の一方のエッジＥiが自車の走行レーン内に存在するかを判定する。
ステップ２５ｅで肯定判定されたとき、即ちエッジＥiが自車の走行レーン内に存在するときは、検査面Ｆ（ｉ，ｊ）＝１と自車の走行レーンの境界線との交点Ｐの座標（Ｘ0，Ｙ0）を算出し、ステップ２５ｇで次式によりエッジＥiのＹ座標Ｙi、交点Ｐ0のＹ座標Ｙ0及び最小Ｙ座標Ｙminの最小値をＹminに設定した後ステップ２５ｋに進む。
【００３２】
Ｙmin ← Ｍｉｎ（Ｙi，Ｙ0，Ｙmin）
逆にステップ２５ｅで否定判定されたとき、即ちエッジＥiが自車の走行レーン内にないときは、ステップ２５ｈに進みエッジＥjが自車の走行レーン内にあるかを判定する。
ステップ２５ｈで肯定判定されたとき、即ちエッジＥjが自車の走行レーン内にあるときは、ステップ２５ｉに進み検査面Ｆ（ｉ，ｊ）＝１と自車の走行レーンの境界線との交点Ｐの座標（Ｘ0，Ｙ0）を算出し、ステップ２５ｊで次式によりエッジＥjのＹ座標Ｙj，交点ＰのＹ座標Ｙ0及び最小Ｙ座標Ｙminの最小値をＹminに設定した後ステップ２５ｋに進む。
【００３３】
Ｙmin ← Ｍｉｎ（Ｙj，Ｙ0，Ｙmin）
逆にステップ２５ｈで否定判定されたとき、即ちエッジＥjが自車の走行レーン内にないときは直接ステップ２５ｋに進む。
ステップ２５ｋで全ての検査面Ｆ（ｉ，ｊ）＝１について処理が完了したかを判定し、否定判定されたときはステップ２５ｃに戻る。逆に、ステップ２５ｇで肯定判定されたときはステップ２５ｈで最小Ｙ座標を通る自車の走行レーンの境界線に対する垂直線と自車の走行レーンの境界線で囲まれた領域を自車の進行可能範囲として出力しするとともに、当該垂直線と自車の相対速度も出力してこの処理を終了する。
【００３４】
図８は出力処理の説明図であって、エッジＥ5及びＥ6並びに交点Ｐ1及びＰ2の中で最小のＹ座標を有する点、即ち交点Ｐ1と自車の走行レーンの境界線で囲まれる斜線領域が進行可能範囲として出力される。
進行可能範囲及び当該垂直線の相対速度の利用方法については特に規定されないが、例えば液晶ディスプレイに進行可能範囲を表示するとともに、当該垂直線の相対速度に応じて自車の速度を制御することも可能である。
【００３５】
【発明の効果】
第１の発明に係る進行範囲決定装置によれば、障害物の検出状況に応じて自車の進行可能範囲を決定することが可能である。
第２の発明に係る進行範囲決定装置によれば、障害物をミリ波レーダ及び画像センサによって確実に検出することが可能となる。
【００３６】
第３の発明に係る進行範囲決定装置によれば、障害物のエッジを結ぶ面の中に障害物が検出されたとき、及び障害物が検出されないが自車が通過できないときは該面を進行禁止面と認識し、障害物が検出されず、かつ自車が通過できるときは該面を進行許容面と認識することが可能となる。
第４の発明に係る進行範囲決定装置によれば、検出信頼性の高いエッジのみを選択的に出力することが可能となる。
【００３７】
第５の発明に係る進行範囲決定装置によれば、進行禁止面と自車の走行レーンに基づき進行可能範囲を決定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る進行可能範囲決定装置の構成図である。
【図２】進行可能範囲決定ルーチンのフローチャートである。
【図３】状況説明図である。
【図４】面検出処理のフローチャートである。
【図５】通過判定処理のフローチャート（１／２）である。
【図６】ターゲットロック処理のフローチャートである。
【図７】出力処理のフローチャートである。
【図８】進行可能範囲表示例である。
【符号の説明】
１…自車
１１…ミリ波アンテナ
１２…レーダ装置
１３…テレビカメラ
１４…ビデオ装置
１５…マイクロコンピュータ
１５０…バス
１５１…ＣＰＵ
１５２…メモリ
１５３…入力インターフェイス
１５４…出力インターフェイス
【発明の属する技術分野】
本発明は進行可能範囲決定装置及び進行可能範囲決定方法に係り、特に自動車に搭載可能な進行可能範囲決定装置及び進行可能範囲決定方法に関する。
【０００２】
【従来の技術】
近年自動車に搭載されたミリ波レーダ、画像センサにより自車の前方に存在する障害物を検出し、衝突を未然に防止しようとすることが試みられている。そして確実に衝突を防止するためには、障害物までの距離、自車と障害物の相対速度及び障害物の形状を確実に検出が要求される。
【０００３】
しかし、ミリ波レーダは障害物までの距離及び障害物の相対速度の測定には適しているものの、障害物の形状の検出にはあまり適していない。
一方、ＴＶカメラをはじめとする画像センサは障害物の形状の検出には適しているものの、障害物までの距離及び障害物の相対速度の測定にはあまり適していない。
【０００４】
そこで本出願人は、ミリ波レーダと画像センサを組み合わせて、障害物までの距離及び障害物の相対速度だけでなく障害物の形状も検出可能な周辺監視センサをすでに提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら自動走行制御システムを制御して障害物への衝突を確実に防止するためには、単に自車の周辺を監視するだけでなく、障害物までの距離、障害物の相対速度及び障害物の形状に基づいて自車が進行可能な範囲を決定することが必要となる。
【０００６】
本発明は上記課題に鑑みなされたものであって、自動車に搭載可能な進行可能範囲決定装置及び進行可能範囲決定方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
第１の発明に係る進行可能範囲決定装置は、前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出する障害物検出手段と、障害物検出手段の出力に基づいて自車が進行可能な範囲を決定する進行可能範囲決定手段を具備する。
また、本発明に係る進行可能範囲決定装置は、前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出するミリ波レーダと、前方に存在する障害物を検出する画像センサと、前記画像センサの出力を処理して障害物の複数のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段で抽出された隣接する２つのエッジを連結して生成される面上に、前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識する面認識手段と、自車の走行車線の境界線を検出する境界線検出手段と、前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り前記境界線検出手段で検出された境界線に垂直な線と、前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する出力手段と、を具備する。
【０００８】
本発明にあっては、前方に存在する障害物情報に基づいて自車が進行可能な範囲が決定される。
第２の発明に係る進行可能範囲決定装置は、障害物検出手段が、前方に存在する障害物までの距離及び該障害物の相対移動速度を検出するミリ波レーダと、前方に存在する障害物を検出する画像センサと、を具備する。
【０００９】
本発明にあっては、ミリ波レーダと画像センサによって障害物が検出される。
第３の発明に係る進行可能範囲決定装置は、進行可能範囲決定手段が、画像センサの出力を処理して障害物のエッジを抽出するエッジ抽出手段と、エッジ抽出手段で抽出されたエッジを連結して生成される面上にミリ波レーダによりターゲットが検出されたとき、及びターゲットは検出されないが該面を自車が通過不可能なときは該面を進行禁止面として、ターゲットが検出されず、かつ該面を自車が通過可能なときは該面を進行許容面として認識する面認識手段と、を具備する。
【００１０】
本発明にあっては、障害物のエッジが検出され、このエッジを結ぶ面が進行禁止面又は進行許容面として認識される。
第４の発明に係る進行可能範囲決定装置は、エッジの信頼度を評価する信頼度評価手段を具備し、信頼性評価手段で評価された信頼度が予め定められた閾値以上であるエッジだけを抽出エッジとして出力する。
【００１１】
本発明にあっては、エッジ検出の信頼度が評価され、閾値以上の信頼度を有するエッジが出力される。
第５の発明に係る進行可能範囲決定装置は、進行可能範囲決定手段が、
自車の走行車線の境界線を検出する境界線検出手段と、進行禁止面が自車の走行車線内にあるときは自車に最も近いエッジを通り境界線検出手段で検出された境界線に垂直な線と境界線で囲まれた領域を、進行禁止面の一方のエッジが自車の走行車線内にあるときは当該進行禁止面と自車の走行車線の境界線との交点で囲まれた領域を進行可能範囲として出力する出力手段をさらに具備する。
【００１２】
本発明にあっては、進行禁止面と走行車線に基づき進行可能範囲が決定される。
本発明に係る進行可能範囲決定方法は、ミリ波レーダにより前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出し、画像センサにより前方に存在する障害物を検出し、前記画像センサの出力を処理して障害物の複数のエッジを抽出し、抽出された隣接する２つのエッジを連結して生成される面上に前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識し、自車の走行車線の境界線を検出し、前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り検出された境界線に垂直な線と前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する、ことを特徴とする。
【００１３】
【発明の実施の形態】
図１は本発明に係る進行可能範囲決定装置の構成図であって、自動車１に搭載される。
即ち本発明に係る進行可能範囲決定装置は、自動車１のフロントグリルに設置されたミリ波アンテナ１１及び自動車１の屋根に搭載されたテレビカメラ１３、並びに自動車１の車内に搭載されるレーダ装置１２、ビデオ装置１４及びマイクロコンピュータシステム１５から構成される。
【００１４】
レーダ装置１２はミリ波アンテナ１１に送信波を供給するとともに、ミリ波アンテナ１１で受信された受信波を処理して、ターゲットまでの距離及びターゲットの相対速度を出力する。
ビデオ装置１４は、テレビカメラ１２で撮影された画像をビデオ信号として出力する。
【００１５】
マイクロコンピュータシステム１５は、バス１５０を中心としてＣＰＵ１５１、メモリ１５２、入力Ｉ／Ｆ（インターフェイス）１５３及び出力Ｉ／Ｆ１５４から構成され、入力Ｉ／Ｆ１５３を介してレーダ装置１２及びビデオ装置１４と接続される。
図２はメモリ１５２に記憶され、ＣＰＵ１５１で実行される進行可能範囲決定ルーチンのフローチャートであって、所定時間（例えば１００ミリ秒）ごとの割り込み処理で実行される。
【００１６】
図３は進行可能範囲決定ルーチンの処理を説明するための状況説明図であって、自車１の前方に３台の自動車３１〜３３が走行している状態を示す。
自車１及び自動車３３は走行車線３４を、自動車３１及び３２は右側の追い越し車線３５を走行しているものとする。以下図３を参照しながら進行可能範囲決定ルーチンの処理を説明する。
【００１７】
ステップ２０でビデオ装置１４から出力されるビデオ信号を読み込み、ステップ２１でレーダ装置１２から出力されるターゲット（障害物）情報を読み込む。
その後、ステップ２２で面検出処理を、ステップ２３で通過判定処理を、ステップ２４でターゲットロック処理を、さらにステップ２６で出力処理を実行してこのルーチンを終了するが、各処理の詳細は後述する。
【００１８】
図４は進行可能範囲決定ルーチンのステップ２２で実行される面検出処理のフローチャートであって、ステップ２２ａでビデオ装置から伝送されてくる画像からエッジを検出する。そして、検出されたエッジに、例えば左から順に番号を付け、各エッジの座標及び相対速度を算出する。
図３においては、自車の前面中心を原点とするＸ−Ｙ座標で左から順に７個のエッジＥ1＝（Ｘ1，Ｙ1）、Ｅ2＝（Ｘ2，Ｙ2）、Ｅ3＝（Ｘ3，Ｙ3）、Ｅ4＝（Ｘ4，Ｙ4）、Ｅ5＝（Ｘ5，Ｙ5）、Ｅ6＝（Ｘ6，Ｙ6）及びＥ7＝（Ｘ7，Ｙ7）が検出された状況を示している。
【００１９】
次にステップ２２ｂで検出されたエッジの対応付けを実施する。即ちエッジを結ぶ面内にターゲットが検出されるかを判定し、ターゲットが検出された面の両端のエッジを関連付けてこのルーチンを終了する。
エッジの検出及び関連付けは周知の方法を適用することが可能であるが、特に本出願人が平成１１年９月２９日に出願した特願平１１−２７６９３０に記載された方法を適用することが望ましく、この方法によれば検出されたエッジの座標だけでなく、そのエッジの信頼度を付加することも可能となる。
【００２０】
即ち、エッジの信頼度は、当該エッジに対するミリ波レーダからの情報及びビデオ装置からの情報に基づいて算出される。
図５は進行可能範囲決定ルーチンのステップ２３で実行される通過判定処理のフローチャートであって、ステップ２３ａでｉを初期値 '１' に、ステップ２３ｂで同じくエッジの番号を示すインデックｊを初期値 'ｉ＋１' に設定する。
【００２１】
ステップ２３ｃでエッジＥiと関連するエッジＥjがあるかを判定する。そして、ステップ２３ｃで肯定判定されたとき、即ち関連するエッジが存在するときは、ステップ２３ｄで面Ｆ（ｉ，ｊ）を自車が通過できないことを示すためにＦ（ｉ，ｊ）の値を '１' に設定してステップ２３ｋに進む。
一方ステップ２３ｃで否定判定されたとき、即ち関連するエッジが存在しないときは、ステップ２３ｅでエッジＥiとエッジＥjの間の距離Ｌ（ｉ，ｊ）を算出する。
【００２２】
そして、ステップ２３ｆでインデックスｊが検出されたエッジの総数Ｉ未満であるかを判定する。
ステップ２３ｆで肯定判定されたとき、即ちインデックスｊが検出されたエッジの総数Ｉ未満であるときは、ステップ２３ｇでインデックスｊをインクリメントして、ステップ２３ｃに戻る。
【００２３】
逆にステップ２３ｆで否定判定されたとき、即ちインデックスｊが検出されたエッジの総数Ｉ以上となったときは、ステップ２３ｈに進む。
そして、ステップ２３ｈでステップ２３ｅで算出された距離Ｌ（ｉ，ｊ）（但しｉ＋１≦ｊ≦Ｉ）のうちの最小の距離Ｌ（ｉ，ｊ）が所定値Ｌref以上であるか、即ちエッジＥｉとＥｊを結ぶ面Ｆ（ｉ，ｊ）を自車が通過可能であるかを判定する。
【００２４】
ステップ２３ｈで否定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）を自車が通過できないときはステップ２３ｄでＦ（ｉ，ｊ）の値を‘１' に設定してステップ２４ｉに進む。
逆に、ステップ２３ｈで肯定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）を自車が通過できるときは直接ステップ２４ｉに進む。
【００２５】
ステップ２３ｉではインデックｉが検出されたエッジの総数Ｉ未満であるかを判定し、肯定判定されたときはステップ２３ｊでインデックスｉをインクリメントしてステップ２３ｂに戻る。
逆にステップ２４ｋで否定判定されたとき、即ちインデックｉが検出されたエッジの総数Ｉ以上となったときは、この処理を終了する。
【００２６】
この処理の結果、図３に状況においては、Ｆ（２，３）、Ｆ（３，４）、Ｆ（４，５）、Ｆ（５，６）及びＦ（６，７）が‘１' に設定される。
図６は進行可能範囲決定ルーチンのステップ２４で実行されるターゲットロック処理のフローチャートであって、誤決定を防止するために必要に応じて実行される。
【００２７】
まず、ステップ２４ａで実行周期ごと（例えば１００ミリ秒ごと）に７個のエッジの座標を５つ記憶し、ステップ２４ｂでレーダ装置１２から出力されるターゲット情報を実行周期の所定倍ごとに５つ記憶する。例えば、所定倍を２倍とすれば、実施形態ではターゲット情報は２００ミリ秒ごとに記憶される。
ステップ２４ｃで平均エッジ座標としてステップ２４ａで記憶された５つの座標に基づいて５００ミリ秒間の時間平均値を演算し、ステップ２４ｄで平均レーダ装置出力としてステップ２４ｂで記憶された５つのデータに基づいて１秒間の時間平均値を演算する。
【００２８】
次に、ステップ２４ｅで関連有りと判定されている前回エッジＥib，Ｅjbにそれぞれ対応するエッジＥi，Ｅjが存在するか、即ち同じ検出物のエッジと推定されるエッジが存在するかを判定し、対応するエッジＥi，Ｅjが存在する場合はそのエッジを結ぶ面Ｆ（ｉ，ｊ）内に今回もターゲットが存在する可能性が高いと推定されるので、エッジＥi，Ｅjの関連の有無、即ちＦ（ｉ，ｊ）内にターゲットが検出されるか否かに関わらず、Ｆ（ｉ，ｊ）の値を‘１’に設定する。
【００２９】
最後にステップ２４ｆですべての前回エッジについてステップ２４ｅのターゲットロック処理が完了したかを判定し、否判定されたときはステップ２４ｅに戻る。逆に、ステップ２４ｆで肯定判定されたときはこの処理を終了する。
図７は進行可能範囲決定ルーチンのステップ２５で実行される出力処理のフローチャートであって、ステップ２５ａで最小Ｙ座標Ｙminを初期化し、ステップ２５ｂで自車が走行しているレーンの境界線を検出する。なお、境界線の検出には周知の方法を適用することができるが、特に本出願人が平成１２年９月４日に出願した特願２０００−２６６３９３に記載された方法を適用することが望ましい。
【００３０】
ステップ２５ｃで検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在するかを判定する。
そして、ステップ２５ｃで肯定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在するときは、ステップ２５ｄで次式によりエッジＥi及びＥj並びに最小Ｙ座標Ｙminの最小値をＹminに設定した後ステップ２５ｋに進む。
【００３１】
Ｙmin ← Ｍｉｎ（Ｙi，Ｙj，Ｙmin）
逆にステップ２５ｃで否定判定されたとき、即ち検査面Ｆ（ｉ，ｊ）＝１が自車の走行レーン内に存在しないときは、ステップ２５ｅに進み検査面Ｆ（ｉ，ｊ）＝１の一方のエッジＥiが自車の走行レーン内に存在するかを判定する。
ステップ２５ｅで肯定判定されたとき、即ちエッジＥiが自車の走行レーン内に存在するときは、検査面Ｆ（ｉ，ｊ）＝１と自車の走行レーンの境界線との交点Ｐの座標（Ｘ0，Ｙ0）を算出し、ステップ２５ｇで次式によりエッジＥiのＹ座標Ｙi、交点Ｐ0のＹ座標Ｙ0及び最小Ｙ座標Ｙminの最小値をＹminに設定した後ステップ２５ｋに進む。
【００３２】
Ｙmin ← Ｍｉｎ（Ｙi，Ｙ0，Ｙmin）
逆にステップ２５ｅで否定判定されたとき、即ちエッジＥiが自車の走行レーン内にないときは、ステップ２５ｈに進みエッジＥjが自車の走行レーン内にあるかを判定する。
ステップ２５ｈで肯定判定されたとき、即ちエッジＥjが自車の走行レーン内にあるときは、ステップ２５ｉに進み検査面Ｆ（ｉ，ｊ）＝１と自車の走行レーンの境界線との交点Ｐの座標（Ｘ0，Ｙ0）を算出し、ステップ２５ｊで次式によりエッジＥjのＹ座標Ｙj，交点ＰのＹ座標Ｙ0及び最小Ｙ座標Ｙminの最小値をＹminに設定した後ステップ２５ｋに進む。
【００３３】
Ｙmin ← Ｍｉｎ（Ｙj，Ｙ0，Ｙmin）
逆にステップ２５ｈで否定判定されたとき、即ちエッジＥjが自車の走行レーン内にないときは直接ステップ２５ｋに進む。
ステップ２５ｋで全ての検査面Ｆ（ｉ，ｊ）＝１について処理が完了したかを判定し、否定判定されたときはステップ２５ｃに戻る。逆に、ステップ２５ｇで肯定判定されたときはステップ２５ｈで最小Ｙ座標を通る自車の走行レーンの境界線に対する垂直線と自車の走行レーンの境界線で囲まれた領域を自車の進行可能範囲として出力しするとともに、当該垂直線と自車の相対速度も出力してこの処理を終了する。
【００３４】
図８は出力処理の説明図であって、エッジＥ5及びＥ6並びに交点Ｐ1及びＰ2の中で最小のＹ座標を有する点、即ち交点Ｐ1と自車の走行レーンの境界線で囲まれる斜線領域が進行可能範囲として出力される。
進行可能範囲及び当該垂直線の相対速度の利用方法については特に規定されないが、例えば液晶ディスプレイに進行可能範囲を表示するとともに、当該垂直線の相対速度に応じて自車の速度を制御することも可能である。
【００３５】
【発明の効果】
第１の発明に係る進行範囲決定装置によれば、障害物の検出状況に応じて自車の進行可能範囲を決定することが可能である。
第２の発明に係る進行範囲決定装置によれば、障害物をミリ波レーダ及び画像センサによって確実に検出することが可能となる。
【００３６】
第３の発明に係る進行範囲決定装置によれば、障害物のエッジを結ぶ面の中に障害物が検出されたとき、及び障害物が検出されないが自車が通過できないときは該面を進行禁止面と認識し、障害物が検出されず、かつ自車が通過できるときは該面を進行許容面と認識することが可能となる。
第４の発明に係る進行範囲決定装置によれば、検出信頼性の高いエッジのみを選択的に出力することが可能となる。
【００３７】
第５の発明に係る進行範囲決定装置によれば、進行禁止面と自車の走行レーンに基づき進行可能範囲を決定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る進行可能範囲決定装置の構成図である。
【図２】進行可能範囲決定ルーチンのフローチャートである。
【図３】状況説明図である。
【図４】面検出処理のフローチャートである。
【図５】通過判定処理のフローチャート（１／２）である。
【図６】ターゲットロック処理のフローチャートである。
【図７】出力処理のフローチャートである。
【図８】進行可能範囲表示例である。
【符号の説明】
１…自車
１１…ミリ波アンテナ
１２…レーダ装置
１３…テレビカメラ
１４…ビデオ装置
１５…マイクロコンピュータ
１５０…バス
１５１…ＣＰＵ
１５２…メモリ
１５３…入力インターフェイス
１５４…出力インターフェイス
Claims (3)
- 前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出するミリ波レーダと、
前方に存在する障害物を検出する画像センサと、
前記画像センサの出力を処理して障害物の複数のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段で抽出された隣接する２つのエッジを連結して生成される面上に、前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識する面認識手段と、
自車の走行車線の境界線を検出する境界線検出手段と、
前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り前記境界線検出手段で検出された境界線に垂直な線と、前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する出力手段と、
を具備することを特徴とする進行可能範囲決定装置。 - 前記エッジ抽出手段が、
エッジの信頼度を評価する信頼度評価手段を具備し、
前記信頼度評価手段で評価された信頼度が予め定められた閾値以上であるエッジだけを抽出エッジとして出力するものである請求項１に記載の進行可能範囲決定装置。 - ミリ波レーダにより前方に存在する障害物の有無、障害物までの距離及び障害物の相対移動速度を検出し、
画像センサにより前方に存在する障害物を検出し、
前記画像センサの出力を処理して障害物の複数のエッジを抽出し、
抽出された隣接する２つのエッジを連結して生成される面上に前記ミリ波レーダにより前記障害物が検出されたとき及び前記障害物は検出されないが該面を自車が通過不可能なときは該面を画像面上の進行禁止面として、前記障害物が検出されず且つ該面を自車が通過可能なときは該面を画像面上の進行許容面として認識し、
自車の走行車線の境界線を検出し、
前記進行禁止面が自車の走行車線内にあるときは、前記自車の走行車線内で自車に最も近いエッジを通り検出された境界線に垂直な線と前記境界線と、前記自車の前部に接する前記境界線への垂線とで囲まれた領域を、前記進行禁止面の一方のエッジが自車の走行車線内にあり、他方のエッジが前記自車の走行車線の外にあるときは、当該進行禁止面と自車の走行車線の境界線と、前記自車の前部に接する前記境界線への垂線及び、当該自車の走行車線内にあるエッジから前記境界線への垂線、又は当該進行禁止面と自車の走行車線の境界線との交点から前記境界線への垂線で囲まれた領域を進行可能範囲として出力する、
ことを特徴とする進行可能範囲決定方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000363130A JP4812165B2 (ja) | 2000-11-29 | 2000-11-29 | 進行可能範囲決定装置及び進行可能範囲決定方法 |
| US09/929,413 US6636148B2 (en) | 2000-09-04 | 2001-08-13 | Periphery monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000363130A JP4812165B2 (ja) | 2000-11-29 | 2000-11-29 | 進行可能範囲決定装置及び進行可能範囲決定方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002163784A JP2002163784A (ja) | 2002-06-07 |
| JP2002163784A5 JP2002163784A5 (ja) | 2008-01-24 |
| JP4812165B2 true JP4812165B2 (ja) | 2011-11-09 |
Family
ID=18834288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000363130A Expired - Fee Related JP4812165B2 (ja) | 2000-09-04 | 2000-11-29 | 進行可能範囲決定装置及び進行可能範囲決定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4812165B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018128350A1 (de) * | 2018-11-13 | 2020-05-14 | Bayerische Motoren Werke Aktiengesellschaft | Erfassen eines Objekts im Umfeld eines Kraftfahrzeugs |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08156723A (ja) * | 1994-12-06 | 1996-06-18 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
| JP3230642B2 (ja) * | 1995-05-29 | 2001-11-19 | ダイハツ工業株式会社 | 先行車検出装置 |
| JPH09264954A (ja) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | レーダを用いた画像処理システム |
| JP3843512B2 (ja) * | 1996-12-13 | 2006-11-08 | 株式会社デンソー | 車速制御方法および車速制御装置 |
-
2000
- 2000-11-29 JP JP2000363130A patent/JP4812165B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002163784A (ja) | 2002-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9031774B2 (en) | Apparatus and method for preventing collision of vehicle | |
| JP6493545B2 (ja) | 情報提示装置及び情報提示方法 | |
| JP3427809B2 (ja) | 車両用道路形状認識方法及び装置、記録媒体 | |
| US8423250B2 (en) | Vehicle control device, vehicle control method and computer program | |
| US7889116B2 (en) | Object detecting apparatus | |
| US20090121899A1 (en) | Parking assistance device | |
| CN105620489A (zh) | 驾驶辅助***及车辆实时预警提醒方法 | |
| JP5511431B2 (ja) | 駐車支援装置 | |
| US20020027503A1 (en) | Periphery monitoring system | |
| JP2016148547A (ja) | 検知装置 | |
| JP3786113B2 (ja) | 接近予測装置 | |
| JPH0844999A (ja) | 接近予測装置 | |
| JP2012234373A (ja) | 運転支援装置 | |
| CN113602263A (zh) | 车辆避让方法、装置、车载设备及存储介质 | |
| US7057502B2 (en) | Vehicle drive assist apparatus | |
| JP4812165B2 (ja) | 進行可能範囲決定装置及び進行可能範囲決定方法 | |
| JP5682302B2 (ja) | 走行道路推定装置、方法およびプログラム | |
| CN115649167A (zh) | 一种车辆变道确定方法、装置、电子设备及存储介质 | |
| JP2000249759A (ja) | 車両の障害物検出装置 | |
| JP3284845B2 (ja) | 障害物認識装置 | |
| JP2002148336A (ja) | 割り込み予測装置 | |
| US9495873B2 (en) | Other-vehicle detection device and other-vehicle detection method | |
| Morizane et al. | Cut-in vehicle recognition system | |
| JPH02137100A (ja) | 高架高速道路走行認識装置 | |
| JP2018018215A (ja) | 物体特徴点検知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071129 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |