JP3711405B2 - カメラを利用した車両の道路情報抽出方法及びシステム - Google Patents
カメラを利用した車両の道路情報抽出方法及びシステム Download PDFInfo
- Publication number
- JP3711405B2 JP3711405B2 JP2001398881A JP2001398881A JP3711405B2 JP 3711405 B2 JP3711405 B2 JP 3711405B2 JP 2001398881 A JP2001398881 A JP 2001398881A JP 2001398881 A JP2001398881 A JP 2001398881A JP 3711405 B2 JP3711405 B2 JP 3711405B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- calculated
- vertical
- target
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は車両の道路情報検出方法及びシステムに係り、より詳しくは、路面映像を検出するカメラによって得られた映像情報を利用して道路情報を抽出し、特に、先行車両が存在する場合、先行車両との車間距離を演算する道路情報抽出方法及びシステムに関するものである。
【0002】
【従来の技術】
最近は自ら走行環境を認識して自動走行機能を遂行する無人自動車が開発されている。このような無人自動車には通常車両の走行車線(lane)を維持するために車線(lane mark)を検出する車線検出装置と、先行車両との衝突を防止するために先行車両を検出する車両検出装置とが搭載される。
【0003】
車線検出装置ではカメラなど入力装置を通じて入力される道路情報から車線を検出、つまり、道路をモデリングするようになるが、このような道路モデリング技法は道路上の特定の体系によって配置された標識を検出し、その分布状態を認識するものであって、道路に形成された代表的な標識として車線を検出する。
【0004】
車線検出装置で車線を検出する代表的な方法としては、道路の路面は明度が低く、道路に表示される車線は明度が高いので、カメラなどを利用して自車の前方を撮影し、この撮影された映像から明度の差を利用して車線を識別する方法がある。
【0005】
また、車両検出装置で先行車両を検出することは多様な方法で実現できるが、二つのカメラを左右に配置し、前方の目標地点に向かった二つのカメラの角度差を利用して前方車両までの距離を計算するステレオカメラ(stereo camera)方法、前方車両にレーザーまたはmm波(mm−wave ; 波長がmm単位である電波)を放射して、反射される反射波(reflectivewave)を利用して前方車両までの距離を検出するレーザーレーダー(laser radar)、またはmm波レーダー(mm−wave radar)方法などがある。
【0006】
このように従来の技術による車線検出装置と車両検出装置の検出対象及び検出方法は互いに相異しているため、通常前記両者は別個の装置として無人自動車に備えられている。
【0007】
ところが、このように車線検出装置に車両検出装置を別個の装置として付加すれば、付加される車両検出装置に必要な部品に対する追加費用が発生し、ステレオカメラはカメラセッティングが難しい。さらに、レーザーレーダーは明確な直進性のために探知領域の幅が狭くなり、湿気による散乱によって安定性が低下する場合もあり、また、mm波レーダーは一定限界内の車両を道路上で探知する際非常に高い正確度を有している反面、装備が高価であるという短所がある。
【0008】
【発明が解決しようとする課題】
従って、前記短所を解決しようとした本発明の目的は、車線検出装置に用いられる映像入力装置を利用して先行車両との距離を検出する車間距離検出機能を実現しようとすることにある。
【0009】
【課題を解決するための手段】
前記目的を達成するための本発明による道路情報抽出システムは、車両外部の映像を撮影して映像信号を出力するカメラと、前記カメラから映像信号を受信し、これに基づいて後述する本発明の道路情報抽出方法を遂行する電子制御ユニットとを含む。
【0010】
本発明による道路情報抽出方法は、車両に装着されたカメラから映像を取得する映像取得段階と;前記取得された映像から目標物を検出する目標物検出段階と;前記検出された目標物までの水平推定距離を算出する水平距離算出段階と;円周上で目標物が位置する垂直方位角及び前記円周の曲率半径を演算する変数演算段階と;前記演算された曲率半径、垂直方位角に基づいて目標物までの実際の距離を計算する実際距離計算段階と;を含む。
【0011】
以下では、 α は比例常数、f は前記カメラの焦点距離、h は路面からカメラの中心までの高さ、y は目標物の映像垂直座標、c′ は検出された映像の地平線の映像垂直座標、c は平地の地平線の映像垂直座標、θ は c=f× tan(θ) を満たす値に定義される常数、L は目標物の水平推定距離、φ は円周上で目標物が位置する垂直方位角、そして R は前記円周の曲率半径と各々定義して記述する。
【0012】
前記水平距離算出段階は、L=α・h(f2 +y・c)/{ f・(y−c)}の式によって計算される L 値で目標物までの水平推定距離を算出することができる。
【0013】
前記変数演算段階は、路面の形態が上向曲率であるか下向曲率であるかを判断する上下向判断段階と;円周上で目標物が位置する垂直方位角を演算する垂直方位角演算段階と;前記上下向判断段階での判断結果に従って、前記円周の上向曲率半径及び下向曲率半径のうち該当曲率半径を演算する該当曲率半径演算段階と;を含んで実現することができる。
【0014】
前記上下向判断段階は、前記取得された映像から複数の車線を検出した後、前記検出された複数の車線の形態に基づいて上向曲率であるか下向曲率であるかを判断することができる。
【0015】
また、前記上下向判断段階は、検出された映像から抽出される地平線の映像垂直座標が予め設定された映像垂直座標より大きい場合には上向曲率であり、小さい場合には下向曲率であると判断することができる。
【0016】
前記垂直方位角演算段階は、 c′=f×tan(φ+θ) を満たす φ の値で垂直方位角を演算することができる。
【0017】
前記該当曲率半径演算段階で前記上向曲率半径は、L=h・R・sinφ/{h−R・(1−cosφ)} を満たす R の値で計算されることができる。
【0018】
この時、前記 L=h・R・sinφ/{ h−R・(1−cosφ)} を満たす R の値は、L 及び φ を変数として予め計算されたマップから抽出されることが好ましい。
【0019】
前記該当曲率半径演算段階で前記下向曲率半径は、L=h・R・sinφ/{h+R・(1−cosφ)} を満たす R の値で計算されることができる。この時、前記 L=h・R・sinφ/{ h+R・(1−cosφ)} を満たす R の値は、L 及び φ を変数として予め計算されたマップから抽出されることが好ましい。
【0020】
前記実際距離計算段階は、式 l=Rφ によって計算される l の絶対値で実際の距離を計算することができる。
【0021】
【発明の実施の形態】
以下、添付図面を参照して本発明による好ましい実施例について説明する。
【0022】
まず、本発明の実施例によるカメラを利用した車両の道路情報抽出システムは、図1(a)に示したように、車両前方の映像を撮影して映像信号を出力するカメラ110、及びカメラ110から映像信号を受信し、これに基づいて道路情報を算出する電子制御ユニット120(Electronic Control Unit;以下、“ECU”と称する。)を含む。
【0023】
カメラ110は、映像を連続してデジタル信号化することが容易であるように、CCD(Charge Coupled Device)カメラにすることが好ましい。
【0024】
ECU120は設定されたプログラムによって動作する一つまたは複数のマイクロプロセッサーで実現でき、前記設定されたプログラムは後述する本発明の実施例による道路情報抽出方法の各段階を遂行するように、プログラミングされたソフトウェアにすることができる。
【0025】
ECU120は車両130の任意の位置に設置することができるが、カメラ110は車両室内の上部の前方に、例えば、ルームミラー(room mirror)と前面のガラス(windshield)との間に設置されることが好ましい。
【0026】
以下で、前記路面からカメラの中心までの高さを h にし、カメラの注視方向と水平方向との間の角度を θ にする。前記高さ h 及び角度 θ は走行履歴などによって補正が可能であることはもちろんであるが、一般にカメラが装着されることによって設定される常数である。
【0027】
図1(b)に示された角度 φ の意味と機能については後述する。
【0028】
車両130が走行する路面は平地であったり、上向に屈曲(upwardlycurved)して凹んだ(concave)形態であったり、そして下向に屈曲して膨らんだ(convex)形態であり得る。このような各々の道路の形態によってカメラ映像で抽出される車線の形態及び地平線の位置を図2に示す。
【0029】
まず、形態(b)は路面が平地である場合に抽出される車線の形態及び地平線の位置であって、車線は映像の下辺の両側(車両の左右車線)から始まって映像の上側の設定地点で一致し、車線の形態は直線(straight line)形態となる。
【0030】
このように平地で車線が相接した地点は地平線(H0)に対応し、この地平線(H0)の映像垂直座標を c と表示した。
【0031】
反面、路面が上向に屈曲した場合には形態(a)のような車線が抽出されるが、この時には車線の形態が曲線を成し、左側車線は左側に、右側車線は右側に曲がる形態となる。従って、車線が一致する地点が上に上がり、地平線に至るまで車線が一致しない形態となる。
【0032】
車線が一致する場合はその一致点地平線(Hu)となるのは自明であるが、車線が一致しない場合でも二つの車線の先の点を繋いだ線が地平線(Hu)で検出できることも自明である。
【0033】
路面が上向に屈曲した場合の地平線(Hu)は平地での地平線(H0)の位置より高く形成され、路面が平地でない場合の地平線(Hu、Hd)の映像垂直座標をc′ と表示した。
【0034】
路面が下向に屈曲した場合に抽出される形態(c)では形態(b)とは反対に、左側車線は右側に、右側車線は左側に曲がる形態となって、平地の場合より下方で二つの車線が一致したり、二つの先の点を繋いだ線が地平線となる。従って、地平線(Hd)の映像垂直座標は平地での地平線(H0)の映像垂直座標より小さく算出される。
【0035】
形態(a)、(b)及び(c)に示された点Pは車両130からの距離を算出するべき目標物であって、目標物(P)の映像垂直座標を y と表示した。前記目標物(P)は任意の対象とすることができ、例えば、車間距離調節に利用するために先行車両を目標物とすることができる。
【0036】
以下、本発明の実施例によるカメラを利用した車両の道路情報抽出方法を、図3を参照して説明する。
【0037】
まず、車両130に付着されたカメラ110は、外部映像を取得して映像信号をECU120に伝送する(S310)。
【0038】
ECU120は受信した映像信号から目標物(P)を検出する(S320)。前記目標物検出方法は様々な方法によって当業者によって既に実施されているので、その詳細な記載を省略する。
【0039】
目標物(P)を検出した(S320)後には、車両130から前記検出された目標物(P)までの水平推定距離(L)を算出する(S330)。
【0040】
前記水平推定距離(L)は、目標物(P)が車両130と同一平面上で走行していると仮定した場合に算出される水平距離であって、L=α・h・(f2+y・c)/{ f・(y−c)} の式によって計算される。
【0041】
ここで、常数 f 及び h は、カメラ110が設定されて車両130に装着された場合に決定される値である。
【0042】
前記比例常数 α の値はカメラのセッティングなどによって変わることがあるが、これはカメラが設置された後に1回ないし2回の実験によって設定することができる。
【0043】
水平推定距離(L)を算出した(S330)後には、円周上で目標物が位置する垂直方位角(φ)及び前記円周の曲率半径(R)を演算する(S350)。
【0044】
前記円周は、前方路面が上向に屈曲したり下向に屈曲したのを円(circle)に近似した(approximated)時の前記円の円周を言う。
【0045】
前記変数(φ、R)を演算する過程は、より具体的には次のように遂行される。
【0046】
まず、路面の形態が上向に屈曲したか下向に屈曲したかを判断する(S355)。
【0047】
前記上下向判断段階(S355)は、前記取得された映像から複数の車線を検出し、前記検出された複数の車線の形態を基準にして上向曲率であるか下向曲率であるかを判断する段階である。
【0048】
つまり、カメラ110から入力される映像信号は図4(a)ないし図4(e)のように形成されるが、このうち図4(a)のように左側車線は左側に右側車線は右側に曲がっている場合には上向に屈曲し、図4(b)のように左右側車線が直線である場合には平地であり、図4(c)のように左側車線は右側に右側車線は左側に曲がっている場合には下向に屈曲したと判断し、図4(d)及び図4(e)のように左右側車線が同じ方向に曲がった場合には上向屈曲であるか下向屈曲であるかを判断しない。
【0049】
また、上下向判断段階(S355)の他の具体的方法としては、検出された映像から抽出される地平線の映像垂直座標(c′)が平地の地平線の映像垂直座標(c)より大きい場合には上向屈曲であり、検出された映像から抽出される地平線の映像垂直座標(c′)が平地の地平線の映像垂直座標(c)より小さい場合には下向屈曲であると判断することができる。
【0050】
上向屈曲であるか下向屈曲であるかを判断した(S355)後には、円周上で目標物が位置する垂直方位角(φ)を演算する(S360)。
【0051】
前記垂直方位角演算段階(S360)は、c′=f×tan(φ+θ) の式から演算できる。
【0052】
このような方式で垂直方位角(φ)を演算できるのは、映像で検出される地平線の位置が平地の地平線の位置と異なる場合は、図1(b)に示したようにカメラ110の角度を φ だけ調整したと考えることができ、このような場合には平地の地平線の映像垂直座標とカメラ角度(θ)との関係式である c=f×tan(θ) に、θ の代りに (φ+θ) を、c の代りに c′ を代入した関係式が成立するからである。
【0053】
垂直方位角(φ)を演算した(S360)後には、前記上下向判断段階(S355)での判断結果に応じて、前記円周の上向曲率半径又は下向曲率半径の該当曲率半径を演算する(S365)。
【0054】
つまり、前方の路面が上向に屈曲した場合には上向曲率半径を演算し、下向に屈曲した場合には下向曲率半径を演算するが、以下では、上向曲率半径演算及び下向曲率半径演算の各々について説明する。
【0055】
まず、上向曲率半径の演算について図5を参照して説明する。
【0056】
図5で点Aはカメラ110の位置を、点Bは目標物(P)の実際の位置を、そして点Cは前記水平距離算出段階(S330)でカメラ110から受信された映像で水平推定距離(L)が推定された目標物の推定位置を示す。
【0057】
また、図5で l は車両の実際距離、つまり、円弧(OB)の長さを示す。
【0058】
図5に示された幾何学的関係により、L、R、h、及び φ の間には、 L=h・R・sinφ/{ h−R・(1−cosφ)} の関係が成立する。
【0059】
ここで、h はカメラ110のセッティングで決定された値であり、L 及びφ は水平距離算出段階(S330)及び垂直方位角算出段階(S360)で各々算出された値であるので、前記の関係式を利用すれば上向曲率半径 R の値を計算することができる。
【0060】
このような上向曲率半径 R の計算は、許容される誤差の範囲内でECU120でよりさらに速く演算できるように、L 及び φ を変数として予め計算されたマップから抽出することが好ましい。
【0061】
次には、下向曲率半径の演算について図6を参照して説明する。
【0062】
図6で点A、点B及び点Cの意味と、L、h 及び φ の意味は図5に関する説明と同一であり、R は下向曲率半径を意味する。
【0063】
図6に示された幾何学的関係により、L、R、h 及び φ の間には、 L=h・R・sinφ/{ h+R・(1−cosφ)} の関係が成立し、従って、この関係式を利用すれば下向曲率半径 R の値を計算することができる。下向曲率半径 R の値の計算においても、L 及び φ を変数として予め計算されたマップから抽出することが好ましい。
【0064】
このように変数(φ、R)を算出した後には、この変数(φ、R)に基づいて目標物(P)までの実際の距離(l)を演算する(S370)。
【0065】
前記実際距離(l)は、l=Rφ の関係式から演算できることは自明である。
【0066】
以上で、本発明の実施例によるカメラを利用した車両の道路情報抽出方法及びシステムに関して説明したが、以下では、本発明の実施例によって得られる効果について説明する。
【0067】
下記の表1は、通常の道路での路面の上向曲率半径(R)、前記路面から目標物までの実際の距離(l)及び水平推定距離(L)の関係を整理した表であって、路面からカメラ110中心までの高さ(h)を1.2mにした場合に計算された値である。
【0068】
表1に示したように、上向曲率半径が7,000mである曲率半径を有する円周上で目標物が100m前方にあるとすれば、映像から推定される水平推定距離は247mであって非常に大きな誤差が存在することが分かる。従って、このような誤差は上向曲率半径及び垂直方位角に基づいて補正することによって解消されることができる。
【0069】
また、設計速度は図面の上向曲率半径に関して許容される最大設計速度をいい、従って、例えば設計速度が70km/hである場合は、最小限2,000m以上の曲率半径で設計されているので、実際の道路を円に近似する際に誘発する誤差も非常に小さいことが分かる。
【0070】
【表1】
【0071】
下記の表2は、路面が下向に屈曲した場合の下向曲率半径(R)、前記路面から目標物までの実際の距離(l)及び推定される水平推定距離(L)の関係を整理した表であって、円に路面屈曲を近似する際に誘発する誤差が非常に小さいので、カメラを利用して道路情報を抽出することにおいてより正確な実際の距離を演算できることが分かるであろう。
【0072】
【表2】
【0073】
【発明の効果】
従って、本発明の実施例によれば、一つのカメラから得られる映像に基づいて目標物までの距離を測定することができるので、別途の車両検出装置を備えなくても無人自動車を実現することができ、さらに、無人自動車を実現するための費用を節減することができる。
【0074】
また、推定される水平距離は円弧によって補正することにより、目標物までの距離をより正確に算出することができる。
【図面の簡単な説明】
【図1】(a)は、本発明の実施例によるカメラを利用した車両の道路情報抽出システムのブロック図である。
(b)は、本発明の実施例による道路情報抽出システムに含まれるカメラが車両に装着される位置関係を示した図である。
【図2】車両前方の路面の状態が各々上向に屈曲した場合、平地である場合及び下向に屈曲した場合によって、カメラ映像で抽出される車線の形態及び地平線を示した図である。
【図3】本発明の実施例によるカメラを利用した車両の道路情報抽出方法を示したフローチャートである。
【図4】車両前方の路面の多様な状態によってカメラ映像で抽出される車線の形態及び地平線を示した図である。
【図5】車両前方の路面の状態が上向に屈曲した場合に、カメラ映像で推定される水平距離を補正する原理を説明するための図である。
【図6】車両前方の路面の状態が下向に屈曲した場合に、カメラ映像で推定される水平距離を補正する原理を説明するための図である。
【符号の説明】
110 カメラ
120 電子制御ユニット(ECU)
130 車両
Claims (15)
- 車両に装着されたカメラから映像を取得する映像取得段階と;
前記取得された映像から目標物を検出する目標物検出段階と;
前記検出された目標物までの水平推定距離を算出する水平距離算出段階と;
円周上で目標物が位置する垂直方位角及び前記円周の曲率半径を演算する変数演算段階と;
前記演算された曲率半径、垂直方位角に基づいて目標物までの実際の距離を計算する実際距離計算段階と;を含むことを特徴とする、カメラを利用した車両の道路情報抽出方法。 - 前記水平距離算出段階は、
L=α・h・(f2+y・c)/{ f・(y−c)} の式によって計算されるL値で目標物までの水平推定距離を算出することを特徴とする、請求項1に記載のカメラを利用した車両の道路情報抽出方法。
(但し、ここで α は比例常数を、f は前記カメラの焦点距離を、h は路面からカメラの中心までの高さを、c は平地の地平線の映像垂直座標を、そして y は目標物の映像垂直座標を各々意味する。) - 前記変数演算段階は、
路面の形態が上向曲率であるか下向曲率であるかを判断する上下向判断段階と;
円周上で目標物が位置する垂直方位角を演算する垂直方位角演算段階と;
前記上下向判断段階での判断結果に従って、前記円周の上向曲率半径及び下向曲率半径のうち該当曲率半径を演算する該当曲率半径演算段階と;を含むことを特徴とする、請求項1に記載のカメラを利用した車両の道路情報抽出方法。 - 前記上下向判断段階は、前記取得された映像から複数の車線を検出する車線検出段階を含み、
前記検出された複数の車線の形態に基づいて上向曲率であるか下向曲率であるかを判断することを特徴とする、請求項3に記載のカメラを利用した車両の道路情報抽出方法。 - 前記上下向判断段階は、検出された映像から抽出される地平線の映像垂直座標が予め設定された映像垂直座標より大きい場合には上向曲率であり、小さい場合には下向曲率であると判断することを特徴とする、請求項3に記載のカメラを利用した車両の道路情報抽出方法。
- 前記垂直方位角演算段階は、
c′=f×tan(φ+θ) を満たす φ の値で垂直方位角を演算することを特徴とする、請求項3に記載のカメラを利用した車両の道路情報抽出方法。(但し、ここで c′ は検出された映像の地平線の映像垂直座標を、f は前記カメラの焦点距離を、θ は、平地の地平線の映像垂直座標を c とすれば c=f×tan(θ) を満たす値で定義される常数である。) - 前記該当曲率半径演算段階で前記上向曲率半径は、
L=h・R・sinφ/{ h−R・(1−cosφ)} を満たす R の値で計算されることを特徴とする、請求項3に記載のカメラを利用した車両の道路情報抽出方法。
(但し、ここで L は前記水平距離算出段階で算出された水平推定距離を、h は路面からカメラの中心までの高さを、R は上向曲率半径を、そして φ
は前記垂直方位角演算段階で演算された垂直方位角を各々意味する。) - 前記 L=h・R・sinφ/{ h−R・(1−cosφ)} を満たす R の値は、L 及び φ を変数として予め計算されたマップから抽出されることを特徴とする、請求項7に記載のカメラを利用した車両の道路情報抽出方法。
- 前記該当曲率半径演算段階で前記下向曲率半径は、
L=h・R・sinφ/{ h+R・(1−cosφ)} を満たす R の値で計算されることを特徴とする、請求項3に記載のカメラを利用した車両の道路情報抽出方法。
(但し、ここで L は前記水平距離算出段階で算出された水平推定距離を、h は路面からカメラの中心までの高さを、R は上向曲率半径を、そして φは前記垂直方位角演算段階で演算された垂直方位角を各々意味する。) - 前記 L=h・R・sinφ/{ h+R・(1−cosφ)} を満たす R の値は、L 及び φ を変数として予め計算されたマップから抽出されることを特徴とする、請求項9に記載のカメラを利用した車両の道路情報抽出方法。
- 前記実際距離計算段階は、
式 l=Rφ によって計算される l の絶対値で実際の距離を計算することを特徴とする、請求項1に記載のカメラを利用した車両の道路情報抽出方法。(但し、ここで R は前記円周の曲率半径を、そして φ は前記垂直方位角演算段階で演算された垂直方位角を各々意味する。) - 車両外部の映像を撮影して映像信号を出力するカメラ;及び前記カメラから映像信号を受信し、それに基づいて道路情報を抽出する電子制御ユニットを含み、
前記電子制御ユニットは、車両に装着されたカメラから映像を取得する映像取得段階と;前記取得された映像から目標物を検出する目標物検出段階と;前記検出された目標物までの水平推定距離を算出する水平距離算出段階と;円周上で目標物が位置する垂直方位角及び前記円周の曲率半径を演算する変数演算段階と;前記演算された曲率半径及び垂直方位角に基づいて目標物までの実際の距離を計算する実際距離計算段階と;を遂行することを特徴とする、カメラを利用した道路情報抽出システム。 - 前記水平距離算出段階は、
L=α・h・(f2+y・c)/{ f・(y−c)} の式によって計算される L の値で目標物までの水平推定距離を算出することを特徴とする、請求項12に記載のカメラを利用した車両の道路情報抽出システム。
(但し、ここで α は比例常数を、f は前記カメラの焦点距離を、h は路面からカメラの中心までの高さを、c は平地の地平線の映像垂直座標を、そして y は目標物の映像垂直座標を各々意味する。) - 前記変数演算段階は、
路面の形態が上向曲率であるか下向曲率であるかを判断する上下向判断段階と;
円周上で目標物が位置する垂直方位角を演算する垂直方位角演算段階と;
前記上下向判断段階での判断結果に従って、前記円周の上向曲率半径又は下向曲率半径の該当曲率半径を演算する該当曲率半径演算段階と;を含む、請求項12に記載のカメラを利用した車両の道路情報抽出システム。 - 前記実際距離計算段階は、
式 l=Rφ によって計算される l の絶対値で実際の距離を計算することを特徴とする、請求項12に記載のカメラを利用した車両の道路情報抽出システム。
(但し、ここで R は前記円周の曲率半径を、そして φ は前記垂直方位角演算段階で演算された垂直方位角を各々意味する。)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR2001-028901 | 2001-05-25 | ||
KR10-2001-0028901A KR100435650B1 (ko) | 2001-05-25 | 2001-05-25 | 카메라가 장착된 차량의 도로정보 추출 및 차간거리 탐지방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002366936A JP2002366936A (ja) | 2002-12-20 |
JP3711405B2 true JP3711405B2 (ja) | 2005-11-02 |
Family
ID=19709936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001398881A Expired - Fee Related JP3711405B2 (ja) | 2001-05-25 | 2001-12-28 | カメラを利用した車両の道路情報抽出方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US6842189B2 (ja) |
JP (1) | JP3711405B2 (ja) |
KR (1) | KR100435650B1 (ja) |
CN (1) | CN1230690C (ja) |
DE (1) | DE10164346B4 (ja) |
Families Citing this family (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
US6690268B2 (en) | 2000-03-02 | 2004-02-10 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
EP1363810B1 (en) | 2001-01-23 | 2007-05-30 | Donnelly Corporation | Improved vehicular lighting system |
US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
AU2003225228A1 (en) | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
EP1514246A4 (en) | 2002-06-06 | 2008-04-16 | Donnelly Corp | COMPASS INTERIOR COURTESY MIRROR SYSTEM |
WO2004103772A2 (en) | 2003-05-19 | 2004-12-02 | Donnelly Corporation | Mirror assembly for vehicle |
US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
AU2003278863A1 (en) | 2002-09-20 | 2004-04-08 | Donnelly Corporation | Mirror reflective element assembly |
DE10310698A1 (de) * | 2003-03-12 | 2004-09-23 | Valeo Schalter Und Sensoren Gmbh | Optisches Erfassungssystem für Kraftfahrzeuge |
US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
US7482916B2 (en) | 2004-03-15 | 2009-01-27 | Anita Au | Automatic signaling systems for vehicles |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
JP4507886B2 (ja) * | 2005-01-14 | 2010-07-21 | 株式会社デンソー | 車両用走行制御装置 |
EP1883855B1 (en) | 2005-05-16 | 2011-07-20 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
US7372550B2 (en) * | 2005-10-05 | 2008-05-13 | Hewlett-Packard Development Company, L.P. | Measuring distance using perspective |
US7477777B2 (en) * | 2005-10-28 | 2009-01-13 | Aepx Animation, Inc. | Automatic compositing of 3D objects in a still frame or series of frames |
CN101535087B (zh) | 2005-11-01 | 2013-05-15 | 唐纳利公司 | 具有显示装置的内部后视镜 |
CN101025667B (zh) * | 2006-02-18 | 2010-12-29 | 鸿富锦精密工业(深圳)有限公司 | 带字符输入指轮的手持装置 |
KR101011507B1 (ko) | 2006-03-09 | 2011-01-31 | 젠텍스 코포레이션 | 고강도 디스플레이를 포함하는 차량 후사경 조립체 |
US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
DE102007002813A1 (de) * | 2007-01-18 | 2008-07-24 | Robert Bosch Gmbh | Verfahren zum Abschätzen einer Entfernung eines Fahrzeugs zu einem Objekt und Fahrerassistenzsystem |
JP4937030B2 (ja) * | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
FR2927857B1 (fr) * | 2008-02-27 | 2010-05-21 | Valeo Vision | Procede d'ajustement d'un faisceau lumineux pour vehicule |
US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
KR100929569B1 (ko) | 2008-08-28 | 2009-12-03 | 전자부품연구원 | 장애물 정보 제공 시스템 |
US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
DE102010011093A1 (de) * | 2010-03-11 | 2011-09-15 | Daimler Ag | Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung |
JP5350297B2 (ja) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
CN101915852B (zh) * | 2010-08-06 | 2012-05-23 | 北京交大资产经营有限公司 | 基于立体视觉的速度测量方法 |
JP2012212282A (ja) | 2011-03-31 | 2012-11-01 | Honda Elesys Co Ltd | 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム |
US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
US9319637B2 (en) | 2012-03-27 | 2016-04-19 | Magna Electronics Inc. | Vehicle vision system with lens pollution detection |
US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
TW201348038A (zh) * | 2012-05-31 | 2013-12-01 | Yottastor Information Technology Inc | 行車警示系統 |
WO2014033922A1 (ja) * | 2012-08-31 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9707896B2 (en) | 2012-10-15 | 2017-07-18 | Magna Electronics Inc. | Vehicle camera lens dirt protection via air flow |
US9445057B2 (en) | 2013-02-20 | 2016-09-13 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
JP5752729B2 (ja) * | 2013-02-28 | 2015-07-22 | 富士フイルム株式会社 | 車間距離算出装置およびその動作制御方法 |
JP6403750B2 (ja) | 2013-03-15 | 2018-10-10 | ジェンテックス コーポレイション | 表示ミラーアセンブリ |
US9863928B1 (en) | 2013-03-20 | 2018-01-09 | United Parcel Service Of America, Inc. | Road condition detection system |
DE202014010751U1 (de) | 2013-09-24 | 2016-07-18 | Gentex Corporation | Anzeigespiegelbaugruppe |
DE102013220303A1 (de) * | 2013-10-08 | 2015-04-09 | Ford Global Technologies, Llc | Verfahren zum Ermitteln einer relativen Fahrbahnsteigung |
KR101568683B1 (ko) | 2013-11-13 | 2015-11-12 | 주식회사 하나비전테크 | 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치 |
WO2015116915A1 (en) | 2014-01-31 | 2015-08-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
CN104925043B (zh) * | 2014-03-17 | 2017-12-08 | 中山市云创知识产权服务有限公司 | 汽车及其使用的行车动力自动分配*** |
WO2015143333A1 (en) | 2014-03-21 | 2015-09-24 | Gentex Corporation | Tri-modal display mirror assembly |
KR101894262B1 (ko) | 2014-04-01 | 2018-09-04 | 젠텍스 코포레이션 | 자동 디스플레이 미러 어셈블리 |
WO2016044746A1 (en) | 2014-09-19 | 2016-03-24 | Gentex Corporation | Rearview assembly |
EP3215398B1 (en) | 2014-11-07 | 2019-01-09 | Gentex Corporation | Full display mirror actuator |
JP6367486B2 (ja) | 2014-11-13 | 2018-08-01 | ジェンテックス コーポレイション | 表示装置付きバックミラーシステム |
KR101997815B1 (ko) | 2014-12-03 | 2019-07-08 | 젠텍스 코포레이션 | 디스플레이 미러 어셈블리 |
USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
EP3286038B1 (en) | 2015-04-20 | 2024-05-29 | Gentex Corporation | Rearview assembly with applique |
US10112540B2 (en) | 2015-05-18 | 2018-10-30 | Gentex Corporation | Full display rearview device |
US11178353B2 (en) | 2015-06-22 | 2021-11-16 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
CN108349436B (zh) | 2015-10-30 | 2019-12-20 | 金泰克斯公司 | 后视装置 |
USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
EP3368374B1 (en) | 2015-10-30 | 2023-12-27 | Gentex Corporation | Toggle paddle |
USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
GB2549108B (en) | 2016-04-05 | 2020-01-01 | Jaguar Land Rover Ltd | Improvements in vehicle speed control |
GB2576450B (en) * | 2016-04-05 | 2020-11-18 | Jaguar Land Rover Ltd | Improvements in vehicle speed control |
USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
US20170351263A1 (en) * | 2016-06-02 | 2017-12-07 | Delphi Technologies, Inc. | Roadway-Infrastructure-Maintenance System Using Automated Vehicles |
US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
US11092446B2 (en) | 2016-06-14 | 2021-08-17 | Motional Ad Llc | Route planning for an autonomous vehicle |
US10126136B2 (en) | 2016-06-14 | 2018-11-13 | nuTonomy Inc. | Route planning for an autonomous vehicle |
US10309792B2 (en) | 2016-06-14 | 2019-06-04 | nuTonomy Inc. | Route planning for an autonomous vehicle |
JP6293213B2 (ja) * | 2016-08-01 | 2018-03-14 | 三菱電機株式会社 | 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム |
JP6881917B2 (ja) | 2016-08-30 | 2021-06-02 | キヤノン株式会社 | 距離計測装置、撮像制御装置 |
US10331129B2 (en) | 2016-10-20 | 2019-06-25 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10473470B2 (en) | 2016-10-20 | 2019-11-12 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10681513B2 (en) | 2016-10-20 | 2020-06-09 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10857994B2 (en) | 2016-10-20 | 2020-12-08 | Motional Ad Llc | Identifying a stopping place for an autonomous vehicle |
USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
KR20190104990A (ko) | 2016-12-30 | 2019-09-11 | 젠텍스 코포레이션 | 즉각 맞춤형 스포터 뷰를 갖는 풀 디스플레이 미러 |
US10735638B2 (en) | 2017-03-17 | 2020-08-04 | Gentex Corporation | Dual display reverse camera system |
JP7167431B2 (ja) * | 2017-11-21 | 2022-11-09 | 株式会社デンソー | 勾配変化検出装置、方法及びプログラム、並びに、車両 |
KR102037593B1 (ko) * | 2018-02-06 | 2019-10-28 | 한국산업기술대학교산학협력단 | 차량간 거리 추정 장치 및 방법 |
CN109976348A (zh) * | 2019-04-11 | 2019-07-05 | 深圳市大富科技股份有限公司 | 一种车辆及其运动控制方法、设备、存储介质 |
CN110473417A (zh) * | 2019-06-03 | 2019-11-19 | 浙江吉利控股集团有限公司 | 一种高架桥限速值提示方法、装置及存储介质 |
CN110992710B (zh) * | 2019-12-13 | 2021-03-16 | 潍柴动力股份有限公司 | 弯道测速预警方法、装置、控制设备及可读存储介质 |
EP4388243A1 (en) | 2021-08-20 | 2024-06-26 | Gentex Corporation | Lighting assembly and illumination system having a lighting assembly |
CN113743526A (zh) * | 2021-09-14 | 2021-12-03 | 合众新能源汽车有限公司 | Ar-hud的车道线融合方法和*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553130B1 (en) * | 1993-08-11 | 2003-04-22 | Jerome H. Lemelson | Motor vehicle warning and control system and method |
JP3064759B2 (ja) * | 1993-09-28 | 2000-07-12 | 株式会社日立製作所 | 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 |
WO1996034363A1 (fr) * | 1995-04-26 | 1996-10-31 | Hitachi, Ltd. | Processeur d'images pour vehicule |
JP4084857B2 (ja) * | 1996-08-30 | 2008-04-30 | 本田技研工業株式会社 | 自動車の前方監視システムにおけるイメージセンサの縦横比設定方法 |
JPH10198724A (ja) * | 1997-01-07 | 1998-07-31 | Honda Motor Co Ltd | 道路画像表示装置 |
JPH1186182A (ja) * | 1997-09-01 | 1999-03-30 | Honda Motor Co Ltd | 自動運転制御システム |
JP3596314B2 (ja) * | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
DE19911648A1 (de) * | 1999-03-16 | 2000-09-21 | Volkswagen Ag | Verfahren zur Anzeige von Objekten |
JP3427817B2 (ja) * | 2000-03-31 | 2003-07-22 | 株式会社デンソー | 車両用障害物認識方法及び装置、記録媒体 |
JP3681620B2 (ja) * | 2000-07-26 | 2005-08-10 | 株式会社デンソー | 車両用障害物認識装置 |
-
2001
- 2001-05-25 KR KR10-2001-0028901A patent/KR100435650B1/ko active IP Right Grant
- 2001-12-28 JP JP2001398881A patent/JP3711405B2/ja not_active Expired - Fee Related
- 2001-12-28 DE DE10164346A patent/DE10164346B4/de not_active Expired - Lifetime
- 2001-12-28 US US10/028,692 patent/US6842189B2/en not_active Expired - Lifetime
- 2001-12-31 CN CNB011454016A patent/CN1230690C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20030043269A1 (en) | 2003-03-06 |
KR20020090404A (ko) | 2002-12-05 |
DE10164346A1 (de) | 2003-01-30 |
CN1230690C (zh) | 2005-12-07 |
CN1388028A (zh) | 2003-01-01 |
JP2002366936A (ja) | 2002-12-20 |
KR100435650B1 (ko) | 2004-06-30 |
US6842189B2 (en) | 2005-01-11 |
DE10164346B4 (de) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3711405B2 (ja) | カメラを利用した車両の道路情報抽出方法及びシステム | |
EP3179445B1 (en) | Outside environment recognition device for vehicles and vehicle behavior control device using same | |
JP5962850B2 (ja) | 信号認識装置 | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP3822770B2 (ja) | 車両用前方監視装置 | |
JP6988200B2 (ja) | 車両制御装置 | |
US11092442B2 (en) | Host vehicle position estimation device | |
JP6468136B2 (ja) | 走行支援装置及び走行支援方法 | |
KR20080024772A (ko) | 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템 | |
JPH10208047A (ja) | 車載用走行環境認識装置 | |
US10846546B2 (en) | Traffic signal recognition device | |
JP2008304344A (ja) | 物標検出装置 | |
JP6989284B2 (ja) | 車両位置推定装置及びプログラム | |
JP3666332B2 (ja) | 歩行者検知装置 | |
JP2018048949A (ja) | 物体識別装置 | |
JP2015225546A (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
JP2003308599A (ja) | 走行路環境検出装置 | |
JP2010176592A (ja) | 車両用運転支援装置 | |
US11010618B2 (en) | Apparatus for identifying line marking on road surface | |
JP3304905B2 (ja) | 対象物の追従認識装置 | |
JPH0996525A (ja) | 車載用距離測定装置 | |
JP4629638B2 (ja) | 車両の周辺監視装置 | |
JP3081788B2 (ja) | 局地的位置把握装置 | |
WO2023175741A1 (ja) | 外界認識装置 | |
JPH11232466A (ja) | 道路形状認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050727 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3711405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |