JP2010277250A - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP2010277250A JP2010277250A JP2009127859A JP2009127859A JP2010277250A JP 2010277250 A JP2010277250 A JP 2010277250A JP 2009127859 A JP2009127859 A JP 2009127859A JP 2009127859 A JP2009127859 A JP 2009127859A JP 2010277250 A JP2010277250 A JP 2010277250A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- correction value
- pitching
- change
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device.
従来、例えば所定のサンプル周期毎にカメラの撮像により得られた画像から対象物を抽出し、対象物の重心位置の今回値と、前回値（つまり１サンプル周期前に得られた重心位置）との差により、ピッチングに起因する対象物の位置ずれを補正する位置検出装置が知られている（例えば、特許文献１参照）。 Conventionally, for example, an object is extracted from an image obtained by imaging with a camera every predetermined sample period, and the current value of the center of gravity position of the object and the previous value (that is, the position of the center of gravity obtained before one sample period) There is known a position detection device that corrects a positional shift of an object due to pitching due to the difference between the two (for example, see Patent Document 1).
ところで、上記従来技術に係る位置検出装置によれば、重心位置の今回値と前回値との差が所定閾値以上で有れば、この差をピッチング補正値として重心位置の今回値を補正している。このため、ピッチング補正値に誤差が存在する場合には、例えば図６に示す比較例でのピッチング補正値のように、補正の回数（つまり、補正される画像のフレーム数）が増大することに伴い誤差が累積されてしまい、ピッチング補正値の真値に対するずれが増大し、重心位置の検出精度が低下してしまうという問題が生じる。 By the way, according to the position detection device according to the above-described prior art, if the difference between the current value of the center of gravity position and the previous value is equal to or greater than a predetermined threshold value, the current value of the center of gravity position is corrected using this difference as a pitching correction value. Yes. For this reason, when there is an error in the pitching correction value, the number of corrections (that is, the number of frames of the image to be corrected) increases as in the pitching correction value in the comparative example shown in FIG. As a result, errors are accumulated, the deviation of the pitching correction value from the true value increases, and the accuracy of detecting the position of the center of gravity decreases.
本発明は上記事情に鑑みてなされたもので、車両の外界を監視する際に車両のピッチングを適切に補正することが可能な車両周辺監視装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle periphery monitoring device capable of appropriately correcting the pitching of the vehicle when monitoring the outside world of the vehicle.
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車両周辺監視装置は、車両に搭載され、車両周辺を監視する監視手段（例えば、実施の形態での外界カメラ１１および対象物検出部２１）と、前記監視手段の監視結果に対して車両のピッチングに係る補正を行なうためのピッチング補正値を算出する補正値算出手段（例えば、実施の形態での補正値算出部２４）と、前記ピッチング補正値によって前記監視結果を補正するピッチング補正手段（例えば、実施の形態でのピッチング補正部２５）とを備える車両周辺監視装置であって、車両の水平状態を基準として車両前部が上昇する方向を正かつ前記車両前部が下降する方向を負とし、前記基準からの前記車両前部の上昇および下降の大きさを所定タイミング毎に順次検出する上下動検出手段（例えば、実施の形態での上下動検出部２２）を備え、前記補正値算出手段は、前記上下動検出手段により所定期間内に検出された前記車両前部の上昇および下降の大きさの積算値に基づき前記ピッチング補正値を算出する。
In order to solve the above-described problems and achieve the object, the vehicle periphery monitoring apparatus according to the first aspect of the present invention is mounted on a vehicle and monitoring means for monitoring the vehicle periphery (for example, the external camera in the embodiment) 11 and the object detection unit 21) and correction value calculation means for calculating a pitching correction value for correcting the pitching of the vehicle with respect to the monitoring result of the monitoring means (for example, correction value calculation in the embodiment) Unit 24) and a pitching correction unit (for example,
また、本発明の第２態様に係る車両周辺監視装置は、車両に搭載され、車両周辺を監視する監視手段（例えば、実施の形態での外界カメラ１１および対象物検出部２１）と、前記監視手段の監視結果に対して車両のピッチングに係る補正を行なうためのピッチング補正値を算出する補正値算出手段（例えば、実施の形態での補正値算出部２４）と、前記ピッチング補正値によって前記監視結果を補正するピッチング補正手段（例えば、実施の形態でのピッチング補正部２５）とを備える車両周辺監視装置であって、車両の上下方向位置の時間変化がゼロである状態を基準として車両前部が上昇する方向を正かつ前記車両前部が下降する方向を負とし、前記基準からの前記車両前部の上昇および下降の大きさの変化量を所定タイミング毎に順次検出する変化量検出手段（例えば、実施の形態での変化量検出部２３）を備え、前記補正値算出手段は、前記変化量検出手段により所定期間内に検出された前記車両前部の上昇および下降の大きさの変化量の積算値に基づき前記ピッチング補正値を算出する。
Moreover, the vehicle periphery monitoring device according to the second aspect of the present invention is mounted on a vehicle and monitoring means for monitoring the periphery of the vehicle (for example, the
さらに、本発明の第３態様に係る車両周辺監視装置では、前記補正値算出手段は、前記所定期間として複数の異なる期間毎に対して前記ピッチング補正値を算出する。 Furthermore, in the vehicle periphery monitoring apparatus according to the third aspect of the present invention, the correction value calculation means calculates the pitching correction value for each of a plurality of different periods as the predetermined period.
さらに、本発明の第４態様に係る車両周辺監視装置では、車両の加速度を検出する加速度検出手段（例えば、実施の形態での加速度センサ１４）を備え、前記補正値算出手段は、前記加速度検出手段により所定値以上の加速度が検出されたときに前記ピッチング補正値を算出する。
Furthermore, the vehicle periphery monitoring apparatus according to the fourth aspect of the present invention includes acceleration detection means (for example, the
さらに、本発明の第５態様に係る車両周辺監視装置では、前記補正値算出手段は、前記上下動検出手段により検出された前記車両前部の上昇および下降の大きさの時間変化が所定閾値以上である場合に前記ピッチング補正値の算出を禁止する。 Furthermore, in the vehicle periphery monitoring apparatus according to the fifth aspect of the present invention, the correction value calculation means is configured such that the time change in the magnitude of the ascent and descent of the front part of the vehicle detected by the vertical movement detection means is greater than or equal to a predetermined threshold value. In the case of, the calculation of the pitching correction value is prohibited.
さらに、本発明の第６態様に係る車両周辺監視装置では、前記補正値算出手段は、前記変化量検出手段により検出された前記車両前部の上昇および下降の大きさの変化量の時間変化が所定閾値以上である場合に前記ピッチング補正値の算出を禁止する。 Furthermore, in the vehicle periphery monitoring apparatus according to the sixth aspect of the present invention, the correction value calculation means is configured to change the time change in the amount of change in the magnitude of the rise and fall of the vehicle front detected by the change amount detection means. The calculation of the pitching correction value is prohibited when it is equal to or greater than a predetermined threshold.
さらに、本発明の第７態様に係る車両周辺監視装置では、前記監視手段は、車両の外界を撮像して得た画像を出力する撮像手段と、該撮像手段から出力された前記画像に基づき車両外部に存在する対象物を検出する対象物検出手段とを備え、前記補正値算出手段は、前記画像中における前記対象物の上下位置の変化に基づき前記ピッチング補正値を算出する。 Furthermore, in the vehicle periphery monitoring apparatus according to the seventh aspect of the present invention, the monitoring means includes an imaging means for outputting an image obtained by imaging the external world of the vehicle, and the vehicle based on the image output from the imaging means. An object detection means for detecting an object existing outside, and the correction value calculation means calculates the pitching correction value based on a change in the vertical position of the object in the image.
本発明の第１態様に係る車両周辺監視装置によれば、測定誤差を無視できる場合にはピッチングにより発生する上昇方向の移動量と下降方向の移動量とは、検出期間が長くなることに伴って相殺するように収束する。このため、所定期間内に検出された車両前部の上昇および下降の大きさの積算値は、測定誤差であるとみなすことができる。この積算値に基づきピッチング補正値を設定することにより、補正の精度を向上させることができる。 According to the vehicle periphery monitoring apparatus according to the first aspect of the present invention, when the measurement error can be ignored, the moving amount in the upward direction and the moving amount in the downward direction caused by pitching are accompanied by an increase in the detection period. To converge. For this reason, the integrated value of the magnitude of the rise and fall of the vehicle front portion detected within the predetermined period can be regarded as a measurement error. By setting the pitching correction value based on this integrated value, the correction accuracy can be improved.
本発明の第２態様に係る車両周辺監視装置によれば、測定誤差を無視できる場合にはピッチングにより発生する上昇方向の移動量の変化量と下降方向の移動量の変化量とは、検出期間が長くなることに伴って相殺するように収束する。このため、所定期間内に検出された車両前部の上昇および下降の大きさの変化量の積算値は、測定誤差であるとみなすことができる。この積算値に基づきピッチング補正値を設定することにより、補正の精度を向上させることができる。 According to the vehicle periphery monitoring apparatus according to the second aspect of the present invention, when the measurement error can be ignored, the amount of change in the upward movement amount and the amount of change in the downward movement amount caused by pitching are the detection period. Converges to cancel out with increasing length. For this reason, the integrated value of the amount of change in the magnitude of the rise and fall of the vehicle front portion detected within the predetermined period can be regarded as a measurement error. By setting the pitching correction value based on this integrated value, the correction accuracy can be improved.
本発明の第３態様に係る車両周辺監視装置によれば、複数の異なる期間毎に対して算出したピッチング補正値を用いることで、相対的に短い期間でのピッチング補正値により所望の追従性を確保した補正を行なうことができると共に、相対的に長い期間でのピッチング補正値により補正の精度を向上させることができる。 According to the vehicle periphery monitoring apparatus according to the third aspect of the present invention, by using the pitching correction value calculated for each of a plurality of different periods, the desired followability can be obtained by the pitching correction value in a relatively short period. The secured correction can be performed and the correction accuracy can be improved by the pitching correction value in a relatively long period.
本発明の第４態様に係る車両周辺監視装置によれば、ピッチングが発生し易いタイミングでピッチング補正値を算出し、このピッチング補正値により補正を行なうことにより、不必要に補正処理が実行されることで処理負荷が増大してしまうことを防止することができる。 According to the vehicle periphery monitoring device according to the fourth aspect of the present invention, the pitching correction value is calculated at a timing at which pitching is likely to occur, and the correction process is performed unnecessarily by performing correction using the pitching correction value. Thus, it is possible to prevent the processing load from increasing.
本発明の第５態様または第６態様に係る車両周辺監視装置によれば、例えば踏切の通過時などにおいて一時的に大きなピッチングが発生する場合にはピッチング補正値の算出を禁止することにより、不適正な補正が行なわれてしまうことを防止することができる。 According to the vehicle periphery monitoring apparatus according to the fifth or sixth aspect of the present invention, for example, when a large pitching occurs temporarily at the time of passing a railroad crossing, for example, the calculation of the pitching correction value is prohibited. It is possible to prevent proper correction from being performed.
本発明の第７態様に係る車両周辺監視装置によれば、車両のピッチングに起因する画像中での対象物の上下位置の変化に基づきピッチング補正値を算出する。これにより、車両のピッチングに係る状態量を検出するための特別の装置を備える必要無しに、ピッチング補正値を精度良く算出することができる。 According to the vehicle periphery monitoring apparatus according to the seventh aspect of the present invention, the pitching correction value is calculated based on the change in the vertical position of the object in the image due to the pitching of the vehicle. Thus, the pitching correction value can be calculated with high accuracy without the need for providing a special device for detecting the state quantity related to the pitching of the vehicle.
以下、本発明の実施形態に係る車両周辺監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周辺監視装置１０は、車両に搭載され、車両の外界の所定監視対象領域を可視領域または赤外線領域にて撮像して得た画像に基づき、所定監視領域内に存在する他車両や歩行者などの対象物を検知する。
車両周辺監視装置１０は、例えば図１に示すように、外界カメラ１１と、ヨーレートセンサ１２と、車速センサ１３と、加速度センサ１４と、表示装置１５と、処理装置１６とを備えて構成されている。
Hereinafter, a vehicle periphery monitoring device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
The vehicle
For example, as shown in FIG. 1, the vehicle
外界カメラ１１は、可視領域または赤外線領域において撮像可能であって、車両外界（例えば、車両の進行方向前方など）の所定の撮像領域を撮像して得た画像に所定の画像処理を行なって画像データを生成し、この画像データを処理装置１６に出力する。
ヨーレートセンサ１２は、車両のヨーレート（車両重心の上下方向軸回りの回転角速度）を検出し、検出結果の信号を出力する。
車速センサ１３は、車両の速度（車速）を検出し、検出結果の信号を出力する。
加速度センサ１４は、車体に作用する加速度を検出し、検出結果の信号を出力する。
The
The
The
The
処理装置１６は、例えば、対象物検出部２１と、上下動検出部２２と、変化量検出部２３と、補正値算出部２４と、ピッチング補正部２５とを備えて構成されている。
The
対象物検出部２１は、外界カメラ１１から出力される画像データに基づき車両外部に存在する対象物を検出する。
上下動検出部２２は、車両の上下方向位置の時間変化がゼロである状態を基準として車両前部が上昇する方向を正かつ車両前部が下降する方向を負とし、基準からの車両前部の上昇および下降の大きさを所定タイミング毎に順次検出する。
変化量検出部２３は、車両の上下方向位置の時間変化がゼロである状態を基準として車両前部が上昇する方向を正かつ車両前部が下降する方向を負とし、基準からの車両前部の上昇および下降の大きさの変化量を所定タイミング毎に順次検出する。
The
The vertical
The change
基準からの車両前部の上昇および下降の大きさは、例えば外界カメラ１１から逐次出力される画像データ上での対象物の上下方向位置の移動量ｙなどに相当する。
そして、基準からの車両前部の上昇および下降の大きさの変化量は、例えば外界カメラ１１から逐次出力される画像データ上での対象物の上下方向位置の移動量の変化量（Δｙ／Δｔ）などに相当する。
また、所定タイミングは、外界カメラ１１から逐次出力される画像データの所定数に対応する時間（例えば、フレーム数Ｎに対応する時間ｔＮ）などである。
The magnitude of the ascending and descending of the front part of the vehicle from the reference corresponds to, for example, the amount of movement y of the vertical position of the object on the image data sequentially output from the
Then, the amount of change in the magnitude of the ascending and descending of the front part of the vehicle from the reference is, for example, the amount of change in the amount of movement of the vertical position of the object on the image data sequentially output from the external camera 11 (Δy / Δt ) Etc.
The predetermined timing is a time corresponding to a predetermined number of image data sequentially output from the external camera 11 (for example, a time tN corresponding to the number N of frames).
補正値算出部２４は、外界カメラ１１から出力される画像データ上での対象物の上下方向位置の時間変化に基づき、車両のピッチングに起因した外界カメラ１１の撮像領域の変動を補正するためのピッチング補正値を算出する。
補正値算出部２４は、例えば、ピッチングにより発生する上昇方向の移動量（および移動量の変化量）と下降方向の移動量（および移動量の変化量）との検出値は、検出誤差を無視できる場合には、検出期間が長くなることに伴って相殺するように収束することを用いて、ピッチング補正値を算出する。
The correction
For example, the correction
例えば図２に示すように、登坂路での減速時などにおいて車両の減速度（負の加速度）がゼロから増大した後に再びゼロに収束する場合には、下降方向の移動量（負の移動量ｙ）が発生した後に上昇方向の移動量（正の移動量ｙ）が発生し、この減速期間での上昇方向の移動量の総和と下降方向の移動量の総和とは、ほぼ相殺する。
このため、例えば図３に示すように、画像データ上での対象物の上下方向位置の移動量ｙおよび移動量の変化量（Δｙ／Δｔ）の各真値がゼロとなる所定のタイミング（例えば、画像データのフレーム数Ｎに対応する時間ｔＮに応じた時刻ｔｃ）で上下動検出部２２および変化量検出部２３により検出される検出値は、検出誤差（例えば、移動量ｙに対する誤差Ｅ（ｙ）ｔｃおよび変化量（Δｙ／Δｔ）に対する誤差Ｅ（Δｙ／Δｔ）ｔｃ）となる。
For example, as shown in FIG. 2, when the vehicle deceleration (negative acceleration) increases from zero and then converges to zero again when decelerating on an uphill road, the downward movement amount (negative movement amount) After the occurrence of y), an upward movement amount (positive movement amount y) is generated, and the total of the upward movement amount and the total downward movement amount during this deceleration period almost cancel each other.
Therefore, for example, as shown in FIG. 3, a predetermined timing (for example, each true value of the moving amount y and the moving amount change amount (Δy / Δt) of the object on the image data becomes zero (for example, The detection values detected by the vertical
例えば移動量ｙに対する誤差Ｅ（ｙ）ｔｃは、下記数式（１）に示すように、画像データのフレーム数Ｎに対応する時間ｔＮの期間に亘る移動量ｙの真値と検出値との差分ΔＥ（ｙ）ｔの積算値である。
これにより、時刻ｔｃでの画像データ（つまり、時間ｔＮの期間でのＮ番目のフレームの画像データ）に対する補正値Ｃ（ｙ）ｔｃは、下記数式（２）に示すように、時間ｔＮでのフレーム数Ｎの画像データの各フレーム毎の平均誤差とされる。
For example, the error E (y) tc with respect to the movement amount y is the difference between the true value of the movement amount y and the detected value over the period of time tN corresponding to the number N of frames of the image data, as shown in the following equation (1). ΔE (y) is an integrated value of t .
Thus, the image data at time tc (that is, the image data of the N-th frame in the period of time tN) the correction value C (y) tc for, as shown in the following equation (2), at time tN The average error for each frame of the image data of the number N of frames is used.
また、例えば変化量（Δｙ／Δｔ）に対する誤差Ｅ（Δｙ／Δｔ）ｔｃは、下記数式（３）に示すように、画像データのフレーム数Ｎに対応する時間ｔＮの期間に亘る変化量（Δｙ／Δｔ）の真値と検出値との差分ΔＥ（Δｙ／Δｔ）ｔの積算値である。
これにより、時刻ｔｃでの画像データ（つまり、時間ｔＮの期間でのＮ番目のフレームの画像データ）に対する補正値Ｃ（Δｙ／Δｔ）ｔｃは、下記数式（４）に示すように、時間ｔＮでのフレーム数Ｎの画像データの各フレーム毎の平均誤差とされる。
Further, for example, the amount of change ([Delta] y / Delta] t) to the error E (Δy / Δt) tc, as shown in the following equation (3), the amount of change over a period of time tN corresponding to the number of frames N image data ([Delta] y / Δt) is the integrated value of the difference ΔE (Δy / Δt) t between the true value and the detected value.
Thus, the image data at time tc (that is, the image data of the N-th frame in the period of time tN) the correction value C (Δy / Δt) tc for, as shown in the following equation (4), the time tN The average error for each frame of the image data of N frames.
上記数式（１），（２）において、各誤差Ｅ（ｙ）ｔｃ，Ｅ（Δｙ／Δｔ）ｔｃを算出するために要する画像データのフレーム数Ｎ（つまり、各差分ΔＥ（ｙ）ｔ，ΔＥ（Δｙ／Δｔ）ｔの積算を行なう期間）を増大させることに伴い、移動量ｙおよび変化量（Δｙ／Δｔ）の各真値の積算値はゼロに収束するとみなすことができる。この場合、各誤差Ｅ（ｙ）ｔｃ，Ｅ（Δｙ／Δｔ）ｔｃは、各検出値の積算値に収束するとみなすことができる。これにより、時刻ｔｃでの画像データに対する各補正値Ｃ（ｙ）ｔｃ，Ｃ（Δｙ／Δｔ）ｔｃを、画像データのフレーム数Ｎに対応する時間ｔＮの期間における移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の平均値とすることができる。
つまり、時刻ｔｃを外界カメラ１１から画像データが逐次出力される時刻とすれば、各画像データに対する各補正値Ｃ（ｙ）ｔｃ，Ｃ（Δｙ／Δｔ）ｔｃは、各画像データから遡るフレーム数Ｎ分の画像データから検出される移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値となる。
In the above formulas (1) and (2), the number N of image data frames required to calculate the errors E (y) tc and E (Δy / Δt) tc (that is, the differences ΔE (y) t and ΔE). It can be considered that the integrated value of each true value of the movement amount y and the change amount (Δy / Δt) converges to zero as (Δy / Δt) t is increased). In this case, each error E (y) tc , E (Δy / Δt) tc can be considered to converge to the integrated value of each detected value. As a result, the correction values C (y) tc and C (Δy / Δt) tc for the image data at time tc are converted into the movement amount y and the change amount (Δy) during the period of time tN corresponding to the number N of frames of the image data. / Δt) can be an average value of the detected values.
That is, if the time tc is the time at which image data is sequentially output from the
そして、補正値算出部２４は、各補正値Ｃ（ｙ）ｔｃ，Ｃ（Δｙ／Δｔ）ｔｃに基づき、例えば下記数式（５）に示すように、所定の制御ゲインｋｂなどにより、外界カメラ１１から逐次出力される画像データに対する誤差補正値Ｃｔｃを設定する。
Then, the correction
補正値算出部２４は、各誤差Ｅ（ｙ）ｔｃ，Ｅ（Δｙ／Δｔ）ｔｃを算出するために要する画像データのフレーム数Ｎ（つまり、各差分ΔＥ（ｙ）ｔ，ΔＥ（Δｙ／Δｔ）ｔの積算を行なう期間）として、複数の異なる期間、例えば第１周期ＴＳおよび第１周期ＴＳよりも長い第２周期ＴＬ（＞ＴＳ）を設定し、各周期ＴＳ，ＴＬ毎に誤差補正値Ｃｔｃを設定する。
また、補正値算出部２４は、各誤差Ｅ（ｙ）ｔｃ，Ｅ（Δｙ／Δｔ）ｔｃを算出するために要する画像データのフレーム数Ｎ（つまり、各差分ΔＥ（ｙ）ｔ，ΔＥ（Δｙ／Δｔ）ｔの積算を行なう期間）として、所定値以上のピッチングが発生する車両状態に応じた所定期間を設定し、この所定期間に対して誤差補正値Ｃｔｃを設定する。例えば、補正値算出部２４は、加速度センサ１４により検出される加速度が所定値以上である場合に、この加速度に応じた所定の加速時周期を設定し、この加速時周期に対して誤差補正値Ｃｔｃを設定する。
The correction
The correction
そして、補正値算出部２４は、例えば、移動量ｙの検出値に対して、あるいは変化量（Δｙ／Δｔ）の検出値の時間積分値に対して、各誤差補正値Ｃｔｃ毎に、誤差補正値Ｃｔｃによる誤差の補正を行なって得た値を、各ピッチング補正値として設定する。
なお、補正値算出部２４は、例えば踏切の通過時などにおいて一時的に大きなピッチングが発生することに起因して、移動量ｙの時間変化または変化量（Δｙ／Δｔ）の時間変化が所定閾値以上となる場合にはピッチング補正値の算出を禁止する。
Then, the correction
Note that the correction
ピッチング補正部２５は、補正値算出部２４により算出された各ピッチング補正値によって、外界カメラ１１から逐次出力される画像データ上における対象物の上下方向位置を補正する。
また、ピッチング補正部２５は、ピッチングが零であるとみなされる所定の車両状態（例えば、ヨーレートが所定値以上の状態など）において、車両の水平状態あるいは車両の上下方向位置の時間変化がゼロの状態であるとみなして、このときの画像データ上における対象物の上下方向位置を基準位置とする初期化処理を実行する。
The
In addition, the
本実施の形態による車両周辺監視装置１０は上記構成を備えており、次に、この車両周辺監視装置１０の動作について説明する。
The vehicle
先ず、例えば図４に示すステップＳ０１においては、外界カメラ１１から逐次出力される画像データを取得する。
次に、ステップＳ０２においては、画像データに基づき車両外部に存在する対象物を検出する。
次に、ステップＳ０３においては、画像データ上での対象物の上下方向位置の移動量ｙおよび画像データ上での対象物の上下方向位置の移動量の変化量（Δｙ／Δｔ）を検出する。
First, for example, in step S01 shown in FIG. 4, image data sequentially output from the
Next, in step S02, an object existing outside the vehicle is detected based on the image data.
Next, in step S03, the amount of movement y of the vertical position of the object on the image data and the amount of change (Δy / Δt) of the amount of movement of the vertical position of the object on the image data are detected.
次に、ステップＳ０４においては、移動量ｙの時間変化または変化量（Δｙ／Δｔ）の時間変化が所定閾値以上か否かを判定する。
この判定結果が「ＹＥＳ」の場合、つまり移動量ｙの時間変化または変化量（Δｙ／Δｔ）の時間変化が所定閾値以上である場合には、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０５に進む。
Next, in step S04, it is determined whether or not the time change of the movement amount y or the time change of the change amount (Δy / Δt) is equal to or greater than a predetermined threshold value.
If this determination result is “YES”, that is, if the time change of the movement amount y or the time change of the change amount (Δy / Δt) is greater than or equal to a predetermined threshold value, the process proceeds to return.
On the other hand, if this determination is “NO”, the flow proceeds to step S 05.
次に、ステップＳ０５においては、車両のヨーレートは所定値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進み、このステップＳ０６においては、車両の水平状態あるいは車両の上下方向位置の時間変化がゼロの状態であるとみなして、このときの画像データ上における対象物の上下方向位置を基準位置とする初期化処理を実行し、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０７に進む。
Next, in step S05, it is determined whether or not the yaw rate of the vehicle is greater than or equal to a predetermined value.
If this determination is “YES”, the flow proceeds to step S 06, and in this step S 06, it is assumed that the time change of the horizontal state of the vehicle or the vertical position of the vehicle is zero, and the image at this time An initialization process using the vertical position of the object on the data as a reference position is executed, and the process proceeds to return.
On the other hand, if this determination is “NO”, the flow proceeds to step S 07.
次に、ステップＳ０７においては、車両の加速度は所定値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０８に進み、このステップＳ０８においては、所定の加速時周期にて画像データから検出される移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値を算出し、後述するステップＳ１４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０９に進む。
次に、ステップＳ０９においては、外界カメラ１１による撮像が開始されてから逐次出力される画像データのデータ数が所定数以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１３に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１０に進む。
Next, in step S07, it is determined whether or not the acceleration of the vehicle is equal to or greater than a predetermined value.
If this determination is “YES”, the flow proceeds to step S 08, where each detection of the amount of movement y and the amount of change (Δy / Δt) detected from the image data in a predetermined acceleration period. A moving average value is calculated, and the process proceeds to step S14 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step S 09.
Next, in step S09, it is determined whether or not the number of image data sequentially output after imaging by the
If this determination is “NO”, the flow proceeds to step
On the other hand, if the determination is “YES”, the flow proceeds to step S10.
次に、ステップＳ１０においては、車両の車速は所定値以上であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１１に進む。
次に、ステップＳ１１においては、例えば過去の所定フレーム数の画像データから検出される変化量（Δｙ／Δｔ）の平均値の変動周期が所定値以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１４に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１２に進む。
次に、ステップＳ１２においては、所定の第１周期ＴＳにて画像データから検出される移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値を算出する。
Next, in step S10, it is determined whether or not the vehicle speed is equal to or higher than a predetermined value.
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S11.
Next, in step S11, for example, it is determined whether or not the variation period of the average value of the amount of change (Δy / Δt) detected from image data of a predetermined number of frames in the past is equal to or less than a predetermined value.
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S12.
Next, in step S12, a moving average value of each detected value of the moving amount y and the change amount (Δy / Δt) detected from the image data in a predetermined first period TS is calculated.
そして、ステップＳ１３においては、所定の第２周期ＴＬにて画像データから検出される移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値を算出し、上述したステップＳ１０に戻る。
そして、ステップＳ１４においては、この時点で算出されている各周期（つまり、加速時周期、第１周期ＴＳ、第２周期ＴＬ）毎の移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値に基づき、移動量ｙの検出値に対して、あるいは変化量（Δｙ／Δｔ）の検出値の時間積分値に対して、各誤差補正値Ｃｔｃ毎に、誤差補正値Ｃｔｃによる誤差の補正を行なって得た値を、各ピッチング補正値として設定する。
In step S13, the moving average value of the detected values of the movement amount y and the change amount (Δy / Δt) detected from the image data in the predetermined second period TL is calculated, and the process returns to step S10 described above. .
In step S14, the detected values of the movement amount y and the change amount (Δy / Δt) for each period (that is, the acceleration time period, the first period TS, and the second period TL) calculated at this time point. based on the moving average value, the detected value of the movement amount y, or relative to the time integral value of the detected value of the variation (Δy / Δt), for each error correction value C tc, error correction value C tc The value obtained by correcting the error by is set as each pitching correction value.
そして、ステップＳ１５においては、各ピッチング補正値によって、外界カメラ１１から逐次出力される画像データ上における対象物の上下方向位置を補正し、リターンに進む。
In step S15, the vertical position of the object on the image data sequentially output from the
例えば図５には、第１周期ＴＳとして画像データのフレーム数（＝３０）に対応する時間ｔＮ（＝１ｓ）に対してピッチング補正値を算出した実施例と、第２周期ＴＬとして画像データのフレーム数（＝２５６）に対応する時間ｔＮ（＝３０ｓ）に対してピッチング補正値を算出した実施例と、対象物の重心位置の今回値と前回値（つまり１サンプル周期前に得られた重心位置）との差をピッチング補正値とした比較例とに対して、ピッチング補正値による補正により得られた画像データ上の対象物の上下方向位置の変化を示した。
この図５において、比較例では、画像データのフレーム数の増大（つまり、補正回数の増大）に伴いピッチング補正値の誤差が累積されることで、位置ずれが増大するという問題が生じることに対し、実施例では、ピッチング補正値によるピッチングの補正が適正であることが認められる。
For example, FIG. 5 shows an example in which the pitching correction value is calculated for the time tN (= 1 s) corresponding to the number of frames (= 30) of the image data as the first cycle TS, and the image data of the second cycle TL. An example in which the pitching correction value is calculated for the time tN (= 30 s) corresponding to the number of frames (= 256), the current value and the previous value of the center of gravity position of the object (that is, the center of gravity obtained before one sample period) The change in the vertical position of the object on the image data obtained by the correction by the pitching correction value is shown with respect to the comparative example in which the difference from the position) is the pitching correction value.
In FIG. 5, in the comparative example, the error of the pitching correction value is accumulated as the number of frames of the image data increases (that is, the number of corrections increases). In the embodiment, it is recognized that the pitching correction by the pitching correction value is appropriate.
上述したように、本実施の形態による車両周辺監視装置１０によれば、外界カメラ１１から逐次出力される画像データに対し、過去に遡る所定の期間での移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値に基づき誤差補正値Ｃｔｃを設定し、この誤差補正値Ｃｔｃにより、移動量ｙの検出値、あるいは変化量（Δｙ／Δｔ）の検出値の時間積分値を補正して得た値を、ピッチング補正値として設定する。これにより、ピッチング補正値の精度を向上させることができ、画像データから対象物を検出する際のピッチングに起因する位置ずれを、このピッチング補正値を用いて適切に補正することができる。
As described above, according to the vehicle
しかも、移動量ｙに加えて、変化量（Δｙ／Δｔ）の検出値の移動平均値に基づき誤差補正値Ｃｔｃを設定することにより、例えばピッチングの方向が上昇方向または下降方向に偏っている場合であっても、ピッチング補正値の精度を向上させることができる。つまり、例えば図３に示すように、ピッチングの方向が上昇方向に偏っていることで、移動量ｙが正の値のみで変動する期間であっても、変化量（Δｙ／Δｔ）は正の値と負の値とで変動し、変化量（Δｙ／Δｔ）の正の値の総和と負の値の総和とはほぼ相殺するとみなすことができる。これにより、変化量（Δｙ／Δｔ）に対する誤差Ｅ（Δｙ／Δｔ）ｔｃの検出精度が向上し、ピッチング補正値の精度を向上させることができる。 Moreover, by setting the error correction value C tc on the basis of the moving average value of the detected value of the change amount (Δy / Δt) in addition to the moving amount y, for example, the pitching direction is biased upward or downward. Even in this case, the accuracy of the pitching correction value can be improved. That is, for example, as shown in FIG. 3, the amount of change (Δy / Δt) is positive even in a period in which the movement amount y fluctuates only with a positive value because the pitching direction is biased upward. It can be considered that the sum of the positive values and the sum of the negative values of the amount of change (Δy / Δt) almost cancels each other. Thereby, the detection accuracy of the error E (Δy / Δt) tc with respect to the change amount (Δy / Δt) is improved, and the accuracy of the pitching correction value can be improved.
さらに、移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値を算出する期間として、複数の異なる期間（例えば、第１周期ＴＳおよび第２周期ＴＬ）を設定し、各期間毎に対して算出したピッチング補正値を用いて補正を行なう。これにより、相対的に短い期間でのピッチング補正値により所望の追従性を確保した補正を行なうことができると共に、相対的に長い期間でのピッチング補正値により補正の精度を向上させることができる。
しかも、例えば図４でのステップＳ１０、Ｓ１１に示すように、相対的に短い期間（例えば、第１周期ＴＳ）に対しては、車速が所定値未満または変化量（Δｙ／Δｔ）の平均値の変動周期が所定値よりも長い場合に、移動平均値の算出を禁止することにより、ピッチング補正値の精度が低下してしまうことを防止することができる。
Further, a plurality of different periods (for example, the first period TS and the second period TL) are set as periods for calculating the moving average value of each detected value of the movement amount y and the change amount (Δy / Δt), and each period Correction is performed using the pitching correction value calculated for each. As a result, it is possible to perform correction while ensuring desired followability by the pitching correction value in a relatively short period, and it is possible to improve the correction accuracy by the pitching correction value in a relatively long period.
Moreover, for example, as shown in steps S10 and S11 in FIG. 4, for a relatively short period (for example, the first cycle TS), the vehicle speed is less than a predetermined value or the average value of the change amount (Δy / Δt). When the fluctuation period is longer than a predetermined value, it is possible to prevent the accuracy of the pitching correction value from being lowered by prohibiting the calculation of the moving average value.
さらに、加速度センサ１４により検出される加速度が所定値以上である場合などのように、所定値以上のピッチングが発生し易いタイミングでの車両状態に応じてピッチング補正値を算出し、このピッチング補正値により補正を行なう。これにより、不必要に補正処理が実行されることで処理負荷が増大してしまうことを防止しつつ、適切な補正を行なうことができる。
Further, a pitching correction value is calculated according to the vehicle state at a timing at which a pitching of a predetermined value or more is likely to occur, such as when the acceleration detected by the
さらに、例えば踏切の通過時などにおいて一時的に大きなピッチングが発生することに起因して、移動量ｙの時間変化または変化量（Δｙ／Δｔ）の時間変化が所定閾値以上となる場合にはピッチング補正値の算出を禁止する。これにより、不適正な補正が行なわれてしまうことを防止することができる。 Further, when the time change of the movement amount y or the time change of the change amount (Δy / Δt) is equal to or greater than a predetermined threshold due to, for example, a large pitching temporarily occurring at the time of passing a railroad crossing, the pitching is performed. The calculation of the correction value is prohibited. Thereby, it is possible to prevent improper correction.
なお、上述した実施の形態においては、移動量ｙおよび変化量（Δｙ／Δｔ）の各検出値の移動平均値に基づきピッチング補正値を算出するとしたが、これに限定されず、例えば移動量ｙの検出値の移動平均値または変化量（Δｙ／Δｔ）の検出値の移動平均値に基づきピッチング補正値を算出してもよい。 In the above-described embodiment, the pitching correction value is calculated based on the moving average value of each detection value of the movement amount y and the change amount (Δy / Δt). However, the present invention is not limited to this. For example, the movement amount y The pitching correction value may be calculated based on the moving average value of the detected values or the moving average value of the detected values of the change amount (Δy / Δt).
なお、上述した実施の形態において、補正値算出部２４は外界カメラ１１から出力される画像データ上での対象物の上下方向位置の時間変化に基づきピッチング補正値を算出するとしたが、これに限定されず、対象物検出部２１による検出結果を必要とせずに、車両のピッチングあるいはピッチングに係る状態量の変化を検出する検出装置から出力される検出結果に基づき、ピッチング補正値を算出してもよい。ピッチングに係る状態量とは、例えば、車両の水平状態を基準として車両前部が上昇する方向を正かつ車両前部が下降する方向を負とし、基準からの車両前部の上昇および下降の大きさ、あるいは、この大きさの変化量などである。
In the above-described embodiment, the correction
１０ 車両周辺監視装置
１１ 外界カメラ（監視手段、撮像手段）
１４ 加速度センサ（加速度検出手段）
２１ 対象物検出部（監視手段、対象物検出手段）
２２ 上下動検出部（上下動検出手段）
２３ 変化量検出部（変化量検出手段）
２４ 補正値算出部（補正値算出手段）
２５ ピッチング補正部（ピッチング補正手段）
DESCRIPTION OF
14 Acceleration sensor (acceleration detection means)
21 Object detection unit (monitoring means, object detection means)
22 Vertical motion detector (vertical motion detector)
23 Change amount detection unit (change amount detection means)
24 Correction value calculation unit (correction value calculation means)
25 Pitching correction unit (pitching correction means)
Claims (7)
前記監視手段の監視結果に対して車両のピッチングに係る補正を行なうためのピッチング補正値を算出する補正値算出手段と、
前記ピッチング補正値によって前記監視結果を補正するピッチング補正手段とを備える車両周辺監視装置であって、
車両の水平状態を基準として車両前部が上昇する方向を正かつ前記車両前部が下降する方向を負とし、前記基準からの前記車両前部の上昇および下降の大きさを所定タイミング毎に順次検出する上下動検出手段を備え、
前記補正値算出手段は、前記上下動検出手段により所定期間内に検出された前記車両前部の上昇および下降の大きさの積算値に基づき前記ピッチング補正値を算出することを特徴とする車両周辺監視装置。 Monitoring means mounted on the vehicle and monitoring the vehicle periphery;
A correction value calculating means for calculating a pitching correction value for correcting the pitching of the vehicle with respect to the monitoring result of the monitoring means;
A vehicle periphery monitoring device comprising pitching correction means for correcting the monitoring result by the pitching correction value,
The direction in which the front part of the vehicle ascends with respect to the horizontal state of the vehicle is positive, and the direction in which the front part of the vehicle descends is negative. It has a vertical motion detection means for detecting,
The correction value calculation means calculates the pitching correction value based on an integrated value of the magnitude of the rise and fall of the front part of the vehicle detected within a predetermined period by the vertical movement detection means. Monitoring device.
前記監視手段の監視結果に対して車両のピッチングに係る補正を行なうためのピッチング補正値を算出する補正値算出手段と、
前記ピッチング補正値によって前記監視結果を補正するピッチング補正手段とを備える車両周辺監視装置であって、
車両の上下方向位置の時間変化がゼロである状態を基準として車両前部が上昇する方向を正かつ前記車両前部が下降する方向を負とし、前記基準からの前記車両前部の上昇および下降の大きさの変化量を所定タイミング毎に順次検出する変化量検出手段を備え、
前記補正値算出手段は、前記変化量検出手段により所定期間内に検出された前記車両前部の上昇および下降の大きさの変化量の積算値に基づき前記ピッチング補正値を算出することを特徴とする車両周辺監視装置。 Monitoring means mounted on the vehicle and monitoring the vehicle periphery;
A correction value calculating means for calculating a pitching correction value for correcting the pitching of the vehicle with respect to the monitoring result of the monitoring means;
A vehicle periphery monitoring device comprising pitching correction means for correcting the monitoring result by the pitching correction value,
The direction in which the front part of the vehicle rises is positive and the direction in which the front part of the vehicle descends is negative with respect to a state where the time change of the vertical position of the vehicle is zero, and the rise and fall of the front part of the vehicle from the reference A change amount detecting means for sequentially detecting a change amount of the magnitude of each at a predetermined timing;
The correction value calculating means calculates the pitching correction value based on an integrated value of the amount of change in the magnitude of the rise and fall of the vehicle front detected within a predetermined period by the change amount detection means. A vehicle periphery monitoring device.
前記補正値算出手段は、前記加速度検出手段により所定値以上の加速度が検出されたときに前記ピッチング補正値を算出することを特徴とする請求項１から請求項３の何れか１つに記載の車両周辺監視装置。 An acceleration detection means for detecting the acceleration of the vehicle;
The said correction value calculation means calculates the said pitching correction value, when the acceleration more than a predetermined value is detected by the said acceleration detection means, The Claim 1 characterized by the above-mentioned. Vehicle periphery monitoring device.
車両の外界を撮像して得た画像を出力する撮像手段と、
該撮像手段から出力された前記画像に基づき車両外部に存在する対象物を検出する対象物検出手段とを備え、
前記補正値算出手段は、前記画像中における前記対象物の上下位置の変化に基づき前記ピッチング補正値を算出することを特徴とする請求項１から請求項６の何れか１つに記載の車両周辺監視装置。 The monitoring means includes
Imaging means for outputting an image obtained by imaging the outside of the vehicle;
Object detection means for detecting an object existing outside the vehicle based on the image output from the imaging means,
The vehicle periphery according to any one of claims 1 to 6, wherein the correction value calculation means calculates the pitching correction value based on a change in a vertical position of the object in the image. Monitoring device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009127859A JP4887400B2 (en) | 2009-05-27 | 2009-05-27 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009127859A JP4887400B2 (en) | 2009-05-27 | 2009-05-27 | Vehicle periphery monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010277250A true JP2010277250A (en) | 2010-12-09 |
| JP4887400B2 JP4887400B2 (en) | 2012-02-29 |
Family
ID=43424173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009127859A Expired - Fee Related JP4887400B2 (en) | 2009-05-27 | 2009-05-27 | Vehicle periphery monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4887400B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017034623A (en) * | 2015-08-06 | 2017-02-09 | 株式会社日本自動車部品総合研究所 | Pitch angle estimation device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006174377A (en) * | 2004-12-20 | 2006-06-29 | Nissan Motor Co Ltd | Image processing apparatus and method |
| JP3910345B2 (en) * | 1999-07-13 | 2007-04-25 | 本田技研工業株式会社 | Position detection device |
-
2009
- 2009-05-27 JP JP2009127859A patent/JP4887400B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3910345B2 (en) * | 1999-07-13 | 2007-04-25 | 本田技研工業株式会社 | Position detection device |
| JP2006174377A (en) * | 2004-12-20 | 2006-06-29 | Nissan Motor Co Ltd | Image processing apparatus and method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017034623A (en) * | 2015-08-06 | 2017-02-09 | 株式会社日本自動車部品総合研究所 | Pitch angle estimation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4887400B2 (en) | 2012-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3922194B2 (en) | Lane departure warning device | |
| WO2011039989A1 (en) | Vehicle-surroundings monitoring device | |
| JP2018036067A (en) | Own vehicle position recognition device | |
| JP6601352B2 (en) | Vehicle posture estimation device | |
| JP2011065338A (en) | Object tracking device and program | |
| JP6326932B2 (en) | Pitching angle calculation device and optical axis adjustment device | |
| KR20210006558A (en) | Method and system for calibrating road surface information detected electronic control suspension | |
| JP2013002884A (en) | Distance measuring device | |
| KR101639722B1 (en) | Correction apparatus and method for vanishing point | |
| JP2013216278A (en) | Grounding load estimation device | |
| JP2013222302A (en) | Mounting angle correction device for in-vehicle camera and mounting angle correction method | |
| JP2012215417A (en) | Acceleration correction device, acceleration correction method and acceleration correction program | |
| JP5402244B2 (en) | Vehicle physical quantity estimation device | |
| JP4887400B2 (en) | Vehicle periphery monitoring device | |
| JP2011130262A (en) | Apparatus for monitoring surroundings of vehicle | |
| EP3644293A1 (en) | Travel control method and travel control device | |
| JP2006031313A (en) | Method and apparatus for measuring obstacle | |
| JP5425500B2 (en) | Calibration apparatus and calibration method | |
| JP2017102832A (en) | Vehicle pitch angle estimation device | |
| JP5193148B2 (en) | Vehicle imaging device | |
| WO2019182082A1 (en) | Estimation device, control method, program, and storage medium | |
| JP2014167397A (en) | Inter-vehicle distance calculation device and motion controlling method for the same | |
| JP6203969B2 (en) | Apparatus, vehicle and method for correcting interval values and / or for correcting relative speed | |
| JP2015069292A (en) | Lane marking determination device and lane determination device | |
| JP4196211B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111212 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4887400 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |