JP2013089111A - Lane monitoring system and lane monitoring method - Google Patents
Lane monitoring system and lane monitoring method Download PDFInfo
- Publication number
- JP2013089111A JP2013089111A JP2011230603A JP2011230603A JP2013089111A JP 2013089111 A JP2013089111 A JP 2013089111A JP 2011230603 A JP2011230603 A JP 2011230603A JP 2011230603 A JP2011230603 A JP 2011230603A JP 2013089111 A JP2013089111 A JP 2013089111A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- automobile
- monitoring system
- radius
- curvature radius
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術に関するものである。 The present invention relates to a technique for recognizing a lane based on an image behind a car taken by an in-vehicle camera.
車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術としては、車載カメラで撮影した自動車後方の画像に基づいて自動車が走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識すると共に、走行中の車線が直進している車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線（白線）を近似した直線として車線境界線を認識し、走行中の車線がカーブしている車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円として車線境界線を認識する技術が知られている（特許文献１）。 The technology for recognizing the lane based on the image behind the car taken by the in-vehicle camera is based on the image behind the car taken by the in-vehicle camera and the lane in which the lane in which the car is traveling is curved with the lane that is moving straight Lane boundary line (white line) included in the image of the rear of the car taken with the in-vehicle camera when recognizing that the lane being traveled is recognized as a lane that is traveling straight ahead If the lane boundary line is recognized as a straight line that approximates, and the lane being traveled is recognized as a curved lane, a circle that approximates the lane boundary line included in the image behind the car taken by the in-vehicle camera A technique for recognizing a lane boundary line is known (Patent Document 1).
ここで、この技術では、車載カメラで撮影した現在の画像と直近に撮影した画像との間の、画像中の白線の自動車左右方向の位置ずれ量を横方向移動速度として、横方向移動速度がほぼ０の場合に、走行中の車線が直進している車線と判定し、他の場合に走行中の車線がカーブしている車線と判定する。しかしながら、このような判定法は、走行中の車線がカーブしている車線であってもカーブの曲率が一様であって自動車が車線に沿って走行している場合には、横方向移動速度は生じず、また、走行中の車線が直進している車線であっても自動車が車線に沿って走行していない場合には横方向移動速度が発生するために、これらの場合に有効に働くことはない。 Here, in this technology, the lateral movement speed is determined by using the lateral displacement of the white line in the image between the current image captured by the in-vehicle camera and the most recently captured image as the lateral movement speed. When it is almost 0, it is determined that the traveling lane is a straight lane, and in other cases, the traveling lane is determined to be a curved lane. However, such a determination method uses a lateral movement speed when a curved lane is curved and the curvature of the curve is uniform and the vehicle is traveling along the lane. Also, even if the driving lane is a straight lane, if the car is not driving along the lane, the lateral movement speed is generated, so it works effectively in these cases There is nothing.
また、走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識する技術に関連する技術としては、各時点において車載カメラで撮影した画像中の白線上の点の座標を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換し、変換した座標を曲線に近似することにより、走行中の車線の曲率を算出する技術が知られている（たとえば、特許文献２）。 In addition, as a technology related to the technology for recognizing whether the running lane is a straight lane or a curved lane, the white line in the image taken by the in-vehicle camera at each time point is included. Based on the change in the position and orientation of the car from the time of shooting to the present, which is obtained from the speed and yaw rate of the car, the coordinates of the point are converted into coordinates in real space with the current car position as the origin, and the transformed coordinates A technique for calculating the curvature of a running lane by approximating the curve to a curve is known (for example, Patent Document 2).
各時点において車載カメラで撮影した画像中の白線上の点の座標を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換し、変換した座標を曲線に近似することにより、走行中の車線の曲率を算出する技術によれば、当該曲率より、走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識したり、車線境界線を曲線で近似することができるが、自動車の車速やヨーレートを検出して、自動車の車速やヨーレートから自動車の位置や向きの変化を精度良く算出したり、白線上の点の実空間上の座標より曲率を算出する、比較的複雑な特段の構成が必要となる。 The coordinates of the point on the white line in the image taken by the in-vehicle camera at each time point are based on the change in the position and orientation of the car from the time of shooting to the present, which is obtained from the vehicle speed and yaw rate of the car. According to the technology for calculating the curvature of the traveling lane by converting the coordinates into a real space coordinate and approximating the converted coordinates to a curve, the lane in which the traveling lane is traveling straight ahead is calculated based on the curvature. It is possible to recognize whether the lane is a curved lane or approximate the lane boundary with a curve, but detect the vehicle speed and yaw rate of the car, and the position of the car from the car speed and yaw rate of the car It is necessary to have a relatively complicated special configuration that calculates the change in direction and direction with high accuracy and calculates the curvature from the coordinates of the points on the white line in the real space.
そこで、本発明は、走行中の車線がカーブしている車線であるか否かの判定や、カーブしている車線境界線の認識を、簡易な構成において行えるようにすることを課題とする。 Therefore, an object of the present invention is to make it possible to determine whether a running lane is a curved lane and to recognize a curved lane boundary line with a simple configuration.
前記課題達成のために、本発明は、自動車に搭載された車線監視システムに、前記自動車後方を撮影する車載カメラと、前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出手段と、前記垂線データ算出手段が算出した各垂線データに基づいて、中心から前記着目方向について前記奥行距離離れた円弧上の位置における円の接線の垂線の方向が前記垂線方向であるものとして求めた円の半径を前記車線境界線の曲率半径として算出する曲率半径算出手段とを備えたものである。 In order to achieve the above object, the present invention captures in a lane monitoring system mounted on a vehicle based on an in-vehicle camera that captures the rear of the vehicle and an image of the rear of the vehicle that is captured by the in-vehicle camera. For each target position that is a plurality of different positions on the lane boundary line behind the car, the lane at the target position with respect to a reference direction that is the direction of the lane boundary line at the side position that is a position on the lane boundary line on the side of the automobile Perpendicular data calculation means for generating a perpendicular direction that is a direction of a perpendicular of the boundary line and a depth distance that is a distance in the reference direction from the lateral position to the position of interest, as perpendicular data of the position of interest; Based on each perpendicular data calculated by the perpendicular data calculation means, the tangent of the circle at a position on the arc that is the depth distance away from the center in the direction of interest. In which the direction of the line and a radius of curvature calculating means for calculating the radius of a circle obtained as a perpendicular line direction radius of curvature of the lane boundary lines.
ここで、以上のような車線監視システムは、前記曲率半径算出手段において、前記垂線データ算出手段が、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出するようにすることが好ましい。 Here, in the lane monitoring system as described above, in the curvature radius calculation means, the perpendicular data calculation means is generated based on each of a plurality of images taken by the in-vehicle camera at a plurality of points in the past. It is preferable to calculate the radius of the circle based on the perpendicular data.
このような車載システムによれば、各時点において車載カメラで撮影した画像から算出した検出値を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換する処理を含まないので、自動車の位置や向きの変化を算出する比較的複雑な構成を必要とすることなく、走行中の車線の車線境界線の曲率半径を算出し、走行中の車線がカーブしている車線であるか否かの識別や、車線境界線形状の認識を行うことができるようになる。 According to such an in-vehicle system, a detection value calculated from an image captured by an in-vehicle camera at each time point is calculated based on a change in the position and orientation of the vehicle from the time of shooting obtained from the vehicle speed and yaw rate of the vehicle to the present time. Does not include the process of converting the coordinates of the vehicle in real space to the origin, so it does not require a relatively complicated configuration to calculate changes in the position and orientation of the vehicle, and the lane boundary of the running lane By calculating the curvature radius of the line, it is possible to identify whether the traveling lane is a curved lane and to recognize the lane boundary shape.
なお、以上のような車線監視システムには、さらに、前記曲率半径算出手段で算出した曲率半径が所定のしきい値より小さい場合に、走行中の車線が直進する車線であると識別し、前記曲率半径検出ステップで算出した曲率半径が所定のしきい値より小さくない場合に、走行中の車線がカーブする車線であると識別する識別手段を備えるようにしてもよい。 The lane monitoring system as described above further identifies that the running lane is a straight lane when the curvature radius calculated by the curvature radius calculation means is smaller than a predetermined threshold, If the radius of curvature calculated in the radius of curvature detection step is not smaller than a predetermined threshold value, an identification means for identifying that the running lane is a curved lane may be provided.
または、以上のような車線監視システムには、さらに、前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さい場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を車線境界線形状として認識し、前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さくない場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する円を前記車線境界線形状として認識する車線認識手段とを備えるようにしてもよい。 Alternatively, in the lane monitoring system as described above, when the curvature radius calculated by the curvature radius detection unit is smaller than a predetermined threshold, the vehicle reflected in the image behind the vehicle photographed by the in-vehicle camera A straight line that approximates the rear lane boundary line is recognized as a lane boundary line shape, and when the curvature radius calculated by the curvature radius detection means is not smaller than a predetermined threshold value, an image of the rear of the automobile taken by the in-vehicle camera Lane recognition means for recognizing a circle that approximates the lane boundary line behind the vehicle reflected in the vehicle as the lane boundary line shape.
また、この場合には、さらに、前記車線認識手段が認識した車線境界線形状に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を設けることも好ましい。 In this case, it is also preferable to provide a departure prediction means for predicting a departure from the traveling lane of the vehicle based on the lane boundary shape recognized by the lane recognition means.
以上のように、本発明によれば、走行中の車線がカーブしている車線であるか否かの判定や、カーブしている車線境界線の認識を、簡易な構成において行うことができる。 As described above, according to the present invention, it is possible to determine whether a running lane is a curved lane or to recognize a curved lane boundary line with a simple configuration.
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されるシステムであり、図１ｂに示すように自動車後部に配置され自動車後方を撮影する後方カメラ１と、後方カメラ１が撮影した画像フレームを格納するフレームメモリ２、車線監視装置３、車線監視装置３が作業に用いるワークメモリ４、スピーカ５、表示装置６などを備えている。
Hereinafter, embodiments of the present invention will be described.
FIG. 1 a shows the configuration of the in-vehicle system according to this embodiment.
The in-vehicle system is a system mounted on an automobile, and as shown in FIG. 1b, a rear camera 1 that is arranged at the rear of the automobile and photographs the rear of the automobile, a frame memory 2 that stores image frames photographed by the rear camera 1, and lane monitoring The apparatus 3 and the lane monitoring apparatus 3 are provided with a work memory 4, a speaker 5, a display device 6 and the like used for work.
なお、図示は省略したが、後方カメラ１の撮影した映像は、後進して行う駐車の支援などにも用いられる。
次に、このような構成において車線監視装置３が行う車線監視処理について説明する。
図２に、この車線監視処理の手順を示す。
さて、図２に示すように、この処理では、まず、後方カメラ１が後方を撮影した最新の画像フレームをフレームメモリ２から取得し（ステップ２０２）、画像フレームに写り込んでいる後方の白線上の特徴点の座標を算出する（ステップ２０４）。
ここで、このステップ２０４で行う画像フレームに写り込んでいる後方の白線上の特徴点の座標の算出は以下のように行う。
すなわち、図４ａに示すように、自動車の左右前後方向の中心Gを原点とし、自動車の右方向を正のY0方向とし、自動車の後方向を正のX0方向とするX0-Y0座標系を設定する。
そして、後方カメラ１で撮影された図４ｂに示すような画像フレームに対して、ノイズ除去などの前処理を施した上で、輝度勾配などに基づいて画像フレームに写り込んでいる白線の領域３０１を抽出する。
そして、抽出した白線の領域３０１を、図４ｃに示すようにX0-Y0座標系に射影変換する。そして、X0方向について所定間隔毎にX0-Y0座標系に射影変換した白線の領域３０２のY0方向の中点に特徴点qiを設定し、各特徴点qiのX0-Y0座標系上の座標（xqi,yqi）を、後方の白線上の特徴点qiの座標として算出する。
Although illustration is omitted, the image captured by the rear camera 1 is also used for assisting parking performed backward.
Next, the lane monitoring process performed by the lane monitoring device 3 in such a configuration will be described.
FIG. 2 shows the procedure of this lane monitoring process.
As shown in FIG. 2, in this process, first, the latest image frame captured by the rear camera 1 is acquired from the frame memory 2 (step 202), and the rear white line reflected in the image frame is displayed. The coordinates of the feature points are calculated (step 204).
Here, the calculation of the coordinates of the feature points on the back white line reflected in the image frame performed in step 204 is performed as follows.
That is, as shown in FIG. 4a, an X0-Y0 coordinate system is set in which the center G in the left and right front-rear direction of the vehicle is the origin, the right direction of the vehicle is the positive Y0 direction, and the backward direction of the vehicle is the positive X0 direction. To do.
Then, a preprocess such as noise removal is performed on the image frame captured by the rear camera 1 as shown in FIG. 4B, and then a white line region 301 reflected in the image frame based on a luminance gradient or the like. To extract.
Then, the extracted white line region 301 is projectively transformed into the X0-Y0 coordinate system as shown in FIG. 4C. Then, a feature point q i is set at the midpoint of the Y0 direction of the white line region 302 that is projectively transformed into the X0-Y0 coordinate system at predetermined intervals in the X0 direction, and each feature point q i on the X0-Y0 coordinate system The coordinates (xq i , yq i ) are calculated as the coordinates of the feature point q i on the back white line.
さて、図２に戻り、以上のようにして特徴点の座標を算出したならば、曲率半径算出処理を行って（ステップ２０６）、曲率半径rを算出する。
ここでステップ２０６で行う曲率半径処理の手順を図３に示す。
図示するように、この曲率半径算出処理では、まず、図４ｄに示すように、X0-Y0座標系上でX0=0となる白線上の位置における当該白線の向き、すなわち自動車の重心Gの左右方向の位置における白線の方向に対する、自動車の後方すなわちX0方向の角度θを求める。そして、図４ｅに示すように、X0-Y0座標系を原点Gを中心としてθ回転したX1-Y1座標系を設定し、X1-Y1座標系上の各特徴点qiを特徴点piと表すこととして、各X1-Y1座標系上の各特徴点piの座標（xpi,ypi)を求める（ステップ３０２）。
Now, returning to FIG. 2, when the coordinates of the feature points are calculated as described above, the curvature radius calculation process is performed (step 206), and the curvature radius r is calculated.
The procedure of the radius of curvature process performed at step 206 is shown in FIG.
As shown in the figure, in this curvature radius calculation process, first, as shown in FIG. 4d, the direction of the white line at the position on the white line where X0 = 0 on the X0-Y0 coordinate system, that is, the right and left of the center of gravity G of the automobile. An angle θ in the rear of the automobile, that is, in the X0 direction with respect to the direction of the white line at the direction position is obtained. Then, as shown in FIG. 4e, an X1-Y1 coordinate system obtained by rotating the X0-Y0 coordinate system around the origin G by θ is set, and each feature point q i on the X1-Y1 coordinate system is set as a feature point p i . As a representation, the coordinates (xp i , yp i ) of each feature point p i on each X1-Y1 coordinate system are obtained (step 302).
ここで、θは、図４ｄに示すように、後述する車線監視処理のステップ２１０または２１２で過去直近に求めた白線近似線をH（-1）として、H（-1）のX0=0となる点における接線に対するX0方向の角度として求めることができる。
または、このθは、図５に示すように、自動車の車速をVx、後述する車線監視処理の２１４で過去所定期間内に求めた距離Ｄの時間微分dD/dtとして求まる白線方向への自動車の移動速度をVdとして、tan-1(Vd/-Vx)として求めることもできる。
ここで、このようにして求めたX1-Y1座標系上の各特徴点piは、X0方向、すなわち、自動車の後ろ方向が、自動車の重心Gの左右方向の位置における白線の方向と一致していた場合に、後方カメラ１で撮影した画像より求まるX0-Y0座標系上の各特徴点qiに一致するものとなる。
Here, as shown in FIG. 4d, θ is H (-1), where X0 = 0 of H (-1), where H (-1) is the white line approximate line obtained in the past in step 210 or 212 of the lane monitoring process described later. It can be obtained as an angle in the X0 direction with respect to the tangent at a certain point.
Alternatively, as shown in FIG. 5, this θ represents the vehicle speed in the white line direction determined as Vx, the time differential dD / dt of the distance D obtained within the past predetermined period in 214 of the lane monitoring process described later. The moving speed can be calculated as Vd and tan −1 (Vd / −Vx).
Here, each feature point p i on the X1-Y1 coordinate system obtained in this way corresponds to the direction of the white line in the X0 direction, that is, the rear direction of the car, in the left-right position of the center of gravity G of the car. In this case, each feature point q i on the X0-Y0 coordinate system obtained from the image photographed by the rear camera 1 coincides.
さて、図３に戻り、このようにして、各特徴点piの座標（xi,yi）を算出したならば（ステップ３０２）、図６ａに示すように、隣接する特徴点piとpi+1とを結ぶ直線の接線の傾きをai=（xpi+1-xpi） /（ypi+1-ypi）として求めると共に、特徴点piとpi+1との中点のX座標をxi=（xpi+xpi+1）/2として求める。但し、特徴点pjとpj+1との間の距離が所定距離以上大きいjについては、aj、xjは算出しないようにする。 Now, returning to FIG. 3, if the coordinates (x i , y i ) of each feature point p i are calculated in this way (step 302), as shown in FIG. 6a, the adjacent feature points p i and The slope of the tangent of the straight line connecting p i + 1 is obtained as a i = (xp i + 1 -xp i ) / (yp i + 1 -yp i ), and the feature points p i and p i + 1 The X coordinate of the midpoint is obtained as x i = (xp i + xp i + 1 ) / 2. However, a j and x j are not calculated for j where the distance between the feature points p j and p j + 1 is greater than a predetermined distance.
そして、図６ｂのように、算出した各（xi、ai）を傾きデータQiとする（ステップ３０４）。
次に、今回ステップ３０４で算出した傾きデータQi、もしくは、過去直近の所定期間内に後方カメラ１が撮影した１または複数の画像フレームに対する曲率半径算出処理のステップ３０４で算出した全ての傾きデータQiに基づいて、円の中心を原点するX-Y座標系上の円の半径を、各傾きデータQiが示すai を、円弧上のX=xi の位置における垂線の傾きを表すものと見なして算出し、算出した円の半径を曲率半径rとし（ステップ３０６）、曲率半径算出処理を終了する。
Then, as shown in FIG. 6b, each calculated (x i , a i ) is set as inclination data Q i (step 304).
Next, the inclination data Q i calculated in step 304 at this time, or all inclination data calculated in step 304 of the curvature radius calculation process for one or a plurality of image frames captured by the rear camera 1 within the past predetermined period. Based on Q i , the radius of the circle on the XY coordinate system starting from the center of the circle, a i indicated by each inclination data Q i , and the inclination of the perpendicular at the position of X = x i on the arc The radius of the calculated circle is assumed to be the curvature radius r (step 306), and the curvature radius calculation process is terminated.
ここで、ステップ３０６の円の半径の算出は、具体的には以下のように行う。
すなわち、まず、円の中心Cが、X1-Y1座標系でX1=0となる白線上の位置における白線方向の垂線の方向であるX1方向に存在するものとして、図７に示すように、X1-Y1座標系をX1方向に、原点が円の中心Cに一致するように移動したX-Y座標系を仮定する。
すると、X-Y座標において、円は式１によって表すことができる。
Here, the calculation of the radius of the circle in step 306 is specifically performed as follows.
That is, first, assuming that the center C of the circle exists in the X1 direction that is the direction of the perpendicular to the white line at the position on the white line where X1 = 0 in the X1-Y1 coordinate system, as shown in FIG. -Assume an XY coordinate system moved in the X1 direction so that the origin coincides with the center C of the circle.
Then, in the XY coordinates, the circle can be expressed by Equation 1.
また、この円の円弧上の各位置における円の接線の垂線は、当該垂線の傾きをａとして式２によって表すことができる。 Moreover, the perpendicular of the tangent of the circle at each position on the circular arc of the circle can be expressed by Equation 2 where the slope of the perpendicular is a.
式２を式１に代入してyを消去すると、式３を得ることができ、式３は式４に変形することができる。 By substituting Equation 2 into Equation 1 and eliminating y, Equation 3 can be obtained, and Equation 3 can be transformed into Equation 4.
ここで、自動車後方の白線の形状が円であるものとすれば、図７に示すように、各傾きデータQiが示すai は、円弧上のX=xi となる位置の接線の垂線の傾きを表すので、式５が成立する。
Here, assuming that the shape of the white line behind the car is a circle, as shown in FIG. 7, a i indicated by each inclination data Q i is a perpendicular line of a tangent at a position where X = x i on the arc. Therefore, Expression 5 is established.
よって、式６に示す、各傾きデータQiについての自乗誤差Eを最小とするrを求めれば、これが求める円の半径rとなる。 Therefore, if r that minimizes the square error E for each inclination data Q i shown in Equation 6 is obtained, this is the radius r of the circle to be obtained.
そして、式７のように、Ai、Rをおくと、式６は式８によって表すことができ、式８は式９のように変形することができる。 Then, when A i and R are set as in Expression 7, Expression 6 can be expressed by Expression 8, and Expression 8 can be transformed as Expression 9.
そして、式９のRの偏微分が０となるRが式９の自乗誤差Eを極小値とするので、自乗誤差Eを極小値とするRに対して式１０が成立し、これより式１１が得られる。 Then, R in which the partial differential of R in Expression 9 is 0 sets the square error E in Expression 9 to a minimum value, and therefore Expression 10 is established for R having the square error E as a minimum value. Is obtained.
したがって、式１１より、式１２によってrを求めることができ、ステップ３０６では、このrを求める曲率半径rとする。 Therefore, r can be obtained from equation 11 using equation 12, and in step 306, this r is set as the radius of curvature r to be obtained.
以上、曲率半径算出処理について説明した。
さて、図２の車線監視処理に戻り、以上のような曲率半径算出処理によって曲率半径rを算出したならば（ステップ２０６）、曲率半径rが所定距離Thr(Thrは、たとえば300ｍ）より小さいかどうかを判定し（ステップ２０８）、小さければ、走行中の車線が直進している車線であると見なして、図４ｃに示した各特徴点qiの座標に基づいて、後方の白線を直線y=ax+bに近似し、近似した直線y=ax+bを現在の白線近似線H（0）とする（ステップ２１０）。
The curvature radius calculation process has been described above.
Now, returning to the lane monitoring process of FIG. 2, if the curvature radius r is calculated by the curvature radius calculation process as described above (step 206), is the curvature radius r smaller than a predetermined distance Thr (Thr is, for example, 300 m)? (Step 208) If it is smaller, it is assumed that the lane in which the vehicle is traveling is a straight lane, and the white line behind the straight line y is determined based on the coordinates of the feature points q i shown in FIG. 4c. is approximated to = ax + b, and the approximated straight line y = ax + b is set as the current white line approximate line H (0) (step 210).
この直線y=ax+bへの近似は、各特徴点qiの座標を直線上の座標として持つ直線として、最も尤もらしい直線を求めることにより行う。
より具体的には、この近似は、たとえば、最小自乗法によって、各特徴点qiについて求めた、yi-（axi+b)の自乗の合計をEとして、Eを最小とするa、ｂを算出することにより求める。
The approximation to the straight line y = ax + b is performed by obtaining the most likely straight line as a straight line having the coordinates of the feature points q i as the coordinates on the straight line.
More specifically, this approximation is performed by using, for example, the sum of the squares of y i- (ax i + b) obtained for each feature point q i by the least square method as E, and minimizing E, a, It is obtained by calculating b.
一方、曲率半径rが所定距離Thrより小さくなければ（ステップ２０８）、走行中の車線がカーブしている車線であると見なして、後方の白線を円(x-cx)2+(y-cy)2=r2に近似し、近似した円(x-cy)2+(y-cy)2=r2を現在の白線近似線H（0）とする（ステップ２１２）。 On the other hand, if the radius of curvature r is not smaller than the predetermined distance Thr (step 208), it is considered that the running lane is a curved lane, and the white line behind is represented by a circle (x-cx) 2 + (y-cy ) 2 = r 2 is approximated, and the approximated circle (x-cy) 2 + (y-cy) 2 = r 2 is set as the current white line approximate line H (0) (step 212).
ここで、このステップ２１２における白線近似線H（0）とする円(x-cx)2+(y-cy)2=r2の算出は次のように行う。
すなわち、図８に示すように、上述した曲率半径算出処理で求めた曲率半径rを半径とする円のX1-Y1座標系上における中心座標を（0,cy1)として、X1-Y1座標系上の円の式：(x)2+(y-cy)2=r2に、同X1-Y1座標系上の特徴点p1の座標（xp1,yp1)を、当該円の円弧上に特徴点pnが存在するものとして代入してcy1を算出することにより求める。
Here, calculation of the circle (x−cx) 2 + (y−cy) 2 = r 2 as the white line approximate line H (0) in step 212 is performed as follows.
That is, as shown in FIG. 8, the center coordinate on the X1-Y1 coordinate system of the circle whose radius is the curvature radius r obtained by the above-described curvature radius calculation process is (0, cy 1 ), and the X1-Y1 coordinate system The equation of the upper circle: (x) 2 + (y-cy) 2 = r 2 and the coordinates (xp 1 , yp 1 ) of the feature point p 1 on the same X1-Y1 coordinate system on the arc of the circle Is obtained by calculating cy 1 by substituting that the feature point pn exists.
すなわち、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた傾きデータQiのうちのx1が自車後方近傍の位置であることを表している（たとえば、x1＜5ｍ）傾きデータQiのaiが負、であれば、cy1はY1軸の正側にあるので式１３によってcy1を求める。また、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた傾きデータQiのうちのx1が自車後方近傍の位置であることを表している（たとえば、x1＜5ｍ）傾きデータQiのaiが正であれば、cy1はY1軸の負側にあるので式１４によってcy1を求める。 That is, the inclination data Q i used for calculating the curvature radius r in step 306 of the curvature radius calculation process indicates that x 1 is a position near the rear of the vehicle (for example, x 1 <5 m). If a i of data Q i is negative, cy 1 is on the positive side of the Y1 axis, so cy 1 is obtained by equation (13). In addition, the inclination data Q i used for calculating the curvature radius r in step 306 of the curvature radius calculation process indicates that x 1 is a position near the rear of the vehicle (for example, x 1 <5 m). If a i of data Q i is positive, cy 1 is on the negative side of the Y1 axis, so cy 1 is obtained by equation 14.
ここで、cy1の算出に用いる特徴点pnは、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた、いずれかの傾きデータQiの算出に用いられた特徴点piである。なお、特徴点pnとしては、xiが最小の特徴点piを用いるようにすることが好ましい。または、曲率半径算出処理のステップ３０６で曲率半径rの算出に用いた傾きデータQiの算出に用いられた複数の特徴点piについて、cy1をそれぞれ求め、その平均を最終的なcy1として決定するようにしてもよい。 Here, the feature point p n used for calculating the cy 1 was used to calculate the radius of curvature r in step 306 the radius of curvature calculation processing, either of the feature points used to calculate the inclination data Q i p i is there. As the feature point p n, it is preferable that x i is to use a minimum of the feature point p i. Alternatively, cy 1 is obtained for each of a plurality of feature points p i used for calculating the inclination data Q i used for calculating the curvature radius r in step 306 of the curvature radius calculation process, and the average is obtained as the final cy 1 You may make it determine as.
そして、このようにして、曲率半径rを半径とする円のX1-Y1座標系上における中心座標（0,cy1)が求まったならば、X0-Y0座標系上の半径ｒの円の中心座標（cx,cy)を、上述したθを用いて、
cx= cy1sin(-θ）
cy= cy1cos(-θ)
として求め、白線近似線H（0）：(x-cx)2+(y-cy)2=r2を得る。
さて、図２に戻り、以上のようにして直線、または、円として現在の白線近似線H（0）が求まったならば（ステップ２１０、２１２）、白線近似線H（0）に従って、白線と自動車前方白線側(右側）端Tとの距離Dを求める（ステップ２１４）。
When the center coordinates (0, cy 1 ) on the X1-Y1 coordinate system of the circle having the radius of curvature r as the radius are found in this way, the center of the circle with the radius r on the X0-Y0 coordinate system is obtained. Coordinates (cx, cy) are set using the above θ,
cx = cy 1 sin (-θ)
cy = cy 1 cos (-θ)
As a white line approximation line H (0): (x−cx) 2 + (y−cy) 2 = r 2 is obtained.
Now, returning to FIG. 2, if the current white line approximate line H (0) is obtained as a straight line or a circle as described above (steps 210 and 212), the white line and the white line approximate line H (0) are A distance D from the front white line side (right side) end T of the vehicle is obtained (step 214).
すなわち、図９に示すように、自動車中心Gから自動車前端までのX方向の距離（自動車の全長の半分）をＬ、自動車中心Gから自動車白線側端までのY方向の距離（自動車の前幅の半分）をWとすれば、端T最寄りの白線上の点Kの座標は
Ky=D+Wとして、（-L、Ky）となる。
That is, as shown in FIG. 9, the distance in the X direction from the vehicle center G to the front end of the vehicle (half the total length of the vehicle) is L, and the distance in the Y direction from the vehicle center G to the white line side end (the front width of the vehicle). The coordinate of the point K on the white line closest to the edge T is
As Ky = D + W, (−L, Ky) is obtained.
点Kが、白線近似線H（0）上の点であることより、
白線近似線H（0）式のxに-Lを代入すれば、Kyが求まり、これより距離Dが求まる。
より具体的には、白線近似線H（0）が直線y=ax+bである場合には、
Ky =a(-L)+b が成り立ち、
D= a(-L)+b -Wとして、距離Dが求まる。
また、白線近似線H（0）が円 (x-cx)2+(y-cy)2=r2である場合には、
r2=(-L-cx)2+(Ky-cy)2が成り立ち、
これと、Ky=D+Wより、式１５によって、距離Dが求まる。
Since the point K is a point on the white line approximation line H (0),
By substituting -L for x in the white line approximation line H (0), Ky is obtained, and from this, the distance D is obtained.
More specifically, when the white line approximation line H (0) is a straight line y = ax + b,
Ky = a (-L) + b
The distance D is obtained as D = a (−L) + b −W.
If the white line approximation line H (0) is a circle (x-cx) 2 + (y-cy) 2 = r 2 ,
r 2 = (-L-cx) 2 + (Ky-cy) 2
From this and Ky = D + W, the distance D is obtained by Equation 15.
さて、図２に戻り、求めた自動車前方の白線と自動車前方白線側端Ｔとの距離Dを求めたならば、求めた距離Dが、所定のしきい値ThDより小さく、かつ、自動車が白線側に移動しているかどうかを調べ（ステップ２１６）、そうでなければステップ２０２からの処理に戻り、そうであれば自動車の走行中車線からの逸脱の発生を予測し、スピーカ５や表示装置６から、自動車の車線から逸脱を警告する出力をドライバに対して行った上でステップ２０２からの処理に戻る。 Now, returning to FIG. 2, if the distance D between the obtained white line in front of the automobile and the end T on the front side of the automobile is obtained, the obtained distance D is smaller than a predetermined threshold value ThD and the automobile is a white line. (Step 216), if not, the process returns to step 202. If so, the occurrence of a deviation from the lane while the vehicle is running is predicted, and the speaker 5 or the display device 6 is detected. From step 202, the process returns to step 202 after outputting to the driver a warning of departure from the vehicle lane.
なお、自動車が白線側に移動しているかどうかは、求めた自動車前方の白線と自動車前方白線側端Ｔとの距離Dが、前回距離Dを求めたときの距離Dの値より減少している場合に、自動車が白線側に移動していると判定することなどにより行うことができる。
以上、車線監視装置３が行う車線監視処理について説明した。
以上のように、本実施形態によれば、各時点において車載カメラで撮影した画像から算出した検出値を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換する処理を含まないので、自動車の位置や向きの変化を算出する比較的複雑な構成を必要とすることなく、走行中の車線の車線境界線の曲率半径を算出し、走行中の車線がカーブしている車線であるか否かの識別や、車線境界線形状の認識を行うことができるようになる。
Whether or not the car is moving to the white line side is determined based on the distance D between the obtained white line ahead of the car and the white front end T of the car ahead of the value of the distance D when the previous distance D was obtained. In this case, it can be performed by determining that the automobile is moving to the white line side.
The lane monitoring process performed by the lane monitoring device 3 has been described above.
As described above, according to the present embodiment, the detection value calculated from the image captured by the in-vehicle camera at each time point is based on the change in the position and orientation of the vehicle from the time of shooting obtained from the vehicle speed and yaw rate of the vehicle. In addition, it does not include the process of converting the current vehicle position to the coordinates in the real space, and the lane while driving is not required, without requiring a relatively complicated configuration for calculating changes in the position and orientation of the vehicle. The radius of curvature of the lane boundary line is calculated, and it is possible to identify whether the traveling lane is a curved lane and to recognize the lane boundary line shape.
なお、以上の実施形態は、自動車の右側の白線を検出する場合について示したが、自動車の左側の車線を検出する場合についても本実施形態は同様に適用可能である。
また、以上では、便宜上、白線を認識対象とするものとして説明したが、本実施形態は、黄線その他の任意の車線境界線についても、同様に認識するものとすることができる。
In addition, although the above embodiment showed about the case where the white line of the right side of a motor vehicle was detected, this embodiment is applicable similarly also when the left side lane of a motor vehicle is detected.
In the above description, for the sake of convenience, the white line has been described as a recognition target. However, in the present embodiment, a yellow line and other arbitrary lane boundary lines can be similarly recognized.
１…後方カメラ、２…フレームメモリ、３…車線監視装置、４…ワークメモリ、５…スピーカ、６…表示装置。 DESCRIPTION OF SYMBOLS 1 ... Back camera, 2 ... Frame memory, 3 ... Lane monitoring apparatus, 4 ... Work memory, 5 ... Speaker, 6 ... Display apparatus.
Claims (7)
前記自動車後方を撮影する車載カメラと、
前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出手段と、
前記垂線データ算出手段が算出した各垂線データに基づいて、中心から前記着目方向について前記奥行距離離れた円弧上の位置における円の接線の垂線の方向が前記垂線方向であるものとして求めた円の半径を前記車線境界線の曲率半径として算出する曲率半径算出手段とを有することを特徴とする車線監視システム。 A lane monitoring system installed in an automobile,
An in-vehicle camera for photographing the rear of the car;
Based on the image behind the automobile imaged by the in-vehicle camera, for each position of interest that is a plurality of different positions on the lane boundary line behind the automobile reflected in the image, the side that is the position on the lane boundary line on the side of the automobile Depth that is the distance between the normal direction that is the normal direction of the lane boundary line at the position of interest and the reference direction from the lateral position to the position of interest with respect to the reference direction that is the direction of the lane boundary line at the direction position Perpendicular data calculation means for generating the distance as the perpendicular data of the target position;
Based on the respective perpendicular data calculated by the perpendicular data calculation means, the direction of the perpendicular line of the circle tangent at the position on the arc that is the depth distance away from the center in the direction of interest is the perpendicular direction. A lane monitoring system comprising: a radius of curvature calculation means for calculating a radius as a radius of curvature of the lane boundary line.
前記曲率半径算出手段は、前記垂線データ算出手段が、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出することを特徴とする車線監視システム。 The lane monitoring system according to claim 1,
The curvature radius calculation means calculates the radius of the circle based on the perpendicular data generated by the perpendicular data calculation means based on each of a plurality of images taken by the in-vehicle camera at a plurality of points in the latest past. A lane monitoring system characterized by that.
前記曲率半径算出手段で算出した曲率半径が所定のしきい値より小さい場合に、走行中の車線が直進する車線であると識別し、前記曲率半径検出ステップで算出した曲率半径が所定のしきい値より小さくない場合に、走行中の車線がカーブする車線であると識別する識別手段を有することを特徴とする車載システム。 The lane monitoring system according to claim 1 or 2,
When the curvature radius calculated by the curvature radius calculation means is smaller than a predetermined threshold value, it identifies that the running lane is a straight lane, and the curvature radius calculated in the curvature radius detection step is a predetermined threshold. An in-vehicle system, comprising: an identification unit that identifies a running lane as a curved lane when the lane is not smaller than the value.
前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さい場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を車線境界線形状として認識し、前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さくない場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する円を前記車線境界線形状として認識する車線認識手段とを有することを特徴とする車線監視システム。 The lane monitoring system according to claim 1 or 2,
When the curvature radius calculated by the curvature radius detection means is smaller than a predetermined threshold value, a straight line approximating the lane boundary line behind the automobile reflected in the image behind the automobile photographed by the in-vehicle camera is a lane boundary shape. A circle that approximates the lane boundary line behind the automobile that is reflected in the image behind the automobile taken by the in-vehicle camera when the curvature radius calculated by the curvature radius detecting means is not smaller than a predetermined threshold value. A lane monitoring system comprising: lane recognition means for recognizing a vehicle as a lane boundary shape.
前記車線認識手段が認識した車線境界線形状に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を有することを特徴とする車線監視システム。 The lane monitoring system according to claim 4,
A lane monitoring system comprising departure prediction means for predicting a departure from a running lane of the automobile based on a lane boundary shape recognized by the lane recognition means.
前記車線監視システムが、前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出ステップと、
前記車線監視システムが、前記垂線データ算出ステップで算出した各垂線データに基づいて、中心から前記着目方向について前記奥行距離離れた円弧上の位置における円の接線の垂線の方向が前記垂線方向であるものとして求めた円の半径を前記車線境界線の曲率半径として算出する曲率半径算出ステップとを有することを特徴とする車線監視システム。 In a lane monitoring system mounted on an automobile, a lane monitoring method for recognizing a running lane boundary line based on an image behind the automobile taken by an in-vehicle camera that photographs the automobile behind,
The lane monitoring system is configured based on an image behind the automobile taken by the in-vehicle camera, and for each position of interest that is a plurality of different positions on the lane boundary line behind the automobile shown in the image, the lane boundary on the side of the automobile The reference direction from the lateral position to the target position and the normal direction that is the direction of the normal of the lane boundary line at the target position with respect to the reference direction that is the direction of the lane boundary line at the side position that is a position on the line A perpendicular data calculation step for generating a depth distance, which is a distance in the direction, as perpendicular data of the target position;
Based on each perpendicular data calculated in the perpendicular data calculation step by the lane monitoring system, the perpendicular direction of the tangential line of the circle at the position on the arc that is the depth distance away from the center in the direction of interest is the perpendicular direction. A lane monitoring system, comprising: a curvature radius calculating step of calculating a radius of a circle obtained as a thing as a curvature radius of the lane boundary line.
前記曲率半径算出ステップにおいて、前記垂線データ算出ステップで、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出することを特徴とする車線監視方法。 The lane monitoring method according to claim 6,
In the radius-of-curvature calculation step, the radius of the circle is calculated based on the perpendicular data generated based on each of a plurality of images taken by the in-vehicle camera at a plurality of points in the past in the perpendicular data calculation step. Lane monitoring method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011230603A JP5832850B2 (en) | 2011-10-20 | 2011-10-20 | Lane monitoring system and lane monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011230603A JP5832850B2 (en) | 2011-10-20 | 2011-10-20 | Lane monitoring system and lane monitoring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013089111A true JP2013089111A (en) | 2013-05-13 |
| JP5832850B2 JP5832850B2 (en) | 2015-12-16 |
Family
ID=48532939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011230603A Expired - Fee Related JP5832850B2 (en) | 2011-10-20 | 2011-10-20 | Lane monitoring system and lane monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5832850B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109443374A (en) * | 2018-12-26 | 2019-03-08 | 联创汽车电子有限公司 | Lane line emerging system and its fusion method |
| CN112329553A (en) * | 2020-10-16 | 2021-02-05 | 福瑞泰克智能***有限公司 | Lane line marking method and device |
| CN112380956A (en) * | 2020-11-10 | 2021-02-19 | 苏州艾氪英诺机器人科技有限公司 | Lane judgment method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407893B (en) * | 2016-08-29 | 2019-11-22 | 东软集团股份有限公司 | A kind of method, apparatus and equipment detecting lane line |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003036500A (en) * | 2001-05-18 | 2003-02-07 | Honda Motor Co Ltd | Device for recognizing travel division line of vehicle |
| JP2007018451A (en) * | 2005-07-11 | 2007-01-25 | Toyota Motor Corp | Road boundary line detecting device |
| JP2008059324A (en) * | 2006-08-31 | 2008-03-13 | Fuji Heavy Ind Ltd | Lane deviation decision device and lane deviation evasion system |
-
2011
- 2011-10-20 JP JP2011230603A patent/JP5832850B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003036500A (en) * | 2001-05-18 | 2003-02-07 | Honda Motor Co Ltd | Device for recognizing travel division line of vehicle |
| JP2007018451A (en) * | 2005-07-11 | 2007-01-25 | Toyota Motor Corp | Road boundary line detecting device |
| JP2008059324A (en) * | 2006-08-31 | 2008-03-13 | Fuji Heavy Ind Ltd | Lane deviation decision device and lane deviation evasion system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109443374A (en) * | 2018-12-26 | 2019-03-08 | 联创汽车电子有限公司 | Lane line emerging system and its fusion method |
| CN112329553A (en) * | 2020-10-16 | 2021-02-05 | 福瑞泰克智能***有限公司 | Lane line marking method and device |
| CN112380956A (en) * | 2020-11-10 | 2021-02-19 | 苏州艾氪英诺机器人科技有限公司 | Lane judgment method |
| CN112380956B (en) * | 2020-11-10 | 2024-02-27 | 苏州艾氪英诺机器人科技有限公司 | Lane judging method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5832850B2 (en) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5421072B2 (en) | Approaching object detection system | |
| US9704047B2 (en) | Moving object recognition apparatus | |
| JP2013234902A (en) | Running lane recognition device and running lane recognition method | |
| JP2009033743A (en) | Method for recognition of object | |
| JP6778620B2 (en) | Road marking device, road marking system, and road marking method | |
| JPH11351862A (en) | Foregoing vehicle detecting method and equipment | |
| JP3961584B2 (en) | Lane marking detector | |
| JP2018092596A (en) | Information processing device, imaging device, apparatus control system, mobile body, information processing method, and program | |
| JP5832850B2 (en) | Lane monitoring system and lane monitoring method | |
| JP2010079582A (en) | Apparatus, method and program for detecting object | |
| US9824449B2 (en) | Object recognition and pedestrian alert apparatus for a vehicle | |
| JP2008309519A (en) | Object detection device using image processing | |
| JP6241172B2 (en) | Vehicle position estimation device and vehicle position estimation method | |
| JP5097681B2 (en) | Feature position recognition device | |
| JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
| JP2019504986A (en) | VISUAL SYSTEM FOR AUTOMOBILE AND METHOD FOR CONTROLLING VISUAL SYSTEM | |
| JP2015075826A (en) | Off-road dump truck | |
| JP2019053685A (en) | Image processing device | |
| JP2010262665A (en) | On-vehicle device and vehicle recognition method | |
| JP4768499B2 (en) | In-vehicle peripheral other vehicle detection device | |
| JP2007286724A (en) | Onboard information processing method, onboard information processing program, onboard information processor and onboard information processing system | |
| JP6833259B2 (en) | Object detection support device | |
| US20230347910A1 (en) | Vehicle orientation estimation system and vehicle orientation estimation method | |
| JP2012108665A (en) | Lane mark recognition device | |
| JPWO2019123582A1 (en) | Object information generator and object information generator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5832850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |