JP7065585B2 - Vehicle driving control device - Google Patents

Vehicle driving control device Download PDF

Info

Publication number
JP7065585B2
JP7065585B2 JP2017204966A JP2017204966A JP7065585B2 JP 7065585 B2 JP7065585 B2 JP 7065585B2 JP 2017204966 A JP2017204966 A JP 2017204966A JP 2017204966 A JP2017204966 A JP 2017204966A JP 7065585 B2 JP7065585 B2 JP 7065585B2
Authority
JP
Japan
Prior art keywords
vehicle
lane width
width
control
target point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017204966A
Other languages
Japanese (ja)
Other versions
JP2019077295A (en
Inventor
明博 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017204966A priority Critical patent/JP7065585B2/en
Publication of JP2019077295A publication Critical patent/JP2019077295A/en
Application granted granted Critical
Publication of JP7065585B2 publication Critical patent/JP7065585B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車両が走行する車線を認識して走行制御を行う車両の走行制御装置に関する。 The present invention relates to a vehicle travel control device that recognizes the lane in which the own vehicle travels and performs travel control.

自動車等の車両においては、道路の白線をカメラやレーダ等により検知し、検知した白線に沿って自車両を走行させる走行制御の技術が知られている。このような走行制御は、進行方向の左右両側の白線を走行車線として認識できることが前提であり、片側の白線しか検知できない場合には、制御を継続することが困難となる。 In vehicles such as automobiles, a traveling control technique is known in which a white line on a road is detected by a camera, a radar, or the like, and the vehicle is driven along the detected white line. Such traveling control is based on the premise that the white lines on both the left and right sides in the traveling direction can be recognized as the traveling lane, and if only the white line on one side can be detected, it becomes difficult to continue the control.

このため、例えば、特許文献1には、走行域認識の基準とすべき基準白線が検知できない場合には、道路側方に道路に沿って配置された特徴物と自車との相対位置により自車の走行域を認識する技術が提案されている。 Therefore, for example, in Patent Document 1, when the reference white line that should be used as the reference for recognizing the traveling area cannot be detected, the feature is arranged on the side of the road along the road and the vehicle is determined by the relative position of the vehicle. A technique for recognizing the driving range of a car has been proposed.

特開平7-19882号公報Japanese Unexamined Patent Publication No. 7-19882

しかしながら、白線を十分に検知できない状態で認識した走行域で走行制御を実行しようとしても、認識した走行域が狭い場合、それまでの走行環境から大きく変化し、ドライバに違和感や不快感を与える虞がある。 However, even if an attempt is made to execute the driving control in the recognized driving area in a state where the white line cannot be sufficiently detected, if the recognized driving area is narrow, the driving environment may change significantly from the previous driving environment, which may cause discomfort or discomfort to the driver. There is.

本発明は上記事情に鑑みてなされたもので、自車両の走行車線を認識して走行制御を行う際に、ドライバに違和感や不快感を与えることのない車両の走行制御装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and provides a vehicle travel control device that does not give a driver a sense of discomfort or discomfort when recognizing the travel lane of the own vehicle and performing travel control. I am aiming.

本発明の一態様による車両の走行制御装置は、自車両が走行する走行車線を認識して走行制御を行う車両の走行制御装置であって、自車両の進行方向の左右両側に道路の白線を認識しているとき、前記左右両側の前記白線による車線幅を基準車線幅として設定し、前記白線の左右両側の片側が欠損していると判断され、前記白線が欠損した側に立体物が認識されない場合には前記基準車線幅を保持し、前記白線が欠損した側に前記立体物が認識される場合、前記立体物と欠損していない側の前記白線とで形成される車線幅で前記基準車線幅を更新する車線幅設定部と、前記基準車線幅と予め設定した閾値とを比較し、前記基準車線幅が前記閾値以上の場合、自車両が追従走行する制御目標点を前記基準車線幅の中央位置に設定し、前記基準車線幅が前記閾値未満且つ自車両前方に先行車両が検出される場合、前記先行車両と自車両との車幅の大小関係に応じて前記制御目標点を設定し、前記基準車線幅が前記閾値未満且つ自車両前方に前記先行車両が検出されない場合、前記立体物から所定距離だけ離間した位置に前記制御目標点を設定する制御目標点設定部とを備える。 The vehicle travel control device according to one aspect of the present invention is a vehicle travel control device that recognizes the travel lane in which the own vehicle is traveling and performs travel control, and has white lines on the road on both the left and right sides in the traveling direction of the own vehicle. When recognizing, the lane width due to the white lines on both the left and right sides is set as the reference lane width, it is determined that one of the left and right sides of the white line is missing, and the three-dimensional object is recognized on the side where the white line is missing. If not, the reference lane width is maintained, and if the three-dimensional object is recognized on the side where the white line is missing, the reference is based on the lane width formed by the three-dimensional object and the white line on the non-defective side. The lane width setting unit that updates the lane width is compared with the reference lane width and a preset threshold value, and if the reference lane width is equal to or greater than the threshold value, the control target point for the own vehicle to follow is set to the reference lane width. When the reference lane width is less than the threshold value and a preceding vehicle is detected in front of the own vehicle, the control target point is set according to the magnitude relationship between the preceding vehicle and the own vehicle. When the reference lane width is less than the threshold value and the preceding vehicle is not detected in front of the own vehicle, the control target point setting unit for setting the control target point at a position separated from the three-dimensional object by a predetermined distance is provided.

本発明によれば、自車両の走行車線を認識して走行制御を行う際に、ドライバに違和感や不快感を与えることがない。 According to the present invention, when the traveling lane of the own vehicle is recognized and the traveling control is performed, the driver does not feel uncomfortable or uncomfortable.

走行制御システムの構成図Configuration diagram of the driving control system 片側白線に対して過去の車線幅を保持する走行を示す説明図Explanatory diagram showing driving that maintains the past lane width with respect to the white line on one side 片側白線と立体物で形成される車線幅における走行を示す説明図Explanatory drawing showing running in a lane width formed by a white line on one side and a three-dimensional object 片側白線と立体物で形成される車線幅における先行車両への追従走行を示す説明図Explanatory drawing showing follow-up running to a preceding vehicle in a lane width formed by a white line on one side and a three-dimensional object. 走行制御処理のフローチャートFlowchart of driving control processing

以下、図面を参照して本発明の実施の形態を説明する。図1において、符号10は、自動車等の車両の走行制御システムであり、ドライバの運転支援や車両の自律的な自動運転を含む走行制御実行する。この走行制御システム10は、走行制御装置100を中心として、外部環境認識装置20、地図情報処理装置30、エンジン制御装置40、変速機制御装置50、ブレーキ制御装置60、操舵制御装置70等が車内ネットワークを形成する通信バス150を介して互いに接続されて構成されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In FIG. 1, reference numeral 10 is a travel control system for a vehicle such as an automobile, and executes travel control including driving support of a driver and autonomous automatic driving of the vehicle. The travel control system 10 has an external environment recognition device 20, a map information processing device 30, an engine control device 40, a transmission control device 50, a brake control device 60, a steering control device 70, and the like, centered on the travel control device 100. It is configured to be connected to each other via a communication bus 150 forming a network.

外部環境認識装置20は、車載のカメラ、ミリ波レーダ、レーザレーダ等の各種デバイスにより、自車両周囲の外部環境を認識する。本実施の形態においては、外部環境認識装置20として、車載のカメラ1及び画像認識装置2による外部環境の認識を主として説明する。 The external environment recognition device 20 recognizes the external environment around the own vehicle by various devices such as an in-vehicle camera, a millimeter wave radar, and a laser radar. In the present embodiment, as the external environment recognition device 20, recognition of the external environment by the in-vehicle camera 1 and the image recognition device 2 will be mainly described.

カメラ1は、本実施の形態においては、同一対象物を異なる視点から撮像する2台のカメラ1a,1bで構成されるステレオカメラであり、CCDやCMOS等の撮像素子を有するシャッタ同期のカメラである。これらのカメラ1a,1bは、例えば、車室内上部のフロントウィンドウ内側のルームミラー近傍に所定の基線長で配置されている。 In the present embodiment, the camera 1 is a stereo camera composed of two cameras 1a and 1b that image the same object from different viewpoints, and is a shutter-synchronized camera having an image sensor such as a CCD or CMOS. be. These cameras 1a and 1b are arranged, for example, in the vicinity of the rear-view mirror inside the front window in the upper part of the vehicle interior with a predetermined baseline length.

カメラ1で撮像した左右一対の画像は、画像認識装置2で処理される。画像認識装置2は、ステレオマッチング処理により、左右画像の対応位置の画素ずれ量(視差)を求め、画素ずれ量を輝度データ等に変換して距離画像を生成する。距離画像上の点は、三角測量の原理から、自車両の車幅方向すなわち左右方向をX軸、車高方向をY軸、車長方向すなわち距離方向をZ軸とする実空間上の点に座標変換され、自車両が走行する道路の白線(車線)、障害物、自車両の前方を走行する先行車両等が3次元的に認識される。 The pair of left and right images captured by the camera 1 are processed by the image recognition device 2. The image recognition device 2 obtains the pixel shift amount (parallax) at the corresponding positions of the left and right images by the stereo matching process, converts the pixel shift amount into luminance data or the like, and generates a distance image. Based on the principle of triangular survey, points on the distance image are points in real space where the vehicle width direction, that is, the left-right direction is the X axis, the vehicle height direction is the Y axis, and the vehicle length direction, that is, the distance direction is the Z axis. The coordinates are converted, and the white line (lane) of the road on which the own vehicle travels, obstacles, the preceding vehicle traveling in front of the own vehicle, and the like are three-dimensionally recognized.

車線としての白線は、画像から白線の候補となる点群を抽出し、その候補点を結ぶ直線や曲線を算出することにより、認識することができる。例えば、画像上に設定された白線検出領域内において、水平方向(車幅方向)に設定した複数の探索ライン上で輝度が所定以上変化するエッジの検出を行って探索ライン毎に1組の白線開始点及び白線終了点を検出し、白線開始点と白線終了点との間の中間の領域を白線候補点として抽出する。 A white line as a lane can be recognized by extracting a point cloud that is a candidate for a white line from an image and calculating a straight line or a curve connecting the candidate points. For example, in the white line detection area set on the image, an edge whose brightness changes by a predetermined value or more is detected on a plurality of search lines set in the horizontal direction (vehicle width direction), and one set of white lines is set for each search line. The start point and the white line end point are detected, and the region in the middle between the white line start point and the white line end point is extracted as a white line candidate point.

そして、単位時間当たりの車両移動量に基づく白線候補点の空間座標位置の時系列データを処理して左右の白線を近似するモデルを算出し、このモデルにより、白線を認識する。白線の近似モデルとしては、ハフ変換によって求めた直線成分を連結した近似モデルや、2次式等の曲線で近似したモデルを用いることができる。 Then, a model that approximates the left and right white lines is calculated by processing the time-series data of the spatial coordinate positions of the white line candidate points based on the amount of vehicle movement per unit time, and the white lines are recognized by this model. As the approximate model of the white line, an approximate model in which linear components obtained by Hough transform are connected or a model approximated by a curve such as a quadratic equation can be used.

地図情報処理装置30は、地図データベースを備え、GPS衛星等からの信号に基づいて自車両位置を測位し、地図データとの照合を行う。地図データベースには、車両走行の経路案内や車両の現在位置を表示するための地図データと、自動運転を含む運転支援制御を行うための高精細の地図データとが含まれている。 The map information processing device 30 is provided with a map database, positions its own vehicle based on a signal from a GPS satellite or the like, and collates it with map data. The map database contains map data for displaying the route guidance of the vehicle and the current position of the vehicle, and high-definition map data for performing driving support control including automatic driving.

地図情報処理装置30は、自車両位置の測位結果と地図データとの照合に基づく走行経路案内や交通情報を、図示しない表示装置を介してドライバに提示し、また、自車両及び先行車両が走行する道路の曲率、車線幅、路肩幅等の道路形状データや、道路方位角、道路白線種別、レーン数等の走行制御用の地図情報を出力する。 The map information processing device 30 presents the driving route guidance and traffic information based on the collation of the positioning result of the own vehicle position with the map data to the driver via a display device (not shown), and the own vehicle and the preceding vehicle travel. It outputs road shape data such as road curvature, lane width, and road shoulder width, and map information for driving control such as road azimuth angle, road white line type, and number of lanes.

エンジン制御装置40は、エンジン運転状態を検出する各種センサ類からの信号及び通信バス150を介して送信される各種制御情報に基づいて、エンジン(図示せず)の運転状態を制御する。エンジン制御装置40は、例えば、吸入空気量、スロットル開度、エンジン水温、吸気温度、空燃比、クランク角、アクセル開度、その他の車両情報に基づき、燃料噴射制御、点火時期制御、電子制御スロットル弁の開度制御等を主要とするエンジン制御を実行する。 The engine control device 40 controls the operating state of the engine (not shown) based on signals from various sensors for detecting the operating state of the engine and various control information transmitted via the communication bus 150. The engine control device 40 includes fuel injection control, ignition timing control, and electronically controlled throttle based on, for example, intake air amount, throttle opening, engine water temperature, intake temperature, air-fuel ratio, crank angle, accelerator opening, and other vehicle information. It executes engine control mainly for valve opening control and the like.

変速機制御装置50は、変速位置や車速等を検出するセンサ類からの信号や通信バス150を介して送信される各種制御情報に基いて、自動変速機(図示せず)に供給する油圧を制御し、予め設定された変速特性に従って自動変速機を制御する。 The transmission control device 50 supplies hydraulic pressure to an automatic transmission (not shown) based on signals from sensors that detect a shift position, vehicle speed, etc. and various control information transmitted via a communication bus 150. It controls and controls the automatic transmission according to the preset shift characteristics.

ブレーキ制御装置60は、例えば、ブレーキスイッチ、4輪の車輪速、ハンドル角、ヨーレート、その他の車両情報に基づき、4輪のブレーキ装置(図示せず)をドライバのブレーキ操作とは独立して制御する。また、ブレーキ制御装置60は、各輪のブレーキ力に基づいて各輪のブレーキ液圧を算出して、アンチロック・ブレーキ・システムや横すべり防止制御等を行う。 The brake control device 60 controls the four-wheel brake device (not shown) independently of the driver's brake operation, based on, for example, the brake switch, the wheel speed of the four wheels, the steering wheel angle, the yaw rate, and other vehicle information. do. Further, the brake control device 60 calculates the brake fluid pressure of each wheel based on the braking force of each wheel, and performs anti-lock braking system, side slip prevention control, and the like.

操舵制御装置70は、例えば、車速、ドライバの操舵トルク、ハンドル角、ヨーレート、その他の車両情報に基づき、車両の操舵系に設けた電動パワーステアリングモータ(図示せず)によるアシストトルクを制御する。また、操舵制御装置70は、走行制御装置100からの指示により、走行車線や先行車両に追従するための操舵量で電動パワーステアリングモータを駆動制御する。 The steering control device 70 controls the assist torque by the electric power steering motor (not shown) provided in the steering system of the vehicle based on, for example, the vehicle speed, the steering torque of the driver, the steering wheel angle, the yaw rate, and other vehicle information. Further, the steering control device 70 drives and controls the electric power steering motor with a steering amount for following the traveling lane and the preceding vehicle according to the instruction from the traveling control device 100.

次に、走行制御システム10の中心となる走行制御装置100について説明する。走行制御装置100は、外部環境認識装置20による外部環境の認識結果を主として地図情報処理装置30からの情報を適宜併用することにより、走行車線内の所定位置に沿って走行する走行制御を、エンジン制御装置40、変速機制御装置50、ブレーキ制御装置60、及び操舵制御装置70を介して実行する。この走行制御は、走行制御装置100の主要部となる制御部101を中心として実行される。 Next, the travel control device 100, which is the core of the travel control system 10, will be described. The travel control device 100 controls travel along a predetermined position in the travel lane by appropriately using information from the map information processing device 30 mainly on the recognition result of the external environment by the external environment recognition device 20. It is executed via the control device 40, the transmission control device 50, the brake control device 60, and the steering control device 70. This travel control is executed centering on the control unit 101, which is the main unit of the travel control device 100.

詳細には、制御部101は、道路の白線を自車両の走行車線として検出し、この走行車線に沿った目標コースを設定する。この目標コースへの走行制御は、車線に追従する走行制御(車線追従走行制御)であり、目標コース上を設定車速で走行するよう制御する。 Specifically, the control unit 101 detects the white line of the road as the traveling lane of the own vehicle, and sets a target course along the traveling lane. The travel control to the target course is a travel control that follows the lane (lane-following travel control), and controls the vehicle to travel on the target course at a set vehicle speed.

車線追従の目標コースは、左右の白線(自車両の走行車線)の横方向(幅方向)の中心位置の軌跡Pとして設定され、例えば、左右の白線を2次曲線で近似した場合、以下の(1)式で示すことができる。(1)式において、係数K1は目標コースの曲率成分、係数K2は目標コースのヨー角成分(自車両に対する目標コースの傾き成分)、係数K3は自車両に対する目標コースの横位置成分を示している。
P=K1・Z2+K2・Z+K3 …(1)
The target course for lane tracking is set as the locus P of the center position in the lateral direction (width direction) of the left and right white lines (the driving lane of the own vehicle). For example, when the left and right white lines are approximated by a quadratic curve, the following It can be expressed by the equation (1). In equation (1), the coefficient K1 indicates the curvature component of the target course, the coefficient K2 indicates the yaw angle component of the target course (the inclination component of the target course with respect to the own vehicle), and the coefficient K3 indicates the lateral position component of the target course with respect to the own vehicle. There is.
P = K1, Z 2 + K2, Z + K3 ... (1)

この目標コースへの走行制御では、自車両の車幅方向の中心位置が目標コース上の制御目標点に一致するように、操舵制御装置70を介して自車両の操舵角を制御する。この制御目標点への操舵制御は、自車両の車線内での横位置と制御目標点との偏差に基づくフィードバック制御を主として実行される。 In the traveling control to the target course, the steering angle of the own vehicle is controlled via the steering control device 70 so that the center position of the own vehicle in the vehicle width direction coincides with the control target point on the target course. The steering control to the control target point is mainly executed by feedback control based on the deviation between the lateral position in the lane of the own vehicle and the control target point.

例えば、以下の(2)式に示すように、自車両の横位置と制御目標点との偏差に基づくフィードバック分の操舵角αfに、自車両のヨー角を目標コースのヨー角成分に一致させるためのヨー角偏差に基づくフィードバック分の操舵角αyと、目標コースの曲率に基づくフィードフォーワード分の操舵角αffとを加えて目標操舵角αrefを算出する。そして、この目標操舵角αrefを実現する目標操舵トルクで電動パワーステアリングモータが駆動制御される。
αref=αf+αy+αff …(2)
For example, as shown in the following equation (2), the yaw angle of the own vehicle is made to match the yaw angle component of the target course with the steering angle αf for the feedback based on the deviation between the lateral position of the own vehicle and the control target point. The target steering angle αref is calculated by adding the feedback steering angle αy based on the yaw angle deviation and the feed forward steering angle αff based on the curvature of the target course. Then, the electric power steering motor is driven and controlled by the target steering torque that realizes the target steering angle αref.
αref = αf + αy + αff… (2)

また、制御部101は、道路の白線が無い或いは白線を認識できない状況で、自車両前方を走行する先行車両を検出した場合には、先行車両に追従して走行する走行制御を行う。この先行車両への追従走行制御では、制御部101は、自車両の走行軌跡が先行車両の走行軌跡と一致するように操舵制御装置70を介した操舵制御を行うと共に、エンジン制御装置40、変速機制御装置50、ブレーキ制御装置60を介した走行駆動制御を実行する。 Further, when the control unit 101 detects a preceding vehicle traveling in front of the own vehicle in a situation where there is no white line on the road or the white line cannot be recognized, the control unit 101 performs traveling control to follow the preceding vehicle. In the follow-up travel control to the preceding vehicle, the control unit 101 performs steering control via the steering control device 70 so that the travel locus of the own vehicle matches the travel locus of the preceding vehicle, and the engine control device 40 and the speed change. Travel drive control is executed via the machine control device 50 and the brake control device 60.

先行車両の走行軌跡は、車線に基づく目標コースと同様に求めることができる。例えば、カメラ1の撮像画像の1フレーム当たりの自車両の移動量に基づいて先行車両の位置のフレーム毎の候補点を求め、この候補点の点群を近似する曲線を先行車両の走行軌跡として算出する。先行車両の位置は、カメラ1の撮像画像から先行車両の背面領域の横方向(車幅方向)の中心位置を求め、この中心位置を先行車両の位置を示す候補点とする。 The traveling locus of the preceding vehicle can be obtained in the same manner as the target course based on the lane. For example, a candidate point for each frame of the position of the preceding vehicle is obtained based on the movement amount of the own vehicle per frame of the image captured by the camera 1, and a curve that approximates the point cloud of this candidate point is used as the traveling locus of the preceding vehicle. calculate. For the position of the preceding vehicle, the center position in the lateral direction (vehicle width direction) of the rear region of the preceding vehicle is obtained from the image captured by the camera 1, and this center position is used as a candidate point indicating the position of the preceding vehicle.

そして、これらの候補点の点群に対して、例えば最小二乗法を適用することにより、前述の(1)式と同様の曲線を求め、この曲線を先行車両の走行軌跡とする。この場合、(1)式における係数K1は先行車両の走行軌跡の曲率成分、係数K2は先行車両の走行軌跡のヨー角成分(自車両に対する先行車両の走行軌跡の傾き成分)、係数K3は自車両に対する先行車両の走行軌跡の横位置成分を示すことになる。 Then, for example, by applying the least squares method to the point cloud of these candidate points, a curve similar to the above-mentioned equation (1) is obtained, and this curve is used as the traveling locus of the preceding vehicle. In this case, the coefficient K1 in the equation (1) is the curvature component of the traveling locus of the preceding vehicle, the coefficient K2 is the yaw angle component of the traveling locus of the preceding vehicle (the inclination component of the traveling locus of the preceding vehicle with respect to the own vehicle), and the coefficient K3 is self. The lateral position component of the traveling locus of the preceding vehicle with respect to the vehicle is shown.

先行車両の走行軌跡に追従する制御では、先行車両の背面領域の車幅方向の設定位置を制御目標点として設定し、自車両の車線内での横位置が制御目標点に一致するよう操舵角を修正することにより、自車両の進行方向を決定する制御となる。この先行車両に追従する走行制御は、基本的には車線への追従走行における操舵制御と同様であり、自車両の車線内での横位置と制御目標点との偏差に基づくフィードバック制御を主として実行される。このときの制御目標点として設定する位置は、例えば、先行車両の背面領域の車幅方向の中心位置とする。 In the control that follows the traveling locus of the preceding vehicle, the set position in the vehicle width direction in the rear region of the preceding vehicle is set as the control target point, and the steering angle is set so that the lateral position in the lane of the own vehicle matches the control target point. By modifying the above, it becomes a control to determine the traveling direction of the own vehicle. The driving control that follows the preceding vehicle is basically the same as the steering control in the driving that follows the lane, and mainly executes feedback control based on the deviation between the lateral position in the lane of the own vehicle and the control target point. Will be done. The position set as the control target point at this time is, for example, the center position in the vehicle width direction of the rear region of the preceding vehicle.

以上の走行制御では、車線としての白線は、必ずしも自車両の左右両側に存在するとは限らず、一方の白線が欠損して片側のみ白線が存在するような状況や、壁等の立体物で車線幅が狭くなるような状況もある。このような状況に対応するため、走行制御装置100は、主機能部である制御部101に対して、車線幅設定部102、制御目標点設定部103を備えることにより、ドライバの運転負荷を軽減すると共にドライバに違和感を与えることのない走行制御を可能とする。 In the above driving control, the white line as a lane does not always exist on both the left and right sides of the own vehicle, and the white line on one side is missing and the white line exists on only one side, or the lane is a three-dimensional object such as a wall. There are also situations where the width becomes narrower. In order to cope with such a situation, the travel control device 100 reduces the driver's driving load by providing the lane width setting unit 102 and the control target point setting unit 103 with respect to the control unit 101 which is the main function unit. At the same time, it enables driving control that does not give the driver a sense of discomfort.

車線幅設定部102は、走行車線としての白線の認識状態と自車両前方の走行環境の認識状態とに基づいて車線幅を設定する。具体的には、車線幅設定部102は、カメラ1の撮像画像から左右の白線が認識できる場合に左右の白線の間隔(車線幅)を記憶・保持しておき、片側の白線が欠損した場合等の実際の走行環境の変化に対応して、記憶・保持している車線幅を適宜更新し、再設定する。 The lane width setting unit 102 sets the lane width based on the recognition state of the white line as the traveling lane and the recognition state of the traveling environment in front of the own vehicle. Specifically, the lane width setting unit 102 stores and retains the distance between the left and right white lines (lane width) when the left and right white lines can be recognized from the image captured by the camera 1, and the white line on one side is missing. The lane width stored and retained is appropriately updated and reset in response to changes in the actual driving environment such as.

例えば、図2に示すように、自車両Cが左右の白線L_L,L_Rによって形成される走行車線の中央位置を制御目標点として走行中、図中に破線で示すように進行方向左側の白線L_Lが欠損している状況になった場合、そのままでは、車線中央位置が不明となって走行制御を継続できなくなる。 For example, as shown in FIG. 2, while the own vehicle C is traveling with the center position of the traveling lane formed by the left and right white lines L_L and L_R as a control target point, the white line L_L on the left side in the traveling direction as shown by a broken line in the figure. If the vehicle is missing, the center position of the lane will be unknown and driving control cannot be continued.

このような状況になった場合、車線幅設定部102は、左右の白線L_L,L_Rによる車線幅Wを、基準車線幅Wmとして記憶しておき、白線L_Lが欠損した左側に仮想的な白線Lvを設定する。そして、右側の白線L_Rと仮想的な白線Lvとによる車線幅を、基準車線幅Wmとして保持し続けることにより、両側に白線があるときと同等の制御を可能とする。 In such a situation, the lane width setting unit 102 stores the lane width W by the left and right white lines L_L and L_R as the reference lane width Wm, and the virtual white line Lv on the left side where the white line L_L is missing. To set. Then, by keeping the lane width due to the white line L_R on the right side and the virtual white line Lv as the reference lane width Wm, it is possible to perform the same control as when there are white lines on both sides.

また、図3に示すように、自車両Cが左右の白線L_L,L_Rによって形成される走行車線の中央位置を制御目標点として走行中、図中に破線で示すように進行方向左側の白線L_Lが欠損し、更に、側壁やパイロン等の立体物B1によって形成される車線幅W1が左右の白線L_L,L_Rによる車線幅Wよりも狭くなった場合、左右の白線L_L,L_Rによる車線幅Wを保持したまま走行制御を行うと、実際の車線幅に対して自車両が偏って偏走することになり、ドライバに違和感や不快感を与える虞がある。 Further, as shown in FIG. 3, while the own vehicle C is traveling with the center position of the traveling lane formed by the left and right white lines L_L and L_R as the control target point, the white line L_L on the left side in the traveling direction as shown by the broken line in the figure. If the lane width W1 formed by the three-dimensional object B1 such as a side wall or a pylon becomes narrower than the lane width W by the left and right white lines L_L and L_R, the lane width W by the left and right white lines L_L and L_R is changed. If the driving control is performed while the vehicle is held, the own vehicle will run unevenly with respect to the actual lane width, which may give the driver a sense of discomfort or discomfort.

これに対して、車線幅設定部102は、左右の白線L_L,L_Rによる車線幅Wに基づく基準車線幅Wmを、片方の白線L_Rと側壁等の立体物B1によって形成される車線幅W1で更新して再設定する。そして、再設定された車線幅での走行制御を実行させることにより、実際の車線幅に対する自車両の偏走を回避し、ドライバに違和感や不快感を与えることを防止する。 On the other hand, the lane width setting unit 102 updates the reference lane width Wm based on the lane width W by the left and right white lines L_L and L_R with the lane width W1 formed by one white line L_R and the three-dimensional object B1 such as the side wall. And reset. Then, by executing the running control in the reset lane width, it is possible to avoid the deviation of the own vehicle with respect to the actual lane width and prevent the driver from feeling uncomfortable or uncomfortable.

制御目標点設定部103は、車線幅設定部102で設定した車線幅(基準車線幅)Wmを、予め設定した閾値Wthと比較し、自車両が追従走行する制御目標点を、車線幅に基づく所定位置と自車両前方に認識される先行車両との何れか一方に設定する。閾値Wthは、ドライバに違和感を与えることなく通行可能な車線幅であり、例えば、通常の道路の車線幅が3m以上である場合、Wth=2.5mに設定される。 The control target point setting unit 103 compares the lane width (reference lane width) Wm set by the lane width setting unit 102 with the preset threshold value Wth, and sets the control target point for the own vehicle to follow based on the lane width. Set to either the predetermined position or the preceding vehicle recognized in front of the own vehicle. The threshold value Wth is a lane width that allows the driver to pass without giving a sense of discomfort. For example, when the lane width of a normal road is 3 m or more, Wth is set to 2.5 m.

具体的には、制御目標点設定部103は、車線幅設定部102で設定して記憶・保持している車線幅(基準車線幅)Wmと閾値Wthとを比較し、現在保持している車線幅Wmがドライバに違和感を与えることなく通行可能な路幅であるか否かを調べる。そして、Wm≧Wthの場合には、制御目標点を車線幅Wmの中央位置に設定し、Wm<Wthの場合、制御目標点を自車両前方の先行車両に設定する。 Specifically, the control target point setting unit 103 compares the lane width (reference lane width) Wm set and stored / held by the lane width setting unit 102 with the threshold value Wth, and the lane currently held. Check whether the width Wm is a road width that can be passed without giving the driver a sense of discomfort. When Wm ≧ Wth, the control target point is set at the center position of the lane width Wm, and when Wm <Wth, the control target point is set in the preceding vehicle in front of the own vehicle.

例えば、図4に示すように、自車両Cが左右の白線L_L,L_Rによって形成される走行車線の車線幅Wを基準車線幅Wmとして記憶し、基準車線幅Wmの中央位置を制御目標点として走行中、進行方向左側に存在する側壁やパイロン等の立体物B2によって狭い車線幅となり、立体物B2と右側の白線L_Rで形成される車線幅W2で基準車線幅Wmを更新した場合、更新後の基準車線幅Wmが閾値Wthよりも狭いか否かを調べる。 For example, as shown in FIG. 4, the own vehicle C stores the lane width W of the traveling lane formed by the left and right white lines L_L and L_R as the reference lane width Wm, and the center position of the reference lane width Wm is used as the control target point. When the reference lane width Wm is updated with the lane width W2 formed by the three-dimensional object B2 and the white line L_R on the right side due to the narrow lane width due to the side wall and the three-dimensional object B2 such as the pylon existing on the left side in the traveling direction while driving, after the update. Check whether the reference lane width Wm is narrower than the threshold Wth.

そして、Wm≧Wthの場合には、通常の走行に支障のない車線幅であるため、制御目標点を車線幅Wmの中央位置に設定する。一方、Wm<Wthの場合には、通過に際してドライバに違和感を与える虞があるため、自車両前方に先行車両が有るか否かを調べ、先行車両が有る場合には、制御目標点を先行車両Cfに設定して先行車両Cfに追従して狭路を通過することにより、ドライバに違和感や不快感を与えることを防止する。 When Wm ≧ Wth, the lane width does not interfere with normal driving, so the control target point is set at the center position of the lane width Wm. On the other hand, if Wm <Wth, the driver may feel uncomfortable when passing through. Therefore, it is investigated whether or not there is a preceding vehicle in front of the own vehicle, and if there is a preceding vehicle, the control target point is set to the preceding vehicle. By setting the Cf to follow the preceding vehicle Cf and passing through a narrow road, it is possible to prevent the driver from feeling uncomfortable or uncomfortable.

この場合、先行車両の車幅Cfと自車両Cの車幅とを比較し、先行車両Cfの車幅が自車両Cの車幅以上である場合には、制御目標点を先行車両Cfの背面の中央位置に設定し、先行車両Cfの車幅が自車両Cの車幅よりも小さい場合、立体物B2と自車両Cの側面との距離がドライバに違和感や不快感を与えることのない距離となるように制御目標点を先行車両Cfの背面の中央位置からオフセットさせる。 In this case, the vehicle width Cf of the preceding vehicle and the vehicle width of the own vehicle C are compared, and if the vehicle width of the preceding vehicle Cf is equal to or larger than the vehicle width of the own vehicle C, the control target point is set to the back surface of the preceding vehicle Cf. When the vehicle width of the preceding vehicle Cf is smaller than the vehicle width of the own vehicle C, the distance between the three-dimensional object B2 and the side surface of the own vehicle C does not cause discomfort or discomfort to the driver. The control target point is offset from the center position on the back surface of the preceding vehicle Cf so as to be.

一方、自車両前方に先行車両がいない場合には、対向車両の有無を確認し、対向車両が検出された場合にはブレーキを作動させて待機し、対向車両が検出されない場合、立体物と自車両側面との距離がドライバに違和感や不快感を与えることのない距離となるように制御目標点を設定する。 On the other hand, if there is no preceding vehicle in front of the own vehicle, the presence or absence of an oncoming vehicle is confirmed, and if an oncoming vehicle is detected, the brake is activated to stand by. The control target point is set so that the distance from the side surface of the vehicle does not cause discomfort or discomfort to the driver.

次に、走行制御装置100における走行制御のプログラム処理について、図5のフローチャートを用いて説明する。 Next, the program processing of the travel control in the travel control device 100 will be described with reference to the flowchart of FIG.

この走行制御処理では、最初のステップS1において、道路の白線を認識する処理を行い、ステップS2で先行車両や道路の側壁等の立体物を認識する処理を行う。次に、ステップS3へ進み、白線の認識結果に基づいて、現在走行中の道路に白線が有るか否かを判断する。 In this travel control process, in the first step S1, a process of recognizing a white line on the road is performed, and in step S2, a process of recognizing a three-dimensional object such as a preceding vehicle or a side wall of the road is performed. Next, the process proceeds to step S3, and it is determined whether or not there is a white line on the currently traveling road based on the recognition result of the white line.

ステップS3において、走行中の道路に白線がない場合には、ステップS3からステップS4へ進み、自車両前方に先行車両が有るか否かを調べる。先行車両が無い場合には、本システムの作動外となるため、ステップS4から一旦本処理を抜け、先行車両が有る場合、ステップS4からステップS5に進んで、先行車両への追従走行を実行する。 In step S3, if there is no white line on the traveling road, the process proceeds from step S3 to step S4, and it is checked whether or not there is a preceding vehicle in front of the own vehicle. If there is no preceding vehicle, the system will be out of operation. Therefore, the process is temporarily exited from step S4, and if there is a preceding vehicle, the process proceeds from step S4 to step S5 to follow the preceding vehicle. ..

一方、ステップS3において、道路に白線が有る場合には、ステップS3からステップS6へ進み、白線が左右両側にあるか否かを調べる。白線が左右両側にある場合には、ステップS6からステップS7へ進み、左右両側の白線による車線幅を基準車線幅Wmとして記憶・保持し、記憶した車線幅(基準車線幅)Wmの中央位置を制御目標点として走行制御を行う。ステップS6において白線が片側の場合には、ステップS6からステップS8へ進む。 On the other hand, if there is a white line on the road in step S3, the process proceeds from step S3 to step S6, and it is checked whether or not the white line is on both the left and right sides. If the white lines are on both the left and right sides, the process proceeds from step S6 to step S7, and the lane width due to the white lines on both the left and right sides is stored and held as the reference lane width Wm, and the center position of the stored lane width (reference lane width) Wm is stored. Driving control is performed as a control target point. If the white line is on one side in step S6, the process proceeds from step S6 to step S8.

ステップS8では、白線の無い側に壁等の立体物が有るか否かを調べる。白線の無い側に立体物がない場合、ステップS8からステップS9に進み、記憶した過去の車線幅(基準車線幅)Wmを保持して中央位置を制御目標点とし、両側に白線がある場合と同様の走行制御を行う。 In step S8, it is checked whether or not there is a three-dimensional object such as a wall on the side without the white line. If there is no three-dimensional object on the side without the white line, proceed from step S8 to step S9, hold the memorized past lane width (reference lane width) Wm, set the center position as the control target point, and have white lines on both sides. The same running control is performed.

一方、白線の無い側に立体物が有る場合には、ステップS8からステップS10へ進み、白線と立体物で形成される車線幅によって基準車線幅Wmを更新し、白線と立体物で形成される車線幅(更新後の基準車線幅)Wmが閾値Wth以上か否かを調べる。 On the other hand, if there is a three-dimensional object on the side without the white line, the process proceeds from step S8 to step S10, the reference lane width Wm is updated by the lane width formed by the white line and the three-dimensional object, and the white line and the three-dimensional object are formed. Check whether the lane width (reference lane width after update) Wm is equal to or greater than the threshold value Wth.

そして、Wm≧Wthの場合、ステップS10からステップS11へ進んで制御目標点を基準車線幅Wmの中央位置に設定し、白線と立体物で形成される車線幅での走行制御を行う。Wm<Wthの場合には、ステップS10からステップS12へ進んで、自車両前方に先行車両が有るか否かを調べる。 Then, when Wm ≧ Wth, the process proceeds from step S10 to step S11, the control target point is set at the center position of the reference lane width Wm, and the traveling control is performed in the lane width formed by the white line and the three-dimensional object. When Wm <Wth, the process proceeds from step S10 to step S12 to check whether or not there is a preceding vehicle in front of the own vehicle.

ステップS12において自車両前方に先行車両がない場合、ステップS12からステップS13へ進んで対向車両の有無を確認し、対向車両が検出された場合にはブレーキを作動させて待機し、対向車両が検出されない場合、立体物と自車両側面との距離がドライバに違和感や不快感を与えることのない距離となるように制御目標点を設定することで立体物から離れて走行する。 If there is no preceding vehicle in front of the own vehicle in step S12, the vehicle proceeds from step S12 to step S13 to confirm the presence or absence of an oncoming vehicle, and if an oncoming vehicle is detected, the brake is activated to stand by and the oncoming vehicle is detected. If this is not the case, the vehicle travels away from the three-dimensional object by setting the control target point so that the distance between the three-dimensional object and the side surface of the own vehicle does not cause discomfort or discomfort to the driver.

一方、ステップS12において自車両前方に先行車両が有る場合には、ステップS12からステップS5へ進み、自車両前方の先行車両に制御目標点を設定して先行車両に追従する走行制御を行う。この場合、前述したように、先行車両の車幅と自車両の車幅を比較し、制御目標点を、先行車両の背面の中央位置又は先行車両の背面の中央位置からオフセットさせた位置に設定する。 On the other hand, if there is a preceding vehicle in front of the own vehicle in step S12, the process proceeds from step S12 to step S5, a control target point is set for the preceding vehicle in front of the own vehicle, and traveling control is performed to follow the preceding vehicle. In this case, as described above, the width of the preceding vehicle and the width of the own vehicle are compared, and the control target point is set at a position offset from the center position of the back surface of the preceding vehicle or the center position of the back surface of the preceding vehicle. do.

このように本実施の形態においては、自車両の走行車線を認識して走行制御を行う際に、片側の白線が欠損していたり、壁等の立体物で車線幅が狭まっている場合には、新たに車線幅を設定し、設定した車線幅と閾値とを比較する。そして、車線幅に基づく所定位置と先行車両との何れか一方に追従走行の制御目標点を設定するので、ドライバに違和感や不快感を与えることがなく、円滑な走行制御を実行することができる。 As described above, in the present embodiment, when the traveling lane of the own vehicle is recognized and the traveling control is performed, the white line on one side is missing or the lane width is narrowed by a three-dimensional object such as a wall. , Set a new lane width and compare the set lane width with the threshold value. Then, since the control target point for the follow-up running is set in either the predetermined position based on the lane width or the preceding vehicle, smooth running control can be executed without giving the driver a sense of discomfort or discomfort. ..

1 カメラ
2 画像認識装置
10 走行制御システム
20 外部環境認識装置
100 走行制御装置
101 制御部
102 車線幅設定部
103 制御目標点設定部
1 Camera 2 Image recognition device 10 Driving control system 20 External environment recognition device 100 Driving control device 101 Control unit 102 Lane width setting unit 103 Control target point setting unit

Claims (2)

自車両が走行する走行車線を認識して走行制御を行う車両の走行制御装置であって、
自車両の進行方向の左右両側に道路の白線を認識しているとき、前記左右両側の前記白線による車線幅を基準車線幅として設定し、前記白線の左右両側の片側が欠損していると判断され、前記白線が欠損した側に立体物が認識されない場合には前記基準車線幅を保持し、前記白線が欠損した側に前記立体物が認識される場合、前記立体物と欠損していない側の前記白線とで形成される車線幅で前記基準車線幅を更新する車線幅設定部と、
前記基準車線幅と予め設定した閾値とを比較し、前記基準車線幅が前記閾値以上の場合、自車両が追従走行する制御目標点を前記基準車線幅の中央位置に設定し、前記基準車線幅が前記閾値未満且つ自車両前方に先行車両が検出される場合、前記先行車両と自車両との車幅の大小関係に応じて前記制御目標点を設定し、前記基準車線幅が前記閾値未満且つ自車両前方に前記先行車両が検出されない場合、前記立体物から所定距離だけ離間した位置に前記制御目標点を設定する制御目標点設定部と
を備えることを特徴とする車両の走行制御装置。
It is a travel control device for a vehicle that recognizes the travel lane in which the own vehicle is traveling and controls the travel.
When the white lines of the road are recognized on the left and right sides of the traveling direction of the own vehicle, the lane width due to the white lines on the left and right sides is set as the reference lane width, and it is determined that one of the left and right sides of the white line is missing. If the three-dimensional object is not recognized on the side where the white line is missing, the reference lane width is maintained, and when the three-dimensional object is recognized on the side where the white line is missing, the three-dimensional object and the non-defective side are maintained. The lane width setting unit that updates the reference lane width with the lane width formed by the white line of
The reference lane width is compared with a preset threshold value, and when the reference lane width is equal to or greater than the threshold value, the control target point for the own vehicle to follow is set at the center position of the reference lane width, and the reference lane width is set. Is less than the threshold value and the preceding vehicle is detected in front of the own vehicle, the control target point is set according to the magnitude relationship between the preceding vehicle and the own vehicle, and the reference lane width is less than the threshold value and A vehicle travel control device including a control target point setting unit that sets the control target point at a position separated from the three-dimensional object by a predetermined distance when the preceding vehicle is not detected in front of the own vehicle .
前記制御目標点設定部は、前記基準車線幅が前記閾値未満且つ自車両前方に前記先行車両が検出される場合、前記先行車両の車幅と自車両の車幅とを比較し、前記先行車両の車幅が自車両の車幅以上である場合には、前記制御目標点を前記先行車両の背面の中央位置に設定し、前記先行車両の車幅が自車両の車幅よりも小さい場合、前記立体物と自車両との距離が所定距離となるように前記制御目標点を前記先行車両の背面の中央位置からオフセットさせて設定することを特徴とする請求項1に記載の車両の走行制御装置。 When the reference lane width is less than the threshold value and the preceding vehicle is detected in front of the own vehicle, the control target point setting unit compares the width of the preceding vehicle with the width of the own vehicle, and the preceding vehicle. When the vehicle width of the vehicle is equal to or larger than the vehicle width of the own vehicle, the control target point is set at the center position on the back surface of the preceding vehicle, and when the vehicle width of the preceding vehicle is smaller than the vehicle width of the own vehicle. The traveling control of the vehicle according to claim 1 , wherein the control target point is set by being offset from the center position of the back surface of the preceding vehicle so that the distance between the three-dimensional object and the own vehicle becomes a predetermined distance. Device.
JP2017204966A 2017-10-24 2017-10-24 Vehicle driving control device Active JP7065585B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017204966A JP7065585B2 (en) 2017-10-24 2017-10-24 Vehicle driving control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017204966A JP7065585B2 (en) 2017-10-24 2017-10-24 Vehicle driving control device

Publications (2)

Publication Number Publication Date
JP2019077295A JP2019077295A (en) 2019-05-23
JP7065585B2 true JP7065585B2 (en) 2022-05-12

Family

ID=66627129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017204966A Active JP7065585B2 (en) 2017-10-24 2017-10-24 Vehicle driving control device

Country Status (1)

Country Link
JP (1) JP7065585B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006111A1 (en) * 2019-07-08 2021-01-14 日立オートモティブシステムズ株式会社 Vehicle control device
JP7407034B2 (en) * 2020-03-19 2023-12-28 本田技研工業株式会社 Travel route setting device, method and program for setting travel route

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009202708A (en) 2008-02-27 2009-09-10 Fuji Heavy Ind Ltd Steering support device
JP2010018207A (en) 2008-07-11 2010-01-28 Toyota Motor Corp Travel supporting control system
JP2010092416A (en) 2008-10-10 2010-04-22 Toyota Motor Corp Device for preventing lane deviation
JP2016218649A (en) 2015-05-19 2016-12-22 株式会社デンソー Travel support apparatus
JP2017090649A (en) 2015-11-10 2017-05-25 田中 成典 Road characteristic determination device
JP2017165309A (en) 2016-03-17 2017-09-21 株式会社Subaru Travel control device for vehicle
JP2017165311A (en) 2016-03-17 2017-09-21 株式会社Subaru Travel control device for vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009202708A (en) 2008-02-27 2009-09-10 Fuji Heavy Ind Ltd Steering support device
JP2010018207A (en) 2008-07-11 2010-01-28 Toyota Motor Corp Travel supporting control system
JP2010092416A (en) 2008-10-10 2010-04-22 Toyota Motor Corp Device for preventing lane deviation
JP2016218649A (en) 2015-05-19 2016-12-22 株式会社デンソー Travel support apparatus
JP2017090649A (en) 2015-11-10 2017-05-25 田中 成典 Road characteristic determination device
JP2017165309A (en) 2016-03-17 2017-09-21 株式会社Subaru Travel control device for vehicle
JP2017165311A (en) 2016-03-17 2017-09-21 株式会社Subaru Travel control device for vehicle

Also Published As

Publication number Publication date
JP2019077295A (en) 2019-05-23

Similar Documents

Publication Publication Date Title
JP6243931B2 (en) Vehicle travel control device
US10106161B2 (en) Vehicle travel control device
US10525973B2 (en) Vehicle traveling control device
JP6438516B2 (en) Vehicle travel control device
JP6294924B2 (en) Vehicle travel control device
JP6294928B1 (en) Vehicle travel control device
JP6552064B2 (en) Vehicle travel control system
JP6465319B2 (en) Vehicle travel control device
JP6755071B2 (en) Vehicle travel control device
JP7065649B2 (en) Vehicle driving control device
JP6898629B2 (en) Vehicle travel control device
JP6788425B2 (en) Vehicle travel control device
US9783198B2 (en) Vehicle travel control device
JP6774259B2 (en) Vehicle travel control device
JP7075245B2 (en) Lane departure prevention control device
JP7137332B2 (en) Vehicle travel control device
JP7065585B2 (en) Vehicle driving control device
JP6598303B2 (en) Vehicle travel control device
JP6598304B2 (en) Vehicle travel control device
JP7216505B2 (en) Vehicle cruise control system
JP6784633B2 (en) Vehicle travel control device
JP7467522B2 (en) Vehicle control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220426

R150 Certificate of patent or registration of utility model

Ref document number: 7065585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150