JP7365286B2 - Road shape recognition device and road shape recognition method - Google Patents
Road shape recognition device and road shape recognition method Download PDFInfo
- Publication number
- JP7365286B2 JP7365286B2 JP2020066570A JP2020066570A JP7365286B2 JP 7365286 B2 JP7365286 B2 JP 7365286B2 JP 2020066570 A JP2020066570 A JP 2020066570A JP 2020066570 A JP2020066570 A JP 2020066570A JP 7365286 B2 JP7365286 B2 JP 7365286B2
- Authority
- JP
- Japan
- Prior art keywords
- road shape
- feature point
- section
- distance
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本開示は道路形状を認識するための技術に関する。 The present disclosure relates to a technology for recognizing road shape.
道路形状を認識する際に、道路形状を示す情報、例えば、レーンマーカを用いて道路形状を推定することが行われている(例えば、特許文献1)。 When recognizing a road shape, the road shape is estimated using information indicating the road shape, such as lane markers (for example, Patent Document 1).
認識された道路形状は、例えば、運転支援制御や自動運転制御に利用されており、これら制御の精度を向上させるため、より長い距離にわたる道路形状の認識が求められている。これに対して、従来の技術では、道路形状を認識すべき距離が長くなると道路形状の認識精度が低下するという問題がある。 Recognized road shapes are used, for example, in driving support control and automatic driving control, and in order to improve the accuracy of these controls, recognition of road shapes over longer distances is required. On the other hand, in the conventional technology, there is a problem that the recognition accuracy of the road shape decreases as the distance over which the road shape must be recognized becomes long.
したがって、道路形状の認識距離が長い場合であっても、道路形状の認識精度の低下を防止または抑制することが求められている。 Therefore, even when the road shape recognition distance is long, there is a need to prevent or suppress a decrease in road shape recognition accuracy.
本開示は、以下の態様として実現することが可能である。 The present disclosure can be implemented as the following aspects.
第1の態様は、道路形状認識装置を提供する。第1の態様に係る道路形状認識装置は、予め定められたタイミングにて、道路形状を示す複数の特徴点を取得する特徴点取得部と、道路形状の認識距離を予め定められた区分距離で複数の区間に分割し、現在のタイミングで取得された現在特徴点および過去のタイミングで取得された過去特徴点を用いて前記区間毎に区間道路形状線を生成し、生成した前記区間道路形状線を接続して道路形状を決定する道路形状決定部であって、前記現在特徴点の位置と前記過去特徴点の位置が予め定められた距離範囲内にある場合には、前記現在特徴点の位置と前記過去特徴点の位置とを平均化した平均特徴点を用いて前記区間道路形状線を生成する道路形状決定部と、を備える。 A first aspect provides a road shape recognition device. The road shape recognition device according to the first aspect includes a feature point acquisition unit that obtains a plurality of feature points indicating the road shape at a predetermined timing, and a road shape recognition distance that is determined by a predetermined classification distance. Divide into a plurality of sections, generate a section road shape line for each section using current feature points acquired at the current timing and past feature points acquired at past timing, and generate the section road shape line. a road shape determining unit that determines a road shape by connecting the current feature point and the past feature point, and when the current feature point position and the past feature point position are within a predetermined distance range, the current feature point position and a road shape determination unit that generates the section road shape line using an average feature point obtained by averaging the positions of the past feature points and the positions of the past feature points.
第1の態様に係る道路形状認識装置によれば、道路形状の認識距離が長い場合であっても、道路形状の認識精度の低下を防止または抑制することができる。 According to the road shape recognition device according to the first aspect, even when the road shape recognition distance is long, it is possible to prevent or suppress a decrease in road shape recognition accuracy.
第2の態様は、道路形状認識装置を提供する。第2の態様に係る道路形状認識装置は、予め定められたタイミングにて、道路形状を示す複数の特徴点を取得する特徴点取得部と、複数の予め定められた区分距離毎に、道路形状の認識距離を前記区分距離で複数の区間に分割し、取得された前記特徴点を用いて前記区間毎に区間道路形状線を生成し、生成した前記区間道路形状線を接続して道路形状を決定する道路形状決定部であって、決定された各前記道路形状の誤差が小さくなる前記区分距離を選択し、選択された前記区分距離に対応する道路形状を選択する道路形状決定部と、を備える。 A second aspect provides a road shape recognition device. The road shape recognition device according to the second aspect includes a feature point acquisition unit that acquires a plurality of feature points indicating a road shape at a predetermined timing, and a feature point acquisition unit that acquires a plurality of feature points indicating a road shape at a predetermined timing. The recognition distance is divided into a plurality of sections by the segment distance, a section road shape line is generated for each section using the acquired feature points, and the road shape is determined by connecting the generated section road shape lines. a road shape determining unit that selects the segment distance that reduces the error of each of the determined road shapes, and selects a road shape that corresponds to the selected segment distance; Be prepared.
第2の態様に係る道路形状認識装置によれば、道路形状の認識距離が長い場合であっても、道路形状の認識精度の低下を防止または抑制することができる。 According to the road shape recognition device according to the second aspect, even when the road shape recognition distance is long, it is possible to prevent or suppress a decrease in road shape recognition accuracy.
第3の態様は、道路形状認識装置を提供する。第3の態様に係る道路形状認識装置は、予め定められたタイミングにて、道路形状を示す複数の特徴点を取得する特徴点取得部と、道路形状の認識距離を予め定められた区分距離で複数の区間に分割し、前記特徴点を用いて前記区間毎に区間道路形状線を生成する道路形状決定部であって、各前記区間道路形状線が連続するように接続して道路形状を決定する道路形状決定部と、を備える。 A third aspect provides a road shape recognition device. A road shape recognition device according to a third aspect includes a feature point acquisition unit that obtains a plurality of feature points indicating a road shape at a predetermined timing, and a road shape recognition distance that is determined by a predetermined classification distance. A road shape determination unit that divides the road into a plurality of sections and generates a section road shape line for each section using the characteristic points, and determines the road shape by connecting the section road shape lines so that they are continuous. and a road shape determination unit.
第3の態様に係る道路形状認識装置によれば、道路形状の認識距離が長い場合であっても、道路形状の認識精度の低下を防止または抑制することができる。 According to the road shape recognition device according to the third aspect, even if the road shape recognition distance is long, it is possible to prevent or suppress a decrease in road shape recognition accuracy.
第4の態様は、道路形状認識方法を提供する。第4の態様に係る道路形状認識方法は、予め定められたタイミングにて、道路形状を示す複数の特徴点を取得し、道路形状の認識距離を予め定められた区分距離で複数の区間に分割し、現在のタイミングで取得された現在特徴点および過去のタイミングで取得された過去特徴点を用いて前記区間毎に区間道路形状線を生成する際に、前記現在特徴点の位置と前記過去特徴点の位置が予め定められた距離範囲内にある場合には前記現在特徴点の位置と前記過去特徴点の位置とを平均化した平均特徴点を用いて前記区間道路形状線を生成し、生成した前記区間道路形状線を接続して道路形状を決定することを備える。 A fourth aspect provides a road shape recognition method. The road shape recognition method according to the fourth aspect acquires a plurality of feature points indicating the road shape at a predetermined timing, and divides the recognition distance of the road shape into a plurality of sections at predetermined segmentation distances. When generating a section road shape line for each section using the current feature point acquired at the current timing and the past feature point acquired at the past timing, the position of the current feature point and the past feature If the position of the point is within a predetermined distance range, the section road shape line is generated using an average feature point obtained by averaging the current feature point position and the past feature point position. and determining a road shape by connecting the section road shape lines.
第4の態様に係る道路形状認識方法によれば、道路形状の認識距離が長い場合であっても、道路形状の認識精度の低下を防止または抑制することができる。 According to the road shape recognition method according to the fourth aspect, even when the road shape recognition distance is long, it is possible to prevent or suppress a decrease in road shape recognition accuracy.
第5の態様は、道路形状認識方法を提供する。第5の態様に係る道路形状認識方法は、予め定められたタイミングにて、道路形状を示す複数の特徴点を取得し、複数の予め定められた区分距離毎に、道路形状の認識距離を前記区分距離で複数の区間に分割し、取得された前記特徴点を用いて前記区間毎に区間道路形状線を生成し、生成した前記区間道路形状線を接続して道路形状を決定する際に、決定された各前記道路形状の誤差が小さくなる前記区分距離を選択し、選択された前記区分距離に対応する道路形状を選択して道路形状を決定することを備える。 A fifth aspect provides a road shape recognition method. The road shape recognition method according to the fifth aspect acquires a plurality of feature points indicating the road shape at a predetermined timing, and calculates the recognition distance of the road shape for each of a plurality of predetermined segment distances. When dividing the road into a plurality of sections based on the segment distance, generating a section road shape line for each section using the acquired feature points, and connecting the generated section road shape lines to determine the road shape, The road shape is determined by selecting the division distance that reduces the error of each of the determined road shapes, and selecting the road shape corresponding to the selected division distance.
第5の態様に係る道路形状認識方法によれば、道路形状の認識距離が長い場合であっても、道路形状の認識精度の低下を防止または抑制することができる。 According to the road shape recognition method according to the fifth aspect, even when the road shape recognition distance is long, it is possible to prevent or suppress a decrease in road shape recognition accuracy.
第6の態様は、道路形状認識方法を提供する。第6の態様に係る道路形状認識方法は、予め定められたタイミングにて、道路形状を示す複数の特徴点を取得し、道路形状の認識距離を予め定められた区分距離で複数の区間に分割し、前記特徴点を用いて前記区間毎に区間道路形状線を生成する際に、各前記区間道路形状線が連続するように接続して道路形状を決定することを備える。 A sixth aspect provides a road shape recognition method. The road shape recognition method according to the sixth aspect acquires a plurality of feature points indicating the road shape at a predetermined timing, and divides the recognition distance of the road shape into a plurality of sections at predetermined segmentation distances. The method further includes determining a road shape by connecting each of the section road shape lines so that they are continuous when generating a section road shape line for each section using the feature points.
第6の態様に係る道路形状認識方法によれば、道路形状の認識距離が長い場合であっても、道路形状の認識精度の低下を防止または抑制することができる。 According to the road shape recognition method according to the sixth aspect, even when the road shape recognition distance is long, it is possible to prevent or suppress a decrease in road shape recognition accuracy.
本開示は、道路形状認識プログラムまたは当該プログラムを記録するコンピュータ読み取り可能記録媒体としても実現可能である。 The present disclosure can also be realized as a road shape recognition program or a computer-readable recording medium that records the program.
本開示に係る道路形状認識装置および道路形状認識方法について、いくつかの実施形態に基づいて以下説明する。 A road shape recognition device and a road shape recognition method according to the present disclosure will be described below based on several embodiments.
第1の実施形態:
図1に示すように、第1の実施形態に係る道路形状認識装置10は、例えば、車両50に搭載されて用いられる。道路形状認識装置10は、少なくとも、道路形状を決定する道路形状決定装置100を備えている。道路形状決定装置100は、特徴点取得部および道路形状決定部として機能する。道路形状決定装置100は、車両50の外界の物体を検出するための検出器20と信号線を介して接続されている。検出器20には、ミリ波レーダ21、カメラ22およびライダー(Lidar:Light Detection and Ranging)23が含まれる。なお、以下では、ミリ波レーダ21、カメラ22およびライダー23を総称して検出器20と呼ぶことがある。ミリ波レーダ21およびライダー23は、図1の例では、車両50のフロントグリル、フロントバンパに配置されており、カメラ22はフロントウィンドウの上部に配置されている。ミリ波レーダ21、カメラ22およびライダー23は、車両50の他の場所に配置されていても良く、例えば、ミリ波レーダ21およびライダー23は、車両50の側方や後方、例えば、車両50のフロントフェンダー、屋根、リヤフェンダ、リヤバンパに配置されていても良く、カメラ22は、車両50の側方や後方、例えば、車両50のフロントフェンダー、屋根、リヤフェンダ、リヤバンパ、リヤウィンドウ、ドアミラーに配置されていても良い。これら他の場所に配置されているミリ波レーダ21およびライダー23によって、目標となる方向における物体が検出され得る。ミリ波レーダ21およびライダー23は、測距装置とも呼ばれ、物体、すなわち、対象物までの距離の他、対象物の位置や特性が検出され得る。カメラ22は外界の情報を画像情報として取得する。道路形状決定装置100には、車両50の走行制御、運転支援制御あるいは自動運転制御を行うために、車両50の駆動源、操舵機構、制動機構といった被制御装置を制御するための車両制御装置40が信号線を介して接続されている。車両50には、さらに、図示しない、車両の走行状態を検出するための各種センサ、例えば、車速センサ、ヨーレートセンサ、操舵角センサが配置されている。
First embodiment:
As shown in FIG. 1, the road
図2に示すように、道路形状決定装置100は、演算部としての中央処理装置(CPU)101、記憶部としてのメモリ102、特徴点取得部としての入出力インタフェース103および図示しないクロック発生器を備えている。CPU101、メモリ102、入出力インタフェース103およびクロック発生器は内部バス104を介して双方向に通信可能に接続されている。メモリ102は、道路形状を認識するための道路形状認識プログラムPr1、Pr2、Pr3を不揮発的且つ読み出し専用に格納する格納部としてのメモリ、例えばROMと、CPU101による読み書きが可能なメモリ、例えばRAMとを含んでいる。なお、道路形状認識プログラムPr1は第1の実施形態において用いられ、道路形状認識プログラムPr2は第2の実施形態において用いられ、道路形状認識プログラムPr3は第3の実施形態において用いられる。メモリ102の書き換え可能な領域は、検出器20を介して取得された検出点または検出点を用いて生成される現在または1または複数の過去時点における特徴点を格納する特徴点憶領域102aを含んでいる。CPU101、すなわち、道路形状決定装置100は、メモリ102に格納されている道路形状認識プログラムPr1、Pr2、Pr3を読み書き可能なメモリに展開して実行することによって、道路形状決定部として機能し、さらには入出力インタフェース103と共に特徴点取得部の一部として機能し得る。なお、CPU101は、単体のCPUであっても良く、各プログラムを実行する複数のCPUであっても良く、あるいは、複数のプログラムを同時実行可能なマルチタスクタイプあるいはマルチスレッドタイプのCPUであっても良い。
As shown in FIG. 2, the road
入出力インタフェース103には、ミリ波レーダ21、カメラ22およびライダー23が検出信号線を介して接続されている。入出力インタフェース103には、車両制御装置40が双方向通信可能に接続されており、また、車両の走行状態を示す車両情報60が入力される。
A millimeter wave radar 21, a camera 22, and a lidar 23 are connected to the input/
ミリ波レーダ21は、ミリ波を射出し、物体によって反射された反射波を受信することによって、車両50に対する対象物の距離、相対速度および角度を検出するセンサである。カメラ22は、CCD等の撮像素子または撮像素子アレイを備える撮像装置であり、可視光を受光することによって対象物の外形情報または形状情報を検出結果である画像データとして出力するセンサである。ライダー23は赤外レーザ光を射出し、物体によって反射された反射光を受信することによって、車両50に対する物体の距離、相対速度および角度を検出するセンサである。本実施形態においては、各検出器20は、道路形状を示す特徴点を得るための検出点を検出するために用いられる。すなわち、検出器20によって一の対象物に対応する1種類の検出点が検出される場合には、当該検出点がそのまま特徴点として用いられ、検出器20によって複数の対象物に対応する複数種類の検出点が検出される場合には、後述するように、複数の検出点を用いて一の特徴点が取得される。道路形状を示す特徴点は、道路形状を表し得る対象物、例えば、車道にペイント、鋲、石等により描かれた、例えば、道路の中央を示す車道中央線、車線を区分する車線境界線、車道と路肩を区分する車道外側線を含む区分線、車道に沿って配置されている縁石、ガードレール等の防護柵、防音壁や遮音壁といった壁構造体から得られる検出点を用いて取得される。すなわち、対象物の表面における非平滑部に対応して、検出器20によって取得される検出点が道路形状を示す特徴点として用いられる。より具体的には、ミリ波レーダ21から射出された検出波やライダー23から射出された検出光が、例えば、区分線と路面との段差、すなわちエッジにおいて反射することにより得られる検出点、壁面上において反射することにより得られる検出点、縁石や防護柵のエッジ部において反射することにより得られる検出点が道路形状を示す特徴点として用いられ得る。また、カメラ22によって撮像された撮像データにおいて、上記した段差やエッジ部を離散的に抽出することによって得られる検出点が道路形状を示す特徴点として用いられ得る。カメラ22およびライダー23においては、段差やエッジ部は、輝度値が大きく変化する部位として検出される。さらには、自車両の周囲を走行中の他車両の走行軌跡に対応する検出点が道路形状を示す特徴点として用いられ得る。他車両の走行軌跡は、他車両における検出点や撮像データからパターンマッチング等により抽出された他車両領域における任意の位置の座標位置を経時的に取得することによって得られる。
The millimeter wave radar 21 is a sensor that detects the distance, relative speed, and angle of an object with respect to the
図3に示すように、一般的に、直線区間から曲線区間への移行を円滑にするために、道路の曲線区間と直線区間とは緩和区間を介して接続されている。緩和区間は、例えば、クロソイド曲線を用いて規定される。道路形状は、道路形状を示す特徴点DPを用いて最小二乗法によって生成される直線および曲線の少なくともいずれか一方を含むフィッティング曲線、すなわち、道路形状線L1を生成することによって決定される。道路形状の認識距離が狭いまたは短い場合、例えば、自車両VCから50m程度の場合には、フィッティング曲線L1と特徴点DPとは上手く一致し、特徴点を用いて精度の良い道路形状を認識することができる。ところが、道路形状の認識距離が、自車両VCから60m程度を超える場合には、フィッティング曲線L1と特徴点DPとが一致せず、道路形状の認識精度は低下し、さらに、曲線区間が含まれる場合には、道路形状の認識精度の低下は更に大きくなる。この問題を解決するために、道路形状の認識距離を予め定められた区分距離で複数の区間に分割し、区間毎に区間道路形状線を求め、求められた複数の区間道路形状線を接続して道路形状を決定し、認識する手法が考えられる。この場合には、特徴点DPと各区間におけるフィッティング曲線L1との一致度は向上することが期待される一方で、道路形状線の生成を分割された複数の区間毎に実行することに起因する問題も発生する。 As shown in FIG. 3, generally, in order to smoothly transition from a straight section to a curved section, a curved section of a road and a straight section are connected via a relaxation section. The relaxation section is defined using, for example, a clothoid curve. The road shape is determined by generating a fitting curve including at least one of a straight line and a curved line, that is, a road shape line L1, generated by the least squares method using feature points DP indicating the road shape. When the road shape recognition distance is narrow or short, for example, when it is about 50 meters from the host vehicle VC, the fitting curve L1 and the feature points DP match well, and the road shape can be recognized with high accuracy using the feature points. be able to. However, when the recognition distance of the road shape exceeds about 60 m from the own vehicle VC, the fitting curve L1 and the feature points DP do not match, the recognition accuracy of the road shape decreases, and furthermore, curved sections are included. In this case, the reduction in road shape recognition accuracy becomes even greater. In order to solve this problem, the recognition distance of the road shape is divided into multiple sections by a predetermined distance, the section road shape line is determined for each section, and the obtained multiple section road shape lines are connected. One possible method is to determine and recognize the road shape using In this case, while it is expected that the degree of coincidence between the feature points DP and the fitting curve L1 in each section will improve, this is due to the fact that the road shape line is generated for each divided section. Problems also arise.
本実施形態においては、認識の対象となる道路の認識距離、すなわち道路形状の認識距離、を予め定められた区分距離の複数の区間に分割することに伴い発生し得る、各区間における特徴点数の不足や欠如に伴う道路形状の認識精度の低下の抑制または防止が図られる。区分距離は認識距離を分割してえら得る区間長さを定義する距離であり、予め定められた区分距離、すなわち、各区間の距離は、フィッティング曲線の誤差が予め定められた許容値以内となる最大の長さが設定される。第1の実施形態に係る道路形状決定装置100により実行される道路形状決定処理について説明する。図4に示す処理ルーチンは、車両50の制御システムが始動された後、または、スタートスイッチがオンされた後に、予め定められた時間間隔、例えば、数ミリ秒毎に繰り返して実行される。CPU101が道路形状認識プログラムPr1を実行することによって図4に示す処理フローが実行される。
In this embodiment, the number of feature points in each section, which may occur when the recognition distance of the road to be recognized, that is, the recognition distance of the road shape, is divided into a plurality of sections with predetermined segmentation distances is reduced. It is possible to suppress or prevent a decrease in road shape recognition accuracy due to shortage or absence. The segment distance is a distance that defines the segment length that can be selected by dividing the recognition distance, and the predetermined segment distance, that is, the distance of each segment, ensures that the error of the fitting curve is within a predetermined tolerance. Maximum length is set. A road shape determination process executed by the road
CPU101は、第1タイミングで複数の過去特徴点DP1を取得し(ステップS100)、第2タイミングで複数の現在特徴点DP2を取得する(ステップS102)。取得された複数の過去特徴点DP1および複数の現在特徴点DP2は、それぞれ点群または点列群を形成する。検出点、すなわち、特徴点は、検出器20によって予め定められた時間間隔毎に取得されている。CPU101は、検出器20から特徴点をリアルタイムで取得しても良く、あるいは、検出器20によって検出され、一旦、メモリ102に格納されている特徴点を所望のタイミングで取得しても良い。第1タイミングは、現在のタイミングである第2タイミングより時間的に過去のタイミングを意味し、第2タイミングの直前の特徴点の取得タイミング、あるいは、第2タイミングの直前のタイミングよりも過去の特徴点の取得タイミングのいずれであっても良い。なお、サンプリング回数は2回に限られず、第1タイミングは過去に遡る複数回のタイミングであっても良い。複数回の第1タイミングにおける特徴点を用いることによって、サンプリング数が増大し、得られる区間道路形状線RLの信頼度は向上する。なお、本処理ルーチンの初回以降の実行時には、平均特徴点DP3が過去特徴点DP1として用いられても良く、あるいは、現在特徴点DP2が過去特徴点DP1として用いられても良い。平均特徴点DP3が過去特徴点DP1として用いられる場合には、不要な変動が抑制され、過去特徴点DP1の信頼度が向上され、また、道路形状認識の精度も向上される。
The
図5には、第1タイミングにおいて取得される過去特徴点DP1が例示されている。図5において、道路形状の認識距離は、第1区間S1~第6区間S6の6つの区間に分割されている。図6には、第2タイミングにおいて取得される現在特徴点DP2が例示されている。図6において、第4区間S4および第5区間S5には、現在特徴点DP2が存在しない。既述のように、特徴点は、対象物の非平滑部の検出結果であり、走行中の車両50の姿勢によっては、非平滑部、すなわち、エッジやエッジ部が上手く検出されないことがある。この結果、道路形状の認識距離の一部の領域において、特徴点の全部または一部が欠落する場合がある。
FIG. 5 illustrates the past feature point DP1 acquired at the first timing. In FIG. 5, the road shape recognition distance is divided into six sections, a first section S1 to a sixth section S6. FIG. 6 illustrates the current feature point DP2 acquired at the second timing. In FIG. 6, no feature point DP2 currently exists in the fourth section S4 and the fifth section S5. As described above, the feature points are the detection results of non-smooth parts of the object, and depending on the attitude of the
CPU101は、第1タイミングにおいて得られた過去特徴点DP1および第2タイミングにおいて得られた現在特徴点DP2のうち、予め定められた距離範囲内にある過去特徴点DP1および現在特徴点DP2について平均特徴点DP3を取得する(ステップS104)。なお、第1タイミングと第2タイミングとの間、車両VCは進行しているので、車両VCに対する過去特徴点DP1の相対位置は変化、すなわち、車両VCは過去特徴点DP1に近接し、車両VCと過去特徴点DP1との距離は短くなっている。そこで、本実施形態においては、図7に示すように、過去特徴点DP1を車両VCの移動量に応じた補正、すなわち、エゴモーション補正が実行され、補正過去特徴点DP1mが得られる。図7では補正過去特徴点DP1mと現在特徴点DP2とが重畳されて示されている。図8に示すように、現在特徴点DP2と補正過去特徴点DP1mとの平均特徴点DP3が算出される。なお、車両VCの移動量は、オドメータに表示するために提供される距離情報を用いることによって取得されても良く、第1タイミングと第2タイミングとの間における車両VCの平均速度と第1タイミングと第2タイミングとの時間間隔を用いて算出されても良い。図8には、平均化対象とならなかった補正過去特徴点DP1m、現在特徴点DP2並びに平均化により算出された平均特徴点DP3が示されている。
The
CPU101は、各区間における、補正過去特徴点DP1m、現在特徴点DP2および平均特徴点DP3を用いて区間道路形状線RLを生成する(ステップS106)。具体的には、CPU101は、最小二乗法を用いて、各区間に存在する各特徴点DP1m、DP2、DP3を結ぶ直線または曲線を表す二次関数を算出する。すなわち、区間道路形状線RLは、特徴点DPを用いて生成される区間単位の道路形状を示す線である。図8の例では、第1区間S1および第3区間S3については、平均特徴点DP3を用いて区間道路形状線RLが生成され、第6区間S6については、補正過去特徴点DP1mおよび平均特徴点DP3を用いて区間道路形状線RLが生成される。第4区間S4および第5区間S5については、現在特徴点DP2が存在しないので、補正過去特徴点DP1mを用いて区間道路形状線が生成される。なお、区間道路形状線RLの生成に際しては、過去のタイミング、望ましくは直前のタイミングにおいて生成された区間道路形状線RLに対する現在特徴点DP2の位置ずれ量が予め定められた判定位置ずれ量以上である場合、現在特徴点DP2を削除することが望ましい。本実施形態においては、第2区間S2において、現在特徴点DP2の位置が、過去のタイミングで生成された区間道路形状線RLから大きく外れているので、現在特徴点DP2は、平均化並びに区間道路形状線の生成に用いられる特徴点から除外される。この結果、補正過去特徴点DP1mおよび平均特徴点DP3を用いて区間道路形状線RLが生成される。このように、時系列的に異なるタイミングにおける特徴点の位置と大きく異なる位置に検出された特徴点を除外することによって、区間道路形状線RLの精度が向上される。なお、現在特徴点DP2が、過去のタイミングにおける特徴点の位置と大きく異なっているか否かの判定は、上述のように、過去のタイミングで生成された区間道路形状線RLを基準に判定されても良く、あるいは、過去のタイミングで区間道路形状線RLの生成に用いられた過去特徴点DP1または補正過去特徴点DP1mの位置を基準に判定されても良い。
The
CPU101は、各区間S1~S6に対応して生成された6つの区間道路形状線RLを接続して1の道路形状線、すなわち全区間道路形状線を生成し、生成した全区間道路形状線を用いて道路形状を決定し(ステップS108)、本処理ルーチンを終了する。決定された道路形状は、全区間道路形状線を表す二次関数、すなわち、適当な境界処理の実施を伴う各区間道路形状線RLを表す二次関数により規定される。この結果、二次関数を用いることによって、後段における道路形状に応じた運転支援や自動運転の制御が容易に実行され得る。
The
走行中の車両VCにおける特徴点の取得の一態様例について図9および図10を用いて説明する。検出器20が単一であるか複数であるか、あるいは、検出器20が単種類であるか複数種類であるかに関わらず、図9および図10は、検出器20によって、複数種類の対象物から複数種類の道路形状を示す検出点が取得される例を示している。図9および図10の例では、車線境界線LM1に対応する第1種検出点LP、壁REに対応する第2種検出点RP、他車両EVCの走行軌跡に対応する第3種検出点VPが例示されている。この他に、車道外側線または縁石LM2に対応する図示しない第4種検出点が用いられても良い。得られた複数種類の検出点LP、RP、VPを適宜組み合わせることによって、特徴点DPが取得される。例えば、車線境界線LM1の認識精度が所望の認識精度よりも高い、車両VCに近い認識距離については、第1種検出点LPが用いられる。2つの第1種検出点LPについては、2つの第1種検出点LPを結ぶ線分と、車線の中心線である平行な車線境界線LM1の中心線との交点が算出され、特徴点DPとして取得される。あるいは、予め定められている車線境界線LM1から車線境界線LM1の中心線までの距離だけ、2つの第1種検出点LPから線分を車両VCの幅方向と平行な方向に延伸させた点が特徴点DPとして取得される。道路面に対する検出器20の光軸の角度が小さくなり、車線境界線LM1の認識精度が低下する車両VCから遠方の認識距離については、第2種検出点RPや第3種検出点VPが用いられる。第2種検出点RPまたは第3種検出点VPから車両VCの幅方向と平行な方向に延伸する線分と、車線の中心線である平行する車線境界線LM1の中心線との交点が算出され、特徴点DPとして取得される。あるいは、他車両EVCの走行軌跡の位置を隣接車線の中心線と規定し、予め定められている壁REや隣接車線の中心線から車線境界線LM1の中心線までの距離だけ、第2種検出点RPや第3種検出点VPから線分を車両VCの幅方向と平行な方向に延伸させた点が特徴点DPとして取得される。図10に示すように、分割された複数の区間毎に、取得された特徴点DPを用いて区間道路形状線RLが生成される。なお、検出器20によって、一つの検出点のみが出力される場合には、出力された検出点が特徴点DPとして取得され、あるいは、出力された特徴点を車両VCの走行車線の中心に位置変換する処理を行うことにより特徴点取得される。 An example of how feature points are acquired in a running vehicle VC will be described with reference to FIGS. 9 and 10. Regardless of whether the detector 20 is single or multiple, or whether the detector 20 is of a single type or multiple types, FIGS. 9 and 10 show that the detector 20 detects multiple types of targets. An example is shown in which detection points indicating multiple types of road shapes are acquired from an object. In the examples of FIGS. 9 and 10, the first type detection point LP corresponds to the lane boundary line LM1, the second type detection point RP corresponds to the wall RE, and the third type detection point VP corresponds to the traveling trajectory of the other vehicle EVC. is exemplified. In addition to this, a fourth type detection point (not shown) corresponding to the outer road line or the curb LM2 may be used. A feature point DP is obtained by appropriately combining the obtained plural types of detection points LP, RP, and VP. For example, for a recognition distance close to the vehicle VC where the recognition accuracy of the lane boundary line LM1 is higher than the desired recognition accuracy, the first type detection point LP is used. Regarding the two first type detection points LP, the intersection between the line segment connecting the two first type detection points LP and the center line of the parallel lane boundary line LM1, which is the center line of the lane, is calculated, and the intersection point is calculated as the feature point DP. is obtained as. Alternatively, a point where a line segment is extended from the two first type detection points LP in a direction parallel to the width direction of the vehicle VC by the distance from the predetermined lane boundary line LM1 to the center line of the lane boundary line LM1. is acquired as the feature point DP. For recognition distances far from the vehicle VC where the angle of the optical axis of the detector 20 with respect to the road surface becomes small and the recognition accuracy of the lane boundary line LM1 decreases, the second type detection point RP and the third type detection point VP are used. It will be done. The intersection point between a line segment extending from the second type detection point RP or the third type detection point VP in a direction parallel to the width direction of the vehicle VC and the center line of the parallel lane boundary line LM1, which is the center line of the lane, is calculated. and is acquired as a feature point DP. Alternatively, the position of the travel trajectory of the other vehicle EVC is defined as the center line of the adjacent lane, and the second type detection is performed only by the distance from the predetermined wall RE or the center line of the adjacent lane to the center line of the lane boundary line LM1. A point obtained by extending a line segment from the point RP or the third type detection point VP in a direction parallel to the width direction of the vehicle VC is acquired as a feature point DP. As shown in FIG. 10, a section road shape line RL is generated for each of the plurality of divided sections using the acquired feature points DP. Note that when only one detection point is output by the detector 20, the output detection point is acquired as a feature point DP, or the output feature point is located at the center of the driving lane of the vehicle VC. Feature points are acquired by performing conversion processing.
以上説明した第1の実施形態に係る道路形状認識装置10によれば、道路形状の認識距離を予め定められた区分距離の複数の区間に分割するので、道路形状の認識距離が長い場合における道路形状の認識精度の低下を抑制または防止することができる。また、第1の実施形態に係る道路形状認識装置10によれば、過去特徴点DP1および現在特徴点DP2、並びに現在特徴点DP2の位置と過去特徴点DP1の位置が予め定められた距離範囲内にある場合に求められる平均特徴点DP3とを用いて区間毎に区間道路形状線RLを生成し、生成した区間道路形状線RLを接続して道路形状を決定するので、現在特徴点DP2のみを用いる場合に発生し得る、複数の区間毎に道路形状線が生成される場合に生ずる、特徴点の欠落や不足による区間道路形状線の生成精度の低下を抑制または防止することが可能となる。さらには、平均特徴点DP3は、過去特徴点DP1または補正過去特徴点DP1mと現在特徴点DP2とが近接している場合にのみ生成されるので、平均特徴点DP3の信頼度は高く、また、平均特徴点DP3を生成できない現在特徴点DP2は用いられないので、平均特徴点DP3という概念を導入することにより区間道路形状線の生成精度を向上させることが可能となり、道路形状の認識精度の低下を抑制または防止、さらには、道路形状の認識精度を向上させることができる。
According to the road
第1の実施形態に係る道路形状認識装置10によれば、過去特徴点DP1を用いる際にエゴモーション補正を行った補正過去特徴点DP1mが用いられるので、自車両VCの移動を反映することが可能となり、道路形状の認識精度をさらに向上させることができる。
According to the road
第1の実施形態に係る道路形状認識装置10によれば、平均特徴点DP3が用いられるので、第1タイミングにおける全区間道路形状線と第2タイミングにおける全区間道路形状線を重畳させた際に、過去特徴点DP1および現在特徴点DP2をそれぞれ特徴点憶領域102aに格納する場合と比較して、メモリ102または特徴点憶領域102aに求められる記憶容量を低減することができる。
According to the road
第1の実施形態においては、平均特徴点DP3を取得する際に、複数種類の検出点について信頼度が考慮されていない。これに対して、複数種類の検出点について信頼度を考慮した上で、重み付け平均処理により加重平均された平均特徴点DP3が取得されても良い。一般的に、車線境界線LM1の検出精度は高いので、例えば、第1種検出点LPには90%の信頼度が割り当てられ、壁REは車線境界線LM1と比較して存在確率が低く、また、合流や分岐地点を始めとして自車両VCの走行車線に沿った形状を有していないこともあるため、さらに、第2種検出点RPは、遠方の道路形状の検出に用いられるので、例えば、第2種検出点RPには70%の信頼度が割り当てられ、他車両EVCの走行軌跡は、車線境界線LM1と比較して存在確率が低く、第3種検出点VPは遠方の道路形状の検出に用いられる一方で、他車両EVCは自車両VCの走行車線に沿う軌跡を描いて走行する可能性が高いので、例えば、第3種検出点VPには80%の信頼度が割り当てられる。さらに、エゴモーション補正された特徴点の信頼度は、補正が行われているので、例えば、10%程度低く設定される。この信頼度を用いて図8に示す例を用いて説明する。区間S1~S3については、第1種検出点LPが用いられるので、例えば、過去特徴点DP1に対して90%の信頼度が割り当てられる一方で、エゴモーション補正により信頼度は80%に設定される。現在特徴点DP2に対しても90%の信頼度が割り当てられる。この結果、平均特徴点DP3の信頼度は85%となる。平均特徴点DP3が次回の過去特徴点DP1として用いられる場合には、信頼度は85%に対してエゴモーション補正が施された、例えば、75%が平均特徴点DP3の信頼度として割り当てられる。また、平均特徴点DP3の座標(x3,y3)は、補正過去特徴点DP1mの座標(x1,y1)および現在特徴点DP2の座標(x2,y2)に対して、x3=(80x1+90x2)/170、y3=(80y1+90y2)/170として取得される。区間S6については、第2種検出点RPおよび第3種検出点VPが用いられるので、例えば、過去特徴点DP1に対して70%の信頼度が割り当てられ、エゴモーション補正により信頼度は60%に設定される。現在特徴点DP2が第3種検出点VPにより得られる場合には、80%の信頼度が割り当てられる。この結果、平均特徴点DP3の信頼度は70%となる。平均特徴点DP3が次回の過去特徴点DP1として用いられる場合には、信頼度は70%に対してエゴモーション補正が施された、例えば、60%が平均特徴点DP3の信頼度として割り当てられる。また、平均特徴点DP3の座標(x3,y3)は、補正過去特徴点DP1mの座標(x1,y1)および現在特徴点DP2の座標(x2,y2)に対して、x3=(60x1+80x2)/140、y3=(60y1+80y2)/140として取得される。なお、過去特徴点DP1または補正過去特徴点DP1mのうち、平均特徴点DP3の算出に用いられなかった、あるいは、用いられた回数の少ない特徴点DP1、DP1mについては、より低い信頼度が付与されても良い。この場合、平均特徴点DP3に用いられない、誤差の大きな特徴点の重みが小さくなるため、区間道路形状線の精度の低下の抑制または精度の向上を図ることができる。 In the first embodiment, when acquiring the average feature point DP3, the reliability of multiple types of detection points is not taken into account. On the other hand, the weighted average feature point DP3 may be obtained by weighted averaging processing after considering the reliability of a plurality of types of detection points. In general, the detection accuracy of the lane boundary line LM1 is high, so for example, the first type detection point LP is assigned a reliability of 90%, and the existence probability of the wall RE is low compared to the lane boundary line LM1. In addition, since there may be cases where the shape does not follow the driving lane of the host vehicle VC, including merging and branching points, the second type detection point RP is used to detect the shape of the road in the distance. For example, the second type detection point RP is assigned a reliability of 70%, the travel trajectory of another vehicle EVC has a lower probability of existence compared to the lane boundary line LM1, and the third type detection point VP is located on a distant road. While it is used for shape detection, there is a high possibility that the other vehicle EVC will travel along a trajectory along the driving lane of the own vehicle VC, so for example, a reliability of 80% is assigned to the third type detection point VP. It will be done. Furthermore, the reliability of the ego-motion-corrected feature points is set low, for example, by about 10%, because the correction has been performed. This reliability will be used to explain the example shown in FIG. 8. For the sections S1 to S3, since the first type detection point LP is used, for example, while a reliability of 90% is assigned to the past feature point DP1, the reliability is set to 80% due to ego motion correction. Ru. A reliability of 90% is also assigned to the current feature point DP2. As a result, the reliability of the average feature point DP3 is 85%. When the average feature point DP3 is used as the next past feature point DP1, ego motion correction is applied to the reliability of 85%, for example, 75% is assigned as the reliability of the average feature point DP3. Also, the coordinates (x3, y3) of the average feature point DP3 are x3 = (80x1 + 90x2) / 170 with respect to the coordinates (x1, y1) of the corrected past feature point DP1m and the coordinates (x2, y2) of the current feature point DP2. , y3=(80y1+90y2)/170. For the section S6, since the second type detection point RP and the third type detection point VP are used, for example, 70% reliability is assigned to the past feature point DP1, and the reliability is 60% due to ego motion correction. is set to If the current feature point DP2 is obtained by the third type detection point VP, a reliability of 80% is assigned. As a result, the reliability of the average feature point DP3 is 70%. When the average feature point DP3 is used as the next past feature point DP1, ego motion correction is applied to the reliability of 70%, for example, 60% is assigned as the reliability of the average feature point DP3. Also, the coordinates (x3, y3) of the average feature point DP3 are x3 = (60x1 + 80x2) / 140 with respect to the coordinates (x1, y1) of the corrected past feature point DP1m and the coordinates (x2, y2) of the current feature point DP2. , y3=(60y1+80y2)/140. Note that among the past feature points DP1 or corrected past feature points DP1m, lower reliability is assigned to feature points DP1 and DP1m that were not used for calculating the average feature point DP3 or were used less frequently. It's okay. In this case, the weight of feature points with large errors that are not used for the average feature point DP3 is reduced, so that it is possible to suppress a decrease in accuracy of the section road shape line or to improve the accuracy.
第1の実施形態において、エゴモーション補正は実行されなくても良い。例えば、過去特徴点DP1の精度の低下が考慮されない場合、または無視できる程度である場合には、エゴモーション補正が実行されなくても良い。 In the first embodiment, egomotion correction may not be performed. For example, if the decrease in accuracy of the past feature point DP1 is not taken into consideration or is negligible, ego motion correction may not be performed.
第2の実施形態:
第2の実施形態に係る道路形状認識装置は、道路形状の決定に際して、道路形状の認識距離を区分する距離として予め定められた複数の区分距離を用意し、予め定められた区分距離毎に、認識距離を区分距離で複数の区間に分割し、分割された区間毎に生成された区間道路形状線を接続して得られた道路形状の誤差が小さくなる区分距離を複数の区分距離の中から選択し、選択した区分距離に対応する道路形状を選択する点において、第1の実施形態に係る道路形状決定装置100とは異なる。但し、相違点は、道路形状認識プログラムPr2によって実行される道路形状決定処理にあり、第2の実施形態に係る道路形状認識装置の構成は、第1の実施形態に係る道路形状認識装置10と同様であるから、同一の符号を付すことで説明を省略する。
Second embodiment:
When determining the road shape, the road shape recognition device according to the second embodiment prepares a plurality of predetermined segmentation distances as distances for segmenting the road shape recognition distance, and for each predetermined segmentation distance, Divide the recognition distance into multiple sections using segment distances, connect the segment road shape lines generated for each segment, and choose a segment distance from among the multiple segment distances that will reduce the error in the road shape obtained. This differs from the road
第1の実施形態において述べたように、道路形状の認識距離が長く、一のフィッティング曲線を用いる場合、フィッティング曲線と特徴点とが一致しなくなる傾向が強くなり、道路形状の認識精度は低下する。この問題を解決するために、道路形状の認識距離を複数の区間に区分する対応を取る場合、固定された予め定められた区分距離を用いると以下の問題が更に生じ得る。すなわち、予め定められた区分距離が長く、道路形状が急曲線を含む場合には、依然としてフィッティング曲線と特徴点とが一致しない傾向が強くなる。これに対して、図11に示すように、予め定められた区分距離が短く、道路形状が直線または緩曲線を含む場合には、特徴点の誤検出、すなわち、ノイズによって区間毎のフィッティング曲線、すなわち、全区間道路形状線L1がばらつく傾向が強くなる。図11の例では、第4区間S4および第5区間S5に見られる。いずれの場合にも、道路形状の認識精度は低下する。第2の実施形態に係る道路形状決定装置100は、図12に示すように認識対象となる実際の道路形状に応じて、認識距離を区分する区分距離を、予め複数用意し、複数の区分距離毎にフィッティング曲線、すなわち、区間道路形状線を生成し、道路形状を決定する。第2の実施形態に係る道路形状認識装置10はさらに、実際の道路形状に応じて、道路形状の誤差が小さくなる区分する区分距離を選択し、選択した区分距離に対応する区間道路形状線を用いて決定された道路形状を用いる。
As described in the first embodiment, when the road shape recognition distance is long and one fitting curve is used, there is a strong tendency that the fitting curve and the feature points do not match, and the road shape recognition accuracy decreases. . In order to solve this problem, if the recognition distance of the road shape is divided into a plurality of sections, the following problem may occur if a fixed, predetermined division distance is used. That is, when the predetermined segment distance is long and the road shape includes a sharp curve, there is still a strong tendency that the fitting curve and the feature points do not match. On the other hand, as shown in FIG. 11, when the predetermined segment distance is short and the road shape includes a straight line or a gentle curve, false detection of feature points occurs, that is, the fitting curve for each section due to noise. That is, there is a strong tendency for the road shape line L1 for all sections to vary. In the example of FIG. 11, this can be seen in the fourth section S4 and the fifth section S5. In either case, the recognition accuracy of the road shape decreases. As shown in FIG. 12, the road
図12においてSRoadは、道路が直線または緩曲線を含む場合を例示しており、区分距離D11毎に第1区間S1および第2区間S2の2区間に区分されている。区分距離D11は、例えば、40~60m程度の長さである。各区間S1、S2に対応して特徴点DPを近似する区間道路形状線RLが生成され、生成された区間道路形状線RLが接続されることで道路形状を示す全区間道路形状線L1が決定される。図12においてCRoadは、道路が急曲線を含む場合を例示しており、区分距離D11よりも短い区分距離D12毎に第1区間S1~第5区間S5の5区間に区分されている。各区間S1~S5に対応して特徴点DPを近似する区間道路形状線RLが生成され、生成された区間道路形状線RLが接続されることで道路形状を示す全区間道路形状線L2が決定される。認識距離を分割する際に用いられる複数の予め定められた区分距離は、道路が直線または緩曲線を含む場合よりも道路が急曲線を含む場合の方が短い。 In FIG. 12, SRoad exemplifies a case where the road includes a straight line or a gentle curve, and is divided into two sections, a first section S1 and a second section S2, for each section distance D11. The segment distance D11 is, for example, about 40 to 60 m. A section road shape line RL that approximates the feature point DP is generated corresponding to each section S1, S2, and the entire section road shape line L1 indicating the road shape is determined by connecting the generated section road shape lines RL. be done. In FIG. 12, CRoad exemplifies a case where the road includes a sharp curve, and is divided into five sections, ie, a first section S1 to a fifth section S5, for each section distance D12 that is shorter than the section distance D11. A section road shape line RL that approximates the feature point DP is generated corresponding to each section S1 to S5, and the entire section road shape line L2 indicating the road shape is determined by connecting the generated section road shape lines RL. be done. The plurality of predetermined division distances used when dividing the recognition distance are shorter when the road includes a sharp curve than when the road includes a straight line or a gentle curve.
第2の実施形態に係る道路形状認識装置10により実行される道路形状決定処理について説明する。図13に示す処理ルーチンは、車両50の制御システムが始動された後、または、スタートスイッチがオンされた後に、予め定められた時間間隔、例えば、数ミリ秒毎に繰り返して実行される。CPU101が道路形状認識プログラムPr2を実行することによって図13に示す処理フローが実行される。なお、具体的な、特徴点の取得手順、特徴点を用いる区間道路形状線の生成手順は第1の実施形態において説明済みであるから詳細な説明は省略する。
The road shape determination process executed by the road
CPU101は、特徴点DPを取得し(ステップS200)、第1区分距離および第2区分距離における道路形状を決定する(ステップS202)。図12および図13の例では、予め定められた区分距離、すなわち、区間距離として、区分距離D11に対応する第1区分距離D11および区分距離D12に対応する第2区分距離D12の2つの区分距離が用いられる。なお、第1および第2の区分距離とは異なる他の複数の区分距離が用いられても良い。CPU101は、予め定められた区分距離毎に各区間に含まれる各特徴点を結ぶ近似曲線である区間道路形状線を生成し、生成した区間道路形状線を接続して全区間道路形状線を生成し、道路形状を決定する。既述の通り、CPU101は、常に、第1区分距離D11および第2区分距離D12の2つの区分距離に対応する全区間道路形状線を生成する。
The
CPU101は、第1区分距離D11および第2区分距離D12に対応する道路形状のうち、誤差が小さい区分距離を選択する(ステップS204)。具体的には、CPU101は、より長い区分距離D11を用いて生成された全区間道路形状線の曲線部分における曲率を求め、求められた曲率が判定閾値以上の場合に、区分距離D11を用いて得られる道路形状の誤差は、区分距離D12を用いて得られる道路形状の誤差よりも大きくなると判定する。既述の通り、短い区分距離D12を用いる場合には、特徴点に関するノイズによって全区間道路形状線の精度が低下するので、曲率の判定精度が低下する。そこで、より長い区分距離D11を用いて得られる全区間道路形状を用いて曲率が判定される。曲率が大きい場合には、急曲線が含まれていることを意味するので、上述の理由によって、CPU101は、短い区分距離D12を用いて決定された道路形状の誤差の方が長い区分距離D11を用いて決定された道路形状の誤差よりも小さいと判断する。一方、曲率が小さい場合には、直線または緩曲線が含まれていることを意味するので、上述の理由によって、CPU101は、長い区分距離D11を用いて決定された道路形状の誤差の方が短い区分距離D12を用いて決定された道路形状の誤差よりも小さいと判断する。なお、曲率の大小を判定する判定しきい値は、区分距離とフィッティング曲線、すなわち、全区間道路形状線の次数が決まると、対応可能な曲率の上限値が決まるので、当該上限曲率値が判定しきい値に設定される。例えば、第1区分距離D11として50mが用いられる場合には、曲率1/R100が判定しきい値として用いられ得る。道路形状の誤差は、このほかに、各特徴点と全区間道路形状線との誤差を算出して、算出された誤差の平均値、中央値、最大値等を用いて統計的に判定されても良い。
The
CPU101は、決定された誤差の小さい区分距離に対応する全区間道路形状線を道路形状に決定し(ステップS206)、本処理ルーチンを終了する。
The
以上説明した第2の実施形態に係る道路形状認識装置10によれば、予め定められた複数の区分距離毎に、道路形状の認識距離を区分距離で複数の区間に分割して区間道路形状線を生成し、道路形状を決定し、道路形状の誤差が小さくなる区分距離を選択し、選択された区分距離に対応する道路形状を選択するので、道路形状の認識距離が長い場合における道路形状の認識精度の低下を抑制または防止することができる。より具体的には、第2の実施形態に係る道路形状認識装置10によれば、道路形状の曲率が判定しきい値未満の場合、すなわち、直線または緩曲線の場合には、予め定められた区分距離として長い区分距離を用いて生成された全区間道路形状線を道路形状として決定し、道路形状の曲率が判定しきい値以上の場合、すなわち、道路形状が急曲線を含む場合には、予め定められた区分距離として短い区分距離を用いて生成された全区間道路形状線を道路形状として決定する。この結果、道路形状に応じた、すなわち、道路形状に対して誤差が小さくなる区分距離で道路形状の認識距離を複数の区間に区分し、区間道路形状線を生成することが可能となり、道路形状の認識距離を複数の区間に区分する際における、区分距離と道路形状との不適合を低減または防止して、道路形状の認識精度の低下の抑制または認識精度の向上を図ることができる。すなわち、第2の実施形態に係る道路形状認識装置10は、認識対象となる道路に、急曲線が含まれず、道路形状の誤差が小さいと判断できる場合には、長い区分距離を採用して道路形状を決定するので、短い区分距離を用いる場合に生ずる特徴点DPのノイズに起因する区間道路形状線RLのばらつきを抑制または防止することができる。
According to the road
上記の第2の実施形態の説明においては、2つの区分距離を用いる例を用いて説明したが、3つ以上の区分距離が用いられ、3つ以上の区分距離に応じて生成された全区間道路形状線の曲率に応じて区分距離が選択され、道路形状が決定されてもよい。さらに、区分距離を予め用意することなく、基準となる区分距離により生成された全区間道路形状線の曲率に応じて、動的に区分距離が設定され、設定された区分距離を用いて区間道路形状線並びに全区間道路形状線が生成され、道路形状が決定されても良い。動的な区分距離の決定は、例えば、曲率に対して適当な区分距離を予め実験的にまたは経験的に定めておき、曲率と区分距離との対応関係を示すマップを用いることにより実現され得る。 In the description of the second embodiment above, the explanation was given using an example using two segment distances, but three or more segment distances are used, and the entire interval generated according to the three or more segment distances. The segment distance may be selected according to the curvature of the road shape line, and the road shape may be determined. Furthermore, without preparing the segment distance in advance, the segment distance is dynamically set according to the curvature of the entire section road shape line generated from the reference segment distance, and the segment distance is automatically set using the set segment distance. The shape line and the road shape line for all sections may be generated, and the road shape may be determined. Dynamic determination of the segment distance can be realized, for example, by determining an appropriate segment distance for the curvature experimentally or empirically in advance, and using a map showing the correspondence between the curvature and the segment distance. .
第3の実施形態:
第3の実施形態に係る道路形認識定装置は、道路形状の決定に際して、道路形状の認識距離を予め定められた区分距離で分割することにより得られた複数の区間に対して生成された区間道路形状線を接続する際に、各区間道路形状線を連続して接続して全区間道路形状線を得る点において、第1の実施形態に係る道路形状認識装置10とは異なる。但し、相違点は、道路形状認識プログラムPr3によって実行される道路形状決定処理にあり、第3の実施形態に係る道路形状認識装置の構成は、第1の実施形態に係る道路形状認識装置10と同様であるから、同一の符号を付すことで説明を省略する。
Third embodiment:
In determining the road shape, the road shape recognition determination device according to the third embodiment generates sections for a plurality of sections obtained by dividing the road shape recognition distance by a predetermined segment distance. This embodiment differs from the road
図14の参考例として示すように、道路形状の認識距離を複数の区間に分割する場合、各区間の境界または境界近傍における特徴点DPが欠落する場合、あるいは、特徴点DPの数が少ない場合には、境界における区間道路形状線RL1、RL2の連続性が損なわれることがある。なお、連続性とは、2つの線分が滑らかに接続されることを意味し、2つの直線の端点が一致することや、端点における繋がりが滑らかであること、すなわち、傾きの変化が小さいことによって規定され得る。これらの事象は、認識距離が複数の区間に分割されて各区間に存在する特徴点DPを用いて区間道路形状線RL1、RL2が生成されること、複数の区間の境界近傍における特徴点の連続性が満たされないことに起因して発生する。そこで、第3の実施形態に係る道路形状認識装置10は、特徴点DPを用いて区間毎に区間道路形状線RL1、RL2を生成する際に、各区間道路形状線が連続するように接続して道路形状を決定する。より具体的には、第3の実施形態に係る道路形状認識装置10は、自車両VCに近い区間の近接区間道路形状線と連続するように、自車両VCから遠い区間、すなわち、近接区間道路形状線よりも自車両VCから離間している区間の離間区間道路形状線を生成する。この結果、図14に第3の実施形態として示す区間道路形状線RL2並びに全区間道路形状線RL1+RL2を得ることができる。
As shown as a reference example in FIG. 14, when the recognition distance of a road shape is divided into multiple sections, when feature points DP are missing at or near the boundaries of each section, or when the number of feature points DP is small , the continuity of the section road shape lines RL1 and RL2 at the boundary may be impaired. Continuity means that two line segments are connected smoothly, and that the end points of the two straight lines match or that the connection at the end points is smooth, that is, the change in slope is small. can be defined by These events include the fact that the recognition distance is divided into multiple sections and the section road shape lines RL1 and RL2 are generated using the feature points DP that exist in each section, and that the feature points are continuous near the boundaries of the multiple sections. It occurs due to sexual unfulfillment. Therefore, when generating the section road shape lines RL1 and RL2 for each section using the feature points DP, the road
第3の実施形態に係る道路形状認識装置10により実行される道路形状決定処理について説明する。図15に示す処理ルーチンは、車両50の制御システムが始動された後、または、スタートスイッチがオンされた後に、予め定められた時間間隔、例えば、数ミリ秒毎に繰り返して実行される。CPU101が道路形状認識定プログラムPr3を実行することによって図13に示す処理フローが実行される。なお、具体的な、特徴点DPの取得手順、特徴点DPを用いる区間道路形状線の生成手順は第1の実施形態において説明済みであるから詳細な説明は省略する。
A road shape determination process executed by the road
CPU101は、特徴点DPを取得し(ステップS300)、自車両VCに最近接の区間の近接区間における特徴点DPを用いて近接区間道路形状線RL1を生成する(ステップS302)。具体的には、CPU101は、最小二乗法によって、近接区間道路形状線RL1を表す二次関数f(x)=a1x2+b1x+c1を求める。CPU101は、生成した近接区間道路形状線RL1に続く離間区間道路形状線RL2が近接区間道路形状線RL1に連続して接続するように離間区間道路形状線を生成する(ステップS304)。具体的には、以下の通りである。CPU101は、離間区間道路形状線RL2を二次関数g(x)=a2x2+b2x+c2によって定義する。近接区間道路形状線RL1と離間区間道路形状線RL2が区間の境界で連続する連続条件は、
・Y座標位置(横位置):f(x1)=g(x1)、
・接続点における傾き:f’(x1)=g’(x1)、であり、
離間区間道路形状線RL2は、最離間点EP(y2、x2)を通過するので、
・最離間点通過条件:g(x2)=y2
となる。CPU101は、これら条件を満たす3つの未知係数(a2、b2、c2)を求めることによって、離間区間道路形状線RL2を示す二次関数g(x)=a2x2+b2x+c2を生成する。
The
・Y coordinate position (horizontal position): f(x1) = g(x1),
・Slope at the connection point: f'(x1)=g'(x1),
Since the separated section road shape line RL2 passes through the farthest point EP (y2, x2),
・Farthest point passage condition: g(x2)=y2
becomes. The
CPU101は、生成された近接区間道路形状線RL1および離間区間道路形状線RL2を用いて全区間道路形状線を生成することにより道路形状を決定し(ステップS206)、本処理ルーチンを終了する。
The
以上説明した第3の実施形態に係る道路形状認識装置10によれば、道路形状の認識距離を予め定められた区分距離の複数の区間に分割し、特徴点を用いて区間毎に区間道路形状線を生成する際に、各区間道路形状線が連続するように接続して道路形状を決定するので、道路形状の認識距離が長い場合における道路形状の認識精度の低下を抑制または防止することができる。より具体的には、第3の実施形態に係る道路形状認識装置10によれば、自車両VCに近い区間の近接区間道路形状線RL1を生成し、近接区間道路形状線に続く、自車両VCから離間している区間の離間区間道路形状線RL2を連続して接続する。この結果、道路形状の認識距離を複数の区間に分割する場合に課題となる、各区間の境界または境界近傍における特徴点DPの欠落、あるいは、特徴点DPの不足に伴う区間道路形状線RL1、RL2の連続性の欠如を防止または低減することができる。この結果、区間道路形状線RL1、RL2が接続されることによって得られる全区間道路形状線の精度並びに信頼度が向上し、道路形状の認識精度が向上する。すなわち、各区間の境界または境界近傍における特徴点DPが欠落、あるいは、特徴点DPが不足する場合であっても、全区間道路形状線の精度の低下を抑制、あるいは、精度の向上を図ることができる。
According to the road
第3の実施形態においては、道路形状が2つの区間に区分される場合について説明したが、3つ上の区間に区分される場合であっても同様である。すなわち、自車両VCに最も近接する最近接区間において区間道路形状線を生成し、続く区間の区間道路形状線が上述の連続条件を満たすように生成され、さらに続く区間の区間道路形状線が上述の連続条件を満たすように生成される。この処理が、最離間区間に至るまで実行されれば良い。 In the third embodiment, the case where the road shape is divided into two sections has been described, but the same applies even when the road shape is divided into three sections. That is, a section road shape line is generated in the nearest section closest to the host vehicle VC, a section road shape line for the subsequent section is generated so as to satisfy the above-mentioned continuity condition, and a section road shape line for the subsequent section is generated as described above. generated to satisfy the continuity condition. It is sufficient that this process is executed until the farthest interval is reached.
第3の実施形態においては、近接区間道路形状線RL1が最小二乗法により生成されたが、各区間における特徴点DP数に応じて最小二乗法により生成される区間道路形状線が決定されても良い。例えば、離隔区間における特徴点DP数が多い場合には、離間区間道路形状線RL2が最小二乗法により生成され、近接区間道路形状線RL1が連続条件を満たすように生成されても良い。特徴点DPの数が多い区間の区間道路形状線の方が、特徴点DPの数が少ない区間の区間道路形状線よりも信頼度が高いからである。 In the third embodiment, the adjacent section road shape line RL1 is generated by the least squares method, but the section road shape line to be generated by the least squares method may also be determined according to the number of feature points DP in each section. good. For example, when the number of feature points DP in the distant section is large, the distant section road shape line RL2 may be generated by the least squares method, and the adjacent section road shape line RL1 may be generated so as to satisfy the continuity condition. This is because a section road shape line of a section with a large number of feature points DP has higher reliability than a section road shape line of a section with a small number of feature points DP.
その他の実施形態:
(1)第1の実施形態、第2の実施形態および第3の実施形態は、それぞれ別々の実施形態として説明されているが、第1~第3の実施形態は、任意に組み合わせて実行されても良い。この場合には、各実施形態によって得られる複数の技術的効果が相乗的に得られる。
Other embodiments:
(1) Although the first embodiment, the second embodiment, and the third embodiment are each described as separate embodiments, the first to third embodiments can be executed in any combination. It's okay. In this case, multiple technical effects obtained by each embodiment can be obtained synergistically.
(2)上記各実施形態においては、特徴点DPを近似する近似線を生成するために回帰分析の手法として最小二乗法が用いられているが、他の手法、例えば、主成分分析法が用いられても良い。 (2) In each of the above embodiments, the least squares method is used as a regression analysis method to generate an approximation line that approximates the feature points DP, but other methods, such as principal component analysis, are used. It's okay to be beaten.
(3)上記各実施形態においては、CPU101が道路形状認識プログラムPr1、Pr2、Pr3を実行することによって、道路形状認識装置10および道路形状決定装置100が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。すなわち、上記各実施形態における制御部およびその手法は、コンピュータプログラムにより具体化された一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
(3) In each of the above embodiments, the road
以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 Although the present disclosure has been described above based on the embodiments and modifications, the embodiments of the invention described above are for facilitating understanding of the present disclosure, and do not limit the present disclosure. This disclosure may be modified and improved without departing from its spirit or the scope of the claims, and this disclosure includes equivalents thereof. For example, the embodiments corresponding to the technical features in each form and the technical features in the modifications described in the column of the summary of the invention may be used to solve some or all of the above-mentioned problems, or to solve the above-mentioned problems. In order to achieve some or all of the effects, it is possible to replace or combine them as appropriate. Further, unless the technical feature is described as essential in this specification, it can be deleted as appropriate.
10…道路形状認識装置、100…道路形状決定装置、101…CPU、102…メモリ、103…入出力インタフェース、104…バス、50…車両、Pr1、Pr2、Pr3…道路形状認識プログラム。
DESCRIPTION OF
Claims (8)
予め定められたタイミングにて、道路形状を示す複数の特徴点を取得する特徴点取得部(103)と、
道路形状の認識距離を予め定められた区分距離で複数の区間に分割し、現在のタイミングで取得された現在特徴点および過去のタイミングで取得された過去特徴点を用いて前記区間毎に区間道路形状線を生成し、生成した前記区間道路形状線を接続して道路形状を決定する道路形状決定部(101、Pr1)であって、前記現在特徴点の位置と前記過去特徴点の位置が予め定められた距離範囲内にある場合には、前記現在特徴点の位置と前記過去特徴点の位置とを平均化した平均特徴点を用いて前記区間道路形状線を生成する道路形状決定部と、を備える、道路形状認識装置。 A road shape recognition device (10),
a feature point acquisition unit (103) that obtains a plurality of feature points indicating the road shape at a predetermined timing;
The recognition distance of the road shape is divided into a plurality of sections by a predetermined division distance, and the section road is divided into each section using the current feature points acquired at the current timing and the past feature points acquired at the past timing. A road shape determination unit (101, Pr1) that generates a shape line and determines a road shape by connecting the generated section road shape lines, wherein the position of the current feature point and the position of the past feature point are determined in advance. a road shape determining unit that generates the section road shape line using an average feature point obtained by averaging the position of the current feature point and the position of the past feature point when the distance is within a predetermined distance range; A road shape recognition device comprising:
前記道路形状決定部は、車両の移動量に応じて、前記過去特徴点の位置を補正する、道路形状認識装置。 The road shape recognition device according to claim 1,
The road shape determination unit is a road shape recognition device that corrects the position of the past feature point according to the amount of movement of the vehicle.
前記道路形状決定部は、前記平均化に際して、前記現在特徴点および前記過去特徴点の信頼度を判定し、信頼度の高い特徴点に重み付けした加重平均により前記平均特徴点を取得する、道路形状認識装置。 The road shape recognition device according to claim 1 or 2,
The road shape determination unit determines the reliability of the current feature point and the past feature point during the averaging, and obtains the average feature point by weighted averaging in which feature points with high reliability are weighted. recognition device.
前記道路形状決定部は、過去に生成した前記区間道路形状線に対するずれ量が大きい現在特徴点を除外して、前記平均特徴点を算出する、道路形状認識装置。 The road shape recognition device according to any one of claims 1 to 3,
The road shape determination unit is a road shape recognition device that calculates the average feature point by excluding current feature points that have a large amount of deviation from the section road shape line generated in the past.
前記道路形状決定部は、前記平均特徴点の算出に用いられなかった前記特徴点の信頼度を、前記平均特徴点の算出に用いられた前記特徴点の信頼度よりも低い信頼度に設定する、道路形状認識装置。 The road shape recognition device according to claim 4,
The road shape determining unit sets the reliability of the feature points not used in calculating the average feature point to a reliability lower than the reliability of the feature points used in calculating the average feature point. , road shape recognition device.
予め定められたタイミングにて、道路形状を示す複数の特徴点を取得する特徴点取得部(103)と、
複数の予め定められた区分距離毎に、道路形状の認識距離を前記区分距離で複数の区間に分割し、取得された前記特徴点を用いて前記区間毎に区間道路形状線を生成し、生成した前記区間道路形状線を接続して道路形状を決定する道路形状決定部(101、Pr2)であって、決定された各前記道路形状の誤差が小さくなる前記区分距離を選択し、選択された前記区分距離に対応する道路形状を選択する道路形状決定部と、を備える、道路形状認識装置。 A road shape recognition device (10),
a feature point acquisition unit (103) that obtains a plurality of feature points indicating the road shape at a predetermined timing;
Divide the recognition distance of the road shape into a plurality of sections by the segmentation distance for each of a plurality of predetermined segmentation distances, and generate a segment road shape line for each segment using the acquired feature points. A road shape determination unit (101, Pr2) that determines a road shape by connecting the section road shape lines determined, and selects the segment distance that reduces the error of each of the determined road shapes. A road shape recognition device, comprising: a road shape determination unit that selects a road shape corresponding to the segment distance.
予め定められたタイミングにて、道路形状を示す複数の特徴点を取得し、
道路形状の認識距離を予め定められた区分距離で複数の区間に分割し、
現在のタイミングで取得された現在特徴点および過去のタイミングで取得された過去特徴点を用いて前記区間毎に区間道路形状線を生成する際に、前記現在特徴点の位置と前記過去特徴点の位置が予め定められた距離範囲内にある場合には前記現在特徴点の位置と前記過去特徴点の位置とを平均化した平均特徴点を用いて前記区間道路形状線を生成し、
生成した前記区間道路形状線を接続して道路形状を決定する、道路形状認識方法。 A road shape recognition method, comprising:
Acquire multiple feature points indicating the road shape at predetermined timing,
Divide the recognition distance of the road shape into multiple sections using predetermined segmentation distances,
When generating a section road shape line for each section using the current feature point acquired at the current timing and the past feature point acquired at the past timing, the position of the current feature point and the past feature point are If the position is within a predetermined distance range, generating the section road shape line using an average feature point obtained by averaging the position of the current feature point and the position of the past feature point,
A road shape recognition method that determines a road shape by connecting the generated section road shape lines.
予め定められたタイミングにて、道路形状を示す複数の特徴点を取得し、
複数の予め定められた区分距離毎に、道路形状の認識距離を前記区分距離で複数の区間に分割し、取得された前記特徴点を用いて前記区間毎に区間道路形状線を生成し、生成した前記区間道路形状線を接続して道路形状を決定する際に、決定された各前記道路形状の誤差が小さくなる前記区分距離を選択し、選択された前記区分距離に対応する道路形状を選択して道路形状を決定する、道路形状認識方法。 A road shape recognition method, comprising:
Acquire multiple feature points indicating the road shape at predetermined timing,
Divide the recognition distance of the road shape into a plurality of sections by the segmentation distance for each of a plurality of predetermined segmentation distances , and generate a segment road shape line for each segment using the acquired feature points. When determining a road shape by connecting the section road shape lines, the segment distance that reduces the error of each of the determined road shapes is selected, and the road shape corresponding to the selected segment distance is selected. A road shape recognition method that determines the road shape.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020066570A JP7365286B2 (en) | 2020-04-02 | 2020-04-02 | Road shape recognition device and road shape recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020066570A JP7365286B2 (en) | 2020-04-02 | 2020-04-02 | Road shape recognition device and road shape recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021163351A JP2021163351A (en) | 2021-10-11 |
JP7365286B2 true JP7365286B2 (en) | 2023-10-19 |
Family
ID=78003491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020066570A Active JP7365286B2 (en) | 2020-04-02 | 2020-04-02 | Road shape recognition device and road shape recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7365286B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075938A (en) | 2007-09-21 | 2009-04-09 | Honda Motor Co Ltd | Road shape estimating device |
WO2011092849A1 (en) | 2010-01-29 | 2011-08-04 | トヨタ自動車株式会社 | Road information detection device and vehicle travel control device |
-
2020
- 2020-04-02 JP JP2020066570A patent/JP7365286B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075938A (en) | 2007-09-21 | 2009-04-09 | Honda Motor Co Ltd | Road shape estimating device |
WO2011092849A1 (en) | 2010-01-29 | 2011-08-04 | トヨタ自動車株式会社 | Road information detection device and vehicle travel control device |
Also Published As
Publication number | Publication date |
---|---|
JP2021163351A (en) | 2021-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8781644B2 (en) | Method and apparatus for recognizing shape of road for vehicles | |
CN108116410B (en) | Method and apparatus for controlling speed of vehicle | |
US9721460B2 (en) | In-vehicle surrounding environment recognition device | |
JP5441549B2 (en) | Road shape recognition device | |
JP3711405B2 (en) | Method and system for extracting vehicle road information using a camera | |
US8897497B2 (en) | Object detecting device | |
JP5531474B2 (en) | Map generation device, runway estimation device, movable region estimation device, and program | |
EP2551794A2 (en) | Onboard environment recognition system | |
US20170242117A1 (en) | Vision algorithm performance using low level sensor fusion | |
EP2575078B1 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
JP5145585B2 (en) | Target detection device | |
US10436898B2 (en) | Object recognition device | |
US20100104199A1 (en) | Method for detecting a clear path of travel for a vehicle enhanced by object detection | |
JPH11213138A (en) | Out-of-vehicle monitoring device | |
US11086007B2 (en) | Target detection device | |
US20170337432A1 (en) | Detection device and detection method | |
US20200166349A1 (en) | Parking support apparatus | |
US11598877B2 (en) | Object recognition device and vehicle control system | |
WO2019065970A1 (en) | Vehicle exterior recognition device | |
JP4296287B2 (en) | Vehicle recognition device | |
JP2002334330A (en) | Vehicle recognition device | |
US11861914B2 (en) | Object recognition method and object recognition device | |
JP7365286B2 (en) | Road shape recognition device and road shape recognition method | |
JP2019016246A (en) | Travelling lane recognition device | |
JP5055691B2 (en) | Front object detection apparatus and front object detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7365286 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |