JP7024115B2 - 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器 - Google Patents
区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器 Download PDFInfo
- Publication number
- JP7024115B2 JP7024115B2 JP2020554361A JP2020554361A JP7024115B2 JP 7024115 B2 JP7024115 B2 JP 7024115B2 JP 2020554361 A JP2020554361 A JP 2020554361A JP 2020554361 A JP2020554361 A JP 2020554361A JP 7024115 B2 JP7024115 B2 JP 7024115B2
- Authority
- JP
- Japan
- Prior art keywords
- lane marking
- vehicle
- lane
- predetermined threshold
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 67
- 238000001514 detection method Methods 0.000 claims description 64
- 238000013528 artificial neural network Methods 0.000 claims description 53
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims 3
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
車両走行環境の区画線検出結果を取得することと、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定することと、
前記推定距離および/または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うことと、を含む。
車両走行環境の区画線検出結果を取得するための取得モジュールと、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定するための特定モジュールと、
前記推定距離および/または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うための制御モジュールと、を含む区画線に基づくインテリジェントドライブ制御装置が提供される。
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するプロセッサと、を備え、
前記コンピュータプログラムを実行するときに、前記プロセッサは本開示の上記いずれかの実施例に記載の方法を実現することを特徴とする電子機器が提供される。
1592795259250_0
(ADAS)から車両走行環境における区画線検出結果を直接取得する、即ち、ADASにおける区画線検出結果を直接利用する。
ニューラルネットワークによって画像に対して特徴抽出を行い、特徴マップを取得することと、
ニューラルネットワークによって該特徴マップに対してセマンティックセグメンテーションを行い、N本の区画線の区画線確率マップを取得することと、を含んでもよい。ここで、各車線の区画線確率マップにおける各画素点の画素値は、画像における画素点のそれぞれが該区画線に属する確率値を表すために用いられ、Nの値は0よりも大きい整数とする。例えば、いくつかの任意選択的な例では、Nの値は4とする。
ニューラルネットワークによって上記特徴マップに対してセマンティックセグメンテーションを行い、N+1個のチャネルの確率マップを取得することと、
N+1個のチャネルの確率マップからN本の区画線の区画線確率マップを取得することと、を含んでもよい。
ここで、該N+1個のチャネルはN本の区画線および背景にそれぞれ対応し、即ち、N+1個のチャネルの確率マップにおける各チャネルの確率マップは上記画像における少なくとも一つの画素点のそれぞれが該チャネルの対応する区画線または背景に属する確率をそれぞれ表す。
上記区画線確率マップから確率値が第一所定閾値より大きい画素点を選択することと、
選択された画素点に基づいて区画線確率マップにおいて最大連結領域検索を行い、該区画線に属する画素点集合を特定することと、
区画線に属する上記画素点集合に基づいて該区画線が存在する領域を特定することと、を含んでもよい。
該区画線に属する画素点集合内の全ての画素点の確率値の和を統計し、該区画線の信頼度を取得することと、
該信頼度が第二所定閾値よりも大きい場合、上記画素点集合により形成された領域を該区画線が存在する領域とすることと、を含んでもよい。
1本の区画線が存在する領域から複数(例えば三つ以上)の画素点を選択することと、
選択された複数の画素点を、カメラが存在するカメラ座標系からワールド座標系へ変換し、上記複数の画素点のワールド座標系における座標を取得することと、
上記複数の画素点のワールド座標系における座標に基づき、ワールド座標系において上記複数の画素点に対してカーブフィッティングを行い、上記1本の区画線の区画線情報を取得することと、を含んでもよい。ここで、ワールド座標系の原点は必要に応じて設定してもよく、例えば原点を車両の左前輪の着地点として設定してもよく、ワールド座標系におけるy軸方向は車両の真正面方向とする。
該区画線の区画線情報内のパラメータのパラメータ値および前のフレームの画像に基づいて得られた該区画線の履歴情報内のパラメータのパラメータ値に基づき、該区画線情報内のパラメータのパラメータ値に対してカルマン(kalman)フィルタリングを行うことを含んでもよい。ここで、前のフレームの画像は上記画像が存在するビデオにおいて検出タイミングが該画像より前の1フレームの画像であり、例えば該画像に隣接する前のフレームの画像であってもよいし、検出タイミングが該画像よりも前の、1フレーム間隔以上の画像であってもよい。
該車両のワールド座標系における位置、および区画線の区画線情報に基づき、該車両と対応する区画線との間の推定距離を特定することを含んでもよく、該実施例では、車両の走行状態は該車両のワールド座標系における位置を含む。
車両の速度、車両のワールド座標系における位置、および区画線の区画線情報に基づき、車両が区画線を逸脱する推定時間を特定することを含み、車両の走行状態は車両の速度および車両のワールド座標系における位置を含む。
推定距離および/または推定時間を少なくとも一つ所定閾値と比較することと、
比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御、例えば満たされる所定条件の対応する自動運転制御および/または運転支援制御を行うことと、を含んでもよい。
推定距離が第四所定閾値以下、かつ第五所定閾値よりも大きくなれば、例えば、車両が現在車線から逸脱しており、現在区画線をすぐに超えるなどを指示するように、車両の車線逸脱指示を行うこと、または、
推定時間が第六所定閾値以下、かつ第七所定閾値よりも大きくなれば、車両の車線逸脱指示を行うこと、または、
推定距離が第四所定閾値以下かつ第五所定閾値よりも大きくなり、かつ推定時間が第六所定閾値以下かつ第七所定閾値よりも大きくなれば、車両の車線逸脱指示を行うことを含んでもよく、
ここで、車線逸脱早期警告は車線逸脱指示を含む。第四所定閾値および第五所定閾値はそれぞれ0よりも大きい値とし、かつ第五所定閾値は第四所定閾値よりも小さく、例えば、第四所定閾値および第五所定閾値はそれぞれ5メートル、3メートルとする。第六所定閾値および第七所定閾値はそれぞれ0よりも大きい値とし、かつ第七所定閾値は第六所定閾値よりも小さく、例えば、第六所定閾値および第七所定閾値はそれぞれ5秒、3秒とする。
推定距離が第五所定閾値以下である場合に、車両の自動運転制御および/または車線逸脱警告を行うこと、あるいは、
推定時間が第七所定閾値以下である場合に、車両の自動運転制御および/または車線逸脱警告を行うこと、あるいは、
推定距離が第五所定閾値以下、かつ推定時間が第七所定閾値以下である場合に、車両の自動運転制御および/または車線逸脱警告を行うことを含んでもよく、
ここで、車線逸脱早期警告は車線逸脱警告を含み、該車線逸脱警告は、例えば声、光、電気などによる警告であってもよい。
車両走行環境の区画線検出結果を取得するための取得モジュールと、
車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定距離および/または車両が区画線を逸脱する推定時間を特定するための特定モジュールと、
推定距離および/または推定時間に基づき、車両のインテリジェントドライブ制御を行うための制御モジュールと、を含む。
1592795259250_1
から車両走行環境の区画線検出結果を取得するための取得ユニットを含んでもよい。
Claims (16)
- 車両走行環境の区画線検出結果を取得することと、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定することと、
前記推定距離および/または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うことと、を含み、
ここで、ニューラルネットワークに基づいて前記車両走行環境の区画線を検出し、前記区画線検出結果を取得することは、
ニューラルネットワークによって前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力し、前記区画線確率マップは、前記画像における少なくとも一つの画素点のそれぞれが区画線に属する確率値を表すために用いられることと、
前記区画線確率マップに基づいて区画線が存在する領域を特定することと、を含み、前記区画線検出結果は前記区画線が存在する領域を含み、
ニューラルネットワークによって前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力することは、
前記ニューラルネットワークによって前記画像に対して特徴抽出を行い、特徴マップを取得することと、
前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、N本の区画線の区画線確率マップを取得することと、を含み、
各区画線の区画線確率マップにおける各画素点の画素値は、前記画像における対応する画素点のそれぞれが該区画線に属する確率値を表し、Nの値は0よりも大きい整数とすることを特徴とする区画線に基づくインテリジェントドライブ制御方法。 - 前記推定距離および/または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うことは、
前記推定距離および/または前記推定時間を少なくとも一つ所定閾値と比較することと、
比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御を行うことと、を含み、
前記インテリジェントドライブ制御は、自動運転制御および/または運転支援制御を含むこと、
を特徴とする請求項1に記載の方法。 - 前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、N本の区画線の区画線確率マップを取得することは、
前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、N+1個のチャネルの確率マップを取得し、N+1個のチャネルは、N本の区画線および背景にそれぞれ対応することと、
前記N+1個のチャネルの確率マップから前記N本の区画線の区画線確率マップを取得することと、を含むこと、
および/または、
Nの値は2とし、前記N+1個のチャネルは背景、左区画線および右区画線にそれぞれ対応し、または、Nの値は3とし、前記N+1個のチャネルは背景、左区画線、中区画線および右区画線にそれぞれ対応し、または、Nの値は4とし、前記N+1個のチャネルは背景、左左区画線、左区画線、右区画線および右右区画線にそれぞれ対応すること、
および/または、
1本の区画線の区画線確率マップに基づいて前記区画線が存在する領域を特定することは、
区画線の区画線確率マップから確率値が第一所定閾値より大きい画素点を選択することと、
選択された画素点に基づいて前記区画線確率マップにおいて最大連結領域検索を行い、前記区画線に属する画素点集合を特定することと、
前記区画線に属する画素点集合に基づいて前記区画線が存在する領域を特定することと、を含むこと、
を特徴とする請求項1に記載の方法。 - 前記区画線に属する画素点集合に基づいて前記区画線が存在する領域を特定することは、
前記区画線に属する画素点集合内の全ての画素点の確率値の和を統計し、前記区画線の信頼度を取得することと、
前記信頼度が第二所定閾値よりも大きい場合、前記画素点集合により形成された領域を前記区画線が存在する領域とすることと、を含むことを特徴とする請求項3に記載の方法。 - 前記車両走行環境を含む元画像を前処理することをさらに含み、
ニューラルネットワークによって前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行うことは、
前記ニューラルネットワークによって、前処理された前記画像に対してセマンティックセグメンテーションを行うことを含むこと、
および/または、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定することは、
各前記区画線が存在する領域における画素点に対してカーブフィッティングを行い、各前記区画線の区画線情報を取得し、前記区画線の区画線情報は、前記区画線上の少なくとも一つの点から前記車両までの距離を含むことと、
前記車両の走行状態および前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定することと、を含むことを特徴とする請求項1から4のいずれか一項に記載の方法。 - 前記区画線が存在する領域における画素点に対してカーブフィッティングを行い、前記区画線の区画線情報を取得することは、
1本の前記区画線が存在する領域から複数の画素点を選択することと、
前記複数の画素点を、前記カメラが存在するカメラ座標系からワールド座標系へ変換し、前記複数の画素点のワールド座標系における座標を取得することと、
前記複数の画素点のワールド座標系における座標に基づき、ワールド座標系において前記複数の画素点に対してカーブフィッティングを行い、前記区画線の区画線情報を取得することと、を含むこと、
および/または、
前記区画線の区画線情報を取得する後に、
前記区画線の区画線情報内のパラメータに対してフィルタリングを行うことをさらに含み、
前記車両の走行状態および前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定することは、
前記車両の走行状態およびフィルタリングされた前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定することを含むこと、
および/または、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離を特定することは、
前記車両のワールド座標系における位置、および前記区画線の区画線情報に基づき、前記車両と前記区画線との間の推定距離を特定することを含み、
前記車両の走行状態は前記車両のワールド座標系における位置を含むこと、
および/または、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定時間を特定することは、
前記車両の速度、前記車両のワールド座標系における位置、および前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定時間を特定することを含み、
前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含むこと、
を特徴とする請求項5に記載の方法。 - 前記区画線の区画線情報内のパラメータに対してフィルタリングを行うことは、
前記区画線情報内のパラメータのパラメータ値、および前記画像が存在するビデオにおいて検出タイミングが前記画像より前の1フレームの画像である前のフレームの画像に基づいて得られた前記区画線の履歴区画線情報内のパラメータのパラメータ値に基づき、前記区画線情報内のパラメータのパラメータ値に対してカルマンフィルタリングを行うことを含むことを特徴とする請求項6に記載の方法。 - 前記区画線情報内のパラメータのパラメータ値に対してカルマンフィルタリングを行う前に、さらに、
前記区画線情報内のパラメータのパラメータ値が前記履歴区画線情報内の対応するパラメータのパラメータ値に対して変化した、且つ前記区画線情報内のパラメータのパラメータ値と前記履歴区画線情報内の対応するパラメータのパラメータ値との差が第三所定閾値よりも小さい前記区画線情報を、カルマンフィルタリングのための有効な区画線情報として選択することを含むことを特徴とする請求項7に記載の方法。 - 前記自動運転制御は、制動、減速、走行方向変更、車線維持、運転モード切替制御のいずれか一つまたは複数を含むこと、
および/または、
前記車両の運転支援制御を行うことは、車線逸脱早期警告を行うこと、または、車線維持指示を行うことを含むこと、
および/または、
前記所定条件が複数ある場合、複数の所定条件のそれぞれ対応するインテリジェントドライブ制御の程度は段階的に増加すること
を特徴とする請求項2に記載の方法。 - 比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御を行うことは、
前記推定距離が第四所定閾値以下、かつ第五所定閾値よりも大きい場合に、前記車両の車線逸脱指示を行うこと、または、
前記推定時間が第六所定閾値以下、かつ第七所定閾値よりも大きい場合に、前記車両の車線逸脱指示を行うこと、または、
前記推定距離が第四所定閾値以下かつ第五所定閾値よりも大きく、かつ前記推定時間が第六所定閾値以下かつ第七所定閾値よりも大きい場合に、前記車両の車線逸脱指示を行うことを含み、
前記車線逸脱早期警告は前記車線逸脱指示を含み、前記第五所定閾値は前記第四所定閾値よりも小さく、前記第七所定閾値は前記第六所定閾値よりも小さいことを特徴とする請求項9に記載の方法。 - 比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御を行うことはさらに、
前記推定距離が前記第五所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うこと、または、
前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うこと、または、
前記推定距離が前記第五所定閾値以下、かつ前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うことを含み、
前記車線逸脱早期警告は前記車線逸脱警告を含むことを特徴とする請求項10に記載の方法。 - 前記推定距離が前記第五所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うことは、
前記画像および履歴フレーム画像に基づいて特定した前記推定距離はいずれも前記第五所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行い、前記履歴フレーム画像は、前記画像が存在するビデオにおいて検出タイミングが前記画像より前の少なくとも1フレームの画像を含むことを含み、または、
前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うことは、
前記画像および履歴フレーム画像に基づいて特定した前記推定時間はいずれも前記第七所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うことを含み、または、
前記推定距離が前記第五所定閾値以下、かつ前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うことは、
前記画像および履歴フレーム画像に基づいて特定した前記推定距離はいずれも前記第五所定閾値以下、かつ前記画像および履歴フレーム画像に基づいて特定した前記推定時間はいずれも前記第七所定閾値以下である場合に、前記車両の自動運転制御および/または車線逸脱警告を行うことを含むことを特徴とする請求項11に記載の方法。 - 車両走行環境の区画線検出結果を取得するための取得モジュールと、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および/または前記車両が前記区画線を逸脱する推定時間を特定するための特定モジュールと、
前記推定距離および/または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うための制御モジュールと、を含み、
ここで、前記取得モジュールは、ニューラルネットワークに基づいて前記車両走行環境の区画線を検出し、前記区画線検出結果を取得するための検出ユニット、を含み、
前記検出ユニットは、
前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、前記画像における少なくとも一つの画素点のそれぞれが区画線に属する確率値を表すための区画線確率マップを出力するためのニューラルネットワークと、
前記区画線確率マップに基づいて区画線が存在する領域を特定するための特定サブユニットと、を含み、前記区画線検出結果は前記区画線が存在する領域を含み、
前記ニューラルネットワークは、具体的に、前記ニューラルネットワークによって前記画像に対して特徴抽出を行い、特徴マップを取得し、および前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、N本の区画線の区画線確率マップを取得するために用いられ、各区画線の区画線確率マップにおける各画素点の画素値は、前記画像における対応する画素点のそれぞれが該区画線に属する確率値を表し、Nの値は0よりも大きい整数とすることを特徴とする区画線に基づくインテリジェントドライブ制御装置。 - コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するプロセッサと、を備え、
前記コンピュータプログラムを実行するときに、前記プロセッサは前記請求項1から12のいずれか一項に記載の方法を実現することを特徴とする電子機器。 - コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、当該コンピュータプログラムはプロセッサによって実行されるときに、前記請求項1から12のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ読み取り可能記憶媒体。
- コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサにおいて運用されるときに、前記請求項1から12のいずれか一項に記載の方法が実現されることを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810551908.X | 2018-05-31 | ||
CN201810551908.XA CN108875603B (zh) | 2018-05-31 | 2018-05-31 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
PCT/CN2019/087622 WO2019228211A1 (zh) | 2018-05-31 | 2019-05-20 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021508901A JP2021508901A (ja) | 2021-03-11 |
JP7024115B2 true JP7024115B2 (ja) | 2022-02-22 |
Family
ID=64335045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020554361A Active JP7024115B2 (ja) | 2018-05-31 | 2019-05-20 | 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11314973B2 (ja) |
JP (1) | JP7024115B2 (ja) |
CN (1) | CN108875603B (ja) |
SG (1) | SG11202005094XA (ja) |
WO (1) | WO2019228211A1 (ja) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875603B (zh) * | 2018-05-31 | 2021-06-04 | 上海商汤智能科技有限公司 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
CN109147368A (zh) * | 2018-08-22 | 2019-01-04 | 北京市商汤科技开发有限公司 | 基于车道线的智能驾驶控制方法装置与电子设备 |
CN110858405A (zh) * | 2018-08-24 | 2020-03-03 | 北京市商汤科技开发有限公司 | 车载摄像头的姿态估计方法、装置和***及电子设备 |
KR102633140B1 (ko) * | 2018-10-23 | 2024-02-05 | 삼성전자주식회사 | 주행 정보를 결정하는 방법 및 장치 |
CN111209777A (zh) * | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 车道线检测方法、装置、电子设备及可读存储介质 |
JP6852141B2 (ja) * | 2018-11-29 | 2021-03-31 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム |
CN109298719B (zh) * | 2018-12-04 | 2021-11-02 | 奇瑞汽车股份有限公司 | 智能汽车的接管方法、装置及存储介质 |
CN109582019B (zh) * | 2018-12-04 | 2021-06-29 | 奇瑞汽车股份有限公司 | 智能汽车变道失效时的接管方法、装置及存储介质 |
CN109472251B (zh) * | 2018-12-16 | 2022-04-05 | 华为技术有限公司 | 一种物体碰撞预测方法及装置 |
CN111316337A (zh) * | 2018-12-26 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 车载成像装置的安装参数的确定与驾驶控制方法及设备 |
CN109598943A (zh) * | 2018-12-30 | 2019-04-09 | 北京旷视科技有限公司 | 车辆违章的监控方法、装置及*** |
CN111460866B (zh) * | 2019-01-22 | 2023-12-22 | 北京市商汤科技开发有限公司 | 车道线检测及驾驶控制方法、装置和电子设备 |
CN111476062A (zh) * | 2019-01-23 | 2020-07-31 | 北京市商汤科技开发有限公司 | 车道线检测方法、装置、电子设备及驾驶*** |
CN111476057B (zh) * | 2019-01-23 | 2024-03-26 | 北京市商汤科技开发有限公司 | 车道线获取方法及装置、车辆驾驶方法及装置 |
CN109866684B (zh) * | 2019-03-15 | 2021-06-22 | 江西江铃集团新能源汽车有限公司 | 车道偏离预警方法、***、可读存储介质及计算机设备 |
CN112131914B (zh) * | 2019-06-25 | 2022-10-21 | 北京市商汤科技开发有限公司 | 车道线属性检测方法、装置、电子设备及智能设备 |
CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
CN110706374B (zh) * | 2019-10-10 | 2021-06-29 | 南京地平线机器人技术有限公司 | 运动状态预测方法、装置、电子设备及车辆 |
CN111091096B (zh) * | 2019-12-20 | 2023-07-11 | 江苏中天安驰科技有限公司 | 车辆偏离决策方法、装置、存储介质及车辆 |
CN111160370B (zh) * | 2019-12-27 | 2024-02-27 | 佑驾创新(北京)技术有限公司 | 车头位置估计方法、装置、计算机设备和存储介质 |
CN111079695B (zh) * | 2019-12-30 | 2021-06-01 | 北京华宇信息技术有限公司 | 一种人体关键点检测与自学习方法及装置 |
CN111257005B (zh) * | 2020-01-21 | 2022-11-01 | 北京百度网讯科技有限公司 | 用于测试自动驾驶车辆的方法、装置、设备和存储介质 |
CN111401446A (zh) * | 2020-03-16 | 2020-07-10 | 重庆长安汽车股份有限公司 | 单传感器、多传感器车道线合理性检测方法、***及车辆 |
CN111721316A (zh) * | 2020-06-22 | 2020-09-29 | 重庆大学 | 一种高性能的车道线识别感兴趣区域预测方法 |
JP7469167B2 (ja) * | 2020-07-07 | 2024-04-16 | 本田技研工業株式会社 | 制御装置及び制御方法並びに車両 |
CN111814746A (zh) * | 2020-08-07 | 2020-10-23 | 平安科技(深圳)有限公司 | 一种识别车道线的方法、装置、设备及存储介质 |
CN114531913A (zh) * | 2020-09-09 | 2022-05-24 | 华为技术有限公司 | 车道线检测方法、相关设备及计算机可读存储介质 |
CN112115857B (zh) * | 2020-09-17 | 2024-03-01 | 福建牧月科技有限公司 | 智能汽车的车道线识别方法、装置、电子设备及介质 |
CN112172829B (zh) * | 2020-10-23 | 2022-05-17 | 科大讯飞股份有限公司 | 车道偏离预警方法、装置、电子设备和存储介质 |
CN112287842A (zh) * | 2020-10-29 | 2021-01-29 | 恒大新能源汽车投资控股集团有限公司 | 一种车道线的识别方法、装置及电子设备 |
CN114572240B (zh) * | 2020-11-30 | 2023-11-14 | 北京百度网讯科技有限公司 | 车辆行驶控制方法、装置、车辆、电子设备及存储介质 |
CN112364822B (zh) * | 2020-11-30 | 2022-08-19 | 重庆电子工程职业学院 | 一种自动驾驶视频语义分割***及方法 |
CN114612736A (zh) * | 2020-12-08 | 2022-06-10 | 广州汽车集团股份有限公司 | 一种车道线检测方法、***及计算机可读介质 |
US20220188581A1 (en) * | 2020-12-10 | 2022-06-16 | Toyota Research Institute, Inc. | Learning-based online mapping |
CN114620059B (zh) * | 2020-12-14 | 2024-05-17 | 广州汽车集团股份有限公司 | 一种自动驾驶方法及其***、计算机可读存储介质 |
WO2022144957A1 (ja) * | 2020-12-28 | 2022-07-07 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
CN112766133A (zh) * | 2021-01-14 | 2021-05-07 | 金陵科技学院 | 一种基于ReliefF-DBN的自动驾驶偏离处理方法 |
CN115049994B (zh) * | 2021-02-25 | 2024-06-11 | 广州汽车集团股份有限公司 | 一种车道线检测方法及***、计算机可读存储介质 |
CN113053124B (zh) * | 2021-03-25 | 2022-03-15 | 英博超算(南京)科技有限公司 | 一种智能车辆的测距*** |
CN112906665A (zh) * | 2021-04-06 | 2021-06-04 | 北京车和家信息技术有限公司 | 交通标线融合方法、装置、存储介质及电子设备 |
CN113188509B (zh) * | 2021-04-28 | 2023-10-24 | 上海商汤临港智能科技有限公司 | 一种测距方法、装置、电子设备及存储介质 |
CN113255506B (zh) * | 2021-05-20 | 2022-10-18 | 浙江合众新能源汽车有限公司 | 动态车道线控制方法、***、设备和计算机可读介质 |
CN113709703A (zh) * | 2021-07-28 | 2021-11-26 | 东风柳州汽车有限公司 | 车对车通讯数据简化方法、装置、设备及存储介质 |
CN113609980A (zh) * | 2021-08-04 | 2021-11-05 | 东风悦享科技有限公司 | 一种用于自动驾驶车辆的车道线感知方法及装置 |
CN113657265B (zh) * | 2021-08-16 | 2023-10-10 | 长安大学 | 一种车辆距离探测方法、***、设备及介质 |
CN113706705B (zh) * | 2021-09-03 | 2023-09-26 | 北京百度网讯科技有限公司 | 用于高精地图的图像处理方法、装置、设备以及存储介质 |
US11845429B2 (en) * | 2021-09-30 | 2023-12-19 | GM Global Technology Operations LLC | Localizing and updating a map using interpolated lane edge data |
CN114120272A (zh) * | 2021-11-11 | 2022-03-01 | 东南大学 | 一种融合边缘检测的多监督智能车道线语义分割方法 |
US11987251B2 (en) | 2021-11-15 | 2024-05-21 | GM Global Technology Operations LLC | Adaptive rationalizer for vehicle perception systems toward robust automated driving control |
CN114743178B (zh) * | 2021-12-29 | 2024-03-08 | 北京百度网讯科技有限公司 | 道路边缘线生成方法、装置、设备及存储介质 |
CN114454888B (zh) * | 2022-02-22 | 2023-10-13 | 福思(杭州)智能科技有限公司 | 一种车道线预测方法、装置、电子设备及车辆 |
CN114565681B (zh) * | 2022-03-01 | 2022-11-22 | 禾多科技(北京)有限公司 | 一种相机标定方法、装置、设备、介质及产品 |
CN114663529B (zh) * | 2022-03-22 | 2023-08-01 | 阿波罗智能技术(北京)有限公司 | 一种外参确定方法、装置、电子设备及存储介质 |
CN114475641B (zh) * | 2022-04-15 | 2022-06-28 | 天津所托瑞安汽车科技有限公司 | 车道偏离预警方法、装置、控制装置及存储介质 |
CN114723785A (zh) * | 2022-04-22 | 2022-07-08 | 禾多科技(北京)有限公司 | 车道线关键点跟踪方法、装置、设备和计算机可读介质 |
CN115082888B (zh) * | 2022-08-18 | 2022-10-25 | 北京轻舟智航智能技术有限公司 | 一种车道线检测方法和装置 |
CN115320553B (zh) * | 2022-08-30 | 2024-07-23 | 桂林电子科技大学 | 一种面向弯道情况下aeb***的前车定位判断方法 |
CN115235500B (zh) * | 2022-09-15 | 2023-04-14 | 北京智行者科技股份有限公司 | 基于车道线约束的位姿校正方法及装置、全工况静态环境建模方法及装置 |
CN116682087B (zh) * | 2023-07-28 | 2023-10-31 | 安徽中科星驰自动驾驶技术有限公司 | 基于空间池化网络车道检测的自适应辅助驾驶方法 |
CN117437792B (zh) * | 2023-12-20 | 2024-04-09 | 中交第一公路勘察设计研究院有限公司 | 基于边缘计算的实时道路交通状态监测方法、设备及*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003104147A (ja) | 2001-09-27 | 2003-04-09 | Mazda Motor Corp | 車両の逸脱警報装置 |
JP2010191893A (ja) | 2009-02-20 | 2010-09-02 | Nissan Motor Co Ltd | 運転不全状態検出装置及び運転不全状態検出方法 |
JP2013003913A (ja) | 2011-06-17 | 2013-01-07 | Clarion Co Ltd | 車線逸脱警報装置 |
US20130208945A1 (en) | 2012-02-15 | 2013-08-15 | Delphi Technologies, Inc. | Method for the detection and tracking of lane markings |
JP2013196341A (ja) | 2012-03-19 | 2013-09-30 | Nippon Soken Inc | 走行区画線認識装置およびプログラム |
WO2013186903A1 (ja) | 2012-06-14 | 2013-12-19 | トヨタ自動車株式会社 | 車線区分標示検出装置、運転支援システム |
JP2017162456A (ja) | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
JP2017211909A (ja) | 2016-05-27 | 2017-11-30 | 株式会社東芝 | 情報処理装置及び移動体装置 |
JP2019509566A (ja) | 2016-03-11 | 2019-04-04 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ビデオ理解のための動きベースアテンションを用いたリカレントネットワーク |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09270098A (ja) * | 1996-04-02 | 1997-10-14 | Mitsubishi Motors Corp | 車線逸脱警報装置 |
WO2007145564A1 (en) * | 2006-06-11 | 2007-12-21 | Volvo Technology Corporation | Method and apparatus for using an automated lane keeping system to maintain lateral vehicle spacing |
US8311283B2 (en) * | 2008-07-06 | 2012-11-13 | Automotive Research&Testing Center | Method for detecting lane departure and apparatus thereof |
CN101894271B (zh) * | 2010-07-28 | 2012-11-07 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
CN101915672B (zh) * | 2010-08-24 | 2012-07-25 | 清华大学 | 车道偏离报警***的测试装置及测试方法 |
CN101966838B (zh) * | 2010-09-10 | 2012-10-03 | 奇瑞汽车股份有限公司 | 一种车道偏离警示*** |
JP5855756B2 (ja) * | 2012-08-30 | 2016-02-09 | 本田技研工業株式会社 | レーンマーク認識装置 |
CN103832433B (zh) * | 2012-11-21 | 2016-08-10 | 中国科学院沈阳计算技术研究所有限公司 | 车道偏离及前车防碰撞报警***及其实现方法 |
US9150220B2 (en) * | 2013-12-04 | 2015-10-06 | Mobileye Vision Technologies Ltd. | Systems and methods for mimicking a leading vehicle |
US9988047B2 (en) * | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
CN105320927B (zh) * | 2015-03-25 | 2018-11-23 | 中科院微电子研究所昆山分所 | 车道线检测方法及*** |
US20180134217A1 (en) * | 2015-05-06 | 2018-05-17 | Magna Mirrors Of America, Inc. | Vehicle vision system with blind zone display and alert system |
EP4030378A1 (en) * | 2015-05-10 | 2022-07-20 | Mobileye Vision Technologies Ltd. | Road profile along a predicted path |
JP6310503B2 (ja) * | 2016-06-06 | 2018-04-11 | 本田技研工業株式会社 | 車両及びレーン変更タイミング判定方法 |
US10545029B2 (en) * | 2016-12-30 | 2020-01-28 | DeepMap Inc. | Lane network construction using high definition maps for autonomous vehicles |
US11493918B2 (en) * | 2017-02-10 | 2022-11-08 | Magna Electronics Inc. | Vehicle driving assist system with driver attentiveness assessment |
CN106919915B (zh) * | 2017-02-22 | 2020-06-12 | 武汉极目智能技术有限公司 | 基于adas***的地图道路标记及道路质量采集装置及方法 |
CN107169468A (zh) * | 2017-05-31 | 2017-09-15 | 北京京东尚科信息技术有限公司 | 用于控制车辆的方法和装置 |
US11042163B2 (en) * | 2018-01-07 | 2021-06-22 | Nvidia Corporation | Guiding vehicles through vehicle maneuvers using machine learning models |
CN111095291B (zh) * | 2018-02-27 | 2024-04-09 | 辉达公司 | 由自动驾驶车辆实时检测车道和边界 |
CN108875603B (zh) * | 2018-05-31 | 2021-06-04 | 上海商汤智能科技有限公司 | 基于车道线的智能驾驶控制方法和装置、电子设备 |
JP7008617B2 (ja) * | 2018-12-21 | 2022-01-25 | 本田技研工業株式会社 | 車両制御装置 |
-
2018
- 2018-05-31 CN CN201810551908.XA patent/CN108875603B/zh active Active
-
2019
- 2019-05-20 SG SG11202005094XA patent/SG11202005094XA/en unknown
- 2019-05-20 WO PCT/CN2019/087622 patent/WO2019228211A1/zh active Application Filing
- 2019-05-20 JP JP2020554361A patent/JP7024115B2/ja active Active
-
2020
- 2020-05-28 US US16/886,163 patent/US11314973B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003104147A (ja) | 2001-09-27 | 2003-04-09 | Mazda Motor Corp | 車両の逸脱警報装置 |
JP2010191893A (ja) | 2009-02-20 | 2010-09-02 | Nissan Motor Co Ltd | 運転不全状態検出装置及び運転不全状態検出方法 |
JP2013003913A (ja) | 2011-06-17 | 2013-01-07 | Clarion Co Ltd | 車線逸脱警報装置 |
US20130208945A1 (en) | 2012-02-15 | 2013-08-15 | Delphi Technologies, Inc. | Method for the detection and tracking of lane markings |
JP2013196341A (ja) | 2012-03-19 | 2013-09-30 | Nippon Soken Inc | 走行区画線認識装置およびプログラム |
WO2013186903A1 (ja) | 2012-06-14 | 2013-12-19 | トヨタ自動車株式会社 | 車線区分標示検出装置、運転支援システム |
JP2017162456A (ja) | 2016-03-11 | 2017-09-14 | 株式会社東芝 | 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング |
JP2019509566A (ja) | 2016-03-11 | 2019-04-04 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ビデオ理解のための動きベースアテンションを用いたリカレントネットワーク |
JP2017211909A (ja) | 2016-05-27 | 2017-11-30 | 株式会社東芝 | 情報処理装置及び移動体装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108875603B (zh) | 2021-06-04 |
CN108875603A (zh) | 2018-11-23 |
SG11202005094XA (en) | 2020-06-29 |
JP2021508901A (ja) | 2021-03-11 |
US20200293797A1 (en) | 2020-09-17 |
US11314973B2 (en) | 2022-04-26 |
WO2019228211A1 (zh) | 2019-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7024115B2 (ja) | 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器 | |
JP7106664B2 (ja) | 知的運転制御方法および装置、電子機器、プログラムならびに媒体 | |
CN108216229B (zh) | 交通工具、道路线检测和驾驶控制方法及装置 | |
JP7351487B2 (ja) | トポロジーマップに基づくインテリジェントナビゲーションの方法及びシステム | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
US20230144209A1 (en) | Lane line detection method and related device | |
CN111874006B (zh) | 路线规划处理方法和装置 | |
CN112750150B (zh) | 基于车辆检测和多目标跟踪的车流量统计方法 | |
US11486727B2 (en) | Map generation device, map generation method, and map generation computer program | |
US20210089836A1 (en) | Systems and methods for training a neural keypoint detection network | |
KR20210080459A (ko) | 차선 검출방법, 장치, 전자장치 및 가독 저장 매체 | |
JP2021530048A (ja) | 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体 | |
CN111091038A (zh) | 训练方法、计算机可读介质和检测消失点的方法及装置 | |
US20200249677A1 (en) | Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles | |
CN112200142A (zh) | 一种识别车道线的方法、装置、设备及存储介质 | |
US20220270480A1 (en) | Signal control apparatus and method based on reinforcement learning | |
Tian et al. | LSD-based adaptive lane detection and tracking for ADAS in structured road environment | |
Khan et al. | Lane detection using lane boundary marker network with road geometry constraints | |
CN113112525A (zh) | 目标跟踪方法、网络模型及其训练方法、设备和介质 | |
KR20160015091A (ko) | 교통신호제어 시스템의 보행자 검출 및 행동패턴 추적 방법 | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶*** | |
CN112489450B (zh) | 交通路口处的车辆流量控制方法、路侧设备及云控平台 | |
CN115393827A (zh) | 交通信号灯状态识别方法、***、电子设备及存储介质 | |
US10373004B1 (en) | Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image | |
CN111435425B (zh) | 可行驶区域检测方法及***、电子设备、可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7024115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |