JP7179186B2 - 物体検出方法、装置、電子機器、及びコンピュータプログラム - Google Patents
物体検出方法、装置、電子機器、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7179186B2 JP7179186B2 JP2021536821A JP2021536821A JP7179186B2 JP 7179186 B2 JP7179186 B2 JP 7179186B2 JP 2021536821 A JP2021536821 A JP 2021536821A JP 2021536821 A JP2021536821 A JP 2021536821A JP 7179186 B2 JP7179186 B2 JP 7179186B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature
- convolution
- convolutional
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 79
- 238000004590 computer program Methods 0.000 title claims description 4
- 230000004927 fusion Effects 0.000 claims description 53
- 238000013507 mapping Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 10
- 238000011946 reduction process Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
シーンにおける点の位置情報を含む点群を取得するステップと、
前記点群を3次元ボクセル表現にマッピングして、3次元ボクセルの特徴情報を取得するステップと、
前記3次元ボクセルの特徴情報に対して畳み込み操作を行って、畳み込み特徴セットを取得するステップと、
前記畳み込み特徴セットに基づいて、候補物体領域の初期ポジショニング情報を確定するステップと、
前記点群における前記候補物体領域内に位置している目標点を確定するステップと、
前記目標点の位置情報及び目標畳み込み特徴情報に基づいて、前記候補物体領域の初期ポジショニング情報を調整して、目標物体領域のポジショニング情報を取得するステップであって、前記目標畳み込み特徴情報は前記畳み込み特徴セットにおける前記目標点位置に対応する畳み込み特徴情報であるステップとを含む。
シーンにおける点の位置情報を含む点群を取得するための点群取得ユニットと、
前記点群を3次元ボクセル表現にマッピングして、3次元ボクセルの特徴情報を取得するためのボクセルマッピングユニットと、
前記3次元ボクセルの特徴情報に対して畳み込み操作を行って、畳み込み特徴セットを取得するための畳み込みユニットと、
前記畳み込み特徴に基づいて候補物体領域の初期ポジショニング情報を確定するための候補領域取得ユニットと、
前記点群における前記候補物体領域内に位置している目標点を確定するための選択ユニットと、
前記目標点の位置情報及び目標畳み込み特徴情報に基づいて、前記候補物体領域の初期ポジショニング情報を調整して、目標物体領域のポジショニング情報を取得するための調整ユニットであって、前記目標畳み込み特徴情報前記畳み込み特徴セットにおける前記目標点位置に対応する畳み込み特徴情報である前記調整ユニットとを含む。
3次元ボクセルにマッピング点が存在する場合、マッピング点から目標マッピング点の位置情報を3次元ボクセルの特徴情報として選択することができるステップと、
3次元ボクセルにマッピング点が存在しない場合、3次元ボクセルの特徴情報をゼロに設置することができるステップとを含む。
3次元ボクセルの特徴情報に対して3次元畳み込み演算を行って、当該3次元ボクセルの3次元畳み込み特徴情報を取得するステップと、
当該3次元畳み込み特徴情報に対して2次元畳み込み演算を行って、畳み込み特徴セットを取得するステップとを含む。
3次元畳み込みネットワークは2次元畳み込みネットワークに接続され、フュージョンモジュールは2次元畳み込みネットワークに接続され、回帰ネットワーク及び分類ネットワークはそれぞれフュージョンモジュールに接続される。
2次元畳み込みネットワークのうち一番目の畳み込みブロック以外の他の畳み込みブロックによって出力された畳み込み特徴のそれぞれに対して逆畳み込み処理を行って、他の畳み込みブロックの逆畳み込み特徴を取得し、逆畳み込み特徴のサイズは一番目の畳み込みブロックによって出力された畳み込み特徴のサイズと同じであるステップと、
一番目の畳み込みブロックによって出力された畳み込み特徴と他の畳み込みブロックの逆畳み込み特徴とをフュージョンして、畳み込み特徴セットを取得するステップとを含む。
畳み込み特徴セットに基づいて、3次元ボクセルに対応するポジショニングオフセット情報、及び物体のタイプを予測し、ポジショニングオフセット情報は、真の物体領域に対する3次元ボクセルに対応する参照物体領域の初期ポジショニングオフセット情報であるステップと、
ポジショニングオフセット情報及び物体のタイプに基づいて、当該3次元ボクセルに対応する参照物体領域を調整して、候補物体領域の初期ポジショニング情報を取得するステップとを含む。
物体のタイプに応じて、参照物体領域を選別し、選別後物体領域を取得するステップと、
選別後物体領域のポジショニングオフセット情報に基づいて、選別後物体領域のポジショニング情報を修正して、候補物体領域の初期ポジショニング情報を取得するステップとを含む。
目標点の位置情報と目標畳み込み特徴情報とをフュージョンして、フュージョン特徴情報を取得し、例えば、目標点の位置情報と目標畳み込み特徴情報とを接続(Concatenation)して、フュージョン特徴情報を取得するステップと、
目標点の目標畳み込み特徴情報に対して次元低減処理を行って、目標点の特徴重みを取得するステップと、
特徴重みに基づいてフュージョン特徴情報に対して特徴演算を行って、演算後特徴情報を取得し、例えば、特徴重みがnx1の特徴重みベクトルである場合、ここでのnが目標点の数であり、フュージョン特徴情報がフュージョン特徴ベクトルnx256を含む場合、nx1特徴重みベクトルとフュージョン特徴ベクトルnx256とを乗算し、即ち、ベクトルの積(Element-wise multiplication)を採用して特徴演算を行うステップと、
演算後特徴情報に対してダウンサンプリング操作を行って、候補物体領域の領域特徴情報を取得し、例えば、maxpooling操作などを採用するステップと
を含む。
フュージョン特徴情報の特徴次元に対して次元増加を行って、処理後特徴情報を取得するステップと、
特徴重みに基づいて処理後特徴情報に対して特徴演算を行って、演算後特徴情報を取得するステップとを含む。
目標畳み込み特徴情報に対して次元低減処理を行って、初期特徴重みを取得するステップと、
活性化関数に基づいて初期特徴重みを処理して、目標点の特徴重みを取得するステップとを含む。
なお、活性化関数はsigmoidなどの関数を採用してもよい。
当該領域精錬ネットワークは、第1段階で候補領域ネットワークを採用して予測された候補物体領域をより正確に予測するために用いられるため、トレーニング中に、候補領域ネットワークのトレーニングで使用されるポジショニングオフセットロスを回帰パラメータロス(regression loss)として使用することができる。
シーンにおける、点の位置情報を含む点群を取得するための点群取得ユニット301と、
前記点群を3次元ボクセル表現にマッピングして、3次元ボクセルの特徴情報を取得するためのボクセルマッピングユニット302と、
前記3次元ボクセルの特徴情報に対して畳み込み操作を行って、畳み込み特徴セットを取得するための畳み込みユニット303と、
前記畳み込み特徴セットに基づいて候補物体領域の初期ポジショニング情報を確定するための候補領域取得ユニット304と、
前記点群における候補物体領域内に位置している目標点を確定するための選択ユニット305と、
前記目標点の位置情報及び目標畳み込み特徴情報に基づいて、前記候補物体領域の初期ポジショニング情報を調整して、目標物体領域のポジショニング情報を取得するための調整ユニット306とを含むことができる。ここで、前記目標畳み込み特徴情報は、前記畳み込み特徴セットにおける目標点位置に対応する畳み込み特徴情報である。
前記目標点の位置情報と目標畳み込み特徴情報とをフュージョンして、候補物体領域の領域特徴情報を取得するためのフュージョンサブユニット3061と、
前記領域特徴情報に基づいて真の物体領域に対する前記候補物体領域のポジショニングオフセット情報を、予測ポジショニングオフセット情報として予測するための第1の予測サブユニット3062と、
前記予測ポジショニングオフセット情報に基づいて前記候補物体領域の初期ポジショニング情報を修正して、目標物体領域のポジショニング情報を取得するための修正サブユニット3063とを含むことができる。
前記目標点の位置情報と目標畳み込み特徴情報とをフュージョンして、フュージョン特徴情報を取得し、
前記目標点の目標畳み込み特徴情報に対して次元低減処理を行って、目標点の特徴重みを取得し、
前記特徴重みに基づいて前記フュージョン特徴情報に対して特徴演算を行って、演算後特徴情報を取得し、
前記演算後特徴情報に対してダウンサンプリング操作を行って、候補物体領域の領域特徴情報を取得するために用いられてもよい。
前記3次元ボクセルの特徴情報に対して3次元畳み込み演算を行って、3次元ボクセルの3次元畳み込み特徴情報を取得するための3次元畳み込みサブユニット3031と、
前記3次元ボクセルの3次元畳み込み特徴情報に対して2次元畳み込み演算を行って、畳み込み特徴セットを取得するための2次元畳み込みサブユニット3032とを含むことができる。
前記2次元畳み込みサブユニット3032は、前記2次元畳み込みネットワークにおける複数の畳み込みブロックを採用して前記3次元畳み込み特徴情報に対して2次元畳み込み演算を順次行って、各畳み込みブロックによって出力された畳み込み特徴をフュージョンして、畳み込み特徴セットを取得するために用いられてもよい。
前記畳み込み特徴セットに基づいて、3次元ボクセルに対応するポジショニングオフセット情報及び物体のタイプを予測する第2の予測サブユニットであって、前記ポジショニングオフセット情報は、真の物体領域に対する前記3次元ボクセルに対応する参照物体領域の初期ポジショニングオフセット情報である第2の予測サブユニット3041と、
前記ポジショニングオフセット情報及び物体のタイプに基づいて前記3次元ボクセルに対応する参照物体領域を調整して、候補物体領域の初期ポジショニング情報を取得するための調整サブユニット3042とを含むことができる。
前記物体のタイプに応じて参照物体領域を選別して、選別後物体領域を取得し、
選別後物体領域のポジショニングオフセット情報に基づいて前記選別後物体領域のポジショニング情報を修正して、候補物体領域の初期ポジショニング情報を取得するために用いられてもよい。
候補領域ネットワークにおける3次元畳み込みネットワークを採用して、前記3次元ボクセルの特徴情報に対して3次元畳み込み演算を行って、
前記2次元畳み込みネットワークにおける複数の畳み込みブロックを採用して前記3次元畳み込み特徴に対して2次元畳み込み演算を順次行い、
前記フュージョンモジュールを採用して前記2次元畳み込みネットワークにおける各畳み込みブロックによって出力された畳み込み特徴をフュージョンして、畳み込み特徴セットを取得するために用いられ、
前記候補領域ネットワークは、前記3次元畳み込みネットワークに接続された2次元畳み込みネットワークと、フュージョンモジュールと、フュージョンモジュールにそれぞれ接続された分類ネットワーク及び回帰ネットワークとをさらに含み、前記2次元畳み込みネットワークは順次に接続された複数の畳み込みブロックを含む。
前記第2の予測サブユニット3041は、前記分類ネットワーク及び前記畳み込み特徴セットに基づいて、3次元ボクセルに対する物体分類を行って、3次元ボクセルに対応する物体のタイプを取得し、前記回帰ネットワーク及び前記畳み込み特徴セットに基づいて、3次元ボクセルに対応するポジショニングオフセット情報を予測するために用いられる。
サンプルシーンにおけるサンプル点群を含むトレーニングサンプルセットを取得し、
サンプル点群における点の位置情報を3次元ボクセル表現にマッピングして、サンプル3次元ボクセルのサンプル特徴情報を取得し、
予め構築された候補領域ネットワーク、及び前記サンプル特徴情報に基づいて、サンプル3次元ボクセルに対応するオフセット情報及び物体のタイプを予測して、予測ポジショニングオフセット情報及び予測タイプを取得し、
真のオフセット情報に対する予測ポジショニングオフセット情報のポジショニングオフセットロスを算出し、
真の物体のタイプに対する予測物体のタイプのタイプロスを算出し、
前記ポジショニングオフセットロスとタイプロスとを組み合わせて候補領域ネットワークをトレーニングして、トレーニングされた候補領域ネットワークを取得するために用いられてもよい。
シーンにおける、点の位置情報を含む点群を取得し、前記点群を3次元ボクセル表現にマッピングして3次元ボクセルの特徴情報を取得し、前記3次元ボクセルの特徴情報に対して畳み込み操作を行って畳み込み特徴セットを取得し、前記畳み込み特徴セットに基づいて候補物体領域の初期ポジショニング情報を確定し、前記点群における候補物体領域内に位置している目標点を確定し、前記目標点の位置情報及び目標畳み込み特徴情報に基づいて、前記候補物体領域の初期ポジショニング情報を調整して、目標物体領域のポジショニング情報を取得するステップを実行させることができる。ここで、目標畳み込み特徴情報は、前記畳み込み特徴セットにおける目標点位置に対応する畳み込み特徴情報である。
302 ボクセルマッピングユニット
303 畳み込みユニット
304 候補領域取得ユニット
305 選択ユニット
306 調整ユニット
307 トレーニングユニット
401 プロセッサ
402 メモリ
403 電源
404 入力ユニット
3031 次元畳み込みサブユニット
3032 次元畳み込みサブユニット
3041 第2の予測サブユニット
3042 調整サブユニット
3061 フュージョンサブユニット
3062 第1の予測サブユニット
3063 修正サブユニット
Claims (13)
- 電子機器において実行する、物体検出方法であって、
シーンにおける、点の位置情報を含む点群を取得するステップと、
前記点群を3次元ボクセル表現にマッピングして、3次元ボクセルの特徴情報を取得するステップと、
前記3次元ボクセルの特徴情報に対して畳み込み操作を行って、畳み込み特徴セットを取得するステップと、
前記畳み込み特徴セットに基づいて、候補物体領域の初期ポジショニング情報を確定するステップと、
前記点群における前記候補物体領域内に位置している目標点を確定するステップと、
前記目標点の位置情報及び目標畳み込み特徴情報に基づいて、前記候補物体領域の初期ポジショニング情報を調整して、目標物体領域のポジショニング情報を取得するステップであって、前記目標畳み込み特徴情報は前記畳み込み特徴セットにおける前記目標点位置に対応する畳み込み特徴情報であるステップと
を含み、
前記目標点の位置情報及び目標畳み込み特徴情報に基づいて、前記候補物体領域の初期ポジショニング情報を調整して、目標物体領域のポジショニング情報を取得するステップは、
前記目標点の位置情報と前記目標畳み込み特徴情報とをフュージョンして、前記候補物体領域の領域特徴情報を取得するステップと、
前記領域特徴情報に基づいて、真の物体領域に対する前記候補物体領域のポジショニングオフセット情報を、予測ポジショニングオフセット情報として予測するステップと、
前記予測ポジショニングオフセット情報に基づいて、前記候補物体領域の初期ポジショニング情報を修正して、前記目標物体領域のポジショニング情報を取得するステップと
を含み、
前記目標点の位置情報と前記目標畳み込み特徴情報とをフュージョンして、前記候補物体領域の領域特徴情報を取得するステップは、
前記目標点の位置情報と前記目標畳み込み特徴情報とをフュージョンして、フュージョン特徴情報を取得するステップと、
前記目標畳み込み特徴情報に対して次元低減処理を行って、前記目標点の特徴重みを取得するステップと、
前記特徴重みに基づいて前記フュージョン特徴情報に対して特徴演算を行って、演算後特徴情報を取得するステップと、
前記演算後特徴情報に対してダウンサンプリング操作を行って、前記候補物体領域の領域特徴情報を取得するステップと
を含む方法。 - 前記特徴重みに基づいて前記フュージョン特徴情報に対して特徴演算を行って、演算後特徴情報を取得するステップは、
前記フュージョン特徴情報の特徴次元に対して次元増加処理を行って、処理後特徴情報を取得するステップと、
前記特徴重みに基づいて前記処理後特徴情報に対して特徴演算を行って、前記演算後特徴情報を取得するステップと
を含む請求項1に記載の物体検出方法。 - 前記目標畳み込み特徴情報に対して次元低減処理を行って、前記目標点の特徴重みを取得するステップは、
前記目標畳み込み特徴情報に対して次元低減処理を行って、初期特徴重みを取得するステップと、
活性化関数に基づいて前記初期特徴重みを処理して、前記目標点の特徴重みを取得するステップと
を含む請求項1に記載の物体検出方法。 - 前記3次元ボクセルの特徴情報に対して畳み込み操作を行って、畳み込み特徴セットを取得するステップは、
前記3次元ボクセルの特徴情報に対して3次元畳み込み演算を行って、前記3次元ボクセルの3次元畳み込み特徴情報を取得するステップと、
前記3次元畳み込み特徴情報に対して2次元畳み込み演算を行って、前記畳み込み特徴セットを取得するステップと
を含む請求項1~3のいずれか一項に記載の物体検出方法。 - 前記3次元ボクセルの特徴情報に対して3次元畳み込み演算を行うステップは、
候補領域ネットワークにおける3次元畳み込みネットワークを採用して、前記3次元ボクセルの特徴情報に対して3次元畳み込み演算を行うステップであって、前記候補領域ネットワークは前記3次元畳み込みネットワークに接続された2次元畳み込みネットワークをさらに含み、前記2次元畳み込みネットワークは順次に接続された複数の畳み込みブロックを含むステップを含み、
前記3次元畳み込み特徴情報に対して2次元畳み込み演算を行って、前記畳み込み特徴セットを取得するステップは、
前記2次元畳み込みネットワークにおける複数の畳み込みブロックを採用して、前記3次元畳み込み特徴情報に対して2次元畳み込み演算を順次行うステップと、
各前記畳み込みブロックによって出力された畳み込み特徴をフュージョンして、前記畳み込み特徴セットを取得するステップと
を含む請求項4に記載の物体検出方法。 - 前記各前記畳み込みブロックによって出力された畳み込み特徴をフュージョンして、前記畳み込み特徴セットを取得するステップは、
前記2次元畳み込みネットワークにおける一番目の畳み込みブロック以外の他の畳み込みブロックによって出力された畳み込み特徴のそれぞれに対して、逆畳み込み処理を行って、他の畳み込みブロックの逆畳み込み特徴を取得するステップであって、前記逆畳み込み特徴と前記一番目の畳み込みブロックによって出力された畳み込み特徴とのサイズが同じであるステップと、
前記一番目の畳み込みブロックによって出力された畳み込み特徴と前記他の畳み込みブロックの逆畳み込み特徴とをフュージョンして、前記畳み込み特徴セットを取得するステップと
を含む請求項5に記載の物体検出方法。 - 前記畳み込み特徴セットに基づいて候補物体領域の初期ポジショニング情報を確定するステップは、
前記畳み込み特徴セットに基づいて、前記3次元ボクセルに対応するポジショニングオフセット情報及び物体のタイプを予測するステップであって、前記ポジショニングオフセット情報は、真の物体領域に対する前記3次元ボクセルに対応する参照物体領域の初期ポジショニングオフセット情報であるステップと、
前記ポジショニングオフセット情報及び前記物体のタイプに基づいて、前記3次元ボクセルに対応する参照物体領域を調整して、前記候補物体領域の初期ポジショニング情報を取得するステップと
を含む請求項1~6のいずれか一項に記載の物体検出方法。 - 前記ポジショニングオフセット情報及び前記物体のタイプに基づいて前記3次元ボクセルに対応する参照物体領域を調整して、前記候補物体領域の初期ポジショニング情報を取得するステップは、
前記物体のタイプに応じて前記参照物体領域を選別して、選別後物体領域を取得するステップと、
前記選別後物体領域のポジショニングオフセット情報に基づいて前記選別後物体領域のポジショニング情報を修正して、前記候補物体領域の初期ポジショニング情報を取得するステップと
を含む請求項7に記載の物体検出方法。 - 前記3次元ボクセルの特徴情報に対して畳み込み操作を行って、畳み込み特徴セットを取得するステップは、
候補領域ネットワークにおける3次元畳み込みネットワークを採用して、前記3次元ボクセルの特徴情報に対して3次元畳み込み演算を行うステップであって、前記候補領域ネットワークは、前記3次元畳み込みネットワークに接続された2次元畳み込みネットワークと、フュージョンモジュールと、前記フュージョンモジュールにそれぞれ接続された分類ネットワーク及び回帰ネットワークとをさらに含み、前記2次元畳み込みネットワークは順次に接続された複数の畳み込みブロックを含むステップと
前記2次元畳み込みネットワークにおける複数の畳み込みブロックを採用して前記3次元畳み込み特徴に対して2次元畳み込み演算を順次行うステップと、
前記フュージョンモジュールを採用して、前記2次元畳み込みネットワークにおける各畳み込みブロックによって出力された畳み込み特徴をフュージョンして、前記畳み込み特徴セットを取得するステップと
を含み、
前記畳み込み特徴セットに基づいて前記3次元ボクセルに対応するポジショニングオフセット情報及び物体のタイプを予測するステップは、
前記分類ネットワーク及び前記畳み込み特徴セットに基づいて、前記3次元ボクセルに対して物体分類を行って、前記3次元ボクセルに対応する物体のタイプを取得するステップと、
前記回帰ネットワーク及び前記畳み込み特徴セットに基づいて、前記3次元ボクセルに対応するポジショニングオフセット情報を予測するステップと
を含む請求項8に記載の物体検出方法。 - サンプルシーンのサンプル点群を含むトレーニングサンプルセットを取得するステップと、
前記サンプル点群における点の位置情報を3次元ボクセル表現にマッピングして、サンプル3次元ボクセルのサンプル特徴情報を取得するステップと、
予め構築された候補領域ネットワーク、及び前記サンプル特徴情報に基づいて、前記サンプル3次元ボクセルに対応するオフセット情報及び物体のタイプを予測して、予測ポジショニングオフセット情報及び予測タイプを取得するステップと、
真のオフセット情報に対する予測ポジショニングオフセット情報のポジショニングオフセットロスを算出するステップと、
真の物体のタイプに対する予測物体のタイプのタイプロスを算出するステップと、
前記ポジショニングオフセットロスと前記タイプロスとを組み合わせて前記候補領域ネットワークをトレーニングして、トレーニングされた候補領域ネットワークを取得するステップと
をさらに含む請求項9に記載の物体検出方法。 - 物体検出装置であって、
シーンにおける点の位置情報を含む点群を取得するための点群取得ユニットと、
前記点群を3次元ボクセル表現にマッピングして、3次元ボクセルの特徴情報を取得するためのボクセルマッピングユニットと、
前記3次元ボクセルの特徴情報に対して畳み込み操作を行って、畳み込み特徴セットを取得するための畳み込みユニットと、
前記畳み込み特徴に基づいて候補物体領域の初期ポジショニング情報を確定するための候補領域取得ユニットと、
前記点群における前記候補物体領域内に位置している目標点を確定するための選択ユニットと、
前記目標点の位置情報及び目標畳み込み特徴情報に基づいて、前記候補物体領域の初期ポジショニング情報を調整して、目標物体領域のポジショニング情報を取得するための調整ユニットであって、前記目標畳み込み特徴情報は、前記畳み込み特徴セットにおける前記目標点位置に対応する畳み込み特徴情報である調整ユニットと
を含み、
前記調整ユニットは、
前記目標点の位置情報と前記目標畳み込み特徴情報とをフュージョンして、前記候補物体領域の領域特徴情報を取得するステップと、
前記領域特徴情報に基づいて、真の物体領域に対する前記候補物体領域のポジショニングオフセット情報を、予測ポジショニングオフセット情報として予測するステップと、
前記予測ポジショニングオフセット情報に基づいて、前記候補物体領域の初期ポジショニング情報を修正して、前記目標物体領域のポジショニング情報を取得するステップと
を実施するように構成され、
前記目標点の位置情報と前記目標畳み込み特徴情報とをフュージョンして、前記候補物体領域の領域特徴情報を取得するステップは、
前記目標点の位置情報と前記目標畳み込み特徴情報とをフュージョンして、フュージョン特徴情報を取得するステップと、
前記目標畳み込み特徴情報に対して次元低減処理を行って、前記目標点の特徴重みを取得するステップと、
前記特徴重みに基づいて前記フュージョン特徴情報に対して特徴演算を行って、演算後特徴情報を取得するステップと、
前記演算後特徴情報に対してダウンサンプリング操作を行って、前記候補物体領域の領域特徴情報を取得するステップと
を含む物体検出装置。 - メモリ及びプロセッサを含む電子機器であって、
前記メモリは複数の命令が記憶されており、
前記プロセッサは請求項1~10のいずれか一項に記載の物体検出方法におけるステップを実行するように前記メモリにおける命令をロードする電子機器。 - 命令を含むコンピュータプログラムであって、
コンピュータ上で実行されると、コンピュータに、請求項1~10のいずれか一項に記載の物体検出方法におけるステップを実行させるコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290188.0A CN110059608B (zh) | 2019-04-11 | 2019-04-11 | 一种物体检测方法、装置、电子设备和存储介质 |
CN201910290188.0 | 2019-04-11 | ||
PCT/CN2020/078372 WO2020207166A1 (zh) | 2019-04-11 | 2020-03-09 | 一种物体检测方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022514974A JP2022514974A (ja) | 2022-02-16 |
JP7179186B2 true JP7179186B2 (ja) | 2022-11-28 |
Family
ID=67318785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021536821A Active JP7179186B2 (ja) | 2019-04-11 | 2020-03-09 | 物体検出方法、装置、電子機器、及びコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11915501B2 (ja) |
EP (1) | EP3955158B1 (ja) |
JP (1) | JP7179186B2 (ja) |
KR (1) | KR102629928B1 (ja) |
CN (1) | CN110059608B (ja) |
WO (1) | WO2020207166A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11967873B2 (en) | 2019-09-23 | 2024-04-23 | Canoo Technologies Inc. | Fractional slot electric motors with coil elements having rectangular cross-sections |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11094114B2 (en) * | 2019-02-08 | 2021-08-17 | Ursa Space Systems Inc. | Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations |
CN110059608B (zh) * | 2019-04-11 | 2021-07-06 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
US20220292811A1 (en) * | 2019-07-12 | 2022-09-15 | Sony Interactive Entertainment Inc. | Image processing device, image processing method, and program |
CN112446227A (zh) * | 2019-08-12 | 2021-03-05 | 阿里巴巴集团控股有限公司 | 物体检测方法、装置及设备 |
WO2021114031A1 (zh) * | 2019-12-09 | 2021-06-17 | 深圳市大疆创新科技有限公司 | 一种目标检测方法和装置 |
CN111144242B (zh) * | 2019-12-13 | 2023-09-29 | 中国科学院深圳先进技术研究院 | 一种三维目标检测方法、装置及终端 |
CN110991468B (zh) * | 2019-12-13 | 2023-12-19 | 深圳市商汤科技有限公司 | 三维目标检测和智能行驶方法、装置、设备 |
CN111199206A (zh) * | 2019-12-30 | 2020-05-26 | 上海眼控科技股份有限公司 | 三维目标检测方法、装置、计算机设备及存储介质 |
CN111340766B (zh) * | 2020-02-21 | 2024-06-11 | 北京市商汤科技开发有限公司 | 目标对象的检测方法、装置、设备和存储介质 |
CN113496160B (zh) * | 2020-03-20 | 2023-07-11 | 百度在线网络技术(北京)有限公司 | 三维物体检测方法、装置、电子设备和存储介质 |
CN111444839B (zh) * | 2020-03-26 | 2023-09-08 | 北京经纬恒润科技股份有限公司 | 一种基于激光雷达的目标检测方法及*** |
CN112270289A (zh) * | 2020-07-31 | 2021-01-26 | 广西科学院 | 一种基于图卷积注意力网络的智能监测方法 |
CN111862222B (zh) * | 2020-08-03 | 2021-08-13 | 湖北亿咖通科技有限公司 | 一种目标检测方法及电子设备 |
CN111950467B (zh) * | 2020-08-14 | 2021-06-25 | 清华大学 | 基于注意力机制的融合网络车道线检测方法及终端设备 |
CN112150501A (zh) * | 2020-09-18 | 2020-12-29 | 浙江吉利控股集团有限公司 | 基于激光雷达的目标检测方法、装置、设备及存储介质 |
CN112651405B (zh) * | 2020-12-10 | 2024-04-26 | 深兰人工智能(深圳)有限公司 | 目标检测方法及装置 |
CN112651986B (zh) * | 2020-12-25 | 2024-05-24 | 北方工业大学 | 环境识别方法、识别装置、识别***、电子设备及介质 |
CN112613450B (zh) * | 2020-12-29 | 2023-08-04 | 清华大学 | 一种增强在困难样本上表现的3d目标检测方法 |
CN112731339A (zh) * | 2021-01-04 | 2021-04-30 | 东风汽车股份有限公司 | 一种基于激光点云的三维目标检测***及其检测方法 |
CN114913331A (zh) * | 2021-02-08 | 2022-08-16 | 阿里巴巴集团控股有限公司 | 一种基于点云数据的目标检测方法和装置 |
WO2022196016A1 (ja) * | 2021-03-17 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置および情報処理方法、ならびに、センシングシステム |
CN113569877B (zh) * | 2021-09-26 | 2022-02-25 | 苏州挚途科技有限公司 | 点云数据处理方法、装置及电子设备 |
KR20230076059A (ko) | 2021-11-23 | 2023-05-31 | 국민대학교산학협력단 | 객체 추적을 위한 방법 및 장치 |
CN114228411B (zh) * | 2021-12-28 | 2023-09-15 | 驭势科技(北京)有限公司 | 连接控制方法、装置、设备及存储介质 |
CN114611164B (zh) * | 2022-03-18 | 2022-10-11 | 昆山华东信息科技有限公司 | 一种基于大数据的信息安全管理*** |
WO2023222062A1 (zh) * | 2022-05-19 | 2023-11-23 | 安徽蔚来智驾科技有限公司 | 自动驾驶的目标检测方法、装置、介质及车辆 |
CN114863108B (zh) * | 2022-05-24 | 2024-06-21 | 合众新能源汽车股份有限公司 | 点云处理的方法、***、电子设备及计算机可读存储介质 |
KR20240007459A (ko) | 2022-07-08 | 2024-01-16 | 국민대학교산학협력단 | 객체 인식 방법 및 장치 |
CN116229040A (zh) * | 2022-07-15 | 2023-06-06 | 深圳市速腾聚创科技有限公司 | 目标区域的定位方法和目标区域的定位装置 |
CN115457540B (zh) * | 2022-11-11 | 2023-03-24 | 整数智能信息技术(杭州)有限责任公司 | 点云目标检测模型的构建方法、目标检测标注方法及装置 |
CN115641567B (zh) * | 2022-12-23 | 2023-04-11 | 小米汽车科技有限公司 | 用于车辆的目标对象检测方法、装置、车辆及介质 |
CN116071773B (zh) * | 2023-03-15 | 2023-06-27 | 广东电网有限责任公司东莞供电局 | 检测电网建设类档案中表格的方法、装置、介质和设备 |
CN116385528B (zh) * | 2023-03-28 | 2024-04-30 | 小米汽车科技有限公司 | 标注信息的生成方法、装置、电子设备、车辆及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018039380A1 (en) | 2016-08-26 | 2018-03-01 | Elekta, Inc. | Systems and methods for image segmentation using convolutional neural network |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129211B2 (en) * | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Bayesian network to track objects using scan points using multiple LiDAR sensors |
CN106022381B (zh) * | 2016-05-25 | 2020-05-22 | 厦门大学 | 基于车载激光扫描点云的路灯杆自动提取方法 |
KR101854461B1 (ko) * | 2016-10-12 | 2018-05-03 | 전자부품연구원 | 카메라 시스템 및 이의 객체 인식 방법 |
CN108268878A (zh) * | 2016-12-30 | 2018-07-10 | 乐视汽车(北京)有限公司 | 三维全卷积网络实现设备 |
CN107092859A (zh) * | 2017-03-14 | 2017-08-25 | 佛山科学技术学院 | 一种三维模型的深度特征提取方法 |
CN107239827B (zh) * | 2017-06-18 | 2020-06-09 | 北京理工大学 | 一种基于人工神经网络的空间信息学习方法 |
CN107767456A (zh) * | 2017-09-22 | 2018-03-06 | 福州大学 | 一种基于rgb‑d相机的物体三维重建方法 |
EP3462373A1 (en) * | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
US11004202B2 (en) * | 2017-10-09 | 2021-05-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for semantic segmentation of 3D point clouds |
US10970518B1 (en) * | 2017-11-14 | 2021-04-06 | Apple Inc. | Voxel-based feature learning network |
CN108171217A (zh) * | 2018-01-29 | 2018-06-15 | 深圳市唯特视科技有限公司 | 一种基于点融合网络的三维物体检测方法 |
CN108319957A (zh) * | 2018-02-09 | 2018-07-24 | 深圳市唯特视科技有限公司 | 一种基于超点图的大规模点云语义分割方法 |
CN108491773B (zh) * | 2018-03-12 | 2022-11-08 | 中国工商银行股份有限公司 | 一种识别方法及*** |
CN108363995B (zh) * | 2018-03-19 | 2021-09-17 | 百度在线网络技术(北京)有限公司 | 用于生成数据的方法和装置 |
CN108709513A (zh) * | 2018-04-10 | 2018-10-26 | 深圳市唯特视科技有限公司 | 一种基于模型拟合算法的车辆三维检测方法 |
CN109086683B (zh) * | 2018-07-11 | 2020-09-15 | 清华大学 | 一种基于点云语义增强的人手姿态回归方法和*** |
CN109118564B (zh) * | 2018-08-01 | 2023-09-19 | 山东佳音信息科技有限公司 | 一种基于融合体素的三维点云标记方法和装置 |
CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
CN109523552B (zh) * | 2018-10-24 | 2021-11-02 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
CN110059608B (zh) * | 2019-04-11 | 2021-07-06 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
-
2019
- 2019-04-11 CN CN201910290188.0A patent/CN110059608B/zh active Active
-
2020
- 2020-03-09 WO PCT/CN2020/078372 patent/WO2020207166A1/zh unknown
- 2020-03-09 JP JP2021536821A patent/JP7179186B2/ja active Active
- 2020-03-09 EP EP20788613.6A patent/EP3955158B1/en active Active
- 2020-03-09 KR KR1020217024536A patent/KR102629928B1/ko active IP Right Grant
-
2021
- 2021-05-27 US US17/332,569 patent/US11915501B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018039380A1 (en) | 2016-08-26 | 2018-03-01 | Elekta, Inc. | Systems and methods for image segmentation using convolutional neural network |
Non-Patent Citations (6)
Title |
---|
Bin Yang et al.,"PIXOR: Real-time 3D Object Detection from Point Clouds",2018 IEEE/CVF Conference on Computer Visionand Pattern Recognition,米国,IEEE,2018年06月18日,pp.7652-7660 |
Charles R. Qi et al.,"Frustum PointNets for 3D Object Detection from RGB-D Data",2018 IEEE/CVF Conference on Computer Visionand Pattern Recognition,米国,IEEE,2018年06月18日,pp.918-927 |
Lyne P. Tchapmi et al.,"SEGCloud: Semantic Segmentation of 3D Point Clouds",2017 International Conference on 3D Vision (3DV),米国,IEEE,2017年10月10日,pp.537-547 |
Yin Zhou et al.,"VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection",2018 IEEE/CVF Conference on Computer Visionand Pattern Recognition,米国,IEEE,2018年06月18日,pp.4490-4499 |
Zetong Yang et al.,"IPOD: Intensive Point-based Object Detector for Point Cloud",arXiv,米国,Cornell University,2018年12月13日,pp.1-9,https://arxiv.org/abs/1812.05276 |
高瀬 悠介、外3名,"食器格納ロボットシステムのための食器の識別と位置姿勢推定",第36回日本ロボット学会学術講演会,日本,一般社団法人 日本ロボット学会,2018年09月04日,pp.1-4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11967873B2 (en) | 2019-09-23 | 2024-04-23 | Canoo Technologies Inc. | Fractional slot electric motors with coil elements having rectangular cross-sections |
Also Published As
Publication number | Publication date |
---|---|
JP2022514974A (ja) | 2022-02-16 |
CN110059608B (zh) | 2021-07-06 |
CN110059608A (zh) | 2019-07-26 |
KR102629928B1 (ko) | 2024-01-30 |
WO2020207166A1 (zh) | 2020-10-15 |
EP3955158A4 (en) | 2022-06-01 |
EP3955158A1 (en) | 2022-02-16 |
EP3955158B1 (en) | 2024-05-01 |
US20210287037A1 (en) | 2021-09-16 |
US11915501B2 (en) | 2024-02-27 |
KR20210107119A (ko) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7179186B2 (ja) | 物体検出方法、装置、電子機器、及びコンピュータプログラム | |
CN110032962B (zh) | 一种物体检测方法、装置、网络设备和存储介质 | |
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、***、装置 | |
US10915793B2 (en) | Method and system for converting point cloud data for use with 2D convolutional neural networks | |
JP5778237B2 (ja) | ポイントクラウド内の埋め戻しポイント | |
CN114708585A (zh) | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 | |
CN110386142A (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
JP2021089724A (ja) | 構造的制約及び物理的制約を伴う3d自動ラベル付け | |
CN112613378B (zh) | 3d目标检测方法、***、介质及终端 | |
Paz et al. | Probabilistic semantic mapping for urban autonomous driving applications | |
CN113706480B (zh) | 一种基于关键点多尺度特征融合的点云3d目标检测方法 | |
EP4086846A1 (en) | Automatic detection of a calibration standard in unstructured lidar point clouds | |
EP4174792A1 (en) | Method for scene understanding and semantic analysis of objects | |
CN114764778A (zh) | 一种目标检测方法、目标检测模型训练方法及相关设备 | |
CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
CN112750155B (zh) | 基于卷积神经网络的全景深度估计方法 | |
CN113111787A (zh) | 目标检测方法、装置、设备以及存储介质 | |
Zhao et al. | DHA: Lidar and vision data fusion-based on road object classifier | |
CN113362458B (zh) | 模拟多视角成像的三维模型解译方法、终端及存储介质 | |
CN114387202B (zh) | 一种基于车端点云与图像融合的3d目标检测方法 | |
CN114926485B (zh) | 图像深度标注方法、装置、设备及存储介质 | |
CN117953446A (zh) | 车道线标注方法、车载设备、存储介质及车辆 | |
Yoo et al. | Yuto Semantic: a Large Scale Aerial LIDAR Dataset for Semantic Segmentation | |
CN115546784A (zh) | 一种基于深度学习的3d目标检测办法 | |
Yaqoob et al. | Performance evaluation of mobile stereonet for real time navigation in autonomous mobile robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7179186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |