JP2022537984A - 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体 - Google Patents
情報処理方法、測位方法及び装置、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2022537984A JP2022537984A JP2021574903A JP2021574903A JP2022537984A JP 2022537984 A JP2022537984 A JP 2022537984A JP 2021574903 A JP2021574903 A JP 2021574903A JP 2021574903 A JP2021574903 A JP 2021574903A JP 2022537984 A JP2022537984 A JP 2022537984A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- point
- point cloud
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000010365 information processing Effects 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 230000009466 transformation Effects 0.000 claims description 179
- 230000008569 process Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008685 targeting Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/008—Cut plane or projection plane definition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2019年7月29日に中国特許局に提出された、出願番号が201910690235.0であり、名称が「情報処理方法、測位方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
前記第1平面の法線方向が前記水平面に垂直するかどうかを判定することと、前記第1平面の法線方向が前記水平面に垂直する場合、前記第1平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定することと、を含む。
毎回の相似変換後の二次元ポイントクライド画像に対して、前記二次元ポイントクライド画像の第1画素点をトラバーサルすることであって、前記第1画素点は、前記二次元ポイントクライド画像における、前記二次元ポイントを構成する画素点である、ことと、前記参照平面図における、前記第1画素点に対応する第1画像領域を決定することと、前記第1画像領域に、前記参照点を表す第2画素点が存在する場合、前記第1画素点を第1ターゲット画素点として決定することと、前記二次元ポイントクライド画像に含まれる第1ターゲット画素点の数と前記二次元ポイントクライド画像に含まれる第1画素点の数との第1比例を決定することと、
前記第1比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と前記参照平面図との一致度を決定することと、を含む。
式(1)
とすれば、Mに対してSVDを行った後に、M=UDVTと表されてもよい。ここで、Uは、m×m次のユニタリー行列である。Dは、半正定値m×3次の対角行列である。Vは、3×3次の特異ベクトルである。Vにおける最小特異値に対応する特異ベクトルは、nの最小二乗解であってもよい。特異値が降順に従って配列されると、Vに対応する特異ベクトルはそれぞれV1、V2及びV3である。従って、n=V3である。
、
であるとすれば、平行移動ベクトルの変動間隔は、1画素であってもよい。ここで、wfは、参照平面図の幅を表す。hfは、参照平面図の高さを表す。
は、参照平面図の中心の
座標を表す。
は、平面図の中心の
座標を表す。
は、二次元ポイントクライド画像の中心の
座標を表す。
は、二次元ポイントクライド画像の中心の
座標を表す。該平行移動区間は、二次元ポイントクライド画像の中心を参照平面図の中心の周囲の1つの矩形領域内に移動することを表す。該矩形領域の大きさは、参照平面図の大きさと同じである。
式(2)
は、二次元ポイントクライド画像と参照平面図との一致度であってもよく、一致度が高いほど、二次元ポイントクライド画像と参照平面図とのアライメント度合いが高くなることを表す。Cp2fは、上記第1比例を表すことができる。Cf2pは、上記第2比例を表すことができる。Clcは、上記第3比例を表すことができる。Clpは、上記第4比例を表すことができる。
式(3)
三次元ポイントクラウドの三次元ポイント情報を取得するように構成される取得モジュール31と、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクライド画像を生成するように構成される生成モジュール32と、前記二次元ポイントクライド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定するように構成される決定モジュール33であって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、決定モジュール33と、を備える。
Claims (37)
- 情報処理方法であって、
三次元ポイントクラウドの三次元ポイント情報を取得することと、
前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクライド画像を生成することと、
前記二次元ポイントクライド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定することであって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、ことと、を含む、情報処理方法。 - 前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクライド画像を生成する前に、前記方法は、
画像情報収集過程における画像収集装置の少なくとも2つの位置姿勢情報を取得することであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、ことと、
前記画像収集装置の少なくとも2つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することと、を更に含むことを特徴とする
請求項1に記載の方法。 - 前記位置姿勢情報は、向き情報及び位置情報を含み、
前記画像収集装置の少なくとも2つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することは、
前記画像収集装置の少なくとも2つの位置情報に基づいて、画像情報収集過程における前記画像収集装置のいずれか2つの位置間の変位を決定することと、
前記画像収集装置の少なくとも2つの向き情報及びいずれか2つの位置間の変位に基づいて、前記三次元ポイントクラウドを投影する水平面を決定することと、を含むことを特徴とする
請求項2に記載の方法。 - 前記画像収集装置は、
画像情報収集過程における前記画像収集装置の所在する水平軸が、前記三次元ポイントクラウドを投影する水平面に平行するという所定の基礎条件、
画像情報収集過程における前記画像収集装置の地面からの高さが、所定の高さ範囲内で変動するという所定の基礎条件、のうちの少なくとも1つを満たすことを特徴とする
請求項2又は3に記載の方法。 - 前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクライド画像を生成することは、
前記三次元ポイントクラウドの三次元ポイント情報に基づいて、前記三次元ポイントクラウドに含まれる少なくとも1つの平面を決定することと、
前記少なくとも1つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定することと、
前記三次元ポイントクラウドから前記フィルタ除去すべき三次元ポイントを削除し、前記三次元ポイントクラウドにおける残りの三次元ポイントを得ることと、
残りの三次元ポイントの三次元ポイント情報に基づいて、残りの三次元ポイントを前記水平面へ投影し、前記三次元ポイントクラウドを投影する二次元ポイントクライド画像を生成することと、を含むことを特徴とする
請求項1から4のうちいずれか一項に記載の方法。 - 前記少なくとも1つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定することは、
前記少なくとも1つの平面のうちの各平面に含まれる三次元ポイントの数に基づいて、前記少なくとも1つの平面のうち、三次元ポイントの数が最も多く且つ第1閾値より大きい第1平面を決定することと、
前記第1平面の法線方向が前記水平面に垂直するかどうかを判定することと、
前記第1平面の法線方向が前記水平面に垂直する場合、前記第1平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定することと、を含むことを特徴とする
請求項5に記載の方法。 - 前記三次元ポイント情報は、三次元座標ベクトルを含み、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクライド画像を決定することは、
前記三次元ポイントクラウドの三次元座標ベクトル及び投影する水平面に基づいて、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウドの座標情報を決定することと、
前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、直線条件を満たすターゲット直線を決定することと、
前記ターゲット直線と前記水平面の座標軸との位置関係に基づいて、前記二次元ポイントクラウドの回転角を決定することと、
前記回転角に従って、前記二次元ポイントクラウドを回転し、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクライド画像を得ることと、を含むことを特徴とする
請求項2に記載の方法。 - 前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、ターゲット直線条件を満たすターゲット直線を決定することは、
前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる少なくとも1本の直線を決定することであって、前記少なくとも1本の直線のうちの各直線に含まれる二次元ポイントの数は、第2閾値より大きい、ことと、
前記少なくとも1本の直線のうちの各直線に含まれる二次元ポイントの数を統計し、前記二次元ポイントの数に従って、前記少なくとも1本の直線を順序付け、順序付け結果を得ることと、
前記順序付け結果に基づいて、前記少なくとも1本の直線のうちの現在の直線を逐次取得し、前記少なくとも1本の直線のうち、前記現在の直線に垂直する直線の数を決定することと、
現在の直線に垂直する直線の数が第3閾値より大きい場合、現在の直線を、直線条件を満たすターゲット直線として決定することと、を含むことを特徴とする
請求項7に記載の方法。 - 前記二次元ポイントクライド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定することは、
前記二次元ポイントクライド画像に対して少なくとも1回の相似変換を行うことと、
毎回の相似変換後の前記二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定することと、
前記少なくとも1回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することと、
前記変換関係に基づいて、前記三次元ポイントクラウドを前記参照平面図へ投影し、前記参照平面図の参照座標系における、前記三次元ポイントクラウドの投影座標を得ることと、を含むことを特徴とする
請求項1から8のうちいずれか一項に記載の方法。 - 前記二次元ポイントクライド画像に対して少なくとも1回の相似変換を行うことは、
前記二次元ポイントクライド画像に対して相似変換を行うための変換範囲を決定することと、
前記変換範囲内で、前記二次元ポイントクライド画像に対して少なくとも1回の相似変換を行うことと、を含むことを特徴とする
請求項9に記載の方法。 - 前記相似変換は、平行移動変換を含み、毎回の相似変換後の前記二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、
毎回の平行移動変換後の二次元ポイントクライド画像を対象にして、前記二次元ポイントクライド画像に対して所定の回数でサブサンプリング処理を行い、毎回のサブサンプリング処理後の第1サンプリング画像を得ることと、
毎回のサブサンプリング処理後の第1サンプリング画像に対して、該第1サンプリング画像における二次元ポイントと第2サンプリング画像における参照点との一致度を決定することであって、第2サンプリング画像は、前記参照平面図に対して該第1サンプリング画像と同様なサブサンプリング処理を行うことで得られたものである、ことと、
1回目のサブサンプリング処理後に決定された第1サンプリング画像と第2サンプリング画像との一致度に基づいて、毎回の平行移動変換後の二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定することと、を含むことを特徴とする
請求項9に記載の方法。 - 毎回の相似変換後の前記二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、
毎回の相似変換後の二次元ポイントクライド画像に対して、前記二次元ポイントクライド画像の第1画素点をトラバーサルすることであって、前記第1画素点は、前記二次元ポイントクライド画像における、前記二次元ポイントを構成する画素点である、ことと、
前記参照平面図における、前記第1画素点に対応する第1画像領域を決定することと、
前記第1画像領域に、前記参照点を表す第2画素点が存在する場合、前記第1画素点を第1ターゲット画素点として決定することと、
前記二次元ポイントクライド画像に含まれる第1ターゲット画素点の数と前記二次元ポイントクライド画像に含まれる第1画素点の数との第1比例を決定することと、
前記第1比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と前記参照平面図との一致度を決定することと、を含むことを特徴とする
請求項9に記載の方法。 - 毎回の相似変換後の前記二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、
毎回の前記二次元ポイントクライド画像に対して相似変換を行った後に、前記参照平面図の第2画素点をトラバーサルすることであって、前記第2画素点は、前記参照平面図における、前記参照点を構成する画素点である、ことと、
前記二次元ポイントクライド画像における、前記第2画素点に対応する第2画像領域を決定することと、
前記第2画像領域内に、前記二次元ポイントを表す第1画素点が存在する場合、前記第2画素点を第2ターゲット画素点として決定することと、
前記参照平面図に含まれる第2ターゲット画素点の数と前記参照平面図に含まれる第2画素点の数との第2比例を決定することと、
前記第2比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と参照平面図との一致度を決定することと、を含むことを特徴とする
請求項9に記載の方法。 - 毎回の相似変換後の前記二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、
毎回の前記二次元ポイントクライド画像に対して相似変換を行った後に、前記二次元ポイントクライド画像における、非閉鎖領域内に位置する第1画素点を決定することであって、前記第1画素点は、前記二次元ポイントクライド画像における、前記二次元ポイントを構成する画素点である、ことと、
前記非閉鎖領域に位置する第1画素点の数と前記二次元ポイントクライド画像に含まれる第1画素点の数との第3比例を決定することと、
前記第3比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と参照平面図との一致度を決定することと、を含むことを特徴とする
請求項9に記載の方法。 - 毎回の相似変換後の前記二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定することは、
毎回の前記二次元ポイントクライド画像に対して相似変換を行った後に、画像情報収集過程における前記画像収集装置の位置姿勢情報に基づいて、前記画像収集装置が前記二次元ポイントクライド画像へ投影する第3画素点を決定することであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、ことと、
前記非閉鎖領域に位置する第3画素点の数と前記二次元ポイントクライド画像に含まれる第3画素点の数との第4比例を決定することと、
前記第4比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と参照平面図との一致度を決定することと、を含むことを特徴とする
請求項9に記載の方法。 - 前記少なくとも1回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することは、
前記少なくとも1回の相似変換後に決定された一致度に基づいて、前記二次元ポイントクライド画像における二次元ポイントを前記参照平面図における参照点にマッチングさせる二次元変換行列を決定することと、
前記二次元変換行列に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定することと、を含むことを特徴とする
請求項9に記載の方法。 - 測位方法であって、
ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得することと、
収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較することであって、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクライド画像と参照平面図との一致性に基づいて決定されたものであり、前記二次元ポイントクライド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである、ことと、
前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位することと、を含む、測位方法。 - 情報処理装置であって、
三次元ポイントクラウドの三次元ポイント情報を取得するように構成される取得モジュールと、前記三次元ポイント情報に基づいて、前記三次元ポイントクラウドを水平面へ投影する二次元ポイントクライド画像を生成するように構成される生成モジュールと、
前記二次元ポイントクライド画像と参照平面図との一致度に基づいて、前記参照平面図の参照座標系における、前記三次元ポイントクラウドに含まれる三次元ポイントの投影座標を決定するように構成される決定モジュールであって、前記参照平面図は、ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を示すためのものであり、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものである、決定モジュールと、を備える、情報処理装置。 - 前記装置は、
画像情報収集過程における画像収集装置の少なくとも2つの位置姿勢情報を取得するように構成される位置姿勢取得モジュールであって、前記画像情報は、前記三次元ポイントクラウドを構築するためのものである、位置姿勢取得モジュールと、
前記画像収集装置の少なくとも2つの位置姿勢情報に基づいて、前記三次元ポイントクラウドを投影する水平面を決定するように構成される平面決定モジュールと、を更に備えることを特徴とする
請求項18に記載の装置。 - 前記位置姿勢情報は、向き情報及び位置情報を含み、前記平面決定モジュールは具体的には、
前記画像収集装置の少なくとも2つの位置情報に基づいて、画像情報収集過程における前記画像収集装置のいずれか2つの位置間の変位を決定し、
前記画像収集装置の少なくとも2つの向き情報及びいずれか2つの位置間の変位に基づいて、前記三次元ポイントクラウドを投影する水平面を決定するように構成されることを特徴とする
請求項19に記載の装置。 - 前記画像収集装置は、
画像情報収集過程における前記画像収集装置の所在する水平軸が、前記三次元ポイントクラウドを投影する水平面に平行するという所定の基礎条件、
画像情報収集過程における前記画像収集装置の地面からの高さが、所定の高さ範囲内で変動するという所定の基礎条件、のうちの少なくとも1つを満たすことを特徴とする
請求項19又は20に記載の装置。 - 前記生成モジュールは具体的には、
前記三次元ポイントクラウドの三次元ポイント情報に基づいて、前記三次元ポイントクラウドに含まれる少なくとも1つの平面を決定し、
前記少なくとも1つの平面のうちの各平面に含まれる三次元ポイントの数及び各平面の法線方向に基づいて、前記三次元ポイントクラウドにおけるフィルタ除去すべき三次元ポイントを決定し、
前記三次元ポイントクラウドから前記フィルタ除去すべき三次元ポイントを削除し、前記三次元ポイントクラウドにおける残りの三次元ポイントを得て、
残りの三次元ポイントの三次元ポイント情報に基づいて、残りの三次元ポイントを前記水平面へ投影し、前記三次元ポイントクラウドを投影する二次元ポイントクライド画像を生成するように構成されることを特徴とする
請求項18から21のうちいずれか一項に記載の装置。 - 前記生成モジュールは具体的には、
前記少なくとも1つの平面のうちの各平面に含まれる三次元ポイントの数に基づいて、前記少なくとも1つの平面のうち、三次元ポイントの数が最も多く且つ第1閾値より大きい第1平面を決定し、
前記第1平面の法線方向が前記水平面に垂直するかどうかを判定し、
前記第1平面の法線方向が前記水平面に垂直する場合、前記第1平面に含まれる三次元ポイントを前記フィルタ除去すべき三次元ポイントとして決定するように構成されることを特徴とする
請求項22に記載の装置。 - 前記三次元ポイント情報は、三次元座標ベクトルを含み、前記生成モジュールは具体的には、
前記三次元ポイントクラウドの三次元座標ベクトル及び投影する水平面に基づいて、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクラウドの座標情報を決定し、
前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる、直線条件を満たすターゲット直線を決定し、
前記ターゲット直線と前記水平面の座標軸との位置関係に基づいて、前記二次元ポイントクラウドの回転角を決定し、
前記回転角に従って、前記二次元ポイントクラウドを回転し、前記三次元ポイントクラウドを前記水平面へ投影する二次元ポイントクライド画像を得るように構成されることを特徴とする
請求項19に記載の装置。 - 前記生成モジュールは具体的には、
前記二次元ポイントクラウドの座標情報に基づいて、前記二次元ポイントクラウドに含まれる少なくとも1本の直線を決定するように構成され、前記少なくとも1本の直線のうちの各直線に含まれる二次元ポイントの数は、第2閾値より大きく、
前記生成モジュールは具体的には、前記少なくとも1本の直線のうちの各直線に含まれる二次元ポイントの数を統計し、
前記二次元ポイントの数に従って、前記少なくとも1本の直線を順序付け、順序付け結果を得て、
前記順序付け結果に基づいて、前記少なくとも1本の直線のうちの現在の直線を逐次取得し、前記少なくとも1本の直線のうち、前記現在の直線に垂直する直線の数を決定し、
現在の直線に垂直する直線の数が第3閾値より大きい場合、現在の直線を、直線条件を満たすターゲット直線として決定するように構成されることを特徴とする
請求項24に記載の装置。 - 前記決定モジュールは具体的には、
前記二次元ポイントクライド画像に対して少なくとも1回の相似変換を行い、
毎回の相似変換後の前記二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定し、
前記少なくとも1回の相似変換後に決定された一致度に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定し、
前記変換関係に基づいて、前記三次元ポイントクラウドを前記参照平面図へ投影し、前記参照平面図の参照座標系における、前記三次元ポイントクラウドの投影座標を得るように構成されることを特徴とする
請求項18から25のうちいずれか一項に記載の装置。 - 前記決定モジュールは具体的には、
前記二次元ポイントクライド画像に対して相似変換を行うための変換範囲を決定し、
前記変換範囲内で、前記二次元ポイントクライド画像に対して少なくとも1回の相似変換を行うように構成されることを特徴とする
請求項26に記載の装置。 - 前記相似変換は、平行移動変換を含み、前記決定モジュールは具体的には、
毎回の平行移動変換後の二次元ポイントクライド画像を対象にして、前記二次元ポイントクライド画像に対して所定の回数でサブサンプリング処理を行い、毎回のサブサンプリング処理後の第1サンプリング画像を得て、
サブサンプリング処理回数の降順に従って、毎回のサブサンプリング処理後の第1サンプリング画像に対して、順に、該第1サンプリング画像における二次元ポイントと第2サンプリング画像における参照点との一致度を決定するように構成され、第2サンプリング画像は、前記参照平面図に対して該第1サンプリング画像と同様なサブサンプリング処理を行うことで得られたものであり、
前記決定モジュールは具体的には、1回目のサブサンプリング処理後に決定された第1サンプリング画像と第2サンプリング画像との一致度に基づいて、毎回の平行移動変換後の二次元ポイントクライド画像における二次元ポイントと参照平面図の参照点との一致度を決定するように構成されることを特徴とする
請求項27に記載の装置。 - 前記決定モジュールは具体的には、
毎回の相似変換後の二次元ポイントクライド画像に対して、前記二次元ポイントクライド画像の第1画素点をトラバーサルするように構成され、前記第1画素点は、前記二次元ポイントクライド画像における、前記二次元ポイントを構成する画素点であり、
前記決定モジュールは具体的には、前記参照平面図における、前記第1画素点に対応する第1画像領域を決定し、
前記第1画像領域に、前記参照点を表す第2画素点が存在する場合、前記第1画素点を第1ターゲット画素点として決定し、
前記二次元ポイントクライド画像に含まれる第1ターゲット画素点の数と前記二次元ポイントクライド画像に含まれる第1画素点の数との第1比例を決定し、
前記第1比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と前記参照平面図との一致度を決定するように構成されることを特徴とする
請求項27に記載の装置。 - 前記決定モジュールは具体的には、
毎回の前記二次元ポイントクライド画像に対して相似変換を行った後に、前記参照平面図の第2画素点をトラバーサルするように構成され、前記第2画素点は、前記参照平面図における、前記参照点を構成する画素点であり、
前記決定モジュールは具体的には、前記二次元ポイントクライド画像における、前記第2画素点に対応する第2画像領域を決定し、
前記第2画像領域内に、前記二次元ポイントを表す第1画素点が存在する場合、前記第2画素点を第2ターゲット画素点として決定し、
前記参照平面図に含まれる第2ターゲット画素点の数と前記参照平面図に含まれる第2画素点の数との第2比例を決定し、
前記第2比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と参照平面図との一致度を決定するように構成されることを特徴とする
請求項27に記載の装置。 - 前記決定モジュールは具体的には、
毎回の前記二次元ポイントクライド画像に対して相似変換を行った後に、前記二次元ポイントクライド画像における、非閉鎖領域内に位置する第1画素点を決定するように構成され、前記第1画素点は、前記二次元ポイントクライド画像における、前記二次元ポイントを構成する画素点であり、
前記決定モジュールは具体的には、前記非閉鎖領域に位置する第1画素点の数と前記二次元ポイントクライド画像に含まれる第1画素点の数との第3比例を決定し、
前記第3比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と参照平面図との一致度を決定するように構成されることを特徴とする
請求項27に記載の装置。 - 前記決定モジュールは具体的には、
毎回の前記二次元ポイントクライド画像に対して相似変換を行った後に、画像情報収集過程における前記画像収集装置の位置姿勢情報に基づいて、前記画像収集装置が前記二次元ポイントクライド画像へ投影する第3画素点を決定するように構成され、前記画像情報は、前記三次元ポイントクラウドを構築するためのものであり、
前記決定モジュールは具体的には、前記非閉鎖領域に位置する第3画素点の数と前記二次元ポイントクライド画像に含まれる第3画素点の数との第4比例を決定し、
前記第4比例に基づいて、毎回の相似変換後の前記二次元ポイントクライド画像と参照平面図との一致度を決定するように構成されることを特徴とする
請求項27に記載の装置。 - 前記決定モジュールは具体的には、
前記少なくとも1回の相似変換後に決定された一致度に基づいて、前記二次元ポイントクライド画像における二次元ポイントを前記参照平面図における参照点にマッチングさせる二次元変換行列を決定し、
前記二次元変換行列に基づいて、前記三次元ポイントクラウドにおける三次元ポイントを前記参照平面図における参照点にマッチングさせるための変換関係を決定するように構成されることを特徴とする
請求項27に記載の装置。 - 測位装置であって、
ターゲット物体に対して画像収集装置により収集されたターゲット画像情報を取得するように構成される取得モジュールと、
収集された前記ターゲット画像情報と三次元ポイントクラウドにおける三次元ポイントを比較するように構成される比較モジュールであって、前記三次元ポイントクラウドは、前記ターゲット物体の三次元空間情報を表すためのものであり、前記三次元ポイントクラウドにおける三次元ポイントは、投影座標に対応し、前記投影座標は、二次元ポイントクライド画像と参照平面図との一致性に基づいて決定されたものであり、前記二次元ポイントクライド画像は、前記三次元ポイントクラウドを水平面へ投影することで生成されたものであり、前記参照平面図は、前記ターゲット物体を前記水平面へ投影する、参照座標を有する投影図を表すためのものである、比較モジュールと、
前記ターゲット画像情報とマッチングする三次元ポイントに対応する投影座標に基づいて、前記画像収集装置を測位するように構成される測位モジュールと、を備える、測位装置。 - 電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出し、請求項1から16のうちいずれか一項に記載の方法、又は、請求項17に記載の方法を実行するように構成される、電子機器。 - コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項1から16のうちいずれか一項に記載の方法を実現させるか、又は、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項17に記載の方法を実現させる、コンピュータ可読記憶媒体。
- コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサに、請求項1から16のうちいずれか一項に記載の方法、又は、請求項17に記載の方法を実行させるように構成される、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910690235.0A CN112381919B (zh) | 2019-07-29 | 2019-07-29 | 信息处理方法、定位方法及装置、电子设备和存储介质 |
CN201910690235.0 | 2019-07-29 | ||
PCT/CN2019/118453 WO2021017314A1 (zh) | 2019-07-29 | 2019-11-14 | 信息处理方法、定位方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022537984A true JP2022537984A (ja) | 2022-08-31 |
JP7328366B2 JP7328366B2 (ja) | 2023-08-16 |
Family
ID=74228306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021574903A Active JP7328366B2 (ja) | 2019-07-29 | 2019-11-14 | 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11983820B2 (ja) |
JP (1) | JP7328366B2 (ja) |
CN (1) | CN112381919B (ja) |
TW (1) | TWI743645B (ja) |
WO (1) | WO2021017314A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11574485B2 (en) * | 2020-01-17 | 2023-02-07 | Apple Inc. | Automatic measurements based on object classification |
WO2021231266A1 (en) * | 2020-05-11 | 2021-11-18 | Cognex Corporation | Methods and apparatus for determining volumes of 3d images |
CN113077500A (zh) * | 2021-03-12 | 2021-07-06 | 上海杰图天下网络科技有限公司 | 基于平面图的全景视点定位定姿方法、***、设备及介质 |
CN113223179B (zh) * | 2021-05-12 | 2022-08-05 | 武汉中仪物联技术股份有限公司 | 管道选定线路长度的确定方法和装置 |
CN113657074A (zh) * | 2021-08-13 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | 三维空间内的线性文本布局方法、电子装置及存储介质 |
CN113744409B (zh) * | 2021-09-09 | 2023-08-15 | 上海柏楚电子科技股份有限公司 | 工件定位方法、装置、***、设备与介质 |
CN114004882A (zh) * | 2021-09-24 | 2022-02-01 | 奥比中光科技集团股份有限公司 | 一种二维地图生成方法、装置、终端设备及存储介质 |
CN113970295B (zh) * | 2021-09-28 | 2024-04-16 | 湖南三一中益机械有限公司 | 一种摊铺厚度测量方法、装置及摊铺机 |
CN113607166B (zh) * | 2021-10-08 | 2022-01-07 | 广东省科学院智能制造研究所 | 基于多传感融合的自主移动机器人室内外定位方法及装置 |
CN113587930B (zh) * | 2021-10-08 | 2022-04-05 | 广东省科学院智能制造研究所 | 基于多传感融合的自主移动机器人室内外导航方法及装置 |
CN114202684B (zh) * | 2021-11-29 | 2023-06-16 | 哈尔滨工程大学 | 一种适用于水面环境的点云数据投影方法、***及装置 |
US12017657B2 (en) * | 2022-01-07 | 2024-06-25 | Ford Global Technologies, Llc | Vehicle occupant classification using radar point cloud |
CN114442101B (zh) * | 2022-01-28 | 2023-11-14 | 南京慧尔视智能科技有限公司 | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 |
CN114781056B (zh) * | 2022-04-13 | 2023-02-03 | 南京航空航天大学 | 一种基于特征匹配的飞机整机外形测量方法 |
CN114963025B (zh) * | 2022-04-19 | 2024-03-26 | 深圳市城市公共安全技术研究院有限公司 | 泄漏点定位方法、装置、电子设备及可读存储介质 |
CN115423933B (zh) * | 2022-08-12 | 2023-09-29 | 北京城市网邻信息技术有限公司 | 户型图生成方法、装置、电子设备及存储介质 |
CN115330652B (zh) * | 2022-08-15 | 2023-06-16 | 北京城市网邻信息技术有限公司 | 点云拼接方法、设备及存储介质 |
CN116030103B (zh) * | 2023-03-07 | 2024-02-27 | 北京百度网讯科技有限公司 | 确定砌筑质量的方法、装置、设备和介质 |
CN116542659B (zh) * | 2023-04-10 | 2024-06-04 | 北京城市网邻信息技术有限公司 | 资源分配方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186808A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 情報処理装置、マップ更新方法、プログラム及び情報処理システム |
JP2019506919A (ja) * | 2015-12-15 | 2019-03-14 | セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルSt. Jude Medical International Holding S.a,r.l. | 電磁センサ追跡システムのためのモーション・ボックス視覚化 |
CN109872350A (zh) * | 2019-02-18 | 2019-06-11 | 重庆市勘测院 | 一种新的点云自动配准方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9025861B2 (en) * | 2013-04-09 | 2015-05-05 | Google Inc. | System and method for floorplan reconstruction and three-dimensional modeling |
CN104422406A (zh) * | 2013-08-30 | 2015-03-18 | 鸿富锦精密工业(深圳)有限公司 | 平面度量测***及方法 |
US20150278155A1 (en) * | 2014-03-27 | 2015-10-01 | Knockout Concepts, Llc | Identifying objects using a 3d scanning device, images, and 3d models |
CN104217458B (zh) * | 2014-08-22 | 2017-02-15 | 长沙中科院文化创意与科技产业研究院 | 一种三维点云的快速配准方法 |
TWI550425B (zh) * | 2014-12-24 | 2016-09-21 | 財團法人工業技術研究院 | 三維點雲融合二維影像的方法、裝置與儲存媒體 |
CN105469388B (zh) * | 2015-11-16 | 2019-03-15 | 集美大学 | 基于降维的建筑物点云配准方法 |
CN108541322B (zh) * | 2016-08-29 | 2021-09-14 | 北京清影机器视觉技术有限公司 | 三维视觉测量数据的处理方法和装置 |
CN108932475B (zh) * | 2018-05-31 | 2021-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和单目视觉的三维目标识别***及方法 |
CN108830894B (zh) * | 2018-06-19 | 2020-01-17 | 亮风台(上海)信息科技有限公司 | 基于增强现实的远程指导方法、装置、终端和存储介质 |
CN109035329A (zh) * | 2018-08-03 | 2018-12-18 | 厦门大学 | 基于深度特征的相机姿态估计优化方法 |
CN109900338B (zh) | 2018-12-25 | 2020-09-01 | 西安中科天塔科技股份有限公司 | 一种路面坑槽体积测量方法及装置 |
US10353073B1 (en) * | 2019-01-11 | 2019-07-16 | Nurulize, Inc. | Point cloud colorization system with real-time 3D visualization |
CN109993793B (zh) * | 2019-03-29 | 2021-09-07 | 北京易达图灵科技有限公司 | 视觉定位方法及装置 |
-
2019
- 2019-07-29 CN CN201910690235.0A patent/CN112381919B/zh active Active
- 2019-11-14 JP JP2021574903A patent/JP7328366B2/ja active Active
- 2019-11-14 WO PCT/CN2019/118453 patent/WO2021017314A1/zh active Application Filing
-
2020
- 2020-01-06 TW TW109100342A patent/TWI743645B/zh active
-
2021
- 2021-12-15 US US17/551,865 patent/US11983820B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186808A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 情報処理装置、マップ更新方法、プログラム及び情報処理システム |
JP2019506919A (ja) * | 2015-12-15 | 2019-03-14 | セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルSt. Jude Medical International Holding S.a,r.l. | 電磁センサ追跡システムのためのモーション・ボックス視覚化 |
CN109872350A (zh) * | 2019-02-18 | 2019-06-11 | 重庆市勘测院 | 一种新的点云自动配准方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI743645B (zh) | 2021-10-21 |
TW202105328A (zh) | 2021-02-01 |
WO2021017314A1 (zh) | 2021-02-04 |
JP7328366B2 (ja) | 2023-08-16 |
CN112381919B (zh) | 2022-09-27 |
CN112381919A (zh) | 2021-02-19 |
US11983820B2 (en) | 2024-05-14 |
US20220108528A1 (en) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7328366B2 (ja) | 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体 | |
CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
TWI587241B (zh) | Method, device and system for generating two - dimensional floor plan | |
Coorg et al. | Acquisition of a large pose-mosaic dataset | |
EP3398161B1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
CN105809729B (zh) | 一种虚拟场景的球形全景渲染方法 | |
CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN112686877A (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及*** | |
CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
Meuleman et al. | Real-time sphere sweeping stereo from multiview fisheye images | |
US8509522B2 (en) | Camera translation using rotation from device | |
Komatsu et al. | 360 depth estimation from multiple fisheye images with origami crown representation of icosahedron | |
CN113902802A (zh) | 视觉定位方法及相关装置、电子设备和存储介质 | |
Sandnes et al. | Translating the viewing position in single equirectangular panoramic images | |
Ventura et al. | Structure and motion in urban environments using upright panoramas | |
US20190101765A1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
Skuratovskyi et al. | Outdoor mapping framework: from images to 3d model | |
Li et al. | Depth-assisted demosaicing for light field data in layered object space | |
Sahin | The geometry and usage of the supplementary fisheye lenses in smartphones | |
Boussias-Alexakis et al. | Automatic adjustment of wide-base Google Street View panoramas | |
CN117635875B (zh) | 一种三维重建方法、装置及终端 | |
Groom et al. | On Depth Error from Spherical Camera Calibration within Omnidirectional Stereo Vision | |
Chen et al. | The power of indoor crowd: Indoor 3D maps from the crowd | |
Ahmadabadian | Photogrammetric multi-view stereo and imaging network design | |
CN116452746A (zh) | 基于多视图和智能学习的三维图像重建方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7328366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |