JP7432793B1 - Mapping methods, devices, chips and module devices based on three-dimensional point clouds - Google Patents
Mapping methods, devices, chips and module devices based on three-dimensional point clouds Download PDFInfo
- Publication number
- JP7432793B1 JP7432793B1 JP2023216450A JP2023216450A JP7432793B1 JP 7432793 B1 JP7432793 B1 JP 7432793B1 JP 2023216450 A JP2023216450 A JP 2023216450A JP 2023216450 A JP2023216450 A JP 2023216450A JP 7432793 B1 JP7432793 B1 JP 7432793B1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- dimensional point
- line segment
- point
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000013507 mapping Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 17
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本願は、三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器を開示し、該方法は、目標対象の画像である二次元画像における目標線分に対応し、該目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、目標対象の三次元点群である第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することと、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、該第２三次元点群から該目標線分に対応する三次元点群を決定することとを含む。本願に記載の方法に基づき、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることができる。【選択図】図２The present application discloses a mapping method, apparatus, chip and module device based on a three-dimensional point cloud, which method corresponds to a target line segment in a two-dimensional image that is an image of a target object; Obtaining an edge pixel point set including pixel points at four corners of a circumscribed rectangle, and obtaining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point group that is a three-dimensional point group of the target object. , filtering the first three-dimensional point group based on the first spatial point set to obtain a second three-dimensional point group, and determining the target line segment from the second three-dimensional point group. and determining a three-dimensional point cloud corresponding to the . Based on the methods described herein, it is possible to reduce the amount of computation, increase the speed of data processing, and improve the user experience. [Selection diagram] Figure 2
Description
本発明は、コンピュータ分野に関し、特に、三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器に関する。 TECHNICAL FIELD The present invention relates to the computer field, and in particular to mapping methods, devices, chips and module equipment based on three-dimensional point clouds.
三次元イメージング技術では、通常、選定された三次元点群を処理して、三次元測定及び分析を実現する必要がある。いわゆる三次元点群とは、三次元点の集合と理解でき、同じ参照座標系で目標物体の表面特徴及び空間分布を表す点の集合である。三次元点群は、空間座標、色、強度等の豊かな属性情報を含んでもよい。 Three-dimensional imaging techniques usually require processing of selected three-dimensional point clouds to realize three-dimensional measurements and analysis. A so-called three-dimensional point cloud can be understood as a set of three-dimensional points, which represent the surface features and spatial distribution of a target object in the same reference coordinate system. A three-dimensional point cloud may include rich attribute information such as spatial coordinates, color, intensity, etc.
三次元点群のインタラクティブ選出過程については、通常、表示された二次元ＲＧＢ画像から画素点を選出し、そして、選出した画素点に基づいて対応する三次元点群をマッピングする必要がある。従来の方法では、三次元のものの二次元への投影行列を利用して、選出した画素点を逆投影することにより、選出した画素点に対応する三次元点群を投射することができ、又は、全ての三次元点群を二次元投影し、そして、最近傍探索により、選出した画素点に対応する三次元点群を検索することができる。しかし、このような従来方式は、計算量が大きく、データ処理の速度が遅く、顧客体験に大きな影響を及ぼす。 For the interactive selection process of 3D point cloud, it is usually necessary to select pixel points from the displayed 2D RGB image and then map the corresponding 3D point cloud based on the selected pixel points. In conventional methods, a three-dimensional point group corresponding to the selected pixel points can be projected by back-projecting the selected pixel points using a projection matrix of a three-dimensional object into two dimensions, or , all three-dimensional point groups are two-dimensionally projected, and the three-dimensional point group corresponding to the selected pixel point can be searched for by nearest neighbor search. However, such conventional methods require a large amount of calculation, slow data processing speed, and have a large impact on customer experience.
本願は、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることができる三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器を提供する。 The present application provides three-dimensional point cloud-based mapping methods, devices, chips, and module equipment that can reduce the amount of calculation, increase the speed of data processing, and improve the user experience.
第１側面において、本願は、目標対象の画像である二次元画像における目標線分に対応し、該目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、目標対象の三次元点群である第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することと、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、該第２三次元点群から該目標線分に対応する三次元点群を決定することと、を含む、三次元点群に基づくマッピング方法を提供する。 In a first aspect, the present application obtains an edge pixel point set that corresponds to a target line segment in a two-dimensional image that is an image of a target object and that includes pixel points at four corners of a circumscribed rectangle that corresponds to the target line segment. determining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point group that is a three-dimensional point group of the target object; a three-dimensional point cloud comprising filtering a three-dimensional point cloud to obtain a second three-dimensional point cloud; and determining a three-dimensional point cloud corresponding to the target line segment from the second three-dimensional point cloud. A point cloud based mapping method is provided.
第１側面に記載の方法に基づき、二次元画像における目標線分に対応するエッジ画素点集合を取得し、該エッジ画素点集合に対応する空間点集合を決定して、目標線分に対応する三次元点群の境界を決定し、求めた境界を利用して第１三次元点群の範囲を縮小することで、第２三次元点群が得られ、より小さな範囲の第２三次元点群から目標線分に対応する三次元点群を検索することができ、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることに有利である。 Based on the method described in the first aspect, a set of edge pixel points corresponding to the target line segment in the two-dimensional image is obtained, a set of spatial points corresponding to the set of edge pixel points is determined, and a set of spatial points corresponding to the target line segment is determined. By determining the boundaries of the three-dimensional point group and using the determined boundaries to reduce the range of the first three-dimensional point group, a second three-dimensional point group can be obtained, and the second three-dimensional point group with a smaller range can be obtained. The three-dimensional point group corresponding to the target line segment can be searched from the group, which is advantageous in reducing the amount of calculation, increasing the speed of data processing, and improving the user experience.
１つの可能な実現方式において、該目標線分は直線線分であり、該外接矩形の角点は該目標線分の端点を含む。該方式に基づき、決定した目標線分に対応する三次元点群の境界の精確性を向上させることに有利である。 In one possible implementation, the target line segment is a straight line segment, and the corner points of the circumscribed rectangle include the end points of the target line segment. Based on this method, it is advantageous to improve the accuracy of the boundary of the three-dimensional point group corresponding to the determined target line segment.
１つの可能な実現方式において、該目標線分は曲線線分であり、該外接矩形は該目標線分の最小外接矩形である。該方式に基づき、決定した目標線分に対応する三次元点群の境界の精確性を向上させることに有利である。 In one possible implementation, the target line segment is a curved line segment and the circumscribing rectangle is the minimum circumscribing rectangle of the target line segment. Based on this method, it is advantageous to improve the accuracy of the boundary of the three-dimensional point group corresponding to the determined target line segment.
１つの可能な実現方式において、第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することは、カメラ内部パラメータに基づいて該エッジ画素点集合に対応する画像点集合を決定することと、該画像点集合に基づいて第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定することとを含む。該方式に基づき、第１空間点集合の正確性を向上させることに有利である。 In one possible implementation, determining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point set comprises determining the first spatial point set corresponding to the edge pixel point set based on camera internal parameters. and determining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point set based on the image point set. Based on the method, it is advantageous to improve the accuracy of the first spatial point set.
１つの可能な実現方式において、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることは、該第１空間点集合に基づいて、第１方向における、該第１空間点集合内の第１空間点の第１方向における座標数値の最大値である第１最大閾値、及び該第１空間点集合内の第１空間点の第１方向における座標数値の最小値である第１最小閾値と、第２方向における、該第１空間点集合内の第１空間点の第２方向における座標数値の最大値である第２最大閾値、及び該第１空間点集合内の第１空間点の第２方向における座標数値の最小値である第２最小閾値とを決定することと、該第１最大閾値、該第１最小閾値、該第２最大閾値及び該第２最小閾値に基づき、該第１三次元点群をフィルタリング処理し、第２三次元点群を得ることとを含む。該方式に基づき、第１三次元点群に存在する異常点を取り除くとともに、第１三次元点群の範囲を縮小する正確性を向上させることに有利である。 In one possible implementation, filtering the first 3D point cloud based on the first spatial point set to obtain a second 3D point cloud comprises: a first maximum threshold that is the maximum value of the coordinate value in the first direction of the first spatial point in the first spatial point set; a first minimum threshold that is the minimum value of coordinate values in the direction; a second maximum threshold that is the maximum value of the coordinate values in the second direction of the first spatial point in the first spatial point set in the second direction; determining a second minimum threshold that is the minimum value of the coordinate values of the first spatial point in the first spatial point set in the second direction; the first maximum threshold, the first minimum threshold, the second filtering the first three-dimensional point group based on the maximum threshold and the second minimum threshold to obtain a second three-dimensional point group. Based on this method, it is advantageous to remove abnormal points existing in the first three-dimensional point group and to improve the accuracy of reducing the range of the first three-dimensional point group.
１つの可能な実現方式において、該第２三次元点群内の第２空間点の第１方向における座標数値は、該第１最小閾値よりも大きいか又は等しく且つ該第１最大閾値よりも小さいか又は等しく、該第２三次元点群内の空間点の第２方向における座標数値は、該第２最小閾値よりも大きいか又は等しく且つ該第２最大閾値よりも小さいか又は等しい。 In one possible implementation, the coordinate value in the first direction of the second spatial point in the second three-dimensional point cloud is greater than or equal to the first minimum threshold and less than the first maximum threshold. or equal, a coordinate value in the second direction of a spatial point within the second three-dimensional point group is greater than or equal to the second minimum threshold and less than or equal to the second maximum threshold.
１つの可能な実現方式において、該外接矩形の隣り合う２つの辺は、それぞれ該二次元画像の行方向及び列方向に平行である。該方式に基づき、外接矩形の方向と二次元画像の方向とが一致することを保証でき、決定した境界領域をより正確にすることができ、第１三次元点群を縮小する正確性を向上させることにより有利である。 In one possible implementation, two adjacent sides of the circumscribed rectangle are parallel to the row and column directions of the two-dimensional image, respectively. Based on this method, it can be guaranteed that the direction of the circumscribed rectangle and the direction of the two-dimensional image match, the determined boundary area can be made more accurate, and the accuracy of reducing the first three-dimensional point cloud can be improved. It is advantageous to do so.
第２側面において、本願は、目標対象の画像である二次元画像における目標線分に対応し、該目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得するための取得ユニットと、目標対象の三次元点群である第１三次元点群から該エッジ画素点集合に対応する第１空間点集合を決定するための決定ユニットと、該第１空間点集合に基づいて該第１三次元点群をフィルタリング処理し、第２三次元点群を得るための処理ユニットとを備え、該決定ユニットは更に、該第２三次元点群から該目標線分に対応する三次元点群を決定することに用いられる、三次元点群に基づくマッピング装置を提供する。 In a second aspect, the present application obtains an edge pixel point set that corresponds to a target line segment in a two-dimensional image that is an image of a target object and that includes pixel points at four corners of a circumscribed rectangle that corresponds to the target line segment. an acquisition unit for determining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point group that is a three-dimensional point group of a target object, and the first spatial point set. a processing unit for filtering the first three-dimensional point group based on the above to obtain a second three-dimensional point group, the determining unit further comprising: filtering the first three-dimensional point group based on the target line segment; A three-dimensional point cloud-based mapping device is provided that is used to determine a corresponding three-dimensional point cloud.
第３側面において、本願は、チップを提供し、該チップは、上記第１側面又はそのいずれかの可能な実現方式における方法をチップに実行させるために構成されるプロセッサと、通信インタフェースとを備える。 In a third aspect, the present application provides a chip, the chip comprising a processor configured to cause the chip to perform the method in the first aspect or any of the possible implementations above, and a communication interface. .
第４側面において、本願は、モジュール機器を提供し、該モジュール機器は、モジュール機器の内部の通信又は該モジュール機器と外部機器との通信を行うための通信モジュールと、該モジュール機器に電気エネルギを提供するための電源モジュールと、データ及び命令を記憶するための記憶モジュールと、上記第１側面又はそのいずれかの可能な実現方式における方法を実行するためのチップとを備える。 In a fourth aspect, the present application provides a module device, the module device includes a communication module for internal communication of the module device or communication between the module device and an external device, and a communication module for providing electrical energy to the module device. a power supply module for providing data, a storage module for storing data and instructions, and a chip for carrying out the method of the first aspect or any of the possible implementations thereof.
第５側面において、本発明の実施例は、プログラム命令を含むコンピュータプログラムを記憶するためのメモリと、該プログラム命令を呼び出して上記第１側面又はそのいずれかの可能な実現方式における方法を実行するために構成されるプロセッサとを備える、三次元点群に基づくマッピング装置を開示する。 In a fifth aspect, embodiments of the invention provide a memory for storing a computer program comprising program instructions and for invoking the program instructions to carry out the method in the first aspect or any of the possible implementations thereof. A three-dimensional point cloud-based mapping apparatus is disclosed, comprising a processor configured for.
第６側面において、本願は、三次元点群に基づくマッピング装置で運行すると、該三次元点群に基づくマッピング装置に、上記第１側面又はそのいずれかの可能な実現方式における方法を実行させるコンピュータ可読命令が記憶されたコンピュータ可読記憶媒体を提供する。 In a sixth aspect, the present application provides a computer which, when operated with a mapping device based on a three-dimensional point cloud, causes the mapping device based on a three-dimensional point cloud to carry out the method in the first aspect or any of the possible realizations thereof. A computer readable storage medium having readable instructions stored thereon is provided.
第７側面において、本願は、コンピュータで運行すると、コンピュータに、第１側面又はそのいずれかの可能な実現方式における方法を実行させるコード又は命令を含むコンピュータプログラム又はコンピュータプログラムプロダクトを提供する。 In a seventh aspect, the present application provides a computer program or computer program product comprising code or instructions that, when run on a computer, cause the computer to carry out the method of the first aspect or any of its possible implementations.
以下、本願の実施例における図面と結び付けて、本願の実施例における技術案を明確且つ完全に説明し、説明される実施例は、全ての実施例ではなく、本発明の一部の実施例に過ぎないことは明らかである。本発明における実施例に基づいて、当業者が創造的な労働を行わない前提で得られる全ての他の実施例は、本発明の保護範囲に属する。 Hereinafter, in conjunction with the drawings in the embodiments of the present invention, the technical solutions in the embodiments of the present invention will be clearly and completely explained, and the described embodiments are not all embodiments, but only some embodiments of the present invention. It is clear that this is not too much. All other embodiments that can be obtained by those skilled in the art based on the embodiments of the present invention without any creative efforts fall within the protection scope of the present invention.
本願の以下の実施例で使用される用語は、特定の実施例を説明するためのものに過ぎず、本願を限定することを意図するものではない。本願の明細書及び添付の特許請求の範囲で使用されているように、単数の表現形式の「１つ」、「１種」、「前記」、「上記」、「該」及び「この」は、文脈で明確な反対の指示がない限り、複数の表現形式も含むことを意図する。本願で使用される用語「及び／又は」とは、１つ又は複数の挙げられる項目のいずれか又は全ての可能な組み合わせを一緒に含むことであることも理解すべきである。 The terminology used in the following examples of the present application is for the purpose of describing particular embodiments only and is not intended to limit the present application. As used in this specification and the appended claims, the singular forms "one," "a," "said," "above," "the," and "the" , is intended to include multiple forms of expression, unless the context clearly indicates otherwise. It is also to be understood that the term "and/or" as used in this application includes together possible combinations of any or all of one or more of the listed items.
なお、本願の明細書、特許請求の範囲、及び上記図面における用語「第１」、「第２」、「第３」等は、特定の順序又は優先順位を説明することに用いられる必要はなく、類似する対象を区別するためのものである。このように使用される用語は、適切な場合に置換え可能であり、これにより、ここで説明される本開示の実施例は、ここで図示又は説明されるもの以外の順序で実施できることを理解すべきである。また、用語「含む」及びその如何なる変形も、排他ではない包含をカバーすることを意図し、例えば、一連のステップ又はユニットの過程、方法、システム、プロダクト又はサーバを含み、必ずしも明確に挙げられたそれらのステップ又はユニットに限定されず、明確に挙げられていない又はこれらの過程、方法、プロダクト又は機器にとって固有である他のステップ又はユニットを含んでもよい。 Note that the terms "first," "second," "third," etc. in the specification, claims, and drawings of the present application do not need to be used to explain a specific order or priority. , to distinguish between similar objects. It is understood that the terms so used are interchangeable where appropriate and that the embodiments of the disclosure described herein may be practiced in an order other than that illustrated or described herein. Should. Also, the term "comprising" and any variations thereof is intended to cover non-exclusive inclusion, including, for example, a series of steps or units of processes, methods, systems, products or servers, not necessarily explicitly listed. It is not limited to these steps or units and may include other steps or units not explicitly listed or that are inherent to these processes, methods, products or devices.
三次元イメージング技術において、通常、選定された三次元点群を処理して三次元測定及び分析を実現する必要がある。三次元点群のインタラクティブ選出過程については、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることができるために、本願は、三次元点群に基づくマッピング方法を提供する。具体的な実現において、上記に言及した三次元点群に基づくマッピング方法は、端末機器によって実行できる。以下、端末機器について紹介する。 In three-dimensional imaging technology, it is usually necessary to process selected three-dimensional point clouds to realize three-dimensional measurement and analysis. For the interactive selection process of 3D point cloud, this application provides a mapping method based on 3D point cloud, because it can reduce the calculation amount, increase the speed of data processing, and improve the user experience. In a concrete implementation, the three-dimensional point cloud-based mapping method mentioned above can be performed by a terminal device. The terminal equipment will be introduced below.
端末機器は、ユーザに音声及び／又はデータ連結性を提供する機器を含み、例えば、端末機器は、無線送受信機能を有する機器であり、室内又は室外、ハンドヘルド、着用又は車載を含んで陸上に配備されてもよいし、水面（例えば、船舶等）に配備されてもよいし、空中（例えば、飛行機、風船及び衛星等）に配備されてもよい。端末は、携帯電話（ｍｏｂｉｌｅ ｐｈｏｎｅ）、タブレットコンピュータ（Ｐａｄ）、無線送受信機能付きのコンピュータ、仮想現実（ＶＲ）端末機器、産業制御（ｉｎｄｕｓｔｒｉａｌ ｃｏｎｔｒｏｌ）における無線端末、車載端末機器、無人運転（ｓｅｌｆ ｄｒｉｖｉｎｇ）における無線端末、遠隔医療（ｒｅｍｏｔｅ ｍｅｄｉｃａｌ）における無線端末、スマートグリッド（ｓｍａｒｔ ｇｒｉｄ）における無線端末、運輸安全（ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｓａｆｅｔｙ）における無線端末、スマートシティ（ｓｍａｒｔ ｃｉｔｙ）における無線端末、スマートホーム（ｓｍａｒｔ ｈｏｍｅ）における無線端末、ウェアラブル端末機器等々であってもよい。本願の実施例は、適用シーンを限定しない。端末は、端末機器、ユーザ装置（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ、ＵＥ）、アクセス端末機器、車載端末、工業用制御端末、ＵＥユニット、ＵＥ局、移動局、移動台、遠隔局、遠隔端末機器、移動機器、ＵＥ端末機器、端末機器、無線通信機器、ＵＥエージェント又はＵＥ装置等と呼ばれてもよいことがある。端末は、固定されたもの又は移動するものであってもよい。本願の実施例において、端末機器は、二次元カメラ、三次元センサ等の部品を更に含んでもよい。また、端末機器の機能を実現するための装置は、端末機器であってもよいし、端末機器による機能の実現をサポート可能な装置、例えば、チップシステム又は端末機器の機能を実現可能な複合デバイス、部品であってもよく、装置は、端末機器に取り付けられてもよい。 Terminal equipment includes equipment that provides voice and/or data connectivity to users; for example, terminal equipment is equipment that has wireless transmitting and receiving capabilities and can be deployed on land, including indoors or outdoors, handheld, worn, or mounted on a vehicle. It may be deployed on the surface of the water (eg, on a ship, etc.), or in the air (eg, on an airplane, balloon, satellite, etc.). Terminals include mobile phones, tablet computers (Pads), computers with wireless transmission and reception functions, virtual reality (VR) terminals, wireless terminals for industrial control, in-vehicle terminals, and self-driving devices. ), wireless terminals in remote medical, wireless terminals in smart grids, wireless terminals in transportation safety, wireless terminals in smart cities, smart homes. ), a wireless terminal, a wearable terminal device, etc. The embodiments of the present application do not limit the applicable scenes. A terminal includes terminal equipment, user equipment (UE), access terminal equipment, vehicle-mounted terminal, industrial control terminal, UE unit, UE station, mobile station, mobile station, remote station, remote terminal equipment, mobile equipment, UE It may also be referred to as a terminal device, a terminal device, a wireless communication device, a UE agent, a UE device, or the like. The terminal may be fixed or mobile. In embodiments of the present application, the terminal device may further include components such as a two-dimensional camera and a three-dimensional sensor. Further, the device for realizing the functions of the terminal device may be a terminal device, or a device capable of supporting the realization of the functions by the terminal device, such as a chip system or a composite device capable of realizing the functions of the terminal device. , and the device may be attached to a terminal device.
本願の実施例に係る態様の理解を容易にするために、以下、本願の実施例に係る関連概念について紹介する。 In order to facilitate understanding of aspects related to the embodiments of the present application, related concepts related to the embodiments of the present application will be introduced below.
１．三次元点群
三次元イメージング技術とは、客観的な世界の三次元画像を、ある技術により記録し、そして、処理、圧縮してから外へ伝送し、表示し、最終的に人の脳内で客観的な世界の画像を再現することであり、この過程は、三次元イメージング技術の全過程である。三次元イメージング技術において、通常、三次元点群を処理する必要がある。いわゆる三次元点群とは、三次元点（即ち、空間点）の集合と理解でき、同じ参照座標系で目標物体の表面特徴及び空間分布を表す点の集合である。三次元点群は、空間座標、色、強度等の豊かな属性情報を含んでもよい。三次元点群は、普通のカメラにより撮影して得られるものではなく、一般的に、三次元センサ、例えば両眼カメラ、三次元スキャナ等により得られる。三次元点群は、スキャンされたＲＧＢ画像及びスキャンカメラの内部パラメータにより三次元点群を作成可能であり、方法としては、カメラキャリブレーションにより、カメラの内部パラメータを用いて実世界の点を計算する。従って、ＲＧＢ画像は格子が配列された画像である一方、三次元点群はより疎な構造である。
1. 3D point cloud 3D imaging technology involves recording 3D images of the objective world using a certain technology, processing and compressing them, transmitting them outside, displaying them, and finally storing them in the human brain. is to reproduce an objective image of the world, and this process is the entire process of three-dimensional imaging technology. In three-dimensional imaging techniques, it is usually necessary to process three-dimensional point clouds. A so-called three-dimensional point cloud can be understood as a set of three-dimensional points (ie, spatial points), which represent the surface features and spatial distribution of a target object in the same reference coordinate system. A three-dimensional point cloud may include rich attribute information such as spatial coordinates, color, intensity, etc. A three-dimensional point group is not obtained by photographing with an ordinary camera, but is generally obtained with a three-dimensional sensor, such as a binocular camera, a three-dimensional scanner, or the like. A 3D point cloud can be created using the scanned RGB image and the internal parameters of the scan camera, and the method is to calculate real-world points using the camera's internal parameters through camera calibration. do. Therefore, while an RGB image is an image in which a grid is arranged, a three-dimensional point cloud has a sparser structure.
本願の実施例において、三次元点群内の空間点を（ｘｃ，ｙｃ，ｚｃ）で記述することを例に説明し、三次元点群は、ｍ×３の行列で記述することができ、そのうち、ｍは空間点の個数である。 In the example of this application, the spatial points in a three-dimensional point group are described by (x c , y c , z c ) as an example, and the three-dimensional point group is described by an m×3 matrix. where m is the number of spatial points.
２．画素点
画素はデジタル画像の最小単位であり、通常、デジタル画像の解像度を記述することに用いられる。１つの画素は、色、輝度及び透明度等の情報を含んでもよい。画素点は画素の基本要素であり、デジタル画像における１つの単独な点又は１つの単独な画素である。画素点の画像における位置は、行及び列という２つの方向で決定できる。
2. Pixel Point A pixel is the smallest unit of a digital image and is commonly used to describe the resolution of a digital image. One pixel may include information such as color, brightness, and transparency. A pixel point is the elementary element of a pixel, which is a single point or a single pixel in a digital image. The position of a pixel point in an image can be determined in two directions: row and column.
３．世界座標系、カメラ座標系、画像座標系及び画素座標系
図１に示すように、画像処理は、以下の４つの座標系に関する。
3. World coordinate system, camera coordinate system, image coordinate system, and pixel coordinate system As shown in FIG. 1, image processing involves the following four coordinate systems.
（１）Ｏｗ－ＸｗＹｗＺｗは、世界座標系であり、測定座標系とも呼ばれ、１つの三次元直交座標系であり、それを基準としてカメラ及び測定待ち物体の空間位置を記述することができる。世界座標系の位置は、実際の状況に応じて自由に決定することができる。Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）は、世界座標系におけるある点である。 (1) O w −X w Y w Z w is the world coordinate system, also called the measurement coordinate system, and is a three-dimensional orthogonal coordinate system, and the spatial position of the camera and the object waiting to be measured is determined based on it. can be described. The position of the world coordinate system can be freely determined depending on the actual situation. P(X w , Y w , Z w ) is a certain point in the world coordinate system.
（２）Ｏｃ－ＸｃＹｃＺｃは、カメラ座標系であり、座標原点はカメラの光学中心の位置であり、Ｘｃ軸及びＹｃ軸は、それぞれ画像座標系のｘ軸（行方向）及びｙ軸（列方向）に平行であり、Ｚｃ軸はカメラの光軸である。 (2) O c −X c Y c Z c is the camera coordinate system , the coordinate origin is the position of the optical center of the camera, and the direction) and the y-axis (column direction), and the Z c- axis is the optical axis of the camera.
（３）ｏ－ｘｙは、画像座標系であり、座標原点は画像平面の中心であり、Ｘ軸及びＹ軸は、それぞれ画像平面の２本の垂直辺に平行である。ｐ（ｘ，ｙ）は、画像座標系におけるある点である。 (3) o-xy is the image coordinate system, the coordinate origin is the center of the image plane, and the X and Y axes are each parallel to two perpendicular sides of the image plane. p(x,y) is a point in the image coordinate system.
（４）ｕｖは、画素座標系であり、座標原点は画像平面の左上隅の頂点であり、ｕ軸及びｖ軸は、それぞれ画像座標系のｘ軸及びｙ軸に平行である。画素座標系は、画素を単位とする画像座標系である。 (4) uv is a pixel coordinate system, the coordinate origin is the top left corner vertex of the image plane, and the u and v axes are parallel to the x and y axes of the image coordinate system, respectively. The pixel coordinate system is an image coordinate system in which pixels are units.
４．カメラ内部パラメータ及びカメラ外部パラメータ
カメラ内部パラメータとは、カメラの内部パラメータであり、カメラの構成に関連するパラメータからなる行列である。カメラ座標系における三次元点群は、カメラ内部パラメータのマッピングにより、画素点の位置を得ることができる。
4. Camera internal parameters and camera external parameters Camera internal parameters are internal parameters of the camera, and are a matrix consisting of parameters related to the configuration of the camera. For a three-dimensional point group in a camera coordinate system, the positions of pixel points can be obtained by mapping camera internal parameters.
カメラ外部パラメータとは、カメラの外部パラメータであり、世界座標系とカメラ座標系との間の回転、平行移動関係を記述することに用いられる。世界座標系にある三次元点群は、カメラ外部パラメータで記述された回転、平行移動変換により、カメラ座標系における三次元点群を得ることができる。 Camera extrinsic parameters are extrinsic parameters of the camera, and are used to describe the rotation and translation relationships between the world coordinate system and the camera coordinate system. A three-dimensional point group in the world coordinate system can be transformed into a three-dimensional point group in the camera coordinate system by rotation and translation transformation described by camera external parameters.
以下、更に、本願に係る三次元点群に基づくマッピング方法について詳細に説明する。図２を参照し、図２は、本願の実施例に係る三次元点群に基づくマッピング方法のフローの模式図である。図２に示すように、三次元点群に基づくマッピング方法は、以下のようなステップＳ２０１～Ｓ２０４を含み、図２に示す方法の実行主体は、端末機器（例えば、上記に言及した端末機器）を含む。又は、図２に示す方法の実行主体は、端末機器におけるチップ、チップシステム、又はプロセッサを含む。又は、図２に示す方法の実行主体は、端末機器の全部又は一部の機能を実現可能な論理モジュール又はソフトウェアであってもよい。本願の実施例は、三次元点群に基づくマッピング方法の実行主体を限定しない。図２は、端末機器が実行主体であることを例に説明する。 Hereinafter, a mapping method based on a three-dimensional point group according to the present application will be further explained in detail. Referring to FIG. 2, FIG. 2 is a schematic diagram of a flow of a mapping method based on a three-dimensional point group according to an embodiment of the present application. As shown in FIG. 2, the mapping method based on the three-dimensional point cloud includes the following steps S201 to S204, and the execution entity of the method shown in FIG. 2 is a terminal device (for example, the terminal device mentioned above). including. Alternatively, the execution entity of the method shown in FIG. 2 includes a chip, a chip system, or a processor in the terminal device. Alternatively, the execution entity of the method shown in FIG. 2 may be a logical module or software that can realize all or part of the functions of the terminal device. The embodiments of the present application do not limit the entity that executes the mapping method based on the three-dimensional point group. FIG. 2 will be explained using an example in which a terminal device is the execution entity.
Ｓ２０１において、端末機器は、二次元画像における目標線分に対応するエッジ画素点集合を取得する。 In S201, the terminal device acquires a set of edge pixel points corresponding to the target line segment in the two-dimensional image.
Ｓ２０２において、端末機器は、第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する。 In S202, the terminal device determines a first spatial point set corresponding to the edge pixel point set from the first three-dimensional point group.
本願の実施例において、二次元画像は目標対象の画像であり、第１三次元点群は目標対象の三次元点群である。つまり、二次元画像及び第１三次元点群は、同一の目標対象に対して採取された情報である。そのうち、目標対象は、物品、人物、動物等を指してもよく、ここでは限定しない。二次元カメラを利用することで目標対象の二次元画像を採取することができ、三次元センサを利用することで目標対象の三次元点群を採取することができる。具体的には、三次元センサは、世界座標系にある三次元点群を採取し、カメラ外部パラメータで記述された回転、平行移動変換により、カメラ座標系における三次元点群を得ることができ、二次元カメラは、カメラ座標系における三次元点群を、カメラ内部パラメータのマッピングにより、画素点の位置を得ることができる。 In the embodiment of the present application, the two-dimensional image is an image of the target object, and the first three-dimensional point cloud is a three-dimensional point cloud of the target object. That is, the two-dimensional image and the first three-dimensional point group are information collected for the same target object. Among these, the target object may refer to an article, a person, an animal, etc., and is not limited here. By using a two-dimensional camera, a two-dimensional image of the target object can be acquired, and by using a three-dimensional sensor, a three-dimensional point group of the target object can be acquired. Specifically, a 3D sensor can collect a 3D point cloud in the world coordinate system and obtain a 3D point cloud in the camera coordinate system by performing rotation and translation transformations described by camera external parameters. , a two-dimensional camera can obtain the position of a pixel point by mapping a three-dimensional point group in a camera coordinate system to camera internal parameters.
なお、二次元カメラは、三次元センサと組んで使用された１つの独立した機器であってもよいし、三次元点群を生成するとともに、対応する二次元画像を得る三次元センサにおける１つの部品であってもよく、勿論、二次元カメラ及び／又は三次元センサは端末機器の１つの部品であってもよく、ここでは限定しない。 Note that the 2D camera may be an independent device used in combination with a 3D sensor, or a 2D camera may be an independent device used in combination with a 3D sensor, or a 2D camera may be a single device used in a 3D sensor that generates a 3D point cloud and obtains a corresponding 2D image. Of course, the two-dimensional camera and/or three-dimensional sensor may be one part of the terminal device, and is not limited here.
端末機器は、二次元画像及び第１三次元点群を取得した後、二次元画像における目標線分を選択することができる。目標線分は二次元画像から選択された任意の１本の線分であってもよく、直線線分であってもよいし、曲線線分であってもよく、ここでは限定しない。好ましくは、端末機器は、目標線分が通過する全ての画素点を、目標線分に対応する第１画素点集合とすることができる。図３に示すように、二次元画像１において、１本の線分ａが選択され、線分ａが即ち、目標線分であり、線分ａが通過する全ての画素点が即ち、線分ａに対応する第１画素点集合１である。 After acquiring the two-dimensional image and the first three-dimensional point group, the terminal device can select a target line segment in the two-dimensional image. The target line segment may be any one line segment selected from the two-dimensional image, may be a straight line segment, or may be a curved line segment, and is not limited here. Preferably, the terminal device can set all pixel points through which the target line segment passes as a first pixel point set corresponding to the target line segment. As shown in FIG. 3, one line segment a is selected in the two-dimensional image 1, line segment a is the target line segment, and all pixel points through which line segment a passes are the line segment This is the first pixel point set 1 corresponding to a.
更に、端末機器は、目標線分に対応するエッジ画素点集合を決定することができ、エッジ画素点集合は、目標線分に対応する外接矩形の４つの角の画素点を含む。つまり、外接矩形は、目標線分を含む領域のエッジであると考えられてもよく、外接矩形の４つの角の画素点は即ち、目標線分に対応するエッジ画素点集合であると考えられてもよい。図４に示すように、二次元画像１において、１本の線分ａが選択され、線分ａが即ち、目標線分であり、線分ａに対応するエッジ画素点集合１が即ち、線分ａに対応する外接矩形ａ１の４つの角の画素点（即ち、画素点Ａ、画素点Ｂ、画素点Ｃ、画素点Ｄ）である。 Further, the terminal device can determine an edge pixel point set corresponding to the target line segment, and the edge pixel point set includes pixel points at four corners of a circumscribed rectangle corresponding to the target line segment. In other words, the circumscribed rectangle may be considered to be the edge of the area including the target line segment, and the pixel points at the four corners of the circumscribed rectangle can be considered to be a set of edge pixel points corresponding to the target line segment. You can. As shown in FIG. 4, one line segment a is selected in the two-dimensional image 1, the line segment a is the target line segment, and the edge pixel point set 1 corresponding to the line segment a is the line segment a. These are the four corner pixel points (ie, pixel point A, pixel point B, pixel point C, and pixel point D) of the circumscribed rectangle a1 corresponding to the minute a.
１つの可能な実現方式において、目標線分は、直線線分又は曲線線分であってもよく、以下、これらの２つの場合における外接矩形について具体的に説明する。方式に基づき、決定した目標線分に対応する三次元点群の境界の精確性を向上させることに有利である。 In one possible implementation, the target line segment may be a straight line segment or a curved line segment, and the circumscribed rectangle in these two cases will be specifically described below. Based on the method, it is advantageous to improve the accuracy of the boundary of the three-dimensional point cloud corresponding to the determined target line segment.
（１）目標線分は直線線分であり、外接矩形の角点は目標線分の端点を含む。 (1) The target line segment is a straight line segment, and the corner points of the circumscribed rectangle include the end points of the target line segment.
図５Ａに示すように、目標線分は線分１であり、線分１は直線線分であり、線分１を、隣り合う２つの辺がそれぞれ二次元画像の行方向及び列方向に平行である（例えば、第１辺及び第２辺が二次元画像の行方向に平行で、第３辺及び第４辺が二次元画像の列方向に平行である）外接矩形の対角線として、線分１に対応する外接矩形１を決定し、外接矩形１の角点は線分１の端点（即ち、端点１、端点２）を含む。 As shown in FIG. 5A, the target line segment is line segment 1, line segment 1 is a straight line segment, and the two adjacent sides of line segment 1 are parallel to the row direction and column direction of the two-dimensional image, respectively. (For example, the first side and the second side are parallel to the row direction of the two-dimensional image, and the third side and the fourth side are parallel to the column direction of the two-dimensional image.) As a diagonal of a circumscribed rectangle, a line segment A circumscribed rectangle 1 corresponding to line segment 1 is determined, and the corner points of circumscribed rectangle 1 include the end points of line segment 1 (that is, end point 1 and end point 2).
図５Ｂに示すように、目標線分は線分２であり、線分２は直線線分であり、線分２を、隣り合う２つの辺が二次元画像の行方向及び列方向に平行ではない（例えば、第１辺及び第２辺が二次元画像の行方向に平行ではなく、第３辺及び第４辺が二次元画像の列方向に平行ではない）外接矩形の対角線として、線分２に対応する外接矩形２を決定し、外接矩形２の角点は線分２の端点（即ち、端点１、端点２）を含む。 As shown in FIG. 5B, the target line segment is line segment 2, and line segment 2 is a straight line segment. (For example, the first and second sides are not parallel to the row direction of the two-dimensional image, and the third and fourth sides are not parallel to the column direction of the two-dimensional image.) As a diagonal of a circumscribed rectangle, a line segment A circumscribed rectangle 2 corresponding to line segment 2 is determined, and the corner points of circumscribed rectangle 2 include the end points of line segment 2 (namely, end point 1 and end point 2).
図５Ｃに示すように、目標線分は線分３であり、線分３は直線線分であり、線分３は二次元画像の行方向に平行であり、線分３の端点（即ち、端点１、端点２）を外接矩形３の２つの角点とし、外接矩形３の長さは線分３の長さであり、外接矩形３の幅は１つの画素点の長さである。 As shown in FIG. 5C, the target line segment is line segment 3, line segment 3 is a straight line segment, line segment 3 is parallel to the row direction of the two-dimensional image, and the end point of line segment 3 (i.e., End point 1 and end point 2) are two corner points of a circumscribed rectangle 3, the length of the circumscribed rectangle 3 is the length of the line segment 3, and the width of the circumscribed rectangle 3 is the length of one pixel point.
図５Ｄに示すように、目標線分は線分４であり、線分４は直線線分であり、線分４は二次元画像の列方向に平行であり、線分４の端点（即ち、端点１、端点２）を外接矩形４の２つの角点とし、外接矩形４の長さは線分４の長さであり、外接矩形４の幅は１つの画素点の長さである。 As shown in FIG. 5D, the target line segment is line segment 4, line segment 4 is a straight line segment, line segment 4 is parallel to the column direction of the two-dimensional image, and the end point of line segment 4 (i.e., End point 1 and end point 2) are two corner points of a circumscribed rectangle 4, the length of the circumscribed rectangle 4 is the length of the line segment 4, and the width of the circumscribed rectangle 4 is the length of one pixel point.
（２）目標線分は曲線線分であり、外接矩形は目標線分の最小外接矩形である。 (2) The target line segment is a curved line segment, and the circumscribed rectangle is the minimum circumscribed rectangle of the target line segment.
図５Ｅに示すように、目標線分は線分５であり、線分５は曲線線分であり、線分５の最外郭範囲で最小外接矩形を決定し、線分５の最小外接矩形は即ち、線分５に対応する外接矩形５である。 As shown in FIG. 5E, the target line segment is line segment 5, line segment 5 is a curved line segment, the minimum circumscribed rectangle is determined in the outermost range of line segment 5, and the minimum circumscribed rectangle of line segment 5 is That is, the circumscribed rectangle 5 corresponds to the line segment 5.
１つの可能な実現方式において、端末機器が第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する具体的な実現方式は、以下のステップｓ１１及びｓ１２を含んでもよい。方式に基づき、第１空間点集合の正確性を向上させることに有利である。 In one possible implementation method, the specific implementation method in which the terminal device determines the first spatial point set corresponding to the edge pixel point set from the first three-dimensional point group may include the following steps s11 and s12. . Based on the method, it is advantageous to improve the accuracy of the first spatial point set.
ｓ１１において、端末機器は、カメラ内部パラメータに基づいてエッジ画素点集合に対応する画像点集合を決定する。 In s11, the terminal device determines an image point set corresponding to the edge pixel point set based on the camera internal parameters.
具体的な実現において、カメラ座標系における空間点は、カメラ内部パラメータにより画素座標系における画素点を決定することができる。具体的には、下記の数式（１）を採用して決定することができる。
数式（１）において、（ｕ，ｖ）は、画素座標系における画素点であり、（ｘ，ｙ，ｚ）は、カメラ座標系における空間点であり、
カメラ座標系の座標原点がカメラの光学中心の位置であり、Ｘｃ軸及びＹｃ軸は、それぞれ画像座標系のｘ軸（行方向）及びｙ軸（列方向）に平行であり、Ｚｃ軸はカメラの光軸である。また、カメラ投影行列は、以下のとおりである。
従って、端末機器は、更にエッジ画素点集合内の各画素点に対応する画像点を決定することができ、全ての画像点からなる集合は即ち、エッジ画素点集合に対応する画像点集合である。具体的には、下記の数式（２）を採用して、画像座標系における画像点を画素座標系における画素点に転化させることができる。同様に、数式（２）に基づいて画素座標系における画素点を画像座標系における画像点に転化させることもできる。
例えば、エッジ画素点集合内の画素点Ａ（ｍ，ｎ）が知られていると仮定し、上記数式（２）に基づき、画素点Ａに対応する画像点Ａ’（ｘｐ，ｙｐ）を得ることができ、画像点Ａ’（ｘｐ，ｙｐ）の式は、以下のとおりである。
ｓ１２において、端末機器は、画像点集合に基づいて第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する。 In s12, the terminal device determines a first spatial point set corresponding to the edge pixel point set from the first three-dimensional point set based on the image point set.
具体的な実現において、端末機器は、画像点集合内の各画像点に対して射線方程式をそれぞれ構築し、そして、それぞれ第１三次元点群から構築された射線に最も近い第１空間点を決定することができ、全ての第１空間点からなる集合は即ち、エッジ画素点集合に対応する第１空間点集合である。 In a concrete implementation, the terminal device respectively constructs a ray equation for each image point in the image point set, and calculates the first spatial point closest to the ray constructed from the first three-dimensional point group, respectively. The set of all the first spatial points that can be determined is the first spatial point set corresponding to the edge pixel point set.
エッジ画素点集合内の画素点Ａを例にとると、画素点Ａに対応する画像点はＡ’（ｘｐ，ｙｐ）である。端末機器は、画像点Ａ’に対して射線方程式（始点が原点で、画像平面における画像点座標を指向する）を構築する。射線は第１三次元点群を通過し、ｚに関する方程式（即ち、射線方程式は、ｘ、ｙのｚに関する一次関数と記述できる）を構築することができる。つまり、カメラ座標系における直線は、２つの平面の交線（即ち、２つの平面方程式の連立）と見なすことができ、これらの２つの平面はいずれも座標系原点（０，０）を通過する。 Taking pixel point A in the edge pixel point set as an example, the image point corresponding to pixel point A is A'(x p , y p ). The terminal device constructs a ray equation (the starting point is the origin and points to the image point coordinates on the image plane) for the image point A'. The ray passes through the first three-dimensional point group, and an equation regarding z can be constructed (ie, the ray equation can be written as a linear function of x, y with respect to z). In other words, a straight line in the camera coordinate system can be regarded as an intersection line of two planes (i.e., a system of two plane equations), and both of these two planes pass through the coordinate system origin (0,0). .
従って、射線方程式の式は、ｚ＝ｋ１ｘ、z＝ｋ２ｙである。そのうち、ｋ１、ｋ２は画素点で決められる。具体的には、画素点Ａが（ｍ，ｎ）で、画素点Ａに対応する画像点がＡ’（ｘｐ，ｙｐ）であれば、以下のようになる。
更に、端末機器は、第１三次元点群から射線に最も近い空間点を決定し、空間点は即ち、画素点Ａに対応する第１空間点である。具体的には、数式（３）を利用して第１三次元点群内の各空間点から射線までの相対距離を測ることができる。
数式（３）において、（ｘｃ，ｙｃ，ｚｃ）は、第１三次元点群内の任意の１つの空間点であり、ｄは、第１三次元点群内の各空間点から射線までの相対距離である。第１三次元点群内の画素点Ａを例にとると、第１三次元点群内の各空間点を数式（３）に代入してｄの数値を計算し、ｄが最小値である場合に対応する空間点を、画素点Ａに対応する第１空間点として決定する。 In formula (3), (x c , y c , z c ) is any one spatial point within the first three-dimensional point group, and d is the distance from each spatial point within the first three-dimensional point group. It is the relative distance to the ray of fire. Taking pixel point A in the first three-dimensional point group as an example, calculate the value of d by substituting each spatial point in the first three-dimensional point group into formula (3), and find that d is the minimum value. The spatial point corresponding to the case is determined as the first spatial point corresponding to the pixel point A.
例えば、数式（３）を利用して第１三次元点群内の各空間点から射線までの相対距離ｄを測り、そのうち、空間点Ａ１から射線までの相対距離が０で、即ち、ｄ＝０であり、空間点Ａ１がちょうど射線に位置することを表し、即ち、その座標がｚｃ＝ｋ１＊ｘｃ、ｚｃ＝ｋ２＊ｙｃという関係式を満たすと仮定し、空間点Ａ１が射線に最も近い空間点であり、即ち、空間点Ａ１が第１三次元点群内の画素点Ａに対応する第１空間点であると考えられてもよい。 For example, the relative distance d from each spatial point in the first three-dimensional point group to the ray is measured using formula (3), and the relative distance from the spatial point A1 to the ray is 0, that is, d= 0, which means that the spatial point A1 is located exactly on the ray, that is, assuming that its coordinates satisfy the relational expressions z c = k 1 * x c , z c = k 2 * y c , Point A1 may be considered to be the spatial point closest to the ray, ie, spatial point A1 is the first spatial point corresponding to pixel point A in the first three-dimensional point group.
また、例えば、数式（３）を利用して第１三次元点群内の各空間点から射線までの相対距離ｄを測り、第１三次元点群に射線に位置する空間点が存在せず、即ち、ｄ＝０にする空間点がないと仮定し、空間点Ａ１から射線までの相対距離が最小値であれば、空間点Ａ１が射線に最も近い空間点であり、即ち、空間点Ａ１が第１三次元点群内の画素点Ａに対応する第１空間点であると考えられてもよい。 Also, for example, if the relative distance d from each spatial point in the first three-dimensional point group to the ray is measured using formula (3), if there is no spatial point located on the ray in the first three-dimensional point group, , that is, assuming that there is no spatial point that makes d = 0, and if the relative distance from the spatial point A1 to the ray is the minimum value, then the spatial point A1 is the spatial point closest to the ray, that is, the spatial point Point A 1 may be considered to be the first spatial point corresponding to pixel point A in the first three-dimensional point cloud.
同様な方法を採用し、エッジ画素点集合内の各画素点（即ち、画素点Ａ、画素点Ｂ、画素点Ｃ、画素点Ｄ）の第１三次元点群内の対応する第１空間点をそれぞれ決定し、第１空間点集合（即ち、第１空間点Ａ１、第１空間点Ｂ１、第１空間点Ｃ１、第１空間点Ｄ１）を得る。 A similar method is adopted to determine the corresponding first spatial point in the first three-dimensional point group of each pixel point (i.e., pixel point A, pixel point B, pixel point C, pixel point D) in the edge pixel point set. are determined respectively, and a first spatial point set (ie, first spatial point A 1 , first spatial point B 1 , first spatial point C 1 , and first spatial point D 1 ) is obtained.
Ｓ２０３において、端末機器は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る。 In S203, the terminal device performs filtering processing on the first three-dimensional point group based on the first spatial point set to obtain a second three-dimensional point group.
本願の実施例において、端末機器は、第１空間点集合を利用して閾値パラメータを決定し、閾値パラメータで第１三次元点群に対して閾値フィルタリングを行い、第２三次元点群を得ることができる。つまり、第１三次元点群内の第１空間点集合からなる空間閉領域以外の三次元点群をフィルタリングして除去し、１つのより小さな範囲の第２三次元点群を得ることができ、第２三次元点群は第１三次元点群の部分集合であると考えられてもよく、後続で、直接、第２三次元点群から目標線分に対応する三次元点群を決定することができ、検索空間が小さくなり、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることに有利である。 In the embodiment of the present application, the terminal device determines a threshold parameter using a first spatial point set, performs threshold filtering on the first three-dimensional point group using the threshold parameter, and obtains a second three-dimensional point group. be able to. In other words, it is possible to filter and remove the 3D point group other than the spatial closed region consisting of the first spatial point set within the first 3D point group, and obtain a second 3D point group with a smaller range. , the second 3D point cloud may be considered to be a subset of the first 3D point cloud, and subsequently determine the 3D point cloud corresponding to the target line segment directly from the second 3D point cloud. This is advantageous in reducing the search space, reducing the amount of calculation, increasing the speed of data processing, and improving the user experience.
１つの可能な実現方式において、端末機器は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る具体的な実現方式は、以下のステップｓ２１及びｓ２２を含んでもよい。方式に基づき、第１三次元点群に存在する異常点を取り除くとともに、第１三次元点群の範囲を縮小する正確性を向上させることに有利である。 In one possible implementation method, the terminal device filters the first 3D point group based on the first spatial point set, and the specific implementation method to obtain the second 3D point group is as follows in step s21. and s22. Based on this method, it is advantageous to remove abnormal points existing in the first three-dimensional point group and improve the accuracy of reducing the range of the first three-dimensional point group.
ｓ２１において、端末機器は、第１空間点集合に基づいて第１方向における第１最大閾値及び第１最小閾値と、第２方向における第２最大閾値及び第２最小閾値とを決定する。 In s21, the terminal device determines a first maximum threshold and a first minimum threshold in the first direction and a second maximum threshold and a second minimum threshold in the second direction based on the first spatial point set.
具体的な実現において、第１最大閾値は、第１空間点集合内の第１空間点の第１方向における座標数値の最大値であり、第１最小閾値は、第１空間点集合内の第１空間点の第１方向における座標数値の最小値であり、第２最大閾値は、第１空間点集合内の第１空間点の第２方向における座標数値の最大値であり、第１最小閾値は、第１空間点集合内の第１空間点の第２方向における座標数値の最小値である。 In a specific implementation, the first maximum threshold is the maximum value of the coordinate value in the first direction of the first spatial point in the first spatial point set, and the first minimum threshold is the maximum value of the coordinate value in the first direction of the first spatial point in the first spatial point set. The second maximum threshold is the minimum value of the coordinate values of one spatial point in the first direction, and the second maximum threshold is the maximum value of the coordinate values of the first spatial point in the second direction in the first spatial point set, and the first minimum threshold is is the minimum value of the coordinate values in the second direction of the first spatial point in the first spatial point set.
好ましくは、第１方向は二次元画像の行方向に平行で、第２方向は二次元画像の列方向に平行である。 Preferably, the first direction is parallel to the row direction of the two-dimensional image, and the second direction is parallel to the column direction of the two-dimensional image.
例えば、第１空間点集合が第１空間点Ａ１、第１空間点Ｂ１、第１空間点Ｃ１及び第１空間点Ｄ１を含むと仮定する。そのうち、第１空間点Ａ１は（４，５，６）で、第１空間点Ｂ１は（７，８，３）で、第１空間点Ｃ１は（４，５，９）で、第１空間点Ｄ１は（７，３，２）である。従って、第１最大閾値は７で、第１最小閾値は４で、第２最大閾値は８で、第２最小閾値は３である。 For example, assume that the first spatial point set includes a first spatial point A 1 , a first spatial point B 1 , a first spatial point C 1 , and a first spatial point D 1 . Among them, the first spatial point A 1 is (4, 5, 6), the first spatial point B 1 is (7, 8, 3), the first spatial point C 1 is (4, 5, 9), The first spatial point D1 is (7, 3, 2). Therefore, the first maximum threshold is 7, the first minimum threshold is 4, the second maximum threshold is 8, and the second minimum threshold is 3.
ｓ２２において、端末機器は、第１最大閾値、第１最小閾値、第２最大閾値及び第２最小閾値に基づき、第１三次元点群をフィルタリング処理し、第２三次元点群を得る。 In s22, the terminal device performs filtering processing on the first three-dimensional point group based on the first maximum threshold, the first minimum threshold, the second maximum threshold, and the second minimum threshold to obtain a second three-dimensional point group.
好ましくは、第２三次元点群内の第２空間点の第１方向における座標数値は、第１最小閾値よりも大きいか又は等しく且つ第１最大閾値よりも小さいか又は等しく、第２三次元点群内の空間点の第２方向における座標数値は、第２最小閾値よりも大きいか又は等しく且つ第２最大閾値よりも小さいか又は等しい。つまり、第１三次元点群には、第１空間点集合からなる空間閉領域内の三次元点群しか保留されず、第１三次元点群内の第１空間点集合からなる空間閉領域以外の三次元点群がフィルタリングされて除去され、三次元点群の範囲が縮小される。 Preferably, the coordinate value in the first direction of the second spatial point in the second three-dimensional point group is greater than or equal to the first minimum threshold and less than or equal to the first maximum threshold, and A coordinate value in the second direction of a spatial point within the point cloud is greater than or equal to a second minimum threshold and less than or equal to a second maximum threshold. In other words, the first three-dimensional point group retains only the three-dimensional point group within the spatial closed area consisting of the first spatial point set, and the spatial closed area consisting of the first spatial point set within the first three-dimensional point group. The three-dimensional point cloud other than the three-dimensional point cloud is filtered and removed, and the range of the three-dimensional point cloud is reduced.
例えば、第１最大閾値は７で、第１最小閾値は４で、第２最大閾値は８で、第２最小閾値は３である。第１三次元点群には、第１方向における座標数値が４よりも大きいか又は等しく且つ７よりも小さいか又は等しく、第２方向における座標数値が３よりも大きいか又は等しく且つ８よりも小さいか又は等しい三次元点群が保留され、即ち、第２三次元点群が得られる。第２三次元点群内の各第２空間点は、いずれも第１方向における座標数値が４よりも大きいか又は等しく且つ７よりも小さいか又は等しく、第２方向における座標数値が３よりも大きいか又は等しく且つ８よりも小さいか又は等しい空間点である。 For example, the first maximum threshold is 7, the first minimum threshold is 4, the second maximum threshold is 8, and the second minimum threshold is 3. The first three-dimensional point group has a coordinate value in the first direction that is greater than or equal to 4 and less than or equal to 7, and a coordinate value in the second direction that is greater than or equal to 3 and less than 8. Smaller or equal 3D point clouds are retained, ie a second 3D point cloud is obtained. Each of the second spatial points in the second three-dimensional point group has a coordinate value in the first direction that is greater than or equal to 4 and less than or equal to 7, and a coordinate value in the second direction that is greater than or equal to 3. A spatial point that is greater than or equal to and less than or equal to eight.
１つの可能な実現方式において、外接矩形の隣り合う２つの辺は、それぞれ二次元画像の行方向及び列方向に平行である。図４を例にとると、図４における外接矩形の第１辺及び第２辺は二次元画像の行方向に平行で、外接矩形の第３辺及び第４辺は二次元画像の列方向に平行である。方式に基づき、外接矩形の方向と二次元画像の方向とが一致することを保証でき、決定した境界領域をより正確にすることができ、三次元点群を縮小する正確性を向上させることにより有利である。 In one possible implementation, two adjacent sides of the circumscribed rectangle are parallel to the row and column directions of the two-dimensional image, respectively. Taking FIG. 4 as an example, the first and second sides of the circumscribed rectangle in FIG. 4 are parallel to the row direction of the two-dimensional image, and the third and fourth sides of the circumscribed rectangle are parallel to the column direction of the two-dimensional image. parallel. Based on the method, it can be guaranteed that the direction of the circumscribed rectangle and the direction of the two-dimensional image match, the determined boundary area can be made more accurate, and the accuracy of reducing the three-dimensional point cloud can be improved. It's advantageous.
Ｓ２０４において、端末機器は、第２三次元点群から目標線分に対応する三次元点群を決定する。 In S204, the terminal device determines a three-dimensional point group corresponding to the target line segment from the second three-dimensional point group.
本願の実施例において、端末機器は、第１三次元点群を縮小した後、より小さな範囲の第２三次元点群から目標線分に対応する三次元点群を決定し、検索範囲を小さくし、計算効率を向上させる。 In the embodiment of the present application, after reducing the first three-dimensional point group, the terminal device determines the three-dimensional point group corresponding to the target line segment from the second three-dimensional point group having a smaller range, and reduces the search range. and improve computational efficiency.
１つの可能な実現方式において、端末機器が第２三次元点群から目標線分に対応する三次元点群を決定する具体的な実現方式は、ステップｓ３１ないしｓ３５を含んでもよい。 In one possible implementation method, a specific implementation method in which the terminal device determines a 3D point group corresponding to the target line segment from the second 3D point group may include steps s31 to s35.
ｓ３１において、端末機器は、二次元画像において第２三次元点群を投影し、第２三次元点群に対応する画素位置集合を得る。 In s31, the terminal device projects the second three-dimensional point group on the two-dimensional image and obtains a pixel position set corresponding to the second three-dimensional point group.
具体的な実現において、端末機器は、カメラ内部パラメータを利用して二次元画像において第２三次元点群内の各第２空間点を投影し、各第２空間点に対応する画素位置を得て、全ての第２空間点に対応する画素位置からなる集合は即ち、第２三次元点群に対応する画素位置集合である。画素位置集合内の各画素位置と第２三次元点群内の各第２空間点とは、１対１で対応する関係である。 In a specific implementation, the terminal device projects each second spatial point in the second three-dimensional point group in the two-dimensional image using camera internal parameters, and obtains a pixel position corresponding to each second spatial point. Therefore, a set of pixel positions corresponding to all second spatial points is a set of pixel positions corresponding to the second three-dimensional point group. Each pixel position within the pixel position set and each second spatial point within the second three-dimensional point group have a one-to-one correspondence relationship.
ｓ３２において、端末機器は、画素位置集合に基づいて二次元探索木を構築する。 In s32, the terminal device constructs a two-dimensional search tree based on the pixel position set.
具体的な実現において、二次元探索木は、ｋｄ－ｔｒｅｅ（ｋ－ｄｉｍｅｎｓｉｏｎａｌ木の略称）の構造であってもよく、いわゆるｋｄ－ｔｒｅｅは、木形状構造のデータ記憶方式であり、二次元又は三次元点を順序的に符号化することができ、主に多次元空間の特徴ベクトルのクイック探索、例えば、範囲探索、最近傍探索等に適用される。端末機器は、従来のｋｄ－ｔｒｅｅを構築する方式を利用し、画素位置集合に従って二次元探索木を構築することができる。 In a concrete implementation, the two-dimensional search tree may be a kd-tree (abbreviation for k-dimensional tree) structure, and the so-called kd-tree is a data storage method with a tree-shaped structure, which is a two-dimensional or Three-dimensional points can be encoded sequentially, and it is mainly applied to quick searches of feature vectors in multidimensional space, such as range searches and nearest neighbor searches. The terminal device can construct a two-dimensional search tree according to a set of pixel positions using a conventional method of constructing a KD-tree.
ｓ３３において、端末機器は、二次元探索木に基づいて第１画素点に対して最近傍探索を行い、第１インデックス値を得る。 In s33, the terminal device performs a nearest neighbor search for the first pixel point based on the two-dimensional search tree and obtains the first index value.
具体的な実現において、第１画素点は、第１画素点集合内の任意の１つの画素点であり、第１画素点集合は、目標線分が通過する全ての画素点である。第１画素点を例に説明し、従来のｋｄ－ｔｒｅｅの最近傍検索方法を利用し、端末機器は、二次元探索木により第１画素点に最も近い目標空間点を迅速に照会し、目標空間点に対応する第１インデックス値を返すことができる。 In a specific implementation, the first pixel point is any one pixel point in the first pixel point set, and the first pixel point set is all the pixel points through which the target line segment passes. Taking the first pixel point as an example, and using the conventional KD-tree nearest neighbor search method, the terminal device quickly queries the target space point closest to the first pixel point using a two-dimensional search tree, and A first index value corresponding to the spatial point can be returned.
ｓ３４において、端末機器は、第１インデックス値に基づいて画素位置集合から第１画素位置を決定する。 In s34, the terminal device determines a first pixel position from the pixel position set based on the first index value.
具体的な実現において、端末機器は、第１インデックス値に基づいて画素位置集合から対応する第１画素位置を見つける。例えば、第１インデックス値は０であり、第１インデックス値に対応する第１画素位置は（４，６）である。 In a specific implementation, the terminal device finds a corresponding first pixel location from the pixel location set based on the first index value. For example, the first index value is 0, and the first pixel position corresponding to the first index value is (4,6).
ｓ３５において、端末機器は、第１画素位置に基づいて第２三次元点群から目標空間点を決定する。 In s35, the terminal device determines a target spatial point from the second three-dimensional point group based on the first pixel position.
具体的な実現において、画素位置集合内の各画素位置と第２三次元点群内の各第２空間点とが１対１で対応する関係であるため、第１画素位置に基づけば、第２三次元点群から目標空間点を決定することができ、目標空間点は、第１画素点の、目標線分に対応する三次元点群内の対応する空間点である。 In a concrete implementation, each pixel position in the pixel position set and each second spatial point in the second three-dimensional point group have a one-to-one correspondence relationship, so based on the first pixel position, A target spatial point can be determined from the two three-dimensional point clouds, the target spatial point being a corresponding spatial point in the three-dimensional point cloud that corresponds to the target line segment of the first pixel point.
同様に、第１画素点に対応する目標空間点を決定する方式を採用することで、第１画素点集合内の各画素点に対応する目標空間点を決定することができ、全ての目標空間点からなる集合は即ち、目標線分に対応する三次元点群である。 Similarly, by adopting a method of determining the target space point corresponding to the first pixel point, it is possible to determine the target space point corresponding to each pixel point in the first pixel point set, and all target space points can be determined. The set of points is, in other words, a three-dimensional point group corresponding to the target line segment.
これから分かるように、図２に記載の方法に基づき、端末機器は、二次元画像における目標線分に対応するエッジ画素点集合を取得し、エッジ画素点集合に対応する空間点集合を決定して、目標線分に対応する三次元点群の境界を決定し、求めた境界を利用して第１三次元点群の範囲を縮小することで、第２三次元点群が得られ、より小さな範囲の第２三次元点群から目標線分に対応する三次元点群を検索することができ、計算量を低減させ、データ処理の速度を上げ、ユーザ体験を向上させることに有利である。 As can be seen, based on the method shown in FIG. 2, the terminal device obtains an edge pixel point set corresponding to a target line segment in a two-dimensional image, determines a spatial point set corresponding to the edge pixel point set, and determines a spatial point set corresponding to the edge pixel point set. , by determining the boundary of the 3D point cloud corresponding to the target line segment and using the determined boundary to reduce the range of the first 3D point cloud, a second 3D point cloud is obtained, and a smaller The three-dimensional point group corresponding to the target line segment can be searched from the second three-dimensional point group in the range, which is advantageous in reducing the amount of calculation, increasing the speed of data processing, and improving the user experience.
図６を参照し、図６は、本発明の実施例に係る三次元点群に基づくマッピング装置の構造模式図であり、三次元点群に基づくマッピング装置は、端末機器又は端末機器の機能を有する装置（例えば、チップ）であってもよい。具体的には、図６に示すように、三次元点群に基づくマッピング装置６００は、取得ユニット６０１、決定ユニット６０２及び処理ユニット６０３を備えてもよい。そのうち、取得ユニット６０１は、目標対象の画像である二次元画像における目標線分に対応し、目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することに用いられ、決定ユニット６０２は、目標対象の三次元点群である第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定することに用いられ、処理ユニット６０３は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得ることに用いられ、決定ユニット６０２は更に、第２三次元点群から目標線分に対応する三次元点群を決定することに用いられる。
Referring to FIG. 6, FIG. 6 is a structural schematic diagram of a mapping device based on a three-dimensional point group according to an embodiment of the present invention, and the mapping device based on a three-dimensional point group can perform functions of a terminal device or a terminal device. It may be a device (for example, a chip) that has. Specifically, as shown in FIG. 6, a three-dimensional point cloud-based mapping device 600 may include an
１つの可能な実現方式において、目標線分は直線線分であり、外接矩形の角点は目標線分の端点を含む。 In one possible implementation, the target line segment is a straight line segment, and the corner points of the circumscribing rectangle include the end points of the target line segment.
１つの可能な実現方式において、目標線分は曲線線分であり、外接矩形は目標線分の最小外接矩形である。 In one possible implementation, the target line segment is a curved line segment and the circumscribing rectangle is the minimum circumscribing rectangle of the target line segment.
１つの可能な実現方式において、決定ユニット６０２は、第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する時、具体的に、カメラ内部パラメータに基づいてエッジ画素点集合に対応する画像点集合を決定し、画像点集合に基づいて第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定することに用いられてもよい。
In one possible implementation, when determining the first spatial point set corresponding to the edge pixel point set from the first three-dimensional point set, the determining
１つの可能な実現方式において、処理ユニット６０３は、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る時、具体的に、第１空間点集合に基づいて、第１方向における、第１空間点集合内の第１空間点の第１方向における座標数値の最大値である第１最大閾値、及び第１空間点集合内の第１空間点の第１方向における座標数値の最小値である第１最小閾値と、第２方向における、第１空間点集合内の第１空間点の第２方向における座標数値の最大値である第２最大閾値、及び第１空間点集合内の第１空間点の第２方向における座標数値の最小値である第２最小閾値とを決定し、第１最大閾値、第１最小閾値、第２最大閾値及び第２最小閾値に基づき、第１三次元点群をフィルタリング処理し、第２三次元点群を得ることに用いられてもよい。
In one possible implementation, when the
１つの可能な実現方式において、第２三次元点群内の第２空間点の第１方向における座標数値は、第１最小閾値よりも大きいか又は等しく且つ第１最大閾値よりも小さいか又は等しく、第２三次元点群内の空間点の第２方向における座標数値は、第２最小閾値よりも大きいか又は等しく且つ第２最大閾値よりも小さいか又は等しい。 In one possible realization, the coordinate value in the first direction of the second spatial point in the second three-dimensional point cloud is greater than or equal to the first minimum threshold and less than or equal to the first maximum threshold. , the coordinate value in the second direction of the spatial point in the second three-dimensional point group is greater than or equal to the second minimum threshold and less than or equal to the second maximum threshold.
１つの可能な実現方式において、外接矩形の隣り合う２つの辺は、それぞれ二次元画像の行方向及び列方向に平行である。 In one possible implementation, two adjacent sides of the circumscribed rectangle are parallel to the row and column directions of the two-dimensional image, respectively.
本願の実施例は、チップを更に提供し、チップは、前述した方法の実施例における端末機器の関連ステップを実行することができる。チップは、プロセッサ及び通信インタフェースを備え、プロセッサは、目標対象の画像である二次元画像における目標線分に対応し、目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得し、目標対象の三次元点群である第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定し、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得て、第２三次元点群から目標線分に対応する三次元点群を決定するという操作をチップに実行させるために構成される。 Embodiments of the present application further provide a chip, which can perform the relevant steps of the terminal equipment in the aforementioned method embodiments. The chip includes a processor and a communication interface, and the processor detects edge pixel points that correspond to a target line segment in a two-dimensional image that is an image of the target object, and that includes pixel points at four corners of a circumscribed rectangle that corresponds to the target line segment. A first spatial point set corresponding to the edge pixel point set is determined from a first three-dimensional point group that is a three-dimensional point group of the target object, and the first three-dimensional point set is determined based on the first spatial point set. The chip is configured to perform an operation of filtering the group, obtaining a second three-dimensional point group, and determining a three-dimensional point group corresponding to the target line segment from the second three-dimensional point group.
１つの可能な実現方式において、目標線分は直線線分であり、外接矩形の角点は目標線分の端点を含む。 In one possible implementation, the target line segment is a straight line segment, and the corner points of the circumscribing rectangle include the end points of the target line segment.
１つの可能な実現方式において、目標線分は曲線線分であり、外接矩形は目標線分の最小外接矩形である。 In one possible implementation, the target line segment is a curved line segment and the circumscribing rectangle is the minimum circumscribing rectangle of the target line segment.
１つの可能な実現方式において、チップは、第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定する時、具体的に、カメラ内部パラメータに基づいてエッジ画素点集合に対応する画像点集合を決定し、画像点集合に基づいて第１三次元点群からエッジ画素点集合に対応する第１空間点集合を決定することに用いられてもよい。 In one possible implementation, when determining the first spatial point set corresponding to the edge pixel point set from the first three-dimensional point set, the chip specifically determines the edge pixel point set based on camera internal parameters. The method may be used to determine a corresponding image point set and determine a first spatial point set corresponding to an edge pixel point set from a first three-dimensional point set based on the image point set.
１つの可能な実現方式において、チップは、第１空間点集合に基づいて第１三次元点群をフィルタリング処理し、第２三次元点群を得る時、具体的に、第１空間点集合に基づいて、第１方向における、第１空間点集合内の第１空間点の第１方向における座標数値の最大値である第１最大閾値、及び第１空間点集合内の第１空間点の第１方向における座標数値の最小値である第１最小閾値と、第２方向における、第１空間点集合内の第１空間点の第２方向における座標数値の最大値である第２最大閾値、及び第１空間点集合内の第１空間点の第２方向における座標数値の最小値である第２最小閾値とを決定し、第１最大閾値、第１最小閾値、第２最大閾値及び第２最小閾値に基づき、第１三次元点群をフィルタリング処理し、第２三次元点群を得ることに用いられてもよい。 In one possible implementation, when the chip filters the first 3D point set based on the first spatial point set to obtain the second 3D point set, the chip specifically performs a filtering process on the first spatial point set. based on the first maximum threshold value, which is the maximum value of the coordinate value in the first direction of the first spatial point in the first spatial point set; a first minimum threshold that is the minimum value of coordinate values in one direction; a second maximum threshold that is the maximum value of the coordinate values in the second direction of the first spatial point in the first spatial point set in the second direction; a second minimum threshold that is the minimum value of the coordinate value in the second direction of the first spatial point in the first spatial point set; The first three-dimensional point group may be filtered based on the threshold value to obtain a second three-dimensional point group.
１つの可能な実現方式において、第２三次元点群内の第２空間点の第１方向における座標数値は、第１最小閾値よりも大きいか又は等しく且つ第１最大閾値よりも小さいか又は等しく、第２三次元点群内の空間点の第２方向における座標数値は、第２最小閾値よりも大きいか又は等しく且つ第２最大閾値よりも小さいか又は等しい。 In one possible realization, the coordinate value in the first direction of the second spatial point in the second three-dimensional point cloud is greater than or equal to the first minimum threshold and less than or equal to the first maximum threshold. , the coordinate value in the second direction of the spatial point in the second three-dimensional point group is greater than or equal to the second minimum threshold and less than or equal to the second maximum threshold.
１つの可能な実現方式において、外接矩形の隣り合う２つの辺は、それぞれ二次元画像の行方向及び列方向に平行である。 In one possible implementation, two adjacent sides of the circumscribed rectangle are parallel to the row and column directions of the two-dimensional image, respectively.
チップに適用又は集積された各装置、プロダクトについては、それに含まれる各モジュールは、いずれも回路等のハードウェアの方式を採用して実現でき、又は、少なくとも一部のモジュールは、ソフトウェアプログラムの方式を採用して実現でき、ソフトウェアプログラムは、チップの内部に集積されたプロセッサで運行し、残り（あれば）の一部のモジュールは、回路等のハードウェア方式を採用して実現できる。 For each device or product applied or integrated on a chip, each module included therein can be realized using a hardware method such as a circuit, or at least some of the modules can be realized using a software program method. The software program is run by a processor integrated inside the chip, and some of the remaining modules (if any) can be implemented using hardware such as circuits.
図７を参照し、図７は、本発明の実施例に係る三次元点群に基づくマッピング装置の構造模式図である。三次元点群に基づくマッピング装置７００は、メモリ７０１、プロセッサ７０２を備えてもよい。好ましくは、通信インタフェース７０３を更に備える。メモリ７０１、プロセッサ７０２及び通信インタフェース７０３は、１本又は複数本の通信バスで接続される。そのうち、通信インタフェース７０３は、プロセッサ７０２の制御で情報を送受信することに用いられる。
Referring to FIG. 7, FIG. 7 is a schematic structural diagram of a mapping device based on a three-dimensional point group according to an embodiment of the present invention. The three-dimensional point cloud-based
メモリ７０１は、読み出し専用メモリ及びランダムアクセスメモリを含んでもよく、プロセッサ７０２に命令及びデータを提供する。メモリ７０１の一部は、不揮発性ランダムアクセスメモリを更に含んでもよい。
通信インタフェース７０３は、データを受信又は送信することに用いられる。
プロセッサ７０２は、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であってもよく、プロセッサ７０２は、他の汎用プロセッサ、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェア部品等であってもよい。汎用プロセッサはマイクロプロセッサであってもよく、好ましくは、プロセッサ７０２は、任意の通常のプロセッサ等であってもよい。
メモリ７０１は、プログラム命令を記憶することに用いられる。
プロセッサ７０２は、メモリ７０１に記憶されたプログラム命令を呼び出すことに用いられる。
プロセッサ７０２は、メモリ７０１に記憶されたプログラム命令を呼び出し、上記方法の実施例における端末機器が実行する方法を三次元点群に基づくマッピング装置７００に実行させる。
The
図８に示すように、図８は、本願の実施例に係るモジュール機器の構造模式図である。モジュール機器８００は、前述した方法の実施例における近端機器の関連ステップを実行することができ、モジュール機器８００は、通信モジュール８０１、電源モジュール８０２、記憶モジュール８０３及びチップ８０４を備える。
As shown in FIG. 8, FIG. 8 is a schematic structural diagram of a module device according to an embodiment of the present application. The module device 800 can perform the related steps of the near-end device in the method embodiments described above, and the module device 800 includes a
そのうち、電源モジュール８０２は、モジュール機器に電気エネルギを提供することに用いられ、記憶モジュール８０３は、データ及び命令を記憶することに用いられ、通信モジュール８０１は、モジュール機器の内部の通信又はモジュール機器と外部機器との通信を行うことに用いられ、チップ８０４は、上記方法の実施例における端末機器が実行する方法を実行することに用いられる。
Among them, the
なお、図６～図８に対応する実施例で言及していない内容及び各ステップの具体的な実現方式は、図２に示す実施例及び前述した内容を参照することができ、ここで繰り返し説明しない。 Note that for contents not mentioned in the embodiments corresponding to FIGS. 6 to 8 and specific implementation methods of each step, reference can be made to the embodiment shown in FIG. do not.
本願の実施例は、プロセッサで運行すると、上記方法の実施例の方法のフローが実現可能となる命令が記憶されたコンピュータ可読記憶媒体を更に提供する。 Embodiments of the present application further provide a computer readable storage medium having instructions stored thereon that, when run on a processor, enable the method flow of the above method embodiments to be implemented.
本願の実施例は、プロセッサで運行すると、上記方法の実施例の方法のフローが実現可能となるコンピュータプログラムプロダクトを更に提供する。 Embodiments of the present application further provide a computer program product that, when run on a processor, enables the method flow of the above method embodiments to be implemented.
なお、前述した各方法の実施例については、簡単に説明するために、それらをいずれも一連の動作の組み合わせとして記述したが、当業者であれば、本願が記述された動作の順に限定されず、これは、本願により、いくつかの操作は他の順で行ったり、同時に行ったりしてもよいためであることを知っているべきである。そして、当業者であれば、明細書に記載された実施例がいずれも好ましい実施例に属し、係る動作及びモジュールが必ずしも本願に必要なものではないことも知っているべきである。 In addition, although the embodiments of each method described above are described as combinations of a series of operations for the sake of easy explanation, those skilled in the art will understand that the present application is not limited to the order of the operations described. , it should be noted that this is because, according to the present application, some operations may be performed in other orders or at the same time. Those skilled in the art should also know that all the embodiments described in the specification are preferred embodiments, and that such operations and modules are not necessarily required for the present application.
本願に係る各実施例の説明は、互いに参照することができ、各実施例の説明はそれぞれ重点を置いており、ある実施例で詳述されていない部分は、他の実施例の関連説明を参照することができる。説明の便宜及び簡潔さのために、例えば、本願の実施例に係る各装置、機器の機能及び実行する操作については、本願の方法の実施例の関連説明を参照することができ、各方法の実施例間、各装置の実施例間も、互いに参照、結合又は引用することができる。 The descriptions of the embodiments of the present application can be referred to with each other, and the description of each embodiment focuses on each other, and the parts that are not detailed in one embodiment will refer to the related explanation of other embodiments. You can refer to it. For convenience and brevity of explanation, for example, for the functions and operations performed of each device and equipment according to the embodiments of the present application, reference may be made to the relevant description of the embodiments of the method of the present application, and the description of each method embodiment may be referred to. The embodiments and the embodiments of each device can be referred to, combined with, or cited from each other.
最後に説明すべきものとして、以上の各実施例は、本願の技術案を説明するためのものに過ぎず、それを限定するものではなく、前述した各実施例を参照して本願を詳細に説明したが、当業者であれば、依然として前述した各実施例に記載された技術案を修正したり、そのうちの一部又は全部の技術的特徴を均等に置換したりすることができ、これらの修正又は置換は、対応する技術案の本質を本願の各実施例の技術案の範囲から逸脱させるものではないことを理解すべきである。 Finally, it should be explained that the above embodiments are only for explaining the technical solution of the present application, and are not intended to limit it, and the present application will be explained in detail with reference to the above-mentioned embodiments. However, those skilled in the art can still modify the technical solutions described in each of the above-mentioned embodiments or equally replace some or all of the technical features thereof, and these modifications It should be understood that the substitution or substitution does not cause the essence of the corresponding technical solution to deviate from the scope of the technical solution of each embodiment of the present application.
Claims (12)
目標対象の画像である二次元画像における目標線分に対応し、前記目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得することと、
前記目標対象の三次元点群である第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定することと、
前記第１空間点集合に基づいて前記第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、
前記第２三次元点群から前記目標線分に対応する三次元点群を決定することと、を含む、
方法。 A mapping method based on a three-dimensional point cloud, comprising:
Corresponding to a target line segment in a two-dimensional image that is an image of the target object, obtaining an edge pixel point set including pixel points at four corners of a circumscribed rectangle corresponding to the target line segment;
determining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point group that is a three-dimensional point group of the target object;
filtering the first three-dimensional point group based on the first spatial point set to obtain a second three-dimensional point group;
determining a three-dimensional point group corresponding to the target line segment from the second three-dimensional point group;
Method.
請求項１に記載の方法。 The target line segment is a straight line segment, and corner points of the circumscribed rectangle include end points of the target line segment.
The method according to claim 1.
請求項１に記載の方法。 The target line segment is a curved line segment, and the circumscribed rectangle is the minimum circumscribed rectangle of the target line segment.
The method according to claim 1.
カメラ内部パラメータに基づいて前記エッジ画素点集合に対応する画像点集合を決定することと、
前記画像点集合に基づいて第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定することと、を含む、
請求項１～３のいずれか１項に記載の方法。 Determining a first spatial point set corresponding to the edge pixel point set from the first three-dimensional point group includes:
determining an image point set corresponding to the edge pixel point set based on camera internal parameters;
determining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point set based on the image point set;
The method according to any one of claims 1 to 3.
前記第１空間点集合に基づいて、第１方向における、前記第１空間点集合内の第１空間点の前記第１方向における座標数値の最大値である第１最大閾値、及び前記第１空間点集合内の第１空間点の前記第１方向における座標数値の最小値である第１最小閾値と、第２方向における、前記第１空間点集合内の第１空間点の前記第２方向における座標数値の最大値である第２最大閾値、及び前記第１空間点集合内の第１空間点の前記第２方向における座標数値の最小値である第２最小閾値とを決定することと、
前記第１最大閾値、前記第１最小閾値、前記第２最大閾値及び前記第２最小閾値に基づき、前記第１三次元点群をフィルタリング処理し、第２三次元点群を得ることと、を含む、
請求項１～３のいずれか１項に記載の方法。 Filtering the first three-dimensional point group based on the first spatial point set to obtain a second three-dimensional point group,
a first maximum threshold, which is the maximum value of coordinate values in the first direction of a first spatial point in the first spatial point set, in a first direction, based on the first spatial point set; a first minimum threshold that is the minimum value of the coordinate values of a first spatial point in the point set in the first direction; determining a second maximum threshold that is a maximum value of coordinate values, and a second minimum threshold that is a minimum value of coordinate values of a first spatial point in the first spatial point set in the second direction;
filtering the first three-dimensional point group based on the first maximum threshold, the first minimum threshold, the second maximum threshold, and the second minimum threshold to obtain a second three-dimensional point group; include,
The method according to any one of claims 1 to 3.
請求項５に記載の方法。 A coordinate value in the first direction of a second spatial point in the second three-dimensional point group is greater than or equal to the first minimum threshold and less than or equal to the first maximum threshold, and the second a coordinate value in the second direction of a spatial point in the three-dimensional point group is greater than or equal to the second minimum threshold and less than or equal to the second maximum threshold;
The method according to claim 5.
請求項６に記載の方法。 Two adjacent sides of the circumscribed rectangle are parallel to the row direction and column direction of the two-dimensional image, respectively.
The method according to claim 6.
目標対象の画像である二次元画像における目標線分に対応し、前記目標線分に対応する外接矩形の４つの角の画素点を含むエッジ画素点集合を取得するための取得ユニットと、
前記目標対象の三次元点群である第１三次元点群から前記エッジ画素点集合に対応する第１空間点集合を決定するための決定ユニットと、
前記第１空間点集合に基づいて前記第１三次元点群をフィルタリング処理し、第２三次元点群を得るための処理ユニットと、を備え、
前記決定ユニットは、更に、前記第２三次元点群から前記目標線分に対応する三次元点群を決定することに用いられる、
装置。 A mapping device based on a three-dimensional point cloud,
an acquisition unit for acquiring an edge pixel point set that corresponds to a target line segment in a two-dimensional image that is an image of the target object and that includes pixel points at four corners of a circumscribed rectangle that corresponds to the target line segment;
a determination unit for determining a first spatial point set corresponding to the edge pixel point set from a first three-dimensional point group that is a three-dimensional point group of the target object;
a processing unit for filtering the first three-dimensional point group based on the first spatial point set to obtain a second three-dimensional point group,
The determining unit is further used to determine a three-dimensional point group corresponding to the target line segment from the second three-dimensional point group.
Device.
チップ。 A processor configured to cause a chip to execute the method according to any one of claims 1 to 3, and a communication interface.
Chip.
前記モジュール機器に電気エネルギを提供するための電源モジュールと、
データ及び命令を記憶するための記憶モジュールと、
請求項１～３のいずれか１項に記載の方法を実行するためのチップとを備える、
モジュール機器。 a communication module for performing internal communication of a module device or communication between the module device and an external device;
a power supply module for providing electrical energy to the modular equipment;
a storage module for storing data and instructions;
A chip for carrying out the method according to any one of claims 1 to 3.
module equipment.
プログラム命令を含むコンピュータプログラムを記憶するためのメモリと、
前記プログラム命令を呼び出して請求項１～３のいずれか１項に記載の方法を三次元点群に基づくマッピング装置に実行させるために構成されるプロセッサとを備える、
装置。 A mapping device based on a three-dimensional point cloud, comprising:
a memory for storing a computer program including program instructions;
a processor configured to call the program instructions to cause a three-dimensional point cloud-based mapping device to perform the method according to any one of claims 1 to 3;
Device.
コンピュータ可読記憶媒体。 Computer-readable instructions are stored thereon which, when operated on a three-dimensional point cloud-based mapping device, cause said three-dimensional point cloud-based mapping device to carry out the method according to any one of claims 1 to 3.
Computer readable storage medium.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310650700.4 | 2023-06-02 | ||
| CN202310650700.4A CN116704125B (en) | 2023-06-02 | 2023-06-02 | Mapping method, device, chip and module equipment based on three-dimensional point cloud |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP7432793B1 true JP7432793B1 (en) | 2024-02-16 |
Family
ID=87828635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023216450A Active JP7432793B1 (en) | 2023-06-02 | 2023-12-22 | Mapping methods, devices, chips and module devices based on three-dimensional point clouds |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7432793B1 (en) |
| CN (1) | CN116704125B (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392735B (en) * | 2023-12-12 | 2024-03-22 | 深圳市宗匠科技有限公司 | Face data processing method, device, computer equipment and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110360944A (en) | 2019-06-25 | 2019-10-22 | 江苏省特种设备安全监督检验研究院 | A kind of suspension hook deformation monitoring and display methods based on three-dimensional point cloud |
| JP2023021098A (en) | 2021-07-30 | 2023-02-09 | 北京図森智途科技有限公司 | Map construction method, apparatus, and storage medium |
| CN116402792A (en) | 2023-04-07 | 2023-07-07 | 北华航天工业学院 | Space hole site butt joint method based on three-dimensional point cloud |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6717425B2 (en) * | 2017-04-03 | 2020-07-01 | 富士通株式会社 | Distance information processing device, distance information processing method, and distance information processing program |
| CN107230225B (en) * | 2017-04-25 | 2020-06-09 | 华为技术有限公司 | Method and apparatus for three-dimensional reconstruction |
| GB2565354A (en) * | 2017-08-11 | 2019-02-13 | Canon Kk | Method and corresponding device for generating a point cloud representing a 3D object |
| CN108986161B (en) * | 2018-06-19 | 2020-11-10 | 亮风台（上海）信息科技有限公司 | Three-dimensional space coordinate estimation method, device, terminal and storage medium |
| CN109271861B (en) * | 2018-08-15 | 2021-08-17 | 武汉中海庭数据技术有限公司 | Multi-scale fusion point cloud traffic signboard automatic extraction method |
| CN110869974B (en) * | 2018-11-19 | 2024-06-11 | 深圳市卓驭科技有限公司 | Point cloud processing method, equipment and storage medium |
| CN110443836B (en) * | 2019-06-24 | 2022-03-18 | 中国人民解放军战略支援部队信息工程大学 | Point cloud data automatic registration method and device based on plane features |
| CN111080805A (en) * | 2019-11-26 | 2020-04-28 | 北京云聚智慧科技有限公司 | Method and device for generating three-dimensional block diagram of marked object, electronic equipment and storage medium |
| CN116830155A (en) * | 2020-05-11 | 2023-09-29 | 康耐视公司 | Method and device for extracting contour from three-dimensional image |
| CN112581621B (en) * | 2020-12-01 | 2024-02-13 | 中国船舶集团有限公司第七一六研究所 | Online extraction method for spatial dimension of three-dimensional point cloud steel plate |
| CN112700552A (en) * | 2020-12-31 | 2021-04-23 | 华为技术有限公司 | Three-dimensional object detection method, three-dimensional object detection device, electronic apparatus, and medium |
| CN113420735B (en) * | 2021-08-23 | 2021-12-21 | 深圳市信润富联数字科技有限公司 | Contour extraction method, device, equipment and storage medium |
| CN113793384B (en) * | 2021-09-15 | 2023-08-22 | 上海大学 | Image processing-based oil drill pipe reducing positioning method and system |
| CN114677350A (en) * | 2022-03-25 | 2022-06-28 | 腾讯科技（深圳）有限公司 | Connection point extraction method and device, computer equipment and storage medium |
| CN115034988A (en) * | 2022-06-06 | 2022-09-09 | 中国计量大学 | RGBD camera-based two-stage main body point cloud filtering method |
| CN115170767A (en) * | 2022-07-06 | 2022-10-11 | 腾讯科技（深圳）有限公司 | Wire frame structure generation method and device, electronic equipment and readable storage medium |
| CN115273033A (en) * | 2022-08-08 | 2022-11-01 | 北京领骏科技有限公司 | Method, device, medium and equipment for extracting road marking |
| CN115375699B (en) * | 2022-10-25 | 2023-03-24 | 杭州华橙软件技术有限公司 | Point cloud segmentation method, mobile robot and computer-readable storage medium |
-
2023
- 2023-06-02 CN CN202310650700.4A patent/CN116704125B/en active Active
- 2023-12-22 JP JP2023216450A patent/JP7432793B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110360944A (en) | 2019-06-25 | 2019-10-22 | 江苏省特种设备安全监督检验研究院 | A kind of suspension hook deformation monitoring and display methods based on three-dimensional point cloud |
| JP2023021098A (en) | 2021-07-30 | 2023-02-09 | 北京図森智途科技有限公司 | Map construction method, apparatus, and storage medium |
| CN116402792A (en) | 2023-04-07 | 2023-07-07 | 北华航天工业学院 | Space hole site butt joint method based on three-dimensional point cloud |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116704125A (en) | 2023-09-05 |
| CN116704125B (en) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563923B (en) | Method for obtaining dense depth map and related device | |
| CN107223269B (en) | Three-dimensional scene positioning method and device | |
| KR101666959B1 (en) | Image processing apparatus having a function for automatically correcting image acquired from the camera and method therefor | |
| US10726580B2 (en) | Method and device for calibration | |
| CN113192179B (en) | Three-dimensional reconstruction method based on binocular stereo vision | |
| JP7432793B1 (en) | Mapping methods, devices, chips and module devices based on three-dimensional point clouds | |
| CN115035235A (en) | Three-dimensional reconstruction method and device | |
| US20160232420A1 (en) | Method and apparatus for processing signal data | |
| CN112184793B (en) | Depth data processing method and device and readable storage medium | |
| CN116129037B (en) | Visual touch sensor, three-dimensional reconstruction method, system, equipment and storage medium thereof | |
| CN114782636A (en) | Three-dimensional reconstruction method, device and system | |
| CN112150518A (en) | Attention mechanism-based image stereo matching method and binocular device | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN110807798B (en) | Image recognition method, system, related device and computer readable storage medium | |
| CN112197708B (en) | Measuring method and device, electronic device and storage medium | |
| CN113077523B (en) | Calibration method, calibration device, computer equipment and storage medium | |
| CN112002007A (en) | Model obtaining method and device based on air-ground image, equipment and storage medium | |
| CN113628286B (en) | Video color gamut detection method, device, computing equipment and computer storage medium | |
| CN112711984B (en) | Fixation point positioning method and device and electronic equipment | |
| CN115601275A (en) | Point cloud augmentation method and device, computer readable storage medium and terminal equipment | |
| CN112150527B (en) | Measurement method and device, electronic equipment and storage medium | |
| US11847784B2 (en) | Image processing apparatus, head-mounted display, and method for acquiring space information | |
| CN111489384B (en) | Method, device, system and medium for evaluating shielding based on mutual viewing angle | |
| CN111630569B (en) | Binocular matching method, visual imaging device and device with storage function | |
| KR102146839B1 (en) | System and method for building real-time virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231222 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7432793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |