JP2023168262A - データ分割装置及び方法 - Google Patents

データ分割装置及び方法 Download PDF

Info

Publication number
JP2023168262A
JP2023168262A JP2023076216A JP2023076216A JP2023168262A JP 2023168262 A JP2023168262 A JP 2023168262A JP 2023076216 A JP2023076216 A JP 2023076216A JP 2023076216 A JP2023076216 A JP 2023076216A JP 2023168262 A JP2023168262 A JP 2023168262A
Authority
JP
Japan
Prior art keywords
coordinates
dimensional image
image data
data
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023076216A
Other languages
English (en)
Inventor
ジャン・シィダヌ
Xidan Zhang
タヌ・ジミン
Tan Zhiming
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2023168262A publication Critical patent/JP2023168262A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明の実施例は、データ分割装置及び方法を提供する。【解決手段】該装置は、２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。【選択図】図１

Description

本発明は、データ分割の分野に関し、特にデータ分割装置及び方法に関する。
点群は、同一の空間参照座標系におけるターゲット空間分布とターゲット表面特徴を表す大量の点の集合である。物体表面の各サンプリング点の空間座標を取得すると、「点群」と称される点の集合を取得することができ、コンピュータビジョンの最終的な表現形式は３次元（３Ｄ）ビジョンであり、３次元ビジョンの表現形式は点群により取得される。このように、点群処理は、３次元視覚領域全体で非常に重要な位置を占めており、略全ての関連領域と関係がある。
３次元点群意味分割（ｐｏｉｎｔ ｃｌｏｕｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ：ＰＣＳＳ）はコンピュータビジョン及びロボット分野で広範な応用需要がある。例えば、都市計画や建築情報モデリング（ｂｕｉｌｄｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｍｏｄｅｌｉｎｇ：ＢＩＭ）は、建築物や人工物を参照する必要があり、森林のリモートセンシングは、樹木の幾何学的構造情報に基づく必要があり、ロボット地図の同時ローカライゼーションとマッピング（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ：ＳＬＡＭ）などは、地図作成のための屋内環境が必要である。自動運転では、高精度な地図を構築するためにも、ターゲットの検出、分割及び分類が必要である。従って、３次元点群意味分割は、３Ｄ視覚領域の基礎的、且つ重要なタスクである。
なお、上述した背景技術の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
本発明の発明者の発見によると、ディープラーニング技術の発展に伴い、ＰＣＳＳ分野に新たな可能性がもたらされ、ＰＣＳＳにも益々注目が集まっている。現在の３次元点群意味分割の入力データは３Ｄ点群データであり、３Ｄ点群データに対して各ディープラーニングネットワークにより分割を行う。２Ｄ画像データの分割に比べて、３Ｄ点群データのスパース性を克服するためにディープラーニングモデルの表現能力を強化する必要があり、大規模データセット（ＩｍａｇｅＮｅｔ）に対して事前訓練を行う必要がある。しかし、３Ｄ点群データの収集が困難であり、３Ｄ点群データを分割する際のラベリング、タグ付けのプロセスがより困難であり、また、３Ｄ点群データを収集するために各種センシング機器を大量に採用すると、大きなドメインの差異をもたらし、網羅的なデータセットが存在しないことにつながる可能性がある。このため、ＰＣＳＳを行う際に収集された３Ｄ点群データを直接利用することは困難である。
上記の問題又は他の同様な問題を解決するために、本発明の実施例は、データ分割装置及び方法を提供する。
本発明の実施例の１つの態様では、データ分割装置であって、２次元画像データに対応する点群データの第１の座標を取得する取得部と、前記点群データの第１の座標を座標変換して前記点群データの第２の座標を取得する変換部と、前記２次元画像データを分割する分割部と、前記第２の座標と前記２次元画像データの第３の座標とが合致するか否かを決定する第１の決定部と、前記第１の決定部の決定結果が合致することである場合、前記分割部の分割結果に基づいて、前記点群データの分割結果を取得する第２の決定部と、を含む、装置を提供する。
本発明の実施例のもう１つの態様では、データ分割方法であって、２次元画像データに対応する点群データの第１の座標を取得するステップと、前記点群データの第１の座標を座標変換して前記点群データの第２の座標を取得するステップと、前記２次元画像データを分割するステップと、前記第２の座標と前記２次元画像データの第３の座標とが合致するか否かを決定するステップと、決定結果が合致することである場合、前記２次元画像データを分割した分割結果に基づいて、前記点群データの分割結果を取得するステップと、を含む、方法を提供する。
本発明の実施例の有利な効果の１つは以下の通りである。２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施例は、範囲上には限定されるものではない。本発明の実施例は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
本発明の実施例の１つの図面及び１つの実施形態に記載された要素及び特徴は、１つ又はさらに多くの図面又は実施形態に示された要素及び特徴と組み合わせてもよい。また、図面において、類似の符号は複数の図面における対応する素子を示し、１つ以上の実施形態に用いられる対応素子を示してもよい。
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例に係るデータ分割装置の一例の概略図である。 本発明の実施例に係る各座標系の概略図である。 本発明の実施例に係るワールド座標系とカメラ座標系との座標変換の一例を示す図である。 本発明の実施例に係るカメラ座標系と画像座標系との座標変換の一例を示す図である。 本発明の実施例に係る画像座標系と画素座標系との座標変換の一例を示す図である。 本発明の実施例に係る取得部の一例の概略図である。 本発明の実施例に係る技術のフローチャートである。 本発明の実施例に係るデータ分割方法の一例の概略図である。 本発明の実施例に係る電子機器の一例の概略図である。 本発明の実施例に係る電子機器のシステム構成の一例の概略的なブロック図である。
本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。
本発明の実施例では、用語「第１」、「第２」などは、タイトルで異なる要素を区別するために用いられるが、これらの要素の空間的配列又は時間的順序などを表すものではなく、これらの要素はこれらの用語に制限されない。用語「及び／又は」は、関連するリストに列挙された用語の１つ又は複数のうち何れか１つ及び全ての組み合わせを含む。用語「含む」、「包括する」、「有する」などは、列挙された特徴、要素、素子又は構成部材の存在を意味するが、１つ又は複数の他の特徴、要素、素子又は構成部材の存在又は追加を排除するものではない。
本発明の実施例では、単数形の「１つ」、「該」などは複数形を含み、「１種類」又は「１類」と広義的に理解されるべきであり、「１個」に限定されない。また、用語「前記」は、文脈がそうでないことを明確に示さない限り、単数形及び複数形両方を含むと理解されるべきである。また、文脈がそうでないことを明確に示さない限り、用語「に記載の」は「少なくとも一部に記載の」と理解されるべきであり、用語「に基づいて」は「少なくとも一部に基づいて」と理解されるべきである。
以下は、理解を容易にするために、本発明の実施例に係る技術用語の一部を説明する。
ワールド座標系は、客観的な３次元世界の絶対座標系を意味し、客観座標系とも称される。例えば、環境からカメラと物体の位置を記述するための基準座標系を選択し、この座標系はワールド座標系であり、ワールド座標系における座標点の単位はメートルである。カメラ座標系は、カメラの光点を中心とし、Ｘ、Ｙ軸は画像の２本の辺に平行し、光軸はＺ軸により構築された座標系であり、カメラ座標系における座標点の単位はメートルである。画像座標系通常は、通常、結像平面の画像座標系であり、原点は結像平面の中心点であり、画像座標系における座標点の単位はミリメートルである。画素座標系では、原点は画像の左上隅であり、画素座標系における座標点の単位は画素である。
図２は、本発明の実施例に係る各座標系の概略図である。例えば、物体Ｐのワールド座標系における座標を（Ｘｗ，Ｙｗ，Ｚｗ）とし、原点をＯｗとする。カメラ座標系における座標を（Ｘｃ，Ｙｃ，Ｚｃ）とし、原点をＯｃとする。ｐは物体Ｐの画像における結像点であり、その画像座標系における座標は（ｘ，ｙ）であり、原点をｏである。ｐの画素座標系における座標は（ｕ，ｖ）である。また、ｆはカメラの焦点距離であり、ｏとＯｃとの間の距離に等しく、即ち、式（１）で表されてもよい。
Figure 2023168262000002
 図３は、本発明の実施例に係るワールド座標系とカメラ座標系との座標変換の一例を示す図である。ここで、ワールド座標系とカメラ座標系との座標変換は剛体変換である。即ち、物体は変形せず、ワールド座標系におけるある点は回転（回転行列Ｒ）と並進（並進ベクトルｔ）によりカメラ座標系のある点に変換される。
ここで、点Ｐのカメラ座標系における座標は、ワールド座標系における座標に基づいて取得することができ、例えば、式（２）で表されてもよい。
Figure 2023168262000003
 また、点Ｐのワールド座標系における座標を同次座標によりカメラ座標系における座標に変換してもよく、例えば、式（３）で表されてもよい。
Figure 2023168262000004
 図４は、本発明の実施例に係るカメラ座標系と画像座標系との座標変換の一例を示す図である。ここで、カメラ座標系から画像座標系への変換は、透視投影の関係である。図４に示すように、物体のカメラ座標系における座標が得られた後、さらに物体の座標系を３次元のカメラ座標系から２次元の画像座標系に変換してもよく、例えば、式（４）で表されてもよい。
Figure 2023168262000005
 図５は、本発明の実施例に係る画像座標系と画素座標系との座標変換の一例を示す図である。例えば、画像座標系及び画素座標系は何れも結像平面上の２次元座標系であるが、原点及び測定単位が異なる。図５に示すように、画像座標系の原点は、カメラ光軸と結像平面との交点であり、通常は結像平面の中心点又は主点であり、また、画像座標系の単位はミリメートルであり、物理単位である。一方、画素座標系の単位は画素であり、画素は数行数列で記述されるため、ｄｘ及びｄｙで各列と各行のミリメートル数を表す。また、画像座標系から画素座標系への変換は、式（５）で表されてもよい。
Figure 2023168262000006
 これによって、上記の座標系間の変換により、１つの物体のワールド座標系における座標を画素座標系における座標に変換してもよく、例えば、式（６）で表されてもよい。
Figure 2023168262000007
 カメラパラメータは、内部パラメータ及び外部パラメータを含み、内部パラメータは、物理的な結像平面及び光中心の距離（焦点距離ｆ）を含み、外部パラメータは、カメラ座標系及びワールド座標系の回転行列Ｒ及び並進ベクトルｔを含む。
従って、行列
（外１）
Figure 2023168262000008
はカメラの内部パラメータ行列とも称される。行列
（外２）
Figure 2023168262000009
は、カメラの外部パラメータ行列とも称される。
さらに、式（６）の逆過程及びカメラパラメータ、例えばカメラの内部パラメータ行列及びカメラの外部パラメータ行列により、物体の画素座標系における座標をワールド座標系における座標に変換してもよい。
ここで、１つの特別な状況として、ワールド座標系の座標原点とカメラ座標系の座標原点とが重なっている場合、回転と並進は不要である。対応する回転行列Ｒ及び並進ベクトルｔは、次のように表されてもよい。
Figure 2023168262000010
 例えば、入力画像について、カメラの焦点距離ｆが５２５．０であり、主点の画素座標（ｕ，ｖ）が（３１９．５，２３９．５）である場合、カメラの内部パラメータ行列は、
（外３）
Figure 2023168262000011
となる。例えば、回転行列Ｒが
（外４）
Figure 2023168262000012
で、並進ベクトルｔが
（外５）
Figure 2023168262000013
である場合、カメラの外部パラメータ行列は
（外６）
Figure 2023168262000014
である。
ここで、ワールド座標系とカメラ座標系における同一の物体は、同一の深さを有し、即ちＺｃ＝Ｚｗとなるため、式（６）を以下のようにさらに簡略化してもよい。
Figure 2023168262000015
 さらに、式（７）に基づいて、画素点座標［ｕ，ｖ］Ｔと対応するワールド座標系における座標点［Ｘｗ，Ｙｗ，Ｚｗ］Ｔとの変換式は、以下のように導き出すことができる。
Figure 2023168262000016
 以下は、図面を参照しながら本発明の実施例の各態様を説明する。以下の説明では、光通信システムを一例にして説明するが、本発明はこれに限定されず、本発明の実施例の方法は、非線形効果が存在する他の通信システムにも適用可能である。
＜実施例１＞
本発明の実施例はデータ分割装置を提供する。図１は、本発明の実施例に係るデータ分割装置１００の一例の概略図である。図１に示すように、データ分割装置１００は、以下の各部を含む。
取得部１０１は、２次元画像データに対応する点群データの第１の座標を取得する。
変換部１０２は、該点群データの第１の座標を座標変換して該点群データの第２の座標を取得する。
分割部１０３は、該２次元画像データを分割する。
第１の決定部１０４は、該第２の座標と該２次元画像データの第３の座標とが合致するか否かを決定する。
第２の決定部１０５は、該第１の決定部の決定結果が合致することである場合、分割部１０３の分割結果に基づいて、該点群データの分割結果を取得する。
本発明の実施例によれば、２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。
幾つかの態様では、上述した２次元画像データは、屋外又は屋内の領域を撮影する撮像装置から取得され、例えば、設置された監視カメラにより撮影され、リアルタイムの監視ビデオの１つのフレームの画像が取得された後、該１つのフレームの画像を２次元画像データとする。
幾つかの態様では、第２の座標と第３の座標とは同一の座標系にあり、第１の座標と第２の座標及び第３の座標とは異なる座標系にあり、例えば、第１の座標は、ワールド座標系における座標であり、第２の座標及び第３の座標は、画素座標系における座標である。しかし、本発明の実施例はこれに限定されない。
幾つかの態様では、入力された２次元画像データについて、取得部１０１は、２次元画像データに対応する点群データの第１の座標、例えば点群データのワールド座標系における座標を取得する。取得部１０１は、例えば、同一の位置及び向きに設置されたレーダやカメラ等のセンサ装置（例えばレーダなど）により、２次元画像データに対応する点群データを直接取得してもよい。カメラにより１つの領域の２次元画像データを撮影した後、レーダにより該１つの領域の点群データを取得し、点群データの第１の座標を取得する。しかし、本発明の実施例はこれに限定されず、例えば、取得部１０１は、２次元画像データのみに基づいて計算により点群データの第１の座標を取得してもよい。以下は、その詳細を説明する。
図６は、本発明の実施例に係る取得部の一例の概略図である。幾つかの態様では、図６に示すように、取得部１０１は、以下の各モジュールを含む。
第１の推定モジュール１０１１は、２次元画像データに基づいてカメラパラメータを推定する。
第２の推定モジュール１０１２は、該２次元画像データに基づいて２次元画像データの深度マップを推定する。
計算モジュール１０１３は、該カメラパラメータ及び該深度マップに基づいて該点群データの第１の座標を計算する。
例えば、第１の推定モジュール１０１１は、ディープラーニング方法、碁盤法、消失点法などの方法を用いてカメラパラメータを推定してもよく、該カメラパラメータは、上述したようにカメラの内部パラメータとカメラの外部パラメータとを含む。碁盤法を一例にすると、碁盤標定法の基本思想は、３次元シーンにおいて同一の碁盤標定板が異なる方向、異なる位置にある複数枚の碁盤画像を撮影することによって、それぞれの碁盤画像の隅部点は等間隔であり、即ち、碁盤隅部点の空間３次元座標は既知である（３次元空間座標系は各碁盤の物体に対する）。さらに、上記の座標系転換方法に基づいてそれぞれの碁盤画像の画像平面における画素座標を計算することができ、それぞれの碁盤図の３次元空間座標及び対応する２次元画素座標の一対一で対応の投影関係に基づいて、カメラの内部パラメータを求めることができる。また、ディープラーニング法、消失点法等の方法を用いてカメラパラメータを推定する方法は、従来技術を参照してもよく、本発明はこれらに限定されない。
例えば、第２の推定モジュール１０１２により推定された２次元画像データの深度マップは、距離画像とも称され、画像取り込み装置からシーン内の各点までの距離（奥行き）の値を画素値とする画像を意味する。２次元画像データの深度マップは、一般に、レーザレーダ、ステレオカメラ、ＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラ等の装置により直接取得されてもよいし、ＲＧＢ画像又はビデオを処理して取得されてもよい。ディープラーニングニューラルネットワークの急速な発展に伴い、ディープラーニングに基づく単眼深度推定は最近最も幅広く研究されておる。また、ディープラーニングニューラルネットワークは、エンドツーエンド方式で単一の画像から密集した深度マップを推定し、異なる種類のネットワークフレームワーク、損失関数及び訓練戦略により深度推定の正確性をさらに向上させることができる。例えば、Ｍｕｌｔｉ－Ｓｃａｌｅのディープニューラルネットワークにより、単眼深度推定に基づいて２次元画像データの深度マップを推定するが、その詳細は従来技術を参照してもよく、本発明はこれらに限定されない。
例えば、計算モジュール１０１３は、カメラパラメータ及び深度マップに基づいて点群データを計算する。例えば、２次元画像データに対応する点群データの第１の座標は、カメラの内部パラメータ行列及びカメラの内部パラメータ行列、並びに２次元画像データの深度マップの画素値、例えば深度マップにおける画素値の単位がメートルであり、距離を表し、さらに、式（６）の逆変換及び式（７）～（８）に基づいて得られる。
これによって、２次元画像データのみに基づいて点群データの第１の座標を取得することができ、大規模なセンシング機器を用いて点群データを収集することを回避し、大規模なデータセットについて事前訓練を行う必要もなく、３次元点群データの分割をより簡単に行うことができる。
幾つかの態様では、変換部１０２は、上述した座標変換プロセスに従って、上述した式（６）及びカメラパラメータ（例えば、内部パラメータ行列と外部パラメータ行列）に基づいて、点群データの第１の座標（例えば、ワールド座標系における座標）を該点群データの第２の座標、即ち画素座標系における座標に変換する。
以下は、２次元画像データの分割の一例について説明する。
幾つかの態様では、分割部１０３は、２次元画像データを分割する。例えば、分割部１０３は、２次元画像データに対して、意味分割、インスタンス分割、及びパノラマ分割のうちの少なくとも１つの分割を行う。
幾つかの態様では、画像分割は、画像を類似の属性を有する幾つかの領域に区画するプロセスを意味する。数学的には、画像分割は、画像を交差しない領域に区画するプロセスである。例えば、意味分割は、画像における各画素の意味カテゴリを予測し、各画素のカテゴリラベルを取得する。インスタンス分割は、画像における各インスタンスオブジェクトに含まれる画素領域を予測する。１つの画素領域内の各画素のインスタンスラベルは同一である。パノラマ分割は、画像内の各画素に１つのカテゴリラベル及び１つのインスタンスラベルを割り当て、全体的に統一された分割画像を生成する。
幾つかの態様では、分割部１０３は、２次元画像データを分割した後、その２次元画像データの分割結果を取得する。その分割結果は、各画素のカテゴリ情報（カテゴリラベル）及び／又は各カテゴリに含まれる画素領域を含む。１つの画素領域内の各画素インスタンスラベルは同一である。ここで、分割結果として、各画素のＲＧＢ値に特定の色値を付与することをさらに含み、異なるカテゴリの画素に対応する色値は異なる。例えば、分割後の領域Ａ及びＣにおける画素カテゴリが１であり、領域Ｂにおける画素カテゴリが２であり、領域Ｄにおける画素カテゴリが３である場合、領域Ａ及びＣにおける画素は共に赤色で表示され、領域Ｂにおける画素は共に青色で表示され、領域Ｄにおける画素は共に緑色で表示され、即ち、画素の色値はそのカテゴリに対応する。ここで、一例として説明したが、本発明の実施例はこれに限定されない。
これによって、２次元画像を分割した結果をより直感的に表示することができる。
なお、上述した分割部１０３の分割操作は、取得部１０１及び変換部１０２の操作と同時に行ってもよいし、順次行ってもよいが、本発明はその実行順序に限定されない。
点群データの第１の座標を取得した後、２次元画像データの分割結果を取得することによって、点群データを分割し、分割結果を点群データに追加することができる。以下は、点群データの分割の一例を説明する。
幾つかの態様では、第１の決定部１０４は、第２の座標と２次元画像データの第３の座標とが合致するか否かを決定する。
幾つかの態様では、第２の座標と２次元画像データの第３の座標とが合致するか否かを決定するステップは、以下のステップを含む。第１の決定部１０４は、第２の座標と第３の座標との差が第１の閾値以下である場合、又は第２の座標と第３の座標との差が第１の閾値以下であり、且つ第１の条件を満たす場合、第２の座標と第３の座標とが合致すると決定する。例えば、第１の条件は、２次元画像データの画素数と点群データに対応する画素数との差が第２の閾値以下であることを含む。
第１の閾値が２個の画素であり、第２の閾値が１０個の画素である場合を一例にする。例えば、２次元画像データが１０００個の画素点を有する場合、その各画素点について、例えば、２次元画像データの画素座標系の１つの画素点の座標は（３１９，２３９）であり、その対応する点群データの画素座標系における画素点の範囲は（３１９±２，２３９±２）である。従って、変換された第２の座標と第３の座標の誤差範囲が何れも２個の画素以内である場合、該第２の座標と該第３の座標とが合致すると判断する。或いは、変換された第２の座標と第３の座標の誤差範囲が何れも２個の画素以内であり、且つ点群データの画素座標系における画素数が９９５であり、１０００－９９５が第２の閾値である１０よりも小さい場合、該第２の座標と該第３の座標とが合致すると判断する。ここで単なる一例を説明し、本発明はこれに限定されない。
幾つかの態様では、第１の決定部１０４の決定結果が合致することである場合、２次元画像データの画素点と点群データにおける点とを１対１に対応させることができ、第２の決定部１０５は、分割部１０３による分割結果に基づいて点群データの分割結果を取得する。
これによって、大規模なセンシング機器を用いて点群データを収集しなくても、大規模なデータセットに対して事前訓練を行う必要がなく、正確な点群データの分割結果を取得することができる。
幾つかの態様では、第１の決定部１０４の決定結果が合致することである場合、第２の決定部１０５は、分割部１０３により分割された異なる画素に対応する色値を、各画素に対応する前記点群データに追加する。好ましくは、第２の決定部１０５は、分割部１０３により分割された異なる画素に対応するカテゴリ情報（例えば、カテゴリラベル）を各画素に対応する点群データに追加して、点群の分割を行ってもよい。
これによって、点群データの分割結果の色に基づいて、より直感的に、正確に関心のある対象を選択することができる。
幾つかの態様では、第１の決定部１０４の決定結果が合致しないことである場合、第１の推定モジュール１０１１はカメラパラメータを再推定し、且つ／或いは、第２の推定モジュール１０１２は深度マップを再推定する。
そして、取得部１０１は、再推定された結果に基づいて点群データの第１の座標を更新する。
変換部１０２は、更新された第１の座標に基づいて第２の座標を更新する。
第１の決定部１０４は、更新された第２の座標と第３の座標とが合致するか否かを決定する。
これによって、第１の推定モジュール１０１１及び／又は第２の推定モジュール１０１２は、カメラパラメータを再推定し、且つ／或いは、深度マップを再推定することができ、再推定された結果に基づいて点群データの分割結果を取得することができ、点群データの分割の正確性をさらに向上させることができる。
図７は、本発明の実施例に係る技術のフローチャートである。図７に示すように、以下のステップを含む。
ステップ７００：２次元画像データ、例えばカメラにより得られた２次元画像データを入力する。
ステップ７０１：第１の推定モジュール１０１１は２次元画像データに基づいてカメラパラメータを推定する。
ステップ７０２：第２の推定モジュール１０１２は２次元画像データに基づいて２次元画像データの深度マップを推定する。
ステップ７０３：分割部１０３は該２次元画像データを分割する。
ステップ７０４：計算モジュール１０１３は、該カメラパラメータ及び該深度マップに基づいて点群データの第１の座標を計算する。
ステップ７０５：変換部１０２は点群データの第１の座標を座標変換して該点群データの第２の座標を取得する。
ステップ７０６：第１の決定部１０４は、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、ステップ７０７に進み、合致しない場合、ステップ７０１及び７０２に戻る。即ち、第１の推定モジュール１０１１はカメラパラメータを再推定し、第２の推定モジュール１０１２は深度マップを再推定する。
ステップ７０７：第２の決定部１０５は、第１の決定部１０４により決定された結果が合致することである場合、分割部１０３による２次元画像データの分割結果に基づいて、点群データの分割結果を取得する。
ステップ７０８：点群データの分割結果を出力する。
これによって、２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。
なお、以上は、図１乃至図７は、単なる本発明の実施例を概略的に説明するものであり、本発明はこれに限定されない。例えば、各ステップの実行順序を適切に調整してもよいし、他のステップを追加したり、その一部のステップを削除したりしてもよい。当業者は、上記の内容に従って適切な変形を行ってもよく、上記の図１乃至図７の説明に限定されない。
上記の実施例は、本発明の実施例を例示するだけであり、本発明はこれに限定されず、上記の各実施例に基づいて適切な変形を行ってもよい。例えば、上記の各実施例のそれぞれを単独で使用してもよいし、上記の各実施例の１つ又は複数を組み合わせて使用してもよい。
本発明の実施例の装置によれば、２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。
＜実施例２＞
本発明の実施例はデータ分割方法を提供する。該方法の問題を解決する原理は実施例１の装置と同様であるため、その具体的な実施は実施例１の装置の実施を参照してもよく、同様な内容についてその説明を省略する。
図８は、本発明の実施例に係るデータ分割方法の一例の概略図である。図８に示すように、該方法は以下のステップを含む。
ステップ８０１：２次元画像データに対応する点群データの第１の座標を取得する。
ステップ８０２：該点群データの第１の座標を座標変換して該点群データの第２の座標を取得する。
ステップ８０３：該２次元画像データを分割する。
ステップ８０４：該第２の座標と該２次元画像データの第３の座標とが合致するか否かを決定する。
ステップ８０５：決定結果が合致することである場合、該２次元画像データを分割した分割結果に基づいて、該点群データの分割結果を取得する。
本実施例の方法によれば、２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。
幾つかの態様では、２次元画像データに基づいてカメラパラメータを推定するステップと、２次元画像データに基づいて２次元画像データの深度マップを推定するステップと、カメラパラメータ及び深度マップに基づいて点群データの第１の座標を計算する。
幾つかの態様では、第１の座標は、ワールド座標系における座標であり、第２の座標及び第３の座標は、画素座標系における座標である。
幾つかの態様では、２次元画像データに対して、意味分割、インスタンス分割、及びパノラマ分割のうちの少なくとも１つの分割を行う。
幾つかの態様では、２次元画像データを分割した後、２次元画像データの分割結果を取得し、分割結果は、各画素のカテゴリ情報及び／又は各カテゴリに含まれる画素領域を含み、異なるカテゴリの画素に対応する色値は異なる。
幾つかの態様では、第２の座標と第３の座標との差が第１の閾値以下である場合、又は第２の座標と第３の座標との差が第１の閾値以下であり、且つ第１の条件を満たす場合、第２の座標と第３の座標とが合致すると決定する。
幾つかの態様では、第１の条件は、２次元画像データの画素数と点群データに対応する画素数との差が第２の閾値以下であることを含む。
幾つかの態様では、第２の座標と２次元画像データの第３の座標とが合致する場合、分割された異なる画素に対応する色値を、各画素に対応する点群データに追加する。
幾つかの態様では、第２の座標と２次元画像データの第３の座標とが合致しない場合、カメラパラメータを再推定し、且つ／或いは、深度マップを再推定する。そして、再推定された結果に基づいて点群データの第１の座標を更新し、更新された第１の座標に基づいて第２の座標を更新し、更新された第２の座標と第３の座標とが合致するか否かを決定する。
幾つかの態様では、ステップ８０１～８０５の態様は、実施例１における取得部１０１、変換部１０２、分割部１０３、第１の決定部１０４、第２の決定部１０５を参照してもよく、ここでその説明を省略する。
なお、以上は、図８は、単なる本発明の実施例を概略的に説明するものであり、本発明はこれに限定されない。例えば、各ステップの実行順序を適切に調整してもよいし、他のステップを追加したり、その一部のステップを削除したりしてもよい。当業者は、上記の内容に従って適切な変形を行ってもよく、上記の図８の説明に限定されない。
上記の実施例は、本発明の実施例を例示するだけであり、本発明はこれに限定されず、上記の各実施例に基づいて適切な変形を行ってもよい。例えば、上記の各実施例のそれぞれを単独で使用してもよいし、上記の各実施例の１つ又は複数を組み合わせて使用してもよい。
本発明の実施例の方法によれば、２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。
＜実施例３＞
本発明の実施例は電子機器をさらに提供する。図９は、本発明の実施例に係る電子機器の一例の概略図である。図９に示すように、電子機器１０００は、データ分割装置１００を含み、データ分割装置１００の構成及び機能は実施例１に記載されたものと同じであり、ここでその説明を省略する。
本実施例では、電子機器１０００は、各種の電子機器、例えば、車載端末、移動端末又はコンピュータであってもよい。
図１０は、本発明の実施例に係る電子機器のシステム構成の一例の概略的なブロック図である。図１０に示すように、電子機器１０００は、プロセッサ１００１及びメモリ１００２を含んでもよく、メモリ１００２はプロセッサ１００１に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。
図１０に示すように、電子機器１０００は、入力部１００３、ディスプレイ１００４及び電源１００５をさらに含んでもよい。
本発明の実施例の１つの態様では、実施例１のデータ分割装置の機能はプロセッサ１００１に統合されてもよい。ここで、プロセッサ１００１は、２次元画像データに対応する点群データの第１の座標を取得し、点群データの第１の座標を座標変換して点群データの第２の座標を取得し、２次元画像データを分割し、第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、決定結果が合致することである場合、２次元画像データを分割した分割結果に基づいて、点群データの分割結果を取得するように構成されてもよい。
幾つかの実施例では、プロセッサ１００１の態様は、実施例１を参照してもよく、ここでその説明を省略する。
本発明の実施例のもう１つの態様では、実施例１のデータ分割装置１００はプロセッサ１００１とそれぞれ配置されてもよく、例えば、該データ分割装置１００はプロセッサ１００１に接続されたチップであり、プロセッサ１００１の制御により該データ分割装置の機能を実現するように構成されてもよい。
本発明の実施例の１つの態様では、電子機器１０００は、図１０に示されている全ての構成部を含まなくてもよい。
図１０に示すように、プロセッサ１００１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、プロセッサ１００１は入力を受け付け、電子機器１０００の各部の操作を制御する。
メモリ１００２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、プロセッサ１００１は、メモリ１００２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器１０００の各部は、本発明の範囲から逸脱することなく、専用のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。
本実施例によれば、２次元画像データに対応する３次元点群データの第１の座標を取得し、該第１の座標を座標変換して３次元点群データの第２の座標を取得し、２次元画像データを分割し、該第２の座標と２次元画像データの第３の座標とが合致するか否かを決定し、合致する場合、２次元画像データの分割結果に基づいて３次元点群データを分割する。これによって、大規模なセンシング機器を採用せず、大きなデータセット訓練モデルを必要とすることなく、より正確で便利な３次元点群データの分割を行うことができ、３次元点群データの分割正確性を向上させることができる。
また、２次元画像データに基づいて、３次元空間における各カテゴリの物体の座標位置を決定してもよい。
１つの応用シナリオでは、本発明の実施例のデータ分割方法及び装置は、無人スーパーマーケットに応用し、棚上の商品が販売したか否かを検出してもよい。例えば、スーパーマーケットのカメラは、棚を含む２次元画像データを捕捉する。本発明の実施例の上記方法によれば、対応する棚の点群データの分割結果を取得し、各点群内の点は１つの棚上の位置に対応し、該点を分割結果（例えば商品や棚）に追加する。言い換えれば、本発明の実施例の上記方法により取得されたデータは、商品に対応の３次元空間座標位置及び棚に対応の３次元空間座標位置、得られたデータを入荷後に予め記憶されたデータ（棚上の商品に対応する３次元空間座標位置）と比較し、同一の３次元空間座標位置において、対応する類別が商品から商品棚に変わった場合、該３次元空間座標位置における商品が販売され、システムは商品の補充を提示してもよい。言い換えれば、得られたデータ（商品に対応する３次元空間座標位置）の中に、予め記憶された物品に対応する３次元空間座標位置が見つからない場合、該３次元空間座標位置における物品が販売され、システムは商品の補充を提示してもよい。
本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムはロジック部により実行される際に、該ロジック部に上述した装置又は構成要件を実現させる、或いは該ロジック部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。
本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図面に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図面に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
図面に記載されている一つ以上の機能ブロック及び／又は機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理装置、ディスクリートハードウェアコンポーネント、又はそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている一つ以上の機能ブロック及び／又は機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
以上は具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
データ分割装置であって、
２次元画像データに対応する点群データの第１の座標を取得する取得部と、
前記点群データの第１の座標を座標変換して前記点群データの第２の座標を取得する変換部と、
前記２次元画像データを分割する分割部と、
前記第２の座標と前記２次元画像データの第３の座標とが合致するか否かを決定する第１の決定部と、
前記第１の決定部の決定結果が合致することである場合、前記分割部の分割結果に基づいて、前記点群データの分割結果を取得する第２の決定部と、を含む、装置。
（付記２）
前記取得部は、
前記２次元画像データに基づいてカメラパラメータを推定する第１の推定モジュールと、
前記２次元画像データに基づいて２次元画像データの深度マップを推定する第２の推定モジュールと、
前記カメラパラメータ及び前記深度マップに基づいて前記点群データの第１の座標を計算する計算モジュールと、を含む、付記１に記載の装置。
（付記３）
前記第１の座標は、ワールド座標系における座標であり、
前記第２の座標及び前記第３の座標は、画素座標系における座標である、付記１に記載の装置。
（付記４）
前記分割部は、前記２次元画像データに対して、意味分割、インスタンス分割、及びパノラマ分割のうちの少なくとも１つの分割を行う、付記１に記載の装置。
（付記５）
前記分割部は、前記２次元画像データを分割した後、前記２次元画像データの分割結果を取得し、
前記分割結果は、各画素のカテゴリ情報及び／又は各カテゴリに含まれる画素領域を含み、異なるカテゴリの画素に対応する色値は異なる、付記１に記載の装置。
（付記６）
前記第１の決定部は、前記第２の座標と前記第３の座標との差が第１の閾値以下である場合、又は前記第２の座標と前記第３の座標との差が第１の閾値以下であり、且つ第１の条件を満たす場合、前記第２の座標と前記第３の座標とが合致すると決定する、付記１に記載の装置。
（付記７）
前記第１の条件は、前記２次元画像データの画素数と前記点群データに対応する画素数との差が第２の閾値以下であることを含む、付記６に記載の装置。
（付記８）
前記第１の決定部の決定結果が合致することである場合、前記第２の決定部は、前記分割部により分割された異なる画素に対応する色値を、各画素に対応する前記点群データに追加する、付記５に記載の装置。
（付記９）
前記第１の決定部の決定結果が合致しないことである場合、前記第１の推定モジュールは前記カメラパラメータを再推定し、且つ／或いは、前記第２の推定モジュールは前記深度マップを再推定し、
前記取得部は、再推定された結果に基づいて前記点群データの前記第１の座標を更新し、
前記変換部は、更新された前記第１の座標に基づいて前記第２の座標を更新し、
第１の決定部は、更新された前記第２の座標と前記第３の座標とが合致するか否かを決定する、付記２に記載の装置。
（付記１０）
データ分割方法であって、
２次元画像データに対応する点群データの第１の座標を取得するステップと、
前記点群データの第１の座標を座標変換して前記点群データの第２の座標を取得するステップと、
前記２次元画像データを分割するステップと、
前記第２の座標と前記２次元画像データの第３の座標とが合致するか否かを決定するステップと、
決定結果が合致することである場合、前記２次元画像データを分割した分割結果に基づいて、前記点群データの分割結果を取得するステップと、を含む、方法。
（付記１１）
２次元画像データに対応する点群データの第１の座標を取得するステップは、
前記２次元画像データに基づいてカメラパラメータを推定するステップと、
前記２次元画像データに基づいて２次元画像データの深度マップを推定するステップと、
前記カメラパラメータ及び前記深度マップに基づいて前記点群データの第１の座標を計算するステップと、を含む、付記１０に記載の方法。
（付記１２）
前記第１の座標は、ワールド座標系における座標であり、
前記第２の座標及び前記第３の座標は、画素座標系における座標である、付記１０に記載の方法。
（付記１３）
前記２次元画像データに対して、意味分割、インスタンス分割、及びパノラマ分割のうちの少なくとも１つの分割を行う、付記１０に記載の方法。
（付記１４）
前記２次元画像データを分割した後、前記２次元画像データの分割結果を取得し、
前記分割結果は、各画素のカテゴリ情報及び／又は各カテゴリに含まれる画素領域を含み、異なるカテゴリの画素に対応する色値は異なる、付記１０に記載の方法。
（付記１５）
前記第２の座標と前記第３の座標との差が第１の閾値以下である場合、又は前記第２の座標と前記第３の座標との差が第１の閾値以下であり、且つ第１の条件を満たす場合、前記第２の座標と前記第３の座標とが合致すると決定する、付記１０に記載の方法。
（付記１６）
前記第１の条件は、前記２次元画像データの画素数と前記点群データに対応する画素数との差が第２の閾値以下であることを含む、付記１５に記載の方法。
（付記１７）
前記第２の座標と前記２次元画像データの第３の座標とが合致する場合、前記分割部により分割された異なる画素に対応する色値を、各画素に対応する前記点群データに追加する、付記１４に記載の方法。
（付記１８）
前記第２の座標と前記２次元画像データの第３の座標とが合致しない場合、前記カメラパラメータを再推定し、且つ／或いは、前記深度マップを再推定し、
再推定された結果に基づいて前記点群データの前記第１の座標を更新し、
更新された前記第１の座標に基づいて前記第２の座標を更新し、
更新された前記第２の座標と前記第３の座標とが合致するか否かを決定する、付記１１に記載の方法。

Claims (10)

  1. データ分割装置であって、
    ２次元画像データに対応する点群データの第１の座標を取得する取得部と、
    前記点群データの第１の座標を座標変換して前記点群データの第２の座標を取得する変換部と、
    前記２次元画像データを分割する分割部と、
    前記第２の座標と前記２次元画像データの第３の座標とが合致するか否かを決定する第１の決定部と、
    前記第１の決定部の決定結果が合致することである場合、前記分割部の分割結果に基づいて、前記点群データの分割結果を取得する第２の決定部と、を含む、装置。
  2. 前記取得部は、
    前記２次元画像データに基づいてカメラパラメータを推定する第１の推定モジュールと、
    前記２次元画像データに基づいて２次元画像データの深度マップを推定する第２の推定モジュールと、
    前記カメラパラメータ及び前記深度マップに基づいて前記点群データの第１の座標を計算する計算モジュールと、を含む、請求項１に記載の装置。
  3. 前記第１の座標は、ワールド座標系における座標であり、
    前記第２の座標及び前記第３の座標は、画素座標系における座標である、請求項１に記載の装置。
  4. 前記分割部は、前記２次元画像データに対して、意味分割、インスタンス分割、及びパノラマ分割のうちの少なくとも１つの分割を行う、請求項１に記載の装置。
  5. 前記分割部は、前記２次元画像データを分割した後、前記２次元画像データの分割結果を取得し、
    前記分割結果は、各画素のカテゴリ情報及び／又は各カテゴリに含まれる画素領域を含み、異なるカテゴリの画素に対応する色値は異なる、請求項１に記載の装置。
  6. 前記第１の決定部は、前記第２の座標と前記第３の座標との差が第１の閾値以下である場合、又は前記第２の座標と前記第３の座標との差が第１の閾値以下であり、且つ第１の条件を満たす場合、前記第２の座標と前記第３の座標とが合致すると決定する、請求項１に記載の装置。
  7. 前記第１の条件は、前記２次元画像データの画素数と前記点群データに対応する画素数との差が第２の閾値以下であることを含む、請求項６に記載の装置。
  8. 前記第１の決定部の決定結果が合致することである場合、前記第２の決定部は、前記分割部により分割された異なる画素に対応する色値を、各画素に対応する前記点群データに追加する、請求項５に記載の装置。
  9. 前記第１の決定部の決定結果が合致しないことである場合、前記第１の推定モジュールは前記カメラパラメータを再推定し、且つ／或いは、前記第２の推定モジュールは前記深度マップを再推定し、
    前記取得部は、再推定された結果に基づいて前記点群データの前記第１の座標を更新し、
    前記変換部は、更新された前記第１の座標に基づいて前記第２の座標を更新し、
    第１の決定部は、更新された前記第２の座標と前記第３の座標とが合致するか否かを決定する、請求項２に記載の装置。
  10. データ分割方法であって、
    ２次元画像データに対応する点群データの第１の座標を取得するステップと、
    前記点群データの第１の座標を座標変換して前記点群データの第２の座標を取得するステップと、
    前記２次元画像データを分割するステップと、
    前記第２の座標と前記２次元画像データの第３の座標とが合致するか否かを決定するステップと、
    決定結果が合致することである場合、前記２次元画像データを分割した分割結果に基づいて、前記点群データの分割結果を取得するステップと、を含む、方法。
JP2023076216A 2022-05-12 2023-05-02 データ分割装置及び方法 Pending JP2023168262A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210512475.3 2022-05-12
CN202210512475.3A CN117115434A (zh) 2022-05-12 2022-05-12 数据分割装置和方法

Publications (1)

Publication Number Publication Date
JP2023168262A true JP2023168262A (ja) 2023-11-24

Family

ID=88797130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023076216A Pending JP2023168262A (ja) 2022-05-12 2023-05-02 データ分割装置及び方法

Country Status (2)

Country Link
JP (1) JP2023168262A (ja)
CN (1) CN117115434A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118011421A (zh) * 2024-04-10 2024-05-10 中国科学院西安光学精密机械研究所 基于激光雷达深度估计的经纬仪图像自动调焦方法及***

Also Published As

Publication number Publication date
CN117115434A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
Kropp et al. Interior construction state recognition with 4D BIM registered image sequences
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及***
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US9420265B2 (en) Tracking poses of 3D camera using points and planes
Golparvar-Fard et al. Evaluation of image-based modeling and laser scanning accuracy for emerging automated performance monitoring techniques
US11051000B2 (en) Method for calibrating cameras with non-overlapping views
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
CN109598794B (zh) 三维gis动态模型的构建方法
JP2015201850A (ja) 撮像装置のパラメータ推定方法
Litomisky et al. Removing moving objects from point cloud scenes
JP2021522607A (ja) ポイントクラウドの着色において使用される方法及びシステム
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及***
CN109934873B (zh) 标注图像获取方法、装置及设备
CN115035235A (zh) 三维重建方法及装置
WO2023164845A1 (zh) 三维重建方法、装置、***及存储介质
JP2023168262A (ja) データ分割装置及び方法
Yamaguchi et al. Superimposing thermal-infrared data on 3D structure reconstructed by RGB visual odometry
CN105339981B (zh) 用于使用一组基元配准数据的方法
Kawanishi et al. Parallel line-based structure from motion by using omnidirectional camera in textureless scene
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
Chen et al. Epipole Estimation under Pure Camera Translation.
Bartczak et al. Extraction of 3D freeform surfaces as visual landmarks for real-time tracking
Hamzah et al. An Aligned epipolar line for stereo images with multiple sizes ROI in depth maps for computer vision application
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
Li-Chee-Ming et al. Augmenting visp’s 3d model-based tracker with rgb-d slam for 3d pose estimation in indoor environments