JP2023529527A - 点群データの生成方法及び装置 - Google Patents

Abstract

本開示は、点群データの生成方法及び装置を開示し、人工知能分野に関し、具体的にはコンピュータビジョン及び深層学習技術に関し、自動運転及びスマート交通のシーンに適用することができる。具体的な技術案として、レーザレーダに基づいて目標対象の実点群セットを収集し、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成し、実点群セットと擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成する。
【選択図】図１

Description

関連出願の相互参照

本開示は、２０２１年５月２１日に提出された中国特許出願番号が「２０２１１０５５６３５１．０」の優先権を主張しており、その全ての内容は、引用によって本明細書に組み込まれている。

本開示は、人工知能分野に関し、具体的には、コンピュータビジョン及び深層学習技術に関し、自動運転及びスマート交通のシーンに適用することができる。

深層学習技術は近年、コンピュータビジョン及び自然言語処理の分野で大きな成功を収めており、点群３Ｄ目標検出タスクは、コンピュータビジョンにおける典型的なサブタスクとして、近年、深層学習に対する研究者に注目されている課題となっており、通常、レーザレーダによって収集されたデータは、点群の形で表示して処理される。

本開示は、点群データの生成方法、装置、電子機器及び記憶媒体を提供する。

本開示の一態様によれば、点群データの生成方法が提供される。レーザレーダに基づいて目標対象の実点群セットを収集し、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成し、実点群セットと擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成する。本願は、モデルのトレーニングのための目標点群セット内の遠近の点群を比較的均衡させ、トレーニング要求をよりよく満たすことができ、モデルのトレーニング精度の提供を容易にし、遠近目標の監視に有利である。

本開示の他の態様によれば、点群データの生成装置が提供される。

本開示の他の態様によれば、電子機器が提供される。

本開示の他の態様によれば、非一時的なコンピュータ読み取り可能な記憶媒体が提供される。

本開示の他の態様によれば、コンピュータプログラム製品が提供される。

上記目的を達成するために、本開示の第１の態様の実施例は、点群データの生成方法を提供し、前記方法は、レーザレーダに基づいて目標対象の実点群セットを収集するステップと、前記目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成するステップと、前記実点群セットと前記擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するステップと、を含む。

上記目的を達成するために、本開示の第２の態様の実施例は、点群データの生成装置を提供し、前記装置は、レーザレーダに基づいて目標対象の実点群セットを収集するように構成される実点群セット取得モジュールと、前記目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成するように構成される擬似点群セット取得モジュールと、前記実点群セットと前記擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するように構成される点群セット融合モジュールと、を備える。

上記目的を達成するために、本開示の第３の態様の実施例は、メモリと、プロセッサとを備える電子機器を提供する。前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が記憶され、前記指令は前記少なくとも１つのプロセッサによって実行され、本開示の第１の態様の実施例に記載の点群データの生成方法が実現される。

上記目的を達成するために、本開示の第４の態様の実施例は、コンピュータ指令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、ここで、前記コンピュータ指令は、本開示の第１の態様の実施例に記載の点群データの生成方法を実現するために使用される。

上記目的を達成するために、本開示の第５の態様の実施例は、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムがプロセッサによって実行される場合、本開示の第１の態様の実施例に記載の点群データの生成方法が実現される。

なお、本部分に記載された内容は、本願の実施例の肝心又は重要な特徴を限定することを意図するものではなく、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明によって容易に理解されやすくなる。

図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本開示の一実施例に係る点群データの生成方法の概略図である。 本開示の一実施例に係る自動運転システムのフロントビューカメラから返信されたＲＧＢマップである。 本開示の一実施例に係るＲＧＢマップに対応するレーザレーダの疎い点群データである。 本開示の一実施例に係る自動運転システムのフロントビューカメラから返信されたＲＧＢマップである。 本開示の一実施例に係るＲＧＢマップに対応する擬似レーザレーダの稠密点群データである。 本開示の一実施例に係る第１の点群の取得方法の概略図である。 本開示の一実施例に係る目標点群セットを生成する概略図である。 本開示の一実施例に係る目標点群セットを生成する概略図である。 本開示の一実施例に係る第１の点群から実点群セットまでのユークリッド距離を取得する概略図である。 本開示の一実施例に係る点群データの生成方法の概略図である。 本開示の一実施例に係る点群データの生成装置の概略図である。 本開示の一実施例に係る電子機器の概略図である。

以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするためにその中には本願の実施例の様々な詳細事項が含まれ、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

画像処理（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）は、コンピュータで画像を解析し、所望の結果を得る技術である。映像処理とも呼ばれる。画像処理とは、一般的にデジタル画像処理を指す。デジタル画像とは、産業用カメラ、カメラ、スキャナなどの機器によって撮影された大きな２次元配列を指し、当該配列の要素を画素と呼び、その値をグレースケール値と呼ぶ。画像処理技術は、一般的に画像圧縮、拡張及び復元、マッチング、記述及び認識の３つの部分を含む。

深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ＤＬと略称する）は、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、ＭＬと略称する）分野における新たな研究方向であり、最初の目標である人工知能により近づけるように機械学習に導入されている。深層学習は、サンプルデータの内在法則及び表現階層を学習することであり、これらの学習過程で得られる情報は、文字、画像及び音声などのデータの解明に大きく役立つ。究極的な目標としては、機械が人間のように分析学習能力を持ち、文字、画像及び音声などのデータを認識できるようにすることである。深層学習は、複雑な機械学習アルゴリズムであり、音声及び画像認識の面で得られた効果は、従来の関連技術を遥かに上回っている。

コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）は、どのように機械が「見せる」かを研究する学科であり、さらに言えば、カメラやコンピュータで人間の目に代えて目標に対して認識、追跡及び測定などの機械ビジョンを行い、さらにグラフィック処理を行い、人間の目で観察することにさらに適したり、検出のために計器に伝送したりする画像にコンピュータが処理できるようにすることを指す。科学学科として、コンピュータビジョンは、関連する理論や技術を研究し、画像や多次元データから「情報」を取得できる人工知能システムの確立を意図している。ここでの情報とは、Ｓｈａｎｎｏｎにより定義した、「決定」を行うのに役立つ情報を指す。感知は、感覚的な信号から情報を抽出することと見なすことができるので、コンピュータビジョンは、人工システムが画像や多次元データからどのように「感知」するかを研究する科学と見なすこともできる。

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩと略称する）は、コンピュータに人間のある思考過程と知能行為（例えば、学習、推理、思考、計画など）をシミュレートさせることを研究する学科であり、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能ハードウェア技術は、主にコンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。

図１は、本開示の一実施例に係る点群データの生成方法のフローチャートであり、図１に示すように、当該点群データの生成方法は、以下のステップを含む。

Ｓ１０１において、レーザレーダに基づいて目標対象の実点群セットを収集する。

レーザ探知及び測距システム（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、ＬｉＤＡＲ）は、レーザレーダとも呼ばれ、送信システム、受信システム、情報処理などの部分から構成される。ＬＩＤＡＲは、毎秒１０万、１００万、さらには１０００万レベルの点を生成することができ、点群（ｐｏｉｎｔ ｃｌｏｕｄ）と呼ばれる。点群とは、簡単に言えば空間内に点在する複数の点を指し、各点は、三次元座標（ＸＹＺ）、レーザ反射強度（Ｉｎｔｅｎｓｉｔｙ）又は色情報（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ、ＲＧＢ）を含み、レーザレーダが物体又は地面にレーザ信号を発射し、それから物体又は地面から反射されたレーザ信号を収集したものであり、結合ソルバ、偏差補正によりこれらの点の正確な空間情報を算出することができる。ここで、レーザレーダによって得られた点群データは、数値標高モデルの作成、３次元モデリング、農林国勢調査、土方計算、地質災害の監視又は自動運転などのシステムに利用することができる。

いくつかの実施例において、レーザレーダを自動運転システムに適用するのを例として、自動運転車に取り付けられるレーザレーダは、実点群データとして自動運転車の視野の前方物体及び地面の点群セットを収集することができる。ここで、車両、歩行者又は樹木などの前方物体は、目標対象とすることができる。例として、図２は、自動運転システムのフロントビューカメラから返信されたＲＧＢマップであり、図３は、当該ＲＧＢマップに対応するレーザレーダの疎い点群データである。いくつかの実施例において、フロントビューカメラは、フロントビュー単眼ＲＧＢカメラ又はフロントビュー双眼ＲＧＢカメラを備えることができる。

Ｓ１０２において、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成する。

本願の実施例において、稠密擬似点群データを取得してレーザレーダによる目標対象の点群データの収集を支援することができる。

いくつかの実施例において、深層画像収集装置によって収集された深層画像から、深層画像に基づいて擬似点群データを取得することができ、いくつかの実施例において、収集された深層画像の画素深層を３Ｄ点群に逆投影して擬似点群データを取得する。

いくつかの実施例において、双眼ビジョンに基づいて目標対象を画像収集し、視差の原理に基づいて撮像装置を利用して異なる位置から測定対象物の２つの画像を取得し、画像の対応点間の位置ずれを計算することにより、擬似点群データを得ることができる。

いくつかの実施例において、単眼ビジョンに基づいて目標対象を画像収集し、得られた収集画像間の回転と並進との関係を計算し、マッチングポイントの三角化に基づく計算により擬似点群データを得ることができる。

いくつかの実施例において、自動運転システムへの適用を例に、フロントビュー単眼ＲＧＢカメラ又はフロントビュー双眼ＲＧＢカメラを用いて、擬似点群セットとして自動運転車の視野の前方物体及び地面の点群を収集することができる。一例として、図４は、自動運転システムのフロントビューカメラから返信されたＲＧＢマップであり、図５は、当該ＲＧＢマップに対応する擬似レーザレーダの稠密点群データである。いくつかの実施例において、フロントビューカメラは、フロントビュー単眼ＲＧＢカメラ又はフロントビュー双眼ＲＧＢカメラを備えることができる。

Ｓ１０３において、実点群セットと擬似点群セットを融合して、モデルのトレーニングのための目標点群セットを生成する。

レーザレーダによって取得された点群データは、レーザレーダに近い点群ほど稠密で、レーザレーダから遠い点群ほど疎であるため、傍近の検出効果が比較的良好であり、レーザレーダから遠いほど検出効果は大きく減衰していく。この問題を回避するには、取得された実点群セットと擬似点群セットを融合して、目標点群セットを取得する。擬似点群セットのデータ量が大きいので、稠密な擬似点群セットによって実点群セットに対して点群補充を行うことができ、モデルのトレーニングのための目標点群セット内の遠近の点群を比較的均衡させ、トレーニング要求をよりよく満たすことができ、モデルのトレーニング精度の提供を容易にし、遠近目標の監視に有利である。

本発明の実施例は、点群データの生成方法を提供し、レーザレーダに基づいて目標対象の実点群セットを収集し、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成し、実点群セットと擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成する。本願は、モデルのトレーニングのための目標点群セット内の遠近の点群を比較的均衡させ、トレーニング要求をよりよく満たすことができ、モデルのトレーニング精度の提供を容易にし、遠近目標の監視に有利である。

上記実施例に基づいて、擬似点群データの数が稠密であり、比較的多くの擬似点群データが融合されると、モデルのトレーニングの演算量が多くなり、モデルの精度に影響を与えるため、実点群セットと擬似点群セットを融合する前に、擬似点群セット内の第１の点群をフィルタリングする必要がある。図６は、本開示の一実施例に係る点群データの生成方法のフローチャートであり、図６に示すように、実点群セットと擬似点群セットを融合してモデルのトレーニングのための目標点群セットを生成する前に、以下のステップを含む。

Ｓ６０１において、擬似点群セット内の各第１の点群の座標情報に基づいて第１の点群と地面方程式との地面距離を取得する。

擬似点群セット内の全ての点群データに基づいて、地面方程式を計算する。いくつかの実施例において、地面方程式を取得する方法は、特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ、ＳＶＤ）方法であってもよい。地面方程式を得た後、擬似点群セット内の各点群を第１の点群とし、各第１の点群の座標情報に基づいて、各第１の点群と地面方程式との地面距離を取得する。

Ｓ６０２において、擬似点群セットから地面距離が設定された距離閾値よりも小さい第１の点群を除外する。

ここで、擬似点群セットには、地面点群データ及び地面に近い点群データが大量に存在し、これらのデータは、目標検出システムのトレーニング検出には有効ではなく、逆にシステムの計算量を増加させる。そこで、距離閾値を設定し、擬似点群セット内に存在する第１の点群と地面方程式との地面距離が設定された距離閾値よりも小さい場合、擬似点群セットから当該第１の点群を除外する。距離閾値が１０である場合、擬似点群セットの第１の点群と地面方程式との地面距離が１０未満の第１の点群を擬似点群セットから除外する。

本願の実施例は、地面点群を擬似点群セットから除外し、無効な点群データを大量に削減することにより、目標検出モデルの計算量を低減し、目標検出モデルのロバスト性と精度を高める。

図７は、本開示の一実施例に係る点群データの生成方法のフローチャートである。上記実施例に基づいて、図７に示すように、実点群セットと擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するステップは、以下のステップをさらに含む。

Ｓ７０１において、実点群セットと擬似点群セットとをスティッチングし、候補点群セットを生成する。

より正確な目標検出モデルを得るためには、実点群セットと擬似点群セットとをスティッチングし、スティッチングされた点群セットを候補点群セットとする必要がある。ここで、点群のスティッチングは、計算により完璧な座標変換を得て、異なる視角下にある点群データを回転並進などの剛性変換を経て指定された座標系の下にまとめて融合する過程と理解することができる。

実現可能な方式として、実点群セットと擬似点群セットをスティッチングするには、実点群セットと擬似点群セットの各点群の近傍の幾何特徴を抽出することにより、幾何特徴によって両者間の点対の対応関係を迅速に決定し、この関係を計算して変換行列を取得するという局所特徴記述に基づく方法を採用することができる。ここで、点群の幾何特徴には様々な種類があり、一般的なものは高速ポイント特徴量ヒストグラム（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｇｒａｍｓ、ＦＰＦＨ）である。

他の実現可能な方式として、実点群セットと擬似点群セットをスティッチングするには、既知の初期変換行列を利用して、反復最近接点アルゴリズム（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ、ＩＣＰ）などの計算によって比較的正確な解を得るという正確な位置合わせ法を採用することができる。ＩＣＰアルゴリズムは、実点群セットと擬似点群セットとの対応点距離を計算することにより回転並進行列を構築し、回転並進行列により実点群セットを変換し、変換後の点群セットの平均二乗偏差を計算する。平均二乗偏差が閾値条件を満たす場合、アルゴリズムは終了する。そうでない場合、誤差が閾値条件を満たすか、反復回数が終了するまで反復を繰り返す。

Ｓ７０２において、擬似点群セット内の各第１の点群の座標情報及び実点群セット内の各第２の点群の座標情報に基づいて、第１の点群から実点群セットまでのユークリッド距離を取得する。

レーザレーダにより収集された実点群セットの各点群を第２の点群とし、前記第２の点群の全ての座標情報に基づいて実点群セットの中心点の座標を決定することができる。擬似点群セット内の各第１の点群の座標情報と、決定された実点群セットの中心点の座標とをユークリッド距離計算して、各第１の点群から実点群セットの中心点の座標までのユークリッド距離を取得する。

Ｓ７０３において、第１の点群のユークリッド距離に基づいて、候補点群セットから点群を選択し、目標点群セットを生成する。

実点群セットと擬似点群セットをスティッチングして生成された候補点群セットは、点群データが多いため、計算量が多くなる。計算量を低減するために、各第１の点群から実点群セットの中心点の座標までのユークリッド距離に基づいて、候補点群セット内の点群データの一部を除去し、点群データの一部を除去した点群セットを目標点群セットとすることができる。いくつかの実施例において、候補点群セット内の点群データの一部を除去するにはダウンサンプリング方法を採用することができる。

本願の実施例は、実点群セットと擬似点群セットスティッチングすることにより、目標検出モデルの精度を高め、全ての点群データを用いるのではなく、候補点群セットから目標点群セットとして点群を選択し、計算量を低減する。

可能な一実現形態として、図８は、第１の点群のユークリッド距離に基づいて、候補点群セットから点群を選択して、目標点群セットを生成する例示的な概略図であり、図８に示すように、以下のステップを含む。

Ｓ８０１において、第１の点群のユークリッド距離に基づいて、第１の点群の保留確率を生成する。

自動運転の場合、計算量を低減するために、擬似的な点群セット内の各第１の点群に対して、第１の点群から実点群セットまでのユークリッド距離に基づいて保留確率を配置することができる。各第１の点群に保留確率を配置する場合、自動運転の前方目標検出において、検出結果に対する影響が比較的大きいのはシーン内の遠方の物体であることを考えて、遠方の物体に対する検出を向上させるために、実点群セットからのユークリッド距離が大きい第１の点群に対して配置する保留確率が大きく、実点群セットからのユークリッド距離が小さい第１の点群に対して配置する保留確率が小さい。例えば、実点群セットからのユークリッド距離が最大の第１の点群に対して配置する保留確率は０.９８であり、実点群セットからのユークリッド距離が最小の第１の点群に対して配置する保留確率は０.２２であり得る。

Ｓ８０２において、第２の点群の予め配置された保留確率を取得する。

計算量を低減するために、レーザレーダによって収集された実点群セット内の各第２の点群に対して保留確率を予め配置することができる。

いくつかの実施例において、実点群セット内の第２の点群は、擬似点群セット内の第１の点群よりも疎であるため、実点群セット内の第２の点群に対して、１に近いか又は１に等しい保留確率を一律に予め配置することができる。例えば、実点群セット内の第２の点群に対して０.９５の保留確率を一律に予め配置することができる。

Ｓ８０３において、候補点群セットに対してランダムダウンサンプリングを行い、目標点群セットを取得し、ここで、ランダムダウンサンプリングで使用される確率が保留確率である。

実点群セットと擬似点群セットをスティッチングして生成された候補点群セットは、点群データが多いため、計算量が多くなる。計算量を低減するために、各第１の点群及び第２点群の保留確率に基づいて候補点群セット内の点群データの一部を除去し、点群データの一部を除去した点群セットを目標点群セットとすることができる。

いくつかの実施例において、実点群セットと擬似点群セットをスティッチングして生成された候補点群セット内の点群データの一部を除去するにはランダムダウンサンプリング方法を採用することができ、ここで、ランダムダウンサンプリングによって使用される確率は保留確率である。保留確率によって候補点群セットに対してランダムダウンサンプリングを行うと、目標対象を表すことができる有効な点群を保留し、同じ場所に集まりすぎて同じ意味を表す点群をできるだけ取り除くことができ、目標点群セット内の点群の近傍及び遠方の点群データ量が適宜であり、目標対象を効果的に表すことができることになる。

本願の実施例は、各第１及び第２の点群の保留確率に基づいて候補点群セットに対してランダムダウンサンプリングを行うことにより、計算量を低減すると共に、モデルのトレーニングのための目標点群セット内の遠近の点群を比較的均衡させ、トレーニング要求をよりよく満たすことができる。

上記実施例に基づいて、図９は、本開示の一実施例に係る点群データの生成方法のフローチャートであり、図９に示すように、擬似点群セット内の各第１の点群の座標情報及び実点群セット内の各第２の点群の座標情報に基づいて、第１の点群から実点群セットまでのユークリッド距離を取得するステップは、以下のステップを含む。

Ｓ９０１において、第２の点群の座標情報を取得し、実点群セットの中心点の座標情報を取得する。

実点群セット内の各第２点群の座標情報を取得し、全ての第２点群の座標情報に基づいて実点群セットの中心点の座標情報を決定する。

いくつかの実施例において、実点群セットの中心点の座標を取得する際に、全ての第２の点群の座標情報を平均化して１つの平均座標情報を取得し、この平均座標情報を実点群セットの中心点の座標情報とすることができる。

いくつかの実施例において、実点群セットの中心点の座標を取得する際に、実点群セットの質点座標情報を計算し、この質点座標情報を実点群セットの中心点の座標情報とすることができる。

Ｓ９０２において、第１の点群の座標情報及び中心点の座標情報に基づいて、ユークリッド距離を決定する。

上記決定された実点群セットの中心点の座標情報に基づいて、擬似点群セット内の各第１の点群から当該中心点の座標までのユークリッド距離を算出する。

本願の実施例では、第１の点群の座標情報及び中心点の座標情報に基づいて、第１の点群から当該中心点の座標までのユークリッド距離を決定することは、第１の点群に対して保留確率を配置するための基礎を築き、演算を容易にし、計算量を低減する。

図１０は、本開示の一実施例に係る点群データの生成方法のフローチャートであり、図１０に示すように、当該点群データの生成方法は、以下のステップを含む。

Ｓ１００１において、レーザレーダに基づいて目標対象の実点群セットを収集し、Ｓ１００２において、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成する。

ステップＳ１００１～Ｓ１００２については、上記実施例において具体的に説明したので、ここでは詳しく説明しない。

Ｓ１００３において、擬似点群セット内の各第１の点群の座標情報に基づいて第１の点群と地面方程式との地面距離を取得し、Ｓ１００４において、擬似点群セットから地面距離が設定された距離閾値よりも小さい第１の点群を除外する。

ステップＳ１００３～Ｓ１００４については、上記実施例において具体的に説明したので、ここでは詳しく説明しない。

Ｓ１００５において、実点群セットと擬似点群セットとをスティッチングし、候補点群セットを生成し、Ｓ１００６において、第２点群の座標情報を取得し、実点群セットの中心点の座標情報を取得し、Ｓ１００７において、第１の点群の座標情報及び中心点の座標情報に基づいて、ユークリッド距離を決定し、Ｓ１００８において、第１の点群のユークリッド距離に基づいて、第１の点群の保留確率を生成し、Ｓ１００９において、第２の点群の予め配置された保留確率を取得し、Ｓ１０１０において、候補点群セットに対してランダムダウンサンプリングを行い、目標点群セットを取得し、ここで、ランダムダウンサンプリングで使用される確率が保留確率である。

ステップＳ１００５～Ｓ１０１０については、上記実施例において具体的に説明したので、ここでは詳しく説明しない。

Ｓ１０１１において、目標点群セットを利用して、構築された３Ｄ目標検出モデルをトレーニングし、トレーニングされた３Ｄ目標検出モデルを生成する。

本願の実施例は、点群データの生成方法を提供し、レーザレーダに基づいて目標対象の実点群セットを収集し、収集画像収集装置は、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成し、実点群セットと擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成する。本願は、モデルのトレーニングのための目標点群セット内の遠近の点群を比較的均衡させ、トレーニング要求をよりよく満たすことができ、モデルのトレーニング精度の提供を容易にし、遠近目標の監視に有利である。

本開示の全ての実施例は、単独で実行されてもよく、又は他の実施例と組み合わせて実行されてもよく、いずれも本開示の要求の保護範囲とみなされる。

図１１は、本開示の一実施例に係る点群データの生成装置１１００の構成図である。図１１に示すように、点群データの生成装置１１００は、レーザレーダに基づいて目標対象の実点群セットを収集するように構成される実点群セット取得モジュール１１０１と、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成するように構成される擬似点群セット取得モジュール１１０２と、実点群セットと擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するように構成される点群セット融合モジュール１１０３と、を備える。

なお、上述した点群データの生成方法の実施例の説明は、本願の点群データの生成装置にも適用できるので、ここでは詳しく説明しない。

本願の実施例は、点群データの生成装置を提供し、レーザレーダに基づいて目標対象の実点群セットを収集し、収集画像収集装置は、目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成し、実点群セットと擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成する。本願は、モデルのトレーニングのための目標点群セット内の遠近の点群を比較的均衡させ、トレーニング要求をよりよく満たすことができ、モデルのトレーニング精度の提供を容易にし、遠近目標の監視に有利である。

さらに、本開示の実施例の可能な一実現形態において、点群セット融合モジュール１１０３は、擬似点群データ内の各第１の点群の座標情報に基づいて第１の点群と地面方程式との地面距離を取得し、擬似点群セットから地面距離が設定された距離閾値よりも小さい第１の点群を除外するように構成される。

さらに、本開示の実施例の可能な一実現形態において、点群セット融合モジュール１１０３は、実点群セットと擬似点群セットとをスティッチングし、候補点群セットを生成し、擬似点群セット内の各第１の点群の座標情報及び実点群セット内の各第２の点群の座標情報に基づいて、第１の点群から実点群セットまでのユークリッド距離を取得し、第１の点群のユークリッド距離に基づいて、候補点群セットから点群を選択し、目標点群セットを生成するようにも構成される。

さらに、本開示の実施例の可能な一実現形態において、点群セット融合モジュール１１０３は、第１の点群のユークリッド距離に基づいて、第１の点群の保留確率を生成し、第２の点群の予め配置された保留確率を取得し、候補点群セットに対してランダムダウンサンプリングを行い、目標点群セットを取得するようにも構成され、ランダムダウンサンプリングで使用される確率が保留確率である。

さらに、本開示の実施例の可能な一実現形態において、点群セット融合モジュール１１０３は、第２の点群の座標情報を取得し、実点群セットの中心点の座標情報を取得し、第１の点群の座標情報及び中心点の座標情報に基づいて、ユークリッド距離を決定するようにも構成される。

さらに、本開示の実施例の可能な一実現形態において、点群データの生成装置１１００は、目標点群セットを利用して、構築された３Ｄ目標検出モデルをトレーニングし、トレーニングされた３Ｄ目標検出モデルを生成するように構成されるモデルのトレーニングモジュール１１０４をさらに備える。

本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体及びコンピュータプログラム製品をさらに提供する。

図１２は、本開示の実施例を実施するために使用できる例示的な電子機器１２００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本願の実現を制限するものではない。

図１２に示すように、機器１２００は、リードオンリーメモリ（ＲＯＭ）１２０２に記憶されているコンピュータプログラム、又は記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロッドされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる計算ユニット１２０１を備える。ＲＡＭ１２０３には、機器１２００の動作に必要な様々なプログラム及びデータが記憶されていてもよい。計算ユニット１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、バス１２０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インタフェース１２０５もバス１２０４に接続されている。

機器１２００における、キーボード、マウスなどの入力ユニット１２０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット１２０７と、磁気ディスク、光ディスクなどの記憶ユニット１２０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット１２０９と、を備える複数のコンポーネントは、入出力（Ｉ／Ｏ）インタフェース１２０５に接続されている。通信ユニット１２０９は、機器１２００がインタネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

計算ユニット１２０１は、各種の処理及び計算能力を有する汎用及び／又は専用処理コンポーネントであってもよい。計算ユニット１２０１のいくつかの例は、セントラルプロセッシングユニット（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、各種の専用人工知能（ＡＩ）計算チップ、各種の機械学習モデルアルゴリズムを運行する計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及びいずれかの適宜なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット１２０１は、上述したそれぞれの方法及び処理、例えば、点群データの生成方法を実行する。例えば、いくつかの実施例で、点群データの生成方法は、記憶ユニット１２０８のような機械読み取り可能な媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施例で、コンピュータの一部又は全部は、ＲＯＭ１２０２及び／又は通信ユニット１２０９を介して機器１２００にロッド及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ１２０３にロッドされて計算ユニット１２０１によって実行された場合、上述した点群データの生成方法の１つ又は複数のステップを実行することができる。あるいは、他の実施例で、計算ユニット１２０１は、他の任意の適切な形態で（例えば、ファーとウェアにより）点群データの生成方法を実行するように構成されてもよい。

本明細書で上述したシステム及び技術の各種の実施方式は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア及び／又はそれらの組合せにおいて実現してもよい。これらの各種の実施方式は、少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステムにおいて実行及び／又は解釈することができる１つ又は複数のコンピュータプログラムにおいて実現されてもよく、当該プログラマブルプロセッサは、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を伝送することができる専用及び／又は汎用プログラマブルプロセッサであってもよい。

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャート及び／又はブロック図に規定された機能／動作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行され、部分的に機械上で実行され、スタンドアロンパッケージとして、部分的に機械上で実行され、かつ部分的にリモート機械上で実行され、又は完全にリモート機械又はサーバ上で実行されてもよい。

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、又はデバイスによって使用されるために、又は命令実行システム、装置、又はデバイスと組み合わせて使用するためのプログラムを含むか、又は格納することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）又はフラッシュメモリ、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドユニットを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアユニットを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドユニットを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドユニットと、ミドルウェアユニットと、フロントエンドユニットの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークとを含む。

コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、且つ互いにクライアント-サーバ関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれるクラウドサーバであってもよく、従来の物理ホスト及びＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は「ＶＰＳ」と略称する）における、管理難度が大きく、ビジネスの拡張性が低いという欠点を解決するクラウドコンピューティングサービスシステムのホスト製品の１つである。

なお、以上に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。

上記の具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本開示の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

本開示の他の態様によれば、コンピュータプログラムが提供される。

上記目的を達成するために、本開示の第５の態様の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサによって実行される場合、本開示の第１の態様の実施例に記載の点群データの生成方法が実現される。

擬似点群セット内の全ての点群データに基づいて、地面方程式を計算する。地面方程式とは、方程式の形で地面を特徴づけるものである。いくつかの実施例において、地面方程式を取得する方法は、特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ、ＳＶＤ）方法であってもよい。地面方程式を得た後、擬似点群セット内の各点群を第１の点群とし、各第１の点群の座標情報に基づいて、各第１の点群と地面方程式との地面距離を取得する。地面距離とは、点群から地面に投影する距離である。

本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体及びコンピュータプログラムをさらに提供する。

Claims (15)

1. レーザレーダに基づいて目標対象の実点群セットを収集するステップと、
   前記目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成するステップと、
   前記実点群セットと前記擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するステップと、
   を含む、点群データの生成方法。
2. 前記実点群セットと前記擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するステップが、
   前記擬似点群データ内の各第１の点群の座標情報に基づいて前記第１の点群と地面方程式との地面距離を取得するステップと、
   前記擬似点群セットから前記地面距離が設定された距離閾値よりも小さい第１の点群を除外するステップと、
   を含む請求項１に記載の方法。
3. 前記実点群セットと前記擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するステップが、
   前記実点群セットと前記擬似点群セットとをスティッチングし、候補点群セットを生成するステップと、
   前記擬似点群セット内の各第１の点群の座標情報及び前記実点群セット内の各第２の点群の座標情報に基づいて、前記第１の点群から前記実点群セットまでのユークリッド距離を取得するステップと、
   前記第１の点群のユークリッド距離に基づいて、前記候補点群セットから点群を選択し、前記目標点群セットを生成するステップと、
   を含む請求項１又は２に記載の方法。
4. 前記第１の点群のユークリッド距離に基づいて、前記候補点群セットから点群を選択し、前記目標点群セットを生成するステップが、
   前記第１の点群のユークリッド距離に基づいて、前記第１の点群の保留確率を生成するステップと、
   前記第２の点群の予め配置された保留確率を取得するステップと、
   前記候補点群セットに対してランダムダウンサンプリングを行い、前記目標点群セットを取得するステップであって、前記ランダムダウンサンプリングで使用される確率が前記保留確率であるステップと、
   を含む請求項３に記載の方法。
5. 前記擬似点群セット内の各第１の点群の座標情報及び前記実点群セット内の各第２の点群の座標情報に基づいて、前記第１の点群から前記実点群セットまでのユークリッド距離を取得するステップが、
   前記第２の点群の座標情報を取得し、前記実点群セットの中心点の座標情報を取得するステップと、
   前記第１の点群の座標情報及び前記中心点の座標情報に基づいて、前記ユークリッド距離を決定するステップと、
   を含む請求項３に記載の方法。
6. モデルのトレーニングのための目標点群セットを生成するステップが、
   前記目標点群セットを利用して、構築された３Ｄ目標検出モデルをトレーニングし、トレーニングされた３Ｄ目標検出モデルを生成するステップを含む請求項１に記載の方法。
7. レーザレーダに基づいて目標対象の実点群セットを収集するように構成される実点群セット取得モジュールと、
   前記目標対象を画像収集し、収集された画像に基づいて擬似点群セットを生成するように構成される擬似点群セット取得モジュールと、
   前記実点群セットと前記擬似点群セットを融合し、モデルのトレーニングのための目標点群セットを生成するように構成される点群セット融合モジュールと、
   を備える、点群データの生成装置。
8. 前記点群セット融合モジュールが、
   前記擬似点群データ内の各第１の点群の座標情報に基づいて前記第１の点群と地面方程式との地面距離を取得し、
   前記擬似点群セットから前記地面距離が設定された距離閾値よりも小さい第１の点群を除外するように構成される請求項７に記載の装置。
9. 前記点群セット融合モジュールが、
   前記実点群セットと前記擬似点群セットとをスティッチングし、候補点群セットを生成し、
   前記擬似点群セット内の各第１の点群の座標情報及び前記実点群セット内の各第２の点群の座標情報に基づいて、前記第１の点群から前記実点群セットまでのユークリッド距離を取得し、
   前記第１の点群のユークリッド距離に基づいて、前記候補点群セットから点群を選択し、前記目標点群セットを生成するようにも構成される請求項７又は８のいずれかに記載の装置。
10. 前記点群セット融合モジュールが、
    前記第１の点群のユークリッド距離に基づいて、前記第１の点群の保留確率を生成し、
    前記第２の点群の予め配置された保留確率を取得し、
    前記候補点群セットに対してランダムダウンサンプリングを行い、前記目標点群セットを取得するようにも構成され、前記ランダムダウンサンプリングで使用される確率が前記保留確率である請求項９に記載の装置。
11. 前記点群セット融合モジュールが、
    前記第２の点群の座標情報を取得し、前記実点群セットの中心点の座標情報を取得し、
    前記第１の点群の座標情報及び前記中心点の座標情報に基づいて、前記ユークリッド距離を決定するようにも構成される請求項９に記載の装置。
12. 前記目標点群セットを利用して、構築された３Ｄ目標検出モデルをトレーニングし、トレーニングされた３Ｄ目標検出モデルを生成するように構成されるモデルのトレーニングモジュールを備える請求項７に記載の装置。
13. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が記憶され、前記指令が前記少なくとも１つのプロセッサによって実行され、前記少なくとも１つのプロセッサが請求項１から６のいずれか一項に記載の方法を実行できるようにする電子機器。
14. コンピュータ指令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ指令が、コンピュータに請求項１から６のいずれか一項に記載の方法を実行させるために使用される非一時的なコンピュータ読み取り可能な記憶媒体。
15. コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項１から６のいずれか一項に記載のステップが実現されるコンピュータプログラム製品。

Images