JP2024504219A - 仮想環境においてリアルタイムライダーデータを生成する装置及びその制御方法 - Google Patents

仮想環境においてリアルタイムライダーデータを生成する装置及びその制御方法 Download PDF

Info

Publication number
JP2024504219A
JP2024504219A JP2022567534A JP2022567534A JP2024504219A JP 2024504219 A JP2024504219 A JP 2024504219A JP 2022567534 A JP2022567534 A JP 2022567534A JP 2022567534 A JP2022567534 A JP 2022567534A JP 2024504219 A JP2024504219 A JP 2024504219A
Authority
JP
Japan
Prior art keywords
virtual
lidar data
laser
data generation
generation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022567534A
Other languages
English (en)
Inventor
ジュン、ジウォン
ホン、ジュン
リ、スグワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MORAI
Original Assignee
MORAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210162520A external-priority patent/KR20230075882A/ko
Application filed by MORAI filed Critical MORAI
Publication of JP2024504219A publication Critical patent/JP2024504219A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】自動運転車両の走行をテストするための仮想環境を提供する技術に関するものである。【解決手段】本発明は、仮想環境上において仮想のライダーデータを生成する装置において、実際環境において走行する移動手段に設置され、ライダーデータを収集するライダーデータ収集部と、前記収集されたライダーデータを保存するためのデータベースと、仮想環境を構築するための仮想環境構築エンジンと、前記構築された仮想環境上において仮想の移動手段の移動に対応する仮想のライダーデータを生成するライダーデータ生成部と、を含む、仮想のライダーデータ生成装置を提供する。【選択図】図１

Description

本発明は、仮想のライダーデータを生成する装置及びその制御方法に関し、より具体的には、仮想環境において走行する仮想の移動手段の移動に応じて、仮想のライダーデータを生成するための装置及びその制御方法に関する。
一般に、自動運転システムは、道路マップ情報、ＧＰＳ位置情報及び各種センサから取得した信号を用いて、道路上の開始点から終了点まで車両の走行を自動に制御しながら移動させることができる。
こうした自動運転システムは、様々な突発状況に対応するために、走行中に周辺事物をリアルタイムで測定して、変数が発生する場合、変数に適するように車両の制御を調整する。すなわち、危険要素を回避するための別途の制御変更が行われる。
このために、自動運転システムは、認知、判断及び制御のステップによって車両に対する自動運転を遂行し、認知のステップでは、車両に搭載されたレーダー（Radar）、ライダー（Lidar）及びカメラ（Camera）などのセンサを用いて、道路上に存在する他の車両、歩行者及び障害物などの走行環境を認識するように構成される。判断のステップでは、認知のステップで測定されたデータ及び地図情報に基づいて走行状況を推論するように構成され、制御のステップでは、判断のステップで演算及び推論された値に基づいて車両の構成要素に対する制御信号を生成して、実際の操作が行われるようにする。
このとき、自動運転車両は、より多くの情報を細密に認知及び判断して、より適した制御が行われるように開発されている。このために、従来には、多くの変数間で正確な判断が導出されるように、各ステップのアルゴリズムが進歩する方に開発が行われている。
車両に各種の走行装置及びアルゴリズムが搭載されたシステムを装着して開発されたアルゴリズムをテストしてみることもできるが、大部分の車両に搭載される装備等が高価であり、実際の道路でテストするのに空間的な制約の問題が存在する。
したがって、仮想環境において自動運転車両を精密にテストできるシステムに対する開発が要求されている実情である。
本発明が解決しようとする課題は、仮想環境において仮想の自動運転車両が走行しても、実際の走行に近接したテスト環境を提供するものである。
本発明が解決しようとする他の課題は、実際環境において走行しながら獲得したライダーデータを加工して、仮想環境において仮想のライダーデータを生成できるテスト環境を提供するものである。
本発明が解決しようとする技術的課題等は、以上で言及した技術的課題等に制限されず、言及されない他の技術的課題等は、次の記載から本発明が属する技術分野における通常の知識を有する者に明確に理解されるべきである。
前述した課題又は他の課題を解決するために、本発明の一側面によれば、仮想環境上において仮想のライダーデータを生成する装置において、実際環境において走行する移動手段に設置され、ライダーデータを収集するライダーデータ収集部と、前記収集されたライダーデータを保存するためのデータベースと、仮想環境を構築するための仮想環境構築エンジンと、前記構築された仮想環境上において仮想の移動手段の移動に対応する仮想のライダーデータを生成するライダーデータ生成部と、を含む、仮想のライダーデータ生成装置を提供する。
前記ライダーデータ収集部は、レーザー発光部及びレーザー受光部を含み、前記収集されたライダーデータは、前記レーザー発光部により発光されたレーザーが物体から反射されるレーザーの強度情報を含むことができる。
前記強度情報は、前記レーザーが反射される地点の座標情報に対応して保存されることができる。
前記収集されたライダーデータに基づいてポイントクラウドマップを製作するポイントクラウドマップ製作部をさらに含むことができる。
前記ポイントクラウドマップは、前記収集されたライダーデータが前記構築された仮想環境上の座標と対応して保存されたデータであり得る。
前記ポイントクラウドマップを３次元メッシュマップに変換するメッシュ変換部をさらに含むことができる。
前記ライダーデータ生成部は、前記変換された３次元メッシュマップの所定のメッシュに仮想のレーザーを照射し、前記照射された仮想のレーザーにより反射されるレーザーの仮想の強度を算出して、前記仮想のライダーデータを生成することができる。
前記仮想の強度は、前記所定のメッシュを構成する複数個の座標の強度情報に基づいて算出されることができる。
前記仮想の強度は、前記複数個の座標に対する強度情報の平均により算出されることができる。
前述した課題及び他の課題を解決するために、本発明の他の側面によれば、仮想環境上において仮想のライダーデータを生成する装置の制御方法において、ライダーデータ収集部が実際環境において走行する移動手段に設置され、ライダーデータを収集するステップと、データベースが前記収集されたライダーデータを保存するステップと、仮想環境構築エンジンが仮想環境を構築するステップと、ライダーデータ生成部が前記構築された仮想環境上において仮想の移動手段の移動に対応する仮想のライダーデータを生成するステップと、を含む、仮想のライダーデータ生成装置の制御方法を提供する。
前記ライダーデータ収集部は、レーザー発光部及びレーザー受光部を含み、前記収集されたライダーデータは、前記レーザー発光部により発光されたレーザーが物体から反射されるレーザーの強度情報を含むことができる。
前記強度情報は、前記レーザーが反射される地点の座標情報に対応して保存されることができる。
ポイントクラウドマップ製作部が前記収集されたライダーデータに基づいてポイントクラウドマップを製作するステップをさらに含むことができる。
前記ポイントクラウドマップは、前記収集されたライダーデータが前記構築された仮想環境上の座標と対応して保存されたデータであり得る。
メッシュ変換部が前記ポイントクラウドマップを３次元メッシュマップに変換するステップをさらに含むことができる。
前記仮想のライダーデータを生成するステップは、前記ライダーデータ生成部が前記変換された３次元メッシュマップの所定のメッシュに仮想のレーザーを照射し、前記照射された仮想のレーザーにより反射されるレーザーの仮想の強度を算出して、前記仮想のライダーデータを生成することができる。
前記仮想の強度は、前記所定のメッシュを構成する複数個の座標の強度情報に基づいて算出されることができる。
前記仮想の強度は、前記複数個の座標に対する強度情報の平均により算出されることができる。
本発明に係る仮想のライダーデータ生成装置及びその制御方法の効果について説明すれば、次の通りである。
本発明の実施例の少なくとも一つによれば、仮想環境において実際の走行に近接したテスト環境を提供できるというメリットがある。
また、本発明の実施例の少なくとも一つによれば、仮想環境において自動運転車両をテストするための仮想のライダーデータを生成できるというメリットがある。
本発明の適用可能性の追加的な範囲は、以下の詳細な説明から明白になる。しかしながら、本発明の思想及び範囲内における様々な変更及び修正は、当業者が明確に理解できるので、詳細な説明及び本発明の好適な実施例のような特定の実施例は、例示だけのためのものであると理解されるべきである。
本発明の一実施例に係るライダーデータ生成装置１００の概念図を示す。 本発明の一実施例に係るポイントの次元を示す図である。 本発明の一実施例に係る仮想のライダーデータ生成装置１００の制御方法を示すフローチャートである。 本発明の一実施例に係る３次元メッシュマップ変換の概念図を示す。 本発明の一実施例に係るポイントクラウドマップを３次元メッシュマップに変換した例を示す図である。 本発明の一実施例に係るメッシュの強度値を決定する概念図を示す。 本発明の一実施例に係る生成されるライダーデータに基づいて取得された強度値を適用した画面である。 本発明の一実施例に係る生成されるライダーデータを図式化した図である。
以下、添付図面に基づいて本明細書に開示された実施例を詳細に説明するが、図面符号に無関係に同一又は類似の構成要素は、同じ参照符号を付与し、これに関する重複説明は省略する。以下の説明で使用される構成要素に対する接尾辞の「モジュール」及び「部」は、明細書作成の容易さだけを考慮して付与又は混用されるもので、その自体が互いに区別される意味又は役割を有するものではない。また、本明細書に開示された実施例の説明において、関連した公知技術に関する具体的な説明が、本明細書に開示された実施例の要旨を不明瞭にすると判断される場合、その詳細な説明を省略する。また、添付図面は、本明細書に開示された実施例を容易に理解し得るようにするためのもので、添付図面により本明細書に開示された技術的思想が制限されず、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解されるべきである。
第１、第２などのような序数を含む用語は、様々な構成要素を説明するのに使用し得るが、前記構成要素等は前記用語等により限定されるものではない。前記用語等は、一つの構成要素を他の構成要素から区別する目的だけに使用される。
ある構成要素が他の構成要素に「連結されて」いたり「接続されて」いたりすると言及された場合には、その他の構成要素に直接的に連結されていたり、接続されていたりすることもできるが、中間に他の構成要素が存在することもできると理解されるべきである。反面、ある構成要素が他の構成要素に「直接的に連結されて」いたり、「直接的に接続されて」いたりすると言及された場合には、中間に他の構成要素が存在しないと理解されるべきである。
単数の表現は、文脈上において明白に特定しない限り、複数の表現を含む。
本出願において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらの組合せが存在することを指定するためのもので、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はこれらの組合せの存在又は付加可能性を予め排除しないと理解されるべきである。
ライダーデータ（LiDAR data）は、大きく距離値（Distance）及び強度値（Intensity）を含む。このとき、距離値は、ライダーの中心から照射されるレーザーが最初に当たる物体の表面までの距離であり、強度値（反射度値）は、レーザー（Laser）が物体の表面から反射されてライダーの受光部に戻ってくるレーザーの強度を意味する。
このとき、強度値は、基本的に反射地点の表面の色及び材質によって決定されることもあり、ライダーの発光部から照射されるレーザーの強度も製造社別に異なる。
しかしながら、共通的に、強度値は、反射地点が明るい色であるほど高くて、暗い色であるほど低い。また、反射地点の表面が平滑であるほどよく反射されるため、強度値が高くて、粗い表面であるほど低い。
例えば、塗料が塗布されているため、相対的に平滑な表面を有し、相対的に明るい道路の車線部分に対しては強度値が相対的に高くて、表面が多少粗くて暗い色のアスファルト部分に対しては強度値が低くて暗い傾向を示す。
このように、多様な環境変数に影響を受けるライダーデータは、仮想で生成しにくいことがある。すなわち、多様な環境変数を全部反映するには、多くの演算量を必要とし、リアルタイムで仮想のライダーデータを生成するのに適していない。
したがって、本発明では、実際環境において移動手段により獲得したライダーデータを効果的に加工して、自動運転シミュレーションのための仮想環境において仮想のライダーデータとして提供できる方法を提案する。
図１は、本発明の一実施例に係るライダーデータ生成装置１００の概念図を示す。
本発明の一実施例に係るライダーデータ生成装置１００は、ライダーデータ収集部１０１、仮想環境構築エンジン１０２、データベース１０３、ライダーデータ生成部１０４、センサデータ生成部１０５、ポイントクラウドマップ製作部１０６及びメッシュマップ変換部１０７の少なくとも一つを含むように構成される。
図１に示す構成要素等は、ライダーデータ生成装置１００の具現化において必須なものではないため、本明細書上で説明するライダーデータ生成装置１００は、前述した構成要素等よりも多かったり、少なかったりする構成要素を有することができる。
ライダーデータ収集部１０１は、実際環境において走行する移動手段１９０に設置され、ライダーデータを収集する構成である。ライダーデータ収集部１０１は、別途のストレージを備え、収集されたライダーデータを保存できる。又は、有無線通信部を備え、収集されたデータを有無線通信によりデータベース１０３に提供できる。
ライダーデータ収集部１０１は、実際の自動運転車両に設置されるライダー装置と同様であり得る。すなわち、本発明の一実施例では、一般のライダー装置により収集されるライダーデータを用いて、仮想環境において使用しようとするものである。
データベース１０３は、前記収集されたライダーデータを保存する構成である。以下で説明するライダーデータは、仮想環境において使用するために加工できるが、データベース１０３は加工の前／後のライダーデータを全部保存できる。
データベース１０３は、仮想環境を構築するための少なくとも一つの環境情報をさらに保存できる。本発明の一実施例に係る環境情報とは、シミュレーション対象道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺標識板情報、イベント情報、道路情報、周辺車両情報、周辺歩行者情報、周辺障害物情報、周辺信号灯情報、周辺標識板情報、イベント情報の少なくとも一つを含むことができる。
仮想環境構築エンジン１０２は、自動運転シミュレーションのための仮想環境を構築する。
仮想環境構築エンジン１０２は、物理エンジン基盤のシミュレータを内蔵することで、自動運転車両に対するアルゴリズムの検証が可能である。そして、構築された仮想環境上には、地形地物、道路形態、歩行者、自動運転車両及び天気などのデータを具現化でき、落石や交通事故などのイベント情報データも発生し得るように提供できる。
また、仮想環境上には、多数の他の車両データを具現化でき、一部の他の車両は入力された走行アルゴリズムに従い、周辺環境によって走行経路が変更されるように提供できる。また、他の一部の車両は、既定の走行経路によって走行アルゴリズムを検証するように構成することもできる。
仮想環境構築エンジン１０２は、シミュレータと連結された出力装置をさらに含むことができ、出力装置には、前述したデータ等を可視化してユーザが映像で確認するように提供できる。
ライダーデータ生成部１０４は、前記構築された仮想環境上において仮想の移動手段の移動に対応する仮想のライダーデータを生成する。すなわち、まるで実際環境において自動運転車両が移動するような場合と近接した仮想のライダーデータを生成する。
センサデータ生成部１０５は、前記構築された仮想環境上において仮想の移動手段に具備される仮想のセンサによる仮想のセンサデータを生成する。センサ部は、仮想環境においてコピーした自動運転車両のライダー、レーダー、ＧＰＳ、カメラの少なくとも一つを含むことができる。
ポイントクラウドマップ製作部１０６は、収集されたライダーデータに基づいてポイントクラウドマップを生成する。ポイントクラウドマップとは、前記収集されたライダーデータが前記構築された仮想環境上の座標と対応して保存されたデータのことである。
メッシュマップ変換部１０７は、ポイントクラウドマップを３次元メッシュマップに変換する。ポイントクラウドマップを構成する複数個のポイントを連結して、複数個のメッシュからなる３次元メッシュマップを形成する。
ポイントクラウドマップ製作部１０６は、収集されたライダーデータに基づいて、物体にレーザーを照射して戻ってくる時間を記録し、反射地点までの距離を計算して、反射地点に対するポイント（点）を生成する。生成されたポイントは、３次元空間上において３次元座標からなる座標（位置）情報で構成される。このように生成されたポイントの集合を仮想環境の３次元空間上に配置したことが、ポイントクラウドマップである。
本発明の一実施例に係るポイントクラウドマップを構成する各ポイントは、単純に座標情報だけを含むものではなく、当該座標での強度値をさらに含むように提案する。
図２は、本発明の一実施例に係るポイントの次元を示す図である。
図２の（ａ）は既存のポイントの座標情報を示し、図２の（ｂ）は本発明の一実施例により追加された強度値情報を含むポイントの情報を示す。
既存のポイントは３次元座標情報だけを含んだが、本発明の一実施例では、強度値に関する情報を追加して、各ポイントが４次元座標情報を有するように提案するものである。
以下、図３を参照して、本発明の一実施例に係る仮想のライダーデータ生成装置１００の制御方法を説明する。
図３は、本発明の一実施例に係る仮想のライダーデータ生成装置１００の制御方法を示すフローチャートである。
Ｓ３０１ステップにおいて、ライダーデータ収集部１０１は、実際環境において走行しながらライダーデータを収集する。ライダーデータを収集するとき、ＧＰＳ位置情報を共に収集できることは自明である。
ライダーデータ収集部１０１は、レーザー発光部及びレーザー受光部を含み、収集されたライダーデータは、レーザー発光部により発光されたレーザーが物体から反射されるレーザーの強度情報を含むことができる。
Ｓ３０２ステップにおいて、ポイントクラウドマップ製作部１０６は、収集されたライダーデータに基づいてポイントクラウドマップを製作できる。
Ｓ３０３ステップにおいて、メッシュマップ変換部１０７は、ポイントクラウドマップを３次元メッシュマップに変換させる。
図４は、本発明の一実施例に係る３次元メッシュマップ変換の概念図を示す。
図４の（ａ）に示すように、ポイントクラウドマップを構成する複数個のポイントが示されている。そして、前述したように、各ポイントは、３次元座標情報と共に強度値を含む総４次元の情報を保存する。メッシュマップ変換部１０７は、図４の（ｂ）に示すように、隣接したポイント３つを一つの平面とする三角形メッシュ４０２－１～４０２－５を繰り返して生成する方式により３次元メッシュマップを生成できる。
図５は、本発明の一実施例に係るポイントクラウドマップを３次元メッシュマップに変換した例を示す図である。
図に示すように、ポイントクラウドマップをなすポイント等は、互いに共有する三角形メッシュ等の組合せにより３次元メッシュマップを形成している。
再度、図３に戻ると、Ｓ３０４ステップにおいて、仮想環境構築エンジン１０２は、自動運転シミュレーションを遂行するための仮想環境を構築する。続いて、Ｓ３０５ステップにおいて、仮想環境構築エンジン１０２は、構築された仮想環境上において自動運転車両に対する仮想の走行を遂行する。
Ｓ３０４ステップにおいて構築された仮想環境は、図５に示す３次元メッシュマップがマッピングされているものである。
そして、Ｓ３０６ステップにおいて、ライダーデータ生成部１０４は、仮想環境上において走行する自動運転車両の走行により発生する仮想のライダーデータを生成する。このように生成される仮想のライダーデータは、車両に対するアルゴリズムの検証やテストを行うのに使用（Ｓ３０７）されるものである。
このために、ライダーデータ生成部１０４は、仮想環境において仮想のレーザーを３次元メッシュマップに照射する。そして、照射された仮想のレーザーが所定のメッシュから反射されると、当該メッシュの強度値を読み取り、反射されるレーザーの強度であると仮定してライダーデータを生成する。
すなわち、仮想環境において反射地点の表面性質や色を考慮しなくて、メッシュの強度値を直ぐに反射されたレーザーの強度として設定して、ライダーデータを生成するものである。
以下、図６を参照してメッシュの強度値を決定する方法を説明する。
図６は、本発明の一実施例に係るメッシュの強度値を決定する概念図を示す。
前述したように、メッシュ４０２とは、三つのポイント４０１－１～４０１－３を一つの平面とする三角形を意味する。三角形をなす各頂点に三つのポイントが位置することになる。
第１乃至第３のポイント４０１－１～４０１－３の各々は４次元情報を含む。４次元情報とは、前述したように、３次元位置情報（ｘ、ｙ、ｚ）と共に強度値（ｉ）を含む情報である。
本発明の一実施例に係るメッシュ４０２の強度値は、メッシュを構成する第１乃至第３のポイント４０１－１～４０１－３の強度値（ｉ１～ｉ３）に基づいて算出するように提案する。
本発明の一実施例に係るメッシュマップ変換部１０７は、ポイントクラウドマップを３次元メッシュマップに変換する際、第１乃至第３のポイント４０１－１～４０１－３の強度値（ｉ１～ｉ３）の平均をメッシュ４０２の強度値（imesh）として設定できる。これを数式に表すと、次の数１の式のように表現できる。
しかしながら、本発明は、上記数１の方法に限定されず、第１乃至第３のポイント４０１－１～４０１－３の少なくとも一つを利用する方法を全部含むこともできる。例えば、第１乃至第３のポイント４０１－１～４０１－３の強度値（ｉ１～ｉ３）に最大値や最小値を使用したり、算術平均でない幾何平均を利用したりすることもできる。
すなわち、メッシュマップ変換部１０７により変換されたメッシュの各々は、自分の強度値が設定されている。ライダーデータ生成部１０４は、仮想環境において仮想のレーザーを３次元メッシュマップに照射し、反射される仮想レーザーの強度を、反射される地点のメッシュに設定された強度値としてライダーデータを生成できる。
図７は、本発明の一実施例に係る生成されるライダーデータに基づいて取得された強度値を適用した画面である。図８は、本発明の一実施例に係る生成されるライダーデータを図式化した図である。
図７及び図８に示す画面を参照すれば、横断歩道をなす塗料による反射レーザーの強度値や標識板による反射レーザーの強度値が、全部効果的に反映されたことを確認できる。
以上で本発明に係る仮想のライダーデータ生成装置及びその制御方法の実施例を記述したが、これは少なくとも一つの実施例として説明されるものであり、これにより本発明の技術的思想及びその構成や作用が制限されるものではない。本発明の技術的思想の範囲が図面又は図面を参照した説明により限定／制限されるものではない。また、本発明で提示された発明の概念及び実施例が、本発明の同じ目的を遂行するために、他の構造に修正又は設計するための基礎として本発明が属する技術分野における通常の知識を有する者により使用され得るものであるが、本発明が属する技術分野における通常の知識を有する者による修正又は変更された等価構造は、請求範囲で記述される本発明の技術的範囲に拘束されるもので、請求範囲で記述した発明の思想や範囲から逸脱しない限度内において多様な変化、置換及び変更が可能である。

Claims (18)

  1. 仮想環境上において仮想のライダーデータを生成する装置において、
    実際環境において走行する移動手段に設置され、ライダーデータを収集するライダーデータ収集部と、
    前記収集されたライダーデータを保存するためのデータベースと、
    仮想環境を構築するための仮想環境構築エンジンと、
    前記構築された仮想環境上において仮想の移動手段の移動に対応する仮想のライダーデータを生成するライダーデータ生成部と、を含む、仮想のライダーデータ生成装置。
  2. 前記ライダーデータ収集部は、レーザー発光部及びレーザー受光部を含み、
    前記収集されたライダーデータは、前記レーザー発光部により発光されたレーザーが物体から反射されるレーザーの強度情報を含む、請求項１に記載の仮想のライダーデータ生成装置。
  3. 前記強度情報は、前記レーザーが反射される地点の座標情報に対応して保存される、請求項２に記載の仮想のライダーデータ生成装置。
  4. 前記収集されたライダーデータに基づいてポイントクラウドマップを製作するポイントクラウドマップ製作部をさらに含む、請求項３に記載の仮想のライダーデータ生成装置。
  5. 前記ポイントクラウドマップは、前記収集されたライダーデータが前記構築された仮想環境上の座標と対応して保存されるデータである、請求項４に記載の仮想のライダーデータ生成装置。
  6. 前記ポイントクラウドマップを３次元メッシュマップに変換するメッシュ変換部をさらに含む、請求項５に記載の仮想のライダーデータ生成装置。
  7. 前記ライダーデータ生成部は、前記変換された３次元メッシュマップの所定のメッシュに仮想のレーザーを照射し、前記照射された仮想のレーザーにより反射されるレーザーの仮想の強度を算出して、前記仮想のライダーデータを生成する、請求項６に記載の仮想のライダーデータ生成装置。
  8. 前記仮想の強度は、前記所定のメッシュを構成する複数個の座標の強度情報に基づいて算出される、請求項７に記載の仮想のライダーデータ生成装置。
  9. 前記仮想の強度は、前記複数個の座標に対する強度情報の平均により算出される、請求項８に記載の仮想のライダーデータ生成装置。
  10. 仮想環境上において仮想のライダーデータを生成する装置の制御方法において、
    ライダーデータ収集部が実際環境において走行する移動手段に設置され、ライダーデータを収集するステップと、
    データベースが前記収集されたライダーデータを保存するステップと、
    仮想環境構築エンジンが仮想環境を構築するステップと、
    ライダーデータ生成部が前記構築された仮想環境上において仮想の移動手段の移動に対応する仮想のライダーデータを生成するステップと、を含む、仮想のライダーデータ生成装置の制御方法。
  11. 前記ライダーデータ収集部は、レーザー発光部及びレーザー受光部を含み、
    前記収集されたライダーデータは、前記レーザー発光部により発光されたレーザーが物体から反射されるレーザーの強度情報を含む、請求項１０に記載の仮想のライダーデータ生成装置の制御方法。
  12. 前記強度情報は、前記レーザーが反射される地点の座標情報に対応して保存される、請求項１１に記載の仮想のライダーデータ生成装置の制御方法。
  13. ポイントクラウドマップ製作部が前記収集されたライダーデータに基づいてポイントクラウドマップを製作するステップをさらに含む、請求項１２に記載の仮想のライダーデータ生成装置の制御方法。
  14. 前記ポイントクラウドマップは、前記収集されたライダーデータが前記構築された仮想環境上の座標と対応して保存されるデータである、請求項１３に記載の仮想のライダーデータ生成装置の制御方法。
  15. メッシュ変換部が前記ポイントクラウドマップを３次元メッシュマップに変換するステップをさらに含む、請求項１４に記載の仮想のライダーデータ生成装置の制御方法。
  16. 前記仮想のライダーデータを生成するステップは、前記ライダーデータ生成部が前記変換された３次元メッシュマップの所定のメッシュに仮想のレーザーを照射し、前記照射された仮想のレーザーにより反射されるレーザーの仮想の強度を算出して、前記仮想のライダーデータを生成する、請求項１５に記載の仮想のライダーデータ生成装置の制御方法。
  17. 前記仮想の強度は、前記所定のメッシュを構成する複数個の座標の強度情報に基づいて算出される、請求項１６に記載の仮想のライダーデータ生成装置の制御方法。
  18. 前記仮想の強度は、前記複数個の座標に対する強度情報の平均により算出される、請求項１７に記載の仮想のライダーデータ生成装置の制御方法。
JP2022567534A 2021-11-23 2022-04-08 仮想環境においてリアルタイムライダーデータを生成する装置及びその制御方法 Pending JP2024504219A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210162520A KR20230075882A (ko) 2021-11-23 2021-11-23 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법
KR10-2021-0162520 2021-11-23
PCT/KR2022/005161 WO2023096037A1 (ko) 2021-11-23 2022-04-08 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법

Publications (1)

Publication Number Publication Date
JP2024504219A true JP2024504219A (ja) 2024-01-31

Family

ID=86384628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022567534A Pending JP2024504219A (ja) 2021-11-23 2022-04-08 仮想環境においてリアルタイムライダーデータを生成する装置及びその制御方法

Country Status (3)

Country Link
US (1) US20230161044A1 (ja)
EP (1) EP4209807A4 (ja)
JP (1) JP2024504219A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230204738A1 (en) * 2021-12-27 2023-06-29 Gm Cruise Holdings Llc Emulation of a lidar sensor using historical data collected by a lidar having different intrinsic attributes

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3134819A1 (en) * 2019-03-23 2020-10-01 Uatc, Llc Systems and methods for generating synthetic sensor data via machine learning

Also Published As

Publication number Publication date
US20230161044A1 (en) 2023-05-25
EP4209807A4 (en) 2023-08-30
EP4209807A1 (en) 2023-07-12

Similar Documents

Publication Publication Date Title
US11521009B2 (en) Automatically generating training data for a lidar using simulated vehicles in virtual space
US12020476B2 (en) Data synthesis for autonomous control systems
JP6987095B2 (ja) 複数の情報源を用いる建設区域検出のための方法、非一時的コンピュータ可読媒体及び制御システム
US10850722B2 (en) Planning for unknown objects by an autonomous vehicle
US11656620B2 (en) Generating environmental parameters based on sensor data using machine learning
US10234864B2 (en) Planning for unknown objects by an autonomous vehicle
CN105324287B (zh) 使用车载传感器检测天气条件的方法和***
CN105009175B (zh) 基于传感器盲点和局限性来修改自主车辆的行为
JP5857364B2 (ja) 車両横方向レーン位置決め制御
JP2020126065A (ja) Ｌｉｄａｒシステム及び方法
JP2021534484A (ja) 手続き的な世界の生成
CN108693876A (zh) 目标跟踪
US10852721B1 (en) Autonomous vehicle hybrid simulation testing
US11042758B2 (en) Vehicle image generation
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN110987464A (zh) 一种用于车辆在环测试的传感器测试环境舱及测试方法
CN109307869A (zh) 用于增加激光雷达探测器的视场的设备和照明装置
CN109387857A (zh) 激光雷达***中的跨网段检测方法和设备
US11801865B2 (en) Object tracking by generating velocity grids
CN110271487A (zh) 具有增强现实的车辆显示器
CN113924459A (zh) 用于车辆导航的动态传感器范围检测
JP2024504219A (ja) 仮想環境においてリアルタイムライダーデータを生成する装置及びその制御方法
CN114291011A (zh) 车辆神经网络
JP2015194962A (ja) 運転支援システム、運転支援方法、及び運転支援プログラム
CN111458723A (zh) 对象检测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240717