JP2023174728A - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP2023174728A JP2023174728A JP2023171440A JP2023171440A JP2023174728A JP 2023174728 A JP2023174728 A JP 2023174728A JP 2023171440 A JP2023171440 A JP 2023171440A JP 2023171440 A JP2023171440 A JP 2023171440A JP 2023174728 A JP2023174728 A JP 2023174728A
- Authority
- JP
- Japan
- Prior art keywords
- information
- cloud data
- point cloud
- shadow
- constituent points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 52
- 239000000470 constituent Substances 0.000 claims abstract description 110
- 238000003384 imaging method Methods 0.000 claims description 84
- 238000003672 processing method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 description 23
- 239000000284 extract Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Instructional Devices (AREA)
Abstract
【課題】活用しやすい点群データを生成することができる情報処理装置を提供する。【解決手段】影に対応する構成点に付与されたフラグ情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データにおいて、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、総合点群データを活用しやすくすることができる。【選択図】図1
Description
本発明は、情報処理装置に関する。
従来、移動体において自己位置推定と環境地図作成を同時に実行する方法(SLAM;Simultaneous Localization and Mapping)が知られている。このようなSLAMの一種
として、レーザ装置に代えてビデオカメラを用いる方法(VSLAM;Visual SLAM)が
提案されている(例えば、特許文献1参照)。特許文献1に記載されたようなVSLAMでは、ビデオカメラを用いることによりコスト低減を図っている。
として、レーザ装置に代えてビデオカメラを用いる方法(VSLAM;Visual SLAM)が
提案されている(例えば、特許文献1参照)。特許文献1に記載されたようなVSLAMでは、ビデオカメラを用いることによりコスト低減を図っている。
特許文献1に記載されたようなVSLAMにおいては、ビデオカメラによって撮像された各画像(フレーム)において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このように作成された環境地図に含まれる点群データは、自己位置推定等に活用されることがある。
点群データを構成する複数の構成点には、例えば日時や天候によって変化する構成点が含まれている場合がある。このような場合、点群データの生成タイミングと自己位置推定のタイミングとが異なるため、点群データを構成する構成点と、自己位置推定時に検出される地物と、に齟齬が生じてしまい、点群データを活用しにくくなってしまう。
したがって、本発明の課題は、活用しやすい点群データを生成することができる情報処理装置を提供することが一例として挙げられる。
前述した課題を解決し目的を達成するために、請求項1に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて点群データを生成する生成部と、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備え、前記生成部は、前記抽出部が抽出した構成点に所定の情報を付与することを特徴としている。
請求項4に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報において影に対応する特徴点を抽出する抽出部と、前記撮像情報に基づいて点群データを生成する生成部と、を備え、前記生成部は、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴としている。
請求項8に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、前記撮像情報に基づいて点群データを生成する生成工程と、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含み、前記生成工程においては、前記抽出部が抽出した構成点に所定の情報を付与することを特徴としている。
請求項9に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、前記撮像情報において影に対応する特徴点を抽出する抽出工程と、前記撮像情報に基づいて点群データを生成する生成工程と、を含み、前記生成工程において、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴としている。
以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像情報に基づいて点群データを生成する生成部と、点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備える。生成部は、抽出部が抽出した構成点に所定の情報を付与する。
このような本実施形態の情報処理装置によれば、影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。
尚、構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。また、情報処理装置によって生成された点群データは、そのまま活用されてもよいし、他の点群データと統合されてから活用されてもよい。また、撮像情報取得部と生成部と抽出部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する構成点を抽出すればよい。地物のうち鉛直方向に沿って延びる縁部が影を形成する方向は、太陽高度情報と太陽方位情報と撮像方位情報とに基づいて推定することができる。
抽出部は、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。例えば、フラクタル次元を概算することにより、植生の葉によって形成される影を特定してもよい。
本発明の他の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像情報において影に対応する特徴点を抽出する抽出部と、撮像情報に基づいて点群データを生成する生成部と、を備える。生成部は、抽出部が抽出した特徴点を除去して点群データを生成する。
このような本実施形態の情報処理装置によれば、影に対応する特徴点を除去して点群データを生成することで、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。尚、特徴点を抽出するタイミング及び除去するタイミングは任意であり、撮像情報に含まれる各フレームにおいて特徴点を
抽出するとともに除去してもよいし、複数のフレームに基づいてVSLAMによって点群データを生成する際に特徴点を抽出するとともに除去してもよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。
抽出するとともに除去してもよいし、複数のフレームに基づいてVSLAMによって点群データを生成する際に特徴点を抽出するとともに除去してもよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。
抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する特徴点を抽出すればよい。地物のうち鉛直方向に沿って延びる縁部が影を形成する方向は、太陽高度情報と太陽方位情報と撮像方位情報とに基づいて推定することができる。
してもよい。
してもよい。
抽出部は、複数の特徴点によって表される形状の複雑度に基づき影に対応する特徴点を抽出してもよい。例えば、フラクタル次元を概算することにより、植生の葉によって形成される影を特定してもよい。
前記いずれの実施形態の情報処理装置においても、点群データを出力する出力部をさらに備えることが好ましい。これにより、出力先において点群データを活用することができる。
本発明の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像情報に基づいて点群データを生成する生成工程と、点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含む。生成工程において、抽出部が抽出した構成点に所定の情報を付与する。このような情報処理方法によれば、影に対応する構成点に所定の情報を付与することで、点群データを活用しやすくすることができる。
本発明の他の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像情報において影に対応する特徴点を抽出する抽出工程と、撮像情報に基づいて点群データを生成する生成工程と、を含む。生成工程において、抽出部が抽出した特徴点を除去して点群データを生成する。このような情報処理方法によれば、影に対応する特徴点を除去して点群データを生成することで、点群データを活用しやすくすることができる。
また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、活用しやすい点群データを生成することができる。
また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
以下、本発明の実施例について具体的に説明する。本実施例の情報処理ユニット1は、図1に示すように、移動体10に搭載されたVSLAM装置である第1の情報処理装置1Aと、外部サーバ100に搭載された第2の情報処理装置1Bと、によって構成されている。第1の情報処理装置1Aは、情報取得部2と、生成部3と、出力部4と、を備える。移動体10は例えば車両であって、撮像部20と、地図情報記憶部30と、自己位置推定部40と、走行情報センサ50と、日時情報管理部60と、が搭載されている。
第2の情報処理装置1Bは、収集部11と、生成部12と、を備える。外部サーバ100には、通信部101と、記憶部本体102と、が搭載されている。尚、外部サーバ100は複数の第1の情報処理装置1Aと通信するように構成されている。
撮像部20は、例えばビデオカメラであって、移動体10の進行方向前方側を撮像するように配置されている。撮像部20が撮像した動画は、複数の撮像情報(フレーム)によって構成されており、情報取得部2に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。
地図情報記憶部30は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報記憶部30に記憶された地図情報は、少なくとも地物についての情報を含んでいればよい。尚、地物についての情報とは、地物の位置や大きさについての数値だけでなく、地物の属性や種別(住宅と商業施設との区別や、商業施設の業種等)についての情報も含むものとする。
自己位置推定部40は、移動体10の現在位置(絶対位置)を推定するものであって、例えば複数のGPS(Global Positioning System)衛星から発信される電波を受信する
GPS受信部であればよい。自己位置推定部40が推定した現在位置は、撮像部20による撮像情報の撮像位置を示す位置情報として、情報取得部2に送信される。
GPS受信部であればよい。自己位置推定部40が推定した現在位置は、撮像部20による撮像情報の撮像位置を示す位置情報として、情報取得部2に送信される。
走行情報センサ50は、移動体10の変位量を測定するためのセンサであって、例えば、移動体10の車速パルスを取得する車速パルス取得部と、移動体10の方位変位量を測定するためのジャイロセンサと、移動体10の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ50が取得した変位量によって、移動体10の進行方向が推定される。移動体10の進行方向と、移動体10における撮像部20の取り付け方向と、によって、撮像時における撮像部20の向きに関する撮像方位情報が決定される。撮像部20が移動体の正面に向けられている場合には、進行方向と撮像方位とが略一致する。従って、走行情報センサ50から情報取得部2に撮像方位情報が送信される。尚、走行情報センサ50は、少なくとも移動体10の進行方向を推定可能なものであればよい。
日時情報管理部60は、カレンダー機能と時計機能とを有するものである。尚、時計機能は、標準電波を受信して誤差を自動修正する電波時計機能であることが好ましい。日時情報管理部60から情報取得部2に日付情報及び時刻情報が送信される。尚、日付情報及び時刻情報に基づき、太陽高度情報及び太陽方位情報を特定することができる。従って、日付情報及び時刻情報を取得する情報取得部2は、太陽高度情報及び太陽方位情報を取得しているものとみなすことができる。
情報取得部2は、上記のように撮像部20から撮像情報を取得することで撮像情報取得部として機能し、上記のように自己位置推定部40から位置情報を取得することで位置情報取得部として機能し、地図情報記憶部30から地図情報を取得することで地図情報取得部として機能し、上記のように走行情報センサ50から撮像方位情報を取得することで、撮像方位情報取得部として機能し、上記のように日時情報管理部60から太陽高度情報及び太陽方位情報を取得することで、太陽情報取得部として機能する。
生成部3は、情報取得部2が取得した撮像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて点群データを生成する。尚、生成部3が生成する点群データは、例えば三次元点群データであればよい。尚、特徴点の抽出には、例えばORB(Oriented fast and Rotated Brief)アルゴリズムを用いてもよいし
、その他のアルゴリズムを用いてもよい。
、その他のアルゴリズムを用いてもよい。
出力部4は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ100の通信部101と通信することにより、生成部3
が生成した情報(点群データ)を送信する。これにより、外部サーバ100の記憶部本体102に情報が記憶されるようになっている。
が生成した情報(点群データ)を送信する。これにより、外部サーバ100の記憶部本体102に情報が記憶されるようになっている。
第2の情報処理装置1Bの収集部11は、通信部101を介し、第1の情報処理装置1Aが生成した点群データ(個別点群データ)を取得する。収集部11は、複数の移動体から個別点群データを取得したり、1つの移動体から個別点群データを複数回取得したりすることにより、個別点群データを収集する。
生成部12は、収集部11が収集した複数の個別点群データに基づいて、総合点群データを生成する。総合点群データは、複数の個別点群データを重ね合わせたものであってもよいし、複数の個別点群データの構成点の位置平均を示すものであってもよい。
このように生成された総合点群データは、例えば移動体の自己位置推定に用いられる。即ち、移動体に搭載された光センサ(いわゆるLIDAR; Laser Imaging Detection and Ranging)によって地物が検出された際、総合点群データと照合することによってこの移動体の自己位置を推定すればよい。
[第1の情報処理装置における影の特定]
生成部3は、点群データを生成する際、点群データを構成する構成点のうち影に対応した構成点を特定し、抽出してもよい(即ち、抽出部として機能してもよい)。このときの詳細な手順の一例を以下に説明する。まず、生成部3は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定する。即ち、太陽の位置と撮像部20の向きとが決まれば、建物等の地物のうち鉛直方向に沿って延びる縁部が、撮像時点において影を形成する方向(影生成方向)を推定することができる。即ち、影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。
生成部3は、点群データを生成する際、点群データを構成する構成点のうち影に対応した構成点を特定し、抽出してもよい(即ち、抽出部として機能してもよい)。このときの詳細な手順の一例を以下に説明する。まず、生成部3は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定する。即ち、太陽の位置と撮像部20の向きとが決まれば、建物等の地物のうち鉛直方向に沿って延びる縁部が、撮像時点において影を形成する方向(影生成方向)を推定することができる。即ち、影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。
尚、影生成方向に並んだ構成点が影に対応するものであるか否かは、例えば、並んだ構成点の個数や、複数の構成点によって形成される直線の長さ等に基づいて判断すればよい。即ち、影生成方向に並んだ構成点の個数が少ない場合や、複数の構成点によって構成される直線の長さが短い場合、これらの構成点は偶然影生成方向に並んでいるだけであり、影に対応したものでない可能性が高い。
生成部3は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去する。
ここで、影生成方向に並んだ構成点を抽出する方法の具体例について図2、3を参照しつつ説明する。尚、図2、3では、対象とする道路及び地物以外は適宜省略して示している。
図2に示すように、道路R沿いに建物Bが存在している場合、この建物Bによって、太陽の位置及び撮像部の向きに応じた影Sが地面に形成される。建物Bは、鉛直方向に沿って延びる縁部B1を有しており、影Sは縁部B1に対応した直線状の境界線S1を有する。図2のフレームにおいて境界線S1上の特徴点が抽出され、さらにこの前後のフレームにおいても境界線S1上の特徴点が抽出される。従って、図3に示すように生成部3が点群データを生成した際、点群データには、建物Bに対応した構成点PBと、境界線S1に対応した構成点P1~P4と、が含まれる。
生成部3は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向L1を特定する。図示の例では、太陽は南西に位置し、撮像部20は北北西を向いている。生
成部3は、影生成方向L1を特定することで、この方向に並んだ構成点P1~P4を抽出することができる。
成部3は、影生成方向L1を特定することで、この方向に並んだ構成点P1~P4を抽出することができる。
尚、生成部3は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去せずに、所定の情報をフラグとして付与してもよい。構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。
また、生成部3は、上記のように影生成方向に並んだ構成点を抽出する際、自己位置推定部40から取得した位置情報と、地図情報記憶部30から取得した地図情報と、に基づき、撮像範囲に含まれる地物の影の形状を推定してもよい。地物のうち鉛直方向に沿って延びる縁部の形状によって、形成される影の形状が決定される。例えば、道路沿いの地物が天然物である場合や複雑な形状の建物である場合、鉛直方向に沿って延びる縁部によって直線状の影は形成されにくいため、影生成方向に並んだ構成点が存在していても、この地物の影に対応した構成点ではないと判定することができる。
また、生成部3は、地図情報に地物の高さ情報が含まれている場合、この高さ情報を利用してもよい。即ち、高さ情報と太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向だけでなく、影の境界線の長さを推定することができる。従って、構成点が影生成方向に沿って並んでいても、境界線の長さを超えた領域については、影に対応したものでないと判断することができる。
上記の例では、地物のうち鉛直方向に沿って延びる縁部の影に対応した構成点を抽出するものとしたが、他の影に対応した構成点を抽出してもよい。例えば、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。このような方法として、フラクタル次元を概算することにより、植生の葉によって形成される影を特定する方法が例示される。
また、生成部3は、VSLAMによって点群データを生成するよりも前に、撮像情報の各フレームの特徴点から、影に対応する特徴点を抽出してもよい。このとき、生成部3は、影に対応する特徴点を除去して点群データを生成すればよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。
[点群データのデータ構造]
上記のように生成部3が、影に対応する構成点に所定の情報をフラグとして付与した場合、この点群データは以下に詳述するようなデータ構造を有する。構成点に付与される所定の情報は、上記のように、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。
上記のように生成部3が、影に対応する構成点に所定の情報をフラグとして付与した場合、この点群データは以下に詳述するようなデータ構造を有する。構成点に付与される所定の情報は、上記のように、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。
第2の情報処理装置1Bの生成部(処理部)12は、収集部11が収集した複数の個別点群データに基づいて総合点群データを生成する際、情報が付与された(即ち影に対応する)構成点の寄与度を下げて処理することができる。例えば、複数の個別点群データを重ね合わせて総合点群データを生成する際、ある点群データ含まれるフラグ付きの構成点の位置に、他の点群データに含まれる構成点が位置しない場合、この位置の構成点はないものとして処理することができる。
また、構成点に付与される情報は、構成点が対応する影を生成する地物についての情報(例えば、当該構成点が、建物が生成した影に対応したものであるという情報や、植生が
生成した影に対応したものであるという情報)を含んでいてもよい。このような点群データのデータ構造の一例を、表1に示す。
生成した影に対応したものであるという情報)を含んでいてもよい。このような点群データのデータ構造の一例を、表1に示す。
即ち、各構成点にはIDが割り振られており、各構成点に、位置情報と、影フラグ情報(即ち情報が付与されているか否か)と、構成点が対応する影を生成する地物についての情報と、が付与されている。表1の例では、位置情報が二次元的な座標情報であるものとしたが、位置情報は三次元的な(xyz空間における)座標情報であってもよい。
影フラグ情報は、「0」の場合に情報が付与されていないことを示し、「1」の場合に情報が付与されていることを示す。構成点が対応する影を生成する地物についての情報は、影フラグ情報が0の場合にはブランクとなり、1の場合には、その地物の属性等を特定する情報となる。表1の例では、ID=2の構成点とID=3の構成点とは、異なるビルによって生成される影に対応している。尚、構成点が影に対応することは特定できているものの、その影を生成する地物が特定できていない場合には、地物についての情報をブランクとしてもよい。
[総合点群データの生成]
上記のように、第2の情報処理装置1Bにおいて、収集部11が、個別点群データを収集し、生成部12が、複数の個別点群データに基づいて総合点群データを生成する。このとき、収集部11は、個別点群データだけでなく、この個別点群データを各構成点のうち影に対応する構成点に付与された付与情報(上記の影フラグ情報、及び、構成点が対応する影を生成する地物についての情報)を取得する。
上記のように、第2の情報処理装置1Bにおいて、収集部11が、個別点群データを収集し、生成部12が、複数の個別点群データに基づいて総合点群データを生成する。このとき、収集部11は、個別点群データだけでなく、この個別点群データを各構成点のうち影に対応する構成点に付与された付与情報(上記の影フラグ情報、及び、構成点が対応する影を生成する地物についての情報)を取得する。
生成部12は、取得した付与情報に基づいてその構成点の寄与度を決定し、総合点群データを生成する。寄与度は、例えば、総合点群データの生成時に複数の個別点群データを重ね合わせたり位置平均を求めたりする際に、重みづけに用いられる値であればよい。
生成部12は、影フラグ情報を取得した場合、その構成点の寄与度を0とし、即ちこの構成点を除去して総合点群データを生成してもよい。
また、生成部12は、撮像条件の異なる複数の個別点群データにおいて、同一位置の構成点にフラグ情報が付与されている場合、これらの構成点の寄与度を低下させずに総合点群データを生成してもよい。昼間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、夜間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、が同一位置に存在する場合、これらの構成点は影ではない可能性がある。従って、ある構成点について影であると誤判定して付与情報を付与してしまった場合に、この構成点の寄与度を低下させないようにすることができる。
また、生成部12は、構成点の寄与度を決定する際、影フラグ情報だけでなく、影を生成する地物についての情報も参照してもよい。地物の形状が明確であるほど、構成点が影に対応しているか否かを正確に判断しやすい。即ち、影フラグ情報が付与された構成点であっても、影を生成する地物によって判定精度が異なる。そこで、例えば影を生成する地
物の形状が明確であるほど構成点の寄与度を低下させるという処理を行うことにより、影の判定精度も考慮して総合点群データを生成することができる。
物の形状が明確であるほど構成点の寄与度を低下させるという処理を行うことにより、影の判定精度も考慮して総合点群データを生成することができる。
上記の構成により、点群データを構成する構成点のうち影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。
また、撮像情報において影に対応する特徴点を抽出するとともに除去して点群データを生成すれば、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。
また、出力部4によって点群データを外部サーバ100に出力することで、出力先の外部サーバ100において点群データを活用することができる。
また、点群データのデータ構造において、影に対応する構成点に所定の情報が付与されており、影に対応する構成点について寄与度を下げて処理できるようになっていることで、処理後の点群データ(総合点群データ)を自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、処理後の点群データを活用しやすくすることができる。
また、影に対応する構成点に付与されたフラグ情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データにおいて、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、総合点群データを活用しやすくすることができる。
なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。
例えば、前記実施例では、情報取得部2と生成部3とが移動体に10に搭載されているものとしたが、第1の情報処理装置を構成する撮像情報取得部と生成部と抽出部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
また、前記実施例では、収集部11と生成部12とが外部サーバ100に搭載されているものとしたが、第2の情報処理装置を構成する収集部と生成部は、外部サーバに搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである
。
。
1A 第1の情報処理装置
2 情報取得部(撮像情報取得部)
3 生成部(抽出部)
4 出力部
10 移動体
20 撮像部
1B 第2の情報処理装置
11 収集部
12 生成部
2 情報取得部(撮像情報取得部)
3 生成部(抽出部)
4 出力部
10 移動体
20 撮像部
1B 第2の情報処理装置
11 収集部
12 生成部
Claims (6)
- 撮像情報に基づいて生成された個別点群データを収集する収集部と、
複数の前記個別点群データに基づいて総合点群データを生成する生成部と、を備え、
前記収集部は、前記個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得し、
前記生成部は、前記付与情報に基づいて前記構成点の寄与度を決定して前記総合点群データを生成することを特徴とする情報処理装置。 - 前記生成部は、前記付与情報が付与された構成点を除去して前記総合点群データを生成することを特徴とする請求項1に記載の情報処理装置。
- 前記生成部は、撮像条件の異なる複数の前記個別点群データにおいて、同一位置の構成点に前記付与情報が付与されている場合、当該構成点の寄与度を低下させずに前記総合点群データを生成することを特徴とする請求項1又は2に記載の情報処理装置。
- 撮像情報に基づいて生成された個別点群データを収集する収集工程と、
複数の前記個別点群データに基づいて総合点群データを生成する生成工程と、を含み、
前記収集工程において、前記個別点群データを構成する構成点のうち影に対応する構成点に付与された付与情報を取得し、
前記生成工程において、前記付与情報に基づいて前記構成点の寄与度を決定して前記総合点群データを生成することを特徴とする情報処理方法。 - 請求項4に記載の情報処理方法を、コンピュータにより実行させることを特徴とする情報処理プログラム。
- 請求項5に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023171440A JP2023174728A (ja) | 2018-10-12 | 2023-10-02 | 情報処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193082A JP7361462B2 (ja) | 2018-10-12 | 2018-10-12 | 情報処理装置 |
JP2023171440A JP2023174728A (ja) | 2018-10-12 | 2023-10-02 | 情報処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193082A Division JP7361462B2 (ja) | 2018-10-12 | 2018-10-12 | 情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023174728A true JP2023174728A (ja) | 2023-12-08 |
Family
ID=70220155
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193082A Active JP7361462B2 (ja) | 2018-10-12 | 2018-10-12 | 情報処理装置 |
JP2023171440A Pending JP2023174728A (ja) | 2018-10-12 | 2023-10-02 | 情報処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193082A Active JP7361462B2 (ja) | 2018-10-12 | 2018-10-12 | 情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7361462B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724440B (zh) * | 2020-05-27 | 2024-02-02 | 杭州数梦工场科技有限公司 | 监控设备的方位信息确定方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5867167B2 (ja) | 2012-03-05 | 2016-02-24 | 日産自動車株式会社 | 影検出装置 |
JP2015102449A (ja) | 2013-11-26 | 2015-06-04 | 日産自動車株式会社 | 車両自己位置推定装置、及び車両自己位置推定方法 |
-
2018
- 2018-10-12 JP JP2018193082A patent/JP7361462B2/ja active Active
-
2023
- 2023-10-02 JP JP2023171440A patent/JP2023174728A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7361462B2 (ja) | 2023-10-16 |
JP2020060499A (ja) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
KR101933216B1 (ko) | 드론과 공간정보를 이용한 하천지형정보 생성 방법 | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
Piermattei et al. | Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes | |
KR20240078650A (ko) | 도로면 생성 방법, 도로면 생성 장치, 포인트 클라우드 데이터 처리 방법, 포인트 클라우드 데이터 처리 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
CN111436216A (zh) | 用于彩色点云生成的方法和*** | |
US9082008B2 (en) | System and methods for feature selection and matching | |
US7860269B2 (en) | Auxilliary navigation system for use in urban areas | |
Wang et al. | Accuracy evaluation of 3d geometry from low-attitude uav collections a case at zijin mine | |
JP6950832B2 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
JP2023174728A (ja) | 情報処理装置 | |
CN111256687A (zh) | 地图数据的处理方法、装置、采集设备和存储介质 | |
CN113240813B (zh) | 三维点云信息确定方法及装置 | |
KR20140118529A (ko) | 공중사진의 그림자 제거 방법 및 그 장치 | |
CN116097128A (zh) | 用于对车辆位置进行确定的方法和设备 | |
JP2015194373A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
JP2023111921A (ja) | 情報処理装置 | |
JP2020060501A (ja) | 情報処理装置 | |
CN112106112A (zh) | 一种点云融合方法、设备、***及存储介质 | |
CN107808160B (zh) | 三维建筑物提取方法和装置 | |
JP7257770B2 (ja) | 情報処理装置 | |
JP2008090011A (ja) | 画像補正装置、画像補正方法及びプログラム | |
JP2020061049A (ja) | 点群データ構造 | |
JP2020060496A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231002 |