JP2022136754A - 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム - Google Patents
光学データ処理装置、光学データ処理方法および光学データ処理用プログラム Download PDFInfo
- Publication number
- JP2022136754A JP2022136754A JP2021036523A JP2021036523A JP2022136754A JP 2022136754 A JP2022136754 A JP 2022136754A JP 2021036523 A JP2021036523 A JP 2021036523A JP 2021036523 A JP2021036523 A JP 2021036523A JP 2022136754 A JP2022136754 A JP 2022136754A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- point cloud
- time
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 abstract description 38
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】簡便な方法で複数の光学データ間の同期を確保する。【解決手段】移動する移動体に搭載されたレーザースキャナにより得たレーザースキャンデータおよび前記移動する移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部301と、前記レーザースキャンデータに基づき作成された特定の時刻Tにおける視点から見た点群画像と前記時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを算出する遅延時間取得部305とを備え、前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記Δtは、前記撮影画像および前記点群画像の時間軸上での重なり具合の差が最小となる条件により求められる光学データを処理する演算装置108。【選択図】図5
Description
本発明は、複数の光学データ間の同期をとる技術に関する。
移動体にレーザースキャナ、カメラ、GNSS位置測定装置、IMUその他計測機器を搭載し、移動しながら周囲の三次元計測を行う技術が知られている(例えば、特許文献1を参照)。
上記の技術においては、例えば、レーザースキャナが取得したレーザースキャン点群(レーザースキャンデータ)とカメラが撮影した撮影画像との比較、更には両者の統合を行うために、両者を同期させる処理が必要となる。
この同期をとる方法として、カメラに撮影命令信号を出力し、カメラからexposure信号(実際にシャッターを切ったタイミングを示す信号)が出力され、このexposure信号に基づき、撮影画像の撮影時刻の管理を行う方法が採用されている。
上記のexposure信号を用いる方法は、カメラ側にexposure信号を出力する機能が必要であり、また制御側もexposure信号を扱うための設定が必要となる。また、exposure信号を扱う信号伝送手段も必要となる。
このため、全般的に高コスト化し、またシステムとしての汎用性が低下する。また、ユーザが用意したカメラを利用する場合に制限が多く、システムとしての使い勝手が良くない。
このような背景において、本発明は、簡便な方法で複数の光学データ間の同期を確保できる技術の提供を目的とする。
本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを取得する遅延時間取得部と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像を作成する投影部とを備え、前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、前記Δtは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理装置である。
本発明において、前記レーザースキャン点群と前記撮影画像の対応関係に基づく単写真標定により、前記撮影画像の撮影時における前記カメラの位置を算出するカメラ位置算出部を備え、前記撮影画像の撮影を命令した時刻と前記算出された前記カメラの位置の時刻との差に基づき、前記Δtの参考値の算出が行われ、前記Δtの前記参考値に基づき、前記視点の位置の範囲が選択される態様が挙げられる。
本発明において、前記Δtの前記参考値に対応する位置を中心とした特定の範囲が前記視点の範囲として選択される態様が挙げられる。本発明において、定期的に前記Δtの取得が繰り返し行われる態様が挙げられる。本発明において、前記カメラの設定が変更されたことを契機として、前記Δtの取得が行われる態様が挙げられる。
本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtの取得と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成とを有し、前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、前記Δtは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理方法として把握することもできる。
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtの取得と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成とを実行させ、前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、前記Δtは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理用プログラムとして把握することもできる。
本発明によれば、簡便な方法で複数の光学データ間の同期を確保できる技術が得られる。
(概要)
図1は、概念図である。図2は点群画像と撮影画像の重畳の様子を示すイメージ図である。この例では、車両100はカメラ101とレーザースキャナ102を搭載している。車両100を走行させながら、カメラ101による対象物200に対する撮影と、レーザースキャナ102によるレーザースキャンを行う。
図1は、概念図である。図2は点群画像と撮影画像の重畳の様子を示すイメージ図である。この例では、車両100はカメラ101とレーザースキャナ102を搭載している。車両100を走行させながら、カメラ101による対象物200に対する撮影と、レーザースキャナ102によるレーザースキャンを行う。
ここで、カメラ101には、撮影命令信号が出力され、この信号を受けてカメラ101は撮影を行う。カメラ101は、exposure信号またはそれに相当する信号、すなわち撮影を行ったタイミングを確定できる信号を出力しない。カメラ101として、exposure信号またはそれに相当する信号を出力する仕様のものを採用することもできる。この場合、exposure信号は利用せず、そのためのハードウェアや設定は必要ない。
撮影命令信号を受けてからカメラ101による撮影が行われるタイミングには、遅延時間Δtがある。最初の段階で遅延時間Δtは未知である。遅延は、カメラ101内部での撮影に必要な処理に要する時間に起因する。Δtは、カメラの種類や機種によって異なる。また、同じカメラであっても動作モードや撮影条件の違いによってもΔtが違う場合も有り得る。
レーザースキャナ102の方は、レーザースキャン光の発光時刻、対象物から反射したレーザースキャン光の受光時刻が管理されている。この時刻を刻む時計は、例えばGNSS位置測定装置103が内蔵する時計が利用される。
ここで、車両100におけるカメラ101、レーザースキャナ102、GNSS位置測定装置103、IMU104の位置と姿勢の関係は予め取得され既知であるとする。なお、カメラ101の外部標定要素(位置と姿勢)が未知である場合、後述する方法により、車両100におけるカメラ101の位置と姿勢を最初に取得し、その後に以下に説明する処理が行なわれる。勿論、最初からカメラ101の車両100における外部標定要素が既知であってもよい。
まず、車両100が移動している状態において、時刻Tにカメラ101に対して撮影命令信号が出力されとする。すなわち、時刻Tにカメラ101に撮影が指示されたとする。
そして、後処理により、レーザースキャナ102が取得したレーザースキャン点群に基づき、時刻Tの位置を視点とした点群画像を生成する。この点群画像は、時刻Tにおける位置Xから見た点群の見た目の分布の状態を示す画像である。ここで、位置Xとして、時刻Tにおけるカメラ101の投影原点(光学原点)の位置を採用する。図3に時刻Tにおける位置Xを視点として点群画像を得る場合のイメージを示す。
上記視点の位置とその時刻は、計測されている。すなわち、車両100の位置は、GNSS位置測定装置103により測位され、その速度の変化や向きの変化はIMU106により計測され、車両100の車輪の回転はホイールエンコーダ107により計測されている。これらの計測値から、点群画像の視点の位置を知ることができる。また、GNSSでは、測位の時刻も得られるので、測位に紐づいた時刻も取得できる。よって、移動する車両100における上記視点の位置と、その位置の時刻は取得できる。
演算装置108からの撮影命令信号の出力の時刻と、カメラ101におけるその受信時刻とは、同じと見なすことができる。ここで、時刻Tに撮影命令信号が出されたとする。この場合、Δt遅れてカメラ101は撮影を行う。なお、撮影時刻は、露光を開始した時刻とする。撮影時刻としては、露光時間の中心の時刻や露光が終わった時刻を採用することもできる。
図2には、レーザースキャナ102が取得したレーザースキャン点群に基づき、時刻Tにおける位置を視点として作成した点群画像と、時刻Tに撮影が命令されることで、時刻T+Δtにカメラ101が撮影した撮影画像とを重畳させた状態(重ねて投影した状態)が示されている。
ここで、レーザースキャナ102とカメラ101の車両100における外部標定要素は既知である。よって、カメラ101が撮影した画像の光軸方向に合わせて、またカメラ101の投影原点(光学原点)があると仮定した位置を視点として、レーザースキャナ102が取得したレーザースキャン点群に基づく点群画像を生成することができる。
仮に時刻Tにカメラ101による撮影が行われていれば、点群画像と撮影画像は理想的には、完全に重なる。
図2の場合、カメラ101の側の動作に遅延時間Δtが存在するために、時刻Tを基準にレーザースキャナ102が得たレーザースキャン点群に基づく点群画像と、カメラ101が撮影した撮影画像とを重畳させると、両者にズレが生じる。なお、車両100が移動していなければ、0<Δtであっても、図2のズレは生じない。
カメラ101からexposure信号が出力されていれば、Δtが把握できるので、一方の画像を時間軸上で移動させることで、すなわち、一方の画像の視点の位置をΔtに対応する距離で移動させれば、両者をズレがないように重ねることができる。つまり、同期させることができる。従来の技術では、この方法により、カメラが撮影した撮影画像とレーザースキャン由来の点群画像との同期を確保していた。
本実施形態では、exposure信号を利用しないので、以下の方法でΔtを探索する。ここでは、時間軸上で一方の画像を移動させ、両画像の重なり具合を評価することでΔtを見積もる。ここでは、レーザースキャン点群に基づく点群画像を時間軸上で移動させる場合を説明する。
図1に示すように、Δtは、その間における車両100の移動量Δxに対応している。車両100の移動は、GNSS位置測定装置103、IMU106およびホイールエンコーダ107の機能により計測されている。これらの計測値に基づき、車両100の時刻に関連付けされた移動の軌跡は算出できる。
この移動の軌跡に基づき、レーザースキャン点群を見る視点の位置として、例えばT+1msにおける視点の位置、T+2msにおける視点の位置、T+3msにおける視点の位置、・・・・と1ms毎の視点の位置を求める。なお、視点の位置をもっと細かく算出し、精度を上げることもできる。
そして、T+1msにおける位置から見た点群画像、T+2msにおける位置から見た点群画像、T+3msにおける位置から見た点群画像・・・・と、1ms毎に視点の位置をずらした点群画像を作成する。なお視点の位置は、カメラ101の投影原点の位置として設定され、視線の方向はカメラ101の光軸の方向に合わせる。
レーザースキャン点群は、絶対座標系上で分布し、各点の位置は確定しているので、視点の位置を変更した点群画像は計算により求めることができる。図3に視点の位置をずらした場合の点群画像のイメージを示す。
上記の視点の位置を漸次ずらした点群画像は、例えばT~T+30msまでの間で1ms毎に作成する。ここで、上限を30msとしたのは、Δtの上限が30ms程度と推定されるからである。この値は、使用するカメラの性能によって決定される。通常は、25ms~50ms程度の範囲からこの上限の値が選択される。
そして、T+1msにおける位置から見た点群画像、T+2msにおける位置から見た点群画像、T+3msにおける位置から見た点群画像・・・・と、時刻Tに撮影の実行を命令(指示)することで得たカメラ101による撮影画像とを重ねて投影した重畳投影画像を作成する。この場合、計30枚の重畳投影画像が作成される。
図4は、ずらす時間を変えた場合における点群画像と撮影画像の重畳の状態を示す重畳投影画像のイメージ図である。ここで、点群画像は、レーザースキャナ102が得たレーザースキャン点群に基づき、図3の原理で得たものであり、撮影画像はカメラ101が撮影した画像である。
図4には、理解し易いように、5ms毎に視点の位置をずらして点群画像を生成し、それらと撮影画像とを重ねて投影した場合が示されている。点群画像の視点の位置をずらすことで、点群画像と時刻T+Δtに撮影された撮影画像とのずれの具合が変化する。
図4には、Δt=20msに相当する視点の位置から見た点群画像の場合が、撮影画像との差が最小となる場合が示されている。この場合、撮影命令信号を出力してから約20ms後に実際の撮影が行われたと推定され、Δt=20msが遅延時間として取得される。
ところで、同じ視点から同じ視線の向きで2枚の撮影画像を撮影した場合、この2枚の撮影画像は重なる。ここで、図4の重畳投影画像は、視線の方向を合わせた状態で、点群画像の視点の位置を漸次ずらすことで得ている。よって、点群画像と撮影画像のズレが最小となる状況では、点群画像の視点の位置と撮影画像の視点の位置のズレ(差)が最小となる。このことから、図4の作業は、点群画像と撮影画像とが一致する点群画像の視点の位置を探索することで、撮影画像の視点の位置(カメラ位置)を探索する作業と捉えることもできる。
このように、視点の位置を微小にずらした点群画像を作成し、それとカメラ101が撮影した撮影画像とを比較することで、実際のΔtの近似値を求めることができる。また、当該撮影画像のカメラ位置を求めることができる。なお、ずらす時間の差を更に細かくすることで、より精密にΔtを求めることができる。
ここでは、点群画像の側を時間軸上でずらす手法を示したが、撮影画像を時間軸上でずらしてもよい。また、点群画像と撮影画像の両方を時間軸上でずらす手法も可能である。
以上のようにして、実際のΔtを見積もり、撮影を命令してから実際に撮影が行われるまでの遅延時間Δtを取得する。Δtの取得を定期的に行い、定期的にΔtの値を更新してもよい。
Δtが判れば、同期処理を行う。例えば、レーザースキャンに基づく点群画像を時間軸上でずらし、時刻T+Δtの位置を視点としたものとする。図3には、時刻Tの視点位置から時刻T+Δtの視点位置、すなわち時刻Tに対応する位置Xから、時刻T+Δtに対応する位置X+Δxに視点をずらし、点群画像を生成する場合が示されている。これにより、時間軸上でレーザースキャンに基づく点群画像と撮影画像の視点の位置をそろえること、すなわち同期をとることができる。
以上の説明では、レーザースキャンと撮影を行った後の後処理により、Δtの取得、およびそれに基づく点群画像および/または撮影画像の視点の位置の修正を行う場合を説明したが、レーザースキャナと撮影を行いながら、同時並行的にΔtを求めることも可能である。この場合、Δtが求まった段階で、Δtの遅延があることを織り込んでカメラ101に対する撮影命令信号を早めに行うことができる。
例えば、カメラ101に時刻Tに撮影を行わせたい場合、時刻T-Δt、すなわち時刻TよりもΔt前の時刻に撮影命令信号をカメラ101に対して出力する。こうすることで、撮影命令信号の出力からΔt遅れて撮影が行われ、丁度時刻Tにカメラ101による撮影が行われる。これにより、時刻Tを基準に作成した点群画像と同期した撮影画像が得られる。
あるいは、時刻Tに撮影を命令した場合、時刻T+Δtに実際の撮影が行われるので、時刻T+Δtを基準に点群画像を生成する。こうすることで、撮影画像と点群画像を同期させることができる。
1.第1の実施形態
図1には、移動体の一例である車両100が示されている。車両100は、カメラ101、レーザースキャナ102、GNSS位置測定装置103、IMU(慣性計測装置)106、ホイールエンコーダ107、演算装置108を搭載している。
図1には、移動体の一例である車両100が示されている。車両100は、カメラ101、レーザースキャナ102、GNSS位置測定装置103、IMU(慣性計測装置)106、ホイールエンコーダ107、演算装置108を搭載している。
カメラ101は、デジタルスチールカメラであり、静止画像を撮影する。動画を撮影できるカメラを利用することもできる。この例において、カメラ101は、特定の時間間隔で繰り返し静止画像の撮影を行う。動画撮影を行う場合は、動画を構成するフレーム画像が利用される。
レーザースキャナ102は、測距用のレーザー光を広範囲あるいは特定の範囲でスキャンすることで、レーザースキャンデータを得る。例えば、鉛直面に沿って数kHz~数百kHzの繰り返し周波数でパルスレーザー光を線状にスキャンする。車輛100を走行させながら上記のスキャンを行うことで、特定の範囲のレーザースキャンが行われる。面状に分布した多数のレーザー測距光を同時に照射し、ある範囲のレーザースキャンデータを同時に得るレーザースキャナを用いることもできる。
GNSS位置測定装置103は、GPS衛星等の航法衛星から送信される航法信号に基づき絶対座標系(グローバル座標系)における位置の計測を行う。絶対座標系は、地図情報の記述で用いられる座標系である。絶対座標系では、例えば、緯度・経度・標高によって位置が特定される。IMU(慣性計測装置)106は、加速度と向きの変化を計測する。ホイールエンコーダ107は、車両100の車輪の回転を検出し、車両100の走行距離(移動量)を計測する。
GNSS位置測定装置103の計測値の変化、IMU106により計測される車両100の加速度と向き変化、およびホイールエンコーダ107により計測される車両100の走行距離から、時間と位置に紐付された車両100の移動経路や移動量が算出される。GNSS位置測定装置103は、高精度の時計を備えており、この時計を用いて車両100における時刻が確定される。
図5に演算装置108のブロック図を示す。演算装置108は、コンピュータであり、CPU、データ記憶装置、入出力インターフェース、通信装置を備える。演算装置108として、汎用のPC(パーソナル・コンピュータ)を用いることもできる。演算装置108を専用のハードウェアで構成してもよい。演算装置108での処理をサーバで行う形態も可能である。演算装置108の機能を複数のコンピュータを用いて分散して行う形態も可能である。
演算装置108は、光学データ取得部300、撮影命令信号出力部301、移動量算出部302、点群生成部303、点群特徴点算出部304、遅延時間(Δt)取得部305、カメラ撮影時刻算出部306、カメラ位置姿勢算出部307、点群特徴点画像投影部308、画像特徴点算出部309、特徴点間画像上残差算出部310、同期処理部312を有する。
これらの機能部は、ソフトウェアの実行により、演算装置108を構成するコンピュータにより実現される。図5に示す機能部の一以上を専用のハードウェアで構成することも可能である。
光学データ取得部300は、カメラ101が撮影した画像の画像データと、レーザースキャナ102が得たレーザースキャンデータを取得する。また、光学データ取得部300は、レーザースキャナ102が得たレーザースキャンデータに基づくレーザースキャン点群のデータを取得する。
撮影命令信号出力部301は、カメラ101に撮影を命令(指示)する信号を出力する。例えば、図1の時刻Tに撮影命令信号出力部301からカメラ101に撮影を命令する撮影命令信号が出力される。
移動量算出部302は、GNSS位置測定装置103が測定した車両100の位置の変化、IMU106が計測した車両100の速度の変化および向きの変化、およびホイールエンコーダ107が計測した車両100の車輪の回転数に基づき、車両100の移動量および移動方向を算出する。例えば、図1のΔxや1ms毎における車両100の移動量と移動方向が算出される。GNSS位置測定装置103は時計を持っているので、算出される移動量と移動方向は、時刻に紐づけされたものが得られる。
点群生成部303は、レーザースキャナ102が取得したレーザースキャンデータに基づき、レーザースキャン点群を生成する。レーザースキャナ102は、レーザースキャン光の反射点の方向(レーザースキャナから見た方向)と、その点までの距離を計測し、この反射点までの方向と距離のデータをレーザースキャンデータとして出力する。この方向と距離に基づき、反射点(レーザースキャン点)の三次元座標を算出する。この処理が点群生成部303で行われる。この三次元座標が求められた反射点の集合がレーザースキャン点群となる。なお、レーザースキャナ102として、レーザースキャン点群を直接出力する形態のものを採用することもできる。
点群特徴点算出部304は、点群生成部303が生成したレーザースキャン点群に基づき、レーザースキャン点群で記述される対象物の特徴点を算出する。例えば、図1の場合、建物200のレーザースキャン点群に基づき、建物200の形状を特徴づける特徴点を算出する。この特徴点を画像化したものが点群特徴点画像となる。この点群特徴点画像は、点群画像の一例であり、レーザースキャンデータに起因する対象物の特徴点の画像となる。
建物200の形状を特徴づける特徴点を算出する方法としては、2つの方法が挙げられる。第1の方法は、建物200を対象としたレーザースキャン点群の中から、建物200の形状を特徴づける特徴点を抽出する方法である。第2の方法は、建物200を対象としたレーザースキャン点群に基づき、建物200の3次元モデルを作成し、その3次元モデルから、建物200の形状を特徴づける特徴点を抽出する方法である。
遅延時間(Δt)取得部305は、カメラ101に撮影を命令(撮影命令信号を出力)してから、実際にカメラ101による撮影が行われるまでの遅延時間Δtの取得を行う。Δtの取得は、図1~図4に関連して説明した方法を用いて行われる。具体的には、図4に例示する方法で、撮影画像と点群画像のズレを評価し、このズレが最小となる条件から、遅延時間Δtを取得する。
カメラ撮影時刻算出部306は、上述したΔtに基づき、カメラ101の撮影時刻を算出する。例えば、演算装置108で用いている時計における時刻Tにおいて、カメラ101に対する撮影命令信号が出力されたとする。この場合、時刻T+Δtがカメラ101による撮影が行われた時刻(撮影時刻)となる。
カメラ101の撮影時刻は、図4の原理で探索した点群画像の視点の位置から求めることもできる。図4に例示する投影画像において、点群画像と撮影画像が一致した段階で、点群画像と撮影画像の視点の位置が一致する。よって、この際の点群画像の視点の位置がカメラ101による撮影位置(カメラ位置)となる。車輛100におけるカメラ101の位置は既知であり、車輛100の移動軌跡と時刻の関係は取得されているので、カメラ101の撮影位置が分かれば、その位置の時刻が分かる。この位置の時刻がカメラ101による撮影が行われた時刻となる。この場合、カメラ101による撮影時刻をT+Δt、カメラ101に撮影を命令した時刻をTとすれば、Δtを求めることができる。
カメラ位置姿勢算出部307は、車両100におけるカメラ101の外部標定要素(位置と姿勢)を算出する。この処理については後述する。
点群特徴点画像投影部308は、点群生成部303が生成したレーザースキャン点群に基づき点群特徴点算出部304が算出した点群特徴点画像を撮影画像に投影し、両画像を重畳した重畳投影画像を作成する。図2、図4が重畳投影画像の一例である。図4の処理では、レーザースキャン点群に基づく点群画像をカメラが撮影した撮影画像に投影し、両画像の重なり具合を調べるが、ここでは点群画像そのものでなく、対象の特徴点をレーザースキャン点群の中から抽出した上記点群特徴点画像を点群画像として用い、この画像を撮影画像に投影する。なお、この際の投影の対象となる撮影画像は、撮影画像から特徴点を抽出することで得た画像特徴点画像を用いる。
上記の投影処理の段階において、レーザースキャナ102とカメラ101の車両100における外部標定要素は既知である。よって、カメラ101が撮影した画像の光軸方向に合わせて、また視点の位置をカメラ101の投影原点(光学原点)として、レーザースキャナ102が取得したレーザースキャン点群に基づく点群画像を生成することができる。
なお、この段階でカメラ101の撮影時の位置は、未知の遅延時間Δtがある故に未知である。そこで、下記に示すように、時間軸上で仮のカメラ位置となる点群画像の視点の位置を複数設定し、そこにカメラ101があると見なして、点群画像の生成を行う。
例えば、上記の点群特徴点画像の撮影画像(画像特徴点画像)への投影は、1ms単位で対応する視点の位置をずらして行う。なお、図4には、5ms単位でずらした場合が示されている。この際、カメラ101の光軸の方向はこの段階で既知であるので、この光軸の方向に視線の方向を合わせた状態で点群画像(点群特徴点画像)を生成する。
特徴点間画像上残差算出部310は、重畳された点群画像(点群特徴点画像)と撮影画像(画像特徴点画像)の残差を算出する。具体的には、図4に示す2つの画像のズレの程度を算出する。
画像同期処理部312は、遅延時間取得部305が取得した遅延時間に基づき、レーザースキャナ102が取得したレーザースキャン点群に基づく点群画像と、カメラ101が撮影した撮影画像とを同期させる同期処理を行う。
同期処理には、複数の方法がある。第1の方法は、点群画像を時間軸上で移動させ、撮影画像と同期させる方法である。例えば、時刻Tにカメラ101に撮影を命令した場合にΔt遅延して撮影が行われとする。この場合、T+Δtの時刻に対応する位置を視点とした点群画像を作成することで、点群画像と撮影画像の同期をとることができる。
同期処理の第2の方法は、撮影画像の方を時間軸上で移動させる方法である。この場合、T+Δtの時刻に撮影された画像を時刻Tの視点の位置から見た画像に変換する。この変換は、例えば射影変換により行う。これにより、時刻Tにおける視点でレーザースキャンデータ由来の点群画像と、カメラ101が撮影した撮影画像の同期をとることができる。なお、点群画像と撮影画像の両方を時間軸上で移動(視点の空間軸上での移動)を行う形態も可能である。
同期処理の第3の方法は、カメラ101の撮影タイミングの遅れを考慮し、予めΔt早めたタイミングで撮影の命令を出す方法である。例えば、時刻Tに撮影を行いたい場合、時刻T-Δtに撮影命令信号をカメラ101に向けて出力する。この場合、撮影命令信号を出力してからΔt遅延した後の時刻Tにカメラ101による撮影が行われる。この場合、撮影画像と時刻Tの視点から作成した点群画像との同期が確保される。
(処理の一例)
以下、演算装置108で行われる処理の一例を説明する。図7および図8は、処理の手順の一例を示すフローチャートである。図7および図8の処理を実行するためのプログラムは、演算装置108を構成するPCの記憶装置に記憶され、当該PCのCPUにより実行される。当該プログラムを適当な記憶媒体に記憶する形態も可能である。当該プログラムをインターネットに接続されたサーバに記憶し、そこから演算装置108を実現するためのPCにダウンロードする形態も可能である。
以下、演算装置108で行われる処理の一例を説明する。図7および図8は、処理の手順の一例を示すフローチャートである。図7および図8の処理を実行するためのプログラムは、演算装置108を構成するPCの記憶装置に記憶され、当該PCのCPUにより実行される。当該プログラムを適当な記憶媒体に記憶する形態も可能である。当該プログラムをインターネットに接続されたサーバに記憶し、そこから演算装置108を実現するためのPCにダウンロードする形態も可能である。
ここでは、最初の段階でカメラ101の車両100における外部標定要素が未知であるとし、まずカメラ101の車両100における外部標定要素の算出を行う(図7)。なお、車両100におけるカメラ101の外部標定要素が既知である場合は、図7の処理は不要である。
ここでは、初期の段階において、車両100におけるカメラ101の位置と姿勢が大凡判明しているとする。これは、例えば、ユーザがカメラ101を用意し、それを車両100に取り付けた場合を想定している。この場合、カメラを取り付ける位置が予め指定されており、そこにユーザがカメラ101をセッティングする。
車両100におけるレーザースキャナ102、GNSS位置測定装置103、IMU106の位置と姿勢の関係は予め求められており、既知であるとする。車両100の位置は、IMU106の位置で把握される。
まず、車両100を図1のX軸の方向に走行させた状態で、レーザースキャナ102による対象物(例えば建物200)のレーザースキャンと、同じ対象物に対するカメラ101による撮影を行う。この際、GNSS位置測定装置103により、車両100の絶対座標系における位置およびその変化を計測し、車両100の時刻と紐付された移動経路を把握する。この移動経路の把握では、IMU106とホイールエンコーダ107の計測値も利用する。また、これらの計測値により、移動経路の各点や指定した時刻における車両100の速度ベクトルを求めることができる。
撮影画像とレーザースキャンデータを取得した後、後処理により、下記の処理を行う。まず、同一の対象物に対するカメラ101による撮影画像とレーザースキャナ102によるレーザースキャンのデータを光学データ取得部301で取得する(ステップS101)。
次に、取得したレーザースキャンデータに基づき、点群生成部303でレーザースキャン点群を作成する。次に、カメラ101の外部標定要素の算出の前準備として、点群画像作成のための視点を仮設定する(ステップS102)。
この視点は、対象としている撮影画像のカメラ位置を算出するための初期値となる。この段階において、Δtは未知であるので、当該視点の位置もこの段階で未知である、よって、ここでは、大凡の値を初期値として設定する。なお、カメラ位置は、利用するカメラの投影原点の位置として把握される。
例えば、カメラ101に時刻Tに撮影が命令された場合を考える。ここで、撮影の命令(指示)から実際に撮影が行われるまでの遅延時間の最大値が30msと推定されるとする。この場合、30msの幅の中央の値を仮定し、T+15msに撮影が行われたと仮定する。つまり、T+15msを撮影時刻として仮定する。
そして、T+15msの時刻に、カメラ101が位置すると推定される位置を仮の視点位置X01として設定する。
ここで、車両100におけるカメラ101の凡その取り付け位置が判っているとする。この場合、IMU106に対するカメラ101の大凡のオフセット位置に基づき、時刻Tにおけるカメラ101の大凡の位置X0が判る。ここで、時刻Tにおける車両100の位置および時刻Tにおける車両の速度ベクトルVから、上記時刻Tにおけるカメラ101の位置X0を初期値として、時刻T+15msにおけるカメラ101の位置X01を計算で求める。具体的には、X01=X0+(V×15ms)により、X01を求める。
視点の位置X01を仮設定したら、その位置から先に作成したレーザースキャン点群を見た点群画像を作成する。
次に、上記の視点X01からレーザースキャン点群を見た点群画像と、時刻Tにカメラ101に撮影を命令した場合に得られた撮影画像との対応関係を求める。
次に、当該撮影画像の撮影時におけるカメラ101の外部標定要素の算出が行われる。以下、この処理について説明する。
点群画像と撮影画像の対応関係が判ることで、撮影画像中の多数の点の絶対座標系における位置が判る。ここで、座標が判明した撮影画像中の多数の点を基準点(標定点)として、後方交会法により、カメラ101の絶対座標系における位置を算出する。
また、カメラ101の光軸方向と投影原点から見た各点の方向の関係を調べることで、絶対座標系におけるカメラ101の向きを算出することができる。この手法は、単写真標定の基本的な手法である。この処理の詳細については、例えば特開2016-57108公報に記載されている。
以下、上記カメラの位置と姿勢を求める手法の原理を簡単に説明する。図6において、位置Xにカメラがあり、p1~p6はカメラ101が撮影した撮影画像の画面中の特徴点であり、P1~P6はp1~p6に対応するレーザースキャン点群の点である。なお、カメラ位置Xは未知であり、カメラの内部標定要素は既知であるとする。また、カメラ位置Xは、当該カメラの投影原点(光学原点)であるとする。
ここで、P1とp1を通る方向線、P2とp2を通る方向線、P3とp3を通る方向線、・・・を作成する。これら方向線が交わる点がカメラの位置Xとなる。この原理を利用して、ここで対象としている撮影画像の撮影時におけるカメラ101の位置(撮影の視点)X1を算出する。また、位置X1と画面の中心を通る線が当該カメラの光軸となる。この光軸と上記方向線の関係から、カメラ位置X1におけるカメラの姿勢が求められる。
なお、上記の複数の方向線の交わる点が確定できない場合、あるいは当該複数の方向線が交差する範囲が予め定めた範囲より大きい場合、時刻Tにおけるカメラ位置X0の値を変更し、再計算を行う。カメラ位置X0の値を変更し再計算を行う方法の代わり、あるいはそれに加えて、撮影画像上の特徴点と点群画像上の特徴点の対応関係を見直して再計算を行う方法もある。上記の複数の方向線の交わる点が確定、あるいは当該複数の方向線が交差する範囲が予め定めた範囲に収まるX1を探索することで、より真値に近い時刻T+Δt(真の撮影時刻)におけるカメラ101の位置X1を求めることができる。
こうして、時刻Tにカメラ101に対する撮影を命令した場合に、Δt遅延して行われた撮影時におけるカメラ101の外部標定要素(位置と姿勢)が求まる(ステップS103)。この処理がカメラ位置姿勢算出部308で行われる。
なお、この段階で得られるカメラ101の外部標定要素は、絶対座標系における値である。
この段階では、車両100におけるカメラ101の外部標定要素は未知である。これは、この段階において、Δtが未知であり、当該撮影画像の撮影時刻が未知であり、この撮影時刻における車両100の位置が未知だからである。
次に、Δtの算出が行われる(ステップS104)。Δtは、以下のようにして算出される。
ここで、撮影を命令した時刻Tにおけるカメラ101の位置をX0とすると、カメラ101による撮影が行われた時刻がT+Δtであり、その時刻のカメラ位置がX1であるので、X0からX1まで車両100(カメラ101)が移動するのに要する時間がΔtとなる。
ここで、時刻Tにおける車両100の速度が速度Vであるとすると、V=(X1-X0)/Δtが成立する。つまり、Δt=(X1-X0)/VによりΔtを求めることができる。この計算は、遅延時間(Δt)取得部305で行われる。
ここで、X1は、図6の原理により計算したカメラ101の撮影位置(カメラ位置)である。X0は、X1の計算の初期条件として仮定した時刻Tにおけるカメラ101の位置である。Vは、時刻Tにおける車両100の速度である。
また、時刻Tにおける車両100の速度ベクトルは、GNSS位置測定装置103、IMU106、ホイールエンコーダ108から得られる計測値に基づき求めることができるので、上記Vはこれら計測値から求めることができる。
Δtの算出後、ここで着目している撮影画像の撮影時T1=T+Δtの車両100におけるカメラ101の外部標定要素(位置と姿勢)を求める(ステップS105)。
すなわち、Δtが求まることで、カメラ101の実際の撮影時刻T1=T+Δtが判明する。この結果、時刻T1における車両100の位置、つまりカメラ101による撮影時の車両100の位置が分かる。また、時刻T1におけるIMU106の計測データから車両100の姿勢が判る。そして、時刻T1における車両100の位置と時刻T1におけるカメラ101の位置X1の関係から、車両100におけるカメラ101の位置が求まる。
また、時刻T1におけるカメラ101の絶対座標系における姿勢は、ステップS106で算出されている。よって、時刻T1における車両100の絶対座標系における姿勢と、時刻T1におけるカメラ101の絶対座標系における姿勢の関係から、車両100におけるカメラ101の姿勢が求まる。こうして、車両100におけるカメラ101の外部標定要素(位置と姿勢)が求まる。これらの処理はカメラ位置姿勢算出部307で行われる。
次に、図8を参照して、カメラ101が撮影した画像と、レーザースキャナ102が取得したレーザースキャンデータに基づく点群画像とを同期させる処理について説明する。なお、図8の処理は、車両100におけるカメラ101の外部標定要素が既知である状態で行なわれる。
まず、レーザースキャナ102が得たレーザースキャン点群のデータと、特定の時刻Tに出された命令に基づきカメラ101が撮影した撮影画像のデータ(画像データ)を取得する(ステップS211)。ここで、対応するレーザースキャン点群と撮影画像は、同じ対象で重複するものを取得する。
次に、レーザースキャン点群に基づき、複数の視点の位置からの点群画像を複数作成する(ステップS212)。例えば、時刻T+1msの位置を視点とした点群画像、時刻T+2msの位置を視点とした点群画像、時刻T+3msの位置を視点とした点群画像、・・・時刻T+30msの位置を視点とした点群画像を作成する。
この結果、例えば図4に例示するように時間軸上で少しずつずれた状態の点群画像が作成される。次に、カメラ101が撮影した撮影画像へのステップS212で作成した点群画像の投影を行う(ステップS213)。この投影により、重畳投影画像が作成される。なお、実際の処理では、レーザースキャン由来の点群画像から特徴点を抽出した点群特徴点画像を、撮影画像から得た画像特徴点の画像に投影する。
次に、レーザースキャナ102によるレーザースキャン由来の点群画像と、カメラ101が撮影した画像との投影画面上での残差を算出し(ステップS214)、この残差が最小となる条件を取得する(ステップS215)。例えば、図4の4パターンの投影画像の場合、T+20msの場合が、上記残差が最小の場合となる。
そして、ステップS215で取得した条件におけるΔtの値を取得する(ステップS216)。図4の場合だと、Δt=20msが取得される。最後に、ステップS216で取得したΔtに基づき、同期処理を行う(ステップS217)。この同期処理により、レーザースキャナ102によるレーザースキャン由来の点群画像と、カメラ101が撮影した画像との同期が確保される。
(優位性)
本実施形態では、カメラ101からのexposure信号を必要としない。カメラ101には、撮影を命令する撮影信号が出されるだけである。そのため、カメラ101として多様なものを利用することができる。また、exposure信号を扱うハードウェアを必要とせず、低コスト化が図れる。また、ユーザが用意したカメラを利用する場合の自由度と設定の簡便性が向上する。
本実施形態では、カメラ101からのexposure信号を必要としない。カメラ101には、撮影を命令する撮影信号が出されるだけである。そのため、カメラ101として多様なものを利用することができる。また、exposure信号を扱うハードウェアを必要とせず、低コスト化が図れる。また、ユーザが用意したカメラを利用する場合の自由度と設定の簡便性が向上する。
(その他)
撮影の間隔は任意に設定することができる。本発明で扱う撮影画像として動画を構成するフレーム画像を利用することもできる。遅延時間(時間オフセット)Δtの算出を定期的に行ってもよい。この場合、定期的にΔtが更新される。
撮影の間隔は任意に設定することができる。本発明で扱う撮影画像として動画を構成するフレーム画像を利用することもできる。遅延時間(時間オフセット)Δtの算出を定期的に行ってもよい。この場合、定期的にΔtが更新される。
移動体は、車両に限定されず、航空機や船舶であってもよい。移動体は、有人であっても無人であってもよい。
図4に例示するカメラが撮影した撮影画像と、レーザースキャン点群由来の点群画像とを重畳した重畳投影画像における撮影画像と点群画像の重なり具合の差の判定として、差が予め定めた閾値以下とする条件も可能である。例えば、両画像の重なり具合の差が1%以下といった条件でΔtを求めることも可能である。この閾値は、点群の密度や要求される分解能から決めることができる。
2.第2の実施形態
図8のステップS212で作成する点群画像の視点の範囲を図7の処理で得たカメラ101の外部標定要素に基づき決めることができる。前述したように、カメラ101の外部標定要素を求めることで、カメラ101に撮影を命令してから実際に撮影が行われるまでの遅延時間Δtが得られる。
図8のステップS212で作成する点群画像の視点の範囲を図7の処理で得たカメラ101の外部標定要素に基づき決めることができる。前述したように、カメラ101の外部標定要素を求めることで、カメラ101に撮影を命令してから実際に撮影が行われるまでの遅延時間Δtが得られる。
このΔtは、常に一定とは限らないが、大きく変動する可能性は小さい。そこで、外部標定要素から求めたΔtを参考値として、図4に例示する点群画像の視点の時間位置の範囲(視点の位置の範囲)を決定する。
例えば、ある時刻における外部標定要素から求めたカメラ101に係るΔtがΔt=15msであったとする。また、Δtの変動の範囲が10ms程度であるとする。この場合、図4に例示する視点の位置の時刻の設定の範囲を、T+10ms~T+20msとする。
この態様によれば、視点の位置を変えたレーザースキャン点群由来の点群画像の作成における視点の範囲(仮設定する遅延時間の範囲)を絞ることができる。また、この範囲が絞られることで、より細かく視点位置が設定でき、最終的に求めるΔtの精度を高めることができる。また、無駄な演算を削減できる。
3.第3の実施形態
カメラによっては、設定を変更すると、Δtが変化する場合がある。設定の変更としては、露光時間の変更、連射速度の変更、解像度の変更、光学倍率の変更、消費電力モードの変更等が挙げられる。
カメラによっては、設定を変更すると、Δtが変化する場合がある。設定の変更としては、露光時間の変更、連射速度の変更、解像度の変更、光学倍率の変更、消費電力モードの変更等が挙げられる。
このような設定の変更があった場合、それを契機として、Δtの取得に係る処理を実行する。こうすることで、Δtの変化に対応することができる。
また、複数のカメラを用いる場合に、使用するカメラを切り替えたことを契機として、Δtの取得に係る処理を実行する形態も有効である。
100…車両、101…カメラ、102…レーザースキャナ、103…GNSS位置測定装置、106…IMU、107…ホイールエンコーダ、108…演算装置。
Claims (7)
- 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、
時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを取得する遅延時間取得部と、
前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像を作成する投影部と
を備え、
前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、
前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、
前記Δtは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理装置。 - 前記レーザースキャン点群と前記撮影画像の対応関係に基づく単写真標定により、前記撮影画像の撮影時における前記カメラの位置を算出するカメラ位置算出部を備え、
前記撮影画像の撮影を命令した時刻と前記算出された前記カメラの位置の時刻との差に基づき、前記Δtの参考値の算出が行われ、
前記Δtの前記参考値に基づき、前記視点の位置の範囲が選択される請求項1に記載の光学データ処理装置。 - 前記Δtの前記参考値に対応する位置を中心とした特定の範囲が前記視点の範囲として選択される請求項2に記載の光学データ処理装置。
- 定期的に前記Δtの取得が繰り返し行われる請求項1~3のいずれか一項に記載の光学データ処理装置。
- 前記カメラの設定が変更されたことを契機として、前記Δtの取得が行われる請求項1~4のいずれか一項に記載の光学データ処理装置。
- 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、
時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtの取得と、
前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成と
を有し、
前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、
前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、
前記Δtは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、
時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtの取得と、
前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成と
を実行させ、
前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、
前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、
前記Δtは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理用プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036523A JP2022136754A (ja) | 2021-03-08 | 2021-03-08 | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム |
EP22160260.0A EP4057224A1 (en) | 2021-03-08 | 2022-03-04 | Optical data processing apparatus, optical data processing method and optical data processing program |
US17/653,632 US20220284608A1 (en) | 2021-03-08 | 2022-03-04 | Optical data processing apparatus, optical data processing method and optical data processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036523A JP2022136754A (ja) | 2021-03-08 | 2021-03-08 | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022136754A true JP2022136754A (ja) | 2022-09-21 |
Family
ID=80628874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021036523A Pending JP2022136754A (ja) | 2021-03-08 | 2021-03-08 | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220284608A1 (ja) |
EP (1) | EP4057224A1 (ja) |
JP (1) | JP2022136754A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057108A (ja) | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
US10866101B2 (en) * | 2017-06-13 | 2020-12-15 | Tusimple, Inc. | Sensor calibration and time system for ground truth static scene sparse flow generation |
EP3438776B1 (en) * | 2017-08-04 | 2022-09-07 | Bayerische Motoren Werke Aktiengesellschaft | Method, apparatus and computer program for a vehicle |
WO2019079211A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS |
JP7077044B2 (ja) * | 2018-02-13 | 2022-05-30 | 株式会社トプコン | データ処理装置、データ処理方法およびデータ処理プログラム |
US10972637B2 (en) * | 2018-03-13 | 2021-04-06 | Lyft, Inc. | Systems and methods for synchronizing sensor capture |
CN111083309B (zh) * | 2018-10-18 | 2022-04-01 | 北京魔门塔科技有限公司 | 一种多传感器数据的时间对齐方法及数据采集设备 |
-
2021
- 2021-03-08 JP JP2021036523A patent/JP2022136754A/ja active Pending
-
2022
- 2022-03-04 US US17/653,632 patent/US20220284608A1/en active Pending
- 2022-03-04 EP EP22160260.0A patent/EP4057224A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220284608A1 (en) | 2022-09-08 |
EP4057224A1 (en) | 2022-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Fast-lio: A fast, robust lidar-inertial odometry package by tightly-coupled iterated kalman filter | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
CN108732584B (zh) | 用于更新地图的方法和装置 | |
US11906983B2 (en) | System and method for tracking targets | |
JP6251142B2 (ja) | 測定対象物の非接触検知方法及びその装置 | |
JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
CN103106339A (zh) | 同步航空影像辅助的机载激光点云误差改正方法 | |
US12008768B2 (en) | Spatially-aware camera and method thereof | |
CN113820735A (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
JP3001866B1 (ja) | 飛行体を用いた測量方法及びその装置 | |
JP2014186004A (ja) | 計測装置、方法及びプログラム | |
KR101764222B1 (ko) | 고정밀 측위 시스템 및 방법 | |
KR101183866B1 (ko) | Gps/ins/영상at를 통합한 실시간 위치/자세 결정 장치 및 방법 | |
KR20160099336A (ko) | 모바일 매핑 시스템 | |
JP2022136754A (ja) | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム | |
US20230083021A1 (en) | Surveying data processor, surveying data processing method, and surveying data processing program | |
JPH10318743A (ja) | 飛行体を用いた測量方法及びその装置 | |
JP2022136764A (ja) | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム | |
KR102576449B1 (ko) | 3차원 모델에 대한 영상 정합 장치 및 방법 | |
JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
Bukin et al. | A computer vision system for navigation of ground vehicles: Hardware and software | |
d’Angelo et al. | Aircraft based real time bundle adjustment and digital surface model generation | |
JPH10153426A (ja) | 地形測定装置 | |
El-Sheimy | An expert knowledge GPS/INS system for mobile mapping and GIS applications | |
Trusheim et al. | Cooperative localisation using image sensors in a dynamic traffic scenario |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240219 |