JP2022136764A - 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム - Google Patents
光学データ処理装置、光学データ処理方法および光学データ処理用プログラム Download PDFInfo
- Publication number
- JP2022136764A JP2022136764A JP2021036537A JP2021036537A JP2022136764A JP 2022136764 A JP2022136764 A JP 2022136764A JP 2021036537 A JP2021036537 A JP 2021036537A JP 2021036537 A JP2021036537 A JP 2021036537A JP 2022136764 A JP2022136764 A JP 2022136764A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- time
- image
- optical data
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 abstract description 40
- 238000003384 imaging method Methods 0.000 abstract 2
- 238000005259 measurement Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000002271 resection Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】簡便な方法で複数の光学データ間の同期を確保する複数の光学データ間の同期をとる光学データ処理装置、方法及びプログラムを提供する。【解決手段】車両100に搭載された演算装置108は、移動している車両に搭載されたレーザースキャナ102により得たレーザースキャン点群及び移動している車両に搭載されたカメラ101が撮影した撮影画像の画像データを取得する光学データ取得部と、レーザースキャン点群を特定の視点から見た点群画像と撮影画像との対応関係を求める対応関係特定部と、対応関係に基づき単写真標定により撮影画像の撮影時におけるカメラの位置を求めるカメラ位置姿勢算出部と、時刻Tにカメラに対して撮影を命令した際にΔt遅延してカメラによる撮影が行われる場合におけるΔtを算出する遅延時間(Δt)算出部と、を備える。遅延時間(Δt)算出部は、カメラの位置に対応する時刻と前記時刻Tの差から、Δtを算出する。【選択図】図1
Description
本発明は、複数の光学データ間の同期をとる技術に関する。
移動体にレーザースキャナ、カメラ、GNSS位置測定装置、IMUその他計測機器を搭載し、移動しながら周囲の三次元計測を行う技術が知られている(例えば、特許文献1を参照)。
上記の記述においては、例えば、レーザースキャナが取得したレーザースキャン点群とカメラが撮影した撮影画像との比較、更には両者の統合を行うために、両者を同期させる処理が必要となる。
この同期をとる方法として、カメラに撮影命令信号を出力し、カメラからexposure信号(実際にシャッターを切ったタイミングを示す信号)が出力され、このexposure信号に基づき、撮影画像の撮影時刻の管理を行う方法が採用されている。
上記のexposure信号を用いる方法は、カメラ側にexposure信号を出力する機能が必用であり、また制御側もexposure信号を扱うための設定が必用となる。また、exposure信号を扱う信号伝送手段も必要となる。
このため、全般的に高コスト化し、またシステムとしての汎用性が低下する。また、ユーザが用意したカメラを利用する場合に制限が多く、システムとしての使い勝手が良くない。
このような背景において、本発明は、簡便な方法で複数の光学データ間の同期を確保できる技術の提供を目的とする。
本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置X1を求めるカメラ位置算出部と、時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを算出する遅延時間算出部とを備え、前記Δtは、前記X1に基づき算出される光学データ処理装置である。
本発明において、前記Δtは、前記時刻Tにおける前記カメラの位置をX0、前記時刻Tにおける前記移動体の速度をVとして、Δt=(X1-X0)/Vにより算出される態様が挙げられる。
本発明において、前記X0として、前記単写真標定における初期条件が採用される態様が挙げられる。
本発明において、前記移動体の位置と時刻の関係は取得されており、前記移動体における前記カメラの位置は既知であり、前記カメラの位置X1に対応する時刻T1は、前記X1、前記移動体の位置と時刻の関係および前記移動体における前記カメラの位置に基づき算出され、前記時刻Tと前記時刻T1の差から前記Δtが算出される態様が挙げられる。
本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得ステップと、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定ステップと、前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置X1を求めるカメラ位置算出ステップと、時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを算出する遅延時間算出ステップとを備え、前記Δtは、前記X1に基づき算出される光学データ処理方法として把握することもできる。
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置X1を求めるカメラ位置算出部と、時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを算出する遅延時間算出部として動作させ、前記Δtは、前記X1に基づき算出される光学データ処理用プログラムとして把握することもできる。
本発明によれば、簡便な方法で複数の光学データ間の同期を確保できる技術が得られる。
1.第1の実施形態
(構成)
図1は、実施形態の概念図である。図1には、移動体の一例である車両100が示されている。車両100は、カメラ101、レーザースキャナ102、GNSS位置測定装置103、IMU(慣性計測装置)106、ホイールエンコーダ107、演算装置108を搭載している。
(構成)
図1は、実施形態の概念図である。図1には、移動体の一例である車両100が示されている。車両100は、カメラ101、レーザースキャナ102、GNSS位置測定装置103、IMU(慣性計測装置)106、ホイールエンコーダ107、演算装置108を搭載している。
この例では、車両100を走行させながら、カメラ101による対象物200に対する撮影と、レーザースキャナ102による対象物200に対するレーザースキャンを行う。
車両100におけるレーザースキャナ102、GNSS位置測定装置103、IMU106の位置と姿勢の関係は予め取得され既知である。なお、カメラ101の車両100における大凡の位置と姿勢は判明している。これは、例えば、ユーザによりカメラ101が車両に取り付けられた場合を想定している。
カメラ101は、デジタルスチールカメラであり、静止画像を撮影する。動画を撮影できるカメラを利用することもできる。この例において、カメラ101は、特定の時間間隔で繰り返し静止画像の撮影を行う。動画撮影を行う場合は、動画を構成するフレーム画像が利用される。
カメラ101には、撮影命令信号が出力され、この信号を受けてカメラ101は撮影を行う。カメラ101は、exposure信号またはそれに相当する信号、すなわち撮影を行ったタイミングを確定できる信号を出力しない。カメラ101として、exposure信号またはそれに相当する信号を出力する仕様のものを採用することもできる。この場合、exposure信号は利用せず、そのためのハードウェアや設定は必要ない。
撮影命令信号を受けてからカメラ101による撮影が行われるタイミングには、遅延時間Δtがある。最初の段階で遅延時間Δtは未知である。遅延は、カメラ101内部での撮影に必要な処理に要する時間に起因する。Δtは、カメラの種類や機種によって異なる。また、同じカメラであっても動作モードや撮影条件の違いによってもΔtが違う場合も有り得る。
なお、撮影時刻は、露光を開始した時刻とする。撮影時刻としては、露光時間の中心の時刻や露光が終わった時刻を採用することもできる。また、カメラ101の位置は、カメラ101の投影原点(光学原点)の位置として把握される。
レーザースキャナ102は、測距用のレーザー光を広範囲あるいは特定の範囲でスキャンして照射することで、レーザースキャンデータを得る。例えば、鉛直面に沿って数kHz~数百kHzの繰り返し周波数でパルスレーザー光を走査して照射し、線状のレーザースキャンが行われる。車輛100を走行させながら上記のレーザースキャンを行うことで、特定の範囲のレーザースキャンが行われる。面状に分布した多数のレーザースキャン光を同時に照射し、ある範囲のレーザースキャンデータを同時に得るレーザースキャナを用いることもできる。
レーザースキャナ102の位置は、レーザースキャン光の発光点および受光点の原点となる位置として把握される。
レーザースキャナ102では、レーザースキャン光の発光時刻、対象物から反射したレーザースキャン光の受光時刻が管理されている。この時刻を刻む時計は、例えばGNSS位置測定装置103が内蔵する時計が利用される。
GNSS位置測定装置103は、GPS衛星等の航法衛星から送信される航法信号に基づき絶対座標系(グローバル座標系)における位置の計測を行う。絶対座標系は、地図情報の記述で用いられる座標系である。絶対座標系では、例えば、緯度・経度・標高によって位置が特定される。IMU(慣性計測装置)106は、加速度と向きの変化を計測する。ホイールエンコーダ107は、車両100の車輪の回転を検出し、車両100の走行距離(移動量)を計測する。
GNSS位置測定装置103の計測値の変化、IMU106により計測される車両100の加速度の変化と向き変化、およびホイールエンコーダ107により計測される車両100の走行距離から、時刻に紐付された車両100の移動軌跡が算出される。
GNSS位置測定装置103は、高精度の時計を備えており、この時計を用いて車両100における時刻が確定される。
図2に演算装置108のブロック図を示す。演算装置108は、上述したカメラ101の遅延時間Δtに関係する演算を行う。演算装置108は、コンピュータであり、CPU、データ記憶装置、入出力インターフェース、通信装置を備える。演算装置108として、汎用のPC(パーソナル・コンピュータ)を用いることもできる。演算装置108を専用のハードウェアで構成してもよい。演算装置108での処理をサーバで行う形態も可能である。演算装置108の機能を複数のコンピュータを用いて分散して行う形態も可能である。
演算装置108は、光学データ取得部301、撮影命令信号出力部302、速度ベクトル算出部303、レーザースキャン点群作成部304、視点設定部305、点群画像作成部306、対応関係特定部307、カメラ位置姿勢算出部308、遅延時間(Δt)算出部309、同期処理部310を有する。
これらの機能部は、ソフトウェアの実行により、演算装置108を構成するコンピュータにより実現される。図2に示す機能部の一以上を専用のハードウェアで構成することも可能である。
光学データ取得部301は、カメラ101が撮影した画像の画像データと、レーザースキャナ102が得たレーザースキャンデータを取得する。また、光学データ取得部301は、レーザースキャナ102が得たレーザースキャンデータに基づくレーザースキャン点群のデータを取得する。
撮影命令信号出力部302は、カメラ101に撮影を命令(指示)する信号を出力する。例えば、図1の時刻Tに撮影命令信号出力部302からカメラ101に撮影を命令する撮影命令信号が出力される。
速度ベクトル算出部303は、GNSS位置測定装置103が測定した車両100の位置の変化、IMU106が計測した車両100の速度の変化および向きの変化、およびホイールエンコーダ107が計測した車両100の車輪の回転数に基づき、車両100の速度ベクトルを算出する。例えば、特定の時刻や位置における車両100の速度ベクトルが速度ベクトル算出部303により算出される。
レーザースキャン点群作成部304は、レーザースキャナ102が取得したレーザースキャンデータに基づき、レーザースキャン点群を作成する。レーザースキャナ102は、レーザースキャン光の反射点の方向(レーザースキャナから見た方向)と、その点までの距離を計測し、この反射点までの方向と距離のデータをレーザースキャンデータとして出力する。この方向と距離に基づき、反射点(レーザースキャン点)の三次元座標を算出する。この処理がレーザースキャン点群作成部304で行われる。この三次元座標が求められた反射点の集合がレーザースキャン点群となる。
レーザースキャナ102の車両100における位置と姿勢は既知であり、車両100の絶対座標系における位置は、GNSS位置測定装置で測定される。よって、上記のレーザースキャン点群は、絶対座標系上で記述された点群データとなる。
視点設定部305は、レーザースキャン点群作成部304が作成したレーザースキャン点群を見る視点を設定する。この視点からレーザースキャン点群を見た場合の見た目の点の分布の画像が点群画像となる。
点群画像作成部306は、レーザースキャン点群を特定の視点からみた画像である点群画像を作成する。図3には、位置Xを視点として作成した点群画像と、位置X+Δxを視点として作成した点群画像が示されている。点群画像は、3次元空間上に分布する点の集合であるレーザースキャン点群を特定の視点から見た場合における見た目の点の集合の状態を示す画像である。当然、視点の位置が違えば、3次元空間に配置された点の集合の見え方は変化する。
対応関係特定部307は、撮影画像と点群画像の間の対応関係の特定を行う。対応関係の特定は、テンプレートマッチング等の公知のマッチング手法を用いて行われる。撮影画像と点群画像の間の対応関係の特定の手法としては複数の方法がある。
第1の方法は、撮影画像から特徴点を抽出し、特徴点画像を作成し、この特徴点画像と点群画像の対応関係の特定を行う方法である。第2の方法は、点群画像の基となるレーザースキャン点群に基づく三次元モデルを作成し、この三次元モデルを当該点群画像の視点から見た画像を三次元モデル画像として得、この三次元モデル画像と撮影画像の対応関係の特定を行う方法である。第3の方法は、撮影画像を点で描画した点描画画像に変換し、この点描画画像と点群画像の対応関係の特定を行う手法である。
カメラ位置姿勢算出部308は、カメラ位置算出部の一例である。カメラ位置姿勢算出部308は、車両100におけるカメラ101の外部標定要素(位置と姿勢)を算出する。この処理の詳細は後述する。
遅延時間(Δt)算出部309は、カメラ101に対して撮影を命令してから実際に撮影が行われるまでの遅延時間Δtを算出する。この処理の詳細については後述する。
同期処理部310は、算出した遅延時間Δtに基づき、レーザースキャナ102が取得したレーザースキャン点群に基づく点群画像と、カメラ101が撮影した撮影画像とを同期させる同期処理を行う。
同期処理には、複数の方法がある。第1の方法は、点群画像を時間軸上で移動させ、撮影画像と同期させる方法である。例えば、時刻Tにカメラ101に撮影を命令した場合にΔt遅延して撮影が行われとする。この場合、T+Δtの時刻に対応する位置を視点とした点群画像を作成することで、点群画像と撮影画像の同期をとることができる。
同期処理の第2の方法は、撮影画像の方を時間軸上で移動させる方法である。この場合、T+Δtの時刻に撮影された画像を時刻Tの視点の位置から見た画像に変換する。この変換は、例えば射影変換により行う。これにより、時刻Tにおける視点でレーザースキャンデータ由来の点群画像と、カメラ101が撮影した撮影画像の同期をとることができる。なお、点群画像と撮影画像の両方を時間軸上で移動(視点の空間軸上での移動)を行う形態も可能である。
同期処理の第3の方法は、カメラ101の撮影タイミングの遅れを考慮し、予めΔt早めたタイミングで撮影の命令を出す方法である。例えば、時刻Tに撮影を行いたい場合、時刻T-Δtに撮影命令信号をカメラ101に向けて出力する。この場合、撮影命令信号を出力してからΔt遅延した後の時刻Tにカメラ101による撮影が行われる。この場合、撮影画像と時刻Tの視点から作成した点群画像との同期が確保される。
(処理の一例)
以下、演算装置108で行われる処理の一例を説明する。図5は、処理の手順の一例を示すフローチャートである。図5の処理を実行するためのプログラムは、演算装置108を構成するPCの記憶装置に記憶され、当該PCのCPUにより実行される。当該プログラムを適当な記憶媒体に記憶する形態も可能である。当該プログラムをインターネットに接続されたサーバに記憶し、そこから演算装置108を実現するためのPCにダウンロードする形態も可能である。
以下、演算装置108で行われる処理の一例を説明する。図5は、処理の手順の一例を示すフローチャートである。図5の処理を実行するためのプログラムは、演算装置108を構成するPCの記憶装置に記憶され、当該PCのCPUにより実行される。当該プログラムを適当な記憶媒体に記憶する形態も可能である。当該プログラムをインターネットに接続されたサーバに記憶し、そこから演算装置108を実現するためのPCにダウンロードする形態も可能である。
ここでは、初期の段階において、車両100におけるカメラ101の位置と姿勢が大凡判明しているとする。これは、例えば、ユーザがカメラ101を用意し、それを車両100に取り付けた場合を想定している。この場合、カメラを取り付ける位置が予め指定されており、そこにユーザがカメラ101をセッティングする。
車両100におけるレーザースキャナ102、GNSS位置測定装置103、IMU106の位置と姿勢の関係は予め求められており、既知であるとする。車両100の位置は、IMU106の位置で把握される。
まず、車両100を図1のX軸の方向に走行させた状態で、レーザースキャナ102による対象物(例えば建物200)のレーザースキャンと、同じ対象物に対するカメラ101による撮影を行う。この際、GNSS位置測定装置103により、車両100の絶対座標系における位置およびその変化を計測し、車両100の時刻と紐付された移動経路を把握する。この移動経路の把握では、IMU106とホイールエンコーダ107の計測値も利用する。また、これらの計測値により、移動経路の各点や指定した時刻における車両100の速度ベクトルを求めることができる。
撮影画像とレーザースキャンデータを取得した後、後処理により、下記の処理を行う。まず、同一の対象物に対するカメラ101による撮影画像とレーザースキャナ102によるレーザースキャンのデータを光学データ取得部301で取得する(ステップS101)。
次に、ステップS101で取得したレーザースキャンデータに基づき、レーザースキャン点群作成部304でレーザースキャン点群を作成する(ステップS102)。次に、カメラ101の外部標定要素の算出の前準備として、点群画像作成のための視点を仮設定する。(ステップS103)。この設定は、視点設定部304で行われる。
この視点は、対象としている撮影画像のカメラ位置を算出するための初期値となる。この段階において、Δtは未知であるので、当該視点の位置もこの段階で未知である、よって、ここでは、大凡の値を初期値として設定する。なお、カメラ位置は、利用するカメラの投影原点の位置として把握される。
例えば、カメラ101に時刻Tに撮影が命令された場合を考える。ここで、撮影の命令(指示)から実際に撮影が行われるまでの遅延時間の最大値が30msと推定されるとする。この場合、30msの幅の中央の値を仮定し、T+15msに撮影が行われたと仮定する。つまり、T+15msを撮影時刻として仮定する。
そして、T+15msの時刻に、カメラ101が位置すると推定される位置を仮の視点位置X01として設定する。
ここで、車両100におけるカメラ101の凡その取り付け位置が判っているとする。この場合、IMU106に対するカメラ101の大凡のオフセット位置に基づき、時刻Tにおけるカメラ101の大凡の位置X0が判る。ここで、時刻Tにおける車両100の位置および時刻Tにおける車両の速度ベクトルVから、上記時刻Tにおけるカメラ101の位置X0を初期値として、時刻T+15msにおけるカメラ101の位置X01を計算で求める。具体的には、X01=X0+(V×15ms)により、X01を求める。
視点の位置X01を仮設定したら、その位置からステップS102で作成したレーザースキャン点群を見た点群画像を作成する(ステップS104)。点群画像の作成は、点群画像作成部306で行われる。
次に、上記の視点X01からレーザースキャン点群を見た点群画像と、時刻Tにカメラ101に撮影を命令した場合に得られた撮影画像との対応関係を求める(ステップS105)。この処理は、対応関係特定部307で行われる。
次に、当該撮影画像の撮影時におけるカメラ101の外部標定要素の算出が行われる(ステップS106)。以下、この処理について説明する。
点群画像と撮影画像の対応関係が判ることで、撮影画像中の多数の点の絶対座標系における位置が判る。ここで、座標が判明した撮影画像中の多数の点を基準点(標定点)として、後方交会法により、カメラ101の絶対座標系における位置を算出する。
また、カメラ101の光軸方向と投影原点から見た各点の方向の関係を調べることで、絶対座標系におけるカメラ101の向きを算出することができる。この手法は、単写真標定の基本的な手法である。この処理の詳細については、例えば特開2016-57108公報に記載されている。
以下、上記カメラの位置と姿勢を求める手法の原理を簡単に説明する。図4において、位置Xにカメラがあり、p1~p6はカメラ101が撮影した撮影画像の画面中の特徴点であり、P1~P6はp1~p6に対応するレーザースキャン点群の点である。なお、カメラ位置Xは未知であり、カメラの内部標定要素は既知であるとする。また、カメラ位置Xは、当該カメラの投影原点(光学原点)であるとする。
ここで、P1とp1を通る方向線、P2とp2を通る方向線、P3とp3を通る方向線、・・・を作成する。これら方向線が交わる点がカメラの位置Xとなる。この原理を利用して、ここで対象としている撮影画像の撮影時におけるカメラ101の位置(撮影の視点)X1を算出する。また、位置X1と画面の中心を通る線が当該カメラの光軸となる。この光軸と上記方向線の関係から、カメラ位置X1におけるカメラの姿勢が求められる。
なお、上記の複数の方向線の交わる点が確定できない場合、あるいは当該複数の方向線が交差する範囲が予め定めた範囲より大きい場合、時刻Tにおけるカメラ位置X0の値を変更し、再計算を行う。カメラ位置X0の値を変更し再計算を行う方法の代わり、あるいはそれに加えて、撮影画像上の特徴点と点群画像上の特徴点の対応関係を見直して再計算を行う方法もある。上記の複数の方向線の交わる点が確定、あるいは当該複数の方向線が交差する範囲が予め定めた範囲に収まるX1を探索することで、より真値に近い時刻T+Δt(真の撮影時刻)におけるカメラ101の位置X1を求めることができる。
こうして、時刻Tにカメラ101に対する撮影を命令した場合に、Δt遅延して行われた撮影時におけるカメラ101の外部標定要素(位置と姿勢)が求まる(ステップS106)。この処理はカメラ位置姿勢算出部308で行われる。
なお、この段階(ステップS106)で得られるカメラ101の外部標定要素は、絶対座標系における値である。
この段階では、車両100におけるカメラ101の外部標定要素は未知である。これは、この段階において、Δtが未知であり、当該撮影画像の撮影時刻が未知であり、この撮影時刻における車両100の位置が未知だからである。
次に、Δtの算出が行われる(ステップS107)。Δtは、以下のようにして算出される。
ここで、撮影を命令した時刻Tにおけるカメラ101の位置をX0とすると、カメラ101による撮影が行われた時刻がT+Δtであり、その時刻のカメラ位置がX1であるので、X0からX1まで車両100(カメラ101)が移動するのに要する時間がΔtとなる。
ここで、時刻Tにおける車両100の速度が速度Vであるとすると、V=(X1-X0)/Δtが成立する。つまり、Δt=(X1-X0)/VによりΔtを求めることができる。この計算は、遅延時間(Δt)算出部309で行われる。
ここで、X1は、図4の原理により計算したカメラ101の撮影位置(カメラ位置)である。X0は、X1の計算の初期条件として仮定した時刻Tにおけるカメラ101の位置である。Vは、時刻Tにおける車両100の速度である。
また、時刻Tにおける車両100の速度ベクトルは、GNSS位置測定装置103、IMU106、ホイールエンコーダ108から得られる計測値に基づき求めることができるので、上記Vはこれら計測値から求めることができる。
Δtの算出後、ここで着目している撮影画像の撮影時T1=T+Δtの車両100におけるカメラ101の外部標定要素(位置と姿勢)を求める(ステップS108)。
すなわち、Δtが求まることで、カメラ101の実際の撮影時刻T1=T+Δtが判明する。この結果、時刻T1における車両100の位置、つまりカメラ101による撮影時の車両100の位置が分かる。また、時刻T1におけるIMU106の計測データから車両100の姿勢が判る。そして、時刻T1における車両100の位置と時刻T1におけるカメラ101の位置X1の関係から、車両100におけるカメラ101の位置が求まる。
また、時刻T1におけるカメラ101の絶対座標系における姿勢は、ステップS106で算出されている。よって、時刻T1における車両100の絶対座標系における姿勢と、時刻T1におけるカメラ101の絶対座標系における姿勢の関係から、車両100におけるカメラ101の姿勢が求まる。こうして、車両100におけるカメラ101の外部標定要素(位置と姿勢)が求まる。これらの処理はカメラ位置姿勢算出部308で行われる。
Δtを得たら、同期処理を行う(ステッS109)。同期処理を行うことで、カメラ101が撮影した撮影画像とレーザースキャナ102が取得したレーザースキャン点群との同期をとることができる。
この同期処理により、レーザースキャナ102によるレーザースキャン由来の点群画像と、カメラ101が撮影した画像との同期が確保される。
(優位性)
本実施形態では、カメラ101からのexposure信号を必要としない。カメラ101には、撮影を命令する撮影信号が出されるだけである。そのため、カメラ101として多様なものを利用することができる。また、exposure信号を扱うハードウェアを必要とせず、低コスト化が図れる。また、ユーザが用意したカメラを利用する場合の自由度と設定の簡便性が向上する。
本実施形態では、カメラ101からのexposure信号を必要としない。カメラ101には、撮影を命令する撮影信号が出されるだけである。そのため、カメラ101として多様なものを利用することができる。また、exposure信号を扱うハードウェアを必要とせず、低コスト化が図れる。また、ユーザが用意したカメラを利用する場合の自由度と設定の簡便性が向上する。
(その他)
撮影の間隔は任意に設定することができる。本発明で扱う撮影画像として動画を構成するフレーム画像を利用することもできる。遅延時間(時間オフセット)Δtの算出を定期的に行ってもよい。この場合、定期的にΔtが更新される。
撮影の間隔は任意に設定することができる。本発明で扱う撮影画像として動画を構成するフレーム画像を利用することもできる。遅延時間(時間オフセット)Δtの算出を定期的に行ってもよい。この場合、定期的にΔtが更新される。
移動体は、車両に限定されず、航空機や船舶であってもよい。移動体は、有人であっても無人であってもよい。
2.第2の実施形態
ここでは、車両100におけるカメラ101の位置が既知である場合の例を説明する。なお、車両100におけるカメラ101の姿勢は未知であってもよいし、既知であってもよい。
ここでは、車両100におけるカメラ101の位置が既知である場合の例を説明する。なお、車両100におけるカメラ101の姿勢は未知であってもよいし、既知であってもよい。
この場合、車両100とカメラ101の位置の関係に基づき、車両100の移動軌跡をカメラ101の移動軌跡に変換し、カメラ101の移動軌跡が得られる。そして、ステップS106でのカメラ位置が算出された段階で、この算出カメラ位置に最も近い上記カメラの移動軌跡上の時刻を取得する。この時刻が、実際に行なわれたカメラ101の撮影時刻T1=T+Δtとなる。そして、撮影を命令した時刻Tと上記T1=T+Δtとの差がΔtとなる。
3.第3の実施形態
図4に原理を示す後方交会法で求めたカメラ位置と、初期に仮設定した視点の位置に鉛直方向で差がある場合、それはΔtに起因するより、そもそもの視点の仮設定時に鉛直方向における誤差が存在していた可能性が高い。このような場合、得られた鉛直方向の差を勘案して、再度視点の初期設定を行い、第1の実施形態で説明した後方交会法を用いたカメラ位置の算出を再度行う。そして、再度Δtの算出を行う。こうすることで、カメラ101の外部標定要素の精度とΔtの精度を高めることができる。
図4に原理を示す後方交会法で求めたカメラ位置と、初期に仮設定した視点の位置に鉛直方向で差がある場合、それはΔtに起因するより、そもそもの視点の仮設定時に鉛直方向における誤差が存在していた可能性が高い。このような場合、得られた鉛直方向の差を勘案して、再度視点の初期設定を行い、第1の実施形態で説明した後方交会法を用いたカメラ位置の算出を再度行う。そして、再度Δtの算出を行う。こうすることで、カメラ101の外部標定要素の精度とΔtの精度を高めることができる。
同様なことは、車両の幅方向におけるカメラ位置について、後方交会法で求めたカメラ位置と、初期に仮設定した視点の位置に差がある場合についてもいえる。つまり、車両100の進行方向に直行する方向について、後方交会法で求めたカメラ位置と、初期に仮設定した視点の位置に差がある場合、その差を是正した初期値を再設定し、再度図4の原理によるカメラ位置の算出を行う。また、この再度算出されたカメラ位置に基づき、Δtの算出を行う。
4.第4の実施形態
カメラによっては、設定を変更すると、Δtが変化する場合がある。設定の変更としては、露光時間の変更、連射速度の変更、解像度の変更、光学倍率の変更、消費電力モードの変更等が挙げられる。
カメラによっては、設定を変更すると、Δtが変化する場合がある。設定の変更としては、露光時間の変更、連射速度の変更、解像度の変更、光学倍率の変更、消費電力モードの変更等が挙げられる。
このような設定の変更があった場合、それを契機として、Δtの取得に係る処理を実行する。こうすることで、Δtの変化に対応することができる。
また、複数のカメラを用いる場合に、使用するカメラを切り替えたことを契機として、Δtの取得に係る処理を実行する形態も有効である。
5.第5の実施形態
初期に仮設定する視点の位置を複数設定し、後方公交会法(単写真標定)による算出値の収束がより良い視点の位置を選択することも可能である。例えば、仮設定される視点の位置として、T+1ms、T+2ms、T+3ms、・・・T+30msと1ms間隔で視点の位置の仮設定を行う。そして、各仮設定位置の視点に関して、第1の実施形態で説明した方法によりカメラ101の外部標定要素の算出を行う。
初期に仮設定する視点の位置を複数設定し、後方公交会法(単写真標定)による算出値の収束がより良い視点の位置を選択することも可能である。例えば、仮設定される視点の位置として、T+1ms、T+2ms、T+3ms、・・・T+30msと1ms間隔で視点の位置の仮設定を行う。そして、各仮設定位置の視点に関して、第1の実施形態で説明した方法によりカメラ101の外部標定要素の算出を行う。
この際、カメラ位置の算出値の収束性の良い仮設定値を、より真値に近い仮設定値として採用する。また、その際に得られた算出値をカメラ101の外部標定要素(位置と姿勢)として採用する。
この細かく刻んだ仮設定値の設定は、車両100の鉛直方向および幅方向において行う形態も可能である。
100…車両、101…カメラ、102…レーザースキャナ、103…GNSS位置測定装置、106…IMU、107…ホイールエンコーダ、108…演算装置。
Claims (6)
- 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、
前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、
前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置X1を求めるカメラ位置算出部と、
時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを算出する遅延時間算出部と
を備え、
前記Δtは、前記X1に基づき算出される光学データ処理装置。 - 前記Δtは、前記時刻Tにおける前記カメラの位置をX0、
前記時刻Tにおける前記移動体の速度をVとして、
Δt=(X1-X0)/Vにより算出される請求項1に記載の光学データ処理装置。 - 前記X0として、前記単写真標定における初期条件が採用される請求項2に記載の光学データ処理装置。
- 前記移動体の位置と時刻の関係は取得されており、
前記移動体における前記カメラの位置は既知であり、
前記カメラの位置X1に対応する時刻T1は、前記X1、前記移動体の位置と時刻の関係および前記移動体における前記カメラの位置に基づき算出され、
前記時刻Tと前記時刻T1の差から前記Δtが算出される請求項1に記載の光学データ処理装置。 - 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得ステップと、
前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定ステップと、
前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置X1を求めるカメラ位置算出ステップと、
時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを算出する遅延時間算出ステップと
を備え、
前記Δtは、前記X1に基づき算出される光学データ処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、
前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、
前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置X1を求めるカメラ位置算出部と、
時刻Tに前記カメラに対して撮影を命令した際にΔt遅延して前記カメラによる撮影が行われる場合における前記Δtを算出する遅延時間算出部と
して動作させ、
前記Δtは、前記X1に基づき算出される光学データ処理用プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036537A JP2022136764A (ja) | 2021-03-08 | 2021-03-08 | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム |
US17/653,636 US20220283272A1 (en) | 2021-03-08 | 2022-03-04 | Optical data processing apparatus, optical data processing method and optical data processing program |
EP22160255.0A EP4057223A1 (en) | 2021-03-08 | 2022-03-04 | Optical data processing apparatus, optical data processing method and optical data processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021036537A JP2022136764A (ja) | 2021-03-08 | 2021-03-08 | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022136764A true JP2022136764A (ja) | 2022-09-21 |
Family
ID=80628578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021036537A Pending JP2022136764A (ja) | 2021-03-08 | 2021-03-08 | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220283272A1 (ja) |
EP (1) | EP4057223A1 (ja) |
JP (1) | JP2022136764A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057108A (ja) | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
WO2019079211A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS |
CN111083309B (zh) * | 2018-10-18 | 2022-04-01 | 北京魔门塔科技有限公司 | 一种多传感器数据的时间对齐方法及数据采集设备 |
-
2021
- 2021-03-08 JP JP2021036537A patent/JP2022136764A/ja active Pending
-
2022
- 2022-03-04 US US17/653,636 patent/US20220283272A1/en active Pending
- 2022-03-04 EP EP22160255.0A patent/EP4057223A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4057223A1 (en) | 2022-09-14 |
US20220283272A1 (en) | 2022-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Fast-lio: A fast, robust lidar-inertial odometry package by tightly-coupled iterated kalman filter | |
CN109887057B (zh) | 生成高精度地图的方法和装置 | |
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
CN109885080B (zh) | 自主控制***及自主控制方法 | |
US11906983B2 (en) | System and method for tracking targets | |
US10509983B2 (en) | Operating device, operating system, operating method, and program therefor | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
Li et al. | Self-positioning for UAV indoor navigation based on 3D laser scanner, UWB and INS | |
US10527423B1 (en) | Fusion of vision and depth sensors for navigation in complex environments | |
JP2018013337A (ja) | 飛行物体の誘導位置決め装置および方法 | |
JP2019039868A (ja) | 情報処理装置、情報処理方法および情報処理用プログラム | |
JP2014186004A (ja) | 計測装置、方法及びプログラム | |
JP3001866B1 (ja) | 飛行体を用いた測量方法及びその装置 | |
CN114667541A (zh) | 使用人体关节校准无人驾驶飞行器上的摄影机 | |
JP2022015978A (ja) | 無人航空機の制御方法、無人航空機、および、無人航空機の制御プログラム | |
KR20160099336A (ko) | 모바일 매핑 시스템 | |
KR100797391B1 (ko) | 카메라의 위치 및 자세 정보 보정 방법 및 장치 | |
Han et al. | Multiple targets geolocation using SIFT and stereo vision on airborne video sequences | |
CN116952229A (zh) | 无人机定位方法、装置、***和存储介质 | |
JP6570344B2 (ja) | 経路生成方法とシステム | |
JP2022136764A (ja) | 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム | |
JPH10318743A (ja) | 飛行体を用いた測量方法及びその装置 | |
US20220277480A1 (en) | Position estimation device, vehicle, position estimation method and position estimation program | |
MacArthur et al. | Unmanned ground vehicle state estimation using an unmanned air vehicle | |
CN115808161A (zh) | 测量数据处理装置、测量数据处理方法和测量数据处理用程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240219 |