JP7162218B2

JP7162218B2 - 俯瞰映像提示システム

Info

Publication number: JP7162218B2
Application number: JP2019057052A
Authority: JP
Inventors: 廉小松; 浩光藤井; 彰太筑紫; 雄介田村; 圭司永谷; 淳山下; 一淺間; 浩幸岡本; アレサンドロモロ; 新吾山本; 拓史千葉; 郁也坂井
Original assignee: Fujita Corp; University of Tokyo NUC
Current assignee: Fujita Corp; University of Tokyo NUC
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2022-10-28
Anticipated expiration: 2039-03-25
Also published as: JP2020161895A

Description

本発明は、俯瞰映像提示システムに関する。

近年、災害現場の復旧作業における遠隔操作可能な移動装置（以下、適宜「遠隔移動装置」と記載する）の利用に伴って、復旧作業の作業効率の向上を目的とした遠隔移動装置の映像提示技術の開発が盛んに行なわれている。例えば、災害現場の映像提示技術の１つとして例示される俯瞰映像提示システムは、遠隔移動装置に広角レンズを備えた複数台のカメラを搭載し、複数台のカメラから取得した映像を処理することによって、遠隔移動装置を上空の第三者視点から俯瞰したような映像を疑似的に提示することができる。

特表２０１７－５３８２０８号公報特開２０１７－１７３２９８号公報特開２０１８－５０１１９号公報

従来の俯瞰映像提示システムは、遠隔移動装置の周囲にある物体が俯瞰映像上に正確に描画されない結果、遠隔移動装置を取り巻く周囲の状況を、遠隔移動装置のオペレータに正確に伝えられない場合がある。

本開示は、上記の課題に鑑みてなされたものであって、遠隔操作により移動可能な移動装置を取り巻く周囲の状況をより正確に提示することができる俯瞰映像提示システムを提供することを目的とする。

上記の目的を達成するため、本開示の一態様の俯瞰映像提示システムは、遠隔操作可能であって、周囲を広角に撮影する複数台の第１カメラと、進行方向を撮影し、かつ奥行方向の深度情報を取得する第２カメラと、を含む移動装置と、前記第１カメラ及び前記第２カメラによって撮影される領域に設置され、かつ寸法情報が既知であるマーカと、前記移動装置とデータ通信可能である情報処理装置と、を備え、前記情報処理装置は、前記第１カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像を生成する第１俯瞰映像生成部と、前記第２カメラにより取得された奥行方向の深度情報を含む映像を、前記俯瞰視点から視た映像に視点変換することにより第２俯瞰映像を生成する第２俯瞰映像生成部と、前記第１俯瞰映像に含まれるマーカと前記第２俯瞰映像に含まれるマーカとの相対的な位置関係に基づいて前記第２俯瞰映像を補正し、前記第１俯瞰映像に補正された前記第２俯瞰映像を投影することにより３次元情報を含む第３俯瞰映像を生成する第３俯瞰映像生成部と、を備える。

俯瞰映像提示システムの望ましい態様として、前記第３俯瞰映像生成部は、前記３次元情報に基づいて、前記第３俯瞰映像における地面から所定の閾値以上の高さ及び所定の閾値以下の深さの障害物を強調表示する。

本開示によれば、遠隔操作により移動可能な移動装置を取り巻く周囲の状況をできるだけ正確に提示することができる。

図１は、実施形態に係る俯瞰映像提示システムの構成例を示す図である。図２は、実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。図３は、実施形態に係る各座標系の概念を示す図である。図４は、実施形態に係る第１俯瞰映像の一例の一部を示す図である。図５は、実施形態に係る第２俯瞰映像の一例を示す図である。図６は、実施形態に係る第３俯瞰映像の一例を示す図である。図７は、実施形態に係る変換関数における変数の最適化処理の一例を示すフローチャートである。図８は、実施形態に係る情報処理装置により実行される俯瞰映像生成処理の一例を示すフローチャートである。

以下に、本発明に係る俯瞰映像提示システムについて実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能、且つ、容易なもの、或いは実質的に同一のものが含まれる。さらに、以下に記載した実施形態における構成要素は、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本発明に係る俯瞰映像提示システムの実施形態の１つを例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。

［システムの構成］
図１は、実施形態に係る俯瞰映像提示システムの構成例を示す図である。図２は、実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。

図１に示すように、実施形態に係る俯瞰映像提示システム１は、遠隔操作可能な移動装置１０と、移動装置１０とデータ通信可能な情報処理装置１００とを含んで構成される。移動装置１０及び情報処理装置１００は、相互にデータ通信可能な状態で通信ネットワーク５に接続される。通信ネットワーク５は、公衆通信回線及び専用通信回線等を含んで構築されてよい。

移動装置１０は、物体３などが存在する災害現場などを走行する。移動装置１０は、魚眼レンズを備える複数の第１カメラ１１ａ～１１ｄと、第２カメラ１２と、通信部１３と、アクチュエータ１４と、記憶部１５と、制御部１６とを有する。移動装置１０は、情報処理装置１００から受信する動作コマンドに従って走行してもよいし、情報処理装置１００とは別の遠隔装置から受信する動作コマンドに従って走行してもよい。移動装置１０として、参考文献１（新エネルギー・産業技術総合開発機構：災害対応無人化システム研究開発プロジェクト計測・作業要素技術の開発水陸両用モニタリングデバイスの開発，平成23年度～平成24年度成果報告書(2013)）における災害対応プロジェクトで開発された装置が例示される。

第１カメラ１１ａ～１１ｄは、移動装置１０の周囲（周辺環境）を所定の撮影範囲よりも広角に撮影する。第１カメラ１１ａ～１１ｄは、例えば、１８０度前後の広い画角を持った魚眼レンズを備える。第１カメラ１１ａ～１１ｄは、本実施形態において、移動装置１０の進行方向に対して、左右の斜め前側及び斜め後側に設けられるが、前後左右にそれぞれ設けられてもよい。以下の説明において、第１カメラ１１ａ～１１ｄにより取得される映像データに基づく映像を、「第１カメラ映像１１Ｇ」と表記する場合がある。移動装置１０に第１カメラ１１ａ～１１ｄを設置する場合、例えば、参考文献２（小松廉，藤井浩光，山下淳，淺間一：カメラ配置設計による故障時に備えたロボット遠隔操作のための俯瞰映像提示システムの開発，精密工学学会誌，81，12(2015)1206）に提案される配置に基づいて設置することができる。

第２カメラ１２は、移動装置１０の進行方向に設けられる。第２カメラ１２は、移動装置１０の進行方向を撮影し、かつ奥行方向の深度情報を取得する。第２カメラ１２は、対象物を複数の異なる方向から同時に撮影することにより、奥行方向の情報も記録するステレオカメラである。第２カメラ１２は、少なくとも奥行方向の情報を含む深度画像を撮影できればよい。第２カメラ１２は、例えば、ＲＧＢ－Ｄセンサでもよい。ＲＧＢ－Ｄセンサは、深度画像に加えてＲＧＢ画像を取得するセンサである。ＲＧＢ－Ｄセンサは、深度画像を撮影する二眼の赤外線カメラと、ＲＧＢ画像を撮影する一眼のＲＧＢカメラと、を含む。第２カメラ１２の水平方向の視野角は、例えば、８８．２度以上９４．２度以下である。垂直方向の視野角は、例えば、６２．５度以上６８．５度以下である。第２カメラ１２は、物体の表面の位置を示す３次元点の集合体である３次元点群の情報を３次元情報として取得できる。第２カメラ１２により取得される３次元点群を構成する各３次元点は、物体の表面の位置を示す３次元座標値で表される。３次元座標値は、任意の原点における、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の各軸に対応する座標値で構成される。

通信部１３は、通信ネットワーク５を介して、情報処理装置１００との間で各種データをやり取りするためのデータ通信を実行する。通信部１３は、走行に関する動作コマンドを受信できる。通信部１３は、動作コマンドを制御部１６に送出できる。通信部１３は、情報処理装置１００に対して、第１カメラ１１ａ～１１ｄにより取得された映像データ、及び第２カメラ１２により取得された映像データ及び深度情報を送信できる。通信部１３は、情報処理装置１００との間の通信を可能とする各種通信方式をサポートできる。通信部１３の通信方式は、無線通信及び有線通信のいずれの通信方式を適用してもよい。

アクチュエータ１４は、制御部１６の制御信号を、移動装置１０が災害現場などの走行面２の走行させるための動力に変換する。アクチュエータ１４は、例えば、電気モータなどを含む。

記憶部１５は、制御部１６により実行される各種処理を実現するためのプログラム及びデータを記憶する。記憶部１５が記憶するプログラムにより提供される機能は、移動装置１０の走行を制御する機能、並びに第１カメラ１１ａ～１１ｄにより取得された映像データ及び第２カメラ１２により取得された映像データ及び深度情報を情報処理装置１００に送信する機能を含む。記憶部１５は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤにより実装されてよい。

制御部１６は、記憶部１５に記憶されているプログラム及びデータに基づいて、移動装置１０に関する各種処理を実行する。特に、本実施形態において、制御部１６は、通信部１３を介して、第１カメラ１１ａ～１１ｄにより取得された映像データ、及び第２カメラ１２により検出された３次元情報を情報処理装置１００に送信する。制御部１６は、ＣＰＵ（Central Processing Unit）マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ、システムＬＳＩ（Large Scale Integration）などのプロセッサにより実装されてよい。

移動装置１０は、段差などがある不整地な災害現場の走行面に追従できるクローラ、クローラを下部に備える台車、及び台車上に配置された胴体部などを備えてよい。上述した第１カメラ１１ａ～１１ｄ及び第２カメラ１２は、胴体部に設置されてよい。

情報処理装置１００は、移動装置１０から受信する映像データ及び３次元情報を用いて、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する。情報処理装置１００は、通信部１１１と、表示部１１３と、記憶部１１５と、制御部１１７とを備える。

通信部１１１は、通信ネットワーク５を介して、移動装置１０との間で各種データをやり取りするためのデータ通信を実行する。通信部１１１は、移動装置１０から送信された映像データ、及び３次元情報を受信できる。通信部１１１は、移動装置１０との間の通信を可能とする各種通信方式をサポートできる。通信部１１１の通信方式は、無線通信及び有線通信のいずれの通信方式を適用してもよい。

表示部１１３は各種情報を表示する。表示部１１３は、後述する制御部１１７により生成された俯瞰映像を表示できる。表示部１１３は、液晶ディスプレイ（LCD：Liquid Crystal Display）、有機ＥＬディスプレイ（OELD：Organic Electro-Luminescence Display）、又は無機ＥＬディスプレイ（IELD：Inorganic Electro-Luminescence Display）等の表示デバイスを含んでよい。表示部１１３は、タッチスクリーンなどの入力デバイスを含んでよい。

記憶部１１５は、制御部１１７により実行される各種処理を実現するためのプログラム及びデータを記憶する。記憶部１１５が記憶するプログラムにより提供される機能は、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する機能を含む。記憶部１１５が記憶するデータは、移動装置１０から受信する映像データ及び３次元情報を含む。記憶部１５は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤにより実装されてよい。

制御部１１７は、記憶部１１５に記憶されているプログラム及びデータに基づいて、移動装置１０に関する各種処理を実行する。特に、本実施形態において、制御部１１７は、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する処理を実行する。制御部１１７は、ＣＰＵ（Central Processing Unit）マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）、システムＬＳＩ（Large Scale Integration）などのプロセッサを含んで実装されてよい。制御部１１７は、記憶部１１５に記憶されているプログラムを読み出してＲＡＭなどのワーキングメモリに展開し、ワーキングメモリに展開されたプログラムに含まれる命令をＣＰＵなどのプロセッサに実行させる。これにより、制御部１１７は、以下に説明する第１俯瞰映像生成部１１７ａ、第２俯瞰映像生成部１１７ｂ、並びに第３俯瞰映像生成部１１７ｃにより提供される各機能に基づいた各処理を実行できる。

制御部１１７は、第１俯瞰映像生成部１１７ａと、第２俯瞰映像生成部１１７ｂと、第３俯瞰映像生成部１１７ｃと、を有する。

第１俯瞰映像生成部１１７ａは、移動装置１０から受信する映像データ、すなわち第１カメラ１１ａ～１１ｄにより取得される映像（第１カメラ映像）を、移動装置１０を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像を生成する。第１俯瞰映像生成部１１７ａは、移動装置１０の第１カメラ１１ａ～１１ｄにより撮影された全ての物体がロボット座標系２１におけるある平面上に存在するという仮定の下、第１カメラ映像１１Ｇをその平面上に透視投影した後、視点変換処理を行うことにより、第１俯瞰映像を生成する。第１俯瞰映像生成部１１７ａは、参考文献３（佐藤高亮，藤井浩光，Alessandro Moro，山下淳，淺間一：複数の魚眼カメラとＬＲＦを用いた重畳型全方位俯瞰映像提示手法の構築，第１３回計測自動制御学会システムインテグレーション部門講演会講演論文集（２０１２））に提案される従来手法を用いることによって、第１俯瞰映像を生成できる。

［座標系の定義］
図３は、実施形態に係る各座標系の概念を示す図である。図３に示す座標系２１は、移動装置１０の座標系である。図３において、ロボット座標系２１のｘ_ｗｙ_ｗ平面は、床面（移動装置１０の走行面２）と同一であり、ｚ_ｗ軸の正方向は、床面に対して鉛直上向きとする。以下、図３に示す座標系２１を、適宜「ロボット座標系２１」と表記する。図３に示す座標系２３は、例えば、第１カメラ１１ａの位置及び姿勢を規定する座標系である。以下、図３に示す座標系２３を、適宜「第１カメラ座標系２３」と表記する。なお、図示は省略するが、第１カメラ座標系２３と同様に、第１カメラ１１ｂ～１１ｄの位置及び姿勢を規定する座標系が設定される。図３に示す座標系２５は、第２カメラ１２により取得される検出点を規定する座標系である。以下、図３に示す座標系２５を、適宜「第２カメラ座標系２５」と表記する。図３に示す座標系２７は、例えば、第１カメラ１１ａにより撮影される第１カメラ映像１１Ｇ上の点を規定する座標系である。以下、図３に示す座標系２７を、適宜「第１カメラ画像座標系２７」と表記する。なお、図示は省略するが、第１カメラ画像座標系２７と同様に、第１カメラ１１ｂ～１１ｄにより撮影される第１カメラ映像１１Ｇ上の点を規定する座標系が設定される。図３に示す座標系２９は、第２カメラ１２により撮影される第２カメラ映像１２Ｇ上の点を規定する座標系である。以下、図３に示す座標系２９を、適宜「第２カメラ画像座標系２９」と表記する。図３に示す座標系３１は、移動装置１０を上空から俯瞰する位置にあると仮定した仮想的な仮想カメラ３３による仮想カメラ映像３３Ｇ上の点の位置を規定する座標系である。以下、図３に示す座標系３１を、適宜「仮想カメラ画像座標系３１」と表記する。ロボット座標系２１における点Ｐ_ｗ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔの第１カメラ座標系２３における表現を点Ｐ_ｆ＝［ｘ_ｆ，ｙ_ｆ，ｚ_ｆ］^Ｔとする。ロボット座標系２１における点Ｐ_ｗ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔの第２カメラ座標系２５における表現を点Ｐ_ｄ＝［ｘ_ｄ，ｙ_ｄ，ｚ_ｄ］^Ｔとする。ロボット座標系２１における点Ｐ_ｗ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔの第１カメラ画像座標系２７における表現を点ｍ_ｆ＝［ｕ_ｆ，ｖ_ｆ］^Ｔとする。ロボット座標系２１における点Ｐ_ｗ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔの第２カメラ画像座標系２９における表現を点ｍ_ｄ＝［ｕ_ｄ，ｖ_ｄ］^Ｔとする。第１俯瞰映像生成部１１７ａは、各座標系における各点を、仮想カメラ画像座標系３１における点ｍ_ｖ＝［ｕ_ｖ，ｖ_ｖ］^Ｔに変換する。以下の説明において、任意の座標系における点Ｎの同次座標系による座標表現をＮ^～とする。

［マーカの設置］
移動装置１０の第１カメラ１１ａ～１１ｄ及び第２カメラ１２が撮影する所定領域には、マーカ３５が設置される。マーカ３５は、少なくとも既知の寸法情報を有する。マーカ３５は、本実施形態において、各辺の長さが既知である矩形状の薄板である。マーカ３５の形状は、特に限定されない。マーカ３５は、所定領域に複数設置されてもよい。マーカ３５は、例えば、各々のマーカ３５を区別するための識別子を含んでもよい。マーカ３５の寸法情報及び識別子は、記憶部１１５に予め記憶される。

［第１俯瞰映像の作成］
第１俯瞰映像生成部１１７ａは、以下に示す式（１）で示される第１カメラ座標系２３における点Ｐ_ｆ＝［ｘ_ｆ，ｙ_ｆ，ｚ_ｆ］^Ｔと、第１カメラ画像座標系２７における点ｍ_ｆ＝［ｕ_ｆ，ｖ_ｆ］^Ｔとの関係に基づいて、魚眼レンズにより撮影された映像特有の歪みを除去した透視投影映像を生成する。以下に示す式（１）は、参考文献４（Davide Schramuzza, Agostion Martinelli, and Roland Siegwart: A flexible technique for accurate omnidirectional camera calibration and structure from motion, Proceeding of IEEE International Conference of Computer Vision Systems (2006) 45）及び参考文献５（Davide Schramuzza, Agostion Martinelli, and Roland Siegwart: A toolbox for easily calibrating omnidirectional cameras, Proceedings of IEEE/RSJ International Conference of Intelligent Robots and Systems (2006) 5695）に提案される手法によって求められる。

式（１）における「ｆ（ｕ_ｆ，ｕ_ｖ）」は、第１カメラ画像座標系２７における原点からの距離√｛ｕ_ｆ ^２＋ｕ_ｖ ^２｝に関する関数であり、式（１）における「ａ」は、第１カメラ座標系２３における各点と第１カメラ画像座標系２７における各方向ベクトルの関係を等式で表現するために設定する定数である。

続いて、第１俯瞰映像生成部１１７ａは、上述した式（１）に基づいて生成した透視投影映像を、特定の平面に対して透視投影する。ロボット座標系２１と第１カメラ画像座標系２７は、３×４行列の透視投影行列Ｈ_ｗ→ｆにより関係付けることができ、ロボット座標系２１と第１カメラ画像座標系２７との間には、以下の式（２）の関係が成立する。

移動装置１０の第１カメラ１１ａ～１１ｄにより撮影された全ての物体がロボット座標系２１におけるある平面上に存在すると仮定する。例えば、第１カメラ映像１１Ｇをｚ_ｗ＝０の平面（床面）に透視投影する場合、以下の式（３）に示すように、透視投影行列Ｈ_ｗ→ｆの３列目成分を省略できる。

ここで、式（３）におけるＨ´_ｗ→ｆおよびＰ^～´_ｗは、それぞれ、Ｈ´_ｗ→ｆの３列目と、Ｐ^～´_ｗの３行目の成分を省略した行列とする。式（３）により、ロボット座標系２１と、第１カメラ画像座標系２７との関係が決定される。

続いて、第１俯瞰映像生成部１１７ａは、上述した式（３）に示す関係に基づいて、特定の平面に対して透視投影された透視投影映像の視点変換処理を行い、第１俯瞰映像を生成する。ここでは、ｚ_ｗ軸方向視の第１俯瞰映像に生成する手法について説明する。まず、第１俯瞰映像生成部１１７ａは、ロボット座標系２１と仮想カメラ画像座標系３１との関係を求める。ロボット座標系２１と仮想カメラ画像座標系３１との間には、以下の式（４）の関係が成立する。

式（４）におけるＨ´_ｗ→ｖは、ロボット座標系２１と仮想カメラ画像座標系３１とを関係付ける透視投影行列Ｈ_ｗ→ｖの３列目の成分を省略した行列である。上述した式（３）および式（４）を用いると、第１カメラ画像座標系２７と仮想カメラ画像座標系３１との間には、式（５）に示す関係が成立する。

ただし、式（５）において、Ｈ´_ｆ→ｗ＝（Ｈ´_ｗ→ｆ）^－１である。第１俯瞰映像生成部１１７ａは、式（５）より、移動装置１０から受信した第１カメラ映像１１Ｇ（映像データ）から、移動装置１０を上空から俯瞰したような第１俯瞰映像を生成できる。第１俯瞰映像は、仮想カメラ映像３３Ｇである。

ここで、式（５）から確認できるように、Ｈ´_ｗ→ｖおよびＨ´_ｆ→ｗを求める必要がある。本実施形態では、参考文献６（佐藤高亮，藤井浩光，Alessandro Moro，杉元和也，野末晃，三村洋一，小幡克実，山下淳，淺間一：無人化施工用俯瞰映像システムの開発，日本機械学会論文集，81，823(2015)1）、及び参考文献７（淺利圭介，石井洋平，本郷仁志，蚊野浩：鳥瞰画像生成における校正環境の簡易化，第13回画像センシングシンポジウム予稿集(2017)IN1-13）などに提案される手法を参考として、Ｈ´_ｗ→ｖおよびＨ´_ｆ→ｗを非線形の最適化手法により推定する。推定したＨ´_ｗ→ｖおよびＨ´_ｆ→ｗの行列をもとに、第１カメラ１１ａ～１１ｄにより取得される第１カメラ映像１１Ｇと、仮想カメラ３３により取得される仮想カメラ映像３３Ｇの各画素の１対１の対応関係をあらかじめ取得することができる。なお、第１カメラ映像１１Ｇと仮想カメラ映像３３Ｇの各画素の１対１の対応関係をルックアップテーブルとしてあらかじめ保存しておいて、第１俯瞰映像の生成時に利用できるようにしてもよい。上述した第１俯瞰映像の生成方法の例では、第１俯瞰映像をｚ_ｗ軸方向視の映像に限定したが、俯瞰視点の方向はこれに限定されない。

［第２俯瞰映像の作成］
第２俯瞰映像生成部１１７ｂは、第２カメラ座標系２５における点Ｐ_ｄ＝［ｘ_ｄ，ｙ_ｄ，ｚ_ｄ］^Ｔと、第２カメラ画像座標系２９における点ｍ_ｄ＝［ｕ_ｄ，ｖ_ｄ］^Ｔとの関係に基づいて、第２カメラ映像１２Ｇの視点変換処理を行い、第２俯瞰映像を生成する。この際、第２俯瞰映像の座標系は、仮想カメラ画像座標系３１に合わせる。第２カメラ映像１２Ｇから第２俯瞰映像への視点変換処理は、平行移動及び回転のみで行われる。第１俯瞰映像の俯瞰視点を、第２カメラ１２の視点に合わせることも可能である。この場合、第１俯瞰映像生成部１１７ａは、第１カメラ映像１１Ｇから生成された透視投影映像を、第２カメラ座標系２５に視点変換処理を行い、第１俯瞰映像を生成する。第２俯瞰映像生成部１１７ｂは、第２カメラ映像１２Ｇから第２俯瞰映像への視点変換処理を省略する。

［第３俯瞰映像の作成］
図４は、実施形態に係る第１俯瞰映像の一例の一部を示す図である。図５は、実施形態に係る第２俯瞰映像の一例を示す図である。図６は、実施形態に係る第３俯瞰映像の一例を示す図である。図４に示す第１俯瞰映像Ｇ１は、上述した第１俯瞰映像（仮想カメラ映像３３Ｇ（図３参照））と同様に作成される。図５に示す第２俯瞰映像Ｇ２は、上述した第２俯瞰映像と同様に作成される。第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２には、マーカ３５が含まれる。

第１カメラ１１ａ～１１ｄにより取得された第１カメラ映像１１Ｇに基づいて作成される第１俯瞰映像Ｇ１上の点Ｍ_ｉ（Ｍ_１、Ｍ_２、・・・、Ｍ_ｎ）の座標は、第２カメラ映像１２Ｇに基づいて作成される第２俯瞰映像Ｇ２上の点Ｓ_ｉ（Ｓ_１、Ｓ_２、・・・、Ｓ_ｎ）の座標と、ロボット座標系２１において同一座標の点である。点Ｍ_ｉの座標は、仮想カメラ画像座標系３１において、対応する点Ｓ_ｉの座標に対して、差異を有する。第３俯瞰映像生成部１１７ｃは、記憶部１１５に記憶されたマーカ３５の情報、第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２に基づいて、点Ｍ_ｉ及び点Ｓ_ｉを設定する。点Ｍ_ｉは、本実施形態において、第１俯瞰映像Ｇ１のマーカ３５の角である。点Ｓ_ｉは、本実施形態において、第２俯瞰映像Ｇ２のマーカ３５の角である。点Ｍ_ｉは、図４において、点Ｍ_１、点Ｍ_２、点Ｍ_３、点Ｍ_４のみが図示されているが、全てのマーカ３５の４角に設定されてもよい。点Ｓ_ｉは、図５において、点Ｓ_１、点Ｓ_２、点Ｓ_３、点Ｓ_４のみが図示されているが、全てのマーカ３５の４角に設定されてもよい。点Ｍ_ｉ及び点Ｓ_ｉは、オペレータが第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２を見ながら設定してもよい。点Ｍ_ｉ及び点Ｓ_ｉは、第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２による識別が可能であれば、マーカ３５の角に設定されなくてもよい。例えば、マーカ３５に寸法が既知である図形を描画し、図形の所定の位置を点Ｍ_ｉ及び点Ｓ_ｉと設定してもよい。第３俯瞰映像生成部１１７ｃは、点Ｍ_ｉ及び点Ｓ_ｉの点集合｛Ｍ，Ｓ｝において、点群Ｓとの差が最小になるように点群Ｍを変換する。変換関数Ｔは、以下の式（６）によって定義される。

式（６）における「θ」は、６自由度の位置、方向、及び倍率を定義する変数である。距離関数は、以下の式（７）によって計算される。

式（７）における「ｍ」は、ｍ∈Ｔ（Ｍ，θ）である。式（７）における「ｓ」は、ｓ∈Ｓである。「θ」は、最適化プロセスによって、ランダムに修正される。図７は、実施形態に係る変換関数における変数の最適化処理の一例を示すフローチャートである。図７における「θｂｅｓｔ」は、「θ」の最大値である。図７における「ｅｒｒ」は、エラーの許容範囲の閾値である。「θ」の初期値である「ｉｎｉｔｉａｌθ」、「θｂｅｓｔ」及び「ｅｒｒ」の値は、図７に示す最適化処理が実行される前に、予め任意で設定されるものとする。第３俯瞰映像生成部１１７ｃは、移動装置１０が移動開始するとステップＳ５１に移行して、処理を開始する。第３俯瞰映像生成部１１７ｃは、図７に示すフローチャートの処理を終了すると、移動装置１０が停止するまでステップＳ５１から処理を開始する。「θ」は、位置及び方向に乱数［－０．５，０．５］を追加し、倍率に乱数［－０．０５，０．０５］を追加することによって更新される。乱数は「θｒａｎｄ」によって表される。

ステップＳ５１において、第３俯瞰映像生成部１１７ｃは、式（６）を適用する。ステップＳ５２において、第３俯瞰映像生成部１１７ｃは、式（７）を計算する。ステップＳ５３において、第３俯瞰映像生成部１１７ｃは、ステップＳ５２において変換した値が、閾値ｅｒｒより小さいか否かを判断する。ステップＳ５３において、ｄｉｓｔが閾値ｅｒｒより小さいと判断された場合、第３俯瞰映像生成部１１７ｃは、ステップＳ５４に移行する。ステップＳ５３において、ｄｉｓｔが閾値ｅｒｒ以上であると判断された場合、第３俯瞰映像生成部１１７ｃは、ステップＳ５５に移行する。ステップＳ５４において、第３俯瞰映像生成部１１７ｃは、「θｂｅｓｔ」の値を「θ」に更新する。第３俯瞰映像生成部１１７ｃは、ステップＳ５４を実行すると一連の処理を終了し、ステップＳ５１から処理を再開する。ステップＳ５５において、第３俯瞰映像生成部１１７ｃは、「θ」の値を「θｂｅｓｔ＋θｒａｎｄ」に更新する。第３俯瞰映像生成部１１７ｃは、ステップＳ５５を実行すると一連の処理を終了し、ステップＳ５１から処理を再開する。

点群Ｍは、本実施形態において、第１俯瞰映像Ｇ１に含まれるマーカ３５の角に設定される。点群Ｓは、本実施形態において、第２俯瞰映像Ｇ２に含まれるマーカ３５の角に設定される。すなわち、第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に含まれるマーカ３５と第２俯瞰映像Ｇ２に含まれるマーカ３５との相対的な位置関係に基づいて、第２俯瞰映像Ｇ２を補正する。例えば、第３俯瞰映像生成部１１７ｃは、第２俯瞰映像Ｇ２に含まれるマーカ３５の角に対応する４点の座標が、第１俯瞰映像Ｇ１に含まれるマーカ３５の角に対応する４点の座標に一致するように、第２俯瞰映像Ｇ２を補正する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に補正された第２俯瞰映像Ｇ２を投影する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に補正された第２俯瞰映像Ｇ２を投影することにより、図６に示す第３俯瞰映像Ｇ３を生成する。第３俯瞰映像Ｇ３は、３次元情報を含むので、地面と障害物とを判別可能である。第１俯瞰映像Ｇ１に含まれるマーカ３５の位置の３次元座標の情報が、仮想カメラ画像座標系３１における点群の情報にない場合、最も近い点の間で線形補間が行われる。

第３俯瞰映像生成部１１７ｃは、第３俯瞰映像Ｇ３における障害物を所定の方法によって強調表示する。障害物は、地面より上方に存在する物体４０又は地面より下方に凹んだ穴等である。第３俯瞰映像生成部１１７ｃは、地面から所定の閾値以上の高さの点群を地上側の障害物４１として強調表示する。所定の閾値は、例えば、地上２０ｃｍ以上である。第３俯瞰映像生成部１１７ｃは、地面から所定の閾値以下の深さの点群を地下側の障害物として強調表示する。所定の閾値は、例えば、地下２０ｃｍ以下である。所定の閾値は、記憶部１１５に予め設定される。地上側の障害物４１を示す強調表示は、例えば、赤色塗り潰しによる表示である。地下側の障害物を示す強調表示は、例えば、青色塗り潰しによる表示である。強調表示は、例えば障害物を囲う線でもよい。強調表示する方法は、記憶部１１５に予め設定される。

図８は、実施形態に係る情報処理装置により実行される俯瞰映像生成処理の一例を示すフローチャートである。図８に示す処理は、制御部１１７が、記憶部１１５に記憶されているプログラム及びデータに基づいて実行する。

図８に示すように、ステップＳ１０１において、移動装置１０の制御部１６は、記憶部１５に記憶された所定のプログラムに基づいて、第１カメラ１１ａ～１１ｄ及び第２カメラ１２によって所定の領域を撮影させる。制御部１６は、通信部１３に、第１カメラ１１ａ～１１ｄによって撮影された第１カメラ映像１１Ｇ、及び第２カメラ１２によって撮影された第２カメラ映像１２Ｇを、通信ネットワーク５を介して、情報処理装置１００の通信部１１１に送信させる。情報処理装置１００の制御部１１７は、取得した第１カメラ映像１１Ｇ及び第２カメラ映像１２Ｇを記憶部１１５に記憶させる。

ステップＳ１０２において、制御部１１７の第１俯瞰映像生成部１１７ａは、記憶部１１５に記憶された第１カメラ映像１１Ｇを俯瞰視点に視点変換し、第１俯瞰映像Ｇ１を生成する。俯瞰視点は、移動装置１０を任意の方向から俯瞰する仮想的な俯瞰視点に対応する。制御部１１７は、第１俯瞰映像Ｇ１を表示部１１３に提示させる。

ステップＳ１０３において、制御部１１７の第２俯瞰映像生成部１１７ｂは、記憶部１１５に記憶された第２カメラ映像１２Ｇを俯瞰視点に視点変換し、第２俯瞰映像Ｇ２を生成する。制御部１１７は、第２俯瞰映像Ｇ２を表示部１１３に提示させる。

ステップＳ１０４において、制御部１１７の第３俯瞰映像生成部１１７ｃは、マーカ３５の位置情報に基づいて、第１俯瞰映像Ｇ１に第２俯瞰映像Ｇ２を投影する。すなわち、第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に含まれるマーカ３５と第２俯瞰映像Ｇ２に含まれるマーカ３５との相対的な位置関係に基づいて、第１俯瞰映像Ｇ１に第２俯瞰映像Ｇ２を投影する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に第２俯瞰映像Ｇ２を投影することにより第３俯瞰映像Ｇ３を生成する。第３俯瞰映像Ｇ３は、３次元情報を含むので、地面と障害物とを判別可能である。

ステップＳ１０５において、制御部１１７の第３俯瞰映像生成部１１７ｃは、第３俯瞰映像Ｇ３に含まれる点群の３次元座標情報に基づいて、地面から所定の閾値以上の高さ及び所定の閾値以下の深さの点を抽出する。所定の閾値は、予め記憶部１１５に設定される値である。第３俯瞰映像生成部１１７ｃは、抽出された点を、記憶部１１５に記憶された所定の方法によって強調表示する。制御部１１７は、第３俯瞰映像Ｇ３を表示部１１３に提示させる。ステップＳ１０５が実行されると、俯瞰映像提示システム１は、図８に示す一連の処理を終了する。

以上で説明したように、俯瞰映像提示システム１は、移動装置１０と、マーカ３５と、情報処理装置１００と、を備える。移動装置１０は、遠隔操作可能である。移動装置１０は、複数台の第１カメラ１１ａ～１１ｄと、第２カメラ１２と、を含む。第１カメラ１１ａ～１１ｄは、周囲を広角に撮影する。第２カメラ１２は、進行方向を撮影する。第２カメラ１２は、奥行方向の深度情報を取得する。マーカ３５は、第１カメラ１１ａ～１１ｄ及び第２カメラ１２によって撮影される領域に設置される。マーカ３５は、寸法情報が既知である。情報処理装置１００は、移動装置１０とデータ通信可能である。情報処理装置１００は、第１俯瞰映像生成部１１７ａと、第２俯瞰映像生成部１１７ｂと、第３俯瞰映像生成部１１７ｃと、を備える。第１俯瞰映像生成部１１７ａは、第１カメラ１１ａ～１１ｄにより取得される映像（第１カメラ映像１１Ｇ）を、移動装置１０を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像Ｇ１を生成する。第２俯瞰映像生成部１１７ｂは、第２カメラ１２により取得された奥行方向の深度情報を含む映像を、俯瞰視点から視た映像に視点変換することにより第２俯瞰映像Ｇ２を生成する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に含まれるマーカ３５と第２俯瞰映像Ｇ２に含まれるマーカ３５との相対的な位置関係に基づいて第２俯瞰映像Ｇ２を補正し、第１俯瞰映像Ｇ１に補正された第２俯瞰映像Ｇ２を投影することにより３次元情報を含む第３俯瞰映像Ｇ３を生成する。

俯瞰映像提示システム１によれば、３次元情報を含む俯瞰映像を生成することができるので、俯瞰映像において、地面と障害物とを判別可能である。移動装置１０の周囲にある物体の位置をより好適に描画した映像をオペレータに提供することができる。これにより、人の立ち入りが困難な屋内の災害現場などにおいて、移動装置１０等のように、遠隔操作により移動可能な遠隔移動装置を操作して災害現場の復旧作業及び調査などを行う際、遠隔移動装置の周囲環境に対するオペレータの認識の誤り、遠隔移動装置の障害物への衝突を容易に回避することでき、災害現場の復旧作業及び調査の安全性を高めることができる。

また、俯瞰映像提示システム１において、第３俯瞰映像生成部１１７ｃは、３次元情報に基づいて、第３俯瞰映像Ｇ３における地面から所定の閾値以上の高さ及び所定の閾値以下の深さの障害物を強調表示する。これにより、移動装置１０の周囲にある障害物の位置をより好適にオペレータに提示することができる。

以上、本発明の実施形態を説明したが、この実施形態の内容によって実施形態が限定されるものではない。例えば、第２カメラ１２は、２つ以上設けられてもよい。また、本実施形態において、第１カメラ１１ａ～１１ｄは、魚眼レンズを備える魚眼カメラであるが、第２カメラ１２と同様にステレオカメラを用いてもよい。この場合においても、上述した方法によって、第１カメラが撮影した映像に基づいて生成された第１俯瞰映像に、第２カメラが撮影した映像に基づいて生成された第２俯瞰映像を投影することができる。

１俯瞰映像提示システム
２走行面
３物体
５通信ネットワーク
１０移動装置
１１ａ～１１ｄ第１カメラ
１１Ｇ第１カメラ映像
１２第２カメラ
１２Ｇ第２カメラ映像
１３通信部
１４アクチュエータ
１５記憶部
１６制御部
２１ロボット座標系
２３第１カメラ座標系
２５第２カメラ座標系
２７第１カメラ画像座標系
２９第２カメラ画像座標系
３１仮想カメラ画像座標系
３３仮想カメラ
３３Ｇ仮想カメラ映像
３５マーカ
４０物体
４１障害物
１００情報処理装置
１１１通信部
１１３表示部
１１５記憶部
１１７制御部
１１７ａ第１俯瞰映像生成部
１１７ｂ第２俯瞰映像生成部
１１７ｃ第３俯瞰映像生成部
Ｇ１第１俯瞰映像
Ｇ２第２俯瞰映像
Ｇ３第３俯瞰映像

Claims

遠隔操作可能であって、周囲を広角に撮影する複数台の第１カメラと、進行方向を撮影し、かつ奥行方向の深度情報を取得する第２カメラと、を含む移動装置と、
前記第１カメラ及び前記第２カメラによって撮影される領域に設置され、かつ寸法情報が既知であるマーカと、
前記移動装置とデータ通信可能である情報処理装置と、
を備え、
前記情報処理装置は、
前記第１カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像を生成する第１俯瞰映像生成部と、
前記第２カメラにより取得された奥行方向の深度情報を含む映像を、前記俯瞰視点から視た映像に視点変換することにより第２俯瞰映像を生成する第２俯瞰映像生成部と、
前記第１俯瞰映像に含まれるマーカと前記第２俯瞰映像に含まれるマーカとの相対的な位置関係に基づいて前記第２俯瞰映像を補正し、前記第１俯瞰映像に補正された前記第２俯瞰映像を投影することにより３次元情報を含む第３俯瞰映像を生成する第３俯瞰映像生成部と、
を備える俯瞰映像提示システム。
前記第３俯瞰映像生成部は、前記３次元情報に基づいて、前記第３俯瞰映像における地面から所定の閾値以上の高さ及び所定の閾値以下の深さの障害物を強調表示する
請求項１に記載の俯瞰映像提示システム。