JP2018160228A - 経路生成装置、経路制御システム、及び経路生成方法 - Google Patents
経路生成装置、経路制御システム、及び経路生成方法 Download PDFInfo
- Publication number
- JP2018160228A JP2018160228A JP2017136032A JP2017136032A JP2018160228A JP 2018160228 A JP2018160228 A JP 2018160228A JP 2017136032 A JP2017136032 A JP 2017136032A JP 2017136032 A JP2017136032 A JP 2017136032A JP 2018160228 A JP2018160228 A JP 2018160228A
- Authority
- JP
- Japan
- Prior art keywords
- image
- route
- area
- data
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000003384 imaging method Methods 0.000 claims description 73
- 230000005540 biological transmission Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 40
- 238000007689 inspection Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 30
- 238000012937 correction Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000002834 transmittance Methods 0.000 description 12
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 101000934888 Homo sapiens Succinate dehydrogenase cytochrome b560 subunit, mitochondrial Proteins 0.000 description 1
- 101100507312 Invertebrate iridescent virus 6 EF1 gene Proteins 0.000 description 1
- 102100025393 Succinate dehydrogenase cytochrome b560 subunit, mitochondrial Human genes 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Selective Calling Equipment (AREA)
Abstract
【課題】 物体を撮影するための移動体の移動経路を容易に設定できる経路生成装置を実現する。【解決手段】 実施形態によれば、取得手段と、第1生成手段と、受付手段と、第2生成手段とを具備する。取得手段は、被写体として第1物体を含む距離画像を取得する。第1生成手段は、前記距離画像を用いて三次元データを生成する。受付手段は、前記三次元データに基づき前記第1物体の少なくとも一部を含む第1領域を特定する第1領域情報を受け付ける。第2生成手段は、前記第1領域情報と前記三次元データを用いて、経路データを生成する。【選択図】図1
Description
本発明の実施形態は、経路生成装置、経路制御システム、及び経路生成方法に関する。
近年、橋やトンネルのような大型の構造物の外観検査にドローンのような移動体が利用されることがある。例えば、ドローンに搭載されたカメラを用いて構造物の画像を取得し、その画像を用いて、人が容易には近付くことができない箇所の検査を行うことができる。
また、物体までの距離が計測された距離データを用いて、その物体の三次元モデルを作成する様々な技術が利用されている。このような物体の三次元モデルは、例えば、コンピュータの画面上に表示され、ユーザは、その三次元モデルによって物体を立体的に認識することができる。
本発明が解決しようとする課題は、物体を撮影するための移動体の移動経路を容易に設定できる経路生成装置、経路制御システム、及び経路生成方法を提供することである。
実施形態によれば、経路生成装置は、取得手段と、第1生成手段と、受付手段と、第2生成手段とを具備する。取得手段は、被写体として第1物体を含む距離画像を取得する。第1生成手段は、前記距離画像を用いて三次元データを生成する。受付手段は、前記三次元データに基づき前記第1物体の少なくとも一部を含む第1領域を特定する第1領域情報を受け付ける。第2生成手段は、前記第1領域情報と前記三次元データを用いて、経路データを生成する。
以下、実施の形態について図面を参照して説明する。
(第1実施形態)
まず、図1を参照して、第1実施形態に係る経路生成装置を含む経路制御システムの構成を説明する。経路制御システムは、移動体が移動する経路を制御するためのシステムである。経路制御システムは、例えば、橋やトンネル等の大型の構造物の歪みやひび割れ等の外観検査を実施する場合に、その構造物を撮影するために移動する移動体の経路を制御する。
(第1実施形態)
まず、図1を参照して、第1実施形態に係る経路生成装置を含む経路制御システムの構成を説明する。経路制御システムは、移動体が移動する経路を制御するためのシステムである。経路制御システムは、例えば、橋やトンネル等の大型の構造物の歪みやひび割れ等の外観検査を実施する場合に、その構造物を撮影するために移動する移動体の経路を制御する。
経路制御システムは、経路生成装置と移動体と入力端末とを備える。経路生成装置1は、例えば、サーバコンピュータとして実現され得る。入力端末は、タブレットコンピュータ、スマートフォン、パーソナル・デジタル・アシスタント(PDA)等として実現され得る。また、移動体は、例えば、無人航空機、自律型の移動ロボット、自動運転機能を有する自動車等として実現され得る。無人航空機は、人が乗ることができない飛行機、回転翼航空機、滑空機、飛行船であって、遠隔操作又は自動操縦により飛行させることができるものあり、例えば、ドローン(マルチコプター)、ラジコン機、農薬散布用ヘリコプター等を含む。なお、経路生成装置1は、移動体に備えられていてもよいし、入力端末に備えられていてもよい。この場合、経路生成装置1は、移動体または入力端末と無線または有線で通信することができる。
以下では、説明を分かりやすくするために、移動体がドローン2であり、入力端末がタブレットコンピュータ3である場合について例示する。
ドローン2に搭載されたカメラを用いて構造物の画像が取得された場合、その画像から、人が容易には近付くことができない高さや形状の箇所の検査を行うことができ、また検査記録をデータとして簡便に保存することができる。しかし、そのような画像を効率的に漏れなく取得するためには、ドローン2の操縦者の技術の熟練が求められ、また広範囲の撮影は人手による負担が大きいことがある。さらに、ドローン2を手動で操縦するためには、通常、一台のドローン2につき一人の操縦者が必要となる。したがって、ドローン2の操縦に係る負担を軽減するために、ドローン2の飛行計画を自動的に作成できる新たな機能の実現が必要とされる。
本実施形態では、検査等の対象である構造物の距離画像を用いて作成された三次元モデル又はその投影像を用いて、ユーザが構造物の一部の領域を指定したことに応じて、指定された領域の画像を取得するためのドローン2の飛行計画を自動的に作成する。例えば、ユーザが、検査等の現場で、構造物の三次元モデル又はその投影像上の一部の領域を指定するだけで、指定された領域に対応する実際の構造物上の領域の画像を取得するためのドローン2の飛行ルートを自動的に作成することができる。これにより、ドローン2の操縦のための人手による負担等を軽減して、構造物上の指定された領域を撮影するためのドローン2の飛行ルートを容易に設定することができる。そして、設定された飛行ルートに基づくドローン2の飛行中に撮影された画像を用いて、構造物の検査等を効率的に実施することができる。
図1に示すように、ドローン2は撮像装置24を備える。撮像装置24は、ドローン2が飛行している間の撮影によって、連続的に画像を取得することができる。ドローン2は、例えば、専用のリモートコントローラ(図示せず)や、タブレットコンピュータ3上で実行されるアプリケーションプログラムを用いたユーザ操作に基づく操縦データを受け取って、離陸、着陸、旋回、加速、減速等を遠隔から制御されることにより、手動操縦される。また、リモートコントローラ等を用いた操作によって、撮像装置24の姿勢の変更や、撮像装置24による撮影の開始及び終了も指示できる。ドローン2は、さらに、GPSレシーバや慣性センサのような各種の位置・姿勢センサを用いて、あらかじめ設定された経路を自動航行することもできる。
例えば、ある構造物(以下、第1物体とも称する)の外観検査が実施される場合、ドローン2は、ユーザによる遠隔操縦に従って飛行し、飛行中に、撮像装置24を用いてその構造物の三次元モデルを作成するための画像を取得する。取得された画像は経路生成装置1に送信される。
経路生成装置1は、ドローン2から受信した画像を用いて、構造物の三次元モデルを示す三次元データを生成する。経路生成装置1は、生成された三次元データをタブレットコンピュータ3に送信する。
タブレットコンピュータ3は、受信した三次元データを用いて三次元モデルを画面に表示し、表示された三次元モデル上の一部の領域を指定するためのユーザ操作を受け付ける。この領域は、構造物の外観検査のための詳細な画像がさらに取得される領域である。タブレットコンピュータ3は、指定された領域を示す領域情報を経路生成装置1に送信する。
経路生成装置1は、領域情報を用いて、指定された領域の画像を取得できるようにドローン2を飛行させるための飛行ルートを示す経路データを生成し、ドローン2に送信する。
ドローン2は、この経路データを用いて飛行し、飛行中に、撮像装置24を用いてその構造物の画像を取得する。取得された画像は、経路生成装置1やタブレットコンピュータ3に送信され、例えば、構造物の三次元モデルと共にユーザによって閲覧される。これにより、ユーザは、構造物の指定された領域の画像を用いた外観検査を実施することができる。
なお、経路生成装置1は、三次元モデルを水平面に投影した投影データを生成し、この投影データをタブレットコンピュータ3に送信してもよい。その場合、タブレットコンピュータ3は、投影データを用いて投影像を画面に表示し、表示された投影像上の一部の領域を指定するためのユーザ操作を受け付ける。そして、タブレットコンピュータ3は、投影像上の指定された領域を示す領域情報を経路生成装置1に送信する。
三次元モデル上の領域が指定される場合と同様にして、経路生成装置1は、領域情報を用いて、指定された領域の画像を取得できるようにドローン2を飛行させるための飛行ルートを示す経路データを生成し、ドローン2に送信する。ドローン2は、この経路データを用いて飛行し、飛行中に、撮像装置24を用いてその構造物の画像を取得する。
次いで、図2はドローン2の外観の例を示す。ドローン2は、ドローン本体20と四つのプロペラ部221,222,223,224とを備える。各プロペラ部221,222,223,224はプロペラとモータとを有する。モータの駆動がプロペラに伝達されることによって、プロペラが回転し、その回転による揚力によってドローン2が浮上する。
ドローン本体20の、例えば下部には、撮像装置24と、撮像装置24の姿勢(向き)を変えるための姿勢制御装置26とが搭載されている。撮像装置24と姿勢制御装置26とは、姿勢制御装置26の動作に応じて、撮像装置24が任意の姿勢を取るように構成されている。撮像装置24と姿勢制御装置26とは、ドローン本体20の下部に限らず、ドローン本体20の上部、側部等の様々な位置に取り付けられ得る。また、一台のドローン2に複数の撮像装置24が取り付けられていてもよい。さらに、経路制御システムでは、撮像装置24の取り付け位置がそれぞれ異なる複数のドローン2が使用されてもよい。
図3に示すように、ドローン2は、飛行制御部21、不揮発性メモリ23、撮像装置24、姿勢制御装置26、無線通信デバイス27、GPSレシーバ28、慣性センサ29等を備える。
飛行制御部21は、プロペラ部221,222,223,224の各々の回転数等を制御することで、ドローン2の飛行速度、飛行方向等を制御する。飛行制御部21は、例えば、上述した手動操縦に従ってドローン2が航行するように、プロペラ部221,222,223,224を制御する。また、飛行制御部21は、ドローン2が設定された経路を自動航行するように、プロペラ部221,222,223,224を制御することもできる。飛行制御部21は、例えば、経路生成装置1から受信した経路データを用いて、この経路データに示される飛行ルートを自動航行するように、プロペラ部221,222,223,224を制御する。
飛行制御部21は、さらに、セミオートの操縦に従ってドローン2が航行するように、プロペラ部221,222,223,224を制御することもできる。飛行制御部21は、例えば、ユーザによる手動操縦の操縦データと経路生成装置1から受信した経路データとを用いて、操縦データで示される離陸、着陸、旋回、加速、減速等に従いながら、構造物との距離が一定に保たれるようにプロペラ部221,222,223,224を制御する。これによりユーザは、構造物の斜めの面を撮影する場合のような、難易度の高いドローン2の操縦を容易に行うことができる。なお、操縦データのみに基づく手動操縦(マニュアル)と、操縦データと経路データとに基づくセミオートの操縦と、経路データのみに基づく自動操縦(オート)とは、ユーザによる操作等に応じて適宜切り替えることができる。
撮像装置24は、ドローン2が飛行している間の撮影によって画像を生成する。したがって、撮像装置24は、ドローン2が飛行している位置から見た物体の画像を取得することができる。撮像装置24の詳細な構成については、図4から図9を参照して後述する。
姿勢制御装置26は、撮像装置24を任意の姿勢に変更するための装置である。姿勢制御装置26は、撮像装置24の向き、すなわち、カメラの光軸の向き(ヨー、ピッチ、ロール)を物体の撮影に適した角度にする。姿勢制御装置26は、例えば、カメラの光軸が、撮影しようとする物体の面に対して垂直になるように、撮像装置24の姿勢を変更する。また、姿勢制御装置26は、例えば、経路生成装置1から受信した経路データに含まれる、撮像装置24の姿勢を示すデータに基づいて、撮像装置24の姿勢を変更することもできる。
無線通信デバイス27は、無線通信を実行するように構成されたデバイスである。無線通信デバイス27は、信号を無線送信する送信部と、信号を無線受信する受信部とを含む。
GPSレシーバ28は、複数のGPS衛星によって送信されるGPS信号を受信する。GPSレシーバ28は、受信されたGPS信号を用いて、ドローン2の現在の位置(緯度、経度)を示す位置データを取得することができる。
慣性センサ29は、ドローン2の姿勢データを取得するセンサである。慣性センサ29は、例えば、X軸、Y軸、Z軸の三方向に対する加速度と、ヨー、ピッチ、ロールの三軸方向に対する角速度とを検出するための加速度センサ、ジャイロセンサ等を含む。
不揮発性メモリ23には、航行時に取得された様々なデータが格納される。このデータには、例えば、画像、位置データ、姿勢データ等が含まれる。
ドローン2にはミラー(図示せず)がさらに設けられていてもよい。このミラーは、当該ミラーに写り込んだ物体を撮像装置24が撮影できるように配置される。また、姿勢制御装置26が、撮像装置24の角度とミラーの角度の両方を制御できるようにしてもよい。ミラーをさらに用いることより、ドローン2及び撮像装置24の姿勢を制御するだけでは撮影が困難な領域(例えば、橋の底面や側面)についても、画像を容易に取得することができる。
図4は、撮像装置24のシステム構成を示す。この撮像装置24は、画像を取得し、取得した画像を処理する機能を有する。
図4に示すように、撮像装置24は、例えば、フィルタ41、レンズ42、イメージセンサ43、処理部、記憶部等を備える。処理部は、例えばCPU44等の処理回路で構成される。記憶部は、RAM45や不揮発性メモリ46のような各種の記憶媒体で構成される。撮像装置24は、さらにメモリカードスロット47と通信デバイス48とを備えていてもよい。イメージセンサ43、CPU44、RAM45、メモリカードスロット47、通信デバイス48、及び不揮発性メモリ46は、例えば、バス40を介して相互に接続され得る。
イメージセンサ43は、フィルタ41とレンズ42とを透過した光を受光し、受光した光を電気信号に変換(光電変換)することによって、画像を生成する。イメージセンサ43は、各々が少なくとも一つの色成分を含む複数の画素を含む画像を生成する。イメージセンサ43には、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)が用いられる。イメージセンサ43は、例えば、赤色(R)の光を受光する撮像素子と、緑色(G)の光を受光する撮像素子と、青色(B)の光を受光する撮像素子とを備える。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をA/D変換することによりカラー画像を生成することができる。以下では、画像のR成分、G成分、B成分を、それぞれR画像、G画像、B画像とも称する。なお、赤、緑、青の撮像素子毎の電気信号を用いて、R画像、G画像、B画像をそれぞれ生成することもできる。
CPU44は、撮像装置24内の様々なコンポーネントの動作を制御するプロセッサである。CPU44は、ストレージデバイスである不揮発性メモリ46からRAM45にロードされる様々なプログラムを実行する。不揮発性メモリ46には、イメージセンサ43によって生成された画像や、その画像の処理結果も格納され得る。
メモリカードスロット47には、SDメモリカードやSDHCメモリカードのような各種の可搬記憶媒体が挿入され得る。メモリカードスロット47に記憶媒体が挿入された場合、その記憶媒体に対するデータの書き込み及び読み出しが実行され得る。データは、例えば画像データや距離データである。
通信デバイス48は、有線通信又は無線通信を実行するように構成されたインターフェース機器である。通信デバイス48は、信号を有線又は無線送信する送信部と、信号を有線又は無線受信する受信部とを含む。
図5は、フィルタ41の構成の例を示す。フィルタ41は、例えば、二色のカラーフィルタ領域である第1フィルタ領域411と第2フィルタ領域412とで構成される。フィルタ41の中心は、撮像装置24の光学中心413と一致している。第1フィルタ領域411及び第2フィルタ領域412はそれぞれ、光学中心413に対して非点対称である形状を有している。また、例えば各フィルタ領域411,412は重複せず、且つ二つのフィルタ領域411,412によってフィルタ41の全領域を構成している。図5に示す例では、第1フィルタ領域411及び第2フィルタ領域412はそれぞれ、円形のフィルタ41が光学中心413を通る線分で分割された半円の形状を有している。また、第1フィルタ領域411は、例えばイエロー(Y)のフィルタ領域であり、第2フィルタ領域412は、例えばシアン(C)のフィルタ領域である。
フィルタ41は、2以上のカラーフィルタ領域を有する。カラーフィルタ領域それぞれは、撮像装置24の光学中心に対して非点対称な形状である。一つのカラーフィルタ領域が透過する光の波長帯域の一部と、別の一つのカラーフィルタ領域が透過する光の波長帯域の一部は、例えば重複する。一つのカラーフィルタ領域が透過する光の波長帯域は、例えば別の一つのカラーフィルタ領域が透過する光の波長帯域を含んでもよい。
なお、第1フィルタ領域411と第2フィルタ領域412とは、任意の波長帯域の透過率を変更するフィルタ、任意方向の偏光光を通過させる偏光フィルタ、又は任意の波長帯域の集光パワーを変更するマイクロレンズであってもよい。例えば、任意の波長帯域の透過率を変更するフィルタは、原色フィルタ(RGB)、補色フィルタ(CMY)、色補正フィルタ(CC−RGB/CMY)、赤外線・紫外線カットフィルタ、NDフィルタ、又は遮蔽板であってもよい。第1フィルタ領域411や第2フィルタ領域412がマイクロレンズである場合は、レンズ42により光線の集光の分布に偏りが生じることでぼけの形状が変化する。
以下では、説明を分かりやすくするために、図5に示すフィルタ41において、第1フィルタ領域411がイエロー(Y)のフィルタ領域であり、第2フィルタ領域412がシアン(C)のフィルタ領域である場合を主に例示する。
このようなフィルタ41がカメラの開口部に配置されることによって、開口部が二色で二分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ43は画像を生成する。イメージセンサ43に入射する光の光路上において、フィルタ41とイメージセンサ43との間にレンズ42が配置されてもよい。イメージセンサ43に入射する光の光路上において、レンズ42とイメージセンサ43との間にフィルタ41が配置されてもよい。また、レンズ42が複数設けられる場合には、フィルタ41が2つのレンズ42の間に配置されてもよい。
より具体的には、イメージセンサ43の緑色(G)の光を受光する撮像素子に対応する波長帯域の光は、イエローの第1フィルタ領域411とシアンの第2フィルタ領域412の両方を透過する。イメージセンサ43の赤色(R)の光を受光する撮像素子に対応する波長帯域の光は、イエローの第1フィルタ領域411を透過し、シアンの第2フィルタ領域412を透過しない。イメージセンサ43の青色(B)の光を受光する撮像素子に対応する波長帯域の光は、シアンの第2フィルタ領域412を透過し、イエローの第1フィルタ領域411を透過しない。
なお、ある波長帯域の光がフィルタ又はフィルタ領域を透過するとは、フィルタ又はフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタ又はフィルタ領域による当該波長帯域の光の減衰(すなわち、光量の低下)が極めて小さいことを意味する。また、ある波長帯域の光がフィルタ又はフィルタ領域を透過しないとは、光がフィルタ又はフィルタ領域に遮蔽されることであり、例えば、フィルタ又はフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタ又はフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。フィルタ又はフィルタ領域は、例えば、ある波長帯の光を吸収することにより光を減衰させる。
図6は、第1フィルタ領域411及び第2フィルタ領域412の透過率特性の例を示す。なお、可視光の波長帯域のうち700nmより長い波長の光に対する透過率は図示を省略してあるが、その透過率は700nmの場合に近いものである。図6中のイエローの第1フィルタ領域411の透過率特性51では、波長帯域が620nmから750nm程度のR画像と、波長帯域が495nmから570nm程度のG画像とに対応する光が高い透過率で透過され、波長帯域が450nmから495nm程度のB画像に対応する光がほとんど透過されていない。また、シアンの第2フィルタ領域412の透過率特性52では、B画像及びG画像に対応する波長帯域の光が高い透過率で透過され、R画像に対応する波長帯域の光がほとんど透過されていない。
したがって、R画像に対応する波長帯域の光はイエローの第1フィルタ領域411のみを透過し、B画像に対応する波長帯域の光はシアンの第2フィルタ領域412のみを透過する。
R画像及びB画像上のぼけの形状は被写体までの距離dに応じて変化する。また、各フィルタ領域411,412が光学中心413に対して非点対称な形状であるので、R画像及びB画像上のぼけの偏りの方向が、撮像点から見て、被写体が合焦位置よりも手前にあるか、それとも奥にあるかによってそれぞれ反転する。この合焦位置は、撮像点から合焦距離dfだけ離れた点であり、撮像装置24から、画像上にぼけが発生しないピントが合う位置である。
図7を参照して、フィルタ41が配置されたカラー開口による光線変化と、ぼけの形状とについて説明する。
まず、被写体5が合焦距離df(合焦位置)よりも奥にある場合(d>df)、イメージセンサ43によって撮像された画像にはぼけが発生する。この画像上のぼけの形状を示すぼけ関数は、R画像、G画像及びB画像でそれぞれ異なっている。すなわち、R画像のぼけ関数401Rは左側に偏ったぼけの形状を示し、G画像のぼけ関数401Gは偏りのないぼけの形状を示し、B画像のぼけ関数401Bは右側に偏ったぼけの形状を示している。
次に、被写体5が合焦距離dfにある場合(d=df)、イメージセンサ43によって撮像された画像にはほとんどぼけが発生しない。この画像上のぼけの形状を示すぼけ関数は、R画像、G画像及びB画像でほぼ同じである。すなわち、R画像のぼけ関数402R、G画像のぼけ関数402G、及びB画像のぼけ関数402Bは、偏りのないぼけの形状を示している。
さらに、被写体5が合焦距離dfよりも手前にある場合(d<df)、イメージセンサ43によって撮像された画像にはぼけが発生する。この画像上のぼけの形状を示すぼけ関数は、R画像、G画像及びB画像でそれぞれ異なっている。すなわち、R画像のぼけ関数403Rは右側に偏ったぼけの形状を示し、G画像のぼけ関数403Gは偏りのないぼけの形状を示し、B画像のぼけ関数403Bは左側に偏ったぼけの形状を示している。
図8は、このような画像上のぼけを利用して被写体5までの距離を算出する方法を示す。図8に示す例では、フィルタ41は、イエローの第1フィルタ領域411とシアンの第2フィルタ領域412とによって構成されている。そのため、R画像に対応する波長帯域の光が、第1フィルタ領域411に対応する部分54Rを通過し、G画像に対応する波長帯域の光が、第1フィルタ領域411及び第2フィルタ領域412に対応する部分54Gを通過し、B画像に対応する波長帯域の光が、第2フィルタ領域412に対応する部分54Bを通過する。
このようなフィルタ41を用いて撮像された画像上にぼけが生じた場合、R画像、G画像及びB画像上のぼけはそれぞれ異なる形状になる。図8に示すように、G画像のぼけ関数56Gは左右対称であるぼけの形状を表している。また、R画像のぼけ関数56R及びB画像のぼけ関数56Bは非点対称であるぼけの形状を表し、ぼけの偏りはそれぞれ異なっている。
R画像のぼけ関数56R及びB画像のぼけ関数56Bには、被写体までの距離毎に推定されるぼけに基づいて、R画像及びB画像上の非点対称なぼけを左右対称なぼけに補正するためのぼけ補正フィルタ57,58が適用され、これらぼけ関数56R,56BがG画像のぼけ関数56Gと一致するかどうかが判定される。ぼけ補正フィルタ57,58として、例えば、特定の間隔の距離毎に、複数の距離に対応する複数のぼけ補正フィルタが用意される。あるぼけ補正フィルタ57,58が適用されたぼけ関数59R,59Bが、G画像のぼけ関数56Gと一致した場合には、そのぼけ補正フィルタ57,58に対応する距離が、撮影された被写体5までの距離に決定される。
このぼけ関数が一致しているかどうかの判定には、例えば、ぼけ補正フィルタが適用されたR画像又はB画像と、G画像との相関が用いられる。したがって、例えば、複数のぼけ補正フィルタから、ぼけ補正フィルタが適用されたR画像又はB画像と、G画像との相関がより高くなるぼけ補正フィルタを探索することで、画像上の各画素に写る被写体までの距離が推定される。つまり、画像に写る被写体までの距離が任意の距離であると仮定して作成した複数のぼけ補正フィルタを用いて、R画像又はB画像のぼけ形状を補正した補正画像を生成し、生成した補正画像とG画像との相関がより高くなる距離を求めることで、被写体までの距離を算出することができる。
ぼけ補正フィルタが適用されたR画像又はB画像と、G画像との相関を示す相関値には、例えば、NCC(Normalized Cross−Correlation)、ZNCC(Zero−mean Normalized Cross−Correlation)、Color Alignment Measure、等が用いられ得る。
また、あるぼけ補正フィルタ57,58が適用されたぼけ関数59R,59Bが、G画像のぼけ関数56Gと一致しているかどうかの判定に、ぼけ補正フィルタが適用されたR画像又はB画像と、G画像との相違度が用いられてもよい。この相違度がより低くなる距離を求めることで、被写体までの距離を算出することができる。相違度には、例えば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、等が用いられ得る。
図9を参照して、撮像装置24の機能構成の例について説明する。上述したように、撮像装置24は、フィルタ41、レンズ42及びイメージセンサ43を備えている。フィルタ41からイメージセンサ43までの矢印は、光の経路を示す。フィルタ41は、第1フィルタ領域411と第2フィルタ領域412とを含んでいる。第1フィルタ領域411は、例えばイエローのフィルタ領域である。第2フィルタ領域412は、例えばシアンのフィルタ領域である。イメージセンサ43は、第1センサ431、第2センサ432及び第3センサ433を含んでいる。第1センサ431は、例えば赤色(R)の光を受光する撮像素子を含む。第2センサ432は、例えば緑色(G)の光を受光する撮像素子を含む。第3センサ433は、例えば青色(B)の光を受光する撮像素子を含む。イメージセンサ43は、受光した光を光電変換することにより得られた電気信号を用いて、画像を生成する。生成される画像は、R成分、G成分及びB成分を含む画像であってもよいし、R画像、G画像及びB画像の三つの画像であってもよい。
撮像装置24は、さらに、処理部49を備える。イメージセンサ43から処理部49までの矢印は、電気信号の経路を示す。この処理部49を含む撮像装置24内の各機能構成は、ハードウェア(回路)、CPU44によって実行されるソフトウェア(プログラム)、及びソフトウェアとハードウェアの組み合わせのいずれとして実現されてもよい。
処理部49は、取得部491と送信制御部492とを含む。取得部491及び送信制御部492は、ドローン2の飛行中に撮影された画像を取得し、取得された画像を経路生成装置1に送信する。
より具体的には、取得部491は、イメージセンサ43によって生成された画像を取得する。取得部491は、例えば、非点対称なぼけ関数を有し第1物体を含む第1色成分(第1波長成分)の画像と、点対称なぼけ関数を有し第1物体を含む第2色成分(第2波長成分)の画像とを取得する。この第1色成分は、例えばR成分又はB成分であり、第2色成分は、例えばG成分である。また、取得部491は、例えば、各々が少なくとも一つの色成分を含む複数の画素を含む画像であって、被写体までの距離が合焦距離である画素ではぼけが発生せず、被写体までの距離がその合焦距離でない画素ではぼけが発生し、複数の画素の第1色成分のぼけを表すぼけ関数が非点対称である画像を取得してもよい。ぼけ関数が非対称な第1波長成分とぼけ関数が対称な第2波長成分とを含む画像を生成可能な単一の光学系により、画像および距離画像(距離マップ)が取得される。
送信制御部492は、ドローン2の無線通信デバイス27を介して、画像を経路生成装置1に送信する。なお、送信制御部492は、通信デバイス48を介して、画像を経路生成装置1に送信してもよい。
また、処理部49は、図7及び図8を参照して上述したような、画像上のぼけに基づいて、画素毎に物体(被写体)までの距離を算出する機能をさらに有していてもよい。その場合、画素毎の物体までの距離を含む距離画像を経路生成装置1に送信することもできる。この距離画像は、単一の結像光学系による一度の撮像で画像とともに取得される。例えば、カラー開口を有する撮像装置24では、レンズ42及びイメージセンサ43を含む単一の結像光学系による一度の撮像で得られた撮像画像から、画像(例えば、カラー画像)とともに距離画像を取得することができる。
なお、物体までの距離を取得する方法には、上述した画像上のぼけを用いる方法に限らず、あらゆるセンサや方法を利用することができる。例えば、ドローン2に、ステレオカメラ、赤外線デプスセンサ、超音波センサ、ミリ波レーダ、又はLiDAR(Light Detection and Ranging)を設けることによって、物体までの距離を取得することができる。また、Structure from Motion(SfM)等の画像解析に基づく方法によって物体までの距離を取得してもよい。
次いで、図10は経路生成装置1のシステム構成を示す。経路生成装置1は、CPU11、システムコントローラ12、主メモリ13、不揮発性メモリ14、BIOS−ROM15、エンベデッドコントローラ(EC)16、無線通信デバイス17等を備える。
CPU11は、経路生成装置1内の様々なコンポーネントの動作を制御するプロセッサである。CPU11は、ストレージデバイスである不揮発性メモリ14から主メモリ13にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)13A、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、経路生成プログラム13Bが含まれている。この経路生成プログラム13Bは、ドローン2の飛行ルートを示す経路データを生成するための命令群を含む。
また、CPU11は、BIOS−ROM15に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ12は、CPU11のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ12には、主メモリ13をアクセス制御するメモリコントローラも内蔵されている。
無線通信デバイス17は、無線通信を実行するように構成されたデバイスである。無線通信デバイス17は、信号を無線送信する送信部と、信号を無線受信する受信部とを含む。EC16は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC16は、ユーザによるパワーボタンの操作に応じて本経路生成装置1を電源オン又は電源オフする機能を有している。
図11は、経路生成プログラム13Bの機能構成を示す。経路生成プログラム13Bは、画像取得部61、距離データ生成部62、三次元データ生成部63、表示制御部64、領域情報受付部65、経路生成部66、及び経路送信部67を備える。
画像取得部61及び距離データ生成部62は、被写体として第1物体を含む距離画像を取得する。画像取得部61及び距離データ生成部62は、例えば、第1地点から、検査等の対象である第1物体上の複数の点までの複数の距離を含む距離画像を取得する。より具体的には、画像取得部61は、無線通信デバイス17を介して、ドローン2から第1物体を撮影した画像を取得する。この画像は、例えば、第1フィルタ領域411と第2フィルタ領域412とを含むフィルタ41がカメラの開口部に配置された撮像装置24を用いて取得された画像である。そのため、図7及び図8を参照して上述したように、画像上のぼけに基づいて、画素毎に、撮影時の撮像装置24の位置である第1地点から物体(画素に対応する物体上のある点)までの距離を算出することができる。距離データ生成部62は、取得された画像上のぼけに基づいて、画素毎の物体までの距離を含む距離画像を生成する。距離画像は、取得された画像(原画像)上の各画素に対応する距離データを含んでいる。
三次元データ生成部63は、生成された距離画像を用いて三次元データを生成する。三次元データ生成部63は、例えば、撮像装置24であるカメラの内部パラメータに基づいて、カメラ座標系における画素毎の三次元位置が示された三次元データを生成する。なお、三次元データ生成部63は、距離画像だけでなく、原画像の画素値(例えば、輝度値、RGB値、等)もさらに用いて三次元データを生成してもよい。また、三次元データ生成部63は、ドローン2のGPSレシーバ28及び慣性センサ29を用いて得られた、撮影時のカメラの位置・姿勢データをさらに用いて、GPS座標系における画素毎の三次元位置が示された三次元データを生成してもよい。
三次元データ生成部63は、原画像と距離画像とを用いて、例えば、三次元データに示される複数の点をクラスタリングし、類似する点を含む領域を一つのメッシュに割り当てることによって、物体の三次元モデルを構成する面(ポリゴン)を表すメッシュデータを生成する。三次元データ生成部63は、各点の色に基づいて、例えば、色が類似する二点(例えば、色を示す画素値の差が閾値未満である二点)を同一のメッシュに割り当て、異なる色を有する二点(例えば、色を示す画素値の差が閾値以上である点)を別々のメッシュに割り当てる。また、三次元データ生成部63は、各々が点を含む二つの領域間にエッジがある場合、それら二つの領域にそれぞれ含まれる点を別々のメッシュに割り当てる。このメッシュデータは、三次元データに含まれ得る。
また、三次元データ生成部63は、この三次元データに示される各点が水平面(x−y平面)上に投影された投影像を示す投影データをさらに生成してもよい。
表示制御部64は、無線通信デバイス17を介して、生成された三次元データ又は投影データを表示するための表示信号をタブレットコンピュータ3に送信する。これにより、表示制御部64は、タブレットコンピュータ3の画面に、三次元データに基づく三次元モデル、又は投影データに基づく投影像を表示させる。
領域情報受付部65は、タブレットコンピュータ3から、三次元データに基づき第1物体の少なくとも一部を含む第1領域を特定する第1領域情報を受け付ける。領域情報受付部65は、例えば、三次元データに基づく三次元モデルの一部の第1領域を特定する第1領域情報、又は投影データに基づく投影像の一部の第2領域を特定する第2領域情報を受け付ける。また、第1領域情報は、三次元データが水平面上に投影された投影データを使って表されてもよい。特定された領域は、第1物体の検査等のために、ユーザが画像をさらに取得したい三次元モデル又は投影像上の領域を示している。
なお、表示制御部64は、三次元データ又は投影データに基づく表示信号を、タブレットコンピュータ3ではなく、経路生成装置1に接続されたタッチスクリーンディスプレイ(図示せず)に送出し、そのタッチスクリーンディスプレイの画面に三次元モデル又は投影像を表示させてもよい。その場合、領域情報受付部65は、このタッチスクリーンディスプレイを介して、三次元データに基づく三次元モデルの一部の第1領域を特定する第1領域情報、又は投影データに基づく投影像の一部の第2領域を特定する第2領域情報を受け取ることができる。
経路生成部66は、第1領域情報を受け取った場合、この第1領域情報と三次元データとを用いて、第1領域(すなわち、第1領域に対応する、第1物体上の領域)を撮影するための飛行ルートを示す経路データを生成する。経路生成部66は、例えば、第1領域に対応する第1物体上の領域の寸法(例えば、幅及び奥行き)を用いて、ドローン2の飛行距離と方向転換(旋回)の回数とに基づくコスト関数の値が最小化されるように飛行ルートを決定する。この第1領域に対応する第1物体上の領域の寸法は、三次元データを用いて算出することができる。ドローン2は、例えば、バッテリから供給される電力で駆動されるので、一度に飛行できる時間は限られた時間となる。そのため、経路生成部66は、ドローン2による電力消費が低減される飛行ルートを決定できるコスト関数を使用する。
経路生成部66は、例えば、上昇又は下降のような垂直移動による飛行距離と、水平移動による飛行距離とに異なる重み付けを行うコスト関数を使用する。経路生成部66は、例えば、垂直移動による飛行距離に大きく重み付けし、水平移動による飛行距離に小さく重み付けする。これにより、ドローン2による電力消費が大きくなる垂直移動の飛行距離が短くなるように飛行ルートを決定することができる。また、経路生成部66は、第1領域に対応する第1物体上の領域が、例えば矩形である場合、この矩形の領域の長い方の辺に優先して沿うように飛行ルートを決定することにより、方向転換の回数を低減することができる。
また、経路生成部66は、投影像上の第2領域が特定された第2領域情報を受け取った場合、この第2領域情報を用いて、第2領域に対応する、第1物体上の領域を撮影するための飛行ルートを示す経路データを生成する。より詳しくは、経路生成部66は、第2領域に対応する三次元モデル上の領域を決定する。そして、経路生成部66は、第1領域情報を受け取った場合と同様にして、決定された三次元モデル上の領域に対応する、第1物体上の領域を撮影するための飛行ルートを示す経路データを生成する。
経路生成部66は、原画像、距離画像及び三次元データの少なくともいずれかを用いて、第1物体上の特定の特徴を有する領域を抽出し、この抽出された領域が中心となる画像を取得するための飛行ルートを示す経路データを生成してもよい。このような画像が取得される場合の飛行ルートは、上述したコスト関数を最小化する飛行ルートから一時的に逸脱するように設定されてもよい。また、経路生成部66は、撮影に用いられる撮像装置24の解像度(例えば、第1領域の撮影に用いられる解像度)と、第1物体上の特定の特徴を有する領域の大きさの少なくとも一方に基づいて、飛行中の第1物体までの距離が規定された経路データを生成してもよい。この特定の特徴を有する領域は、例えば、ひび割れ、傷、歪み等の異常箇所や、ネジやナット等の所定の部材が取り付けられている箇所を含む領域である。経路生成部66は、例えば、小さな異常箇所の領域が撮影される場合に第1物体までの距離が短くなり、大きな異常箇所の領域が撮影される場合に第1物体までの距離が長くなるように、経路データを生成する。つまり、経路生成部66は、小さな異常箇所の領域を撮影するために第1物体に近付き、大きな異常箇所の領域を撮影するために第1物体から遠ざかるように、経路データを生成することができる。
経路データは、飛行ルート上の各地点の位置だけでなく、その各地点におけるドローン2の姿勢及び速度、ドローン2に取り付けられた撮像装置24の姿勢、解像度、及びズームイン/アウトの度合い等の、飛行及び撮影に関するあらゆるパラメータを含み得る。なお、位置は、例えば緯度、経度、高度で表され、姿勢は、例えばヨー、ピッチ、ロールのような角度で表され得る。飛行ルートが決定される具体的な例については、図14から図17を参照して後述する。
また、撮像装置24の取り付け位置が異なる複数のドローン2が用いられる場合には、経路生成部66は、撮影対象である領域を構成する面の向きに基づいて、撮影に用いられる一つ以上のドローン2を選択し、そのドローン2の経路データを生成してもよい。経路生成部66は、例えば、水平な面を下方から撮影する場合、ドローン本体20の上部に撮像装置24が取り付けられているドローン2を選択する。また、経路生成部66は、例えば、垂直な面を撮影する場合、ドローン本体20の側面に撮像装置24が取り付けられているドローン2を選択する。これにより、ドローン2の姿勢を複雑に制御することなく、対象の領域を撮影することができる。
経路送信部67は、生成された経路データを、無線通信デバイス17を介してドローン2に送信する。ドローン2は、受信した経路データを用いた飛行中に、ユーザによって指定された領域の画像を取得することができる。
なお、ドローン2上の撮像装置24を用いて取得される画像には、検査等の対象である第1物体だけでなく、別の第2物体も含まれることがある。したがって、距離データ生成部62によって生成される距離画像は、第1地点から、第2物体上の複数の点までの複数の距離をさらに含み得る。
このような第2物体が検査等の対象でない場合、ユーザは、画像をさらに取得したい三次元モデル又は投影像上の領域を指定するだけでなく、ドローン2による接近を禁止する領域を指定することもできる。ドローン2による接近を禁止する領域は、例えば、検査の対象外の領域、ドローン2による飛行や撮影が禁止される領域、ドローン2による飛行に危険が伴う領域等を含む。
この場合、領域情報受付部65は、タブレットコンピュータ3から、ユーザが画像をさらに取得したい領域を指定するための、三次元モデルの一部の第1領域を特定する第1領域情報と、ドローン2による接近が禁止される領域を指定するための、距離画像に含まれる一部である第3領域(例えば、三次元モデルの一部の第3領域)を特定する第3領域情報とを受け付ける。そして、経路生成部66は、第1領域情報と第3領域情報とを用いて、第3領域に入らずに第1領域に対応する第1物体上の領域を撮影するための飛行ルートを示す経路データを生成する。経路データは、第3領域に接近せずに第1領域に対応する第1物体上の領域を撮影する飛行ルートを示してもよい。
なお、領域情報受付部65は、タブレットコンピュータ3から、ユーザが画像をさらに取得したい領域を指定するための、投影像の一部の第2領域を特定する第2領域情報と、ドローン2による接近が禁止される領域を指定するための、投影像の一部の第4領域を特定する第4領域情報とを受け付けてもよい。その場合、経路生成部66は、第2領域情報と第4領域情報とを用いて、第2領域に対応する第1物体上の領域を撮影し、且つ第4領域に対応する第2物体上の領域に接近しないための飛行ルートを示す経路データを生成する。
図12は、タブレットコンピュータ3のシステム構成を示す。タブレットコンピュータ3は、CPU31、システムコントローラ32、主メモリ33、グラフィクスプロセッシングユニット(GPU)34、BIOS−ROM35、不揮発性メモリ36、無線通信デバイス37、エンベデッドコントローラ(EC)38等を備える。
CPU31は、タブレットコンピュータ3内の様々なコンポーネントの動作を制御するプロセッサである。CPU31は、ストレージデバイスである不揮発性メモリ36から主メモリ33にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)33A、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、領域指定アプリケーションプログラム33Bが含まれている。この領域指定アプリケーションプログラム33Bは、三次元データに基づく三次元モデル又は投影データに基づく投影像を表示するための命令群と、三次元モデル又は投影像上で指定された領域を示す領域情報を生成するための命令群とを含む。
また、CPU31は、BIOS−ROM35に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ32は、CPU31のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ32には、主メモリ33をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ32は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスプロセッシングユニット(GPU)34との通信を実行する機能も有している。
GPU34は、本タブレットコンピュータ3のディスプレイモニタとして使用されるLCD391を制御する表示プロセッサである。このGPU34によって生成される表示信号はLCD391に送られる。LCD391は、表示信号に基づいて画面イメージを表示する。このLCD391の上面側にはタッチパネル392が配置されている。タッチパネル392は、LCD391の画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び接触位置の動き等はタッチパネル392によって検出される。
無線通信デバイス37は、無線通信を実行するように構成されたデバイスである。無線通信デバイス37は、信号を無線送信する送信部と、信号を無線受信する受信部とを含む。EC38は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC38は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ3を電源オン又は電源オフする機能を有している。
図13は、領域指定アプリケーションプログラム33Bの機能構成を示す。領域指定アプリケーションプログラム33Bは、受信制御部71、表示制御部72、領域情報生成部73、及び送信制御部74を備える。後述する各部71,72,73,74の動作は、CPU31が領域指定アプリケーションプログラム33Bに含まれる命令群を実行することによって実現されるものである。
受信制御部71は、経路生成装置1から無線通信デバイス37を用いて三次元データを受信する。この三次元データは、検査等の対象物体を表す三次元モデルのデータを含む。また、この三次元データは、三次元モデルのメッシュデータを含み得る。
表示制御部72は、この三次元データを用いてタッチスクリーンディスプレイ39の画面に三次元モデルを表示する。表示制御部72は、三次元モデルを、例えば、三次元形状を構成する複数の領域(面)を示す三次元メッシュとして表示する。ユーザは、検査等のための画像を取得する領域を指定するために、タッチスクリーンディスプレイ39の画面上の操作(例えば、タップ操作、スライド操作等)によって、表示されている三次元モデルの一部を指定する。
領域情報生成部73は、三次元モデルの一部の第1領域を指定するためのユーザ操作(タップ操作)に応じて、指定された第1領域を特定する第1領域情報を生成する。領域情報生成部73は、例えば、ユーザによるタップ操作に対応する位置を含む三次元領域(三次元メッシュ)を、ユーザによって指定された第1領域として検出し、この第1領域を示す第1領域情報を生成する。第1領域情報は、指定された領域を特定できる情報であればどのような形態であってもよく、例えば、指定された領域に対応する三次元データを含む。ユーザは、タップ操作等によって、タッチスクリーンディスプレイ39の画面に表示されている三次元モデルの一部を、領域(メッシュ)単位で容易に選択することができる。
受信制御部71は、経路生成装置1から無線通信デバイス37を用いて三次元データを受信する。この三次元データは、検査等の対象物体を表す三次元モデルのデータを含む。また、この三次元データは、三次元モデルのメッシュデータを含み得る。
表示制御部72は、この三次元データを用いてタッチスクリーンディスプレイ39の画面に三次元モデルを表示する。表示制御部72は、三次元モデルを、例えば、三次元形状を構成する複数の領域(面)を示す三次元メッシュとして表示する。ユーザは、検査等のための画像を取得する領域を指定するために、タッチスクリーンディスプレイ39の画面上の操作(例えば、タップ操作、スライド操作等)によって、表示されている三次元モデルの一部を指定する。
領域情報生成部73は、三次元モデルの一部の第1領域を指定するためのユーザ操作(タップ操作)に応じて、指定された第1領域を特定する第1領域情報を生成する。領域情報生成部73は、例えば、ユーザによるタップ操作に対応する位置を含む三次元領域(三次元メッシュ)を、ユーザによって指定された第1領域として検出し、この第1領域を示す第1領域情報を生成する。第1領域情報は、指定された領域を特定できる情報であればどのような形態であってもよく、例えば、指定された領域に対応する三次元データを含む。ユーザは、タップ操作等によって、タッチスクリーンディスプレイ39の画面に表示されている三次元モデルの一部を、領域(メッシュ)単位で容易に選択することができる。
なお、受信制御部71は、経路生成装置1から無線通信デバイス37を用いて投影データを受信してもよい。この投影データは、検査等の対象物体を表す三次元モデルの三次元データを、水平面(x−y平面)に投影したデータに含む。
表示制御部72は、この投影データを用いてタッチスクリーンディスプレイ39の画面に投影像を表示する。ユーザは、検査等のための画像を取得する領域を指定するために、タッチスクリーンディスプレイ39の画面上の操作(例えば、タップ操作、スライド操作等)によって、表示されている投影像の一部を指定する。
領域情報生成部73は、投影像の一部の第2領域を指定するためのユーザ操作(スライド操作)に応じて、指定された第2領域を特定する第2領域情報を生成する。領域情報生成部73は、例えば、ユーザによるスライド操作に対応する位置を含む領域を、ユーザによって指定された第2領域として検出し、この第2領域を示す第2領域情報を生成する。第2領域情報は、指定された領域を特定できる情報であればどのような形態であってもよく、例えば、指定された領域に対応する投影データを含む。
送信制御部74は、生成された第1領域情報又は第2領域情報を無線通信デバイス37を用いて経路生成装置1に送信する。上述したように、経路生成装置1では、第1領域情報又は第2領域情報を用いて、ドローン2の飛行ルートを示す経路データが生成される。
なお、表示制御部72は、ユーザによるタッチスクリーンディスプレイ39を用いたジェスチャ操作(例えば、ドラッグ操作、ピンチ操作、等)に応じて、三次元モデル又は投影像が移動、回転、及び拡大/縮小して表示されるようにしてもよい。これにより、三次元モデル又は投影像がユーザに認識しやすいように表示されるので、ユーザが領域を指定しやすくすることができる。
次いで、図14から図17を参照して、タブレットコンピュータ3において、三次元モデル又は投影像上の領域が指定され、経路生成装置1において、指定された領域の画像を取得するためのドローン2の経路が決定される例について説明する。
まず、図14は、タブレットコンピュータ3において、画面に表示された三次元モデルの一部の領域が指定される例を示す。ここでは、タブレットコンピュータ3に設けられるタッチスクリーンディスプレイ39上に、橋の三次元モデル811を含む画面イメージ81が表示される場合を例示する。この三次元モデル811は、経路生成装置1によって送信された三次元データを用いて、例えば、三次元形状を構成する複数の領域を含む三次元メッシュとして表示されている。
ユーザは、表示されている三次元モデル811上でのタップ操作等によって、検査等のための画像を取得する領域を特定するために、三次元モデル811の一部の領域を指定することができる。図14に示す例では、ユーザによるタップ操作に基づいて、橋の三次元モデル811の内、タップ操作で示された位置を含む一つの橋脚の領域812が指定されている。この橋脚の領域812が、ユーザによって指定された領域として検出され、この領域812を特定する領域情報が生成される。つまり、この橋脚の領域812の画像を取得するための領域情報が生成される。
そして、図15に示すように、経路生成装置1の経路生成部66は、指定された橋脚の領域812に基づいてドローン2の飛行ルート82を示す経路データを生成する。経路生成部66は、撮像装置24によって撮像される範囲(画角)、解像度、対象(ここでは、橋脚)までの距離等を考慮して、指定された領域812に対応する橋脚の画像を漏れなく、効率的に取得できる飛行ルート82を示す経路データを生成する。経路生成部66は、領域812に対応する橋脚を、例えばラスタ走査するような飛行ルート82を決定する。この飛行ルート82は、橋脚の長い方の辺に優先して沿うように、また、垂直移動よりも水平移動が優先して行われるように設定されているので、ドローン2の方向転換の回数や電力消費を低減することができる。
また、図16は、タブレットコンピュータ3において、画面に表示された投影像上の一部の領域が指定される例を示す。ここでは、タブレットコンピュータ3に設けられるタッチスクリーンディスプレイ39上に、橋の三次元モデル811の投影像83を含む画面イメージ86が表示される場合を例示する。この投影像83は、三次元モデル811を水平面(x−y平面)上に投影したものである。
ユーザは、表示されている投影像83上のスライド操作等によって、検査等のための画像を取得する領域を特定するために、投影像83の一部の領域を指定することができる。図16に示す例では、ユーザによるスライド操作で指示された位置を含む領域84が指定されている。この領域84が、ユーザによって指定された領域として検出され、この領域84を特定する領域情報が生成される。
ユーザは、さらに、各種のボタンのようなグラフィカルユーザインタフェース(GUI)や、特定のジェスチャ操作を用いて、この領域84に対応する、橋の実際の領域の上面と背面(底面)のいずれの画像を取得するかを指定することもできる。その場合、領域情報には、領域84を特定する情報と、上面と背面のいずれの画像を取得するかを示す情報とが含まれる。したがって、ユーザが、例えば、投影像83上の領域84を指定し、背面からの画像を取得することを指定する操作を行った場合、領域84を特定する情報と、背面の画像を取得することを示す情報とを含む領域情報が生成される。つまり、投影像83
上の領域84に対応する橋桁の領域813の背面の画像を取得するための領域情報が生成される。
上の領域84に対応する橋桁の領域813の背面の画像を取得するための領域情報が生成される。
図17に示すように、経路生成装置1の経路生成部66は、領域84を特定する情報と、背面の画像を取得することを示す情報とに基づいて、ドローン2の飛行ルート85を示す経路データを生成する。経路生成部66は、撮像装置24によって撮像される範囲(画角)、解像度、対象(ここでは、橋桁)までの距離等を考慮して、指定された領域84に対応する橋桁の背面の画像を漏れなく、効率的に取得できる飛行ルート85を示す経路データを生成する。経路生成部66は、領域84に対応する橋桁の背面を、例えばラスタ走査するような飛行ルート85を決定する。この飛行ルート85は、橋桁の長い方の辺に優先して沿うように、また、垂直移動よりも水平移動が優先して行われるように設定されているので、ドローン2の方向転換の回数や電力消費を低減することができる。
次いで、図18は、タブレットコンピュータ3によって表示される画面の例を示す。この画面は、経路データに基づく飛行中の撮影によって得られた画像を含む画面であり、例えば、構造物(第1物体)の外観検査のための検査画面91である。検査画面91には、検査画像表示領域92とマップ画像表示領域(三次元メッシュ領域)93とが含まれている。
検査画像表示領域92には、経路データに基づく飛行中の撮影によって得られた画像が描画されている。マップ画像表示領域93には、検査対象の物体の三次元モデル811が描画されている。また、マップ画像表示領域93には、検査画像表示領域92に対応する注目領域94(例えば、矩形領域)が示されている。つまり、検査画像表示領域92に描画されている画像が、この注目領域94を撮影した画像であることが示されている。ユーザは、この注目領域94を、タッチスクリーンディスプレイ39を用いた操作によって自由に移動することができ、それにより、マップ画像表示領域93内の任意の位置(例えば、三次元モデル811上の任意の位置)に注目領域94を設定することができる。
ユーザが、例えば、マップ画像表示領域93において、橋の三次元モデル811上の橋脚の位置に注目領域94を設定することによって、検査画像表示領域92に、その橋脚の検査のために撮影された画像が表示される。ユーザは、検査画像表示領域92に表示された橋脚の画像を見て、例えば、橋脚のひび割れや歪み等の検査を実施することができる。
また、検査画像表示領域92では、経路データに基づく飛行中の撮影によって得られた動画像が再生されてもよい。この再生に応じて、検査画像表示領域92に描画されている画像に対応するマップ画像表示領域93上の位置に、注目領域94が描画されるようにしてもよい。
なお、マップ画像表示領域93では、三次元モデル811上のひび割れや歪み等の異常検知箇所が、他の箇所とは識別できるように、例えば、枠線や特定の色で予め示されていてもよい。
次いで、図19のフローチャートを参照して、ドローン2によって実行される処理の手順の例を説明する。
まず、ドローン2の飛行制御部21は、ユーザによる操縦に基づく制御によってドローン2を飛行させ、この飛行中に、撮像装置24の取得部491は画像を取得する(ステップS11)。そして、送信制御部492は、取得された画像を無線通信デバイス27を介して経路生成装置1に送信する(ステップS12)。取得部491及び送信制御部492は、飛行中に連続的に画像を取得し、例えば一定時間毎に、取得された画像を経路生成装置1に送信してもよい。また、送信制御部492は、飛行及び撮影の終了後に、取得された多数の画像をまとめて経路生成装置1に送信するようにしてもよい。これにより、経路生成装置1は、対象物体の三次元モデルを作成するための画像を取得することができる。
次いで、飛行制御部21は、経路生成装置1から飛行ルートを示す経路データを受信したか否かを判定する(ステップS13)。経路データを受信していない場合(ステップS13のNO)、ステップS13の手順に戻り、経路データを受信したか否かが再度判定される。
経路データを受信した場合(ステップS13のYES)、飛行制御部21は、その経路データに示される飛行ルートに基づいてドローン2を飛行させ、その飛行中に、撮像装置24の取得部491は画像を取得する(ステップS14)。これにより、例えば、対象物体の検査のための画像を取得することができる。送信制御部492は、取得された画像を、経路生成装置1とタブレットコンピュータ3の少なくとも一方に送信してもよい。
図20のフローチャートは、経路生成装置1によって実行される処理の手順の例を示す。この処理の手順は、例えば、経路生成装置1のCPU11によって実行される経路生成プログラム13B内の各部の機能として実現される。
まず、画像取得部61は、無線通信デバイス17を介してドローン2から画像を受信したか否かを判定する(ステップS21)。ドローン2から画像を受信していない場合(ステップS21のNO)、ステップS21の手順に戻り、ドローン2から画像を受信したか否かが再度判定される。
ドローン2から画像を受信した場合(ステップS21のYES)、距離データ生成部62は、その画像を用いて距離画像を生成する(ステップS22)。距離画像は、原画像上の各画素に対応する距離データを含んでいる。三次元データ生成部63は、この距離画像を用いて三次元データを生成する(ステップS23)。そして、表示制御部64は、タブレットコンピュータ3の画面上に三次元モデルを表示するために、生成された三次元データをタブレットコンピュータ3に送信する(ステップS24)。
次いで、領域情報受付部65は、無線通信デバイス17を介してタブレットコンピュータ3から領域情報を受信したか否かを判定する(ステップS25)。タブレットコンピュータ3から領域情報を受信していない場合(ステップS25のNO)、ステップS25の手順に戻り、タブレットコンピュータ3から領域情報を受信したか否かが再度判定される。
タブレットコンピュータ3から領域情報を受信した場合(ステップS25のYES)、経路生成部66は、受信した領域情報に基づいて、ドローン2の飛行ルートを示す経路データを生成する(ステップS26)。領域情報は、例えば、ユーザが画像をさらに取得したい第1物体上の領域に対応する、三次元モデル上の領域を示している。経路生成部66は、この第1物体上の領域を撮影するための飛行ルートを示す経路データを生成する。経路送信部67は、無線通信デバイス17を介して、生成された経路データをドローン2に送信する(ステップS27)。
また、図21のフローチャートは、タブレットコンピュータ3によって実行される処理の手順の例を示す。この処理の手順は、例えば、タブレットコンピュータ3のCPU31によって実行される領域指定アプリケーションプログラム33B内の各部の機能として実現される。
まず、受信制御部71は、無線通信デバイス37を介して、経路生成装置1から三次元データを受信したか否かを判定する(ステップS31)。三次元データを受信していない場合(ステップS31のNO)、ステップS31の手順に戻り、経路生成装置1から三次元データを受信したか否かが再度判定される。
三次元データを受信した場合(ステップS31のYES)、表示制御部72は、その三次元データを用いて、LCD391の画面に三次元モデルを表示する(ステップS32)。ユーザは、例えば、タッチパネル392を用いて、表示された三次元モデルの一部の領域を指定するための操作を行う。ユーザは、この操作によって、例えば、三次元モデルとして表されている第1物体の検査のために、その第1物体の画像をさらに取得したい領域を指定する。領域情報生成部73は、表示された三次元モデル上でのユーザ操作に基づいて、領域情報を生成する(ステップS33)。この領域情報は、例えば、ユーザ操作によって指定された領域に対応する三次元データを含む。送信制御部74は、生成された領域情報を無線通信デバイス37を介して経路生成装置1に送信する(ステップS34)。
次いで、図22のフローチャートは、経路生成装置1によって実行される処理の別の手順の例を示す。図20のフローチャートが、経路生成装置1からタブレットコンピュータ3に三次元データが送信される場合の処理の手順を例示していたのに対して、図22のフローチャートは、経路生成装置1からタブレットコンピュータ3に、三次元データが水平面上に投影された投影データが送信される場合の処理の手順を例示する。
ステップS41からステップS43までの手順は、図20に示したステップS21からステップS23までの手順と同様である。
ステップS43の手順の後、三次元データ生成部63は、生成された三次元データが水平面に投影された投影データを生成する(ステップS44)。投影データは、三次元データが投影された水平面上の位置を示すデータを含む。表示制御部64は、タブレットコンピュータ3の画面上に投影像を表示するために、生成された投影データをタブレットコンピュータ3に送信する(ステップS45)。
次いで、領域情報受付部65は、無線通信デバイス17を介してタブレットコンピュータ3から領域情報を受信したか否かを判定する(ステップS46)。タブレットコンピュータ3から領域情報を受信していない場合(ステップS46のNO)、ステップS46の手順に戻り、タブレットコンピュータ3から領域情報を受信したか否かが再度判定される。
タブレットコンピュータ3から領域情報を受信した場合(ステップS46のYES)、経路生成部66は、受信した投影像上の一部の領域を示す領域情報に基づいて、その領域対応する三次元データ上の領域を特定する(ステップS47)。そして、経路生成部66は、特定された三次元データ上の領域に基づいて、ドローン2の飛行ルートを示す経路データを生成する(ステップS48)。領域情報は、ユーザが画像をさらに取得したい第1物体上の領域に対応する、投影像上の領域を示している。経路生成部66は、第1物体上の領域を撮影するための飛行ルートを示す経路データを生成する。経路送信部67は、無線通信デバイス17を介して、生成された経路データをドローン2に送信する(ステップS49)。
また、図23のフローチャートは、経路生成装置1からタブレットコンピュータ3に、三次元データが水平面上に投影された投影データが送信される場合に、タブレットコンピュータ3によって実行される処理の手順の例を示す。
まず、受信制御部71は、無線通信デバイス37を介して、経路生成装置1から投影データを受信したか否かを判定する(ステップS51)。投影データを受信していない場合(ステップS51のNO)、ステップS51の手順に戻り、経路生成装置1から投影データを受信したか否かが再度判定される。
投影データを受信した場合(ステップS51のYES)、表示制御部72は、その投影データを用いて、LCD391の画面に投影像を表示する(ステップS52)。ユーザは、例えば、タッチパネル392を用いて、表示された投影像の一部の領域を指定するための操作を行う。ユーザは、この操作によって、例えば、投影像として表されている第1物体の検査のために、その第1物体の画像をさらに取得したい領域を指定する。領域情報生成部73は、表示された投影像上でのユーザ操作に基づいて、領域情報を生成する(ステップS53)。この領域情報は、例えば、ユーザ操作によって指定された領域に対応する投影データを含む。送信制御部74は、生成された領域情報を無線通信デバイス37を介して経路生成装置1に送信する(ステップS54)。
以上説明したように、本実施形態によれば、物体を撮影するための移動体の移動経路を容易に設定することができる。経路生成装置1の画像取得部61は、第1地点から第1物体上の複数の点までの複数の距離を含む距離画像を取得する。距離データ生成部62は、距離画像を用いて三次元データを生成する。領域情報受付部65は、三次元データに基づく三次元モデルの一部の第1領域を特定する第1領域情報を受け付ける。経路生成部66は、第1領域情報を用いて、第1領域に対応する第1物体上の領域を撮影するための経路データを生成する。
ドローン2はこの経路データに基づく飛行ルートで飛行しながら、撮像装置24を用いて画像を取得する。これにより、三次元モデル上で指定された領域に対応する第1物体上の領域の画像が取得されるので、取得された画像を用いた検査等を効率的に実施することができる。
(第2実施形態)
次いで、図24を参照して、第2実施形態に係る経路生成装置を含む経路制御システムの構成を説明する。本実施形態の経路制御システムは、第1実施形態の経路制御システムが備える経路生成装置1、ドローン(移動体)2、及びタブレットコンピュータ3に加えて、距離を含むセンサデータを取得する距離取得センサ9をさらに備えている。経路生成装置1、ドローン(移動体)2、及びタブレットコンピュータ3は、第1実施形態において上述した構成を有している。距離取得センサ9は、対象までの距離を取得可能な各種のセンサであり、例えば、赤外線デプスセンサ、超音波センサ、ミリ波レーダ、又はLiDARのような距離センサや、対象までの距離と対象の画像とを取得可能なカラー開口カメラ又はステレオカメラによって実現され得る。カラー開口カメラは、例えば、第1実施形態における撮像装置24と同様の構成を有するものである。なお、距離取得センサ9として、距離センサと撮像装置とが用いられてもよい。その場合、距離取得センサ9は距離と画像とを取得する。
次いで、図24を参照して、第2実施形態に係る経路生成装置を含む経路制御システムの構成を説明する。本実施形態の経路制御システムは、第1実施形態の経路制御システムが備える経路生成装置1、ドローン(移動体)2、及びタブレットコンピュータ3に加えて、距離を含むセンサデータを取得する距離取得センサ9をさらに備えている。経路生成装置1、ドローン(移動体)2、及びタブレットコンピュータ3は、第1実施形態において上述した構成を有している。距離取得センサ9は、対象までの距離を取得可能な各種のセンサであり、例えば、赤外線デプスセンサ、超音波センサ、ミリ波レーダ、又はLiDARのような距離センサや、対象までの距離と対象の画像とを取得可能なカラー開口カメラ又はステレオカメラによって実現され得る。カラー開口カメラは、例えば、第1実施形態における撮像装置24と同様の構成を有するものである。なお、距離取得センサ9として、距離センサと撮像装置とが用いられてもよい。その場合、距離取得センサ9は距離と画像とを取得する。
上述したように、第1実施形態の経路生成装置1は、ドローン2に設けられる撮像装置24(例えば、カラー開口カメラ)を用いて被写体までの距離情報を含む画像を取得し、この画像を用いて被写体の三次元データ又は投影データを生成する。
これに対して、第2実施形態の経路生成装置1は、距離取得センサ9を用いて、被写体までの距離情報、距離情報を含む画像、あるいは距離画像及び画像(例えば、カラー画像)を取得し、この距離情報、距離情報を含む画像、又は距離画像及び画像を用いて、被写体の三次元データ又は投影データを生成する。距離取得センサ9は、自動車やロボットに搭載されていてもよいし、ドローン2とは別のドローンに搭載されていてもよい。あるいはユーザが、被写体をセンシングする位置に距離取得センサ9を持ち運んでもよい。距離取得センサ9により取得された距離情報、距離情報を含む画像、あるいは距離画像及び画像は、有線又は無線によるデータ伝送を介して、距離取得センサ9から経路生成装置1に送信(出力)され得る。また、距離取得センサ9により取得されたデータをSDメモリカードのような各種の記憶媒体に格納し、経路生成装置1に設けられるカードスロット(図示せず)等を介してこの記憶媒体を接続し、データを経路生成装置1に取り込むようにしてもよい。
本実施形態では、検査等の対象である構造物の距離情報(距離画像)が距離取得センサ9により取得される。そして、経路生成装置1は、この距離情報を用いて作成された三次元モデル又はその投影像を用いて、ユーザが構造物の一部の領域を指定したことに応じて、指定された領域の画像を取得するための移動体の移動計画を自動的に作成する。例えば、ユーザは、事前に、あるいは検査等の現場で、距離取得センサ9を用いて距離情報を取得し、距離情報を用いて作成された構造物の三次元モデル又はその投影像上の一部の領域を指定するだけで、指定された領域に対応する実際の構造物上の領域の画像を取得するための移動体の移動ルートを示す経路データを自動的に作成することができる。これにより、移動体の操縦のための人手による負担等を軽減して、構造物上の指定された領域を撮影するための移動体の移動ルートを容易に設定することができる。そして、設定された移動ルートに基づく移動体の移動中に撮影された画像を用いて、構造物の検査等を効率的に実施することができる。
図24においてドローン2から経路生成装置1に送信される画像は、例えば、この移動ルートに基づく移動体の移動中に撮影された画像である。したがって、本実施形態のドローン2は、図19のフローチャートに示す処理の内、ステップS13及びステップS14の手順を実行するように構成され得る。また、経路生成装置1は、図20のフローチャートに示すステップS21の手順、又は図22のフローチャートに示すS41の手順において、ドローン2からではなく、距離取得センサ9からデータ(例えば、距離画像、距離情報を含む画像、あるいは距離画像及び画像)を受信(取得)したか否かを判定する。そして、経路生成装置1は、距離取得センサ9から距離画像が取得された場合、ステップS22又はステップS42の手順をスキップできる。
距離情報を用いて経路データを生成する経路生成装置1の構成は、図11を参照して上述した経路生成プログラム13Bの構成において、距離取得センサ9によって取得された距離画像(又は画像と距離画像)が用いられるようにすることで容易に実現できる。例えば、距離取得センサ9によって取得された距離画像(又は画像と距離画像)を三次元データ生成部63の入力とすればよい。
なお、距離取得センサ9が、例えば、カラー開口カメラ又はステレオカメラである場合には、撮像画像を画像取得部61の入力としてもよいし、撮像画像を距離取得センサ9に設けられる処理部(図示せず)等を用いて処理することにより得られた画像と距離画像とを三次元データ生成部63の入力としてもよい。撮像画像を画像取得部61の入力とする場合、画像取得部61及び距離データ生成部62は、撮像画像を処理することにより画像と距離画像を生成し、これらを三次元データ生成部63に出力する。
また、経路生成装置1により移動経路が設計される移動体が、撮像装置24(例えば、カラー開口カメラ)を備えるドローン2である場合、ドローン2は、飛行中に被写体との距離情報を取得可能であるので、経路生成装置1によって生成された経路(例えば、被写体との距離が指定された経路)を飛行することができる。さらに、このドローン2は、撮像画像から距離情報を得ることにより、橋脚のひび割れや歪み等の異常部分の幅や深さを得ることができる。
また、本実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム(命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…経路生成装置、11…CPU、12…システムコントローラ、13…主メモリ、13A…OS、13B…経路生成プログラム、14…不揮発性メモリ、15…BIOS−ROM、16…EC、17…無線通信デバイス、2…ドローン、20…ドローン本体、21…飛行制御部、221,222,223,224…プロペラ部、23…不揮発性メモリ、24…撮像装置、25…バス、26…姿勢制御装置、27…無線通信デバイス、28…GPSレシーバ、29…慣性センサ、3…タブレットコンピュータ、41…フィルタ、42…レンズ、43…イメージセンサ、61…画像取得部、62…距離データ生成部、63…三次元データ生成部、64…表示制御部、65…領域情報受付部、66…経路生成部、67…経路送信部。
Claims (12)
- 被写体として第1物体を含む距離画像を取得する取得手段と、
前記距離画像を用いて三次元データを生成する第1生成手段と、
前記三次元データに基づき前記第1物体の少なくとも一部を含む第1領域を特定する第1領域情報を受け付ける受付手段と、
前記第1領域情報と前記三次元データを用いて、経路データを生成する第2生成手段とを具備する経路生成装置。 - 前記取得手段は、前記第1物体を含む画像をさらに取得し、
前記第1生成手段は、前記距離画像と前記画像とを用いて前記三次元データを生成する請求項1記載の経路生成装置。 - 前記第1生成手段は、さらに、前記三次元データが水平面上に投影された投影データを生成し、
前記第1領域情報は前記投影データを使って表される、
請求項1または2に記載の経路生成装置。 - 前記三次元データに基づく三次元モデルを表示部に表示させる表示信号を出力する表示制御手段をさらに具備する請求項1乃至3のいずれか一項に記載の経路生成装置。
- 前記受付手段は、さらに、前記距離画像に含まれる一部である第2領域を特定する第2領域情報を受け付け、
前記第2生成手段は、前記第2領域に入らずに前記第1領域を撮影する経路データを生成する請求項1記載の経路生成装置。 - 前記第2生成手段は、前記第1領域の撮影に用いられる解像度と、前記第1物体上の特定の特徴を有する領域の大きさの少なくとも一方に基づいて前記第1物体までの距離が規定された前記経路データを生成する請求項1記載の経路生成装置。
- 前記第2生成手段は、さらに、前記第1物体上の特定の特徴を有する領域を抽出し、前記抽出された領域が中心となる画像を取得するための経路データを生成する請求項1記載の経路生成装置。
- 前記経路データを、撮像装置を備える移動体に送信する送信手段をさらに具備する請求項1記載の経路生成装置。
- 前記経路データは前記第1領域を撮影するためのものである、請求項1記載の経路生成装置。
- 前記距離画像は、単一の結像光学系による一度の撮像で画像とともに取得される、請求項1記載の経路生成装置。
- 請求項1乃至10のいずれか一項に記載の経路生成装置と、
撮像装置を備え、前記経路データに基づいて移動する移動体とを具備する経路制御システム。 - 被写体として第1物体を含む距離画像を取得し、
前記距離画像を用いて三次元データを生成し、
前記三次元データに基づき前記第1物体の少なくとも一部を含む第1領域を特定する第1領域情報を受け付け、
前記第1領域情報と前記三次元データを用いて、経路データを生成する経路生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710761822.5A CN108628337A (zh) | 2017-03-21 | 2017-08-30 | 路径生成装置、路径控制***以及路径生成方法 |
US15/691,934 US20180275659A1 (en) | 2017-03-21 | 2017-08-31 | Route generation apparatus, route control system and route generation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017055070 | 2017-03-21 | ||
JP2017055070 | 2017-03-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018160228A true JP2018160228A (ja) | 2018-10-11 |
Family
ID=63795993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136032A Pending JP2018160228A (ja) | 2017-03-21 | 2017-07-12 | 経路生成装置、経路制御システム、及び経路生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018160228A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149255A (ja) * | 2019-03-12 | 2020-09-17 | Terra Drone株式会社 | 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法 |
CN111699475A (zh) * | 2019-06-06 | 2020-09-22 | 深圳市大疆创新科技有限公司 | 硬件状态处理方法、设备及计算机可读存储介质 |
WO2020203126A1 (ja) * | 2019-04-02 | 2020-10-08 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020192954A (ja) * | 2019-05-30 | 2020-12-03 | 株式会社シーズ | 情報処理装置、及び飛行体 |
JP2020201850A (ja) * | 2019-06-12 | 2020-12-17 | 九州旅客鉄道株式会社 | 飛行体の制御方法 |
JP2021014241A (ja) * | 2019-07-16 | 2021-02-12 | 株式会社竹中工務店 | 無人航空機、画像撮像システム、及びプログラム |
JP2021040220A (ja) * | 2019-09-02 | 2021-03-11 | 株式会社野村総合研究所 | コンピュータプログラム |
WO2021070651A1 (ja) * | 2019-10-10 | 2021-04-15 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP2021096699A (ja) * | 2019-12-18 | 2021-06-24 | 三菱電機株式会社 | 飛行ルート学習装置、条件修正装置及び飛行ルート決定装置 |
CN113223141A (zh) * | 2021-03-31 | 2021-08-06 | 杭州今奥信息科技股份有限公司 | 一种圆环式倾斜拍摄方法和*** |
JP2021148698A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社日立製作所 | 自動検査装置 |
WO2021215366A1 (ja) * | 2020-04-24 | 2021-10-28 | 日本電気株式会社 | 無人航空機遠隔操作装置、無人航空機遠隔操作システム、無人航空機遠隔操作方法及び記録媒体 |
CN113985891A (zh) * | 2021-11-15 | 2022-01-28 | 北京信息科技大学 | 一种地震后生命探寻过程中的自适应集群路径规划方法 |
CN114550107A (zh) * | 2022-04-26 | 2022-05-27 | 深圳联和智慧科技有限公司 | 基于无人机集群的桥梁联动智能巡检方法、***及云平台 |
-
2017
- 2017-07-12 JP JP2017136032A patent/JP2018160228A/ja active Pending
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149255A (ja) * | 2019-03-12 | 2020-09-17 | Terra Drone株式会社 | 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法 |
WO2020203126A1 (ja) * | 2019-04-02 | 2020-10-08 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN113631477A (zh) * | 2019-04-02 | 2021-11-09 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
JP7452533B2 (ja) | 2019-04-02 | 2024-03-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020192954A (ja) * | 2019-05-30 | 2020-12-03 | 株式会社シーズ | 情報処理装置、及び飛行体 |
CN111699475A (zh) * | 2019-06-06 | 2020-09-22 | 深圳市大疆创新科技有限公司 | 硬件状态处理方法、设备及计算机可读存储介质 |
JP2020201850A (ja) * | 2019-06-12 | 2020-12-17 | 九州旅客鉄道株式会社 | 飛行体の制御方法 |
JP2021014241A (ja) * | 2019-07-16 | 2021-02-12 | 株式会社竹中工務店 | 無人航空機、画像撮像システム、及びプログラム |
JP7314466B2 (ja) | 2019-07-16 | 2023-07-26 | 株式会社竹中工務店 | 無人航空機、画像撮像システム、及びプログラム |
JP2021040220A (ja) * | 2019-09-02 | 2021-03-11 | 株式会社野村総合研究所 | コンピュータプログラム |
JP7511735B2 (ja) | 2019-09-02 | 2024-07-05 | 株式会社野村総合研究所 | コンピュータプログラム |
JP7377651B2 (ja) | 2019-09-02 | 2023-11-10 | 株式会社野村総合研究所 | コンピュータプログラム |
WO2021070651A1 (ja) * | 2019-10-10 | 2021-04-15 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP2021096699A (ja) * | 2019-12-18 | 2021-06-24 | 三菱電機株式会社 | 飛行ルート学習装置、条件修正装置及び飛行ルート決定装置 |
JP2021148698A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社日立製作所 | 自動検査装置 |
JP7235691B2 (ja) | 2020-03-23 | 2023-03-08 | 株式会社日立製作所 | 自動検査装置 |
WO2021192357A1 (ja) * | 2020-03-23 | 2021-09-30 | 株式会社日立製作所 | 自動検査装置 |
WO2021215366A1 (ja) * | 2020-04-24 | 2021-10-28 | 日本電気株式会社 | 無人航空機遠隔操作装置、無人航空機遠隔操作システム、無人航空機遠隔操作方法及び記録媒体 |
CN113223141A (zh) * | 2021-03-31 | 2021-08-06 | 杭州今奥信息科技股份有限公司 | 一种圆环式倾斜拍摄方法和*** |
CN113985891A (zh) * | 2021-11-15 | 2022-01-28 | 北京信息科技大学 | 一种地震后生命探寻过程中的自适应集群路径规划方法 |
CN113985891B (zh) * | 2021-11-15 | 2023-09-22 | 北京信息科技大学 | 一种地震后生命探寻过程中的自适应集群路径规划方法 |
CN114550107A (zh) * | 2022-04-26 | 2022-05-27 | 深圳联和智慧科技有限公司 | 基于无人机集群的桥梁联动智能巡检方法、***及云平台 |
CN114550107B (zh) * | 2022-04-26 | 2022-07-26 | 深圳联和智慧科技有限公司 | 基于无人机集群的桥梁联动智能巡检方法、***及云平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018160228A (ja) | 経路生成装置、経路制御システム、及び経路生成方法 | |
US20180275659A1 (en) | Route generation apparatus, route control system and route generation method | |
US11039086B2 (en) | Dual lens system having a light splitter | |
US11106203B2 (en) | Systems and methods for augmented stereoscopic display | |
US20230111493A1 (en) | Methods and system for infrared tracking | |
US11644839B2 (en) | Systems and methods for generating a real-time map using a movable object | |
US20180288303A1 (en) | System and method for providing autonomous photography and videography | |
JP6708790B2 (ja) | 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム | |
US11290692B2 (en) | Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle | |
US20190243356A1 (en) | Method for controlling flight of an aircraft, device, and aircraft | |
CN111344644A (zh) | 用于基于运动的自动图像捕获的技术 | |
US11107245B2 (en) | Image processing device, ranging device, and method | |
JP6699898B2 (ja) | 処理装置、撮像装置、及び自動制御システム | |
CN109997091B (zh) | 用于管理3d飞行路径的方法和相关*** | |
JP6583840B1 (ja) | 検査システム | |
JP2023100642A (ja) | 検査システム | |
JP2019046149A (ja) | 作物栽培支援装置 | |
JP2020050261A (ja) | 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 | |
JP2022040134A (ja) | 推定システムおよび自動車 | |
CN117859103A (zh) | 构图处理方法、装置、***和存储介质 |