JPWO2019012803A1

JPWO2019012803A1 - 指定装置、及び、指定プログラム

Info

Publication number: JPWO2019012803A1
Application number: JP2019528956A
Authority: JP
Inventors: 太一三宅; 大津　誠; 誠大津; 拓人市川
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2017-07-13
Filing date: 2018-05-16
Publication date: 2020-07-02
Anticipated expiration: 2038-05-16
Also published as: US20210092305A1; JP6876130B2; WO2019012803A1

Abstract

移動撮影装置の撮影対象を指定する指定装置において、移動撮影装置が撮影可能な位置を示す撮影状態情報を提示する。指定装置（１０５）は、表示装置（１０６）に、対象区域の地図を表示させる表示処理部（２０８）と、前記撮影対象に対応する前記地図上の位置の指定を受け付ける指定受付部（２０６）と、を備え、前記表示処理部（２０８）は、前記移動撮影装置に関する情報に基づいて、前記対象区域内において前記移動撮影装置が撮影可能な位置を示す撮影状態情報を、前記地図に重畳させて表示させる。

Description

本発明は、指定装置、及び、指定プログラムに関する。

近年、点検、検査、又は整備の際に行う撮影作業を、人間の代わりに自走式撮影装置に実施させるための技術開発が進められている。

非特許文献１には、自走式撮影装置に備えられた撮影装置から送られてくるストリーミング映像を見ながら、人間が遠隔操作して自走式撮影装置を撮影地点まで移動させる技術が開示されている。この技術では、送られてくる映像の視界が限定されるため、自走式撮影装置の現在位置を把握するのが難しく、目的地まで誘導するのが困難であるという問題がある。

この問題に対処する技術として、特許文献１には、２次元又は３次元で表現される地図の上に目的地を設定して、自走式撮影装置に対して、目的地まで移動させて、その目的地の周辺を撮影させる技術が開示されている。

日本国公開特許公報「特開２０１６−２０３２７６号公報（２０１６年１２月８日公開）」

「原発内作業・調査ミッション用ロボットの開発と改良」（日本ロボット学会誌 Vol.32 No.2, pp92-97, 2014）

特許文献１に記載の技術において、自走式撮影装置は、操作者から指示を受けて撮影位置に移動して、撮影を行った後に、撮影された場所が撮影禁止領域であるか否かを判定している。そのため、この判定を行うにあたっては、自走式撮影装置が移動するための時間と、通常撮影の可否を判定するための時間と、判断結果を操作者端末に送信するための時間とが必要である。また、撮影禁止領域でない場所であっても、対象区域内における自走式撮影装置が撮影可能な位置を把握するまでに前記の時間がかかり、作業の効率が著しく低下するという課題がある。

これに対し、本発明者らは、独自の発想に基づき、対象区域内を移動して撮影対象を撮影する移動撮影装置の当該撮影対象を指定する指定装置において、移動撮影装置が撮影可能な位置を示す撮影状態情報を提示することを検討した。すなわち、本発明の一態様は、移動撮影装置の撮影対象を指定する指定装置において、移動撮影装置が撮影可能な位置を示す撮影状態情報を提示することを主たる目的とする。

前記の課題を解決するために、本発明の一態様に係る指定装置は、対象区域内を移動して撮影対象を撮影する移動撮影装置の当該撮影対象を指定する指定装置であって、表示部に、前記対象区域の地図を表示させる表示処理部と、前記撮影対象に対応する前記地図上の位置の指定を受け付ける指定受付部と、を備え、前記表示処理部は、前記移動撮影装置に関する情報に基づいて、前記対象区域内において前記移動撮影装置が撮影可能な位置を示す撮影状態情報を、前記地図に重畳させて表示させる。

本発明の一態様によれば、移動撮影装置の撮影対象を指定する指定装置において、移動撮影装置が撮影可能な位置を示す撮影状態情報を提示することができる。

本発明の実施形態１に係る遠隔指示システムを示す模式図である。本発明の実施形態１に係る指定装置の構成例を示すブロック図である。本発明の実施形態１に係る撮影状態算出部の機能ブロック構成を示す図である。本発明の実施形態１に係る３次元地図上の地表面を示す図である。本発明の実施形態１に係る撮影装置を基準とした、撮影対象の撮影領域を示す模式図である。本発明の実施形態１に係る自走式撮影装置が任意の位置で撮影を行った際の、撮影領域の通知結果を示す図である。本発明の実施形態１に係る指定装置の処理を示すフローチャートである。本発明の実施形態２に係る撮影装置が正対して撮影可能な領域、及び、正対して撮影不可能な領域を示す図である。本発明の実施形態３に係る撮影装置に対するオブジェクトの面の傾きを示す図である。

〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。

本実施形態について、図１〜図７に基づいて説明する。図１は、本実施形態に係る遠隔指示システムＡを示す模式図である。

図１に示すように、遠隔指示システムＡは、撮影現場（対象区域）１００と、指示室１０１とに亘っている。遠隔指示システムＡにおいては、撮影現場１００にある自走式撮影装置（移動撮影装置）１０２に対して、指示室１０１にいる操作者１０３が、撮影対象１０４を撮影するように、指示入力操作を行う。

操作者１０３は、指定装置１０５及び表示装置（表示部）１０６を用いて、自走式撮影装置１０２に対して、撮影対象１０４の位置（以下、「撮影位置」と称する）を指示することが可能である。操作者１０３は、表示装置１０６に表示されている３次元地図（立体地図）１０７に対して撮影位置を入力する。

指定装置１０５は、自走式撮影装置１０２の撮影対象を指定する。撮影対象が指定された自走式撮影装置１０２は、自律的に移動して当該撮影対象を撮影するようになっている。

図１では、指定装置１０５と、表示装置１０６とが独立した態様になっているが、その態様に限定されるものではなく、例えば、タブレット端末のような、指定装置と、表示装置とが一体化された態様であってもよい。

図１に示す例において、遠隔指示システムＡは、具体的には以下のように動作する。まず、操作者１０３は、タッチパネルやマウスを用いて、表示装置１０６に表示されている３次元地図１０７に対して撮影位置を入力する。３次元地図１０７とは、撮影現場１００を表現する３Ｄ・ＣＧ（Computer Graphics）で構成されるオブジェクト群であって、各オブジェクトに３次元位置情報が付与されたものである。

操作者１０３が３次元地図１０７に対して撮影対象１０４に対応した撮影位置を入力すると、指定装置１０５は、入力された撮影対象１０４の撮影位置を示す情報を、撮影現場１００に位置する自走式撮影装置１０２に送信する。自走式撮影装置１０２は、指定装置１０５からの撮影対象１０４の撮影位置を示す情報を受信すると、撮影位置に基づいて撮影現場１００を移動して、撮影対象１０４を撮影する。

ここで、自走式撮影装置１０２と、指定装置１０５とは、インターネット等の公衆通信網及び無線通信によって接続されている。無線通信は、例えばＷｉＦｉ（登録商標）Ａｌｌｉａｎｃｅ（米国業界団体）によって規定された国際標準規格（ＩＥＥＥ８０２．１１）のＷｉＦｉ（登録商標）接続によって実現することが可能である。通信網に関しては、インターネット等の公衆通信網だけでなく、例えば、企業等で使用されているＬＡＮ（Local Area Network）を用いることも可能であり、また、それらが混在した構成であってもよい。

なお、図１に示すように、自走式撮影装置１０２の上部に撮影装置（撮影部）１０８が搭載された装置として構成されているが、本実施形態はこのような構成に限定されない。例えば、自走式撮影装置１０２は、アーム状のマニピュレータ（Manipulator）を備え、マニピュレータの先端に撮影装置１０８を搭載し、撮影対象１０４を撮影する場合に、撮影装置１０８の位置を、自走式撮影装置１０２の位置、及び、マニピュレータの制御によって変化させて撮影してもよい。また、撮影装置１０８が、自走式撮影装置１０２の筺体に内包された構成であってもよい。

（指定装置１０５の構成）
図２は、本実施形態に係る指定装置１０５の構成例を示すブロック図である。指定装置１０５は、データバス２００と、パラメータ入力部（情報受付部）２０１と、保存部２０２と、撮影状態算出部２０３と、３次元地図描画処理部２０４と、表示制御部２０５と、指定受付部２０６、通信部（送信部）２０７と、を備えている。なお、撮影状態算出部（表示処理部）２０３と、３次元地図描画処理部（表示処理部）２０４と、表示制御部２０５（表示処理部）とは、表示処理部２０８を構成している。

データバス２００は、各部間におけるデータのやりとりを行うためのバスである。

パラメータ入力部２０１は、操作者１０３の入力操作によって、駆動制御パラメータ及び撮影制御パラメータを取得する。駆動制御パラメータ及び撮影制御パラメータの詳細に関しては、後述する。また、パラメータ入力部２０１は、外部入出力手段としてＵＳＢ（Universal Serial Bus）等の入出力ポートを備え、キーボード、マウス等を接続して入力することができる。また、パラメータ入力部２０１は、外部ストレージとのインターフェースとしても動作する。

保存部２０２は、パラメータ入力部２０１に入力された駆動制御パラメータ、撮影制御パラメータ、３次元地図１０７、撮影状態算出部２０３で算出される種々のデータ等を保存する。保存部２０２は、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置によって構成される。

撮影状態算出部２０３は、自走式撮影装置１０２に関する情報（駆動制御パラメータ、撮影制御パラメータ）に基づいて、自走式撮影装置１０２の撮影状態情報を算出して、当該撮影状態情報を３次元地図描画処理部２０４に出力する。

撮影状態情報は、撮影現場１００内において自走式撮影装置１０２が撮影可能な撮影位置を示す情報であり、一態様において、撮影現場１００内において自走式撮影装置１０２が特定の態様で撮影可能な撮影位置を示す情報であってもよいし、撮影現場１００内において自走式撮影装置１０２が、特に態様を限定せずに撮影可能な撮影位置を示す情報であってもよい。特定の態様としては、例えば、後述する実施形態において説明するように、撮影対象に対して正対して撮影する態様、撮影対象の被写体の全体を撮影する態様であってもよい。また、撮影状態情報は、撮影現場１００内において自走式撮影装置１０２が撮影可能な撮影位置における撮影可能な角度をさらに示すものであってもよい。

撮影状態算出部２０３は、自走式撮影装置１０２の駆動制御パラメータ（移動能力）、及び、撮影装置１０８の撮影制御パラメータ（撮影能力）に基づいて、撮影状態情報を算出する。撮影状態算出部２０３は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって構成される。撮影状態の具体例及び算出方法に関しては、後述する。

３次元地図描画処理部２０４及び表示制御部２０５は、撮影状態情報を３次元地図１０７に重畳させて表示装置１０６に表示させる。

詳細には、３次元地図描画処理部２０４は、撮影状態算出部２０３から取得した撮影状態情報に応じて、３次元地図１０７の描画内容を調整する。３次元地図描画処理部２０４は、ＦＰＧＡ、ＡＳＩＣ、ＧＰＵ（Graphics Processing Unit）等によって構成される。

表示制御部２０５は、３次元地図描画処理部２０４が調整した描画内容を、表示装置１０６に出力する。

表示装置１０６は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro-Luminescence Display）等によって構成され、３次元地図描画処理部２０４から出力された描画処理結果、装置を制御するためのＵＩ（User Interface）等を表示する。また、表示装置１０６は、その表示面を押すことにより操作可能な端末であるタッチパネルの機能を具備していてもよい。

（３次元地図の取得方法）
本実施形態において、操作者１０３が自走式撮影装置１０２に対する指示を入力するために用いる３次元地図１０７は、次に示すような周知の手法により取得可能である。

３次元地図１０７を作成する方法としては、三角測量の原理を用いたステレオ計測による測距、３次元座標を直接取得できる装置、例えば、被写体までの赤外光の反射時間に基づいて距離を測定するＴＯＦ（Time Of Flight）方式の装置等を適用して得た３次元点群を、繋ぎ合わせて３次元地図を作成する手法が知られている。３次元地図の取得方法は、上記手法に限定されるものではなく、物の配置、壁の配置を示す座標値等、撮影現場１００における３次元的な情報が記述された地図を生成可能な手法であれば、どのような手法を用いてもよい。

（撮影状態算出部２０３）
撮影状態とは、上記の通り、撮影結果の見え方のことを指し、撮影対象１０４が正しく映っているか否かを表す指標である。撮影結果の見た目に影響する撮影状態を示す尺度の一例として、自走式撮影装置１０２の物理的な制約に基づいた撮影の可否、撮影対象１０４に対して撮影装置１０８が正対するか否か、撮影対象１０４の撮影結果における撮影対象１０４の傾きの度合いや、撮影対象１０４が撮影画像の範囲内に収まるか否か、等のパラメータが挙げられる。

本実施形態では、上記の撮影状態のうち、撮影装置１０８の撮影の可否について取り上げ、撮影状態算出部２０３内の機能ブロック構成、具体的な算出方法、及び、指定装置１０５の処理について説明する。

（撮影状態算出部２０３の機能ブロック構成）
撮影装置１０８の撮影の可否を算出する態様において、撮影状態算出部２０３が有する機能ブロックの構成について、図３及び図４を用いて説明する。図３は、本実施形態に係る撮影状態算出部２０３の機能ブロック構成を示す図である。図４は、本実施形態に係る３次元地図１０７上の地表面４０１を示す図である。

図３に示すように、撮影状態算出部２０３は、撮影位置選択部（指定制御部）３０１と、可動範囲算出部３０２と、撮影領域算出処理部３０３と、を備えている。

撮影位置選択部３０１は、保存部２０２から対象区域の３次元地図１０７を読み出し、当該３次元地図１０７を表示装置１０６に表示させる。撮影位置選択部３０１は、図４に示す、地表面４０１の任意の座標から、自走式撮影装置１０２の車幅等の物理的制約に基づいて、自走式撮影装置１０２が撮影対象を撮影する場所（以降、撮影場所と称する）を選択する。撮影位置選択部３０１は、受け付けた撮影対象に対応する撮影場所、又は、選択した撮影場所の座標を可動範囲算出部３０２に出力する。

可動範囲算出部３０２は、撮影位置選択部３０１が選択した、撮影場所の座標における、自走式撮影装置１０２の撮影装置１０８の可動範囲を算出する。可動範囲算出部３０２は、駆動制御パラメータとして入力された内容に基づいて、可動範囲を算出する。可動範囲の算出方法に関しては、後述する。可動範囲算出部３０２は、撮影装置１０８が存在可能な３次元の座標点群として可動範囲を算出し、重複した可動範囲を除去した上で、当該可動範囲を保存部２０２及び撮影領域算出処理部３０３に出力する。

撮影領域算出処理部３０３は、撮影装置１０８によって撮影される領域内に収まる、３次元地図１０７上の座標点（撮影対象の位置）を算出する。撮影領域算出処理部３０３は、当該算出結果を３次元地図描画処理部２０４に出力する。

（駆動制御パラメータ及び撮影制御パラメータ）
駆動制御パラメータは、自走式撮影装置１０２の外観的な特徴と、自走式撮影装置１０２に具備された装置（撮影装置１０８、マニピュレータ等）の可動範囲と、を表現するパラメータを示す。駆動制御パラメータの一例として、自走式撮影装置１０２の筺体の幅、高さや、奥行き等の自走式撮影装置１０２の外形を示すパラメータがある。その他に、撮影装置１０８の設置位置、搭載されている撮影装置１０８のパン及びティルトの角度の幅（すなわち、撮影装置１０８の位置、撮影方向を表現する外部パラメータ）が駆動制御パラメータに含まれる。更に、マニピュレータが搭載されている場合には、当該マニピュレータの可動範囲、関節の位置、関節間の長さ等も駆動制御パラメータに含まれる。

撮影制御パラメータは、光学センサの特性やレンズの歪み情報といった、撮影装置１０８の固有情報である内部パラメータ、レンズの画角等のパラメータを示す。撮影装置１０８の持つ内部パラメータの算出には、ＯｐｅｎＣＶ（Computer Vision）等の汎用のライブラリに備わる、一般的なカメラキャリブレーション手法を用いて算出してよいし、３次元位置が既知のカメラの校正器具を用いた方法でもよい。撮影制御パラメータは、事前にキャリブレーションされていてもよく、キャリブレーション結果が保存部２０２に記憶されていてもよい。

本実施形態における、撮影の可否の算出に用いる駆動制御パラメータには、一例として、筐体の高さと、筐体の幅と、筐体の奥行きと、撮影装置１０８の位置と、撮影装置１０８の撮影方向と、が用いられる。また、撮影制御パラメータには、一例として、撮影装置１０８の水平方向の画角と、垂直方向の画角と、内部パラメータのうち、焦点距離と、が用いられる。

（撮影位置の選択方法）
撮影位置選択部３０１は、上記の地表面４０１上の任意の座標を選択する。その後、撮影位置選択部３０１は、パラメータ入力部２０１から取得された駆動制御パラメータに基づいて、自走式撮影装置１０２の到達の可否を判定する。自走式撮影装置１０２が選択された座標に到達できると判定した場合、撮影位置選択部３０１は、選択された座標の位置を撮影場所とする。自走式撮影装置１０２が選択された座標に自走式撮影装置１０２が到達できないと判定した場合、撮影位置選択部３０１は、別の座標を選択し、自走式撮影装置１０２が選択された座標に到達できると判定するまで、別の座標を選択する処理を繰り返す。

自走式撮影装置１０２は、例えば、選択された座標と、周囲のオブジェクトの面との間の直線距離が、筐体の幅、及び、奥行きの長さを超えているか否かにより、当該自走式撮影装置１０２が、選択された座標に到達可能か否かを判定する。

（撮影装置１０８の可動範囲の算出）
可動範囲算出部３０２は、搭載された撮影装置１０８の取りうる位置の候補を算出する。マニピュレータの先端に撮影装置１０８が搭載されている場合、可動範囲算出部３０２は、撮影装置１０８の取りうる位置を、ロボットの運動学を用いて求めることができ、可動範囲を座標群として出力する。ロボットの運動学とは、自走式撮影装置１０２のマニピュレータの各関節部が取りうる角度と、関節と、関節との間の長さの情報から、マニピュレータの先端位置を算出する手法である。

マニピュレータのない筐体に撮影装置１０８が固定されている自走式撮影装置１０２の場合、撮影装置１０８は可動せず、可動範囲算出部３０２は、可動範囲の算出処理を行わず、自走式撮影装置１０２における撮影装置１０８の設置位置を出力する。

（撮影領域の算出方法）
撮影領域算出処理部３０３において、３次元地図１０７上で撮影装置１０８が撮影可能な領域を算出する方法について、図５を用いて説明する。図５は、本実施形態に係る撮影装置１０８を基準とした視錐台（撮影装置１０８による撮影可能範囲）に含まれる、撮影対象１０４の撮影領域を示す模式図である。

まず、撮影領域算出処理部３０３は、可動範囲算出部３０２から得られた撮影装置１０８の可動範囲となる座標群のうち、１つの座標を撮影装置１０８の位置として選択する。次に、撮影領域算出処理部３０３は、撮影装置１０８の垂直方向の画角と、水平方向の画角と、焦点距離と、撮影方向とに基づいて、前方クリップ面５０３の位置及びサイズを決定する。続いて、撮影領域算出処理部３０３は、撮影装置１０８の光軸原点５０２から前方クリップ面５０３の４隅に向かって直線５０１を引いた場合に、当該直線５０１の延長線上の等距離となる位置を４隅とする、後方クリップ面５０４を設定する。この場合、前方クリップ面５０３と、後方クリップ面５０４と、各クリップ面の４隅を繋ぐ直線５０１によって形成される面とに囲まれた、視錐台と呼ばれる空間が定まる。

ここで、撮影領域算出処理部３０３は、図５の５０５ａ、５０５ｂにより示すように、光軸原点５０２からオブジェクトの面に交わるまで直線を引く。そして、撮影領域算出処理部３０３は、この場合の交点の属する面であり、かつ、視錐台の範囲内に収まる面を、撮影領域５０６ａ及び５０６ｂとして算出する。撮影領域算出処理部３０３は、このような撮影領域を算出する処理を、前方クリップ面５０３全体を走査するまで行う。

撮影領域算出処理部３０３は、撮影領域を算出する処理を、撮影装置１０８の取りうる全ての撮影方向に関して行い、撮影領域として得られた面を構成する座標群を、撮影現場１００内において自走式撮影装置１０２が撮影可能な撮影位置を示す撮影状態情報として、３次元地図描画処理部２０４に出力する。

（撮影状態の通知方法）
撮影状態の通知方法について、図６を用いて説明する。図６は、本実施形態に係る自走式撮影装置１０２が任意の位置で撮影を行った際の、撮影領域（撮影状態情報）の通知結果を示す図である。

３次元地図描画処理部２０４は、撮影領域算出処理部３０３から取得した撮影領域の座標群の情報に基づいて、オブジェクト上の該当する座標の属する面の描画を調整することにより、操作者１０３に撮影状態を通知する。

一例として、３次元地図描画処理部２０４は、撮影装置１０８が撮影可能な範囲と、撮影不可能な範囲との間で面の色、テクスチャ等が異なるように描画することにより、操作者１０３に撮影状態を通知する。図６に示すように、撮影位置６０１における自走式撮影装置１０２の撮影可能な範囲は、６０２のように表現される。

撮影状態の通知方法は、上記の方法に限らず、撮影可能な範囲の面のみを描画してそれ以外を消す、撮影方向をパン角又はティルト角の限界まで可動させないと撮影できない位置は暗い色にして、逆に、特にマニピュレータを動かさなくても撮影できる位置は明るい色に変更する、地表面４０１上の複数の位置で撮影可能な領域が重複する場合には明るい色に変更する、等の方法がある。その他には、オブジェクト表面の模様や、マウスオーバーで音を提示させる、外付け又は内蔵された機能で振動を伝える等の方法がある。すなわち、撮影状態の通知方法は、異なる撮影状態が操作者に視覚、聴覚、触覚の何れか、又はそれらの組合せで伝わる方法であればよい。

（指定装置１０５の処理）
指定装置１０５において、撮影可能な領域を通知する処理を、図７を用いて説明する。図７は、本実施形態に係る指定装置１０５の処理を示すフローチャートである。

ステップＳ７０１では、パラメータ入力部２０１は、自走式撮影装置１０２に設定されている撮影制御パラメータを取得する。その後、パラメータ入力部２０１は、撮影制御パラメータを撮影状態算出部２０３に出力する。

ステップＳ７０２では、パラメータ入力部２０１は、駆動制御パラメータを取得する。その後、パラメータ入力部２０１は、駆動制御パラメータを撮影状態算出部２０３に出力する。なお、ステップＳ７０１で取得される撮影制御パラメータ、及び、Ｓ７０２で取得される駆動制御パラメータが保存部２０２に保持されている場合には、パラメータ入力部２０１は、ステップＳ７０１及びＳ７０２の処理を省略することができる。

ステップＳ７０３では、撮影状態算出部２０３の撮影位置選択部３０１が、保存部２０２から３次元地図１０７を読み出し、地表面４０１上の任意の座標を撮影位置として選択する。

ステップＳ７０４では、撮影位置選択部３０１が、ステップＳ７０３で選択した座標が示す撮影位置に自走式撮影装置１０２が到達可能か否かを、駆動制御パラメータに基づいて判定する。当該位置に自走式撮影装置１０２が到達不可と判定した場合（ステップＳ７０４のＮＯ）、撮影位置選択部３０１は、ステップＳ７０３の処理に戻る。当該位置に自走式撮影装置１０２が到達可能と判定した場合（ステップＳ７０４のＹＥＳ）、撮影位置選択部３０１は、ステップＳ７０３で選択した座標値を可動範囲算出部３０２に出力して、ステップＳ７０５の処理に進む。

ステップＳ７０５では、撮影状態算出部２０３の可動範囲算出部３０２が、ステップＳ７０２で出力された自走式撮影装置１０２の駆動制御パラメータと、ステップＳ７０４で出力された撮影位置の座標値とに基づいて、上記座標における撮影装置１０８の可動範囲として座標群を算出する。

ステップＳ７０６では、可動範囲算出部３０２が、ステップＳ７０５で出力された撮影装置１０８の座標群に関して、少なくとも１つ以上の過去の可動範囲算出結果との間において重複する部分を抽出する。可動範囲算出部３０２は、撮影装置１０８の可動範囲から、重複する部分を除外した結果を可動範囲情報として撮影領域算出処理部３０３に出力する。

ステップＳ７０７では、撮影領域算出処理部３０３が、ステップＳ７０１で出力された撮影制御パラメータと、ステップＳ７０２で出力された駆動制御パラメータと、ステップＳ７０６で出力された撮影装置１０８の可動範囲情報と、に基づいて、撮影装置１０８が撮影可能な領域を算出する。撮影領域算出処理部３０３は、算出した撮影可能領域を、撮影現場１００内において自走式撮影装置１０２が撮影可能な撮影位置を示す撮影状態情報として３次元地図描画処理部２０４に出力する。

ステップＳ７０８では、３次元地図描画処理部２０４が、ステップＳ７０７で出力された撮影可能領域の算出結果に基づいて、３次元地図１０７上に撮影可能領域を描画する。

ステップＳ７０９では、指定装置１０５が、３次元地図１０７の地表面４０１の座標全てに関してステップＳ７０３〜Ｓ７０８の処理を行ったか否かを判定する。地表面４０１の座標全てに関して処理していない場合（ステップＳ７０９のＮＯ）、ステップＳ７０３の処理に戻り、任意の位置を選択して、撮影可能領域を算出し、描画する処理を繰り返す。地表面４０１の座標全て関して処理している場合（ステップＳ７０９のＹＥＳ）、３次元地図描画処理部２０４が、撮影可能領域が可視化された３次元地図１０７を表示制御部２０５に出力して、ステップＳ７１０の処理に進む。

ステップＳ７１０では、表示制御部２０５が、３次元地図１０７を表示装置１０６に出力し、ステップＳ７１１の処理に進む。

ステップＳ７１１では、指定装置１０５が、３次元地図１０７の表示を終了するか否かの判定を行う。表示を終了しない場合（ステップＳ７１１のＮＯ）、指定装置１０５は、ステップＳ７１０の処理に戻る。表示を終了させる場合（ステップＳ７１１のＹＥＳ）、指定装置１０５は、全体の処理を終了する。

（実施形態１の効果）
以上の構成によれば、自走式撮影装置１０２に対して３次元地図１０７を用いて撮影位置の指示を入力する際に、３次元地図１０７上に撮影状態を通知する指定装置１０５を提供することができる。

〔実施形態２〕
本発明の実施形態２について、図８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態は、撮影状態算出部２０３が算出する撮影状態情報が、対象区域内において撮影装置１０８が正対して撮影可能または正対して撮影不可能な対象の範囲をさらに示すことが実施形態１と異なる。それ以外の構成、及び、処理は、実施形態１と同様である。

図８は、本実施形態に係る撮影装置１０８が正対して撮影可能な領域６０３、及び、正対して撮影不可能な領域６０４を示す図である。

（指定装置１０５の処理）
撮影領域算出処理部３０３は、図７のステップＳ７０７で撮影領域算出処理部３０３が撮影可能と判定した面に関して、３次元地図１０７の座標における法線ベクトルを算出する。

次に、撮影領域算出処理部３０３は、図７のステップＳ７０５で算出された可動範囲内に位置する撮影装置１０８のある撮影方向における光軸ベクトルを算出する。

そして、撮影領域算出処理部３０３は、上記法線ベクトル及び上記光軸ベクトルをそれぞれ正規化（単位ベクトル化）した上で、当該法線ベクトル及び当該光軸ベクトルの内積を算出する。

さらに、撮影領域算出処理部３０３が、上記算出した内積の値が負の閾値よりも小さい（すなわち、−１に近いか、等しい）と判定した場合には、上記法線ベクトルと、上記光軸ベクトルとが対向していることになる。その場合、撮影領域算出処理部３０３は、上記法線ベクトルに対応する面を、撮影装置１０８が正対して撮影可能な領域６０３として特定する。そして、図８（ｃ）に示すように、撮影領域算出処理部３０３は、撮影位置６０１における撮影装置１０８が正対して撮影可能な領域６０３を、撮影現場１００内において自走式撮影装置１０２が正対して撮影可能な撮影位置を示す撮影状態情報として３次元地図描画処理部２０４に出力することにより、３次元地図１０７上に可視化する。

なお、撮影可能と判定した面に関して、上記内積の値が負の閾値以上である場合、指定装置１０５は、当該面を、正対して撮影不可能な領域６０４として可視化してもよい。また、操作者１０３が自走式撮影装置１０２に撮影対象の指示を行うと、図８（ｂ）に示すように、指定装置１０５は、正対して撮影可能な領域６０３と、正対して撮影不可能な領域６０４とを色分けして、３次元地図１０７上に描画することにより、操作者１０３に通知してもよい。

（実施形態２の効果）
パン角及びティルト角による撮影装置１０８の方向の調整によっては、斜め前方の対象物であっても正対して撮影できる可能性があるが、操作者１０３が撮影制御パラメータを把握した上で、撮影可能な対象を選択しなければならない。

そこで、本実施形態によれば、どの撮影位置を選択すれば正対した状態の撮影結果が得られるかが事前に操作者１０３に通知されるので、撮影指示入力を効率よく行うことができる。

特に、正対して撮影されることが前提の対象物を撮る場合に有用である。例えば、ひび割れを撮る場合、目盛やメジャーを一緒に写す場合等に有用である。そして、撮影装置１０８が可動である場合には、撮影可能と判定した面に正対するように撮影装置１０８の位置及び向きを変更可能なので、非常に有用である。

〔実施形態３〕
本発明の実施形態３について、図９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態は、撮影状態算出部２０３が算出する撮影状態情報が、対象区域内において撮影装置１０８が撮影可能な対象について撮影可能な角度をさらに示すことが実施形態１と異なる。それ以外の構成、及び、処理は、実施形態１と同様である。

図９は、本実施形態に係る撮影装置１０８に対するオブジェクトの面の傾きを示す図である。すなわち、指定装置１０５において、撮影対象を撮影した場合に、撮影画像中で撮影対象がどのくらい傾いているかを示す。

自走式撮影装置１０２は、必ずしも撮影対象に正対して撮影できるわけではなく、傾いた状態で撮影することも多い。一方、自走式撮影装置１０２は撮影可能領域に収まる対象を撮影したが、撮影結果に映った撮影対象は大きく歪んでいた、といったことが起こり得る。

そこで、図９に示すように、撮影装置１０８が撮影可能な対象を特定した上で、撮影位置６０１における撮影装置１０８に対して３次元地図１０７上の撮影対象を構成する面がどの程度傾斜しているかを、表示装置１０６が３次元地図１０７上に明示することにより操作者１０３に通知する。

そして、撮影領域算出処理部３０３は、上記法線ベクトルと、上記光軸ベクトルとがなす角度を求める。光軸ベクトルＯの成分を（ｏ_１、ｏ₂、ｏ₃）とし、法線ベクトルＮの成分を（ｎ_１、ｎ₂、ｎ₃）とすると、上記角度は、下記の式１により求めることができる。

ただし、０＜θ＜９０°
そして、撮影領域算出処理部３０３は、撮影可能と判定した面について、上述のように算出した角度を示す情報を、撮影状態情報に含めて３次元地図描画処理部２０４に出力する。３次元地図描画処理部２０４は、撮影状態情報において、撮影可能と判定した面について示された角度の範囲に応じて色分けして、面を描画する。３次元地図描画処理部２０４は、例えば、上記法線ベクトルと、上記光軸ベクトルとがなす角度に応じて、面の色情報のうち明度を変更してもよい。一例として、最も正対している場合には最も明るくして、角度が直角（９０度）に近いほど暗くするようにしてもよい。

なお、指定装置１０５は、上記法線ベクトルと、上記光軸ベクトルとがなす角度を算出する前に、当該法線ベクトル及び当該光軸ベクトルをそれぞれ正規化してもよい。

（実施形態３の効果）
本実施形態によれば、３次元地図１０７上の撮影領域の範囲内にあるそれぞれの面（撮影対象）が、実際に撮影された場合にどのくらい傾いて映るかを通知することにより、操作者１０３は、撮影対象が正対した状態で撮影される以外の見え方を選択できるようになる。これにより、操作者１０３が撮影対象を選択する場合の自由度が増す。

特に、撮影領域に収まる範囲内で撮影対象を指定する場合、撮影対象が正しく映るか否かを知りたい場合、ある程度は傾いて撮影されても問題ないような撮影対象を指定する場合等に、有用である。

〔実施形態４〕
本発明の実施形態４について説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態は、撮影状態算出部２０３が算出する撮影状態情報が、対象区域内において撮影装置１０８が撮影可能な撮影位置の被写体の全体を撮影可能な否かをさらに示すことが実施形態１と異なる。それ以外の構成、及び、処理は、実施形態１と同様である。

撮影対象を指定した場合、撮影対象（被写体）に対して近付き過ぎている、撮影対象が大き過ぎる等の撮影状態によっては、撮影対象の全体が撮影画像内に収まらないことがある。撮影対象から離れれば撮影画像内に収めることはできるが、十分に距離が取れない狭い場所、障害物の多い場所等では、どのような位置を取っても撮影画像内に収まらない場合がある。そこで、撮影対象が撮影画像内に収められるか否かといった撮影状態を３次元地図１０７上に明示して、操作者１０３に通知する。撮影状態には、後方に壁等があるために収められない、大きく離れれば収められる、特に意識せずに収められる等がある。

（指定装置１０５の処理）
前提として、撮影領域算出処理部３０３は、撮影対象の大きさと、撮影対象の３次元地図１０７上の位置とを示す情報を事前に取得しているものとする。

次に、撮影領域算出処理部３０３は、上述のように撮影可能と判定したそれぞれの撮影位置における視錐台を算出する。図５に示すように、視錐台の後方クリップ面５０４の大きさは、撮影装置１０８の光軸原点５０２から後方クリップ面５０４までの距離に比例して大きくなる。

さらに、撮影領域算出処理部３０３は、撮影装置１０８の位置から、撮影対象の位置までの距離を算出する。そして、撮影領域算出処理部３０３は、撮影装置１０８の光軸原点５０２から当該距離の位置に生成される後方クリップ面のサイズが、撮影対象のサイズよりも小さい場合は、撮影対象の全景が撮影画像内に映らないと判定し、その判定結果を、撮影現場１００内において自走式撮影装置１０２が被写体の全体を撮影可能な位置を示す撮影状態情報として、次元地図描画処理部２０４に出力することにより、３次元地図１０７上に可視化する。

（実施形態４の効果）
本実施形態によれば、撮影対象が撮影画像内に収まるか否かを操作者１０３に通知することができる。

〔実施形態５〕
本発明の実施形態５について説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態は、実施形態１〜４における、操作者１０３への通知手段の変形例を示すものである。それ以外の構成、及び、処理は、実施形態１〜４と同様である。

実施形態１において、３次元地図描画処理部２０４が、撮影状態情報に基づいて、３次元地図１０７上の色またはテクスチャを変化させるようにしてもよい。

実施形態３において、３次元地図描画処理部２０４が、撮影対象の面の傾きに応じて明度を変更してもよい。

実施形態３において、３次元地図描画処理部２０４が、撮影可能領域のうち、マニピュレータを動かさなくても撮影できる撮影対象の位置を、明るい色に変更してもよい。

〔実施形態１〜５について〕
前記の各実施形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

前記の各実施形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。前記の各実施形態の機能を実現する遠隔作業支援の装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していればよい。また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、前記の各実施形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

〔ソフトウェアによる実現例〕
表示処理部２０８の制御ブロック（撮影状態算出部２０３、３次元地図描画処理部２０４、表示制御部２０５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、表示処理部２０８は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラム及び各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（またはＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る指定装置は、対象区域内を移動して撮影対象を撮影する移動撮影装置の当該撮影対象を指定する指定装置であって、表示部に、前記対象区域の地図（３次元地図１０７）を表示させる表示処理部と、前記撮影対象に対応する前記地図上の位置の指定を受け付ける指定受付部と、を備え、前記表示処理部は、前記移動撮影装置に関する情報に基づいて、前記対象区域内において前記移動撮影装置が撮影可能な位置を示す撮影状態情報を、前記地図に重畳させて表示させる。

上記の構成によれば、指定装置は、移動撮影装置に関する情報に基づいて、移動撮影装置が撮影可能な位置を示す撮影状態情報を好適に提示することができる。

本発明の態様２に係る指定装置は、上記態様１において、前記移動撮影装置に関する情報は、前記移動撮影装置の外形、ならびに、前記移動撮影装置が備える撮影部（撮影装置１０８）の可動範囲、外部パラメータ、内部パラメータ、および、画角のうち１つ以上を示すようになっていることとしてもよい。

上記の構成によれば、移動撮影装置に関する情報に基づいて、対象区域内において移動撮影装置が撮影可能な位置を示す撮影状態情報を精度高く提示することができる。

本発明の態様３に係る指定装置は、上記態様１及び２において、前記移動撮影装置に関する情報の入力を受け付ける情報受け付け部をさらに備えていることとしてもよい。

上記の構成によれば、指定装置が移動撮影装置に関する情報を容易に取得することができる。

本発明の態様４に係る指定装置は、上記態様１から３において、前記地図は、３次元地図であることとしてもよい。

上記の構成によれば、撮影対象の指定をより直感的に行うことができる。

本発明の態様５に係る指定装置は、上記態様１から４において、前記撮影状態情報は、前記対象区域内において前記移動撮影装置が正対して撮影可能な位置を示すこととしてもよい。

上記の構成によれば、移動撮影装置がより好適に撮影可能な位置を示す撮影状態情報を提示することができる。

本発明の態様６に係る指定装置は、上記態様１から５において、前記対象区域内において前記移動撮影装置が撮影可能な位置を示すとともに、示された各位置について、前記移動撮影装置が撮影可能な角度を示すこととしてもよい。

本発明の態様７に係る指定装置は、上記態様１から６において、前記撮影状態情報は、前記対象区域内において前記移動撮影装置が被写体の全体を撮影可能な位置を示すこととしてもよい。

本発明の態様８に係る指定装置は、上記態様１から７において、前記表示処理部が、前記撮影状態情報に基づいて、３次元地図上の色またはテクスチャを変化させることとしてもよい。

上記の構成によれば、３次元地図上の色またはテクスチャを変化させるので、撮影状態を分かりやすく通知することができる。

本発明の態様９に係る指定装置は、上記態様１から８において、前記表示部（表示装置１０６）と、前記指定受付部が受け付けた前記地図上の位置に対応する前記撮影対象の位置を前記移動撮影装置に送信する送信部（通信部２０７）と、をさらに備えていることとしてもよい。

上記の構成によれば、移動撮影装置に対する指示を好適に行うことができる。

本発明の各態様に係る指定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記指定装置が備える各部（ソフトウェア要素）として動作させることにより前記指定装置をコンピュータにて実現させる指定装置の制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、２０１７年７月１３日に出願された日本国特許出願：特願２０１７−１３７３５４に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１０２自走式撮影装置（移動撮影装置）
１０８撮影装置（撮影部）
１０５指定装置
１０６表示装置（表示部）
１０７３次元地図
２０１パラメータ入力部（情報受付部）
２０３撮影状態算出部
２０４３次元地図描画処理部
２０５表示制御部
２０６指定受付部
２０７通信部（送信部）
２０８表示処理部

Claims

対象区域内を移動して撮影対象を撮影する移動撮影装置の当該撮影対象を指定する指定装置であって、
表示部に、前記対象区域の地図を表示させる表示処理部と、
前記撮影対象に対応する前記地図上の位置の指定を受け付ける指定受付部と、を備え、
前記表示処理部は、前記移動撮影装置に関する情報に基づいて、前記対象区域内において前記移動撮影装置が撮影可能な位置を示す撮影状態情報を、前記地図に重畳させて表示させることを特徴とする指定装置。
前記移動撮影装置に関する情報は、前記移動撮影装置の外形、ならびに、前記移動撮影装置が備える撮影部の可動範囲、外部パラメータ、内部パラメータ、および、画角のうち１つ以上を示すことを特徴とする請求項１に記載の指定装置。
前記移動撮影装置に関する情報の入力を受け付ける情報受付部をさらに備えていることを特徴とする請求項１または２に記載の指定装置。
前記地図は、３次元地図であることを特徴とする請求項１から３の何れか１項に記載の指定装置。
前記撮影状態情報は、前記対象区域内において前記移動撮影装置が正対して撮影可能な位置を示すことを特徴とする請求項１から４の何れか１項に記載の指定装置。
前記撮影状態情報は、前記対象区域内において前記移動撮影装置が撮影可能な位置を示すとともに、示された各位置について、前記移動撮影装置が撮影可能な角度を示すことを特徴とする請求項１から５の何れか１項に記載の指定装置。
前記撮影状態情報は、前記対象区域内において前記移動撮影装置が被写体の全体を撮影可能な位置を示すことを特徴とする請求項１から６の何れか１項に記載の指定装置。
前記表示処理部は、前記撮影状態情報に基づいて、３次元地図上の色またはテクスチャを変化させることを特徴とする請求項１から７の何れか１項に記載の指定装置。
前記表示部と、
前記指定受付部が受け付けた前記地図上の位置に対応する前記撮影対象の位置を前記移動撮影装置に送信する送信部と、をさらに備えていることを特徴とする請求項１から８の何れか１項に記載の指定装置。
請求項１から９の何れか１項に記載の指定装置としてコンピュータを機能させるための指定プログラムであって、前記表示処理部および前記指定受付部としてコンピュータを機能させるための指定プログラム。