JP7459253B2 - 撮像システム、ロボットシステム及び撮像システムの制御方法 - Google Patents

Description

本開示は、撮像システム及びロボットシステムに関する。

従来から、カメラによって撮像された対象物の画像をモニタに表示させつつ、モニタを視認するユーザによるロボットの遠隔操作を受け入れる技術がある。例えば、特許文献１は、姿勢変更可能なカメラを備える無人飛行体であるドローンによって取得される撮像データに基づいて、モニタにロボットの映像を表示させるロボットシステムを開示する。

特開２０１９－９３４７１号公報

特許文献１のロボットシステムは、ロボットを操作するためのロボット操作器と、ドローンを操作するための飛行体操作器とを備える。例えば、ロボットを動作させつつドローンを移動させる場合、操作者は、ロボット操作器及び飛行体操作器の両方を手で操作する必要があるが、両方の操作を並行することは困難である。

本開示は、撮像装置を搭載する無人飛行体の操作を簡易にする撮像システム及びロボットシステムを提供することを目的とする。

本開示の一態様に係る撮像システムは、無人飛行体と、前記無人飛行体に搭載され、対象物に対して作業を行うロボットを撮像する撮像装置と、前記無人飛行体から遠隔に配置され、前記撮像装置によって撮像された画像を、前記ロボットを操作するユーザに表示する表示装置と、前記撮像装置及び前記無人飛行体の動作を制御する制御装置とを備え、前記制御装置は、前記ロボットの動作に関連する情報である動作関連情報を取得し、前記動作関連情報に対応して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させる。

図１は、例示的な実施の形態に係るロボットシステムの構成の一例を示す斜視図である。 図２は、例示的な実施の形態に係る無人飛行体の構成の一例を示す斜視図である。 図３は、例示的な実施の形態に係る撮像システムの機能的な構成の一例を示すブロック図である。 図４は、例示的な実施の形態に係る撮像システムの動作の一例を示すフローチャートである。 図５は、例示的な実施の形態の変形例１に係るロボットシステムの構成の一例を示す斜視図である。 図６は、変形例１に係る撮像システムの機能的な構成の一例を示すブロック図である。 図７は、変形例１における無人飛行体の飛行の制限エリアの別例を示す斜視図である。 図８は、例示的な実施の形態の変形例２に係るロボットシステムの構成の一例を示す斜視図である。 図９は、変形例２に係る撮像システムの機能的な構成の一例を示すブロック図である。 図１０は、変形例２に係る撮像システムの動作の一例を示すフローチャートである。

以下において、本開示の例示的な実施の形態を、図面を参照しつつ説明する。なお、以下で説明する例示的な実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の例示的な実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

［ロボットシステムの構成］
例示的な実施の形態に係るロボットシステム１の構成を説明する。図１は、例示的な実施の形態に係るロボットシステム１の構成の一例を示す斜視図である。図１に示すように、ロボットシステム１は、撮像システム１００と、ロボット２００と、ロボット操作装置３００と、ロボット制御装置４００とを備える。撮像システム１００は、撮像装置１１０と、無人飛行体１２０と、撮像入力装置１３０と、表示装置１４０と、撮像制御装置１５０とを備える。

以下に限定されないが、本例示的な実施の形態では、ロボット２００は、産業用ロボットであり、ロボットアーム２１０と基部２２０とエンドエフェクタ２３０とを備える。なお、ロボット２００は、サービス用ロボット、医療用ロボット、創薬用ロボット及びヒューマノイドのように他のタイプのロボットであってもよい。サービス用ロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。

基部２２０は、支持面上に固定され、ロボットアーム２１０を支持する。基部２２０の支持面は、床面等の不動な面であってもよく、走行装置等の移動可能な装置上の移動可能な面であってもよい。ロボットアーム２１０は、少なくとも１つの関節２１１を有し、少なくとも１つの自由度を有する。ロボットアーム２１０は、各関節２１１を駆動する関節駆動装置２１２を有する。関節駆動装置２１２は、関節２１１を駆動するための電気モータとしてサーボモータを含む。サーボモータは、当該モータの回転量を検出するエンコーダと、当該モータの電流値を検出する電流センサとを含む。なお、サーボモータにおいて、電流センサは必須ではない。

ロボットアーム２１０は、ロボットアーム２１０の先端にエンドエフェクタ２３０が取り付けられるように構成される。ロボットアーム２１０は、エンドエフェクタ２３０の位置及び姿勢を自在に変動させるようにエンドエフェクタ２３０を動かすことができる。エンドエフェクタ２３０は、エンドエフェクタ２３０の用途に応じて把持、吸着、塗料などの液体の吹き付け、溶接、及び、シール剤などの注入等の様々な作用を対象物（「ワーク」とも呼ぶ）Ｗに加えることができるように構成される。

なお、本例示的な実施の形態では、ロボットアーム２１０は、６つの回転関節２１１を有する６自由度の垂直多関節型のロボットアームであるが、これに限定されない。ロボットアーム２１０の形式は、いかなる型式であってもよく、例えば、水平多関節型、極座標型、円筒座標型又は直角座標型等であってもよい。ロボットアーム２１０の関節２１１も、直動関節等のいかなる関節であってもよい。ロボットアーム２１０の関節２１１の数量も、５つ以下又は７つ以上等のいかなる数量であってもよい。

ロボット操作装置３００は、ロボット２００から離れた位置に配置され、ロボット２００を遠隔操作するために用いられる。ロボット操作装置３００は、ロボット操作装置３００を扱うユーザＰがロボット２００を直接視認できるような位置に配置されてもよく、ユーザＰがロボット２００を直接視認できないような位置に配置されてもよい。例えば、ロボット操作装置３００は、ロボット２００が配置される空間から隔離された空間、又は当該空間から離れた位置の空間に配置されてもよい。

ロボット操作装置３００は、種々の指令、情報及びデータ等の入力を受け付け、ロボット制御装置４００に出力する。例えば、ロボット操作装置３００は、ユーザＰによる入力を受け付けることができる。例えば、ロボット操作装置３００は、他の機器と接続され、当該機器からの入力を受け付けることができる。例えば、ロボット操作装置３００は、レバー、ボタン、タッチパネル、ジョイスティック、モーションキャプチャ、カメラ及びマイク等の公知の入力手段を備えてもよい。例えば、ロボット操作装置３００は、教示装置の１つであるティーチングペンダント、スマートフォン及びタブレットなどのスマートデバイス、パーソナルコンピュータ、並びに専用端末装置等の端末装置を備えてもよい。例えば、ロボット２００がマスター・スレーブ方式で制御される場合、ロボット操作装置３００はマスター機を備えてもよい。例えば、マスター機は、ロボットアーム２１０と同様又は類似する動作を行うことができるように構成されてもよい。

ロボット制御装置４００は、ロボット２００の動作を制御する。ロボット制御装置４００は、ロボット２００及びロボット操作装置３００と有線通信又は無線通信を介して接続される。なお、いかなる有線通信及び無線通信が用いられてもよい。ロボット制御装置４００は、ロボット操作装置３００を介して入力される指令、情報及びデータ等を処理する。ロボット制御装置４００は、外部の機器と接続され、当該機器から指令、情報及びデータ等の入力を受け付け処理するように構成されてもよい。

例えば、ロボット制御装置４００は、上記指令、情報及びデータ等に従って、ロボット２００の動作を制御する。ロボット制御装置４００は、ロボット２００への動力等の供給を制御する。ロボット制御装置４００は、ロボット２００を管理するための情報等を管理する。例えば、ロボット制御装置４００は、ロボットアーム２１０の関節駆動装置２１２の駆動、及び、エンドエフェクタ２３０の駆動を制御する。ロボット制御装置４００は、ロボットアーム２１０にエンドエフェクタ２３０を移動させるための各関節２１１の回転駆動量を決定し、決定された回転駆動量に従って各関節駆動装置２１２を駆動させる。さらに、ロボット制御装置４００は、各関節駆動装置２１２のサーボモータのエンコーダ及び電流センサによって検出される回転量及び電流値をフィードバック情報として用いて各関節２１１の駆動方向、駆動量、駆動速度、駆動加速度及び駆動トルク等を制御し、それにより、ロボットアーム２１０にエンドエフェクタ２３０を所望の位置及び姿勢に移動させ且つエンドエフェクタ２３０を介して所望の力を作用させる。なお、ロボット制御装置４００は、サーボモータの電流値を、サーボモータへの供給電流を制御する回路等の他の手段から取得してもよい。

また、ロボット制御装置４００は、種々の指令、情報及びデータ等をロボット操作装置３００及び／又は撮像システム１００の表示装置１４０に出力する。例えば、ロボット制御装置４００は、種々の指令、情報及びデータ等を表示装置１４０に視覚的及び／又は聴覚的に提示させる。例えば、ロボット制御装置４００は、ロボット２００を操作するための画像、ロボット２００の状態を示す画像、並びに、ロボット２００を管理するための画像等を出力してもよい。

ロボット制御装置４００は、コンピュータを備える。さらに、ロボット制御装置４００は、ロボット２００に供給する電力を制御するための電気回路、ロボット２００に供給する空気圧及び液圧等の電力以外の動力を制御するための機器、並びに、ロボット２００に供給する冷却水及び塗料等の物質を制御するための機器等を備えてもよい。コンピュータ以外の機器は、ロボット制御装置４００と別個に設けられてもよい。

図２は、例示的な実施の形態に係る無人飛行体１２０の構成の一例を示す斜視図である。図３は、例示的な実施の形態に係る撮像システム１００の機能的な構成の一例を示すブロック図である。図１から図３に示すように、撮像システム１００の撮像装置１１０は、無人飛行体１２０に搭載される。撮像装置１１０は、デジタル画像の静止画及び／又は動画を撮像するカメラ１１１と、無人飛行体１２０上でカメラ１１１を支持するジンバル１１２と、カメラ制御装置１１３とを含む。本例示的な実施の形態では、カメラ１１１は、単なる可視光カメラであるが、画像内の被写体の位置情報を含む３次元画像を撮像する３次元カメラ等の他のタイプのカメラであってもよい。

ジンバル１１２は、無人飛行体１２０に取り付けられ、撮像装置１１０を搭載するように構成される。ジンバル１１２は、撮像装置１１０の向きを自在に変動させるように動作することができる。本例示的な実施の形態では、ジンバル１１２は、電動であり、駆動のための電気モータを備える。ジンバル１１２は、無人飛行体１２０に対して、少なくともヨーイング方向ＤＹと、少なくともピッチング方向ＤＰとに撮像装置１１０の姿勢を変動させることができてもよい。さらに、ジンバル１１２は、ローリング方向ＤＲに撮像装置１１０の姿勢を変動させることができてもよい。以下に限定されないが、撮像装置１１０の向きは、撮像装置１１０のカメラの光軸中心の向きであってもよく、具体的には、３次元空間内での光軸中心の３次元の方向であってもよい。例えば、撮像装置１１０の向きは、撮像装置１１０の姿勢に対応し得る。また、撮像装置１１０の位置は、３次元空間内での撮像装置１１０の３次元の位置であってもよい。

カメラ制御装置１１３は、カメラ１１１及びジンバル１１２の駆動を制御する。カメラ制御装置１１３は、撮像制御装置１５０から無線通信を介して受信する情報及び指令等に従ってカメラ１１１及びジンバル１１２の駆動を制御し、カメラ１１１及びジンバル１１２に当該情報及び指令等に従った動作をさせる。カメラ制御装置１１３は、カメラ１１１及びジンバル１１２の動作結果を示す動作情報を、無線通信を介して撮像制御装置１５０に送信する。カメラ制御装置１１３は、後述する無人飛行体１２０の第１通信器１２４を用いて撮像制御装置１５０と無線通信する。カメラ制御装置１１３は、コンピュータと、カメラ１１１及びジンバル１１２に供給する電力を制御するための電気回路とを備える。

無人飛行体１２０は、搭載している撮像装置１１０の位置及び向きを自在に変えるように飛行可能である。これに限定されないが、本例示的な実施の形態では、無人飛行体１２０は、複数の回転翼１２１、例えば、平面状に配列され且つ当該平面に沿う方向に回転可能である４つの回転翼１２１を備えるドローンである。ドローンは、水平方向及び鉛直方向を含む任意の方向への飛行、空中での静止飛行、及び、静止飛行状態での任意の向きへの姿勢の移動等を可能である。さらに、無人飛行体１２０は、各回転翼１２１を回転駆動する翼駆動装置１２２と、位置検出装置１２３と、第１通信器１２４と、飛行体制御装置１２５とを備える。

翼駆動装置１２２の例は、電気モータである。第１通信器１２４は、無人飛行体１２０と撮像制御装置１５０との間で無線通信を行う。具体的には、第１通信器１２４は、飛行体制御装置１２５と撮像制御装置１５０との間の無線通信と、撮像装置１１０のカメラ制御装置１１３と撮像制御装置１５０との間の無線通信とを仲介する。例えば、第１通信器１２４は、通信回路を含んでもよい。

位置検出装置１２３は、無人飛行体１２０の位置及び姿勢を検出し飛行体制御装置１２５に出力する。位置検出装置１２３の構成は特に限定されず、無人飛行体１２０の位置及び姿勢を検出できればよく、例えば、公知の技術であってもよい。例えば、位置検出装置１２３は、ＧＰＳ（Global Positioning System；全地球測位システム）を用いる位置推定システム、ＧＰＳ以外の電波を用いる位置推定システム、画像認識技術を用いる位置推定システム、加速度及び角速度を用いる位置推定システム、その他の位置推定システム、又は、上記位置推定システムの２つ以上の組み合わせ等を備え、当該位置推定システム用いて無人飛行体１２０の位置及び姿勢を検出するように構成されてもよい。

ＧＰＳを用いる位置推定システムとして、ＧＰＳと送受信することで無人飛行体１２０の位置及び姿勢を測位するシステムが例示される。ＧＰＳ以外の電波を用いる位置推定システムとして、ロボット２００が配置される空間内に配置される電波発信機から受信する電波により無人飛行体１２０の位置及び姿勢を推定するシステムが例示される。画像認識技術を用いる位置推定システムとして、３次元カメラを用いて周囲の物体及び当該物体の位置を画像認識で検出することで、無人飛行体１２０の位置及び姿勢を推定するシステムが例示される。加速度及び角速度を用いる位置推定システムとして、加速度センサ及び角速度センサの検出結果を用いて無人飛行体１２０の位置及び姿勢を推定するシステムが例示される。

飛行体制御装置１２５は、各翼駆動装置１２２の駆動を制御する。飛行体制御装置１２５は、第１通信器１２４を介した無線通信で撮像制御装置１５０から受信する情報及び指令等に従って各翼駆動装置１２２の駆動を制御し、無人飛行体１２０に当該情報及び指令等に従った飛行をさせる。また、飛行体制御装置１２５は、位置検出装置１２３によって検出された無人飛行体１２０の位置及び姿勢の情報を、第１通信器１２４を介して撮像制御装置１５０に送信する。飛行体制御装置１２５は、コンピュータと、各翼駆動装置１２２に供給する電力を制御するための電気回路とを備える。

なお、無人飛行体１２０は、位置及び姿勢のうちの少なくとも位置を自在に変更可能に飛行する構成を有すればよい。例えば、無人飛行体１２０は、交差する方向に回転する２つの回転翼を備えるヘリコプタのような構成を有してもよい。無人飛行体１２０は、撮像制御装置１５０の制御に従って飛行動作する。例えば、無人飛行体１２０は、撮像入力装置１３０に入力される操作に従って飛行し得る。無人飛行体１２０は、撮像制御装置１５０のプログラム制御に従って自動で飛行する、つまり自律飛行することができる。

撮像入力装置１３０は、撮像システム１００を動作させるための入力及び操作等をユーザＰから受け付ける。撮像入力装置１３０は、種々の指令、情報及びデータ等の入力を受け付け、撮像制御装置１５０に出力する。例えば、撮像入力装置１３０は、カメラ１１１、ジンバル１１２及び無人飛行体１２０を操作するための入力を受け付け、受け付けた操作の内容を示す操作情報を撮像制御装置１５０に出力する。撮像入力装置１３０は、ロボット操作装置３００の近傍に配置され、ロボット操作装置３００の例示した構成と同様の構成を有してもよい。ロボット操作装置３００が撮像入力装置１３０を含み、撮像入力装置１３０の機能を兼ねてもよい。撮像入力装置１３０は入力装置の一例である。

表示装置１４０は、撮像装置１１０によって撮像された画像をユーザＰに知覚可能に提示する。表示装置１４０は、ロボット操作装置３００の近傍に配置され、撮像装置１１０から離れた位置に配置される。表示装置１４０は、ロボット制御装置４００から受け取る指令、情報及びデータ等を、ユーザＰに知覚可能に提示してもよい。例えば、表示装置１４０は、液晶ディスプレイ（Liquid Crystal Display）及び有機又は無機ＥＬディスプレイ（Electro-Luminescence Display）等のディスプレイを備え、視覚的な提示をする。表示装置１４０は、スピーカ等の音声出力装置を備え、聴覚的な提示をしてもよい。表示装置１４０は、触覚的な提示をするように構成されてもよい。

撮像制御装置１５０は、撮像装置１１０、無人飛行体１２０、撮像入力装置１３０及び表示装置１４０と有線通信又は無線通信を介して接続される。なお、いかなる有線通信及び無線通信が用いられてもよい。本例示的な実施の形態では、撮像制御装置１５０は、無人飛行体１２０の外部に配置され、撮像装置１１０及び無人飛行体１２０と無線通信し、撮像入力装置１３０及び表示装置１４０を有線通信する。しかしながら、撮像制御装置１５０は、無人飛行体１２０に搭載され、撮像入力装置１３０及び表示装置１４０と無線通信してもよい。撮像制御装置１５０は制御装置の一例である。

上記のような撮像制御装置１５０は、コンピュータを備える。さらに、撮像制御装置１５０は、撮像入力装置１３０及び表示装置１４０に供給する電力を制御するための電気回路等を備えてもよい。コンピュータ以外の機器は撮像制御装置１５０と別個に設けられてもよい。撮像制御装置１５０は、ロボット制御装置４００、撮像入力装置１３０又はロボット操作装置３００に組み込まれてもよく、これらと別個に設けられてもよい。

例えば、ロボット制御装置４００及び撮像制御装置１５０のコンピュータは、プロセッサ及びメモリ等を有する回路又は処理回路を含む。回路又は処理回路は、他の装置との指令、情報及びデータ等の送受信を行う。回路又は処理回路は、各種機器からの信号の入力及び各制御対象への制御信号の出力を行う。メモリは、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク及びＳＳＤ（Solid State Drive）等の記憶装置で構成される。例えば、メモリは、回路又は処理回路が実行するプログラム、及び各種データ等を記憶する。

回路又は処理回路の機能は、ＣＰＵ（Central Processing Unit）などのプロセッサ、ＲＡＭ（Random Access Memory）などの揮発性メモリ及びＲＯＭ（Read-Only Memory）などの不揮発性メモリ等からなるコンピュータシステムにより実現されてもよい。コンピュータシステムは、ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭに記録されたプログラムを実行することによって、回路又は処理回路の機能を実現してもよい。なお、回路又は処理回路の機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。ロボット制御装置４００及び撮像制御装置１５０は、単一のコンピュータによる集中制御により各処理を実行してもよく、複数のコンピュータの協働による分散制御により各処理を実行してもよい。

例えば、ロボット制御装置４００及び撮像制御装置１５０の各機能は、マイクロコントローラ、ＭＰＵ（Micro Processing Unit）、ＬＳＩ（Large Scale Integration：大規模集積回路）、システムＬＳＩ、ＰＬＣ（Programmable Gate Array）及び論理回路等によって実現されてもよい。ロボット制御装置４００及び撮像制御装置１５０それぞれの複数の機能は、個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。

［撮像システムの機能的構成］
撮像システム１００の機能的な構成を説明する。図３に示すように、撮像システム１００の撮像制御装置１５０は、駆動制御部１５１と、位置姿勢演算部１５２と、表示制御部１５３と、記憶部１５４とを機能的構成要素として含み、さらに、第２通信器１５５を含む。駆動制御部１５１は、カメラ制御部１５１１と、飛行体制御部１５１２とを機能的構成要素として含む。位置姿勢演算部１５２は、第１検出部１５２１と、第２検出部１５２２と、決定部１５２３とを機能的構成要素として含む。

第２通信器１５５は、無人飛行体１２０の第１通信器１２４と無線通信し、撮像制御装置１５０と無人飛行体１２０との間の無線通信を仲介する。例えば、第２通信器１５５は、通信回路を含んでもよい。

記憶部１５４の機能は、撮像制御装置１５０のコンピュータのメモリ等によって実現される。記憶部１５４以外の撮像制御装置１５０の機能的構成要素の機能は、コンピュータのプロセッサ等によって実現される。

記憶部１５４は、種々の情報を記憶し、記憶された情報の読出しを可能にする。例えば、記憶部１５４は、プログラム及び各種データ等を記憶してもよい。例えば、記憶部１５４は、撮像システム１００の各装置を動作させるためのプログラム、データ及び情報等を記憶してもよい。

位置姿勢演算部１５２の第１検出部１５２１は、ロボット２００のエンドエフェクタ２３０の位置及び姿勢を検出し決定部１５２３に出力する。これに限定されないが、第１検出部１５２１は、ロボットアーム２１０の先端部の位置及び姿勢を、エンドエフェクタ２３０の位置及び姿勢として検出する。第１検出部１５２１は、ロボット制御装置４００から、ロボットアーム２１０の関節駆動装置２１２のフィードバック情報を受け取るように構成される。第１検出部１５２１は、フィードバック情報に含まれる各関節駆動装置２１２の回転駆動量を用いて、ロボットアーム２１０とエンドエフェクタ２３０との接続部分であるロボットアーム２１０の先端部の位置及び姿勢を演算する。例えば、先端部の位置は、図１に示すような、ロボットアーム２１０が配置される空間に設定される３次元空間座標系（以下、「第１座標系」とも呼ぶ）を用いて表され得る。第１座標系は、座標軸Ｘ１、Ｙ１及びＺ１軸で定義される。先端部の姿勢は、図１に示すような先端部に設定される３次元空間座標系（以下、「第２座標系」とも呼ぶ）を用いて表され得る。第２座標系は、座標軸Ｘ２、Ｙ２及びＺ２軸で定義される。先端部の姿勢は、座標軸Ｘ１、Ｙ１及びＺ１軸に対する座標軸Ｘ２、Ｙ２及びＺ２軸の角度を姿勢角として用いて表され得る。ここで、ロボットアーム２１０の関節駆動装置２１２のフィードバック情報、及び、エンドエフェクタ２３０の位置及び姿勢の情報は、動作関連情報の一例である。上記フィードバック情報は、エンドエフェクタ２３０の位置及び姿勢の情報の一例である。

ここで、動作関連情報は、ロボット２００の動作に関連する情報である。動作関連情報は、ロボット２００に動作させるための情報、ロボット２００が動作した結果を示す情報、又は、これらの両方を含んでもよい。つまり、動作関連情報は、ロボット２００の動作を示す情報を含んでもよい。ロボット２００に動作させるための情報の例は、ロボット２００に動作させるためにロボット操作装置３００等に入力される操作の情報、及び、ロボット２００に動作させるためにロボット制御装置４００からロボット２００に出力される目標動作の指令等である。ロボット２００が動作した結果を示す情報の例は、ロボット２００から出力されるフィードバック情報、及び、センサ等によるロボット２００の動作の検出結果等である。ロボット２００の動作は、ロボットアーム２１０の動作、ロボットアーム２１０の関節の動作、ロボットアーム２１０の関節駆動装置２１２の動作、エンドエフェクタ２３０の位置及び姿勢、エンドエフェクタ２３０の動作、又は、これらの２つ以上の組み合わせ等を含んでもよい。

第１検出部１５２１は、ロボットアーム２１０に動作させるためにロボット操作装置３００に入力される操作の情報、ロボットアーム２１０に動作させるためにロボット制御装置４００からロボットアーム２１０に出力される目標動作の指令、又は、これらの組み合わせを用いて、エンドエフェクタ２３０の位置及び姿勢を検出してもよい。

なお、エンドエフェクタ２３０の位置及び姿勢がロボット制御装置４００によって演算され、第１検出部１５２１は、当該位置及び姿勢の演算結果をロボット制御装置４００から受け取るように構成されてもよい。

第２検出部１５２２は、撮像装置１１０のカメラ１１１の現状の位置及び姿勢を検出し、決定部１５２３に出力する。第２検出部１５２２は、無人飛行体１２０から無線通信を介して、無人飛行体１２０の現状の位置及び姿勢の情報と、撮像装置１１０のカメラ１１１及びジンバル１１２の動作情報とを受信する。第２検出部１５２２は、受信した情報を用いてカメラ１１１の位置及び姿勢を検出する。カメラ１１１の位置及び姿勢は第１座標系で表され得る。

決定部１５２３は、動作関連情報に対応して撮像装置１１０のカメラ１１１の目標の位置及び姿勢を決定し、駆動制御部１５１に出力する。具体的には、決定部１５２３は、動作関連情報の変化に対応してカメラ１１１の位置及び姿勢を変化させるように、カメラ１１１の目標の位置及び姿勢を決定する。例えば、決定部１５２３は、動作関連情報が示すロボット２００の動きに追従するように、カメラ１１１の目標の位置及び姿勢を決定する。具体的には、決定部１５２３は、エンドエフェクタ２３０の位置及び姿勢とカメラ１１１の位置及び姿勢とが所定の関係である所定相対関係となるように、カメラ１１１の目標の位置及び姿勢を決定する。

決定部１５２３は、所定相対関係として、エンドエフェクタ２３０の位置及び姿勢に対するカメラ１１１の相対的な位置及び姿勢の関係を示す情報を、記憶部１５４から読み出す。決定部１５２３は、上記の所定相対関係の情報と、第１検出部１５２１から受け取るエンドエフェクタ２３０の位置及び姿勢の検出結果と、第２検出部１５２２から受け取るカメラ１１１の現状の位置及び姿勢の検出結果とを用いて、エンドエフェクタ２３０の位置及び姿勢の検出結果に対して所定相対関係を満たすようなカメラ１１１の目標の位置及び姿勢を演算する。目標の位置及び姿勢は第１座標系で表され得る。これにより、エンドエフェクタ２３０に対するカメラ１１１の相対的な位置及び姿勢が維持され得る。

ここで、決定部１５２３は、所定相対関係を、ユーザＰによって撮像入力装置１３０に入力される指令に従って決定する。例えば、エンドエフェクタ２３０の位置及び姿勢が第１の状態であり、カメラ１１１の位置及び姿勢が第２の状態であるとき、上記指令が撮像入力装置１３０に入力されると、決定部１５２３は、第１の状態と第２の状態との関係を所定相対関係に設定し、エンドエフェクタ２３０の位置及び姿勢とカメラ１１１の位置及び姿勢との関係式等の当該関係を表す情報を演算し記憶部１５４に記憶させる。

また、ユーザＰによってカメラ１１１の位置及び姿勢を移動するための操作が撮像入力装置１３０に入力された場合、決定部１５２３は、当該操作の内容を示す操作情報を撮像入力装置１３０から受け取り、当該操作情報に従って移動させるべきカメラ１１１の目標の位置及び姿勢を決定する。操作情報とカメラ１１１の位置及び姿勢との関係の情報は、記憶部１５４に予め記憶され、決定部１５２３は当該情報を用いて目標の位置及び姿勢を演算する。操作情報は、動作するロボット２００に対して、ユーザＰがカメラ１１１を通じてエンドエフェクタ２３０等のロボット２００の部位を視認するために、ユーザＰが実行する操作の情報を含む。

なお、決定部１５２３は、所定相対関係を用いてカメラ１１１の目標の位置及び姿勢を決定する制御を実行中に、撮像入力装置１３０からカメラの１１１の操作情報を受け取ると、操作情報に従ったカメラ１１１の目標の位置及び姿勢を決定する制御を優先させてもよい。つまり、決定部１５２３は、カメラ１１１の位置及び向きを修正する指令である修正指令として、撮像入力装置１３０からカメラの１１１の操作情報を受け付け、所定相対関係に対応するカメラ１１１の目標の位置及び向きを、当該操作情報に従ったカメラの１１１の目標の位置及び向きに変動させる。これにより、所定相対関係を用いて決定されるカメラ１１１の目標の位置及び姿勢が、操作情報に従ったカメラ１１１の目標の位置及び姿勢によって修正される。つまり、ユーザＰは、撮像入力装置１３０を用いてカメラ１１１の目標の位置及び姿勢を修正することができる。

なお、決定部１５２３は、所定相対関係を用いたカメラ１１１の目標の位置及び姿勢の代わりに操作情報に従ったカメラ１１１の目標の位置及び姿勢を用いて、操作情報に従ったカメラ１１１の目標の位置及び姿勢を修正後のカメラ１１１の目標の位置及び姿勢に決定してもよい。決定部１５２３は、所定相対関係を用いたカメラ１１１の目標の位置及び姿勢に操作情報に従ったカメラ１１１の目標の位置及び姿勢を加えて生成されるカメラ１１１の目標の位置及び姿勢を、修正後のカメラ１１１の目標の位置及び姿勢に決定してもよい。

決定部１５２３は、カメラ１１１の目標の位置及び向きの修正以降、修正結果を、所定相対関係に対応するカメラ１１１の目標の位置及び向きの決定に反映してもよい。例えば、決定部１５２３は、修正結果を反映するように所定相対関係を変更してもよい。又は、決定部１５２３は、カメラ１１１の目標の位置及び向きの修正以降、修正結果を所定相対関係に反映せずに、カメラ１１１の目標の位置及び姿勢を決定してもよい。

駆動制御部１５１の飛行体制御部１５１２は、決定部１５２３から受け取るカメラ１１１の目標の位置及び姿勢に従ってカメラ１１１を移動させるための無人飛行体１２０の動作指令を生成する。飛行体制御部１５１２は、当該動作指令をカメラ制御部１５１１及び無人飛行体１２０の飛行体制御装置１２５へ出力する。動作指令は、無人飛行体１２０の目標の位置及び姿勢の指令を含み、当該目標の位置及び姿勢は第１座標系で表され得る。例えば、無人飛行体１２０の目標の位置は、カメラ１１１の位置を目標の位置に移動させるための位置であってもよい。無人飛行体１２０の目標の姿勢は、カメラ１１１の向きを目標の姿勢に近づけるための姿勢であってもよい。無人飛行体１２０はドローンであるため、水平方向に回転可能であり、カメラ１１１の向きを水平方向に変えることができる。

カメラ制御部１５１１は、決定部１５２３から受け取るカメラ１１１の目標の姿勢に従ってカメラ１１１の姿勢を移動させるためのジンバル１１２の動作指令を生成する。動作指令は、ジンバル１１２の各部の動作の指令を含む。カメラ制御部１５１１は、当該動作指令を無人飛行体１２０のカメラ制御装置１１３へ送信する。カメラ制御部１５１１は、飛行体制御部１５１２から受け取る無人飛行体１２０の目標の姿勢の情報と、カメラ１１１の目標の姿勢の情報とに基づき、無人飛行体１２０を基準とするカメラ１１１の目標の姿勢を決定し、当該目標の姿勢を実現するためのジンバル１１２の各部の動作を決定する。例えば、カメラ制御部１５１１は、無人飛行体１２０へのジンバル１１２の取り付け部を基準とするカメラ１１１の目標の姿勢を決定する。なお、カメラ１１１が、カメラ１１１の位置及び姿勢を移動可能な装置に搭載される場合、カメラ制御部１５１１は、無人飛行体１２０を基準とするカメラ１１１の目標の位置及び姿勢を決定し、カメラ制御装置１１３へ出力してもよい。

また、カメラ制御部１５１１は、カメラ１１１を動作させるための動作指令を生成し、無人飛行体１２０のカメラ制御装置１１３へ送信する。動作指令は、カメラ１１１の撮像の開始及び停止の指令、並びに、カメラ１１１のズームアップ撮像及びズームバック撮像の指令等を含み得る。

表示制御部１５３は、撮像装置１１０によって撮像された画像データを撮像装置１１０から受信し、表示装置１４０に当該画像データを出力し当該画像データに対応する画像を表示させる。表示制御部１５３は、撮像装置１１０から受信された画像データを画像処理し、画像処理後の画像データを表示装置１４０に出力してもよい。

［撮像システムの動作］
例示的な実施の形態に係る撮像システム１００の動作を説明する。図４は、例示的な実施の形態に係る撮像システム１００の動作の一例を示すフローチャートである。まず、ステップＳ１０１において、撮像制御装置１５０は、ロボット２００のエンドエフェクタ２３０と撮像装置１１０のカメラ１１１との所定相対関係を決定する初期設定モードで動作する。例えば、撮像制御装置１５０は、ユーザＰによって撮像入力装置１３０に入力される起動指令に従って、初期設定モードを開始する。

次いで、ステップＳ１０２において、撮像制御装置１５０は、撮像装置１１０のカメラ１１１の初期位置及び初期姿勢の決定する指令を受け付ける。具体的には、撮像制御装置１５０は、撮像装置１１０及び無人飛行体１２０を起動し、撮像入力装置１３０に入力される操作に従って撮像装置１１０及び無人飛行体１２０を動作させる。ユーザＰは、表示装置１４０において撮像装置１１０によって撮像された画像を視認しつつ撮像入力装置１３０を操作して、無人飛行体１２０にカメラ１１１の位置及び姿勢を変動させ、撮像装置１１０のジンバル１１２にカメラ１１１の姿勢を変動させる。例えば、表示装置１４０にエンドエフェクタ２３０の所望の画像等の所望の画像が映し出されると、ユーザＰは、現状のカメラ１１１の位置及び姿勢をカメラ１１１の初期位置及び初期姿勢に決定する指令を撮像入力装置１３０に入力する。

次いで、ステップＳ１０３において、撮像制御装置１５０は、カメラ１１１の初期位置及び初期姿勢を決定する。撮像制御装置１５０は、制御の実行中、無人飛行体１２０の位置及び姿勢の情報と、カメラ１１１及びジンバル１１２の動作情報とを無人飛行体１２０及び撮像装置１１０から受信する。撮像制御装置１５０は、ステップＳ１０２でカメラ１１１の初期位置及び初期姿勢を決定する指令を受け付けたときに検出された無人飛行体１２０の位置及び姿勢の情報とジンバル１１２の動作情報とから、カメラ１１１の位置及び姿勢を検出し、当該位置及び姿勢を初期位置及び初期姿勢に決定する。

次いで、ステップＳ１０４において、撮像制御装置１５０は、エンドエフェクタ２３０の位置及び姿勢を検出する。撮像制御装置１５０は、ステップＳ１０２でカメラ１１１の初期位置及び初期姿勢を決定する指令を受け付けると、エンドエフェクタ２３０の位置及び姿勢の情報として、ロボットアーム２１０の動作情報を要求する指令をロボット制御装置４００に出力する。ロボット制御装置４００は、当該動作情報を撮像制御装置１５０に出力する。ロボットアーム２１０の動作情報は、ロボットアーム２１０の各関節駆動装置２１２で検出される各関節２１１の回転量の情報である。撮像制御装置１５０は、ロボットアーム２１０の動作情報を用いてエンドエフェクタ２３０の位置及び姿勢を演算する。

次いで、ステップＳ１０５において、撮像制御装置１５０は、カメラ１１１の初期位置及び初期姿勢の情報と、エンドエフェクタ２３０の位置及び姿勢の情報とを用いて、所定相対関係を表す関係式等を決定する、つまり、所定相対関係を決定する。撮像制御装置１５０は、所定相対関係の情報を記憶部１５４に記憶させる。

次いで、ステップＳ１０６において、撮像制御装置１５０は、初期設定モードを終了し、通常動作モードで動作を開始する。

次いで、ステップＳ１０７において、撮像制御装置１５０は、撮像装置１１０のカメラ１１１に撮像動作を開始させる。カメラ１１１は連続的に動画像を撮像して撮像制御装置１５０に送信し、撮像制御装置１５０は当該動画像を表示装置１４０に表示させる。

次いで、ステップＳ１０８において、撮像制御装置１５０は、ロボット制御装置４００にロボットアーム２１０の動作情報を要求し、当該動作情報をロボット制御装置４００から取得する。

次いで、ステップＳ１０９において、撮像制御装置１５０は、エンドエフェクタ２３０の位置及び姿勢に対して所定相対関係を満たすカメラ１１１の目標位置及び目標姿勢を決定する。撮像制御装置１５０は、ロボットアーム２１０の動作情報を用いて、エンドエフェクタ２３０の位置及び姿勢を演算する。撮像制御装置１５０は、エンドエフェクタ２３０の位置及び姿勢と、記憶部１５４に記憶される所定相対関係の情報とを用いて、カメラ１１１の目標位置及び目標姿勢を演算する。

次いで、ステップＳ１１０において、撮像制御装置１５０は、カメラ１１１を目標位置及び目標姿勢に移動させるための無人飛行体１２０の目標位置及び目標姿勢とジンバル１１２の各部の目標動作状態とを決定する。撮像制御装置１５０は、目標位置及び目標姿勢に無人飛行体１２０を移動させる動作指令と、目標動作状態にジンバル１１２を動作させる動作指令とを、無人飛行体１２０及び撮像装置１１０に送信する。

次いで、ステップＳ１１１において、無人飛行体１２０は、動作指令に従って目標位置及び目標姿勢に移動し、撮像装置１１０は、ジンバル１１２を目標動作状態に動作させる。これにより、カメラ１１１の位置及び姿勢とエンドエフェクタ２３０の位置及び姿勢とが相対位置関係を満たす。

次いで、ステップＳ１１２において、撮像制御装置１５０は、ユーザＰによって撮像入力装置１３０にカメラ１１１の位置及び姿勢を移動する指令である修正指令が入力されたか否かを判定する。撮像制御装置１５０は、入力済みの場合（ステップＳ１１２でＹｅｓ）にステップＳ１１３に進み、未入力の場合（ステップＳ１１２でＮｏ）にステップＳ１１７に進む。

ステップＳ１１３において、撮像制御装置１５０は、修正指令に従ってカメラ１１１の位置及び姿勢を移動させるための無人飛行体１２０の修正目標位置及び修正目標姿勢とジンバル１１２の各部の修正目標動作状態とを決定する。撮像制御装置１５０は、修正目標位置及び修正目標姿勢に無人飛行体１２０を移動させる動作指令である修正動作指令と、修正目標動作状態にジンバル１１２を動作させる動作指令である修正動作指令とを、無人飛行体１２０及び撮像装置１１０に送信する。このとき、撮像制御装置１５０は、無人飛行体１２０の位置及び姿勢の情報と、ジンバル１１２の動作状態の情報とをフィードバック情報として用いて、動作指令を生成してもよい。

次いで、ステップＳ１１４において、無人飛行体１２０は、修正動作指令に従って修正目標位置及び修正目標姿勢に移動し、撮像装置１１０は、ジンバル１１２を修正目標動作状態に動作させる。このとき、無人飛行体１２０及び撮像装置１１０は、無人飛行体１２０の位置及び姿勢の情報と、ジンバル１１２の動作状態の情報とをフィードバック情報として用いて、動作制御を行ってもよい。

次いで、ステップＳ１１５において、撮像制御装置１５０は、ロボット制御装置４００にロボットアーム２１０の動作情報を要求し、当該動作情報をロボット制御装置４００から取得する。

次いで、ステップＳ１１６において、撮像制御装置１５０は、ロボットアーム２１０の動作情報を用いて、エンドエフェクタ２３０の位置及び姿勢を演算する。撮像制御装置１５０は、エンドエフェクタ２３０の位置及び姿勢の情報と、カメラ１１１の修正目標位置及び修正目標姿勢とを用いて、新たな所定相対関係を表す関係式等を決定する。撮像制御装置１５０は、記憶部１５４に記憶される所定相対関係の情報を新たな所定相対関係の情報に変更することで、所定相対関係の情報を更新する。これにより、撮像制御装置１５０は、以降において、カメラ１１１の位置及び姿勢とエンドエフェクタ２３０の位置及び姿勢とが更新後の相対位置関係を満たすように、カメラ１１１の位置及び姿勢を制御する。

次いで、ステップＳ１１７において、撮像制御装置１５０は、ユーザＰによって撮像入力装置１３０に撮像システム１００の動作を終了する指令が入力されたか否かを判定し、入力済みの場合（ステップＳ１１７でＹｅｓ）に一連の処理を終了し、未入力の場合（ステップＳ１１７でＮｏ）にステップＳ１０８に戻る。

ステップＳ１０１からＳ１１７の処理によって、撮像制御装置１５０は、ユーザＰが所望する相対位置関係を決定する。撮像制御装置１５０は、無人飛行体１２０及びジンバル１１２の動作を制御することで、カメラ１１１の位置及び姿勢とエンドエフェクタ２３０の位置及び姿勢とが相対位置関係を満たすように、カメラ１１１の位置及び姿勢を制御する。さらに、撮像制御装置１５０は、撮像入力装置１３０に入力される操作に従って、相対位置関係を修正する。これにより、撮像制御装置１５０は、ユーザＰにとってより望ましい相対位置関係を決定することができる。

なお、例示的な実施の形態において、撮像制御装置１５０は、相対位置関係に従った無人飛行体１２０及びジンバル１１２の動作の制御中、撮像入力装置１３０を介してカメラ１１１の位置及び姿勢の修正指令を受け付けると、修正指令に従って相対位置関係を修正するように構成されるが、これに限定されない。例えば、撮像制御装置１５０は、修正指令に従ってカメラ１１１の位置及び姿勢を修正するが、相対位置関係を修正しないように構成されてもよい。この場合、撮像制御装置１５０は、修正指令に従ってカメラ１１１の位置及び姿勢を一時的に修正し、その後、既存の相対位置関係に従ってカメラ１１１の位置及び姿勢を制御する。さらに、撮像制御装置１５０は、相対位置関係の修正の有無を、撮像入力装置１３０を介したユーザＰの指令に従って決定してもよい。

（変形例１）
例示的な実施の形態の変形例１は、撮像制御装置１５０Ａが無人飛行体１２０の飛行エリアを制限する点で、例示的な実施の形態と異なる。以下、変形例１について、例示的な実施の形態と異なる点を中心に説明し、例示的な実施の形態と同様の点の説明を適宜省略する。

図５は、例示的な実施の形態の変形例１に係るロボットシステム１の構成の一例を示す斜視図である。図６は、変形例１に係る撮像システム１００の機能的な構成の一例を示すブロック図である。図５及び図６に示すように、撮像制御装置１５０Ａは、ロボット２００のエンドエフェクタ２３０と無人飛行体１２０との距離が第１所定距離Ｌ１以上となるように、無人飛行体１２０の動作を制御する。撮像制御装置１５０Ａは、ロボット２００のエンドエフェクタ２３０と無人飛行体１２０との距離が第２所定距離Ｌ２以下となるように、無人飛行体の動作１２０を制御する。なお、第２所定距離Ｌ２は第１所定距離Ｌ１よりも大きい。

さらに、撮像制御装置１５０Ａは、エンドエフェクタ２３０と無人飛行体１２０との距離が第１所定距離Ｌ１未満となるように無人飛行体１２０を動作させる必要がある場合、無人飛行体１２０をエンドエフェクタ２３０から第１所定距離Ｌ１以上で離れて位置させ、撮像装置１１０にズームアップ撮像をさせる。例えば、撮像制御装置１５０Ａは、撮像入力装置１３０から、エンドエフェクタ２３０と無人飛行体１２０との距離が第１所定距離Ｌ１未満になるような指令又は修正指令を受け付けた場合等に、上記制御を実行する。

撮像制御装置１５０Ａは、エンドエフェクタ２３０と無人飛行体１２０との距離が第２所定距離Ｌ２超となるように無人飛行体１２０を動作させる必要がある場合、無人飛行体１２０をエンドエフェクタ２３０から第２所定距離Ｌ２以下で離れて位置させ、撮像装置１１０にズームバック撮像をさせる。例えば、撮像制御装置１５０Ａは、撮像入力装置１３０から、エンドエフェクタ２３０と無人飛行体１２０との距離が第２所定距離Ｌ２超になるような指令又は修正指令を受け付けた場合等に、上記制御を実行する。

よって、撮像制御装置１５０Ａは、エンドエフェクタ２３０を中心とする半径Ｌ１のエリアＡ１とエンドエフェクタ２３０を中心とする半径Ｌ２のエリアＡ２との間のエリアＡ３内に無人飛行体１２０の位置を保持するように、無人飛行体１２０の飛行を制御する。これにより、無人飛行体１２０がロボットアーム２１０に接近し干渉することと、無人飛行体１２０がロボットアーム２１０の周囲の天井及び壁等の物体と干渉することとが抑えられる。

撮像制御装置１５０Ａの位置姿勢演算部１５２Ａは、決定部１５２３を第１決定部として含み、さらに、第２決定部１５２４を含む。第１決定部１５２３は、カメラ１１１の目標位置及び目標姿勢を決定すると、第２決定部１５２４に出力する。以下において、第１決定部１５２３によって決定された「目標位置」及び「目標姿勢」をそれぞれ、「第１目標位置」及び「第１目標姿勢」とも呼ぶ。

第２決定部１５２４は、第１検出部１５２１からエンドエフェクタ２３０の位置及び姿勢の情報を受け取る。第２決定部１５２４は、カメラ１１１の第１目標位置とエンドエフェクタ２３０の位置との距離Ｌｃｅを演算し、距離Ｌｃｅと第１所定距離Ｌ１との比較と、距離Ｌｃｅと第２所定距離Ｌ２との比較とを実行する。第１所定距離Ｌ１及び第２所定距離Ｌ２の情報は、記憶部１５４に予め記憶される。本変形例では、エンドエフェクタ２３０の位置の基準点は、座標軸Ｘ２、Ｙ２及びＺ２軸からなる第２座標系の原点であるが、基準点の位置はエンドエフェクタ２３０のいかなる位置であってもよい。

距離Ｌｃｅが第１所定距離Ｌ１以上第２所定距離Ｌ２以下の場合、第２決定部１５２４は、第１決定を実行する。第１決定では、第２決定部１５２４は、第１目標位置及び第１目標姿勢をそれぞれ、実行すべきカメラ１１１の目標位置及び目標姿勢として、第２目標位置及び第２目標姿勢に決定する。

距離Ｌｃｅが第１所定距離Ｌ１未満の場合、第２決定部１５２４は、第２決定を実行する。第２決定では、第２決定部１５２４は、カメラ１１１の第１目標位置とエンドエフェクタ２３０の位置とを結ぶライン上において、エンドエフェクタ２３０から第１所定距離Ｌ１以上の位置を、カメラ１１１の第２目標位置に決定する。例えば、第２決定部１５２４は、第１所定距離Ｌ１の位置をカメラ１１１の第２目標位置に決定する。さらに、第２決定部１５２４は、第１目標姿勢をカメラ１１１の第２目標姿勢に決定する。

距離Ｌｃｅが第２所定距離Ｌ２超の場合、第２決定部１５２４は、第３決定を実行する。第３決定では、第２決定部１５２４は、カメラ１１１の第１目標位置とエンドエフェクタ２３０の位置とを結ぶライン上において、エンドエフェクタ２３０から第２所定距離Ｌ２以下の位置を、カメラ１１１の第２目標位置に決定する。例えば、第２決定部１５２４は、第２所定距離Ｌ２の位置をカメラ１１１の第２目標位置に決定する。さらに、第２決定部１５２４は、第１目標姿勢をカメラ１１１の第２目標姿勢に決定する。

第２決定部１５２４は、第１決定から第３決定のうちの実行した決定と、第１目標位置及び第１目標姿勢と、第２目標位置及び第２目標姿勢と、距離Ｌｃｅとを含む情報を駆動制御部１５１に出力する。

駆動制御部１５１の飛行体制御部１５１２は、第２決定部１５２４から受け取るカメラ１１１の第２目標位置及び第２目標姿勢に従ってカメラ１１１を移動させるための無人飛行体１２０の動作指令を生成する。飛行体制御部１５１２は、当該動作指令をカメラ制御部１５１１及び無人飛行体１２０の飛行体制御装置１２５へ出力する。

カメラ制御部１５１１は、第２決定部１５２４から受け取るカメラ１１１の第２目標姿勢に従ってカメラ１１１の姿勢を移動させるためのジンバル１１２の動作指令を生成する。さらに、カメラ制御部１５１１は、第２決定部１５２４から受け取るカメラ１１１の第１目標位置及び第２目標位置を用いてカメラ１１１のズームアップ率又はズームバック率を決定する。

具体的には、第１決定を受け取った場合、カメラ制御部１５１１は、ズームアップ率及びズームバック率を現状から変更しないことを決定する。

第２決定を受け取った場合、カメラ制御部１５１１は、カメラ１１１のズームアップ撮像を決定する。カメラ制御部１５１１は、第１目標位置と第２目標位置との距離ＬＴ１２を演算する。カメラ制御部１５１１は、距離ＬＴ１２と、第１目標位置とエンドエフェクタ２３０との距離Ｌｃｅとを用いて、カメラ１１１のズームアップ率を決定する。当該ズームアップ率は、カメラ１１１が第２目標位置で当該ズームアップ率を適用して撮像した画像に表示されるエンドエフェクタ２３０の像の大きさと、カメラ１１１が第１目標位置で当該ズームアップ率を適用せずに撮像した画像に表示されるエンドエフェクタ２３０の像の大きさとが同等となるように決定される。

第３決定を受け取った場合、カメラ制御部１５１１は、カメラ１１１のズームバック撮像を決定する。カメラ制御部１５１１は、第１目標位置と第２目標位置との距離ＬＴ１２を演算する。カメラ制御部１５１１は、距離ＬＴ１２と、第１目標位置とエンドエフェクタ２３０との距離Ｌｃｅとを用いて、カメラ１１１のズームバック率を決定する。当該ズームバック率は、カメラ１１１が第２目標位置で当該ズームバック率を適用して撮像した画像に表示されるエンドエフェクタ２３０の像の大きさと、カメラ１１１が第１目標位置で当該ズームバック率を適用せずに撮像した画像に表示されるエンドエフェクタ２３０の像の大きさとが同等となるように決定される。

カメラ制御部１５１１は、カメラ１１１のズームアップ率及びズームバック率の決定結果を反映したカメラ１１１の動作指令と、ジンバル１１２の動作指令とを、無人飛行体１２０のカメラ制御装置１１３へ送信する。

上述より、カメラ１１１は、無人飛行体１２０が第２目標位置に対応する位置に位置する場合でも、無人飛行体１２０が第１目標位置に対応する位置に位置する場合と同様の画像を撮像し、表示装置１４０に表示させることができる。

また、本変形例では、撮像制御装置１５０Ａは、第１所定距離Ｌ１及び第２所定距離Ｌ２を用いるように構成されるが、これに限定されず、第１所定距離Ｌ１及び第２所定距離Ｌ２の一方のみを用いるように構成されてもよい。

例えば、第１所定距離Ｌ１のみを用いる場合、第２決定部１５２４は、カメラ１１１の第１目標位置とエンドエフェクタ２３０の位置との距離Ｌｃｅが第１所定距離Ｌ１以上の場合に第１決定を実行する。さらに、第２決定部１５２４は、距離Ｌｃｅが第１所定距離Ｌ１未満の場合に第２決定を実行する。第２決定部１５２４は、第３決定を実行しない。

例えば、第２所定距離Ｌ２のみを用いる場合、第２決定部１５２４は、距離Ｌｃｅが第２所定距離Ｌ２以下の場合に第１決定を実行する。さらに、第２決定部１５２４は、距離Ｌｃｅが第２所定距離Ｌ２超の場合に第３決定を実行する。第２決定部１５２４は、第２決定を実行しない。

第２決定部１５２４は、エンドエフェクタ２３０の移動速度に応じて、第１所定距離Ｌ１、第２所定距離Ｌ２、又は、第１所定距離Ｌ１及び第２所定距離Ｌ２の両方を、増加又は減少するように構成されてもよい。具体的には、第２決定部１５２４は、第１所定距離Ｌ１のみを増加又は減少してもよく、第２所定距離Ｌ２のみを増加又は減少してもよい。第２決定部１５２４は、第１所定距離Ｌ１及び第２所定距離Ｌ２の両方を増加又は減少してもよく、この場合、第２決定部１５２４は、第１所定距離Ｌ１及び第２所定距離Ｌ２の両方を増加してもよく、第１所定距離Ｌ１及び第２所定距離Ｌ２の両方を減少してもよく、第１所定距離Ｌ１及び第２所定距離Ｌ２の一方を増加し、他方を減少してもよい。第１検出部１５２１によって検出されるエンドエフェクタ２３０の位置及び姿勢の情報に基づき、第２決定部１５２４が、エンドエフェクタ２３０の移動速度を検出してもよい。第１検出部１５２１がエンドエフェクタ２３０の移動速度を検出してもよい。

例えば、第２決定部１５２４は、エンドエフェクタ２３０の移動速度が増加すると、第１所定距離Ｌ１を大きくするように変更し、第２所定距離Ｌ２を小さくするように変更してもよい。これにより、無人飛行体１２０がロボット２００及び周囲の物体と接触することがより確実に防がれる。

例えば、第２決定部１５２４は、エンドエフェクタ２３０の移動速度が減少すると、第１所定距離Ｌ１を小さくするように変更し、第２所定距離Ｌ２を大きくするように変更してもよい。これにより、無人飛行体１２０がエンドエフェクタ２３０に接近することができる。

例えば、第２決定部１５２４は、エンドエフェクタ２３０の移動速度の変化に追従して変動するように、第１所定距離Ｌ１及び第２所定距離Ｌ２を増減してもよい。又は、第２決定部１５２４は、エンドエフェクタ２３０の移動速度と閾値との比較結果に基づき、第１所定距離Ｌ１及び第２所定距離Ｌ２の増減を決定してもよい。この場合、第２決定部１５２４は、エンドエフェクタ２３０の移動速度と複数の閾値とを比較し、段階的に第１所定距離Ｌ１及び第２所定距離Ｌ２増減してもよい。

また、本変形例では、撮像制御装置１５０Ａは、カメラ１１１の目標位置とエンドエフェクタ２３０の位置との関係に基づき、無人飛行体１２０の飛行エリアを制限するが、これに限定されない。

例えば、図７は、変形例１における無人飛行体１２０の飛行の制限エリアの別例を示す斜視図である。図７に示すように、撮像制御装置１５０Ａは、ロボット２００の可動範囲Ａ４とカメラ１１１の目標位置との関係に基づき、無人飛行体１２０が可動範囲Ａ４に侵入しないように飛行エリアを制限してもよい。可動範囲Ａ４は、ロボット２００のロボットアーム２１０が動作可能な範囲である。カメラ１１１の目標位置が可動範囲Ａ４内に位置する場合、撮像制御装置１５０Ａは、エンドエフェクタ２３０と無人飛行体１２０との距離が第１所定距離Ｌ１未満となる場合と同様の制御を行ってもよい。

撮像制御装置１５０Ａは、ロボット２００の作業範囲Ａ５とカメラ１１１の目標位置との関係に基づき、無人飛行体１２０が作業範囲Ａ５に侵入しないように飛行エリアを制限してもよい。作業範囲Ａ５は、ロボット２００が所定の作業を実行する際にロボットアーム２１０が動作し得る範囲である。カメラ１１１の目標位置が作業範囲Ａ５内に位置する場合、撮像制御装置１５０Ａは、エンドエフェクタ２３０と無人飛行体１２０との距離が第１所定距離Ｌ１未満となる場合と同様の制御を行ってもよい。

撮像制御装置１５０Ａは、ロボットアーム２１０とカメラ１１１の目標位置との関係に基づき、無人飛行体１２０がロボットアーム２１０から第３所定距離Ｌ３以下のエリアであるアームエリアＡ６に侵入しないように飛行エリアを制限してもよい。撮像制御装置１５０Ａは、ロボットアーム２１０の関節駆動装置２１２のフィードバック情報を用いて、ロボットアーム２１０の各関節及びその他の各部の位置を検出してもよい。さらに、撮像制御装置１５０Ａは、検出された位置に基づき、アームエリアＡ６の位置を検出してもよい。

アームエリアＡ６は、ロボットアーム２１０の囲むエリアであり、ロボットアーム２１０の動作に追従して変動する。本例では、アームエリアＡ６は、ロボットアーム２１０の各関節２１１（図１参照）の回転中心軸から第３所定距離Ｌ３以下のエリアであるが、これに限定されず、例えば、ロボットアーム２１０の表面等のロボットアーム２１０のいかなる部分を基準とするエリアであってもよい。さらに、本例では、アームエリアＡ６は、ロボットアーム２１０の全体にわたるエリアであるが、これに限定されず、例えば、エンドエフェクタ２３０の近傍の一部等のロボットアーム２１０の少なくとも一部にわたるエリアであってもよい。カメラ１１１の目標位置がアームエリアＡ６内に位置する場合、撮像制御装置１５０Ａは、エンドエフェクタ２３０と無人飛行体１２０との距離が第１所定距離Ｌ１未満となる場合と同様の制御を行ってもよい。

また、撮像制御装置１５０Ａは、第１所定距離Ｌ１及び第２所定距離Ｌ２を用いて無人飛行体１２０の飛行エリアを制限する制御と、可動範囲Ａ４を用いて無人飛行体１２０の飛行エリアを制限する制御と、作業範囲Ａ５を用いて無人飛行体１２０の飛行エリアを制限する制御と、アームエリアＡ６を用いて無人飛行体１２０の飛行エリアを制限する制御とを、別々に実行するように構成されてもよく、これらの制御のうちの２つ以上を組み合わせて実行するように構成されてもよい。

（変形例２）
例示的な実施の形態の変形例２は、撮像システム１００がユーザＰの頭部Ｈの動きを検出する動き検出装置１６０を備え、動き検出装置１６０によって検出される頭部Ｈの動きに追従してカメラ１１１の位置及び姿勢を変動させるように構成される点で、例示的な実施の形態及び変形例１と異なる。以下、変形例２について、例示的な実施の形態及び変形例１と異なる点を中心に説明し、例示的な実施の形態及び変形例１と同様の点の説明を適宜省略する。

図８は、例示的な実施の形態の変形例２に係るロボットシステム１の構成の一例を示す斜視図である。図９は、変形例２に係る撮像システム１００の機能的な構成の一例を示すブロック図である。図８及び図９に示すように、撮像システム１００は、表示装置として表示装置１４０Ｂを備え、さらに動き検出装置１６０を備える。また、撮像システム１００の撮像制御装置１５０Ｂは、検出制御部１５６をさらに含む。

表示装置１４０Ｂは、ユーザＰの頭部Ｈに取り付けられるヘッドマウントディスプレイである。本変形例では、ヘッドマウントディスプレイは、ゴーグル状の形状を有し、ヘッドマウントディスプレイのレンズ部分が、画像が表示される表示面を形成する。表示装置１４０Ｂは、ユーザＰの頭部Ｈと共に移動することでユーザＰの頭部Ｈの動きに追従して画像を表示する位置及び向きを変えることができる。

なお、表示装置１４０Ｂは、ユーザＰの頭部Ｈに取り付けられないように構成されてもよく、この場合、表示装置１４０Ｂの表示面の位置、当該表示面の姿勢、又は、当該表示面の位置及び姿勢の両方を変えることができるように構成されてもよく、表示装置１４０Ｂの表示面が固定されるように構成されてもよい。

動き検出装置１６０は、検出装置の一例であり、ユーザＰの頭部Ｈの動きを検出する。動き検出装置１６０は特に限定されないが、本変形例では、少なくとも１つの赤外線センサ１６１と、頭部Ｈに装着される少なくとも１つの赤外線マーカ１６２とを含む。本変形例では、複数の赤外線センサ１６１、具体的には、３つの赤外線センサ１６１がユーザＰの周りにユーザＰに向けて配置される。３つの赤外線センサ１６１は、ユーザＰの頭部Ｈから離れた位置に配置される。複数の赤外線マーカ１６２、具体的には、４つの赤外線マーカ１６２が頭部Ｈ上の異なる位置に配置される。なお、頭部は、人体における首から上の部分を含み、例えば、顔面、頭頂部、側頭部、後頭部等を含み得る。

赤外線マーカ１６２は、赤外光を出射する。赤外線マーカ１６２は、赤外線ＬＥＤ（Light Emitting Diode）等の赤外光を自身で発する発光体であってもよく、照射された赤外光を反射する反射体であってもよく、発光体及び反射体の両方を含むように構成されてもよい。赤外線センサ１６１は、赤外光を受光し、受光される赤外光の方向、強度及び強度分布等を検出することができる。赤外線センサ１６１は、赤外光の受光のみが可能であるように構成されてもよく、赤外光を自身で発し、当該赤外光の反射光等の赤外光を受光するように構成されてもよい。後者の場合、赤外線センサ１６１は、赤外線カメラであってもよい。３つの赤外線センサ１６１を用いて４つの赤外線マーカ１６２からの赤外光を検出することで、頭部Ｈの位置及び姿勢等を高精度に検出することが可能である。以下に限定されないが、頭部Ｈの位置は、３次元空間内での頭部Ｈの所定の基準点等の３次元の位置であってもよい。頭部Ｈの姿勢は、頭部Ｈの正面部分、頭部Ｈを横切る平面、及び頭部Ｈの顎から頭頂部を通る軸等の所定の部分、面又は軸の姿勢であってもよく、具体的には、３次元空間内での上記所定の部分、面又は軸の３次元の向きであってもよい。

なお、上記と逆となるように、赤外線センサ１６１がユーザＰの頭部Ｈに装着され、赤外線マーカ１６２がユーザＰの頭部Ｈから離れた位置に配置されてもよい。赤外線センサ１６１及び赤外線マーカ１６２の位置及び数量は、頭部Ｈの位置、姿勢、又は、位置及び姿勢の両方等の検出が可能であればよく、特に限定されない。

検出制御部１５６は、３つの赤外線センサ１６１の駆動を制御し、３つの赤外線センサ１６１が４つの赤外線マーカ１６２からの赤外光を検出する結果を処理して、４つの赤外線マーカ１６２の３次元の位置及び姿勢を検出する。つまり、検出制御部１５６は、赤外線マーカ１６２の３次元の位置及び姿勢を検出することで、ユーザＰの頭部Ｈの位置及び姿勢を検出する。検出制御部１５６は、頭部Ｈの位置及び姿勢の情報を位置姿勢演算部１５２に出力する。

具体的には、３つの赤外線センサ１６１はそれぞれ、４つの赤外線マーカ１６２から出射される赤外光を受光する。各赤外線マーカ１６２から出射される赤外光は、当該赤外線マーカ１６２に設定されるＩＤ等の識別情報と関連付けられている。このため、各赤外線センサ１６１は、４つの赤外線マーカ１６２それぞれの赤外光の向き、強度及び強度分布等を検出することができる。検出制御部１５６は、記憶部１５４に予め記憶される各赤外線センサ１６１の３次元の位置及び姿勢の情報と、各赤外線センサ１６１による４つの赤外線マーカ１６２の赤外光の検出結果とを用いて、４つの赤外線マーカ１６２の３次元の位置を検出する。例えば、検出制御部１５６は、第１座標系に従って、４つの赤外線マーカ１６２の３次元の位置を検出する。さらに、検出制御部１５６は、４つの赤外線マーカ１６２の３次元の位置の情報を用いて、ユーザＰの頭部Ｈの３次元の位置及び姿勢を検出する。例えば、検出制御部１５６は、ローリング角、ピッチング角及びヨーイング角等の姿勢角を用いて姿勢を表す。

位置姿勢演算部１５２は、例示的な実施の形態において撮像入力装置１３０に入力されるカメラ１１１の位置及び姿勢を移動する指令と同様に、頭部Ｈの位置及び姿勢の情報をカメラ１１１の位置及び姿勢を移動する指令として用いて、カメラ１１１の目標位置及び目標姿勢を決定する。位置姿勢演算部１５２は、頭部Ｈの位置及び姿勢の変動量に対応するカメラ１１１の位置及び姿勢の変動量でカメラ１１１を移動させるためのカメラ１１１の目標位置及び目標姿勢を決定する。

例えば、頭部Ｈの水平方向及び鉛直方向の移動はそれぞれ、カメラ１１１の水平方向及び鉛直方向の移動に対応付けられる。頭部Ｈのローリング方向、ピッチング方向及びヨーイング方向の移動はそれぞれ、カメラ１１１のローリング方向、ピッチング方向及び方向の移動に対応付けられる。

位置姿勢演算部１５２の決定部１５２３は、頭部Ｈの位置及び姿勢の情報からカメラ１１１の目標位置及び目標姿勢を演算する。例えば、記憶部１５４は、ユーザＰの頭部Ｈの動きに従って各装置を移動させるための種々のパラメータの関係を記憶する。例えば、頭部Ｈの位置及び姿勢の変動量とカメラ１１１の位置及び姿勢の変動量との関係である変動関係が、記憶部１５４に記憶される。決定部１５２３は、頭部Ｈの位置及び姿勢の情報と変動関係とを用いて、頭部Ｈの動きに追従してカメラ１１１を移動させるためのカメラ１１１の目標位置及び目標姿勢を決定する。ここで、頭部Ｈの位置及び姿勢の情報は、動作するロボット２００に対して、ユーザＰがカメラ１１１を通じてエンドエフェクタ２３０等のロボット２００の部位を視認するために、ユーザＰが移動させる頭部Ｈの位置及び姿勢の情報を含む。

決定部１５２３は、所定相対関係を用いてカメラ１１１の目標の位置及び姿勢を決定する制御を実行中に、検出制御部１５６からユーザＰの頭部Ｈの位置及び姿勢の変動を示す情報（以下、「頭部動作情報」とも呼ぶ）を受け取ると、頭部動作情報に従ったカメラ１１１の目標の位置及び姿勢を決定する制御を優先させてもよい。つまり、決定部１５２３は、カメラ１１１の位置及び向きを修正する指令である修正指令として、頭部動作情報を受け付け、所定相対関係に対応するカメラ１１１の目標の位置及び向きを、頭部動作情報に従ったカメラの１１１の目標の位置及び向きに変動させる。これにより、所定相対関係を用いて決定されるカメラ１１１の目標の位置及び姿勢が、頭部Ｈの位置及び姿勢の変動に従ったカメラ１１１の目標の位置及び姿勢によって修正される。つまり、ユーザＰは、頭部Ｈを移動させることでカメラ１１１の目標位置及び目標姿勢を意図する位置及び姿勢に修正することができる。

なお、決定部１５２３は、所定相対関係を用いたカメラ１１１の目標の位置及び姿勢の代わりに、頭部動作情報に従ったカメラ１１１の目標の位置及び姿勢を修正後のカメラ１１１の目標の位置及び姿勢に決定してもよい。決定部１５２３は、所定相対関係を用いたカメラ１１１の目標の位置及び姿勢に頭部動作情報に従ったカメラ１１１の目標の位置及び姿勢を加えて生成されるカメラ１１１の目標の位置及び姿勢を、修正後のカメラ１１１の目標の位置及び姿勢に決定してもよい。

決定部１５２３は、カメラ１１１の目標の位置及び向きの修正以降、修正結果を、所定相対関係に対応するカメラ１１１の目標の位置及び向きの決定に反映してもよい。又は、決定部１５２３は、カメラ１１１の目標の位置及び向きの修正以降、修正結果を所定相対関係に反映せずに、カメラ１１１の目標の位置及び姿勢を決定してもよい。

変形例２に係る撮像システム１００の動作を説明する。図１０は、変形例２に係る撮像システム１００の動作の一例を示すフローチャートである。図１０に示すように、まず、ステップＳ２０１において、撮像制御装置１５０Ｂは、ロボット２００のエンドエフェクタ２３０と撮像装置１１０のカメラ１１１との所定相対関係と、カメラ１１１及びユーザＰの頭部Ｈそれぞれの初期位置及び初期姿勢とを決定する初期設定モードで動作する。

次いで、ステップＳ２０２及びＳ２０３の処理は、例示的な実施の形態のステップＳ１０２及びＳ１０３と同様である。

次いで、ステップＳ２０４において、撮像制御装置１５０Ｂは、ユーザＰの頭部Ｈの初期位置及び初期姿勢を決定する。具体的には、ユーザＰは、頭部Ｈの位置及び姿勢が所望の位置及び姿勢となると、頭部Ｈの初期位置及び初期姿勢の決定する指令を撮像入力装置１３０に入力する。撮像制御装置１５０Ｂは、動き検出装置１６０の３つの赤外線センサ１６１に赤外光の検出動作をさせ、各赤外線センサ１６１の検出結果を処理し、頭部Ｈの位置及び姿勢を検出する。撮像制御装置１５０Ｂは、検出された頭部Ｈの位置及び姿勢を、頭部Ｈの初期位置及び初期姿勢に決定する。

次いで、ステップＳ２０５からＳ２１２の処理は、例示的な実施の形態のステップＳ１０４からＳ１１１の処理と同様である。

次いで、ステップＳ２１３において、撮像制御装置１５０Ｂは、ユーザＰによって撮像入力装置１３０に、頭部Ｈの動きに追従してカメラ１１１の位置及び姿勢を修正する指令である修正指令が入力されたか否かを判定する。撮像制御装置１５０Ｂは、入力済みの場合（ステップＳ２１３でＹｅｓ）にステップＳ２１４に進み、未入力の場合（ステップＳ２１３でＮｏ）にステップＳ２２２に進む。

ステップＳ２１４において、撮像制御装置１５０Ｂは、３つの赤外線センサ１６１に、頭部Ｈの赤外線マーカ１６２の赤外光の検出を連続的に実行させる。なお、撮像制御装置１５０Ｂは、ステップＳ２０７の処理後からステップＳ２１３の処理後までのいかなるタイミングでステップＳ２１４の処理を開始してもよい。

次いで、ステップＳ２１５において、ユーザＰは、表示装置１４０Ｂを視認しつつ頭部Ｈを所望の位置及び姿勢に移動させる。例えば、ユーザＰは、表示装置１４０Ｂに映し出されるエンドエフェクタ２３０を視たい位置及び姿勢になるように頭部Ｈを移動させる。撮像制御装置１５０Ｂは、各赤外線センサ１６１の検出結果を処理し、初期位置及び初期姿勢に対するユーザＰの頭部Ｈの位置及び姿勢を検出する。撮像制御装置１５０Ｂは、所定の時間間隔で頭部Ｈの位置及び姿勢を検出する。

次いで、ステップＳ２１６において、撮像制御装置１５０Ｂは、検出された頭部Ｈの位置及び姿勢に従ってカメラ１１１の位置及び姿勢を移動させるためのカメラ１１１の目標位置及び目標姿勢を、カメラ１１１の修正目標位置及び修正目標姿勢として決定する。撮像制御装置１５０Ｂは、検出された頭部Ｈの位置及び姿勢の情報と記憶部１５４に記憶される変動関係とに基づき、カメラ１１１の修正目標位置及び修正目標姿勢を演算する。

次いで、ステップＳ２１７において、撮像制御装置１５０Ｂは、カメラ１１１の修正目標位置及び修正目標姿勢にカメラ１１１の位置及び姿勢を移動させるための無人飛行体１２０の修正目標位置及び修正目標姿勢とジンバル１１２の各部の修正目標動作状態とを決定する。撮像制御装置１５０Ｂは、修正目標位置及び修正目標姿勢に無人飛行体１２０を移動させる修正動作指令と、修正目標動作状態にジンバル１１２を動作させる修正動作指令とを、無人飛行体１２０及び撮像装置１１０に送信する。

次いで、ステップＳ２１８において、無人飛行体１２０は、修正動作指令に従って修正目標位置及び修正目標姿勢に移動し、撮像装置１１０は、修正動作指令に従ってジンバル１１２を修正目標動作状態に動作させる。

次いで、ステップＳ２１９において、撮像制御装置１５０Ｂは、ユーザＰによって撮像入力装置１３０に、修正指令を終了する入力がされたか否かを判定し、入力済みの場合（ステップＳ２１９でＹｅｓ）にステップＳ２２０に進み、未入力の場合（ステップＳ２１９でＮｏ）にステップＳ２１４に戻る。

ステップＳ２２０及びＳ２２１の処理は、例示的な実施の形態のステップＳ１１５及びＳ１１６の処理と同様である。

次いで、ステップＳ２２２において、撮像制御装置１５０Ｂは、ユーザＰによって撮像入力装置１３０に撮像システム１００の動作を終了する指令が入力されたか否かを判定し、入力済みの場合（ステップＳ２２２でＹｅｓ）に一連の処理を終了し、未入力の場合（ステップＳ２２２でＮｏ）にステップＳ２０９に戻る。

ステップＳ２０１からＳ２２２の処理によって、撮像制御装置１５０Ｂは、ユーザＰの頭部Ｈの動きに追従して移動させるカメラ１１１の位置及び姿勢に基づき、相対位置関係を修正する。よって、ユーザＰは、頭部Ｈを所望の位置及び方向に移動させることによって、ユーザＰとってより望ましい相対位置関係を簡易に決定することができる。

なお、変形例２において、撮像制御装置１５０Ｂは、相対位置関係に従った無人飛行体１２０及びジンバル１１２の動作の制御中、カメラ１１１の位置及び姿勢の修正指令を受け付けると、ユーザＰの頭部Ｈの動きに追従して移動するカメラ１１１の位置及び姿勢に対応するように相対位置関係を修正するが、これに限定されない。例えば、撮像制御装置１５０Ｂは、頭部Ｈの動きに追従してカメラ１１１の位置及び姿勢を修正するが、相対位置関係を修正しないように構成されてもよい。この場合、撮像制御装置１５０Ｂは、頭部Ｈの動きに追従してカメラ１１１の位置及び姿勢を一時的に修正し、その後、既存の相対位置関係に従ってカメラ１１１の位置及び姿勢を制御する。さらに、撮像制御装置１５０Ｂは、相対位置関係の修正の有無を、撮像入力装置１３０を介したユーザＰの指令に従って決定してもよい。

また、変形例２において、撮像制御装置１５０Ｂは、撮像入力装置１３０を用いた操作に従ってカメラ１１１の位置及び姿勢を移動させる制御と、ユーザＰの頭部Ｈの動きにカメラ１１１の位置及び姿勢を追従させる制御とを併用するように構成されてもよい。また、変形例２に係る撮像システム１００の構成を変形例１に適用してもよい。

（その他の実施の形態）
以上、本開示の例示的な実施の形態及び変形例について説明したが、本開示は、上記例示的な実施の形態及び変形例に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を例示的な実施の形態及び変形例に施したもの、及び、異なる例示的な実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

例えば、例示的な実施の形態及び変形例において、撮像制御装置１５０、１５０Ａ及び１５０Ｂは、相対位置関係に従って無人飛行体１２０及びジンバル１１２の動作を制御するように構成されるが、これに限定されない。例えば、撮像制御装置１５０、１５０Ａ及び１５０Ｂは、相対位置関係を用いずに、ユーザＰによって撮像入力装置１３０に入力されるカメラ１１１の位置及び姿勢の指令に従って、並びに／又は、ユーザＰの頭部Ｈの動きにカメラの１１１の位置及び姿勢を追従させるように、無人飛行体１２０及びジンバル１１２の動作を制御するように構成されてもよい。

また、変形例２において、動き検出装置１６０は、ユーザＰの頭部Ｈの動きを検出するために赤外線センサ１６１及び赤外線マーカ１６２を備えるが、これに限定されず、頭部Ｈの動きを検出可能ないかなる構成を備えてもよい。

例えば、動き検出装置１６０は、頭部Ｈに装着される加速度センサ及び角速度センサを備え、頭部Ｈの６軸方向の加速度及び角速度を検出してもよい。この場合、撮像制御装置１５０Ｂは、加速度センサ及び角速度センサから検出結果を有線通信又は無線通信を介して受信するように構成されてもよい。撮像制御装置１５０Ｂは、加速度及び角速度の検出結果を用いて頭部Ｈの位置及び姿勢を検出してもよい。

又は、動き検出装置１６０は、頭部Ｈから離れた位置に配置された３次元カメラを備え、頭部Ｈの３次元画像を撮像してもよい。３次元画像の各画素の画素値は、当該画素に映し出される被写体までの距離値を示す。この場合、撮像制御装置１５０Ｂは、頭部Ｈのテンプレートを用いたパターンマッチング手法等の画像処理により、３次元画像に映し出される頭部Ｈの像及び頭部Ｈの姿勢を検出し、３次元画像の各画素の画素値から頭部Ｈの位置を検出してもよい。さらに、動き検出装置１６０は、互いに異なる位置及び向きで配置された複数の３次元カメラを備えてもよい。撮像制御装置１５０Ｂは、各３次元カメラの３次元画像を処理することで、頭部Ｈの３次元モデルを生成してもよい。撮像制御装置１５０Ｂは、頭部Ｈの３次元モデルを用いて頭部Ｈの位置及び姿勢を検出してもよい。

又は、動き検出装置１６０は、磁場発生装置と、頭部Ｈに装着される磁気センサとを備え、磁気センサの位置及び姿勢を検出してもよい。この場合、撮像制御装置１５０Ｂは、磁気センサから検出結果を有線通信又は無線通信を介して受信するように構成されてもよい。撮像制御装置１５０Ｂは、磁気センサの位置及び姿勢の検出結果を用いて頭部Ｈの位置及び姿勢を検出してもよい。

また、本開示の技術の各態様例は、以下のように挙げられる。本開示の一態様に係る撮像システムは、無人飛行体と、前記無人飛行体に搭載され、対象物に対して作業を行うロボットを撮像する撮像装置と、前記無人飛行体から遠隔に配置され、前記撮像装置によって撮像された画像を、前記ロボットを操作するユーザに表示する表示装置と、前記撮像装置及び前記無人飛行体の動作を制御する制御装置とを備え、前記制御装置は、前記ロボットの動作に関連する情報である動作関連情報を取得し、前記動作関連情報に対応して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させる。

上記態様によると、撮像システムは、ロボットの操作に関連する動作関連情報を無人飛行体の移動の制御に用いる。これにより、無人飛行体の操作するためのユーザの操作の簡略化及び操作量の低減が可能になる。よって、撮像システムは、撮像装置を搭載する無人飛行体の操作を簡易にすることができる。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記動作関連情報として前記ロボットの動作を示す動作情報を取得し、前記動作情報に従って前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させてもよい。

上記態様によると、撮像システムは、ロボットの動作情報を無人飛行体の移動の制御に用いる。例えば、撮像システムは、ロボットの動作に追従して移動するように、無人飛行体の移動を制御することができる。これにより、ユーザによる無人飛行体の操作の簡略化及び操作量の低減が可能になる。

本開示の一態様に係る撮像システムは、前記ユーザによる指令の入力を受け付ける入力装置をさらに備え、前記制御装置は、前記撮像装置の位置及び向きを修正する指令である修正指令を前記入力装置を介して受け付け、前記動作関連情報に対応する前記撮像装置の位置及び向きを、前記修正指令に従った前記撮像装置の位置及び向きに変動させるように、前記無人飛行体を移動させてもよい。

上記態様によると、撮像システムは、動作関連情報に対応して撮像装置の位置及び向きを変動させる無人飛行体の移動を、入力装置を介して受け付けられた修正指令に従って修正することができる。撮像システムは、動作関連情報に対応する撮像装置の位置及び向きの代わりに、修正指令に従った撮像装置の位置及び向きを用いてもよく、動作関連情報に対応する撮像装置の位置及び向きに修正指令に従った撮像装置の位置及び向きを加えて生成される撮像装置の位置及び向きを用いてもよい。いずれにおいても、ユーザは、撮像装置の位置及び向きを意図するように修正することができる。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記修正指令に従った前記撮像装置の位置及び向きの変動以降、前記修正指令に従った前記撮像装置の位置及び向きの変動結果を、前記動作関連情報に対応する前記撮像装置の位置及び向きに反映してもよい。

上記態様によると、撮像システムは、修正指令に従った修正を、修正以降の無人飛行体の移動の制御に反映することができる。よって、撮像システムは、ユーザの意図を反映しつつ動作関連情報に対応して撮像装置の位置及び向きを変動させるように、無人飛行体を移動させることができる。

本開示の一態様に係る撮像システムは、前記ユーザの頭部の動きを検出する検出装置をさらに備え、前記制御装置は、前記ユーザの頭部の動きの情報を前記検出装置から取得し、前記ユーザの頭部の動きに追従して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させてもよい。

上記態様によると、撮像システムは、ユーザの頭部の動きの情報を無人飛行体の移動の制御に用いる。撮像システムは、動作関連情報に対応する撮像装置の位置及び向きの代わりに、ユーザの頭部の動きに追従した撮像装置の位置及び向きを用いてもよく、動作関連情報に対応する撮像装置の位置及び向きにユーザの頭部の動きに追従した撮像装置の位置及び向きを加えて生成される撮像装置の位置及び向きを用いてもよい。いずれにおいても、ユーザによる無人飛行体の操作の簡略化及び操作量の低減が可能になる。例えば、ユーザは、視ることを意図する方向及び移動量で頭部を移動させることで、撮像装置を対応する方向及び移動量で移動させ、意図する画像を視ることができる。

本開示の一態様に係る撮像システムにおいて、前記ロボットは、エンドエフェクタと前記エンドエフェクタを移動させるロボットアームとを含み、前記制御装置は、前記動作関連情報として前記エンドエフェクタの位置及び向きの情報を取得し、前記エンドエフェクタの位置及び向きに追従して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させてもよい。

上記態様によると、ユーザは、ロボットを操作してエンドエフェクタの位置及び向きを変動させることで、無人飛行体に撮像装置の位置及び向きを変動させることができる。これにより、ユーザによる無人飛行体の操作の簡略化及び操作量の低減が可能になる。例えば、撮像装置がエンドエフェクタを撮像している場合、撮像装置は、エンドエフェクタの位置及び向きの変動に対応して移動するため、撮像装置はエンドエフェクタを継続して撮像し表示装置に映し出すことができる。例えば、定位置からの撮像では、移動するエンドエフェクタがロボットアームに隠れてしまうような場合でも、撮像装置はロボットアームによる干渉を回避してエンドエフェクタを撮像することができる。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づき、前記エンドエフェクタと前記無人飛行体との距離が第１所定距離以上となるように、前記無人飛行体の動作を制御してもよい。

上記態様によると、撮像システムは、エンドエフェクタから第１所定距離未満の領域に進入しないように無人飛行体の移動を制御する。よって、撮像システムは、無人飛行体がエンドエフェクタ及びロボットアームと接触することを抑制することができる。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記エンドエフェクタと前記無人飛行体との距離が前記第１所定距離未満になる指令を受け付けた場合、前記無人飛行体を前記エンドエフェクタから前記第１所定距離以上で離れて位置させ、前記撮像装置にズームアップ撮像をさせてもよい。

上記態様によると、無人飛行体がエンドエフェクタから第１所定距離未満の目的位置に移動する必要がある場合、撮像システムは、エンドエフェクタから第１所定距離未満の領域内への無人飛行体の進入を抑えつつ、目的位置で撮像した場合と同様の画像を撮像装置に撮像させることができる。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づく前記エンドエフェクタの移動速度に応じて、前記第１所定距離を増減してもよい。

上記態様によると、無人飛行体はエンドエフェクタの位置及び向きに追従するように移動するため、無人飛行体の移動速度は、エンドエフェクタの移動速度と同様に増減する。撮像システムは、エンドエフェクタの移動速度に応じて第１所定距離を増減することで、無人飛行体がエンドエフェクタ及びロボットアームと接触することをより確実に防ぐことができる。例えば、エンドエフェクタの移動速度が増加すると、第１所定距離が増加されてもよく、エンドエフェクタの移動速度が減少すると、第１所定距離が減少されてもよい。ロボットがエンドエフェクタを用いて緻密な作業を行う場合、エンドエフェクタの移動速度が低くなる傾向があり、無人飛行体はエンドエフェクタに接近することができる。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づき、前記エンドエフェクタと前記無人飛行体との距離が第２所定距離以下となるように、前記無人飛行体の動作を制御してもよい。

上記態様によると、撮像システムは、エンドエフェクタから第２所定距離超の領域に進入しないように無人飛行体の移動を制御する。よって、撮像システムは、無人飛行体が周囲の物体と接触することを抑制することができる。第２所定距離は、第１所定距離よりも大きくてもよい。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記エンドエフェクタと前記無人飛行体との距離が前記第２所定距離超になる指令を受け付けた場合、前記無人飛行体を前記エンドエフェクタから前記第２所定距離以下で離れて位置させ、前記撮像装置にズームバック撮像をさせてもよい。

上記態様によると、無人飛行体がエンドエフェクタから第２所定距離超の目的位置に移動する必要がある場合、撮像システムは、エンドエフェクタから第２所定距離超の領域内への無人飛行体の進入を抑えつつ、目的位置で撮像した場合と同様の画像を撮像装置に撮像させることができる。

本開示の一態様に係る撮像システムにおいて、前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づく前記エンドエフェクタの移動速度に応じて、前記第２所定距離を増減してもよい。

上記態様によると、撮像システムは、エンドエフェクタの移動速度に応じて第２所定距離を増減することで、無人飛行体が周囲の物体と接触することをより確実に防ぐことができる。例えば、エンドエフェクタの移動速度が増加すると、第２所定距離が減少されてもよく、エンドエフェクタの移動速度が減少すると、第２所定距離が増加されてもよい。

本開示の一態様に係るロボットシステムは、本開示の一態様に係る撮像システムと、前記ロボットとを備える。上記態様によると、本開示の一態様に係る撮像システムと同様の効果が得られる。

また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

本開示は、その本質的な特徴の精神から逸脱することなく、様々なかたちで実施され得るように、本開示の範囲は、明細書の記載よりも添付の請求項によって定義されるため、例示的な実施の形態及び変形例は、例示的なものであって限定的なものではない。請求項及びその範囲内にあるすべての変更、又は、請求項及びその範囲の均等物は、請求項によって包含されることが意図されている。

１ ロボットシステム
１００ 撮像システム
１１０ 撮像装置
１２０ 無人飛行体
１３０ 撮像入力装置（入力装置）
１４０，１４０Ｂ 表示装置
１５０，１５０Ａ，１５０Ｂ 撮像制御装置（制御装置）
１６０ 動き検出装置（検出装置）
１６１ 赤外線センサ
１６２ 赤外線マーカ
２００ ロボット
２１０ ロボットアーム
２３０ エンドエフェクタ
Ｈ 頭部
Ｐ ユーザ

Claims (11)

1. 無人飛行体と、
   前記無人飛行体に搭載され、対象物に対して作業を行うロボットを撮像する撮像装置と、
   前記無人飛行体から遠隔に配置され、前記撮像装置によって撮像された画像を、前記ロボットを操作するユーザに表示する表示装置と、
   前記撮像装置及び前記無人飛行体の動作を制御する制御装置とを備え、
   前記ロボットは、エンドエフェクタと前記エンドエフェクタを移動させるロボットアームとを含み、
   前記制御装置は、前記ロボットの動作に関連する情報である動作関連情報として、前記エンドエフェクタの位置及び向きの情報を取得し、前記エンドエフェクタの位置及び向きに追従して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させ、
   前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づき、前記エンドエフェクタと前記無人飛行体との距離が第１所定距離以上となるように、前記無人飛行体の動作を制御し、
   前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づく前記エンドエフェクタの移動速度に応じて、前記第１所定距離を増減する
   撮像システム。
2. 前記制御装置は、前記エンドエフェクタと前記無人飛行体との距離が前記第１所定距離未満になる指令を受け付けた場合、前記無人飛行体を前記エンドエフェクタから前記第１所定距離以上で離れて位置させ、前記撮像装置にズームアップ撮像をさせる
   請求項１に記載の撮像システム。
3. 無人飛行体と、
   前記無人飛行体に搭載され、対象物に対して作業を行うロボットを撮像する撮像装置と、
   前記無人飛行体から遠隔に配置され、前記撮像装置によって撮像された画像を、前記ロボットを操作するユーザに表示する表示装置と、
   前記撮像装置及び前記無人飛行体の動作を制御する制御装置とを備え、
   前記ロボットは、エンドエフェクタと前記エンドエフェクタを移動させるロボットアームとを含み、
   前記制御装置は、前記ロボットの動作に関連する情報である動作関連情報として、前記エンドエフェクタの位置及び向きの情報を取得し、前記エンドエフェクタの位置及び向きに追従して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させ、
   前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づき、前記エンドエフェクタと前記無人飛行体との距離が第２所定距離以下となるように、前記無人飛行体の動作を制御し、
   前記制御装置は、前記エンドエフェクタの位置及び向きの情報に基づく前記エンドエフェクタの移動速度に応じて、前記第２所定距離を増減する
   撮像システム。
4. 前記制御装置は、前記エンドエフェクタと前記無人飛行体との距離が前記第２所定距離超になる指令を受け付けた場合、前記無人飛行体を前記エンドエフェクタから前記第２所定距離以下で離れて位置させ、前記撮像装置にズームバック撮像をさせる
   請求項３に記載の撮像システム。
5. 前記ユーザによる指令の入力を受け付ける入力装置をさらに備え、
   前記制御装置は、前記撮像装置の位置及び向きを修正する指令である修正指令を前記入力装置を介して受け付け、前記動作関連情報に対応する前記撮像装置の位置及び向きを、
   前記修正指令に従った前記撮像装置の位置及び向きに変動させるように、前記無人飛行体を移動させる
   請求項１から４のいずれか一項に記載の撮像システム。
6. 前記制御装置は、前記修正指令に従った前記撮像装置の位置及び向きの変動以降、前記修正指令に従った前記撮像装置の位置及び向きの変動結果を、前記動作関連情報に対応する前記撮像装置の位置及び向きに反映する
   請求項５に記載の撮像システム。
7. 前記ユーザの頭部の動きを検出する検出装置をさらに備え、
   前記制御装置は、前記ユーザの頭部の動きの情報を前記検出装置から取得し、前記ユーザの頭部の動きに追従して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させる
   請求項１から６のいずれか一項に記載の撮像システム。
8. 前記制御装置は、前記エンドエフェクタの位置及び向きと前記撮像装置の位置及び向きとが所定の相対関係を維持するように前記無人飛行体を自律的に移動させる
   請求項１から７のいずれか一項に記載の撮像システム。
9. 請求項１から８のいずれか一項に記載の撮像システムと、
   前記ロボットとを備える
   ロボットシステム。
10. 無人飛行体に搭載され、対象物に対して作業を行うロボットを撮像する撮像装置によって撮像された画像を、前記無人飛行体から遠隔に配置された表示装置を介して、前記ロボットを操作するユーザに表示する撮像システムの制御方法であって、
    エンドエフェクタと前記エンドエフェクタを移動させるロボットアームとを含む前記ロボットの動作に関連する情報である動作関連情報として、前記エンドエフェクタの位置及び向きの情報を取得することと、
    前記エンドエフェクタの位置及び向きに追従して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させる、前記無人飛行体の動作の制御を行うことであって、前記エンドエフェクタの位置及び向きの情報に基づき、前記エンドエフェクタと前記無人飛行体との距離が第１所定距離以上となるように、前記無人飛行体の動作の制御を行うことと、
    前記エンドエフェクタの位置及び向きの情報に基づく前記エンドエフェクタの移動速度に応じて、前記第１所定距離を増減することとを含む
    撮像システムの制御方法。
11. 無人飛行体に搭載され、対象物に対して作業を行うロボットを撮像する撮像装置によって撮像された画像を、前記無人飛行体から遠隔に配置された表示装置を介して、前記ロボットを操作するユーザに表示する撮像システムの制御方法であって、
    エンドエフェクタと前記エンドエフェクタを移動させるロボットアームとを含む前記ロボットの動作に関連する情報である動作関連情報として、前記エンドエフェクタの位置及び向きの情報を取得することと、
    前記エンドエフェクタの位置及び向きに追従して前記撮像装置の位置及び向きを変動させるように前記無人飛行体を移動させる、前記無人飛行体の動作の制御を行うことであって、前記エンドエフェクタの位置及び向きの情報に基づき、前記エンドエフェクタと前記無人飛行体との距離が第２所定距離以下となるように、前記無人飛行体の動作の制御を行うことと、
    前記エンドエフェクタの位置及び向きの情報に基づく前記エンドエフェクタの移動速度に応じて、前記第２所定距離を増減することとを含む
    撮像システムの制御方法。
    

Images