JP2019018664A - 撮像制御システム - Google Patents

Abstract

【課題】無人飛行体の操作者が、無人飛行体の周囲の状況と目視確認可能な範囲内を認識して操作できるようにすること。【解決手段】対象物を撮影するためのカメラを備えた無人飛行体の制御システムであって、撮影対象を撮影するため第一の撮像装置と、前記無人飛行体の操作者を撮影するための第二の撮像装置と、前記無人飛行体の動作と撮影を制御する無人飛行体制御手段と、前記操作者を含む画像データを前記第二の撮像装置により取得する映像取得手段と、前記操作者の顔、身体特徴の被写体識別用情報を保持するユーザ登録情報取得手段と、前記ユーザ登録情報取得手段で保持された被写体識別用情報を用いて前記映像取得手段に存在する前記操作者を検出する被写体認識手段と、を備え、前記被写体認識手段で前記操作者を認識できなくなった場合、その旨を前記操作者に通知する。【選択図】図２

Description

本発明は、撮像装置に取り付けられている無人飛行体を含む撮像制御システムであって、取り付けられた撮像装置の画像により、無人飛行体の飛行範囲を適正に制御するシステムに関する。

近年、遠隔操作可能な小型軽量化された飛行体やヘリコプタなどに撮像装置を搭載し、上空からの静止画／動画撮影を無人で行うことができるようになってきた。この無人飛行体は一般的にドローンと呼ばれ、ＧＰＳなどの位置測定装置を使用して、設定した飛行スケジュールに従い、自立飛行が可能になっている。

上記のような無人飛行体の普及に伴い、何らかの事由によって安定した飛行ができなくなり、障害物や人に衝突してしまうような事態も増加していくと考えられている。そのような衝突を未然に防ぐために以下に示す特許文献１の技術が提案されている。

特許文献１は、エンジン回転数センサ、供給電源センサ、位置センサ等の様々な無人飛行体の飛行状態を示すセンサを駆使し常に所定の基準を満たしているかを判断し、基準を満たしていない時には帰還することを特徴としている。

特開２００６−０８２７７４号公報

ドローンによる撮影は便利である反面、航空法では、国土交通大臣の許可なく飛行させる場合は、「目視（直接肉眼による）範囲内で無人航空機とその周囲を常時監視して飛行させること」というルールが明文化されている。そのため特許文献１では、無人飛行体が操作者から確認できなくなった場合、無人飛行体の周囲の確認が目視できない状況となってしまう。

そこで、本発明では、無人飛行体の操作者が、無人飛行体の周囲の状況と目視確認可能な範囲内を認識して操作できるように制御することを目的とする。

上記の目的を達成するために、本発明に係る撮像制御システムは、
対象物を撮影するためのカメラを備えた無人飛行体の制御システムであって、撮影対象を撮影するため第一の撮像装置と、前記無人飛行体の操作者を撮影するための第二の撮像装置と、前記無人飛行体の動作と撮影を制御する無人飛行体制御手段と、前記操作者を含む画像データを前記第二の撮像装置により取得する映像取得手段と、前記操作者の顔、身体特徴の被写体識別用情報を保持するユーザ登録情報取得手段と、前記ユーザ登録情報取得手段で保持された被写体識別用情報を用いて前記映像取得手段に存在する前記操作者を検出する被写体認識手段とを備え、前記被写体認識手段で前記操作者を認識できなくなった場合、その旨を前記操作者に通知することを特徴とする。

本発明に係る撮像制御システムによれば、無人飛行体の操作者が、無人飛行体の周囲の状況と目視確認可能な範囲内を認識して操作できる機能を提供できる。

本発明の実施例における無人飛行制御システム概略図である。 本発明の実施例におけるドローンの構成を示すブロック図である。 本発明の実施例におけるドローンに搭載されている撮像装置のブロック図である。 本発明の実施例におけるドローン及び搭載されている撮像装置を操作する操作端末のブロック図である。 第一の実施例におけるドローンの飛行制御システムを示すシーケンス図である。 第二の実施例におけるドローンの飛行制御システムを示すシーケンス図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は本発明における無人飛行体制御システム（ドローン制御システム）の概略図である。このドローン制御システムは、すなわち撮像制御システムである。

図１に示す様にドローン１００を操作者１００３が操作端末４００を使用し、無線通信を含むネットワーク端末１０００を介して制御を行うシステム図となっている。ドローン１００は、空撮する為のメイン撮像装置２００と操作者１００３を監視する為のサブ撮像装置３００、３０１の２台を搭載している。メイン撮像装置２００及びサブ撮像装置３００、３０１は、パン動作（約１８０度回転）、チルト動作（約９０度回転）等が電動で動作可能な雲台１０５、１１０、１１１に取り付けられており、各撮像装置の被写体認識処理及び、操作端末４００からの指示により動作する事が可能である。ドローンの位置や各撮像装置で撮影された映像等の情報はネットワーク端末１０００を介して管理サーバー１００２に記録する事が出来る。

無線インタフェース（無線ＩＦ）１００１、は無線ＬＡＮ接続を行う為にＩＥＥＥ ８０２．１１ｂに準拠した送受信装置である。

本実施例では、ドローン１００と操作端末４００は、ネットワーク端末１０００を介して管理サーバー１００２に接続する構成だが、ドローン１００と操作端末４００は、直接無線接続をして、管理サーバー機能や、ドローンの位置や各撮像装置で撮影された映像等の情報のデータをドローン１００、または、操作端末４００の内部の記録装置（不図示）に記録する構成でも実施することは可能である。

図２は、ドローン１００の内部構成を示したブロック図であり、図４はドローン１００に搭載されたメイン撮像装置２００、サブ撮像装置３００、３０１の内部構成を示したブロック図である。

まずは、ドローン１００の内部構成について説明する。

ドローン１００は、ドローン駆動部１０１と、ドローン制御部１０２と、データ送受信部１０３と、無線ＩＦ１００１とを備えている。ドローン駆動部１０１は、プロペラを動作させるモータやモータの回転数を制御するＥＳＣ等であり、操作端末４００からの指示を無線ＩＦ１００１で受信し、ドローン制御部１０２によって、制御される。

ドローン制御部１０２は、ドローン駆動部１０１にモータの回転数や動作方向を指示するフライトコントローラー等が搭載されているＣＰＵやＤＳＰ等のプロセッサであり、ドローン１００を動作させる為の各種プログラムを適宜読み込んで実行する事で各部の動作制御、操作ユーザ１００３による操作に対する処理を行っている。

データ送受信処理部１０３は、メイン撮像装置２００、サブ撮像装置３００、３０１の撮影画像やドローン１００の位置や高度、加速度情報を各種センサ部１０６から収集し、無線ＩＦ１００１により管理サーバー１００２や操作端末４００にドローンデータを送信する。また、操作ユーザ１００３の指示を受信し、ドローン制御部１０２に伝える事が出来る。

雲台動作部１０５、１１０、１１１は前述の通り、パン、チルト動作を行う事が出来る。また、ジンバルユニットも備えており、撮像装置がドローン１００の動作による衝撃でぶれない様に、衝撃を吸収する事が出来る。

各種センサ部１０６は、ドローン１０１の位置情報を取得するＧＰＳ、傾き情報を取得するジャイロセンサ、向き情報を取得するコンパス、高度情報を取得する気圧センサ、移動速度を取得する加速度センサ、障害物や地面との距離を取得する超音波センサ等である。

図３は、メイン撮像装置とサブ撮像装置の内部構造を示した図である。

メイン撮像装置２００とサブ撮像装置３００、３０１の内部構成は同様のものであることより、サブ撮像装置の内部構成の説明は省略する。

図３は、メイン撮像装置２００は、レンズ部２０１、レンズ駆動部２０２、撮像素子２０３、画像処理部２０４、被写体認識部２０５、撮像装置制御部２０６、位置情報取得部２０７、記憶媒体２０８で構成されている。

レンズ部２０１は、被写体の光学像を撮像素子２０３に結像させる。

レンズ駆動部２０２は、光学像の光量を制御する絞り機構、オートフォーカス（以下、ＡＦ）時の動作やＩＳ時の動作の制御、また絞り機構の絞り段数等を制御する。制御信号は撮像装置２００の撮像装置制御部２０６から受信し、レンズ部を動作させる。

画像処理部２０４は、撮像素子２０３により得られた画像信号の増幅処理や、Ａ／Ｄ変換処理、Ａ／Ｄ変換後の画像データに対する各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う画像信号処理部である。

被写体認識部２０５は、画像信号処理部２０４で処理された画像情報から特定の物体を認識し、その物体の範囲等の情報を出力する。認識できる具体例として、予め登録している物体情報、人物の人体、顔等の検出を行う事が出来る。

撮像装置制御部２０６は、ＣＰＵ、ＲＡＭ、プログラム格納用ＲＯＭなどを有したマイクロプロセッサ構成を有しており、ＣＰＵは、上述の各回路などにバスラインを介して接続し、プログラム格納用ＲＯＭに格納されている制御プログラムにより、撮像装置全体の制御を行う。

記憶媒体２０８はフラッシュメモリやＨＤＤに限らず、外部メモリとして、メモリーカードや光ディスクなどでも良い。画像処理部２０４から出力される画像データや被写体認識部２０６で出力される認識物体のデータ等を格納する。各データはドローン１００のデータ送受信処理部１０３から無線ＩＦ１００１を介して、無線ネットワークにより管理サーバー１００２及び、操作端末４００に送信することが出来る。操作端末からの指示により撮像装置の記録開始、記録終了、記録モード等の設定を一時的に保持し、撮像装置制御部２０６に送信し、各種制御を行う事が出来る。

図４は操作端末４００の内部構成を示している。

操作制御部４０１は、ＣＰＵ、ＲＡＭ、プログラム格納用ＲＯＭなどを有したマイクロプロセッサ構成を有しており、各種ドローン操作部の制御を行っている。

移動指示部４０２は、ドローン１００の移動方向を指示する。また各種センサ部１０６の情報を確認する指示を出し、管理サーバー１００２からリアルタイムで取得する事が出来る。

撮像指示部４０３はメイン撮像装置２００、サブ撮像装置３００、３０１の記録開始、記録終了、記録モード設定等を行う。

メモリ４０４は、ドローン１００や管理サーバー１００２から得た情報を一時的に保持しておくことが可能である。具体的には、管理サーバー１００２から映像を取得し、映像内容を早送り、巻き戻し等の処理を踏まえた再生処理が出来る。

本実施例では、ドローン１００に搭載しているサブ撮像装置で操作者１００３を監視しておく事で「目視できる飛行範囲」を明確にする無人飛行システムに関して説明する。

図５は、本実施例におけるドローンの飛行制御を示すシーケンス図である。

操作ユーザ１００３はドローンを飛行させる前に操作端末４００内の位置情報取得部４０５で操作者の位置情報を取得する（Ｓ５０１）。操作者の位置情報を無線ＩＦ１００１とネットワークを介し管理サーバー１００２に送信する（Ｓ５０２）。管理サーバー１００２は、操作端末４００から送信した操作者の位置情報を受信しデータを記録する（Ｓ７０１）。受信した位置情報を元に操作者が存在する地点がドローンの飛行可能範囲であるか否かの情報を取得し、情報端末４００に送信する（Ｓ７０２）。情報端末４００は、飛行可能区域であった場合は、ドローンに飛行指示を送る事が出来る。飛行可能区域でなかった場合は、ドローンに飛行指示が出来ないよう飛行操作機能をロックし、再度ユーザの位置情報を取得する（Ｓ５０３）。飛行可能であった場合、操作者１００３は操作端末４００からドローンに飛行指示を出す（Ｓ５０４）。

ドローン装置１００は、飛行指示を受信した後、ドローン制御部は各機能に飛行制御を行って飛行を開始する（Ｓ６０１）。飛行開始直後ドローンの位置情報を各種センサ部１０６にあるＧＰＳ機能を使ってドローンの位置情報を取得し、管理サーバー１００２に情報を送信する（Ｓ６０２）。管理サーバー１００２はドローン装置１００からドローンの位置情報を取得する（Ｓ７０３）。

操作者１００３は操作端末４００から撮影指示を行う（Ｓ５０５）。ドローン装置１００に搭載しているメイン撮像装置２００とサブ撮像装置３００、３０１の記録処理を開始する（Ｓ６０３）。

サブ撮像装置３００、３０１は被写体認識部２０５を用いて操作者１００３の認識を行う（Ｓ６０４）。操作者１００３の顔、人体の情報を記憶媒体２０８に事前に登録しておく。認識したユーザに対しては、認識が外れるまで追尾することが可能である。この時、記録画像の特定範囲外に操作者１００３の顔があった場合、ドローン装置１００にある雲台動作部１１０、１１１を動作させ、記録映像の中心に来るように自動制御する様にしても良い。

［操作者が認識できない場合］
操作者１００３がサブ撮像装置３００、３０１で認識が出来なくなった場合、以下の様な制御を行う（Ｓ６０５）。例えば、操作者１００３とドローン装置１００の間に障害物（建物や大きな植物等）が現れた場合、操作者を認識できなくなってしまう。この時、まず操作者１００３の位置情報とドローン装置１００の位置情報を管理サーバー１００２に要求する（Ｓ６０６）。操作者１００３の位置情報とドローン装置１００の位置情報を管理サーバーから受信し、予め記録媒体２０５に記録しておいた飛行経路を帰還する様にドローンを制御する。

また、Ｓ６０６と平行して操作者には認識できない事による異常報知を操作端末４００に送信する（Ｓ６０７）。操作端末４００はドローン装置１００から異常報知を受信した場合、警告音を鳴動させる、または操作端末に警告表示を行う（Ｓ５０６）。また、異常報知を受けた場合、操作者に目視できる範囲迄移動を行う様に移動勧告を表示する。（Ｓ５０７）。

操作者が認識できている場合、記録処理を行った後、映像データを管理サーバー１００２に送信する（Ｓ６０９、Ｓ７０６）。

以上より、サブ撮像装置３００、３０１で操作者１００３を監視しておくことで、ドローンが障害物等により目視できない状況になったとしても、操作者に警告を出し、周囲の状況を目視確認可能な範囲で必ずドローンを操作する事を促し、ドローン飛行ルールを害する事無く飛行させる事が可能になる。

実施例２の無人飛行制御システム概略図、ドローン装置の内部構成を表すブロック図、撮像装置の内部構成を表すブロック図、操作装置の内部構成を表すブロック図は実施例１と同様であり、説明は省略する。また、図６のドローンの飛行制御システムを示すシーケンス図に関しても、実施例１で説明したシーケンスと同様な部分は省略し、一部異なる部分を説明する。

図６は、本実施例におけるドローンの飛行制御を示すシーケンス図である。

操作者１００３がサブ撮像装置３００、３０１で認識が出来なくなった場合、以下の様な制御を行う（Ｓ６０５）。例えば、ドローンを遠方まで操作し、目視確認及びサブ撮像装置３００、３０１からも操作者が確認できない場合を考える。

まず操作者１００３の位置情報とドローン装置１００の位置情報を管理サーバー１００２に要求する（Ｓ６０６´）。操作者１００３の位置情報とドローン装置１００の位置情報を管理サーバー１００２から受信し（Ｓ７０５´）、位置情報と各種センサ部１０６の各センサから情報から操作者の方向にサブ撮像装置３００または、３０１のレンズが向くように雲台を動作させ、撮像装置のズームをテレ側にズームさせる（Ｓ６０７´）。

ズーム操作により操作者の認識が可能になったかを判断する（Ｓ６０８´）。認識可能で有れば記録処理を続行し、記録終了とともに映像データを管理サーバー１００２に送信する（Ｓ６０９）。

Ｓ６０８´の操作で操作者が認識できない場合は、操作端末４００に通知し、異常報知を行うようにする（Ｓ５０６´）。また、異常報知を受けた場合、操作者に目視できる範囲迄移動を行う様に移動勧告を表示する。（Ｓ５０７´）。

以上より、サブ撮像装置３００、３０１で操作者１００３を監視しておき、途中被写体の検出ができなくなった場合には、ドローンと操作者の位置関係から、撮像装置のズーム操作及び雲台操作を適切に動作させ、再度、操作者からドローンが目視可能な範囲なのかを判断し、それでも、被写体が認識できない場合は、操作者に警告を出す。この動作によって、操作者にドローンを目視確認可能な範囲で操作する事を促し、ドローン飛行ルールを害する事無く飛行させる事が可能になる。

１００ ドローン、４００ 操作端末、１０００ ネットワーク端末

Claims (6)

1. 対象物を撮影するためのカメラを備えた無人飛行体の制御システムであって、
   撮影対象を撮影するため第一の撮像装置と、
   前記無人飛行体の操作者を撮影するための第二の撮像装置と、
   前記無人飛行体の動作と撮影を制御する無人飛行体制御手段と、
   前記操作者を含む画像データを前記第二の撮像装置により取得する映像取得手段と、
   前記操作者の顔、身体特徴の被写体識別用情報を保持するユーザ登録情報取得手段と、
   前記ユーザ登録情報取得手段で保持された被写体識別用情報を用いて前記映像取得手段に存在する前記操作者を検出する被写体認識手段と、を備え、
   前記被写体認識手段で前記操作者を認識できなくなった場合、その旨を前記操作者に通知することを特徴とする撮像制御システム。
2. 対象物を撮影するためのカメラを備えた無人飛行体の制御システムであって、
   撮影対象を撮影するため第一の撮像装置と、
   前記無人飛行体の操作者を撮影するための第二の撮像装置と、
   前記無人飛行体の動作と撮影を制御する無人飛行体制御手段と、
   前記操作者を含む画像データを前記第二の撮像装置により取得する映像取得手段と、
   前記操作者の顔、身体特徴の被写体識別用情報を保持するユーザ登録情報取得手段と、
   前記ユーザ登録情報取得手段で保持された被写体識別用情報を用いて前記映像取得手段に存在する前記操作者を検出する被写体認識手段と、
   前記第一、第二の撮像装置をパン、チルト動作を行う雲台装置と、を備え、
   前記被写体認識手段で前記操作者を認識できなくなった場合、前記第二の撮像装置で拡大処理を行い、前記操作者を認識できる範囲迄拡大させることを特徴とする撮像制御システム。
3. 前記操作者を認識できなくなった通知を受けた場合、警告音を発する警告手段をさらに備えることを特徴とする請求項１又は請求項２に記載の撮像制御システム。
4. 前記操作者を認識できなくなった通知を受けた場合、警告を表示する警告手段をさらに備えることを特徴とする請求項１又は請求項２に記載の撮像制御システム。
5. 前記操作者が認識できない場合は、飛行経路記録手段から飛行経路情報を取得し、飛行経路に戻るよう制御する飛行制御手段をさらに備えることを特徴とする請求項１又は請求項２に記載の撮像制御システム。
6. 前記雲台装置は、前記被写体認識手段により被写体認識中に追尾していた場合、追尾方向に動作することを特徴とする請求項２に記載の撮像制御システム。