JP6404527B1 - カメラ制御システム、カメラ制御方法、およびプログラム - Google Patents

Abstract

【課題】人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、画像解析における被写体の検出および識別精度を向上させる。
【解決手段】被写体が何であるかを表すラベルと、そのラベルが付された画像データを対応付けた複数の教師データを用いて機械学習を行う画像解析システムで、教師データの撮像条件を解析する撮像条件解析モジュール２１１と、解析した撮像条件で撮像させるようにカメラを制御するカメラ制御モジュール２１２とを備え、撮像条件にあわせて撮像した画像の画像解析を行う。
【選択図】図１

Description

本発明は、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、画像解析における被写体の検出および識別精度を向上させるためのカメラ制御システム、カメラ制御方法、およびプログラムに関する。

人工知能が画像解析を行うための機械学習の手法として、教師あり学習（Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）はよく知られる手法である。この教師あり学習のためには、一般的に大量の画像を用意する必要があり、カメラでの撮像時に生じるボケやブレを模した画像処理を参照画像に施すことで学習画像を増やす方法が提案されている（特許文献１）。

国際公開第２０１０／１０１１８６号

しかしながら、特許文献１の方法では、撮像された画像を単に増やして教師データとなる学習用の画像を生成することはできるが、教師データの画像の解像度や撮像角度等が、実際に撮像した画像と異なると、うまく判定できない恐れがある。

この課題に対して、本発明者は、教師データの解像度や撮像角度にあわせて実際の撮像を行い、画像解析することで、被写体の検出および識別精度を向上させることができることに着目した。

本発明は、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、画像解析における被写体の検出および識別精度を向上させるためのカメラ制御システム、カメラ制御方法、およびプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、
人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムであって、
教師データの撮像条件を解析する撮像条件解析手段と、
前記解析した撮像条件で撮像させるようにカメラを制御するカメラ制御手段と、
を備えることを特徴とするカメラ制御システムを提供する。

第１の特徴に係る発明によれば、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、教師データの撮像条件を解析する撮像条件解析手段と、前記解析した撮像条件で撮像させるようにカメラを制御するカメラ制御手段と、を備える。

第１の特徴に係る発明は、カメラ制御システムのカテゴリであるが、カメラ制御方法、およびプログラムであっても同様の作用、効果を奏する。

第２の特徴に係る発明は、第１の特徴に係る発明であるカメラ制御システムであって、
前記撮像条件解析手段で解析した教師データが複数ある場合に、
複数の教師データの中から１以上の教師データを選択させる教師データ選択手段を備え、
前記カメラ制御手段は、前記選択された教師データの撮像条件で撮像させるようにカメラを制御することを特徴とするカメラ制御システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるカメラ制御システムにおいて、前記撮像条件解析手段で解析した教師データが複数ある場合に、複数の教師データの中から１以上の教師データを選択させる教師データ選択手段を備え、前記カメラ制御手段は、前記選択された教師データの撮像条件で撮像させるようにカメラを制御する。

第３の特徴に係る発明は、第１の特徴または第２の特徴に係る発明であるカメラ制御システムであって、
前記教師データの入力を受け付ける受付手段を備えることを特徴とするカメラ制御システムを提供する。

第３の特徴に係る発明によれば、第１の特徴または第２の特徴に係る発明であるカメラ制御システムにおいて、前記教師データの入力を受け付ける受付手段を備える。

第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明であるカメラ制御システムであって、
前記撮像条件に、解像度、カメラ角度、カメラ倍率、の少なくとも一つを含むことを特徴とするカメラ制御システムを提供する。

第４の特徴に係る発明によれば、第１の特徴から第３の特徴のいずれかに係る発明であるカメラ制御システムにおいて、前記撮像条件に、解像度、カメラ角度、カメラ倍率、の少なくとも一つを含む。

第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明であるカメラ制御システムであって、
前記カメラがドローンに搭載されている場合に、
前記解析した撮像条件を満たす位置に、前記ドローンを飛行させるように制御する飛行制御手段を備えることを特徴とするカメラ制御システムを提供する。

第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明であるカメラ制御システムにおいて、前記カメラがドローンに搭載されている場合に、前記解析した撮像条件を満たす位置に、前記ドローンを飛行させるように制御する飛行制御手段を備える。

第６の特徴に係る発明は、
人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御方法であって、
教師データの撮像条件を解析するステップと、
前記解析した撮像条件で撮像させるようにカメラを制御するステップと、
を備えることを特徴とするカメラ制御方法を提供する。

第７の特徴に係る発明は、
人工知能が画像解析する為の画像の撮像に用いるカメラを制御するコンピュータシステムに、
教師データの撮像条件を解析するステップ、
前記解析した撮像条件で撮像させるようにカメラを制御するステップ、
を実行させるためのプログラムを提供する。

本発明によれば、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、画像解析における被写体の検出および識別精度を向上させるためのカメラ制御システム、カメラ制御方法、およびプログラムを提供することが可能となる。

図１は、本発明の好適な実施形態の概要図である。 図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。 図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。 図４は、教師データ選択処理を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。 図５は、教師データ選択処理を行う場合の、カメラ１００とコンピュータ２００のフローチャート図である。 図６は、教師データの受付処理を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。 図７は、教師データの受付処理を行う場合の、カメラ１００とコンピュータ２００のフローチャート図である。 図８は、カメラ１００とコンピュータ２００とドローン４００の機能ブロックと各機能の関係を示す図である。 図９は、カメラ１００を搭載したドローン４００の飛行制御処理を行う場合の、カメラ１００とコンピュータ２００とドローン４００のフローチャート図である。 図１０は、カメラ１００で被写体５００を撮像した場合の一例を示す図である。 図１１は、教師データのデータ構造の一例を示す表である。 図１２は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［カメラ制御システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。カメラ制御システムは、カメラ１００、コンピュータ２００、通信網３００から構成される。

なお、図１において、カメラ１００の数は一つに限らず複数であってもよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。

カメラ１００は、図２に示すように、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は記憶部２３０と協働して撮像条件解析モジュール２１１を実現する。また、制御部２１０は通信部２２０、記憶部２３０と協働してカメラ制御モジュール２１２を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００間の通信を可能とする。

カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。

コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。

図１のカメラ制御システムにおいて、コンピュータ２００は、記憶部２３０に教師データを記憶する。教師データとは、被写体が何であるかを表すラベルと、そのラベルが付された画像データを対応付けたものである。ラベルには例えば、人間、動物、植物、等の大まかな分類を用いてもよいし、成人男性、成人女性、犬、猫、バラ、菊、等のより詳細な分類を用いてもよい。画像解析により、被写体をどのように解析したいか、システムの目的にあわせたラベルを付与した教師データを用意するものとする。

まず、コンピュータ２００の撮像条件解析モジュール２１１は、記憶部２３０の教師データの撮像条件を解析する（ステップＳ０１）。ここで、撮像条件には、解像度、カメラ角度、カメラ倍率の少なくとも一つを含むものとする。

次に、コンピュータ２００のカメラ制御モジュール２１２は、解析した撮像条件で被写体の撮像を行うよう、カメラ１００の制御を行う（ステップＳ０２）。

カメラ１００の撮像部１０は、コンピュータ２００からの制御を受け、指定された撮像条件で、対象物である被写体の動画または静止画等の画像を撮像する（ステップＳ０３）。

図１０は、カメラ１００で被写体５００を撮像した場合の一例を示す図である。ここでは、コンピュータ２００のカメラ制御モジュール２１２により、通信網３００で接続されたカメラ１００が撮像条件に応じてＩｍａｇｅＸを撮像したことを示している。カメラ１００から被写体５００までの距離によって、すべての撮像条件を満たすことが難しい場合には、解像度、カメラ角度、カメラ倍率のいずれを優先するかを、システムで設定可能としてもよいし、ユーザが撮影時に指定してもよい。

最後に、コンピュータ２００の制御部２１０は、通信部２２０を介して撮像した画像を取得し、画像の解析を行う（ステップＳ０４）。ここで、撮像した「ＩｍａｇｅＸ」は、教師データと同じく「解像度：６４０×４８０ｐｐｉ、カメラ角度３０度、カメラ倍率等倍」の撮像条件であるため、画像解析を行う際に短時間で識別精度のよい結果を得ることが可能である。ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、システムの目的に応じた適切なものであるとする。

以上のように、本発明によれば、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、画像解析における被写体の検出および識別精度を向上させるためのカメラ制御システム、カメラ制御方法、およびプログラムを提供することが可能となる。

［各機能の説明］
図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。カメラ１００は、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は記憶部２３０と協働して撮像条件解析モジュール２１１を実現する。また、制御部２１０は通信部２２０、記憶部２３０と協働してカメラ制御モジュール２１２を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００間の通信を可能とする。

カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。

カメラ１００は、撮像部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものする。また、撮像時の解像度、カメラ角度、カメラ倍率、等を指定可能であるものとする。

制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスまたは第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。

コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。

制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は記憶部２３０と協働して撮像条件解析モジュール２１１を実現する。また、制御部２１０は通信部２２０、記憶部２３０と協働してカメラ制御モジュール２１２を実現する。

通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ−Ｆｉ対応デバイスまたは第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。

記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、教師データ、画像解析結果、等の処理に必要なデータ等を記憶する。また、記憶部２３０に、教師データのデータベースを備えてもよい。

入出力部２４０は、カメラ制御システムを利用するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。

［画像解析処理］
図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。

はじめに、コンピュータ２００は、被写体が何であるかを表すラベルとそのラベルが付された画像データを対応付けた教師データを、記憶部２３０に複数記憶する（ステップＳ３０１）。記憶部２３０に教師データのデータベースを備え、データベースに記憶することとしてもよい。ここで使用するラベルには例えば、人間、動物、植物、等の大まかな分類を用いてもよいし、成人男性、成人女性、犬、猫、バラ、菊、等のより詳細な分類を用いてもよい。画像解析により、被写体をどのように解析したいか、システムの目的にあわせたラベルを付与した教師データを用意するものとする。なお、既に複数の教師データが記憶されている場合には、この処理はスキップしてよいものとする。

次に、コンピュータ２００は、記憶部２３０に記憶した教師データを基に、機械学習を行う（ステップＳ３０２）。ここでの機械学習は、被写体をどのように認識したいか、システムの目的に応じた画像解析を行えるようにするためのものである。例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等がシステムの目的として考えられる。ステップＳ３０１で教師データが記憶されない場合、または更新されない場合には、この処理はスキップしてよいものとする。

コンピュータ２００の撮像条件解析モジュール２１１は、記憶部２３０の教師データの撮像条件を解析する（ステップＳ３０３）。ここで、撮像条件には、解像度、カメラ角度、カメラ倍率の少なくとも一つを含むものとする。

次に、コンピュータ２００のカメラ制御モジュール２１２は、解析した撮像条件で被写体の撮像を行うよう、カメラ１００の制御を行う（ステップＳ３０４）。

カメラ１００の撮像部１０は、コンピュータ２００からの制御を受け、指定された撮像条件で、対象物である被写体の動画または静止画等の画像を撮像する（ステップＳ３０５）。

図１０は、カメラ１００で被写体５００を撮像した場合の一例を示す図である。ここでは、コンピュータ２００のカメラ制御モジュール２１２により、通信網３００で接続されたカメラ１００が撮像条件に応じてＩｍａｇｅＸを撮像したことを示している。カメラ１００から被写体５００までの距離によって、すべての撮像条件を満たすことが難しい場合には、解像度、カメラ角度、カメラ倍率のいずれを優先するかを、システムで設定可能としてもよいし、ユーザが撮影時に指定してもよい。

カメラ１００の制御部１１０は、通信部１２０を介して撮像した画像データをコンピュータ２００に送信する（ステップＳ３０６）。

コンピュータ２００は、通信部２２０を介して撮像した画像データを受信する（ステップＳ３０７）。受信した画像データは、記憶部２３０に保存してもよい。

最後に、コンピュータ２００の制御部２１０は、ステップＳ３０２で機械学習した結果を基に、撮像した画像データの解析を行う（ステップＳ３０８）。ここで、撮像した「ＩｍａｇｅＸ」は、教師データと同じく「解像度：６４０×４８０ｐｐｉ、カメラ角度３０度、カメラ倍率等倍」の撮像条件であるため、画像解析を行う際に短時間で識別精度のよい結果を得ることが可能である。ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、システムの目的に応じた適切なものであるとする。

以上のように、本発明によれば、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、画像解析における被写体の検出および識別精度を向上させるためのカメラ制御システム、カメラ制御方法、およびプログラムを提供することが可能となる。

［教師データ選択処理］
図４は、教師データ選択処理を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。図２の構成に加え、コンピュータ２００の入出力部２４０は制御部２１０、記憶部２３０と協働して教師データ選択モジュール２４１を実現する。また、図５は、教師データ選択処理を行う場合の、カメラ１００とコンピュータ２００のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。図５のステップＳ５０１とステップＳ５０２の処理は、図３のステップＳ３０１とステップＳ３０２の処理に相当するため、ステップＳ５０３以降について説明する。ステップＳ５０１の処理は、ステップＳ３０１と同じく、既に複数の教師データが記憶されている場合にはスキップしてよいものとする。また、ステップＳ５０２の処理は、ステップＳ５０１で教師データが記憶されない場合、または更新されない場合にはスキップしてよいものとする。

教師データ選択モジュール２４１は、ユーザが教師データの選択を行うかどうか入出力部２４０を介してユーザに指定させる（ステップＳ５０３）。ここで行った、ユーザが教師データの選択を行うかどうかの指定は、設定として記憶部２３０に記憶させてその後の処理で使用してもよいものとする。

ユーザが教師データを選択する場合、ユーザによる教師データ選択を行う（ステップＳ５０４）。ユーザによる教師データ選択を行うために、入出力部２４０の表示や音声出力等の出力機能を利用してユーザに対して教師データを提示し、ユーザは入力機能を利用して、その中から適切な教師データを選択するものとする。

図１１は、教師データのデータ構造の一例を示す表である。教師データは画像にあわせて、被写体が何であるかを表すラベルを必ず持つ。図１１の例では、「ＩｍａｇｅＡ」の画像には「人間」というラベルが、「ＩｍａｇｅＢ」の画像には「自動車」というラベルが、「ＩｍａｇｅＣ」の画像には「携帯電話」というラベルが、「ＩｍａｇｅＤ」の画像には「植物」というラベルが紐付けられている。また、すでに教師データの撮像条件の解析を行った場合には、教師データとあわせて、解像度、カメラ角度、カメラ倍率、等を記憶してもよい。図１１では、「教師データ１」、「教師データ２」、「教師データ３」、が既に撮像条件の解析を行われたことがある例を表しており、ここでは、解像度、カメラ角度、カメラ倍率、距離、が解析された撮像条件として、それぞれ教師データとあわせて記憶されている。

ステップＳ５０４では、例えば図１１の下部に示すような画像とラベルを入出力部２４０に表示してユーザに選択させてもよい。ユーザは、これから撮像を行いたい被写体が何であるか分かっている場合には、教師データで同じラベルを持つものを選択することで、画像解析の識別精度を向上させることができる。また、ユーザが教師データの選択を行う場合、教師データの数が多いと選択が大変になるので、同じラベルを持つ教師データが複数ある場合には、教師データのうち代表的なもののみを提示してよいものとする。

ユーザが教師データを選択しない場合、コンピュータ２００が自動で教師データ選択を行う（ステップＳ５０５）。ここで、コンピュータ２００がこれから撮像を行う被写体が何であるか分かっている場合には、教師データで同じラベルを持つものを選択することで、画像解析の識別精度を向上させることができる。また、これから撮像を行う被写体が何であるか分かっていない場合には、画像解析の識別精度の良かった教師データを識別精度の高い順から選択してもよいし、既に撮像条件の解析を行われたことがある教師データが存在する場合には、カメラ１００の撮像部１０の機能と、教師データの解像度、カメラ角度、カメラ倍率、等の撮像条件が適合するものを選択してもよい。

次に、前ステップで選択された教師データの撮像条件の解析を行う（ステップＳ５０６）。以降、図５のステップＳ５０６からステップＳ５１１の処理は、図３のステップＳ３０３からステップＳ３０８の処理に相当するため、ここでは説明を省略する。

以上のように、本発明によれば、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、教師データの選択を行うことで、画像解析における被写体の検出および識別精度をより一層向上させるカメラ制御システム、カメラ制御方法、およびプログラムを提供することが可能となる。

［受付処理］
図６は、教師データの受付処理を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。図２の構成に加え、コンピュータ２００の入出力部２４０は制御部２１０と協働して受付モジュール２４２を実現する。また、図７は、教師データの受付処理を行う場合の、カメラ１００とコンピュータ２００のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。図７のステップＳ７０１とステップＳ７０２の処理は、図３のステップＳ３０１とステップＳ３０２の処理に相当するため、ステップＳ７０３以降について説明する。

受付モジュール２４２は、新たに教師データの入力を受け付けるかどうかを確認する（ステップＳ７０３）。

ステップＳ７０３での確認の結果、新たに教師データの入力を受け付ける場合、受付モジュール２４２はユーザからの教師データの入力を受け付ける（ステップＳ７０４）。受け付けた教師データは、画像とラベルをあわせて、記憶部２３０に記憶させる。例えば、図１１の例に教師データを追加する場合、「ＩｍａｇｅＥ」としてラベルとあわせて記憶させればよい。ここで、新たに追加する教師データとして、これまでに撮像した画像を用いてもよい。その場合ラベルは、撮像時の画像解析結果を自動で付加してもよいし、教師データの追加時にユーザが手動で入力してもよいものとする。また、新たに入力する教師データは、一つであっても複数であってもよいものとする。

新たに教師データを入力しない場合、次のステップＳ７０５の撮像条件解析に進む。以降、図７のステップＳ７０５からステップＳ７１０の処理は、図３のステップＳ３０３からステップＳ３０８の処理に相当するため、ここでは説明を省略する。

以上のように、本発明によれば、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、教師データの入力を受け付けることで、有用な教師データを追加することができ、画像解析における被写体の検出および識別精度をより一層向上させるカメラ制御システム、カメラ制御方法、およびプログラムを提供することが可能となる。

［飛行制御処理］
図８は、カメラ１００とコンピュータ２００とドローン４００の機能ブロックと各機能の関係を示す図である。ドローン４００は、カメラ１００を搭載しての移動が可能であるものとする。カメラ１００はドローン４００に直接搭載されていてもよいし、通信部１２０を介してコンピュータ２００やドローン４００と通信を行うものとしてもよい。図２の構成に加え、コンピュータ２００の制御部２１０は通信部２２０、記憶部２３０と協働して飛行制御モジュール２１３を実現する。ドローン４００は、駆動部４０、制御部４１０、通信部４２０から構成される。ここでのドローンとは、無線やＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信方法や自動操縦で制御可能な無人の移動体を表すものとする。通常ドローンとは、無人航空機をさすことが多いが、ここでは、航空機による空中の飛行のみならず、地上、地中、水上、水中等の移動も含むものとする。通信網３００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００間の通信、ドローン４００とコンピュータ２００間の通信を可能とする。

ドローン４００は、駆動部４０として、回転翼、車輪、スクリュー等の推進機を備え、これらを駆動させて移動可能であるものとする。ここでは、推進機の種類は問わず、無人での移動が可能であればよいものとする。

制御部４１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。

通信部４２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ−Ｆｉ対応デバイスまたは第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。

図９は、カメラ１００を搭載したドローン４００の飛行制御処理を行う場合の、カメラ１００とコンピュータ２００とドローン４００のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。図９のステップＳ９０１からステップＳ９０３の処理は、図３のステップＳ３０１からステップＳ３０３の処理に相当するため、ステップＳ９０４以降について説明する。

撮像条件の解析後、飛行制御モジュール２１３は、ドローン４００に対する飛行制御を行う（ステップＳ９０４）。ここでの飛行制御とは、被写体５００の撮像条件に合う位置にドローン４００を移動させるためのものである。また、ここではドローン４００が無人飛行体であるものとして飛行と記載しているが、ドローン４００が地上、地中、水上、水中の移動を行うものである場合にも、同様に被写体５００の撮像条件に合う位置にドローン４００を移動させる。

通信部４２０を介して飛行制御を受けたドローン４００は、制御部４１０により駆動部４０を制御して、撮像条件を満たす位置に飛行する（ステップＳ９０５）。

撮像条件を満たす位置への移動後、ドローン４００はコンピュータ２００に対して、撮像の許可を通知する（ステップＳ９０６）。もし、撮像条件を満たす位置への移動ができない場合には、ここで、コンピュータ２００に対してエラーを通知して、処理を終了してもよい。

撮像許可を受けたコンピュータ２００のカメラ制御モジュール２１２は、ステップＳ９０３で解析した撮像条件で被写体の撮像を行うよう、カメラ１００の制御を行う（ステップＳ９０７）。図９のステップＳ９０７からステップＳ９１１の処理は、図３のステップＳ３０４からステップＳ３０８の処理に相当するため、ここでは説明を省略する。

以上のように、本発明によれば、人工知能が画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムにおいて、撮像条件を満たす位置にドローンを移動させるように制御することで、画像解析における被写体の検出および識別精度をより一層向上させるカメラ制御システム、カメラ制御方法、およびプログラムを提供することが可能となる。

［撮像角度取得処理］
本発明でのカメラ１００は、被写体までの距離を測定可能、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。被写体までの距離を測定する方法については、カメラ１００のセンサ等から取得する他に、被写体を複数の異なる方向から同時に撮像可能である場合には、その複数のカメラそれぞれで撮像した画像のズレの長さと、実際の距離を学習させて、距離を測定することも可能である。また、その測定した距離を用いて、撮像角度を算出することも可能である。複数のカメラから距離を測定する方法については、既存技術として知られているため、ここでは、図１２に基づいて、撮像角度を取得する方法について説明する。

図１２は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。図１２において、カメラ１００は、被写体５００と、壁１２１０と、床１２２０を撮像した状態である。カメラ１００またはコンピュータ２００が、撮像画像を画像解析し、撮像角度を取得する場合、撮像画像中に存在する同じパターン（模様）面積が、最大の領域を床または地面等の平面と認識し、平面の傾きから自身の撮像角度を取得する。ここでは、床１２２０が平面に該当する。

カメラ１００の撮像角度を取得する方法は、カメラ１００またはコンピュータ２００のいずれで行ってもよいが、以下では簡略化のために、コンピュータ２００で行うものとして記載する。コンピュータ２００は、撮像位置から床１２２０までの２か所の所定位置１２３０，１２３１をサンプルとして抽出する。この所定位置１２３０，１２３１と、撮像地点の中心位置１２３２とを結んだ三角形１２３３を形成する。三角形１２３３は、辺１２４０、辺１２４１、辺１２４２の３辺により形成される。コンピュータ２００は、中心位置１２３２から床１２２０へ垂線１２５０を形成し、辺１２４２と垂線１２５０の交点１２３４を形成する。コンピュータ２００は、複数のカメラで撮像した画像のズレの長さと実際の距離を学習させ、距離を推定することにより辺１２４０，１２４１および垂線１２５０の長さを算出する。コンピュータ２００は、辺１２４２において、所定位置１２３０と交点１２３４とを結ぶ線分１２６０と、所定位置１２３１と交点１２３４とを結ぶ線分１２６１との長さを算出する。コンピュータ２００は、三角関数により、角度１２７０を算出し、この算出した角度１２７０を自身の３次元の撮像角度として取得する。

以上のように、本発明によれば、カメラに被写体までの距離を測定する機能が無い場合にも、被写体を複数の異なる方向から同時に撮像する機能を利用することにより、被写体までの距離を算出するとともに、撮像時の水平方向からの角度を算出することが可能である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭ等）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１００ カメラ、２００ コンピュータ、３００ 通信網、４００ ドローン、５００ 被写体

Claims (7)

1. 人工知能が、被写体が何であるかを表すラベルと画像データとを対応付けた教師データをもとに、画像解析のための機械学習を行い、画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムであって、
   前記教師データについて、解像度、カメラ角度、カメラ倍率、の少なくとも一つを含む撮像条件を解析する撮像条件解析手段と、
   前記解析した撮像条件で撮像させるようにカメラを制御するカメラ制御手段と、
   を備えることを特徴とするカメラ制御システム。
2. 前記撮像条件解析手段で解析した教師データが複数ある場合に、
   複数の教師データの中から１以上の教師データを選択させる教師データ選択手段を備え、
   前記カメラ制御手段は、前記選択された教師データの撮像条件で撮像させるようにカメラを制御することを特徴とする請求項１に記載のカメラ制御システム。
3. 前記教師データ選択手段は、ユーザが教師データの選択を行うかどうかを前記ユーザにより指定可能とし、ユーザが教師データの選択を行う場合には、教師データを提示してユーザからの選択を受け付け、ユーザが教師データの選択を行わない場合には、これから撮影する被写体にあわせた教師データ、または、画像解析の識別精度の高い教師データ、または、前記カメラの機能と撮像条件が適合する教師データ、を選択することを特徴とする請求項２に記載のカメラ制御システム。
4. 前記教師データの入力を受け付ける受付手段を備えることを特徴とする請求項１から請求項３のいずれか一項に記載のカメラ制御システム。
5. 前記カメラがドローンに搭載されている場合に、
   前記解析した撮像条件を満たす位置に、前記ドローンを飛行させるように制御する飛行制御手段を備えることを特徴とする請求項１から請求項４のいずれか一項に記載のカメラ制御システム。
6. 人工知能が、被写体が何であるかを表すラベルと画像データとを対応付けた教師データをもとに、画像解析のための機械学習を行い、画像解析する為の画像の撮像に用いるカメラを制御するカメラ制御システムが実行するカメラ制御方法であって、
   前記教師データについて、解像度、カメラ角度、カメラ倍率、の少なくとも一つを含む撮像条件を解析するステップと、
   前記解析した撮像条件で撮像させるようにカメラを制御するステップと、
   を備えることを特徴とするカメラ制御方法。
7. 人工知能が、被写体が何であるかを表すラベルと画像データとを対応付けた教師データをもとに、画像解析のための機械学習を行い、画像解析する為の画像の撮像に用いるカメラを制御するコンピュータシステムに、
   前記教師データについて、解像度、カメラ角度、カメラ倍率、の少なくとも一つを含む撮像条件を解析するステップ、
   前記解析した撮像条件で撮像させるようにカメラを制御するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。