JP7344703B2

JP7344703B2 - 制御装置及びその制御方法及びプログラム

Info

Publication number: JP7344703B2
Application number: JP2019143311A
Authority: JP
Inventors: 友樹黒田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2023-09-14
Anticipated expiration: 2039-08-02
Also published as: US20210037177A1; JP2021026463A; US11196913B2

Description

本発明は、撮像装置のリモート制御する技術に関するものである。

近年、カメラ等の撮像装置を無線または有線の通信手段を介して遠隔操作にて撮影を行うカメラ及び雲台で構成されるリモート撮影システムが存在している。例えば、スポーツ会場において高所などの普段は人が入れないような場所からの撮影を行うことで、より付加価値の高い映像を提供することを目的とするような場合である。また、パン、チルト、ロールを駆動可能な雲台を有するリモート撮影システムを予め競技場に設置しておき、競技中は会場内の別の場所や会場外から、雲台およびカメラを遠隔操作することで、ユーザの望む方向の画像を撮影することもできる。

上述のようなカメラ及び雲台で構成されるリモート撮影システムを遠隔操作する操作端末は、ネットワーク上に複数存在することがある。故に、どの操作端末がリモート撮影システムの制御権を得るのかを決める必要が有る。

これに対し、特許文献１には、１台のカメラとサーバが接続され、複数端末はサーバ経由でカメラにアクセスするシステムを開示している。そして、特許文献１では、各端末はユーザＩＤ（IDentification）を持ち、先着順でサーバの制御権を獲得するとしている。また、特許文献２は、複数の外部装置から遠隔操作されるシステムを開示している。そして、特許文献２は、複数の時刻のそれぞれに制御権レベルと許可アドレスと制御データとを設定したスケジュールで動作する。そして、スケジュール動作中に制御指示が来た場合は、許可アドレス、制御権レベルなどに応じて、許可するかどうかを決定する、というものである。

特許第４７３３９４２号公報特許第３８８０４９５号公報

しかしながら、リモート撮影システムにおいて、遠隔操作を行う操作端末だけでなく、制御可能な内容が異なる複数の操作手段を持つ場合がある。例えば、スポーツ会場にリモート撮影システムが設置されている場合に、現場でのトラブル対応や設定に関する操作手段と、コンテンツ制作目的でスポーツを撮影するための操作手段である。従来技術では、このような場合に、現場で用いる操作手段を確実に優先することができない場合があった。

この課題を解決するため、例えば本発明の制御装置は以下の構成を備える。すなわち、
撮像装置を搭載可能であり、前記撮像装置を駆動する駆動部を有する雲台を制御する制御装置であって、
ネットワーク上の端末と通信する通信手段と、
前記通信手段を介して受信した要求に従って、前記駆動部を制御する制御手段と、
前記通信手段を介して接続要求を受信した場合、当該接続要求を行った端末にて、前記雲台に対する環境設定のための第１のアプリケーションプログラム、前記雲台を遠隔操作するための第２のアプリケーションプログラムのいずれが実行されているのかを判定する判定手段と、
接続を許可した端末を管理する管理手段と、
前記判定手段の判定、及び、前記管理手段による管理に基づき、新たな接続要求を受信した場合の接続の可否を決定する決定手段とを備え、
前記決定手段は、
既に接続中の端末が実行しているのが前記第１のアプリケーションプログラムである場合には、前記新たな接続要求に対しては接続不可と判定し、
既に接続中の端末が実行しているのが前記第２のアプリケーションプログラムである場合であって、前記新たな接続要求が前記第１のアプリケーションプログラムの実行した端末からの要求である場合には、接続中であった前記第２のアプリケーションプログラムを実行している端末に対する通信を切断し、前記新たな接続要求を発行した操作端末に対しては接続可と決定する。

本発明によれば、撮像装置を搭載可能な雲台の制御装置において、遠隔操作又は設定に係る操作端末については一台のみを許容し、且つ、操作に係る種類に応じた操作端末に対して優先して接続するので、接続に係るトラブルを未然に防ぐことが可能になる。

実施形態に係るシステムの全体構成図。実施形態に係る端末装置のブロック図。実施形態に係る撮像装置のブロック図。実施形態に係るリモート撮影システムのブロック図。実施形態に係るリモート撮影システムがＷｅｂブラウザから接続要求を受信した場合の処理を示すフローチャート。実施形態に係るリモート撮影システムが遠隔操作用アプリケーションから接続要求を受信した場合の処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
以下、第１の実施形態を図１～図６を参照し、詳細に説明する。なお以下では画像処理方法を適用する装置全体の構成や動作目的、画像処理の内容、制御する各種装置、処理結果や制御結果などについて具体的に説明を行うことが、これは具現化することで発明思想の理解を容易にするためと理解されたい。つまり、これら装置の構成や動作目的、画像処理の内容、処理に用いるパラメータ、制御する各種装置等は、装置全体の目的に応じて任意に構成したり、設定できるユーザインターフェースを設けたり、処理アルゴリズム及びプログラムなどを用いて動的に決定したりすることが出来る形態で提供することができるものである。

図１は、本実施形態に係るシステム全体の構成を示す概略図である。本システムは、画像または動画を撮影する撮像装置１０３ａ～１０３ｃ、撮像装置１０３ａ～１０３ｃを搭載し、パン、チルト、ロールなどの視線方向に係る動作が可能な雲台１０４ａ～１０４ｃ、撮像装置１０３ａ～１０３ａと雲台１０４ａ～１０４ｃを有し、これらの制御を行うリモート撮影システム１０５ａ～１０５ｃを有する。また、本システムは、ネットワーク１０１を介して、リモート撮影システム１０５ａ～１０５ｃ（撮像装置１０３ａ～１０３ｃと雲台１０４ａ～１０４ｃ）を遠隔操作可能な操作端末１０２ａ～１０２ｄを有する。

大規模なシステム内においては複数のカメラおよび雲台が存在し、各カメラが別の位置で複数の被写体をそれぞれで撮影するシステム構成であってもよい。このシステムでは、撮像装置１０３ａ～１０３ｃと雲台１０４ａ～１０４ｃに対して遠隔制御が行われる。操作端末１０２ａ～１０２ｄは、例えば携帯電話機、パーソナルコンピュータ、タブレット端末、ゲーム機などがあるが、他の機器であってもよい。
なお、図示には、リモート撮影システムを３つ、操作端末を４つ示しているが、これらの数に特に制限はない。図１はあくまで例示であると理解されたい。

また、以降、リモート撮影システム１０５ａ～１０５ｃのいずれかを１つを表すときは、「リモート撮影システム１０５」と記し、添え字のａ、ｂ、ｃは省略する。添え字無しの「撮像装置１０３」、「雲台１０４」、「操作端末１０２」の表記も、同じ意図であると理解されたい。

図２は、操作端末１０２を示すブロック構成図である。操作端末１０２は、表示部２０１と、ＶＲＡＭ２０２と、ＢＭＵ（ビットムーブユニット）２０３と、入力装置２０４と、ＣＰＵ２０５と、ＲＯＭ２０６と、ＲＡＭ２０７と、外部記憶装置２０８と、通信部２０９を有する。ＣＰＵバス２１０は、アドレスバス、データバス及びコントロールバスを含む。表示部２０１にはＬＣＤなどのディスプレイ装置が用いられる。ＶＲＡＭ２０２には、表示部２０１に表示するための画像が描画される。このＶＲＡＭ２０２に生成された画像データは、所定の規定に従って表示部２０１に転送され、これにより表示部２０１に画像が表示される。ＢＭＵ(ビットムーブユニット)２０３は、例えば、メモリ間(例えば、ＶＲＡＭ２０２と他のメモリとの間)のデータ転送や、メモリと各Ｉ／Ｏデバイス(例えば、通信部２０９)間のデータ転送を制御する。入力装置２０４は、文字等を入力するための各種キー、タッチパネル等を有する。ＣＰＵ２０５は、ＲＯＭ２０６、外部記憶装置２０８に格納された制御プログラムを実行することで各デバイスを制御する。ＲＯＭ２０６は、各種制御プログラムやデータを保存する。本実施形態における具体的な操作内容や方法については後述する。ＲＡＭ２０７は、ＣＰＵ２０５のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。外部記憶装置２０８は、端末装置内で実行される各制御プログラムやデータを格納する不揮発性の記憶装置（ＨＤＤやフラッシュメモリ等）である。通信部２０９は、インターネット等のネットワーク回線に接続するためのインターフェースであり、有線、無線を問わない。

図３は、本実施形態における撮像装置１０３の構成を示すブロック図である。撮像装置はデジタルカメラ、デジタルビデオカメラ、スマートフォンなど、被写体を撮像し画像データを得る装置を含む。撮像装置１０３は、撮像部３０１、撮像制御部３０２、ＣＰＵ３０３、ＲＡＭ３０４、ＲＯＭ３０５、記憶媒体３０６、表示部３０７、操作部３０８、通信部３０９を有する。撮像部３０１は、レンズ、絞り、撮像素子、及び信号処理回路を備えており光学像から電子的な画像データを生成する。撮像制御部３０２は、撮像部３０１の制御を行う。ＣＰＵ３０３は、入力された信号やプログラムに従って、各種の演算や、撮像装置１０３を構成する各部分の制御を行う。ＲＡＭ３０４は、一時的なデータを記憶し、ＣＰＵ３０３の作業用に使われる。ＲＯＭ３０５は、撮像装置１０３を制御するためのプログラム（ファームウェア）や各種の設定情報、撮像装置１０３をユニークに特定する情報（製品名やシリアル番号）を記憶する。記憶媒体３０６は、撮影した画像データなどを記憶する。なお、撮影後に記憶媒体３０６は取り外すことが可能であり、パーソナルコンピュータ（以下、ＰＣ）などに装着してデータを読み出すことが可能である。つまり、撮像装置１０３は外部記憶媒体３０６へのアクセス手段を有し、外部記憶媒体３０６へのデータの読み書きが行えればよい。記憶媒体３０６の代表的なものとしてＳＤカードが挙げられるが、他の形態の記憶媒体であっても構わない。表示部３０７は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。なお、表示部３０７は撮像装置１０３が備える必要はなく、撮像装置１０３は表示部３０７の表示を制御する表示制御機能を有していればよい。操作部３０８は、使用者の操作を受け付けるためのものである。操作部３０８は例えばボタンやレバー、タッチパネルなどを用いることが可能である。通信部３０９は、外部装置と接続し制御コマンドやデータの送受信を行う。なお、通信部３０９は、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。

図４は、本実施形態におけるリモート撮影システム１０５の構成を示すブロック図である。リモート撮影システム１０５は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、外部記憶装置４０４、通信部４０５、機器制御部４０８、プロトコル処理部４０９、サーバ処理部４１３、制御権管理部４１４を有する。機器制御部４０８は、プロトコル変換部４０６、接続管理部４０７を含む。また、プロトコル処理部４０９は、プロトコル処理部Ａ４１０，プロトコル処理部Ｂ４１１，プロトコル処理部Ｃ４１２を含む。

ＣＰＵ４０１は、ＲＯＭ４０３、外部記憶装置４０４に格納された制御プログラムや入力された信号に基づいて、リモート撮影システム１０５を構成する各部分の制御を行う。ＲＡＭ４０２は、一時的なデータやプログラムを記憶し、ＣＰＵ４０１の作業用に使われる。ＲＯＭ４０３は、リモート撮影システム１０５を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。外部記憶装置４０４は、リモート撮影システム１０５内で実行される各制御プログラムやデータを格納する。

通信部４０５は、このリモート撮影システム１０５の制御対象機器である撮像装置１０３および雲台１０４と接続し、制御コマンドやデータの送受信を行う。また、通信部４０５は、操作端末１０２と接続し制御コマンドやデータの送受信も行う。通信部４０５は、操作端末１０２からの受信データがＷｅｂＡＰＩであった場合には、ＷｅｂＡＰＩ及びＷｅｂサーバとして機能するサーバ処理部４１３へ転送する。サーバ処理部４１３については後述する。

機器制御部４０８は、接続機器に対して、機器制御の命令の発行を行う。例えば撮像装置１０３に対しての撮影実行指示および各種パラメータ（ズームを含む）設定指示、雲台１０４に対するパン、チルト、ロールの移動に係る実行指示などが挙げられる。機器制御部４０８に含まれる接続管理部４０７は、リモート撮影システム１０５と接続する撮像装置１０３および雲台１０４との接続状態を管理する。プロトコル変換部４０６は、先述した機器制御部４０８の機器制御命令に対して、接続に用いる通信プロトコル種別に応じたプロトコル変換を行う。

プロトコル処理部４０９は、リモート撮影システム１０５と接続する機器の通信プロトコル種別に応じたプロトコル処理部４１０～４１２を含む。

サーバ処理部４１３は、ＨＴＴＰもしくはＨＴＴＰＳに則り、クライアントとして動作する操作端末１０２のＷｅｂブラウザアプリケーション（以下、単にＷｅｂブラウザ）との間にコネクションを張る。以降はＨＴＴＰの例で説明する。

本実施形態では、端末装置１０２は、予め定義されたＷｅｂＡＰＩを用いたＨＴＴＰリクエストをサーバ処理部４１３に送信する。そして、サーバ処理部４１３は、ＷｅｂＡＰＩを用いた操作端末１０２のＷｅｂブラウザからのアクセスに対し応答する。

サーバ処理部４１３は、後述する制御権管理部４１４へ処理を依頼する制御権獲得用のＷｅｂＡＰＩや、機器制御部４０８に対する機器制御への命令に相当するＷｅｂＡＰＩを予め定義する。ＷｅｂＡＰＩに関する詳細なやり取りに関する説明は、既存技術を用いるものとしここでの説明は割愛する。制御権管理部４１４は、リモート撮影システム１０５の制御権を管理する。制御権管理部４１４は、操作端末１０２ａや操作端末１０２ｂなどのように、複数の操作端末１０２からアクセスされたときに、特定の一台の操作端末１０２がリモート撮影システム１０５の制御権を得られるように排他制御を行う。本実施形態では、２つの操作方法を後述するが、制御権管理部４１４は、リモート撮影システム１０５のＷｅｂサーバ処理部４１３に接続して操作を行うＷｅｂブラウザによる操作を、撮像装置１０３や雲台１０４に対する操作よりも、必ず優先するように制御権の管理を行うものとする。

ここで、制御権管理部４１４の動作を説明するために、操作端末１０２における操作方法について説明する。本実施形態では２つの操作方法を示す。

１つ目の操作方法は、リモート撮影システム１０５のサーバ処理部４１３に接続して操作を行うためのＷｅｂブラウザがＲＯＭ２０６に入っており、それをロードして使用するものである。本操作方法は、主にリモート撮影システム１０５を設置する時に現場にて機器の調整する際に用いるものである。具体的には雲台１０４のパン、チルト、ロール、及び、撮像装置１０３のズーム等の可動域（環境設定とも言う）の設定および簡易的な操作、撮像装置１０３のテスト撮影などの確認を行うことを可能とする。

なお、ここで言う可動域設定について説明する。パン、チルト等を行うことで撮像装置１０３が撮像可能する範囲は、それを設置する場所や周囲環境に依存する。例えば、撮像装置１０３や雲台１０４がその可動によって障害物にぶつからないようにするため、或いは、プライバシーなどの問題により特定の対象物を撮影対象から除外するため等が挙げられる。そこで、雲台１０４の可動範囲や撮像装置１０３のズーム可能範囲を決める行為を、可動域の設定という。例えば、雲台１０４そのもののパンの可動域は３６０度あるものの、そのうち特定の角度範囲のみでパン動作ができるようにする場合がこれに当たる。チルト、ロールについても同じである。また、ズームについて以下の通りである。撮像装置１０３の物理的なズーム域が仮に２０ｍｍ～２００ｍｍである場合に、そのうちで３０ｍｍから１００ｍｍの範囲だけ一般ユーザが利用できる可動域範囲とする場合がこれに当たる。後述する説明から明らかになるが、遠隔操作のために操作端末から仮に２００ｍｍとなるズーム要求を受けたとしても、本リモート撮影システム１０５は、上記の場合は、可動域範囲の上限の１００ｍｍにクロップした要求を撮像装置１０４に発行する。なお、雲台１０４に、撮像装置１０４のズームレンズの位置調整機構を有するようにしても良い。この場合、遠隔からのズームに係る要求を受信した場合は雲台を制御することになる。

撮像装置１０３は、イメージセンサが捉えた画像を電子化し、撮像装置１０３の背面液晶等にリアルタイム表示するＬｉｖｅＶｉｅｗの機能を持ち、本実施形態ではＬｉｖｅＶｉｅｗで表示する画像をリモート撮影システム１０５へ送信することが可能であるものとする。そのため、操作端末１０２のＷｅｂブラウザにてＬｉｖｅＶｉｅｗ画像を受信し、Ｗｅｂブラウザを更新する任意のタイミングごとにＬｉｖｅＶｉｅｗ画像を更新表示しながら、撮像装置１０３の操作を行うようにしてもよい。本実施形態では、サーバ処理部４１３が先述の機能を全てＷｅｂＡＰＩにて定義し、操作端末１０２からの要求を受け付けるものとする。通信部４０５はＷｅｂＡＰＩを受信するとサーバ処理部４１３へデータを送信する。サーバ処理部４１３がＷｅｂＡＰＩを受け付けると、データを解析し、リモート撮影システム１０５内で解釈可能なデータに変換し、プロトコル変換部４０６に通知を行う。本実施形態では、プロトコル処理部Ａ４１０は撮像装置１０３に対応したプロトコル、プロトコル処理部Ｂ４１１は雲台１０４に対応したプロトコルの処理を行うものとする。プロトコル変換部４０６はサーバ処理部４１３から受信したデータの内容を解析し、撮像装置１０３に対する制御内容であればプロトコル処理部Ａ４１０に指示を行い、雲台１０４に対する制御内容であればプロトコル処理部Ｂ４１１に対し指示を行う。なお、プロトコル処理部４０９の処理内容はこれに限るものではない。また、本操作方法において、先述の機器調整に用いる機能を提供する以外に、ユーザ識別、パスワード管理など、他の機能が提供されても良いものとするが、ここでは割愛する。

操作端末１０２ａが先述のＷｅｂブラウザにてリモート撮影システム１０５を用いて操作を行うためには、事前に制御権を得る必要がある。そこで、操作端末１０２ａのＷｅｂブラウザは、制御権獲得用のＷｅｂＡＰＩでリモート撮影システム１０５にアクセスする。リモート撮影システム１０５の通信部４０５はＷｅｂＡＰＩを受信すると、受信したＷｂＡＰＩをサーバ処理部４１３へ転送する。サーバ処理部４１３は、制御権獲得用のＷｅｂＡＰＩを受け付けると、ＣＰＵ４０１を経由し制御権管理部４１４に通知を行う。先述の通り、制御権管理部４１４はリモート撮影システム１０５の制御権を管理している。制御権を獲得されていない場合は、依頼元である操作端末１０２ａの制御権獲得を許容する。制御権管理部４１４は制御権獲得を許容すると、ＵＵＩＤ（Universally Unique IDentifier）を生成し、ＲＡＭ４０２に保持する。なおＵＵＩＤの生成方法は任意とするが、例えばＭＡＣ（Media Access Control）アドレスや時刻情報を用いて生成する方法がある。また、制御権管理部４１４は、生成したＵＵＩＤ及び制御権獲得した旨を、ＣＰＵ４０１を介しサーバ処理部４１３へ通知する。サーバ処理部４１３は、通信部４０４を介し、操作端末１０２ａに対し制御権獲得用のＷｅｂＡＰＩのレスポンスに、ステータスコード正常、レスポンスボディにＵＵＩＤを入れて、そのレスポンスを要求元である操作端末１０２ａに送信する。以降、操作端末１０２ａは先述のＷｅｂブラウザによる操作が可能となる。

なお、上記の１つ目の操作方法として説明した、操作端末１０２がリモート撮影システム１０５のサーバ処理部４１３に接続して操作を行う方法は、操作端末１０２とリモート撮影システム１０５が１対１での制御のみ可能であるものとする。

２つ目の操作方法は、遠隔操作用アプリケーションプログラム（以下、遠隔操作アプリケーション）がＲＯＭ２０６に入っており、ロードして実行する場合である。本操作方法は、主に被写体を撮影しコンテンツ制作する目的で用いられるものであり、リモート撮影システム１０５に含まれる雲台１０４や撮像装置１０３の詳細操作を低遅延で行うために用いるものである。具体例は次の通りである。

雲台１０４の操作としては、パン、チルト、ロール操作やホーミング、予め定めたパン、チルト、ロールのプリセット位置への移動などである。撮像装置１０３の操作としては、ズーム、フォーカス、露出、ＩＳＯ、ホワイトバランスなどの画質調整や通常撮影や連射などの撮影制御を行う。なお、先述のとおり、撮像装置１０３は、イメージセンサが捉えた画像を電子化し、撮像装置１０３の背面液晶等にリアルタイム表示するいわゆるＬｉｖｅＶｉｅｗの機能を持つが、本実施形態ではＬｉｖｅＶｉｅｗで表示する画像をリモート撮影システム１０５へ送信することが可能である。そのため、操作用アプリケーションにてＬｉｖｅＶｉｅｗ画像を表示しながら、撮像装置１０３の操作を行うようにしてもよい。

操作端末１０２ｂが先述の操作用アプリケーションにてリモート撮影システム１０５を用いて操作を行うためには、事前に制御権を得る必要がある。そこで、操作端末１０２ｂの操作用アプリケーションは、制御権獲得用のＷｅｂＡＰＩでリモート撮影システム１０５にアクセスする。リモート撮影システム１０５の通信部４０５はＷｅｂＡＰＩを受信すると、それをサーバ処理部４１３へ転送する。サーバ処理部４１３は、制御権獲得用のＷｅｂＡＰＩを受け付けると、ＣＰＵ４０１を経由し制御権管理部４１４に通知を行う。先述の通り、制御権管理部４１４はリモート撮影システム１０５の制御権を管理している。制御権を獲得されていない場合は、依頼元である操作端末１０２ｂの制御権獲得を許容する。制御権管理部４１４は制御権獲得を許容すると、先述の通りＵＵＩＤを生成し、ＲＡＭ４０２に保持する。制御権管理部４１４は生成したＵＵＩＤ及び制御権獲得したことを、ＣＰＵ４０１を介してサーバ処理部４１３へ通知する。サーバ処理部４１３は、通信部４０５を介し、操作端末１０２ｂに対し制御権獲得用のＷｅｂＡＰＩのレスポンスとしてステータスコード正常、レスポンスボディにＵＵＩＤを入れて送信する。以降、操作端末１０２ｂの操作用アプリケーションによる操作が可能となる。

操作端末１０２ｂの操作用アプリケーションは、制御権を獲得し、操作が可能になると、制御遅延を極力減らすため、リモート撮影システム１０５の予め決定されている特定のネットワークポートに対し、特定のプロトコルを用いて制御指示を行うものとする。先述の通り、本実施形態では、プロトコル処理Ａ４１０は撮像装置１０３に対応したプロトコル、プロトコル処理Ｂ４１１は雲台１０４に対応したプロトコルの処理を行うものとする。ここで、撮像装置１０３に対応した制御指示はネットワークポート“１０００１”、雲台２０４に対応した制御指示はネットワークポート“１０００２”を用いるものとする。この場合、先述のように操作端末１０２ｂが制御権を獲得していれば、ネットワークポート“１０００１”に対し撮影指示を与えると、通信部４０５はプロトコル変換部４０６に受信データを送信する。本実施形態では、ネットワークパケットのペイロード部に特定のプロトコル処理が格納されているものとする。そのため、プロトコル変換部４０６はネットワークポート“１０００１”からのデータと判断するとペイロード部を抜き出し、プロトコル処理Ａ４１０へ指示を行う。同様に、ネットワークポート“１０００２”からのデータであればプロトコル処理Ｂ４１１へ指示を行う。このように処理を行うことで、操作端末１０２ｂの操作用アプリケーションは、制御権獲得後の制御遅延を減らすことが可能となる。なお、先述の例ではネットワークポートを“１０００１”及び“１０００２”とした例を示したが、ネットワークポートは任意の番号とし、操作用アプリケーションから変更可能とする。また、プロトコル変換部４０６、プロトコル処理部４０９の処理内容もこれに限るものではない。

また、操作用アプリケーションにてリモート撮影システム１０５を用いて操作を行う方法は、制御権さえ獲得できれば、操作端末１０２とリモート撮影システム１０５は１対多での制御を可能するものとする。

ここで、リモート撮影システム１０５における制御権管理部４１４が行う、外部（操作端末）からの接続要求に対する接続の可否の判定処理を、図５、図６を参照して説明する。なお、操作端末１０２ａはＷｅｂブラウザ、操作端末１０２ｂは、操作用アプリケーションのプログラム、操作端末１０２ｃはＷｅｂブラウザ、操作端末１０２ｄは操作用アプリケーションのプログラムを用いて操作を行うものとして以降の説明を行う。また、リモート撮影システム１０５は、操作端末１０２からアクセス要求を受けた際に利用しているのが、Ｗｅｂブラウザか、遠隔操作用アプリケーションであるかの判断を、後述する制御権獲得用のＷｅｂＡＰＩのリクエストボディにＷｅｂブラウザか遠隔操作用アプリケーションを判別するための情報を含ませることで判断するものとする。なお、Ｗｅｂブラウザと遠隔操作用アプリケーションでアクセス要求に用いるプロトコルが異なる場合は、リモート撮影システム１０５は、操作端末１０２からアクセス要求を受けた際のプロトコルに応じて、Ｗｅｂブラウザか遠隔操作用アプリケーションであるかの判断をしてもよい。

図５は、操作端末１０２ａでＷｅｂブラウザを用い、リモート撮影システム１０５ａに接続する場合における、リモート撮影システム１０５ａの制御権管理部４１４の処理を示すフローチャートである。

まず、Ｓ５０１にて、操作端末１０２ａからはＷｅｂブラウザによるリモート撮影システム１０５ａへの接続を検出する。具体的には、先述のとおり、操作端末１０２ａのＷｅｂブラウザは制御権獲得用のＷｅｂＡＰＩでリモート撮影システム１０５ａの通信部４０５を介しサーバ処理部４１３にアクセスする。サーバ処理部４１３は制御権獲得用のＷｅｂＡＰＩを受け付けると、ＣＰＵ４０１を経由し制御権管理部４１４に通知を行う。

次に、制御権管理部４１４はリモート撮影システム１０５ａが既に他のＷｅｂブラウザと接続中か否かを判断する。例えば、制御権管理部４１４は、既に操作端末１０２ｃがＷｅｂブラウザにてリモート撮影システム１０５ａの制御権を獲得していると判定した場合、制御権管理部４１４は他のＷｅｂブラウザと接続中と判断する。この場合、制御権管理部４１４は、制御権獲得不可（接続不可）である旨を、ＣＰＵ４０１を経由しサーバ処理部４１３に通知する。サーバ処理部４１３は、この通知を受けると制御権獲得用のＷｅｂＡＰＩのレスポンスのステータスコードとしてエラー値を入れ、通信部４０５を介し操作端末１０２ａに返信する（Ｓ５０６）。これにより、操作端末１０２ａはリモート撮影システム１０５ａと接続できなかったと判断し、Ｗｅｂブラウザにてユーザ通知を行い、処理を終了することになる。なお、Ｓ５０６での返信を行う代わりに、操作端末１０２ａからの接続要求を無視しても良い。

一方、Ｓ５０２にて、制御権管理部４１４が他のＷｅｂブラウザがリモート撮影システム１０５ａの制御権を獲得していないと判定した場合は処理をＳ５０３に進める。このＳ５０３にて、制御権管理部４１４は、他の操作用アプリケーションと接続しているか否かを判断する。先述の通り、制御権管理部４１４は、リモート撮影システム１０５のＷｅｂサーバ処理部４１３に接続して操作を行うＷｅｂブラウザによる操作を必ず優先するように制御権の管理を行う。例えば、操作端末１０２ｄが操作用アプリケーションにて既にリモート撮影システム１０５ａの制御権を獲得している場合、制御権管理部４１４は、処理をＳ５０４に進め、操作端末１０２ａからのＷｅｂブラウザによる操作を優先するために、操作端末１０２ｄの操作用アプリケーションを切断する。このとき、操作端末１０２ｄの操作用アプリケーションは、切断時にユーザに対し、Ｗｅｂブラウザによる操作に操作権を渡す旨をユーザに通知しても良い。また、操作端末１０２ｄの操作用アプリケーションの切断に際しては、実行中の処理を待つなどの対応をしてもよい。

Ｓ５０３にて、制御権管理部４１４は、他の操作用アプリケーションとの接続の判断した場合、もしくは、Ｓ５０４にて、制御権管理部４１４が操作端末１０２ｄの操作用アプリケーションを切断処理が完了した場合は、制御権管理部４１４は処理をＳ５０５に進める。このＳ５０５にて、制御権管理部４１４は、操作端末１０２ａからの要求に対して接続可と判定し、操作端末１０２ａのＷｅｂブラウザとの接続処理を行う。具体的には、制御権管理部４１４は、操作端末１０２ａのＷｅｂブラウザからの制御権獲得用のＷｅｂＡＰＩに対するレスポンスのステータスコードとして正常終了、レスポンスボディにＵＵＩＤを入れて送信する。

図６は、操作端末１０２ｂが遠隔操作用アプリケーションを用い、リモート撮影システム１０５ｂに接続する場合の、リモート撮影システム１０５ｂの制御権管理部４１４の処理を示すフローチャートである。

まず、Ｓ６０１にて、制御権管理部４１４は、操作用アプリケーションを用いたリモート撮影システム１０５ｂへの接続を検出する。具体的には、先述のとおり、操作端末１０２ｂが操作用アプリケーションは制御権獲得用のＷｅｂＡＰＩでリモート撮影システム１０５ｂの通信部４０５を介しサーバ処理部４１３にアクセスすると、サーバ処理部４１３は、ＣＰＵ４０１を経由し制御権管理部４１４に通知を行うことを利用する。

Ｓ６０２にて、制御権管理部４１４は、リモート撮影システム１０５ｂが既に他のＷｅｂブラウザと接続中か否かを判断する。先述の通り、制御権管理部４１４は、リモート撮影システム１０５のＷｅｂサーバ処理部４１３に接続して操作を行うＷｅｂブラウザによる操作を必ず優先するように制御権の管理を行う。そのため、既に操作端末１０２ｃがＷｅｂブラウザにてリモート撮影システム１０５ｂの制御権を既に獲得していた場合、制御権管理部４１４は、処理をＳ６０５に進める。Ｓ６０５にて、制御権管理部４１４は、制御権獲得不可である旨を、ＣＰＵ４０１を経由し、サーバ処理部４１３に通知する。サーバ処理部４１３は、この通知を受けると制御権獲得用のＷｅｂＡＰＩのレスポンスのステータスコードとしてエラー値を入れ、通信部４０５を介し操作端末１０２ｂに返信する。これにより、操作端末１０２ｂはリモート撮影システム１０５ｂと接続できなかったと判断し、操作用アプリケーションにてユーザ通知を行い終了することになる。なお、Ｓ６０５での返信を行う代わりに、操作端末１０２ｂからの接続要求を無視しても良い。

Ｓ６０２にて、制御権管理部４１４は、他のＷｅｂブラウザがリモート撮影システム１０５ｂの制御権を獲得していないと判定した場合、制御権管理部４１４は処理をＳ６０３に進める。このＳ６０３にて、制御権管理部４１４は、他の操作用アプリケーションと接続しているか否かを判断する。本実施形態では、制御権管理部４１４は、操作用アプリケーション同士は先着順に制御権を獲得させるものとする。そのため、操作端末１０２ｄの他の操作用アプリケーションが既に制御権を獲得している場合（ステップＳ６０３でＹＥＳ）、制御権管理部４１４は、制御権獲得不可である旨を、ＣＰＵ４０１を経由し、サーバ処理部４１３に通知する。サーバ処理部４１３は、この通知を受けると制御権獲得用のＷｅｂＡＰＩのレスポンスのステータスコードとしてエラー値を入れ、通信部４０５を介し操作端末１０２ｂに返信する（Ｓ６０５）。これにより、操作端末１０２ｂはリモート撮影システム１０５ｂと接続できなかったと判断し、操作用アプリケーションにてユーザ通知を行い終了する。

他方、制御権管理部４１４は、他の操作用アプリケーションとの接続がないと判断した場合（Ｓ６０３でＮＯ）、処理をＳ６０４に進める。このＳ６０４にて、制御権管理部４１４は、操作端末１０２ｂの操作用アプリケーションとの接続処理を行う。具体的には、操作端末１０２ｂの操作用アプリケーションからの制御権獲得用のＷｅｂＡＰＩに対するレスポンスのステータスコードとして正常終了、レスポンスボディにＵＵＩＤを入れて送信する。

なお、操作端末１０２ａが先述のＷｅｂブラウザにてリモート撮影システム１０５の制御権を得ている間は、操作端末１０２ｂが操作用アプリケーションから制御権獲得用のＷｅｂＡＰＩ以外の制御コマンドを発行したとしても、リモート撮影システム１０５は無視するものとする。

以上の処理により、制御権管理部４１４が、リモート撮影システム１０５の制御権の排他を行うことで、操作端末１０２がリモート撮影システム１０５のＷｅｂサーバ処理部４１３に接続して操作を行うＷｅｂブラウザによる操作を必ず優先することできるようになった。

［第２の実施形態］
第１の実施形態において、操作端末１０２が制御権を獲得し、無操作で放置された場合に関する例を、第２の実施形態として説明する。以下では、第１の実施形態と同じ構成、処理については省略し、差分について記述する。

操作端末１０２は制御権を獲得すると、操作端末１０２は継続的にリモート撮影システム１０５の通信部４０５を介しサーバ処理部４１３に対し定期的に接続状態確認用ＷｅｂＡＰＩを送信するものとする。接続状態確認用のＷｅｂＡＰＩは、サーバ処理部４１３が定義するものとする。接続状態確認用ＷｅｂＡＰＩは、ＫｅｅｐＡｌｉｖｅに相当するものであり、このＷｅｂＡＰＩのヘッダもしくはボディのいずれかに制御権獲得した際のＵＵＩＤを入れることで、接続相手を特定するものとする。操作端末１０２は第１の実施形態に示した２つの操作方法を用いることができるが、いずれの方法も接続状態確認用ＷｅｂＡＰＩを定期的に発行するものとする。リモート撮影システム１０５の制御権管理部４１４は、所定期間内に操作端末１０２からの接続状態確認用ＷｅｂＡＰＩを確認できない場合は、当該制御権を開放し、接続を遮断する。ここで、予め定める所定期間を表す閾値は例えば３０秒などの固定値でも良いし、２つの操作方法それぞれの閾値を個別に定めても良いものとする。また、各操作方法において、制御権獲得用のＷｅｂＡＰＩを通信する際の応答時間を計測することで、予め定めた閾値に応答時間を加えたものを新たな閾値としても良い。もし、先述の閾値を０とした場合は、操作端末１０２が制御権獲得すると、明示的に操作端末１０２が切断するまでは常に制御権を獲得した状態になる。この場合、制御権を獲得したユーザ以外のシステム管理者が強制的に制御権を開放できるようにする必要が有る。そこで、リモート撮影システム１０５のＷｅｂサーバ処理部４１３は、管理者ユーザを設け、かつ、Ｗｅｂサーバ処理部４１３が提供する管理者ユーザログイン用のＷｅｂＡＰＩにて管理者ユーザでログインすることで、強制的に制御権解放できるようにする。

以上の処理により、操作端末１０２が制御権を獲得し、無操作で放置された場合にも、リモート撮影システム１０５のＷｅｂサーバ処理部４１３に接続して操作を行うＷｅｂブラウザによる操作を必ず優先することできるようになった。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…ネットワーク、１０２ａ～１０２ｄ…操作端末、１０３ａ～１０３ｃ…撮像装置、１０４ａ～１０４ｃ…雲台、１０５ａ～１０５ｃ…リモート撮影システム

Claims

撮像装置を搭載可能であり、前記撮像装置を駆動する駆動部を有する雲台を制御する制御装置であって、
ネットワーク上の端末と通信する通信手段と、
前記通信手段を介して受信した要求に従って、前記駆動部を制御する制御手段と、
前記通信手段を介して接続要求を受信した場合、当該接続要求を行った端末にて、前記雲台に対する環境設定のための第１のアプリケーションプログラム、前記雲台を遠隔操作するための第２のアプリケーションプログラムのいずれが実行されているのかを判定する判定手段と、
接続を許可した端末を管理する管理手段と、
前記判定手段の判定、及び、前記管理手段による管理に基づき、新たな接続要求を受信した場合の接続の可否を決定する決定手段と、
を備え、
前記決定手段は、
既に接続中の端末が実行しているのが前記第１のアプリケーションプログラムである場合には、前記新たな接続要求に対しては接続不可と判定し、
既に接続中の端末が実行しているのが前記第２のアプリケーションプログラムである場合であって、前記新たな接続要求が前記第１のアプリケーションプログラムの実行した端末からの要求である場合には、接続中であった前記第２のアプリケーションプログラムを実行している端末に対する通信を切断し、前記新たな接続要求を発行した操作端末に対しては接続可と決定することを特徴とする制御装置。
前記決定手段は、
接続不可となった操作端末に対しては、接続不可を示す情報を送信、もしくは、接続に係る要求を無視する
ことを特徴とする請求項１に記載の制御装置。
前記接続要求は、当該接続要求を送信した端末が実行しているアプリケーションの情報を含み、
前記判定手段は、受信した接続要求に含まれる情報に基づいて判定を行う
ことを特徴とする請求項１または２に記載の制御装置。
前記判定手段は、
前記管理手段で管理している接続中の操作端末から、所定期間内に予め設定された情報を受信した場合に接続の状態を継続し、
前記情報を前記所定期間内に受信しなくなった場合に、前記管理手段で管理されている操作端末との間の接続を切断する
ことを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
ネットワーク上の端末と通信する通信手段を有し、撮像装置を搭載可能であり、前記撮像装置を駆動する駆動部を有する雲台を制御する制御装置の制御方法であって、
前記通信手段を介して受信した要求に従って、前記駆動部を制御する制御工程と、
前記通信手段を介して接続要求を受信した場合、当該接続要求を行った端末にて、前記雲台に対する環境設定のための第１のアプリケーションプログラム、前記雲台を遠隔操作するための第２のアプリケーションプログラムのいずれが実行されているのかを判定する判定工程と、
接続を許可した端末を管理する管理工程と、
前記判定工程の判定、及び、前記管理工程による管理に基づき、新たな接続要求を受信した場合の接続の可否を決定する決定工程と、
を備え、
前記決定工程は、
既に接続中の端末が実行しているのが前記第１のアプリケーションプログラムである場合には、前記新たな接続要求に対しては接続不可と判定し、
既に接続中の端末が実行しているのが前記第２のアプリケーションプログラムである場合であって、前記新たな接続要求が前記第１のアプリケーションプログラムの実行した端末からの要求である場合には、接続中であった前記第２のアプリケーションプログラムを実行している端末に対する通信を切断し、前記新たな接続要求を発行した操作端末に対しては接続可と決定することを特徴とする制御装置の制御方法。
コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至４のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。