JPH1127572A - 遠隔操作撮像装置および撮影方向の決定方法 - Google Patents

Abstract

(57)【要約】 【課題】 遠隔操作が容易で正確な撮像装置を提供す
る。 【解決手段】 撮像装置１０とサーバコンピュータ２０
とクライアントコンピュータ３０のブロックで構成され
ていて、クライアントコンピュータ３０から入力される
操作者の指示はインターネット等の通信回線を介してサ
ーバコンピュータ２０に伝達され、更にＲＳ２３２Ｃ等
を介して遠隔地に設定されている撮像装置１０に伝達さ
れる。また撮影された映像はこれら通信回線を介してク
ライアントコンピュータ３０に送られ、モニター３４に
表示される。操作者はこれを観視しながら操作指示す
る。操作指示の撮影方向と画角は１回の操作で駆動する
量が予め設定されていて、パンチルタ制御マイコン３で
パンチルタ４のパンモータ５とチルトモータ６を駆動制
御して撮影方向を設定し、また、カメラ制御マイコン２
で撮像装置１０のズームモータ１７を駆動制御して撮影
画角を設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は通信回線を介して遠
隔地のカメラを操作し、画像を得る、遠隔操作撮像装置
とその撮影方向の決定方法に関する。

【０００２】

【従来の技術】従来、遠隔地にある撮影装置、例えばビ
デオカメラを制御する場合、モニターで映像を確認しな
がら上下左右に駆動するボタンを押し、目的の方向に達
したところでボタンを離す等の方法で所望の方向に撮影
装置を向け、また、所望の画角になるまでズームのボタ
ンを押しつづける等の方法で画角を制御してきた。ま
た、これらの方法で得た方向や画角を記憶させておき、
撮影の際にはこの記憶させた方向や画角まで絶対値で駆
動する方法が採られてきた。

【０００３】しかしながら、従来の技術では遠隔地のビ
デオカメラに対し、回線容量の少ないネットワークを用
いて、映像、制御情報のやり取りをした場合、通信の遅
延、映像情報の欠落、また、動画の場合に生じるフレー
ム間隔の不規則性による問題が生じていた。例えば、コ
マが欠落し、しかも遅延のある映像に対し、パンチルタ
やズームを従来の方法で制御すると、送られてくる映像
を確認しながら所望の位置にパンチルタやズームを駆動
し停止の指示を出しても、回線遅延のためにすぐには停
止せず、目的の位置とはずれた位置で停止するという問
題が発生していた。また、画像の欠落やフレーム間隔も
回線の混み具合により不規則となり、映像を予測しなが
らパンチルタやズームを制御することは困難であった。

【０００４】

【発明が解決しようとする課題】従って本発明は、遠隔
地のビデオカメラ等の撮像装置を遠隔操作によりパンチ
ルタやズームの制御を行う場合の、通信回線の遅延等に
より映像のリアルタイム性が失われることによる制御の
不安定性を防止し、撮像装置の状態を正確に把握できる
と共に操作性のよい遠隔操作の撮像システムを提供す
る。

【０００５】

【課題を解決するための手段】本発明は上記課題に鑑み
なされたものであり、被写体を撮影し、その映像信号を
出力する撮像手段と、前記撮像手段の撮影方向を変更す
る駆動手段と、前記駆動手段に対し、目標とする撮影方
向に所定量だけ駆動制御する制御手段と、前記制御手段
に、撮影方向の情報を入力する駆動方向入力手段とを具
備し、１回の駆動指示に対し、前記撮像手段を前記駆動
方向入力手段により指示のあった駆動方向に所定量だけ
駆動する遠隔操作撮像装置を構成する。

【０００６】また、この遠隔操作撮像装置の撮像手段に
画角を制御する機能と画角を変化させる画角入力手段と
を具備し、１回の画角変更指示に対して所定量だけ画角
変更が行える構成とする。更に、撮影方向に対する１回
の駆動指示による駆動量は任意に設定でき、また、画角
に対する１回の変化指示による画角変化量は任意に設定
できる構成とする。

【０００７】現に撮影されている範囲、および現に撮影
されている範囲と隣接した撮影範囲を、撮像手段の視点
を中心とした極座標上の長方形で近似して求めると共
に、現に撮影されている範囲を撮影後、隣接した撮影範
囲に撮像手段を駆動して撮影方向を決定する方法と遠隔
操作撮像装置を構成する。

【０００８】現に撮影されている範囲、および現に撮影
されている範囲と所定の重なりを有する撮影範囲を、撮
像手段の視点を中心とした極座標上の長方形で近似して
求めると共に、現に撮影されている範囲を撮影後、つぎ
の重なりを有する撮影範囲に撮像手段を駆動して撮影方
向を決定する方法と遠隔操作撮像装置を構成する。

【０００９】１回の駆動指示に対して目標とする撮影方
向に所定量だけ駆動する制御手段を有しているので、１
回毎の駆動指示に対して撮影方向が確認できる。また、
１回の画角変更指示に対して所定量だけ画角変更が行え
るので、１回毎の変更指示に対して画角が確認できる。
更に、撮影方向に対する１回の駆動指示による駆動量は
任意に設定でき、また、画角に対する１回の変化指示に
よる画角変化量は任意に設定することが可能となる。

【００１０】現に撮影されている範囲と、現に撮影され
ている範囲と隣接した撮影範囲、または所定の重なりを
有する撮影範囲を撮像手段の視点を中心とした極座標上
の長方形で近似して求め、現に撮影されている範囲を撮
影後、つぎの撮影範囲に撮像手段を駆動して撮影するた
め、撮影範囲の確認が容易である。

【００１１】

【発明の実施の形態】本発明は上述したように遠隔地に
ある撮像装置の制御を的確に行うためのものであり、通
信回線の不都合を回避して、撮影方向と撮影画角の制御
指示に対して結果が予想できる、フィードフォワード制
御を導入している。

【００１２】本発明は、撮影された被写体の映像を電気
信号に変換し、映像信号として出力する撮像装置と、撮
像方向を駆動する駆動装置と、駆動量を制御する制御装
置と、画角を制御する制御装置と、遠隔地にある指示入
力装置と、撮影された映像を表示する表示装置と、撮影
された映像を記録する記録装置と、これら遠隔地にある
装置と撮像装置とを接続する通信回線等で基本的に構成
されている。

【００１３】遠隔地にいる操作者は表示装置で現に撮影
中の映像を観視しながら、指示入力装置で撮像方向や画
角を入力し、通信回線を介して撮像装置に伝達する。操
作指示があれば、撮像装置の視点を中心とし、駆動装置
の軸を座標軸とした極座標に変換した撮像範囲を求め、
つぎに極座標の角度２軸を２次元の直交座標に変換し、
前記撮像範囲に内接する長方形を求める。このとき直交
座標の２軸として、例えば経度・パン方向を横軸に、経
度・チルト方向を縦軸にする。また、前記長方形は用途
によっては近似的に撮像範囲に外接するものであっても
よい。尚、以後、上述したようにして求められた長方形
を「制御画角」と称する。

【００１４】指示入力装置より与えられた駆動指示は制
御装置に入力され、制御装置は現在の撮像範囲、撮像画
角、指示内容とから新たな撮像範囲、撮像画角を求め
る。求められた新たな撮像範囲、撮像画角とから制御装
置は駆動装置の駆動量および撮像装置の画角変更量を求
め、駆動装置および撮像装置に伝達し、新たな撮像範囲
を決定する。撮像範囲は順次隣接して設定する他に、重
なり合って設定してもよい。

【００１５】本発明に係わる実施の形態例について図１
および図５を参照して説明する。図１は本発明の遠隔操
作撮像装置のシステム構成であり、図２は撮像画角の決
定と駆動量について説明するための図である。図３はサ
ーバコンピュータのアルゴリズムを示す図であり、図４
および図５はクライアントコンピュータのアルゴリズム
を示す図である。

【００１６】実施の形態例の構成は図１に示すように撮
像装置１０とサーバコンピュータ２０とクライアントコ
ンピュータ３０のブロックで構成されていて、撮像装置
１０はサーバコンピュータ２０と例えば通信回線である
ＲＳ２３２Ｃを介して接続されて制御されており、また
サーバコンピュータ２０とクライアントコンピュータ３
０は例えば通信回線であるインターネットを介してデー
タの授受が行われる。

【００１７】撮像装置１０は例えばビデオカメラであっ
て、被写体から到達する撮像光をレンズブロック１１の
レンズ、絞りを通して固体撮像素子であるＣＣＤ１２上
に結像させて視野映像を映像信号に変換した後、信号分
離、自動利得調整を行う。信号分離、自動利得調整はＳ
Ｈ／ＡＧＣ１３により、映像信号をサンプルホールドす
ると共に、オートアイリスの制御信号によって所定のゲ
インとなるように利得制御が行われる。

【００１８】このようにして得られた映像信号はＡ／Ｄ
（アナログデジタル変換装置）１４でデジタル信号に変
換され、信号処理装置１５に供給される。信号処理装置
１５では供給された信号を輝度、色差、ビデオ信号等の
信号に変換し、サーバコンピュータ２０に内蔵するビデ
オキャプチャー装置２１にＲＳ２３２Ｃ回線を介して供
給する。

【００１９】また、撮像装置１０のレンズブロック１１
は変倍用レンズ１６を駆動することによって撮像する画
角を変化させることが可能なズームレンズであり、カメ
ラ制御マイコン２の駆動命令により、例えばステッピン
グモータ等を用いたズームモータ１７を回転させ、変倍
用レンズ１６を駆動する。このカメラ制御マイコン２は
撮像装置１０のフォーカス、ズーム等のレンズ制御、絞
り、ゲイン、電子シャッタースピード等の露出制御、ホ
ワイトバランス制御、画質制御等を常時行うと共に、シ
ステム制御マイコン１と撮像装置１０との間のインター
フェースをとっている。

【００２０】また、撮像装置１０はパン、チルトといっ
た２軸の回転方向に自由度を有する装置、例えばパンチ
ルタ４の上に設置されていて、パンチルタ制御マイコン
３の駆動命令により、ステッピングモータ等を用いたパ
ンモータ５、およびチルトモータ６を回転させ、パンチ
ルタ４は２つの軸方向に駆動される。このパンチルタ制
御マイコン３はシステム制御マイコン１より送られてく
るパンチルタ４のパン、チルトの各々の方向の駆動要求
に対して、パンチルタ４が要求された位置に駆動される
ように制御信号をモータのドライバーに出力すると共
に、現在のパンチルタ４の位置を常時システム制御マイ
コン１に伝達する。

【００２１】上述したようにシステム制御マイコン１は
パンチルタ４、撮像装置１０の設定状態、その他外部か
ら入力される情報に従い、システムを制御するが、この
システム制御マイコン１はサーバコンピュータ２０と例
えばＲＳ２３２Ｃを介して接続され、サーバコンピュー
タ２０から撮像装置１０およびパンチルタ４の位置制御
の指令が出される。

【００２２】サーバコンピュータ２０には撮像装置１０
からの映像を受け取るビデオキャプチャー装置２１と、
この映像を記憶する記憶装置２２と、撮像装置１０とパ
ンチルタ４を入力される指示に基づいて制御する制御プ
ログラム２３と、回線の接続に係わるネットワークイン
ターフェース２４とが含まれている。

【００２３】また、クライアントコンピュータ３０はサ
ーバコンピュータ２０との回線の接続に係わるネットワ
ークインターフェース３１と、システムを制御する操作
・表示プログラム３２と、指示入力のポインティングデ
バイス３３とを含んで構成され、さらにモニター３４に
画像や指示内容が表示される。

【００２４】クライアントコンピュータ３０に対しサー
バコンピュータ２０からは取り込んだ画像を、インター
ネットを介してユーザ向け映像データ（例えばＪＰＥＧ
形式のファイル）として送られてくる。クライアントコ
ンピュータ３０の上で走るグラフィカルユーザインター
フェース、およびポインティングデバイス３３が指示入
力手段であり、ユーザの指示入力をサーバコンピュータ
２０に送信する。

【００２５】実際のクライアントコンピュータ３０の操
作入力は、サーバコンピュータ２０から送られてくる画
像を表示しながら、グラフィカルユーザインターフェー
ス上のボタンやスライダをマウスでクリックまたはドラ
ッグすることで与える。例えば右方向にパンするボタン
を押す等のカメラ駆動指示や、１回の駆動指示に対する
駆動量の設定等が操作入力である。操作入力は直ちにサ
ーバコンピュータ２０に伝達される。

【００２６】さて、サーバコンピュータ２０は周期的に
システム制御マイコン１と通信していてパンチルタ４の
各軸の方向やズームの状態を問い合わせている。このと
きシステム制御マイコン１から返ってくる値は撮像装置
１０やパンチルタ４の内部で用いられる値であり、直接
撮像方向や画角を表すものではない。従って、撮像装置
１０やパンチルタ４の情報に基づいて撮像方向や画角に
変換する必要がある。即ち、クライアントコンピュータ
３０からの操作入力を受けると、現在の撮像画角を計算
した後、新たな制御画角を決定し、パン、チルト、ズー
ムの制御目標を変換してＲＳ２３２Ｃ回線、システム制
御マイコン１を介して、撮像装置１０やパンチルタ４に
制御目標を伝達する。

【００２７】クライアントコンピュータ３０から駆動指
示が来ると、サーバコンピュータ２０は、まず現在の撮
像方向および画角を、パンチルタ４の回転中心を原点と
し、パン軸を極とする極座標上で算出する。つぎにこれ
をパン（経度）角を横軸、チルト（緯度）角を横軸にと
った直交座標（以下、「パノラマ座標」と称す）上に写
像する。図２に示すように、パノラマ座標上の撮像範囲
に近似的に内接する長方形を、撮像範囲の各頂点および
上下の辺の中点を通る座標軸に平行な直線群によって作
られる長方形のうち最も内側のものを選ぶことによって
決定し、これを現在の撮像画角とする。ここで、例えば
「見落としなく１画面分右へパンせよ」という内容の駆
動指示があった場合、新たな撮像画角が現在の撮像画角
と隣接するように駆動量を決める。即ち、長方形のパン
方向の長さだけパンさせることになる。

【００２８】また、クライアントコンピュータ３０上の
グラフィカルユーザインターフェースを用いて、パンチ
ルタ４に与える１回の駆動指示に対する駆動量を任意の
値として、撮像画角の大きさに対する相対値として予め
設定しておく方法も採ることができる。この方法は画像
を重なりを有して撮影する場合にも用いることができ
る。

【００２９】つぎに、サーバコンピュータ２０の動作ア
ルゴリズムについて図３を参照して説明する。まず、プ
ログラムがスタートすると、モニター上の操作および表
示領域の初期化した後（Ｓ３０１）、タイマーイベント
の設定を行う（Ｓ３０２）。つぎにネットワーク受信が
あるか否かを調べ（Ｓ３０３）、ネットワーク受信があ
れば、更に画像要求があるか否かを調べる（Ｓ３０
４）。画像要求があれば最新の画像をクライアントコン
ピュータ３０に送信し（Ｓ３０５）、その後イベントが
発生するまで待機する（Ｓ３０６）。

【００３０】Ｓ３０４で画像要求がない場合、制御画角
を用いて駆動位置目標を計算し（Ｓ３０７）、システム
制御マイコンに駆動位置目標を送信し（Ｓ３０８）、そ
の後イベントが発生するまで待機する（Ｓ３０６）。

【００３１】また、Ｓ３０３でネットワーク受信がない
場合、つぎにＲＳ２３２Ｃ受信があるか否かを調べる
（Ｓ３０９）。ＲＳ２３２Ｃ受信があるとパンチルタの
方向とズームの状態から制御画角を求める（Ｓ３１
０）。一方、ＲＳ２３２Ｃ受信がない場合、パンチル
タ、ズームの位置の問い合わせをＲＳ２３２Ｃから送信
し（Ｓ３１１）、その後イベントが発生するまで待機す
る（Ｓ３０６）。

【００３２】つぎに、クライアントコンピュータ３０の
動作アルゴリズムについて図４および図５を参照して説
明する。まず、プログラムがスタートすると、ネットワ
ークイベントとマウスイベントを初期化した後（Ｓ４０
１）、画像提供要求を送信する（Ｓ４０２）。つぎにネ
ットワーク受信があるか否かを調べ（Ｓ４０３）、ネッ
トワーク受信があれば新着画像を表示し、画像提供要求
を送信し（Ｓ４０４）、その後イベントが発生するまで
待機する（Ｓ４０５）。

【００３３】Ｓ４０３でネットワーク受信がない場合、
マウスプレスを調べる（Ｓ４０６）。マウスプレスがあ
れば、後段で詳述するマウスプレス処理を行い（Ｓ４０
７）、その後イベントが発生するまで待機する（Ｓ４０
５）。

【００３４】また、マウスプレスがなければドラッグ中
である否かを調べ（Ｓ４０８）、ドラッグ中でなけれ
ば、そのままイベントが発生するまで待機する（Ｓ４０
５）。一方、ドラッグ中であればマウスリリースを調べ
（Ｓ４０９）、リリースされていなければグラフィック
ユーザインターフェースのスライダをドラッグし（Ｓ４
１０）、その後イベントが発生するまで待機する（Ｓ４
０５）。

【００３５】また、Ｓ４０９でリリースされていれば、
グラフィックユーザインターフェースのスライダにより
駆動量を設定し（Ｓ４１１）、ドラッグを終了させた後
（Ｓ４１２）、イベントが発生するまで待機する（Ｓ４
０５）。

【００３６】図５はマウスプレス処理（Ｓ４０７）のア
ルゴリズムであって、グラフィックユーザインターフェ
ースのカーソル位置にボタンがあることを確認して（Ｓ
５０１）、ボタンに対応する駆動指示をサーバコンピュ
ータ２０に送信し、Ｓ４０５に入る。一方、Ｓ５０１で
カーソル位置にボタンがない場合、さらにカーソル位置
にスライダがあるか否かを調べ（Ｓ５０３）、スライダ
がある場合はスライダをドラッグした後（Ｓ５０４）、
また、スライダがない場合はそのままでＳ４０５に入
る。

【００３７】以上のサイクルの間に、ネットワークの特
性による伝達の遅延等により、不定の時間が経過する虞
れがあるが、ユーザを介したフィードバックを行うこと
なくユーザは望んだ方向・画角の画像が得られるため、
操作性が損なわれることはない。

【００３８】上述した動作アルゴリズムに沿ってサーバ
コンピュータ２０とクライアントコンピュータ３０は作
動し、遠隔地にある撮像装置の制御が行われる。尚、上
述した動作アルゴリズムは本発明に適用する１例であっ
て、本発明の技術的思想を実現する他のアルゴリズム構
成にしてもよいことは当然である。

【００３９】また、本発明は上述した構成に限ることな
く、ズーム、パンチルタ等の機能を有するカメラであれ
ば如何なるものを用いても構成できることは当然であ
る。

【００４０】

【発明の効果】以上の説明から明らかなように、本発明
の遠隔操作撮像装置によると、操作指示によるパンチル
タの到達する方向やズームの大きさが予め予測できるの
で、特にインターネットのような回線特性に依存する通
信の遅延、画像データの欠落等がある場合でも、操作者
は視認性のよい状態を確保することができ、正確な操作
を容易に行うことが可能となる。

【図面の簡単な説明】

【図１】 本発明に係わる、遠隔操作撮像装置のシステ
ム構成である。

【図２】 制御画角の決定と駆動量について説明するた
めの図である。

【図３】 サーバコンピュータのアルゴリズムを示す図
である。

【図４】 クライアントコンピュータのアルゴリズムを
示す図である。

【図５】 クライアントコンピュータのアルゴリズムを
示す図である。

【符号の説明】

１…システム制御マイコン、２…カメラ制御マイコン、
３…パンチルタ制御マイコン、４…パンチルタ、５…パ
ンモータ、６…チルトモータ、１０…撮像装置、１１…
レンズブロック、１２…ＣＣＤ、１３…ＳＨ／ＡＧＣ、
１４…Ａ／Ｄ、１５…信号処理装置、１６…変倍用レン
ズ、１７…ズームモータ、２０…サーバコンピュータ、
２１…ビデオキャプチャー装置、２２…記憶装置、２３
…制御プログラム、２４，３１…ネットワークインタフ
ェース、３０…クライアントコンピュータ、３２…操作
・表示プログラム、３３…ポインティングデバイス、３
４…モニター

───────────────────────────────────────────────────── フロントページの続き (72)発明者 飯島 利幸 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 細沼 直泰 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 被写体を撮影し、その映像信号を出力す
   る撮像手段と、 前記撮像手段の撮影方向を変更する駆動手段と、 前記駆動手段に対し、目標とする撮影方向に所定量だけ
   駆動制御する制御手段と、 前記制御手段に、撮影方向の情報を入力する駆動方向入
   力手段とを具備し、 １回の駆動指示に対し、前記撮像手段を前記駆動方向入
   力手段により指示のあった駆動方向に所定量だけ駆動す
   ることを特徴とする遠隔操作撮像装置。
2. 【請求項２】 前記撮像手段は画角を制御する機能を有
   すると共に、 前記撮像手段の画角を変化させる画角入力手段とを具備
   し、 １回の画角変更指示に対して所定量だけ画角変更を行う
   ことを特徴とする、請求項１に記載の遠隔操作撮像装
   置。
3. 【請求項３】 撮影方向に対する１回の駆動指示による
   駆動量は任意に設定できることを特徴とする、請求項１
   に記載の遠隔操作撮像装置。
4. 【請求項４】 画角に対する１回の変化指示による画角
   変化量は任意に設定できることを特徴とする、請求項２
   に記載の遠隔操作撮像装置。
5. 【請求項５】 現に撮影されている範囲、および現に撮
   影されている範囲と隣接した撮影範囲を、撮像手段の視
   点を中心とした極座標上の長方形で近似して求めると共
   に、現に撮影されている範囲を撮影後、隣接した撮影範
   囲に撮像手段を駆動して撮影方向の決定をすることを特
   徴とする、請求項１に記載の遠隔操作撮像装置の撮影方
   向の決定方法。
6. 【請求項６】 現に撮影されている範囲、および現に撮
   影されている範囲と隣接した撮影範囲を、撮像手段の視
   点を中心とした極座標上の長方形で近似して求める手段
   を具備し、 現に撮影されている範囲を撮影後、隣接した撮影範囲に
   撮像手段を駆動して撮影することを特徴とする、請求項
   １または請求項２に記載の遠隔操作撮像装置。
7. 【請求項７】 現に撮影されている範囲、および現に撮
   影されている範囲と所定の重なりを有する撮影範囲を、
   撮像手段の視点を中心とした極座標上の長方形で近似し
   て求めると共に、現に撮影されている範囲を撮影後、つ
   ぎの重なりを有する撮影範囲に撮像手段を駆動して撮影
   方向の決定をすることを特徴とする、請求項１に記載の
   遠隔操作撮像装置の撮影方向の決定方法。
8. 【請求項８】 現に撮影されている範囲、および現に撮
   影されている範囲と所定の重なりを有する撮影範囲を、
   撮像手段の視点を中心とした極座標上の長方形で近似し
   て求める手段を具備し、 現に撮影されている範囲を撮影後、つぎの重なりを有す
   る撮影範囲に撮像手段を駆動して撮影することを特徴と
   する、請求項１または請求項２に記載の遠隔操作撮像装
   置。