JP2011205574A - Control device, camera system, and program - Google Patents
Control device, camera system, and program Download PDFInfo
- Publication number
- JP2011205574A JP2011205574A JP2010073233A JP2010073233A JP2011205574A JP 2011205574 A JP2011205574 A JP 2011205574A JP 2010073233 A JP2010073233 A JP 2010073233A JP 2010073233 A JP2010073233 A JP 2010073233A JP 2011205574 A JP2011205574 A JP 2011205574A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- camera
- control
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、制御装置、カメラシステム及びプログラムに関する。 The present invention relates to a control device, a camera system, and a program.
従来、例えば下記の特許文献1に記載されているように、カメラを複数のユーザが操作できる場合に、複数のユーザからの操作が衝突することを防ぐため、操作したいユーザに一定期間、カメラの制御権を与えるカメラ制御システムが知られている。特許文献1には、カメラ制御権を有する場合に、操作部を表示し、カメラ制御権を有さない場合に、操作部を表示しないように制御していることが記載されている。また、下記の特許文献1に記載されているように、複数のカメラからの映像を一覧表示し、操作可能な場合と操作不可の場合に表示状態を変えるカメラ制御システムが知られている。特許文献2には、操作不可の場合、操作部をグレー表示するように制御していることが記載されている。
Conventionally, as described in, for example,
しかしながら、上記文献に記載された技術では、表示画面を操作可能であるかをユーザが認識することができるが、表示画面と連携して操作可能であるか否かが表示されるものではないため、ユーザが操作可能であるか否かを直に認識することができなかった。また、表示画面には、現在撮影されているライブ映像のみが表示されるため、撮影されているライブ映像を超えた範囲を撮影するように直感的に操作することができなかった。更には、複数の画像を一覧表示している場合には、どのカメラを操作すれば、所望箇所を撮影できるかを認識することが困難であった。 However, in the technique described in the above document, the user can recognize whether or not the display screen can be operated, but it does not display whether or not the display screen can be operated in cooperation with the display screen. It was impossible to directly recognize whether or not the user can operate. Further, since only the live video currently being captured is displayed on the display screen, it has not been possible to intuitively operate to capture a range beyond the live video being captured. Furthermore, when a plurality of images are displayed in a list, it is difficult to recognize which camera can be operated to capture a desired portion.
そこで、本発明は、上記課題に鑑みてなされたものであり、本発明の目的とするところは、表示されている画像に対応するカメラが制御可能であるかを確実に認識できるとともに、表示されている画像が全体画像のどの範囲に位置するかを確実に認識することが可能な、新規かつ改良された制御装置、カメラシステム及びプログラムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to reliably recognize whether or not the camera corresponding to the displayed image can be controlled and to display the camera. It is an object of the present invention to provide a new and improved control device, camera system, and program capable of reliably recognizing in which range of an entire image an image is located.
上記課題を解決するために、本発明のある観点によれば、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、前記表示制御部は、前記制御部による制御が可能か否かに応じて前記全体画像の表示状態を変更する、制御装置が提供される。 In order to solve the above problem, according to an aspect of the present invention, an entire image display area for displaying an entire image captured by a camera and an area corresponding to a position specified by the entire image are enlarged and enlarged. An enlarged image display area for displaying an image, a display control unit that controls to display an image, and a control unit that controls to change an area corresponding to a position specified on the entire image, The display control unit is provided with a control device that changes a display state of the entire image according to whether or not the control by the control unit is possible.
また、前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するものであってもよい。 Further, the control unit may control to capture an area corresponding to a position designated on the entire image with the camera.
また、前記表示制御部は、複数の前記カメラで撮影された前記拡大画像を一覧表示するものであってもよい。 In addition, the display control unit may display a list of the enlarged images taken by a plurality of the cameras.
また、前記表示制御部は、前記制御部による制御が可能な場合は前記全体画像をポップアップ表示し、前記制御部による制御が可能でない場合は前記全体画像をハーフトーン表示又は非表示とするものであってもよい。 The display control unit pops up the entire image when control by the control unit is possible, and displays the whole image as a halftone display or non-display when control by the control unit is not possible. There may be.
また、前記表示制御部は、前記制御部により制御が行われた場合に前記全体画像に対応する前記拡大画像の表示状態を変更するものであってもよい。 The display control unit may change a display state of the enlarged image corresponding to the entire image when the control is performed by the control unit.
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、前記制御装置は、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、前記表示制御部は、前記制御部による制御が可能か否かに応じて前記パノラマ画像の表示状態を変更する、カメラシステムが提供される。 In order to solve the above problem, according to another aspect of the present invention, there is provided a camera system including a camera that captures an image and a control device that controls the camera, wherein the control device is a camera. Display control for controlling to display an entire image display area for displaying a captured entire image and an enlarged image display area for displaying an enlarged image by enlarging an area corresponding to a position specified in the entire image. And a control unit that controls to change a region corresponding to the position designated on the entire image, and the display control unit is configured to control whether the control by the control unit is possible or not. A camera system for changing the display state of the panoramic image is provided.
また、前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するものであってもよい。 Further, the control unit may control to capture an area corresponding to a position designated on the entire image with the camera.
また、前記表示制御部は、複数の前記カメラで撮影された前記拡大画像を一覧表示するものであってもよい。 In addition, the display control unit may display a list of the enlarged images taken by a plurality of the cameras.
また、前記表示制御部は、前記制御部による制御が可能な場合は前記全体画像をポップアップ表示し、前記制御部による制御が可能でない場合は前記全体画像をハーフトーン表示又は非表示とするものであってもよい。 The display control unit pops up the entire image when control by the control unit is possible, and displays the whole image as a halftone display or non-display when control by the control unit is not possible. There may be.
また、前記表示制御部は、前記制御部により制御が行われた場合に前記全体画像に対応する前記拡大画像の表示状態を変更するものであってもよい。 The display control unit may change a display state of the enlarged image corresponding to the entire image when the control is performed by the control unit.
また、上記課題を解決するために、本発明の別の観点によれば、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する手段、前記全体画像上で指定された位置に対応する領域を変化させるように制御する手段、前記カメラの制御が可能か否かに応じて前記全体画像の表示状態を変更する手段、としてコンピュータを機能させるためのプログラムが提供される。 In order to solve the above problem, according to another aspect of the present invention, an entire image display area for displaying an entire image captured by a camera and an area corresponding to a position designated by the entire image are enlarged. And a means for controlling to display an enlarged image display area for displaying an enlarged image, a means for controlling to change an area corresponding to a specified position on the whole image, and control of the camera There is provided a program for causing a computer to function as means for changing the display state of the entire image depending on whether or not.
本発明によれば、表示されている画像に対応するカメラが制御可能であるかを確実に認識できるとともに、表示されている画像が全体画像のどの範囲に位置するかを確実に認識することが可能となる。 According to the present invention, it is possible to reliably recognize whether the camera corresponding to the displayed image is controllable and to reliably recognize in which range of the entire image the displayed image is located. It becomes possible.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態(カメラ端末装置とサーバーからなる撮像システムの例)
(1)撮像システムの構成例
(2)カメラ端末装置とセンターサーバーの構成例
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
(4)第1のパノラマ画像を生成する処理について
(5)GUIについて
(6)第1のパノラマ画像上での撮影方向の指定
(7)ポップアップ表示による制御
The description will be made in the following order.
1. First embodiment (an example of an imaging system including a camera terminal device and a server)
(1) Configuration example of imaging system (2) Configuration example of camera terminal device and center server (3) Display operation of first panorama image and second panorama image (4) Processing to generate first panorama image (5) GUI (6) Specification of shooting direction on first panoramic image (7) Control by pop-up display
<1.第1の実施形態>
(1)撮像システムの構成例
図1は、本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。撮像システム100は、カメラ端末装置(IPカメラ)200、センターサーバー300、クライアント400を有しており、複数のカメラ端末装置200、センターサーバー300及びクライアント400は、ネットワーク500を介して接続されている。また、ネットワーク500には、プロキシサーバー600が接続されており、プロキシサーバー600には複数のカメラ端末装置200が接続されている。また、センターサーバー300にはモニター320が接続されている。本実施形態において、カメラ端末装置200は、例えば屋内又は屋外に設置される監視カメラであって、カメラ端末装置200で取得した画像をセンターサーバー300のモニタ320に表示することで、カメラ端末装置200が設置された領域を監視できる。クライアント400は、ネットワーク500を介してカメラ端末装置200、センターサーバー300、またはプロキシサーバー600と接続される。また、クライアント400は、後述するセンターサーバ300の機能とモニタ320の機能を備えるものであっても良い。カメラ端末装置200で撮影された映像は、ネットワーク500を介してクライアント400に送られ、クライアント400の表示画面には後述するライブ映像とともに第1のパノラマ画像、第2のパノラマ画像が表示される。なお、カメラ端末装置200の例として、IPカメラをあげているが、これに限定されず、アナログカメラであってもよい。
パノラマ画像(全景画像、全体画像)は、カメラ端末装置200で撮像可能な範囲を示している。パノラマ画像には、様々な形状があり、例えば、図4のように、円形のパノラマ画像や長方形のパノラマ画像、円筒面上に投射したような輪っか状のパノラマ画像などがある。以下、実施形態において、第1のパノラマ画像及び第2のパノラマ画像の例として、それぞれ円形のパノラマ画像及び長方形のパノラマ画像をあげて説明する。
<1. First Embodiment>
(1) Configuration Example of Imaging System FIG. 1 is a schematic diagram illustrating an overall configuration of an imaging system according to an embodiment of the present invention. The
The panoramic image (entire view image, entire image) indicates a range that can be captured by the
(2)カメラ端末装置とセンターサーバーの構成例
図2は、図1のシステムにおいて、カメラ端末装置200とセンターサーバー300の構成を詳細に示す模式図である。図2に示すカメラ端末装置200またはセンターサーバー300の各構成要素は、ハードウェア(回路など)または、CPUなどの演算処理装置とこれを機能させるためのソフトウェア(プログラム)によって構成することができる。カメラ端末装置200のカメラ部201は、撮像光学系を含み、後述する端末制御部210から供給された撮像制御信号CTaに基づいて撮像動作を行い、映像信号Dcamを生成する。また、カメラ部201は、生成した映像信号Dcamを、バス220を介して信号処理部202に供給する。なお、バス220には、メモリ部203、撮像方向制御部204、ネットワークインタフェース部206、記憶部207、端末制御部210も接続されている。
(2) Configuration Example of Camera Terminal Device and Center Server FIG. 2 is a schematic diagram showing in detail the configuration of the
信号処理部202は、映像信号Dcamの圧縮処理を行い、得られた映像符号化信号DVをメモリ部203に記憶させる。また、カメラ部201の撮像方向を順次移動して得られた映像信号Dcamを用いて第1のパノラマ画の映像信号(以下「第1のパノラマ画信号という」DF及び第2のパノラマ画の映像信号(以下「第2のパノラマ画信号」という)DPを生成して、記憶部207に記憶させる。なお、映像信号Dcamの圧縮処理や、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPの生成は、後述する端末制御部210から供給された信号処理制御信号CTbに基づいて行う。
The
撮像方向制御部204は、カメラ部201の撮像方向を、後述する端末制御部210から供給された方向制御信号CTcによって指示された方向に移動させるため、撮像方向を移動する際の速度や加速度の計算を行う。また、計算結果に基づきパン動作を行うための駆動信号MDpやチルト動作を行うための駆動信号MDtを生成して、撮像方向調整部205に供給する。また、撮像方向制御部204は、カメラ部201の撮像方向がいずれの方向であるかを示すカメラ位置情報信号PMを生成して、端末制御部210に供給する。
The imaging
撮像方向調整部205は、カメラ部201を左右方向に移動させるパン動作モータと、カメラ部201を上下方向に移動させるチルト動作モータを有している。撮像方向調整部205は、駆動信号MDpによってパン動作モータ、駆動信号MDtによってチルト動作モータをそれぞれ駆動して、カメラ部201の撮像方向を方向制御信号CTcによって指示された方向に調整する。また、撮像方向調整部205は、動作範囲が制限されることなくエンドレスにパン動作を行うものとする。
The imaging
図3は、カメラ端末装置200のパン動作、チルト動作を説明するための模式図であって、カメラ端末装置200を天井などに装着した場合を示している。ここで、図3(B)は、本実施形態に係るカメラ端末装置200のパン・チルト動作を示している。一方、図3(A)は、比較のため、一般的なカメラ端末装置のパン・チルト動作を示している。図3(A)に示すように、一般的なカメラ端末装置では、パン動作を360°のエンドレスで行い、チルト動作については、鉛直方向から水平方向までの90°の範囲で行う。これに対し、本実施形態に係るカメラ端末装置200は、パン動作を360°のエンドレスで行うとともに、チルト動作については、鉛直方向を中心として220°の範囲で行うことができる。従って、後述する手法により第1のパノラマ画の映像信号DFを生成して記憶部207に記憶することができる。後述の第1のパノラマ画像は、円形のパノラマ画像であり、円の中央付近を中心をまたいで、撮像方向を操作する場合に、本実施形態に係るカメラ端末装置200は、目的撮像方向まで最短でメカ的にも移動することができる。一方、一般的なカメラ端末装置では、円の中心をまたぐようにはカメラ撮像方位をメカ的に移動させることができない。
FIG. 3 is a schematic diagram for explaining the pan operation and tilt operation of the
ネットワークインタフェース部206は、カメラ端末装置200とセンターサーバー300との間で、ネットワーク500を介して通信を行うためのインタフェースである。
The
端末制御部210は、撮像制御信号CTaによってカメラ部201を制御し、信号処理制御信号CTbによって信号処理部202を制御し、方向制御信号CTcによって撮像方向制御部204を制御して、撮像方向を順次移動しながら撮像を行う。そして、端末制御部210は、得られた映像信号Dcamに基づいて第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成させて記憶部207に記憶させる。
The
本実施形態に係る撮像システム100は、映像信号Dcamによるライブ映像と、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPによる第1のパノラマ画または第2のパノラマ画を共にカメラ端末装置200からセンターサーバー300に送信し、モニター320に表示することができる。尚、本明細書において、第1のパノラマ画像及び第2のパノラマ画像を全体画像と称する場合がある。図4は、第2のパノラマ画と第1のパノラマ画の表示状態を示す模式図である。センターサーバー300は、ユーザの選択に応じて、第1のパノラマ画または第2のパノラマ画の一方をモニター320にライブ映像とともに表示することができる。また、センターサーバー300は、第1のパノラマ画及び第2のパノラマ画の双方をライブ映像とともに表示するように構成されていても良い。なお、図4の右図では、中央付近の画像が欠けた円形のパノラマ画像を第1のパノラマ画像としているが、これに限定されず、中央付近の画像が欠けていない円形のパノラマ画像を第1のパノラマ画像としてもよい。
The
カメラ端末装置200は、天井などに設置され、カメラ端末装置200の下方向の画像を表示する。このため、図4に示すように、第1のパノラマ画は、カメラ端末装置200から下向きに延在する鉛直線を中心として、パン360°、チルト220°の範囲で取得され、その輪郭は円形となる。
The
また、撮像方向調整部205は、上述のようにエンドレスにパン動作を行うことができるように構成されている。したがって、記憶部207に記憶する第2のパノラマ画像は、例えば図4に示すように、画像が重複しないように、一方の端部が基準方向から「+180°」の角度差、他方の端部が基準方向から「−180°」の角度差を有するものとする。また、パン動作の動作範囲が制限されないので、例えば動作範囲が制限されている場合のように、動作範囲の中央位置を基準方向とすることができない。したがって、基準方向を予め設定しておき、この基準方向が第2のパノラマ画像の中央位置となるように第2のパノラマ画信号DPを生成する。また、撮像方向制御部204は、カメラ位置情報信号PMとして、予め設定された基準方向に対する撮像方向の例えば角度差を示す信号を生成する。
Further, the imaging
このように基準方向を予め設定しておくものとすれば、第2のパノラマ画像がいずれの方向を基準とした撮像動作によって生成された画像であるかを判別する必要がない。また、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとすれば、第2のパノラマ画像上におけるカメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。 In this way, if the reference direction is set in advance, it is not necessary to determine which direction the second panoramic image is generated by the imaging operation based on which direction. If the camera position information signal PM indicates an angle difference between the image capturing direction and the reference direction, the position in the image capturing direction based on the camera position information signal PM on the second panoramic image can be easily determined.
チルト動作においても、予め基準方向を設定しておき、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとする。これにより、第1のパノラマ画像、第2のパノラマ画像の双方において、カメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。なお、チルト動作については、カメラ端末装置200が天井に設置されている場合、鉛直方向を基準方向とすることができる。
Also in the tilt operation, a reference direction is set in advance, and the angle difference between the imaging direction and the reference direction is indicated by the camera position information signal PM. Thereby, the position in the imaging direction based on the camera position information signal PM can be easily determined in both the first panorama image and the second panorama image. Regarding the tilting operation, when the
端末制御部210は、ネットワークインタフェース部206を介してセンターサーバー300から供給されたコマンド信号CMを解析して、撮像制御信号CTaや信号処理制御信号CTb,方向制御信号CTcの生成を行う。また、メモリ部203に記憶されている映像符号化信号DVや、記憶部207に記憶されている第1のパノラマ画信号DF、第2のパノラマ画信号DP、および撮像方向制御部204から供給されたカメラ位置情報信号PMをセンターサーバー300に送出する処理等を行う。
The
センターサーバー300のネットワークインタフェース部301は、カメラ端末装置200とセンターサーバー300とで、ネットワーク500を介して通信を行うためのインタフェースである。ネットワークインタフェース部301は、カメラ端末装置200から供給された映像符号化信号DVを伸長処理部302に供給する。また、ネットワークインタフェース部301は、カメラ位置情報信号PMを位置判別処理部303に供給し、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを画像処理部304に供給する。
The
伸長処理部302は、映像符号化信号DVの伸長処理を行い、得られた映像信号Dcamを表示処理部305に供給する。
The
位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。ここで、カメラ位置情報信号PMは、上述のように予め設定した基準方向がパン動作、チルト動作の中央位置となるように第1のパノラマ画信号DFまたは第2のパノラマ画信号DPを生成し、カメラ位置情報信号PMは基準方向と現在の撮像方向の角度差を示すものとすれば、カメラ位置情報信号PMに基づき、現在の撮像方向が俯瞰画像または第2のパノラマ画像のいずれの位置に対応するか容易に判別できる。 The position determination processing unit 303 determines whether the imaging direction indicated by the camera position information signal PM corresponds to the position of the first panorama image or the second panorama image, and uses the position determination result KP as the image processing unit. 304 is supplied. Here, the camera position information signal PM generates the first panorama image signal DF or the second panorama image signal DP so that the preset reference direction is the center position of the pan operation and tilt operation as described above. Assuming that the camera position information signal PM indicates an angle difference between the reference direction and the current imaging direction, the current imaging direction is at either the overhead image or the second panoramic image based on the camera position information signal PM. It can be easily determined whether it corresponds.
画像処理部304は、位置判別結果KPに基づいて画像処理を行い、第1のパノラマ画像の第1のパノラマ画信号DFC、及び第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第2のパノラマ画信号DPCについては、位置判別結果KPにより判別された位置が中央位置とされた第2のパノラマ画信号DPCを生成することができる。この場合、画像処理部304では、判別された位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理する。すなわち、判別された位置を中央位置として「±180°」の第2のパノラマ画像表示画枠を設定して、第2のパノラマ画像表示画枠から外れる差分量分の領域の第2のパノラマ画像を、画像の無い領域に貼り付けることで、判別された位置を中央位置とした第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第1のパノラマ画信号DFCの場合においても、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の上に位置するように第1のパノラマ画像を処理する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。さらに、画像処理部304は、画像処理を行うことにより生成した第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを表示処理部305に供給する。
The image processing unit 304 performs image processing based on the position determination result KP, and generates a first panorama image signal DFC of the first panorama image and a second panorama image signal DPC of the second panorama image. As for the second panorama image signal DPC, the second panorama image signal DPC in which the position determined by the position determination result KP is the center position can be generated. In this case, the image processing unit 304 determines a difference amount between the determined position and the center position of the second panoramic image, and based on the determined difference amount, the determined position becomes the center position of the image. The second panoramic image is processed so that That is, the second panorama image display image frame of “± 180 °” is set with the determined position as the center position, and the second panorama image in the region corresponding to the difference amount deviating from the second panorama image display image frame is set. Is pasted into a region without an image to generate a second panoramic image signal DPC of the second panoramic image with the determined position as the center position. Even in the case of the first panorama image signal DFC, in the case of a “first panorama image rotation mode” to be described later, as in the case of the second panorama image signal DPC, the determined position and the first panorama image are detected. A difference amount from the reference position in the pan direction is determined, and the first panoramic image is processed based on the determined difference amount so that the determined position is positioned on the image. In addition, the image processing unit 304 determines the position based on the position determination result KP (the position where the optical axis of the imaging optical system of the
表示処理部305は、伸長処理部302から供給された映像信号Dcamや、画像処理部304から供給された第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを用いて表示駆動信号HDを生成してモニター320に供給する。また、表示処理部305は、後述する制御部310から供給されたGUI表示制御信号CTgに基づいて生成したGUI用映像信号を用いて、表示駆動信号HDを生成してモニター320に供給する。表示処理部305は、複数のカメラ端末装置200から送られたライブ映像とパノラマ画をモニター320上に一覧表示するように制御することができる。
The
モニター320は、表示駆動信号HDに基づいて、表示素子例えば液晶表示素子やプラズマ表示素子あるいは陰極線管等を駆動して、第1のパノラマ画像、撮像方向を中央位置とした第2のパノラマ画像やカメラ部201の撮像画像(ライブ映像)、GUI画像等を画面上に表示する。
The monitor 320 drives a display element such as a liquid crystal display element, a plasma display element, or a cathode ray tube based on the display drive signal HD, and the first panorama image, the second panorama image with the imaging direction as the center position, A captured image (live video) of the
ユーザインタフェース部315は、GUIが用いられており、モニター320を用いてユーザに対する情報の提示を行い、提示された情報に基づき操作入力手段であるポインティングデバイスやキーボード等でユーザ操作が行われたとき、ユーザ操作に応じた操作信号USを制御部310に供給して所望の動作等を行わせる。
The
制御部310は、操作信号USとモニター320の表示状態に基づき、ユーザがどのような処理の選択やどのような処理の実行を要求したか判別して、判別結果に基づき制御信号CTmを生成して各部に供給し、センターサーバー300の動作を制御する。また、判別結果に基づきコマンド信号CMを生成して、ネットワークインタフェース部301を介してカメラ端末装置200に供給し、カメラ端末装置20の動作を制御する。さらに、制御部310は、GUI表示制御信号CTgを生成して表示処理部305に供給する。
Based on the operation signal US and the display state of the monitor 320, the
なお、上述した例では、カメラ端末装置200が映像信号Dcamから第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成したが、センターサーバー300またはクライアント400が第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成しても良い。この場合、カメラ端末装置200のネットワークインタフェース部206は、カメラブロック201から出力された映像信号Dcamをセンターサーバー300またはクライアント400へ送る。センターサーバー300またはクライアント400は、カメラ端末装置200と同様の信号処理部を備えることで、第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成することができる。第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPは、センターサーバー300またはクライアント400が備えるハードディスク等のメモリに記憶される。
In the above-described example, the
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
次に、第1のパノラマ画像及び第2のパノラマ画像表示動作について説明する。制御部310は、動作開始時に、カメラ端末装置200に対して、第1のパノラマ画信号DF及び第2のパノラマ画信号DPとカメラ位置情報信号PMおよび映像符号化信号DVを要求するコマンド信号CMを送信する。カメラ端末装置200は、記憶部207に第1のパノラマ画信号DF、第2のパノラマ画信号DPを記憶しているとき、この第1のパノラマ画信号DF、第2のパノラマ画信号DPを読み出してセンターサーバー300に送信する。また、カメラ端末装置200は、画記憶部207に第1のパノラマ画信号DFまたは第2のパノラマ画信号DPが記憶されていないとき、カメラ部201や信号処理部202および撮像方向制御部204を制御して、撮像方向を移動しながら撮像動作を行い、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成してセンターサーバー300に送信する。なお、カメラ端末装置200は、生成した第1のパノラマ画信号DF及び第2のパノラマ画信号DPは、記憶部207に記憶させる。
(3) Display Operation of First Panorama Image and Second Panorama Image Next, the first panorama image and second panorama image display operation will be described. At the start of operation, the
カメラ端末装置200は、撮像方向制御部204で生成したカメラ位置情報信号PMをセンターサーバー300に供給する。また、カメラ端末装置200は、カメラ部201の撮像動作を開始して、得られた映像信号Dcamを信号処理部202で圧縮し映像符号化信号DVをメモリ部203に記憶させる。さらに、メモリ部203に記憶されている映像符号化信号DVをセンターサーバー300に供給する。なお、図1に示すように、カメラ端末装置200とネットワーク500とがプロキシサーバ600を介して接続されている場合、カメラ端末装置200とセンターサーバー300との間の情報のやり取りは、プロキシサーバ600を経由して行われる。
The
センターサーバー300の位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。第2のパノラマ画を例に挙げると、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、撮像方向は基準方向に設定されていることから、撮像方向の位置は第2のパノラマ画像の中央位置となっている。
The position determination processing unit 303 of the
画像処理部304は、位置判別結果KPに基づいて画像処理を行う。ここで、位置判別結果KPによって、撮像方向の位置が第2のパノラマ画像の中央位置であることが示されたときは、撮像方向の画像が第2のパノラマ画像の中央となっていることから、第2のパノラマ画像処理を行うことなく、第2のパノラマ画信号DPを第2のパノラマ画信号DPCとして表示処理部305に供給する。一方、撮像方向の位置が第2のパノラマ画像の中央位置でない場合は、判別された撮像方向の位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理し、第2のパノラマ画信号DPCを生成する。
The image processing unit 304 performs image processing based on the position determination result KP. Here, when the position determination result KP indicates that the position in the imaging direction is the center position of the second panoramic image, the image in the imaging direction is the center of the second panoramic image. The second panorama image signal DP is supplied to the
このため、第2のパノラマ画像においては、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、表示処理部305からの表示駆動信号HDによって駆動されるモニター320の画面上には、カメラ部201で撮影された撮像画像と、基準方向が中央位置とされている第2のパノラマ画像、およびGUIに関する画像が表示される。
For this reason, in the second panoramic image, for example, when the angle difference indicated by the camera position information signal PM is “0 °”, it is displayed on the screen of the monitor 320 driven by the display drive signal HD from the
第1のパノラマ画像の場合、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画像のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の下(後述する直線L上)に位置するように第1のパノラマ画像を回転させ、第1のパノラマ画信号DFCを生成する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく撮像方向の位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。
In the case of the first panorama image, in the case of a “first panorama image rotation mode” to be described later, as in the case of the second panorama image signal DPC, the determined position and the pan direction of the first panorama image are changed. A difference amount from the reference position is determined, and based on the determined difference amount, the first panoramic image is rotated so that the determined position is positioned below the image (on a straight line L described later), 1 panoramic image signal DFC is generated. The image processing unit 304 also determines the position in the imaging direction based on the position determination result KP (the optical axis of the imaging optical system of the
第1のパノラマ画像及び第2のパノラマ画像のいずれにおいても、予め設定された基準位置を中心位置として固定して表示することもできる。この場合、位置判別結果KPによって判別された位置と予め設定された基準位置との差分量を判別して、この判別された差分量に基づいて、中心位置から差分量だけ離れた位置にカメラの撮像方向(カメラブロックが有する光学系の光軸の方向)が向いていることを示すカーソル、または枠などを第1または第2のパノラマ画像中に表示する。 In both the first panorama image and the second panorama image, a preset reference position can be fixed and displayed as the center position. In this case, a difference amount between the position determined by the position determination result KP and a preset reference position is determined, and the camera is positioned at a position away from the center position by the difference amount based on the determined difference amount. A cursor or a frame indicating that the imaging direction (the direction of the optical axis of the optical system of the camera block) is oriented is displayed in the first or second panoramic image.
伸長処理部302は、映像符号化信号DVを伸長して、得られた映像信号Dcamを表示処理部305に供給する。また、制御部310は、GUI表示を行うためのGUI表示制御信号CTgを表示処理部305に供給する。
The
(4)第1のパノラマ画像を生成する処理について
次に、第1のパノラマ画信号DFを生成する処理について、図5〜図8に基づいて説明する。第1のパノラマ画像信号DFを生成する際には、第1のパノラマ画像の領域毎に画像を取得する。先ず、図5に示すように、カメラ端末装置200のズームを固定して、ある任意の間隔でパン、チルトを行い、静止画を取得する。図5中に示す数字は、画像取得の順番を示している。
(4) Processing for Generating First Panorama Image Next, processing for generating the first panorama image signal DF will be described with reference to FIGS. When generating the first panorama image signal DF, an image is acquired for each region of the first panorama image. First, as shown in FIG. 5, the zoom of the
次に、以下の[1]〜[3]の手順により、静止画像座標系の座標変換を行う。ここでは、図6に示すように、静止画像の各点を、カメラ端末装置200の回転中心から見た相対位置(x,y,z)に変換する。
[1] 水平画角thh[degree]、アスペクト比aのカメラの視点を原点に置き、-z方向に向ける。距離Lの位置に被写体平面(x, y, -L)を考えると、見える範囲は 2Lx × 2Ly の長方形になる。ここで、Lx=L・tan(thh/2)、Ly=Lx/aの関係が成立する。
[2] カメラの姿勢は本来(x, y,
z, p, q, r)であるが、視点の位置が原点に固定されていると考えると、x=y=z=0であり、ここでは(p, q, r) (p: Pan(y軸回転), q: Tilt(x軸回転), r: roll(z軸回転))のみを考える。
[3] (2Lx)×(2Ly)の長方形内の点(j, i)を用いると下記の式が成り立つ。
x=Lx × (j-Lx)/Lx
y = Ly × (i - Ly) / Ly
z = -L
[4] (x, y, z)を用いて以下のRoll変換、Tilt変換、Pan変換式を適用する。
Next, coordinate conversion of the still image coordinate system is performed by the following procedures [1] to [3]. Here, as shown in FIG. 6, each point of the still image is converted into a relative position (x, y, z) viewed from the rotation center of the
[1] A camera with a horizontal angle of view thh [degree] and an aspect ratio of a is set at the origin, and is directed in the -z direction. Considering the object plane (x, y, -L) at the position of distance L, the visible range is a rectangle of 2Lx × 2Ly. Here, the relationship of Lx = L · tan (thh / 2) and Ly = Lx / a is established.
[2] The camera's posture is originally (x, y,
z, p, q, r), but assuming that the viewpoint position is fixed at the origin, x = y = z = 0, where (p, q, r) (p: Pan ( (y-axis rotation), q: Tilt (x-axis rotation), r: roll (z-axis rotation)) only.
[3] When a point (j, i) in a rectangle of (2Lx) × (2Ly) is used, the following equation is established.
x = Lx × (j-Lx) / Lx
y = Ly × (i-Ly) / Ly
z = -L
[4] The following roll conversion, tilt conversion, and pan conversion formula are applied using (x, y, z).
ここで得られた(x3,y3,z3)が、静止画像のある点(x,y,z)をカメラの回転中心から見た座標系で表した値となる。 The obtained (x3, y3, z3) is a value represented by a coordinate system when a point (x, y, z) in the still image is viewed from the rotation center of the camera.
次に、相対位置を緯度、経度に変換する。ここでは、図7に示すように、上記で得られた(x3,y3,z3)を緯度、経度に変換する。(x3, y3, z3)の方向が-zの方向に対して水平方向となす角度が経度であり、またx-z平面となす角度が緯度になり、以下の式で求めることができる。
・緯度(Latitude)
La = tan-1
( y3 / ::sqrt( x3 * x3 + z3 * z3))
・経度(Lo)
0.0 < z3のとき
0.0 < x3の場合 Lo = 90.0 + La
0.0≧x3の場合 Lo = -90.0 - La
0.0 ≧ z3のとき
Lo =
tan-1( x3 / z3) / RAD
ただし、
RAD = π/ 180 (π:円周率)
Next, the relative position is converted into latitude and longitude. Here, as shown in FIG. 7, (x3, y3, z3) obtained above is converted into latitude and longitude. The angle formed by the (x3, y3, z3) direction with respect to the -z direction is the longitude, and the angle formed with the xz plane is the latitude.
・ Latitude
La = tan -1
(y3 / :: sqrt (x3 * x3 + z3 * z3))
・ Longitude (Lo)
When 0.0 <z3
If 0.0 <x3 Lo = 90.0 + La
When 0.0 ≧ x3 Lo = -90.0-La
When 0.0 ≥ z3
Lo =
tan -1 (x3 / z3) / RAD
However,
RAD = π / 180 (π: Pi ratio)
次に、第1のパノラマ画像への変換を行う。ここでは、図8に示すように、得られた緯度、経度(La,Lo)を、緯度を半径の軸、経度を円周方向の座標系で表す。 Next, conversion into a first panoramic image is performed. Here, as shown in FIG. 8, the obtained latitude and longitude (La, Lo) are represented by a latitude axis and a longitude coordinate system in the circumferential direction.
以上のようにして、第1のパノラマ画信号DFを生成することができる。 As described above, the first panorama image signal DF can be generated.
(5)GUIについて
次に、GUIについて説明する。図9は、モニター320の表示画面を示す模式図である。図9では、通常の画面と全画面表示の双方を示しており、いずれの場合においても、画面左側に操作パネル(コントロールパネル)が表示され、画面右側にライブ映像が表示されている。操作パネルの“Screen Mode”を“Full”にすると全画面表示となる。
(5) GUI Next, the GUI will be described. FIG. 9 is a schematic diagram showing a display screen of the monitor 320. FIG. 9 shows both a normal screen and a full screen display. In either case, an operation panel (control panel) is displayed on the left side of the screen and a live image is displayed on the right side of the screen. When “Screen Mode” on the operation panel is set to “Full”, the full screen is displayed.
図10は、操作パネルによる操作を説明するための模式図である。操作パネル内は機能毎のパネルとなっており、各パネルを折り畳んで格納することができる。パネルの分類は以下の通りである。
・View
表示に関する設定
・Camera control
カメラ操作に関する設定
・Panorama
パノラマ表示
・Preset position
プリセットに関する設定
・Trigger
トリガーに関する設定
・Other
その他の設定
FIG. 10 is a schematic diagram for explaining an operation by the operation panel. The operation panel is a panel for each function, and each panel can be folded and stored. The panel classification is as follows.
・ View
Display settingsCamera control
Settings related to camera operationPanorama
Panorama display / Preset position
Settings related to presets ・ Trigger
Trigger settings-Other
Other settings
各パネルをクリックすると、そのパネルが開くように構成されている。図10(A)は、“View”をクリックした状態を示しており、“View”欄の下にメニューが表示される。一方、図10(B)は、“Camera control”をクリックした状態を示しており、“Camera control”欄の下にメニューが表示される。また、図10(C)はパネル“Camera control”をドラッグした状態を示しており、ドラッグすることによりパネル“Camera control”をフローティングウィンドウにすることができる。 Clicking on each panel opens the panel. FIG. 10A shows a state where “View” is clicked, and a menu is displayed under the “View” column. On the other hand, FIG. 10B shows a state where “Camera control” is clicked, and a menu is displayed under the “Camera control” field. FIG. 10C shows a state where the panel “Camera control” is dragged, and the panel “Camera control” can be made a floating window by dragging.
図11は、パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示している。“Screen Mode”メニューでは、表示モードをノーマルとフルスクリーンに変更できる。“View Size”では、画像の1/4,1/2,等倍,Fitモードを指定できる。Fitモードは現在の表示エリアの大きさに合わせて画像を表示する。“Image Codec” メニューでは、Codecの変更を行うことができる。“Frame Rate”メニューでは、JPEGのフレームレートを変更することができる。動画保存ボタンは動画の保存に、静止画保存ボタンは静止画の保存のために用いる。その他、マイクボリュームスライダー、マイクミュートオン/オフボタン、音声ボリュームスライダー、音声ミュートオン/オフボタン等が設けられている。 FIG. 11 shows a state where menus such as “Screen Mode”, “View Size”, “Image Codec”, and “Frame Rate” are displayed when the panel “View” is clicked. The “Screen Mode” menu allows you to change the display mode between normal and full screen. In “View Size”, you can specify 1/4, 1/2, same size, Fit mode of the image. Fit mode displays images according to the size of the current display area. In “Image Codec” menu, Codec can be changed. In the “Frame Rate” menu, the JPEG frame rate can be changed. The movie save button is used for saving a movie, and the still image save button is used for saving a still image. In addition, a microphone volume slider, a microphone mute on / off button, an audio volume slider, an audio mute on / off button, and the like are provided.
図12は、パネル“Camera”をクリックした場合に表示されるメニューを示している。“Operation Mode”メニューでは、画像上での操作モード切替を行うことができる。パン、チルト制御ボタンでは、矢印方向のボタンを操作することにより、パン、チルト方向を指定することができる。パン、チルト制御ボタンの真中に位置するボタンは、ホームポジションボタンである。ズームボタンは、カメラ端末装置200のズームを指定するボタンであって、光学ズームとデジタルズームの境界が分かるように構成されている。ズームボタンの「W」、「T」を押し続けるとズーム操作が継続して行われる。また、フォーカスボタンは、フォーカスを「遠距離」、「近距離」に設定するために用いられる。その他、ONE PUSH AUTO FOCUSボタン、排他制御の制御権獲得ボタン等の各種ボタンが設けられている。
FIG. 12 shows a menu displayed when the panel “Camera” is clicked. In the “Operation Mode” menu, the operation mode on the image can be switched. With the pan / tilt control buttons, the pan / tilt direction can be specified by operating the buttons in the arrow direction. The button located in the middle of the pan and tilt control buttons is a home position button. The zoom button is a button for designating the zoom of the
図13は、“Preset
position”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示している。“Preset
position”は、予め定められた複数の撮影方向の画像をサムネイル表示したもので、サムネイル画像の1つをクリックして選択することにより、カメラ端末装置200を選択したサムネイル画像の方向に向けることができる。
FIG. 13 shows “Preset
Each menu displayed when clicking “position”, “Trigger”, “Other”, “information” is shown.
“position” is a thumbnail display of images in a plurality of predetermined shooting directions. By clicking and selecting one of the thumbnail images, the
(6)第1のパノラマ画像上での撮影方向の指定
次に、図14〜図18に基づいて、第1のパノラマ画像の表示について説明する。図14は、モニター320の表示画面において、操作パネルの“Preset position”をクリックして第1のパノラマ画像を表示した状態を示す模式図である。なお、操作パネルの右側にはライブ映像が表示されている。上述したように、“Preset position”欄をドラッグして移動することにより、図15に示すように、第1のパノラマ画像が表示されたサブパネルを操作パネルの外に配置することができる。また、第1のパノラマ画像が表示されたサブパネルは表示画面内で移動することができる。
(6) Specification of shooting direction on first panorama image Next, display of the first panorama image will be described with reference to FIGS. FIG. 14 is a schematic diagram showing a state where the first panoramic image is displayed by clicking “Preset position” on the operation panel on the display screen of the monitor 320. A live image is displayed on the right side of the operation panel. As described above, by dragging and moving the “Preset position” column, the sub-panel on which the first panoramic image is displayed can be arranged outside the operation panel as shown in FIG. Further, the sub-panel on which the first panoramic image is displayed can be moved within the display screen.
図16は、第1のパノラマ画像が表示されたサブパネルを詳細に示す模式図である。第1のパノラマ画像には、右側のライブ映像で表示されている画像の方向(カメラ端末装置200の撮像光学系の光軸の向き)が、+印によって示されている。また、図16に示すように、第1のパノラマ画像の右上のパノラマ切替釦をクリックすることにより、第1のパノラマ画像を第2のパノラマ画像に切換えることができる。 FIG. 16 is a schematic diagram showing in detail the sub-panel on which the first panoramic image is displayed. In the first panoramic image, the direction of the image displayed in the live video on the right side (the direction of the optical axis of the imaging optical system of the camera terminal device 200) is indicated by +. Also, as shown in FIG. 16, the first panorama image can be switched to the second panorama image by clicking the panorama switching button at the upper right of the first panorama image.
図17は、第1のパノラマ画像を用いてライブ映像の方向を変更する操作を示している。カメラ端末装置200のパン・チルト方向を変更する場合、上述したパン、チルト制御ボタンによって行うことができるが、第1のパノラマ画像中の任意の点を指定することによっても行うことができる。図17の状態では、+印の方向にカメラ端末装置200の撮像光学系の光軸が向けられ、その方向のライブ映像が表示されている。この状態で図17の第1のパノラマ画像に示す●印の部分をクリックすると、ユーザ操作に応じた操作信号USが制御部310に送られて、これに基づいてカメラ端末装置200の撮像方向制御部204が制御されることにより、●印の方向にカメラ端末装置200の撮像光学系の光軸が向けられる。従って、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わる。
FIG. 17 shows an operation of changing the direction of the live video using the first panoramic image. The pan / tilt direction of the
これにより、ユーザは、第1のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン・チルト方向を指定することができる。第1のパノラマ画像には、カメラ端末装置200が撮影可能なパン・チルト方向の映像が全て含まれていることから、ユーザは、第1のパノラマ画像上でカメラ端末装置200の方向を指定することで、所望の方向のライブ映像を表示することができる。なお、クリックする位置を示す+印の代わりに、所定範囲を囲む枠で領域指定して光軸の向きを制御するようにしても良い。
Thereby, the user can designate the pan / tilt direction of the
第1のパノラマ画像上でカメラ端末装置200の方向を指定した場合に、第1のパノラマ画像の表示状態は変わらずにライブ映像のみが切り換わるモードと、第1のパノラマ画像が回転するモードがある。第1のパノラマ画像が回転するモードでは、図18に示すように、現在ライブ映像が表示されている位置(+印)は第1のパノラマ画像の中心から上方に向かう直線L上に位置するように第1のパノラマ画像の角度位置が設定される。次に第1のパノラマ画像上で●印をクリックすると、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わり、同時に第1のパノラマ画像において●印の位置が直線L上に位置するように第1のパノラマ画像が回転する。従って、ユーザは、第1のパノラマ画像を見ることで、ライブ映像の方向が第1のパノラマ画像の直線L上であることを即座に認識することができる。
When the direction of the
第2のパノラマ画像においても同様に、ユーザは、第2のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン方向を指定することができ、これに基づいてライブ映像の方向を切換えることができる。
Similarly, in the second panorama image, the user can designate the pan direction of the
(7)ポップアップ表示による制御
次に、本実施形態のシステムにおいて、ポップアップ表示による制御について説明する。上述したように、本実施形態のシステムでは、ネットワーク500を介して、複数のカメラ端末装置200にセンターサーバー300、及びクライアント400が接続されている。このため、センターサーバー300またはクライアント400では、複数のカメラ端末装置200のそれぞれで撮像されたライブ映像を表示することができる。
(7) Control by Pop-up Display Next, control by pop-up display in the system of this embodiment will be described. As described above, in the system according to the present embodiment, the
図19は、複数のカメラ端末装置200のそれぞれで撮像されたライブ映像をモニタ320に表示している様子を示す模式図である。ここでは、4つのカメラ端末装置200で撮像された4つのライブ映像(ライブ映像1〜4)を表示している様子を示している。
FIG. 19 is a schematic diagram illustrating a state in which live video captured by each of the plurality of
図19に示すように、4つのライブ映像1〜4の下方には、第2のパノラマ画が表示されている。図17で説明した手法と同様にして、第2のパノラマ画上で任意の位置をクリックすることにより、4つのカメラ端末装置200の撮像方向を制御することができる。この際、任意の1つのライブ映像を撮像する1つのカメラ端末装置200を選択して撮像方向を制御することができる。
As shown in FIG. 19, a second panoramic image is displayed below the four
一方、システムサーバー300が複数備えられており、複数のユーザが各カメラ端末装置200を制御する場合、または1つのシステムサーバー300と複数のクライアント400により複数のユーザが各カメラ端末装置200を制御する場合が考えられる。この場合、複数のユーザが各ライブ映像1〜4に対応するカメラ端末装置200の撮像方向を制御しようとするため、各ユーザによる特定のカメラ端末装置200への制御の指示が競合してしまう場合が想定される。このような場合、複数のユーザが同時に1つのカメラ端末装置200の撮像方向を制御することはできない。このため、本実施形態では、表示されている各ライブ映像について、各ユーザによる制御の指示が競合していない場合は、各ライブ映像1〜4に対応するパノラマ画をポップアップ表示して、そのライブ映像に対応するカメラ端末装置200の制御が可能であることをユーザに示すようにする。これにより、ユーザは、パノラマ画像がポップアップ表示されたライブ映像については、撮像方向などの各種制御が可能であると認識することができ、パノラマ画を用いて図17と同様に撮像方向を制御することができる。
On the other hand, when a plurality of
図19の例では、ライブ映像4の下部にライブ映像4に対応するパノラマ画がポップアップ表示されているため、ユーザは、パノラマ画上で任意の点をクリックすることで、ライブ映像4に対応するカメラ端末装置200の撮像方向を制御することができる。
In the example of FIG. 19, a panorama image corresponding to the
一方、ライブ映像1〜3については、対応するパノラマ画がポップアップ表示されていないため、ユーザは、図19の状態では、ライブ映像1〜3に対応するカメラ端末装置200を制御することはできない。この場合、システムが備える他のシステムサーバ300、クライアント200のいずれかのモニタ上ではライブ映像1〜3に対応するパノラマ画がポップアップ表示されている。従って、他のシステムサーバ300またはクライアントを利用しているユーザは、ライブ映像1〜3に対応するカメラ端末装置200をの撮像方向を制御することができる。ここで、複数存在するシステムサーバ300、クライアント200では、所定時間毎にライブ映像1〜4に対応するパノラマ画を交代でポップアップ表示するものとすることができる。これにより、ユーザは自身が操作する装置(クライアント200またはセンターサーバ300)において、所定時間毎にパノラマ画がポップアップされた際に対応するカメラ端末装置200の撮像方向を制御することができる。
On the other hand, since the corresponding panoramic images are not pop-up displayed for the
図20は、パノラマ画のポップアップ表示を画面の下部にまとめて表示する例を示している。図20の例では、ライブ映像3に対応するパノラマ画とライブ映像4に対応するパノラマ画がポップアップ表示されている。このため、ユーザは、ライブ映像3に対応するパノラマ画とライブ映像4に対応するパノラマ画の一方において、任意の点をクリックすることで、図17と同様にカメラ端末装置200の撮像方向を制御することができる。図20に示すように、ユーザがライブ映像4に対応するパノラマ画上で撮像方向を操作した場合は、ライブ映像4の輪郭が太線で表示されて、現在撮像方向が操作されているライブ映像が「ライブ映像4」であることが示される。これにより、ユーザは複数のライブ映像のうち、撮像方向を操作しているライブ映像を視覚的に認識することができる。なお、ポップアップ表示されるパノラマ画が3つ以上になった場合は、ライブ映像の下方に重ねて表示することで、全てのパノラマ画像を表示することが可能である。
FIG. 20 shows an example in which pop-up displays of panoramic images are displayed together at the bottom of the screen. In the example of FIG. 20, a panoramic image corresponding to the
この場合、複数のユーザによる操作指示の競合を避けるために、センターサーバー300が、ネットワーク500を介して特定のカメラ端末装置200の制御が可能である旨を示す信号を生成する。センターサーバー310の制御部310は、複数のライブ映像1〜4のうち、カメラ端末装置200を制御可能なライブ映像についてはパノラマ画をポップアップ表示する旨の指令を表示処理部305に送る。表示処理部305では、パノラマ画をライブ映像とともにポップアップ表示するようにモニタ320を動作させる。これにより、センターサーバー300を操作しているユーザには、ポップアップ表示されたパノラマ画に対応するカメラ端末装置200が制御可能であることが認識される。また、制御部310は、上述のようにコマンド信号CMを生成して、ネットワークインタフェース部301を介してカメラ端末装置200に供給し、カメラ端末装置20の動作を制御する。この際、制御部310は、ポップアップ表示をしていないライブ映像に対応するカメラ端末装置200に対しては、その動作を制御するためのコマンド信号を生成しないことで、そのカメラ端末装置200が制御できないようにする。更に、制御部310は、いずれかのライブ映像に対応するカメラ端末装置200が制御された場合は、対応するライブ映像を認識させるため、図20に示すような太線の輪郭を表示する旨の指令を表示制御部305へ送る。クライアント400の処理についても同様であり、クライアントは、センターサーバー300から特定のカメラ端末装置200の制御が可能である旨を示す信号を受信した場合は、制御部310から表示処理部305へ、複数のライブ映像1〜4のうちカメラ端末装置200を制御可能なライブ映像についてはパノラマ画をポップアップ表示する旨の指令を送る。これにより、クライアント400においても、ポップアップ表示されたパノラマ画に対応するカメラ端末装置200が制御可能であることを表示することができる。
In this case, the
なお、上述の例では、制御可能なカメラ端末装置200に対応するパノラマ画をポップアップ表示とすることで、ユーザに対してそのカメラ端末装置200の制御が可能であることを認識させるようにしたが、他の手法を用いてもよい。例えば、一覧表示されたライブ映像に対応するパノラマ画像を全て表示し、制御できないカメラ端末装置200に対応するパノラマ画をハーフトーン表示したり、制御可能なカメラ端末装置200に対応するパノラマ画の輪郭を太線で強調して表示するようにしても良い。
In the above example, the panorama image corresponding to the controllable
以上説明したように本実施形態によれば、全体画像(パノラマ画像)の表示状態をみれば、対応するカメラ端末装置200を操作可能であるかどうかを即座に認識することができる。また、パノラマ画像上の任意の点をクリックすることで撮像方向を制御できるため、現在表示されているライブ画像の範囲外にも直感的にカメラ操作を迅速に行うことが可能である。また、複数のカメラで撮影された画像を一覧表示している場合、対応する全体画像(パノラマ画像)の表示状態を見れば、どのカメラが操作可能であるかすぐに分かり、かつ、直感的に操作可能である。更に、一覧表示されている画像には表示されていない箇所を撮影したい場合に、どのカメラかを意識することなく、全体画像上で指示することにより、容易に撮影位置を指定可能である。
As described above, according to the present embodiment, it is possible to immediately recognize whether or not the corresponding
従って、複数のカメラ端末装置200がシステムサーバ300、クライアント200に接続されており、かつ、現に撮影されている画像では所望箇所が撮影されていないときに、全体画像をみれば、どのカメラを制御すれば所望箇所を撮影可能かどうか把握でき、かつ、迅速に操作可能である。
Therefore, when a plurality of
なお、上述した説明では、複数のユーザが各カメラ端末装置200の撮像方向を制御する場合について説明したが、各カメラ端末装置200の撮像方向が固定されており、全体画像の中からユーザの指示に応じた領域の画像のみを切り出して表示するシステム(デジタル的にパン、チルトの制御を行うシステム)への適用も可能である。このシステムは、例えば、システムサーバ300の制御部310がユーザによる撮像方向の操作入力に応じて、全体画像の中から切り出す範囲を指定して表示処理部305による表示制御を行うことで実現される。この場合においても、各ユーザによる特定のカメラ端末装置200への制御の指示が競合することが想定されるが、上述したポップアップ表示を行うことにより、ユーザはデジタル的なパン、チルトの制御が可能か否かを認識することができ、ライブ映像の撮像範囲をデジタル的に制御することができる。以上のように、本システムは、メカ的に撮像方向を制御するシステムのみならず、デジタル的に撮像方向を制御するシステムへの適用が可能である。
In the above description, the case where a plurality of users control the imaging direction of each
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
100 撮像システム
200 カメラ端末装置
300 センターサーバー
301 ネットワークインターフェース部
305 表示処理部
310 制御部
500 ネットワーク
DESCRIPTION OF
Claims (11)
前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、
前記表示制御部は、前記制御部による制御が可能か否かに応じて前記全体画像の表示状態を変更する、制御装置。 Control is performed to display an entire image display area for displaying an entire image captured by the camera, and an enlarged image display area for displaying an enlarged image by enlarging an area corresponding to a position specified by the entire image. A display control unit;
A control unit that controls to change a region corresponding to a position designated on the entire image,
The control device, wherein the display control unit changes a display state of the whole image according to whether control by the control unit is possible.
前記制御装置は、
カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、
前記表示制御部は、前記制御部による制御が可能か否かに応じて前記パノラマ画像の表示状態を変更する、カメラシステム。 A camera system having a camera that captures an image and a control device that controls the camera,
The controller is
Control is performed to display an entire image display area for displaying an entire image captured by the camera, and an enlarged image display area for displaying an enlarged image by enlarging an area corresponding to a position specified by the entire image. A display control unit;
A control unit that controls to change a region corresponding to a position designated on the entire image,
The display control unit is a camera system that changes a display state of the panoramic image according to whether control by the control unit is possible.
前記全体画像上で指定された位置に対応する領域を変化させるように制御する手段、
前記カメラの制御が可能か否かに応じて前記全体画像の表示状態を変更する手段、
としてコンピュータを機能させるためのプログラム。 Control is performed to display an entire image display area for displaying an entire image captured by the camera, and an enlarged image display area for displaying an enlarged image by enlarging an area corresponding to a position specified by the entire image. means,
Means for controlling to change an area corresponding to a designated position on the entire image;
Means for changing a display state of the whole image according to whether or not the control of the camera is possible;
As a program to make the computer function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010073233A JP2011205574A (en) | 2010-03-26 | 2010-03-26 | Control device, camera system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010073233A JP2011205574A (en) | 2010-03-26 | 2010-03-26 | Control device, camera system, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011205574A true JP2011205574A (en) | 2011-10-13 |
Family
ID=44881693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010073233A Withdrawn JP2011205574A (en) | 2010-03-26 | 2010-03-26 | Control device, camera system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011205574A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7434797B2 (en) | 2018-11-30 | 2024-02-21 | 株式会社リコー | Image processing device, imaging device, video playback system, method and program |
-
2010
- 2010-03-26 JP JP2010073233A patent/JP2011205574A/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7434797B2 (en) | 2018-11-30 | 2024-02-21 | 株式会社リコー | Image processing device, imaging device, video playback system, method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11477375B2 (en) | Control device, camera system, and program | |
US11146726B2 (en) | Control device, camera system and program | |
EP1750431B1 (en) | Imaging system, camera control apparatus, panorama image generation method and program therefor | |
JP5682168B2 (en) | Camera device, camera system, control device, and program | |
US20040179121A1 (en) | System and method for displaying captured images according to imaging device position | |
JP2012034151A (en) | Camera device, camera system, control device and program | |
CN110351475B (en) | Image pickup system, information processing apparatus, control method therefor, and storage medium | |
JP2008301191A (en) | Video monitoring system, video monitoring control device, video monitoring control method, and video monitor controlling program | |
JP5464290B2 (en) | Control device, control method, and camera system | |
JP2011205574A (en) | Control device, camera system, and program | |
JP2018174468A (en) | Video display unit, and control method, and program therefor | |
JP2020202503A (en) | Imaging device, computer program, and recording medium | |
JP2019140599A (en) | Information processing apparatus, information processing method, and program | |
JP2019140566A (en) | Information processing apparatus, information processing method, and program | |
JP2020191514A (en) | Information processing unit and information processing method | |
JP2010045539A (en) | Information processor and control method for the same | |
KR20080033573A (en) | Method for setting preset using a virtual map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130604 |