JP4898407B2 - Communication device - Google Patents
Communication device Download PDFInfo
- Publication number
- JP4898407B2 JP4898407B2 JP2006328703A JP2006328703A JP4898407B2 JP 4898407 B2 JP4898407 B2 JP 4898407B2 JP 2006328703 A JP2006328703 A JP 2006328703A JP 2006328703 A JP2006328703 A JP 2006328703A JP 4898407 B2 JP4898407 B2 JP 4898407B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- cradle
- mode
- communication device
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、通信によって映像データを配信する通信装置に関し、単独で動作する自律モードと遠隔の通信相手からの指示を受け付けるリモート操作モードとを併せ持つ通信装置に関する。 The present invention relates to a communication apparatus that distributes video data by the communication relates to a communication device having both a remote operation mode for accepting an instruction from the autonomous mode and the remote communication partner which operates independently.
従来、撮影したライブ映像を、インターネットなどの通信インフラストラクチャを使って配信するとともに、撮影のためのカメラ設定やカメラ操作などを指示する技術が確立され、そのような技術を有する製品が販売されている（例えば、特許文献１参照）。 In the past, live video shot was distributed using communication infrastructures such as the Internet, and technology for instructing camera settings and camera operation for shooting was established, and products with such technology were sold. (For example, refer to Patent Document 1).
特許文献１に記載されたカメラ制御システムは、映像配信に加えて、パン、チルト、ズーム、逆光補正といったカメラ制御を、ネットワークを介して行うことが可能である。また、アクセス制御機能を備え、利用者のアクセス権限に応じて、カメラ制御や映像配信の制限を行うことができる。また、カメラ制御によって撮像される領域に関しても制限することが可能になっている。例えば特権ユーザでは、カメラに備わるズーム機能のすべてを利用できるが、通常ユーザは、ズーム機能の一部(例えば、テレ端を使うことができない）のみ利用可能にするような制限である。またパン機能やチルト機能についても同様である。なお、撮像装置が一体化されたネットワークカメラと、別の撮像装置の映像ソースをネットワークに配信するためのカメラサーバとは、厳密には、区別されるが、明細書中の説明では、ほぼ同一の意味で用いている。 The camera control system described in Patent Literature 1 can perform camera control such as panning, tilting, zooming, and backlight correction over a network in addition to video distribution. In addition, an access control function is provided, and camera control and video distribution can be restricted according to the access authority of the user. Further, it is possible to limit the area to be imaged by camera control. For example, the privileged user can use all of the zoom functions provided in the camera, but the normal user is restricted to use only a part of the zoom function (for example, the tele end cannot be used). The same applies to the pan function and tilt function. Strictly speaking, a network camera in which an imaging device is integrated and a camera server for distributing a video source of another imaging device to a network are distinguished, but in the description in the specification, they are almost the same. The meaning is used.
また、USBなどの機器接続インターフェースを介して、デジタルカメラやデジタルカムコーダーを操作するためのプロトコルとして、PTP(Picture TransferProtocol)が規定されている。PTPでは、デジタルカメラの標準的な撮像設定や撮影映像の受け渡しが可能になっている。一方で、PTPでは、記述できない独自の設定や操作を備えるカメラ機器も存在する。 Further, PTP (Picture Transfer Protocol) is defined as a protocol for operating a digital camera or a digital camcorder via a device connection interface such as USB. With PTP, standard imaging settings for digital cameras and the transfer of captured images are possible. On the other hand, there are camera devices that have unique settings and operations that cannot be described in PTP.
また、ネットワーク通信装置の中には、ネットワーク通信が不可能な場合の障害対策として、映像などの通信データを一時的に保存蓄積し、ネットワーク通信が利用可能になった時点で、保存蓄積したデータをネットワークに送信することができるものがある。 Also, some network communication devices temporarily store and store video and other communication data as a countermeasure against failures when network communication is impossible, and store and store data when network communication becomes available Can be sent to the network.
また、自動撮影カメラ単体技術には、ポートレート撮影に最適な画角をカメラ自身が判断する自動撮影装置を実現するものがある（例えば、特許文献２参照）。 In addition, there is an automatic photographing camera single technology that realizes an automatic photographing device in which the camera itself determines an optimum angle of view for portrait photographing (see, for example, Patent Document 2).
また、画像処理に基づく顔検出技術が実用レベルに供されるようになってきており、画像内の顔領域の検出や顔の方向などを検出する事が可能となっている。また、別途用意した個人別顔特徴パラメータのデータベースを併用する事で、顔画像を使った個人識別(顔認識)も可能となっている。さらに、プライバシー保護のために、利用者の操作により、映像配信サービスを停止する機能を備えるネットワークカメラがある。 In addition, face detection technology based on image processing has come to a practical level, and it is possible to detect a face area in an image, a face direction, and the like. In addition, personal identification (face recognition) using facial images is possible by using a separately prepared database of individual facial feature parameters. Furthermore, there is a network camera having a function of stopping a video distribution service by a user operation for privacy protection.
しかし、ネットワーク上でサービスされているカメラ制御可能なカメラサーバやネットワークカメラであって、リモート操作モードと自律モードとを併せ持つ場合、自律モード自体の制約やリモート操作モードに対する相対的な機能不足などが生じる。したがって、装置自体の自立的な処理結果に従って動作する自律モードを活用することが難しいという問題があった。特に、撮像部と通信部とが着脱可能に構成された場合、撮像部の動作状況、あるいは、通信状況の影響などから、上記の問題が一層顕著となる。 However, when a camera server or network camera that can be controlled on a network and has a remote operation mode and an autonomous mode, there are restrictions on the autonomous mode itself and lack of relative functions for the remote operation mode. Arise. Therefore, there is a problem that it is difficult to utilize the autonomous mode that operates according to the independent processing result of the device itself. In particular, when the imaging unit and the communication unit are configured to be detachable, the above problem becomes more conspicuous due to the operation status of the imaging unit or the influence of the communication status.
本発明は、このような問題に鑑みてなされたものであり、撮像部と着脱可能に構成された映像通信装置において、自律モード動作をより積極的に活用することができる通信装置を提供することを目的とする。 The present invention has been made in view of such a problem, and provides a communication device that can more actively utilize an autonomous mode operation in a video communication device configured to be detachable from an imaging unit. With the goal.
上記課題を解決するため、本発明は撮像部が装着される通信装置であって、前記通信装置に装着された撮像部により撮像された画像から顔を検出する検出手段と、前記通信装置に装着された撮像部が、ネットワーク経由の操作コマンドに従って動作するリモート操作モードで動作するか、前記ネットワーク経由の操作コマンドに従って動作せず、前記撮像部による撮像画像の前記通信装置による処理結果に従って動作する自律モードで動作するかを、前記検出手段による顔の検出に基づいて判定する判定手段と、前記通信装置に装着された撮像部が前記リモート操作モードであると前記判定手段により判定された場合、前記撮像部の撮像方向を変更するための駆動部の制御可能範囲を第１の範囲とし、前記通信装置に装着された撮像部が前記自律モードであると前記判定手段により判定された場合、前記駆動部の制御可能範囲を前記第１の範囲よりも広い第２の範囲とする制御手段とを有し、前記判定手段は、前記検出手段により検出された顔の数が所定数に達したことに応じて、前記リモート操作モードから前記自律モードに切り替える。 In order to solve the above-described problems, the present invention provides a communication device to which an imaging unit is attached, a detection unit that detects a face from an image captured by an imaging unit attached to the communication device, and the communication device The captured imaging unit operates in a remote operation mode that operates according to an operation command via the network, or does not operate according to the operation command via the network, and operates according to a processing result by the communication device of a captured image by the imaging unit. A determination unit that determines whether to operate in a mode based on detection of a face by the detection unit, and the determination unit that the imaging unit attached to the communication device is in the remote operation mode, The controllable range of the drive unit for changing the imaging direction of the imaging unit is a first range, and the imaging unit mounted on the communication device is If it is determined by said determining means that the law mode, have a control unit for a wide second range than the first range controllable range of the drive unit, said determining means, said detection When the number of faces detected by the means reaches a predetermined number, the remote operation mode is switched to the autonomous mode.
本発明によれば、撮像部と通信部とが着脱可能に構成された映像通信装置において、自律モードとリモート操作モード、それぞれの動作モードを活用することができる。また、自律モード動作時の機能自由度を高める事ができる。また、自律モード動作時に、より多くの内部状態を周囲に知らせる事ができる。さらに、動き検知、追尾、顔検出などの自動動作や自動撮影の各アルゴリズムやルールを自律モードとリモート操作モードとで使い分けることができる。 According to the present invention, an autonomous mode and a remote operation mode can be utilized in a video communication device in which an imaging unit and a communication unit are configured to be detachable. Moreover, the functional freedom at the time of autonomous mode operation | movement can be raised. In addition, during the autonomous mode operation, more internal states can be notified to the surroundings. Furthermore, algorithms and rules for automatic operations such as motion detection, tracking, and face detection, and automatic shooting can be used separately in the autonomous mode and the remote operation mode.
以下、本発明の実施形態を、図面を参照して説明する。
[第1の実施形態]
第1の実施形態は、撮像部と着脱可能に構成された映像通信装置が、撮像部に備えられたモード切替スイッチの操作に応じて、リモート操作モードと自律モードとを移行する。そして、リモート操作モード時に領域制限されていたパン範囲やチルト範囲を、自律モード動作時に制限緩和させるものである。ここで、自律モードとは自立的な処理結果に従って動作するモードをいう。
Embodiments of the present invention will be described below with reference to the drawings.
[First embodiment]
In the first embodiment, a video communication device configured to be detachable from an imaging unit shifts between a remote operation mode and an autonomous mode in accordance with an operation of a mode switch provided in the imaging unit. Then, the panning and tilting ranges that are limited in the remote operation mode are relaxed when the autonomous mode is operating. Here, the autonomous mode refers to a mode that operates according to an independent processing result.
撮像部は、広く普及しているデジタルカメラで構成され、映像通信装置は、そのデジタルカメラ用クレードルとして構成されている点に特徴がある。ここで、本実施形態におけるクレードルとは、デジタルカメラ用のスタンド型の拡張装置であり、デジタルカメラ本体を載せるだけで接続され、ネットワーク接続機能や充電機能やセンサー入出力機能ならびにパン・チルト機能などを提供するものである。これによって、映像通信機能を備えるクレードル装置が、デジタルカメラ操作によって得られる映像データを、リモート操作時の制約なく、適切に取得、保存、あるいは、配信することができる。 The imaging unit is configured by a widely used digital camera, and the video communication apparatus is characterized by being configured as a cradle for the digital camera. Here, the cradle in this embodiment is a stand-type expansion device for a digital camera, which is connected by simply placing the digital camera body, and has a network connection function, a charging function, a sensor input / output function, a pan / tilt function, etc. Is to provide. Accordingly, the cradle device having the video communication function can appropriately acquire, store, or distribute the video data obtained by the digital camera operation without restrictions during remote operation.
具体的に図面を参照して説明する。図１は、本発明を用いた実施形態の典型的な利用形態を示した図である。101はクレードルであり、102と103とはビューワ側の操作表示端末である。クレードル101には、デジタルカメラのカメラ110が着脱可能である。クレードル101と操作表示端末102、103はそれぞれネットワーク150に接続されている。 This will be specifically described with reference to the drawings. FIG. 1 is a diagram showing a typical usage pattern of an embodiment using the present invention. 101 is a cradle, and 102 and 103 are operation display terminals on the viewer side. A digital camera 110 can be attached to and detached from the cradle 101. The cradle 101 and the operation display terminals 102 and 103 are connected to the network 150, respectively.
操作表示端末102 からネットワーク150を介してリクエストがクレードル101へ送られ、これが受け入れられるとクレードル101から操作表示端末102へ映像データが配送され、操作表示端末102で映像を見ることが可能となる。また、操作表示端末102からカメラ制御コマンドがクレードル101へ送られ、カメラ110又はクレードル101のズーム、パン、チルト動作などの操作が可能となる。操作表示端末103も同様にカメラ110又はクレードル101のズーム、パン、チルト動作などの操作が可能である。 A request is sent from the operation display terminal 102 to the cradle 101 via the network 150. When this request is accepted, the video data is delivered from the cradle 101 to the operation display terminal 102, and the operation display terminal 102 can view the video. In addition, a camera control command is sent from the operation display terminal 102 to the cradle 101, and operations such as zooming, panning and tilting operations of the camera 110 or the cradle 101 become possible. Similarly, the operation display terminal 103 can perform operations such as zoom, pan, and tilt operations of the camera 110 or the cradle 101.
また、120はネットワーク接続型の記憶装置(Network Attached Storage。以下、NASという)であって、ネットワークに接続した他の機器から、データの保存あるいはデータの参照の要求を受け付ける。NAS120は、家庭用NAS、業務用の大規模NAS、あるいはインターネット上のストレージサービスであってもよい。また。ネットワーク150は企業あるいは組織内で運用されるイントラネット、インターネット、家庭内で運用されているホームネットワークであってもよい。さらに、媒体が有線であっても、無線であっても構わない。 Reference numeral 120 denotes a network-attached storage device (hereinafter referred to as NAS), which accepts data storage or data reference requests from other devices connected to the network. The NAS 120 may be a home NAS, a large-scale NAS for business use, or a storage service on the Internet. Also. The network 150 may be an intranet operated in a company or an organization, the Internet, or a home network operated in a home. Furthermore, the medium may be wired or wireless.
図2はクレードル101およびカメラ110の機能ブロックを示した図である。これらの機能ブロックには、クレードル101ないしカメラ110上のソフトウェアおよびハードウェアが実装されている。ソフトウェアで実装された機能は、図示しないが、クレードル101あるいはカメラ110に内蔵するプロセッサやメモリによって実行される。また、ハードウェアで実装された機能は、プロセッサやメモリと内部接続されている。 FIG. 2 is a diagram showing functional blocks of the cradle 101 and the camera 110. Software and hardware on the cradle 101 or the camera 110 are mounted on these functional blocks. Functions implemented by software are executed by a processor or memory built in the cradle 101 or the camera 110, although not shown. In addition, functions implemented by hardware are internally connected to a processor and a memory.
カメラ110は、画像撮影部211、画像圧縮部212、画像記憶部213、ファインダ表示部214、操作スイッチ部215、外部IF制御部216、カメラ制御部217、ストロボ制御部218からなっている。すなわち、カメラ110は、デジタルカメラとしての基本機能を備えている。
The camera 110 includes an
画像撮影部211は、レンズ、撮像デバイス、映像信号処理回路等からなる。画像圧縮部212は、撮像部211から得られたデジタル画像データを静止画であればJPEG等で、動画であればMotionJPEGやMPEG4等で圧縮する。圧縮した画像データは画像記憶部213にファイルとして記録される。ファインダ表示部214は、撮像部211の画像や撮影した画像、その他の操作GUIを表示し、そのためのレリーズや画質等の設定変更等は操作スイッチ215を用いて行うことができる。また、光学ファインダの代わりに映像を見ながら画角が設定できるようになっている。
The
外部IF制御部216はカメラ110が外部機器との制御信号あるいは電源のやり取りをする部分であり、USB（Universal Serial Bus）に準拠する。この外部IF制御部216を経由して、クレードル101からデジタルカメラ110の制御コマンドを受け取ったり、画像データをクレードル101に入出力する。なお、外部IF制御部216にカメラの駆動ならびに充電用の電源IFが含んでいてもよい。 The external IF control unit 216 is a part where the camera 110 exchanges control signals or power with an external device, and conforms to USB (Universal Serial Bus). Via this external IF control unit 216, a control command for the digital camera 110 is received from the cradle 101, and image data is input to and output from the cradle 101. The external IF control unit 216 may include a power source IF for driving and charging the camera.
また、ストロボ制御部218を有している。設定記憶部219 は、操作スイッチ部215あるいはクレードル101からのコマンドによって設定された設定値を記憶する。なお、カメラ110は、固体を識別するためのID(デジタルカメラ識別子)が含まれており、書き換え不可能な状態で設定記憶部219に記憶されている。
In addition, a
本実施形態における自律モードとリモート操作モードとのモード切替は、操作スイッチ部215の操作によって実現されている。具体的には、クレードル101内部のデータ一時記憶部227に保持する動作モード状態情報を、自律モード及びリモート操作モードのうち、いずれか一方に書き換える。
The mode switching between the autonomous mode and the remote operation mode in the present embodiment is realized by operating the
クレードル101は、パン・チルト駆動部231、ロック機構制御部232、雲台制御部221、クレードル制御部222、外部IF制御部223、ネットワーク制御部224、画像記憶部225、センサー入力部226、データ一時記憶部227からなる。
The cradle 101 includes a pan / tilt drive unit 231, a lock mechanism control unit 232, a pan head control unit 221, a
パン・チルト駆動部231はカメラ110のパン・チルト駆動を行う。雲台制御部221はパン・チルト駆動部231の制御を行う。クレードル制御部222 はクレードル全体の制御を行う。
The pan / tilt driving unit 231 performs pan / tilt driving of the camera 110. The pan head control unit 221 controls the pan / tilt drive unit 231. The
外部IF制御部223は、カメラ110 への電源供給ならびにカメラ110を制御するためのインターフェース制御部である。この外部IF制御部223は、USBに準拠し、外部IF制御部216と接続して、カメラ110に制御コマンドを送ったり、カメラ110からの撮影画像データなどの入出力を行う。なお、カメラ110が装着された時に、クレードルは101は、カメラ110の外部IF制御部216とクレードル101の外部IF制御部223が電気的に接続されるような接続機構を有している。カメラ110が装着されているか否かは、この外部IF制御部223において電源あるいはUSBの電気的特性から判断できるようになっている。
The external IF
ネットワーク制御部224は、操作表示端末102、103と接続して制御コマンド等をやり取りするネットワークインタフェースである。ネットワーク制御部224は、ネットワーク150経由での操作表示端末102や103からの制御コマンドを解釈しカメラ110および雲台制御部221を制御するとともに、撮影画像をネットワーク150経由で操作表示端末102、103などに送る。画像記憶部225はカメラ110で撮影した画像を記憶するハードディスク等の記憶デバイスである。 The network control unit 224 is a network interface that is connected to the operation display terminals 102 and 103 to exchange control commands and the like. The network control unit 224 interprets a control command from the operation display terminals 102 and 103 via the network 150 to control the camera 110 and the pan head control unit 221, and at the same time, captures the captured image via the network 150 via the operation display terminals 102 and 103. Send to etc. The image storage unit 225 is a storage device such as a hard disk that stores images taken by the camera 110.
センサー入力部226は、 人感センサー等の外部センサーからの信号をトリガとして取り出す部分である。データ一時記憶部227は、カメラ110に設定すべきデータ等を一時的に記憶しておく。クレードル101がネットワーク150経由で操作表示端末102、103から受け取るコマンドは、以下のようにカテゴリ分けされる。
(1)セッションコマンド：クレードルと操作表示端末との間で、事前にセッションを確立する必要があるコマンドが存在する。そのためのセッション制御用コマンドが規定されている。
(2)カメラ制御コマンド：デジタルカメラへのアクセスに排他制御が必要な操作コマンドのために、カメラ制御権を受け渡しするためのコマンドが規定されている。カメラ制御権を保持している操作表示端末はカメラ制御操作が可能となる。なお、デジタルカメラの制御だけでなく、クレードル(雲台)に関する一部のコマンドについては、カメラ制御権が必要なため、このコマンドカテゴリに含まれる。
(3)カメラブラウズコマンド：デジタルカメラの内部状態(画像記憶部内容を含む)に関する操作である。
(4)カメラ設定コマンド：デジタルカメラの設定を変更する操作である。
(5)クレードルブラウズコマンド：クレードルの内部状態(画像記憶部内容を含む)に関する操作である。
(6)クレードル設定コマンド：クレードルの設定を変更する操作である。
The sensor input unit 226 is a part that takes out a signal from an external sensor such as a human sensor as a trigger. The data temporary storage unit 227 temporarily stores data to be set in the camera 110. The commands that the cradle 101 receives from the operation display terminals 102 and 103 via the network 150 are categorized as follows.
(1) Session command: There is a command that needs to establish a session in advance between the cradle and the operation display terminal. A session control command is defined for this purpose.
(2) Camera control command: A command for passing a camera control right is defined for an operation command that requires exclusive control to access a digital camera. An operation display terminal holding the camera control right can perform a camera control operation. In addition to the control of the digital camera, some commands related to the cradle (head) are included in this command category because a camera control right is required.
(3) Camera browse command: An operation relating to the internal state of the digital camera (including the contents of the image storage unit).
(4) Camera setting command: An operation for changing the setting of the digital camera.
(5) Cradle browse command: An operation related to the internal state of the cradle (including the contents of the image storage unit).
(6) Cradle setting command: An operation for changing the setting of the cradle.
次に、クレードル101の動作フローについて説明する。図3は、クレードル101の大まかな動作フローを説明する図である。クレードル101の動作モードにはクレードルモードと監視モードとの2通りがある。クレードルモードはクレードル101にカメラ110が装着されていない時の動作モード、監視モードはカメラ110が装着された時の動作モードである。監視モードコマンドとは、(2)カメラ制御コマンドならびに(3)カメラブラウズコマンドを指す。 Next, the operation flow of the cradle 101 will be described. FIG. 3 is a diagram for explaining a rough operation flow of the cradle 101. There are two operation modes of the cradle 101: a cradle mode and a monitoring mode. The cradle mode is an operation mode when the camera 110 is not attached to the cradle 101, and the monitoring mode is an operation mode when the camera 110 is attached. The surveillance mode command refers to (2) camera control command and (3) camera browse command.
クレードル101を起動(S301)すると、S302で初期化処理を行った後、クレードル101上にカメラ110が装着されているかどうかを確認して、クレードルモード動作(S304)ないし監視モード動作(S305)を開始する。クレードルモード動作(S311)を開始すると、クレードルモードの初期化処理(後述のS421)を行い、クレードル101で発生したイベント待ち、ないし操作表示端末102、103からのコマンド待ちとなる(S313)。なお、本実施形態においてイベントとは、クレードル101にカメラ110が装着された、外された、センサー226が検知した、センサー226が検知しなくなった、カメラ110の状態が変わった等である。また、コマンドは前述の通りである。 When the cradle 101 is activated (S301), after initialization processing is performed in S302, it is confirmed whether the camera 110 is mounted on the cradle 101, and the cradle mode operation (S304) or the monitoring mode operation (S305) is performed. Start. When the cradle mode operation (S311) is started, a cradle mode initialization process (S421 described later) is performed, and an event generated in the cradle 101 or a command from the operation display terminals 102 and 103 is waited (S313). In the present embodiment, the event is that the camera 110 is attached to or removed from the cradle 101, the sensor 226 detects that the sensor 226 stops detecting, the state of the camera 110 changes, or the like. The commands are as described above.
ここで、カメラが装着されたイベントであれば(S314)、監視モードの動作を開始する(S315)。すなわち、S331に移動する。次にセッションコマンドであれば(S316)、(1)セッションコマンドで述べたセッションの開始・終了処理を行う(S317)。次に監視モードコマンドであった場合には(S318)、カメラ110が装着されていないのでコマンドは受け付けず、エラーを操作表示端末102、103に返す(S319)。なお、監視モードコマンド以外のコマンド、すなわち(4)カメラ設定コマンド、(5)クレードルブラウズコマンド、(6)クレードル設定コマンドの時には(S320)、それぞれのコマンドに対応した動作を行う（S321）。また、センサーイベント(S322)なら、このモードでは無視する(S323)。電源OFFなら終了し(S325)、そうでなければそれ以外の処理を行う(S326)。 If the event is that the camera is mounted (S314), the monitoring mode operation is started (S315). That is, the process moves to S331. If it is a session command (S316), the session start / end processing described in (1) Session command is performed (S317). Next, when the command is a monitoring mode command (S318), the camera 110 is not attached and the command is not accepted, and an error is returned to the operation display terminals 102 and 103 (S319). When a command other than the monitoring mode command, that is, (4) camera setting command, (5) cradle browse command, or (6) cradle setting command (S320), an operation corresponding to each command is performed (S321). If it is a sensor event (S322), it is ignored in this mode (S323). If the power is OFF, the process is terminated (S325). Otherwise, other processes are performed (S326).
一方、監視モード動作(S331)を開始すると、監視モードの初期化処理(S332、後述のS401) を行う。次に、クレードルモード動作同様に、クレードル101で発生したイベント待ち、ないし操作表示端末102、103からのコマンド待ちとなる(S333)。ここで、カメラ110が取り外されたイベントであれば(S334)、セッションの確立しているすべての操作表示端末102、103に対してカメラ110が取り外された警告を通知する(S345)と共に、クレードルモードの動作を開始する(S336)。すなわち、S421に移る。次に、セッションコマンドであれば(S337)、(1)セッションコマンドで述べたセッションの開始・終了処理を行う(S338)。次に、監視モードコマンドであった場合(S339)、すなわち(2)カメラ制御コマンド、(3)カメラブラウズコマンドであった場合には、コマンドを受け付けて実行する(S340)。 On the other hand, when the monitoring mode operation (S331) is started, a monitoring mode initialization process (S332, S401 described later) is performed. Next, as in the cradle mode operation, the system waits for an event occurring in the cradle 101 or waits for a command from the operation display terminals 102 and 103 (S333). If the event is that the camera 110 has been removed (S334), a warning that the camera 110 has been removed is sent to all operation display terminals 102 and 103 that have established sessions (S345), and the cradle The mode operation is started (S336). That is, the process proceeds to S421. If it is a session command (S337), the session start / end processing described in (1) Session command is performed (S338). Next, when it is a monitoring mode command (S339), that is, when it is a (2) camera control command and (3) a camera browse command, the command is received and executed (S340).
なお、監視モードコマンド以外のコマンド、すなわち(4)カメラ設定コマンド、(5)クレードルブラウズコマンド、(6)クレードル設定コマンドの時には(S341)、それぞれのコマンドに対応した動作を行う(S342）。また、センサーイベントならば(S343）、後述のイベント処理を行う(S344、図14)。電源OFFなら終了し(S346)、そうでなければそれ以外の処理を行う(S347)。 When a command other than the monitoring mode command, that is, (4) camera setting command, (5) cradle browse command, and (6) cradle setting command (S341), an operation corresponding to each command is performed (S342). If it is a sensor event (S343), event processing described later is performed (S344, FIG. 14). If the power is OFF, the process ends (S346). Otherwise, other processes are performed (S347).
図4は、クレードル101の初期化処理を説明する図である。初期化処理とは、監視モード初期化処理(S332)とクレードルモード初期化処理(S312)をさす。 FIG. 4 is a diagram for explaining the initialization process of the cradle 101. The initialization processing refers to monitoring mode initialization processing (S332) and cradle mode initialization processing (S312).
監視モード初期化処理S401では、まずカメラ電源がON状態でなければON状態にし(S402)、カメラ110が保持しているカメラID(デジタルカメラ識別子)をクレードル101で受け付けるか否かのカメラ認証処理を行う(S403)。クレードル101側には受け付けるカメラIDがあらかじめ登録されているものとする。認証で問題なければ、カメラ110からクレードル設定データを読み込む(S404)。ここで、クレードル設定データとは、基本的にはクレードル設定コマンドのパラメータと同様であり、後述のGUIを用いてカメラ側で設定および変更される(図12)。項目としては、クレードル設定コマンドで設定できる項目と同じであり、IPアドレス設定、通知先メールアドレス、アクセス許可アドレス、パスワード、プリセット、検知領域、PT制限範囲、センサー設定である。内容はクレードル設定コマンドと同等なので説明を省略する。 In the monitoring mode initialization process S401, first, if the camera power is not turned on, the camera is turned on (S402), and the camera authentication process for determining whether or not the cradle 101 accepts the camera ID (digital camera identifier) held by the camera 110. Is performed (S403). Assume that the camera ID to be received is registered in advance on the cradle 101 side. If there is no problem in authentication, the cradle setting data is read from the camera 110 (S404). Here, the cradle setting data is basically the same as the parameter of the cradle setting command, and is set and changed on the camera side using a GUI described later (FIG. 12). The items are the same as those that can be set by the cradle setting command, and are IP address setting, notification destination e-mail address, access permission address, password, preset, detection area, PT restriction range, and sensor setting. Since the content is the same as the cradle setting command, the description is omitted.
次に、後述のクレードルのデータ一時記憶部227に監視モードパラメータデータがあれば、監視モードでカメラが動作するのに最適なカメラ設定値、各種撮影パラメータとして設定する(S405）。カメラ110に対して、監視モードのパラメータ(後述)を設定するフェーズ(S406)と、カメラ自体を監視モードに設定するフェーズ(S407)とからなる。次に、カメラボタンを勝手に操作できないように無効化し(S408)、S404でカメラ110から読み込んだクレードル設定データをクレードル101に設定して有効にする(S409)。さらにクレードル設定データにしたがって、雲台位置をホームポジションに初期化する(S410)。 Next, if there is monitoring mode parameter data in the data storage unit 227 of the cradle described later, it is set as an optimal camera setting value and various shooting parameters for operating the camera in the monitoring mode (S405). The camera 110 includes a phase (S406) for setting a monitoring mode parameter (described later) and a phase (S407) for setting the camera itself to the monitoring mode. Next, the camera button is invalidated so that it cannot be operated arbitrarily (S408), and the cradle setting data read from the camera 110 in S404 is set in the cradle 101 and validated (S409). Further, the pan head position is initialized to the home position according to the cradle setting data (S410).
次に、接続しているすべての操作表示装置に対して、監視モードに設定された旨通知し(S411)、カメラ110を休止モードに設定する(S412)。なお、休止モードとは、カメラ電源を入れてすぐに撮影できる状態のことである。例えば、カメラ110のレンズを繰り出した状態のまま、カメラ110の電源をオフにする。 Next, all connected operation display devices are notified that the monitoring mode has been set (S411), and the camera 110 is set to the sleep mode (S412). Note that the sleep mode is a state in which shooting can be performed immediately after the camera is turned on. For example, the camera 110 is turned off with the lens of the camera 110 extended.
クレードルモード初期化処理S421では、カメラ110が取り外されたので、雲台のパン・チルト位置を機構的にカメラが装着しやすい位置に移動し(S422)、さらに接続しているすべての操作表示端末に通知する(S423)。 In cradle mode initialization processing S421, since the camera 110 has been removed, the pan / tilt position of the camera platform is moved to a position where the camera can be mechanically easily mounted (S422), and all connected operation display terminals Is notified (S423).
なお、監視モードパラメータとは、デジタルカメラを手持ち状態ではなくクレードルに装着した状態で使う、あるいは画像を送信するということを念頭に、撮影条件を考慮したカメラのパラメータであり、次のようなパラメータからなる。
[画像サイズならびに画質設定] 監視モードでは、通信を考慮して通常撮影時は、画像サイズ(解像度)を小さく、画質を低く設定する。ただし、後述の連写モードでは複数サイズ・画質での連写の設定も可能とする。
[ドライブモード設定] 1度のレリーズトリガーにより、1枚ないし連続撮影が指定可能。
また、画像サイズ、画質の異なる画像連写も可能である。連写時は、操作表示部への送信するためのデータとローカルで保持する画像サイズ・画質を別にしてもよい。
[低速シャッタ設定] 露出決定時の手ブレ限界は手持ち撮影よりも低く設定することが可能である。
[焦点設定] 焦点設定方法。オートフォーカスの範囲を、例えば室内で使うことを前提に制限することで、オートフォーカスの速度を上げることができる。あるいは、設置環境によっては焦点位置固定でもかまわない場合には、そのような設定にしてもよい。
Note that the monitoring mode parameters are camera parameters that take into account the shooting conditions in consideration that the digital camera is used in a cradle instead of being held by hand, or an image is transmitted. Consists of.
[Image Size and Image Quality Settings] In the monitoring mode, the image size (resolution) is set to a small value and the image quality is set to a low value during normal shooting in consideration of communication. However, in the continuous shooting mode, which will be described later, it is possible to set continuous shooting with a plurality of sizes and image quality.
[Drive mode setting] Single or continuous shooting can be specified with one release trigger.
In addition, continuous shooting with different image sizes and image quality is possible. During continuous shooting, the data to be transmitted to the operation display unit may be different from the image size / image quality held locally.
[Low-speed shutter setting] The camera shake limit at the time of determining the exposure can be set lower than that in hand-held shooting.
[Focus setting] How to set the focus. By limiting the autofocus range on the assumption that it is used indoors, for example, the autofocus speed can be increased. Alternatively, such a setting may be used when the focal position may be fixed depending on the installation environment.
図5は、クレードル101のセッションコマンド処理を説明する図である。監視モード、クレードルモードとも同じフローで説明する。操作表示端末からの接続要求を受け取ると(S501)、まずアクセス権があるか否を認証する(S502)。アクセス権がなければ、アクセス権エラーを返すが(S512)、アクセス可能であれば、接続確立処理を行い(S504)、アドレスリストに登録する(S505)。なお、アドレスリストとは、現在接続中のすべての操作表示端末のアドレスからなるリストであり、例えばIPアドレス1、IPアドレス2、IPアドレス3、・・・、IPアドレスN （Nは可変）のようにリストされる。
FIG. 5 is a diagram for explaining session command processing of the cradle 101. The monitoring flow and cradle mode will be described with the same flow. When a connection request is received from the operation display terminal (S501), it is first authenticated whether or not there is an access right (S502). If there is no access right, an access right error is returned (S512), but if access is possible, connection establishment processing is performed (S504) and registered in the address list (S505). The address list is a list of addresses of all operation display terminals that are currently connected. For example, IP address 1,
さらに監視モードであれば、操作表示端末に現在監視モードである旨応答を返し(S507)、カメラ電源がONになっているか否かを確認しONになってなければ、ONにする(S508)。カメラがファインダ取得モードになっていなければ、ファインダ取得モードに設定し(S509)、ファインダ画像を接続要求のあった操作表示端末に継続的に送信し始める(S510)。したがって、接続中のすべての操作表示端末に上記アドレスリストに沿ってファインダ画像が送信されることになる。 If it is in the monitoring mode, a response indicating that it is in the current monitoring mode is returned to the operation display terminal (S507), and it is confirmed whether or not the camera power is turned on. . If the camera is not in the finder acquisition mode, the finder acquisition mode is set (S509), and the finder image is continuously transmitted to the operation display terminal that requested the connection (S510). Accordingly, the finder image is transmitted along all the address lists to all connected operation display terminals.
なお、ファインダ取得モードとは、カメラからファインダ画像を取得している状態であり、1つの操作表示端末にもファインダ画像を送付していない状態では、非ファインダ取得モードである。ここで、監視モードでなければ、カメラがないためファインダ画像は取得できないので、S507〜S510の処理は不要である。ただクレードルモードである旨の応答を操作表示端末に返すだけである(S511)。ところで、ファインダ画像とは、デジタルカメラに装着されている液晶に表示されるべき画像のことであり、カメラの高解像度画像を撮影する際に、低解像度で動画表示される画像である。デジタルカメラ110から電子データとしてクレードル101に取り出せるようになっている。 The finder acquisition mode is a state in which a finder image is acquired from the camera, and is a non-finder acquisition mode in a state in which the finder image is not sent to one operation display terminal. Here, if it is not in the monitoring mode, a finder image cannot be acquired because there is no camera, so the processing of S507 to S510 is unnecessary. It simply returns a response indicating that it is in the cradle mode to the operation display terminal (S511). By the way, a finder image is an image to be displayed on a liquid crystal attached to a digital camera, and is an image displayed as a moving image at a low resolution when a high-resolution image of the camera is taken. The digital camera 110 can extract the electronic data to the cradle 101.
次に、操作表示端末からの切断要求を受け取ると(S521)、基本的には接続要求と逆の処理を行う。すなわち、監視モードであれば、ファインダ画像の送信を終了し(S523)、他に接続中の操作表示端末がなければ、ファインダ取得モードをやめて(S525)、カメラを休止モードに設定する(S526)。さらに、監視モードにかかわらず切断要求のあった操作表示端末のアドレスをアドレスリストから削除する(S527)。 Next, when a disconnection request is received from the operation display terminal (S521), basically the reverse process of the connection request is performed. That is, if it is in the monitoring mode, transmission of the finder image is terminated (S523), and if there is no other connected operation display terminal, the finder acquisition mode is stopped (S525), and the camera is set to the sleep mode (S526). . Further, the address of the operation display terminal that has been requested to be disconnected is deleted from the address list regardless of the monitoring mode (S527).
図6は、カメラ制御の開始・終了を説明する図である。操作表示端末は、(2)カメラ制御コマンドないし(3)カメラブラウズコマンドを発行するに先立ち、必ずカメラ制御権を取得し保持している必要がある。クレードル101は、カメラ制御権取得要求を受け取ると(S601)、まずカメラ制御に関するアクセス権を確認する(S602)。その後、カメラ操作が許可されている操作表示端末であれば、カメラ制御権が取れるか否か、すなわち、他にカメラ制御権を持っている操作表示端末があるか否かを確認する(S604)。制御権が空いていれば、制御権を付与し(S605)、カメラ110をクレードル101に機構的にロックすることで、これからカメラ制御しようとしている時にカメラが取り外されるのを防止する(S606)。 FIG. 6 is a diagram illustrating the start / end of camera control. Prior to issuing the (2) camera control command or the (3) camera browse command, the operation display terminal must always acquire and hold the camera control right. Upon receiving the camera control right acquisition request (S601), the cradle 101 first confirms the access right related to camera control (S602). After that, if the operation display terminal is permitted to operate the camera, it is confirmed whether or not the camera control right can be obtained, that is, whether or not there is another operation display terminal having the camera control right (S604). . If the control right is available, the control right is given (S605), and the camera 110 is mechanically locked to the cradle 101, thereby preventing the camera from being removed when the camera is about to be controlled (S606).
制御権に空きが無い、すなわち制御権を他の操作表示端末が保持している場合には、制御権待ち応答を返し(S607)、順番待ち処理をする(S608、S609)。順番待ち処理の方法は、例えば、待ち行列に一定時間ないし一定回数並んで、順番が回ってこなかったらあきらめるような処理である。制御権を付与システムが動作していればよく、ここでは本質ではないので詳述は省く。最終的に、制御権が取れなければ、制御権取得エラー応答を返し(S610)、カメラ制御できない旨を、操作表示端末に伝える。制御権が不要になった操作表示端末は、制御権解放要求を発行する。クレードル101がこれを受け取ると(S621)、カメラ110の機構的ロックを外し(S622)、制御権を解放する(S623)。こうした仕組みにより、同時にカメラ110への複数操作表示端末からの操作を調停していると共に、カメラ制御中にカメラ110が取り外されることを防止する。 When there is no available control right, that is, when another operation display terminal holds the control right, a control right wait response is returned (S607), and the waiting process is performed (S608, S609). The order waiting process is, for example, a process in which a queue is arranged for a certain time or a certain number of times and is given up if the order does not come. The control right granting system only needs to be operating, and since it is not essential here, detailed description is omitted. Finally, if the control right cannot be obtained, a control right acquisition error response is returned (S610), and the operation display terminal is informed that the camera cannot be controlled. The operation display terminal that no longer requires the control right issues a control right release request. When the cradle 101 receives this (S621), the mechanical lock of the camera 110 is released (S622), and the control right is released (S623). With such a mechanism, the operation from the multiple operation display terminal to the camera 110 is arbitrated at the same time, and the camera 110 is prevented from being removed during the camera control.
図7は、(2)カメラ制御コマンドないし(3)カメラブラウズコマンドの処理を説明する図である。カメラ制御コマンドないしカメラブラウズコマンドは、制御権を取得した操作表示端末から発行される。(2)カメラ制御コマンドを受け取った場合には(S701)、コマンド発信元の操作表示端末が制御権を保持しているか否かを確認し(S702、S703)、制御権を保持していなければエラーを返す(S706)。 FIG. 7 is a diagram for explaining processing of (2) camera control command to (3) camera browse command. The camera control command or camera browse command is issued from the operation display terminal that has acquired the control right. (2) If a camera control command is received (S701), check whether the command display source operation display terminal holds the control right (S702, S703), and if the control right is not held An error is returned (S706).
次に、制御権を保持していればカメラ制御コマンドに応じた処理を行う(S704)。そして、コマンド処理の結果が成功ないしエラーとなったかについて応答として操作表示端末に返す(S705)。カメラ制御コマンドに応じた処理は、外部IF制御部(USB)を経由してカメラ110に、カメラ制御コマンドに相当するPTP(Picture Transfer Protocol)コマンドあるいは独自コマンドを発行することで実現される。 Next, if the control right is held, processing according to the camera control command is performed (S704). Then, it returns to the operation display terminal as a response whether the result of the command processing is a success or an error (S705). The processing according to the camera control command is realized by issuing a PTP (Picture Transfer Protocol) command corresponding to the camera control command or a unique command to the camera 110 via the external IF control unit (USB).
なお、パン・チルトの制御要求である場合には、クレードル101の雲台制御部221へ送られる。例えば、シャッターのレリーズ要求であれば、レリーズ要求PTPコマンドをカメラ110に送ることで、カメラ110のレリーズボタンを押したのと同様の撮影処理を行う。そして、撮影した画像をカメラ110の画像記憶部213ないしクレードル101の画像記憶部225に保存する。なお、カメラ110の画像記憶部213ないしクレードルの画像記憶部225のどちらに保存するかは、カメラ制御コマンドの引数で選択可能である。カメラ制御コマンドの引数で明示的に保存先を選択されない場合には、撮影した映像をクレードル101の画像記憶部225に制限付き保存する。 In the case of a pan / tilt control request, the pan / tilt control request is sent to the pan head control unit 221 of the cradle 101. For example, in the case of a shutter release request, a release request PTP command is sent to the camera 110 to perform the same shooting process as when the release button of the camera 110 is pressed. Then, the photographed image is stored in the image storage unit 213 of the camera 110 or the image storage unit 225 of the cradle 101. Note that the image storage unit 213 of the camera 110 or the image storage unit 225 of the cradle can be selected by an argument of a camera control command. When the storage destination is not explicitly selected by the argument of the camera control command, the captured video is stored in the image storage unit 225 of the cradle 101 with restriction.
ズーム制御であれば、カメラ110にズーム要求PTPコマンドを送ることで、デジタルカメラ110のズームを制御する。また、露出設定要求の場合は、次回のレリーズ要求による撮影時のカメラ110の露出値が変わる。なお、レリーズ半押し要求の場合には、手動によるシャッタボタン半押し操作と同様に、その時点での露出や焦点位置等を保持する。露出や焦点位置等の保持は、次にレリーズ半押し要求の解除かレリーズ要求があるまでの間、保持される。なお、カメラ制御コマンドは、上述したものに限らないが、ここでは、割愛する。 In the case of zoom control, the zoom of the digital camera 110 is controlled by sending a zoom request PTP command to the camera 110. In the case of an exposure setting request, the exposure value of the camera 110 at the time of shooting due to the next release request changes. In the case of a release half-press request, the exposure, focus position, and the like at that time are held in the same manner as a manual shutter button half-press operation. The exposure, focus position, and the like are held until the next release half-press request is released or a release request is issued. The camera control commands are not limited to those described above, but are omitted here.
また、(3)カメラブラウズコマンドを受け取った場合(S721)、すなわち、カメラ内の画像記憶部213に保存されている画像をブラウズする要求を受け取った場合についても制御権がある場合にのみコマンド実行を許可する。これは、カメラ制御コマンドの処理と同様である(S722、S723)。また、コマンド処理の結果が成功ないしエラーとなったかについて応答として操作表示端末に返す点も同様である(S725、S726)。なお、パン・チルト制御ならびにズーム制御の実行に際しては、図12で説明されるPT制御範囲に設定された範囲内となるように実行される。ズーム制御に関しても同様である。 Also, when (3) Camera browse command is received (S721), that is, when a request to browse an image stored in the image storage unit 213 in the camera is received, the command is executed only when there is a control right. Allow. This is the same as the camera control command processing (S722, S723). The same is true in that whether the result of the command processing is successful or an error is returned to the operation display terminal as a response (S725, S726). Note that the pan / tilt control and the zoom control are executed so as to be within the range set in the PT control range described in FIG. The same applies to zoom control.
図8は、(4)カメラ設定コマンドの処理を説明する図である。カメラ設定要求を受け取ると、アクセス権の有無を確認後(S802)、設定が許可されているかを確認し(S803)、設定が許可されているのであれば、次に、クレードル101が監視モードであるか否かを確認する(S804)。監視モード時にはカメラ110がクレードル101に装着されているので、さらに、制御権を保持していれば(S805)、カメラ110 に対して即座に設定値を設定する(S807)。ここで、制御権を保持していなければ、エラーを返し、制御権を取る必要があることを操作表示端末に返す(S808)。 FIG. 8 is a diagram for explaining (4) camera setting command processing. When the camera setting request is received, it is confirmed whether or not the access right is granted (S802), whether the setting is permitted (S803), and if the setting is permitted, the cradle 101 is next in the monitoring mode. It is confirmed whether or not there is (S804). Since the camera 110 is mounted on the cradle 101 in the monitoring mode, if the control right is held (S805), the setting value is immediately set for the camera 110 (S807). Here, if the control right is not held, an error is returned, and it is returned to the operation display terminal that it is necessary to take the control right (S808).
監視モードでない時、すなわちカメラ110がクレードル101に装着されてない時には、カメラ設定値をクレードル101の一時記憶領域227に保存する。次にカメラが装着された時に監視モード初期化処理の中のS405でカメラ110に読み込まれて設定される。 When not in the monitoring mode, that is, when the camera 110 is not attached to the cradle 101, the camera setting value is stored in the temporary storage area 227 of the cradle 101. Next, when the camera is mounted, it is read into the camera 110 and set in S405 in the monitoring mode initialization process.
図9は、(5)クレードルブラウズコマンド、(6)クレードル設定コマンドの処理を説明する図である。すなわち、アクセス権を確認後、コマンドに応じた処理を実行する(S902)。なお、この2種類のコマンドについては、クレードル101内で処理可能であるため、個別のブラウズ対象ファイルあるいは設定項目に競合がない限り、複数の操作表示端末からの要求を同時に処理できる。通常のマルチタスクOS同様の仕組みによる処理であるためである。 FIG. 9 is a diagram illustrating processing of (5) cradle browse command and (6) cradle setting command. That is, after confirming the access right, processing corresponding to the command is executed (S902). Since these two types of commands can be processed in the cradle 101, requests from a plurality of operation display terminals can be processed at the same time as long as there is no conflict in individual browsing target files or setting items. This is because the process is the same as a normal multitasking OS.
なお、アクセス権については、 (1)セッションコマンド、(2)カメラ制御コマンド、(3)カメラブラウズコマンド、(4)カメラ設定コマンド、(5)クレードルブラウズコマンド、(6)クレードル設定コマンド毎に異なるアクセス権を設定できる。例えば、(4)カメラ設定コマンド、(6)クレードル設定コマンドについて、カメラ所有者のみ実行可能とする。アクセス権の設定方法は、アドレスリスト、アドレスの範囲、等各種制限方法があるが、ここでは省略する。 Note that access rights differ depending on (1) session command, (2) camera control command, (3) camera browse command, (4) camera setting command, (5) cradle browse command, and (6) cradle setting command. You can set access rights. For example, only the camera owner can execute (4) camera setting command and (6) cradle setting command. The access right setting method includes various restriction methods such as an address list and an address range, but is omitted here.
図10は、操作表示端末からクレードル101への要求コマンドのパケットデータ形式を説明する図である。次に、カメラ110の動作フローについて説明する。カメラ110側については、これまでも述べたようにUSB経由でカメラ制御、カメラブラウズ、カメラ設定に対応した制御がなされる。これらについては、PTP準拠の方法なので説明を割愛する。なお、クレードル101の装着中にカメラ110の専用リモコン(赤外線や無線LANなどが典型的に利用される)の操作により、手動でシャッタレリーズされた場合には、図7のシャッターレリーズのカメラ制御要求と同様に処理される。明示的に保存先を指定できる点も同様である。ただし、明示的に指定されない場合の処理は異なる。 FIG. 10 is a diagram for explaining a packet data format of a request command from the operation display terminal to the cradle 101. Next, the operation flow of the camera 110 will be described. On the camera 110 side, as described above, control corresponding to camera control, camera browsing, and camera setting is performed via USB. Since these are PTP compliant methods, explanations are omitted. If the shutter release is manually performed by operating the dedicated remote control of the camera 110 (infrared or wireless LAN is typically used) while the cradle 101 is attached, the camera control request for the shutter release shown in FIG. It is processed in the same way. The same is true in that the save destination can be specified explicitly. However, the processing when not explicitly specified is different.
手動シャッターレリーズ(ローカルシャッターと呼ぶ事もある)の場合には、カメラの画像記憶部213およびクレードルの画像記憶部225の両方に保存される。いずれかの記憶容量が不足する場合には、制限付き保存されている映像データを、NAS120に移動した上で、容量を確保し、保存する。この際、NAS120へ移動する映像データについては、サムネール映像を作成し、そのサムネール映像に、移動先のNAS120へのリンク情報を関連付けして、クレードル101側に保存する。 In the case of a manual shutter release (sometimes referred to as a local shutter), it is stored in both the image storage unit 213 of the camera and the image storage unit 225 of the cradle. If any of the storage capacities is insufficient, the video data stored with restrictions is moved to the NAS 120, and the capacity is secured and stored. At this time, for the video data to be transferred to the NAS 120, a thumbnail video is created, and link information to the destination NAS 120 is associated with the thumbnail video and stored on the cradle 101 side.
図11は、クレードル101からカメラ110を取り外した時のカメラ110の動作を説明する図である。カメラ110をクレードル101から取り外すと、カメラ側では取り外しを検知して、監視モードのカメラ設定を解除し(S1102)、無効化されているボタンを有効化し(S1103)、レンズを沈胴させて電源をOFFするようになっている(S1104)。 FIG. 11 is a diagram for explaining the operation of the camera 110 when the camera 110 is removed from the cradle 101. When the camera 110 is removed from the cradle 101, the removal is detected on the camera side, the camera setting in the surveillance mode is canceled (S1102), the disabled button is enabled (S1103), the lens is retracted and the power is turned on. It is turned off (S1104).
図12は、カメラを用いたクレードルの設定操作を説明する図である。図12は、カメラ110の操作パネル面である。121がカメラ(裏側)、122が表示パネルでLCD等で構成される。123が操作スイッチ類(並びや機能等の詳細は省略する)、124 がレリーズボタン、125が電源スイッチである。 FIG. 12 is a diagram illustrating a cradle setting operation using a camera. FIG. 12 is an operation panel surface of the camera 110. 121 is a camera (back side), 122 is a display panel, which is composed of an LCD or the like. 123 is an operation switch (details of arrangement and functions are omitted), 124 is a release button, and 125 is a power switch.
カメラ110は、表示パネル122と操作スイッチ類123を用いて、通常のカメラの設定操作に加えて、(6)クレードル設定コマンドと同等の内容が設定変更できるような操作GUIを備える。クレードル101から取り外し、かつカメラ電源がONの状態で、ユーザがクレードル設定モードのGUIに切り替えると図12の122に示すようなクレードル101の設定GUIが表示される。GUI上にはクレードルの設定項目が操作スイッチ123を用いて選択できるよう並んでいる。さらに、クレードル設定のために各項目を選択すると、項目毎の値を設定するためのパネルになり、値を設定する。
The camera 110 includes an operation GUI that can change the setting equivalent to the (6) cradle setting command in addition to the normal camera setting operation using the
例えば、項目として『アクセス権』を選択すると、アドレスリストとアクセスを許可するコマンドカテゴリとが表示され、許可するアドレスの追加、編集、ならびにアクセス許可のコマンドカテゴリの選択ができる。また、『PT 制御範囲』を選択すれば、パン・チルトの動作範囲の制限ができるため、パン・チルト角度範囲の入力・変更操作が可能となる。 For example, when “access right” is selected as an item, an address list and a command category for which access is permitted are displayed, and an allowed address can be added and edited, and a command category for access permission can be selected. Also, if “PT control range” is selected, the pan / tilt operation range can be limited, so that the pan / tilt angle range can be input / changed.
ここで設定されたクレードル設定値は、監視モード初期化処理のうちの図４のS404におけるカメラ110からクレードルデータを取得する際に用いられる。なお、設定値のカメラ110への入力方法については、表示パネルでのGUIに限らず、操作スイッチの利用や二次元コード撮影などの方法であっても良い。なお、操作表示端末からの(6)クレードル設定コマンドを許可しないようにクレードルに設定した場合、クレードル設定をカメラに限定できる。これによって、ネットワーク経由での各種設定を防止できるため、より安全な運用を行う事ができる。 The cradle setting value set here is used when acquiring the cradle data from the camera 110 in S404 of FIG. 4 in the monitoring mode initialization process. Note that the method for inputting the set value to the camera 110 is not limited to the GUI on the display panel, but may be a method such as using an operation switch or photographing a two-dimensional code. When the cradle is set so as not to allow the (6) cradle setting command from the operation display terminal, the cradle setting can be limited to the camera. As a result, various settings over the network can be prevented, so that safer operation can be performed.
図13は、操作表示端末側の処理について説明する図である。図13には操作表示端末102、103の画面例を示す。この例では、PCのようなマウス・キーボードを用いてGUI操作できる操作表示端末側を想定している。操作表示端末は、上記に説明したコマンドをクレードル101に対して発行して、クレードルないしカメラ操作を行う。 FIG. 13 is a diagram illustrating processing on the operation display terminal side. FIG. 13 shows a screen example of the operation display terminals 102 and 103. In this example, an operation display terminal side capable of GUI operation using a mouse / keyboard such as a PC is assumed. The operation display terminal issues the above-described command to the cradle 101 to perform a cradle or camera operation.
131はファインダ画像表示部、132はカメラ操作パネル、133 は画像表示部、134は画像ブラウズパネルである。ファインダ画像表示部131にはファインダ画像が表示される。カメラ操作パネル132は、制御権取得ボタン1321、操作終了ボタン1322、レリーズボタン1323、レリーズ半押しのON/OFFトグルスイッチ1324、ズームスクローラー1325、パン・チルト制御ボタン1326〜1329から構成される。
131 is a viewfinder image display unit, 132 is a camera operation panel, 133 is an image display unit, and 134 is an image browse panel. A finder image is displayed on the finder
画像表示部133には、カメラから取得した高解像度の画像が表示される。画像ブラウズパネル134は、カメラ110ないしクレードル101内の画像をサムネール画像リスト1343を用いてブラウズする。1341、1342はクレードル101かカメラ110どちらの画像をブラウズするかを選択するトグルスイッチである。
The image display unit 133 displays a high-resolution image acquired from the camera. The
操作表示端末から図13のような操作画面を有する接続アプリケーションソフトを接続先のクレードル101のアドレスを指定して起動(起動後に指定してもよい)する。すると、これまで述べたような手続きによる接続処理をおこなって、カメラ110のファインダー画像を取得して131に表示する。 The connection application software having the operation screen as shown in FIG. 13 is activated from the operation display terminal by designating the address of the cradle 101 of the connection destination (may be designated after activation). Then, the connection process according to the procedure described so far is performed, and the finder image of the camera 110 is acquired and displayed on 131.
制御権取得ボタン1321を押して制御権が取得できれば、ズームスクローラー1325、パン・チルト制御ボタン1326〜1329等を用いてパン・チルト角度やズーム値をファインダ画像131を見ながら変更し、適切な制御値を指定できる。ユーザは必要なら1324でシャッタボタン半押し状態にして露出や焦点をロックし、さらにパン・チルト角度やズーム値を変更した後にレリーズボタン1323を押下することで、撮影を行う。
If you can acquire the control right by pressing the control
撮影された画像は、設定項目に従い、一旦カメラ110ないしクレードル101に保存されるが、さらに操作表示端末にも送信され、画像表示部133に表示される。また、カメラ内の画像をブラウズしたい場合には、制御権取得ボタン1321によって制御権を取得した状態で、カメラボタン1342を押下すると、カメラ内の画像アイコン(サムネイル画像)を134上でブラウズできるようになる。ここで、必要な画像アイコンをダブルクリックすると、画像表示部133に高解像度画像として詳細表示される。なお、クレードルボタン1341は、カメラ制御権の保持状態に関係なく選択して、クレードル内の画像アイコンのブラウズならびに高解像度画像詳細表示が可能である。
The captured image is temporarily stored in the camera 110 or the cradle 101 according to the setting item, but is further transmitted to the operation display terminal and displayed on the image display unit 133. Also, if you want to browse the images in the camera, you can browse the image icons (thumbnail images) in the camera by pressing the
なお、接続時の操作表示端末からの応答(ステップS507、S511)によって、クレードル101が監視モードになっているかクレードルモードかを判断し、ファインダー画像表示部131ならびにカメラ操作パネル132の表示状態が変わる。すなわち、監視モードであれば、131、132のGUIは表示されるが、クレードルモードであれば不要であるので、無効化されるか131、132のGUI自体を表示しないようにする。また、カメラ101が取り外された、装着された等の変化によっても、ステップS411、S423から応答が返ってくるので、同様にクレードル101のクレードルモード、監視モードの状態を判断して、操作表示端末のGUIが変化するようになっている。
Note that the display state of the finder
図14は、クレードル101のセンサーイベント検出時の自動動作を説明する図である。例えば、監視モードにおいてセンサーイベントが発生した場合などである。図14では、動き検知141 、追尾142の2 つの動作について説明する。
FIG. 14 is a diagram for explaining an automatic operation when the sensor event of the cradle 101 is detected. For example, when a sensor event occurs in the monitoring mode. In FIG. 14, two operations of
まず、動き検知でのセンサーイベント処理141について説明する。 センサーイベントがあると(S1401)、カメラのクレードル101へのロック状態を確認後、ロック状態とし(S1402)、カメラ電源を休止モードからON状態 にする(S1403)。さらに、動き検知処理をON にする(S1404)。動き検知処理とは、例えば、ファンダー画像を取得し、前画像フレームと現画像フレームとの差分を計算するいわゆるフレーム間差分処理等で、動きの有無を検出する処理である。
First,
さらに、動きがあった位置に応じて、複数あるカメラの自動焦点合わせのための測距点のうち適切な測距点を設定する(S1405)。次にカメラのレリーズを制御して、高解像度撮影を行い、クレードル101ないしカメラ110内に画像を蓄積してゆく(S1406)。一定時間の間、動きが検出されなくなるまで以上を繰り返す(S1407)。動きが検出されなくなったら、動き検知処理をOFFにし(S1408)、カメラを休止モードに設定(S1409)、ロック状態を解除して(S1410)、センサーイベント処理を終了する。なお、ここでは動き検知のアルゴリズムにこだわるものではなく、画像から動きが検出できれば良いものとする。 Furthermore, an appropriate distance measuring point is set among the distance measuring points for automatic focusing of a plurality of cameras according to the position where the movement has occurred (S1405). Next, the release of the camera is controlled, high-resolution shooting is performed, and images are accumulated in the cradle 101 or the camera 110 (S1406). The above is repeated until no motion is detected for a certain time (S1407). When no motion is detected, the motion detection process is turned off (S1408), the camera is set to the sleep mode (S1409), the lock state is released (S1410), and the sensor event process is terminated. It should be noted that here, it is not limited to the motion detection algorithm, and it is sufficient that the motion can be detected from the image.
次に追尾142動作を説明する。ほぼ動き検知141と同様であるが、追尾処理に起因する撮像系のブレを防止するため、レリーズが終わるまで、パン・チルト動作を一時的に停止する点(S1425)が異なる。なお、追尾のアルゴリズムについては、例えばS1404の動き検知処理をベースに動きのあった点が中心になるように追尾しても良いし、画像から対象物を検出して検出した対象物が中心になるように、追尾処理してもよい。いずれにしても、141の動き検知処理、142の追尾処理ともにカメラのファンダー画像を用いて、クレードル101内で処理する。
Next, the tracking 142 operation will be described. This is substantially the same as the
この時、クレードル101は、カメラ110の操作スイッチ部215の操作結果(動作モード状態情報)から、リモート操作モードと自律モードとを判断し、以下のように動作する。まず、リモート操作モードの場合、S1427のパン・チルト動作は、図7で説明したカメラ制御コマンドの処理と同様に、図12で説明したPT制御範囲に設定された範囲内となるように実行される。S1406のレリーズ制御の動作も、ズームやフォト撮影の解像度、ならびに、映像の圧縮率(Q値やビットレート)、ファイル保存サイズ上限などの制約が設定される。一方、自律モードの場合、S1427のパン・チルト動作では、PT制御範囲の設定に関わらず、動作可能となる。さらに、S1406のレリーズ制御でのズームやフォト撮影の解像度制限も同様である。圧縮率やファイル保存サイズ制限なども、設定による制限ではなく、ストレージ容量やハードウェア性能によって制限される。
At this time, the cradle 101 determines the remote operation mode and the autonomous mode from the operation result (operation mode state information) of the
ところで、以上の説明では、操作表示端末からの制御がない場合を説明しているが、操作表示端末での制御中にセンサーイベントがあった場合でも、操作表示端末からの制御に割り込んで、強制的に141ないし142の動作を行っても良い。逆に、操作表示端末での制御中には、141ないし142の動作を抑制するような実施形態であってもよい。
By the way, in the above explanation, the case where there is no control from the operation display terminal is explained, but even if there is a sensor event during the control on the operation display terminal, the control from the operation display terminal is interrupted and forced. Specifically, the
以上の構成で、撮像部と着脱可能に構成された映像通信装置が、撮像部に備えられたモード切替スイッチの操作に応じて、リモート操作モードと自律モードとを移行する。そして、リモート操作モード時に領域制限されていたパン移動範囲制限、チルト移動範囲制限及びズーム範囲制限のうち少なくとも一つを、自律モード動作時には制限緩和し、自由度が高い動作を行うことができる自律モードにすることが可能となる。ここで、自律モード動作時に制限緩和し、自由度の高い動作をする自律モード動作を高自由度自律モード動作という。 With the above configuration, the video communication device configured to be detachable from the imaging unit shifts between the remote operation mode and the autonomous mode in accordance with the operation of the mode switch provided in the imaging unit. In addition, at least one of pan movement range restriction, tilt movement range restriction, and zoom range restriction, which was restricted in the remote operation mode, can be relaxed during the autonomous mode operation, and the autonomous operation capable of performing a highly flexible operation. It becomes possible to switch to the mode. Here, the autonomous mode operation in which the restriction is relaxed during the autonomous mode operation and the operation has a high degree of freedom is referred to as a high degree of freedom autonomous mode operation.
特に、本実施形態では、撮像部が広く普及しているデジタルカメラで構成され、映像通信装置がそのデジタルカメラ用クレードルとして構成される点に特徴がある。また、映像通信機能を備えるクレードル装置が、デジタルカメラ操作によって得られる映像データを、リモート操作時の制約なく、適切に取得、保存、あるいは、配信する点に特徴がある。 In particular, the present embodiment is characterized in that the imaging unit is configured by a widely used digital camera, and the video communication device is configured as a cradle for the digital camera. Further, the cradle apparatus having a video communication function is characterized in that video data obtained by digital camera operation is appropriately acquired, stored, or distributed without restrictions during remote operation.
本実施形態では、クレードルに接続される撮像部として、デジタルカメラを用いる例を説明しているが、撮像部は、デジタルカメラに限定されない。デジタルビデオカメラ(カムコーダー)やUSBカメラやIEEE1394カメラを利用してもよい。また、クレードルとカメラの接続方法も、USBに限定されない。例えば、より広帯域の独自インターフェースで接続することで、映像の受け渡しを容易に行うことができる。 In this embodiment, an example in which a digital camera is used as the imaging unit connected to the cradle has been described. However, the imaging unit is not limited to a digital camera. A digital video camera (camcorder), USB camera, or IEEE1394 camera may be used. Also, the method of connecting the cradle and camera is not limited to USB. For example, video can be easily exchanged by connecting with a wider-band unique interface.
本実施形態では、単純に、パン・チルト制御範囲などの制限項目を緩和する例について説明しているが、パン・チルト制御範囲など各種設定項目について、自律モード設定とリモート操作モード設定とを個別に設定可能であってもよい。さらに、それぞれの項目に優先順位があってもよい。さらに、センサーイベント発生や動き検知の感度、あるいは、パン・チルト、ズームの速度といった設定項目も、自律モード設定とリモート操作モード設定とにそれぞれ保持してもよい。 In this embodiment, an example is described in which the restriction items such as the pan / tilt control range are simply relaxed. However, the autonomous mode setting and the remote operation mode setting are individually set for various setting items such as the pan / tilt control range. May be settable. Furthermore, each item may have a priority. Furthermore, setting items such as sensor event occurrence and motion detection sensitivity, pan / tilt, and zoom speed may be held in the autonomous mode setting and the remote operation mode setting, respectively.
本実施形態では、撮像部(デジタルカメラ)に備えられたモード切替スイッチの操作に応じて、リモート操作モードと自律モードとを移行する例について説明しているが、モード切替スイッチは、映像通信装置(クレードル)に備えられていてもよい。あるいは、赤外線リモコン等の外部センサーやネットワーク経由のコマンドをトリガーとして、モードを切替えてもよい。またこれらのトリガー間で優先順位を設けることができる。このように、撮像部又はクレードルの操作スイッチ、外部センサー及びネットワーク経由の操作コマンドのうちいずれか一つをトリガーとして動作モードを切替する構成を受動的動作モード切替手段という。 In the present embodiment, an example in which the remote operation mode and the autonomous mode are shifted according to the operation of the mode change switch provided in the imaging unit (digital camera) is described. However, the mode change switch is a video communication device. (Cradle) may be provided. Alternatively, the mode may be switched using an external sensor such as an infrared remote controller or a command via a network as a trigger. Priorities can be set between these triggers. In this way, a configuration in which the operation mode is switched by using any one of the operation switch of the imaging unit or the cradle, the external sensor, and the operation command via the network as a trigger is referred to as a passive operation mode switching unit.
本実施形態では、リモート操作モード動作時のパン・チルト、ズーム範囲制限を、自律モード動作時に緩和する例について説明しているが、個々の機能のパラメータレベルの差異ではなく、特定の機能の提供の可否を変更してもよい。例えば、自律モード動作時のみ、デジタルカメラを用いたフォト撮影(高度撮影)を実行可能とし、リモート操作モード動作時には、その機能を提供しないことも考えられる。ここで、フォト撮影の機能の可否を切替える構成をフォト撮影許可手段という。 In this embodiment, an example is described in which pan / tilt and zoom range restrictions during remote operation mode operation are relaxed during autonomous mode operation. However, a specific function is provided instead of a difference in parameter level between individual functions. You may change whether or not. For example, it may be possible to perform photo shooting (advanced shooting) using a digital camera only during the autonomous mode operation, and not provide the function during the remote operation mode operation. Here, the configuration for switching whether or not the photo shooting function is enabled is referred to as photo shooting permission means.
本実施形態では、リモート操作モード時も自律モード時も、同一の画像処理アルゴリズムを利用して、動き検知や追尾を行う例について説明しているが、処理アルゴリズム自体を変更してもよい。例えば、リモート操作モード時の追尾動作には、本実施形態同様に動き領域や対象物を中心とするような追尾動作をする。一方で、自律モード時には、画面内の複数の顔領域を検出し、それぞれの顔の視線方向ベクトルから、追尾動作を算出するようにして画像処理のアルゴリズムを変更させてもよい。動き検知、追尾及び後述する顔検出のうちいずれかの画像処理のアルゴリズムを変更させてもよい。 In the present embodiment, an example in which motion detection and tracking are performed using the same image processing algorithm in both the remote operation mode and the autonomous mode has been described. However, the processing algorithm itself may be changed. For example, in the tracking operation in the remote operation mode, a tracking operation centering on the motion region or the object is performed as in the present embodiment. On the other hand, in the autonomous mode, a plurality of face regions in the screen may be detected, and the tracking operation may be calculated from the gaze direction vector of each face to change the image processing algorithm. Any of the image processing algorithms of motion detection, tracking, and face detection described later may be changed.
本実施形態では、リモート操作モード動作時のパン・チルト制御範囲などの制限項目を、自律モード動作時に緩和する例について説明しているが、動作の差異は、これに限定されない。例えば、リモート操作モード動作時よりも多くの項目のクレードル内部状態変化について、LEDや音声出力する内部状態拡張出力手段を用意した上で、自律モード動作時には、内部状態拡張出力手段を利用してもよい。この内部状態拡張出力手段は、撮像部又は通信装置に備わる出力デバイスや、ネットワーク経由で出力することができる。 In the present embodiment, an example in which restriction items such as a pan / tilt control range during the remote operation mode operation are relaxed during the autonomous mode operation has been described, but the difference in operation is not limited thereto. For example, after preparing internal state extended output means that outputs LEDs and voices for cradle internal state changes of more items than in remote operation mode operation, internal state extended output means can also be used during autonomous mode operation Good. This internal state expansion output means can output via an output device provided in the imaging unit or the communication device or via a network.
本実施形態では、自律モード動作中のネットワーク接続リクエストを拒否していないが、自律モード動作時には、自閉的に通信によるリクエストを受け取らない事で、領域制限されていたパン・チルト範囲を、より安全に制限緩和する事が可能となる。自律モード移行時に、通信によるリクエストの処理優先順位を変更するように実装してもよい。逆に、特別な認証情報を付与された特権リクエストを受信した場合には、自律モードを解除し、リモード操作モードに移行してもよい。 In the present embodiment, the network connection request during the autonomous mode operation is not rejected, but when the autonomous mode operation is performed, the region-limited pan / tilt range is further increased by not receiving the request by communication autonomously. It is possible to relax the restrictions safely. You may implement so that the processing priority of the request | requirement by communication may be changed at the time of autonomous mode transfer. Conversely, when a privileged request with special authentication information is received, the autonomous mode may be canceled and the mode may be changed to the remode operation mode.
[第2の実施形態]
第2の実施形態では、第1の実施形態同様、撮像部と着脱可能に構成された映像通信装置が、リモート操作モードと自律モードとを装備し、リモート操作モード時に領域制限されていたパンチルト範囲を、自律モード動作時には制限緩和する例について説明する。撮像部が広く普及しているデジタルカメラで構成され、映像通信装置がそのデジタルカメラ用クレードルとして構成される点も同様である。本実施形態では、特に、映像通信装置自体の状況判断により、リモート操作モードと自律モードとを移行する点に特徴がある。ここで、通信装置自身の判断に基づいて動作モードを切替える構成を能動的動作モード切替手段という。
[Second Embodiment]
In the second embodiment, as in the first embodiment, the video communication device configured to be detachable from the imaging unit is equipped with the remote operation mode and the autonomous mode, and the pan / tilt range in which the region is limited in the remote operation mode. An example in which the restriction is relaxed during the autonomous mode operation will be described. The same is true in that the imaging unit is configured by a widely used digital camera, and the video communication device is configured as a cradle for the digital camera. The present embodiment is particularly characterized in that it shifts between the remote operation mode and the autonomous mode by determining the situation of the video communication apparatus itself. Here, the configuration for switching the operation mode based on the judgment of the communication device itself is referred to as active operation mode switching means.
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第1の実施形態で説明した通りである。ただし、図14の自動動作の処理内容が、第1の実施形態と異なる。本実施形態における図14の自動動作の処理内容では、動き検知処理や追尾処理に加えて、顔検出処理を行い、検出された顔領域の数や顔方向などの情報を、自律モードとリモート操作モードとのモード切替に反映する。 In the present embodiment, the network connection form, hardware configuration, and the operation of each software are the same as described in the first embodiment. However, the processing content of the automatic operation in FIG. 14 is different from that of the first embodiment. In the processing contents of the automatic operation of FIG. 14 in this embodiment, in addition to the motion detection process and the tracking process, the face detection process is performed, and information such as the number of detected face areas and the face direction is obtained in the autonomous mode and the remote operation. This is reflected in the mode switching with the mode.
具体的には、図１５を用いて説明する。センサーイベント検出時の顔検出動作では、センサーイベントがあると(S1541)、カメラ110のクレードル101へのロック状態を確認後、ロック状態とし(S1542)、カメラ電源を休止モードからON状態 にする(S1543)。 Specifically, this will be described with reference to FIG. In the face detection operation at the time of sensor event detection, if there is a sensor event (S1541), after confirming the locked state of the camera 110 to the cradle 101, it is set to the locked state (S1542), and the camera power is turned on from the sleep mode ( S1543).
さらに、顔検出処理をON にする(S1544)。顔検出処理とは、例えば、ファンダー画像を取得し、画像中のテクスチャや目、鼻、口などの部分領域での類似度照合などから、顔と推定される領域の抽出ならびに顔方向ベクトルなどを検出する処理である。さらに、顔領域が検出された数や位置、顔の向きに応じて、複数あるカメラの自動焦点合わせのための測距点のうち適切な測距点を設定する(S1545)。そして、カメラのレリーズを制御して、高解像度撮影を行い、クレードル101ないしカメラ110内に画像を蓄積してゆく(S1546)。一定時間の間、顔が検出されなくなるまで、以上を繰り返す(S1547)。 Further, the face detection process is turned on (S1544). Face detection processing refers to, for example, acquiring a funder image, extracting a region estimated as a face from a texture, partial similarity such as eyes, nose, and mouth in the image, and a face direction vector. This is a process for detecting. Further, an appropriate distance measuring point is set among the distance measuring points for automatic focusing of a plurality of cameras according to the number and position of face areas detected and the face orientation (S1545). Then, the release of the camera is controlled, high-resolution shooting is performed, and images are accumulated in the cradle 101 or the camera 110 (S1546). The above is repeated until no face is detected for a certain time (S1547).
顔が検出されなくなったら、顔検出処理をOFFにし(S1548)、カメラを休止モードに設定し(S1549)、ロック状態を解除して(S1550)、センサーイベント処理を終了する。なお、ここでは顔検出のアルゴリズムにこだわるものではなく、画像から顔が検出できれば良いものとする。 When the face is no longer detected, the face detection process is turned off (S1548), the camera is set to the sleep mode (S1549), the lock state is released (S1550), and the sensor event process is terminated. It should be noted that here, it is not limited to the face detection algorithm, but it is sufficient that the face can be detected from the image.
この中で、顔領域が3以上検出され、かつ、それが1分以上継続するならば、クレードル104自身の状況判断により、能動的に自律モードへと切替える。反対に、検出された顔領域の数が、3未満となり、かつ、それが1分以上継続するならば、クレードル101自身の状況判断により、能動的にリモート操作モードへと切替える。この切替えは撮像部から入力された映像情報やネットワークインターフェースから入力された通信情報などに基づいて判断するようにできる。 If three or more face regions are detected and continue for one minute or longer, the mode is actively switched to the autonomous mode based on the situation determination of the cradle 104 itself. On the other hand, if the number of detected face areas is less than 3 and it continues for 1 minute or longer, the cradle 101 itself actively switches to the remote operation mode according to the situation determination. This switching can be determined based on video information input from the imaging unit, communication information input from the network interface, or the like.
以上の構成で、撮像部と着脱可能に構成された映像通信装置が、リモート操作モードと自律モードとを装備し、リモート操作モード時に領域制限されていたパン・チルト範囲を、自律モード動作時には制限緩和する事が可能となる。撮像部が広く普及しているデジタルカメラで構成され、映像通信装置がそのデジタルカメラ用クレードルとして構成される点も同様である。 With the above configuration, the video communication device that is configured to be detachable from the imaging unit is equipped with a remote operation mode and an autonomous mode, and the pan / tilt range that was restricted in the remote operation mode is restricted when operating in the autonomous mode. It can be mitigated. The same is true in that the imaging unit is configured by a widely used digital camera, and the video communication device is configured as a cradle for the digital camera.
本実施形態では、特に、映像通信装置自体の状況判断により、リモート操作モードと自律モードとを移行する点に特徴がある。本実施形態では、顔領域の数によって、リモート操作モードと自律モードとを切り替える例について説明した。しかしながら、顔検出と同時に顔認識技術(個人識別技術)を適用することで、事前設定した個人の顔が検出されている期間のみ、自律モードに移行するように実装することができる。 The present embodiment is particularly characterized in that it shifts between the remote operation mode and the autonomous mode by determining the situation of the video communication apparatus itself. In the present embodiment, the example in which the remote operation mode and the autonomous mode are switched depending on the number of face regions has been described. However, by applying the face recognition technology (personal identification technology) simultaneously with the face detection, it can be implemented so as to shift to the autonomous mode only during a period when a preset personal face is detected.
本実施形態では、センサーイベント検知後に、顔検出処理を開始しているが、常時顔検出処理を動作させておき、センサーイベントの発生がなくても、顔検出した時点で、自律モードへ移行してもよい。反対に、自律モードへの移行をトリガーとして、自動動作処理(動き検知や追尾などの処理)を開始してもよい。具体的には、第1の実施形態の操作スイッチ部215の操作のタイミングに、クレードル101 内部の動作モード状態情報を書き換えている処理に代えて、動作モード切替イベントを発行する処理とすればよい。この処理により動作モード切替イベントに応じて動き検知、追尾、顔検出をするための自動撮影を開始したり、フォト撮影をしてもよい。
In this embodiment, the face detection process is started after the sensor event is detected. However, the face detection process is always operated, and even if no sensor event occurs, the mode is shifted to the autonomous mode when the face is detected. May be. Conversely, automatic operation processing (processing such as motion detection and tracking) may be started with the transition to the autonomous mode as a trigger. Specifically, instead of the process of rewriting the operation mode state information in the cradle 101 at the operation timing of the
本実施形態では、顔検出結果を自律モードとリモート操作モードとの移行に利用しているが、さらに、自律モード実行時の振舞いに反映させてもよい。例えば、複数の顔領域の顔方向ベクトルを使って、画面内の人物の多数が向いている方向を算出し、その方向に撮像装置を向けるようにパン・チルトを制御するようにする。 In the present embodiment, the face detection result is used for the transition between the autonomous mode and the remote operation mode. However, the face detection result may be reflected in the behavior when the autonomous mode is executed. For example, by using the face direction vectors of a plurality of face regions, the direction in which many persons on the screen are facing is calculated, and pan / tilt is controlled so that the imaging apparatus is directed in that direction.
上述した本発明の実施形態における通信装置を構成する各手段、並びに通信装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 Each means constituting the communication apparatus and each step of the control method of the communication apparatus in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。 Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus composed of a single device.
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 Note that the present invention supplies a software program that implements the functions of the above-described embodiments directly or remotely to a system or apparatus. This includes the case where the system or apparatus computer also achieves by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
101 クレードル
102 操作表示端末
103 操作表示端末
110 デジタルカメラ
150 ネットワーク
211 画像撮像部
212 画像圧縮部
213 画像記憶部
214 ファインダ表示部
215 操作スイッチ部
216 外部ＩＦ制御部
217 カメラ制御部
218 ストロボ制御部
219 設定値記憶部
221 雲台制御部
222 クレードル制御部
223 外部ＩＦ制御部
224 ネットワーク制御部
225 画像記憶部
226 センサー入力部
227 データ記憶部
231 パン・チルト駆動部
232 ロック機構制御部
101 cradle
102 Operation display terminal
103 Operation display terminal
110 Digital camera
150 network
211 Imaging unit
212 Image compression unit
213 Image storage
214 Viewfinder display
215 Operation switch section
216 External IF controller
217 Camera control unit
218 Strobe controller
219 Setting value storage
221 pan head control unit
222 Cradle control unit
223 External IF controller
224 Network controller
225 Image storage
226 Sensor input section
227 Data storage unit
231 Pan / tilt drive
232 Lock mechanism controller
Claims (2)
前記通信装置に装着された撮像部により撮像された画像から顔を検出する検出手段と、
前記通信装置に装着された撮像部が、ネットワーク経由の操作コマンドに従って動作するリモート操作モードで動作するか、前記ネットワーク経由の操作コマンドに従って動作せず、前記撮像部による撮像画像の前記通信装置による処理結果に従って動作する自律モードで動作するかを、前記検出手段による顔の検出に基づいて判定する判定手段と、
前記通信装置に装着された撮像部が前記リモート操作モードであると前記判定手段により判定された場合、前記撮像部の撮像方向を変更するための駆動部の制御可能範囲を第１の範囲とし、前記通信装置に装着された撮像部が前記自律モードであると前記判定手段により判定された場合、前記駆動部の制御可能範囲を前記第１の範囲よりも広い第２の範囲とする制御手段とを有し、
前記判定手段は、前記検出手段により検出された顔の数が所定数に達したことに応じて、前記リモート操作モードから前記自律モードに切り替えることを特徴とする通信装置。 A communication device to which an imaging unit is attached,
Detecting means for detecting a face from an image captured by an imaging unit attached to the communication device;
An imaging unit attached to the communication device operates in a remote operation mode that operates according to an operation command via a network, or does not operate according to an operation command via the network, and processing of an image captured by the imaging unit by the communication device A determination unit that determines whether to operate in an autonomous mode that operates according to a result based on detection of a face by the detection unit;
If the determination unit determines that the imaging unit attached to the communication device is in the remote operation mode, the controllable range of the drive unit for changing the imaging direction of the imaging unit is a first range, Control means for setting the controllable range of the drive unit to a second range wider than the first range when the determination unit determines that the imaging unit attached to the communication device is in the autonomous mode; I have a,
It said determination means, the communication device number of faces detected by the detection means in response to reaching a predetermined number, and wherein the switching Rukoto from the remote operation mode to the autonomous mode.
前記通信装置に装着された撮像部により撮像された画像から事前設定された顔を検出する検出手段と、
前記通信装置に装着された撮像部が、ネットワーク経由の操作コマンドに従って動作するリモート操作モードで動作するか、前記ネットワーク経由の操作コマンドに従って動作せず、前記撮像部による撮像画像の前記通信装置による処理結果に従って動作する自律モードで動作するかを、前記検出手段による前記事前設定された顔の検出に基づいて判定する判定手段と、
前記通信装置に装着された撮像部が前記リモート操作モードであると前記判定手段により判定された場合、前記撮像部の撮像方向を変更するための駆動部の制御可能範囲を第１の範囲とし、前記通信装置に装着された撮像部が前記自律モードであると前記判定手段により判定された場合、前記駆動部の制御可能範囲を前記第１の範囲よりも広い第２の範囲とする制御手段とを有し、
前記判定手段は、前記検出手段が事前設定された顔を検出したことに応じて、前記リモート操作モードから前記自律モードに切り替えることを特徴とする通信装置。 A communication device to which an imaging unit is attached,
And detecting means for detecting a preset face from the image captured by the imaging unit mounted on the communication device,
An imaging unit attached to the communication device operates in a remote operation mode that operates according to an operation command via a network, or does not operate according to an operation command via the network, and processing of an image captured by the imaging unit by the communication device A determination unit that determines whether to operate in an autonomous mode that operates according to a result based on the detection of the preset face by the detection unit;
If the determination unit determines that the imaging unit attached to the communication device is in the remote operation mode, the controllable range of the drive unit for changing the imaging direction of the imaging unit is a first range, Control means for setting the controllable range of the drive unit to a second range wider than the first range when the determination unit determines that the imaging unit attached to the communication device is in the autonomous mode; Have
Said determining means, said detection means in response to the detection of a preset face communication device characterized that you switch from the remote operation mode to the autonomous mode.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006328703A JP4898407B2 (en) | 2006-12-05 | 2006-12-05 | Communication device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006328703A JP4898407B2 (en) | 2006-12-05 | 2006-12-05 | Communication device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008141704A JP2008141704A (en) | 2008-06-19 |
| JP2008141704A5 JP2008141704A5 (en) | 2010-01-28 |
| JP4898407B2 true JP4898407B2 (en) | 2012-03-14 |
Family
ID=39602667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006328703A Expired - Fee Related JP4898407B2 (en) | 2006-12-05 | 2006-12-05 | Communication device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4898407B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5651951B2 (en) * | 2009-12-28 | 2015-01-14 | ソニー株式会社 | Imaging control apparatus, imaging control method, and program |
| US8605158B2 (en) | 2009-12-28 | 2013-12-10 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
| JP5504887B2 (en) * | 2009-12-28 | 2014-05-28 | ソニー株式会社 | Imaging control apparatus, imaging control method, and program |
| JP2012049781A (en) * | 2010-08-26 | 2012-03-08 | Sharp Corp | Remote control system, remote control method, bidirectional communication system and bidirectional communication method for imaging apparatus |
| JP2013118543A (en) * | 2011-12-05 | 2013-06-13 | Nikon Corp | Electronic device, electronic device system and program |
| JP5783157B2 (en) * | 2012-10-31 | 2015-09-24 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing apparatus control method, and program |
| US10277817B2 (en) | 2014-07-23 | 2019-04-30 | Sony Corporation | Information processing apparatus and information processing method |
| CN106605404B (en) | 2014-09-08 | 2019-04-30 | 富士胶片株式会社 | Initial position setting method, camera and the camera system of camera |
| US10044921B2 (en) | 2016-08-18 | 2018-08-07 | Denso International America, Inc. | Video conferencing support device |
| US10223601B1 (en) | 2017-10-12 | 2019-03-05 | Denso International America, Inc. | Synthetic traffic object generator |
| WO2021003691A1 (en) | 2019-07-10 | 2021-01-14 | 深圳市大疆创新科技有限公司 | Gimbal and camera control method and apparatus |
| JP7344703B2 (en) * | 2019-08-02 | 2023-09-14 | キヤノン株式会社 | Control device and its control method and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10268416A (en) * | 1997-03-28 | 1998-10-09 | Fuji Photo Optical Co Ltd | Remote control tripod universal head device |
| JP3627661B2 (en) * | 2001-02-28 | 2005-03-09 | 松下電工株式会社 | Intercom call method |
| JP4556088B2 (en) * | 2001-05-02 | 2010-10-06 | ソニー株式会社 | Image processing system, image processing apparatus, and control method thereof |
| JP2004260496A (en) * | 2003-02-26 | 2004-09-16 | Mitsubishi Electric Corp | Monitoring device |
| JP2006054785A (en) * | 2004-08-16 | 2006-02-23 | Canon Inc | Photographic apparatus |
-
2006
- 2006-12-05 JP JP2006328703A patent/JP4898407B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008141704A (en) | 2008-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4898407B2 (en) | Communication device | |
| JP4759322B2 (en) | Cradle device, imaging system control method, and computer program | |
| RU2466447C1 (en) | Image capturing device and method of controlling said device | |
| JP4958420B2 (en) | System and control method thereof | |
| KR20120050436A (en) | Control device, control method, image-capturing device, program, and image-capturing system | |
| JP2011024139A (en) | Imaging device, imaging method, program, and imaging system | |
| JP2001136514A (en) | Camera control system, and control method and storage medium thereof | |
| JP2021026463A (en) | Control device and control method of the same, as well as program | |
| JP5847591B2 (en) | Information processing apparatus, information processing method and program for information processing apparatus | |
| JP5517705B2 (en) | Projection device | |
| JP2022021543A (en) | Electronic device and control method therefor | |
| JP5562101B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| WO2019008874A1 (en) | Imaging device, imaging device control method, and program | |
| JP5039607B2 (en) | Imaging apparatus and control method thereof | |
| JP2007288265A (en) | Video communication apparatus and method, and program | |
| JP2012209626A (en) | Conference device, program for conference device and control method | |
| JP4921575B2 (en) | Expansion device, control method, and computer program | |
| JP6277584B2 (en) | Electronics | |
| JP2003289532A (en) | Monitoring camera system and control program thereof | |
| JP6771959B2 (en) | Control devices, communication devices, control methods and programs | |
| JP7431609B2 (en) | Control device and its control method and program | |
| WO2022019134A1 (en) | Electronic device and control method therefor | |
| JP6558449B2 (en) | Electronic device and program | |
| JP2011035882A (en) | Imaging apparatus | |
| JP2017063277A (en) | Display control device and display control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091203 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111226 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4898407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |