JP6327816B2 - 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム - Google Patents

送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム Download PDF

Info

Publication number
JP6327816B2
JP6327816B2 JP2013190476A JP2013190476A JP6327816B2 JP 6327816 B2 JP6327816 B2 JP 6327816B2 JP 2013190476 A JP2013190476 A JP 2013190476A JP 2013190476 A JP2013190476 A JP 2013190476A JP 6327816 B2 JP6327816 B2 JP 6327816B2
Authority
JP
Japan
Prior art keywords
image
metadata
network
receiving
information indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013190476A
Other languages
English (en)
Other versions
JP2015056846A (ja
Inventor
崇博 岩崎
崇博 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013190476A priority Critical patent/JP6327816B2/ja
Priority to US14/485,449 priority patent/US10356302B2/en
Publication of JP2015056846A publication Critical patent/JP2015056846A/ja
Application granted granted Critical
Publication of JP6327816B2 publication Critical patent/JP6327816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/328Processing of the additional information
    • H04N2201/3283Compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Computing Systems (AREA)

Description

本発明は、送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラムに関するものである。特に、送信装置から出力される画像及び前記画像に関するメタデータについて符号化方式を設定する技術に関する。
従来、撮像した画像データと共に、画像解析の結果やイベント情報を含むメタデータを、ネットワークを介して外部に出力する撮像装置が知られている(例えば、特許文献1)。このようなメタデータの形式としてXML(エクステンシブル マークアップ ランゲージ)が使われる場合がある。
また、前述のXMLドキュメントを圧縮、伸張するための技術としてEfficient XML Interchange=EXI(非特許文献1)が知られている。更に、このような技術としては、EXIの他にも、BiM (Binary MPEG format for XML)、FI(Fast Infoset)等が知られている。
前述のような撮像装置において、大量のメタデータを効率よく配信するためにはこのような圧縮、伸張技術が適用可能である。
特開2010−273125号公報
Efficient XML Interchange(EXI) Format 1.0 (http://www.w3.org/TR/exi/)
しかしながら、XMLドキュメントの圧縮・伸張技術を適用することにより、XMLドキュメントの送信側と受信側の双方において圧縮・伸張の計算が必要となる。したがって、XMLドキュメントの単位時間当たりの送信量次第では、圧縮・伸張を行うことは、エンドツーエンドの配送に要する時間の観点で必ずしも効率的でない場合がある。
即ち、XMLドキュメントの圧縮が送信側でサポートされていても、受信側では圧縮しないまま送信されることを期待する場合があった。しかし、XMLドキュメントの圧縮の有効・無効を外部機器から設定するためのインタフェースは、存在しなかった。また、XMLドキュメントの圧縮形式は、多様であり、XMLドキュメントの送信側と受信側で、サポートする圧縮形式が一致しないという課題があった。
またさらに、XMLドキュメントの圧縮形式を外部機器から送信装置に対して設定した場合に、どのタイミングで設定された方式による圧縮が開始されるのか、外部機器からは分からなかった。
以上のことから、送信機器から出力されたXMLドキュメントが、受信機器側で正しく閲覧されることができない場合があるという課題があった。
本発明は上記のような点を鑑みてなされたものである。即ち、送信装置から出力される画像及びメタデータがどのように符号化されるのかを、容易に把握することができるようにすることを目的とする。
上記目的を達成するために、本発明は下記の構成を備える。すなわち画像受信装置とネットワークを介して通信可能な画像送信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する送信手段を備え、前記送信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像受信装置に送信し、前記撮像手段は、駆動手段によってパン方向及びチルト方向に駆動可能であり、前記メタデータは、前記駆動手段の駆動状態を示す情報を含む。
上記目的を達成するために、本発明は下記の構成を備える。すなわち、画像受信装置とネットワークを介して通信可能な画像送信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する送信手段を備え、前記撮像手段は、駆動手段によってパン方向及びチルト方向に駆動可能であり、前記送信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報と、前記パン方向及び前記チルト方向における前記撮像手段の位置を示す情報が前記メタデータに含まれるか否かを示す情報とをネットワークを介して前記画像受信装置に送信する。
上記目的を達成するために、本発明は下記の構成を備える。すなわち、画像受信装置とネットワークを介して通信可能な画像送信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する送信手段を備え、前記撮像手段は、駆動手段によってパン方向及びチルト方向に駆動可能であり、前記送信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報と、前記メタデータに前記駆動手段の駆動状態を示す情報が含まれるか否かを示す情報とをネットワークを介して前記画像受信装置に送信する。
上記目的を達成するために、本発明は下記の構成を備える。すなわち、画像受信装置とネットワークを介して通信可能な画像送信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する送信手段を備え、前記送信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像受信装置に送信し、前記メタデータは、前記画像データにおける映像解析処理の結果を示す情報を含む。
上記目的を達成するために、本発明は下記の構成を備える。すなわち、画像送信装置とネットワークを介して通信可能な画像受信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段を備え、前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信し、前記メタデータは、前記撮像手段をパン方向及びチルト方向に駆動可能な駆動手段の駆動状態を示す情報を含む。
上記目的を達成するために、本発明は下記の構成を備える。すなわち、撮像手段をパン方向及びチルト方向に駆動可能な駆動手段を有する画像送信装置とネットワークを介して通信可能な画像受信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段を備え、前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報と、前記パン方向及びチルト方向における前記撮像手段の位置を示す情報が前記メタデータに含まれるか否かを示す情報とをネットワークを介して前記画像送信装置から受信する。
上記目的を達成するために、本発明は下記の構成を備える。すなわち、撮像手段をパン方向及びチルト方向に駆動可能な駆動手段を有する画像送信装置とネットワークを介して通信可能な画像受信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段を備え、前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報と、前記メタデータに前記駆動手段の駆動状態を示す情報が含まれるか否かを示す情報とをネットワークを介して前記画像送信装置から受信する。
上記目的を達成するために、本発明は下記の構成を備える。すなわち画像送信装置とネットワークを介して通信可能な画像受信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手を備え、前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信し、前記メタデータは、前記画像データにおける映像解析処理の結果を示す情報を含む。
上記目的を達成するために、本発明は下記の構成を備える。すなわち画像送信装置とネットワークを介して通信可能な画像受信装置であって、撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段を備え、前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信し、前記メタデータは、パン方向及びチルト方向における前記撮像手段の位置を示す情報、前記撮像手段をパン方向及びチルト方向に駆動可能な駆動手段の駆動状態を示す情報、及び前記画像データにおける映像解析処理の結果を示す情報の内の少なくともいずれかを含み、前記メタデータの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報とともに、前記メタデータに含まれる情報を示す情報を、表示手段に表示させる表示制御手段を有する。
上記目的を達成するために、本発明による送信装置は、受信装置とネットワークを介して通信可能な送信装置であって、画像及び前記画像に関するメタデータを出力する出力手段と、前記出力手段により出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記受信装置にネットワークを介して送信する送信手段と、を備えることを特徴とする。
また、上記目的を達成するために、本発明による受信装置は、画像及び前記画像に関するメタデータを出力する出力部を有する送信装置と、ネットワークを介して通信可能な受信装置であって、前記出力部により出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記送信装置からネットワークを介して取得する取得手段、を備えることを特徴とする。
また、上記目的を達成するために、本発明による送受信システムは、送信装置と、前記送信装置とネットワークを介して通信可能な受信装置と、を含む送受信システムであって、前記送信装置は、画像及び前記画像に関するメタデータを出力する出力手段、を備え、前記受信装置は、前記出力手段により出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記送信装置からネットワークを介して取得する取得手段、を備えることを特徴とする。
また、上記目的を達成するために、本発明による送信装置の制御方法は、受信装置とネットワークを介して通信可能な送信装置の制御方法であって、画像及び前記画像に関するメタデータを出力する出力ステップと、前記出力ステップにて出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記受信装置にネットワークを介して送信する送信ステップと、を備えることを特徴とする。
また、上記目的を達成するために、本発明による受信装置の制御方法は、画像及び前記画像に関するメタデータを出力する出力部を有する送信装置と、ネットワークを介して通信可能な受信装置の制御方法であって、前記出力部により出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記送信装置からネットワークを介して取得する取得ステップ、を備えることを特徴とする。
また、上記目的を達成するために、本発明による送受信システムの制御方法は、送信装置と、前記送信装置とネットワークを介して通信可能な受信装置と、を含む送受信システムの制御方法であって、前記送信装置にて、画像及び前記画像に関するメタデータを出力する出力ステップ、を備え、前記受信装置にて、前記出力ステップにて出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記送信装置からネットワークを介して取得する取得ステップ、を備えることを特徴とする。
また、上記目的を達成するために本発明のプログラムは、受信装置とネットワークを介して通信可能な送信装置を制御するためのプログラムであって、画像及び前記画像に関するメタデータを出力する出力ステップと、前記出力ステップにて出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記受信装置にネットワークを介して送信する送信ステップと、をコンピュータに実行させることを特徴とする。
また、上記目的を達成するために本発明のプログラムは、画像及び前記画像に関するメタデータを出力する出力部を有する送信装置と、ネットワークを介して通信可能な受信装置を制御するためのプログラムであって、前記出力部により出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記送信装置からネットワークを介して取得する取得ステップ、をコンピュータに実行させることを特徴とする。
また、上記目的を達成するために本発明のプログラムは、送信装置と、前記送信装置とネットワークを介して通信可能な受信装置と、を含む送受信システムを制御するためのプログラムであって、前記送信装置にて、画像及び前記画像に関するメタデータを出力する出力ステップ、をコンピュータに実行させ、前記受信装置にて、前記出力ステップにて出力される画像及びメタデータのそれぞれについて符号化方式を設定することができるか否かを示す符号化方式情報を、前記送信装置からネットワークを介して取得する取得ステップ、をコンピュータに実行させることを特徴とする。
本発明によれば、送信装置から出力される画像及びメタデータがどのように符号化されるのかを、容易に把握することができる。
例えば、本発明によれば、XMLドキュメントが圧縮されているか否か、及び圧縮されている場合、どのような形式で圧縮されているかを、送信機器と受信機器とで共有することが可能となる。この結果、送信機器から出力されたXMLドキュメントが、受信機器側で正しく閲覧されることができるようになる。
実施例1に係る、撮像システムの構成を説明するためのシステム構成図である。 実施例1に係る、撮像システムを構成する監視カメラ、クライアント装置の内部構成を示すブロック図である。 実施例1に係る、監視カメラが保持するパラメータ構成図である。 実施例1に係る、監視カメラとクライアント装置に関するMediaProfile作成のシーケンス図である。 実施例1に係る、監視カメラとクライアント装置に関するストリーミング開始のシーケンス図である。 実施例1に係る、監視カメラとクライアント装置に関するVideoEncoderConfiguration設定のシーケンス図である。 実施例1に係る、監視カメラとクライアント装置に関するMetadataConfiguration設定のシーケンス図である。 実施例1に係る、監視カメラのGetVideoEncoderConfigurationOptionsコマンドを受信した際の振舞いを示すフローチャートである。 実施例1に係る、監視カメラのSetVideoEncoderConfigurationコマンドを受信した際の振舞いを示すフローチャートである。 実施例1に係る、監視カメラのGetMetadataConfigurationOptionsコマンドを受信した際の振舞いを示すフローチャートである。 実施例1に係る、監視カメラのSetMetadataConfigurationコマンドを受信した際の振舞いを示すフローチャートである。 実施例1に係る、監視カメラのPlayコマンドを受信した際の振舞いを示すフローチャートである。 実施例1に係る、監視カメラのVideo送信処理の振舞いを示すフローチャートである。 実施例1に係る、監視カメラのMetadata送信処理の振舞いを示すフローチャートである。 実施例1に係る、監視カメラのGetMetadataConfigurationsのトランザクションの内容を示す図である。 実施例1に係る、監視カメラのGetMetadataConfigurationOptionsのトランザクションの内容を示す図である。 実施例1に係る、監視カメラが送信するMetadataの一例を示す図である。 実施例1に係る、監視カメラのDESCRIBEのトランザクションの内容を示す図である。 実施例1に係る、VideoEncoder設定ウインドウGUIである。 実施例1に係る、Metadata設定ウインドウGUIである。 実施例1に係る、クライアント装置のVideoEncoder設定画面処理の振舞いを示すフローチャートである。 実施例1に係る、クライアント装置のMetadata設定画面処理の振舞いを示すフローチャートである。 実施例2に係る、Metadata圧縮方式とRTP Payload Typeの相関を示すテーブルである。 実施例2に係る、監視カメラのDESCRIBEのトランザクションの内容を示す図である。
以下、本発明をその好適な実施例に基づいて詳細に説明する。以下の実施例において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。
(実施例1)
図1は、本実施例における、送信装置に相当する監視カメラ1000を含む撮像システムのシステム構成図である。2000は、本実施例における、受信装置に相当するクライアント装置である。監視カメラ1000とクライアント装置2000は、IPネットワーク網1500を介して相互に通信可能な状態に接続されている。なお、本実施例における撮像システムは、送受信システムの一例である。
なお、本実施例における監視カメラ1000は、動画像を撮像する撮像装置であり、より詳細には、監視に用いられるネットワークカメラであるものとする。
又、IPネットワーク網1500は、例えばEthernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されるものとする。しかしながら、本実施例においては、監視カメラ1000とクライアント装置2000との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。
例えば、IPネットワーク網1500は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されていても良い。なお、本実施例における監視カメラ1000は、例えば、PoE(Power Over Ethernet(登録商標))に対応していても良く、LANケーブルを介して電力を供給されても良い。
クライアント装置2000は、監視カメラ1000に対して、後述する撮像パラメータ変更や雲台駆動、映像ストリーミング開始等の各種コマンドを送信する。監視カメラ1000は、それらのコマンドに対するレスポンスや映像ストリーミングをクライアント装置2000に送信する。尚、本実施例において、メタデータとは、XMLドキュメントに相当する。
続いて、図2は、本実施例における、監視カメラ1000及びクライアント装置2000の内部構成を示すブロック図である。ここで、図2(a)は、監視カメラ1000の内部構成を示すブロック図である。又、図2(b)は、クライアント装置2000の内部構成を示すブロック図である。
図2(a)において、1001は、制御部であり、監視カメラ1000の全体の制御を行う。制御部1001は、例えばCPU(Central Processing Unit)で構成される。1002は、記憶部である。記憶部1002は、主に制御部1001が実行するプログラム格納領域、プログラム実行中のワーク領域、後述する撮像部1003が生成する画像データの格納領域等、様々なデータの格納領域として使用される。
1003は、撮像部である。撮像部1003は、監視カメラ1000の撮像光学系により結像された被写体の像を撮像して取得したアナログ信号をデジタルデータに変換し、画像データとして記憶部1002に出力する。1004は、圧縮符号化部である。圧縮符号化部1004は、撮像部1003が出力した画像データに対して、JPEG或いはH.264等の形式に基づき圧縮符号化処理を行うことにより画像データを生成する。
又、圧縮符号化部1004は、生成した画像データを記憶部1002に出力する。このとき、圧縮符号化部1004は、制御部1001に対してVIDEO送信トリガを発生させ、配信可能な画像が出力されたことを通知する。1005は、通信部である。通信部1005は、各制御コマンドを外部機器から受信する場合、また各制御コマンドに対するレスポンスや画像データを含むストリーミングを外部機器へ送信する場合に使用される。
なお、本実施例におけるクライアント装置2000は、外部機器の一例である。
1006は、撮像制御部である。撮像制御部1006は、制御部1001が入力するパン角度、チルト角度、ズーム倍率の値に従って、チルト機構、パン機構、及びズーム機構を制御するために使用される。又、撮像制御部1006は、定期的に、現在のパン角度値、チルト角度値、及びズーム倍率値をPTZ Position情報として、PTZPosition送信フラグをセットすることにより、制御部1001に提供する。
また、撮像制御部1006は、現在のパン、チルト、及びズーム機構の稼働状態をPTZ Status情報として、PTZStatus送信フラグをセットすることにより、制御部1001に提供する。1007は、画像解析部である。画像解析部1007は、撮像部1003が出力する画像データの解析を行い、この画像データに含まれる物体の検出を行う。
なお、検出された物体情報は、XML形式のメタデータとして記憶部1002に出力される。又、本実施例における画像解析部1007は、撮像部1003が出力する画像に含まれる物体を検出する物体検出部に相当する。
又、画像解析部1007は、画像解析結果送信トリガをセットすることにより、検出された物体情報を制御部1001に提供する。更に、画像解析部1007は、検出された物体情報を解析することで、動く物体が映像中に現れたか否かの検出結果をイベントとして制御部1001に提供する。
なお、本実施例において、圧縮符号化部1004、撮像制御部1006、及び画像解析部1007のそれぞれは、例えば、サブCPUで構成される。又、本実施例において、パン機構、チルト機構、及びズーム機構のそれぞれは、ステッピングモータやギヤ等を含むものとする。又、パン機構、チルト機構、及びズーム機構のそれぞれは、撮像部1003の位置を変更する変更部の一例である。
図2(b)において、2001は、制御部である。制御部2001は、例えばCPUで構成され、クライアント装置2000の全体の制御を行う。2002は、記憶部である。記憶部2002は、主に制御部2001が実行するプログラム格納領域、プログラム実行中のワーク領域等、様々なデータの格納領域として使用される。
2003は、表示部である。表示部2003は、例えばLCD、有機ELディスプレイ等で構成され、クライアント装置2000の使用者に対して、後述の配信画像設定画面を含む様々な設定画面や、監視カメラ1000から受信する映像のビューワ、各種メッセージ等を表示する。
2004は、入力部である。入力部2004は、例えばボタン、十字キー、タッチパネル、マウス等で構成され、使用者による画面操作の内容を制御部2001に通知する。2005は、復号部である。復号部2005は、通信部2006を介して受信された圧縮符号化されている画像データやメタデータを復号化し、記憶部2002に展開する。
2006は、通信部である。通信部2006は、各制御コマンドを監視カメラ1000に対して送信する場合、また各制御コマンドに対するレスポンスや、画像データを含むストリームを監視カメラ1000から受信する場合に使用される。なお、本実施例において、復号部2005は、例えば、サブCPUで構成される。
以上、図2を参照し、監視カメラ1000及びクライアント装置2000の内部構成について説明したが、図2に示す処理ブロックは、本実施例における監視カメラ、及びクライアント装置の好適な実施例を説明したものであり、この限りではない。例えば、監視カメラ及びクライアント装置は、音声入力部、或いは音声出力部を備える等、本発明の要旨の範囲内で、種々の変形及び変更が可能である。
続いて、図3を参照し、本実施例にて使用するコマンド、パラメータ等の名称と内容を以下に説明する。ここで、図3は、本実施例において、監視カメラ1000が保持するパラメータの構造を図示している。
図3において、MediaProfile3000、3001、及び3002は、監視カメラ1000の各種設定項目を関連づけて記憶するためのパラメータセットである。MediaProfile3000、3001、及び3002のそれぞれは、MediaProfileのIDであるProfileTokenを保持する。
又、MediaProfile3000、3001、及び3002のそれぞれは、各種設定項目へのリンクを保持する。この各種設定項目には、後述のVideoSourceConfiguration、VideoEncoderConfiguration、MetadataConfiguration、VideoAnalyticsConfigurationが含まれる。
VideoSourceConfiguration3010は、監視カメラが備える撮像部1003の性能を示すパラメータの集合体であるVideoSource(図示しない)のIDであるVideoSourceTokenを含む。又、VideoSourceConfiguration3010は、撮像部1003が出力可能な画像データの解像度を示すResolutionを含む。
なお、以後、VideoSourceConfigurationをVSCと省略することがある。
VideoEncoderConfiguration3020、3021、及び3022は、画像データの圧縮符号化に関するエンコーダ設定をMediaProfileに関連付けるパラメータの集合体である。
ここで、監視カメラ1000は、画像データを、本VideoEncoderConfigurationに設定される圧縮符号化方式(例えばJPEGやH.264)、フレームレート、或いは解像度等のパラメータに従って圧縮符号化する。
そして、監視カメラ1000は、この圧縮符号化された画像データを、通信部1005を介してクライアント装置2000に配信する。なお、この画像データは、VideoSource、及びVideoSourceConfigurationの内容に基づいて出力されるものである。又、以降、VideoEncoderConfigurationをVECと略して表記することがある。
又、VECは、VECのIDであるVECToken、圧縮符号化方式を指定するEncoding、出力画像の解像度を指定するResolution、圧縮符号化品質を指定するQualityを含む。更に、VECは、出力画像の最大フレームレートを指定するFramerateLimit、及び最大ビットレートを指定するBitrateLimitを含む。
MetadataConfiguration3030、及び3031は、画像と併せて監視カメラ1000がストリーミングするXML形式のテキストデータに関するパラメータセットである。なお、以後、MetadataConfigurationをMDCと省略することがある。
又、MDCは、MDCのIDであるMDCToken、撮像制御部1006のステータスを出力するか否かを示すPTZ Statusフラグ、撮像制御部1006の位置を出力するか否かを示すPTZ Positionフラグを含む。なお、本実施例では、撮像位置は、パン角度値(撮像部1003のパン方向の位置)、チルト角度値(撮像部1003のチルト方向の位置)、及びズーム倍率値(監視カメラ1000の画角)に相当する。
更に、MDCは、画像解析部1007が生成する物体情報を出力するか否かを示すAnalyticsフラグ、出力に含めるイベントデータのトピックを指定するEevnts、及び圧縮方式を指定するCompressionTypeを含む。
VideoAnalyticsConfiguration3040とは、画像解析部1007の設定をMediaProfileに関連付けるパラメータの集合体である。なお、以降、VideoAnalyticsConfigurationをVACと省略することがある。又、VACは、VACのIDであるVACTokenと、画像解析のルール設定を受け付けるためのRuleConfiguration等を含む。
続いて、図4は、監視カメラ1000とクライアント装置2000との間において、映像を配信するために必要なMediaProfileを設定するための典型的なコマンドシーケンスを示している。ここでトランザクションとは、クライアント装置2000から監視カメラ1000へ送信されるコマンドと、それに対して監視カメラ1000がクライアント装置2000へ返送するレスポンスのペアのことを指している。
4000は、Subscribeコマンドのトランザクションである。本コマンドの実行により、監視カメラ1000は、内部で発生したイベントを、クライアント装置2000へ送信するようになる。
4001は、GetServiceCapabilitiesコマンドのトランザクションである。GetServiceCapabilitiesコマンドは、監視カメラ1000がサポートする機能を示す機能情報を返送するよう指示するコマンドである。本機能情報には、監視カメラ1000がメタデータの圧縮送信に対応する否かを示す情報が含まれる。
したがって、GetServiceCapabilitiesのトランザクションのレスポンスは、監視カメラ1000から出力されるメタデータに符号化方式を設定することができるか否かを示す符号化方式情報の一例である。
4002は、GetVSCsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持するVSCのリストを取得する。
4003は、GetVECsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持する保持するVECのリストを取得する。
4004は、GetMDCsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持するMDCのリストを取得する。
4005は、GetVACsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持するVACのリストを取得する。
4006は、CreateProfileコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000に新たなMediaProfileを作成し、そのProfileTokenを得る。
本コマンド処理後、監視カメラ1000は、MediaProfileに何らかの変更があったことをネットワーク上のクライアント装置に通知するべくMediaProfile変更通知イベントを送信する。
4007、4008、4009、及び4010は、AddVSCコマンド、AddVECコマンド、AddMDCコマンド、及びAddVACコマンドの各トランザクションである。これらのコマンドにおいて各ConfigurationのTokenを指定することにより、クライアント装置2000は、指定したMediaProfileに所望のVSC、VEC、MDC、及びVACを関連付けることができる。
これらのコマンド処理後、監視カメラ1000は、MediaProfileに何らかの変更があったことをネットワーク上のクライアント装置に通知するべくMediaProfile変更通知イベントを送信する。
続いて、図5は、クライアント装置2000が監視カメラ1000に対してストリーミングを開始させるための典型的なコマンドシーケンスを示している。
4099は、GetProfilesコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、監視カメラ1000が保持するMediaProfileのリストを取得する。図3の例では、Token=profile0、profile1、及びprofile2の3つのMediaProfileのリストを、監視カメラ1000は、返送する。
4100は、GetStreamUriコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、指定したMediaProfileの設定に基づく配信ストリームを監視カメラ1000に配信させるためのアドレス(StreamURI)を取得する。
4101は、Describeコマンドのトランザクションである。4100において取得したURIを使用してこのコマンドを実行することにより、クライアント装置2000は、監視カメラ1000がストリーム配信するコンテンツの情報を要求し取得する。
ここで、図18(a)及び(b)は、Describeコマンドのリクエストとレスポンスを例示している。図18(b)において、13000は、メタデータのコンテンツに関する情報として、監視カメラ1000がクライアント装置2000に提供するデータである。又、13001、及び13002に示される数値は、RTP Payload Typeを示している。
ここで、図5の説明に戻る。図5において、4102は、Setupコマンドのトランザクションである。4100において取得したURIを使用してこのコマンドを実行することにより、クライアント装置2000と監視カメラ1000の間で、セッション番号を含むストリームの伝送方法が共有される。
4103は、Playコマンドのトランザクションである。4102において取得したセッション番号を使用してこのコマンドを実行することにより、クライアント装置2000は、監視カメラ1000に対して配信ストリームの開始を要求する。
4104は、配信ストリームである。監視カメラ1000は、4103において開始を要求されたストリームを、4102において共有された伝送方法によって配信する。
4105は、Teardownコマンドのトランザクションである。4102において取得したセッション番号を使用してこのコマンドを実行することにより、クライアント装置2000は、監視カメラ1000に対して配信ストリームの停止を要求する。
続いて、図6は、クライアント装置2000が監視カメラ1000に対してVECの設定内容を変更させる場合の典型的なコマンドシーケンスを示している。
4201は、GetVECOptionsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、IDによって指定したVECにおいて、監視カメラ1000が受付可能な各パラメータの選択肢や設定値の範囲を取得する。
4202は、SetVECコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、VECの各パラメータを設定する。本コマンド処理後、監視カメラ1000は、VECに何らかの変更があったことをネットワーク上のクライアント装置に通知するべくVEC変更通知イベントを送信する。
クライアント装置2000は、4202のトランザクションで変更したVECの設定内容を有効にするために、4105、4101、4102、及びS4103のトランザクションを実行し、監視カメラ1000に対して配信ストリームを再スタートさせる。
続いて、図7は、クライアント装置2000が監視カメラ1000に対してMDCの設定内容を変更させる場合の典型的なコマンドシーケンスを示している。
4301は、GetMDCOptionsコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、IDによって指定したMDCにおいて、監視カメラ1000が受付可能な各パラメータの選択肢や設定値の範囲を取得する。
4302は、SetMDCコマンドのトランザクションである。このコマンドにより、クライアント装置2000は、MDCの各パラメータを設定する。本コマンド処理後、監視カメラ1000は、MDCに何らかの変更があったことをネットワーク上のクライアント装置に通知するべくMDC変更通知イベントを送信する。
クライアント装置2000は、4302のトランザクションで変更したMDCの設定内容を有効にするために、4105、4101、4102、及び4103のトランザクションを実行し、監視カメラ1000に対して配信ストリームを再スタートさせる。
続いて、図8は、監視カメラ1000が前述のGetVECOptionsコマンドをクライアント装置2000から受信した場合の処理を示している。
ステップS1500において制御部1001は、記憶部1002に記憶されているサポートしている圧縮方式のリストを取得する。本リストには、例えば、JPEG、H.264が含まれる。
ステップS1501において制御部1001は、記憶部1002に記憶されているサポートしている出力解像度のリストを取得する。本リストには、例えば、1280x960、1024x768、640x480、320x240などが含まれる。
ステップS1502において制御部1001は、設定可能なFramerateのレンジ、画像品質Qualityのレンジ、Bitrateのレンジ、EncodingIntervalを取得する。例えば、制御部1001により、FramerateLimitとして1〜30fps、Qualityのレンジとして1〜5、Bitrateのレンジとして64〜16384bpsが取得される。
ステップS1503において制御部1001は、ステップS1500からステップS1502において取得した選択肢や設定範囲を、正常レスポンスに含めて、通信部1005を介してクライアント装置2000へ返送する。
続いて、図9は、監視カメラ1000が前述のSetVECコマンドをクライアント装置2000から受信した場合の処理を示している。
ステップS1600において制御部1001は、SetVECコマンドの引数で指定されているFramerate、Quality、Bitrate、EncodingIntervalの各設定値を記憶部1002に記憶する。
ステップS1601において制御部1001は、SetVECコマンドの引数で指定されている出力解像度Resolutionをサポートしているか否かを判定する。具体的には、ステップS1501において制御部1001が記憶部1002から取得した出力解像度のリストに、SetVECコマンドの引数で指定されている出力解像度Resolutionが含まれているか否かを判定する。
そして、サポート外のResolutionが指定されている場合、制御部1001は、処理をステップS1610へ進める。サポートされているResolutionが指定されている場合。制御部1001は、処理をステップS1602に進める。
ステップS1602において制御部1001は、SetVECコマンドの引数で指定されている出力解像度Resolutionを記憶部1002に記憶させる。
ステップS1603において制御部1001は、SetVECコマンドの引数で指定されている圧縮方式Encordingをサポートしているか否かを判定する。具体的には、ステップS1500において制御部1001が記憶部1002から取得した圧縮方式のリストに、SetVECコマンドの引数で指定されている圧縮方式Encordingが含まれるか否かを判定する。
そして、サポート外のEncordingが指定されている場合、制御部1001は、処理をステップS1610へ進める。サポートされているEncordingが指定されている場合、制御部1001は、処理をステップS1605に進める。
ステップS1604において制御部1001は、SetVECコマンドの引数で指定されている圧縮方式Encordingを記憶部1002に記憶させる。
ステップS1605において制御部1001は、正常レスポンスを、通信部1005を介してクライアント装置2000へ返送し、本処理を終了する。
ステップS1610において制御部1001は、エラーレスポンスを、通信部1005を介してクライアント装置2000へ返送し、本処理を終了する。
続いて、図10は、監視カメラ1000が前述のGetMDCOptionsコマンドをクライアント装置2000から受信した場合の処理を示している。又、図16(a)、及び(b)は、GetMDCOptionsコマンドのリクエストとレスポンスの内容を示している。
ステップS1000において制御部1001は、記憶部1002に記憶されているサポートしているPTZ Statusのメタデータコンテンツを取得する。PTZ Statusとは、撮像制御部1006が制御するパン機構、チルト機構、ズーム機構の稼働状態を示すステータス情報である。
ここで、パン機構及びチルト機構のステータス情報、及びズーム機構のサポートを示すパラメータとして、図16(b)におけるPanTiltStatusSupportedフラグ、及びZoomStatusSupportedフラグがある。本実施例においては、図16(b)に示されるように双方ともTrue、即ち「サポートされている」を示す情報が制御部1001により取得されているものとする。
ステップS1001において制御部1001は、記憶部1002に記憶されているサポートしているPTZ Positionのメタデータコンテンツを取得する。PTZ Positionとは、撮像制御部1006が制御するパン機構、チルト機構、及びズーム機構の現在位置を示すステータス情報である。
パン機構及びチルト機構の現在位置、及びズーム機構の現在位置を示すパラメータとして、図16(b)におけるPanTiltPositionSupportedフラグ、及びZoomPositionSupportedフラグがある。本実施例においては、図16(b)に示されるように双方ともTrue、即ち「サポートされている」を示す情報が制御部1001により取得されているものとする。
ステップS1002において制御部1001は、記憶部1002に記憶されているサポートしているメタデータの圧縮法方式のリストを取得する。本リストには、例えば、None(非圧縮)、EXI、FI、BiM等が含まれる。本実施例においては、図16(b)のCompressionType11000に示されるようにNone、EXI、及びFIが制御部1001により取得されているものとする。
なお、本実施例において、GetMDCOptionsのトランザクションのレスポンス、及びステップS1503等で前述したGetVECOptionsのトランザクションのレスポンスは、符号化方式情報の一例である。
ステップS1003において制御部1001は、ステップS1000、S1001、及びS1002で取得した情報を、図16(b)に示されるように正常レスポンスに含めて、通信部1005を介してクライアント装置2000へ返送する。
続いて、図11は、監視カメラ1000が前述のSetMDCコマンドをクライアント装置2000から受信した場合の処理を示している。
ステップS1100において制御部1001は、PanTiltStatusSupportedフラグ、及びZoomStatusSupportedフラグの内容をPTZStatus送信フラグとして記憶部1002に記憶する。なお、これらPanTiltStatusSupportedフラグ、及びZoomStatusSupportedフラグは、SetMDCコマンドの引数で指定されている。
PTZStatus送信フラグがTrueの場合、撮像制御部1006は、パン機構、チルト機構、或いはズーム機構のステータス情報をPTZStatus送信トリガと共に、定期的に制御部1001へ通知する。一方、PTZStatus送信フラグがFalseの場合、撮像制御部1006は、このステータス情報をこのトリガと共に通知することなく、このトリガのみを定期的に制御部1001へ通知する。
ステップS1101において制御部1001は、PanTiltPositionSupportedフラグ、及びZoomPositionSupportedフラグの内容をPTZPosition送信フラグとして記憶部1002に記憶させる。なお、これらPanTiltPositionSupportedフラグ、及びZoomPositionSupportedフラグは、SetMDCコマンドの引数で指定されている。
このPTZPosition送信フラグがTrueの場合、撮像制御部1006はパン機構、チルト機構、或いはズーム機構の位置情報をPTZStatus送信トリガと共に、定期的に制御部1001へ通知する。一方、PTZPosition送信フラグがFalseの場合、撮像制御部1006は、この位置情報をこのトリガと共に通知することなく、このトリガのみを定期的に制御部1001へ通知する。
ステップS1102において制御部1001は、SetMDCコマンドの引数で指定されているAnalyticsフラグの内容をVideoAnalytics送信フラグとして記憶部1002に記憶させる。
VideoAnalytics送信フラグがTrueの場合、画像解析部1007は、画像に含まれる物体の検出結果を物体情報として画像解析結果送信トリガと共に、定期的に制御部1001へ通知する。一方、VideoAnalytics送信フラグがFalseの場合、画像解析部1007は、この物体情報をこのトリガと共に通知することなく、このトリガのみを定期的に制御部1001へ通知する。
ステップS1103において制御部1001は、SetMDCコマンドの引数で指定されているEventsの内容を、メタデータ送信対象EventTopicとして記憶部1002に記憶させる。
例えば、「動体検知」のEventTopicが指定可能である。動体検知のEventTopicが指定された場合、画像解析部1007は、画像内に動く物体を検出した場合に、動体検知発生トリガとして、制御部1001へ通知する。一方、動体検知のEventTopicが指定されていない場合、画像解析部1007は、画像内に動く物体を検出した場合であっても、このトリガを制御部1001へ通知しない。
ステップS1104において制御部1001は、SetMDCコマンドの引数で指定されている圧縮方式CompressionTypeをサポートしているかどうかを判定する。具体的には、ステップS1002において制御部1001が記憶部1002から取得した圧縮方式のリストに、SetMDCコマンドの引数で指定されている圧縮方式CompressionTypeが含まれるか否かを判定する。
そして、サポート外のCompressionTypeが指定されている場合、制御部1001は、処理をステップS1110へ進める。サポートされているCompressionTypeが指定されている場合、制御部1001は、処理をステップS1105に進める。
ステップS1105において制御部1001は、SetMDCコマンドの引数で指定されている圧縮方式CompressionTypeを記憶部1002に記憶させる。
ステップS1106において制御部1001は、通信部1005を介して正常レスポンスをクライアント装置2000へ返送する。
ステップS1110において制御部1001は、通信部1005を介してエラーレスポンスをクライアント装置2000へ返送する。
続いて、図12は、監視カメラ1000が前述のPlayコマンドをクライアント装置2000から受信した場合の処理を示している。
ステップS1200において制御部1001は、当該Playコマンドの対象となっている映像ストリームの圧縮方式を記憶部1002内のメモリに記憶させる。
具体的には、制御部1001は、Playコマンドによって指定されているURI、及びセッションIDを基に、Play対象となっているMediaProfile、及びVECを特定する。そして、制御部1001は、特定したVECの圧縮方式を参照して、参照した圧縮方式を記憶部1002内のメモリに退避させる。
ステップS1201において制御部1001は、当該Playコマンドの対象となっているメタデータストリームの圧縮方式を記憶部1002内のメモリに記憶させる。
具体的には、制御部1001は、Playコマンドによって指定されているURI、及びセッションIDを基に、Play対象となっているMediaProfile、及びMDCを特定する。そして、制御部1001は、特定したMDCの圧縮方式を参照して、参照した圧縮方式を記憶部1002内のメモリに退避させる。
ステップS1200、1201においてメモリに退避された映像、メタデータの圧縮方式は、ストリーミング配信中に後述のVideo配信処理、或いはメタデータ配信処理において制御部1001によって参照される。この処理の目的は、SetVEC、或いはSetMDCコマンドの処理で、記憶部1002に退避される圧縮方式を直接参照しないことである。
この処理により、ストリーミング配信中に受信するSetVEC、SetMDCコマンドによってストリーミング開始後に圧縮方法が変更されないようにする。したがって、ステップS1200、1201においては、ストリーミング中の設定変更を禁止する圧縮方式以外のパラメータについても、メモリに退避するようにしてもよい。例えばVECの出力解像度をも退避するようにしてもよい。
ステップS1202において制御部1001は、Play対象のMediaProfileにVECが含まれるか否か、即ち、映像が配信対象であるのか否かを判定する。VECが含まれてない、即ち映像は配信対象ではない場合には、制御部1001は、処理をステップS1204に進める。一方、VECが含まれている、即ち、映像が配信対象である場合には、制御部1001は、処理をステップS1203に進める。
ステップS1203において制御部1001は、映像を配信するためのVideo送信処理を実行する。なお、このVideo送信処理については、図13を用いて後述する。
ステップS1204において制御部1001は、Play対象のMediaProfileにMDCが含まれるか否か、即ち、メタデータが配信対象であるのか否かを判定する。MDCが含まれてない、即ち、メタデータが配信対象ではない場合には、制御部1001は、処理をステップS1206に進める。一方、MDCが含まれている、即ち、メタデータが配信対象である場合には、制御部1001は、処理をステップS1205に進める。
ステップS1205において制御部1001は、メタデータを配信するためのメタデータ送信処理を実行する。なお、このメタデータ送信処理については、図14を用いて後述する。
ステップS1206において制御部1001は、現在配信中のストリーミングに対するTeardownコマンドを受信しているか否かを通信部1005に問い合わせる。Teardownを受信している場合は、ストリーミング配信を停止させるべく本処理を終了させる。Teardownを受信していない場合は、ストリーミング配信を継続させるべくステップS1202に処理を進める。
続いて、図13は、Video送信処理の詳細を示している。ステップS1700において制御部1001は、VIDEO送信トリガがあるか否かを判定する。VIDEO送信トリガがある場合、制御部1001は、処理をステップS1701に進める。一方VIDEO送信トリガが無い場合、制御部1001は、VIDEO送信トリガの発生の確認を所定回数繰り返す。
なお、VIDEO送信トリガが無い場合、制御部1001は、本処理を終了させるべくReturnに処理を進めるようにしてもよい。VIDEO送信トリガの判定は、1回のみ実施するようにしてもよい。
ステップS1701において制御部1001は、記憶部1002に含まれるメモリを参照し、現在ストリーミング(ストリーミング配信)中の画像の圧縮方式、及び出力解像度を取得する。
ステップS1702において制御部1001は、ステップS1701において取得した現在ストリーミング中の画像の圧縮方式を判定する。この圧縮方式がJPEGであった場合にはステップS1703へ、この圧縮方式がH.264であった場合にはステップS1710へ、制御部1001は、処理を進める。
ステップS1703において制御部1001は、圧縮符号化部1004から、ステップS1701で取得した出力解像度のJPEG画像を取得する。
ステップS1710において制御部1001は、圧縮符号化部1004から、ステップS1701で取得した出力解像度のH.264画像を取得する。
ステップS1702、1703、1710において、本実施例では、JPEGとH.264のみを適用可能圧縮方式としているが、例えば、MPEG4、HEVC(H.265)等他の方式をサポートしている場合でも同様の処理となる。
ステップS1704において制御部1001は、ステップS1703、或いはS1710において取得した画像を、通信部1005を介して外部装置へ送信する。
ステップS1705において制御部1001は、現在配信中のストリーミングに対するTeardownコマンドを受信しているか否かを通信部1005に問い合わせる。Teardownコマンドを受信している場合には、本処理を終了させる。一方、Teardownコマンドを受信していない場合には、ステップS1700へ処理を戻し所定回数本処理を継続させる。
しかしながら、Teardownコマンドの受信確認は、図12のPlay処理で実施されるようになっており、必ずしも本VIDEO送信処理で実施されるようにする必要はない。
続いて、図14は、メタデータ送信処理の詳細を示している。ステップS1300において制御部1001は、いずれかのメタデータ送信トリガがあるか否かを判定する。いずれかのメタデータ送信トリガがある場合、制御部1001は、このトリガの内容に応じて、ステップS1301、S1210、S1220、或いはS1230へ処理を進める。
一方、Metadta送信トリガが無い場合、制御部1001は、Metadta送信トリガの確認を所定回数繰り返す。なお、メタデータ送信トリガが無い場合、制御部1001は、本処理を終了させるべくReturnに処理を進めるようにしてもよい。又、制御部1001は、メタデータ送信トリガの判定を1回のみ実施するようにしてもよい。
ステップS1300におけるメタデータ送信トリガは例えば以下の4種類がある。撮像制御部1006からのPTZStatus送信トリガ、或いはPTZPosition送信トリガ、画像解析部1007からのVideoAnalytics送信トリガ、或いは画像解析部1007からの動体検知イベント送信トリガである。
例えば、制御部1001は、PTZStatus送信トリガが通知されたと判定した場合には、ステップS1301に処理を進める。又、制御部1001は、PTZPosition送信トリガが通知されたと判定した場合には、ステップS1210に処理を進める。
そして、制御部1001は、画像解析結果送信トリガが通知されたと判定した場合には、ステップS1220に処理を進める。更に、制御部1001は、動体検知発生トリガが通知されたと判定した場合には、ステップS1230に処理を進める。
ステップS1301において制御部1001は、撮像制御部1006からXML形式のPTZ Status情報を取得する。ここで、図17は、XML形式のメタデータドキュメントを例示している。取得したPTZ Status情報は、図17におけるtev8:MoveStatusタグに例示されるデータである。
つまり、図17におけるPTZ Status情報は、MoveStatusタグに対応付けられたデータであり、より詳細には、<tev8:MoveStatus>タグと</tev8:MoveStatus>タグとで閉じられたデータである。即ち、このデータは、「<tev8:PanTilt>IDLE</tev8:PanTilt>」や「<tev8:Zoom>IDLE</tev8:Zoom>」である。
ステップS1210において制御部1001は、撮像制御部1006からXML形式のPTZ Position情報を取得する。取得したPTZ Position情報は、図17におけるtev8:Positionタグに例示されるデータである。
つまり、図17におけるPTZ Position情報は、tev8:Positionタグに対応付けられたデータであり、より詳細には、<tev8:Position>タグと</tev8:Position>タグとで閉じられたデータである。
ステップS1220において制御部1001は、画像解析部1007からXML形式の物体情報を取得する。物体情報は、図17におけるtev8:Objectタグに例示されるデータである。
つまり、図17における物体情報は、tev8:Objectタグに対応付けられたデータであり、より詳細には、<tev8:Object>タグと</tev8:Object>タグとで閉じられたデータである。
ステップS1230において制御部1001は、画像解析部1007からXML形式の動体検知イベント情報を取得する。
ステップS1302において制御部1001は、ステップS1201においてメモリに退避させたメタデータの圧縮方式を参照する。
ステップS1303において制御部1001は、ステップS1302において取得したメタデータ圧縮方式がNone、即ち圧縮なしのPlain XMLであるか否かを判定する。そして、圧縮なしのPlain XMLであった場合、制御部1001は、処理をステップS1305に進める。一方、圧縮なしのPlain XMLでなかった場合、制御部1001は、処理をステップS1304に進める。
ステップS1304において制御部1001は、ステップS1301、S1210、S1220、或いはS1230において取得したXML形式のメタデータを、ステップS1302において取得した圧縮方式で圧縮する。
ステップS1305において制御部1001は、ステップS1301、S1210、S1220、或いはS1230において取得したメタデータを、通信部1005を介して外部機器へ送信する。
例えば、制御部1001は、ステップS1303にてメタデータ圧縮方式がNoneであると判定した場合には、このメタデータを圧縮することなく、このメタデータを外部機器へ送信する。制御部1001は、ステップS1303にてメタデータ圧縮方式がNoneではないと判定した場合には、ステップS1304で圧縮されたメタデータを外部機器へ送信する。
ステップS1306において制御部1001は、現在配信中のストリーミングに対するTeardownコマンドを受信しているかどうかを通信部1005に問い合わせる。Teardownコマンドを受信している場合は、制御部1001は、本処理を終了させる。一方、Teardownコマンドを受信していない場合は、制御部1001は、ステップS1700へ処理を戻し所定回数本処理を継続させる。
しかしながら、Teardownコマンドの受信確認は、図12のPlay処理で実施されるようになっており、必ずしも本メタデータ送信処理で実施されるようにする必要はない。
続いて、図19は、クライアント装置2000において、監視カメラ1000のVEC設定を変更させるためのユーザインタフェースであるところの、VideoEncoder設定ウインドウである。又、図21は、本画面に関するクライアント装置2000の振舞いを示すフローチャートである。
ステップS2000において制御部2001は、表示部2003にVideoEncoder設定ウインドウを表示させる。
ステップS2001において制御部2001は、通信部2006を介して4099に示すGetProfilesコマンドのトランザクションを実施することにより、監視カメラ1000が保持するMediaProfileのリストを取得する。そして、制御部2001は、取得したリストを記憶部2002に記憶させる。
この時併せて制御部2001は、通信部2006を介して4201に示されるGetVECOptionsコマンドのトランザクションを実施する。そして、制御部2001は、この実施をすることで取得したGetVECOptionsのレスポンスに含まれるVECの各パラメータの選択肢に基づき、EncoderType選択エリア7110の複数の選択肢及びこれら複数の選択肢の選択状態を表示する。
更に、制御部2001は、このレスポンスに含まれるVECの各パラメータの選択肢に基づき、Detail設定エリア7120、及び出力解像度選択エリア7130の複数の選択肢を表示する。
ステップS2002において制御部2001は、ステップS2001において取得したMediaProfileのうち1つを対象として4100から4103に示されるトランザクションを実施する。これによってクライアント装置2000は、監視カメラ1000からのストリーミング4104を取得し、取得したストリーミング4104に対応する動画をLiveViewエリア7100に表示する。
ステップS2003において制御部2001は、通信部2006を介して4003に示されるGetVECsコマンドのトランザクションを実施することで取得したVECの数に基づき、VECタブを表示する。図19の例では、2つのVECが取得できた場合を示しており、2つのVECタブ7101、7102が表示されている。
ステップS2004において制御部2001は、ステップS2003において取得したVECのうち、VECタブにおいて現在選択されているVECの内容をVEC表示エリア7103に表示する。具体的には、VECに含まれるEncordingの内容を、EncoderType選択エリア7110において選択された状態とするよう表示する。
さらにVECの各パラメータの内容を、Detail設定エリア7120、及び出力解像度選択エリア7130において、選択された状態とするよう表示する。Detail設定エリア7120において、7212は、VECにおけるFrameLimit、7122はBitrateLimit、及び7123は、Qualityの設定を行うスライディングバーである。
又、出力解像度選択エリア7130において7131は、ステップS2001で取得した出力解像度の選択肢を表示するドロップダウンリストである。
ステップS2005において制御部2001は、入力部2004を介してUI操作通知を受信するか、通信部2006を介して、監視カメラ1000からの設定変更通知イベントを受信するかを待つ。
VECタブ7101、7102が押下された場合、及び監視カメラ1000からの設定変更通知イベントを受信した場合、制御部2001は、処理をステップS2000へ進める。又、設定ボタン7140の押下が通知された場合、制御部2001は、処理をステップS2006へ進める。閉じるボタン7141の押下が通知された場合、制御部2001は、処理をステップS2007へ進め、本画面の処理を終了する。
ステップS2006において制御部2001は、通信部2006を介して、VEC表示エリア7103の内容に従って4203に示されるSetVECコマンドのトランザクションを実施する。
例えば、制御部2001は、EncoderType選択エリア7110、Detail設定エリア7120、及び出力解像度選択エリア7130においてユーザが選択した内容をパラメータとしたSetVECコマンドを、監視カメラ1000に送信する。その後、制御部2001は、処理をステップS2005に進める。
続いて、図20は、クライアント装置2000において、監視カメラ1000のMDC設定を変更させるためのユーザインタフェースであるところの、Metadta設定ウインドウである。又、図22は、本画面に関するクライアント装置2000の振舞いを示すフローチャートである。
ステップS2100において制御部2001は、表示部2003にMetadata設定ウインドウを表示させる。
ステップS2101において制御部2001は、通信部2006を介して4099に示すGetProfilesコマンドのトランザクションを実施することにより、監視カメラ1000が保持するMediaProfileのリストを取得する。そして、制御部2001は、取得したリストを記憶部2002に記憶させる。
ステップS2102において制御部2001は、ステップS2001において取得したMediaProfileのうち1つを対象として4100から4103に示されるトランザクションを実施する。これによってクライアント装置2000は、監視カメラ1000からのストリーミング4104を取得し、取得したストリーミング4104に対応するコンテンツをLiveViewエリア7000に表示する。
ステップS2103において制御部2001は、通信部2006を介して4004に示されるGetMDCsコマンドのトランザクションを実施することにより取得したMDCの数に基づいてMDCタブを表示する。ここで、図15(a)及び(b)は、GetMDCsコマンドのリクエストとレスポンスを例示している。図20では、図15(b)に例示されるような2つのMDCが取得できた場合を示しており、2つのMDCタブ7001、及び7002が表示されている。
ステップS2104において制御部2001は、ステップS2103において取得したMDCのうち、MDCタブにおいて現在選択されているMDCの内容をMDC表示エリア7003に表示させる。
具体的には、制御部2001は、MDCに含まれるCompressionTypeの内容を、CompressionType選択エリア7010において選択された状態とするよう、MDC表示エリア7003に表示させる。図20の例では、図15(b)のCompressionTypeタグ10000に示されるように、EXIが設定されている場合を示しており、7011のEXIが選択されている。
一方、図15(b)における10001のようにNoneが指定されている場合は、CompressionType選択エリア7010におけるNoneが選択されて表示されることとなる。なお、本明細書では、CompressionType選択エリア7010を、圧縮方式選択エリア7010と称することがある。
更に、制御部2001は、MDCの各パラメータの内容を、Contents設定エリア7020において、選択された状態とするよう表示させる。図20の例では、PTZ Statusフラグ、PTZ Positionフラグ、及びAnalyticsフラグが選択された状態として表示されている。なお、本明細書では、Contents設定エリア7020を、詳細設定エリア7020と称することがある。
イベントトピックを指定するEvents設定エリア7030には、イベントデータ選択肢7031と、トピックを指定するトピックフィルタ設定エリア7032と、が含まれるが、図20の例ではイベントは、設定されていない状態を示している。
ステップS2105において制御部2001は、通信部2006を介して4301に示されるGetMDCOptionsコマンドのトランザクションを実施する。そして、制御部2001は、この実施により取得したGetMDCOptionsのレスポンスに含まれるMDCの各パラメータの選択肢に基づき、MDC表示エリア7003における各選択肢を表示する。
具体的には、制御部2001は、圧縮方式選択エリア7010において、メタデータ圧縮方式の選択肢、及び詳細設定エリア7020において、PTZ Status選択肢7022とPTZ Position選択肢7023の選択可否を表示させる。
図20の例においては、圧縮方式選択エリア7010では、4種類定義されているメタデータの圧縮方式のうち、BiM7013を除く3つの選択肢、None/EXI/FIが設定可能であるよう表示されている。また、図20の例においては、詳細設定エリア7020では、PTZ Status選択肢7022とPTZ Position選択肢7023とは、双方とも指定可能なように表示されている。
なお、本実施例における制御部2001は、監視カメラ1000から出力されるメタデータに設定することができる圧縮方式とともに、このメタデータに含まれる情報(PTZ Status情報など)を、表示部2003に表示させる表示制御機能を備える。
ステップS2106において制御部2001は、入力部2004を介してUI操作通知を受信するか、通信部2006を介して、監視カメラ1000からの設定変更通知イベントを受信するかを待つ。MDCタブ7001、又は7002が押下された場合、及び監視カメラ1000からの設定変更通知イベントを受信した場合、制御部2001は、処理をステップS2000へ進める。
設定ボタン7040の押下が通知された場合、制御部2001は、処理をステップS2107へ進める。閉じるボタン7041の押下が通知された場合、制御部2001は、処理をステップS2108へ進め、本画面の処理を終了する。
ステップS2107において制御部2001は、通信部2006を介して、MDC表示エリア7003の内容に従って4303に示されるSetMDCコマンドのトランザクションを実施する。
具体的には、CompressionType選択エリア7010、及びContents設定エリア7020においてユーザが選択した内容をパラメータとしたSetMDCコマンドを監視カメラ1000に対して送信する。その後、制御部2001は、処理をステップS2106に進める。
以上に説明した監視カメラ、クライアント装置、及び撮像システムによれば、XMLドキュメントを送信する場合に圧縮可能か否かを、監視カメラとクライアント装置との間で共有することが可能となる。また圧縮可能である場合、クライアント装置はどのような形式で圧縮されることを期待するか監視カメラ1000に対して指定を行うことが可能となる。即ち、監視カメラとクライアント装置との間でXMLドキュメントの圧縮方式を事前に共有することが可能となる。これによって、監視カメラ装置から出力されたXMLドキュメントを、クライアント装置側で正しく閲覧させるようにすることができるようになる。
なお、本実施例では、図16(b)に示すように、PanTiltPositionSupportedフラグ、及びZoomPositionSupportedフラグは、両方とも「True」であるものとしたが、これに限られるものではない。例えば、この両方とも「False」である、即ち「サポートされていない」であるものとしても良い。当然、この両方のうち、一方を「True」、他方を「False」としても良い。
よって、本実施例におけるGetMDCOptionsコマンドのレスポンスは、パン機構、チルト機構、及びズーム機構のそれぞれの稼働状態を示す情報を、監視カメラ1000から出力されるメタデータに、含めることができるか否かを示す情報の一例である。
同様に、本実施例では、図16(b)に示すように、PanTiltPositionSupportedフラグ、及びZoomPositionSupportedフラグは、両方とも「True」であるものとしたが、これに限られるものではない。例えば、この両方とも「False」である、即ち「サポートされていない」であるものとしても良い。当然、この両方のうち、一方を「True」、他方を「False」としても良い。
よって、本実施例におけるGetMDCOptionsコマンドのレスポンスは、監視カメラ1000の撮像位置を示す情報を、監視カメラ1000から出力されるメタデータに、含めることができるか否かを示す情報の一例である。
又、本実施例におけるGetMDCOptionsコマンドのレスポンスは、画像解析部1007により検出された(動体等の)物体を示す情報を、監視カメラ1000から出力されるメタデータに、含めることができるか否かを示す情報として構成しても良い。
又、本実施例では、監視カメラ1000から出力される画像に設定することができる符号化方式と、監視カメラ1000から出力されるメタデータに設定することができる符号化方式とを、異なる画面に表示させるように、制御部2001を構成した。しかしながら、このような構成に限るものではない。
例えば、監視カメラ1000から出力される画像に設定することができる符号化方式と、監視カメラ1000から出力されるメタデータに設定することができる符号化方式とを、同一の画面(ウインドウ等)に表示させるように、制御部2001を構成しても良い。
(実施例2)
実施例1において、XMLドキュメントの圧縮可否、及び圧縮方式の指定について、XMLドキュメントの配信に先立ってコマンドで情報共有する監視カメラ、クライアント装置、及び撮像システムに言及しながら、説明した。
しかしながら、クライアント装置の中には、前述の図19、図20に示されるような設定画面を表示して、ユーザにVideoEncoderやメタデータの設定を行わせる機能を持たないものもある。このようなストリーミングを開始させるだけのシンプルなクライアント装置は、4003や4004、のトランザクションによって、監視カメラに現在設定されている映像やメタデータの圧縮方式を知ることができない。
従って、このようなクライアント装置は、監視カメラからストリーム出力(ストリーム配信)されたメタデータを含むXMLドキュメントを正しく閲覧できない可能性がある。
このようなクライアントでも、正しくXMLドキュメントを閲覧できるように、ストリーミングを開始させるトランザクションにおいても、監視カメラからクライアント装置へXMLドキュメントの圧縮形式を通知するようにしてもよい。
以上の点を考慮した実施例2を以下に説明する。尚、実施例1と同じ部分については、同一の符号を付しその説明を省略する。例えば、図1〜17、及び図19〜22については実施例1と同じであるので、その説明を省略する。
続いて、図23は、メタデータ、即ちXMLドキュメントの圧縮形式(Compression16000)と、RTP Payload Type16001と、の相関表である。ここで、RTP Payload Typeとは、Describeコマンドにおいて監視カメラ1000がクライアント装置2000へ通知するコンテンツの内容を示すコードである。
実施例1では、図18に示すようにメタデータの圧縮方式に関わらずRTP Payload Typeは「122」としていた。これに対し、本実施例では、RTP Payload Typeを、監視カメラ1000が送信しようとするメタデータの圧縮方式に従って変更するようにする。
ここで、図23について詳述する。図23では、「None(Plain XML)」と、「122」とが対応付けられている。又、「EXI」と「123」とが対応付けられている。更に、「FI」と「124」とが対応付けられている。そして、「BiM」と「125」とが対応付けられている。
続いて、図24は、図5の4101に示すDescribeコマンドのトランザクションのレスポンスを示している。17000は、メタデータのコンテンツに関する情報して、監視カメラ1000がクライアント装置2000に提供するデータである。17001、及び17002に示される数値は、RTP Payload Typeを示している。本図においては123、即ち現在MetadataコンテンツがEXI形式で圧縮されていることを示している。
以上に説明した監視カメラ、クライアント装置、撮像システムによれば、メタデータの設定に関するコマンド群に対応しないクライアント装置であっても、どのような形式でメタデータが圧縮されているかを、ストリーミング開始時に知ることが可能となる。
即ち、監視カメラとクライアント装置との間でXMLドキュメントの圧縮方式を事前に共有することが可能となる。これによって、このようなクライアント装置であっても、監視カメラ装置から出力されたXMLドキュメントを正しく閲覧させるようにすることができる。
なお、本実施例では、Describeコマンドのレスポンスは、図24に示すように、監視カメラ1000がストリーム配信するメタデータのコンテンツの情報を示すように構成したが、これに限るものではない。例えば、監視カメラ1000がストリーム配信する画像のコンテンツの情報も示すように、Describeコマンドのレスポンスを構成しても良い。
このように構成した場合、本実施例における通信部1005は、監視カメラ1000がストリーム配信する画像及びメタデータのコンテンツの情報の要求を、クライアント装置2000から受け付ける受付部としての役割を果たす。
(その他の実施例)
又、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施
例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介
してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPU
やMPU等)がプログラムを読み出して実行する処理である。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
1000 監視カメラ
1005 通信部
1500 IPネットワーク網
2000 クライアント装置

Claims (32)

  1. 画像受信装置とネットワークを介して通信可能な画像送信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータを、ネットワークを介して前記画像受信装置に送信する送信手段
    を備え、
    前記送信手段は、前記メタデータに対する圧縮符号化方式設定に関する号化方式情報を、ネットワークを介して前記画像受信装置に送信し、
    前記撮像手段は、駆動手段によってパン方向及びチルト方向に駆動可能であり、
    前記メタデータは、前記駆動手段の駆動状態を示す情報を含む
    とを特徴とする画像送信装置。
  2. 画像受信装置とネットワークを介して通信可能な画像送信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する送信手段
    を備え、
    前記撮像手段は、駆動手段によってパン方向及びチルト方向に駆動可能であり、
    前記送信手段は、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報と、
    前記パン方向及び前記チルト方向における前記撮像手段の位置を示す情報が前記メタデータに含まれるか否かを示す情報と
    をネットワークを介して前記画像受信装置に送信する
    とを特徴とする画像送信装置。
  3. 画像受信装置とネットワークを介して通信可能な画像送信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータを、ネットワークを介して前記画像受信装置に送信する送信手段
    を備え、
    前記撮像手段は、駆動手段によってパン方向及びチルト方向に駆動可能であり、
    前記送信手段は、
    前記メタデータに対する圧縮符号化方式設定に関する号化方式情報と、
    前記メタデータに前記駆動手段の駆動状態を示す情報が含まれるか否かを示す情報と
    をネットワークを介して前記画像受信装置に送信する
    とを特徴とする画像送信装置。
  4. 画像受信装置とネットワークを介して通信可能な画像送信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータを、ネットワークを介して前記画像受信装置に送信する送信手段
    を備え、
    前記送信手段は、前記メタデータに対する圧縮符号化方式設定に関する号化方式情報を、ネットワークを介して前記画像受信装置に送信し、
    前記メタデータは、前記画像データにおける映像解析処理の結果を示す情報を含む
    とを特徴とする画像送信装置。
  5. 前記映像解析処理は、前記画像データに基づく画像に含まれる物体を検出する物体検出処理である
    ことを特徴とする請求項記載の画像送信装置。
  6. 記物体は、動体である
    ことを特徴とする請求項記載の画像送信装置。
  7. 記画像データの要求、及び、前記メタデータの要求を、ネットワークを介して前記画像受信装置から受信する受信手段を更に備え、
    前記送信手段は、前記符号化方式情報とともに、前記受信手段により受信された要求に応じたデータを送信する
    ことを特徴とする請求項1〜6のいずれか1項に記載の画像送信装置。
  8. 前記メタデータに対する圧縮符号化方式を指定する指定情報が、ネットワークを介して前記画像受信装置から受信されると、記メタデータを前記指定情報によって指定された圧縮符号化方式で符号化する符号化手段を備え、
    前記送信手段は、前記符号化手段により圧縮符号化されたメタデータを、ネットワークを介して前記画像受信装置に送信する
    とを特徴とする請求項1〜7のいずれか1項に記載の画像送信装置。
  9. 前記画像データを圧縮符号化する画像符号化手段を備え、
    前記画像データの圧縮符号化方式として設定することができる符号化方式は、JPEG、MPEG4、H.264、及びH.265のうち、いずれか1つを少なくとも含む
    ことを特徴とする請求項1〜8のいずれか1項に記載の画像送信装置。
  10. 記メタデータの圧縮符号化方式として設定することができる符号化方式は、EXI、FI、及びBiMのうち、いずれか1つを少なくとも含む
    ことを特徴とする請求項1〜9のいずれか1項に記載の画像送信装置。
  11. 前記符号化方式情報は、前記メタデータに対する圧縮符号化方式として設定することができる符号化方式を示す情報、又は、前記メタデータに対して圧縮符号化を行うことができるかを示す情報である
    ことを特徴とする請求項1〜10のいずれか1項に記載の画像送信装置。
  12. 画像送信装置とネットワークを介して通信可能な画像受信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段
    を備え、
    前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信し
    前記メタデータは、前記撮像手段をパン方向及びチルト方向に駆動可能な駆動手段の駆動状態を示す情報を含む
    ことを特徴とする画像受信装置。
  13. 撮像手段をパン方向及びチルト方向に駆動可能な駆動手段を有する画像送信装置とネットワークを介して通信可能な画像受信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段
    を備え、
    前記受信手段は、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報と、
    前記パン方向及びチルト方向における前記撮像手段の位置を示す情報が前記メタデータに含まれるか否かを示す情報と
    をネットワークを介して前記画像送信装置から受信する
    ことを特徴とする画像受信装置。
  14. 撮像手段をパン方向及びチルト方向に駆動可能な駆動手段を有する画像送信装置とネットワークを介して通信可能な画像受信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段
    を備え、
    前記受信手段は、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報と、
    前記メタデータに前記駆動手段の駆動状態を示す情報が含まれるか否かを示す情報と
    をネットワークを介して前記画像送信装置から受信する
    ことを特徴とする画像受信装置。
  15. 画像送信装置とネットワークを介して通信可能な画像受信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段
    を備え、
    前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信し、
    前記メタデータは、前記画像データにおける映像解析処理の結果を示す情報を含む
    ことを特徴とする画像受信装置。
  16. 画像送信装置とネットワークを介して通信可能な画像受信装置であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する受信手段
    を備え、
    前記受信手段は、前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信し、
    前記メタデータは、
    パン方向及びチルト方向における前記撮像手段の位置を示す情報、
    前記撮像手段をパン方向及びチルト方向に駆動可能な駆動手段の駆動状態を示す情報、及び
    前記画像データにおける映像解析処理の結果を示す情報
    の内の少なくともいずれかを含み、
    記メタデータの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報とともに、前記メタデータに含まれる情報を示す情報を、表手段に表示させる表示制御手段を有する
    ことを特徴とする画像受信装置。
  17. 前記符号化方式情報に基づいて、前記メタデータの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報を表示手段に表示させる表示制御手段
    を更に備えることを特徴とする請求項12〜16のいずれか1項に記載の画像受信装置。
  18. 前記表示制御手段は、前記画データの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報と、前記メタデータの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報とを、異なるウインドウで前記表示手段に表示させる
    ことを特徴とする請求項1記載の画像受信装置。
  19. 前記表示制御手段は、前記画データの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報と、前記メタデータの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報とを、同一のウインドウで前記表示手段に表示させる
    ことを特徴とする請求項1記載の画像受信装置。
  20. 前記符号化方式情報は、前記メタデータに対する圧縮符号化方式として設定することができる符号化方式を示す情報、又は、前記メタデータに対して圧縮符号化を行うことができるかを示す情報である
    ことを特徴とする請求項12〜19のいずれか1項に記載の画像受信装置。
  21. 請求項1〜11のいずれか1項に記載の画像送信装置と、
    請求項12〜20のいずれか1項に記載の画像受信装置と
    有することを特徴とする通信システム。
  22. 画像受信装置とネットワークを介して通信可能な画像送信装置の制御方法であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータを、ネットワークを介して前記画像受信装置に送信する第1の送信工程と、
    前記メタデータに対する圧縮符号化方式設定に関する号化方式情報を、ネットワークを介して前記画像受信装置に送信する第2の送信工程と
    を有し、
    前記撮像手段は、駆動手段によってパン方向及びチルト方向に駆動可能であり、
    前記メタデータは、前記駆動手段の駆動状態を示す情報を含む
    とを特徴とする制御方法。
  23. 画像受信装置とネットワークを介して通信可能な画像送信装置の制御方法であって、
    駆動手段によってパン方向及びチルト方向に駆動可能な撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する第1の送信工程と、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像受信装置に送信する第2の送信工程と、
    前記パン方向及び前記チルト方向における前記撮像手段の位置を示す情報が前記メタデータに含まれるか否かを示す情報を、ネットワークを介して前記画像受信装置に送信する第3の送信工程と
    を有することを特徴とする制御方法。
  24. 画像受信装置とネットワークを介して通信可能な画像送信装置の制御方法であって、
    駆動手段によってパン方向及びチルト方向に駆動可能な撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する第1の送信工程と、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像受信装置に送信する第2の送信工程と、
    前記メタデータに前記駆動手段の駆動状態を示す情報が含まれるか否かを示す情報を、ネットワークを介して前記画像受信装置に送信する第3の送信工程と
    を有することを特徴とする制御方法。
  25. 画像受信装置とネットワークを介して通信可能な画像送信装置の制御方法であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像受信装置に送信する第1の送信工程と、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像受信装置に送信する第2の送信工程と
    を有し、
    前記メタデータは、前記画像データにおける映像解析処理の結果を示す情報を含む
    ことを特徴とする制御方法。
  26. 画像送信装置とネットワークを介して通信可能な画像受信装置の制御方法であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する第1の受信工程と、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信する第2の受信工程と
    を有し、
    前記メタデータは、前記撮像手段をパン方向及びチルト方向に駆動可能な駆動手段の駆動状態を示す情報を含む
    ことを特徴とする制御方法。
  27. 撮像手段をパン方向及びチルト方向に駆動可能な駆動手段を有する画像送信装置とネットワークを介して通信可能な画像受信装置の制御方法であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する第1の受信工程と、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信する第2の受信工程と、
    前記パン方向及びチルト方向における前記撮像手段の位置を示す情報が前記メタデータに含まれるか否かを示す情報を、ネットワークを介して前記画像送信装置から受信する第3の受信工程と
    を有することを特徴とする制御方法。
  28. 撮像手段をパン方向及びチルト方向に駆動可能な駆動手段を有する画像送信装置とネットワークを介して通信可能な画像受信装置の制御方法であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する第1の受信工程と、
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報、ネットワークを介して前記画像送信装置から受信する第2の受信工程と、
    前記メタデータに前記駆動手段の駆動状態を示す情報が含まれるか否かを示す情報を、ネットワークを介して前記画像送信装置から受信する第3の受信工程と
    を有することを特徴とする制御方法。
  29. 画像送信装置とネットワークを介して通信可能な画像受信装置の制御方法であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する第1の受信工程と
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信する第2の受信工程と
    を有し、
    前記メタデータは、前記画像データにおける映像解析処理の結果を示す情報を含む
    ことを特徴とする制御方法。
  30. 画像送信装置とネットワークを介して通信可能な画像受信装置の制御方法であって、
    撮像手段によって撮像された画像データと、前記画像データに関するメタデータとを、ネットワークを介して前記画像送信装置から受信する第1の受信工程と
    前記メタデータに対する圧縮符号化方式の設定に関する符号化方式情報を、ネットワークを介して前記画像送信装置から受信する第2の受信工程と、
    表示制御工程と
    を有し、
    前記メタデータは、
    パン方向及びチルト方向における前記撮像手段の位置を示す情報、
    前記撮像手段をパン方向及びチルト方向に駆動可能な駆動手段の駆動状態を示す情報、及び
    前記画像データにおける映像解析処理の結果を示す情報
    の内の少なくともいずれかを含み、
    前記表示制御工程において、前記メタデータの圧縮符号化方式として設定することができる圧縮符号化方式を示す情報とともに、前記メタデータに含まれる情報を示す情報を、表示手段に表示させる
    ことを特徴とする制御方法。
  31. コンピュータを、請求項1〜11のいずれか1項に記載の画像送信装置の各手段として機能させることを特徴とするプログラム。
  32. コンピュータを、請求項12〜20のいずれか1項に記載の画像受信装置の各手段として機能させることを特徴とするプログラム。
JP2013190476A 2013-09-13 2013-09-13 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム Active JP6327816B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013190476A JP6327816B2 (ja) 2013-09-13 2013-09-13 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム
US14/485,449 US10356302B2 (en) 2013-09-13 2014-09-12 Transmission apparatus, reception apparatus, transmission and reception system, transmission apparatus control method, reception apparatus control method, transmission and reception system control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013190476A JP6327816B2 (ja) 2013-09-13 2013-09-13 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015056846A JP2015056846A (ja) 2015-03-23
JP6327816B2 true JP6327816B2 (ja) 2018-05-23

Family

ID=52667612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013190476A Active JP6327816B2 (ja) 2013-09-13 2013-09-13 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US10356302B2 (ja)
JP (1) JP6327816B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389987B2 (en) 2016-06-12 2019-08-20 Apple Inc. Integrated accessory control user interface
WO2018061172A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム 撮像角度調整システム、撮像角度調整方法及びプログラム
KR102596485B1 (ko) * 2016-12-15 2023-11-01 한화비전 주식회사 카메라 등록 장치 및 방법
CN108271068B (zh) * 2016-12-30 2020-04-03 华为技术有限公司 一种基于流媒体技术的视频数据的处理方法及装置
CN107368656B (zh) * 2017-07-24 2018-05-04 北京芘苜信息技术有限公司 基于bim+安防监控模拟及盲区分析的方法
JP6968610B2 (ja) * 2017-08-01 2021-11-17 キヤノン株式会社 撮像装置、情報処理方法及びプログラム
JP7073120B2 (ja) * 2018-01-26 2022-05-23 キヤノン株式会社 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
US10924636B1 (en) 2020-04-30 2021-02-16 Gopro, Inc. Systems and methods for synchronizing information for videos

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US6833865B1 (en) * 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
JP2002165210A (ja) * 2000-08-04 2002-06-07 Matsushita Electric Ind Co Ltd データ送信端末及びデータ送受信装置
US8503639B2 (en) * 2001-02-27 2013-08-06 Verizon Data Services Llc Method and apparatus for adaptive message and call notification
JP2006513657A (ja) * 2003-01-21 2006-04-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像へのメタデータの追加
US20050018057A1 (en) * 2003-07-25 2005-01-27 Bronstein Kenneth H. Image capture device loaded with image metadata
WO2006016461A1 (ja) * 2004-08-09 2006-02-16 Nikon Corporation 撮像装置
JP4449782B2 (ja) * 2005-02-25 2010-04-14 ソニー株式会社 撮像装置および画像配信方法
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
JP2007158553A (ja) * 2005-12-02 2007-06-21 Sony Corp マルチコーデックカメラシステムおよび画像取得プログラム
JP2007189503A (ja) * 2006-01-13 2007-07-26 Matsushita Electric Ind Co Ltd 端末装置及びプログラム
US9269244B2 (en) * 2007-03-06 2016-02-23 Verint Systems Inc. Event detection based on video metadata
JP2009163572A (ja) * 2008-01-08 2009-07-23 Fujitsu Ltd 情報配信サーバ、およびプログラム
US8427552B2 (en) * 2008-03-03 2013-04-23 Videoiq, Inc. Extending the operational lifetime of a hard-disk drive used in video data storage applications
US8607166B2 (en) * 2008-06-06 2013-12-10 Apple Inc. Browsing or searching user interfaces and other aspects
WO2010033642A2 (en) * 2008-09-16 2010-03-25 Realnetworks, Inc. Systems and methods for video/multimedia rendering, composition, and user-interactivity
US8359370B2 (en) * 2008-10-31 2013-01-22 Disney Enterprises, Inc. System and method for managing digital media content
JP5397014B2 (ja) 2009-05-21 2014-01-22 ソニー株式会社 監視システム、撮像装置、解析装置及び監視方法
US20100332981A1 (en) * 2009-06-30 2010-12-30 Daniel Lipton Providing Media Settings Discovery in a Media Processing Application
JP5523027B2 (ja) * 2009-09-02 2014-06-18 キヤノン株式会社 情報送信装置及び情報送信方法
JP2011078008A (ja) * 2009-10-01 2011-04-14 Nippon Hoso Kyokai <Nhk> コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム
JP5709367B2 (ja) * 2009-10-23 2015-04-30 キヤノン株式会社 画像処理装置、および画像処理方法
US8922658B2 (en) * 2010-11-05 2014-12-30 Tom Galvin Network video recorder system
JP5941270B2 (ja) * 2010-12-17 2016-06-29 キヤノン株式会社 情報処理装置、情報処理方法
CN104094589B (zh) * 2012-02-06 2017-08-29 索尼公司 图像捕捉控制器、图像处理器、控制图像捕捉的方法以及图像处理方法
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
CN105379293B (zh) * 2013-04-19 2019-03-26 华为技术有限公司 基于超文本协议的动态自适应流媒体中的媒体质量信息指示
US9305086B2 (en) * 2013-05-24 2016-04-05 Worldrelay, Inc. Numeric channel tuner and directory server for media and services

Also Published As

Publication number Publication date
US20150077578A1 (en) 2015-03-19
US10356302B2 (en) 2019-07-16
JP2015056846A (ja) 2015-03-23

Similar Documents

Publication Publication Date Title
JP6327816B2 (ja) 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム
JP6103999B2 (ja) 画像データ送信装置、画像データ受信装置、画像データ送信方法、画像データ受信方法、及びプログラム
JP2014049865A (ja) 監視カメラシステム
US20150135248A1 (en) Image pickup apparatus, image pickup system, control method for image pickup apparatus, and recording medium
US10542213B2 (en) Imaging apparatus
JP6333019B2 (ja) 撮像装置、撮像方法及びプログラム
US10771747B2 (en) Imaging apparatus and imaging system
JP6063952B2 (ja) マルチメディア資産を表示する方法、関連するシステム、メディアクライアント、および関連するメディアサーバ
JP6204655B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
US20150032900A1 (en) System for seamlessly switching between a cloud-rendered application and a full-screen video sourced from a content server
JP6399758B2 (ja) 撮像装置および撮像装置の制御方法
JP6444036B2 (ja) 撮像装置、及び撮像システム
JP6529635B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6425389B2 (ja) 撮像装置、及び撮像システム
JP6214221B2 (ja) 撮像装置、クライアント装置、撮像システム、撮像装置の制御方法、クライアント装置の制御方法、および撮像システムの制御方法
JP6343377B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法およびプログラム
CN115604496A (zh) 一种显示设备、直播切台方法及存储介质
JP2013255041A (ja) 画像配信装置、情報処理装置、それらの制御方法、およびプログラム
JP2006211524A (ja) 映像表示装置、映像処理装置の制御方法、プログラム、及び記憶媒体
WO2013113043A1 (en) System for seamlessly switching between a cloud-rendered application and a full-screen video sourced from a content server
JP2010010829A (ja) 電子番組表生成装置及び電子番組表生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180417

R151 Written notification of patent or utility model registration

Ref document number: 6327816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151